JP4363004B2 - 音響提示装置と音響提示方法 - Google Patents
音響提示装置と音響提示方法 Download PDFInfo
- Publication number
- JP4363004B2 JP4363004B2 JP2002151466A JP2002151466A JP4363004B2 JP 4363004 B2 JP4363004 B2 JP 4363004B2 JP 2002151466 A JP2002151466 A JP 2002151466A JP 2002151466 A JP2002151466 A JP 2002151466A JP 4363004 B2 JP4363004 B2 JP 4363004B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- signal
- image
- acoustic
- sound output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Stereophonic System (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、音響提示装置と音響提示方法に関する。詳しくは、音響出力手段から出力された音響に基づく音像を定位させる位置に応じて、音響出力手段を回転及び前後方向に移動させるものである。
【０００２】
【従来の技術】
従来、音響提示方法としては、左チャネルと右チャネルのスピーカだけでなく、補助スピーカ等を固定して配置して、音の奥行き感や立体感を高めて臨場感の優れた音響提示が行われている。例えば、映画やＤＶＤ(Digital Versatile Disk)等で用いられている５．１チャネルや６．１チャネルのサラウンド方式では、前方以外に補助スピーカを設けて、ステレオ空間以上の奥行き感を得ると共に画像と音の融合感を高めて、臨場感の優れた音響提示が行われている。
【０００３】
また、無響室で収集された音やコンパクトディスクに記録された音に、任意空間のインパルス応答を畳み込み、任意の部屋の特性を再現することも行われている。例えば、コンサートホールやライブハウスあるいは教会等の再生空間と等しい特性となるようにフィルタ特性を予め設定して、ユーザが所望のフィルタ特性を選択することで、所望の再生空間の音場を再現させることも行われている。さらに、左チャネルと右チャネルのスピーカを用いて３次元音場を作り出すバーチャル立体音響も実現されている。
【０００４】
【発明が解決しようとする課題】
ところで、このような音響提示方法は、固定されたスピーカを用いているため、音の表現幅が小さい。また、上下方向やスピーカ間の中間位置における前後方向の奥行きを良好に表現ことが難しい。
【０００５】
そこで、この発明では、臨場感や移動感及び奥行き感のある音響提示を行うことができる音響提示装置と音響提示方法を提供するものである。
【０００６】
【課題を解決するための手段】
この発明に係る音響提示装置は、聴取者のほぼ真横の左右に設けられて、回転及び前後方向に移動が可能な音響出力を行う音響出力手段と、音響出力手段から出力された音響に基づく音像を定位させる位置に応じて、音響出力手段を回転及び前後方向に移動させる音響提示制御手段を有するものである。
【０００７】
また、音響提示方法は、聴取者のほぼ真横の左右に、回転及び前後方向に移動が可能として、音響信号に基づいて音響出力を行う音響出力手段を設ける工程と、音響出力手段から出力された音響に基づく音像を定位させる位置に応じて、音響出力手段を回転及び前後方向に移動させる工程を有するものである。
【００１０】
この発明においては、音響出力を行う音響出力手段が、例えば壁面で仕切られた空間内で、聴取者の左右側に設けられる。この音響出力手段から出力された音響に基づく音像を定位させる位置に応じて、音響出力手段が回転、回転半径方向に移動、又は前後方向に移動される。このように音響出力方向が制御されて、壁面からの反射音を利用して音像が定位される。
【００１１】
また、音像を定位させる位置に応じて、音響信号の信号レベル及び位相のうち少なくとも一つが調整されて、この調整後の音響信号に基づいて音響出力手段が駆動される。
【００１２】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は音響の聴取を示している。壁面１０によって仕切られた空間１１で聴取者１２が音源１３から出力された音響を聴取する場合、聴取者１２は、実線で示す直接音（音源１３から直接耳に届く音）ＤＳと破線で示す反射音（周囲の壁や天井及び床よって反射された音）ＲＳが統合された音響を聞くこととなる。
【００１３】
図２は直接音と反射音の関係をモデル化して示している。聴取者１２と音源１３との距離Ｌが短い場合（Ｌ＝Ｌ1）、図２Ａに示すように直接音ＤＳの支配率が高くなり、直接音ＤＳに対する反射音ＲＳの時間遅れＴdは小さい。また、聴取者１２と音源１３との距離Ｌが長くなると（Ｌ＝Ｌ2，Ｌ2＞Ｌ1）、図２Ｂに示すように直接音ＤＳと反射音ＲＳのレベルが小さくなると共に反射音ＲＳの支配率が高くなる。また、直接音ＤＳに対する反射音ＲＳの時間遅れＴdは大きくなる。さらに、聴取者１２と音源１３との距離Ｌが長くなると（Ｌ＝Ｌ3，Ｌ3＞Ｌ2）、図２Ｃに示すように直接音ＤＳや反射音ＲＳのレベルがさらに小さくなると共に、直接音ＤＳに対する反射音ＲＳの時間遅れＴdは大きくなる。なお、反射音ＲＳや時間遅れＴdは、空間１１の構成によって変化するものである。
【００１４】
このため、本願発明では、音像を定位させる位置に応じて音響の出力方向や音圧及び位相のうち少なくとも一つを制御することで、臨場感や移動感及び前後方向や上下方向の奥行き感のある音響提示を行う。すなわち、音響の出力方向を可変すると、音響を聴取する空間の反射特性によって、直接音ＤＳや反射音ＲＳを制御することが可能となる。さらに、音圧や位相を制御することで直接音ＤＳや反射音ＲＳを制御することが可能となり、臨場感や移動感及び奥行き感のある音響提示を行うことができる。
【００１５】
図３は、音響提示システムの構成を示している。この音響提示システムでは、聴取者１２を中心として、聴取者１２の左側に音響出力手段であるスピーカ２３L、右側に音響出力手段であるスピーカ２３Rを設けるものとする。なお、図３において破線で示す位置は、例えばスピーカ２３L，２３Rから出力される音響に関連した画像が表示される画像表示領域１５を示している。
【００１６】
スピーカ２３Lは、音響提示制御装置３０によって音響の出力方向を可変できる構成とされている。例えば、図４に示すように、回転駆動部（例えばステッピングモータ）２４Lを介してスピーカ２３Lと支持体２５Lを回転可能に取り付ける。ここで、音響提示制御装置３０によって回転駆動部２４Lを駆動することによりスピーカ２３Lを回転させることで、音響の出力方向を可変する。スピーカ２３Rも同様に構成して、音響の出力方向を可変できるものとする。また、音響提示制御装置３０からスピーカ２３Lに対して音響信号ＳＯLを供給すると共に、スピーカ２３Rに対して音響信号ＳＯRを供給することで、スピーカ２３L，２３Rから音響を出力させる。なお、図５に示すように、聴取者１２の両耳方向をＸ軸、前後方向をＹ軸、上下方向をＺ軸として以下の説明を行う。
【００１７】
壁面空間でスピーカ２３L，２３Rから音響を出力する場合、聴取者１２は、スピーカ２３L，２３Rから出力された音響の直接音ＤＳと壁面１０からの反射音ＲＳを聞くこととなる。ここで、スピーカ２３L，２３Rの回転軸をＺ軸方向としたとき、図６Ａに示すように、スピーカ２３L，２３Rからの音響の出力方向を聴取者１２の方向とすると、直接音ＤＳの支配率が高くなる。また、スピーカ２３Lとスピーカ２３Rが聴取者１２に対して左右側で対称の位置に設けられると共に音響の出力が等しいときには、音像が聴取者１２の位置となる。
【００１８】
また、図６Ｂに示すように、スピーカ２３Lを反時計方向に角度θ１だけ回転させると共にスピーカ２３Rを時計方向に角度θ１だけ回転させて、音響の出力方向を前方向に順次移動させる。この場合、反射音ＲＳの支配率が徐々に高くなり、音像は前方向に移動して奥行き感のある音響提示を行うことができる。さらに、図６Ｃに示すように、スピーカ２３L，２３Rをさらに角度θ２まで回転させると、反射音ＲＳの時間遅れが大きくなると共に、直接音ＤＳが減少して反射音ＲＳの支配率がさらに高くなる。
【００１９】
図７は、音響提示制御装置の構成を示している。ユーザインタフェース部３１では、ユーザ操作に応じて生成した操作信号ＰＳを音像位置決定部３２に供給する。音像位置決定部３２では、操作信号ＰＳあるいは外部から供給された位置情報信号ＰＲに基づき音像の位置を決定して、位置信号ＭＰを出力方向制御部３３と音響信号処理部３４に供給する。
【００２０】
出力方向制御部３３は、音像の位置が位置信号ＭＰで示された位置となるようにスピーカ２３L，２３Rを回転させるための駆動信号ＭＤL，ＭＤRを生成して、駆動信号ＭＤLをスピーカ２３L側に設けられた回転駆動部２４Lに供給すると共に、駆動信号ＭＤRをスピーカ２３R側に設けられた回転駆動部２４Rに供給する。
【００２１】
音響信号処理部３４では、音像の位置が位置信号ＭＰで示された位置となるように、入力音響信号ＳＡL，ＳＡRの位相や信号レベルを調整する。この調整が行われた信号は、調整音響信号ＳＢL，ＳＢRとして信号増幅部３５に供給される。
【００２２】
信号増幅部３５は、音響信号処理部３４から供給された調整音響信号ＳＢLを増幅して、音響信号ＳＯLとしてスピーカ２３Lに供給する。また、調整音響信号ＳＢRを増幅して、音響信号ＳＯRとしてスピーカ２３Rに供給する。このように入力音響信号ＳＡL，ＳＡRの位相や信号レベルを調整することで、音響の音圧や位相を制御できる。
【００２３】
回転駆動部２４Lは、上述したようにステッピングモータ等を用いて構成されており、音響提示制御装置３０から供給された駆動信号ＭＤLに基づいてスピーカ２３Lを回転させて、音像位置決定部３２で算出されたスピーカ回転角となるように向きを制御する。同様に、回転駆動部２４Rは、駆動信号ＭＤRに基づいてスピーカ２３Rを回転させて、音像位置決定部３２で算出されたスピーカ回転角となるように向きを制御する。
【００２４】
次に、音響提示制御装置の動作について説明する。ユーザインタフェース部３１が操作されて、スピーカ２３L，２３Rからの音響出力に基づく音像の位置が指定されるとき、ユーザインタフェース部３１では、この操作に応じた操作信号ＰＳを生成して音像位置決定部３２に供給する。
【００２５】
また、例えばビデオカメラとマイクロフォンを一体構造として、ビデオカメラの撮影方向に対して音響取得を行うことにより音響信号ＳＡL，ＳＡRを得る場合、このビデオカメラに位置検出部を設けて、この位置検出部によって音源の位置を示す位置情報信号ＰＲを生成して、音像位置決定部３２に供給する。
【００２６】
図８は、位置検出部の構成を示している。角度センサ４１は、回転角を測定できるセンサやジャイロ等を用いて角度を測定するものであり、ビデオカメラの撮像方向を検出して角度信号Ｓpaを極座標算出部４３に供給する。例えば基準位置に対する水平方向の角度（以下「方位角」という）や、基準位置に対する上下方向の角度（以下「ピッチ角」という）を示す角度信号Ｓpaを生成して極座標算出部４３に供給する。測距センサ４２は、光や超音波等を用いてあるいはビデオカメラの焦点位置に基づいて距離を測定するものであり、所望の被写体までの距離ＬＯを検出して距離信号Ｓpbを極座標算出部４３に供給する。極座標算出部４３では、角度信号Ｓpaと距離信号Ｓpbから極座標を算出して、この極座標を位置情報信号ＰＲとして出力する。
【００２７】
ここで、ビデオカメラで所望の被写体を追いかけて撮影を行った場合、所望の被写体からの音響がマイクロフォンで収音されて音響信号ＳＡL，ＳＡRが生成される。また、この所望の被写体が音像位置とされて、この音源の方向や距離を示す情報が位置情報信号ＰＲとして出力されることとなる。
【００２８】
さらに、画像信号に基づいて画像の動きを検出すると共に、検出した動きに応じて画像の表示位置を移動させることで、動きのある被写体の表示位置を被写体の動きに合わせて移動させる場合、この表示位置を音源の位置として、表示位置を示す信号を位置情報信号ＰＲとして用いるものとしても良い。
【００２９】
図９は、画像の動き検出結果に基づいて画像の表示位置を移動させた画像出力信号と、表示位置を示す信号を生成する画像信号処理装置の構成を示している。
【００３０】
画像信号ＳＶは、画像信号処理部５０のシーンチェンジ検出部５１と動き検出部５２と画像位置移動部５３に供給される。
【００３１】
シーンチェンジ検出部５１は、画像信号ＳＶに基づいてシーンチェンジ検出、すなわち連続シーンとこの連続シーンとは異なるシーンとの繋ぎ目部分である画像の不連続位置を検出してシーンチェンジ検出信号ＣＨを生成する。
【００３２】
動き検出部５２は、シーンチェンジ検出部５１で生成されたシーンチェンジ検出信号ＣＨによって連続シーンであることが示されたフレームに関して動きベクトルの検出を行い、表示面積の広い部分の動きベクトル例えば背景部分の動きベクトルを検出する。この動き検出部５２で検出された動きベクトルを示す動き検出情報ＭＶＤは画像位置移動部５３に供給される。
【００３３】
画像位置移動部５３は、シーンチェンジ検出信号ＣＨと動き検出情報ＭＶＤに基づき表示位置を決定する。この表示位置の決定では、連続シーンの期間中における動き検出情報ＭＶＤで示された動きベクトルを累積して、動きベクトルの時間推移情報である動き累積値ＭＶＴを生成して、動き累積値ＭＶＴの振れ幅を求めることでシーン毎に表示位置の移動範囲を判別する。次に、この移動範囲が画像表示領域内の移動可能範囲（画像表示領域の右側端部に画像を表示したときと、画像を水平移動させて左側端部に表示したときの表示画像の中心間の距離）の中央となるように、連続シーンの最初の表示画像に対する表示位置を決定する。また、連続シーンの最初の表示画像を表示してから連続シーンの最後の画像を表示するまでの期間中、動き検出情報ＭＶＤに基づいて画像の表示位置を移動させたときに、表示画像が画像表示領域に入りきるように動き検出情報ＭＶＤの補正を行い、この補正後の動き検出情報ＭＶＤに基づき画像を移動させるものとして、表示位置を決定する。この決定された表示位置を示す信号を位置情報信号ＰＲとして音像位置決定部３２に供給する。また、画像位置移動部５３では、画像信号ＳＶに基づく画像を決定された表示位置に移動した画像信号ＳＶoutを生成して出力する。
【００３４】
図７の音像位置決定部３２では、操作信号ＰＳに基づき、ユーザインタフェース部３１で設定された音像の位置を示す位置信号ＭＰを生成する。また、位置情報信号ＰＲに基づき、音源位置や画像の表示位置を音像の位置とする位置信号ＭＰを生成する。この生成した位置信号ＭＰは、出力方向制御部３３と音響信号処理部３４に供給する。
【００３５】
出力方向制御部３３は、位置信号ＭＰに基づき駆動信号ＭＤL，ＭＤRを生成して回転駆動部２４L，２４Rに供給することにより、音像の位置が位置信号ＭＰで示された位置となるようにスピーカ２３L，２３Rを回転させる。
【００３６】
音響信号処理部３４は、位置信号ＭＰに基づき音響信号の位相や信号レベルを調整する。図１０は、音響信号処理部３４の動作を説明するための図である。位置信号ＭＰに基づきスピーカ２３Lの回転角が「θL」、スピーカ２３Rの回転角が「θR」とされる場合、音響信号処理部３４は左チャネルの音響信号ＳＡL(t)、右チャネルの音響信号ＳＡR(t)に対して式（１），（２）に示す処理を行い、調整音響信号ＳＢL(t)，ＳＢR(t)を生成する。
ＳＢL(t)＝α（θL）×ＳＡL（ｔ−ＴＤL） ・・・（１）
ＳＢR(t)＝β（θR）×ＳＢR（ｔ−ＴＤR） ・・・（２）
【００３７】
なお、式（１）（２）において、「α（θL）」は回転角θLに基づいた増幅係数であり、「β（θR）」は回転角θRに基づいた増幅係数である。さらに、位相補正値「ＴＤL」「ＴＤR」は、時間進みあるいは時間遅れを表している。この増幅係数「α(θL)」「β（θR）」や位相補正値「ＴＤL」「ＴＤR」は、音像の位置、壁面１０の吸音率や配置、壁面１０とスピーカ２３L，２３Rの位置関係等に基づいて設定する。例えば、音像が正面中央よりも右側に位置しているときには、位相補正値「ＴＤL」「ＴＤR」によって左チャネルの調整音響信号ＳＢLを右チャネルの調整音響信号ＳＢRよりも遅延させる。また壁面１０の吸音率が高ければ、増幅係数「α」，「β」は大きな値とする。
【００３８】
この音響信号処理部３４で生成した調整音響信号ＳＢL，ＳＢRを、信号増幅部３５で増幅して、音響信号ＳＯLとしてスピーカ２３Lに供給すると共に、音響信号ＳＯRとしてスピーカ２３Rに供給する。
【００３９】
音像位置決定部３２によって音像の位置が決定されると、駆動信号ＭＤL，ＭＤRによって直接音の支配率を調整できる。ここで、図１１に示すように、聴取者１２の左右側にスピーカ２３L，２３Rを設けるものとして、聴取者１２の近くに音像を置きたい場合には、スピーカ２３L，２３Rを聴取者１２側の向きとする。例えば、音像の位置を聴取者１２の前方で近い位置Ｉｂとするとき、図１１のＢ方向付近に回転角を合わせて反射音の影響を少なくする。同様に、音像の位置を聴取者１２の後方で近い位置Ｉｃとするとき、図１１のＣ方向付近に回転角を合わせて反射音の影響を少なくする。反対に、聴取者からはなれた位置に音像を置きたい場合には、スピーカを外向きにする。例えば、音像の位置を聴取者１２の前方で離れた位置Ｉａとするとき、図１１のＡ方向付近に回転角を合わせて壁面１０からの反射音の影響を大きくする。同様に、音像の位置を聴取者１２の後方で離れた位置Ｉｄとするとき、図１１のＤ方向付近に回転角を合わせて反射音の影響を大きくする。
【００４０】
このように、音像の位置に応じてスピーカ２３L，２３Rを回転させて音響の出力方向を制御することで、例えばスピーカ２３L，２３RをＡ方向からＤ方向に回転させると、音像の位置が前方から後方に移動するものとなる。特に、聴取者１２の左右側にスピーカ２３L，２３Rを設けることで、この音像の位置の移動が明確となり、臨場感の高い音響提示を行うことができる。また、スピーカ２３L，２３Rを回転することで、音響の出力方向を連続的に可変できるものであるから、音像の位置を連続的かつ滑らかに移動させることができる。
【００４１】
また、音響信号処理部３４で音響信号の信号レベルや位相を制御することで、音響の音圧や位相を容易かつ精度良く制御できるので、音像をより正しい位置に定位させて、さらに臨場感の高い音響提示を行うことができる。
【００４２】
ここで、前後方向の音像の表現では、左右の音量差が無くなると共に左右の位相差が無くなるように調整音響信号ＳＢL，ＳＢRを生成する。左右方向の音像の表現では、左耳で聞こえた音と右耳で聞こえた音との音量差及び位相差によって音像の左右方向の位置が表現される。例えば図１２の実線で示す右側の音響ＳＵRに対して、左側の音響ＳＵLを破線で示すように音量レベルを小さくすると共に、時間遅れＴeを生じさせると、音源や音像の位置が中央より右側の位置に感じられる。このため、音像の位置に応じて、増幅係数α，βや位相補正値ＴＤL，ＴＤRの調整を行うことで、より臨場感が高い音響提示を行うことができる。
【００４３】
位相補正値ＴＤL，ＴＤRの算出では、スピーカ２３L，２３Rの回転角度と時間差の関係を予め算出しておき、スピーカ２３L，２３Rの回転角度に応じた時間差に位相補正値ＴＤL，ＴＤRを加えることで、所望の位置に音像が形成されるように位相補正値ＴＤL，ＴＤRを調整する。
【００４４】
スピーカ２３L，２３Rの回転角度と時間差の関係は、図１３に基づいて求めることができる。例えば、スピーカ２３Lの角度を設定して、このスピーカ２３Lから出力されたインパルス音に基づく聴取位置ＱＬでのインパルス応答を測定する。図１４Ａはスピーカ２３Lから出力されたインパルス音に基づくインパルス応答を示している。同様に、スピーカ２３Rから出力されたインパルス音に基づくインパルス応答を測定する。図１４Ｂはスピーカ２３Rから出力されたインパルス音に基づくインパルス応答を示している。
【００４５】
ここで、インパルス音の出力から最初の間接音が聴取位置に届くまでの時間ＴＬO，ＴＲOを求める。なおインパルス応答は、直接測定しても良くシミュレーションで予め求めておくものとしても良い。
【００４６】
このようにして時間ＴＬO，ＴＲOを求めると、式（３）に基づいて時間差ΔＴfを算出できる。すなわち、スピーカ２３L，２３Rの回転角度に基づく時間ＴＬO，ＴＲOを用いて時間差ΔＴfを求めることができる。なお、この時間差ΔＴfは、聴取者に対して左右感覚を与える遅延量である。
ΔＴf＝ＴＬO−ＴＲO ・・・（３）
【００４７】
このため、所望の位置に音像が形成するために必要とされる時間差ΔＴgが時間差ΔＴfで得ることができない場合、式（４）を満足するようにされるよう位相補正値ＴＤを設定する。
ΔＴg＝ΔＴf＋ＴＤ ・・・（４）
【００４８】
例えば、位相補正値ＴＤRを設定したときには、図１４Ｂに示すインパルス応答は、図１４Ｃに示すものとなり、スピーカの回転だけでは表現できない音像の位置を、位相補正値を用いることで表示することができる。
【００４９】
また、上述の音響信号処理部３４では、音響信号ＳＡL，ＳＡRの周波数帯域分離を行い、所望の周波数帯域の信号レベルが他の周波数帯域よりも高くなるように調整を行うものとする。この場合には、所望の周波数帯域の音響に基づく音像をより強調して表現できる。また、音響信号ＳＡL，ＳＡRの周波数帯域分離を行い、周波数帯域に応じた信号処理を行うものとしても良い。例えば高音域や中音域に比べて低音域は音響の指向性が低く、どの方向から聞こえてくるかを認識しにくい。このため、中音域や高音域を強調するように信号処理を行うことで、音像を認識しやすくして臨場感の高い音響提示を行うことができる。
【００５０】
ところで、上述のスピーカ２３L，２３Rでは、Ｚ軸を中心として時計方向あるいは反時計方向に回転することで、音響の出力方向を制御するものとしたが、スピーカ２３L，２３Rの位置をＹ軸方向（前後方向）に移動することで、音響の出力方向を可変させるものとしても良い。
【００５１】
図１５は、スピーカ２３L，２３Rの位置をＹ軸方向に移動させる場合の構成を示している。例えば図１５Ａでは、スピーカ２３L，２３Rを回転させる際の回転半径ｒを大きくして、音響の出力方向を可変させるだけでなく、スピーカ２３L，２３Rの位置を前後方向に移動させる。あるいは、図１５Ｂに示すように、回転駆動部を前後方向に移動させるスライド機構２６を設けるものとして、スピーカ２３L，２３Rの回転と前後方向の移動を独立に行うものとする。ここで、例えばスピーカを前方向に移動させることで前方向に対する奥行き感を高めることができる。また、スピーカを後方向に移動させることで後方向に対する奥行き感を高めることができる。
【００５２】
このように、音響提示制御装置３０によって、音像を定位させる位置に応じて音響の出力方向や音圧及び位相のうち少なくとも一つを制御することで、臨場感の高い音響提示を行うことができる。
【００５３】
さらに、上述の処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。この場合の構成を図１６に示す。コンピュータは、図１６に示すようにＣＰＵ(Central Processing Unit)７０１を内蔵しており、このＣＰＵ７０１にはバス７２０を介してＲＯＭ７０２，ＲＡＭ７０３，ハード・ディスク・ドライブ７０４，入出力インタフェース７０５が接続されている。さらに、入出力インタフェース７０５には入力部７１１や記録媒体ドライブ７１２，通信部７１３，信号入力部７１４，信号出力部７１５が接続されている。
【００５４】
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部７１１から命令が入力されたりると、この命令が入出力インタフェース７０５を介してＣＰＵ７０１に供給される。
【００５５】
ＣＰＵ７０１は、ＲＯＭ７０２やＲＡＭ７０３あるいはハード・ディスク・ドライブ７０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ７０２やＲＡＭ７０３あるいはハード・ディスク・ドライブ７０４には、上述の音響提示システムにおける信号処理をコンピュータで実行させるための音響提示処理プログラムを予め記憶させて、信号入力部７１４に入力された信号に基づいて音響出力信号を生成して、信号出力部７１５から出力する。また、記録媒体に音響提示処理プログラムを記録しておくものとし、記録媒体ドライブ７１２によって、音響提示処理プログラムを記録媒体に記録しあるいは記録媒体に記録されている音響提示処理プログラムを再生してコンピュータで実行するものとしても良い。さらに、通信部７１３によって、音響提示処理プログラムを有線あるいは無線の伝送路を介して送信あるいは受信するものとし、受信した音響提示処理プログラムをコンピュータで実行するものとしても良い。
【００５６】
次に、音響提示処理プログラムについて説明する。ここで、信号入力部７１４には、音響信号ＳＡL，ＳＡRや位置情報信号ＰＲに基づいて生成された情報信号ＷＳが供給される場合を説明する。
【００５７】
図１７は音響取得処理を示すフローチャートである。この音響取得処理は、例えばビデオカメラ側あるいはコンピュータ側のいずれで行っても良い。
【００５８】
ステップＳＴ１では、位置情報信号の生成を行う。すなわち、角度センサからの角度信号Ｓpaや測距センサからの距離信号Ｓpbに基づき極座標計算を行い、位置情報信号ＰＲを生成する。また、この位置情報信号ＰＲと音響信号ＳＡL，ＳＡRを例えば多重化して情報信号ＷＳを生成する。
【００５９】
ステップＳＴ２では、生成した情報信号ＷＳを記録媒体に記録あるいは外部機器に伝送するように設定されているか否かを判別する。ここで、情報信号の記録や伝送を行うように設定されている場合にはステップＳＴ３に進み、情報信号の記録や伝送を行わないように設定されている場合にはステップＳＴ４に進む。
【００６０】
ステップＳＴ３では、情報信号の記録や伝送を行ってからステップＳＴ４に進む。ここで、情報信号を記録する場合には、情報信号を磁気や光等を利用して記録再生を行う記録媒体あるいは半導体等を用いて構成された記録媒体に記録する。また、情報信号を伝送する場合には、有線や無線の通信路を介して情報信号を出力する。
【００６１】
ステップＳＴ４では、音響取得を終了するか否かを判別する。ここで、音響取得の終了操作が行われたときには音響取得処理を終了する。また、終了操作が行われていないときにはステップＳＴ１に戻り、情報信号の生成を継続する。
【００６２】
図１８は、音響提示処理を示すフローチャートである。ステップＳＴ１１では供給された情報信号ＷＳの分離を行う。例えば、記録媒体ドライブ７１２によって記録媒体に記録されている情報信号ＷＳが再生されたとき、あるいは、通信部７１３を介して情報信号ＷＳが供給されたとき、またはビデオカメラ等から情報信号ＷＳが信号入力部７１４に供給されたとき、この情報信号ＷＳから、音響信号ＳＡL，ＳＡRと位置情報信号ＰＲを分離してステップＳＴ１２に進む。
【００６３】
ステップＳＴ１２では、音響の出力方向の決定を行い、位置情報信号ＰＲによって示された音像の位置に応じたスピーカ２３L，２３Rの回転角を決定する。この回転角の決定では、音像の位置に対する回転角を、壁面１０の設置状態等を考慮して予め求めてハード・ディスク装置やメモリに記憶ものとして、位置情報信号ＰＲで示された音像の位置と対応する回転角を読み出すことで、回転角を容易に決定できる。
【００６４】
ステップＳＴ１３では、調整情報の生成を行い、音像の位置やスピーカの回転角等に基づいて、音響信号ＳＡL，ＳＡRを調整するための係数や位相補正値を決定する。
【００６５】
ステップＳＴ１４では、ステップＳＴ１２で決定された回転角となるようにスピーカ２３L，２３Rを回転させるための駆動信号ＭＤL，ＭＤRを生成して信号出力部７１５から出力させる。
【００６６】
ステップＳＴ１５では、ステップＳＴ１３で生成された調整情報を用いて音響信号ＳＡL，ＳＡRの調整を行い、調整音響信号ＳＢL，ＳＢRあるいは音響信号ＳＯL，ＳＯRを生成して信号出力部７１５から出力させる。
【００６７】
ステップＳＴ１６では、音響信号の再生を終了するか否かを判別する。ここで、入力部７１１を用いて終了操作が行われたときには音響提示処理を終了する。また、終了操作が行われていないときにはステップＳＴ１１に戻り、ステップＳＴ１１からステップＳＴ１５までの処理を繰り返す。
【００６８】
このように処理することで、音像の位置に応じてスピーカ２３L，２３Rの回転や音響信号ＳＡL，ＳＡRの調整が順次行われて、臨場感の高い奥行き感のある音響提示を行える。
【００６９】
なお、上述の実施の形態では、スピーカの向きを変えて音響の出力方向を可変するものとしたが、音響出力方向が異なるように複数のスピーカを配置して音響出力手段を構成して、音響を出力するスピーカを切り替えることで音響の出力方向を可変するものとしても良い。例えば図１９Ａに示すように、球面上に複数のスピーカ２７を設けるものとして、出力方向制御部３３では、音響信号ＳＯL，ＳＯRを供給するスピーカ２７を切り替えることで音響の出力方向を全方向に渡って可変する。また、図１９Ｂに示すように、円柱の側面に、周方向に複数のスピーカ２７を設けるものとして、出力方向制御部３３では、音響信号ＳＯL，ＳＯRを供給するスピーカを切り替えることで音響の出力方向を全周に渡って可変する。このように、スピーカを切り替えることで音響の出力方向を可変すれば、スピーカを回転させる駆動機構やスピーカの回転機構が不要となり、可動部分のない構造が簡単な音響出力手段を構成できる。また、可動部分がないことから、音像の位置を速やかに移動させる場合でも容易に対応できる。
【００７０】
また、音響出力手段は、スピーカを用いたものに限られるものではなく、音響を出力する発音体であれば良いことは勿論である。さらに、音響の出力方向が固定されているスピーカも合わせて用いるものとしても良い。例えば、固定されているスピーカから環境音や効果音等を出力すると共に、音響の出力方向が制御されるスピーカからは、移動する音源からの音響を出力すれば、さらに多彩な音響提示を行うことができる。
【００７１】
【発明の効果】
この発明によれば、聴取者のほぼ真横の左右に、回転、回転半径方向に移動、又は前後方向に移動が可能として音響出力手段が設けられて、音像を定位させる位置に応じて、音響出力手段が回転、回転半径方向に移動、又は前後方向に移動されるので、臨場感や移動感及び奥行き感のある音響提示を行うことができる。
【００７２】
また、音響の出力方向や音圧及び位相のうち少なくとも一つを制御するものとしたり、音響出力手段が壁面で仕切られた空間に設置された場合、壁面からの反射音を利用して音像が定位されて、臨場感や移動感及び奥行き感のある音響提示を行うことができる。
【００７４】
さらに、所望の周波数帯域の音響レベルが他の周波数帯域よりも高くされるので、所望の周波数帯域の音響に基づく音像を強調することができる。また、音響の音圧や位相の制御は、音響信号の信号レベルや位相を制御することにより行われるので、音響の音圧や位相を簡単に制御できる。
【図面の簡単な説明】
【図１】音響の聴取を示す図である。
【図２】直接音と反射音の関係を示す図である。
【図３】音響提示システムの構成を示す図である。
【図４】スピーカの構成を示す図である。
【図５】聴取者と座標軸の関係を示す図である。
【図６】スピーカを回転させたときの直接音と反射音を示す図である。
【図７】音響提示制御装置の構成を示す図である。
【図８】位置検出部の構成を示す図である。
【図９】画像信号処理装置の構成を示す図である。
【図１０】音響信号処理部の動作を説明するための図である。
【図１１】音像の位置とスピーカの向きの関係を示す図である。
【図１２】音像の左右方向の表現動作を説明するための図である。
【図１３】回転角度と時間差の関係を説明するための図である。
【図１４】インパルス応答を示す図である。
【図１５】スピーカの他の構成を示す図である。
【図１６】コンピュータを用いた場合の構成を示す図である。
【図１７】音響取得処理を示すフローチャートである。
【図１８】音響提示処理を示すフローチャートである。
【図１９】音響出力手段の他の構成を示す図である。
【符号の説明】
１１・・・空間、１２・・・視聴者、１３・・・音源、１５・・・画像表示領域、２３L，２３R，２７・・・スピーカ、２４L，２４R・・・回転駆動部、２５L，２５・・・支持体、２６・・・スライド機構、３０・・・音響提示制御装置、３１・・・ユーザインタフェース部、３２・・・音像位置決定部、３３・・・出力方向制御部、３４・・・音響信号処理部、３５・・・信号増幅部、４１・・・角度センサ、４２・・・測距センサ、４３・・・極座標算出部、５０・・・画像信号処理部、５１・・・シーンチェンジ検出部、５２・・・動き検出部、５３・・・画像位置移動部、７０４・・・ハード・ディスク・ドライブ、７０５・・・入出力インタフェース、７１１・・・入力部、７１２・・・記録媒体ドライブ、７１３・・・通信部、７１４・・・信号入力部、７１５・・・信号出力部
【発明の属する技術分野】
この発明は、音響提示装置と音響提示方法に関する。詳しくは、音響出力手段から出力された音響に基づく音像を定位させる位置に応じて、音響出力手段を回転及び前後方向に移動させるものである。
【０００２】
【従来の技術】
従来、音響提示方法としては、左チャネルと右チャネルのスピーカだけでなく、補助スピーカ等を固定して配置して、音の奥行き感や立体感を高めて臨場感の優れた音響提示が行われている。例えば、映画やＤＶＤ(Digital Versatile Disk)等で用いられている５．１チャネルや６．１チャネルのサラウンド方式では、前方以外に補助スピーカを設けて、ステレオ空間以上の奥行き感を得ると共に画像と音の融合感を高めて、臨場感の優れた音響提示が行われている。
【０００３】
また、無響室で収集された音やコンパクトディスクに記録された音に、任意空間のインパルス応答を畳み込み、任意の部屋の特性を再現することも行われている。例えば、コンサートホールやライブハウスあるいは教会等の再生空間と等しい特性となるようにフィルタ特性を予め設定して、ユーザが所望のフィルタ特性を選択することで、所望の再生空間の音場を再現させることも行われている。さらに、左チャネルと右チャネルのスピーカを用いて３次元音場を作り出すバーチャル立体音響も実現されている。
【０００４】
【発明が解決しようとする課題】
ところで、このような音響提示方法は、固定されたスピーカを用いているため、音の表現幅が小さい。また、上下方向やスピーカ間の中間位置における前後方向の奥行きを良好に表現ことが難しい。
【０００５】
そこで、この発明では、臨場感や移動感及び奥行き感のある音響提示を行うことができる音響提示装置と音響提示方法を提供するものである。
【０００６】
【課題を解決するための手段】
この発明に係る音響提示装置は、聴取者のほぼ真横の左右に設けられて、回転及び前後方向に移動が可能な音響出力を行う音響出力手段と、音響出力手段から出力された音響に基づく音像を定位させる位置に応じて、音響出力手段を回転及び前後方向に移動させる音響提示制御手段を有するものである。
【０００７】
また、音響提示方法は、聴取者のほぼ真横の左右に、回転及び前後方向に移動が可能として、音響信号に基づいて音響出力を行う音響出力手段を設ける工程と、音響出力手段から出力された音響に基づく音像を定位させる位置に応じて、音響出力手段を回転及び前後方向に移動させる工程を有するものである。
【００１０】
この発明においては、音響出力を行う音響出力手段が、例えば壁面で仕切られた空間内で、聴取者の左右側に設けられる。この音響出力手段から出力された音響に基づく音像を定位させる位置に応じて、音響出力手段が回転、回転半径方向に移動、又は前後方向に移動される。このように音響出力方向が制御されて、壁面からの反射音を利用して音像が定位される。
【００１１】
また、音像を定位させる位置に応じて、音響信号の信号レベル及び位相のうち少なくとも一つが調整されて、この調整後の音響信号に基づいて音響出力手段が駆動される。
【００１２】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は音響の聴取を示している。壁面１０によって仕切られた空間１１で聴取者１２が音源１３から出力された音響を聴取する場合、聴取者１２は、実線で示す直接音（音源１３から直接耳に届く音）ＤＳと破線で示す反射音（周囲の壁や天井及び床よって反射された音）ＲＳが統合された音響を聞くこととなる。
【００１３】
図２は直接音と反射音の関係をモデル化して示している。聴取者１２と音源１３との距離Ｌが短い場合（Ｌ＝Ｌ1）、図２Ａに示すように直接音ＤＳの支配率が高くなり、直接音ＤＳに対する反射音ＲＳの時間遅れＴdは小さい。また、聴取者１２と音源１３との距離Ｌが長くなると（Ｌ＝Ｌ2，Ｌ2＞Ｌ1）、図２Ｂに示すように直接音ＤＳと反射音ＲＳのレベルが小さくなると共に反射音ＲＳの支配率が高くなる。また、直接音ＤＳに対する反射音ＲＳの時間遅れＴdは大きくなる。さらに、聴取者１２と音源１３との距離Ｌが長くなると（Ｌ＝Ｌ3，Ｌ3＞Ｌ2）、図２Ｃに示すように直接音ＤＳや反射音ＲＳのレベルがさらに小さくなると共に、直接音ＤＳに対する反射音ＲＳの時間遅れＴdは大きくなる。なお、反射音ＲＳや時間遅れＴdは、空間１１の構成によって変化するものである。
【００１４】
このため、本願発明では、音像を定位させる位置に応じて音響の出力方向や音圧及び位相のうち少なくとも一つを制御することで、臨場感や移動感及び前後方向や上下方向の奥行き感のある音響提示を行う。すなわち、音響の出力方向を可変すると、音響を聴取する空間の反射特性によって、直接音ＤＳや反射音ＲＳを制御することが可能となる。さらに、音圧や位相を制御することで直接音ＤＳや反射音ＲＳを制御することが可能となり、臨場感や移動感及び奥行き感のある音響提示を行うことができる。
【００１５】
図３は、音響提示システムの構成を示している。この音響提示システムでは、聴取者１２を中心として、聴取者１２の左側に音響出力手段であるスピーカ２３L、右側に音響出力手段であるスピーカ２３Rを設けるものとする。なお、図３において破線で示す位置は、例えばスピーカ２３L，２３Rから出力される音響に関連した画像が表示される画像表示領域１５を示している。
【００１６】
スピーカ２３Lは、音響提示制御装置３０によって音響の出力方向を可変できる構成とされている。例えば、図４に示すように、回転駆動部（例えばステッピングモータ）２４Lを介してスピーカ２３Lと支持体２５Lを回転可能に取り付ける。ここで、音響提示制御装置３０によって回転駆動部２４Lを駆動することによりスピーカ２３Lを回転させることで、音響の出力方向を可変する。スピーカ２３Rも同様に構成して、音響の出力方向を可変できるものとする。また、音響提示制御装置３０からスピーカ２３Lに対して音響信号ＳＯLを供給すると共に、スピーカ２３Rに対して音響信号ＳＯRを供給することで、スピーカ２３L，２３Rから音響を出力させる。なお、図５に示すように、聴取者１２の両耳方向をＸ軸、前後方向をＹ軸、上下方向をＺ軸として以下の説明を行う。
【００１７】
壁面空間でスピーカ２３L，２３Rから音響を出力する場合、聴取者１２は、スピーカ２３L，２３Rから出力された音響の直接音ＤＳと壁面１０からの反射音ＲＳを聞くこととなる。ここで、スピーカ２３L，２３Rの回転軸をＺ軸方向としたとき、図６Ａに示すように、スピーカ２３L，２３Rからの音響の出力方向を聴取者１２の方向とすると、直接音ＤＳの支配率が高くなる。また、スピーカ２３Lとスピーカ２３Rが聴取者１２に対して左右側で対称の位置に設けられると共に音響の出力が等しいときには、音像が聴取者１２の位置となる。
【００１８】
また、図６Ｂに示すように、スピーカ２３Lを反時計方向に角度θ１だけ回転させると共にスピーカ２３Rを時計方向に角度θ１だけ回転させて、音響の出力方向を前方向に順次移動させる。この場合、反射音ＲＳの支配率が徐々に高くなり、音像は前方向に移動して奥行き感のある音響提示を行うことができる。さらに、図６Ｃに示すように、スピーカ２３L，２３Rをさらに角度θ２まで回転させると、反射音ＲＳの時間遅れが大きくなると共に、直接音ＤＳが減少して反射音ＲＳの支配率がさらに高くなる。
【００１９】
図７は、音響提示制御装置の構成を示している。ユーザインタフェース部３１では、ユーザ操作に応じて生成した操作信号ＰＳを音像位置決定部３２に供給する。音像位置決定部３２では、操作信号ＰＳあるいは外部から供給された位置情報信号ＰＲに基づき音像の位置を決定して、位置信号ＭＰを出力方向制御部３３と音響信号処理部３４に供給する。
【００２０】
出力方向制御部３３は、音像の位置が位置信号ＭＰで示された位置となるようにスピーカ２３L，２３Rを回転させるための駆動信号ＭＤL，ＭＤRを生成して、駆動信号ＭＤLをスピーカ２３L側に設けられた回転駆動部２４Lに供給すると共に、駆動信号ＭＤRをスピーカ２３R側に設けられた回転駆動部２４Rに供給する。
【００２１】
音響信号処理部３４では、音像の位置が位置信号ＭＰで示された位置となるように、入力音響信号ＳＡL，ＳＡRの位相や信号レベルを調整する。この調整が行われた信号は、調整音響信号ＳＢL，ＳＢRとして信号増幅部３５に供給される。
【００２２】
信号増幅部３５は、音響信号処理部３４から供給された調整音響信号ＳＢLを増幅して、音響信号ＳＯLとしてスピーカ２３Lに供給する。また、調整音響信号ＳＢRを増幅して、音響信号ＳＯRとしてスピーカ２３Rに供給する。このように入力音響信号ＳＡL，ＳＡRの位相や信号レベルを調整することで、音響の音圧や位相を制御できる。
【００２３】
回転駆動部２４Lは、上述したようにステッピングモータ等を用いて構成されており、音響提示制御装置３０から供給された駆動信号ＭＤLに基づいてスピーカ２３Lを回転させて、音像位置決定部３２で算出されたスピーカ回転角となるように向きを制御する。同様に、回転駆動部２４Rは、駆動信号ＭＤRに基づいてスピーカ２３Rを回転させて、音像位置決定部３２で算出されたスピーカ回転角となるように向きを制御する。
【００２４】
次に、音響提示制御装置の動作について説明する。ユーザインタフェース部３１が操作されて、スピーカ２３L，２３Rからの音響出力に基づく音像の位置が指定されるとき、ユーザインタフェース部３１では、この操作に応じた操作信号ＰＳを生成して音像位置決定部３２に供給する。
【００２５】
また、例えばビデオカメラとマイクロフォンを一体構造として、ビデオカメラの撮影方向に対して音響取得を行うことにより音響信号ＳＡL，ＳＡRを得る場合、このビデオカメラに位置検出部を設けて、この位置検出部によって音源の位置を示す位置情報信号ＰＲを生成して、音像位置決定部３２に供給する。
【００２６】
図８は、位置検出部の構成を示している。角度センサ４１は、回転角を測定できるセンサやジャイロ等を用いて角度を測定するものであり、ビデオカメラの撮像方向を検出して角度信号Ｓpaを極座標算出部４３に供給する。例えば基準位置に対する水平方向の角度（以下「方位角」という）や、基準位置に対する上下方向の角度（以下「ピッチ角」という）を示す角度信号Ｓpaを生成して極座標算出部４３に供給する。測距センサ４２は、光や超音波等を用いてあるいはビデオカメラの焦点位置に基づいて距離を測定するものであり、所望の被写体までの距離ＬＯを検出して距離信号Ｓpbを極座標算出部４３に供給する。極座標算出部４３では、角度信号Ｓpaと距離信号Ｓpbから極座標を算出して、この極座標を位置情報信号ＰＲとして出力する。
【００２７】
ここで、ビデオカメラで所望の被写体を追いかけて撮影を行った場合、所望の被写体からの音響がマイクロフォンで収音されて音響信号ＳＡL，ＳＡRが生成される。また、この所望の被写体が音像位置とされて、この音源の方向や距離を示す情報が位置情報信号ＰＲとして出力されることとなる。
【００２８】
さらに、画像信号に基づいて画像の動きを検出すると共に、検出した動きに応じて画像の表示位置を移動させることで、動きのある被写体の表示位置を被写体の動きに合わせて移動させる場合、この表示位置を音源の位置として、表示位置を示す信号を位置情報信号ＰＲとして用いるものとしても良い。
【００２９】
図９は、画像の動き検出結果に基づいて画像の表示位置を移動させた画像出力信号と、表示位置を示す信号を生成する画像信号処理装置の構成を示している。
【００３０】
画像信号ＳＶは、画像信号処理部５０のシーンチェンジ検出部５１と動き検出部５２と画像位置移動部５３に供給される。
【００３１】
シーンチェンジ検出部５１は、画像信号ＳＶに基づいてシーンチェンジ検出、すなわち連続シーンとこの連続シーンとは異なるシーンとの繋ぎ目部分である画像の不連続位置を検出してシーンチェンジ検出信号ＣＨを生成する。
【００３２】
動き検出部５２は、シーンチェンジ検出部５１で生成されたシーンチェンジ検出信号ＣＨによって連続シーンであることが示されたフレームに関して動きベクトルの検出を行い、表示面積の広い部分の動きベクトル例えば背景部分の動きベクトルを検出する。この動き検出部５２で検出された動きベクトルを示す動き検出情報ＭＶＤは画像位置移動部５３に供給される。
【００３３】
画像位置移動部５３は、シーンチェンジ検出信号ＣＨと動き検出情報ＭＶＤに基づき表示位置を決定する。この表示位置の決定では、連続シーンの期間中における動き検出情報ＭＶＤで示された動きベクトルを累積して、動きベクトルの時間推移情報である動き累積値ＭＶＴを生成して、動き累積値ＭＶＴの振れ幅を求めることでシーン毎に表示位置の移動範囲を判別する。次に、この移動範囲が画像表示領域内の移動可能範囲（画像表示領域の右側端部に画像を表示したときと、画像を水平移動させて左側端部に表示したときの表示画像の中心間の距離）の中央となるように、連続シーンの最初の表示画像に対する表示位置を決定する。また、連続シーンの最初の表示画像を表示してから連続シーンの最後の画像を表示するまでの期間中、動き検出情報ＭＶＤに基づいて画像の表示位置を移動させたときに、表示画像が画像表示領域に入りきるように動き検出情報ＭＶＤの補正を行い、この補正後の動き検出情報ＭＶＤに基づき画像を移動させるものとして、表示位置を決定する。この決定された表示位置を示す信号を位置情報信号ＰＲとして音像位置決定部３２に供給する。また、画像位置移動部５３では、画像信号ＳＶに基づく画像を決定された表示位置に移動した画像信号ＳＶoutを生成して出力する。
【００３４】
図７の音像位置決定部３２では、操作信号ＰＳに基づき、ユーザインタフェース部３１で設定された音像の位置を示す位置信号ＭＰを生成する。また、位置情報信号ＰＲに基づき、音源位置や画像の表示位置を音像の位置とする位置信号ＭＰを生成する。この生成した位置信号ＭＰは、出力方向制御部３３と音響信号処理部３４に供給する。
【００３５】
出力方向制御部３３は、位置信号ＭＰに基づき駆動信号ＭＤL，ＭＤRを生成して回転駆動部２４L，２４Rに供給することにより、音像の位置が位置信号ＭＰで示された位置となるようにスピーカ２３L，２３Rを回転させる。
【００３６】
音響信号処理部３４は、位置信号ＭＰに基づき音響信号の位相や信号レベルを調整する。図１０は、音響信号処理部３４の動作を説明するための図である。位置信号ＭＰに基づきスピーカ２３Lの回転角が「θL」、スピーカ２３Rの回転角が「θR」とされる場合、音響信号処理部３４は左チャネルの音響信号ＳＡL(t)、右チャネルの音響信号ＳＡR(t)に対して式（１），（２）に示す処理を行い、調整音響信号ＳＢL(t)，ＳＢR(t)を生成する。
ＳＢL(t)＝α（θL）×ＳＡL（ｔ−ＴＤL） ・・・（１）
ＳＢR(t)＝β（θR）×ＳＢR（ｔ−ＴＤR） ・・・（２）
【００３７】
なお、式（１）（２）において、「α（θL）」は回転角θLに基づいた増幅係数であり、「β（θR）」は回転角θRに基づいた増幅係数である。さらに、位相補正値「ＴＤL」「ＴＤR」は、時間進みあるいは時間遅れを表している。この増幅係数「α(θL)」「β（θR）」や位相補正値「ＴＤL」「ＴＤR」は、音像の位置、壁面１０の吸音率や配置、壁面１０とスピーカ２３L，２３Rの位置関係等に基づいて設定する。例えば、音像が正面中央よりも右側に位置しているときには、位相補正値「ＴＤL」「ＴＤR」によって左チャネルの調整音響信号ＳＢLを右チャネルの調整音響信号ＳＢRよりも遅延させる。また壁面１０の吸音率が高ければ、増幅係数「α」，「β」は大きな値とする。
【００３８】
この音響信号処理部３４で生成した調整音響信号ＳＢL，ＳＢRを、信号増幅部３５で増幅して、音響信号ＳＯLとしてスピーカ２３Lに供給すると共に、音響信号ＳＯRとしてスピーカ２３Rに供給する。
【００３９】
音像位置決定部３２によって音像の位置が決定されると、駆動信号ＭＤL，ＭＤRによって直接音の支配率を調整できる。ここで、図１１に示すように、聴取者１２の左右側にスピーカ２３L，２３Rを設けるものとして、聴取者１２の近くに音像を置きたい場合には、スピーカ２３L，２３Rを聴取者１２側の向きとする。例えば、音像の位置を聴取者１２の前方で近い位置Ｉｂとするとき、図１１のＢ方向付近に回転角を合わせて反射音の影響を少なくする。同様に、音像の位置を聴取者１２の後方で近い位置Ｉｃとするとき、図１１のＣ方向付近に回転角を合わせて反射音の影響を少なくする。反対に、聴取者からはなれた位置に音像を置きたい場合には、スピーカを外向きにする。例えば、音像の位置を聴取者１２の前方で離れた位置Ｉａとするとき、図１１のＡ方向付近に回転角を合わせて壁面１０からの反射音の影響を大きくする。同様に、音像の位置を聴取者１２の後方で離れた位置Ｉｄとするとき、図１１のＤ方向付近に回転角を合わせて反射音の影響を大きくする。
【００４０】
このように、音像の位置に応じてスピーカ２３L，２３Rを回転させて音響の出力方向を制御することで、例えばスピーカ２３L，２３RをＡ方向からＤ方向に回転させると、音像の位置が前方から後方に移動するものとなる。特に、聴取者１２の左右側にスピーカ２３L，２３Rを設けることで、この音像の位置の移動が明確となり、臨場感の高い音響提示を行うことができる。また、スピーカ２３L，２３Rを回転することで、音響の出力方向を連続的に可変できるものであるから、音像の位置を連続的かつ滑らかに移動させることができる。
【００４１】
また、音響信号処理部３４で音響信号の信号レベルや位相を制御することで、音響の音圧や位相を容易かつ精度良く制御できるので、音像をより正しい位置に定位させて、さらに臨場感の高い音響提示を行うことができる。
【００４２】
ここで、前後方向の音像の表現では、左右の音量差が無くなると共に左右の位相差が無くなるように調整音響信号ＳＢL，ＳＢRを生成する。左右方向の音像の表現では、左耳で聞こえた音と右耳で聞こえた音との音量差及び位相差によって音像の左右方向の位置が表現される。例えば図１２の実線で示す右側の音響ＳＵRに対して、左側の音響ＳＵLを破線で示すように音量レベルを小さくすると共に、時間遅れＴeを生じさせると、音源や音像の位置が中央より右側の位置に感じられる。このため、音像の位置に応じて、増幅係数α，βや位相補正値ＴＤL，ＴＤRの調整を行うことで、より臨場感が高い音響提示を行うことができる。
【００４３】
位相補正値ＴＤL，ＴＤRの算出では、スピーカ２３L，２３Rの回転角度と時間差の関係を予め算出しておき、スピーカ２３L，２３Rの回転角度に応じた時間差に位相補正値ＴＤL，ＴＤRを加えることで、所望の位置に音像が形成されるように位相補正値ＴＤL，ＴＤRを調整する。
【００４４】
スピーカ２３L，２３Rの回転角度と時間差の関係は、図１３に基づいて求めることができる。例えば、スピーカ２３Lの角度を設定して、このスピーカ２３Lから出力されたインパルス音に基づく聴取位置ＱＬでのインパルス応答を測定する。図１４Ａはスピーカ２３Lから出力されたインパルス音に基づくインパルス応答を示している。同様に、スピーカ２３Rから出力されたインパルス音に基づくインパルス応答を測定する。図１４Ｂはスピーカ２３Rから出力されたインパルス音に基づくインパルス応答を示している。
【００４５】
ここで、インパルス音の出力から最初の間接音が聴取位置に届くまでの時間ＴＬO，ＴＲOを求める。なおインパルス応答は、直接測定しても良くシミュレーションで予め求めておくものとしても良い。
【００４６】
このようにして時間ＴＬO，ＴＲOを求めると、式（３）に基づいて時間差ΔＴfを算出できる。すなわち、スピーカ２３L，２３Rの回転角度に基づく時間ＴＬO，ＴＲOを用いて時間差ΔＴfを求めることができる。なお、この時間差ΔＴfは、聴取者に対して左右感覚を与える遅延量である。
ΔＴf＝ＴＬO−ＴＲO ・・・（３）
【００４７】
このため、所望の位置に音像が形成するために必要とされる時間差ΔＴgが時間差ΔＴfで得ることができない場合、式（４）を満足するようにされるよう位相補正値ＴＤを設定する。
ΔＴg＝ΔＴf＋ＴＤ ・・・（４）
【００４８】
例えば、位相補正値ＴＤRを設定したときには、図１４Ｂに示すインパルス応答は、図１４Ｃに示すものとなり、スピーカの回転だけでは表現できない音像の位置を、位相補正値を用いることで表示することができる。
【００４９】
また、上述の音響信号処理部３４では、音響信号ＳＡL，ＳＡRの周波数帯域分離を行い、所望の周波数帯域の信号レベルが他の周波数帯域よりも高くなるように調整を行うものとする。この場合には、所望の周波数帯域の音響に基づく音像をより強調して表現できる。また、音響信号ＳＡL，ＳＡRの周波数帯域分離を行い、周波数帯域に応じた信号処理を行うものとしても良い。例えば高音域や中音域に比べて低音域は音響の指向性が低く、どの方向から聞こえてくるかを認識しにくい。このため、中音域や高音域を強調するように信号処理を行うことで、音像を認識しやすくして臨場感の高い音響提示を行うことができる。
【００５０】
ところで、上述のスピーカ２３L，２３Rでは、Ｚ軸を中心として時計方向あるいは反時計方向に回転することで、音響の出力方向を制御するものとしたが、スピーカ２３L，２３Rの位置をＹ軸方向（前後方向）に移動することで、音響の出力方向を可変させるものとしても良い。
【００５１】
図１５は、スピーカ２３L，２３Rの位置をＹ軸方向に移動させる場合の構成を示している。例えば図１５Ａでは、スピーカ２３L，２３Rを回転させる際の回転半径ｒを大きくして、音響の出力方向を可変させるだけでなく、スピーカ２３L，２３Rの位置を前後方向に移動させる。あるいは、図１５Ｂに示すように、回転駆動部を前後方向に移動させるスライド機構２６を設けるものとして、スピーカ２３L，２３Rの回転と前後方向の移動を独立に行うものとする。ここで、例えばスピーカを前方向に移動させることで前方向に対する奥行き感を高めることができる。また、スピーカを後方向に移動させることで後方向に対する奥行き感を高めることができる。
【００５２】
このように、音響提示制御装置３０によって、音像を定位させる位置に応じて音響の出力方向や音圧及び位相のうち少なくとも一つを制御することで、臨場感の高い音響提示を行うことができる。
【００５３】
さらに、上述の処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。この場合の構成を図１６に示す。コンピュータは、図１６に示すようにＣＰＵ(Central Processing Unit)７０１を内蔵しており、このＣＰＵ７０１にはバス７２０を介してＲＯＭ７０２，ＲＡＭ７０３，ハード・ディスク・ドライブ７０４，入出力インタフェース７０５が接続されている。さらに、入出力インタフェース７０５には入力部７１１や記録媒体ドライブ７１２，通信部７１３，信号入力部７１４，信号出力部７１５が接続されている。
【００５４】
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部７１１から命令が入力されたりると、この命令が入出力インタフェース７０５を介してＣＰＵ７０１に供給される。
【００５５】
ＣＰＵ７０１は、ＲＯＭ７０２やＲＡＭ７０３あるいはハード・ディスク・ドライブ７０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ７０２やＲＡＭ７０３あるいはハード・ディスク・ドライブ７０４には、上述の音響提示システムにおける信号処理をコンピュータで実行させるための音響提示処理プログラムを予め記憶させて、信号入力部７１４に入力された信号に基づいて音響出力信号を生成して、信号出力部７１５から出力する。また、記録媒体に音響提示処理プログラムを記録しておくものとし、記録媒体ドライブ７１２によって、音響提示処理プログラムを記録媒体に記録しあるいは記録媒体に記録されている音響提示処理プログラムを再生してコンピュータで実行するものとしても良い。さらに、通信部７１３によって、音響提示処理プログラムを有線あるいは無線の伝送路を介して送信あるいは受信するものとし、受信した音響提示処理プログラムをコンピュータで実行するものとしても良い。
【００５６】
次に、音響提示処理プログラムについて説明する。ここで、信号入力部７１４には、音響信号ＳＡL，ＳＡRや位置情報信号ＰＲに基づいて生成された情報信号ＷＳが供給される場合を説明する。
【００５７】
図１７は音響取得処理を示すフローチャートである。この音響取得処理は、例えばビデオカメラ側あるいはコンピュータ側のいずれで行っても良い。
【００５８】
ステップＳＴ１では、位置情報信号の生成を行う。すなわち、角度センサからの角度信号Ｓpaや測距センサからの距離信号Ｓpbに基づき極座標計算を行い、位置情報信号ＰＲを生成する。また、この位置情報信号ＰＲと音響信号ＳＡL，ＳＡRを例えば多重化して情報信号ＷＳを生成する。
【００５９】
ステップＳＴ２では、生成した情報信号ＷＳを記録媒体に記録あるいは外部機器に伝送するように設定されているか否かを判別する。ここで、情報信号の記録や伝送を行うように設定されている場合にはステップＳＴ３に進み、情報信号の記録や伝送を行わないように設定されている場合にはステップＳＴ４に進む。
【００６０】
ステップＳＴ３では、情報信号の記録や伝送を行ってからステップＳＴ４に進む。ここで、情報信号を記録する場合には、情報信号を磁気や光等を利用して記録再生を行う記録媒体あるいは半導体等を用いて構成された記録媒体に記録する。また、情報信号を伝送する場合には、有線や無線の通信路を介して情報信号を出力する。
【００６１】
ステップＳＴ４では、音響取得を終了するか否かを判別する。ここで、音響取得の終了操作が行われたときには音響取得処理を終了する。また、終了操作が行われていないときにはステップＳＴ１に戻り、情報信号の生成を継続する。
【００６２】
図１８は、音響提示処理を示すフローチャートである。ステップＳＴ１１では供給された情報信号ＷＳの分離を行う。例えば、記録媒体ドライブ７１２によって記録媒体に記録されている情報信号ＷＳが再生されたとき、あるいは、通信部７１３を介して情報信号ＷＳが供給されたとき、またはビデオカメラ等から情報信号ＷＳが信号入力部７１４に供給されたとき、この情報信号ＷＳから、音響信号ＳＡL，ＳＡRと位置情報信号ＰＲを分離してステップＳＴ１２に進む。
【００６３】
ステップＳＴ１２では、音響の出力方向の決定を行い、位置情報信号ＰＲによって示された音像の位置に応じたスピーカ２３L，２３Rの回転角を決定する。この回転角の決定では、音像の位置に対する回転角を、壁面１０の設置状態等を考慮して予め求めてハード・ディスク装置やメモリに記憶ものとして、位置情報信号ＰＲで示された音像の位置と対応する回転角を読み出すことで、回転角を容易に決定できる。
【００６４】
ステップＳＴ１３では、調整情報の生成を行い、音像の位置やスピーカの回転角等に基づいて、音響信号ＳＡL，ＳＡRを調整するための係数や位相補正値を決定する。
【００６５】
ステップＳＴ１４では、ステップＳＴ１２で決定された回転角となるようにスピーカ２３L，２３Rを回転させるための駆動信号ＭＤL，ＭＤRを生成して信号出力部７１５から出力させる。
【００６６】
ステップＳＴ１５では、ステップＳＴ１３で生成された調整情報を用いて音響信号ＳＡL，ＳＡRの調整を行い、調整音響信号ＳＢL，ＳＢRあるいは音響信号ＳＯL，ＳＯRを生成して信号出力部７１５から出力させる。
【００６７】
ステップＳＴ１６では、音響信号の再生を終了するか否かを判別する。ここで、入力部７１１を用いて終了操作が行われたときには音響提示処理を終了する。また、終了操作が行われていないときにはステップＳＴ１１に戻り、ステップＳＴ１１からステップＳＴ１５までの処理を繰り返す。
【００６８】
このように処理することで、音像の位置に応じてスピーカ２３L，２３Rの回転や音響信号ＳＡL，ＳＡRの調整が順次行われて、臨場感の高い奥行き感のある音響提示を行える。
【００６９】
なお、上述の実施の形態では、スピーカの向きを変えて音響の出力方向を可変するものとしたが、音響出力方向が異なるように複数のスピーカを配置して音響出力手段を構成して、音響を出力するスピーカを切り替えることで音響の出力方向を可変するものとしても良い。例えば図１９Ａに示すように、球面上に複数のスピーカ２７を設けるものとして、出力方向制御部３３では、音響信号ＳＯL，ＳＯRを供給するスピーカ２７を切り替えることで音響の出力方向を全方向に渡って可変する。また、図１９Ｂに示すように、円柱の側面に、周方向に複数のスピーカ２７を設けるものとして、出力方向制御部３３では、音響信号ＳＯL，ＳＯRを供給するスピーカを切り替えることで音響の出力方向を全周に渡って可変する。このように、スピーカを切り替えることで音響の出力方向を可変すれば、スピーカを回転させる駆動機構やスピーカの回転機構が不要となり、可動部分のない構造が簡単な音響出力手段を構成できる。また、可動部分がないことから、音像の位置を速やかに移動させる場合でも容易に対応できる。
【００７０】
また、音響出力手段は、スピーカを用いたものに限られるものではなく、音響を出力する発音体であれば良いことは勿論である。さらに、音響の出力方向が固定されているスピーカも合わせて用いるものとしても良い。例えば、固定されているスピーカから環境音や効果音等を出力すると共に、音響の出力方向が制御されるスピーカからは、移動する音源からの音響を出力すれば、さらに多彩な音響提示を行うことができる。
【００７１】
【発明の効果】
この発明によれば、聴取者のほぼ真横の左右に、回転、回転半径方向に移動、又は前後方向に移動が可能として音響出力手段が設けられて、音像を定位させる位置に応じて、音響出力手段が回転、回転半径方向に移動、又は前後方向に移動されるので、臨場感や移動感及び奥行き感のある音響提示を行うことができる。
【００７２】
また、音響の出力方向や音圧及び位相のうち少なくとも一つを制御するものとしたり、音響出力手段が壁面で仕切られた空間に設置された場合、壁面からの反射音を利用して音像が定位されて、臨場感や移動感及び奥行き感のある音響提示を行うことができる。
【００７４】
さらに、所望の周波数帯域の音響レベルが他の周波数帯域よりも高くされるので、所望の周波数帯域の音響に基づく音像を強調することができる。また、音響の音圧や位相の制御は、音響信号の信号レベルや位相を制御することにより行われるので、音響の音圧や位相を簡単に制御できる。
【図面の簡単な説明】
【図１】音響の聴取を示す図である。
【図２】直接音と反射音の関係を示す図である。
【図３】音響提示システムの構成を示す図である。
【図４】スピーカの構成を示す図である。
【図５】聴取者と座標軸の関係を示す図である。
【図６】スピーカを回転させたときの直接音と反射音を示す図である。
【図７】音響提示制御装置の構成を示す図である。
【図８】位置検出部の構成を示す図である。
【図９】画像信号処理装置の構成を示す図である。
【図１０】音響信号処理部の動作を説明するための図である。
【図１１】音像の位置とスピーカの向きの関係を示す図である。
【図１２】音像の左右方向の表現動作を説明するための図である。
【図１３】回転角度と時間差の関係を説明するための図である。
【図１４】インパルス応答を示す図である。
【図１５】スピーカの他の構成を示す図である。
【図１６】コンピュータを用いた場合の構成を示す図である。
【図１７】音響取得処理を示すフローチャートである。
【図１８】音響提示処理を示すフローチャートである。
【図１９】音響出力手段の他の構成を示す図である。
【符号の説明】
１１・・・空間、１２・・・視聴者、１３・・・音源、１５・・・画像表示領域、２３L，２３R，２７・・・スピーカ、２４L，２４R・・・回転駆動部、２５L，２５・・・支持体、２６・・・スライド機構、３０・・・音響提示制御装置、３１・・・ユーザインタフェース部、３２・・・音像位置決定部、３３・・・出力方向制御部、３４・・・音響信号処理部、３５・・・信号増幅部、４１・・・角度センサ、４２・・・測距センサ、４３・・・極座標算出部、５０・・・画像信号処理部、５１・・・シーンチェンジ検出部、５２・・・動き検出部、５３・・・画像位置移動部、７０４・・・ハード・ディスク・ドライブ、７０５・・・入出力インタフェース、７１１・・・入力部、７１２・・・記録媒体ドライブ、７１３・・・通信部、７１４・・・信号入力部、７１５・・・信号出力部
Claims (4)
- 聴取者のほぼ真横の左右に設けられて、回転及び前後方向に移動が可能な音響出力を行う音響出力手段と、
前記音響出力手段から出力された音響に基づく音像を定位させる位置に応じて、前記音響出力手段を回転及び前後方向に移動させる音響提示制御手段とを有する
音響提示装置。 - 前記音響提示制御手段は、前記音響の音圧及び位相のうち少なくとも一つを制御する
請求項１記載の音響提示装置。 - 前記音響提示制御手段は、所望の周波数帯域の音響レベルを他の周波数帯域よりも高くする
請求項２記載の音響提示装置。 - 聴取者のほぼ真横の左右に、回転及び前後方向に移動が可能として、音響信号に基づいて音響出力を行う音響出力手段を設ける工程と、
前記音響出力手段から出力された音響に基づく音像を定位させる位置に応じて、前記音響出力手段を回転及び前後方向に移動させる工程を有する
音響提示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002151466A JP4363004B2 (ja) | 2002-05-24 | 2002-05-24 | 音響提示装置と音響提示方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002151466A JP4363004B2 (ja) | 2002-05-24 | 2002-05-24 | 音響提示装置と音響提示方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003348698A JP2003348698A (ja) | 2003-12-05 |
| JP2003348698A5 JP2003348698A5 (ja) | 2005-10-06 |
| JP4363004B2 true JP4363004B2 (ja) | 2009-11-11 |
Family
ID=29769054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002151466A Expired - Fee Related JP4363004B2 (ja) | 2002-05-24 | 2002-05-24 | 音響提示装置と音響提示方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4363004B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8196386B2 (en) | 2008-03-19 | 2012-06-12 | Honeywell International Inc. | Position sensors, metering valve assemblies, and fuel delivery and control systems |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5181564B2 (ja) * | 2007-07-31 | 2013-04-10 | ヤマハ株式会社 | オーディオ再生装置 |
| JP6289121B2 (ja) * | 2014-01-23 | 2018-03-07 | キヤノン株式会社 | 音響信号処理装置、動画撮影装置およびそれらの制御方法 |
| HK1195445A2 (en) * | 2014-05-08 | 2014-11-07 | 黃偉明 | Endpoint mixing system and reproduction method of endpoint mixed sounds |
| CN108347669B (zh) * | 2018-04-18 | 2024-04-05 | 深圳市健马科技发展有限公司 | 一种角度可调节音箱结构、音响***和调节方法 |
| JP7013513B2 (ja) * | 2020-03-31 | 2022-01-31 | 本田技研工業株式会社 | 車両 |
-
2002
- 2002-05-24 JP JP2002151466A patent/JP4363004B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8196386B2 (en) | 2008-03-19 | 2012-06-12 | Honeywell International Inc. | Position sensors, metering valve assemblies, and fuel delivery and control systems |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003348698A (ja) | 2003-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7229925B2 (ja) | 空間オーディオシステムにおける利得制御 | |
| JP6117384B2 (ja) | １人以上の聴取者のロケーションに基づくスピーカアレイのビームパターンの調整 | |
| JP4914124B2 (ja) | 音像制御装置及び音像制御方法 | |
| JP2964514B2 (ja) | 音響信号再生装置 | |
| JP4819823B2 (ja) | 音響システム駆動装置、駆動方法および音響システム | |
| US8170246B2 (en) | Apparatus and method for reproducing surround wave field using wave field synthesis | |
| JP5992409B2 (ja) | 音再生のためのシステム及び方法 | |
| JP2007266967A (ja) | 音像定位装置およびマルチチャンネルオーディオ再生装置 | |
| WO1991011079A1 (fr) | Appareil de reproduction de signaux acoustiques | |
| CA2401986A1 (en) | System and method for optimization of three-dimensional audio | |
| JP2013514696A (ja) | 第１のパラメトリック空間オーディオ信号を第２のパラメトリック空間オーディオ信号に変換する装置および方法 | |
| AU2001239516A1 (en) | System and method for optimization of three-dimensional audio | |
| US11122381B2 (en) | Spatial audio signal processing | |
| CN109891503A (zh) | 声学场景回放方法和装置 | |
| CN100553372C (zh) | 用于计算扬声器信号中成分的离散值的装置和方法 | |
| JPWO2018060549A5 (ja) | ||
| CN112672251A (zh) | 一种扬声器的控制方法和***、存储介质及扬声器 | |
| JP4363004B2 (ja) | 音響提示装置と音響提示方法 | |
| JP2671329B2 (ja) | オーディオ再生装置 | |
| JP3900676B2 (ja) | オーディオ装置の聴取位置自動設定装置 | |
| JP3968882B2 (ja) | スピーカ一体形カラオケ装置及びスピーカ一体形装置 | |
| JP2900985B2 (ja) | ヘッドホン再生装置 | |
| JP2010193105A (ja) | 音場創生装置 | |
| JP2893779B2 (ja) | ヘッドホン装置 | |
| JP2005318396A (ja) | 音場補正機能付きオーディオ再生システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050520 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050520 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060426 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070605 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070806 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081216 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090216 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090317 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090518 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090528 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090728 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090810 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130828 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |