JP4518142B2 - 音場補正装置、音場補正方法 - Google Patents
音場補正装置、音場補正方法 Download PDFInfo
- Publication number
- JP4518142B2 JP4518142B2 JP2007332536A JP2007332536A JP4518142B2 JP 4518142 B2 JP4518142 B2 JP 4518142B2 JP 2007332536 A JP2007332536 A JP 2007332536A JP 2007332536 A JP2007332536 A JP 2007332536A JP 4518142 B2 JP4518142 B2 JP 4518142B2
- Authority
- JP
- Japan
- Prior art keywords
- correction
- sound field
- positions
- normal
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Stereophonic System (AREA)
Description
つまり、先ず、音場補正装置により、リスニング環境における音響特性を測定し、その測定結果に基づいて、オーディオシステムの音声出力系に対して、音場補正のための信号処理のパラメータを設定するものである。このようして設定されたパラメータに従って信号処理された音声信号をスピーカから出力させれば、特にユーザが音場調整操作をしなくとも、そのリスニング環境に適合して補正された良好な音場で音声ソースを聴くことができるわけである。
先ず、そのリスニング空間のなかにおいて、聴取者の耳の位置に対応するとされるリスニングポジション(補正位置)にマイクロフォンを配置する。そして、音場補正装置により、スピーカから測定音を出力させ、この出力された測定音をマイクロフォンにより収音して、収音して得られた音声信号をA/D変換する。音響補正装置では、このA/D変換した測定音の特性に基づいて、例えば各スピーカと聴取位置(マイクロフォンの設置位置:収音位置)との間の距離の情報を得る。この距離の情報に基づいては、各スピーカから聴取位置までの空間における音声の到達時間が得られるので、音響補正装置では、各スピーカの到達時間の情報を利用して、各スピーカから放出された音声が聴取位置に到達するタイミングが一致するように、各スピーカに対応するチャンネルの音声信号について遅延時間を設定するようにされる。このような補正は、一般にタイムアライメントともいわれる。
ここで、例えば、自動車の運転席に座ったときのリスニングポジションと、助手席に座ったときのリスニングポジションとについて測定を行って、両者のリスニングポジションについての補正パラメータを得たとする。この場合、音場補正装置としては、これら2つのリスニングポジションのいずれかに対応した音場補正が可能となる。
このようなときには、現実的なこととして、運転席側と助手席側との中間位置が適正音場となるように設定して、双方にとって許容ができるような音場の聞こえ方とすることを、ユーザが行いたいであろうということは容易に想像できる。
また、現実的なこととして、そのときの状況に応じて、運転席側と助手席側との中間範囲において、適正音場となる位置を運転席寄りにしたり、逆に助手席側にしたりするなど、このような音場補正には、できるだけ自由度が高い方が好ましい。しかし、現状としては、上記したことからも分かるように、リスニングポジション(補正位置:測定位置)を決めたうえで測定をしなければ、その位置に対応した補正パラメータを得ることができないという面倒さを伴うために、音場補正の自由度は決して高くはない。
つまり、音場を補正するための所定の音声信号処理を、補正情報に基づいて実行する音場補正手段と、複数の正規補正位置の各々についての上記補正情報を取得する情報取得手段と、上記複数の正規補正位置を含む所定の空間範囲において、音場補正対象となる位置である対象補正位置を、ユーザ操作により指定する指定手段と、上記複数の正規補正位置の各々についての上記補正情報に基づいて、上記指定手段により複数指定された対象補正位置の中間範囲における位置に対応する補正情報を算出する補正情報算出手段と、上記補正情報算出手段により算出された補正情報に基づいて、上記音場補正手段が上記音声信号処理を実行するように制御する制御手段と、表示部とを備え、上記情報取得手段は、所定の音響測定項目についての測定を行なう音響測定手段を備え、上記複数の正規補正位置の各々を測定対象位置とした上記音響測定手段による測定結果として、上記複数の正規補正位置の各々についての上記補正情報を取得するようにされ、上記指定手段は、上記複数の正規補正対象位置の内2点の上記正規補正対象位置が指定されると上記表示部に上記2点の対象補正位置と、これらの2点の対象補正位置が含まれる範囲において、ユーザ操作により上記中間範囲における位置を指定可能とされる操作子とを表示し、該操作子が操作されることによって該中間範囲における位置が指定されるよう構成することとした。
つまり、音場を補正するための所定の音声信号処理を、補正情報に基づいて実行する音場補正方法であって、複数の正規補正位置の各々についての上記補正情報を取得する情報取得手順と、上記複数の正規補正位置を含む所定の空間範囲において、音場補正対象となる位置である対象補正位置をユーザ操作により指定する指定手順と、上記複数の正規補正位置の各々についての上記補正情報に基づいて、上記複数指定された対象補正位置の中間範囲における位置に対応する補正情報を算出する補正情報算出手順と、上記補正情報算出手順により算出された補正情報に基づいて、上記音声信号処理を実行する信号処理手順と、表示処理手順とを実行し、上記情報取得手順は、所定の音響測定項目についての測定を行なう音響測定手順を実行し、上記複数の正規補正位置の各々を測定対象位置とした上記音響測定手順における測定結果として、上記複数の正規補正位置の各々についての上記補正情報を取得するようにされ、上記指定手順は、上記複数の正規補正対象位置の内2点の上記正規補正対象位置が指定されると上記表示において上記2点の対象補正位置と、これらの2点の対象補正位置が含まれる範囲において、ユーザ操作により上記中間範囲における位置を指定可能とされる操作子とを表示し、該操作子が操作されることによって該中間範囲における位置が指定されるように構成することとした。
そして、複数の正規補正位置を含む所定位置範囲内における補正位置の指定は、ユーザインターフェイスを介したユーザ操作によって行われる。
そして、音場補正の対象となる補正位置の指定はユーザインターフェイスを介した操作によって行われるのであるから、ユーザにとっては、補正位置の指定操作を行うと、この操作がそのまま音場補正に反映されるように見えることとなる。これにより、上記した音場補正の手軽さ、簡便さ、及び自由度はより高められる。
本実施の形態としての音場補正装置は、マルチチャンネルに対応するオーディオシステムに搭載される。つまり、マルチチャンネルに対応するスピーカから出力される音により形成される音場を補正するための機能を有する。また、本実施の形態のオーディオシステムについては、オーディオ再生だけではなくビデオ再生も可能なAV(Audio Video)システムに含められている場合を例に挙げている。また、本実施の形態のAVシステムは、自動車に搭載される、いわゆる車載オーディオシステムであることとする。
この図に示す本実施の形態のAVシステム1において、メディア再生部11は、例えば映像/音声コンテンツとしてのデータが記録されたメディアについての再生を行って、ビデオ信号とオーディオ信号を再生して出力する。なお、ここでは、メディア再生部11は、デジタルによるビデオ信号及びオーディオ信号を出力させることとしている。
この場合において、メディア再生部11において再生対象となるメディアの種別、フォーマット等については特に限定されるべきものではないが、例えば、現状であれば、DVD(Digital Versatile Disc)を考えることができる。メディア再生部11の具体的構成としてDVDに対応する場合には、装填されたDVDに記録されたビデオ/オーディオコンテンツとしてのデータを読み出して、例えば同時に再生出力されるべきビデオデータとオーディオデータとを得るようにされる。ここで、現状のDVDフォーマットでは、ビデオデータとオーディオデータは、DVD規格に準拠した所定方式に従って圧縮符号化された符号形式となっているので、この圧縮符号化されたビデオデータとオーディオデータとについてデコード処理を施すようにされる。そして、このデコード処理により得られた、デジタルビデオ信号とデジタルオーディオ信号について、再生時間が同期したタイミングにより出力するようにされる。
一例ではあるが、本実施の形態としては、メディア再生部11が、最大で、センターチャンネル(C)、フロント左チャンネル(FL)、フロント右チャンネル(FR)、左サラウンドチャンネル(BL)、右サラウンドチャンネル(BR)、サブウーファチャンネルの5.1chサラウンドに対応するものである場合には、これらの各チャンネルごとに対応して、6系統によりオーディオ信号を出力するようにされる。
そして、パワーアンプ部13により各チャンネルのオーディオ信号を増幅して得られるドライブ信号をしかるべきチャンネルのスピーカ14に供給することにより、スピーカ14からは、対応するチャンネルの音声を空間に出力する。これにより、マルチチャンネル構成に応じた音場を形成するようにしてコンテンツの音声の再生出力が行われることになる。なお、確認のために述べておくと、このようにしてスピーカから再生出力される音声は、ビデオ信号に応じて映像表示装置12において表示される画像との同期(いわゆるリップシンク)が保たれたものとなる。
先に音場補正/測定機能部22について説明する。
この音場補正/測定機能部22としては、2つの機能を有する。1つは、音場補正のために必要な音場制御のためのパラメータ値を設定するために、リスニング環境についての音響測定を行なうための測定機能を有する。この測定機能を実行しているときには、必要に応じて、しかるべきオーディオチャンネルから測定音が出力されるように、パワーアンプ回路13に対して測定音の信号を出力する。
また、上記測定機能による測定結果に従って設定された音場制御のためのパラメータ値に従って、メディア再生部11から入力されてくる各チャンネルごとのオーディオ信号について所要の信号処理を施して、パワーアンプ部13に出力するようにされる。これにより、スピーカから出力されるコンテンツの音声により形成される音場としては、しかるべき聴取位置において最適なものとなるように補正されていることになる。
この場合のメモリ部18には、少なくとも、音場補正ユニット部15における音場補正の信号処理に必要な各種所要の情報が格納される。また、このメモリ部18としては、例えば、フラッシュメモリなどをはじめとした不揮発性で書き換え可能なメモリ素子により構成される。
また、測定モードと、音場補正モードとを切り換えるためにスイッチ120が備えられる。このスイッチ120は、端子Tm1に対して端子Tm2又はTm3が択一的に接続されるようにして切り換えが行われる。この切り換えの動作は、制御部17が制御する。
なお、図2では、図示を簡略なものとすることの便宜上、測定音処理部105からの信号出力ラインを1本として示しているが、例えば実際には、7.1chサラウンドに対応する8つのチャンネルごとに対応する測定音の信号出力ラインがあるものとされる。
これまでの説明から理解されるように、測定音処理部108から、同時的に複数のチャンネルにより測定音(音素)の音声信号を出力させているときには、パワーアンプ部13では、これらのチャンネルの各々について増幅を行って、対応するチャンネルのスピーカ14から出力させる。
これにより、スピーカ14からその周囲空間に対して、測定音が実音声として出力されることになる。
なお、マイクロフォン16は、そのリスニング環境において最も良好な補正音場を得たいとするリスニングポジション(補正位置)にて収音がされるように設置する。例えば、この場合のAVシステム1としては車載機器とされるが、ユーザが、運転席で聴取しているときに適正な音場が得られるようにしたいと考えたのであれば、この運転席にユーザが座った状態で、ほぼ耳が在るとされる位置にて収音がされるようにマイクロフォン16を設置することになる。
測定部104では、入力された音声信号について所定のA/D変換処理を行って応答信号を得て、これについて例えばFFTによる周波数解析処理や各種の処理を行なう。そして、これらの処理結果として、例えば、各チャンネルのスピーカから測定位置(補正位置:マイクロフォン16の設置位置である)までの距離などの情報の他、所要の測定項目についての測定結果を得るようにされる。
音場補正モードのときには、音場補正処理ブロック110に対してソース音声信号が入力されてくる。ここでいうソース音声信号とは、メディア再生部11にて再生出力されるオーディオ信号であり、これまでにも説明しているように、例えば7.1chサラウンドであるとすれば、最大8チャンネルのマルチチャンネルによる複数のオーディオ信号が入力される場合がある。この場合の音場補正処理ブロック110には、ディレイ処理部111、イコライザ部112、ゲイン調整部113を備えることとしているが、これらの各部位としても、最大8チャンネル(7.1chサラウンド)のオーディオ信号の各々について独立的に処理が可能な構成とされている。
また、イコライザ部112は、入力された各チャンネルの音声信号ごとに独立して、それぞれ任意のイコライザ特性を設定して出力することができる。イコライザ部112によっては、スピーカの位置と聴取位置との関係や、スピーカと聴取位置との間に在る障害物の状態、さらにはスピーカの再生音響特性のばらつきなどにより変化する音質を補正する。
また、ゲイン調整部113は、入力された各チャンネルの音声信号ごとに、独立してゲインを設定して出力することができる。このゲイン調整部113によっては、スピーカと聴取位置との位置関係、スピーカと聴取位置との間に存在する障害物の状態、スピーカと聴取位置との距離などに応じてチャンネルごとにばらつく音量を補正する。
このような信号処理機能を備える音場補正処理ブロック110は、例えばオーディオ信号に対応したDSPとして構成されるものである。
そして、音場補正のパラメータとして、例えば、各オーディオチャンネル間における聴取位置までの到達音の時間差の関係の情報に基づいては、この時間差が解消されるように、ディレイ処理部111に対して各オーディオチャンネルごとの遅延時間を設定する。即ち、いわゆるタイムアライメントといわれる音場補正を行なう。
また、各オーディオチャンネルの音が聴取位置に到達した段階での音質変化の情報に基づいて、この音質変化が補われるようにして、イコライザ部112に対して各オーディオチャンネルごとのイコライザ特性を設定する。また、聴取位置に到達した各オーディオチャンネルの音のレベルのばらつきの情報に基づいては、このばらつきが解消されるようにして、ゲイン調整部113に対して各オーディオチャンネルごとにゲインを設定する。
ここで、AVシステム1において実際に配置されるスピーカについての聴取位置までの「距離」は、オーディオチャンネルごとに対応するスピーカについての、聴取位置までの到達音の「時間」に相当する情報である。つまり、スピーカについての聴取位置までの距離の情報は、音場補正処理ブロック110のディレイ処理部111によるタイムアライメントのために使用される。
そして、測定部104では、このインパルス応答に基づいて、所要の信号処理及び測定のための演算処理等を実行することで、測定結果として、音声出力させたスピーカから聴取位置(補正位置:マイクロフォン16)までの距離(スピーカ−マイクロフォン間距離)の情報を得るようにされる。
以降は、上記のようにして、1つのスピーカから出力させたインパルスをマイクロフォン16により収音して得られたインパルス応答に基づいてスピーカ−マイクロフォン間距離を測定する、という動作を、他の残るスピーカごとに順次実行するようにされる。これにより、最終的には、AVシステムのオーディオチャンネルを構成するとされる全てのスピーカごとについてのスピーカ−マイクロフォン(補正位置:聴取位置)間距離の情報が得られることになる。
例として、上記したスピーカ−マイクロフォン(補正位置)間距離の補正情報は、上記もしているように、タイムアライメントのために用いられる。つまり、制御部17は、各オーディオチャンネルごとのスピーカ−マイクロフォン(補正位置)間距離の値に基づいて、ディレイ処理部111における各オーディオチャンネルごとのオーディオ信号について、各オーディオチャンネルのスピーカから放出される音声の補正位置への到達時間が同時となるように、各オーディオチャンネルのオーディオ信号について設定すべき遅延時間を算出する。そして、この算出した遅延時間を、ディレイ処理部111が備えるとされる各オーディオチャンネルごとに対応する遅延器に対して設定するようにされる。
これにより、例えば以降、実際にマイクロフォン16を設置して測定するなどして補正情報を得た聴取位置(正規補正位置)については、メモリ部18に記憶された補正情報に基づいて、上記のようにして音場補正処理ブロック110におけるディレイ処理部111、イコライザ部112、ゲイン調整部113におけるパラメータ値を可変設定することで、適正に音場補正が行われることになる。つまり、正規補正位置は、補正情報に基づいて直接的に音場補正される聴取位置となる。また、この正規補正位置は、例えば測定などにより得た補正情報をメモリ部18に記憶させたときに登録されることとなる。
図3(a)には、正規補正位置として運転席の聴取位置Paとスピーカ14の配置位置との関係が示される。先ず、この図によりスピーカ14の配置例について説明しておく。
前述もしたように、本実施の形態のAVシステムとしては最大で5.1chサラウンドのチャンネル構成に対応するものとされる。これに応じて、スピーカ14としても、センターチャンネルスピーカ14−C、フロント左チャンネルスピーカ14−FL、フロント右チャンネルスピーカ14−FR、左サラウンドチャンネルスピーカ14−BL、右サラウンドチャンネルスピーカ14−BR、及びサブウーファチャンネルスピーカの6つのスピーカが自動車内に配置されることになる。なお、周知のようにして、サブウーファチャンネルスピーカから出力される低域の音声は、定位感が薄いことから、ここでは音場補正処理の対象チャンネルから除外しており、従って、図3においてもその図示は省略している。
フロント左チャンネルスピーカ14−FLは、助手席側(車室内左側)の前方に配置される。
フロント右チャンネルスピーカ14−FRは、運転席側(車室内右側)の前方に配置される。
左サラウンドチャンネルスピーカ14−BLは、助手席側(車室内左側)において、聴取位置Pa(Pb)よりも後方となる位置に配置される。
右サラウンドチャンネルスピーカ14−BRは、運転席側(車室内右側)において、聴取位置Pa(Pb)よりも後方となる位置に配置される。
先ず、この図から分かるように、聴取位置Paに対する各スピーカ14の距離は異なっている。これは、例えばスピーカ14の各々から、通常にサラウンド処理されたオーディオ信号の音声をそのまま出力させたとしても、これらの距離の相違によって聴取位置Paに対する到達時間に差が生じて、適正な音場が得られないことを意味している。
また、図3(b)には、スピーカ14の各配置位置と、助手席側の聴取位置Pbとの位置関係が示される。なお、図3(a)(b)で、スピーカ14の配置位置は同じとされる。この聴取位置Pbとしても、スピーカ14からの距離はスピーカごとに異なっていることから、上記した理由と同様にして、サラウンド処理されたオーディオ信号の音声をそのまま出力させたとしても適正な音場が得られないことになる。
例えば、図3(a)に示される運転席側の聴取位置Paと右サラウンドチャンネルスピーカ14−BRとの距離と、図3(b)に示される助手席側の聴取位置Pbと右サラウンドチャンネルスピーカ14−BRとの距離は、右サラウンドチャンネルスピーカ14−BRが運転席側に位置している分、前者の距離のほうが後者よりも短くなっている。
逆に、図3(a)に示される運転席側の聴取位置Paと左サラウンドチャンネルスピーカ14−BLとの距離と、図3(b)に示される助手席側の聴取位置Pbと左サラウンドチャンネルスピーカ14−BLとの距離は、左サラウンドチャンネルスピーカ14−BLが運転席側に位置しているので、前者の距離のほうが後者よりも長くなる。
また、センターチャンネルスピーカ14−Cについては、運転席と助手席の前方において中間に配置されるために、聴取位置Paに対する距離と、聴取位置Pbに対する距離としては同じとなるが、音の到来方向が、自動車の前後方向に沿った中心線Cに対して対称となるように変化する。
先ず、図4(a)には運転席の聴取位置Paを対象として音場補正を行った場合を示している。この図においては、スピーカ14−C、14−FL、14−FR、14−BL、14−BRから放出された同時間(時刻)における音の波面を、それぞれ波面30−C、30−FL、30−FR、30−BL、30−BRとして示している。
この図から分かるように、各スピーカ14−C、14−FL、14−FR、14−BL、14−BRから放出された音の波面30−C、30−FL、30−FR、30−BL、30−BRは、全て同時間において聴取位置Paと接している。これは、各スピーカ14−C、14−FL、14−FR、14−BL、14−BRから放出された、サラウンド処理後のオーディオ信号の音が聴取位置Paに対して同時に到達しており、従って、聴取位置Paでは適正な音場が再現されている状態にあることを示す。
このためには、前述もしたように、各チャンネルのスピーカ−聴取位置間の距離の情報(補正情報)に基づいて、ディレイ処理部111において各オーディオチャンネルごとに遅延時間を設定することで得られるものである。ちなみに、その波面に対応するスピーカのチャンネルに設定する遅延時間は、相対的には、波面の径が大きいほど短く設定され、波面の径が小さいほど長く設定されるものとなる。
そして、このことは、図4(a)に示すようにして運転席の聴取位置Paを対象として音場補正を実行した場合には、助手席の聴取位置Pbにおいては適正な音場は得られておらず、逆に、助手席の聴取位置Pbを対象として音場補正を実行した場合には、運転席の聴取位置Paにおいては適正音場が得られていないことを意味する。つまり、音場補正とは、本来、在る一点の補正位置において適正音場が得られるようにするもので、これ以外の位置では、適正音場は得られないものであり、これについては避けようがない、ということがいえる。
このようにして、例えば運転席だけではなく助手席にも搭乗者が居て、両者の間での音場の形成に著しい不均衡が生じるような場合、その解決には、1つには運転席の聴取位置Paと助手席の聴取位置Pbの間の中間範囲における位置を対象として音場を補正するという策を考えることができる。これにより、運転席側と助手席側との何れの聴取位置においても、在る程度の改善された音場が得られることにはなるからである。
この図に示すようにして音場補正を行ったとすれば、聴取位置Paと聴取位置Pbの何れにおいても最適とされる音場は再現されない。しかしながら、聴取位置Pa、聴取位置Pbにて聞こえる音場としては、それぞれ、図4(b)、図4(a)に示すように聴取位置Pb又は聴取位置Paの一方のみに対して最適となるように音場補正した場合と比較すれば、より良好な音場が得られているものである。また、この場合には、各スピーカからの音声の到達時間差は、聴取位置Paと聴取位置Pbとで、中心線Cを対称としてほぼ同等となるので、その音場の劣化程度としても聴取位置Paと聴取位置Pbとでほぼ同等となる。
このようにして、運転席の聴取位置Paと助手席の聴取位置Pbとの間に対して補正位置を設定して音場補正を行うようにすれば、運転席に座った聴取者が聞こえる音場と、助手席に座った聴取者が聞こえる音場とについて、それぞれが完全に適正になるようにはできないが、両者が納得できるような妥協点となる中間的な音場が得られることになる。また、このことは、別の見方をすれば、適正とされる音場が得られる位置をピンポイントではなく、在る程度の位置範囲までに拡大しているということもいえる。現実的には、このような使用がされることが容易に予想される。
また、実際の登録のための測定を行うのにあたっては、正規補正位置ごとに順次測定を行うようにしても良いし、また、例えば音場補正/測定機能部21の構成によっては、複数のマイクロフォンを、それぞれ正規補正位置とすべき位置に設置して、同時的に測定を行うようにされてもよいものである。
このように、ユーザは、表示部40において表示されるカーソルCRの位置により、現在において指定されている対象補正位置がどのような位置にあるのかを認識することができ、また、カーソル移動ボタン41a,41bに対する操作を行ってカーソルCRを移動させることで、これに応じて、実際の対象補正位置についても移動させるようにして変更することができる。
なお、ユーザが対象補正位置を可変する操作は、適正音場が得られる位置についての調整を行っていることとなるので、このことを以て音場調整ともいうことにする。
従来においては、例えば実際に測定を行って補正情報を得た上記正規補正位置に相当する位置についてしか音場補正が行われなかった。これは、従来の音場補正の構成として、取得された補正情報のみに基づいて所定の信号処理パラメータを設定して音場補正を行うようにしていることによる。つまり、従来においては、例えば運転席の聴取位置と、助手席の聴取位置とについて正規補正位置として登録し、これらの聴取位置の補正情報を取得したとしても、これら2つの正規補正位置(運転席の聴取位置と、助手席の聴取位置)のいずれか一方について最適となる音場補正しか行うことができなかったものである。このため、例えば運転席の聴取位置と助手席の聴取位置との中間における位置にて最適となるような音場補正の状態を得ようとすれば、あらたに、この位置について測定を行って補正情報を取得しなければならなかったものである。
このことから、本実施の形態としては、音場補正において最適音場となる位置の選択に関して、従来よりも面倒なことがなく簡便であり、また、より高い自由度が得られているといえる。そして、このような対象補正位置についての指定は、例えば図5に示したようなユーザインターフェイスを介して行われるものであり、これにより上記した簡便さや自由度の高さはより顕著になる。
この図に示す表示部40においても、図5とは異なる表示態様例によって、運転席の聴取位置と助手席の聴取位置とがシンボル的に示されている。そして、この場合も、対象補正位置としての指定位置を運転席の聴取位置と助手席の聴取位置との位置関係により示すカーソルCRは、表示部4内の破線の矢印により示すようにして、運転席の聴取位置のシンボルと助手席の聴取位置のシンボルとの間で移動可能とされている。
この図の場合、カーソルCRを移動させるための操作子は、ダイヤル42とされている。このダイヤル42を右(時計回転方向)に廻しきった場合には、カーソルCRは運転席の聴取位置にあるようにされる。また、ダイヤル42を左(反時計回転方向)に廻しきった場合には、カーソルCRは助手席の聴取位置にあるようにされる。そして、この回転可能範囲内においてダイヤル42を回転させると、その回転角度に応じて、カーソルCRが、運転席の聴取位置のシンボルと助手席の聴取位置のシンボルとの間において移動するようにされる。この場合にも、カーソルCRの位置に応じて、実際の車内における対象補正位置(最適音場が得られる位置)としても、運転席の聴取位置と助手席の聴取位置との間で移動する。
このような図5,図6に示したものをはじめとして、本実施の形態において、対象補正位置を変更して指定するためのユーザインターフェイスとしては、各種考えることができる。また、図5及び図6においては、音場調整のための操作に必要な内容のみを示しているもので、表示部40としては、音場調整以外のためのグラフィック、文字等が表示される場合があって良い。また、ユーザインターフェイス部19のパネルに備えられる操作子についても、実際においては、音場調整以外に使用されるべきものが適宜設けられるべきものである。
また、ここで、本実施の形態としては、図2に示した音場補正処理ブロック110が、ディレイ処理部111、イコライザ部112、及びゲイン調整部113を備えていることから分かるように、音場補正のための信号処理としては、信号の遅延時間、イコライジング、及びゲイン(音量)を可変するものとしている。以降の説明にあたっては説明を簡単で分かりやすいものとするために、音場補正としては、ディレイ処理部111による遅延時間設定のみとする。
先ず、制御部17は、ステップS101において音場調整モードが設定されているか否かについて判別している。ここで音場調整モードが設定されていないとして否定の判別結果が得られた場合には、この図に示す処理は終了する。これに対して、ステップS101において音場調整モードが設定されていることが判別された場合には、ステップS102に進む。
なお、音場調整モードへの移行、解除は、ユーザインターフェイス部19に対するユーザによる所定操作によって行われる。
この図に示す処理においては、先ず、ステップS201において、オーディオチャンネルの番号を示す変数nについて初期値としてn=1を設定する。5.1chサラウンドの場合であれば、音場補正のための信号処理対象となるのは、サブウーファチャンネルを除いたセンターチャンネル(C)、フロント左チャンネル(FL)、フロント右チャンネル(FR)、左サラウンドチャンネル(BL)、右サラウンドチャンネル(BR)の5チャンネルとなる。そこでこの場合には、例えばこれら5つのオーディオチャンネルについて、1〜5までのオーディオチャンネルの番号(チャンネル番号)を与えるようにされる。
つまり、図10に示すようにして、先ず、例えば運転席の聴取位置と助手席の聴取位置のようにして、異なる空間位置にある2つの正規補正位置Pa,Pbを決めたとする。すると、正規補正位置Pa,Pbごとに、或る1つのオーディオチャンネルに対応するスピーカ14との間の距離La,Lbが決まることになる。例えば前述もしたように、測定処理ブロック103によっては、インパルス応答を用いた測定処理によって、スピーカ−マイクロフォン(正規補正位置)間の距離の情報を得ることができる。そして、この距離La,Lbの情報からは、例えば他に音速などの値の演算パラメータを用いることで、上記伝搬遅延時間Ta,Tbを算出して得ることができる。つまり、音響測定結果として、上記距離La,Lbの値が得られることにより、一義的に伝搬遅延時間Ta,Tbが取得されることになる。
センターチャンネルスピーカ14−Cから正規補正位置Paまでの伝搬遅延時間Ta(C)
フロント左チャンネルスピーカ14−FLから正規補正位置Paまでの伝搬遅延時間Ta(FL)
フロント右チャンネルスピーカ14−FRから正規補正位置Paまでの伝搬遅延時間Ta(FR)
左サラウンドチャンネルスピーカ14−BLから正規補正位置Paまでの伝搬遅延時間Ta(BL)
右サラウンドチャンネルスピーカ14−BRから正規補正位置Paまでの伝搬遅延時間Ta(BR)
の5つの伝搬遅延時間の情報となる。
同様に、正規補正位置Pbについても、上記5つのスピーカごとに対応する5つの伝搬遅延時間Tb(C)、Tb(FL)、Tb(FR)、Tb(BL)、Tb(BR)が補正情報となる。
そして、ここでは、このような正規補正位置Pa,Pbについての補正情報は、各オーディオチャンネルごとに予め割り当てられたチャンネル番号を対応付けるようにして管理されるようにして、メモリ部18において記憶保持させることとしている。
ここで、正規補正位置Pa,Pbを端点としたとき、その中間範囲となる対象補正位置Pvに対して最適音場が形成されるようにしようとすれば、正規補正位置Pa,Pbと対象補正位置Pvとの位置関係(この場合には、正規補正位置Paと対象補正位置Pvとの距離と、正規補正位置Pbと対象補正位置Pvとの距離との比と捉えてよい)に対応させて、正規補正位置Pa,Pbの補正情報に基づいて得られる補正値(伝搬遅延時間)についてそれぞれ重み付けをして、この重み付けされた補正値を足し併せることによって、対象補正位置Pvに対応する補正値を設定すればよい、ということがいえる。
Ga=1−α、 Gb=α、 α=0〜1
のようにして表すことができる。この場合のαの値は、正規補正位置Pa−Pb間の距離に対する、正規補正位置Pa−対象補正位置Pvの距離の割合に対応する。
このためには、先のステップS202にて読み込んだ正規補正位置Paの伝搬遅延時間Tbと、上記ステップS204により算出したゲインGaとを利用する。先ず、伝搬遅延時間Taに基づいては、補正値として、設定すべき遅延時間が一義的に求められることになる。そして、例えばこの算出された遅延時間とゲインGaとを掛け合わせることで重み付け補正値VCRaを得るようにされる。この説明からも分かるように、重み付け補正値VCRaは、正規補正位置Paの補正値について、正規補正位置Pa−Pb間における正規補正位置Paと距離対象補正位置Pvとの間の距離に応じて重み付けをしたものである。
VCRv=(VCRa+VCRb)
で表される式により、対象補正位置Pvにて最適音場を形成するための補正値である調整補正値VCRvを算出して得る。
そして、次のステップS208により、上記ステップS207により得られた調整補正値VCRvを、現在のチャンネル番号nに対応するオーディオチャンネルの補正信号処理系に対してセットするようにされる。この場合には、調整補正値VCRvは、信号遅延時間であるから、ディレイ処理部111において、現在のチャンネル番号nが示すオーディオチャンネルの遅延器に対して、調整補正値VCRvが示す遅延時間をセットするようにされる。
このようにして、ステップS202〜ステップS210の処理を繰り返すうち、ステップS209において変数nが最大値であるとして肯定結果が得られることになる。この段階では、全てのオーディオチャンネルについて調整補正値VCRvとしての遅延時間が遅延器に対してセットされたことになる。そして、このときには、そのときの対象補正位置において最適となる音場が形成されているものである。
ステップS305においては、先のステップS302にて取得したとされる、現チャンネルに対応する正規補正位置Pa,Pbの各伝搬遅延時間Ta,Tbと、上記ステップS304にて算出されたゲインGa,Gbとに基づいて、対象補正位置Pvの伝搬遅延時間Tvを算出して得るようにされる。
この伝搬遅延時間Tvは、例えば
Tv=(Ta×Ga)+(Tb×Gb)
で表される式により算出できる。つまり、この場合においては、補正値について重み付けを行うのではなく、正規補正位置Pa,Pbの各伝搬遅延時間Ta,Tbに対して、正規補正位置Pa,Pbと対象補正位置Pvとの位置関係(距離比)に応じた重み付けをしたうえで足し併せることで、現チャンネルのスピーカ14から対象補正位置Pvまでの音の到達時間である伝搬遅延時間Tvを算出しているものである。
そして、次のステップS307においては、先の図8のステップS208と同様にして、上記ステップS306により得られた調整補正値VCRvを、現在のチャンネル番号nに対応するオーディオチャンネルの補正信号処理系(ディレイ処理部111の遅延器)に対してセットするようにされる。
しかしながら、本発明としては、次のようにして、2つの正規補正位置の補正情報を得るように構成することもできる。
ここで、2つの正規補正位置Pa,Pbとしては、それぞれ図3、図4に示すようにして、運転席の聴取位置と助手席の聴取位置とする。そしてこの場合には、運転席の聴取位置である正規補正位置Paについて実際に測定を行って補正情報(伝搬遅延時間)を得たとする。
この場合において、もう一方の正規補正位置Pbは助手席の聴取位置となるが、一般的な車室の構成から、運転席の聴取位置と、助手席の聴取位置とは、自動車の前後方向に沿った中心線Cに対してほぼ対称な位置関係となることが分かる。また、スピーカの配置としても、センターチャンネルスピーカ14−Cは中心線C上にあり、フロント左チャンネルスピーカ14−FLとフロント右チャンネルスピーカ14−FRとは中心線Cに対して対称であり、左サラウンドチャンネルスピーカ14−BLと右サラウンドチャンネルスピーカ14−BRとについても中心線Cに対して対称である。つまり、スピーカの配置も対称的なものとなっている。
つまり、例えば、図3(a)に示される正規補正位置Pa(運転席の聴取位置)と右サラウンドチャンネルスピーカ14−BRの距離は、図3(b)に示される正規補正位置Pb(助手席の聴取位置)と左サラウンドチャンネルスピーカ14−BL(中心線Cにより、右サラウンドチャンネルスピーカ14−BRと対称関係)の距離とほぼ同等であり、従って、その伝搬遅延時間も同等であると考えてよいということがいえる。
逆に、図3(a)に示される正規補正位置Pa(運転席の聴取位置)と左サラウンドチャンネルスピーカ14−BLの距離は、図3(b)に示される正規補正位置Pb(助手席の聴取位置)と右サラウンドチャンネルスピーカ14−BR(中心線Cにより、左サラウンドチャンネルスピーカ14−BRと対称関係)の距離とほぼ同等であり、従って、その伝搬遅延時間も同等であるということになる。
同様のことが、正規補正位置Pa,Pbと、フロント左チャンネルスピーカ14−FL、フロント右チャンネルスピーカ14−FRとの距離の組み合わせについてもいえる。また、センターチャンネルスピーカ14−Cについては、正規補正位置Paと正規補正位置Pbとで音の到来方向が対照的に異なってはくるが距離的には同等であり、従って、センターチャンネルスピーカ14−Cから、正規補正位置Pa,Pbそれぞれへの伝搬遅延時間も同等となる。
このようにして、既に取得済みとされた特定の正規補正位置の補正情報に基づいて、他の正規補正位置の補正情報を求めることによっては、その分、音響測定を行う聴取位置の数が減ることになるから、ユーザにとっては面倒さが軽減されることになる。
なお、このようにして得られる補正情報としては、例えば実際に測定を行って得るものと比較した場合には正確さは低くなるものの、実用上充分にユーザが満足できる音場が形成されるだけの正確さを与えることが可能である。
この場合にも、これら正規補正位置の補正情報を得るためには、各正規補正位置について実際の音響測定を行っても良い。また、例えば運転席、助手席、後部座席側と、各スピーカ14の配置位置の位置関係にも、一定の対称性などの規則性を見ることができるので、この場合にも、特定の正規補正位置の補正情報に基づいて、残る他の正規補正位置の補正情報を求めることは可能である。
そして、このようにして3以上の正規補正位置を含む位置範囲において、面的な移動により指定される対象補正位置の補正値を得るためには、例えば、先に図8及び図9などにより説明した処理に準じて、これら3以上の正規補正位置と対象補正位置との位置関係、距離比等に応じて重み付けを行い、例えばベクトル合成的な演算を行うなどすれば可能である。
先ず、図11では、表示部40において、後方やや上方向から座標面を見たようなイメージのスケールが表示されており、このスケール上にカーソルCRが浮かんでいるようなイメージで配置される。つまり、スケールとカーソルCRが三次元空間的に表示されている。このカーソルCRは、カーソル移動キー43a,43b,43c,43dに対して行われる操作に応じて、三次元空間内において前後左右に移動できるようになっている。
カーソル移動ダイヤル45aは、前後方向の移動のためのもので、例えば反時計方向に回転させるとカーソルCRは前方向に移動し、時計方向に回転させると後ろ方向に移動する。なお、このカーソル移動ダイヤル45aの回転方向とカーソルCRの移動方向との関係が、これと逆であっても良い。カーソル移動ダイヤル45bは、左右方向の移動のためのもので、反時計方向に回転させるとカーソルCRは左方向に移動していくようにされる。時計方向に回転させれば右方向に移動していく。
この場合、カーソル移動のための操作子は、カーソル移動ダイヤル44の1つのみとされている。そして、表示部40におけるカーソルCRの移動パターンとしては、例えば1つの特定の軌道を辿るようなものとされており、例えばカーソル移動ダイヤル44を回転させると、その回転方向に応じた進行方向で、上記軌道を辿るようにしてカーソルCRが移動していくようにされる。なお、カーソルCRが軌道の終点まで移動しても、さらにこれまでと同じ回転方向に対してカーソル移動ダイヤル44が操作されていた場合には、カーソルCRは、軌道の始点に戻り、ここから移動を再開するようにされればよい。
つまり、この場合の表示部40においては、カーソルCRの軌道が、グラフィックとして示されているものである。
もちろん、音場調整に関するユーザインターフェイスの構成としては、図5,図6、及び図11〜図15に示したものに限定されるものではなく、これ以外にも多様に考えられる。
また、これまでの説明においては、補正情報としてはスピーカから聴取位置までの伝搬遅延時間であるとして、音場補正としてはタイムアライメント(信号遅延時間調整)を例に説明してきた。しかしながら、本発明に基づいた対象補正位置に対する音場補正としては、タイムアライメント以外にも、例えば図2のイコライザ部112が対応するイコライジング補正、また、ゲイン調整部113が対応する音量補正などによるものとされてもよい。また、これらの複数の音場補正のための補正要素が組み合わされてもよいものである。
120 スイッチ、103 測定処理ブロック、104 測定部、105 測定部処理部、111 ディレイ処理部、112 イコライザ部、113 ゲイン調整部
Claims (5)
- 音場を補正するための所定の音声信号処理を、補正情報に基づいて実行する音場補正手段と、
複数の正規補正位置の各々についての上記補正情報を取得する情報取得手段と、
上記複数の正規補正位置を含む所定の空間範囲において、音場補正対象となる位置である対象補正位置を、ユーザ操作により指定する指定手段と、
上記複数の正規補正位置の各々についての上記補正情報に基づいて、上記指定手段により複数指定された対象補正位置の中間範囲における位置に対応する補正情報を算出する補正情報算出手段と、
上記補正情報算出手段により算出された補正情報に基づいて、上記音場補正手段が上記音声信号処理を実行するように制御する制御手段と、
表示部と
を備え、
上記情報取得手段は、
所定の音響測定項目についての測定を行なう音響測定手段を備え、
上記複数の正規補正位置の各々を測定対象位置とした上記音響測定手段による測定結果として、上記複数の正規補正位置の各々についての上記補正情報を取得するようにされ、
上記指定手段は、上記複数の正規補正対象位置の内2点の上記正規補正対象位置が指定されると上記表示部に上記2点の対象補正位置と、これらの2点の対象補正位置が含まれる範囲において、ユーザ操作により上記中間範囲における位置を指定可能とされる操作子とを表示し、該操作子が操作されることによって該中間範囲における位置が指定されるよう構成されている
音場補正装置。 - 上記情報取得手段は、
上記複数の正規補正位置のうち、少なくとも1つの補正位置の補正情報については、この位置を測定対象位置とする上記音響測定手段による測定を行って取得するとともに、
上記複数の正規補正位置のうち、上記測定対象位置以外の補正位置の補正情報については、上記測定対象位置についての補正情報と、上記音場における各々の位置に応じた所定の算出パラメータを利用して算出することで取得するようにされている
請求項1に記載の音場補正装置。 - 上記複数の正規補正位置の各々についての補正情報が予め記憶される記憶手段を備え、
上記情報取得手段は、上記記憶手段に対する情報の読み出しを行うことで、上記複数の正規補正位置の各々についての補正情報を取得するようにされている
請求項1に記載の音場補正装置。 - 上記複数の正規補正位置のうち、少なくとも1つの基準位置の補正情報が予め記憶される記憶手段を備え、
上記情報取得手段は、上記記憶手段に対する情報の読み出しを行うことで、上記基準位置の補正情報を取得するとともに、
上記複数の正規補正位置のうち、上記基準位置以外の位置の補正情報については、上記基準位置についての補正情報と、上記音場における各々の位置に応じた所定の算出パラメータを利用して算出することで取得するようにされている
請求項1に記載の音場補正装置。 - 音場を補正するための所定の音声信号処理を、補正情報に基づいて実行する音場補正方法であって、
複数の正規補正位置の各々についての上記補正情報を取得する情報取得手順と、
上記複数の正規補正位置を含む所定の空間範囲において、音場補正対象となる位置である対象補正位置をユーザ操作により指定する指定手順と、
上記複数の正規補正位置の各々についての上記補正情報に基づいて、上記複数指定された対象補正位置の中間範囲における位置に対応する補正情報を算出する補正情報算出手順と、
上記補正情報算出手順により算出された補正情報に基づいて、上記音声信号処理を実行する信号処理手順と、
表示処理手順と
を実行し、
上記情報取得手順は、
所定の音響測定項目についての測定を行なう音響測定手順を実行し
上記複数の正規補正位置の各々を測定対象位置とした上記音響測定手順における測定結果として、上記複数の正規補正位置の各々についての上記補正情報を取得するようにされ、
上記指定手順は、上記複数の正規補正対象位置の内2点の上記正規補正対象位置が指定されると上記表示において上記2点の対象補正位置と、これらの2点の対象補正位置が含まれる範囲において、ユーザ操作により上記中間範囲における位置を指定可能とされる操作子とを表示し、該操作子が操作されることによって該中間範囲における位置が指定される
音場補正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007332536A JP4518142B2 (ja) | 2007-12-25 | 2007-12-25 | 音場補正装置、音場補正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007332536A JP4518142B2 (ja) | 2007-12-25 | 2007-12-25 | 音場補正装置、音場補正方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004159580A Division JP2005341384A (ja) | 2004-05-28 | 2004-05-28 | 音場補正装置、音場補正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008118697A JP2008118697A (ja) | 2008-05-22 |
JP4518142B2 true JP4518142B2 (ja) | 2010-08-04 |
Family
ID=39504191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007332536A Expired - Fee Related JP4518142B2 (ja) | 2007-12-25 | 2007-12-25 | 音場補正装置、音場補正方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4518142B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110268298A1 (en) * | 2008-12-25 | 2011-11-03 | Pioneer Corporation | Sound field correcting device |
JP2014015117A (ja) * | 2012-07-09 | 2014-01-30 | Mitsubishi Motors Corp | 音響制御装置 |
US10585486B2 (en) | 2014-01-03 | 2020-03-10 | Harman International Industries, Incorporated | Gesture interactive wearable spatial audio system |
CN118042398B (zh) * | 2024-04-15 | 2024-07-23 | 瑞声光电科技(常州)有限公司 | 车内声场优化方法、音响***、电子设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002112400A (ja) * | 2000-09-28 | 2002-04-12 | Sanyo Electric Co Ltd | カーオーディオシステム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58175400A (ja) * | 1982-04-08 | 1983-10-14 | Nissan Motor Co Ltd | 車両用オ−デイオ装置 |
JPS62125933A (ja) * | 1985-11-27 | 1987-06-08 | Hino Motors Ltd | 車両用ステレオスピ−カ装置 |
JP2523810B2 (ja) * | 1988-08-31 | 1996-08-14 | 松下電器産業株式会社 | 音場可変装置 |
JPH0215800A (ja) * | 1988-07-04 | 1990-01-19 | Fujitsu Ten Ltd | 非対称音場補正装置 |
JP2605450B2 (ja) * | 1990-05-08 | 1997-04-30 | ヤマハ株式会社 | 音像定位装置 |
JPH05260600A (ja) * | 1992-03-13 | 1993-10-08 | Matsushita Electric Ind Co Ltd | 音響装置 |
JPH06121396A (ja) * | 1992-10-02 | 1994-04-28 | Fujitsu Ten Ltd | 聴取位置自動補正装置 |
DE4327200A1 (de) * | 1993-08-13 | 1995-02-23 | Blaupunkt Werke Gmbh | Einrichtung zur stereophonen Wiedergabe |
JPH07184298A (ja) * | 1993-12-22 | 1995-07-21 | Matsushita Electric Ind Co Ltd | 車載用音場補正装置 |
JPH099400A (ja) * | 1995-06-21 | 1997-01-10 | Sharp Corp | 立体音像定位装置 |
JP2993418B2 (ja) * | 1996-01-19 | 1999-12-20 | ヤマハ株式会社 | 音場効果装置 |
JPH1146400A (ja) * | 1997-07-25 | 1999-02-16 | Yamaha Corp | 音像定位装置 |
-
2007
- 2007-12-25 JP JP2007332536A patent/JP4518142B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002112400A (ja) * | 2000-09-28 | 2002-04-12 | Sanyo Electric Co Ltd | カーオーディオシステム |
Also Published As
Publication number | Publication date |
---|---|
JP2008118697A (ja) | 2008-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101175303B1 (ko) | 음장(音場)보정장치, 음장(音場)보정방법 | |
US8233630B2 (en) | Test apparatus, test method, and computer program | |
US20070019815A1 (en) | Sound field measuring apparatus and sound field measuring method | |
US9883317B2 (en) | Audio signal processing apparatus | |
JP2001057699A (ja) | オーディオ装置 | |
JPH10285699A (ja) | 多チャンネル音響システムの自動調節装置およびその方法 | |
JP6929435B2 (ja) | 音声再生方法及びマルチスクリーン端末 | |
JP2009143495A (ja) | 音響制御装置 | |
JP2007047539A (ja) | 音場補正装置及び音場補正方法 | |
JP2004135023A (ja) | 音響出力装置、音響出力システム、音響出力方法 | |
JP4887290B2 (ja) | 音像定位制御装置 | |
JP4518142B2 (ja) | 音場補正装置、音場補正方法 | |
JPWO2006009004A1 (ja) | 音響再生システム | |
US20140205104A1 (en) | Information processing apparatus, information processing method, and program | |
JP2671329B2 (ja) | オーディオ再生装置 | |
JP5035386B2 (ja) | 測定方法、測定装置、プログラム | |
JP2005157278A (ja) | 全周囲音場創生装置、全周囲音場創生方法、及び全周囲音場創生プログラム | |
JP2006196940A (ja) | 音像定位制御装置 | |
JP2007116363A (ja) | 音響空間制御装置 | |
JPH08179786A (ja) | 車載用ステレオ再生装置 | |
JP4845811B2 (ja) | 音響装置、遅延時間測定方法、遅延時間測定プログラム及びその記録媒体 | |
JPH10248097A (ja) | 音響処理装置 | |
JP2006319786A (ja) | 音場測定装置及び音場測定方法 | |
JP2009027631A (ja) | バイアンプ補正装置、およびそれを備えたavアンプ | |
JP2009147815A (ja) | 音響空間制御装置及び音響空間制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090421 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090721 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090924 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100330 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100405 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100427 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100510 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |