JP2008103883A - Audio apparatus, method thereof, program thereof, and recording medium thereof - Google Patents
Audio apparatus, method thereof, program thereof, and recording medium thereof Download PDFInfo
- Publication number
- JP2008103883A JP2008103883A JP2006283589A JP2006283589A JP2008103883A JP 2008103883 A JP2008103883 A JP 2008103883A JP 2006283589 A JP2006283589 A JP 2006283589A JP 2006283589 A JP2006283589 A JP 2006283589A JP 2008103883 A JP2008103883 A JP 2008103883A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- unit
- output
- signal
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Stereophonic System (AREA)
Abstract
Description
本発明は、音響装置、当該音響装置で使用される音再生処理方法、当該音再生処理方法を実行させる音再生処理プログラム、及び当該音再生処理プログラムが記録された記録媒体に関する。 The present invention relates to an acoustic device, a sound reproduction processing method used in the acoustic device, a sound reproduction processing program for executing the sound reproduction processing method, and a recording medium on which the sound reproduction processing program is recorded.
近年におけるDVD(Digital Versatile Disk)の普及に伴い、マルチチャンネルサラウンド方式の音響装置が普及してきている。こうした音響装置によれば、表示装置に映し出される映像とともに、映画館におけると同様の臨場感溢れるサラウンド音声の再生を、家庭内空間や車両内空間において行うことができる。 With the recent widespread use of DVDs (Digital Versatile Disks), multi-channel surround type audio devices have become popular. According to such an audio device, it is possible to reproduce the surround sound with a sense of presence similar to that in a movie theater, as well as the video displayed on the display device, in a home space or a vehicle space.
かかる家庭内空間や車両内空間のために用いられるマルチチャンネルサラウンド方式としては、5.1chサラウンド方式等が一般的に採用されている。この5.1chサラウンド方式では、センタチャンネル(以下、「Cチャンネル」とも記す)、ライトチャンネル(以下、「Rチャンネル」とも記す)、レフトチャンネル(以下、「Lチャンネル」とも記す)、サラウンドライトチャンネル(以下、「SRチャンネル」とも記す)、サラウンドレフトチャンネル(以下、「SLチャンネル」とも記す)、サブウーハチャンネル(以下、「SWチャンネル」とも記す)といった複数チャンネルについての再生音を、それぞれが対応するスピーカから出力するようになっている。この結果、臨場感のある音場の発生を可能にしている。 As a multi-channel surround system used for such a home space or a vehicle interior space, a 5.1ch surround system or the like is generally employed. In this 5.1 channel surround system, a center channel (hereinafter also referred to as “C channel”), a right channel (hereinafter also referred to as “R channel”), a left channel (hereinafter also referred to as “L channel”), a surround right channel. (Hereinafter also referred to as “SR channel”), surround left channel (hereinafter also referred to as “SL channel”), subwoofer channel (hereinafter also referred to as “SW channel”), and playback sound corresponding to each channel. Output from the speaker. As a result, it is possible to generate a realistic sound field.
これらのチャンネルのうち、Cチャンネルには、映画のセリフや音楽のボーカルなどの重要な情報が割り当てられることが多い。そして、Cチャンネルに対応するスピーカは、通常、表示装置における表示画面が配置される周辺に配置される。 Of these channels, the C channel is often assigned important information such as movie speech and music vocals. And the speaker corresponding to C channel is normally arrange | positioned in the periphery where the display screen in a display apparatus is arrange | positioned.
ところで、例えば、音響装置が車両に搭載され、音響装置が音場を創り出す音場空間が
車両内空間である場合、車両の走行時にはエンジン音、風切り音等の走行騒音が発生し、車内における再生音の聴取環境が悪化する。かかる走行騒音は、エンジンの回転数、路面の状態、窓の開閉の状態等によって変化する。
By the way, for example, when an acoustic device is mounted on a vehicle and the sound field space where the acoustic device creates a sound field is an interior space of the vehicle, traveling noise such as engine noise and wind noise is generated during traveling of the vehicle, and reproduction within the vehicle is performed. The listening environment for sound deteriorates. Such traveling noise varies depending on the engine speed, road surface condition, window open / closed condition, and the like.
こうした走行騒音に対応し、聴取者に対して少しでも良好な聴取環境を提供するために、車内の騒音(以下、「ノイズ音」ともいう)レベル又は騒音レベルに対応する量を測定し、その測定結果に基づいてスピーカからの出力音量を調整する技術が提案されている(特許文献1,2等参照:以下、「従来例」という)。
In order to respond to such driving noise and provide the listener with a favorable listening environment, the noise level in the vehicle (hereinafter also referred to as “noise noise”) or the amount corresponding to the noise level is measured. A technique for adjusting the output volume from a speaker based on a measurement result has been proposed (see
上述した従来例の技術をマルチチャンネルサラウンド方式に対して採用した場合には、騒音レベルに応じて、例えば、各チャンネルに対応する音の音量を同程度増大させる等という各チャンネルを通じて同様の補正を行った後、各スピーカから音出力を行うことになる。しかしながら、セリフ音やボーカル音(以下、総称する場合には「言語音」という)と楽曲音とを比べた場合、同一騒音レベル下では、言語音の方が、より聞き取りづらさを感じる。これは、言語音は言語的な意味を有しているため、細部まで明瞭に聞き取ることが必要となるためである。 When the above-described conventional technique is adopted for the multi-channel surround system, the same correction is performed through each channel, for example, by increasing the sound volume corresponding to each channel to the same extent according to the noise level. After this, sound output is performed from each speaker. However, when comparing a speech sound or vocal sound (hereinafter referred to as “language sound” when collectively referred to) and music sound, the sound of the language is more difficult to hear under the same noise level. This is because the linguistic sound has a linguistic meaning and it is necessary to clearly hear details.
このため、従来例の技術をマルチチャンネルサラウンド方式に対して採用するのでは、言語音の明瞭化を十分に図ろうとすると楽曲音が煩く感じられるようになってしまう。一方、楽曲音について適性化を図ろうとすると、言語音が明瞭に聞き取れない事態を招くことになってしまう。このため、騒音環境下においても言語音と楽曲音との双方について適性化された音場空間を創出させることができる技術が待望されている。かかる要請に応えることが、本発明が解決すべき課題の一つとして挙げられる。 For this reason, if the technique of the conventional example is adopted for the multi-channel surround system, the music sound will be felt bothersome if the linguistic sound is sufficiently clarified. On the other hand, attempting to optimize the music sound will lead to a situation where the language sound cannot be heard clearly. Therefore, there is a need for a technology that can create a sound field space that is suitable for both language sounds and music sounds even in a noisy environment. Meeting this requirement is one of the problems to be solved by the present invention.
本発明は、上記の事情を鑑みてなされたものであり、聴取者に対して適切な音場空間を創出させることができる音響装置及び音出力処理方法を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an audio device and a sound output processing method capable of creating an appropriate sound field space for a listener.
請求項1に記載の発明は、所定の音場空間における騒音レベルを推定する推定手段と;オーディオ信号を、センタチャンネルを含む複数種のチャンネルの信号に変換する変換手段と;前記推定手段による推定結果に基づいて、前記変換手段により得られた前記センタチャンネルの信号に由来する音の出力特性の少なくとも一部を他のチャンネルとは独立に制御する音出力制御手段と;前記音出力制御手段による制御のもとで、前記音場空間へ向けて音を出力する音出力手段と;を備えることを特徴とする音響装置である。 According to the first aspect of the present invention, there is provided estimation means for estimating a noise level in a predetermined sound field space; conversion means for converting an audio signal into signals of a plurality of types of channels including a center channel; and estimation by the estimation means Sound output control means for controlling at least a part of the sound output characteristics derived from the signal of the center channel obtained by the conversion means independently of other channels based on the result; by the sound output control means; A sound output means for outputting sound toward the sound field space under control.
請求項11に記載の発明は、オーディオ信号を、センタチャンネルを含む複数種のチャンネルの信号に変換する変換工程と;所定の音場空間における騒音レベルの推定結果に基づいて、前記変換工程において得られた前記センタチャンネルの信号に由来する音の出力特性の少なくとも一部を他のチャンネルとは独立に制御する音出力制御工程と;前記音出力制御手段による制御のもとで、前記音場空間へ向けて音を出力する音出力工程と;を備えることを特徴とする音再生処理方法である。 According to an eleventh aspect of the present invention, there is provided a conversion step of converting an audio signal into signals of a plurality of types of channels including a center channel; and obtained in the conversion step based on a noise level estimation result in a predetermined sound field space. A sound output control step for controlling at least a part of a sound output characteristic derived from the signal of the center channel independently from other channels; and under the control of the sound output control means, the sound field space And a sound output process for outputting sound toward the sound.
請求項12に記載の発明は、請求項11に記載の音再生処理方法を演算手段に実行させる、ことを特徴とする音再生処理プログラムである。 According to a twelfth aspect of the present invention, there is provided a sound reproduction processing program for causing a calculation means to execute the sound reproduction processing method according to the eleventh aspect.
請求項13に記載の発明は、請求項12に記載の音再生処理プログラムが、演算手段により読み取り可能に記録された記録媒体である。 A thirteenth aspect of the present invention is a recording medium on which the sound reproduction processing program according to the twelfth aspect is recorded so as to be readable by the calculation means.
以下、本発明の一実施形態を、図1〜図5を参照して説明する。なお、図においては、同一又は同等の要素には同一の符号を付し、重複する説明を省略する。 Hereinafter, an embodiment of the present invention will be described with reference to FIGS. In the drawings, the same or equivalent elements are denoted by the same reference numerals, and redundant description is omitted.
[構成]
図1には、一実施形態に係る音響装置として機能するコンテンツ再生装置100の構成がブロック図にて示されている。このコンテンツ再生装置100は、車両CR(図2参照)に搭載されるコンテンツ再生装置であり、図1に示されるように、制御ユニット110と、記憶装置120とを備えている。
[Constitution]
FIG. 1 is a block diagram illustrating a configuration of a
また、コンテンツ再生装置100は、音出力手段として、音出力ユニット130Cと、音出力ユニット130Lと、音出力ユニット130Rと、音出力ユニット130SLと、音出力ユニット130SRと、音出力ユニット130SWとを備えている。ここで、音出力ユニット130Cはセンタスピーカ131Cを有し、音出力ユニット130Lはレフトスピーカ131Lを有している。また、音出力ユニット130Rはライトスピーカ131Rを有し、音出力ユニット130SLはサラウンドレフトスピーカ131SLを有している。また、音出力ユニット130SRは、サラウンドライトスピーカ131SRを有し、音出力ユニット130SWは、サブ ウーハスピーカ131SWを有している。
Further, the
さらに、コンテンツ再生装置100は、推定手段の一部としての集音ユニット140と、表示ユニット150と、操作入力ユニット160と、走行センサユニット170とを備えている。
Furthermore, the
なお、制御ユニット110以外の要素120〜170は、制御ユニット110に接続されている。
記憶装置120は、固定ディスク装置、DVD(Digital Versatile Disk)が挿入されたDVDドライブ装置等から構成されている。この記憶装置120には、映画の映像及び音声、並びに楽曲等が圧縮された形式のデータ(以下、「コンテンツデータ」と呼ぶ)1211,1212,…をはじめとして、コンテンツ再生装置100の動作のために必要な様々なデータが記憶される。制御ユニット110は、記憶装置120の記憶領域にアクセス可能であり、当該記憶領域へデータを書き込んだり、当該記憶領域からのデータを読み取ったりすることができるようになっている。
The
音出力ユニット130C,130L,130R,130SL,130SR,130SWのそれぞれは、上述したスピーカの他に、(i)制御ユニット110から受信したデジタル音声データをアナログ信号に変換するDA変換器(Digital to Analog Converter)と、(ii)当該DA変換器から出力されたアナログ信号を増幅する増幅器と備えている。これらの音出力ユニット130C〜130SWは、制御ユニット110による制御のもとで、案内用音声、音楽等を再生して出力する。
Each of the
本実施形態では、図2に示されるように、音出力ユニット130Cのセンタスピーカ131Cは、車両CRの車内空間である音場空間ASPの前方中央部のダッシュボード内に配置される。このセンタスピーカ131Cは、後方を向くように配設されている。
In the present embodiment, as shown in FIG. 2, the center speaker 131 </ b> C of the sound output unit 130 </ b> C is disposed in the dashboard in the front center portion of the sound field space ASP that is the vehicle interior space of the vehicle CR. The
音出力ユニット130Lのレフトスピーカ131Lは、助手席側の前方ドア筐体内に配置されている。このレフトスピーカ131Lは、助手席側を向くように配設されている。
The
音出力ユニット130Rのライトスピーカ131Rは、運転席側の前方ドア筐体内に配置されている。このライトスピーカ131Rは、運転席側を向くように配設されている。
The
音出力ユニット130SLのサラウンドレフトスピーカ131SLは、助手席側後部の筐体内に配置される。このサラウンドレフトスピーカ131SLは、助手席側の後部座席を向くように配設されている。 The surround left speaker 131SL of the sound output unit 130SL is disposed in the housing on the rear side of the passenger seat. The surround left speaker 131SL is disposed so as to face the rear seat on the passenger seat side.
音出力ユニット130SRのサラウンドライトスピーカ131SRは、運転席側後部の筐体内に配置される。このサラウンドライトスピーカ131SRは、運転席側の後部座席を向くように配設されている。 The surround light speaker 131SR of the sound output unit 130SR is disposed in the housing on the driver seat side rear part. The surround light speaker 131SR is arranged to face the rear seat on the driver's seat side.
音出力ユニット130SWのサブウーハスピーカ131SWは、音場空間ASPの後部に配置される。このサブウーハスピーカ131SWは、ほぼ運転席を向くように配設されている。 The subwoofer speaker 131SW of the sound output unit 130SW is arranged at the rear part of the sound field space ASP. The subwoofer speaker 131SW is disposed so as to face the driver's seat.
音場空間ASPにおいては、聴取者による聴取位置として、運転席位置P1、助手席位置P2、運転席側後部座席位置P3及び助手席側後部座席位置P4が想定されている。なお、図2においては、聴取位置P1〜P4の平面位置が示されているが、これらの聴取位置P1〜P4の高さ位置は、各座席に聴取者が着席した場合における平均的な耳の高さ位置となっている。 In the sound field space ASP, a driver seat position P1, a passenger seat position P2, a driver seat side rear seat position P3, and a passenger seat rear seat position P4 are assumed as listening positions by the listener. In FIG. 2, the planar positions of the listening positions P1 to P4 are shown, but the height positions of these listening positions P1 to P4 are the average ears when the listener is seated in each seat. It is in the height position.
図1に戻り、集音ユニット140は、(i)周囲の音を収集して電気的なアナログ音声信号とするマイクロフォン、(ii)マイクロフォンから出力されたアナログ音声信号を増幅する増幅器、(iii)増幅されたアナログ音声信号をデジタル音声信号に変換するAD変換器(Analog to Digital Converter)とを備えて構成されている。ここで、マイクロフォンは、音場空間ASPにおける所定の少なくとも1つの位置に配置されている。集音ユニット140による集音結果は制御ユニット110に報告される。
Returning to FIG. 1, the
表示ユニット150は、(i)液晶表示パネル、有機EL(Electro Luminescence)パネル、PDP(Plasma Display Panel)等の表示デバイス151と、(ii)制御ユニット110から送出された表示制御データに基づいて、表示ユニット150全体の制御を行うグラフィックレンダラ等の表示コントローラと、(iii)表示画像データを記憶する表示画像メモリ等を備えて構成されている(図2参照)。ここで、表示デバイス151は、音場空間ASPにおける前方中央部のセンタスピーカ131Cの周辺に配置されている。この表示ユニット150は、制御ユニット110による制御のもとで、コンテンツ画像や操作ガイダンス情報等を表示する。
The
操作入力ユニット160は、コンテンツ再生装置100の本体部に設けられたキー部、あるいはキー部を備えるリモート入力装置等により構成される。ここで、本体部に設けられたキー部としては、表示ユニット150の表示デバイスに設けられたタッチパネルを用いることができる。なお、キー部を有する構成に代えて、音声入力する構成を採用することもできる。
The
この操作入力ユニット160を利用者が操作することにより、コンテンツ再生装置100の動作内容の設定が行われる。例えば、再生コンテンツの設定、コンテンツの検索設定等を、利用者が操作入力ユニット160を利用して行う。こうした入力内容は、操作入力ユニット160から制御ユニット110へ送られる。
When the user operates the
走行センサユニット170は、車両CRの移動速度を検出する速度センサ等の車両CRの走行状態を検出するセンサを備えている。ここで、速度センサは、例えば、車輪や車軸の回転により出力されるパルス信号や電圧値を検出する。なお、本実施形態では、速度センサによる車速検出結果が、制御ユニット110へ送られるようになっている。
The traveling
制御ユニット110は、コンテンツ再生装置100の全体を統括制御する。この制御ユニット110は、図3に示されるように、変換手段としてのチャンネル分離部(CHS)111と、音出力制御手段としての音出力制御部112とを備えている。また、制御ユニット110は、デジタル画像データ生成部113を更に備えている。
The
チャンネル分離部111は、音コンテンツを含む再生すべきコンテンツの指定入力がなされたことが操作入力ユニット160から報告されると、当該再生すべきコンテンツに対応するコンテンツデータを記憶装置120から読み出して展開し、オーディオ信号であるデジタル音データ信号を生成する。引き続き、チャンネル分離部111は、生成されたデジタル音データを解析し、デジタル音データ信号に含まれるチャンネル指定情報に従って、デジタル音データ信号を、上述したCチャンネル、Lチャンネル、Rチャンネル、SLチャンネル、SRチャンネル及びSWチャンネルのデータ信号に分離することにより、デジタル音データ信号を、C〜SWチャンネルのデータ信号に変換する。こうして各チャンネルに分離されたデータ信号である6つのチャンネルデータ信号(後述するチャンネルデータ信号LC,LL,LR,LSL,LSR,LSW:図4参照)は、音出力制御部112へ送られる。
When the
音出力制御部112は、チャンネル分離部111から受けた6つのチャンネル分離データに基づいて、音出力ユニット130C〜130SWのそれぞれに供給される6つの音出力データ信号を生成する。この音出力制御部112は、チャンネル信号処理部(CSP)116と、出力音量調整部(EVL)117と、制御指令部(CIS)118とを備えている。
The sound
チャンネル信号処理部116は、制御指令部118による制御指令に従って、チャンネル分離部111から受けたチャンネルデータ信号LC,LL,LR,LSL,LSR,LSWに所定の処理を施して、混合音データ信号(後述する混合音データ信号MC,ML,MR,MSL,MSR,MSW:図4参照)を生成する。このチャンネル信号処理部116は、図4に示されるように、チャンネル信号補正部(CSM)210と、信号混合部(SMX)220とを備えている。
The channel
チャンネル信号補正部210は、制御指令部118による周波数特性の補正制御指令FCCに従って、チャンネルデータ信号LC,LL,LR,LSL,LSR,LSWごとに補正処理を施して、補正後データ信号CC,CL,CR,CSL,CSR,CSWを生成する。このチャンネル信号補正部210は、図5に示されるように、個別チャンネル補正処理部211C,211L,211R,211SL,211SR,211SWを備えている。なお、上記の補正制御指令FCC(図4参照)には、Cチャンネル周波数特性補正指令FC及び他チャンネル周波数特性補正指令FEが含まれている。
The channel
個別チャンネル補正処理部211Cは、周波数特性補正部216Cと、遅延部217Cとを備えている。ここで、周波数特性補正部216Cは、補正制御指令FCC中におけるCチャンネル周波数特性補正指令FCに従って、Cチャンネルデータ信号LCの周波数特性補正を行う。かかるCチャンネルデータ信号LCの周波数特性補正においては、音場空間ASPの騒音レベルに対応して、主に中音域及び高音域の補正処理(FCA)が行われる。また、周波数特性補正部216Cは、周波数特性補正の途中段階におけるデータ信号SCを、Cチャンネル周波数特性補正指令FCの生成のために制御指令部118へ向けて出力する。なお、本実施形態では、データ信号SCは、周波数特性補正の初期段階で行われるCチャンネルデータ信号LCの停車時用補正の結果となっている。
The individual channel correction processing unit 211C includes a frequency
遅延部217Cは、周波数特性補正部216Cによる補正が完了した信号を時間DCだけ遅延させる。こうして遅延部217Cにより遅延された信号が補正後Cチャンネルデータ信号CCとして、信号混合部220へ向けて出力される。
The
個別チャンネル補正処理部211Lは、周波数特性補正部216Eと、遅延部217Lとを備えている。ここで、周波数特性補正部216Eは、補正制御指令FCC中における他チャンネル周波数特性補正指令FEに従って、Lチャンネルデータ信号LLの周波数特性補正を行う。かかるLチャンネルデータ信号LLの周波数特性補正においては、音場空間ASPの騒音レベルに対応して、主に低音域及び高音域の補正処理(FCB)が行われる。また、周波数特性補正部216Eは、周波数特性補正の途中段階におけるデータ信号SLを、他チャンネル周波数特性補正指令FEの生成のために制御指令部118へ向けて出力する。なお、本実施形態では、データ信号SLは、周波数特性補正の初期段階で行われるLチャンネルデータ信号LLの停車時用補正の結果となっている。
The individual channel
遅延部217Lは、周波数特性補正部216Eによる補正が完了した信号を時間DLだけ遅延させる。こうして遅延部217Lにより遅延された信号が補正後Lチャンネルデータ信号CLとして、信号混合部220へ向けて出力される。
The delay unit 217L delays the signal that has been corrected by the frequency
個別チャンネル補正処理部211Rは、遅延部217Lに代えて遅延部217Rを備える点を除いて、個別チャンネル補正処理部211Lと同様に構成されている。個別チャンネル補正処理部211Rでは、周波数特性補正部216Eが、周波数特性補正の途中段階におけるデータ信号SRを、他チャンネル周波数特性補正指令FEの生成のために制御指令部118へ向けて出力するとともに、他チャンネル周波数特性補正指令FEに従って、Rチャンネルデータ信号LRに対して、音場空間ASPの騒音レベルに対応して、主に低音域及び高音域の補正処理(FCB)を行う。そして、遅延部217Rが、周波数特性補正部216Eによる補正が完了した信号を時間DRだけ遅延させ、補正後Rチャンネルデータ信号CRとして、信号混合部220へ向けて出力する。
The individual channel
個別チャンネル補正処理部211SLは、遅延部217Lに代えて遅延部217SLを備える点を除いて、個別チャンネル補正処理部211Lと同様に構成されている。個別チャンネル補正処理部211SLでは、周波数特性補正部216Eが、周波数特性補正の途中段階におけるデータ信号SSLを、他チャンネル周波数特性補正指令FEの生成のために制御指令部118へ向けて出力するとともに、他チャンネル周波数特性補正指令FEに従って、SLチャンネルデータ信号LSLに対して、音場空間ASPの騒音レベルに対応して、主に低音域及び高音域の補正処理(FCB)を行う。そして、遅延部217SLが、周波数特性補正部216Eによる補正が完了した信号を時間DSLだけ遅延させ、補正後SLチャンネルデータ信号CSLとして、信号混合部220へ向けて出力する。
The individual channel correction processing unit 211SL is configured in the same manner as the individual channel
個別チャンネル補正処理部211SRは、遅延部217Lに代えて遅延部217SRを備える点を除いて、個別チャンネル補正処理部211Lと同様に構成されている。個別チャンネル補正処理部211SRでは、周波数特性補正部216Eが、周波数特性補正の途中段階におけるデータ信号SSRを、他チャンネル周波数特性補正指令FEの生成のために制御指令部118へ向けて出力するとともに、他チャンネル周波数特性補正指令FEに従って、SRチャンネルデータ信号LSRに対して、音場空間ASPの騒音レベルに対応して、主に低音域及び高音域の補正処理(FCB)を行う。そして、遅延部217SRが、周波数特性補正部216Eによる補正が完了した信号を時間DSRだけ遅延させ、補正後SRチャンネルデータ信号CSRとして、信号混合部220へ向けて出力する。
The individual channel correction processing unit 211SR is configured in the same manner as the individual channel
個別チャンネル補正処理部211SW、遅延部217Lに代えて遅延部217SWを備える点を除いて、個別チャンネル補正処理部211Lと同様に構成されている。個別チャンネル補正処理部211SWでは、周波数特性補正部216Eが、周波数特性補正の途中段階におけるデータ信号SSWを、他チャンネル周波数特性補正指令FEの生成のために制御指令部118へ向けて出力するとともに、他チャンネル周波数特性補正指令FEに従って、SWチャンネルデータ信号LSWに対して、音場空間ASPの騒音レベルに対応して、主に低音域及び高音域の補正処理(FCB)を行う。そして、遅延部217SWが、周波数特性補正部216Eによる補正が完了した信号を時間DSWだけ遅延させ、補正後SWチャンネルデータ信号CSWとして、信号混合部220へ向けて出力する。
The configuration is the same as that of the individual channel
すなわち、チャンネル信号補正部210では、チャンネルデータ信号LC〜LSWそれぞれについて、周波数特性補正処理及び遅延処理が施される。ここで、チャンネルデータ信号LC〜LSWの周波数特性補正においては、Cチャンネルデータ信号LCに対しては、主に中音域及び高音域の補正処理(FCA)が独立して行われる一方で、他のチャンネルデータ信号LL〜LSWに対しては、主に低音域及び高音域の補正処理(FCB)という共通の周波数特性補正が行われる。
That is, in the channel
また、周波数特性補正後の信号については、各チャンネルに固有な遅延処理が行われる。かかる遅延処理における各チャンネルに関する遅延時間DC〜DSWは、スピーカ131C〜131SWの配置位置に基づいて、予め定められる。
Further, for the signal after frequency characteristic correction, a delay process specific to each channel is performed. The delay times DC to DSW for each channel in the delay processing are determined in advance based on the arrangement positions of the
図4に戻り、信号混合部220は、制御指令部118からの混合指令GDCに従って、チャンネル信号補正部210からの補正後チャンネルデータ信号CC〜CSWから混合音データ信号MC〜MSWを生成する。この信号混合部220では、図6に示されるように、補正後チャンネルデータ信号CC,CSWについては、そのままを混合音データ信号MC,MSWとして出力される。一方、信号混合部220では、補正後チャンネルデータ信号CL,CR,CSL,CSRのそれぞれが、補正後Cチャンネルデータ信号CCと混合されて、混合音データ信号ML,MR,MSL,MSRが生成される。なお、上記の混合指令GDC(図4参照)には、遅延指令D1C,D2C及び減衰指令G1C,G2Cが含まれている。
Returning to FIG. 4, the
補正後Lチャンネルデータ信号CLと補正後Cチャンネルデータ信号CCとの混合のために、信号混合部220は、遅延部221Lと、減衰部222Lと、加算部223Lとを備えている。ここで、遅延部221Lは、制御指令部118からの遅延指令D1Cに従って、補正後Cチャンネルデータ信号CCを時間D1だけ遅延させる。減衰部222Lは、制御指令部118からの減衰指令G1Cに従って、遅延部221Lから受けた信号を減衰率G1で減衰させる。加算部223Lは、減衰部222Lから出力された信号と補正後Lチャンネルデータ信号CLとを加算し、混合音データ信号MLを算出する。こうして生成された混合音データ信号MLは、出力音量調整部117へ向けて出力される。
In order to mix the corrected L channel data signal CL and the corrected C channel data signal CC, the
また、補正後Rチャンネルデータ信号CRと補正後Cチャンネルデータ信号CCとの混合のために、信号混合部220は、遅延部221Rと、減衰部222Rと、加算部223Rとを備えている。ここで、遅延部221Rは、上記の遅延部221Lと同様に、制御指令部118からの遅延指令D1Cに従って、補正後Cチャンネルデータ信号CCを時間D1だけ遅延させる。減衰部222Rは、上記の減衰部222Lと同様に、制御指令部118からの減衰指令G1Cに従って、遅延部221Rから受けた信号を減衰率G1で減衰させる。加算部223Rは、減衰部222Rから出力された信号と補正後Rチャンネルデータ信号CRとを加算し、混合音データ信号MRを算出する。こうして生成された混合音データ信号MRは、出力音量調整部117へ向けて出力される。
Further, in order to mix the corrected R channel data signal CR and the corrected C channel data signal CC, the
補正後SLチャンネルデータ信号CSLと補正後Cチャンネルデータ信号CCとの混合のために、信号混合部220は、遅延部221SLと、減衰部222SLと、加算部223SLとを備えている。ここで、遅延部221SLは、制御指令部118からの遅延指令D2Cに従って、補正後Cチャンネルデータ信号CCを時間D2だけ遅延させる。減衰部222SLは、制御指令部118からの減衰指令G2Cに従って、遅延部221SLから受けた信号を減衰率G2で減衰させる。加算部223SLは、減衰部222SLから出力された信号と補正後SLチャンネルデータ信号CSLとを加算し、混合音データ信号MSLを算出する。こうして生成された混合音データ信号MSLは、出力音量調整部117へ向けて出力される。
In order to mix the corrected SL channel data signal CSL and the corrected C channel data signal CC, the
また、補正後SRチャンネルデータ信号CSRと補正後Cチャンネルデータ信号CCとの混合のために、信号混合部220は、遅延部221SRと、減衰部222SRと、加算部223SRとを備えている。ここで、遅延部221SRは、上記の遅延部221SLと同様に、制御指令部118からの遅延指令D2Cに従って、補正後Cチャンネルデータ信号CCを時間D2だけ遅延させる。減衰部222SRは、上記の減衰部222SLと同様に、制御指令部118からの減衰指令G2Cに従って、遅延部221SRから受けた信号を減衰率G2で減衰させる。加算部223SRは、減衰部222SRから出力された信号と補正後SRチャンネルデータ信号CSRとを加算し、混合音データ信号MSRを算出する。こうして生成された混合音データ信号MSRは、出力音量調整部117へ向けて出力される。
Further, in order to mix the corrected SR channel data signal CSR and the corrected C channel data signal CC, the
図3に戻り、出力音量調整部117は、制御指令部118による制御のもとで、混合音データ信号MC〜MSWに対応するスピーカ131C〜131SWからの出力音の音量レベルを調整する。この出力音量調整部117は、図7に示されるように、電子ボリューム機能を有する個別音量調整部241C〜241SWを備えている。
Returning to FIG. 3, the output
個別音量調整部241Cは、制御指令部118からの基準音量指令SVS及びセンタスピーカ131C用の音量補正指令CVSに従って、混合音データ信号MCに対応する音の出力音量を調整する。個別音量調整部241Cによる調整結果は、音出力ユニット130Cへ向けて出力される。
The individual
なお、基準音量指令SVSは、利用者が操作入力ユニット160を介して指定した出力音量に対応した音量指令である。
The reference volume command SVS is a volume command corresponding to the output volume specified by the user via the
個別音量調整部241Lは、制御指令部118からの基準音量指令SVS、及び、センタスピーカ131C以外のスピーカ131L〜131SW用の音量補正指令EVSに従って、混合音データ信号MLに対応する音の出力音量を調整する。個別音量調整部241Lによる調整結果は、音出力ユニット130Lへ向けて出力される。
The individual
個別音量調整部241Rは、上記の個別音量調整部241Lと同様に、制御指令部118からの基準音量指令SVS及び音量補正指令EVSに従って、混合音データ信号MRに対応する音の出力音量を調整する。個別音量調整部241Rによる調整結果は、音出力ユニット130Rへ向けて出力される。
The individual
個別音量調整部241SLは、上記の個別音量調整部241Lと同様に、制御指令部118からの基準音量指令SVS及び音量補正指令EVSに従って、混合音データ信号MSLに対応する音の出力音量を調整する。個別音量調整部241SLによる調整結果は、音出力ユニット130SLへ向けて出力される。
The individual volume adjustment unit 241SL adjusts the output volume of the sound corresponding to the mixed sound data signal MSL according to the reference volume command SVS and the volume correction command EVS from the
個別音量調整部241SRは、上記の個別音量調整部241Lと同様に、制御指令部118からの基準音量指令SVS及び音量補正指令EVSに従って、混合音データ信号MSRに対応する音の出力音量を調整する。個別音量調整部241SRによる調整結果は、音出力ユニット130SRへ向けて出力される。
The individual volume adjustment unit 241SR adjusts the output volume of the sound corresponding to the mixed sound data signal MSR according to the reference volume command SVS and the volume correction command EVS from the
個別音量調整部241SWは、上記の個別音量調整部241Lと同様に、制御指令部118からの基準音量指令SVS及び音量補正指令EVSに従って、混合音データ信号MSWに対応する音の出力音量を調整する。個別音量調整部241SWによる調整結果は、音出力ユニット130SWへ向けて出力される。
The individual volume adjustment unit 241SW adjusts the output volume of the sound corresponding to the mixed sound data signal MSW according to the reference volume command SVS and the volume correction command EVS from the
すなわち、出力音量調整部117では、混合音データ信号MC〜MSWの全てに対応して、基準音量指令SVSに従って出力音量調整を共通的に行われる。これに対して、出力音量補正に関しては、混合音データ信号MCについては音量補正指令CVSに従って、他の混合音データ信号ML〜MSWについてとは独立した出力音量補正が行われる。そして、混合音データ信号ML〜MSWについては音量補正指令EVSに従って、出力音量補正が共通的に行われる。
That is, in the output
図3に戻り、制御指令部118は、集音ユニット140による集音結果、走行センサユニット170からの車速検出結果、操作入力ユニット160からの出力音量指定等の動作態様指定、チャンネル信号処理部116からのデータ信号SC〜SSW(以下、総称する場合には、「データ信号SST」と記す)、及び、音場空間ASPにおけるスピーカ131C〜131SWの配置関係に基づいて、チャンネル信号処理部116及び出力音量調整部117を制御する。この制御指令部118は、図8に示されるように、操作入力解析部251と、補正制限部252と、騒音レベルの推定手段としても機能する補正制御部253とを備えている。
Returning to FIG. 3, the
操作入力解析部251は、操作入力ユニット160から受けた操作入力データIPDを解析する。この解析の結果、出力音量指定が操作入力ユニット160に入力されたことを認識した場合には、操作入力解析部251は、その指定された出力音量情報を、基準音量指令SVSとして、補正制限部252及び出力音量調整部117へ送る。なお、本実施形態では、動作開始後、新たに出力音量指定がなされたことが認識されるまでは、操作入力解析部251は、前回のコンテンツ再生時に設定された出力音量を、補正制限部252へ送るとともに、基準音量指令SVSとして、音量調整部117へ送るようになっている。
The operation
また、操作入力データIPDの解析の結果、音出力制御モード指定として、Cチャンネルについて他のチャンネルとは独立に音出力制御を行うCチャンネル独立制御モード指定、又は、Cチャンネルも他のチャンネルと同様の音出力制御を行う共通制御モード指定が操作入力ユニット160に入力されたことを認識した場合には、操作入力解析部251は、その旨を補正制御部253へ送る。なお、本実施形態では、動作開始直後には、操作入力解析部251が、共通制御モードによる音出力制御をすべき旨を補正制御部253へ送るようになっている。
As a result of the analysis of the operation input data IPD, as the sound output control mode designation, the C channel independent control mode designation for performing the sound output control independently of the other channels for the C channel, or the C channel is the same as the other channels. When the operation
補正制限部252は、上述した操作入力解析部251からの基準音量指令SVS及び走行センサユニット170からの車速検出結果に基づいて、出力音量補正量の上限を求める。こうして求められた出力音量補正量の上限は、補正制御部253へ送られる。
The
なお、本実施形態では、操作入力ユニット160を介して指定された出力音量が大きい程、出力音量補正量の上限が高くなるようになっている。また、走行センサユニット170により検出された車速が速い程、出力音量補正量の上限が高くなるようになっている。かかる出力音量補正量の上限は、指定された出力音量と車速検出結果との組合せに対応して予め定められ、補正制限部252内に登録されている。
In the present embodiment, the upper limit of the output volume correction amount is increased as the output volume specified through the
補正制御部253は、集音ユニット140による集音結果AADに基づいて、音場空間ASPにおける騒音レベルを推定する。集音位置における騒音レベルと、音場空間ASP内の全般における騒音レベルとは相関があることから、集音位置の騒音レベルを推定することにより、音場空間ASP内の全般における騒音レベルを推定できる。
The
なお、本実施形態では、補正制御部253は、スピーカ131C〜131SWから出力される音には通常は含まれないか、含まれたとしてもパワーの小さな周波数帯域の音の集音結果におけるパワーに基づいて、集音位置の騒音レベルを推定するようになっている。また、集音位置における騒音レベルと、音場空間ASP内の全般における騒音レベルとの相関は、音場空間ASPを車内空間として有する車種によって異なるが、事前に実験、シミュレーションなどによって求められており、補正制御部253内に登録されている。
In the present embodiment, the
補正制御部253は、上記の騒音レベルの推定結果と、チャンネル信号処理部116(より詳しくは、チャンネル信号補正部210)からのデータ信号SSTと、音場空間ASPにおけるスピーカ131C〜131SWの配置関係に基づいて、チャンネル信号処理部116の制御を行う。かかるチャンネル信号処理部116の制御に際して、補正制御部253は、騒音レベルの推定結果、データ信号SSTに基づいてチャンネル信号補正部210の制御を行うとともに、騒音レベルの推定結果及び音場空間ASPにおけるスピーカ131C〜131SWの配置関係に基づいて信号混合部220の制御を行う。
The
チャンネル信号補正部210の制御に際して、補正制御部253は、データ信号SCのレベルと騒音レベルの比、すなわち、Cチャンネルに関するSN比を求める。こうして求められたCチャンネルに関するSN比に基づいて、補正制御部253は、Cチャンネル周波数特性補正指令FCを作成して、チャンネル信号補正部210の個別チャンネル補正処理部211Cへ送る。
When controlling the channel
また、補正制御部253は、データ信号SL〜SSWの総合的なレベルと騒音レベルの比、すなわち、L〜SWチャンネルに関するSN比を求める。こうして求められたL〜SWチャンネルに関するSN比に基づいて、補正制御部253は、他チャンネル周波数特性補正指令FEを作成して、チャンネル信号補正部210の個別チャンネル補正処理部211L〜211SWへ送る。
Further, the
信号混合部220の制御に際して、補正制御部253は、Cチャンネル独立制御モード指定がなされている場合には、既知である音場空間ASPにおけるスピーカ131C〜131SWの配置関係に基づいて定められた遅延時間D1,D2の指定を、遅延指令D1C,D2Cとして、信号混合部220へ送る。ここで、遅延時間D1,D2は、音場空間ASP内のどの位置であっても、センタスピーカ131Cから出力されたCチャンネルデータ信号LCに由来する音の到達後、1〜30msの時間が経過した後に、レフトスピーカ131L、ライトスピーカ131R、サラウンドレフトスピーカ131SL及びサラウンドライトスピーカ131SRから出力されたCチャンネルデータ信号LCに由来する音が到達するように定められている。こうした遅延時間D1,D2は、予め補正制御部253内に登録されている。
In the control of the
また、Cチャンネル独立制御モード指定がなされている場合には、補正制御部253は、騒音レベルの推定結果に基づいて、減衰率G1,G2を算出する。かかる減衰率G1,G2の算出に際して、補正制御部253は、音場空間ASP内のどの位置であっても、センタスピーカ131Cから出力されたCチャンネルデータ信号LCに由来する音の先行音効果が損なわれることがないことを考慮する。そして、補正制御部253は、減衰率G1,G2の指定を、減衰指令G1C,G2Cとして、信号混合部220へ送る。
When the C channel independent control mode is designated, the
なお、共通制御モード指定がなされている場合には、補正制御部253は、混合音データ信号ML,MR,MSL,MSRとして、補正後チャンネルデータ信号CL,CR,CSL,CSRのそれぞれと、補正後センタチャンネルデータ信号CCとの混合を行わない、すなわち、減衰率G1,G2を無限大とすべき旨を減衰指令G1C,G2Cとして、信号混合部220へ送る。この場合には、補正制御部253は、遅延時間D1,D2の算出及び遅延指令D1C,D2Cの送出を省略する。
When the common control mode is designated, the
また、補正制御部253は、上記の騒音レベルの推定結果、及び、補正制限部252からの出力音量補正量の上限に基づいて、出力音量調整部117の制御を行う。かかる出力音量調整部117の制御に際して、補正制御部253は、騒音レベルに基づいて、基準音量指令SVSで定まる出力音量に対する増加音量を、センタスピーカ131Cから出力される音及び他のスピーカ131L〜131SWから出力される音について算出する。そして、補正制御部253は、センタスピーカ131Cから出力される音に対するセンタ増加音量を、音量補正指令CVSとして出力音量調整部117へ送るとともに、他のスピーカ131L〜131SWから音に対する非センタ増加音量を、音量補正指令EVSとして出力音量調整部117へ送る。
Further, the
騒音が無いことが推定された場合には、補正制御部253は、センタ増加音量及び非センタ増加音量を0とする。また、推定された騒音レベルが高くなる程、センタ増加音量及び非センタ増加音量を大きくする。
When it is estimated that there is no noise, the
ここで、Cチャンネル独立制御モード指定がなされている場合には、補正制御部253は、出力音量補正量の上限による制限に抵触しない限り、センタ増加音量が、非センタ増加音量よりも大きくするようになっている。また、共通制御モード指定がなされている場合には、補正制御部253は、センタ増加音量と非センタ増加音量とを同一とする。
Here, when the C channel independent control mode is designated, the
なお、騒音レベルの高さ及び音出力制御モードの組合せと、センタ増加音量及び非センタ増加音量との関係は、事前の実験やシミュレーションにより予め定められ、補正制御部253内に登録されている。
Note that the relationship between the combination of the noise level height and the sound output control mode, and the center increase volume and the non-center increase volume is determined in advance through experiments and simulations and registered in the
図3に戻り、デジタル画像データ生成部113は、画像コンテンツを含む再生すべきコンテンツの指定入力がなされたことが操作入力ユニット160から報告されると、当該再生すべきコンテンツに対応する映像コンテンツデータを記憶装置120から読み出して展開し、デジタル画像データを生成する。こうして生成されたデジタル画像データは、表示ユニット150へ送られる。この結果、表示ユニット150の表示デバイス151には、再生すべきコンテンツにおける映像コンテンツが表示される。
Returning to FIG. 3, when the
[動作]
次に、上記のように構成されたコンテンツ再生装置100の動作について、音出力動作に主に着目して説明する。
[Operation]
Next, the operation of the
コンテンツ再生装置100では、通電が開始されると、集音ユニット140よる集音動作と、制御ユニット110内の補正制御部253による音場空間ASPにおける騒音レベルの推定動作とが開始される。そして、当該推定動作は、通電期間にわたって継続される。
In the
通電の後、コンテンツ再生前、又は、コンテンツ再生中に、利用者が、操作入力ユニット160に音出力制御モードの指定を入力すると、操作入力解析部251がその旨を認識し、指定された音出力制御モードを補正制御部253へ送る。この後、補正制御部253は、音コンテンツの再生に際しては、指定された音出力制御モードに対応する補正制御を行う。なお、以下の説明においては、コンテンツ再生前に、Cチャンネル独立制御モードの指定がなされているものとする。
When the user inputs a sound output control mode designation to the
かかるCチャンネル独立制御モードの指定がなされると、補正制御部253は、音場空間ASPにおけるスピーカ131C〜131SWの配置関係に基づいて定められた遅延時間D1,D2の指定を、遅延指令D1C,D2Cとして、信号混合部220へ送る。
When the designation of the C channel independent control mode is made, the
利用者が、操作入力ユニット160に再生すべきコンテンツを含むコンテンツの指定を入力すると、操作入力ユニット160からその旨が制御ユニット110に報告される。この報告を受けた制御ユニット110では、コンテンツデータ121j(j=1,2,…)の中における指定されたコンテンツに対応するコンテンツデータに画像データが含まれているか否かが判定される。この判定の結果が肯定的であった場合には、制御ユニット110におけるデジタル画像データ生成部113が該当する画像(映像)コンテンツデータを読み出して展開する。
When the user inputs the designation of content including the content to be reproduced to the
デジタル画像データ生成部113における展開結果は、表示ユニット150へ送られる。この結果、表示ユニット150の表示デバイスには、指定されたコンテンツにおける画像コンテンツが再生される。
The expansion result in the digital image
また、操作入力ユニット160からコンテンツ指定があった旨の報告を受けると、制御ユニット110では、指定されたコンテンツに対応するコンテンツデータに音データが含まれているか否かが判定される。この判定の結果が肯定的であった場合には、制御ユニット110における音出力制御部112が、音出力のための初期設定を行う。
When receiving a report indicating that the content has been designated from the
かかる音出力のための初期設定においては、操作入力解析部251が、前回のコンテンツ再生時と同様の基準音量指令SVSを出力音量調整部117及び補正制限部252へ送る。基準音量指令SVSを受けた補正制限部252は、走行センサユニット170からの車速検出結果SPD及び当該基準音量指令SVSに基づいて、出力音量補正量の上限を算出する。そして、補正制限部252は、出力音量補正量の上限を補正制御部253へ送る。
In the initial setting for such sound output, the operation
補正制御部253は、騒音レベルの推定結果に基づいて、初期のCチャンネル周波数特性補正指令FC及び他チャンネル周波数特性補正指令FEを作成して、チャンネル信号補正部210へ送る。また、補正制御部253は、騒音レベルの推定結果に基づいて、減衰率G1,G2を上述のようにして算出し、減衰率G1,G2の指定を、減衰指令G1C,G2Cとして、信号混合部220へ送る。また、補正制御部253は、騒音レベルの推定結果及び補正音量の上限に基づいて、音量補正指令CVS,EVSを音量調整部117へ送る。
The
こうして音出力のための初期設定が終了する。なお、初期設定が終了の後、新たな基準音量指令SVSを受けたり、車速検出結果SPDが変化するたびに、補正制限部252は、新たな出力音量補正量の上限を算出して、補正制御部253へ送る。また、騒音レベルの推定結果又は補正音量の上限が変化するたびに、補正制御部253は、減衰率G1,G2を算出して、信号混合部220へ送るとともに、新たな音量補正指令CVS,EVSを作成して、出力音量調整部117へ送る。
Thus, the initial setting for sound output is completed. After the initial setting is completed, every time a new reference volume command SVS is received or the vehicle speed detection result SPD changes, the
一方、音出力のための初期設定が終了すると、制御ユニット110におけるチャンネル分離部111が、該当する音コンテンツデータを記憶装置120から読み出す。引き続き、チャンネル分離部111は、読み出された音コンテンツデータを展開し、デジタル音データ信号を生成する。
On the other hand, when the initial setting for sound output is completed, the
次に、チャンネル分離部111は、デジタル音データ信号に含まれるチャンネル指定情報に従って、デジタル音データ信号を、上述したCチャンネル、Lチャンネル、Rチャンネル、SLチャンネル、SRチャンネル及びSWチャンネルごとのデジタル音データ信号であるチャンネルデータ信号LC,LL,LR,LSL,LSR,LSWに分離する。こうして得られたチャンネルデータ信号LC〜LSWは、音出力制御部112へ送られる。
Next, the
音出力制御部112では、チャンネルデータ信号LC〜LSWをチャンネル信号処理部116のチャンネル信号補正部210が受ける。チャンネルデータ信号LC〜LSWを受けると、チャンネル信号補正部210は、補正制御部253からの補正制御指令FCC(すなわち、Cチャンネル周波数特性補正指令FC及び他チャンネル周波数特性補正指令FE)に従って、チャンネルデータ信号LC,LL,LR,LSL,LSR,LSWごとに補正処理を施して、補正後データ信号CC,CL,CR,CSL,CSR,CFSWを生成する。
In the sound
かかる補正処理において、チャンネル信号補正部210は、上述したように周波数特性補正の途中段階におけるデータ信号SC〜SSWを制御指令部118へ送る。チャンネル信号補正部210では、補正制御部253が、データ信号SC〜SSW及び騒音レベルの推定結果に基づいて、Cチャンネル周波数特性補正指令FC及び他チャンネル周波数特性補正指令FEを作成して、チャンネル信号補正部210へ送る。そして、チャンネル信号補正部210では、新たなCチャンネル周波数特性補正指令FC及び他チャンネル周波数特性補正指令FEに基づいて、チャンネルデータ信号LC,LL,LR,LSL,LSR,LSWごとに補正処理を施す。
In such correction processing, the channel
なお、チャンネル信号補正部210では、上述したように、チャンネルデータ信号LCについては中音域及び高音域の補正処理(FCA)が行われるとともに、チャンネルデータ信号LL〜LSWについては低音域及び高音域の補正処理(FCB)が行われる。こうして、チャンネルデータ信号LL〜LSWについて周波数特性補正が行われた後に、対応する遅延時間DC〜DSWの遅延処理が施された後に、補正後チャンネルデータ信号CL〜CSWとして、信号混合部220へ向けて出力される。
Note that, as described above, the channel
補正後チャンネルデータ信号CL〜CSWを受けた信号混合部220では、補正制御部253からの混合指令GDC(すなわち、遅延指令D1C,D2C及び減衰指令G1C,G2C)に従って、補正後チャンネルデータ信号CC〜CSWから混合音データ信号MC〜MSWを生成する。この信号混合部220では、上述したように、補正後チャンネルデータ信号CC,CSWについては、そのままを混合音データ信号MC,MSWとして出力される。一方、補正後チャンネルデータ信号CL,CR,CSL,CSRのそれぞれが、補正後Cチャンネルデータ信号CCと混合されて、混合音データ信号ML,MR,MSL,MSRが生成される。こうして生成された混合音データ信号MC〜MSWは、出力音量調整部117へ向けて出力される。
In the
混合音データ信号MC〜MSWを受けた出力音量調整部117では、操作入力解析部251からの基準音量指令SVSに従って混合音データ信号MC〜MSWの全てに対して出力音量調整が共通的に行われる。また、出力音量調整部117では、混合音データ信号MCについては音量補正指令CVSに従って、他の混合音データ信号ML〜MSWについてと独立した出力音量補正が行われる。また、混合音データ信号ML〜MSWについては音量補正指令EVSに従って、出力音量補正が共通的に行われる。
Upon receiving the mixed sound data signals MC to MSW, the output
混合音データ信号MC〜MSWに対する出力音量調整結果は、混合音データ信号MC〜MSWに対応する音出力ユニット130C〜130SWへ送られる。そして、スピーカ131C〜131SWから当該出力音量調整結果の音が音場空間ASPへ出力される。
The output volume adjustment result for the mixed sound data signals MC to MSW is sent to the
なお、コンテンツ再生前又はコンテンツ再生中に、利用者が、操作ユニット160に共通制御モードの指定を入力すると、操作入力解析部251がその旨を認識し、指定された音出力制御モードを補正制御部253へ送る。この報告を受けた補正制御部253は、減衰率G1,G2を無限大とすべき旨を減衰指令G1C,G2Cとして、信号混合部220へ送り、補正後チャンネルデータ信号CL,CR,CSL,CSRをそのまま混合音データ信号ML,MR,MSL,MSRとして出力すべきことを指令する。また、補正制御部253は、センタ増加音量と非センタ増加音量とを同一とするように、音量補正指令CVS及び音量補正指令EVSを作成して、出力音量調整部117へ送る。そして、かかる補正制御部253からの制御に従って、スピーカ131C〜131SWから出力すべき音に対応する音データ信号が生成され、生成された音データ信号によって表現された音がスピーカ131C〜131SWから出力される。
When the user inputs designation of the common control mode to the
以上説明したように、本実施形態では、Cチャンネル独立制御モードが設定された場合には、騒音レベルの推定結果に応じて、Cチャンネルデータ信号に由来する音の周波数特性補正及び出力音量補正を、L〜SWチャンネルデータ信号に由来する音の周波数特性補正及び出力音量補正とは独立して制御する。ここで、出力音量補正に際しては、出力音量補正量の上限による制限に抵触しない限り、センタスピーカ131Cからの出力音量の補正による増大量が、センタスピーカ131C以外のスピーカ131L〜131SWからの出力音量の補正による増大量よりも大きくなる制御がなされる。したがって、本実施形態によれば、騒音環境下においても、他のスピーカ131L〜131SWから出力される楽曲音が適正化されつつ、センタスピーカ131Cから出力される言語音が明確に聞き取れる音場空間を創出させることができる。
As described above, in the present embodiment, when the C channel independent control mode is set, the frequency characteristic correction and the output volume correction of the sound derived from the C channel data signal are performed according to the estimation result of the noise level. The frequency characteristic correction and the output volume correction of the sound derived from the L to SW channel data signals are controlled independently. Here, when the output sound volume is corrected, the amount of increase due to the correction of the output sound volume from the
また、本実施形態では、センタスピーカ131Cから出力されるCチャンネルデータ信号に由来する音の先行音効果を損なわない範囲で、Cチャンネルデータ信号をL〜SRチャンネルデータ信号に混合させて、スピーカ131L〜131SRからもCチャンネルデータ信号に由来する音を出力させる。このため、センタスピーカ131CからCチャンネルの音が聞こえるというセンタスピーカ131の定位情報が損なわれずに、音場空間のどの位置でも明確にCチャンネルデータ信号に由来する音を聴き取ることができる。
In the present embodiment, the C channel data signal is mixed with the L to SR channel data signals within a range that does not impair the sound effect of the sound derived from the C channel data signal output from the
[実施形態の変形]
本発明は、上記の実施形態に限定されるものではなく、様々な変形が可能である。
[Modification of Embodiment]
The present invention is not limited to the above-described embodiment, and various modifications are possible.
例えば、上記の実施形態では、チャンネル信号補正部210における遅延時間DC〜DSWは、チャンネル信号補正部210に予め登録されることにしたが、補正制限部253がチャンネル信号補正部210に通知するようにしてもよい。
For example, in the above embodiment, the delay times DC to DSW in the channel
また、上記の実施形態では、補正制御部253が、音場空間ASPにおける騒音レベルを集音ユニット140による集音結果AADに基づいて推定した。これに対して、走行センサユニット170による車速検出結果SPDと、事前に得られている車速と騒音レベルとの相関関係に基づいて、補正制御部253が、音場空間ASPにおける騒音レベルを推定するようにすることもできる。さらに、例えば、エンジンの回転数等の車両の状況を反映した属性量の検出結果と、事前に得られている当該属性量と騒音レベルとの相関関係に基づいて、補正制御部253が、音場空間ASPにおける騒音レベルを推定するようにすることもできる。
In the above embodiment, the
また、上記の実施形態では、信号混合部220における遅延部221L及び遅延部221Rにおける遅延時間を同一としたが、音場設計に対応して、異なる遅延時間とすることもできる。さらに、信号混合部220における減衰部222L及び減衰部222Rにおける減衰率を同一としたが、音場設計に対応して、異なる減衰率とすることもできる。かかる変形の可能性は、遅延部221SL及び遅延部221SR、並びに減衰部222SL及び減衰部222SRについても同様である。
In the above embodiment, the delay times in the
また、上記の実施形態では、信号混合部220において、補正後チャンネルデータ信号CL,CR,CSL,CSRのそれぞれと、補正後Cチャンネルデータ信号CCとの混合に際して、補正後Cチャンネルデータ信号CCを遅延させ、かつ、減衰させた後に補正後チャンネルデータ信号CL,CR,CSL,CSRのそれぞれとの加算を行うようにした。これに対して、音場空間の大きさや、聴取位置の各スピーカからの距離によっては、補正後Cチャンネルデータ信号CCを遅延させずに補正後チャンネルデータ信号CL,CR,CSL,CSRのそれぞれとの加算を行うようにしてもよい。また、出力音量調整部117における出力音量調整の態様によっては、補正後Cチャンネルデータ信号CCを増幅した後に補正後チャンネルデータ信号CL,CR,CSL,CSRのそれぞれとの加算を行うようにしてもよい。
Further, in the above embodiment, the
また、チャンネル信号補正部210における補正は、イコライジング補正であってもよいし、コンプレス補正やリミット補正であってもよい。
The correction in the channel
また、上記の実施形態では、5.1chサラウンド方式における各チャンネルに対応して、6つの音出力ユニットを備えることがしたが、各チャンネルに対応する音を適宜混合し、5つ以下又は7つ以上のスピーカから音出力をさせるようにすることもできる。 Further, in the above embodiment, six sound output units are provided corresponding to each channel in the 5.1ch surround system. However, the sound corresponding to each channel is appropriately mixed, and five or less or seven are mixed. It is also possible to output sound from the above speakers.
また、上記の実施形態では、Cチャンネルデータ信号に由来する音のみを出力し、音場空間の前方に中央部に配置されるセンタスピーカ131Cを設けた。これに対し、センタスピーカ131Cを設けずに、例えば、補正後Cチャンネルデータ信号CCに遅延も減衰も施さずに補正後L,Rチャンネルデータ信号CL,CRに加算し、混合データ信号ML,MRとして、スピーカ131L,131Rから出力された音により、仮想的にセンタスピーカCを出現させるとともに、補正後SL,SRチャンネルデータ信号CSL,CSRについては、上記の実施形態と同様に、遅延部処理及び減衰処理が施されたCチャンネルデータ信号CCを加算して、混合データ信号MSL,MSRを生成するようにしてもよい。また、補正後Cチャンネルデータ信号CCに遅延を施さず、かつ、増幅して、補正後L,Rチャンネルデータ信号CL,CRに加算し、混合データ信号ML,MRとして、スピーカ131L,131Rから出力された音により、仮想的にセンタスピーカCを出現させるようにすることもできる。
In the above embodiment, only the sound derived from the C channel data signal is output, and the center speaker 131 </ b> C disposed in the central portion is provided in front of the sound field space. On the other hand, without providing the
また、上記の実施形態では、センタスピーカ131Cは図2に示したように車両CR内において後方を向くように配置することとしたが、センタスピーカ131Cは上向きに設置して音出力を行い、車両CRのフロントガラスに反射されて音場空間ASPに伝播させるようにしてもよい。
Further, in the above embodiment, the
また、車両に搭載され、コンテテンツ再生装置としても機能するナビゲーション装置等が、本実施形態のコンテンツ再生装置100の機能を有するようにしてもよい。
Further, a navigation device or the like that is mounted on a vehicle and also functions as a content playback device may have the function of the
また、上記の実施形態では、記憶装置に格納されたコンテンツデータを再生するコンテンツ再生装置に本発明を適用したが、地上デジタルテレビ放送等の放送波の受信装置であって、音声信号を、例えば2チャンネル構成から5.1チャンネル構成に変換して利用者に提供する装置に本発明を適用することもできる。 In the above embodiment, the present invention is applied to a content reproduction device that reproduces content data stored in a storage device. However, the present invention is a broadcast wave reception device such as terrestrial digital television broadcast, The present invention can also be applied to an apparatus that converts a 2-channel configuration to a 5.1-channel configuration and provides it to a user.
また、上記の実施形態においては、車両に搭載されるコンテンツ再生装置に本発明を適用したが、車両以外の他の移動体に搭載される音響再生機能を有する装置に本発明を適用することもできるし、移動体に搭載されない音響再生機能を有する装置に本発明を適用することもできる。 In the above embodiment, the present invention is applied to a content playback apparatus mounted on a vehicle. However, the present invention may be applied to an apparatus having an acoustic playback function mounted on a mobile body other than the vehicle. In addition, the present invention can be applied to an apparatus having a sound reproduction function that is not mounted on a moving body.
なお、上記の実施形態における制御ユニット110を中央処理装置(CPU:Central Processing Unit)、DSP(Digital Signal Processor)、読出専用メモリ(ROM:Read Only Memory)、ランダムアクセスメモリ(RAM:Random Access Memory)等を備えた演算手段としてのコンピュータとして構成し、予め用意されたプログラムを当該コンピュータで実行することにより、上記の実施形態における処理を行うようにしてもよい。このプログラムはハードディスク、CD−ROM、DVD等のコンピュータで読み取り可能な記録媒体に記録され、当該コンピュータによって記録媒体から読み出されて実行される。また、このプログラムは、CD−ROM、DVD等の可搬型記録媒体に記録された形態で取得されるようにしてもよいし、インターネットなどのネットワークを介した配送の形態で取得されるようにしてもよい。
In addition, the
100 … コンテンツ再生装置(音響装置)
111 … チャンネル分離部(変換手段)
112 … 音出力制御部(音出力制御手段)
130C〜130SW … 音出力ユニット(音出力手段)
131C … センタスピーカ
131L … レフトスピーカ(混合音スピーカ)
131R … ライトスピーカ(混合音スピーカ)
131SL … サラウンドレフトスピーカ(混合音スピーカ)
131SR … サラウンドライトスピーカ(混合音スピーカ)
140 … 集音ユニット(推定手段の一部)
221L〜221SR … 遅延部(遅延手段)
222L〜222SR … 減衰部(レベル調整手段)
223L〜223SR … 加算部(加算手段)
253 … 補正制御部(推定手段の一部)
ASP … 音場空間
CR … 車両(移動体)
100 ... Content playback device (audio device)
111 ... Channel separation unit (conversion means)
112 ... Sound output control unit (sound output control means)
130C to 130SW: Sound output unit (sound output means)
131C:
131R: Light speaker (mixed sound speaker)
131SL: Surround left speaker (mixed sound speaker)
131SR ... Surround light speaker (mixed sound speaker)
140 ... Sound collecting unit (part of estimation means)
221L to 221SR ... delay unit (delay means)
222L to 222SR ... Attenuator (level adjusting means)
223L to 223SR ... Adder (addition means)
253... Correction control unit (part of estimation means)
ASP ... Sound field space CR ... Vehicle (moving body)
Claims (13)
オーディオ信号を、センタチャンネルを含む複数種のチャンネルの信号に変換する変換手段と;
前記推定手段による推定結果に基づいて、前記変換手段により得られた前記センタチャンネルの信号に由来する音の出力特性の少なくとも一部を他のチャンネルとは独立に制御する音出力制御手段と;
前記音出力制御手段による制御のもとで、前記音場空間へ向けて音を出力する音出力手段と;を備えることを特徴とする音響装置。 Estimating means for estimating a noise level in a predetermined sound field space;
Conversion means for converting an audio signal into signals of a plurality of types of channels including a center channel;
Sound output control means for controlling at least a part of the sound output characteristics derived from the signal of the center channel obtained by the conversion means independently of other channels based on the estimation result by the estimation means;
A sound output means for outputting sound toward the sound field space under the control of the sound output control means.
前記音出力制御手段は、前記センタスピーカから出力される音の音量を、他のスピーカから出力される音の音量とは独立して制御する、ことを特徴とする請求項2に記載の音響装置。 The sound output means includes a center speaker that outputs only sound derived from the signal of the center channel,
The sound apparatus according to claim 2, wherein the sound output control unit controls the volume of the sound output from the center speaker independently of the volume of the sound output from another speaker. .
前記レベル調整手段によりレベルが調整されたセンタチャンネルの信号を他のチャンネルの信号に加算する加算手段と;を更に備え、
前記音出力手段には、前記センタチャンネルの信号に由来する音のみを出力するセンタスピーカとは異なる少なくとも1つの混合音スピーカが含まれ、
前記音出力制御手段は、前記レベル調整手段によるレベル調整率を制御する、ことを特徴とする請求項2〜4のいずれか一項に記載の音響装置。 Level adjusting means for adjusting the signal level of the center channel;
Adding means for adding the signal of the center channel whose level is adjusted by the level adjusting means to the signal of another channel;
The sound output means includes at least one mixed sound speaker different from the center speaker that outputs only the sound derived from the signal of the center channel,
The sound apparatus according to claim 2, wherein the sound output control unit controls a level adjustment rate by the level adjusting unit.
前記加算手段は、前記遅延手段により遅延が施され、かつ、前記レベル調整手段によりレベルが調整されたセンタチャンネルの信号を前記他のチャンネルの信号に加算し、
前記音出力制御手段は、前記遅延手段による遅延時間を更に制御する、ことを特徴とする請求項5に記載の音響装置。 Delay means for delaying the signal of the center channel;
The adding means adds the center channel signal delayed by the delay means and the level adjusted by the level adjusting means to the signal of the other channel,
The acoustic apparatus according to claim 5, wherein the sound output control unit further controls a delay time by the delay unit.
前記音出力制御手段は、前記音場空間の任意の位置において、前記センタスピーカから出力された音が到達した後に、前記混合音スピーカから出力された前記センタチャンネルの信号に由来する音が到達するように、前記遅延時間を定めるとともに、
前記音出力制御手段は、前記音場空間の任意の位置において、前記センタスピーカから出力された音の音圧が、前記混合音スピーカから出力された前記センタチャンネルの信号に由来する音の音圧以上となるように、前記レベル調整率を設定する、ことを特徴とする請求項5又は6に記載の音響装置。 The sound output means further includes the center speaker,
The sound output control means reaches a sound derived from the signal of the center channel output from the mixed sound speaker after the sound output from the center speaker arrives at an arbitrary position in the sound field space. And determining the delay time,
The sound output control means is configured such that the sound pressure of the sound output from the center speaker is derived from the signal of the center channel output from the mixed sound speaker at an arbitrary position in the sound field space. The acoustic device according to claim 5 or 6, wherein the level adjustment rate is set so as to be as described above.
前記音出力制御手段は、前記音場空間の任意の位置において、より前方に配置された混合音スピーカから出力された前記センタチャンネルの信号に由来する音が到達した後に、より後方に配置された混合音スピーカから出力された前記センタチャンネルに由来する音が到達するように、前記遅延時間を定めるとともに、
前記音出力制御手段は、前記音場空間の任意の位置において、前記より前方に配置された混合音スピーカから出力された前記センタチャンネルの信号に由来する音の音圧が、前記より後方に配置された混合音スピーカから出力された前記センタチャンネルの信号に由来する音の音圧以上となるように、前記レベル調整率を設定する、ことを特徴とする請求項5又は6に記載の音響装置。 The sound output means does not include the center speaker, and includes two or more mixed sound speakers,
The sound output control means is disposed further rearward after a sound derived from the signal of the center channel output from the mixed sound speaker disposed further forward is reached at an arbitrary position in the sound field space. The delay time is determined so that the sound derived from the center channel output from the mixed sound speaker reaches,
The sound output control means is arranged such that, at an arbitrary position in the sound field space, the sound pressure of the sound derived from the signal of the center channel output from the mixed sound speaker disposed in front of the sound field space is disposed in the rear of the sound field. The acoustic apparatus according to claim 5 or 6, wherein the level adjustment rate is set so as to be equal to or higher than a sound pressure of a sound derived from the signal of the center channel output from the mixed sound speaker. .
所定の音場空間における騒音レベルの推定結果に基づいて、前記変換工程において得られた前記センタチャンネルの信号に由来する音の出力特性の少なくとも一部を他のチャンネルとは独立に制御する音出力制御工程と;
前記音出力制御手段による制御のもとで、前記音場空間へ向けて音を出力する音出力工程と;を備えることを特徴とする音再生処理方法。 A conversion step of converting the audio signal into a signal of a plurality of types of channels including a center channel;
Sound output for controlling at least a part of the sound output characteristics derived from the signal of the center channel obtained in the conversion step independently of other channels based on the estimation result of the noise level in a predetermined sound field space A control process;
A sound output process for outputting sound toward the sound field space under the control of the sound output control means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006283589A JP4943806B2 (en) | 2006-10-18 | 2006-10-18 | AUDIO DEVICE, ITS METHOD, PROGRAM, AND RECORDING MEDIUM |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006283589A JP4943806B2 (en) | 2006-10-18 | 2006-10-18 | AUDIO DEVICE, ITS METHOD, PROGRAM, AND RECORDING MEDIUM |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2008103883A true JP2008103883A (en) | 2008-05-01 |
JP2008103883A5 JP2008103883A5 (en) | 2011-06-16 |
JP4943806B2 JP4943806B2 (en) | 2012-05-30 |
Family
ID=39437890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006283589A Expired - Fee Related JP4943806B2 (en) | 2006-10-18 | 2006-10-18 | AUDIO DEVICE, ITS METHOD, PROGRAM, AND RECORDING MEDIUM |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4943806B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102316396A (en) * | 2010-07-09 | 2012-01-11 | 廖明忠 | Method and device for realizing automatic control over sounds in large dynamic range by using sensor |
JP2017098999A (en) * | 2013-05-07 | 2017-06-01 | ボーズ・コーポレーションBose Corporation | Signal processing for headrest based audio system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003084790A (en) * | 2001-09-17 | 2003-03-19 | Matsushita Electric Ind Co Ltd | Speech component emphasizing device |
JP2004166240A (en) * | 2002-07-31 | 2004-06-10 | Harman Internatl Industries Inc | Sound processing system using distortion limiting technology |
JP2006173811A (en) * | 2004-12-14 | 2006-06-29 | Alpine Electronics Inc | Vehicle mounted audio system |
JP2006279548A (en) * | 2005-03-29 | 2006-10-12 | Fujitsu Ten Ltd | On-vehicle speaker system and audio device |
-
2006
- 2006-10-18 JP JP2006283589A patent/JP4943806B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003084790A (en) * | 2001-09-17 | 2003-03-19 | Matsushita Electric Ind Co Ltd | Speech component emphasizing device |
JP2004166240A (en) * | 2002-07-31 | 2004-06-10 | Harman Internatl Industries Inc | Sound processing system using distortion limiting technology |
JP2006173811A (en) * | 2004-12-14 | 2006-06-29 | Alpine Electronics Inc | Vehicle mounted audio system |
JP2006279548A (en) * | 2005-03-29 | 2006-10-12 | Fujitsu Ten Ltd | On-vehicle speaker system and audio device |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102316396A (en) * | 2010-07-09 | 2012-01-11 | 廖明忠 | Method and device for realizing automatic control over sounds in large dynamic range by using sensor |
JP2017098999A (en) * | 2013-05-07 | 2017-06-01 | ボーズ・コーポレーションBose Corporation | Signal processing for headrest based audio system |
Also Published As
Publication number | Publication date |
---|---|
JP4943806B2 (en) | 2012-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101002505B (en) | Method for combining audio signals using auditory scene analysis and device | |
EP1825713B1 (en) | A method and apparatus for multichannel upmixing and downmixing | |
US20060222182A1 (en) | Speaker system and sound signal reproduction apparatus | |
JP5410682B2 (en) | Multi-channel signal reproduction method and apparatus for multi-channel speaker system | |
WO2009107202A1 (en) | Acoustic signal processing device and acoustic signal processing method | |
US20090022330A1 (en) | System for processing sound signals in a vehicle multimedia system | |
JP4844622B2 (en) | Volume correction apparatus, volume correction method, volume correction program, electronic device, and audio apparatus | |
US20120275613A1 (en) | System for modifying an acoustic space with audio source content | |
KR20140010468A (en) | System for spatial extraction of audio signals | |
JP4504981B2 (en) | Sound processor | |
EP2252083B1 (en) | Signal processing apparatus | |
WO2006008865A1 (en) | Acoustic characteristic adjuster | |
US20060262936A1 (en) | Virtual surround decoder apparatus | |
JP3902065B2 (en) | Surround headphone output signal generator | |
JP4943806B2 (en) | AUDIO DEVICE, ITS METHOD, PROGRAM, AND RECORDING MEDIUM | |
US8208648B2 (en) | Sound field reproducing device and sound field reproducing method | |
JP2004064739A (en) | Image control system | |
JP5316560B2 (en) | Volume correction device, volume correction method, and volume correction program | |
JP2007067463A (en) | Audio system | |
JPH08179786A (en) | On-vehicle stereophonic reproducing device | |
JP2008191315A (en) | Acoustic device, its method, its program and its recording medium | |
JP2002152900A (en) | Sound volume controller | |
JPH08280100A (en) | Sound field reproducing device | |
JP2009147487A (en) | On-vehicle acoustic system | |
JP2008078976A (en) | Acoustic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090805 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110422 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110831 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120208 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120301 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150309 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |