JP4967927B2 - Hearing monitor device for vehicle - Google Patents

Hearing monitor device for vehicle Download PDF

Info

Publication number
JP4967927B2
JP4967927B2 JP2007219240A JP2007219240A JP4967927B2 JP 4967927 B2 JP4967927 B2 JP 4967927B2 JP 2007219240 A JP2007219240 A JP 2007219240A JP 2007219240 A JP2007219240 A JP 2007219240A JP 4967927 B2 JP4967927 B2 JP 4967927B2
Authority
JP
Japan
Prior art keywords
vehicle
sound
information
reproduction
monitor device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007219240A
Other languages
Japanese (ja)
Other versions
JP2009051333A (en
Inventor
勝 山崎
充伸 神沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2007219240A priority Critical patent/JP4967927B2/en
Publication of JP2009051333A publication Critical patent/JP2009051333A/en
Application granted granted Critical
Publication of JP4967927B2 publication Critical patent/JP4967927B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Stereophonic Arrangements (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、車両周辺の外来音を収集し、収集した外来音を車室内にて再生する車両用聴覚モニタ装置に関する。   The present invention relates to an auditory monitor device for a vehicle that collects external sounds around a vehicle and reproduces the collected external sounds in a vehicle interior.

従来の車両用聴覚モニタ装置としては、複数のマイクロホン(この明細書では単にマイクという)で任意の周辺車両の外来音を検出し、マイクにて検出された外来音の時間差などによって外来音の音源位置を検出し、検出された音源位置の方向に音を出力することによって周辺車両の状況を運転者に報知するものがある(例えば、特許文献1参照)。   As a conventional auditory monitor device for a vehicle, a sound source of an external sound is detected by detecting a foreign sound of an arbitrary surrounding vehicle using a plurality of microphones (simply referred to as a microphone in this specification) and by a time difference of the external sound detected by the microphone. There is one that notifies the driver of the situation of the surrounding vehicle by detecting the position and outputting a sound in the direction of the detected sound source position (see, for example, Patent Document 1).

この出願の発明に関連する先行技術文献としては次のものがある。
特開平05−085288号公報
Prior art documents related to the invention of this application include the following.
JP 05-085288 A

従来の車両用聴覚モニタ装置は、検出した外来音の音源位置の遠近に基づいて音を出力して警報を実施するか否かを判断する構成となっているために、自車両の走行状態に関わらず検出した音源位置が近距離にある場合には音による警報を発してしまう。
このような構成であると、例えば自車両が走行している車線の右側の車線を他車両が走行している場合、自車両が右側の車線へのレーンチェンジを意図していなければ、他車両が近い位置を走行していても警報する必要は低いと判断できるが、従来の車両用聴覚モニタ装置であると、他車両との距離に基づいて警報を与えてしまうので、運転者が注意する必要性のない外来音を聞かせることになり、車室内が静かで快適な環境ではなくなるという問題がある。
Since the conventional vehicle auditory monitor device is configured to output a sound based on the detected sound source position of the external sound and determine whether to issue an alarm, the vehicle's running state is Regardless, if the detected sound source position is at a short distance, a sound warning is issued.
With such a configuration, for example, when another vehicle is traveling in the lane on the right side of the lane in which the host vehicle is traveling, the other vehicle is not intended to change the lane to the right lane. Although it can be determined that the need for alarming is low even if the vehicle is traveling close to the vehicle, the conventional vehicle auditory monitoring device gives an alarm based on the distance from other vehicles, so the driver should be careful There is a problem that the external sound that is not necessary will be heard, and the interior of the vehicle is no longer quiet and comfortable.

集音した車両周辺の音に基づく再生音を作成し、検出した自車両に関わる情報に基づいて自車両の走行状態を判断し、判断した自車両の走行状態に基づいて出力する再生音の制御をおこなう。   Controls the playback sound that is generated based on the collected sound around the vehicle, determines the driving state of the host vehicle based on the detected information about the host vehicle, and outputs based on the determined driving state of the host vehicle To do.

本発明によれば、自車両の走行状態に適応させて検出した外来音を車両乗員に聞かせる装置を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the apparatus which makes a vehicle passenger | crew hear the external sound detected by adapting to the driving | running | working state of the own vehicle can be provided.

《発明の他の実施の形態》
本発明の車両用聴覚モニタ装置を車両に搭載した発明の一実施の形態を説明する。図1にこの実施の形態の構成を示す。音入力部10は車両周囲の外壁付近に設置され、車両周囲の音を集音する。音入力部10としてはマイク210_1〜210_nを用いることができ、これらのマイクは車両外壁に取り付けられる程度に小型であればよく、一般的なダイナミック型マイクなどを用いることができる。
<< Other Embodiments of the Invention >>
An embodiment of the invention in which the vehicle hearing monitor device of the present invention is mounted on a vehicle will be described. FIG. 1 shows the configuration of this embodiment. The sound input unit 10 is installed near the outer wall around the vehicle and collects sound around the vehicle. As the sound input unit 10, microphones 210_1 to 210_n can be used. These microphones may be small enough to be attached to the vehicle outer wall, and a general dynamic microphone or the like can be used.

車両情報検出部111は、ナビゲーション装置、GPS受信機、VICS受信機、各種車載機器などから地図情報、位置情報、道路交通情報、車両操作情報、車速情報、タイマー等などの車両情報110を検出し、スイッチ部112、フィルター部113、ボリューム変更部114を制御する。スイッチ部112は音入力部10で集音された車両周囲の音を入り切りする。フィルター部113は音入力部10で集音された車両周囲の音にフィルター処理を施す。ボリューム変更部114は音出力部50から出力される車両周辺物体の音の音量を変更する。   The vehicle information detection unit 111 detects vehicle information 110 such as map information, position information, road traffic information, vehicle operation information, vehicle speed information, and timers from a navigation device, a GPS receiver, a VICS receiver, various in-vehicle devices, and the like. The switch unit 112, the filter unit 113, and the volume changing unit 114 are controlled. The switch unit 112 turns on and off sounds around the vehicle collected by the sound input unit 10. The filter unit 113 performs a filter process on the sound around the vehicle collected by the sound input unit 10. The volume changing unit 114 changes the sound volume of the object around the vehicle output from the sound output unit 50.

第1補正部30は、入力された複数の音の電気信号を適切な状態に加工し、所望のチャネル数(第2補正部40の入力チャネル数)に変換して出力する。この第1補正部30から出力される音は、運転者の両耳付近や助手席乗員の頭部付近に設定される“制御点”における所望の音と理論上、等価になる必要がある。この第1補正部30の構成については詳細を後述する。   The 1st correction | amendment part 30 processes the input electrical signal of several sound into an appropriate state, converts into the desired number of channels (the number of input channels of the 2nd correction | amendment part 40), and outputs it. The sound output from the first correction unit 30 should theoretically be equivalent to a desired sound at a “control point” set near the driver's both ears or near the passenger's passenger's head. Details of the configuration of the first correction unit 30 will be described later.

第2補正部40は、第1補正部30により補正された音信号をスピーカーから出力するときに、スピーカーから制御点までの伝達系の影響を除去し、第1補正部30により補正された音信号が制御点において忠実に音として再現されるように音信号を補正する。この第2補正部40の構成については詳細を後述する。   When the sound signal corrected by the first correction unit 30 is output from the speaker, the second correction unit 40 removes the influence of the transmission system from the speaker to the control point, and the sound corrected by the first correction unit 30 The sound signal is corrected so that the signal is faithfully reproduced as sound at the control point. Details of the configuration of the second correction unit 40 will be described later.

音出力部50は、第2補正部40から出力された音信号を増幅してスピーカーから出力する。音出力部50は、増幅装置(不図示)およびスピーカー290_1〜290_nを用いて構成される。なお、増幅装置とスピーカー290_1〜290_nは車載配置可能な一般的なものを用いればよい。   The sound output unit 50 amplifies the sound signal output from the second correction unit 40 and outputs it from the speaker. The sound output unit 50 is configured using an amplification device (not shown) and speakers 290_1 to 290_n. Note that the amplifying apparatus and the speakers 290_1 to 290_n may be general ones that can be arranged on the vehicle.

図2は高速道路の料金所通過時の聴覚モニタ装置の動作を説明する図、図3はその動作を示すフローチャートである。
高速道路を走行中または高速道路に進入するとき、ナビゲーション装置からの地図情報により料金所までの距離を取得し、例えば500mとなったときに(図2のA、図3のS211)、車両用聴覚モニタ装置の出力音を徐々に大きくしてフェードインし(図3のS212)、運転者に車両周辺物体の音を受聴させる。その後、ナビゲーション装置からの地図情報により料金所からの距離を取得し、料金所を通過し例えば100m走行したときに(図2のB、図3のS213)、車両用聴覚モニタ装置の出力音を徐々に小さくしてフェードアウトし(図3のS214)、運転者に対する車両周辺物体の音の提供を終了する。
これにより、他車両と複雑に絡み合う料金所において、運転者は進行方向を定めるのが困難な場合が多いため、周辺の情報音を参考にして自車両の進行方向を定めることが可能になる。
FIG. 2 is a diagram for explaining the operation of the auditory monitor apparatus when passing through the toll gate on the highway, and FIG. 3 is a flowchart showing the operation.
When driving on an expressway or entering the expressway, the distance to the toll gate is acquired from the map information from the navigation device. When the distance reaches, for example, 500 m (A in FIG. 2, S211 in FIG. 3) The output sound of the auditory monitor device is gradually increased and faded in (S212 in FIG. 3), and the driver is made to hear the sound of the objects around the vehicle. Thereafter, the distance from the toll booth is acquired from the map information from the navigation device, and when the vehicle passes through the toll booth and travels, for example, 100 m (B in FIG. 2 and S213 in FIG. 3), the output sound of the vehicle auditory monitor device is output. It gradually decreases and fades out (S214 in FIG. 3), and the provision of the sounds of the objects around the vehicle to the driver is terminated.
Thus, since it is often difficult for the driver to determine the traveling direction at a toll gate that is intricately intertwined with other vehicles, the traveling direction of the host vehicle can be determined with reference to surrounding information sounds.

図4は車線変更時の聴覚モニタ装置の動作を説明する図、図5はその動作を示すフローチャートである。
運転者が車線変更のためにウィンカー操作を行ったとき(図4(a)、図5のS221)、聴覚モニタ装置の出力音を徐々に大きくしてフェードインし(図4(b)、図5のS222)、運転者に車両周辺物体の音を受聴させる。ウィンカー操作が終了してから例えば30mまたは5秒走行後に(図4(c)、図5のS223)、聴覚モニタ装置の出力音を徐々に小さくしてフェードアウトする(図4(d)、図5のS224)。なお、走行速度が高いときにはさらに手前からフェードインしてもよい。
ウィンカーを操作したタイミングで聴覚モニタ装置を作動させるので、車線変更時に後方から接近する車両を確認できる。また、常時、情報音が出力されていることがなくなるため、うっとうしさがなくなる。
FIG. 4 is a diagram for explaining the operation of the auditory monitor apparatus when changing lanes, and FIG. 5 is a flowchart showing the operation.
When the driver performs a winker operation to change lanes (FIG. 4 (a), S221 in FIG. 5), the output sound of the auditory monitor device is gradually increased and faded in (FIG. 4 (b), FIG. 5 (S222), the driver is caused to listen to the sounds of the objects around the vehicle. For example, after traveling for 30 m or 5 seconds after completion of the winker operation (FIG. 4 (c), S223 in FIG. 5), the output sound of the auditory monitor device is gradually reduced and faded out (FIG. 4 (d), FIG. S224). When the traveling speed is high, fade-in may be performed from the front.
Since the auditory monitor device is activated at the timing when the blinker is operated, it is possible to check the vehicle approaching from the rear when the lane is changed. Moreover, since information sound is not always output, annoyance is lost.

図6は交差点に接近したときの聴覚モニタ装置の動作を説明する図、図7はその動作を示すフローチャートである。
ナビゲーション装置からの地図情報により交差点までの距離を取得し、交差点までの距離が例えば50m以下になって交差点に接近したとき(図6(a)、図7のS231)、自車両の右左折直進に関わらず、聴覚モニタ装置の出力音を徐々に大きくしてフェードインし(図6(b)、図7のS232)、運転者に車両周辺物体の音を受聴させる。ナビゲーション装置からの地図情報により交差点からの距離を取得し、交差点からの距離が例えば50m以上になって交差点の通過を確認したときに(図6(c)、図7のS233)、聴覚モニタ装置の出力音を徐々に小さくしてフェードアウトする(図7のS234)。
交差点では直進、右左折する車両、歩行者などが存在し、事故が多いことから、自車両周辺の情報音を受聴することによって視覚情報をフォローできる。
FIG. 6 is a diagram for explaining the operation of the auditory monitor device when approaching an intersection, and FIG. 7 is a flowchart showing the operation.
When the distance to the intersection is acquired from the map information from the navigation device, and the distance to the intersection is, for example, 50 m or less and approaches the intersection (FIG. 6 (a), S231 in FIG. 7), the host vehicle goes straight to the left or right Regardless, the output sound of the auditory monitor device is gradually increased and faded in (S232 in FIG. 6 (b), FIG. 7), and the driver is made to listen to the sound of the objects around the vehicle. When the distance from the intersection is acquired based on the map information from the navigation device and the distance from the intersection is, for example, 50 m or more and passage of the intersection is confirmed (FIG. 6 (c), S233 in FIG. 7), the auditory monitor device Are gradually reduced to fade out (S234 in FIG. 7).
At intersections, there are vehicles, pedestrians, etc. that go straight and turn left and right, and there are many accidents, so visual information can be followed by listening to information sounds around the vehicle.

図8はサービスエリアへ進入したときの聴覚モニタ装置の動作を説明する図、図9はその動作を示すフローチャートである。
ナビゲーション装置からの地図情報によりサービスエリアへの進入を検出したときに(図8のA、図9のS241)、聴覚モニタ装置の出力音を徐々に大きくしてフェードインし(図9のS242)、運転者に車両周辺物体の音を受聴させる。エンジン制御装置からのエンジン作動情報によりサービスエリア内でエンジンの停止が検出されたときは(図8のB、図9のS243)、聴覚モニタ装置の出力音を徐々に小さくしてフェードアウトする(図9のS244)。その後、エンジン制御装置からのエンジン作動情報によりエンジンの始動が検出されたときは(図9のS245)、聴覚モニタ装置の出力音を徐々に大きくしてフェードインし(図9のS246)、さらにナビゲーション装置からの地図情報により本線に合流してから例えば100m走行したことを検出したときに(図8のC、図9のS247)、聴覚モニタ装置の出力音を徐々に小さくしてフェードアウトする(図9のS247)。
サービスエリアでは、車両の間から歩行者が出てきたり、歩行者が自車両の脇を歩行していたり、突然他車両が後退して来たりといったことが多く、自車両周辺の情報音を受聴することによって周囲への気配りが容易になる。
FIG. 8 is a diagram for explaining the operation of the auditory monitor device when entering the service area, and FIG. 9 is a flowchart showing the operation.
When entry to the service area is detected from the map information from the navigation device (A in FIG. 8, S241 in FIG. 9), the output sound of the auditory monitor device is gradually increased and faded in (S242 in FIG. 9). Let the driver listen to the sound of objects around the vehicle. When engine stop is detected in the service area based on the engine operation information from the engine control device (B in FIG. 8, S243 in FIG. 9), the output sound of the auditory monitor device is gradually reduced to fade out (FIG. 9 S244). Thereafter, when engine start is detected by engine operation information from the engine control device (S245 in FIG. 9), the output sound of the auditory monitor device is gradually increased and faded in (S246 in FIG. 9). When it is detected that the vehicle has traveled, for example, 100 m after joining the main line based on the map information from the navigation device (C in FIG. 8 and S247 in FIG. 9), the output sound of the auditory monitor device is gradually reduced and faded out ( S247 in FIG. 9).
In the service area, pedestrians come out from between vehicles, pedestrians are walking beside their vehicles, and other vehicles suddenly come back. By doing so, attention to the surroundings becomes easy.

図10は道路を離脱したときの聴覚モニタ装置の動作を説明する図、図11はその動作を示すフローチャートである。
ナビゲーション装置からの地図情報により道路を離脱したことが検出されたとき、例えばデパートやスーパーなどの敷地内駐車場に入ったときは(図10のA、図11のS251)、聴覚モニタ装置の出力音を徐々に大きくしてフェードインし(図11のS252)、運転者に車両周辺物体の音を受聴させる。道路を離脱した状態でエンジン制御装置からのエンジン作動情報によりエンジンの停止が検出されたときは(図10のB、図11のS253)、聴覚モニタ装置の出力音を徐々に小さくしてフェードアウトする(図11のS254)。
FIG. 10 is a diagram for explaining the operation of the auditory monitor device when leaving the road, and FIG. 11 is a flowchart showing the operation.
When it is detected by the map information from the navigation device that the vehicle has left the road, for example, when entering a parking lot in a site such as a department store or a supermarket (A in FIG. 10, S251 in FIG. 11), the output of the auditory monitor device The sound is gradually increased and faded in (S252 in FIG. 11), and the driver is made to listen to the sound of the objects around the vehicle. When the engine stop is detected by the engine operation information from the engine control device while leaving the road (B in FIG. 10, S253 in FIG. 11), the output sound of the auditory monitor device is gradually reduced and faded out. (S254 in FIG. 11).

道路を離脱してエンジンが停止されたときは、乗員がデパートやスーパーなどでショッピングをしたり、レストランなどで食事をするなどが考えられ、駐車時間はある程度長いと想定されるため、聴覚モニタ装置の動作をいったん停止する(図11のS255)。その後、エンジン制御装置からのエンジン作動情報によりエンジンの始動が検出されたときは(図10のC、図11のS256)、聴覚モニタ装置を動作させるとともに、その出力音を徐々に大きくしてフェードインする(図11のS257)。さらに、ナビゲーション装置からの地図情報により道路に復帰して例えば30mまたは5秒間走行したことが検出されたときに(図10のD、図11のS259)、聴覚モニタ装置の出力音を徐々に小さくしてフェードアウトする(図11のS260)。
デパートやスーパーなどの駐車場では、家族連れや高齢者などの歩行者が多く、突然動き出す他車両も存在するので、自車両周辺の情報音を受聴することによって周囲への気配りが容易になる。
When the engine is stopped after leaving the road, the occupant may be shopping at a department store or a supermarket, or eat at a restaurant. Is temporarily stopped (S255 in FIG. 11). After that, when engine start is detected by engine operation information from the engine control device (C in FIG. 10, S256 in FIG. 11), the hearing monitor device is operated and the output sound is gradually increased to fade. In (S257 in FIG. 11). Further, when it is detected by the map information from the navigation device that the vehicle has returned to the road and traveled for, for example, 30 m or 5 seconds (D in FIG. 10 and S259 in FIG. 11), the output sound of the auditory monitor device is gradually reduced. And fades out (S260 in FIG. 11).
In parking lots such as department stores and supermarkets, there are many pedestrians such as families and elderly people, and there are other vehicles that suddenly move, so it is easy to pay attention to the surroundings by listening to information sounds around the vehicle.

図12は渋滞に巻き込まれたときの聴覚モニタ装置の動作を説明する図、図13はその動作を示すフローチャートである。
VICS受信機から走行道路の渋滞情報を取得し(図12のA、図13のS261)、渋滞エリアに進入したときは(図12のB、図13のS262)、聴覚モニタ装置の出力音を徐々に大きくしてフェードインし(図13のS263)、運転者に車両周辺物体の音を受聴させる。車載機器からの走行距離情報により渋滞エリアに入ってから例えば30m走行したことが検出されたときに(図12のC、図13のS264)、聴覚モニタ装置の出力音のレベルを例えば3dB下げて“うるささ”を和らげる(図13のS265)。その後、VICS受信機や車載機器などからの渋滞情報により渋滞エリアからの離脱が検出されたときは(図12のD、図13のS266)、聴覚モニタ装置の出力音を徐々に小さくしてフェードアウトする(図13のS267)。
特に一般道路での渋滞時には、車両の間をすり抜けるバイクや横断する歩行者がいるため、自車両周辺の情報音を受聴することによってそれらの動きを容易に確認できる。しかし、走行時に出力される情報音と同じレベルであるとうるさく感じるので、例えば10km/h以下で走行するときは3dBレベルを下げる。
FIG. 12 is a diagram for explaining the operation of the auditory monitor device when it is involved in a traffic jam, and FIG. 13 is a flowchart showing the operation.
When the traffic congestion information on the road is acquired from the VICS receiver (A in FIG. 12 and S261 in FIG. 13) and the vehicle enters the traffic congestion area (B in FIG. 12 and S262 in FIG. 13), the output sound of the hearing monitor device is output. It is gradually increased and faded in (S263 in FIG. 13), and the driver is made to hear the sound of the objects around the vehicle. When it is detected by traveling distance information from the in-vehicle device that the vehicle has traveled, for example, 30 m after entering the traffic jam area (C in FIG. 12, S264 in FIG. 13), the output sound level of the auditory monitor device is lowered by, for example, 3 dB. The “noisy” is eased (S265 in FIG. 13). After that, when the departure from the traffic jam area is detected by the traffic jam information from the VICS receiver or the in-vehicle device (D in FIG. 12, S266 in FIG. 13), the output sound of the auditory monitor device is gradually reduced to fade out. (S267 in FIG. 13).
In particular, when there is a traffic jam on a general road, there are motorcycles and pedestrians that pass through between vehicles, so that their movement can be easily confirmed by listening to information sounds around the vehicle. However, since it feels loud when it is at the same level as the information sound output at the time of traveling, for example, when traveling at 10 km / h or less, the 3 dB level is lowered.

図14は踏切に近づいたときの聴覚モニタ装置の動作を説明する図、図15はその動作を示すフローチャートである。
ナビゲーション装置からの地図情報により走行道路前方に踏切が検出され(図14のA、図15のS271)、踏切までの距離が例えば10mになったときに(図14のB、図15のS272)、聴覚モニタ装置の出力音を徐々に大きくしてフェードインし(図15のS273)、運転者に車両周辺物体の音を受聴させる。その後、ナビゲーション装置からの地図情報により踏切の通過が検出されたときは(図14のC、図15のS274)、聴覚モニタ装置の出力音を徐々に小さくしてフェードアウトする(図15のS275)。
踏み切り周辺で自車両周辺の情報音を受聴することによって、電車の接近と踏み切りを横断する歩行者の存在を窓を開けずに確認することが容易になる。
FIG. 14 is a diagram for explaining the operation of the auditory monitor device when approaching a railroad crossing, and FIG. 15 is a flowchart showing the operation.
When a level crossing is detected in front of the traveling road based on map information from the navigation device (A in FIG. 14 and S271 in FIG. 15) and the distance to the level crossing becomes, for example, 10 m (B in FIG. 14 and S272 in FIG. 15). Then, the output sound of the auditory monitor device is gradually increased and faded in (S273 in FIG. 15), and the driver is made to listen to the sound of the objects around the vehicle. Thereafter, when the passage of a railroad crossing is detected from the map information from the navigation device (C in FIG. 14, S274 in FIG. 15), the output sound of the auditory monitor device is gradually reduced and faded out (S275 in FIG. 15). .
By listening to the information sound around the vehicle around the railroad crossing, it becomes easy to confirm the approach of the train and the presence of a pedestrian crossing the railroad crossing without opening the window.

図16はエンジン始動後の聴覚モニタ装置の動作を説明する図、図17はその動作を示すフローチャートである。
エンジン制御装置からのエンジン作動情報によりエンジンの始動が検出されたときは(図17のS281)、聴覚モニタ装置の出力音を徐々に大きくしてフェードインし(図17のS282)、運転者に車両周辺物体の音を受聴させる。その後、車載機器からの走行距離情報により例えば10m走行したことが検出されたときに(図17のS283)、聴覚モニタ装置の出力音を徐々に小さくしてフェードアウトする(図17のS284)。
特に自宅駐車場などでエンジンを始動後、車両を動かすときに自車両周辺の情報音を受聴することによって、周囲の子供などの存在を容易に確認することができる。
FIG. 16 is a diagram for explaining the operation of the hearing monitor apparatus after the engine is started, and FIG. 17 is a flowchart showing the operation.
When engine start is detected by engine operation information from the engine control device (S281 in FIG. 17), the output sound of the auditory monitor device is gradually increased and faded in (S282 in FIG. 17). Listen to the sound of objects around the vehicle. Thereafter, when it is detected that the vehicle has traveled, for example, 10 m from the travel distance information from the in-vehicle device (S283 in FIG. 17), the output sound of the auditory monitor device is gradually reduced and faded out (S284 in FIG. 17).
In particular, after starting the engine in a home parking lot or the like, by listening to information sounds around the vehicle when the vehicle is moved, it is possible to easily confirm the presence of surrounding children.

図18はウインカーまたはハザードスイッチを操作したときの聴覚モニタ装置の動作を説明する図、図19はその動作を示すフローチャートである。
車載機器からの運転操作情報によりウィンカーまたはハザードスイッチの操作が検出されたときは(図18(a)〜(c)、図19のS291)、聴覚モニタ装置の出力音を徐々に大きくしてフェードインし(図19のS292)、運転者に車両周辺物体の音を受聴させる。その後、車載機器からの運転操作情報によりウインカーまたはハザードスイッチのオフが検出されたときは(図19のS293)、例えば5秒後に聴覚モニタ装置の出力音を徐々に小さくしてフェードアウトする(図19のS294)。
自車両の位置や向きを変えるときには操作項目が多く、自車両周辺の情報音を受聴することによって、巻き込みや追突などの危険を回避することができる。
FIG. 18 is a diagram for explaining the operation of the auditory monitor device when the turn signal or the hazard switch is operated, and FIG. 19 is a flowchart showing the operation.
When the operation of the blinker or the hazard switch is detected by the driving operation information from the in-vehicle device (FIGS. 18 (a) to (c), S291 in FIG. 19), the output sound of the auditory monitor device is gradually increased to fade. (S292 in FIG. 19), the driver is caused to listen to the sound of objects around the vehicle. Thereafter, when turn-off of the blinker or the hazard switch is detected based on driving operation information from the in-vehicle device (S293 in FIG. 19), for example, after 5 seconds, the output sound of the auditory monitor device is gradually reduced and faded out (FIG. 19). S294).
When changing the position and orientation of the host vehicle, there are many operation items, and by listening to information sounds around the host vehicle, dangers such as entrainment and rear-end collision can be avoided.

図20はステアリング操作時の聴覚モニタ装置の動作を説明する図、図21はその動作を示すフローチャートである。
車載機器からの操舵角情報によりステアリングが所定角度以上回転したときに(図20(a)、図21のS301)、車両の位置や向きなどを変更していると判断し、聴覚モニタ装置の出力音を徐々に大きくしてフェードインし(図21のS302)、運転者に車両周辺物体の音を受聴させる。車載機器からの操舵角情報によりステアリングが基準位置に戻されたことが検出され(図20(b)、図21のS303)、例えば5秒が経過したときに(図21のS305)、聴覚モニタ装置の出力音を徐々に小さくしてフェードアウトする(図21のS306)。
自車両の位置や向きを変えるときには操作項目が多く、自車両周辺の情報音を受聴することによって、巻き込みや追突などの危険を回避することができる。
FIG. 20 is a diagram for explaining the operation of the auditory monitor device during the steering operation, and FIG. 21 is a flowchart showing the operation.
When the steering rotates by a predetermined angle or more based on the steering angle information from the in-vehicle device (FIG. 20 (a), S301 in FIG. 21), it is determined that the position or orientation of the vehicle has been changed, and the output of the auditory monitor device The sound is gradually increased and faded in (S302 in FIG. 21), and the driver is made to hear the sound of the objects around the vehicle. It is detected from the steering angle information from the in-vehicle device that the steering has been returned to the reference position (FIG. 20B, S303 in FIG. 21). For example, when 5 seconds have elapsed (S305 in FIG. 21), the auditory monitor The output sound of the apparatus is gradually reduced and faded out (S306 in FIG. 21).
When changing the position and orientation of the host vehicle, there are many operation items, and by listening to information sounds around the host vehicle, dangers such as entrainment and rear-end collision can be avoided.

図22は徐行中のときの聴覚モニタ装置の動作を説明する図、図23はその動作を示すフローチャートである。
車載機器からの車速情報により車速が例えば10km/h以下のときは(図22のA、図23のS311)、徐行中と判断し聴覚モニタ装置の出力音を徐々に大きくしてフェードインし(図23のS312)、運転者に車両周辺物体の音を受聴させる。その後、車載機器からの車速情報により車速が例えば15km/hを超えたときに(図22のB、図23のS313)、聴覚モニタ装置の出力音を徐々に小さくしてフェードアウトする(図23のS314)。
渋滞での走行や歩行者等が多い場所を走行しているときに、自車両周辺の情報音を受聴することによって周囲の気配を感じ取ることができ、接触事故などを回避することができる。
FIG. 22 is a diagram for explaining the operation of the auditory monitor apparatus during slow traveling, and FIG. 23 is a flowchart showing the operation.
When the vehicle speed is, for example, 10 km / h or less based on the vehicle speed information from the in-vehicle device (A in FIG. 22 and S311 in FIG. 23), it is determined that the vehicle is traveling slowly and the output sound of the auditory monitor device is gradually increased to fade in ( In S312 of FIG. 23, the driver is made to listen to sounds of objects around the vehicle. Thereafter, when the vehicle speed exceeds 15 km / h, for example, according to the vehicle speed information from the in-vehicle device (B in FIG. 22 and S313 in FIG. 23), the output sound of the auditory monitor device is gradually reduced and faded out (FIG. 23). S314).
When traveling in a traffic jam or in a place where there are many pedestrians and the like, it is possible to feel the surroundings by listening to information sounds around the host vehicle, and avoiding contact accidents.

図24は低速走行が所定時間継続したときの聴覚モニタ装置の動作を説明する図、図25はその動作を示すフローチャートである。
車載機器からの車速情報とタイマーにより例えば10km/h以下の低速走行が例えば10秒間以上継続したときに(図24のA、図25のS321〜S322)、徐行状態と判断し聴覚モニタ装置の出力音を徐々に大きくしてフェードインし(図25のS323)、運転者に車両周辺物体の音を受聴させる。その後、車載機器からの車速情報により車速が例えば15km/hを超えたときに(図24のB、図25のS324)、聴覚モニタ装置の出力音を徐々に小さくしてフェードアウトする(図25のS325)。
渋滞での走行や歩行者等が多い場所を走行しているときに、自車両周辺の情報音を受聴することによって周囲の気配を感じ取ることができ、接触事故などを回避することができる。
FIG. 24 is a diagram for explaining the operation of the auditory monitor device when low-speed running continues for a predetermined time, and FIG. 25 is a flowchart showing the operation.
For example, when low-speed traveling of 10 km / h or less continues for 10 seconds or more by the vehicle speed information and the timer from the in-vehicle device (A in FIG. 24, S321 to S322 in FIG. 25), it is determined that the vehicle is traveling slowly and the output of the hearing monitor The sound is gradually increased and faded in (S323 in FIG. 25), and the driver is made to hear the sound of the objects around the vehicle. Thereafter, when the vehicle speed exceeds 15 km / h, for example, according to the vehicle speed information from the in-vehicle device (B in FIG. 24, S324 in FIG. 25), the output sound of the auditory monitor device is gradually reduced and faded out (FIG. 25). S325).
When traveling in a traffic jam or in a place where there are many pedestrians and the like, it is possible to feel the surroundings by listening to information sounds around the host vehicle, and avoiding contact accidents.

図26は後退走行時の聴覚モニタ装置の動作を説明する図、図27はその動作を示すフローチャートである。
車載機器からのシフト情報によりシフトレバーが後退位置に設定されたときは(図27のS331)、図26(a)、(b)に示すように駐車場へ後進していると判断し、聴覚モニタ装置の出力音を徐々に大きくしてフェードインし(図27のS332)、運転者に車両周辺物体の音を受聴させる。その後、車載機器からのシフト情報によりシフトレバーがパーキング位置に設定されたときは(図27のS333)、駐車動作が完了したと判断し、聴覚モニタ装置の出力音を徐々に小さくしてフェードアウトする(図27のS334)。一方、駐車状態でシフトレバーが走行位置に設定され(図27のS333→S335)、車載機器からの車速情報により車速が例えば10km/hを超えたときに(図27のS336)、聴覚モニタ装置の出力音を徐々に小さくしてフェードアウトする(図27のS334)。
自車両を後退させているときに、自車両周辺の情報音を受聴することによって、運転者の周囲確認をフォローすることができる。
FIG. 26 is a diagram for explaining the operation of the auditory monitor device when traveling backward, and FIG. 27 is a flowchart showing the operation.
When the shift lever is set to the reverse position based on the shift information from the in-vehicle device (S331 in FIG. 27), it is determined that the vehicle is moving backward to the parking lot as shown in FIGS. 26 (a) and (b). The output sound of the monitor device is gradually increased and faded in (S332 in FIG. 27), and the driver is made to hear the sound of the objects around the vehicle. Thereafter, when the shift lever is set to the parking position based on the shift information from the in-vehicle device (S333 in FIG. 27), it is determined that the parking operation is completed, and the output sound of the auditory monitor device is gradually reduced to fade out. (S334 in FIG. 27). On the other hand, when the shift lever is set to the traveling position in the parking state (S333 → S335 in FIG. 27), and the vehicle speed exceeds, for example, 10 km / h (S336 in FIG. 27) based on the vehicle speed information from the in-vehicle device (S336 in FIG. 27). Are gradually reduced to fade out (S334 in FIG. 27).
When the host vehicle is moving backward, the driver can follow the driver's surroundings by listening to information sounds around the host vehicle.

図28はトンネル進入時の聴覚モニタ装置の動作を説明する図、図29はその動作を示すフローチャートである。
聴覚モニタ装置から車両周辺物体の音を出力中に(図28のA、図29のS341)、ナビゲーション装置および車載機器からの地図情報、照明灯点灯情報、マイク210_1、210_n(図1参照)への入力レベルなどによりトンネルへの進入が検出されると(図28のB、図29のS342)、一時的にマイク210_1、210_n(図1参照)への入力レベルが大きくなるため、聴覚モニタ装置の出力音のレベルを例えば3dB下げる(図29のS343)。その後、ナビゲーション装置および車載機器からの地図情報や照明灯消灯情報などによりトンネルを出たことが検出されたときに(図28のC、図29のS344)、聴覚モニタ装置の出力音のレベルを3dB上げてトンネル進入前のレベルに戻す(図29のS345)。
これにより、利用者に不快な思いを与えず、周囲の情報音を提示できる。
FIG. 28 is a diagram for explaining the operation of the auditory monitor device when entering the tunnel, and FIG. 29 is a flowchart showing the operation.
While outputting the sound of an object around the vehicle from the auditory monitor device (A in FIG. 28, S341 in FIG. 29), to the map information from the navigation device and the in-vehicle device, lighting information, and microphones 210_1 and 210_n (see FIG. 1) When the entry to the tunnel is detected based on the input level of the voice (B in FIG. 28, S342 in FIG. 29), the input level to the microphones 210_1 and 210_n (see FIG. 1) temporarily increases, so the auditory monitor device The output sound level is lowered by, for example, 3 dB (S343 in FIG. 29). After that, when it is detected that the vehicle has exited the tunnel based on the map information from the navigation device and the vehicle-mounted device or the information on turning off the illumination lamp (C in FIG. 28, S344 in FIG. 29), the level of the output sound of the auditory monitor device is set. Raise by 3 dB and return to the level before entering the tunnel (S345 in FIG. 29).
Thus, surrounding information sounds can be presented without giving the user unpleasant feelings.

図30はスクールゾーンやシルバーゾーンへ進入したときの聴覚モニタ装置の動作を説明する図、図31はその動作を示すフローチャートである。
ナビゲーション装置やVICS受信機からの走行道路情報によりスクールゾーンやシルバーゾーンなどの徐行しなければならない走行道路へ進入したときは(図31のS351)、聴覚モニタ装置の出力音を徐々に大きくしてフェードインし(図31のS352)、運転者に車両周辺物体の音を受聴させる。その後、ナビゲーション装置やVICS受信機からの走行道路情報によりスクールゾーンやシルバーゾーンなどの徐行しなければならない走行道路を抜けたときに(図31のS353)、聴覚モニタ装置の出力音を徐々に小さくしてフェードアウトする(図31のS354)。
運転者にスクールゾーンやシルバーゾーンを走行していることを気づいてもらうことができ、周囲への注意度が向上される。
FIG. 30 is a diagram for explaining the operation of the auditory monitor device when entering the school zone or the silver zone, and FIG. 31 is a flowchart showing the operation.
When entering a traveling road that must be slowed down, such as a school zone or a silver zone, according to the traveling road information from the navigation device or the VICS receiver (S351 in FIG. 31), gradually increase the output sound of the hearing monitor device. The fade-in is performed (S352 in FIG. 31), and the driver is made to listen to the sound of objects around the vehicle. After that, when the vehicle exits a traveling road that has to travel slowly such as a school zone or a silver zone based on the traveling road information from the navigation device or the VICS receiver (S353 in FIG. 31), the output sound of the auditory monitor device is gradually reduced. And fades out (S354 in FIG. 31).
The driver can be aware that he / she is driving in the school zone and silver zone, and the attention to the surroundings is improved.

図32は海岸通りや林道へ進入したときの聴覚モニタ装置の動作を説明する図、図33はその動作を示すフローチャートである。
ナビゲーション装置からの地図情報により海岸通りや林道などの予め設定した道路にさしかかったことが検出されると(図32のA、図33のS361)、聴覚モニタ装置の出力音を徐々に大きくしてフェードインし(図33のS362)、運転者に車両周辺物体の音を受聴させる。その後、ナビゲーション装置からの地図情報により予め設定した道路を抜けたことが検出されると(図33のS363)、聴覚モニタ装置の出力音を徐々に小さくしてフェードアウトする(図33のS364)。
これにより、聴覚モニタ装置にエンターテイメント性を持たせることができ、運転時の楽しさ、リラックス効果などを提供できる。
FIG. 32 is a diagram for explaining the operation of the auditory monitor device when entering a coastal street or a forest road, and FIG. 33 is a flowchart showing the operation.
When it is detected from the map information from the navigation device that the vehicle is approaching a preset road such as a coastal road or a forest road (A in FIG. 32, S361 in FIG. 33), the output sound of the auditory monitor device is gradually increased. The fade-in is performed (S362 in FIG. 33), and the driver is made to listen to the sound of objects around the vehicle. Thereafter, when it is detected by the map information from the navigation device that the vehicle has passed through a preset road (S363 in FIG. 33), the output sound of the auditory monitor device is gradually reduced and faded out (S364 in FIG. 33).
As a result, the auditory monitor device can be provided with entertainment, and driving enjoyment, a relaxing effect, and the like can be provided.

図34は音入力部10(図1参照)で検出した車両周囲の音の内、自車両の走行音を抑制する方法を説明する図であり、図35はその手順を示すフローチャートである。
聴覚モニタ装置から車両周辺物体の音を出力中に(図35のS371)、車載機器から車速情報を取得し(図35のS372)、車速に応じてフィルター部113で用いるバンドパスフィルターを変更する(図35のS373〜S376)。例えば、車速が30km/hよりも低いときはフィルターAを選択し、車速が30km/h以上、80km/h未満のときはフィルターBを選択し、車速が80km/h以上のときはフィルターCを選択する。これらのバンドパスフィルターA、B、Cは、それぞれの車速で走行しているときに車両周囲の入力音から自車両の走行音を排除するように動作するものである。音入力部10で検出した車両周辺の音に対して選択したバンドパスフィルター処理を施し(図35のS377)、増幅部20、第1補正部30、第2補正部40で上述した処理をした後、音出力部50から出力する(図35のS378)。
これにより、自車両の音が聞こえないため、周囲の情報音を自然に提供することができる。
FIG. 34 is a diagram for explaining a method of suppressing the running sound of the host vehicle among the sounds around the vehicle detected by the sound input unit 10 (see FIG. 1), and FIG. 35 is a flowchart showing the procedure.
While outputting the sound of the object around the vehicle from the hearing monitor device (S371 in FIG. 35), the vehicle speed information is acquired from the in-vehicle device (S372 in FIG. 35), and the bandpass filter used in the filter unit 113 is changed according to the vehicle speed. (S373 to S376 in FIG. 35). For example, filter A is selected when the vehicle speed is lower than 30 km / h, filter B is selected when the vehicle speed is 30 km / h or higher and lower than 80 km / h, and filter C is selected when the vehicle speed is 80 km / h or higher. select. These band pass filters A, B, and C operate so as to exclude the traveling sound of the host vehicle from the input sound around the vehicle when traveling at the respective vehicle speeds. The selected band-pass filter process is performed on the sound around the vehicle detected by the sound input unit 10 (S377 in FIG. 35), and the above-described process is performed by the amplification unit 20, the first correction unit 30, and the second correction unit 40. Then, it outputs from the sound output part 50 (S378 of FIG. 35).
Thereby, since the sound of the own vehicle cannot be heard, surrounding information sounds can be provided naturally.

《発明の他の一実施の形態》
本発明の車両用聴覚モニタ装置を車両に搭載した発明の他の一実施の形態を説明する。図36は一実施の形態の基本構成を示すブロック図であり、図37は一実施の形態の具体的な構成を示す図である。音入力部10は車両周囲の外壁付近に設置され、車両周囲の音を集音する。音入力部10としては、図37に示すようにマイク210_1〜210_nを用いることができ、これらのマイクは車両外壁に取り付けられる程度に小型であればよく、一般的なダイナミック型マイクなどを用いることができる。
<< Another Embodiment of the Invention >>
Another embodiment of the invention in which the vehicle hearing monitor device of the present invention is mounted on a vehicle will be described. FIG. 36 is a block diagram showing a basic configuration of an embodiment, and FIG. 37 is a diagram showing a specific configuration of the embodiment. The sound input unit 10 is installed near the outer wall around the vehicle and collects sound around the vehicle. As the sound input unit 10, microphones 210_1 to 210_n can be used as shown in FIG. 37, and these microphones may be small enough to be attached to the outer wall of the vehicle, and a general dynamic microphone or the like is used. Can do.

ここで、マイク210_1〜210_nの車両への取付け方法を説明する。マイク210_1〜210_nは少なくとも2個以上設置し、これらのマイクでは一つの音源から到来する音が時間、周波数、音圧レベルなどの特徴においてマイクごとに大きな差が出るように、十分に距離を置いた配置にする。理想的には2つのマイクから入力された2つの音が、バイノーラル音源として成立していることが望ましい。実際には、車両外壁に取り付けられたマイクで収録した音と、ダミーヘッドなどの耳介位置に配置されたマイクで収録した音とは異なるため、擬似的にバイノーラル録音を行なう。   Here, a method of attaching the microphones 210_1 to 210_n to the vehicle will be described. At least two microphones 210_1 to 210_n are installed, and these microphones are sufficiently spaced so that the sound coming from one sound source has a large difference for each microphone in characteristics such as time, frequency, and sound pressure level. Make the arrangement. Ideally, it is desirable that two sounds input from two microphones are established as binaural sound sources. Actually, since the sound recorded by the microphone attached to the outer wall of the vehicle is different from the sound recorded by the microphone arranged at the pinna position such as the dummy head, pseudo binaural recording is performed.

例えば図38に示すように、車両の屋根等にダミーヘッドに近い形状のドーム型の筐体(人間の頭部と同等の大きさ)と、この筐体左右に取り付けられた擬似的な耳介の外耳道内にマイクを取り付けて集音する。また、例えば図39に示すように、車両の外壁に擬似的な耳介を取り付け、これらの耳介の外耳道内にマイクを取り付けて集音する。このような構成では、入力信号が実際のバイノーラル録音とは異なるが、使用者に対して目的の方向に音像を形成する点に関しては近い音が得られる。このとき、マイクはなるべく壁に近いほうが左右のマイクに入力される音信号の差異が出やすく、最大でも10cm以下が望ましい。なお、単に進行方向と後方から到来する音を弁別させるだけであれば、図5に示すようにマイクの後方に壁を設けるだけでも一定の効果が得られる。   For example, as shown in FIG. 38, a dome-shaped housing (equivalent to a human head) shaped like a dummy head on a vehicle roof or the like, and pseudo auricles attached to the left and right sides of the housing Attach a microphone in the ear canal and collect sound. For example, as shown in FIG. 39, pseudo auricles are attached to the outer wall of the vehicle, and a microphone is attached to the external auditory canal of these auricles to collect sound. In such a configuration, although the input signal is different from the actual binaural recording, a sound close to the user in terms of forming a sound image in a target direction can be obtained. At this time, it is easier for the microphone to be as close to the wall as possible, so that the difference between the sound signals input to the left and right microphones is likely to occur. In addition, if only the sound coming from the traveling direction and the rear side is discriminated, a certain effect can be obtained only by providing a wall behind the microphone as shown in FIG.

図36および図37において、増幅部20は集音された音を適切な大きさの電気信号に変換する。増幅部20としては、図37に示すような一般的なフィルター付きマイクアンプ220を用いればよい。   36 and 37, the amplifying unit 20 converts the collected sound into an electric signal having an appropriate magnitude. As the amplifying unit 20, a general microphone amplifier 220 with a filter as shown in FIG. 37 may be used.

第1補正部30は、入力された複数の音の電気信号を適切な状態に加工し、所望のチャネル数(第2補正部40の入力チャネル数)に変換して出力する。第1補正部30は、図37に示すAD変換器230、演算装置240、記憶装置245およびDA変換器270により構成される。この第1補正部30から出力される音は、運転者の両耳付近や助手席乗員の頭部付近に設定される“制御点”における所望の音と理論上、等価になる必要がある。この第1補正部30の構成については詳細を後述する。   The 1st correction | amendment part 30 processes the input electrical signal of several sound into an appropriate state, converts into the desired number of channels (the number of input channels of the 2nd correction | amendment part 40), and outputs it. The first correction unit 30 includes an AD converter 230, an arithmetic device 240, a storage device 245, and a DA converter 270 shown in FIG. The sound output from the first correction unit 30 should theoretically be equivalent to a desired sound at a “control point” set near the driver's both ears or near the passenger's passenger's head. Details of the configuration of the first correction unit 30 will be described later.

第2補正部40は、第1補正部30により補正された音信号をスピーカーから出力するときに、スピーカーから制御点までの伝達系の影響を除去し、第1補正部30により補正された音信号が制御点において忠実に音として再現されるように音信号を補正する。この第2補正部40は、図37に示すAD変換器230、演算装置240、記憶装置245およびDA変換器270により構成される。この第2補正部40の構成については詳細を後述する。   When the sound signal corrected by the first correction unit 30 is output from the speaker, the second correction unit 40 removes the influence of the transmission system from the speaker to the control point, and the sound corrected by the first correction unit 30 The sound signal is corrected so that the signal is faithfully reproduced as sound at the control point. The second correction unit 40 includes an AD converter 230, an arithmetic device 240, a storage device 245, and a DA converter 270 shown in FIG. Details of the configuration of the second correction unit 40 will be described later.

なお、図41に示すように、第1補正部30と第2補正部40に対し、それぞれ別の第1演算装置240と第2演算装置250、第1記憶装置245と第2記憶装置255、AD変換器230と262、DA変換器261と270を用いてもよい。この場合は、AD変換器230、第1演算装置240、第1記憶装置245およびDA変換器261により第1補正部30が構成され、AD変換器262、第2演算装置250、第2記憶装置255およびDA変換器270により第2補正部40が構成される。   In addition, as shown in FIG. 41, with respect to the 1st correction | amendment part 30 and the 2nd correction | amendment part 40, respectively different 1st arithmetic device 240 and 2nd arithmetic device 250, 1st memory | storage device 245 and 2nd memory | storage device 255, The AD converters 230 and 262 and the DA converters 261 and 270 may be used. In this case, the AD converter 230, the first arithmetic device 240, the first storage device 245, and the DA converter 261 constitute the first correction unit 30, and the AD converter 262, the second arithmetic device 250, and the second storage device. The second correction unit 40 is configured by 255 and the DA converter 270.

音出力部50は、第2補正部40から出力された音信号を増幅してスピーカーから出力する。音出力部50は、図37に示す増幅装置(スピーカーアンプ)280およびスピーカー290_1〜290_nを用いて構成される。なお、増幅装置280とスピーカー290_1〜290_nは、車載配置可能な一般的なものを用いればよい。図37に示す頭部位置検出装置300は運転者の頭部位置を検出する。例えば、センサーにより運転席シートの位置を検出して運転者の頭部位置に換算すればよい。詳細を後述するが、運転者の頭部位置に応じて第1補正部30と第2補正部40で用いるフィルターを切り換える。   The sound output unit 50 amplifies the sound signal output from the second correction unit 40 and outputs it from the speaker. The sound output unit 50 is configured using an amplification device (speaker amplifier) 280 and speakers 290_1 to 290_n shown in FIG. Note that the amplifying device 280 and the speakers 290_1 to 290_n may be general ones that can be mounted on the vehicle. A head position detection device 300 shown in FIG. 37 detects the driver's head position. For example, the position of the driver's seat may be detected by a sensor and converted into the driver's head position. Although details will be described later, the filters used in the first correction unit 30 and the second correction unit 40 are switched in accordance with the head position of the driver.

図42は一実施の形態の動作を示すフローチャートである。一実施の形態の車両用聴覚モニタ装置は、電源が投入されるとこの動作を実行する。まず、ステップ110において初期設定を行なう。初期設定時には、第1補正部30と第2補正部40で用いるフィルターの読み込みを行なう。ステップ120で音入力部10で集音した音を入力し、電気信号に変換する。続くステップ130では音信号を適切なレベルに増幅する。   FIG. 42 is a flowchart showing the operation of the embodiment. The vehicle auditory monitor apparatus according to one embodiment performs this operation when the power is turned on. First, in step 110, initial setting is performed. At the time of initial setting, the filters used in the first correction unit 30 and the second correction unit 40 are read. In step 120, the sound collected by the sound input unit 10 is input and converted into an electric signal. In the following step 130, the sound signal is amplified to an appropriate level.

ステップ140において第1補正処理を行う。すなわち、音信号を離散変換して補正フィルター処理およびチャネルの統合処理を行い、得られた信号をそのまま、または、連続信号に変換する。次に、ステップ150で第2補正処理を行う。すなわち、第1補正処理後の音信号が連続信号であれば離散変換し、補正フィルター処理を行った後、連続信号に変換する。なお、第1補正処理と第2補正処理については詳細を後述する。ステップ160では、補正処理後の音信号を増幅し、続くステップ170でスピーカーから出力する。ステップ180において運転者の頭部位置を検出し、頭部位置が変化した場合はステップ190へ進み、第1補正処理および第2補正処理で用いるフィルターの内容を変更する。   In step 140, a first correction process is performed. That is, the sound signal is discretely converted, correction filter processing and channel integration processing are performed, and the obtained signal is converted as it is or into a continuous signal. Next, in step 150, a second correction process is performed. That is, if the sound signal after the first correction processing is a continuous signal, discrete conversion is performed, and after correction filter processing is performed, the sound signal is converted into a continuous signal. Details of the first correction process and the second correction process will be described later. In step 160, the sound signal after the correction process is amplified, and in step 170, the sound signal is output from the speaker. In step 180, the driver's head position is detected. If the head position changes, the process proceeds to step 190, and the contents of the filters used in the first correction process and the second correction process are changed.

なお、一連の処理における信号は、電気信号のような連続信号の場合は第1補正処理および第2補正処理の前後でAD変換処理とDA変換処理を行い、離散信号で得られる場合はこれらのAD変換処理とDA変換処理を行なわずに第1補正処理および第2補正処理を行う。第l補正処理と第2補正処理においては、コスト等の観点から離散的なフィルターを適用するのが望ましいが、連続処理が可能なフィルターを適用してもよい。   The signal in the series of processing is AD conversion processing and DA conversion processing before and after the first correction processing and the second correction processing in the case of a continuous signal such as an electric signal, and when these signals are obtained as discrete signals, The first correction process and the second correction process are performed without performing the AD conversion process and the DA conversion process. In the l-th correction process and the second correction process, it is desirable to apply a discrete filter from the viewpoint of cost or the like, but a filter capable of continuous processing may be applied.

第1補正部30の詳細な構成とその第1補正処理について説明する。まず、第1補正部30を擬似バイノーラル録音を行う構成とする場合の例を説明する。図38および図39で説明した手法を用い、2個のマイクで収録する入力音を擬似的にバイノーラル化する。すなわち、ダミーヘッドやHead And Torso Simulatorの耳介内部に設置されたマイクで収録した音と比較して、少なくとも音像の方向が同じように聞こえる音にする。この状態で集音された音源に対して第1補正部30でフィルタリングするときには、その音源の内容が変更されないように処理することが望ましい。例えば図38において、マイク210_1からの入力をX1、マイク210_2からの入力をX2、それぞれの入力に適用する第1補正部30(第1補正処理)の時間領域のフィルターをH1、H2、第1補正部30(第1補正処理)からの出力をY1、Y2とすると、
Y1=X1*H1 ・・・(1)、
Y2=X2*H2 ・・・(2)
で表現できる。なお、(1)式および(2)式において、記述「A*B」はベクトルAおよびベクトルBの畳み込み演算を表す。このとき、Y1、Y2はX1、X2と等価であってよいので、フィルターH1、H2はタップ数1、係数1とするか、タップ数Nで何れかの時間(かつ、H1、H2において同時間)に係数1が立つ時間遅延フィルターとすることが望ましい。例えば、
H1=H2=1 ・・・(3)、
H1=H2=[0,1,0,0,0,0,0] (N=7タップ、時間遅延1タップ)
・・・(4)
などの構成によって実現できる。
The detailed configuration of the first correction unit 30 and the first correction process will be described. First, an example in which the first correction unit 30 is configured to perform pseudo binaural recording will be described. Using the method described with reference to FIGS. 38 and 39, the input sound recorded by two microphones is pseudo binauralized. That is, the sound is heard with at least the same direction of the sound image as compared with the sound recorded by the dummy head or the microphone installed in the head pin of Head And Torso Simulator. When the first correction unit 30 filters the sound source collected in this state, it is desirable to perform processing so that the content of the sound source is not changed. For example, in FIG. 38, the input from the microphone 210_1 is X1, the input from the microphone 210_2 is X2, and the time domain filters of the first correction unit 30 (first correction processing) applied to the respective inputs are H1, H2, and the first. When the output from the correction unit 30 (first correction process) is Y1, Y2,
Y1 = X1 * H1 (1),
Y2 = X2 * H2 (2)
Can be expressed as In the expressions (1) and (2), the description “A * B” represents a convolution operation of the vector A and the vector B. At this time, since Y1 and Y2 may be equivalent to X1 and X2, the filters H1 and H2 have the tap number 1 and the coefficient 1, or the tap number N is any time (and the same time in H1 and H2). It is desirable to use a time delay filter in which a coefficient of 1 stands. For example,
H1 = H2 = 1 (3),
H1 = H2 = [0, 1, 0, 0, 0, 0, 0] (N = 7 taps, time delay 1 tap)
... (4)
It can be realized by such a configuration.

次に、第1補正部30により、仮想音源を用いて窓を開けたときのような音響空間を構築する場合の例を説明する。この例では、自車周囲の環境音が自車の窓を開けたときのように聞こえるように、仮想音源を用いて音像を構成する。図43(a)は、自車後部座席の左右の窓を開けた状態で到来する自車周囲の環境音の聞こえ方の例を示す。このとき、運転者は後方の窓から侵入してくる音を後方に定位する音源として聞くことができる。例えば、自車周囲の車両1と車両3は運転者から相対的に後方に位置し、後部座席左右の窓を開けた場合は、当該位置に定位して聞こえる。一方、車両2は運転者から相対的に右側に位置し、後部座席左右の窓を開けた場合は、窓からの回折音と前方窓を通した直接音とが到来する。   Next, an example will be described in which the first correction unit 30 constructs an acoustic space like when a window is opened using a virtual sound source. In this example, a sound image is constructed using a virtual sound source so that environmental sounds around the vehicle can be heard as if the window of the vehicle is opened. FIG. 43 (a) shows an example of how to hear the environmental sound around the vehicle that arrives with the left and right windows of the back seat of the vehicle open. At this time, the driver can hear the sound entering from the rear window as a sound source that is localized rearward. For example, if the vehicle 1 and the vehicle 3 around the host vehicle are positioned relatively rearward from the driver and the windows on the left and right of the rear seat are opened, the sound is localized at the position and heard. On the other hand, when the vehicle 2 is located on the right side relative to the driver and the windows on the left and right of the rear seat are opened, the diffracted sound from the window and the direct sound through the front window arrive.

そこで、窓を開けたときに窓から到来する音のみを再現することによって、図8(a)に示す状況を再現する手法を検討する。原始的な方法としては、図43(b)に示すように、窓の外にマイクを配置し、これらのマイクからの入力信号をそのまま窓の内側に配置したスピーカーを用いて再現する手法が考えられる。この手法を用いた場合は、窓の内側にスピーカーを配置する必要が有り、機器の配置に制限のある車両等では困難が予想される。そこでこの一実施の形態では、図43(c)に示すように、第1および第2の補正部によって、車外に配置されたマイクからの入力信号を、マイクと離れた位置にスピーカーを配置して仮想的な音像再生技術により窓の外側から到来するように制御する。   Therefore, a method for reproducing the situation shown in FIG. 8A by reproducing only the sound coming from the window when the window is opened will be examined. As a primitive method, as shown in FIG. 43 (b), a technique is considered in which microphones are arranged outside the windows and the input signals from these microphones are reproduced as they are using the speakers arranged inside the windows. It is done. When this method is used, it is necessary to arrange a speaker inside the window, and it is expected to be difficult for a vehicle or the like in which the arrangement of devices is limited. Therefore, in this embodiment, as shown in FIG. 43 (c), the first and second correction units place an input signal from a microphone placed outside the vehicle and a speaker away from the microphone. Then, control is performed so as to arrive from outside the window by virtual sound image reproduction technology.

図44は第1補正部30の構成例を示す。マイク210_1〜210_nから入力された信号は、Gnmのフィルター処理を施した後、左右チャネルの信号として別個に加算され、第1補正部40へ出力される。ここで、nはマイク番号を表し、mは第2補正部40の入力チャネル番号を表す。番号nのマイク210_nから入力された信号はフィルターGn1、Gn2による処理が施され、入力チャネル(この例ではm=1、2)ごとに、かつ、それぞれの時間要素ごとに加算される。   FIG. 44 shows a configuration example of the first correction unit 30. The signals input from the microphones 210_1 to 210_n are subjected to Gnm filter processing, added separately as left and right channel signals, and output to the first correction unit 40. Here, n represents a microphone number, and m represents an input channel number of the second correction unit 40. The signal input from the microphone 210_n with the number n is processed by the filters Gn1 and Gn2, and is added for each input channel (in this example, m = 1, 2) and for each time element.

図45は、後席右側の車両外壁に配置されたマイク210_1に対応する時間領域のフィルターG11、G12の構成例を示す。フィルターG11、G12は、マイク210_1の位置(仮想的に開ける窓、または仮想的に想定する窓の位置)から運転者の頭部(両耳付近)までの遅延および距離減衰などを表す。ここでは9タップのFIRフィルターを用いた遅延器の場合を示す。なお、遅延子の位置は、例えば、CAD上で距離を計測し、音速を用いて到達時間を計るなど、幾何的な手法により物理的に容易に計算することができ、極めて簡易的に所望のフィルターを構成することができる。   FIG. 45 shows a configuration example of time domain filters G11 and G12 corresponding to the microphone 210_1 arranged on the vehicle outer wall on the right side of the rear seat. The filters G11 and G12 represent the delay and distance attenuation from the position of the microphone 210_1 (virtually opened window or virtually assumed window position) to the driver's head (near both ears). Here, the case of a delay device using a 9-tap FIR filter is shown. The position of the delay element can be calculated physically easily by a geometric method, for example, measuring the distance on CAD and measuring the arrival time using the speed of sound. A filter can be configured.

図46は、後席右側の車両外壁に配置されたマイク210_1に対応するフィルターG11、G12の他の構成例を示す。フィルターG11、G12は、マイク210_1の位置(仮想的に開ける窓、または仮想的に想定する窓の位置)から運転者の頭部(両耳付近)までの伝達関数を用いる。ここでは10タップのFIRフィルターを用いた伝達関数の場合を示す。なお、伝達関数はマイク210_1の位置から運転者の両耳付近までの音響伝達系を予め測定することにって実現できる。   FIG. 46 shows another configuration example of the filters G11 and G12 corresponding to the microphone 210_1 arranged on the vehicle outer wall on the right side of the rear seat. The filters G11 and G12 use a transfer function from the position of the microphone 210_1 (virtually opened window or virtually assumed window position) to the driver's head (near both ears). Here, a transfer function using a 10-tap FIR filter is shown. The transfer function can be realized by measuring in advance an acoustic transmission system from the position of the microphone 210_1 to the vicinity of the driver's ears.

第1補正部30により仮想音源を用いて窓を開けたときのような音響空間を構築する場合には、上述したバイノーラル収録系と異なり、マイクを仮想的に設定する窓位置に配置することになり、各マイクの出力をフィルタリング後に加算する。このような構成により、種々の方向から仮想的に到来する音を、例えば、耳の左右の位置において再現することができる。   When constructing an acoustic space such as when a window is opened using a virtual sound source by the first correction unit 30, unlike the binaural recording system described above, a microphone is arranged at a window position that is virtually set. Therefore, the output of each microphone is added after filtering. With such a configuration, sound that virtually arrives from various directions can be reproduced, for example, at the left and right positions of the ear.

なお、図45および図46ではマイク210_1を後方のみに設置した例を示すが、例えば図47に示すように、6台のマイク210_1〜210_6を後席左右の窓、前席左右の窓、フロントウインドウおよびリヤウインドウの6カ所に配置して6方向に対応させると、360度の水平面方向に対する音響的視界を得ることができる。この場合、運転者が使用するマイクを任意に選択できるようにすれば、運転者が好みの仮想窓だけを開けたかのごとく、音響的視界を構成することができる。   45 and 46 show an example in which the microphone 210_1 is installed only in the rear. For example, as shown in FIG. 47, the six microphones 210_1 to 210_6 are connected to the rear seat left and right windows, the front seat left and right windows, the front If it is arranged at six locations on the window and the rear window to correspond to the six directions, an acoustic field of view in the horizontal direction of 360 degrees can be obtained. In this case, if the microphone used by the driver can be arbitrarily selected, the acoustic field of view can be configured as if the driver opened only a favorite virtual window.

次に、第2補正部40の詳細な構成とその第2補正処理について説明する。図48は第2補正部40の概念を説明するための図である。運転者の両耳付近に設定される制御点C1、C2において、上述した第1補正部30からの入力信号Y1、Y2が再現されるように第2補正部40を構成する。第1補正部30からの入力信号Y1、Y2と、制御点C1、C2における再現信号(観測信号)Z1、Z2との間には、
Y1=Z1 ・・・(5)、
Y2=Z2 ・・・(6)
の関係が成立することが望ましい。そこで、この一実施の形態では補正のためのフィルターを用いて空間伝達系の影響を除去する。以下、このフィルターを“逆フィルター”と呼ぶ。
Next, the detailed configuration of the second correction unit 40 and the second correction process will be described. FIG. 48 is a diagram for explaining the concept of the second correction unit 40. The second correction unit 40 is configured such that the input signals Y1 and Y2 from the first correction unit 30 described above are reproduced at control points C1 and C2 set near the driver's ears. Between the input signals Y1, Y2 from the first correction unit 30 and the reproduction signals (observation signals) Z1, Z2 at the control points C1, C2,
Y1 = Z1 (5),
Y2 = Z2 (6)
It is desirable that this relationship is established. Therefore, in this embodiment, the influence of the spatial transmission system is removed using a filter for correction. Hereinafter, this filter is referred to as an “inverse filter”.

図49により、第2補正部40で用いる逆フィルターの構成と計算法を説明する。任意の周波数ごとに、入力信号Yn、逆フィルターHmn(mは音源番号、nは制御点番号)、再現信号(制御点における観測信号)Znおよび空間伝達特性Fnmとしたとき、各要素の関係は、
F・H・Y=Z ・・・(7)
と表される。[7]式において、F、H、Y、Zはベクトルであり、F=[Fnm]、H=[Hmn]、Y=[Yn]、Z=[Zn]の行列式で表される。このとき、上記(5)、(6)式の関係を満たすためには、
F・H=I ・・・(8)
(Iは単位ベクトル)であることが要求される。したがって、FよりHを導き出すためには、任意の周波数ごとに
H=F ・・・(9)
を計算すればよい。(9)式において、[・]は行列[・]の一般逆行列を表す。例えば、“最小ノルム解を用いた逆フィルター設計のトランスオーラルシステムへの応用:日本音響学会講演論文集、pp495-496(1998)”に記載された計算方法を採用することができる。
The configuration and calculation method of the inverse filter used in the second correction unit 40 will be described with reference to FIG. For each arbitrary frequency, when the input signal Yn, the inverse filter Hmn (m is the sound source number, n is the control point number), the reproduction signal (observation signal at the control point) Zn, and the spatial transfer characteristic Fnm, the relationship among the elements is ,
F ・ H ・ Y = Z (7)
It is expressed. In the equation [7], F, H, Y, and Z are vectors, and are represented by determinants of F = [Fnm], H = [Hmn], Y = [Yn], and Z = [Zn]. At this time, in order to satisfy the relationship of the above expressions (5) and (6),
F ・ H = I (8)
(I is a unit vector). Therefore, in order to derive H from F, H = F (9) for each arbitrary frequency.
Should be calculated. In equation (9), [•] represents a general inverse matrix of the matrix [•]. For example, the calculation method described in “Application of inverse filter design using minimum norm solution to transoral system: Proceedings of Acoustical Society of Japan, pp495-496 (1998)” can be employed.

次に、運転者以外の乗員に車外の環境音が聞こえないようにする方法を説明する。この一実施の形態では、車外の環境音を、それらの音源の位置から聞こえるように運転者に提示することによって安全性等の向上を図るが、提示される環境音は運転者以外の乗員、例えば助手席乗員にとっては必ずしも有用とは言えず、これら環境音が助手席では聞こえないようにシステムを構築する。   Next, a method for preventing passengers other than the driver from hearing environmental sounds outside the vehicle will be described. In this embodiment, the environmental sound outside the vehicle is presented to the driver so that it can be heard from the position of the sound source, thereby improving safety and the like. For example, it is not necessarily useful for passengers in the passenger seat, and a system is constructed so that these environmental sounds cannot be heard in the passenger seat.

図50および図51により、助手席乗員に車外の環境音が聞こえないようにする第2補正部40の逆フィルターの構成を説明する。まず、図50に示す逆フィルター構成は4スピーカーS1〜S4、3制御点C1〜C3の例を示す。この構成では、入力信号Xnと、制御点で観測される観測信号Ynとの間に、Xn=Ynの関係が成立するように、逆フィルターが設計される。今、入力信号X1とX2にはそれぞれ実体のある波形を入力し、入力信号X3には無音信号、すなわち振幅0の直列信号を入力したとき、Y1=X1、Y2=X2が成立し、かつ、Y3=0も同時に成立させることができる。そして、制御点C1、C2を運転者の両耳付近に設定し、制御点C3を助手席乗員の頭部付近に設定することによって、運転者には車外の環境音が聞こえ、助手席乗員には車外の環境音が聞こえないようにすることができる。なお、理想的には助手席乗員の両耳付近に制御点C3、C4を設定してY3=Y4=0とするのが望ましい。   50 and 51, the configuration of the inverse filter of the second correction unit 40 that prevents the passenger in the passenger's seat from hearing environmental sounds outside the vehicle will be described. First, the inverse filter configuration shown in FIG. 50 shows an example of four speakers S1 to S4 and three control points C1 to C3. In this configuration, the inverse filter is designed so that the relationship Xn = Yn is established between the input signal Xn and the observed signal Yn observed at the control point. Now, when a substantial waveform is input to each of the input signals X1 and X2, and a silence signal, that is, a serial signal having an amplitude of 0 is input to the input signal X3, Y1 = X1, Y2 = X2 is established, and Y3 = 0 can also be established at the same time. Then, by setting the control points C1 and C2 near the driver's both ears and setting the control point C3 near the passenger's head, the driver can hear the environmental sound outside the vehicle, Can prevent environmental sounds outside the vehicle from being heard. Ideally, it is desirable to set control points C3 and C4 near both ears of the passenger on the passenger seat so that Y3 = Y4 = 0.

図51に示す逆フィルター構成は、図50に示す逆フィルター構成から冗長なフィルターを省略した例を示す。この場合、4スピーカー、3制御点であっても、8個のフィルターでシステムを構成できる。ただし、あくまで図50の系を基に逆フィルターを構築した場合に12個のフィルターを8個に減らすことができるのであり、始めから8個のフィルターで設計しても同様の効果は得られない。このように、車室内の各座席に制御点を設けることによって音を創出する制御と、音を消去する制御とを同時に実現できる。   The inverse filter configuration shown in FIG. 51 shows an example in which redundant filters are omitted from the inverse filter configuration shown in FIG. In this case, even with 4 speakers and 3 control points, the system can be configured with 8 filters. However, when the inverse filter is constructed based on the system of FIG. 50, the 12 filters can be reduced to 8 and the same effect cannot be obtained even if the 8 filters are designed from the beginning. . In this way, it is possible to simultaneously realize control for creating sound and control for eliminating sound by providing a control point at each seat in the vehicle interior.

次に、運転者の頭部位置の変化に応じてフィルターを切り換える例を説明する。第1補正部30と第2補正部40は運転者の頭部位置の変化により再現精度などが低下するため、頭部位置の変化に応じて第1補正部30と第2補正部40を変更することが望ましい。図37に示す頭部位置検出装置300により運転者の頭部位置を検出した後、記憶装置245に予め記憶されている第1補正部30のフィルターと第2補正部40のフィルターを運転者の頭部位置に応じて選択する。   Next, an example in which the filter is switched in accordance with the change in the driver's head position will be described. The first correction unit 30 and the second correction unit 40 change the first correction unit 30 and the second correction unit 40 in accordance with the change in the head position because the reproduction accuracy and the like decrease due to the change in the driver's head position. It is desirable to do. After the driver's head position is detected by the head position detection device 300 shown in FIG. 37, the filter of the first correction unit 30 and the filter of the second correction unit 40 stored in advance in the storage device 245 are used as the driver's head position. Select according to the head position.

具体的には、図52に示すように、運転席を最前部に移動させた場合の頭部位置P1と、最後部に移動させた場合の頭部位置P2におけるマイクから運転者両耳位置までの伝達関数から求めたフィルターGnm(1)、Gnm(2)を予め記憶しておき、座席の位置に応じた第1補正部30のフィルターを選択する。同様に、第2補正部フィルターの選択例としては、図53に示すように、運転席を最前部に移動させた場合の頭部位置P1と、最後部に移動させた場合の頭部位置P2におけるマイクから運転者両耳位置までの伝達関数から求めた逆フィルターHmn(1)、Hmn(2)を予め記憶しておき、座席の位置に応じて第2補正部40の逆フィルターを選択する。   Specifically, as shown in FIG. 52, from the microphone to the driver's binaural position at the head position P1 when the driver's seat is moved to the front and the head position P2 when the driver's seat is moved to the rearmost part. The filters Gnm (1) and Gnm (2) obtained from the transfer function are stored in advance, and the filter of the first correction unit 30 corresponding to the seat position is selected. Similarly, as an example of selecting the second correction unit filter, as shown in FIG. 53, the head position P1 when the driver's seat is moved to the forefront and the head position P2 when the driver's seat is moved to the rearmost part. Inverse filters Hmn (1) and Hmn (2) obtained from the transfer function from the microphone to the driver's binaural position are stored in advance, and the inverse filter of the second correction unit 40 is selected according to the seat position. .

このように、一実施の形態によれば、車体外周に車両周辺の音を集音する複数のマイクを設置するとともに、車室内に複数のスピーカーを配置し、複数のマイクにより車両周辺に存在する物体から位置情報を含む音を入力し、複数のスピーカーにより車両周辺物体の音を位置情報を維持したまま車両乗員に出力するようにした。具体的には、車両周辺物体の音が車両乗員に対して車両周辺物体が存在する方向から聞こえるように、複数のマイクで集音した音を補正する第1補正処理と、車両乗員に聞こえる複数のスピーカーの出力音が第1補正処理による補正後の音と等しくなるように、第1補正処理の出力音を補正する第2補正処理とを行うようにしたので、車両乗員に突発的な注意転導が発生するのを防止し、認知リソースに応じた適切な対応を取らせることができる上に、車両の窓を閉めたまま車両周辺の複数の物体の音を車両乗員に聞かせる安価な装置を提供することができる。   As described above, according to one embodiment, a plurality of microphones for collecting sounds around the vehicle are installed on the outer periphery of the vehicle body, a plurality of speakers are arranged in the vehicle interior, and are present around the vehicle by the plurality of microphones. A sound including position information is input from an object, and sounds of objects around the vehicle are output to a vehicle occupant while maintaining the position information by a plurality of speakers. Specifically, the first correction processing for correcting the sound collected by the plurality of microphones so that the sound of the vehicle peripheral object can be heard from the direction in which the vehicle peripheral object exists with respect to the vehicle occupant, and the plurality of sounds heard by the vehicle occupant. Since the second correction process for correcting the output sound of the first correction process is performed so that the output sound of the speaker of the first sound is equal to the sound corrected by the first correction process, sudden attention is given to the vehicle occupant. It is possible to prevent the occurrence of diversion and make it possible to take an appropriate action according to the cognitive resources, and to allow the vehicle occupant to hear the sounds of multiple objects around the vehicle with the vehicle window closed. An apparatus can be provided.

また、一実施の形態によれば、マイクを車両の左右に2個配置し、これらの2個のマイクで集音した音をバイノーラル音に補正するようにしたので、車両周辺物体からの音が開いている窓から自然に到来したかのように、車両乗員に車両周辺物体の音を聞かせることができる。   According to one embodiment, two microphones are arranged on the left and right sides of the vehicle, and the sound collected by these two microphones is corrected to binaural sound. It is possible to let the vehicle occupant hear the sound of objects around the vehicle as if it came naturally from the open window.

一実施の形態によれば、車両外周にダミーヘッドを取り付けて2個のマイクをダミーヘッドの左右耳介内に配置し、これらの2個のマイクで集音した音をバイノーラル音に補正するようにしたので、車両周辺物体からの音を車両乗員が直接両耳で聞くように、車両乗員に車両周辺物体の音を聞かせることができる。   According to one embodiment, a dummy head is attached to the outer periphery of the vehicle, two microphones are arranged in the left and right auricles of the dummy head, and a sound collected by these two microphones is corrected to a binaural sound. Therefore, the vehicle occupant can hear the sound of the vehicle peripheral object so that the vehicle occupant directly hears the sound from the vehicle peripheral object with both ears.

一実施の形態によれば、マイクを車両の左右に2個配置し、車両周辺物体の音が車両の任意の窓を介して車両周辺物体の方向から聞こえるように、2個のマイクで集音した音を補正するようにした。具体的には、車両周辺物体の音に対して窓から車両乗員の頭部までの距離に応じた遅延と減衰の処理を施したり、あるいは車両周辺物体の音に対して窓から車両乗員の頭部までの音響伝達系の伝達関数により処理を施すようにしたので、車両周辺物体からの音が開いている窓から自然に到来したかのように、車両乗員に車両周辺物体の音を聞かせることができる。   According to one embodiment, two microphones are arranged on the left and right sides of the vehicle, and sound is collected by the two microphones so that sounds of objects around the vehicle can be heard from the direction of the objects around the vehicle through any window of the vehicle. The corrected sound was corrected. Specifically, the sound of an object around the vehicle is subjected to a delay and attenuation process according to the distance from the window to the head of the vehicle occupant, or the sound of an object around the vehicle is Since the processing is performed with the transfer function of the acoustic transfer system up to the vehicle, the sound of the vehicle peripheral object is heard by the vehicle occupant as if the sound from the vehicle peripheral object naturally arrived through the open window. be able to.

一実施の形態によれば、第2補正処理において、第1補正処理後の出力音に対して各スピーカーから車両乗員までの音響伝達系の影響を除去する処理を施すようにしたので、マイクの位置と異なる位置にスピーカーを配値しても、車両乗員に対して車両周辺物体の音をその物体が存在する方向から正しく聞こえるように報知することができ、車両に対するマイクとスピーカーの配置自由度を向上させることができる。   According to the embodiment, in the second correction process, the process of removing the influence of the acoustic transmission system from each speaker to the vehicle occupant is performed on the output sound after the first correction process. Even if the speaker is arranged at a position different from the position, it is possible to notify the vehicle occupant that the sound of the object around the vehicle can be heard correctly from the direction in which the object exists, and the degree of freedom of arrangement of the microphone and speaker with respect to the vehicle Can be improved.

一実施の形態によれば、車両乗員の両耳付近で車両周辺物体の音が聞こえ、車両運転者以外の車両乗員に車両周辺物体の音が聞こえないように、複数のスピーカーの出力音を制御するようにしたので、運転者にのみ車外環境音を聞かせて適切な対応を取らせながら、運転者以外の乗員には静かな車室内環境を提供することができる。   According to one embodiment, the output sound of multiple speakers is controlled so that the sound of objects around the vehicle can be heard near both ears of the vehicle occupant and the sound of objects around the vehicle cannot be heard by vehicle occupants other than the vehicle driver. Therefore, it is possible to provide a quiet interior environment to passengers other than the driver while only let the driver hear the environmental sound outside the vehicle and take an appropriate response.

一実施の形態によれば、車両運転者の頭部位置を検出し、車両運転者の頭部位置に応じて第1補正処理と第2補正処理の内容を変更するようにしたので、運転者の頭部位置が変化しても車両周辺物体の音を精度よく再現することができる。   According to the embodiment, the head position of the vehicle driver is detected, and the contents of the first correction process and the second correction process are changed according to the head position of the vehicle driver. Even if the head position of the vehicle changes, the sound of the object around the vehicle can be accurately reproduced.

発明の一実施の形態の構成を示す図The figure which shows the structure of one embodiment of invention 高速道路の料金所通過時の聴覚モニタ装置の動作を説明する図The figure explaining the operation of the hearing monitor device when passing the toll gate on the highway 高速道路の料金所通過時の聴覚モニタ装置の動作を示すフローチャートFlow chart showing the operation of the hearing monitor device when passing the toll gate on the highway 車線変更時の聴覚モニタ装置の動作を説明する図The figure explaining operation of the hearing monitor device at the time of lane change 車線変更時の聴覚モニタ装置の動作を示すフローチャートFlow chart showing the operation of the hearing monitor device when changing lanes 交差点に接近したときの聴覚モニタ装置の動作を説明する図The figure explaining operation | movement of the auditory monitor apparatus when approaching an intersection 交差点に接近したときの聴覚モニタ装置の動作を示すフローチャートFlow chart showing the operation of the auditory monitor device when approaching an intersection サービスエリアへ進入したときの聴覚モニタ装置の動作を説明する図The figure explaining operation | movement of the auditory monitor apparatus when approaching a service area サービスエリアへ進入したときの聴覚モニタ装置の動作を示すフローチャートFlow chart showing the operation of the hearing monitor device when entering the service area 道路を離脱したときの聴覚モニタ装置の動作を説明する図The figure explaining operation of the hearing monitor device when leaving the road 道路を離脱したときの聴覚モニタ装置の動作を示すフローチャートFlow chart showing the operation of the auditory monitor device when leaving the road 渋滞に巻き込まれたときの聴覚モニタ装置の動作を説明する図The figure explaining operation of the hearing monitor device when being caught in a traffic jam 渋滞に巻き込まれたときの聴覚モニタ装置の動作を示すフローチャートFlow chart showing the operation of the hearing monitor device when involved in a traffic jam 踏切に近づいたときの聴覚モニタ装置の動作を説明する図The figure explaining operation of the hearing monitor device when approaching a level crossing 踏切に近づいたときの聴覚モニタ装置の動作を示すフローチャートFlow chart showing the operation of the auditory monitor device when approaching a level crossing エンジン始動後の聴覚モニタ装置の動作を説明する図The figure explaining operation | movement of the auditory monitor apparatus after an engine start エンジン始動後の聴覚モニタ装置の動作を示すフローチャートFlow chart showing the operation of the auditory monitor device after engine startup ウインカーまたはハザードスイッチを操作したときの聴覚モニタ装置の動作を説明する図The figure explaining operation | movement of the auditory monitor apparatus when operating a blinker or a hazard switch ウインカーまたはハザードスイッチを操作したときの聴覚モニタ装置の動作を示すフローチャートFlow chart showing the operation of the auditory monitor device when operating the blinker or hazard switch ステアリング操作時の聴覚モニタ装置の動作を説明する図The figure explaining operation | movement of the auditory monitor apparatus at the time of steering operation ステアリング操作時の聴覚モニタ装置の動作を示すフローチャートFlow chart showing the operation of the auditory monitor device during steering operation 徐行中のときの聴覚モニタ装置の動作を説明する図The figure explaining operation | movement of the auditory monitor apparatus at the time of slow driving 徐行中のときの聴覚モニタ装置の動作を示すフローチャートFlow chart showing the operation of the auditory monitor device when driving slowly 低速走行が所定時間継続したときの聴覚モニタ装置の動作を説明する図The figure explaining operation | movement of the auditory monitor apparatus when low speed driving | running | working continues for the predetermined time. 低速走行が所定時間継続したときの聴覚モニタ装置の動作を示すフローチャートFlow chart showing the operation of the auditory monitor device when low-speed running continues for a predetermined time 後退走行時の聴覚モニタ装置の動作を説明する図The figure explaining operation | movement of the auditory monitor apparatus at the time of reverse running 後退走行時の聴覚モニタ装置の動作を示すフローチャートFlow chart showing the operation of the hearing monitor device during reverse running トンネル進入時の聴覚モニタ装置の動作を説明する図The figure explaining operation of the hearing monitor device at the time of tunnel entrance トンネル進入時の聴覚モニタ装置の動作を示すフローチャートFlow chart showing the operation of the hearing monitor device when entering the tunnel スクールゾーンやシルバーゾーンへ進入したときの聴覚モニタ装置の動作を説明する図Diagram explaining the operation of the hearing monitor device when entering the school zone or silver zone スクールゾーンやシルバーゾーンへ進入したときの聴覚モニタ装置の動作を示すフローチャートFlow chart showing the operation of the hearing monitor device when entering the school zone or silver zone 海岸通りや林道へ進入したときの聴覚モニタ装置の動作を説明する図A diagram explaining the operation of the hearing monitor device when entering the coastal road or forest road 海岸通りや林道へ進入したときの聴覚モニタ装置の動作を示すフローチャートFlow chart showing the operation of the hearing monitor device when entering the coastal road or forest road 音入力部で検出した車両周囲の音の内、自車両の走行音を抑制する方法を説明する図The figure explaining the method of suppressing the running sound of the own vehicle among the sounds around the vehicle detected by the sound input unit 音入力部で検出した車両周囲の音の内、自車両の走行音を抑制する手順を示すフローチャートThe flowchart which shows the procedure which suppresses the driving sound of the own vehicle among the sounds around the vehicle detected by the sound input unit 他の一実施の形態の基本構成を示すブロック図The block diagram which shows the basic composition of other one embodiment 他の一実施の形態の具体的な構成を示す図The figure which shows the specific structure of other one embodiment. マイクの配置例を示す図The figure which shows the example of arrangement of the microphone マイクの他の配置例を示す図The figure which shows the other example of arrangement | positioning of a microphone マイクの他の配置例を示す図The figure which shows the other example of arrangement | positioning of a microphone 他の実施の形態の他の構成例を示す図The figure which shows the other structural example of other embodiment. 他の実施の形態の動作を示すフローチャートFlowchart showing the operation of another embodiment 第1補正部の構成の概念を説明するための図The figure for demonstrating the concept of a structure of a 1st correction | amendment part. 第1補正部の構成例を示す図The figure which shows the structural example of a 1st correction | amendment part. 第1補正部フィルターの構成例を示す図The figure which shows the structural example of a 1st correction | amendment part filter. 第1補正部フィルターの他の構成例を示す図The figure which shows the other structural example of a 1st correction | amendment part filter. マイクの他の配置例を示す図The figure which shows the other example of arrangement | positioning of a microphone 第2補正部の構成の概念を示す図The figure which shows the concept of a structure of a 2nd correction | amendment part. 第2補正部の逆フィルターの構成例を示す図The figure which shows the structural example of the reverse filter of a 2nd correction | amendment part. 第2補正部の逆フィルターの他の構成例を示す図The figure which shows the other structural example of the reverse filter of a 2nd correction | amendment part. 図15に示す逆フィルターを簡略化した逆フィルター構成を示す図The figure which shows the reverse filter structure which simplified the reverse filter shown in FIG. 運転者頭部位置に応じた第1補正部フィルターの切り換え方法を説明する図The figure explaining the switching method of the 1st correction part filter according to a driver's head position 運転者頭部位置に応じた第2補正部逆フィルターの切り換え方法を説明する図The figure explaining the switching method of the 2nd correction part reverse filter according to driver's head position

符号の説明Explanation of symbols

10 音入力部(集音手段)
30 第1補正部(第1補正手段)
40 第2補正部(第2補正手段)
50 音出力部(再生手段)
111 車両情報検出部(情報検出手段)
112 スイッチ部(制御手段)
113 フィルター部(制御手段)
114 ボリューム変更部(制御手段)
210_1〜210_n マイク(集音手段)
230、262 AD変換器
240、250 演算装置(制御手段)
245、255 記憶装置
261、270 DA変換器
290_1〜290_n スピーカー(再生手段)
300 頭部位置検出装置(位置検出手段)
10 Sound input part (sound collecting means)
30 1st correction | amendment part (1st correction means)
40 Second correction unit (second correction means)
50 sound output unit (reproduction means)
111 Vehicle information detection unit (information detection means)
112 Switch part (control means)
113 Filter section (control means)
114 Volume changing unit (control means)
210_1 to 210_n Microphone (sound collecting means)
230, 262 AD converter 240, 250 arithmetic unit (control means)
245, 255 Storage device 261, 270 DA converter 290_1-290_n Speaker (reproducing means)
300 Head position detection device (position detection means)

Claims (6)

車体外周に設けられて車両周辺の音を集音する集音手段と、
車室内に配置されて音を再生する再生手段と、
少なくとも自車位置情報と道路地図上の予め設定した位置情報とを含む自車両に関わる情報を検出する情報検出手段と、
前記集音手段により集音した音に基づく再生音を作成し、前記情報検出手段により検出した前記情報に基づいて前記自車両の走行状態を判断し、判断した前記自車両の走行状態に基づいて前記再生手段により出力する前記再生音の制御を行う制御手段と
前記情報検出手段により検出された前記自車両に関わる情報により前記自車両が道路を離脱したことを検出する離脱検出手段とを備え
前記制御手段は、前記自車位置が前記予め設定した位置に達したときに前記再生手段からの前記再生音の出力または停止を行い、
前記離脱検出手段により前記自車両が道路を離脱したことが検出されると、前記制御手段は前記再生手段に前記再生音を出力させることを特徴とする車両用聴覚モニタ装置。
Sound collecting means provided on the outer periphery of the vehicle body for collecting sounds around the vehicle;
A reproduction means arranged in the passenger compartment for reproducing sound;
Information detecting means for detecting information related to the own vehicle including at least the own vehicle position information and preset position information on the road map;
A reproduction sound based on the sound collected by the sound collecting means is created, the running state of the own vehicle is judged based on the information detected by the information detecting means, and based on the judged running state of the own vehicle. Control means for controlling the reproduced sound output by the reproducing means ;
A departure detecting means for detecting that the own vehicle has left the road based on information relating to the own vehicle detected by the information detecting means ;
The control means outputs or stops the reproduction sound from the reproduction means when the own vehicle position reaches the preset position,
The disengaging when the host vehicle by the detection means is detected to have left the road, said control means for a vehicle auditory monitoring device according to claim Rukoto to output the reproduced sound in the reproducing device.
請求項1に記載の車両用聴覚モニタ装置において、
前記再生手段によって前記再生音が出力されているときに、前記離脱検出手段によって前記自車両が道路に復帰したことが検出された場合には、前記制御手段は前記再生手段に前記再生音を停止させることを特徴とする車両用聴覚モニタ装置。
In the vehicle auditory monitor apparatus according to claim 1,
When the reproduction means outputs the reproduction sound and the departure detection means detects that the host vehicle has returned to the road, the control means stops the reproduction sound on the reproduction means. A hearing monitor device for a vehicle, characterized in that:
請求項1または2に記載の車両用聴覚モニタ装置において、
前記情報検出手段は、エンジンの作動をさらに検出し、
前記自車両が道路から離脱したことに応じて前記再生手段によって前記再生音が出力されているときに、前記情報検出手段によって前記エンジンの停止を検出した場合には、前記制御手段は前記再生手段に前記再生音を停止させることを特徴とする車両用聴覚モニタ装置。
In the hearing monitor apparatus for vehicles according to claim 1 or 2 ,
The information detecting means further detects the operation of the engine;
If the information detection means detects that the engine has stopped when the reproduction sound is output by the reproduction means in response to the departure of the host vehicle from the road, the control means provides the reproduction means. The vehicle auditory monitoring device is characterized in that the reproduction sound is stopped .
請求項3に記載の車両用聴覚モニタ装置において、
前記エンジンの停止に応じて前記再生音が停止されているときに、前記情報検出手段によって前記エンジンの始動が検出された場合には、前記制御手段は前記再生手段に前記再生音を出力させることを特徴とする車両用聴覚モニタ装置。
In the hearing monitor apparatus for vehicles according to claim 3,
When the engine is stopped by the information detection unit when the reproduction sound is stopped in response to the stop of the engine, the control unit causes the reproduction unit to output the reproduction sound. A vehicle auditory monitor device characterized by the above.
請求項2乃至4のいずれか一項に記載の車両用聴覚モニタ装置において、
前記情報検出手段は、前記自車両が道路に復帰してから所定距離を走行したことをさらに検出し、
前記情報検出手段によって前記自車両が前記所定距離を走行したことが検出された場合に、前記制御手段は前記再生手段に前記再生音を停止させることを特徴とする車両用聴覚モニタ装置。
In the hearing monitor apparatus for vehicles according to any one of claims 2 to 4 ,
The information detecting means further detects that the vehicle has traveled a predetermined distance after returning to the road,
When the information detecting means detects that the host vehicle has traveled the predetermined distance, the control means causes the reproducing means to stop the reproduced sound .
請求項2乃至4のいずれか一項に記載の車両用聴覚モニタ装置において、
前記情報検出手段は、前記自車両が道路に復帰してから所定時間が経過したことをさらに検出し、
前記情報検出手段によって前記所定時間が経過したことが検出された場合に、前記制御手段は前記再生手段に前記再生音を停止させることを特徴とする車両用聴覚モニタ装置。
In the hearing monitor apparatus for vehicles according to any one of claims 2 to 4 ,
The information detection means further detects that a predetermined time has elapsed since the host vehicle returned to the road,
When the information detecting means detects that the predetermined time has elapsed, the control means causes the reproducing means to stop the reproduced sound .
JP2007219240A 2007-08-27 2007-08-27 Hearing monitor device for vehicle Expired - Fee Related JP4967927B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007219240A JP4967927B2 (en) 2007-08-27 2007-08-27 Hearing monitor device for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007219240A JP4967927B2 (en) 2007-08-27 2007-08-27 Hearing monitor device for vehicle

Related Child Applications (3)

Application Number Title Priority Date Filing Date
JP2012010065A Division JP2012138092A (en) 2012-01-20 2012-01-20 Acoustic sense monitoring device for vehicle
JP2012010067A Division JP5459326B2 (en) 2012-01-20 2012-01-20 Hearing monitor device for vehicle
JP2012010066A Division JP5533897B2 (en) 2012-01-20 2012-01-20 Hearing monitor device for vehicle

Publications (2)

Publication Number Publication Date
JP2009051333A JP2009051333A (en) 2009-03-12
JP4967927B2 true JP4967927B2 (en) 2012-07-04

Family

ID=40502816

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007219240A Expired - Fee Related JP4967927B2 (en) 2007-08-27 2007-08-27 Hearing monitor device for vehicle

Country Status (1)

Country Link
JP (1) JP4967927B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9873428B2 (en) 2015-10-27 2018-01-23 Ford Global Technologies, Llc Collision avoidance using auditory data
US9937922B2 (en) 2015-10-06 2018-04-10 Ford Global Technologies, Llc Collision avoidance using auditory data augmented with map data

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012138092A (en) * 2012-01-20 2012-07-19 Nissan Motor Co Ltd Acoustic sense monitoring device for vehicle
JP5820305B2 (en) * 2012-02-29 2015-11-24 株式会社村上開明堂 Outside sound introduction device
JP5888414B2 (en) * 2012-05-25 2016-03-22 トヨタ自動車株式会社 Approaching vehicle detection device and driving support system
JP5892038B2 (en) * 2012-10-30 2016-03-23 株式会社デンソー Driving assistance device
JP6407568B2 (en) * 2014-05-30 2018-10-17 株式会社東芝 Acoustic control device
WO2016052795A1 (en) * 2014-09-30 2016-04-07 주식회사 티노스 Air conditioning device for vehicle and method for controlling same
US10403141B2 (en) 2016-08-19 2019-09-03 Sony Corporation System and method for processing traffic sound data to provide driver assistance
WO2018079527A1 (en) * 2016-10-25 2018-05-03 パイオニア株式会社 Control device, output method and program
JP6690007B2 (en) * 2016-10-25 2020-04-28 パイオニア株式会社 Processing device, server device, output method, and program
EP3534349B1 (en) 2016-10-25 2023-12-27 Pioneer Corporation Processing device, output method, and program
WO2018101341A1 (en) * 2016-11-29 2018-06-07 パイオニア株式会社 Information processing device, external sound reproduction method, program, and data structure
WO2018139650A1 (en) * 2017-01-27 2018-08-02 パイオニア株式会社 Audio control device, audio control method, and program
EP3595331A1 (en) * 2017-03-09 2020-01-15 Sony Corporation Information processing device, information processing method and recording medium
JP7143623B2 (en) * 2018-05-08 2022-09-29 富士通株式会社 sound control device
WO2020255246A1 (en) * 2019-06-18 2020-12-24 三菱電機株式会社 Driving assistance device, driving assistance system, and driving assistance method
US11812245B2 (en) 2020-10-08 2023-11-07 Valeo Telematik Und Akustik Gmbh Method, apparatus, and computer-readable storage medium for providing three-dimensional stereo sound

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05305847A (en) * 1992-04-30 1993-11-19 Suzuki Motor Corp Sound volume control system for vehicle

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9937922B2 (en) 2015-10-06 2018-04-10 Ford Global Technologies, Llc Collision avoidance using auditory data augmented with map data
US9873428B2 (en) 2015-10-27 2018-01-23 Ford Global Technologies, Llc Collision avoidance using auditory data

Also Published As

Publication number Publication date
JP2009051333A (en) 2009-03-12

Similar Documents

Publication Publication Date Title
JP4967927B2 (en) Hearing monitor device for vehicle
US7916039B2 (en) System for conveying audio information with a spatial characteristic to a vehicle occupant
US20190246225A1 (en) Vehicular sound processing system
US7327235B2 (en) Alarm sound outputting device for vehicle and program thereof
JP4316397B2 (en) Pseudo sound generator, vehicle, pseudo sound generation method, and pseudo sound generation program
KR20190017411A (en) Method and apparatus of playing music based on surrounding conditions
JP5272489B2 (en) Outside vehicle information providing apparatus and outside vehicle information providing method
KR20000070673A (en) Vehicle collision warning system
JP2005333573A (en) Horn device
JP2005219715A (en) Pseudo sound generating device, vehicle, pseudo sound generating method and pseudo sound generating program
JP2013198065A (en) Sound presentation device
JP2012014689A (en) Computer base system and method for providing driver support information
JP2017224165A (en) Vehicular direction presentation device
JP4285371B2 (en) Sound field control system
JP2011152820A (en) Noise cancel device for vehicle and noise cancel system for vehicle
JP5459326B2 (en) Hearing monitor device for vehicle
JP2008257636A (en) Driving support device
US20210345043A1 (en) Systems and methods for external environment sensing and rendering
JP5533897B2 (en) Hearing monitor device for vehicle
JP7489391B2 (en) Audio Augmented Reality System for In-Car Headphones
JP2002127854A (en) On-vehicle warning device
JP5211747B2 (en) Acoustic control device and acoustic control program
JP2012138092A (en) Acoustic sense monitoring device for vehicle
JP2006115364A (en) Voice output controlling device
KR20220159646A (en) Vibration generating device and Vehicle having the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100728

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100929

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111122

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120306

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120319

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150413

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees