JP2011168130A - Vehicle presence notification device - Google Patents
Vehicle presence notification device Download PDFInfo
- Publication number
- JP2011168130A JP2011168130A JP2010032592A JP2010032592A JP2011168130A JP 2011168130 A JP2011168130 A JP 2011168130A JP 2010032592 A JP2010032592 A JP 2010032592A JP 2010032592 A JP2010032592 A JP 2010032592A JP 2011168130 A JP2011168130 A JP 2011168130A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- pedestrian
- ultrasonic
- notification device
- notification sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Electric Propulsion And Braking For Vehicles (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Abstract
Description
本発明は、パラメトリックスピーカによって報知音を車外に発生させて車両の存在を知らせる車両存在報知装置に関するものであり、特に、電気自動車、燃料電池車両、ハイブリッド車両など、通電により回転動力を発生する電動モータによって走行が可能な車両に用いて好適な技術に関する。 The present invention relates to a vehicle presence notification device that generates a notification sound outside a vehicle by a parametric speaker to notify the presence of the vehicle, and in particular, an electric vehicle that generates rotational power by energization, such as an electric vehicle, a fuel cell vehicle, and a hybrid vehicle. The present invention relates to a technique suitable for use in a vehicle capable of traveling by a motor.
電動モータで走行する車両など車両走行音の小さい車両は、歩行者が車両に気が付き難いという不具合がある。
そこで、車両に取り付けたダイナミックスピーカ(可聴音を直接放射するスピーカ)から車両の外部に向けて「報知音(例えば、警報音)」を発生させて、車両周囲の歩行者に車両の存在を知らせる提案がなされている(例えば、特許文献1参照)。
Vehicles with low vehicle running noise, such as vehicles that run on electric motors, have the problem that pedestrians are less likely to notice the vehicle.
Therefore, a “notification sound (for example, alarm sound)” is generated from a dynamic speaker (speaker that directly emits audible sound) attached to the vehicle to the outside of the vehicle to notify pedestrians around the vehicle of the presence of the vehicle. Proposals have been made (see, for example, Patent Document 1).
音波は、周波数が低いほど拡散しやすく、周波数が高くなるに従って指向性が強まる性質を備えている。
ダイナミックスピーカが放射する「報知音」は可聴音であり、可聴音の周波数は比較的低いため、ダイナミックスピーカから放射された「報知音」は周囲へ拡散し易い。このため、ダイナミックスピーカから「報知音」を発生させて車両が走行すると、「車両の存在を知らせたい歩行者」とは「異なる他の人々(車両の存在を知らせる必要のない人々:例えば、車両の進行方向とは異なる方向に存在する人々)まで「報知音」を与えてしまう。
The sound wave has the property that the lower the frequency, the easier it is to diffuse and the directivity increases as the frequency increases.
The “notification sound” radiated from the dynamic speaker is an audible sound, and since the frequency of the audible sound is relatively low, the “notification sound” radiated from the dynamic speaker is easily diffused to the surroundings. For this reason, when the vehicle travels by generating a “notification sound” from the dynamic speaker, it is different from “a pedestrian who wants to notify the existence of the vehicle” (people who do not need to notify the existence of the vehicle: for example, the vehicle People who exist in a direction different from the direction of travel) are given “notification sounds”.
本発明は、上記問題点に鑑みてなされたものであり、その目的は、車両の存在を知らせたい歩行者だけに「報知音」を発生させる車両存在報知装置の提供にある。 The present invention has been made in view of the above problems, and an object thereof is to provide a vehicle presence notification device that generates a “notification sound” only for a pedestrian who wants to notify the presence of a vehicle.
〔請求項1の手段〕
パラメトリックスピーカは、「報知音となる波形信号」を「超音波変調した超音波」を超音波スピーカから放射させるものであり、超音波スピーカから放射された超音波(聞こえない音波)が伝播途中の空気中で自己復調されることを利用して、超音波の発生源から離れた場所で報知音(可聴音)を発生させる技術である。
ここで、超音波は可聴音に比較して指向性が極めて強い。
このため、パラメトリックスピーカを用いることで、超音波の発生方向のみに報知音をスポット的に発生させることができる。
[Means of Claim 1]
A parametric speaker emits “ultrasonically modulated ultrasonic waves” from “ultrasonically modulated waveform signals” from an ultrasonic speaker, and ultrasonic waves (inaudible sound waves) emitted from the ultrasonic speaker are being propagated. This is a technique for generating a notification sound (audible sound) at a location away from an ultrasonic wave generation source by utilizing self-demodulation in the air.
Here, the directivity of the ultrasonic wave is extremely strong compared to the audible sound.
For this reason, by using a parametric speaker, notification sound can be generated in a spot manner only in the direction in which the ultrasonic waves are generated.
そして、請求項1の手段を採用する車両存在報知装置は、歩行者検出手段の検出した歩行者の方向へ、パラメトリックスピーカにより報知音を発生させる。これにより、車両の存在を知らせたい方向にいる歩行者だけに報知音を発生させ、他方向への報知音の発生を防ぐことができる。
即ち、車両の存在を知らせたい歩行者だけに報知音を発生させ、車両の存在を報知する必要の無い範囲への報知音の発生を防ぐことができ、車両騒音の発生を効果的に抑えることができる。
And the vehicle presence alerting | reporting apparatus which employ | adopts the means of
That is, only the pedestrian who wants to notify the presence of the vehicle can generate a notification sound, can prevent the generation of the notification sound to a range where it is not necessary to notify the presence of the vehicle, and effectively suppress the generation of vehicle noise. Can do.
〔請求項2の手段〕
請求項2の手段の車両存在報知装置における歩行者検出手段は、
車両外部を熱画像として映す赤外線カメラと、
この赤外線カメラで得られた熱映像をデジタル画像処理して、車両外部における歩行者の有無、および車両に対する歩行者の方向を認識する画像処理手段と、
を備えるものである。
[Means of claim 2]
The pedestrian detection means in the vehicle presence notification device of the means of
An infrared camera that reflects the exterior of the vehicle as a thermal image;
Digital image processing of the thermal image obtained with this infrared camera, image processing means for recognizing the presence or absence of a pedestrian outside the vehicle, and the direction of the pedestrian relative to the vehicle,
Is provided.
〔請求項3の手段〕
請求項3の手段の車両存在報知装置における歩行者検出手段は、
車両外部を可視画像として映す可視光線カメラと、
この可視光線カメラで得られた可視映像をデジタル画像処理して、車両外部における歩行者の有無、および車両に対する歩行者の方向を認識する画像処理手段と、
を備えるものである。
[Means of claim 3]
The pedestrian detection means in the vehicle presence notification device of the means of claim 3 is:
A visible light camera that projects the exterior of the vehicle as a visible image;
Image processing means for recognizing the presence or absence of a pedestrian outside the vehicle and the direction of the pedestrian with respect to the vehicle by performing digital image processing on the visible video obtained by the visible light camera;
Is provided.
〔請求項4の手段〕
請求項4の手段の車両存在報知装置は、車両外部の異なる方向へ向けて独立して超音波を放射する独立した複数の超音波スピーカを備え、
この複数の超音波スピーカの作動状態を切り替えることで、歩行者検出手段の検出した歩行者へ向けて報知音を発生させるものである。
[Means of claim 4]
The vehicle presence notification device according to the means of claim 4 includes a plurality of independent ultrasonic speakers that radiate ultrasonic waves independently in different directions outside the vehicle,
By switching the operating states of the plurality of ultrasonic speakers, a notification sound is generated toward the pedestrian detected by the pedestrian detection means.
〔請求項5の手段〕
請求項5の手段の車両存在報知装置は、超音波を放射する超音波スピーカと、この超音波スピーカにおける超音波の放射方向を切り替えるアクチュエータとを備え、
このアクチュエータの作動状態を切り替えることで、歩行者検出手段の検出した歩行者の方向へ報知音を発生させるものである。
[Means of claim 5]
The vehicle presence notification apparatus according to
By switching the operating state of this actuator, a notification sound is generated in the direction of the pedestrian detected by the pedestrian detection means.
車両存在報知装置は、パラメトリックスピーカ(超音波に含ませた波形の振幅成分が空気中で自己変調されることで超音波スピーカ1、2から離れた場所で可聴音を発生させる技術)によって車両Sの外部に報知音を発生させ、その報知音によって車両Sの存在を知らせるものである。
この車両存在報知装置は、車両外部における歩行者の検出を行なう歩行者検出手段を備え、歩行者検出手段の検出した歩行者の方向へ向けて、パラメトリックスピーカにより報知音を発生させるものである(図1参照)。
なお、歩行者検出手段の具体的な一例を示すと、歩行者検出手段は、車両外部の映像を連続して映すカメラ(赤外線カメラ3、可視光線カメラなど)と、このカメラで得られた映像から歩行者の有無、および車両に対する歩行者の方向を検出する画像処理手段9(コンピュータ+画像処理プログラム)で構成されるものである。
The vehicle presence notification device uses a parametric speaker (a technique for generating an audible sound at a location away from the
This vehicle presence notification device includes pedestrian detection means for detecting a pedestrian outside the vehicle, and generates a notification sound by a parametric speaker toward the direction of the pedestrian detected by the pedestrian detection means ( (See FIG. 1).
As a specific example of the pedestrian detection means, the pedestrian detection means includes a camera (infrared camera 3, visible light camera, etc.) that continuously displays images outside the vehicle, and images obtained by this camera. To image processing means 9 (computer + image processing program) for detecting the presence / absence of a pedestrian and the direction of the pedestrian with respect to the vehicle.
次に、車両存在報知装置の具体的な一例を、図1〜図4を参照して説明する。なお、この実施例1において、上記「発明を実施するための形態」と同一符号は同一機能物を示すものである。
〔実施例1の構成〕
車両存在報知装置は、パラメトリックスピーカを用いて、車両Sから離れた場所で可聴音よりなる報知音を発生させるものであり、車両前方の異なった方向へ向けて超音波を放射可能な第1、第2超音波スピーカ1、2と、車両前方(舗道側の斜め方向を含む)を熱画像として映す赤外線カメラ3と、赤外線カメラ3の熱画像を基に第1、第2超音波スピーカ1、2の作動制御を行なう本体装置4とを備える。
なお、この実施例では、「複数の超音波スピーカ」の一例として「2つの超音波スピーカ(第1、第2超音波スピーカ1、2)」を用いる例を示すが、放射方向の異なる超音波スピーカを3つ以上用いるものであっても良い。
Next, a specific example of the vehicle presence notification device will be described with reference to FIGS. In the first embodiment, the same reference numerals as those in the “Mode for Carrying Out the Invention” denote the same functional objects.
[Configuration of Example 1]
The vehicle presence notification device generates a notification sound including an audible sound at a location away from the vehicle S using a parametric speaker, and is capable of emitting ultrasonic waves in different directions in front of the vehicle. A second
In this embodiment, an example of using “two ultrasonic speakers (first and second
(第1、第2超音波スピーカ1、2の説明)
第1、第2超音波スピーカ1、2のそれぞれは、発生する超音波を、車両前方(歩道側の斜め方向を含む)へ向けて放射するように、車両Sの例えば前部等に装着されるものである。
具体的に、
(i)第1超音波スピーカ1は、図1の放射方向Aに示すように、歩道側に向く斜め前方であり、且つ車両前方により近い側(具体的な一例を示すと、進行方向に対して左10°の方向)に向けて超音波を放射するように車両Sに搭載されるものであり、
(ii)第2超音波スピーカ2は、図1の放射方向Bに示すように、歩道側に向く斜め前方(具体的な一例を示すと、進行方向に対して左45°の方向)に向けて超音波を放射するように車両Sに搭載されるものである。
(Description of the first and second
Each of the first and second
Specifically,
(I) As shown in the radiation direction A of FIG. 1, the first
(Ii) As shown in the radiation direction B of FIG. 1, the second
第1、第2超音波スピーカ1、2の搭載箇所は限定されるものではないが、具体的な装着例を示すと、ハイブリッド車のようにエンジン(燃料の燃焼により回転出力を発生する内燃機関)を搭載する場合、第1、第2超音波スピーカ1、2は、ラジエータグリルが設けられる外気の取入開口部(車両前部に設けられてラジエータを冷却する車両走行風の取入口:なお、ラジエータを有しない電気自動車等の場合も冷却用走行風の取入口)の内部に装着されて、放射方向Aおよび放射方向Bに超音波を放射可能なものである。
Although the mounting location of the first and second
第1、第2超音波スピーカ1、2は、同じ構造のものであり、この第1、第2超音波スピーカ1、2の具体的な構造例を、図3を参照して説明する。
第1、第2超音波スピーカ1、2は、人間の可聴帯域よりも高い周波数(20kHz以上)の空気振動を発生させる圧電スピーカ5(セラミックスピーカ、ピエゾスピーカ等)を複数搭載するものであり、この複数の圧電スピーカ5は、図3(a)に示すように適宜配置されてスピーカアレイを構成するものである。
The first and second
The first and second
圧電スピーカ5は、超音波再生に適しており、印加電圧(充放電)に応じて伸縮するピエゾ素子(駆動子の一例)と、このピエゾ素子の伸縮によって空気に振動を与える振動板と、ピエゾ素子および振動板を支持する支持フレームとで構成される周知構造のものである。
The
第1、第2超音波スピーカ1、2は、使用する圧電スピーカ5の数と配置により、発生する超音波のエネルギー量と、圧電スピーカ5から放射される超音波の指向範囲とをコントロールすることができる。また、スピーカアレイの前面(超音波の放射方向)の周囲に設けたホーン部6(音道を成すダクト部であっても良い)を用いることによっても、超音波の指向範囲をコントロールすることができる。
なお、この実施例では、超音波発生手段の具体例として圧電スピーカ5を用いる例を示すが、圧電スピーカ5に限定されるものではなく、超音波を再生可能であれば他の形式の超音波発生手段を用いても良い。
The first and second
In this embodiment, an example in which the
(赤外線カメラ3の説明)
赤外線カメラ3は、第1、第2スピーカ1、2の隣部など、車両前方(歩道側を含む)にレンズ(撮影方向)が向けられた状態で車両Sに搭載されるものであり、作動中において車両前方を連続して映して赤外線(近赤外線、中赤外線、遠赤外線の少なくともいずれか)による熱映像(サーモグラフィー)を得る連続受像可能な周知のカメラ装置であって、夜間でも歩行者の熱映像を得ることができる。
具体的な赤外線カメラ3の一例は、赤外線領域まで感度分布を持つデジタルカメラ(CCDカメラ等)に、可視光をシャットアウトする赤外線フィルタを設けて、車両前方の熱映像を得るものである。
(Description of infrared camera 3)
The infrared camera 3 is mounted on the vehicle S in a state where the lens (photographing direction) is directed in front of the vehicle (including the sidewalk side) such as adjacent to the first and
As a specific example of the infrared camera 3, a digital camera (CCD camera or the like) having a sensitivity distribution up to the infrared region is provided with an infrared filter that shuts out visible light to obtain a thermal image in front of the vehicle.
(本体装置4の説明)
本体装置4は、ECU(エンジン・コントロール・ユニットの略)7から与えられる作動信号(例えば、前進走行時に与えられる信号等)により作動を開始する装置であり、
(i)第1、第2超音波スピーカ1、2の作動制御を行なうパラメトリックスピーカ制御部8と、
(ii)赤外線カメラ3で得られた熱映像をデジタル画像処理して、歩行者の有無、および車両Sに対する歩行者の方向を認識する画像処理手段9と、
(iii)パラメトリックスピーカ制御部8の作動制御を行なって画像処理手段9の検出した歩行者の方向のみに報知音を発生させる報知方向制御部10とを備える。
(Description of the main device 4)
The main body device 4 is a device that starts its operation in response to an operation signal (for example, a signal that is given during forward travel) given from an ECU (abbreviation of engine control unit) 7.
(I) a parametric
(Ii) image processing means 9 that digitally processes the thermal image obtained by the infrared camera 3 to recognize the presence or absence of a pedestrian and the direction of the pedestrian relative to the vehicle S;
(Iii) A notification
(パラメトリックスピーカ制御部8の説明)
パラメトリックスピーカ制御部8は、「報知音を成す波形信号(電気信号)」を作成する報知音信号発生部11、「報知音を成す波形信号」を「超音波周波数における振幅信号」に変調する超音波振幅変調部12、振幅変調された超音波周波数で第1超音波スピーカ1を駆動する第1スピーカ駆動部13、振幅変調された超音波周波数で第2超音波スピーカ2を駆動する第2スピーカ駆動部14を備える。
また、本体装置4は、第1、第2超音波スピーカ1、2の出力レベル(音量)を調整する音圧レベル可変手段(図示しない)と、車載バッテリ等の車載電源に接続されて本体装置4に搭載される各回路(電気的機能部品)の作動に必要な電力の供給を行なう電源部(図示しない)とを搭載するものである。
(Description of parametric speaker control unit 8)
The parametric
The main unit 4 is connected to a sound pressure level varying means (not shown) for adjusting the output level (volume) of the first and second
報知音信号発生部11は、報知音(例えば、擬似エンジン音、擬似車両走行音、和音、警報音等:低音周波数〜高音周波数の広い範囲の周波数成分を含むことが望ましい)を成す波形信号(周波数信号)を発生する手段であり、例えば、
(i)複数の発振器、
(ii)基準クロック(水晶発振器)の発生するクロック信号に基づき任意の波形信号を作成するデジタル音波発生技術(コンピュータ)、
(iii)ノイズ源の発生するピンクノイズ(ホワイトノイズでも良い)から櫛形フィルタによって任意の周波数信号を取り出すシンセサイザー技術(アナログ回路、あるいはコンピュータと組み合わせたアナログ回路であっても良い)
を用いたものである。
The notification sound
(I) a plurality of oscillators;
(Ii) a digital sound wave generation technique (computer) for generating an arbitrary waveform signal based on a clock signal generated by a reference clock (crystal oscillator);
(Iii) Synthesizer technology for extracting an arbitrary frequency signal from pink noise (white noise may be generated) generated by a noise source using a comb filter (analog circuit or analog circuit combined with a computer may be used)
Is used.
なお、報知音の周波数等を、環境騒音、または車速、あるいはエンジン回転数等に応じて変更しても良い。
具体的に、例えば、
(i)騒音検出センサ(マイクロフォン等)の検出する環境騒音が大きくなるに従って報知音に高音成分を含ませ、環境騒音に負けない報知音を作成したり、
(ii)車速センサの検出する車速が速くなるに従い、高速走行車両の接近が報知音によって感じられるように、例えば擬似走行音(報知音の一例)を高速走行側へシフトさせたり、
(iii)エンジン回転数センサの検出する回転数が上昇するに従い、回転数が高められた車両の接近が報知音によって感じられるように、例えば擬似エンジン音(報知音の一例)を高回転側へシフトさせたりしても良い。
Note that the frequency or the like of the notification sound may be changed according to environmental noise, vehicle speed, engine speed, or the like.
Specifically, for example,
(I) As the environmental noise detected by a noise detection sensor (such as a microphone) increases, a high-frequency component is included in the notification sound to create a notification sound that is not defeated by the environmental noise,
(Ii) As the vehicle speed detected by the vehicle speed sensor increases, for example, the simulated running sound (an example of the notification sound) is shifted to the high speed running side so that the approaching sound of the high speed running vehicle can be felt by the notification sound,
(Iii) For example, pseudo engine sound (an example of notification sound) is moved to the high rotation side so that the approaching of the vehicle with the increased rotation speed is felt by the notification sound as the rotation number detected by the engine rotation number sensor increases. It may be shifted.
超音波振幅変調部12は、超音波周波数(即ち、20kHzを超える周波数:一例としては25kHz等)で発振可能な超音波発振器を備えており、報知音信号発生部11が出力する波形信号の「電圧の増減変化」を、超音波周波数の「電圧の振幅変化」に変調するものである。
The ultrasonic
このこと(波形信号を「発振電圧の振幅変化」に変調すること)を、図4を参照して説明する。
例えば、超音波振幅変調部12に入力された波形信号が、図4(a)に示す電圧変化であるとする(なお、図中では理解補助のために単一周波数の波形を示すが、実際には報知音を成す合成周波数の信号波形である)。
一方、超音波振幅変調部12の搭載する超音波発振器は、図4(b)に示す超音波周波数で発振するものとする。
This (modulating the waveform signal to “amplitude change of oscillation voltage”) will be described with reference to FIG.
For example, it is assumed that the waveform signal input to the ultrasonic
On the other hand, the ultrasonic oscillator mounted on the
すると、超音波振幅変調部12は、図4(c)に示すように、
(i)報知音を成す波形信号の信号電圧が大きくなるに従い、超音波振動による電圧の振幅を大きくし、
(ii)報知音を成す波形信号の信号電圧が小さくなるに従い、超音波振動による電圧の振幅を小さくする。
このようにして、超音波振幅変調部12は、報知音信号発生部11から入力された波形信号を、超音波周波数の「発振電圧の振幅変化」に変調するものである。
Then, as shown in FIG. 4C, the ultrasonic
(I) As the signal voltage of the waveform signal forming the notification sound increases, the amplitude of the voltage due to ultrasonic vibration is increased,
(Ii) As the signal voltage of the waveform signal forming the notification sound decreases, the amplitude of the voltage due to ultrasonic vibration is decreased.
In this manner, the ultrasonic
なお、この実施例では、超音波振幅変調部12の一例として、報知音を成す波形信号の信号電圧の変化を、図4(c)に示すように「電圧の発振幅」に変化させる例を示した。これに対し、この図4(c)とは異なり、報知音を成す波形信号の信号電圧の変化を、PWM変調の技術を用いて「電圧の発生時間の幅」に変化させるように設けても良い。
In this embodiment, as an example of the ultrasonic
第1、第2スピーカ駆動部13、14は、「報知音を成す波形信号を振幅変調した超音波信号(超音波振幅変調部12の出力信号)」に基づいて第1、第2超音波スピーカ1、2をそれぞれ独立して駆動するものであり、第1、第2超音波スピーカ1、2における各圧電スピーカ5の印加電圧(充放電状態)を制御することで、第1、第2超音波スピーカ1、2から「報知音を成す波形信号を振幅変調した超音波」を発生させるものである。
具体的な一例を示すと、第1、第2スピーカ駆動部13、14は、パワーアンプ(あるいはピエゾ素子の充放電装置)であり、超音波振幅変調部12から第1、第2スピーカ駆動部13、14に、図4(c)に示す波形信号を与える場合、第1、第2スピーカ駆動部13、14は図4(c)に示す波形電圧を第1、第2超音波スピーカ1、2に与えて、各圧電スピーカ5から図4(c)に示す出力波形の超音波を発生させるものである。
The first and second
As a specific example, the first and second
ここで、第1、第2超音波スピーカ1、2の出力レベル(音量)を調整する音圧レベル可変手段(図示しない)について説明する。
音圧レベル可変手段は、例えば、
(i)騒音検出センサ(マイクロフォン等)の検出する環境騒音が大きくなるに従って第1、第2スピーカ駆動部13、14の増幅度合(増幅ゲイン)を高めるもの、
(ii)車速センサの検出する車速が速くなるに従って第1、第2スピーカ駆動部13、14の増幅度合(増幅ゲイン)を高めるもの、
(iii)エンジン回転数センサの検出するエンジン回転数の上昇に従って第1、第2スピーカ駆動部13、14の増幅度合(増幅ゲイン)を高めるもの、
(iv)あるいは、上記を複数組み合わせたものよりなる。
Here, sound pressure level varying means (not shown) for adjusting the output level (volume) of the first and second
The sound pressure level varying means is, for example,
(I) one that increases the degree of amplification (amplification gain) of the first and second
(Ii) one that increases the degree of amplification (amplification gain) of the first and second
(Iii) one that increases the degree of amplification (amplification gain) of the first and second
(Iv) or a combination of the above.
(画像処理手段9の説明)
画像処理手段9は、演算処理を行なうCPU、各種データやプログラムの記憶を行なう記憶装置(ROMなど)等を含んで構成される周知構成のコンピュータと、このコンピュータに搭載される画像処理プログラムとで構成される。
この画像処理プログラムは、赤外線カメラ3によって得た熱映像(具体的には、デジタル画像)から「人間に近い温度範囲の熱分布」を読み取り、「熱分布の形状と配置(例えば、顔や手の形状や位置関係)」や「エッジ処理したライン形状」を人認識用アルゴリズムに基づいて「所定のデータベース」と照合して、「赤外線カメラ3で得た熱映像の中に歩行者がいるか否かの判定」を行なうとともに、「赤外線カメラ3で得た熱映像のどの位置(車両進行方向のどの位置)に歩行者がいるかの認識」を行なうプログラムである。
(Description of image processing means 9)
The image processing means 9 includes a computer having a well-known configuration including a CPU that performs arithmetic processing, a storage device (such as a ROM) that stores various data and programs, and an image processing program mounted on the computer. Composed.
This image processing program reads “heat distribution in a temperature range close to humans” from a thermal image (specifically, a digital image) obtained by the infrared camera 3 and reads “the shape and arrangement of the heat distribution (for example, face and hand). ”And“ edge processed line shape ”are collated with“ predetermined database ”based on the human recognition algorithm, and“ whether there is a pedestrian in the thermal image obtained by the infrared camera 3 or not ” This is a program that performs "determination of which position of the thermal image obtained by the infrared camera 3 (which position in the vehicle traveling direction) is a pedestrian".
(報知方向制御部10の説明)
報知方向制御部10は、画像処理手段9の検出した歩行者の方向のみに報知音を発生させるようにパラメトリックスピーカ制御部8の作動を制御するものであり、
(i)赤外線カメラ3によって得た熱映像において「放射方向Aのみに歩行者がいる」と画像処理手段9が認識した場合は、第2スピーカ駆動部14だけ作動を停止した状態で、他のパラメトリックスピーカ制御部8の全てを作動させて、第1超音波スピーカ1から放射方向Aのみに超音波の放射を行い、
(ii)赤外線カメラ3によって得た熱映像において「放射方向Bのみに歩行者がいる」と画像処理手段9が認識した場合は、第1スピーカ駆動部13だけ作動を停止した状態で、他のパラメトリックスピーカ制御部8の全てを作動させて、第2超音波スピーカ2から放射方向Bのみに超音波の放射を行い、
(iii)赤外線カメラ3によって得た熱映像において「放射方向Aと放射方向Bの両方に歩行者がいる」と画像処理手段9が認識した場合は、パラメトリックスピーカ制御部8の全てを作動させて、第1、第2超音波スピーカ1、2の両方から放射方向Aおよび放射方向Bの両方へ超音波の放射を行うものである。
(Description of Notification Direction Control Unit 10)
The notification
(I) When the image processing means 9 recognizes that “there is a pedestrian only in the radiation direction A” in the thermal image obtained by the infrared camera 3, only the second
(Ii) When the image processing means 9 recognizes that “there is a pedestrian only in the radiation direction B” in the thermal image obtained by the infrared camera 3, only the first
(Iii) When the image processing means 9 recognizes that “there is a pedestrian in both the radial direction A and the radial direction B” in the thermal image obtained by the infrared camera 3, all the parametric
〔実施例1の作動〕
実施例1の車両存在報知装置の作動を説明する。
(i)車両Sの走行中、車両前方の「放射方向Aのみに歩行者がいる」と画像処理手段9が認識した場合は、第1超音波スピーカ1から放射方向Aのみに向けて、報知音の信号波形を振幅変調した超音波(聞こえない音波)を放射する。第1超音波スピーカ1から放射された超音波は、図4(d)に示すように、空気中を超音波が伝播するにつれて、空気の粘性等によって波長に短い超音波が歪んで鈍(なま)される。その結果、図4(e)に示すように、伝播途中の空気中において超音波に含まれていた振幅成分が自己復調され、結果的に放射方向Aのみに向けて報知音が発生する。
[Operation of Example 1]
The operation of the vehicle presence notification device of the first embodiment will be described.
(I) When the image processing means 9 recognizes that “there is a pedestrian only in the radiation direction A” in front of the vehicle S while the vehicle S is traveling, a notification is given from the first
(ii)車両Sの走行中、車両前方の「放射方向Bのみに歩行者がいる」と画像処理手段9が認識した場合は、第2超音波スピーカ2から放射方向Bのみに向けて、報知音の信号波形を振幅変調した超音波(聞こえない音波)を放射する。第2超音波スピーカ2から放射された超音波は、図4(d)に示すように、空気中を超音波が伝播するにつれて、空気の粘性等によって波長に短い超音波が歪んで鈍される。その結果、図4(e)に示すように、伝播途中の空気中において超音波に含まれていた振幅成分が自己復調され、結果的に放射方向Bのみに向けて報知音が発生する。
(Ii) While the vehicle S is traveling, when the image processing means 9 recognizes that “a pedestrian is present only in the radiation direction B” in front of the vehicle, notification is given from the second
(iii)車両Sの走行中、車両前方の「放射方向Aおよび放射方向Bの両方に歩行者がいる」と画像処理手段9が認識した場合は、第1超音波スピーカ1および第2超音波スピーカ2から放射方向Aおよび放射方向Bの両方に向けて、報知音の信号波形を振幅変調した超音波(聞こえない音波)を放射する。第1、第2超音波スピーカ1、2から放射された超音波は、図4(d)に示すように、空気中を超音波が伝播するにつれて、空気の粘性等によって波長に短い超音波が歪んで鈍される。その結果、図4(e)に示すように、伝播途中の空気中において超音波に含まれていた振幅成分が自己復調され、結果的に放射方向Aおよび放射方向Bのみに向けて報知音が発生する。
(iv)なお、車両Sの走行中であっても、車両前方の「放射方向Aおよび放射方向Bの両方に歩行者がいない」と画像処理手段9が認識した場合は、第1、第2超音波スピーカ1、2の作動を停止して報知音の発生を行なわない。
(Iii) While the vehicle S is traveling, when the image processing means 9 recognizes that “a pedestrian is present in both the radial direction A and the radial direction B” in front of the vehicle, the first
(Iv) Even when the vehicle S is traveling, if the image processing means 9 recognizes that “there is no pedestrian in both the radial direction A and the radial direction B” in front of the vehicle, the first and second The operation of the
〔実施例1の効果〕
実施例1の車両存在報知装置は、上述したように、「赤外線カメラ3と画像処理手段9」よりなる歩行者検出手段によって検出した歩行者のいる方向のみに超音波を放射し、空気中で自己変調された報知音を歩行者に対して発生させる。
これにより、車両Sの存在を知らせたい方向にいる歩行者だけに報知音を発生させ、他の方向への報知音の発生を防ぐことができる。即ち、車両Sの存在を知らせたい歩行者だけに報知音を発生させ、車両Sの存在を報知する必要の無い範囲への報知音の発生を防ぐことができ、車両騒音の発生を効果的に抑えることができる。
また、周囲への車両騒音の発生を抑えることができるため、歩行者に対して大きめの音量の報知音を発生させることも可能になり、歩行者に対してより効果的に車両Sの存在を知らせることができる。
[Effect of Example 1]
As described above, the vehicle presence notification device according to the first embodiment radiates ultrasonic waves only in the direction of the pedestrian detected by the pedestrian detection unit including the “infrared camera 3 and the
Thereby, only the pedestrian who exists in the direction which wants to notify the presence of the vehicle S can generate a notification sound, and generation | occurrence | production of the notification sound to another direction can be prevented. That is, only the pedestrian who wants to notify the presence of the vehicle S can generate the notification sound, and the generation of the notification sound in a range where the presence of the vehicle S need not be notified can be prevented. Can be suppressed.
In addition, since it is possible to suppress the generation of vehicle noise to the surroundings, it is possible to generate a notification sound with a louder volume for the pedestrian, and the presence of the vehicle S more effectively for the pedestrian. I can inform you.
上記の実施例1では、車両外部を映す手段として赤外線カメラ3を用いる例を示した。この赤外線カメラ3は、夜など暗い場所での歩行者の認識性に優れる。しかしながら、昼間は太陽光線によって歩行者の周囲の温度が上昇するため、歩行者と周囲の温度差が小さくなり、歩行者の認識性が劣化する不具合がある。
これに対し、この実施例2は、実施例1の赤外線カメラ3に代えて、車両外部を可視画像として連続的に映す可視光線カメラを用いるものである。
そして、可視光線カメラで得られた可視映像をデジタル画像処理(例えば、エッジ処理した画像からの人の認識照合処理)して、車両外部における歩行者の有無、および車両Sに対する歩行者の方向(放射方向A、Bなど)を認識し、認識した歩行者のみに向けて報知音を発生させるものである。
In the first embodiment, an example in which the infrared camera 3 is used as a means for projecting the outside of the vehicle has been described. This infrared camera 3 is excellent in pedestrian recognition in dark places such as at night. However, since the temperature around the pedestrian rises due to sunlight in the daytime, the temperature difference between the pedestrian and the surrounding area becomes small, and the pedestrian's recognizability deteriorates.
On the other hand, the second embodiment uses a visible light camera that continuously displays the outside of the vehicle as a visible image instead of the infrared camera 3 of the first embodiment.
Then, the visible image obtained by the visible light camera is subjected to digital image processing (for example, human recognition / recognition processing from the edge-processed image), and the presence / absence of a pedestrian outside the vehicle and the direction of the pedestrian relative to the vehicle S (Radiation directions A, B, etc.) are recognized, and a notification sound is generated only for the recognized pedestrian.
なお、周囲の状況(例えば、昼と夜)に応じて、赤外線フィルタの有無を切り替えるなどして赤外線カメラ3と可視光線カメラを切り替えて、歩行者の認識精度を高めるようにしても良い。 Note that, depending on the surrounding situation (for example, day and night), the infrared camera 3 and the visible light camera may be switched by switching the presence or absence of an infrared filter to improve the recognition accuracy of the pedestrian.
上記の実施例1では、複数の超音波スピーカ(具体的には、第1、第2超音波スピーカ1、2)を車両Sに搭載し、複数の超音波スピーカの作動状態を切り替えることで、異なる複数の方向(具体的には、放射方向A、Bなど)へ独立して報知音を発生させる例を示した。
これに対し、この実施例3の車両存在報知装置は、超音波を放射する超音波スピーカと、この超音波スピーカにおける超音波の放射方向を切り替えるアクチュエータ(例えば、電動モータを用いた動力発生手段)とを備え、このアクチュエータの作動状態を切り替えることで、異なる複数の方向(具体的には、放射方向A、Bなど)へ報知音を発生させるものである。
なお、異なる複数の方向に歩行者が検出される場合は、アクチュエータを素早く交互に連続的に切り替えて、異なる複数の方向の歩行者へ報知音を発生させるものである。
In the first embodiment, a plurality of ultrasonic speakers (specifically, the first and second
On the other hand, the vehicle presence notification device according to the third embodiment includes an ultrasonic speaker that emits ultrasonic waves and an actuator that switches the direction of ultrasonic waves emitted from the ultrasonic speakers (for example, power generation means using an electric motor). By switching the operating state of this actuator, a notification sound is generated in a plurality of different directions (specifically, radial directions A, B, etc.).
When pedestrians are detected in a plurality of different directions, the actuators are switched quickly and continuously to generate a notification sound for pedestrians in a plurality of different directions.
上記の実施例では、前進走行時に車両Sの前方に歩行者を認識した場合に、認識した歩行者に対して報知音を発生させる例を示したが、本発明を車両Sの後退(バック)用に適用し、後退走行時に車両Sの後方および後方周囲に歩行者を認識した場合に、認識した歩行者に対して報知音を発生させるように設けても良い。 In the above embodiment, when a pedestrian is recognized in front of the vehicle S during forward traveling, an example of generating an alarm sound for the recognized pedestrian has been shown. For example, when a pedestrian is recognized behind and behind the vehicle S when traveling backward, a notification sound may be generated for the recognized pedestrian.
上記の実施例では、1つのカメラ装置で得られた画像から歩行者の認識を行なう例を示したが、2つのカメラ装置を用いた立体画像(ステレオ画像)から歩行者の認識を行なうように設けて、歩行者の検出精度を高めても良い。 In the above embodiment, an example in which a pedestrian is recognized from an image obtained by one camera device has been described. However, a pedestrian is recognized from a stereoscopic image (stereo image) using two camera devices. It may be provided to increase the detection accuracy of pedestrians.
上記の実施例では、歩行者の検出を行なう手段として、赤外線カメラ3あるいは可視光線カメラを用いる例を示したが、ミリ波レーダなど「他のセンサ」を組み合わせるなどして、歩行者の検出精度を高めても良い。あるいは、歩行者の方向だけでなく、車両Sに対する歩行者の距離を検出するように設け、検出した歩行者の距離に応じて報知音の音量を可変するように設けても良い。 In the above embodiment, the infrared camera 3 or the visible light camera is used as the means for detecting the pedestrian. However, the detection accuracy of the pedestrian can be improved by combining “other sensors” such as a millimeter wave radar. May be increased. Alternatively, not only the direction of the pedestrian but also the distance of the pedestrian relative to the vehicle S may be detected, and the volume of the notification sound may be varied according to the detected distance of the pedestrian.
本発明において用いる「歩行者」という用語は、車両走行時に保護対象となる「人」の一般的な総称であって、当たり前のことではあるが、必ずしも狭義の解釈となる「歩いている人」に限定されるものではない。即ち、車両Sの近傍や、車両Sの進行方向において、走っている人、立ち止まっている人、座っている人、車椅子の人などを当然含むものである。 The term “pedestrian” used in the present invention is a general term for a “person” that is to be protected when the vehicle is running, and it is a matter of course, but it is not necessarily a narrow interpretation. It is not limited to. That is, it naturally includes a person who is running, a person who is stationary, a person who is sitting, a person who is in a wheelchair, etc. in the vicinity of the vehicle S or in the traveling direction of the vehicle S.
1 第1超音波スピーカ
2 第2超音波スピーカ
3 赤外線カメラ(歩行者検出手段の一部)
9 画像処理手段(歩行者検出手段の一部)
S 車両
DESCRIPTION OF
9 Image processing means (part of pedestrian detection means)
S vehicle
Claims (5)
この車両存在報知装置は、
車両外部における歩行者の検出を行なう歩行者検出手段(3、9)を備え、この歩行者検出手段(3、9)の検出した歩行者の方向(A、B)へ前記パラメトリックスピーカにより報知音を発生させることを特徴とする車両存在報知装置。 In the vehicle presence notification device that generates a notification sound outside the vehicle (S) by a parametric speaker and notifies the presence of the vehicle (S) by the notification sound,
This vehicle presence notification device
Pedestrian detection means (3, 9) for detecting a pedestrian outside the vehicle is provided, and a notification sound is generated by the parametric speaker in the direction (A, B) of the pedestrian detected by the pedestrian detection means (3, 9). A vehicle presence notification device characterized by generating
前記歩行者検出手段(3、9)は、
車両外部を熱画像として映す赤外線カメラ(3)と、
この赤外線カメラ(3)で得られた熱映像をデジタル画像処理して、車両外部における歩行者の有無、および前記車両(S)に対する歩行者の方向(A、B)を認識する画像処理手段(9)と、
を備えることを特徴とする車両存在報知装置。 The vehicle presence notification device according to claim 1,
The pedestrian detection means (3, 9)
An infrared camera (3) that reflects the exterior of the vehicle as a thermal image;
Image processing means for recognizing the presence or absence of a pedestrian outside the vehicle and the direction (A, B) of the pedestrian with respect to the vehicle (S) by digitally processing the thermal image obtained by the infrared camera (3) 9)
A vehicle presence notification device comprising:
前記歩行者検出手段は、
車両外部を可視画像として映す可視光線カメラと、
前記可視光線カメラで得られた可視映像をデジタル画像処理して、車両外部における歩行者の有無、および前記車両に対する歩行者の方向を認識する画像処理手段と、
を備えることを特徴とする車両存在報知装置。 The vehicle presence notification device according to claim 1,
The pedestrian detection means includes
A visible light camera that projects the exterior of the vehicle as a visible image;
Image processing means for performing digital image processing on a visible image obtained by the visible light camera and recognizing the presence or absence of a pedestrian outside the vehicle and the direction of the pedestrian relative to the vehicle;
A vehicle presence notification device comprising:
この車両存在報知装置は、車両外部の異なる方向(A、B)へ向けて独立して超音波を放射する独立した複数の超音波スピーカ(1、2)を備え、
この複数の超音波スピーカ(1、2)の作動状態を切り替えることで、前記歩行者検出手段(3、9)の検出した歩行者の方向(A、B)へ報知音を発生させることを特徴とする車両存在報知装置。 In the vehicle presence notification device according to any one of claims 1 to 3,
The vehicle presence notification device includes a plurality of independent ultrasonic speakers (1, 2) that independently emit ultrasonic waves toward different directions (A, B) outside the vehicle,
A notification sound is generated in the direction (A, B) of the pedestrian detected by the pedestrian detection means (3, 9) by switching the operating state of the plurality of ultrasonic speakers (1, 2). A vehicle presence notification device.
この車両存在報知装置は、超音波を放射する超音波スピーカと、
この超音波スピーカにおける超音波の放射方向を切り替えるアクチュエータとを備え、 このアクチュエータの作動状態を切り替えることで、前記歩行者検出手段の検出した歩行者の方向へ報知音を発生させることを特徴とする車両存在報知装置。 In the vehicle presence notification device according to any one of claims 1 to 3,
This vehicle presence notification device includes an ultrasonic speaker that emits ultrasonic waves,
And an actuator for switching an ultrasonic radiation direction in the ultrasonic speaker, and a notification sound is generated in the direction of the pedestrian detected by the pedestrian detection means by switching an operation state of the actuator. Vehicle presence notification device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010032592A JP5428927B2 (en) | 2010-02-17 | 2010-02-17 | Vehicle presence notification device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010032592A JP5428927B2 (en) | 2010-02-17 | 2010-02-17 | Vehicle presence notification device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011168130A true JP2011168130A (en) | 2011-09-01 |
JP5428927B2 JP5428927B2 (en) | 2014-02-26 |
Family
ID=44682704
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010032592A Expired - Fee Related JP5428927B2 (en) | 2010-02-17 | 2010-02-17 | Vehicle presence notification device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5428927B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017014035A1 (en) * | 2015-07-22 | 2017-01-26 | 修一 田山 | Automobile proximity warning system |
WO2018143086A1 (en) * | 2017-02-01 | 2018-08-09 | 株式会社デンソー | Ultrasonic wave output device |
JP2019167023A (en) * | 2018-03-26 | 2019-10-03 | ダイハツ工業株式会社 | Approach notification sound controller |
JP7500308B2 (en) | 2020-07-03 | 2024-06-17 | アルプスアルパイン株式会社 | Approach reporting system |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108973845B (en) * | 2017-06-02 | 2021-12-24 | 奥迪股份公司 | Directional horn system, vehicle and directional communication method |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005319952A (en) * | 2004-05-11 | 2005-11-17 | Pioneer Electronic Corp | Sounding control device, method therefor, program therefor, recording medium with program recorded thereon, and sounding device |
JP2005333573A (en) * | 2004-05-21 | 2005-12-02 | Mitsubishi Electric Corp | Horn device |
JP2007237831A (en) * | 2006-03-07 | 2007-09-20 | Nissan Motor Co Ltd | Vehicle outside warning device and vehicle warning method |
JP2007320472A (en) * | 2006-06-02 | 2007-12-13 | Yamaha Corp | Automobile warning sound producing device |
JP2008114613A (en) * | 2006-10-31 | 2008-05-22 | Aisin Aw Co Ltd | Horn controller |
-
2010
- 2010-02-17 JP JP2010032592A patent/JP5428927B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005319952A (en) * | 2004-05-11 | 2005-11-17 | Pioneer Electronic Corp | Sounding control device, method therefor, program therefor, recording medium with program recorded thereon, and sounding device |
JP2005333573A (en) * | 2004-05-21 | 2005-12-02 | Mitsubishi Electric Corp | Horn device |
JP2007237831A (en) * | 2006-03-07 | 2007-09-20 | Nissan Motor Co Ltd | Vehicle outside warning device and vehicle warning method |
JP2007320472A (en) * | 2006-06-02 | 2007-12-13 | Yamaha Corp | Automobile warning sound producing device |
JP2008114613A (en) * | 2006-10-31 | 2008-05-22 | Aisin Aw Co Ltd | Horn controller |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017014035A1 (en) * | 2015-07-22 | 2017-01-26 | 修一 田山 | Automobile proximity warning system |
JP2017024538A (en) * | 2015-07-22 | 2017-02-02 | 修一 田山 | Electric vehicle access alarm system |
CN107848459A (en) * | 2015-07-22 | 2018-03-27 | 日本艺美极株式会社 | Automobile is close to warning system |
EP3326864A4 (en) * | 2015-07-22 | 2019-02-13 | Shuichi Tayama | Automobile proximity warning system |
US10246013B2 (en) | 2015-07-22 | 2019-04-02 | Shuichi Tayama | Automobile proximity warning system |
WO2018143086A1 (en) * | 2017-02-01 | 2018-08-09 | 株式会社デンソー | Ultrasonic wave output device |
JP2019167023A (en) * | 2018-03-26 | 2019-10-03 | ダイハツ工業株式会社 | Approach notification sound controller |
JP7019253B2 (en) | 2018-03-26 | 2022-02-15 | ダイハツ工業株式会社 | Approach notification sound control device |
JP7500308B2 (en) | 2020-07-03 | 2024-06-17 | アルプスアルパイン株式会社 | Approach reporting system |
Also Published As
Publication number | Publication date |
---|---|
JP5428927B2 (en) | 2014-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8451143B2 (en) | Vehicle presence notification apparatus | |
US8217767B2 (en) | Vehicle presence notification apparatus | |
JP5344016B2 (en) | Vehicle presence reporting device | |
JP5029703B2 (en) | Vehicle presence notification device | |
US8598997B2 (en) | Vehicular annunciation device and method for notifying proximity of a vehicle having an ultrasonic speaker | |
JP4992989B2 (en) | Simulated engine sound generator | |
JP5428927B2 (en) | Vehicle presence notification device | |
JP2012153303A (en) | Vehicle approach warning apparatus | |
JP2012148642A (en) | Vehicle approach notification system | |
JP2012183933A (en) | Vehicle presence notification apparatus | |
JP2011162073A (en) | Electric vehicle | |
JP5287914B2 (en) | Vehicle presence reporting device | |
JP2012148639A (en) | Vehicle approach notification system | |
JP2013095236A (en) | Vehicle presence notification apparatus | |
JP2011255790A (en) | Vehicle presence notification apparatus | |
JP2011031695A (en) | Vehicle presence informing device | |
JP2012192865A (en) | Vehicle existence notification apparatus | |
JP2012180048A (en) | Vehicle presence report system | |
JP5370206B2 (en) | Vehicle presence notification device | |
US8823501B2 (en) | Vehicle presence notification apparatus | |
JP5012964B2 (en) | Vehicle presence notification device | |
JP5664450B2 (en) | Parametric speaker | |
JP5634804B2 (en) | Parametric speaker device and vehicle equipped with the same | |
JP5402849B2 (en) | Simulated engine sound generator | |
JP2012153305A (en) | Vehicle approach warning apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120301 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130703 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130709 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131118 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5428927 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |