JP5041983B2 - 障害物警告装置、障害物警告方法及びコンピュータプログラム - Google Patents

障害物警告装置、障害物警告方法及びコンピュータプログラム Download PDF

Info

Publication number
JP5041983B2
JP5041983B2 JP2007301950A JP2007301950A JP5041983B2 JP 5041983 B2 JP5041983 B2 JP 5041983B2 JP 2007301950 A JP2007301950 A JP 2007301950A JP 2007301950 A JP2007301950 A JP 2007301950A JP 5041983 B2 JP5041983 B2 JP 5041983B2
Authority
JP
Japan
Prior art keywords
obstacle
vehicle
positional relationship
speaker
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007301950A
Other languages
English (en)
Other versions
JP2009129096A (ja
Inventor
秀人 宮崎
啓太 関
昇 長嶺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin AW Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin AW Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2007301950A priority Critical patent/JP5041983B2/ja
Publication of JP2009129096A publication Critical patent/JP2009129096A/ja
Application granted granted Critical
Publication of JP5041983B2 publication Critical patent/JP5041983B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Description

本発明は、スピーカより出力される音を用いて車両周辺の障害物の警告を行う障害物警告装置、障害物警告方法及びコンピュータプログラムに関する。
近年、ナビゲーションシステムの普及にともなって、車両の周辺の状況を車室内の表示装置に表示したり、障害物の接近を音で警告する運転支援システムを搭載する車両が増加している。このようなシステムによれば、運転者の死角方向から接近する障害物等の運転中の運転者が把握し難い障害物を運転者に事前に把握させ、安全に走行させることが可能となる。
また、このような運転支援システムでは、接近する障害物の位置する方位を運転者に把握させることが重要である。しかしながら、車両の周辺の状況を車室内の表示装置に表示するシステムでは、障害物がどの方位に位置するのかを一見して運転者に把握させることは難しい。また、運転中の運転者に表示装置を注視させることは、逆に運転者に車両周辺への注意を怠らせる結果となってしまう。
そこで、例えば特開2004−322771号公報には、車両内に複数のスピーカを設け、車両周辺に障害物を検出した場合に、運転者に対して検出した障害物の方向にあるスピーカから音を出力するように構成することにより、障害物の方位を運転者に把握させることが可能な障害物警告装置について記載されている。
特開2004−322771号公報(第3頁〜第5頁、図1)
しかしながら、前記特許文献1に記載の障害物警告装置では、運転者に対して検出した障害物の方向にあるスピーカのみから音を出力するが、運転者が一方向のみから出力される音を聞いて、その音の出力方向を特定することは難しい。即ち、人は音を聞く際には左右の耳でそれぞれ音を聞き、右の耳で聞いた音と左の耳で聞いた音の音量と時間の微妙な差を認識して音の出力方向を判断する。しかし、この判断力は各個人によって個人差がある。また、そのときの周囲環境や体調によっても誤差が生じ易いものである。従って、運転者が一のスピーカから出力される音を聞いた場合に、その音の出力方向(即ち、障害物の方位)を誤って認識してしまう虞も高かった。
本発明は前記従来における問題点を解消するためになされたものであり、複数のスピーカから出力される音を用いて、車両周辺に位置する障害物の方位を乗員に正確に把握させることを可能とした障害物警告装置、障害物警告方法及びコンピュータプログラムを提供することを目的とする。
前記目的を達成するため本願の請求項1に係る障害物警告装置(1)は、車両(2)周辺の障害物を検出する障害物検出手段(3)と、車両内であって運転席に対して異なる方位にそれぞれ設置された複数のスピーカ(8〜13)から音を出力する音出力手段(3)と、前記障害物検出手段によって障害物が検出された場合に、前記検出された障害物と前記車両との位置関係を取得する車両位置関係取得手段(3)と、前記車両位置関係取得手段により取得された前記障害物と前記車両との位置関係に基づいて、前記検出された障害物と前記複数のスピーカとの各位置関係を取得するスピーカ位置関係取得手段(3)と、前記スピーカ位置関係取得手段により取得された前記障害物と前記複数のスピーカとの各位置関係に基づいて、前記障害物検出手段によって検出された障害物に対して位置が遠いスピーカから順に前記音出力手段による音の出力を変位させる音変位手段(3)と、を有することを特徴とする。
尚、「音の出力を変位させる」とは、音の出力を停止すること、音の出力を増減することを含む。
また、請求項に係る障害物警告装置(1)は、請求項に記載の障害物警告装置において、前記音変位手段(3)は、前記スピーカ位置関係取得手段(3)により取得された前記障害物と前記複数のスピーカ(8〜13)との各位置関係に基づいて、前記障害物検出手段(3)によって検出された障害物に対して位置が遠いスピーカから順に音の出力を停止させることを特徴とする。
また、請求項に係る障害物警告装置(1)は、請求項に記載の障害物警告装置において、前記音変位手段(3)は、前記スピーカ位置関係取得手段(3)により取得された前記障害物と前記複数のスピーカ(8〜13)との各位置関係に基づいて、前記障害物検出手段(3)によって検出された障害物に対して位置が遠いスピーカから順に音の出力を低下させることを特徴とする。
また、請求項に係る障害物警告装置(1)は、請求項1乃至請求項のいずれかに記載の障害物警告装置において、前記車両位置関係取得手段(3)は、車両(2)の進行方向を取得する車両進行方向取得手段(3)と、前記障害物検出手段によって検出された障害物の進行方向を取得する障害物進行方向取得手段(3)と、前記車両進行方向取得手段により取得した前記車両の進行方向と前記障害物進行方向取得手段により取得した前記障害物の進行方向とに基づいて、障害物が車両に対して接近しているか否かを判定する接近判定手段(3)と、を備え、前記音変位手段(3)は、前記接近判定手段によって前記障害物が車両に対して接近していると判定された場合に、スピーカ(8〜13)の出力を変位させることを特徴とする。
また、請求項に係る障害物警告装置(1)は、請求項に記載の障害物警告装置において、前記障害物検出手段(3)によって検出された障害物の進行速度を取得する障害物進行速度取得手段(3)を有し、前記音変位手段(3)は前記障害物が車両(2)に対して接近する速度に応じた速度でスピーカ(8〜13)の出力を変位させることを特徴とする。
また、請求項に係る障害物警告装置(1)は、請求項1乃至請求項のいずれかに記載の障害物警告装置において、運転者の駐車意思を検出する駐車意思検出手段(3)を有し、前記音出力手段(3)は、前記駐車意思検出手段(3)により運転者の駐車意思を検出したときに前記複数のスピーカ(8〜13)から音を出力することを特徴とする。
また、請求項に係る障害物警告装置(1)は、請求項に記載の障害物警告装置において、前記駐車意思検出手段(3)は、シフトレバーの位置がリバースに変更されたこと、運転者によって所定の操作が行われたこと、又は車両が所定のエリア内に進入したことを運転者の駐車意思として検出することを特徴とする。
また、請求項に係る障害物警告方法は、車両(2)周辺の障害物を検出する障害物検出ステップ(S1)と、車両内であって運転席に対して異なる方位にそれぞれ設置された複数のスピーカ(8〜13)から音を出力する音出力ステップ(S2)と、前記障害物検出ステップによって障害物が検出された場合に、前記検出された障害物と前記車両との位置関係を取得する車両位置関係取得ステップ(S8)と、前記車両位置関係取得ステップにより取得された前記障害物と前記車両との位置関係に基づいて、前記検出された障害物と前記複数のスピーカとの各位置関係を取得するスピーカ位置関係取得ステップと、前記スピーカ位置関係取得ステップにより取得された前記障害物と前記複数のスピーカとの各位置関係に基づいて、前記障害物検出ステップによって検出された障害物に対して位置が遠いスピーカから順に前記音出力ステップによる音の出力を変位させる音変位ステップ(S11〜S14)と、を有することを特徴とする。
更に、請求項に係るコンピュータプログラムは、コンピュータに、車両(2)周辺の障害物を検出する障害物検出機能(S1)と、車両内であって運転席に対して異なる方位にそれぞれ設置された複数のスピーカ(8〜13)から音を出力する音出力機能(S2)と、前記障害物検出機能によって障害物が検出された場合に、前記検出された障害物と前記車両との位置関係を取得する車両位置関係取得機能(S8)と、前記車両位置関係取得機能により取得された前記障害物と前記車両との位置関係に基づいて、前記検出された障害物と前記複数のスピーカとの各位置関係を取得するスピーカ位置関係取得機能と、前記スピーカ位置関係取得機能により取得された前記障害物と前記複数のスピーカとの各位置関係に基づいて、前記障害物検出機能によって検出された障害物に対して位置が遠いスピーカから順に前記音出力機能による音の出力を変位させる音変位機能(S11〜S14)と、を実行させることを特徴とする。
前記構成を有する請求項1に記載の障害物警告装置によれば、複数のスピーカから出力される音を用いて障害物の方位を特定することにより、車両周辺に位置する障害物の方位を乗員に正確に把握させることが可能となる。従って、乗員の死角方向に障害物が存在する場合でも、それらの障害物の存在を乗員に事前に把握させ、安全に走行させることが可能となる。
また、障害物に対して遠くに位置するスピーカから順に音の出力を変位させるので、乗員は段階的に障害物の位置する方位を絞ることができる。従って、障害物の位置する方位のみのスピーカから音を出力する場合と比較して、音の出力方向の認識に誤差が生じにくく、車両周辺に位置する障害物の方位を乗員に正確に把握させることが可能となる。
また、請求項に記載の障害物警告装置によれば、障害物に対して位置が遠いスピーカから順に音の出力を停止させるので、乗員は狭くなる音の領域を参照することにより、段階的に障害物の位置する方位を絞ることができる。従って、障害物の位置する方位のみのスピーカから音を出力する場合と比較して、音の出力方向の認識に誤差が生じにくく、車両周辺に位置する障害物の方位を乗員に正確に把握させることが可能となる。
また、請求項に記載の障害物警告装置によれば、障害物に対して位置が遠いスピーカから順に音の出力を低下させるので、乗員は狭くなる音の領域を参照することにより、段階的に障害物の位置する方位を絞ることができる。従って、障害物の位置する方位のみのスピーカから音を出力する場合と比較して、音の出力方向の認識に誤差が生じにくく、車両周辺に位置する障害物の方位を乗員に正確に把握させることが可能となる。
また、請求項に記載の障害物警告装置によれば、障害物が車両に対して接近していると判定された場合に、スピーカの出力を変位させるので、特に車両に対して接触の虞の高い障害物を対象として、その方位を乗員に正確に把握させることが可能となる。
また、請求項に記載の障害物警告装置によれば、スピーカの出力を変位させる速度によって検出された障害物に対する危険度合いを報知することができる。
また、請求項に記載の障害物警告装置によれば、特に、駐車操作を行っている状況で乗員の死角方向に障害物が存在する場合でも、それらの障害物の存在を乗員に事前に把握させ、安全に走行させることが可能となる。
また、請求項に記載の障害物警告装置によれば、運転者の駐車意思を正確に把握することができる。
また、請求項に記載の障害物警告方法によれば、複数のスピーカから出力される音を用いて障害物の方位を特定することにより、車両周辺に位置する障害物の方位を乗員に正確に把握させることが可能となる。従って、乗員の死角方向に障害物が存在する場合でも、それらの障害物の存在を乗員に事前に把握させ、安全に走行させることが可能となる。
また、障害物に対して遠くに位置するスピーカから順に音の出力を変位させるので、乗員は段階的に障害物の位置する方位を絞ることができる。従って、障害物の位置する方位のみのスピーカから音を出力する場合と比較して、音の出力方向の認識に誤差が生じにくく、車両周辺に位置する障害物の方位を乗員に正確に把握させることが可能となる。
更に、請求項に記載のコンピュータプログラムによれば、複数のスピーカから出力される音を用いて障害物の方位を特定させることにより、車両周辺に位置する障害物の方位を乗員に正確に把握させることが可能となる。従って、乗員の死角方向に障害物が存在する場合でも、それらの障害物の存在を乗員に事前に把握させ、安全に走行させることが可能となる。
また、障害物に対して遠くに位置するスピーカから順に音の出力を変位させるので、乗員は段階的に障害物の位置する方位を絞ることができる。従って、障害物の位置する方位のみのスピーカから音を出力する場合と比較して、音の出力方向の認識に誤差が生じにくく、車両周辺に位置する障害物の方位を乗員に正確に把握させることが可能となる。
以下、本発明に係る障害物警告装置を具体化した第1実施形態及び第2実施形態について図面を参照しつつ詳細に説明する。
〔第1実施形態〕
先ず、第1実施形態に係る障害物警告装置1の概略構成について図1及び図2を用いて説明する。図1は第1実施形態に係る障害物警告装置1を搭載した車両2の外観図、図2は第1実施形態に係る障害物警告装置1の制御系を模式的に示すブロック図である。
図1及び図2に示すように、第1実施形態に係る障害物警告装置1は、車両2に対して設置された運転支援ECU(障害物検出手段、音出力手段、車両位置関係取得手段、音変位手段、スピーカ位置関係取得手段、車両進行方向取得手段、障害物進行方向取得手段、接近判定手段、障害物進行速度取得手段、駐車意思検出手段)3と、カメラ4〜7と、スピーカ8〜13と、車両DB14と、ナビDB15と、運転支援ECU3に接続されたGPS16、車速センサ17、ステアリングセンサ18、ジャイロセンサ19、シフトレバーセンサ20等の各種センサから構成されている。
また、運転支援ECU(エレクトロニック・コントロール・ユニット)3は、車両周辺に位置する障害物を検出するとともに、検出した障害物の方位に基づいて各スピーカ8〜13からの音の出力を変位させる障害物警告処理(図4、図5参照)等を行う電子制御ユニットである。尚、運転支援ECU3はナビゲーション装置の制御に使用するECUと兼用してもよい。また、運転支援ECU3の詳細な構成については後述する。
カメラ4〜7は、例えばCCD等の固体撮像素子を用いるとともに、広角レンズを備えたカメラである。また、図1に示すようにカメラ4〜7は車両2の右前方の角、右後方の角、左前方の角、左後方の角にそれぞれ設置され、光軸方向を水平より所定角度下方に向けて設置される。そして、カメラ4の光軸方向は車両2の右前方に向けられ、光軸方向を中心とした所定範囲内をカメラ4により周辺環境を撮像可能な撮像領域21とする。また、カメラ5の光軸方向は車両2の右後方に向けられ、光軸方向を中心とした所定範囲内をカメラ5により周辺環境を撮像可能な撮像領域22とする。また、カメラ6の光軸方向は車両2の左前方に向けられ、光軸方向を中心とした所定範囲内をカメラ6により周辺環境を撮像可能な撮像領域23とする。更に、カメラ7の光軸方向は車両2の左後方に向けられ、光軸方向を中心とした所定範囲内をカメラ7により周辺環境を撮像可能な撮像領域24とする。
そして、カメラ4〜7は走行時及び停車時に車両2の周囲の各撮像領域21〜24を撮像し、その撮像された撮像画像に基づいて運転支援ECU3は車両周辺に位置する障害物(例えば、他車両、自転車、歩行者等)を検出する。尚、障害物を検出する手段としては、カメラの代わりにミリ波レーダ、超音波レーダ等を用いても良い。
また、図1及び図3に示すように車両2の車両内には、運転席25(即ち、運転席25に着座する運転者26)に対してそれぞれ異なる方位に6つのスピーカ8〜13を備える。図3は運転席25とスピーカ8〜13との位置関係を示した模式図である。
例えば、右前スピーカ8は、車両2の室内のセンターコンソールの右側に備え付けられ、運転席25に対してX1方向に位置する。また、右中スピーカ9は、車両2の室内の右フロントドアに備え付けられ、運転席25に対してX2方向に位置する。また、右後スピーカ10は、車両2の室内の右後方のバックピラー付近に備え付けられ、運転席25に対してX3方向に位置する。また、左前スピーカ11は、車両2の室内のセンターコンソールの左側に備え付けられ、運転席25に対してX4方向に位置する。また、左中スピーカ12は、車両2の室内の左フロントドアに備え付けられ、運転席25に対してX5方向に位置する。また、左後スピーカ13は、車両2の室内の左後方のバックピラー付近に備え付けられ、運転席25に対してX6方向に位置する。そして、運転支援ECU3は、後述のように運転席25からの方位がそれぞれ異なる各スピーカ8〜13から出力される音を変位させることにより、検出した障害物の方位を運転者に特定させる。
また、車両DB14は、車両2の形状設計値やカメラ設計値等の車両に関する各種パラメータ情報が記憶された記憶手段である。例えば車両DB14には、車両2に対する各スピーカ8〜13の設置位置、カメラ4〜7の光軸方向や車両2に対するカメラ4〜7の設置位置等について記憶されている。
そして、運転支援ECU3は後述するように車両DB14に記憶された各種パラメータ情報を用いることによって、検出した障害物の位置の特定や障害物に対するスピーカ8〜13の位置関係を特定する。
また、ナビDB15は、道路網や施設に関する地図データが記録されている。具体的に地図データは、駐車場等の施設に関する施設データ、道路(リンク)形状に関するリンクデータ、ノード点に関するノードデータ、各交差点に関する交差点データ等から構成されている。
また、GPS16は、人工衛星によって発生させられた電波を受信することにより、自車の現在地及び現在時刻を検出可能とする。
また、車速センサ17は、車両の移動距離や車速を検出する為のセンサであり、車両2の車輪の回転に応じてパルスを発生させ、パルス信号を運転支援ECU3に出力する。そして、運転支援ECU3は発生するパルスを計数することにより車輪の回転速度や移動距離を算出する。
また、ステアリングセンサ18は、ステアリング装置の内部に取り付けられており、ステアリングの回動角を検出可能とするセンサである。
ジャイロセンサ19は、車両2の旋回角を検出可能とするセンサである。また、ジャイロセンサ19によって検出された旋回角を積分することにより、自車方位を検出することができる。
シフトレバーセンサ20は、シフトレバー(図示せず)に内蔵され、シフト位置が「P(パーキング)」、「N(ニュートラル)」、「R(リバース)」、「D(ドライブ)」、「2(セカンド)」、「L(ロー)」のいずれの位置となっているかを検出可能とする。
次に、運転支援ECU3の詳細について図2を用いて説明すると、運転支援ECU3はCPU31を核として構成されており、CPU31には記憶手段であるROM32及びRAM33が接続されている。そして、ROM32には後述の障害物警告処理プログラム(図4、図5参照)、その他、カメラ4〜7やスピーカ8〜13等の制御上必要な各種のプログラム等が格納されている。また、RAM33はCPU31で演算された各種データを一時的に記憶しておくメモリである。
続いて、前記構成を有する第1実施形態に係る障害物警告装置1の運転支援ECU3が実行する障害物警告処理プログラムについて図4及び図5に基づき説明する。図4及び図5は第1実施形態に係る障害物警告装置1において実行される障害物警告処理プログラムのフローチャートである。ここで、障害物警告処理プログラムは、イグニションがONされた後に実行され、車両周辺に位置する障害物を検出するとともに、検出した障害物の方位に基づいて各スピーカ8〜13からの音の出力を変位させるプログラムである。尚、以下の図4及び図5にフローチャートで示されるプログラムは運転支援ECU3が備えているROM32やRAM33に記憶されており、CPU31により実行される。また、以下に示す実施形態では、特に縦列駐車を行う場合の駐車支援について説明することとする。
障害物警告処理プログラムでは、先ずステップ(以下、Sと略記する)1において、CPU31は運転者の駐車意思を検出し、運転者の駐車意思があるか否か判定する。尚、具体的に運転者の駐車意思がある場合とは、例えば、シフト位置が「R」に変更された場合、駐車場内に車両が進入した場合、運転者によって駐車支援を希望する旨の所定の操作が行われた場合等が該当する。ここで、特に駐車場内に車両が進入したことを検出する際には、先ず各種サンサ16〜20により自車の現在位置を検出し、ナビDB15に記憶された地図データに対してマップマッチング処理を行うことにより、駐車場内に車両が進入したか否かを判定する。尚、上記S1が駐車意思検出手段の処理に相当する。
次に、S2においてCPU31は、運転席25に対して全方位に位置する複数のスピーカ8〜13から音(例えば、「ピー・ピー・・・」のような電子音)を出力する。尚、上記S2が音出力手段の処理に相当する。
例えば、図6では自車両51が駐車場52内へと進入し、空きスペース53への駐車を行う為にシフト位置が「R」に変更された場合におけるスピーカの出力パターンを示す。図6に示す状況では、自車両51の全方位に位置するスピーカ8〜13から音が出力される。
続いて、S3でCPU31は自車に関する自車情報を各種センサ16〜20の検出結果に基づいて取得する。ここで、前記S3で取得される自車情報としては、例えば車両方位、車速等がある。尚、上記S3が自車進行方向取得手段の処理に相当する。
その後、S4でCPU31は自車の周囲に位置する障害物(例えば、他車両、自転車、歩行者等)をカメラ4〜7の撮像画像に基づいて検出し、障害物が検出された場合にはその障害物に関する障害物情報を取得する。ここで、前記S4で取得される障害物情報としては、例えば、障害物の種類、自車からの障害物の相対方位、自車から障害物までの距離、障害物が移動している場合にはその進行速度及び進行方向等がある。
ここで、以下に前記S4における障害物の検出方法及び障害物情報の取得方法について簡単に説明する。先ず、CPU31は、カメラ4〜7で撮像した撮像画像中にある障害物を検出する為に、路面と障害物を輝度差に基づいて輝度補正を行う。その後、障害物を画像から分離する2値化処理、歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、路面と障害物との境界線を検出する。また、カメラ4〜7によって撮像された撮像画像中で検出された障害物の位置(具体的には下縁や右縁からの画素数)に基づいて、車両2から障害物までの距離や方位を算出する。
その後、CPU31は、撮像画像から検出された障害物の画像サイズを障害物の距離に応じて定まる拡大率または縮小率で、拡大又は縮小を行う。そして、サイズを調整した障害物の画像を、ROM32に記憶された各テンプレート画像とのパターンマッチングを施すことにより、撮像画像中に検出された障害物の種類を算定する。更に、所定時間後の障害物の撮像画像における移動方向と移動速度から、障害物の進行速度及び進行方向を算出することができる。尚、上記S4が障害物検出手段、障害物進行方向取得手段及び障害物進行速度取得手段の処理に相当する。
次に、S5でCPU31は前記S3で取得した自車情報と前記S4で取得した障害物情報とに基づいて、自車に対して接近する障害物(例えば、他車両、自転車、歩行者等)があるか否か判定する。
その結果、自車に対して接近する障害物があると判定された場合(S5:YES)には、S8へと移行する。一方、自車に対して接近する障害物がないと判定された場合(S5:NO)にはS6へと移行する。尚、上記S5が接近判定手段の処理に相当する。
S6においてCPU31は、自車が駐車を完了したか否か判定する。具体的には、シフト位置が「P」に変更された場合に自車が駐車を完了したと判定する。そして、自車が駐車を完了したと判定された場合(S6:YES)には、運転席25に対して全方位に位置するスピーカ8〜13からの音の出力を停止する(S7)。その後、当該障害物警告処理プログラムを終了する。
例えば、図7では自車両51が駐車場52内の空きスペース53への駐車を完了した場合におけるスピーカの出力パターンを示す。図7に示す状況では、自車両51の全方位に位置するスピーカ8〜13からの音の出力が停止される。
一方、自車が駐車を完了していないと判定された場合(S6:NO)にはS2へと戻り、接近する障害物を検出するまで或いは駐車を完了するまで継続して全方位のスピーカ8〜13から音を出力する。
また、S8でCPU31は、前記S3で取得した自車情報と前記S4で取得した障害物情報とに基づいて、自車と障害物との位置関係を取得する。具体的には、自車に対する相対的な障害物の方位が取得される。尚、上記S8が車両位置関係取得手段の処理に相当する。
続いて、S9においてCPU31は前記S8で取得した自車と障害物との位置関係に基づいて、自車に設置されたスピーカ8〜13と障害物との各位置関係について取得する。そして、取得した各位置関係に基づいてスピーカ8〜13の内、検出した障害物に最も近い位置にあるスピーカを特定する。尚、上記S9がスピーカ位置関係取得手段の処理に相当する。
その後、S10でCPU31は、スピーカ8〜13の内、前記S9で特定したスピーカに対して最も遠い位置にあるスピーカ、即ち、検出した障害物に対して最も遠い位置にあるスピーカを特定する。
次に、S11でCPU31は前記S11で特定した障害物に対して最も遠い位置にあるスピーカからの音の出力を停止する。
例えば、図8では自車両51が駐車場52内で空きスペース53への駐車を開始した後に、左後方から他車両54が接近する場合におけるスピーカの出力パターンを示す。
図8に示す状況では、前記S9で障害物である他車両54に最も近いスピーカとして左後スピーカ13が特定される。そして、前記S10で障害物である他車両54に最も遠いスピーカとして右前スピーカ8が特定される。その結果、前記S11では右前スピーカ8からの音の出力が停止され、他のスピーカ9〜13のみから音が出力される。
その後、S12でCPU31は、直前のステップ(S11又はS14)でスピーカからの音の出力を停止してから所定時間経過したか否か判定する。ここで、所定時間は障害物の接近速度によって値を変更する。例えば、障害物の接近速度が所定速度(例えば10km/h)より遅ければ1secとし、障害物の接近速度が所定速度より速ければ0.5secとする。その結果、障害物の接近する速度に応じた速度で後述のようにスピーカ8〜13の出力が変位される。
そして、前記S12において、直前のステップでスピーカからの音の出力を停止してから所定時間経過したと判定された場合(S12:YES)にはS13へと移行する。それに対して、所定時間経過していないと判定された場合(S12:NO)には、所定時間経過するまで待機する。
S13においてCPU31は、直前のステップ(S11又はS14)で音の出力を停止したスピーカの隣に位置するスピーカが、前記S9で特定された障害物に最も近いスピーカであるか否か判定する。尚、S13の判定処理は右隣と左隣に位置するスピーカに対してそれぞれ行われる。
その結果、直前のステップで音の出力を停止したスピーカの隣に位置するスピーカが、前記S9で特定された障害物に最も近いスピーカであると判定された場合(S13:YES)には、S15へと移行する。一方、直前のステップで音の出力を停止したスピーカの隣に位置するスピーカが、前記S9で特定された障害物に最も近いスピーカ以外のスピーカであると判定された場合(S13:NO)には、S14へと移行する。
S14においてCPU31は、直前のステップで音の出力を停止したスピーカの隣に位置するスピーカについても音の出力を停止する。その後、S12へと戻る。
以下に、図8〜図10を用いて自車両51が駐車場52内で空きスペース53への駐車を開始した後に、左後方から他車両54が接近する場合におけるスピーカの出力パターンの変化態様を示す。
図8に示す状況では、前記したように障害物である他車両54から最も遠い位置にある右前スピーカ8からの音の出力が停止され、他のスピーカ9〜13のみから音が出力される。その後、所定時間経過すると、図9に示すように右前スピーカ8の隣に位置する右中スピーカ9と左前スピーカ11の音の出力が停止される。その後、更に所定時間経過すると、図10に示すように右中スピーカ9の隣に位置する右後スピーカ10と、左前スピーカ11の隣に位置する左中スピーカ12の音の出力が停止される。その結果、障害物である他車両54から最も近い位置にある左後スピーカ13のみが継続して音を出力する。
上記のようにスピーカ8〜13の音の出力を変位させることにより、運転席25に着座する運転者からは、先ず全方位から音が聞こえる。その後、聞こえる音の領域が徐々に狭くなり、最終的に障害物の位置する方向のみから音が聞こえる。その結果、最初から障害物の位置する方向のみのスピーカから音を出力する場合と比較して、運転者は接近する障害物の位置する方向を正確に特定することができる。尚、上記S11〜S14が音変位手段の処理に相当する。
一方、S15においてCPU31は、自車の進行方向、障害物の進行方向及び自車に対する障害物の相対位置とに基づいて、自車に対して接近する障害物(例えば、他車両、自転車、歩行者等)が継続して存在するか否か判定する。
その結果、自車に対して接近する障害物が継続して存在すると判定された場合(S15:YES)には、S16へと移行する。一方、自車に対して接近する障害物がなくなったと判定された場合(S15:NO)、即ち、接近していた障害物が停止したり、障害物の進行方向が変更した場合等にはS2へと移行する。そして、再度、運転席25に対して全方位に位置するスピーカ8〜13から音を出力する。また、新たに接近する他の障害物を検出した場合には上記S8〜S14の処理を実行する。
例えば、図11では図10に示す状況の後に、他車両54が停止し、新たな障害物である人55が自車両51に対して接近する場合におけるスピーカの出力パターンを示す。
図11に示す状況では、他車両54が停止したことにより、他車両54が自車両51と接触する虞が小さくなったことから、一旦、全方位に位置するスピーカ8〜13から再度音が出力される。その後、前記S9で新たに検出した障害物である人55に最も近いスピーカとして右前スピーカ8が特定される。そして、前記S10で障害物である人55に最も遠いスピーカとして左後スピーカ13が特定される。その結果、前記S11で左後スピーカ13からの音の出力が停止され、他のスピーカ8〜12のみから音が出力される。その後、同様にして人55から遠い位置にあるスピーカから順に音の出力が停止される。
尚、接近してくる障害物を同時に2以上検出した場合には、優先度の最も高い障害物を対象として上記S8〜S14の処理を実行する。ここで、優先度の高い障害物とは、例えば、自車からの距離が近い障害物、進行速度が速い障害物、種別が『人』の障害物などがある。
そして、S16においてCPU31は、自車が駐車を完了したか否か判定する。具体的には、シフト位置が「P」に変更された場合に自車が駐車を完了したと判定する。そして、自車が駐車を完了したと判定された場合(S16:YES)には、図7に示すように前記S9で特定された障害物に対して最も近くに位置するスピーカからの音の出力についても停止する(S17)。その後、当該障害物警告処理プログラムを終了する。
一方、自車が駐車を完了していないと判定された場合(S16:NO)にはS15へと戻り、新たに接近する障害物の検出を行う。
以上詳細に説明した通り、第1実施形態に係る障害物警告装置1、障害物警告方法及び障害物警告装置1で実行されるコンピュータプログラムによれば、運転者の運転意思を検出した場合に運転席25から全方位にあるスピーカ8〜13から音を出力し(S2)、その後、自車両の周囲に他車両等の自車両に対して接近する障害物を検出した場合(S5:YES)に、自車両と障害物との位置関係を取得し(S8)、取得した位置関係に基づいて障害物から最も遠い位置にあるスピーカから順に音の出力を停止し(S11〜S14)、最終的に障害物から最も近い位置にあるスピーカのみから音の出力を行うので、車両周辺に位置する障害物の方位を運転者に正確に把握させることが可能となる。従って、運転者の死角方向から接近する障害物等の運転者が把握し難い障害物がある場合でも、それらの障害物の接近を運転者に事前に把握させ、安全に走行させることが可能となる。
また、障害物に対して位置が遠いスピーカから順に音の出力を停止させるので、乗員は狭くなる音の領域を参照することにより、運転者は段階的に障害物の位置する方位を絞ることができる。従って、障害物の位置する方位のみのスピーカから音を出力する場合と比較して、音の出力方向の認識に誤差が生じにくく、車両周辺に位置する障害物の方位を乗員に正確に把握させることが可能となる。
また、障害物が車両に対して接近していると判定された場合(S5:YES)に、スピーカ8〜13の出力を変位させるので、特に車両に対して接触の虞の高い障害物を対象として、その方位を運転者に正確に把握させることが可能となる。
また、障害物が車両に対して接近する速度に応じた速度でスピーカの出力を変位させるので、スピーカ8〜13の出力を変位させる速度によって検出された障害物に対する危険度合いを報知することができる。
更に、シフトレバーの位置が「R」に変更されたこと、運転者によって所定の操作が行われたこと、又は車両が駐車場内に進入したことを運転者の駐車意思として検出するので、運転者の駐車意思を正確に把握することができる。
〔第2実施形態〕
次に、第2実施形態に係る障害物警告装置について図12及び図13に基づいて説明する。尚、以下の説明において上記図1乃至図11の第1実施形態に係る障害物警告装置1等の構成と同一符号は、前記第1実施形態に係る障害物警告装置等の構成と同一あるいは相当部分を示すものである。
この第2実施形態に係る障害物警告装置の概略構成は、第1実施形態に係る障害物警告装置1とほぼ同じ構成である。また、各種制御処理も第1実施形態に係る障害物警告装置とほぼ同じ制御処理である。
ただし、第1実施形態に係る障害物警告装置1が、車両2に対して接近する障害物を検出した場合に、同一の障害物を対象としてはスピーカ8〜13による音の出力の変位(S11〜S14)を1回のみ行うのに対して、第2実施形態に係る障害物警告装置では、障害物との接触の虞がなくなるまで又は自車の駐車が完了するまで、同一の障害物を対象として繰り返しスピーカ8〜13による音の出力の変位を行う点で前記第1実施形態に係る障害物警告装置1と異なっている。
以下に、第2実施形態に係る障害物警告装置の運転支援ECU3が実行する障害物警告処理プログラムについて図12及び図13に基づき説明する。図12及び図13は第2実施形態に係る障害物警告装置において実行される障害物警告処理プログラムのフローチャートである。
ここで、S101〜S115において実行される処理は、前記第1実施形態に係る障害物警告装置1で実行される障害物警告処理プログラム(図4、図5)のS1〜S15の処理と同一の処理であるので、その説明は省略する。
そして、S116においてCPU31は、自車が駐車を完了したか否か判定する。具体的には、シフト位置が「P」に変更された場合に自車が駐車を完了したと判定する。そして、自車が駐車を完了したと判定された場合(S116:YES)には、図7に示すように運転席25に対して全方位に位置するスピーカ8〜13からの音の出力を停止する(S117)。その後、当該障害物警告処理プログラムを終了する。
一方、自車が駐車を完了していないと判定された場合(S116:NO)にはS102へと戻り、再度、運転席25に対して全方位に位置するスピーカ8〜13から音を出力する。その後、同一の障害物を対象としてS103以降の処理を再度実行する。その結果、障害物との接触の虞がなくなるまで又は自車の駐車が完了するまで、同一の障害物を対象として繰り返しスピーカ8〜13による音の出力の変位を行うこととなる。
尚、新たに他の障害物を検出した場合には、その後は優先度の高い方の障害物を対象として繰り返しスピーカ8〜13による音の出力の変位を行うこととする。
以上詳細に説明した通り、第2実施形態に係る障害物警告装置、障害物警告方法及び障害物警告装置で実行されるコンピュータプログラムによれば、運転者の運転意思を検出した場合に運転席25から全方位にあるスピーカ8〜13から音を出力し(S102)、その後、自車両の周囲に他車両等の自車両に対して接近する障害物を検出した場合(S105:YES)に、自車両と障害物との位置関係を取得し(S108)、取得した位置関係に基づいて障害物から最も遠い位置にあるスピーカから順に音の出力を停止する一連の制御(S111〜S114)を、障害物との接触の虞がなくなるまで又は自車の駐車が完了するまで繰り返し行うので、車両周辺に位置する障害物の方位を運転者により正確に把握させることが可能となる。従って、運転者の死角方向から接近する障害物等の運転者が把握し難い障害物がある場合でも、それらの障害物の接近を運転者に事前に把握させ、安全に走行させることが可能となる。
また、第1実施形態に係る障害物警告装置1と比較してスピーカ8〜13による音の出力の変位を繰り返し行うので、障害物の接近を運転者に確実に把握させることが可能となる。
尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、第1実施形態及び第2実施形態ではカメラ4〜7によって車両周辺に位置する障害物を検出することとしているが、カメラの代わりにミリ波レーダ、超音波レーダ等を用いて障害物を検出することとしても良い。
また、第1実施形態及び第2実施形態では運転者の駐車意思を検出した場合に、車両に接近する障害物に対する警告処理(S2〜、S102〜)を行うこととしているが、例えば、車両がスクールゾーンに進入した場合や、交差点に接近した場合に車両に接近する障害物に対する警告処理(S2〜、S102〜)を行うこととしても良い。
また、第1実施形態及び第2実施形態では、障害物の方位を運転者に把握させる為のスピーカ8〜13からの音の出力の変位態様として、障害物に対して最も遠くに位置するスピーカから順に音の出力を停止することとしているが、障害物に対して最も遠くに位置するスピーカから順に音の出力を低下させることとしても良い。また、スピーカ8〜13のいずれからも音を出力していない状態で、障害物に対して最も遠くに位置するスピーカから順に音の出力を開始させることとしても良い。
そして、上記のいずれのスピーカ8〜13の出力の変位態様を採用した場合であっても、車両周辺に位置する障害物の方位を運転者により正確に把握させることが可能となる。
また、車内に設置するスピーカの数は6個に限られることなく、2個以上であれば本願発明を適用することが可能である。
また、第1実施形態及び第2実施形態では、前記S2及びS102の処理で、車内に設置された全スピーカ8〜13から音を出力することとしているが、特定のスピーカのみから音を出力するようにしても良い。例えば、スピーカ8〜13の内、車両の前後に配置された4つのスピーカ8、10、11、13のみから音を出力し、4つのスピーカ8、10、11、13を対象としてその後に音の出力を変位させるようにしても良い。
また、第1実施形態及び第2実施形態では、障害物に最も近くに位置するスピーカに対して最も遠いスピーカから順に音の出力を停止するようにしているが、障害物に最も近くに位置するスピーカに対して並び順が最も遠いスピーカから順に音の出力を停止するようにしても良い。具体的に、図1に示す右中スピーカ9に対しては左中スピーカ12が最も並び順が遠いスピーカとなる。
また、スピーカの音の出力を停止させる順序を予めDBに記憶させることとしても良い。その場合には、障害物に最も近くに位置するスピーカが特定されると、スピーカの音の出力を停止させる順序がDBから一義的に決定される。
第1実施形態に係る障害物警告装置の概略構成図である。 第1実施形態に係る障害物警告装置の制御系を模式的に示すブロック図である。 運転席と車内に設置された各スピーカとの位置関係を示した模式図である。 第1実施形態に係る障害物警告処理プログラムのフローチャートである。 第1実施形態に係る障害物警告処理プログラムのフローチャートである。 車両が駐車を開始した際のスピーカの出力パターンを示した説明図である。 車両が駐車を完了した際のスピーカの出力パターンを示した説明図である。 車両が接近する障害物を検出した際のスピーカの出力パターンを示した説明図である。 車両が接近する障害物を検出してから所定時間経過後のスピーカの出力パターンを示した説明図である。 車両が接近する障害物を検出してから所定時間経過後のスピーカの出力パターンを示した説明図である。 車両が接近する新たな障害物を検出した際のスピーカの出力パターンを示した説明図である。 第2実施形態に係る障害物警告処理プログラムのフローチャートである。 第2実施形態に係る障害物警告処理プログラムのフローチャートである。
符号の説明
1 障害物警告装置
2 車両
3 運転支援ECU
4〜7 カメラ
8〜13 スピーカ
31 CPU
32 ROM
33 RAM

Claims (9)

  1. 車両周辺の障害物を検出する障害物検出手段と、
    車両内であって運転席に対して異なる方位にそれぞれ設置された複数のスピーカから音を出力する音出力手段と、
    前記障害物検出手段によって障害物が検出された場合に、前記検出された障害物と前記車両との位置関係を取得する車両位置関係取得手段と、
    前記車両位置関係取得手段により取得された前記障害物と前記車両との位置関係に基づいて、前記検出された障害物と前記複数のスピーカとの各位置関係を取得するスピーカ位置関係取得手段と、
    前記スピーカ位置関係取得手段により取得された前記障害物と前記複数のスピーカとの各位置関係に基づいて、前記障害物検出手段によって検出された障害物に対して位置が遠いスピーカから順に前記音出力手段による音の出力を変位させる音変位手段と、を有することを特徴とする障害物警告装置。
  2. 前記音変位手段は、前記スピーカ位置関係取得手段により取得された前記障害物と前記複数のスピーカとの各位置関係に基づいて、前記障害物検出手段によって検出された障害物に対して位置が遠いスピーカから順に音の出力を停止させることを特徴とする請求項1に記載の障害物警告装置。
  3. 前記音変位手段は、前記スピーカ位置関係取得手段により取得された前記障害物と前記複数のスピーカとの各位置関係に基づいて、前記障害物検出手段によって検出された障害物に対して位置が遠いスピーカから順に音の出力を低下させることを特徴とする請求項1に記載の障害物警告装置。
  4. 前記車両位置関係取得手段は、
    車両の進行方向を取得する車両進行方向取得手段と、
    前記障害物検出手段によって検出された障害物の進行方向を取得する障害物進行方向取得手段と、
    前記車両進行方向取得手段により取得した前記車両の進行方向と前記障害物進行方向取得手段により取得した前記障害物の進行方向とに基づいて、障害物が車両に対して接近しているか否かを判定する接近判定手段と、
    を備え、
    前記音変位手段は、前記接近判定手段によって前記障害物が車両に対して接近していると判定された場合に、スピーカの出力を変位させることを特徴とする請求項1乃至請求項のいずれかに記載の障害物警告装置。
  5. 前記障害物検出手段によって検出された障害物の進行速度を取得する障害物進行速度取得手段を有し、
    前記音変位手段は前記障害物が車両に対して接近する速度に応じた速度でスピーカの出力を変位させることを特徴とする請求項に記載の障害物警告装置。
  6. 運転者の駐車意思を検出する駐車意思検出手段を有し、
    前記音出力手段は、前記駐車意思検出手段により運転者の駐車意思を検出したときに前記複数のスピーカから音を出力することを特徴とする請求項1乃至請求項のいずれかに記載の障害物警告装置。
  7. 前記駐車意思検出手段は、シフトレバーの位置がリバースに変更されたこと、運転者によって所定の操作が行われたこと、又は車両が所定のエリア内に進入したことを運転者の駐車意思として検出することを特徴とする請求項に記載の障害物警告装置。
  8. 車両周辺の障害物を検出する障害物検出ステップと、
    車両内であって運転席に対して異なる方位にそれぞれ設置された複数のスピーカから音を出力する音出力ステップと、
    前記障害物検出ステップによって障害物が検出された場合に、前記検出された障害物と前記車両との位置関係を取得する車両位置関係取得ステップと、
    前記車両位置関係取得ステップにより取得された前記障害物と前記車両との位置関係に基づいて、前記検出された障害物と前記複数のスピーカとの各位置関係を取得するスピーカ位置関係取得ステップと、
    前記スピーカ位置関係取得ステップにより取得された前記障害物と前記複数のスピーカとの各位置関係に基づいて、前記障害物検出ステップによって検出された障害物に対して位置が遠いスピーカから順に前記音出力ステップによる音の出力を変位させる音変位ステップと、を有することを特徴とする障害物警告方法。
  9. コンピュータに、
    車両周辺の障害物を検出する障害物検出機能と、
    車両内であって運転席に対して異なる方位にそれぞれ設置された複数のスピーカから音を出力する音出力機能と、
    前記障害物検出機能によって障害物が検出された場合に、前記検出された障害物と前記車両との位置関係を取得する車両位置関係取得機能と、
    前記車両位置関係取得機能により取得された前記障害物と前記車両との位置関係に基づいて、前記検出された障害物と前記複数のスピーカとの各位置関係を取得するスピーカ位置関係取得機能と、
    前記スピーカ位置関係取得機能により取得された前記障害物と前記複数のスピーカとの各位置関係に基づいて、前記障害物検出機能によって検出された障害物に対して位置が遠いスピーカから順に前記音出力機能による音の出力を変位させる音変位機能と、
    を実行させることを特徴とするコンピュータプログラム。
JP2007301950A 2007-11-21 2007-11-21 障害物警告装置、障害物警告方法及びコンピュータプログラム Expired - Fee Related JP5041983B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007301950A JP5041983B2 (ja) 2007-11-21 2007-11-21 障害物警告装置、障害物警告方法及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007301950A JP5041983B2 (ja) 2007-11-21 2007-11-21 障害物警告装置、障害物警告方法及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2009129096A JP2009129096A (ja) 2009-06-11
JP5041983B2 true JP5041983B2 (ja) 2012-10-03

Family

ID=40819968

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007301950A Expired - Fee Related JP5041983B2 (ja) 2007-11-21 2007-11-21 障害物警告装置、障害物警告方法及びコンピュータプログラム

Country Status (1)

Country Link
JP (1) JP5041983B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10511911B2 (en) 2017-08-11 2019-12-17 Samsung Electronics Co., Ltd. Method and apparatus of playing music based on surrounding situations

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009028451A1 (de) * 2009-08-11 2011-02-17 Robert Bosch Gmbh Kollisionsüberwachung für ein Kraftfahrzeug
JP5966897B2 (ja) 2012-12-06 2016-08-10 株式会社デンソー 運転サポート装置
JP5895860B2 (ja) * 2013-01-29 2016-03-30 トヨタ自動車株式会社 駐車支援装置
KR101480602B1 (ko) 2013-04-15 2015-01-09 현대자동차주식회사 주차 지원 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10282233A (ja) * 1997-04-07 1998-10-23 Honda Motor Co Ltd 車両の障害物検出装置
JP4389276B2 (ja) * 1997-10-21 2009-12-24 マツダ株式会社 車両の障害物警報装置
JP3925412B2 (ja) * 2003-01-15 2007-06-06 株式会社デンソー 車両走行支援装置
JP2005316704A (ja) * 2004-04-28 2005-11-10 Sony Corp 周囲状況通知装置、周囲状況通知方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10511911B2 (en) 2017-08-11 2019-12-17 Samsung Electronics Co., Ltd. Method and apparatus of playing music based on surrounding situations

Also Published As

Publication number Publication date
JP2009129096A (ja) 2009-06-11

Similar Documents

Publication Publication Date Title
CN109649384B (zh) 一种泊车辅助方法
JP5345350B2 (ja) 車両の運転支援装置
JP3951465B2 (ja) 駐車補助装置
US9361803B2 (en) Parking assistance apparatus and parking assistance method for vehicle
JP5169670B2 (ja) 縦列駐車支援装置及び縦列駐車支援方法
JP4432930B2 (ja) 駐車支援装置及び駐車支援方法
EP3290301B1 (en) Parking assist device
US20070233386A1 (en) Traffic lane deviation preventing system for a vehicle
JP6014433B2 (ja) 画像処理装置、画像処理方法、及び、画像処理システム
CN107298096B (zh) 驾驶协助装置
JP2009083764A (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
CN111936364B (zh) 停车辅助装置
JP5041983B2 (ja) 障害物警告装置、障害物警告方法及びコンピュータプログラム
JP2008293122A (ja) 障害物監視装置
JP2009040319A (ja) 運転支援装置
JP6885022B2 (ja) 運転支援装置
JP2004314843A (ja) 車両用運転支援装置
JP3726175B2 (ja) 駐車補助装置
JP4595902B2 (ja) 車両周辺画像表示システム及び車両周辺画像表示方法
JP4957589B2 (ja) 障害物警告装置、障害物警告方法及びコンピュータプログラム
JP2004310522A (ja) 車両用画像処理装置
JP5012669B2 (ja) 駐車支援装置、駐車支援方法及びコンピュータプログラム
WO2020012852A1 (ja) 測位支援装置及び測位支援方法
JP2014100958A (ja) 駐車支援装置及び制御装置
JP2013161440A (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100421

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20100421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120703

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120710

R150 Certificate of patent or registration of utility model

Ref document number: 5041983

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150720

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees