JP4785707B2 - 障害物警告装置 - Google Patents

障害物警告装置 Download PDF

Info

Publication number
JP4785707B2
JP4785707B2 JP2006302933A JP2006302933A JP4785707B2 JP 4785707 B2 JP4785707 B2 JP 4785707B2 JP 2006302933 A JP2006302933 A JP 2006302933A JP 2006302933 A JP2006302933 A JP 2006302933A JP 4785707 B2 JP4785707 B2 JP 4785707B2
Authority
JP
Japan
Prior art keywords
obstacle
vehicle
warning
traveling direction
parking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006302933A
Other languages
English (en)
Other versions
JP2008124553A (ja
Inventor
瑞樹 湯淺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2006302933A priority Critical patent/JP4785707B2/ja
Publication of JP2008124553A publication Critical patent/JP2008124553A/ja
Application granted granted Critical
Publication of JP4785707B2 publication Critical patent/JP4785707B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、自車が障害物と接触することを防止するための障害物警告装置に関し、特に、自車を発車させるとき駐車場等に設置されたタイヤ止めまたは車輪止め等への接触を防止するための障害物警告装置に関する。
自動車への撮像カメラの搭載率の向上に伴い、撮像データを用いたアプリケーションが急拡大している。このようなアプリケーションの多くは、運転者の運転を支援し、走行時や駐車時の車両の安全性を向上させるものである。例えば、車両周辺の障害物を表示するようなシステムであれば、複数の超広角の撮像カメラを用いて、撮像された撮像データを合成し、自車周辺の360°の映像を映し出す。また、撮像データを視点変換後に合成することにより、車両を上部から見下した撮像データをディスプレイに表示することもできる。
特許文献1は、障害物検出装置に関し、車両の下に存在する障害物等を検知し、報知することを目的とする。停車時と発進時に撮像された車両下方の画像を比較することで車両の下に障害物が存在するか否かを判定する。障害物があった場合には、エンジンの始動を禁止し、運転手への警報を行う。運転手は、車両の下に異常が無いかを確認し、確認ボタンを押すことでエンジンを始動することができる。障害物が検出されなかった場合には、エンジンはすぐさま始動される。
特開2005−138720号
例えば、図8(a)に示すように、広い駐車場100に車両102を頭から駐車し、その後に発車する時、自車の周辺に他の車両が存在していなければ、自車102を前進させて頭から抜け出すことが往々にしてある。しかしながら、図8(b)に示すように、駐車場にタイヤ止め104が設置されている場合、タイヤ止め104が存在していることを忘れて自車を前進させると、タイヤ止め104に自車102が乗り上げてしまうことがあり、危険であった。
一方、特許文献1のように車両の下方を撮像する専用のカメラを用いて障害物を検出することも可能であるが、専用のカメラの取り付けのためにコストが増加してしまう。
本発明は、上記の課題を解決するために成されたものであり、駐車場等に停止させた後に自車を発車させるとき自車が障害物に接触することを防止し、かつそのためのコスト上昇を抑制した障害物警告装置を提供することを目的とする。
本発明に係る障害物警告装置は、少なくとも自車の進行方向を撮像し、撮像データを出力する撮像手段と、自車が駐車する時から一定期間前の撮像データに基づき自車の進行方向に障害物が存在するか否かを検出する検出手段と、前記検出手段による障害物の検出結果を記憶する記憶手段と、自車が駐車するときの進行方向を記憶する進行方向記憶手段と、駐車後に自車の走行が再開されるとき、自車の進行方向が前記進行方向記憶手段に記憶された進行方向と一致するか否かを判定する判定手段と、進行方向が一致すると判定され、かつ前記検出手段により障害物が存在することが検出されているとき、進行方向に障害物が存在することの警告を発する警告手段とを有する。
好ましくは記憶手段は、一定期間前の撮像データを記憶し、警告手段は、記憶手段から一定期間前の撮像データを読み出し、当該撮像データをディスプレイに再生する。さらに警告手段は、進行方向に障害物が存在することを警告する文字またはマーキング等の図形を重ねて表示するようにしてもよいし、音声または警告音を発するようにしてもよい。好ましくは検出手段は、駐車場に設置されたタイヤ止めを障害物として検出する。
本発明に係る障害物警告プログラムは、少なくとも自車の進行方向を撮像し、自車が駐車する時から一定期間前の撮像データに基づき自車の進行方向に障害物が存在するか否かを検出するステップと、自車が駐車するときの進行方向を記憶するステップと、駐車後に自車の走行が再開されるとき、自車の進行方向が前記記憶された自車の進行方向と一致するか否かを判定するステップと、進行方向が一致すると判定され、かつ検出するステップにより障害物が存在することが検出されているとき、進行方向に障害物が存在することの警告を発するステップとを有する。
本発明に係る障害物警告装置によれば、車両に搭載されている既存の撮像手段(撮像カメラ)を用いて、駐車の際に進行方向に障害物があるか否かを検出し、進行方向に障害物が存在すれば発進時にその警告を発するようにしたので、ユーザは、発進前に進行方向の障害物の存在を認識することができ、障害物を回避して自車を発進させることができる。また、車両に搭載された既存の撮像手段を用いて障害物の検出を行うため、コストの上昇を抑制することができる。
以下、本発明の最良の実施の形態について図面を参照して詳細に説明する。
図1は、本発明の実施例に係る障害物警告装置10の構成を示すブロック図である。障害物警告装置10は、少なくとも自車の進行方向を撮像する撮像カメラ12と、撮像カメラ12が出力する撮像データを画像処理し自車の進行方向に障害物が存在するか否かを検出する画像処理部14と、車両の速度やギアポジション等の走行状態を検出しその検出結果を出力する車両状態センサ16と、GPS衛星や自立航法センサに基づき自車位置を算出する自車位置算出部18と、障害物警告プログラムや撮像カメラ12により撮像された撮像データ等を記憶するメモリ20と、ディスプレイ22と、ディスプレイ22の表示を制御する表示制御部24と、スピーカ26と、スピーカ26の音声出力を制御する音声出力部28と、障害物警告プログラムに基づき各部を制御する制御部30とを含んでいる。
撮像カメラ12は、例えばCCD撮像素子とレンズを含む光学系により構成され、例えば図2に示すように、撮像カメラ12aが車両前部のバンパーに取り付けられる。撮像カメラ12aは、車両の前方を視野角θ1で撮像する。また、車両後部のバンパーに撮像カメラ12bが取り付けられ、撮像カメラ12bは、車両の後方を視野角θ2で撮像する。撮像カメラ12は、このような図2に示す構成に限らず、これよりも多くの撮像カメラを用いて車両周辺を撮像してもよいし、その取り付け位置も必ずしもバンパーに限るものではない。
撮像カメラ12によって撮像された撮像データは、画像処理部14を介して表示制御部24により自車の走行時や駐車時にドライバーの運転支援の目的でディスプレイ22に表示させることができる。また、後述するように、自車を駐車場等に停車させるとき、制御部30は、画像処理部14に障害物の検出を指示し、撮像カメラ12によって撮像された撮像データが障害物の検出に供される。
画像処理部14は、パターンマッチングなどの公知の画像処理の手法を用いて障害物を検出する。例えば、予め検出すべき障害物のパターンデータをメモリに蓄積しておき、当該パターンデータと解析された画像データを比較し、両者の照合する度合いに基づき障害物を検出することができる。そして、画像処理部14は、制御部30に対して障害物の有無を含む障害物データを出力する。
制御部30は、車両状態センサ16および自車位置算出部18の出力に基づき自車が駐車場に駐車する動作に突入するか否かを判定する。例えば、制御部30は、自車位置算出部18の出力と予め用意された地図データ(例えばナビゲーション装置で利用される地図データ)とを比較し、自車が駐車場へ進入する経路を走行しているか否かを判定し、および/または車両状態センサ16の出力から自車の速度が一定以下になったことやそれに加えてギアポジションが一定のギアになったことを参照して、駐車動作に突入したか否かを判定する。制御部30は、駐車場に駐車する動作に突入したと判定すると、メモリ20に記憶された障害物警告プログラムに基づき障害物の検出およびその警告を実行する
次に、本実施例の障害物警告装置における動作について図3の駐車動作および図4のフローチャートを参照して説明する。図3に示すように、駐車場40には複数の駐車スペース42(図では10箇所を表示)が設けられ、それぞれの駐車スペース42には2つのタイヤ止め44が一列に設置され、その駐車スペース42に自車46を前進して駐車する例を用いる。
制御部30は、車両状態センサ16および自車位置算出装置18の出力を監視し、自車の速度が一定以下となり、かつ自車が駐車場へ向けて走行しているとき駐車動作に突入したと判定する(ステップS101)。駐車動作の突入と判定すると、制御部30は、障害物警告プログラムに基づき撮像カメラ12により撮像された撮像データをディスプレイ22に表示し(ステップS102)、これにより自車の進行方向、ここでは自車の前方の映像が表示される。
図5は、図3に示す駐車スペースに自車が前方から進入したときの撮像データの表示例を示している。自車46が前進して駐車するとき、ディスプレイ22には駐車スペース42とその前方に設置されたタイヤ止め44が映し出される。さらに、前方のタイヤ止め44との相対的な位置関係を認識し易くするため自車の前部バンパー50の一部が一緒に映し出されるようにしてもよい。また、自車の進行方向を示す矢印52を表示するようにしてもよい。ドライバーは、ディスプレイ22に映し出された撮像データを確認しながら自車を適切な位置に駐車することができる。
制御部30は、駐車動作に突入すると、画像処理部14に対して自車の進行方向に障害物が存在するか否かを検出させる(ステップS103)。画像処理部14は、上記したように、予め障害物を検出するための障害物のパターンデータを含んでおり、図5に映し出された撮像データを画像解析し、その解析された画像に障害物のパターンデータが含まれているか否かを検出する。本実施例では、画像処理部14は、タイヤ止め44を障害物として検出する。
画像処理部14は、障害物の検出結果として、障害物に関する障害物データ(例えば、障害物の有無、障害物の形状、種類、位置などを含めても良い)を制御部30へ出力する。制御部30は、これに応答して、障害物データをメモリ20に記憶する(ステップS104)。制御部30はさらに、駐車動作への突入と判定された時点から駐車が完了するまでの間に撮像カメラ12によって撮像された撮像データをメモリ20に記憶する(ステップS104)。
さらに制御部30は、車両状態センサ16の出力に基づき自車が駐車スペース42に停止するときの自車の進行方向をメモリ20に記憶する。進行方向は、好ましくは車両状態センサ16のギアポジションである。図3に示す駐車であれば、自車46の進行方向として「前進」が記憶される。
次に、制御部30は、駐車後にエンジンが再始動されたとき、自車が駐車場から走行を再開すると判定する(ステップS106)。制御部30は、車両状態センサ16の出力に基づき自車の進行方向を検出する。すなわち、自車のギアポジションから前進または後進のいずれかを検出する。そして、制御部30は、検出された自車の進行方向とメモリ22に記憶された駐車時の進行方向とが一致するか否かを判定する(ステップS107)。例えば、図3に示す駐車の例であれば、自車の発進が前進であれば、進行方向が一致することになる。
進行方向が一致すると判定されると、制御部30は、メモリ20に記憶された障害物データに基づき障害物が存在しているか否かを判定する(ステップS109)。進行方向が一致し、かつ障害物が存在していると判定されたとき、制御部30は、メモリ20に記憶されている駐車動作突入時から駐車スペース42に駐車するまでの撮像データを読み出し、当該撮像データを動画としてディスプレイ22に再生させる。撮像データの再生により、例えば図3に示す駐車の例であれば、駐車スペース42の前方にタイヤ止め44が存在していたことを告知し、自車を前進させればタイヤ止め44に乗り上げることを認識させる。なお、撮像データを再生する場合は、「これは過去の画像です」あるいは「○時×分時点の画像です」というメッセージを合わせて表示することで、ユーザが現在の撮像画像と勘違いするのを防止できる。
一方、進行方向が一致しないとき、例えば図3の駐車の例であれば、自車が後進しようとするとき、あるいは障害物が存在していないと判定されたとき、制御部30は、進行方向に障害物が存在しないことになるので、障害物の警告を行わない。自車が後進する場合、撮像カメラ12b(図2を参照)により撮像された自車の後方の撮像データをディスプレイ22に表示するようにしてもよい。
また、制御部30は、記憶した撮像データの再生に加えて、例えば、図6(a)に示すように、再生された撮像データに、「前方に障害物あり」という警告文字60を表示し、ユーザの注意をより喚起するようにしてもよい。また、図6(b)に示すように、再生された撮像データに映し出される障害物を特定するようにマーキング62を重ねて表示し警告を発するようにしてもよい。あるいは記憶した撮像データを再生することなく、警告文字60のみを表示し、さらに音声や警告音により、ユーザに対して、前方に障害物が存在することの注意を促すような警告であってもよい。
このように本実施例の障害物警告装置は、駐車動作に突入する時点から一定期間の撮像データから自車の進行方向に障害物が存在するか否かを検出して記憶し、自車が発進するとき、進行方向に障害物が存在すれば、警告を発生するようにしたので、障害物を事前に認識し、障害物との接触を回避させることができる。さらに、車両に搭載された前方撮像用カメラや後方撮像用カメラ等の既存の撮像カメラを用いて障害物の検出を行うので、従来の専用カメラを設置する場合と比較して、コスト上昇を抑制することができる。
上記実施例では、駐車場に設置されたタイヤ止めを障害物の例に用いたが、これに限定されるものではなく、例えば、樹木等の植え込み、側溝、人や動物などを対象にしてもよい。
さらに上記実施例では、自車が駐車動作に突入する時点の判定に、自車位置算出部の出力を利用する例を示したが、必ずしも自車位置算出装置の出力を用いる必要はなく、車両状態センサ16の出力に基づき駐車突入時点の判定を行うことも可能である。さらに上記実施例では、自車が前進して駐車する例を示したが、必ずしもこれに限定されるものではなく、自車が後進して駐車する場合であってもよい。
図7は、障害物警告装置を適応したナビゲーションシステムの構成例を示すブロック図である。ナビゲーションシステム70は、障害物警告装置10に加えて、ユーザからの入力を受ける入力部72と、自車位置から目的地までの最適な経路の探索等を行うナビゲーション機能部74を含んでいる。自車が走行しているとき、ディスプレイ22には、自車位置周辺の道路地図が表示され、かつ、そこに自車位置を示すマークが合成して表示される。
例えば、目的地が駐車場に設定されているとき、自車が駐車場の近傍に到達すると、ナビゲーション機能部74は、その旨を音声によりアナウンスする。これに応答して、障害物警告プログラムが起動され、制御部30は、駐車スペースに停止するまでの撮像データを記憶し、かつ進行方向に障害物が存在するか否かを検出するようにしてもよい。
以上、本発明の好ましい実施の形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
本発明に係る障害物警告装置は、車両の発進時の障害物警告システムとして利用することができる。利用態様として、ナビゲーション装置や他のコンピュータ等の電子装置と機能的に結合することが可能である。
本発明の実施例に係る障害物警告装置の構成を示すブロック図である。 車両に取り付けられた撮像カメラの配置を示す平面図である。 本実施例における駐車動作を説明する図である。 本実施例の障害物警告装置の警告動作を説明するフローチャートである。 駐車する一定期間前の撮像データを示す図である。 図6は、警告時の表示例を示す図である。図6(a)は、文字による警告の表示例を示し、図6(b)は、マーキングによる警告の表示例を示す図である。 図7は、障害物警告装置を適応したナビゲーションシステムの構成例を示すブロック図である。 図8は、従来の課題を説明する図である。
符号の説明
10:障害物警告装置 12:撮像カメラ
14:画像処理部 16:車両状態センサ
18:GPSセンサ 20:自車位置算出部
22:メモリ 24:マイクロコントローラ
26:表示制御部 28:ディスプレイ
40:タイヤ止め 42:駐車場
46:駐車スペース 52:前部バンパー
54:矢印 60:警告文字
62:マーキング 70:ナビゲーションシステム
72:入力部 74:ナビゲーション機能部

Claims (9)

  1. 少なくとも自車の進行方向を撮像し、撮像データを出力する撮像手段と、
    自車が駐車する時から一定期間前の撮像データに基づき自車の進行方向に障害物が存在するか否かを検出する検出手段と、
    前記検出手段による障害物の検出結果を記憶する記憶手段と、
    自車が駐車するときの進行方向を記憶する進行方向記憶手段と、
    駐車後に自車の走行が再開されるとき、自車の進行方向が前記進行方向記憶手段に記憶された進行方向と一致するか否かを判定する判定手段と、
    進行方向が一致すると判定され、かつ前記検出手段により障害物が存在することが検出されているとき、進行方向に障害物が存在することの警告を発する警告手段と、
    を有する障害物警告装置。
  2. 前記記憶手段は、前記一定期間前の撮像データを記憶し、前記警告手段は、前記記憶手段から前記一定期間前の撮像データを読み出し、当該撮像データをディスプレイに再生する、請求項1に記載の障害物警告装置。
  3. 前記警告手段は、進行方向に障害物が存在することを警告する文字または図形を前記再生された撮像データ上に表示する、請求項2に記載の障害物警告装置。
  4. 前記警告手段は、進行方向に障害物が存在することを示す音声または警告音を発する、請求項1ないし3いずれか1つに記載の障害物警告装置。
  5. 前記検出手段は、駐車場に設置されたタイヤ止めを障害物として検出する、請求項1ないし4いずれか1つに記載の障害物警告装置。
  6. 請求項1ないし5いずれか1つに記載の障害物警告装置と、
    目的地までの経路を案内する機能を備えたナビゲーション機能部とを含む、ナビゲーションシステム。
  7. 少なくとも自車の進行方向を撮像し、自車が駐車する時から一定期間前の撮像データに基づき自車の進行方向に障害物が存在するか否かを検出するステップと、
    自車が駐車するときの進行方向を記憶するステップと、
    駐車後に自車の走行が再開されるとき、自車の進行方向が前記記憶された自車の進行方向と一致するか否かを判定するステップと、
    進行方向が一致すると判定され、かつ前記検出するステップにより障害物が存在することが検出されているとき、進行方向に障害物が存在することの警告を発するステップと、
    を有する障害物警告プログラム。
  8. 警告を発するステップは、駐車する時から一定期間前の撮像データをディスプレイに再生するステップを含む、請求項7に記載の障害物警告プログラム。
  9. 警告を発するステップは、進行方向に障害物が存在することを示す、文字、図形、音声または警告音を発する、請求項7または8に記載の障害物警告プログラム。
JP2006302933A 2006-11-08 2006-11-08 障害物警告装置 Expired - Fee Related JP4785707B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006302933A JP4785707B2 (ja) 2006-11-08 2006-11-08 障害物警告装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006302933A JP4785707B2 (ja) 2006-11-08 2006-11-08 障害物警告装置

Publications (2)

Publication Number Publication Date
JP2008124553A JP2008124553A (ja) 2008-05-29
JP4785707B2 true JP4785707B2 (ja) 2011-10-05

Family

ID=39508891

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006302933A Expired - Fee Related JP4785707B2 (ja) 2006-11-08 2006-11-08 障害物警告装置

Country Status (1)

Country Link
JP (1) JP4785707B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009144893A1 (ja) * 2008-05-30 2009-12-03 三洋電機株式会社 運転支援装置
JP5699670B2 (ja) * 2011-02-18 2015-04-15 日産自動車株式会社 走行経路生成装置、及び走行経路生成方法
JP2013003743A (ja) * 2011-06-14 2013-01-07 Clarion Co Ltd 車両警告装置および車両警告方法
DE102014012825A1 (de) * 2014-08-28 2016-03-03 Wirtgen Gmbh Selbstfahrende Baumaschine und Verfahren zur Steuerung einer selbstfahrenden Baumaschine
US9676326B2 (en) * 2015-09-25 2017-06-13 Ford Global Technologies, Llc Drive history parking barrier alert

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003269966A (ja) * 2002-03-19 2003-09-25 Sanyo Electric Co Ltd 車 両
JP2004221871A (ja) * 2003-01-14 2004-08-05 Auto Network Gijutsu Kenkyusho:Kk 車輌周辺監視装置
JP2005001570A (ja) * 2003-06-12 2005-01-06 Equos Research Co Ltd 駐車支援装置
JP2005153660A (ja) * 2003-11-25 2005-06-16 Fujitsu Ten Ltd 運転支援装置
JP3977368B2 (ja) * 2004-09-30 2007-09-19 クラリオン株式会社 駐車支援システム
JP4556742B2 (ja) * 2005-03-30 2010-10-06 株式会社デンソー 車両直下画像表示制御装置および車両直下画像表示制御プログラム
JP2007090939A (ja) * 2005-09-27 2007-04-12 Clarion Co Ltd 駐車支援装置
JP4552900B2 (ja) * 2006-06-14 2010-09-29 アイシン・エィ・ダブリュ株式会社 運転支援装置

Also Published As

Publication number Publication date
JP2008124553A (ja) 2008-05-29

Similar Documents

Publication Publication Date Title
JP6883238B2 (ja) 駐車支援装置
JP6544121B2 (ja) 駐車支援装置
JP6897340B2 (ja) 周辺監視装置
JP5989729B2 (ja) 出庫支援装置
JP6808017B2 (ja) 運転支援装置
JP4665581B2 (ja) 方向転換支援システム
JP2019160086A (ja) 駐車管制装置および車両制御装置
JP2008302711A (ja) 発進支援装置
JP5169912B2 (ja) 駐車支援装置
JP4785707B2 (ja) 障害物警告装置
JP4766314B2 (ja) 車両運転支援装置
JP2008037320A (ja) 駐車支援装置、駐車支援方法及び駐車支援プログラム
JP2006221536A (ja) 車両用表示装置
JP2009245340A (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
JP5397329B2 (ja) 駐車支援装置
JP2010012838A (ja) 駐車支援装置、及び駐車支援方法
JP2008080959A (ja) 駐車支援装置および駐車支援方法
JP2011003117A (ja) 後方視認支援システム
JP2011046262A (ja) 運転支援装置
JP2017085410A (ja) 走行支援装置
KR101115076B1 (ko) 주행상황에 따른 충돌 방지 시스템 및 그 제어 방법
JP5236328B2 (ja) 車両運転支援装置
JP5199030B2 (ja) 情報収集装置、情報収集方法及び情報収集用プログラム
JP4682936B2 (ja) 車両用運転支援装置
JP2020083184A (ja) 駐車支援装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110712

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110712

R150 Certificate of patent or registration of utility model

Ref document number: 4785707

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140722

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees