JP5350353B2 - 車両の制御装置 - Google Patents

車両の制御装置 Download PDF

Info

Publication number
JP5350353B2
JP5350353B2 JP2010269529A JP2010269529A JP5350353B2 JP 5350353 B2 JP5350353 B2 JP 5350353B2 JP 2010269529 A JP2010269529 A JP 2010269529A JP 2010269529 A JP2010269529 A JP 2010269529A JP 5350353 B2 JP5350353 B2 JP 5350353B2
Authority
JP
Japan
Prior art keywords
vehicle
determination distance
unit
distance
contact avoidance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010269529A
Other languages
English (en)
Other versions
JP2012118874A (ja
Inventor
健太郎 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2010269529A priority Critical patent/JP5350353B2/ja
Publication of JP2012118874A publication Critical patent/JP2012118874A/ja
Application granted granted Critical
Publication of JP5350353B2 publication Critical patent/JP5350353B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、自車両の進行方向に存在する物体との接触を回避する処理を実行する車両の制御装置に関する。
従来より、自車両に搭載されたステレオカメラにより前方を走行する先行車両との車間距離を検出し、車間距離が短くなったときに警報装置を作動させて、運転者に障害物が異常接近したことを知らせるようにした車両用障害物検出装置が提案されている(例えば、特許文献1参照)。
特開平6−229758号公報
上述した従来の装置においては、濡れた路面に反射した先行車両のテールライト等をパイロン等の路上標識であると誤検知する場合があり、このようにして誤検知された路面標識と自車両との距離が所定距離以下であるときには、運転者に対する警報がなされる。
そしてこの場合、当然ながら、運転者は肉眼で路上標識を認識していないため、上記警報は、運転者にとって違和感や煩わしさを生じさせるものとなる。
本発明はかかる背景を鑑みてなされたものであり、路上物の誤検知により、運転者に違和感や煩わしさを感じさせる接触回避処理がなされることを抑制した車両の制御装置を提供することを目的とする。
本発明は上記目的を達成するためになされたものであり、車両に搭載されたカメラによる撮像画像から、該車両の進行方向に存在する物体を認識する物体認識部と、前記物体認識部により認識された物体と前記車両との距離が、所定の判定距離以下になったときに、該物体と前記車両との接触を回避するための接触回避処理を実行する接触回避制御部とを備えた車両の制御装置に関する。
そして、前記車両の先行車両の通過軌跡を認識する先行車両軌跡認識部と、前記物体認識部により認識された所定種類の物体が、前記通過軌跡上にあるか否かを判断する物***置判断部と、降雨を検知する降雨検知部と、前記所定種類の物体が前記通過軌跡上にあるときに、前記判定距離を前記所定種類の物体が前記通過軌跡上にないときの前記判定距離よりも短く設定するか、又は前記接触回避制御部による前記接触回避処理の実行を禁止し、降雨状況であるときの前記判定距離を、降雨状況でないときの前記判定距離よりも短く設定する判定距離設定部とを備えたことを特徴とする(第1発明)。
第1発明によれば、先行車両の通過軌跡上には物体が存在しないはずであるので、前記物体認識部により認識された前記所定種類の物体が前記通過軌跡上にあるときは、この認識は、路面に反射した先行車両のテールライト等を前記所定種類の物体であると誤ってなされたものである可能性が高い。
そこで、前記判定距離設定部は、前記物体認識部により認識された前記所定種類の物体が前記通過軌跡上にあるときの前記判定距離を、前記物体認識部により認識された前記所定種類の物体が前記通過軌跡上にないときの前記判定距離よりも短く設定するか、又は前記接触回避制御部による前記接触回避処理の実行を禁止する。これにより、前記車両とその先行車両の間で誤検知された前記所定種類の物体を対象とした前記接触回避処理が実行されて、前記車両の運転者に違和感や煩わしさを生じさせることを抑制することができる。
さらに、第1発明においては、降雨状況であるときは、雨で濡れた路面に他車両のライトや道路脇のライトの光が反射し易くなり、前記物体認識部がこの反射光を前記所定種類の物体であると誤認識する可能性が高くなる。
そこで、前記判定距離設定部は、降雨状況であるときの前記判定距離を、降雨状況でないときの前記判定距離よりも短く設定する。これにより、濡れた路面で反射した他車両のライト等が前記所定種類の物体であると誤検知されたときに、前記接触回避処理が実行されて、前記車両の運転者に違和感や煩わしさを生じさせることを抑制することができる。
また、第1発明において、前記車両の将来進路を予測する将来進路予想部を備え、前記判定距離設定部は、前記車両の将来進路が曲線路であるときの前記判定距離を、前記車両の将来進路が直線路であるときの前記判定距離よりも短く設定することを特徴とする(第2発明)。
第2発明によれば、詳細は後述するが、前記車両の将来進路が曲線路であるときは、路面で反射した並走車両や対向車両のライトを、前記所定種類の物体であると誤認識する可能性がある。
そこで、前記判定距離設定部は、前記車両の将来進路が曲線路であるときの前記判定距離を、前記車両の将来進路が直線路であるときの前記判定距離よりも短く設定する。これにより、前記車両の並走車両や対向車両のライトの路面での反射光等が、前記所定種類の物体として誤検知されたときに、該誤検知された物体に対して前記接触回避処理が実行されて、前記車両の運転者に違和感や煩わしさを生じさせることを抑制することができる。
また、第1発明又は第2発明において、前記物体認識部は、前記所定種類の物体として、パイロンを認識することを特徴とする(第発明)。
発明によれば、前記所定種類がパイロンであって、前記カメラにより撮像されたときの明度が高く、路面に反射した他車両のライト等をパイロンであると誤認識され易いときに、この誤認識により前記接触回避処理が実行されて、前記車両の運転者に対して違和感や煩わしさを生じさせることを抑制することができる。
車両の制御装置の構成図。 コントローラのフローチャート。 判定距離の設定態様の説明図。 曲線路において並走車両があるときのパイロンの誤認識の説明図。 曲線路において自車両の将来進路の予測誤差が大きい場合のパイロンの誤認識の説明図。
本発明の実施形態について、図1〜図5を参照して説明する。図1を参照して、本実施形態において、本発明の車両の制御装置は、車両1(自車両)に搭載されたコントローラ10等により構成されている。
車両1には、車両1の前方を撮像する左カメラ20及び右カメラ21、車両1の速度を検出する速度センサ22、車両1の加速度を検出する加速度センサ23、車両1のヨーレート(旋回角速度)を検出するヨーレートセンサ24、アクセルペダル(図示しない)の操作量を検出するアクセルセンサ25、ブレーキペダル(図示しない)の操作量を検出するブレーキセンサ26、ステアリングハンドル(図示しない)の操舵角度を検出する操舵角センサ27、及び、降雨を検知する雨滴センサ28(本発明の降雨検知部に相当する)が備えられており、コントローラ10には、左カメラ20及び右カメラ21の映像信号と各センサの検出信号とが入力される。
また、車両1には、車両1の進行方向を変更する操舵装置40、車両1を減速させる制動装置41、及び車両1の運転者に対する警報(アラーム音の出力、アラーム表示等)を行う警報器42が備えられており、コントローラ10から出力される制御信号によって、操舵装置40、制動装置41、及び警報器42の作動が制御される。
コントローラ10は、CPU、メモリ等により構成された電子ユニットであり、メモリ(図示しない)に保持された車両制御用のプログラムをCPU(図示しない)で実行することにより、物体認識部11、距離検出部12、先行車両軌跡認識部13、物***置判断部14、判定距離設定部15、将来進路予測部16、及び接触回避制御部17として機能する。
物体認識部11は、左カメラ20及び右カメラ21の撮像画像から、図3(a),図3(b)に示したように、レーンマーク50a,50bにより区画された車両1の走行レーン51の前方に存在する物体(パイロン3、先行車両2等)を認識する。距離検出部12は、左カメラ20及び右カメラ21により同一物体を撮像したときの視差に基づいて、車両1とこの物体との距離を検出する。
先行車両軌跡認識部13は、図3(b)に示したように、物体認識部11により認識された先行車両2の位置を追跡して、先行車両2の走行軌跡(先行車両が通過した経路)60を認識する。物***置判断部14は、物体認識部11によりパイロン(本発明の所定種類の物体に相当する)が認識されたときに、パイロンが先行車両2の走行軌跡60上にあるか否かを判断する。
判定距離設定部15は、車両1とその前方の物体との接触を避けるための処理(接触回避処理)の実行タイミングを決定する判定距離Dthを設定する。将来進路予測部16は、車両1のヨーレート及び操舵装置40の操舵角度に基づいて、図4及び図5(a),図5(b)に示したように、車両1の将来進路70〜72を予測する。
接触回避制御部17は、物体認識部11により認識された物体(先行車両、パイロン等)と車両1間の距離が、判定距離Dth以下になったときに、接触回避処理を実行する。具体的には、接触回避制御部17は、制動装置41を作動させて車両1を減速すると共に、警報器42を作動させて警報音を出力する。
次に、図2に示したフローチャートに従って、コントローラ10による接触回避処理の実行手順について説明する。
STEP10,STEP11は物体認識部11による処理であり、物体認識部11は、左カメラ20又は右カメラ21の撮像画像により、STEP10で先行車両を探索し、STEP11でパイロンを探索する。物体認識部11により先行車両が認識されたときはSTEP20に分岐する。そして、先行車両軌跡認識部13が、先行車両の通過軌跡を認識する。
物体認識部11によりパイロンが認識されたときは、STEP11からSTEP30に分岐する。STEP30は距離検出部12による処理であり、距離検出部12は、車両1とパイロン間の距離Dsを検出する。
続くSTEP31〜STEP32及びSTEP40は、判定距離設定部15による処理である。判定距離設定部15は、物体認識部11により認識されたパイロンが、先行車両の通過軌跡上にあるか否かを判断する。
そして、パイロンが先行車両の通過軌跡上にないときはSTEP32に進み、判定距離設定部15は、第1判定距離Dth1を判定距離Dthとする。一方、パイロンが先行車両の通過軌跡上にあるときにはSTEP40に分岐し、判定距離設定部15は、第1判定距離Dth1よりも短い第2判定距離Dth2(Dth2<Dth1)を判定距離Dthとする。
次のSTEP33及びSTEP34は、接触回避制御部17による処理である。接触回避制御部17は、STEP33で、パイロンと車両1間の距離が判定距離Dth以下であるか否かを判断する。
そして、パイロンと車両1間の距離が判定距離Dth以下であるときはSTEP34に進み、接触回避制御部17は、制動装置41をさせて車両1を減速すると共に、警報器42を作動させて警報音を出力する接触回避処理を実行する。一方、パイロンと車両1間の距離が判定距離Dthを超えているときにはSTEP12に進み、接触回避制御部17は、接触回避処理を実行しない。
ここで、図3(a)は、先行車両がなく、パイロン3が先行車両の通過軌跡上にない状況を示しており、第1判定距離Dth1が判定距離Dthに設定されている。この場合は、パイロン3と車両1間の距離がDth1以下であるときに、接触回避制御部17により接触回避処理が実行される。
それに対して、図3(b)は、先行車両2の通過軌跡60上にパイロン4がある状況を示している。本来であれば、先行車両2が通過した跡にはパイロン等の物体は存在しない筈である。そのため、通過軌跡60上で認識されたパイロン4は、路面に反射した先行車両2のテールライト等がパイロンであると誤認識されたものである可能性が高い。
そして、このような誤認識によるパイロン4と車両1間の距離がDth1以下であるときに、図3(a)と同様に、接触回避制御部17により接触回避処理が実行されると、車両1の運転者が視認していないパイロンに対して、接触回避処理が実行されることになるため、運転者に違和感や煩わしさを感じさせてしまう。
そこで、図3(b)に示したように、第1判定距離Dth1よりも短い第2判定距離Dth2を判定距離Dthとすることにより、誤認識によるパイロン4に対して接触回避処理が実行されることを回避して、車両1の運転者に違和感や煩わしさを与えることを抑制することができる。
また、図3(c)に示したように、それまで認識されていた先行車両をP1でロストした場合、先行車両軌跡認識部13は、以下の式(1)で算出した長さLpの車両1の前方範囲を、先行車両の通過軌跡とする。
但し、Lp:先行車両の通過軌跡の長さ、L0:先行車両をロストした時点での車両1と先行車両間の距離、v:車両1の走行速度、Δt:先行車両をロストした時点からの経過時間。
次に、図4及び図5(a),図5(b)を参照して、車両1が曲線路を走行している場合の判定距離Dthの設定について説明する。
図4に示したように、車両1が曲線路を走行しているときには、前方の並走車両2bのテールライト80の反射光90が、物体認識部11によりパイロンであると誤認識され易くなる。そこで、判定距離設定部15は、将来進路予測部16により予測された車両1の将来進路が曲線路であるときには、Dth1(図3(a)参照)よりも短いDth4を判定距離Dthに設定する。
また、降雨時にも、他車両のテールランプや路側帯に設けられた照明が濡れた路面に反射し易くなり、反射光を物体認識部がパイロンであると誤認識され易くなる。そこで、判定距離設定部15は、雨滴センサ28により降雨が検出されているとき(降雨状況)は、降雨状況でないときよりも、判定距離Dthを短い距離に設定する。
このように、判定距離設定部15により将来進路及び降雨に応じて判定距離Dthを変更することによって、接触回避制御部17により、誤認識されたパイロンに基づく接触回避処理が実行されることを抑制することができる。そして、これにより、誤認識されたパイロン90に対して実行された接触回避処理により、車両1の運転者に違和感や煩わしさを感じさせることを抑制することができる。
なお、本実施形態では、本発明の降雨検知部として雨滴センサ28を用いたが、ワイパー(図示しない)の作動の有無により降雨を検知する構成を採用してもよい。また、通信により天候情報を得て、降雨を検知する構成を採用してもよい。
ここで、将来進路予測部16は、速度センサ22により検出される車両1の走行速度と、ヨーレートセンサ24により検出される車両1のヨーレートとに基づいて、車両1の将来進路を予測する。なお、車両1の走行速度が所定速度以上である高速域では、車両1のヨーレートに基づいて将来進路を予測し、車両1の走行速度が所定速度未満の低速域では、操舵角センサ27により検出される操舵装置40の操作角に基づいて将来進路を予測するようにしてもよい。また、車両1がナビゲーションシステムを搭載している場合には、ナビゲーションシステムにより得られる道路情報から、車両1の将来進路を予測するようにしてもよい。
次に、図5(a)に示したように、車両1が直線路を走行しているときは、車両1の将来進路71を精度良く推定することができるが、図5(b)に示したように、車両1が曲線路を走行しているときには、ヨーレートセンサ24により検出されるヨーレートの誤差により、車両1からの距離が長くなるに従って将来進路72の予測精度が低くなる。
その結果、接触回避制御部17により、将来進路72上に誤認識されたパイロン90が存在すると判断されて、接触回避処理が実行される場合が生じ得る。そこで、判定距離設定部15により、将来進路が曲線路であるときの判定距離Dthを、将来進路が直線路であるときの判定距離Dth4よりも短いDth5に設定する。
そして、将来進路が曲線路であるときの判定距離Dthを、将来進路が曲線路であるときよりも短く設定することにより、将来進路の予測誤差によって誤認識されたパイロンに基づく接触回避処理が、接触回避制御部17により実行されて、車両1の運転者に違和感や煩わしさを感じさせることを抑制することができる。
なお、本実施形態において、物体認識部11は本発明の所定種類の物体としてパイロンを認識したが、路上に置かれた他の種類の物体を認識する場合にも、本発明の適用が可能である。
また、本実施形態においては、判定距離設定部15により、車両1の将来進路及び降雨状況に応じて判定距離Dthを変更したが、このような判定距離Dthの変更を行わない場合であっても、本発明の効果を得ることができる。
また、本実施形態においては、左カメラ20及び右カメラ21を備えたが、1台のカメラによる撮像画像から、先行車両及びパイロン等の物体を認識するようにしてもよい。
また、本実施形態においては、左カメラ20及び右カメラ21の視差に基づいて、車両1と物体との距離を検出したが、1台のカメラによる時系列の撮像画像間での同一物体の画像部分のサイズの変化に基づいて、車両1と物体との距離を検出してもよい。或いは、レーダ装置等の測距装置を用いて、車両1と物体との距離を検出してもよい。
また、本実施形態においては、図2のSTEP31で、物体認識部11により認識されたパイロンが先行車両の通過軌跡上にあるときに、STEP40に分岐して、判定距離設定部15により判定距離Dthを短く設定したが、接触回避制御部17による接触回避処理の実行を禁止するようにしてもよい。
また、本実施形態において、接触回避制御部17は、接触回避処理として、制動装置41による車両1の減速処理と、警報器42による車両1の運転者への注意喚起処理とを行ったが、操舵装置40による車両1の進路変更処理を行ってもよい。さらに、これらの処理のいずれか一つのみを行ってもよく、いずれか又は全ての処理を組み合わせて実行してもよい。
1…車両(自車両)、2…他車両(先行車両)、10…コントローラ、11…物体認識部、12…距離検出部、13…先行車両軌跡認識部、14…物***置判断部、15…判定距離設定部、16…将来進路予測部、17…接触回避制御部、20…左カメラ、21…右カメラ、22…速度センサ、23…加速度センサ、24…ヨーレートセンサ、25…アクセルセンサ、26…ブレーキセンサ、27…操舵角センサ、28…雨滴センサ、40…操舵装置、41…制動装置、42…警報器。

Claims (3)

  1. 車両に搭載されたカメラによる撮像画像から、該車両の進行方向に存在する物体を認識する物体認識部と、
    前記物体認識部により認識された物体と前記車両との距離が、所定の判定距離以下になったときに、該物体と前記車両との接触を回避するための接触回避処理を実行する接触回避制御部とを備えた車両の制御装置であって、
    前記車両の先行車両の通過軌跡を認識する先行車両軌跡認識部と、
    前記物体認識部により認識された所定種類の物体が、前記通過軌跡上にあるか否かを判断する物***置判断部と、
    降雨を検知する降雨検知部と、
    前記所定種類の物体が前記通過軌跡上にあるときに、前記判定距離を前記所定種類の物体が前記通過軌跡上にないときの前記判定距離よりも短く設定するか、又は前記接触回避制御部による前記接触回避処理の実行を禁止し、降雨状況であるときの前記判定距離を、降雨状況でないときの前記判定距離よりも短く設定する判定距離設定部と
    を備えたことを特徴とする車両の制御装置。
  2. 請求項1記載の車両の制御装置において、
    前記車両の将来進路を予測する将来進路予想部を備え、
    前記判定距離設定部は、前記車両の将来進路が曲線路であるときの前記判定距離を、前記車両の将来進路が直線路であるときの前記判定距離よりも短く設定することを特徴とする車両の制御装置。
  3. 請求項1又は請求項2記載の車両の制御装置において、
    前記物体認識部は、前記所定種類の物体として、パイロンを認識することを特徴とする車両の制御装置。
JP2010269529A 2010-12-02 2010-12-02 車両の制御装置 Expired - Fee Related JP5350353B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010269529A JP5350353B2 (ja) 2010-12-02 2010-12-02 車両の制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010269529A JP5350353B2 (ja) 2010-12-02 2010-12-02 車両の制御装置

Publications (2)

Publication Number Publication Date
JP2012118874A JP2012118874A (ja) 2012-06-21
JP5350353B2 true JP5350353B2 (ja) 2013-11-27

Family

ID=46501589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010269529A Expired - Fee Related JP5350353B2 (ja) 2010-12-02 2010-12-02 車両の制御装置

Country Status (1)

Country Link
JP (1) JP5350353B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170121562A (ko) * 2016-04-25 2017-11-02 현대자동차주식회사 네비게이션 장치, 차량 및 차량의 제어방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6254083B2 (ja) 2012-07-27 2017-12-27 クラリオン株式会社 車載用周囲環境認識装置
JP6530782B2 (ja) * 2017-06-09 2019-06-12 株式会社Subaru 車両制御装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3393767B2 (ja) * 1996-11-08 2003-04-07 三菱電機株式会社 車両用障害物検出装置
JP4210640B2 (ja) * 2004-10-29 2009-01-21 本田技研工業株式会社 車両用制御対象判定装置および車両制御装置
JP4901275B2 (ja) * 2006-04-07 2012-03-21 富士重工業株式会社 走行誘導障害物検出装置および車両用制御装置
JP2009031053A (ja) * 2007-07-25 2009-02-12 Fujitsu Ten Ltd 前方障害物検出装置
JP2010159053A (ja) * 2010-02-26 2010-07-22 Toyota Motor Corp 車両用走行制御装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170121562A (ko) * 2016-04-25 2017-11-02 현대자동차주식회사 네비게이션 장치, 차량 및 차량의 제어방법
KR101866728B1 (ko) * 2016-04-25 2018-06-15 현대자동차주식회사 네비게이션 장치, 차량 및 차량의 제어방법
US10337881B2 (en) 2016-04-25 2019-07-02 Hyundai Motor Company Navigation device, vehicle, and method for controlling the vehicle

Also Published As

Publication number Publication date
JP2012118874A (ja) 2012-06-21

Similar Documents

Publication Publication Date Title
US9415718B2 (en) Vehicular headlight apparatus
EP2803546B1 (en) Collision mitigation apparatus
US9815459B2 (en) Collision avoidance support device
US9764719B2 (en) Method and device for avoiding a possible subsequent collision and for reducing the accident consequences of a collision
US20140343749A1 (en) Collision mitigation apparatus
CN107209998B (zh) 车道线识别装置以及车道线识别方法
JP2018106486A (ja) 車両用衝突回避支援装置および車両の衝突回避支援方法
CN107004367B (zh) 车辆的行驶控制装置以及行驶控制方法
JP2012089114A (ja) 障害物認識装置
JP2019093764A (ja) 車両制御装置
JP4876772B2 (ja) 割込車両判定装置
US9852626B2 (en) Vehicle driving assistance apparatus and vehicle driving assistance method
JP6970547B2 (ja) 車両制御装置及び車両制御方法
JP7414497B2 (ja) 運転支援装置
JP6506624B2 (ja) 車両の運転支援装置、及び運転支援方法
US10787171B2 (en) Method for operating a vehicle
JP5298104B2 (ja) 車両の制御装置
JP2003288691A (ja) 割り込み予測装置
CN111989727A (zh) 车辆行驶辅助方法及车辆行驶辅助装置
US10747230B2 (en) Vehicle control apparatus, vehicle control system, and image sensor
JP4913101B2 (ja) 車両用道路形状検出装置
WO2019009032A1 (ja) 車両制御装置
JP3602337B2 (ja) 車両走行制御装置
JP5350353B2 (ja) 車両の制御装置
CN113753051B (zh) 车辆控制方法、车辆控制程序以及车辆控制***

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130312

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130821

R150 Certificate of patent or registration of utility model

Ref document number: 5350353

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees