JP4914365B2 - 見通し距離測定装置 - Google Patents

見通し距離測定装置 Download PDF

Info

Publication number
JP4914365B2
JP4914365B2 JP2007537350A JP2007537350A JP4914365B2 JP 4914365 B2 JP4914365 B2 JP 4914365B2 JP 2007537350 A JP2007537350 A JP 2007537350A JP 2007537350 A JP2007537350 A JP 2007537350A JP 4914365 B2 JP4914365 B2 JP 4914365B2
Authority
JP
Japan
Prior art keywords
distance
pixel
image
landscape
contrast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007537350A
Other languages
English (en)
Other versions
JP2008517292A (ja
Inventor
ハウティエレ,ニコラ
ラバイラド,ラファエル
オベール,ディディエ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institut National de Recherche sur les Transports et leur Securite INRETS
Original Assignee
Institut National de Recherche sur les Transports et leur Securite INRETS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institut National de Recherche sur les Transports et leur Securite INRETS filed Critical Institut National de Recherche sur les Transports et leur Securite INRETS
Publication of JP2008517292A publication Critical patent/JP2008517292A/ja
Application granted granted Critical
Publication of JP4914365B2 publication Critical patent/JP4914365B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N21/49Scattering, i.e. diffuse reflection within a body or fluid
    • G01N21/53Scattering, i.e. diffuse reflection within a body or fluid within a flowing fluid, e.g. smoke
    • G01N21/538Scattering, i.e. diffuse reflection within a body or fluid within a flowing fluid, e.g. smoke for determining atmospheric attenuation and visibility
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Processing (AREA)

Description

本発明は、車輌に搭載されるものを含む見通し距離(sight distance)測定装置を提供する。
明視距離(visibility distance)、より詳細には気象明視距離(weather visibility distance)の一般的な定義は、以下のようなものである。すなわち、適当なサイズの黒体(black object)のコントラストが2%から5%程度の所定値よりも小さくなると感知される上限距離である。2つの物体間のコントラストは通常マイケルソン(Michelson)の式、すなわち、
C=(Lmax−Lmin)/(Lmax+Lmin)
で定義される。
この式において、Lmaxは明るい方の物体の輝度を表し、Lminは暗い方の物体の輝度を表す。
例えばウェバー(Weber)のコントラスト
C=(Lmax−Lmin)/Lmin
のような他の式も用いられる。
明視距離、より正確には気象明視距離を算出することは、少なくとも2つの理由から有益である。最初に、明視距離の測定そのものが、視界条件に適合して運転を可能とする情報を車輌運転手に提供することができる。次に、気象明視距離は、物体検出システム内だけで機能するのではない。通常、例えば道路検出アプリケーションといった、環境におけるある種の要素を感知するために必要な何らかの状況での運転補助(driving assistance)を提供するという点で有益であり得る。
運転補助の提供のために気象明視距離を利用することは、測定センサを調整することを含むだけではない。視界についての知見に基づいて運転補助を提供する手段は、例えば、当該手段の動作が劣化している、または、視界条件が当該手段の動作範囲外であるために運転補助が動作していないといった、運転手に対する警告として機能し得る。
本発明の目的は、車輌ボードに取り付けられることが可能であって、すべての視界状況下において、車輌の環境について気象明視距離を算出する装置を提供することである。
課題を解決するための手段及び効果
この目的を達成するために、本発明によると、風景内の明視距離判定装置は、
・明視距離が判定されるべき風景画像を撮像するカメラと、
・前記風景画像を格納する手段と、
・前記風景画像内の各画素を、前記カメラと当該画素に対応する前記風景内の点との間の距離を表す情報に関連付けることによって、距離マップを得る手段と、
・前記風景画像の画素の少なくとも幾つかの隣接画素に関連したコントラストが少なくとも幾つかの隣接画素に関連した所定値よりも大きいか否かを検出する画像処理手段と、
・最大距離に対応する画素から始めて、コントラストが前記所定値よりも大きいというコントラスト条件を満たす最初の画素が見つかるまで、前記風景画像の複数の画素に前記コントラスト検出処理を繰り返して行う手段と、
・前記距離マップから、明視距離である距離情報を前記画素に関連付ける手段と、を備えることを特徴とする。
この明視距離判定装置は、明視距離を判定することが望まれる風景の画像を撮像するカメラと、風景画像内の各画素を、カメラと当該画素に対応する風景内の点との間の距離を表す情報に関連付ける手段と、この情報を処理する手段とを備えていることが理解できる。この処理手段は、マイケルソンの式又はその他のコントラスト式と、カメラから最大距離に対応する画素から始めてコントラストが所定値よりも大きい最初の画素が見つかるまで、風景画像をスキャンすることによって、風景画像内の複数の画素にコントラスト検出処理を連続して行う手段とを適用することによってコントラストを測定するアルゴリズムを実行する。カメラと所定コントラストを有する最初の画素に対応する前記風景内の点との間の距離は、明視距離、より正確には気象明視距離を与える。
本発明の第1の実施の形態では、風景画像内の各画素を距離を表す情報に関連付ける手段が、画像を撮像する第2のカメラを備えている。そして、距離を表す情報は、2つのカメラを用いて得られる立体視(stereovision)画像を処理する公知の手段によって抽出される。
第2の実施の形態では、風景画像内の各画素を距離を表す情報に関連付ける手段が、カメラの前で風景をスキャニングする遠隔計測器(telemeter)を備えている。そして、遠隔計測器によって、風景画像内の各画素をカメラに対する距離を表す情報に関連付けることが可能である。
本発明のその他の特徴及び利益は、制限されない例としての複数の実施の形態についての以下の記述から、より明らかとなる。
最初に図1を参照して、明視距離判定装置の第1の実施の形態を、この装置が車輌に搭載された場合について説明する。車輌の前方に取り付けられた2つのカメラ12及び14が示されている。これら2つのカメラ12及び14の光軸x−x’及びy−y’は、2つのカメラ12及び14が車輌の前方風景の立体視画像を取り込むことが保証されるような方向に向けられている。通常、風景は、車輌が走行する道路を含んでいる。好ましくは、2つのカメラ12及び14は、デジタルカメラであって、画像の様々な画素に関する情報を直接デジタル形式で配信する。また、アナログカメラとアナログ−デジタルコンバータとを用いることも可能である。2つのカメラ12及び14によってそれぞれ撮像された画像に対応するデジタル情報は、メモリ16に格納される。
これら2つの画像に関する情報は、マイクロプロセッサ20、プログラムメモリ22及びデータメモリ24によって基本的に構築されるプロセッサアセンブリ(processor assembly)18によって処理される。プログラムメモリ22は、メモリ16に格納された2つの画像の画素情報から相違マップ(map of differences)を生成する第1プログラムProg 1 を含んでいる。プログラムメモリ22は、さらに、例えばマイケルソンの式を実行することによって、画像のある画素とその周辺の複数画素との間のコントラストを算出する第2プログラムProg 2 を含んでいる。プログラムメモリ22は、第2プログラムProg 2 を用いて各画素のコントラストを連続して算出するために、風景画像内の複数画素をスキャニングする第3プログラムProg 3 を含んでいる。明視距離を判定するための第4プログラムProg 4 は、所望コントラストの画素が検出されると、カメラの位置と当該画素に関連付けられた風景内の点との間の距離を算出するように機能し、これによって明視距離を得る。さらに、本装置は、好ましくは、従前に算出した明視距離を表示するためのディスプレイシステム26を含んでいる。
以下、明視距離が得られるような処理の各ステップを説明する。第1プログラムProg 1 を用いて、マイクロプロセッサ20が、カメラ12及び14によってそれぞれ撮像された2つの画像に対応するデジタル情報に基づいて、相違マップを生成する。この相違マップは、風景の共通点の、2つのカメラによってそれぞれ撮像された画像内の異なる複数の位置を表す情報を含んでいる。相違マップの生成手法は、"In-vehicle obstacles detection and characterization by stereovision", (Raphael Labayrade and Didier Aubert著、 In Vehicle Cognitive Computer Vision Systems, ICVS, Gratz, April 3, 2003)に記載されている。
相違マップは、データメモリ24に格納され、距離マップを構成する。当然、測定設定(measurement installation)において初期較正(calibration)を行う必要がある。相違マップに基づいて、スキャナープログラムProg 3 が、カメラからの最大距離に対応する複数画素から、画像の画素を連続的にスキャンする。各画素について、コントラストを算出するプログラムProg 2 が実行される。プログラムProg 2 は、上述したマイケルソンの式または他のコントラストを測定するために選択された式に対応したアルゴリズムを実行する。このような式からコントラストを算出するために、コーラー(R. Kohler)著の "A segmentation technique based on thresholding",(CVGIP 15, 1981, pages 319-338)に記載されたコーラー(Kohler)法を用いることができる。画素が所定値(検討中の例では5%)より大きなコントラストに関連付けられると、プログラムProg 4 がスキャニングを中断し、メモリ24に格納された様々なマップに含まれた情報を用いて、カメラと、所望コントラストを有する画像画素に対応した風景内の点との間の実際の距離を算出する。例としては、この距離はディスプレイ装置26に表示される。当然、実際の距離を算出するには、カメラによって送出される情報の初期較正を行う必要がある。
この装置が自走式車輌に搭載されたとき、明視距離情報は所定間隔で算出され、当該車輌のいくつかの機能を自動制御するために用いられる。例えば、明視距離情報は、車輌に他の車輌に対する距離を測定する手段が取り付けられたときに、速度を制限するため、または、当該装置が取り付けられた当該車輌の前方にある車両からの距離をモニタするために用いられてよい。
上述したように、この明視距離値は、車輌に取り付けられて障害物までの距離を測定する装置を制御するために用いることができる。
本発明の第2の実施の形態は、画像の各画素を、画像を撮像するカメラと画素に関連付けられた風景内の点との間の距離を表す情報に関連付ける手段の定義においてのみ、第1の実施の形態と相違している。より正確には、第2の実施の形態では、立体視画像が単一画像に置き換えられ、距離情報は、カメラ12によって撮像された画像に係る風景をスキャンする遠隔計測器によって提供される。そして、処理手段に関連付けられたメモリは、まず撮像された画像の様々な画素に対応するデジタル情報を受信し、次に、遠隔計測器によって送出された距離情報を受信し、それによって、距離マップを構築する。当然、カメラ及び遠隔計測器は、初期較正される必要がある。この情報に基づいて、マイクロプロセッサ20によって、図1及び図2に関して説明したのと同様に処理が行われる。
より正確には、相違マップが遠隔計測器手段によって送出された距離の組に置き換えられ、距離の関数としての画像のスキャニングが、遠隔計測器装置そのものによって送出された距離情報に基づいて制御される。
明視距離判定装置の第1の実施の形態の概略図である。 この明視距離判定装置で実行される処理方法のフローチャートである。 明視距離判定装置の第2の実施の形態の概略図である。

Claims (6)

  1. 明視距離が判定されるべき風景画像を撮像するカメラと、
    前記風景画像を格納する手段と、
    前記風景画像内の各画素を、前記カメラと当該画素に対応する前記風景内の点との間の距離を表す情報に関連付けることによって、距離マップを得る手段と、
    前記風景画像の画素の少なくとも幾つかの隣接画素に関連したコントラストが所定値よりも大きいか否かを検出する画像処理手段と、
    最大距離に対応する画素から始めて、コントラストが前記所定値よりも大きいというコントラスト条件を満たす最初の画素が見つかるまで、前記風景画像の複数の画素に前記コントラスト検出処理を繰り返して行う手段と、
    前記距離マップから、明視距離である距離情報を前記画素に関連付ける手段と、を備えることを特徴とする風景内の明視距離判定装置。
  2. 前記距離マップを得る手段が、
    立体視効果を得るために、同じ風景の別角度からの第2の画像を撮像するのに適した他のカメラと、
    第1の画像内の各画素の距離を表す情報を演繹(deduce)するために、前記2つの画像の複数画素を処理する手段とを備えていることを特徴とする請求項1に記載の明視距離判定装置。
  3. 前記距離マップを得る手段が、前記画像の各画素を距離を表す情報に関連付けるために、前記風景をスキャニングするために適した遠隔計測器手段を備えていることを特徴とする請求項1に記載の明視距離判定装置。
  4. 前記所定値が、2%から5%の範囲にあるコントラストに対応していることを特徴とする請求項1〜3のいずれか1項に記載の明視距離判定装置。
  5. 車輌に取り付けられていることを特徴とする請求項1〜4のいずれか1項に記載の明視距離判定装置。
  6. 少なくとも道路を含む風景内で距離情報を判定するための、請求項1〜5のいずれか1項に記載の明視距離判定装置。
JP2007537350A 2004-10-19 2005-10-19 見通し距離測定装置 Active JP4914365B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0411061A FR2876826B1 (fr) 2004-10-19 2004-10-19 Dispositif de mesure de distance de visibilite
FR0411061 2004-10-19
PCT/FR2005/050867 WO2006043003A1 (fr) 2004-10-19 2005-10-19 Dispositif de mesure de distance de visibilite

Publications (2)

Publication Number Publication Date
JP2008517292A JP2008517292A (ja) 2008-05-22
JP4914365B2 true JP4914365B2 (ja) 2012-04-11

Family

ID=34951174

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007537350A Active JP4914365B2 (ja) 2004-10-19 2005-10-19 見通し距離測定装置

Country Status (10)

Country Link
US (1) US7873188B2 (ja)
EP (1) EP1802960B1 (ja)
JP (1) JP4914365B2 (ja)
CN (1) CN101044390B (ja)
AT (1) ATE515689T1 (ja)
ES (1) ES2369483T3 (ja)
FR (1) FR2876826B1 (ja)
PL (1) PL1802960T3 (ja)
SI (1) SI1802960T1 (ja)
WO (1) WO2006043003A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2902556B1 (fr) 2006-06-15 2008-08-15 Valeo Vision Sa Procede de determination d'une distance de visibilite pour un conducteur d'un vehicule.
FR2922506B1 (fr) 2007-10-18 2010-03-19 Renault Sas Procedes de mesure de la distance de visibilite d'un conducteur de vehicule automobile et de calcul d'une consigne de vitesse du vehicule, et systemes pour leur mise en oeuvre
MX2011011865A (es) * 2009-05-09 2012-02-29 Vital Art And Science Inc Sistema de evaluacion y rastreo de discriminacion visual de forma.
US9659237B2 (en) 2012-10-05 2017-05-23 Micro Usa, Inc. Imaging through aerosol obscurants
CN103149603B (zh) * 2013-03-07 2015-07-01 安徽皖通科技股份有限公司 一种基于视频的道路气象检测方法
US9805058B2 (en) * 2014-06-01 2017-10-31 Microsoft Technology Licensing, Llc Visibility of a point of interest based on environmental conditions
US10380451B2 (en) 2014-11-06 2019-08-13 Gentex Corporation System and method for visibility range detection
IL260822B (en) 2018-07-26 2019-12-31 Ophir Yoav Method and system for a dynamic collision awareness envelope for a vehicle
US11656090B2 (en) * 2018-10-08 2023-05-23 Here Global B.V. Method and system for generating navigation data for a geographical location
FR3096640B1 (fr) * 2019-05-28 2023-04-14 Continental Automotive Procédé et dispositif de détermination de distance de visibilité pour l’aide au dépassement
JP7476016B2 (ja) 2020-07-21 2024-04-30 株式会社日立製作所 視程評価装置、視程評価システム及び視程評価方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08219784A (ja) * 1995-02-20 1996-08-30 Hokkaido Kaihatsukyoku Kaihatsu Doboku Kenkyusho 視程計測方法
JPH112519A (ja) * 1996-07-17 1999-01-06 Fuji Electric Co Ltd 距離測定装置
US6208938B1 (en) * 1997-09-19 2001-03-27 Cambridge Management Advanced Systems Corporation Apparatus and method for monitoring and reporting weather conditions
US6362773B1 (en) * 1999-06-24 2002-03-26 Robert Bosch Gmbh Method for determining range of vision
JP2002163792A (ja) * 2000-11-27 2002-06-07 Natl Inst For Land & Infrastructure Management Mlit 障害物衝突防止支援システム
JP2003178311A (ja) * 2002-10-25 2003-06-27 Mitsubishi Electric Corp リアルタイム表情追跡装置
US20030197867A1 (en) * 1999-03-12 2003-10-23 Kwon Taek Mu Video camera-based visibility measurement system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5195144A (en) * 1988-11-15 1993-03-16 Thomson-Csf Process for estimating the distance between a stationary object and a moving vehicle and device for using this process
DE59509929D1 (de) * 1994-07-06 2002-01-24 Volkswagen Ag Verfahren zur Ermittlung der Sichtweite, insbesondere für die Bewegung eines Kraftfahrzeuges
FR2847367B1 (fr) * 2002-11-19 2005-01-14 Valeo Vision Procede et dispositif de determination de la distance de visibilite du conducteur d'un vehicule
US7321669B2 (en) * 2003-07-10 2008-01-22 Sarnoff Corporation Method and apparatus for refining target position and size estimates using image and depth data
DE10332119B3 (de) * 2003-07-16 2004-12-09 Siemens Audiologische Technik Gmbh Aktive Störgeräuschunterdrückung bei einem im Ohr tragbaren Hörhilfegerät oder einem Hörhilfegerät mit im Ohr tragbarer Otoplastik

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08219784A (ja) * 1995-02-20 1996-08-30 Hokkaido Kaihatsukyoku Kaihatsu Doboku Kenkyusho 視程計測方法
JPH112519A (ja) * 1996-07-17 1999-01-06 Fuji Electric Co Ltd 距離測定装置
US6208938B1 (en) * 1997-09-19 2001-03-27 Cambridge Management Advanced Systems Corporation Apparatus and method for monitoring and reporting weather conditions
US20030197867A1 (en) * 1999-03-12 2003-10-23 Kwon Taek Mu Video camera-based visibility measurement system
US6362773B1 (en) * 1999-06-24 2002-03-26 Robert Bosch Gmbh Method for determining range of vision
JP2002163792A (ja) * 2000-11-27 2002-06-07 Natl Inst For Land & Infrastructure Management Mlit 障害物衝突防止支援システム
JP2003178311A (ja) * 2002-10-25 2003-06-27 Mitsubishi Electric Corp リアルタイム表情追跡装置

Also Published As

Publication number Publication date
CN101044390A (zh) 2007-09-26
JP2008517292A (ja) 2008-05-22
FR2876826A1 (fr) 2006-04-21
EP1802960B1 (fr) 2011-07-06
US7873188B2 (en) 2011-01-18
CN101044390B (zh) 2011-06-01
FR2876826B1 (fr) 2007-03-02
EP1802960A1 (fr) 2007-07-04
WO2006043003A1 (fr) 2006-04-27
US20080137911A1 (en) 2008-06-12
ES2369483T3 (es) 2011-12-01
SI1802960T1 (sl) 2012-01-31
ATE515689T1 (de) 2011-07-15
PL1802960T3 (pl) 2012-05-31

Similar Documents

Publication Publication Date Title
JP4914365B2 (ja) 見通し距離測定装置
US10304228B2 (en) Vehicular display apparatus and vehicular display method
JP5339124B2 (ja) 車載カメラの校正装置
JP5341789B2 (ja) パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム
US10560686B2 (en) Photographing device and method for obtaining depth information
US20080181591A1 (en) Camera posture estimation device, vehicle, and camera posture estimation method
KR102653816B1 (ko) 이미지에서 가상의 기다란 거리 마커로 자동차의 주위환경 영역을 나타내는 방법, 컴퓨터 프로그램 제품 및 디스플레이 시스템
JP2800530B2 (ja) 車間距離検出装置
JP2007181129A (ja) 車載用移動体検出装置
JP2536986B2 (ja) 車間距離検出装置
JP4677847B2 (ja) 車両用周囲監視装置及び車両周囲監視方法
JP5208790B2 (ja) 画像処理装置、画像処理方法ならびにプログラム
JP2019188855A (ja) 車両用視認装置
JPH0552562A (ja) 先行車追尾用車間距離検出装置
JP5338786B2 (ja) 車両用表示装置
JP6855254B2 (ja) 画像処理装置、画像処理システム、及び、画像処理方法
JP2009062020A (ja) 周囲車両表示装置
JP4715604B2 (ja) 周辺画像表示装置
WO2020234912A1 (ja) 携帯装置、位置表示方法、及び位置表示プログラム
EP2272730A1 (en) Method and apparatus for displaying distance data in a parking distance control system
US20220113260A1 (en) Image processing apparatus
JP2827682B2 (ja) 車間距離検出装置
KR20180026418A (ko) 헤드업 디스플레이의 좌표 매칭 장치 및 그 방법
JP2011107952A (ja) 車両周辺監視装置
CN111902845B (zh) 用图像中虚拟的、拉长距离标记来表示机动车辆的环境区域的方法、计算机程序产品以及显示***

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110809

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111109

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111227

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120120

R150 Certificate of patent or registration of utility model

Ref document number: 4914365

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150127

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250