JP6107097B2 - 道路分割体検知方法及び装置 - Google Patents
道路分割体検知方法及び装置 Download PDFInfo
- Publication number
- JP6107097B2 JP6107097B2 JP2012268295A JP2012268295A JP6107097B2 JP 6107097 B2 JP6107097 B2 JP 6107097B2 JP 2012268295 A JP2012268295 A JP 2012268295A JP 2012268295 A JP2012268295 A JP 2012268295A JP 6107097 B2 JP6107097 B2 JP 6107097B2
- Authority
- JP
- Japan
- Prior art keywords
- road
- parallax
- point
- overhead view
- basic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
2 実施例
2.1 道路分割体検知の全体工程
2.2 視差俯瞰図の取得
2.3 視差俯瞰図における平行線の検知
2.3.1 基本点に関わる夾角の角度分布
2.3.2 道路消失点の決定
2.3.3 平行線となる道路分割体の検知
2.3.4 道路分割体の更なる区分
2.4 道路分割体検知装置
3.まとめ
<1 発明の思想の略述及び基本概念の説明>
詳細な説明の前に、先ず、当業者の本発明への容易な理解のために、本発明の思想を全体的に説明する。白線、路肩石、フェンス、路端等の道路分割体を考察すると、これらの共通性は、通常の場合に平行していることである。相違点としては、高さと面積が異なることであり、例えば、フェンスは、高さが最も高く、かつ面積が最大であり、路肩石が次で、白線が最も高さが低く、面積が最小となる。U−視差図(U−disparity)は、高さという1次元の特徴をなくした俯瞰図の特性(このため、以下では、視差俯瞰図と称する)と、視差俯瞰図における各平行線が視差ゼロとなる点の視差点に交差するという、2つの特性を有する。このため、本発明においては、視差俯瞰図の該2つの特性を用いて、視差俯瞰図からの平行線の検知により、各種道路分割体の一括検知を行っている。
<2.1 道路分割体検知の全体工程>
図1は、本発明への容易な理解のための、本発明を適用可能な1例の車載システムの略図である。本発明のソフトウェアや、ハードウェアは、道路検知部として実現可能である。
以下、図3を参照して、本発明の1実施例における図2のステップS210の道路領域を含む視差俯瞰図の取得方法を説明する。
Hは、視差図の高さであり、wは、視差図の幅であり、di(ui,vi)は、点(ui,vi)の視差値である。
dmax は、視差図Dにおける視差最大値である。
以下、図6を参照して、視差俯瞰図から道路分割体となる平行線を検知する方法600について、詳細に説明する。
前述のように、3次元空間における平行線は、交差しないか、無限の遠方で交差するものと見なされるが、視差俯瞰図における平行線は、視差値がゼロとなる1点に交差し、ここでは、該交差点を道路消失点と称している。視差値がゼロとなる点は、該点が左右の目からみて同様なものとなる点を表し、該点は、無限の遠方にあることになる。視差俯瞰図においては、視差値がゼロとなる点は1つの横線上に位置し、ここでは、視差値がゼロとなる点を基本点と総称している。このため、次の動作としては、複数の基本点における、平行線の交差点(即ち、道路消失点)となる1基本点または複数の基本点を決定する。
夾角分布の決定後は、基本点における、夾角の角度分布集合度を降順にした場合の先頭のN(Nは、1以上の整数)列に並ぶ基本点を道路消失点とすることができる。前述のように、道路消失点とは、平行する道路分割体の視差俯瞰図における交差点であり、異なる方向に平行する道路分割体の視差俯瞰図における交差点は、互いに異なるものであり、換言すると、複数の道路消失点が存在する可能性がある。例えば、十字路に対応する視差俯瞰図には、2つの道路消失点が存在する可能性がある。
道路消失点の決定後は、該道路消失点に交差する直線を道路分割体とする。
qt ∈ANGS かつ Disx0(qt)> tq
を満たす必要がある。
視差俯瞰図における道路分割体となる平行線を決定後、該検出された道路分割体の、対応の視差図における高さ、位置、または領域特徴のうちの少なくともいずれかにより、各道路分割体の更なる識別を行う。
図11は、本発明の実施例における道路分割体検知装置1100のブロック図である。
以上、道路領域を含む視差俯瞰図を取得し、該視差俯瞰図から、道路分割体となる平行線を検知する、道路分割体の検知方法及び装置を説明した。
Claims (5)
- 道路領域を含む視差俯瞰図を取得するステップと、
前記視差俯瞰図から平行線を道路分割体として検知するステップとを含み、
前記視差俯瞰図から平行線を道路分割体として検知するステップは、
視差値がゼロの点を基本点とし、各前記基本点に対し、前記視差俯瞰図における各視差値が非ゼロの点、及び前記基本点により決められた直線と等視差線との夾角の角度を算出することにより、前記基本点に関する夾角の角度分布を取得するステップと、
各前記基本点の夾角の角度分布に基づいて前記平行線を検知するステップとを含む道路分割体の検知方法。 - 前記各基本点の夾角の角度分布に基づいて平行線を検知するステップにおいては、
基本点における、夾角の角度分布の集合度を降順にした場合の上位N(Nは、1以上の整数)位の基本点及び/又は集合度の値が所定の集合度閾値を超えた基本点を、道路消失点とし、前記道路消失点は、平行する前記道路分割体が前記視差俯瞰図において交差する点であり、異なる方向に沿って平行する道路分割体が前記視差俯瞰図において交差する点は、異なるものであり、
前記道路消失点に関わる夾角の角度分布における角度の出現頻度が所定の閾値を超えた夾角、及び道路消失点により決められた直線を、道路分割体が位置する平行線とする、請求項1に記載の道路分割体の検知方法。 - 前記道路領域を含む視差俯瞰図を取得するステップにおいては、
前記道路領域を含む視差図を取得し、
前記視差図における前記道路領域の予測及び非道路領域の除去を行い、
前記非道路領域が除去された前記視差図から変換されることで、前記道路領域を含む前記視差俯瞰図が得られる、請求項1に記載の道路分割体の検知方法。 - 道路領域を含む視差俯瞰図を取得する視差俯瞰図取得部と、
前記視差俯瞰図から平行線を道路分割体として検知する道路分割体検知部と、を含み、
前記道路分割体検知部は、
視差値がゼロの点を基本点とし、各前記基本点に対し、前記視差俯瞰図における各視差値が非ゼロの点、及び前記基本点により決められた直線と等視差線との夾角の角度を算出することにより、前記基本点に関する夾角の角度分布を取得し、
各前記基本点の夾角の角度分布に基づいて前記平行線を検知する道路分割体の検知装置。 - 前記各基本点の夾角の角度分布に基づいて平行線を検知するステップにおいては、
基本点における、夾角の角度分布の集合度を降順にした場合の上位N(Nは、1以上の整数)位の基本点及び/又は集合度の値が所定の集合度閾値を超えた基本点を、道路消失点とし、前記道路消失点は、平行する前記道路分割体が前記視差俯瞰図において交差する点であり、異なる方向に沿って平行する道路分割体が前記視差俯瞰図において交差する点は、異なるものであり、
前記道路消失点に関わる夾角の角度分布における角度の出現頻度が所定の閾値を超えた夾角、及び道路消失点により決められた直線を、道路分割体が位置する平行線とする、請求項4に記載の道路分割体の検知装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110409269.1A CN103164851B (zh) | 2011-12-09 | 2011-12-09 | 道路分割物检测方法和装置 |
CN201110409269.1 | 2011-12-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013123221A JP2013123221A (ja) | 2013-06-20 |
JP6107097B2 true JP6107097B2 (ja) | 2017-04-05 |
Family
ID=47429577
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012268295A Active JP6107097B2 (ja) | 2011-12-09 | 2012-12-07 | 道路分割体検知方法及び装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9373043B2 (ja) |
EP (1) | EP2605181A3 (ja) |
JP (1) | JP6107097B2 (ja) |
CN (1) | CN103164851B (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103164851B (zh) * | 2011-12-09 | 2016-04-20 | 株式会社理光 | 道路分割物检测方法和装置 |
CN104252707B (zh) * | 2013-06-27 | 2017-06-06 | 株式会社理光 | 对象检测方法和装置 |
CN104376297B (zh) * | 2013-08-12 | 2017-06-23 | 株式会社理光 | 道路上的线型指示标志的检测方法和装置 |
CN103712602A (zh) * | 2013-12-09 | 2014-04-09 | 广西科技大学 | 一种基于双目视觉道路障碍物自动检测的方法 |
KR101551026B1 (ko) * | 2013-12-24 | 2015-09-07 | 현대자동차주식회사 | 차량 검출 방법 |
JP6299373B2 (ja) * | 2014-04-18 | 2018-03-28 | 富士通株式会社 | 撮像方向の正常性の判定方法、撮像方向の正常性の判定プログラムおよび撮像方向の正常性の判定装置 |
CN106157283A (zh) * | 2015-04-01 | 2016-11-23 | 株式会社理光 | 道路分割物的检测方法和装置 |
KR102050179B1 (ko) * | 2015-08-04 | 2019-11-28 | 닛산 지도우샤 가부시키가이샤 | 단차 검출 장치 및 단차 검출 방법 |
CN106228560B (zh) * | 2016-07-28 | 2019-05-14 | 长安大学 | 一种复杂场景下的人数统计方法 |
JP7206583B2 (ja) * | 2016-11-25 | 2023-01-18 | 株式会社リコー | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム |
CN107229908B (zh) * | 2017-05-16 | 2019-11-29 | 浙江理工大学 | 一种车道线检测方法 |
JP6855325B2 (ja) * | 2017-05-25 | 2021-04-07 | 京セラ株式会社 | 画像処理装置、ステレオカメラシステム、移動体、路面形状検出方法およびプログラム |
CN109033927B (zh) * | 2017-06-09 | 2022-01-04 | 株式会社理光 | 检测道路分割物的方法和装置以及计算机可读存储介质 |
KR102421855B1 (ko) | 2017-09-28 | 2022-07-18 | 삼성전자주식회사 | 주행 차로를 식별하는 방법 및 장치 |
CN108399360B (zh) * | 2018-01-22 | 2021-12-24 | 海信集团有限公司 | 一种连续型障碍物检测方法、装置及终端 |
CN108319931B (zh) * | 2018-03-12 | 2020-11-06 | 海信集团有限公司 | 一种图像处理方法、装置及终端 |
KR102519666B1 (ko) | 2018-10-15 | 2023-04-07 | 삼성전자주식회사 | 이미지 변환 장치 및 방법 |
CN111062911B (zh) * | 2019-11-15 | 2023-08-18 | 北京中科慧眼科技有限公司 | 基于路面信息的成像环境评价方法、装置、***和存储介质 |
WO2021241482A1 (ja) * | 2020-05-25 | 2021-12-02 | 国立大学法人静岡大学 | 経路検出装置 |
US20230196791A1 (en) * | 2021-12-21 | 2023-06-22 | Gm Cruise Holdings Llc | Road paint feature detection |
Family Cites Families (59)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19636028C1 (de) * | 1996-09-05 | 1997-11-20 | Daimler Benz Ag | Verfahren zur Stereobild-Objektdetektion |
US6215898B1 (en) * | 1997-04-15 | 2001-04-10 | Interval Research Corporation | Data processing system and method |
ES2180110T3 (es) * | 1997-11-24 | 2003-02-01 | Weiglhofer Gerhard | Detector de coherencia. |
JP4016735B2 (ja) * | 2001-11-30 | 2007-12-05 | 株式会社日立製作所 | レーンマーク認識方法 |
US7321386B2 (en) * | 2002-08-01 | 2008-01-22 | Siemens Corporate Research, Inc. | Robust stereo-driven video-based surveillance |
US7397929B2 (en) * | 2002-09-05 | 2008-07-08 | Cognex Technology And Investment Corporation | Method and apparatus for monitoring a passageway using 3D images |
US7526120B2 (en) * | 2002-09-11 | 2009-04-28 | Canesta, Inc. | System and method for providing intelligent airbag deployment |
JP4107587B2 (ja) * | 2003-12-17 | 2008-06-25 | 三菱電機株式会社 | 車線認識画像処理装置 |
JP2005251106A (ja) | 2004-03-08 | 2005-09-15 | Mitsubishi Electric Corp | 車線認識装置 |
JP2005346381A (ja) * | 2004-06-02 | 2005-12-15 | Calsonic Kansei Corp | 立体物認識装置及び方法 |
CN1292380C (zh) * | 2004-06-24 | 2006-12-27 | 复旦大学 | 一种基于3-像素基元组合的直线描述与探测方法 |
EP1779295A4 (en) * | 2004-07-26 | 2012-07-04 | Automotive Systems Lab | SYSTEM FOR PROTECTING USERS OF THE ROAD IN A DANGER SITUATION |
FR2874300B1 (fr) * | 2004-08-11 | 2006-11-24 | Renault Sas | Procede de calibration automatique d'un systeme de stereovision |
US7248968B2 (en) * | 2004-10-29 | 2007-07-24 | Deere & Company | Obstacle detection using stereo vision |
WO2006052508A2 (en) * | 2004-11-03 | 2006-05-18 | Tyzx, Inc. | An integrated image processor |
US7587081B2 (en) * | 2005-09-28 | 2009-09-08 | Deere & Company | Method for processing stereo vision data using image density |
JP4607193B2 (ja) * | 2005-12-28 | 2011-01-05 | 本田技研工業株式会社 | 車両及びレーンマーク検出装置 |
JP2007235642A (ja) * | 2006-03-02 | 2007-09-13 | Hitachi Ltd | 障害物検知システム |
US8108119B2 (en) * | 2006-04-21 | 2012-01-31 | Sri International | Apparatus and method for object detection and tracking and roadway awareness using stereo cameras |
JP4797794B2 (ja) * | 2006-05-24 | 2011-10-19 | 日産自動車株式会社 | 歩行者検出装置および歩行者検出方法 |
US7786898B2 (en) * | 2006-05-31 | 2010-08-31 | Mobileye Technologies Ltd. | Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications |
US8139109B2 (en) * | 2006-06-19 | 2012-03-20 | Oshkosh Corporation | Vision system for an autonomous vehicle |
JP4868964B2 (ja) * | 2006-07-13 | 2012-02-01 | 三菱ふそうトラック・バス株式会社 | 走行状態判定装置 |
JP4222411B2 (ja) * | 2006-11-08 | 2009-02-12 | 日本電気株式会社 | 消失点検出システム、消失点検出方法および消失点検出用プログラム |
US8204278B2 (en) * | 2006-11-28 | 2012-06-19 | Fujitsu Limited | Image recognition method |
DE102006062061B4 (de) * | 2006-12-29 | 2010-06-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera |
EP2168079B1 (en) * | 2007-01-23 | 2015-01-14 | Valeo Schalter und Sensoren GmbH | Method and system for universal lane boundary detection |
JP5145585B2 (ja) * | 2007-06-08 | 2013-02-20 | 国立大学法人 熊本大学 | 物標検出装置 |
JP2009041972A (ja) * | 2007-08-07 | 2009-02-26 | Toshiba Corp | 画像処理装置及びその方法 |
US8332134B2 (en) * | 2008-04-24 | 2012-12-11 | GM Global Technology Operations LLC | Three-dimensional LIDAR-based clear path detection |
JP4871909B2 (ja) * | 2008-04-25 | 2012-02-08 | 日立オートモティブシステムズ株式会社 | 物体認識装置、および物体認識方法 |
JP5074365B2 (ja) * | 2008-11-28 | 2012-11-14 | 日立オートモティブシステムズ株式会社 | カメラ装置 |
DE102009009047A1 (de) * | 2009-02-16 | 2010-08-19 | Daimler Ag | Verfahren zur Objektdetektion |
US8120644B2 (en) * | 2009-02-17 | 2012-02-21 | Autoliv Asp, Inc. | Method and system for the dynamic calibration of stereovision cameras |
JP5188430B2 (ja) * | 2009-03-24 | 2013-04-24 | 富士重工業株式会社 | 画像処理装置 |
EP2246806B1 (en) * | 2009-04-29 | 2014-04-02 | Autoliv Development AB | Vision method and system for automatically detecting objects in front of a motor vehicle |
JP5293815B2 (ja) * | 2009-06-02 | 2013-09-18 | 日本電気株式会社 | 画像処理装置、画像処理方法、及び画像処理用プログラム |
TW201043507A (en) * | 2009-06-05 | 2010-12-16 | Automotive Res & Testing Ct | Method for detection of tilting of automobile and headlamp automatic horizontal system using such a method |
WO2010146695A1 (ja) * | 2009-06-18 | 2010-12-23 | 富士通株式会社 | 画像処理装置および画像処理方法 |
US8633810B2 (en) * | 2009-11-19 | 2014-01-21 | Robert Bosch Gmbh | Rear-view multi-functional camera system |
JP5350297B2 (ja) * | 2010-03-17 | 2013-11-27 | クラリオン株式会社 | 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム |
FR2958767B1 (fr) * | 2010-04-09 | 2016-11-11 | Commissariat Energie Atomique | Procede de detection de cibles dans des images stereoscopiques. |
JP5267592B2 (ja) * | 2010-04-09 | 2013-08-21 | 株式会社デンソー | 物体認識装置 |
JP2011237646A (ja) * | 2010-05-11 | 2011-11-24 | Panasonic Corp | 3次元撮像装置 |
US9118816B2 (en) * | 2011-12-06 | 2015-08-25 | Mobileye Vision Technologies Ltd. | Road vertical contour detection |
US8768011B2 (en) * | 2010-11-24 | 2014-07-01 | Denso Corporation | Road estimation device and method for estimating road |
WO2012081359A1 (ja) * | 2010-12-15 | 2012-06-21 | 本田技研工業株式会社 | レーン認識装置 |
US8489287B2 (en) * | 2010-12-31 | 2013-07-16 | Automotive Research & Test Center | Vehicle roll over prevention safety driving system and method |
JP2012243049A (ja) * | 2011-05-19 | 2012-12-10 | Fuji Heavy Ind Ltd | 環境認識装置および環境認識方法 |
JP5914013B2 (ja) * | 2011-08-08 | 2016-05-11 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 運転支援装置 |
US8818125B2 (en) * | 2011-10-07 | 2014-08-26 | Texas Instruments Incorporated | Scene adaptive filter design for improved stereo matching |
US9762881B2 (en) * | 2011-11-03 | 2017-09-12 | Texas Instruments Incorporated | Reducing disparity and depth ambiguity in three-dimensional (3D) images |
CN103123722B (zh) * | 2011-11-18 | 2016-04-27 | 株式会社理光 | 道路对象检测方法和*** |
CN103164851B (zh) * | 2011-12-09 | 2016-04-20 | 株式会社理光 | 道路分割物检测方法和装置 |
CN103177236B (zh) * | 2011-12-22 | 2016-06-01 | 株式会社理光 | 道路区域检测方法和装置、分道线检测方法和装置 |
US20130177237A1 (en) * | 2012-01-09 | 2013-07-11 | Gregory Gerhard SCHAMP | Stereo-vision object detection system and method |
JP2014006882A (ja) * | 2012-05-31 | 2014-01-16 | Ricoh Co Ltd | 路面傾斜認識装置、路面傾斜認識方法及び路面傾斜認識用プログラム |
CN103679127B (zh) * | 2012-09-24 | 2017-08-04 | 株式会社理光 | 检测道路路面的可行驶区域的方法和装置 |
CN103679691B (zh) * | 2012-09-24 | 2016-11-16 | 株式会社理光 | 连续型道路分割物检测方法和装置 |
-
2011
- 2011-12-09 CN CN201110409269.1A patent/CN103164851B/zh active Active
-
2012
- 2012-12-04 EP EP12195430.9A patent/EP2605181A3/en not_active Ceased
- 2012-12-07 JP JP2012268295A patent/JP6107097B2/ja active Active
- 2012-12-07 US US13/708,013 patent/US9373043B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN103164851B (zh) | 2016-04-20 |
JP2013123221A (ja) | 2013-06-20 |
CN103164851A (zh) | 2013-06-19 |
US9373043B2 (en) | 2016-06-21 |
EP2605181A2 (en) | 2013-06-19 |
US20130148856A1 (en) | 2013-06-13 |
EP2605181A3 (en) | 2014-12-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6107097B2 (ja) | 道路分割体検知方法及び装置 | |
JP6131704B2 (ja) | 連続型道路分割体の検知方法及び連続型道路分割体の検知装置 | |
JP6136244B2 (ja) | 道路領域検知方法及び装置、並びに道路分離線検知方法及び装置 | |
JP6384182B2 (ja) | 道路上の線形指示標識の検出方法及び装置 | |
US11670087B2 (en) | Training data generating method for image processing, image processing method, and devices thereof | |
JP6326791B2 (ja) | 路面検知方法及び路面検知装置 | |
JP4801821B2 (ja) | 道路形状推定装置 | |
EP2819090B1 (en) | Three-dimensional object detection device | |
JP6221371B2 (ja) | 路面検知方法及び路面検知装置 | |
JP5787024B2 (ja) | 立体物検出装置 | |
JP6299291B2 (ja) | 道路エッジ検出方法及び道路エッジ検出装置 | |
EP2711867A2 (en) | Method and apparatus for detecting continuous road partition | |
JP6340781B2 (ja) | 視差図による視差方向連続型物体検知方法及び装置 | |
JP2008045974A (ja) | 物体検出装置 | |
JP2013186902A (ja) | 車輌検知方法及び装置 | |
CN107918775B (zh) | 一种辅助车辆安全驾驶的斑马线检测方法及*** | |
JP7259309B2 (ja) | 画像処理装置および画像処理方法 | |
CN103577790B (zh) | 道路转弯类型检测方法和装置 | |
CN104252707A (zh) | 对象检测方法和装置 | |
JP5794379B2 (ja) | 立体物検出装置及び立体物検出方法 | |
KR102119641B1 (ko) | 보행자 검출 장치 및 방법 | |
Yan et al. | Potential Accuracy of Traffic Signs' Positions Extracted From Google Street View | |
JP5938940B2 (ja) | 立体物検出装置 | |
Hanuman et al. | Robust and real-time multi-lane and single lane detection in Indian highway scenarios | |
JP5668891B2 (ja) | 立体物検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160815 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160906 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161027 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170220 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6107097 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |