JP6409978B2 - 撮像装置および撮像方法 - Google Patents
撮像装置および撮像方法 Download PDFInfo
- Publication number
- JP6409978B2 JP6409978B2 JP2017537204A JP2017537204A JP6409978B2 JP 6409978 B2 JP6409978 B2 JP 6409978B2 JP 2017537204 A JP2017537204 A JP 2017537204A JP 2017537204 A JP2017537204 A JP 2017537204A JP 6409978 B2 JP6409978 B2 JP 6409978B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- fluorescence
- exposure
- imaging
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6408—Fluorescence; Phosphorescence with measurement of decay time, time resolved fluorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/06—Illumination; Optics
- G01N2201/061—Sources
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Immunology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Studio Devices (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Endoscopes (AREA)
Description
以下、図1〜7を用いて、実施の形態1を説明する。
図1は、実施の形態1にかかる撮像装置100の具体的な構成を示す模式図である。
以上のように構成された撮像装置について、図2を用いてその動作(撮像方法)を説明する。図2は、実施の形態1にかかる撮像装置100の動作を説明するフローチャートである。
制御部130は、照射タイミング信号を用いて、照明部110が所定のタイミングで被写体200に励起光L1を照射するよう制御する。照明部110は、照射タイミング信号に従って、被写体200に励起光L1を照射する。本開示では、照明部110は励起光L1として、紫外線を用いる。
制御部130は、撮像部121の露光動作を、照射タイミング信号に同期させた露光タイミング信号を用いて制御する。制御部130は、露光タイミング信号を撮像部121に出力する。撮像部121は露光タイミング信号に従って、露光動作を行う。本開示においては、制御部130は、2種類の露光タイミング信号を撮像部121に出力する。すなわち、撮像部121は、照明部110の照射タイミング信号に同期して2種類の露光を行い、蛍光L3を撮像する。
制御部130は、撮像部121が撮像開始後、露出時間経過したかどうかを判断する。制御部130は、タイマーや露光タイミング信号の矩形数のカウントなどにより撮像時間を算出する。制御部130は、撮像時間が露出時間に達していないと判断した場合は、ステップS201に戻る。制御部130は、撮像時間が露出時間に達していると判断した場合は、ステップS204に進む。
制御部130は、撮像部121が撮像した画像の画素毎に、第2の遅延時間を算出する。第2の遅延時間は、照明変調の1周期の範囲で考える。図3においては、例えば、照明変調の1周期は時刻t0〜t1の時間d1を指す。図3の第2の遅延時間d2は、ステップS202で得た位相の異なる第1の露光タイミングにおける露光量(露光中に撮像部121が受光した光の量)と第2の露光タイミングの露光量の違いに対応付けられる。例えば、第2の遅延時間d2が、時間d1/2の場合、第1の露光タイミングにおける露光量と第2の露光タイミングにおける露光量の差は0になる。また、このとき第1の露光タイミング露光量と第2の露光タイミングの露光量の比は1になる。このように、時間d1と第2の遅延時間d2との比は、第1の露光タイミングにおける露光量と第2の露光タイミングにおける露光量との比から推定できる。第1の露光タイミングにおける露光量と第2の露光タイミングにおける露光量の差または比と、第2の遅延時間d2との関係を予め求めておき、露光結果から第2の遅延時間d2を求めることができる。なお、第1の露光タイミングにおける露光量と第2の露光タイミングにおける露光量との差に基づき第2の遅延時間d2を求める場合、露光量の差は被写体との距離にも依存する。そこで、第1の露光タイミングにおける露光量と第2の露光タイミングにおける露光量の和で正規化するなどしてから第2の遅延時間d2と対応付ける。
制御部130は、照明光の照射タイミング信号を用いて、照明部110が所定のタイミングで被写体200に照明光L2を照射するよう制御する。照明部110は、照明光の照射タイミング信号に従って、被写体200に照明光L2を照射する。本開示では、照明部110は照明光L2として、近赤外線の照明を用いる。
制御部130は、撮像部121の露光動作を、照射タイミング信号に同期させた露光タイミング信号を用いて制御する。制御部130は、露光タイミング信号を撮像部121に出力する。撮像部121は露光タイミング信号に従って、露光動作を行う。本開示においては、制御部130は、2種類の露光タイミング信号を撮像部121に出力する。すなわち、撮像部121は、照明部110の照射タイミング信号に同期して2種類の露光を行い、反射光L4を撮像する。
制御部130は、撮像部121が撮像開始後、露出時間経過したかどうかを判断する。制御部130は、タイマーや露光タイミング信号の矩形数のカウントなどにより撮像時間を算出する。制御部130は、撮像時間が露出時間に達していないと判断した場合は、ステップS205に戻る。制御部130は、撮像時間が露出時間に達していると判断した場合は、ステップS208に進む。
ステップS204と同様の手順で、制御部130は、撮像部121が撮像した画像の画素毎に、第1の遅延時間d4を算出する。ステップS204と同様に、第1の露光タイミングにおける露光量と第2の露光タイミングにおける露光量の差または比と、第1の遅延時間d4との関係を予め求めておき、露光結果から第1の遅延時間d4を求めてもよい。
制御部130は、ステップS204で求めた第2の遅延時間d2と、ステップS208で求めた第1の遅延時間d4から、被写体200の距離画像と蛍光の遅延時間画像を取得する。具体的には、制御部130は、測距部124を制御して、第1の遅延時間d4に基づき、距離画像を生成する。測距部124は、画素毎に被写体200までの距離D(m)を算出し、距離画像を生成する。距離Dは、D=(d4/2)×光速で算出する。ここで、光速は、299,792,458(m/s)とする。
以上のように、本実施の形態において、撮像装置100は、照明部110と、画像取得部120とを備える。照明部110は、被写体200に少なくとも1つの励起光L1と、照明光L2とを照射する。画像取得部120は、励起光L1により被写体200が発生した少なくとも1つの蛍光L3と、被写体200が照明光L2を反射した反射光L4とを撮像する。画像取得部120は、さらに、蛍光L3の遅延時間と反射光L4の遅延時間とから生成した少なくとも1つの蛍光の遅延時間画像を取得する。画像取得部120は、反射光L4の遅延時間から生成した距離画像を取得する。
以下、図8、9を用いて、実施の形態2を説明する。
実施の形態2における撮像装置100の具体的な構成は実施の形態1と同じであるが、動作が異なるので、動作のみを説明する。
(ステップS801)
制御部130は、照射タイミング信号を用いて、照明部110を制御する。照明部110は、照射タイミング信号に基づき、被写体200に露出期間内に励起光L1と照明光L2を選択的に照射する。実施の形態2では、制御部130は2つの照射タイミング信号を用いて、1種類の励起光と、照明光とを制御する。照明部110は、2つの照射タイミング信号に基づき、露出期間に励起光L1と照明光L2を交互に照射する。図9に示すように、照明部110は第1の照射タイミング信号に従って、時刻t0から時刻t1まで被写体200に励起光L1を照射する。次に、照明部110は第2の照射タイミング信号に従って、時刻t2から時刻t3まで照明光L2を被写体200に照射する。次に、照明部110は第1の照射タイミング信号に従って、時刻t4から励起光L1を被写体200に照射する。このように、照明部110は2つの照射タイミング信号に従って、励起光L1と照明光L2の照射を交互に繰り返す。
制御部130は、4つの露光タイミング信号を用いて、撮像部121の露光動作を制御する。図9に示すように、撮像装置100は、被写体200からの蛍光L3と反射光L4を交互に受光する。
制御部130は、撮像部121が撮像開始後、露出時間だけ時間が経過したかどうかを判断する。制御部130は、タイマーや露光タイミング信号の矩形数のカウントなどにより撮像時間を算出する。制御部130は、撮像時間が露出時間に達していると判断した場合は、ステップS804へ進み、露出時間に達していないと判断した場合は、ステップS801に戻る。
制御部130は、蛍光L3の第2の遅延時間p1を画素ごとに算出する。第2の遅延時間p1は、照明変調の1周期の範囲(ここでは、時刻t0〜t1の時間)で考える。また、第2の遅延時間p1は、第1の露光タイミングにおける露光量と第2の露光タイミングにおける露光量とから推定される。例えば、第1の露光量と第2の露光量の差や比率と、第2の遅延時間p1との関係を予め求めておき、露光結果から第2の遅延時間p1を求めてもよい。
制御部130は、反射光L4の第1の遅延時間p2を画素ごとに算出する。第1の遅延時間p2は、照明変調の1周期の範囲(ここでは、時刻t2〜t3の時間)で考える。また、第1の遅延時間p2は、第3の露光タイミングにおける露光量と第4の露光タイミングにおける露光量とから推定される。例えば、第3の露光量と第4の露光量の差や比率と、第1の遅延時間p2との関係を予め求めておき、露光結果から第1の遅延時間p2を求める。
ステップS209と同等の手続きで、制御部130は、蛍光検出部123と測距部124とを用いて、距離画像と蛍光の遅延時間画像を生成する。蛍光検出部123は、第1の遅延時間p2と第2の遅延時間p1を用いて、蛍光の遅延時間画像を生成する。測距部124は、第1の遅延時間p2を用いて距離画像を生成する。生成された距離画像と蛍光の遅延時間画像とは、メモリ122に格納される。
以上のように、本実施の形態2の撮像装置100において、照明部110は所定の露出時間内に励起光L1と照明光L2を選択的に照射する。また、画像取得部120は、蛍光L3および反射光L4を各々2つの露光タイミングで撮像する。
以上のように、本出願において開示する技術の例示として、実施の形態1〜2を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態1〜2で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
110 照明部
120 画像取得部
121 撮像部
122 メモリ
123 蛍光検出部
124 測距部
130 制御部
200 被写体
600 蛍光の遅延時間画像
700 距離画像
L1 励起光
L2 照明光
L3 蛍光
L4 反射光
Claims (10)
- 被写体に少なくとも1つの励起光と照明光を照射する照明部と、
前記励起光により前記被写体が放射する少なくとも1つの蛍光と、前記被写体が前記照明光を反射した反射光とを撮像し、前記励起光の入射から前記蛍光を放射するまでの遅延時間から生成した少なくとも1つの蛍光の遅延時間画像を取得する画像取得部とを備えた撮像装置。 - 前記照明部は、所定の長さの時間である、それぞれの露出時間において、
前記励起光と前記照明光とのうちいずれかの光を所定の照射タイミングで照射し、
前記画像取得部は、前記照射タイミングに同期した露光タイミングで前記反射光または前記蛍光を撮像する、
請求項1記載の撮像装置。 - 前記画像取得部は、前記照明部が照射している光に応じて、前記露出時間を変更する、
請求項2記載の撮像装置。 - 前記照明部は、所定の長さの時間である、それぞれの露出時間において、
前記励起光と前記照明光とを所定の照射タイミングで照射し、
前記画像取得部は、前記照射タイミングに同期した露光タイミングで前記反射光または前記蛍光を撮像し、
前記励起光と、前記照明光とは、排他的に照射される、
請求項1記載の撮像装置。 - 前記画像取得部は、前記励起光および前記反射光を各々2つの露光タイミングで撮像する、
請求項2または請求項4記載の撮像装置。 - 前記画像取得部は、
前記反射光の撮像画像において、画素毎に算出した前記照明光の往復遅延時間と、前記蛍光の撮像画像において、前記画素毎に算出した前記励起光の往復遅延時間とに基づき、前記画素毎の前記被写体の遅延蛍光時間を算出して、前記蛍光の遅延時間画像を取得する、
請求項1記載の撮像装置。 - 前記画像取得部は、所定の波長帯である撮像波長帯の光を撮像し、
前記照明光の波長は、前記画像取得部の前記撮像波長帯に含まれ、
前記励起光の波長は、前記画像取得部の前記撮像波長帯より短い、
請求項1〜3、5のいずれか1項に記載の撮像装置。 - 前記照明光は近赤外線であり、前記励起光は紫外線である、
請求項7記載の撮像装置。 - 前記画像取得部は、前記蛍光を撮像して蛍光スペクトルの画像を取得する、
請求項1記載の撮像装置。 - 被写体に少なくとも1つの励起光と照明光を照射し、前記被写体が前記照明光を反射した反射光と、前記励起光により前記被写体が放射する蛍光とを撮像し、前記少なくとも1つの蛍光の遅延時間画像を取得する撮像方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015168578 | 2015-08-28 | ||
JP2015168578 | 2015-08-28 | ||
PCT/JP2016/003641 WO2017038015A1 (ja) | 2015-08-28 | 2016-08-08 | 撮像装置および撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017038015A1 JPWO2017038015A1 (ja) | 2018-02-15 |
JP6409978B2 true JP6409978B2 (ja) | 2018-10-24 |
Family
ID=58186809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017537204A Active JP6409978B2 (ja) | 2015-08-28 | 2016-08-08 | 撮像装置および撮像方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9958388B2 (ja) |
JP (1) | JP6409978B2 (ja) |
WO (1) | WO2017038015A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3205257B1 (en) * | 2016-02-15 | 2022-11-16 | Leica Instruments (Singapore) Pte Ltd | Illumination filter for an illumination filter system of a surgical multispectral fluorescence microscope having a spatial filter pattern |
CN114827573A (zh) * | 2018-03-20 | 2022-07-29 | 魔眼公司 | 调整相机曝光以用于三维深度感测和二维成像 |
DE112020001413T5 (de) * | 2019-03-22 | 2021-12-16 | Ams International Ag | Flugzeit-entfernungs-rechner |
EP4105707A4 (en) * | 2020-03-19 | 2023-08-23 | Sony Olympus Medical Solutions Inc. | MEDICAL OBSERVATION SYSTEM, CONTROL DEVICE AND CONTROL METHOD |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2359637A1 (en) * | 1999-01-26 | 2000-07-27 | Stephen F. Fulghum, Jr. | Autofluorescence imaging system for endoscopy |
JP3309276B2 (ja) * | 1999-03-17 | 2002-07-29 | エーカポット・パンナチェート | 蛍光電子内視鏡システム |
IL152427A0 (en) * | 2001-02-28 | 2003-05-29 | Imaging Res Inc | An imaging fluorometer for time resolved fluorescence |
US6793723B2 (en) * | 2001-05-10 | 2004-09-21 | Pitney Bowes Inc. | Homogeneous photosensitive optically variable ink compositions for ink jet printing |
US6827769B2 (en) * | 2001-05-10 | 2004-12-07 | Pitney Bowes Inc. | Photosensitive optically variable ink heterogeneous compositions for ink jet printing |
US7890157B2 (en) * | 2003-08-19 | 2011-02-15 | Cedars-Sinai Medical Center | Method for fluorescence lifetime imaging microscopy and spectroscopy |
US20090131800A1 (en) * | 2007-11-15 | 2009-05-21 | Carestream Health, Inc. | Multimodal imaging system for tissue imaging |
US20110017915A1 (en) * | 2009-07-23 | 2011-01-27 | Palo Alto Research Center Incorporated | Drift scanner for rare cell detection |
US9235901B2 (en) | 2009-10-14 | 2016-01-12 | Carestream Health, Inc. | Method for locating an interproximal tooth region |
KR101172745B1 (ko) * | 2010-01-29 | 2012-08-14 | 한국전기연구원 | 생체로부터 발생하는 다중 분광 광 영상 검출 및 광치료를 위한 복합 장치 |
JP2012016545A (ja) * | 2010-07-09 | 2012-01-26 | Fujifilm Corp | 内視鏡装置 |
DE102011119608B4 (de) * | 2011-11-29 | 2021-07-29 | Karl Storz Se & Co. Kg | Vorrichtung und Verfahren zur endoskopischen 3D-Datenerfassung |
CA2877992A1 (en) * | 2012-07-02 | 2014-01-09 | Agricam Ab | Camera housings, camera modules, and monitoring systems |
JP5914242B2 (ja) | 2012-08-08 | 2016-05-11 | 浜松ホトニクス株式会社 | 観察装置 |
US8724979B2 (en) * | 2012-09-27 | 2014-05-13 | Viewpoint Laboratories, LLC. | Imaging enclosure apparatus and methods |
JP6359819B2 (ja) * | 2013-10-29 | 2018-07-18 | 浜松ホトニクス株式会社 | 蛍光イメージング装置 |
JP6633268B2 (ja) * | 2014-09-03 | 2020-01-22 | グローリー株式会社 | センサモジュール及び紙葉類処理装置 |
-
2016
- 2016-08-08 JP JP2017537204A patent/JP6409978B2/ja active Active
- 2016-08-08 WO PCT/JP2016/003641 patent/WO2017038015A1/ja active Application Filing
-
2017
- 2017-11-13 US US15/810,804 patent/US9958388B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20180067046A1 (en) | 2018-03-08 |
JPWO2017038015A1 (ja) | 2018-02-15 |
US9958388B2 (en) | 2018-05-01 |
WO2017038015A1 (ja) | 2017-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6409978B2 (ja) | 撮像装置および撮像方法 | |
US10582178B2 (en) | Systems and methods for active depth imager with background subtract | |
US8717417B2 (en) | Three-dimensional mapping and imaging | |
KR20200123483A (ko) | 3 차원 깊이 감지 및 2 차원 이미징을 위한 카메라 노출의 조정 | |
EP2899583A2 (en) | Periodic fringe imaging with structured pattern illumination and electronic rolling shutter detection | |
JPWO2017098725A1 (ja) | 固体撮像装置、距離測定装置および距離測定方法 | |
JP6467516B2 (ja) | 距離画像取得装置付きプロジェクタ装置及びプロジェクション方法 | |
JP2008046047A (ja) | 距離画像作成方法及び距離画像センサ、及び撮影装置 | |
US20170289468A1 (en) | Image pickup apparatus including light source, image sensor, and control circuit | |
US20180196249A1 (en) | Method for simultaneous capture of image data at multiple depths of a sample | |
JP2008032427A (ja) | 距離画像作成方法及び距離画像センサ、及び撮影装置 | |
US20160266347A1 (en) | Imaging apparatus and method, and program | |
EP3227721B1 (en) | Distance measuring device and method for determining a distance | |
JPWO2016133053A1 (ja) | 距離画像計測装置 | |
JP2001313958A (ja) | 3次元画像入力装置 | |
KR20160058607A (ko) | 영상 처리 장치 및 영상 처리 방법 | |
CN112740065B (zh) | 成像装置、用于成像的方法和用于深度映射的方法 | |
JP2012220479A (ja) | 撮像対象物の境界検知装置および境界検知方法 | |
JP2019135468A (ja) | 擾乱光判別装置、擾乱光分離装置、擾乱光判別方法及び擾乱光分離方法 | |
CN112213730B (zh) | 三维测距方法和装置 | |
JP6309489B2 (ja) | 画像検出装置及び画像検出システム | |
JP7362670B2 (ja) | 撮像装置組立体、3次元形状測定装置及び動き検出装置 | |
US20230243937A1 (en) | Optical detection device, optical distance measurement device, and non-transitory computer readable medium | |
WO2022004259A1 (ja) | 画像処理装置および測距装置 | |
JP2004325397A (ja) | 測距装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171011 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171019 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180828 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180910 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6409978 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |