JP6978165B2 - 眼球画像撮影装置 - Google Patents

眼球画像撮影装置 Download PDF

Info

Publication number
JP6978165B2
JP6978165B2 JP2019515970A JP2019515970A JP6978165B2 JP 6978165 B2 JP6978165 B2 JP 6978165B2 JP 2019515970 A JP2019515970 A JP 2019515970A JP 2019515970 A JP2019515970 A JP 2019515970A JP 6978165 B2 JP6978165 B2 JP 6978165B2
Authority
JP
Japan
Prior art keywords
image
eye
light
determination
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019515970A
Other languages
English (en)
Other versions
JP2019536500A (ja
Inventor
アラン アンダーソン,
プラビーン アショク,
朋春 藤原
泰士 田邉
浩史 金藤
真梨子 廣川
理司 梅崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optos PLC
Original Assignee
Optos PLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optos PLC filed Critical Optos PLC
Publication of JP2019536500A publication Critical patent/JP2019536500A/ja
Application granted granted Critical
Publication of JP6978165B2 publication Critical patent/JP6978165B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1025Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for confocal scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/145Arrangements specially adapted for eye photography by video means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/15Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
    • A61B3/152Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for aligning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)

Description

本明細書に開示される技術は、眼球画像撮影装置、眼球画像処理方法、及び眼球画像処理プログラムに関する。
以下では、説明の便宜上、光学コヒーレンストモグラフィ(Optical Coherence Tomography)を「OCT」と称し、走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope)を「SLO」と称する。
特許文献1には、OCTを用いて画像を生成するOCTユニットを備えた眼底観察装置が開示されている。特許文献1に記載のOCTユニットでは、CCD(Charge Coupled Devices)により検出された画像信号に基づいて、被検眼の眼底の膜厚方向の画像である断層画像が生成される。
特許文献1の眼底観察装置には、LCD(液晶ディスプレイ:Liquid Crystal Display)が内蔵されており、LCDは、OCTユニットによって眼底の撮像が行われる際に被検眼の視線を特定の向きに固定させるための固視標を表示する。LCDからの光は、レンズ及びミラーを含む光学系を経由して被検眼に入射され、これにより、被検眼の眼底に固視標が投影される。
また、特許文献2には、SLO及びOCTを組み合わせたシステムが開示されている。また、特許文献2には、被検眼の前眼部に斜め方向から可視光を照射して、前眼部からの反射光に基づいて、OCTにおける撮影の位置合わせを行うことが開示されている。
日本特許第4971872号公報 日本国内段階公開第2015−534482号公報
しかしながら、特許文献2記載の技術では、被検眼の前眼部からの反射光に基づいて撮影の位置合わせを行うため、眼球画像の撮影を行う場合に精度良く位置合わせを行うことができない場合がある。
本発明の第1の態様に係る眼球画像撮影装置は、被検眼からの反射光に基づく眼の画像を生成するように動作可能な眼球画像生成モジュールと、生成した画像の瞳孔領域の少なくとも一部分が、生成した画像内で予め定めた許容領域内にあるか否かを判定し、判定を示す出力信号を生成するように構成された判定モジュールであって、瞳孔領域が、眼の瞳孔の少なくとも一部分の画像である、判定モジュールと、を備える。
本発明の第2の態様に係る眼球画像撮影装置は、被検眼からの反射光に基づく眼の画像を生成するように動作可能な眼球画像生成モジュールと、生成した画像の予め定めた許容領域に対して生成した画像の瞳孔領域の少なくとも一部分が占める割合が予め定めた閾値以上であるか否かを判定し、判定を示す出力信号を生成するように構成された判定モジュールであって、瞳孔領域が、眼の瞳孔の少なくとも一部分の画像である、判定モジュールと、を備える。
第1又は第2の態様に係る眼球画像撮影装置の一実施形態において、眼球画像生成モジュールは、被検眼からの反射光に基づく眼の画像を撮影するように構成された眼球画像撮影モジュールと、撮影された画像から撮影画像瞳孔領域以外の不要領域を除去することによって判定用画像を生成するように構成された判定用画像生成モジュールであって、撮影画像瞳孔領域が、撮影された画像における瞳孔の少なくとも一部分の画像である、判定用画像生成モジュールと、を備えてもよい。この場合、判定モジュールは、判定用画像に基づいて判定を行うように構成されてもよい。
第1又は第2の態様に係る眼球画像撮影装置の一実施形態において、眼球画像生成モジュールは、被検眼からの反射光に基づく眼の画像を撮影するように構成された眼球画像撮影モジュールと、撮影された画像を二値化することによって二値画像を生成するように構成された二値画像生成モジュールと、二値画像から二値画像瞳孔領域以外の不要領域を除去することによって判定用画像を生成するように構成された判定用画像生成モジュールであって、二値画像瞳孔領域が、二値画像における瞳孔の少なくとも一部分の画像である、判定用画像生成モジュールと、を備えてもよい。この場合、判定モジュールは、判定用画像に基づいて判定を行うように構成されてもよい。
上記記載の眼球画像撮影装置のいずれかは、被検眼の眼底を照明するように構成された照明モジュールを更に備えてもよく、眼球画像生成モジュールは、被検眼からの反射光に基づく眼の画像を撮影するように構成された眼球画像撮影モジュールを備え、照明モジュールの視野は、眼球画像撮影モジュールの視野と予め定めた関係を有する。この場合、眼球画像撮影装置は、判定モジュールによって生成された出力信号に基づいて照明モジュールを制御するように構成された制御装置を更に備えてもよい。更に、判定モジュールは、照明モジュールが眼底を照明している間に判定を繰り返し行うように構成されてもよく、眼球画像撮影装置が、判定モジュールによって行われた判定の結果を記憶するように構成された記憶モジュールを更に備えてもよい。また更に、照明モジュールは、被検眼に向けて出射された光のうち、被検眼の眼底からの反射光と、反射光の光路と異なる光路を通った参照光と、の干渉を用いて、被検眼の眼底の断層画像を取得するように構成された断層画像取得モジュールを備えてもよい。
第1若しくは第2の態様、又は上記記載のその実施形態のいずれかに係る眼球画像撮影装置は、被検眼に向けて出射された光のうち、被検眼の眼底からの反射光と、反射光の光路と異なる光路を通った参照光と、の干渉を用いて、被検眼の眼底の断層画像を取得するように構成された断層画像取得モジュールと、判定モジュールによって行われた判定に基づいて、断層画像取得モジュールによる断層画像の取得を制御するように構成された制御モジュールと、を更に備えてもよい。この場合、眼球画像生成モジュールは、眼底撮影用の光を照射するように構成された第1の光源と、第1の方向に光を走査すると共に、第1の方向と交差する第2の方向に光を超広角に走査するように構成された第1の走査光学系と、第1の走査光学系によって第1の光源から照射された光で被検眼を走査した際に、被検眼の眼底からの光を受光するように構成された第1の受光部と、を備えてもよく、断層画像取得モジュールは、断層画像生成用の光を照射するように構成された第2の光源と、第1の方向に光を走査すると共に、第2の方向に光を超広角に走査するように構成された第2の走査光学系と、第2の走査光学系によって第2の光源から照射された光のうち、被検眼の眼底からの反射光と、反射光の光路と異なる光路を通った参照光と、を受光するように構成された第2の受光部と、第2の受光部により受光した反射光及び参照光に基づいて断層画像を生成するように構成された生成モジュールと、を含む。
上記記載の眼球画像撮影装置のいずれかは、被検眼の視線を固定するための固視標を表示するように構成された固視標表示モジュールと、判定モジュールによって生成された出力信号に基づいて、表示された固視標の少なくとも1つの特性を制御するように構成された固視標表示制御装置と、を更に備えてもよい。
上記記載の眼球画像撮影装置のいずれかは、ディスプレイと、判定モジュールによって生成された出力信号に基づいて、ディスプレイの表示内容を設定するように構成された表示制御部と、を更に備えてもよい。
本発明の第3の態様に係る眼球画像処理方法は、被検眼からの反射光に基づく眼の画像を取得するステップと、取得した画像の瞳孔領域の少なくとも一部分が、取得した画像内で予め定めた許容領域内にあるか否かを判定するステップであって、瞳孔領域が、眼の瞳孔の少なくとも一部分の画像である、ステップと、判定を示す出力信号を生成するステップと、を含む。
本発明の第4の態様に係る眼球画像処理方法は、被検眼からの反射光に基づく眼の画像を取得するステップと、取得した画像の予め定めた許容領域に対して取得した画像の瞳孔領域の少なくとも一部分が占める割合が予め定めた閾値以上であるか否かを判定するステップであって、瞳孔領域が、眼の瞳孔の少なくとも一部分の画像である、ステップと、判定を示す出力信号を生成するステップと、を含む。
本発明の第5の態様に係る非一時的な記憶媒体は、プロセッサによって実行されたときに、上記記載の方法のうち少なくとも1つをプロセッサに行わせるコンピュータプログラム命令を記憶している。
眼球画像撮影装置の全体構成の一例を示すブロック図である。 眼球画像撮影装置の撮像系の各光源から照射された光を被検眼に導く光学系の構成の一例を示す概略斜視図である。 眼球画像撮影装置に含まれる主制御部のハードウェア構成の一例を示すブロック図である。 眼底画像撮影処理の一例を示すフローチャートである。 RG−SLO画像の一例を示す図である。 瞳孔位置判定処理の一例を示すフローチャートである。 二値化画像の一例を示す図である。 判定用画像の一例を示す図である。 判定用画像における判定領域の一例を示す図である。 判定用画像における判定領域の一例を示す図である。 判定用画像における判定領域の一例を示す図である。 瞳孔位置判定処理の一例を示すフローチャートである。 判定モジュールによって行われる眼球画像処理方法を要約したフローチャートである。 判定モジュールによって行われる代替の眼球画像処理方法を要約したフローチャートである。 図1の走査光学系に対応する図である。 図15Aの走査光学系の第1の変形例を示す図である。 図15Aの走査光学系の第2の変形例を示す図である。 眼球画像撮影プログラムが記憶された記憶媒体から眼球画像撮影プログラムが眼球画像撮影装置にインストールされる態様の一例を示す概念図である。
以下、眼球画像の撮影の位置合わせを精度良く行うことが可能な眼球画像撮影装置及び眼球画像撮影方法について説明する。
より詳細には、被検眼の眼底からの反射光に基づく眼底画像を撮影する眼底画像撮影モジュールと、眼底画像撮影モジュールによって撮影された眼底画像に基づいて、被検眼の瞳孔の位置が予め定めた許容範囲内か否かを判定する判定モジュールと、を含む眼球画像撮影装置について説明する。
判定モジュールは、眼底画像を二値化することにより二値画像を生成する二値画像生成モジュールと、二値画像から瞳孔以外の不要領域を除去した判定用画像を生成する判定用画像生成モジュールとを含んでもよく、判定用画像に基づいて、被検眼の瞳孔の位置が予め定めた許容範囲内か否かが判定される。
判定モジュールは、判定用画像の予め定めた判定領域に対して瞳孔の領域が占める割合が予め定めた閾値以上の場合に、被検眼の瞳孔の位置が許容範囲内であると判定してもよい。
眼球画像撮影装置は、被検眼に向けて出射された光のうち、被検眼の眼底からの反射光と、反射光の光路と異なる光路を通った参照光と、の干渉を用いて、被検眼の眼底の断層画像を取得する断層画像取得モジュールと、判定モジュールによる判定結果に基づいて、断層画像取得モジュールによる断層画像の取得を制御する制御モジュールと、を更に備えてもよい。
眼底画像撮影モジュールは、眼底撮影用の光を照射する第1の光源と、第1の方向に光を走査すると共に、第1の方向と交差する第2の方向に光を超広角に走査する第1の走査光学系と、第1の走査光学系によって第1の光源から照射された光で被検眼を走査した際に、被検眼の眼底からの光を受光する第1の受光部と、を備え、断層画像取得モジュールは、断層画像生成用の光を照射する第2の光源と、第1の方向に光を走査すると共に、第2の方向に光を超広角に走査する第2の走査光学系と、第2の走査光学系によって第2の光源から照射された光のうち、被検眼の眼底からの反射光と、反射光の光路と異なる光路を通った参照光と、を受光する第2の受光部と、第2の受光部により受光した反射光及び参照光に基づいて断層画像を生成する生成モジュールと、を備えてもよい。
本明細書に記載される眼底観察方法は、被検眼の眼底からの反射光に基づく眼底画像を撮影する眼底画像撮影ステップと、眼底画像撮影ステップにより撮影された眼底画像に基づいて、被検眼の瞳孔の位置が予め定めた許容範囲内か否かを判定する判定ステップと、を含む。
本明細書に記載される眼底観察プログラムは、コンピュータに、被検眼の眼底からの反射光に基づく眼底画像を撮影する眼底画像撮影ステップと、眼底画像撮影ステップにより撮影された眼底画像に基づいて、被検眼の瞳孔の位置が予め定めた許容範囲内か否かを判定する判定ステップと、を含む処理を実行させる。
本発明の1つの例示的実施形態によれば、眼底画像の撮影の位置合わせを精度良く行うことができる、という有利な効果が得られる。
以下、添付図面に従って本発明に係る例示的実施形態について説明する。
なお、例示的実施形態において、「垂直」とは、許容される範囲内の誤差を含めた意味合いでの垂直を指し、「平行」とは、許容される範囲内の誤差を含めた意味合いでの平行を指す。また、例示的実施形態において、「正対」とは、許容される範囲内の誤差を含めた意味合いでの正対を指す。また、例示的実施形態において、「同一」とは、許容される範囲内の誤差を含めた意味合いでの同一を指す。
例示的実施形態では、説明の便宜上、スーパールミネッセントダイオード(Super Luminescent Diode)を「SLD」と称する。例示的実施形態では、説明の便宜上、インタフェース(Interface)を「I/F」と称する。例示的実施形態では、赤(Red)を「R」と称し、緑(Green)を「G」と称する。
一例として図1に示すように、眼球画像撮影装置10(眼底観察装置として使用され得る)は、装置本体12及び制御装置13を含む。
装置本体12は、被検眼38からの反射光に基づく眼38の画像を生成するように動作可能な眼球画像生成モジュールを備える。眼球画像生成モジュールは、眼38からの反射光に基づく眼38の画像を撮影するように構成された眼球画像撮影モジュールを備え、眼球画像撮影モジュールは、本実施形態のように、SLOユニット32を備え得る。
装置本体は、本実施形態のように、被検眼38の眼底を(例えば、網膜の治療に適した波長の光で)照明するように構成された照明モジュールを更に備えてもよく、照明モジュールの視野は、眼球画像撮影モジュールの視野と予め定めた関係を有する。照明モジュールは、被検眼38の眼底を照明するだけでなく、眼底の照明された部分を撮像するようにも機能することができる。照明モジュールは、本実施形態のように、OCTユニット34を備えた断層画像取得モジュールを備えることができ、断層画像取得モジュールは、被検眼38に向けて出射された光のうち、被検眼38の眼底からの反射光と、反射光の光路と異なる光路を通った参照光と、の干渉を用いて、被検眼38の眼底の断層画像を取得するように構成される。断層画像取得モジュールの更なる詳細は以下で提供される。
図1に示すように、装置本体12は、SLOユニット32、OCTユニット34、及び共通光学系36を含む。
眼球画像撮影装置10は、したがって、SLOによる撮像を行う機能であるSLO撮像系機能と、OCTによる撮像を行う機能であるOCT撮像系機能とを有する。SLO撮像系(上述の眼球画像生成モジュールの一例である)の機能は、制御装置13、SLOユニット32、及び共通光学系36によって実現される。OCT撮像系(上述の照明モジュールの一例である)の機能は、制御装置13、OCTユニット34、及び共通光学系36によって実現される。
眼球画像撮影装置10は、SLO撮影系機能を働かせる動作モードであるSLOモードと、OCT撮像系機能を働かせる動作モードであるOCTモードとを有する。SLOモード及びOCTモードは、ユーザの指示、又はシーケンス制御によって選択的に設定される。
SLOユニット32は、被検眼38の眼底の表面の二次元画像を生成するために用いられる、射出部40、ビームスプリッタ42、ポリゴンミラー44、光検出器46、及びモータ48を含む。
以下では、説明の便宜上、被検眼38の眼底を単に「眼底」とも称する。以下では、説明の便宜上、例えば眼球画像撮影装置10が水平面に設置された場合、水平面(図示省略)に対して実質的に垂直な方向を「Y方向」と称する。例えば、以下では、説明の便宜上、例えば眼球画像撮影装置10が水平面に設置された場合の水平面に対して実質的に平行で、且つ、眼球画像撮影装置10の接眼レンズ(図示省略)に対して前眼部が正対した状態で配置された被検眼38の奥行き方向である方向を「Z方向」と称する。以下では、説明の便宜上、Y方向及びZ方向の双方に対して実質的に垂直な方向を「X方向」と称する。
射出部40は、光源40A及びバンドパスフィルタ40Bを含む。光源40Aは、SLOによる撮影用の光源であり、約400ナノメートル〜約1100ナノメートルの範囲内の波長の光を射出する。光源40Aから射出された光はバンドパスフィルタ40Bを透過することで、特定の波長を有する光のみがビームスプリッタ42に射出される。
この第1の例示的実施形態では、射出部40から射出される光は、可視光であるRG光と、近赤外領域の波長の光である近赤外光とに大別される。
この第1の例示的実施形態では、光源40Aから発せられる光の波長が変更され、且つ、光源40Aから発せられた光に対してバンドパスフィルタ40Bを作用させることで、射出部40からRG光及び近赤外光が選択的に射出される。
なお、以下では、説明の便宜上、射出部40から射出される光としてのRG光と近赤外光とを区別して説明する必要がない場合、単に「SLO光」と称する。
ビームスプリッタ42は、SLO光を透過させることでSLO光をポリゴンミラー44に導き、第1の眼底反射光を光検出器46に導く。なお、ここで、第1の眼底反射光とは、SLO光に起因する眼底反射光を指す。眼底反射光とは、眼底で反射して共通光学系36に入射した光を指す。
ポリゴンミラー44は、ビームスプリッタ42からのSLO光を共通光学系36に送り出す。そして、一例として図2に示すように、ポリゴンミラー44は、モータ48の駆動力を受けて矢印A方向に回転することでSLO光をY方向に走査する。
光検出器46は、フォトディテクタ46A及び光学フィルタ46Bを含む。光学フィルタ46Bは、フォトディテクタ46Aの受光面46A1とビームスプリッタ42の反射面42Aとの間で受光面46A1を覆う位置に配置される。近赤外光による第1の眼底反射光とRG光による第1の眼底反射光とを選択的に受光面46A1に入射させる。
フォトディテクタ46Aは、光学フィルタ46Bを介して入射された第1の眼底反射光に基づく画像信号であるSLO画像信号を生成し、生成したSLO画像信号を出力する。
OCTユニット34は、眼底の断層画像を生成するために用いられ、SLD50、光カプラ52、参照光光学系54、分光器56、ラインセンサ58、V−ガルバノミラー60、及びモータ62を含む。
SLD50は、低コヒーレンス光を射出する。低コヒーレンス光とは、例えば、射出部40から射出される近赤外光よりも長い波長の近赤外領域の光を含み、数十マイクロメートル程度の時間的コヒーレンス長を有する光を指す。
SLD50から射出された低コヒーレンス光は、第1の光ファイバ(図示省略)を経由して光カプラ52に取り込まれ、参照光と信号光とに分割される。参照光は、第2の光ファイバ(図示省略)を経由して参照光光学系54に導かれ、信号光は、第3の光ファイバ(図示省略)を経由してV−ガルバノミラー60に導かれる。
参照光光学系54は、眼38と光カプラ52との間の光路長に一致する光学遅延線である。
参照ミラーは、参照光を反射することで同一の光路を経由させて光カプラ52に戻す。参照ミラーは、参照光の光軸方向に移動可能な可動式ミラーであり、参照ミラーの位置を光軸上で移動させることで参照光の光路長が調節される。
V−ガルバノミラー60は、信号光を共通光学系36に送り出す。そして、一例として図2に示すように、V−ガルバノミラー60は、モータ62の駆動力を受けて矢印B方向に回転振動することで信号光をY方向に走査する。
また、V−ガルバノミラー60は、第2の眼底反射光を第4の光ファイバを介して光カプラ52に導く。なお、ここで、第2の眼底反射光とは、信号光に起因する眼底反射光を指す。
光カプラ52によって導かれた第2の眼底反射光と参照光光学系から光カプラ52に導かれた参照光は、光カプラ52で重畳され、干渉が起こる。干渉が起こることで得られた干渉光は、分光器56により分光され、分光された干渉光は、ラインセンサ58に導かれる。
ラインセンサ58は、入射された干渉光に基づく画像信号であるOCT画像信号を生成し、生成したOCT画像信号を出力する。
共通光学系36は、ダイクロイックミラー64、楕円状の凹面反射面を有するスリットミラー66、H−ガルバノミラー68、楕円面鏡70、及びモータ72を含む。
ダイクロイックミラー64は、SLOユニット32のポリゴンミラー44からのSLO光を透過させることで、SLO光をスリットミラー66に導き、OCTユニット34のV−ガルバノミラー60からの信号光を反射することで、信号光をスリットミラー66に導く。
なお、以下では、説明の便宜上、信号光及びSLO光を区別して説明する必要がない場合、「照射光」と称する。
スリットミラー66は、入射された照射光をH−ガルバノミラー68に向けて反射する。H−ガルバノミラー68は、スリットミラー66からの照射光を反射して楕円面鏡70の鏡面70Aに送り出す。そして、図2の例に示すように、H−ガルバノミラー68は、モータ48の駆動力を受けて矢印C方向に回転振動することで照射光をX方向に走査する。
楕円面鏡70は、鏡面70Aに入射された照射光を反射することで照射光を眼底に導く。楕円面鏡70は、鏡面70Aで反射された照射光に基づく焦点が被検眼38に位置するように配置されている。楕円面鏡70によって眼底に導かれた照射光は、眼底で反射する。そして、眼底反射光は、共通光学系36において、照射光と同一の光路を辿ってダイクロイックミラー64に導かれる。ダイクロイックミラー64は、第1の眼底反射光をSLOユニット32に導き、第2の眼底反射光をOCTユニット34に導く。なお、2つの楕円面による眼底撮像光学系の基本構成については、国際出願PCT/GB94/02465(WO95/13012)及び国際出願PCT/GB2007/002208(WO2008/009877)に記載されている構成と同様であり、各文献の開示は全体が参照により本明細書に取り込まれる。更に、本明細書の実施形態は、構造面及び動作面の双方において、例えば、米国特許第7,959,290号、米国特許出願公開第2015/0216408号、米国特許出願公開第2014/0327882号、米国特許出願公開第2013/0135583号、及び米国特許出願公開第2013/0335703号に開示されている、技術的に関連するシステム及び方法論と組み合わせることが可能であり、各文献の開示は全体が参照により本明細書に取り込まれる。
なお、眼球画像撮影装置10では、一例として図1に示すように、眼底での照射光の照射領域は第1の照射領域αと第2の照射領域βとに大別される。第1の照射領域αとは、例えば、被検眼38の中心OからZ方向側の45度の角度範囲、換言すると、被検眼38の中心Oを基準点として眼底の中心から眼底の周辺方向にかけて45度の角度で広がった領域を指す。第2の照射領域βとは、例えば、被検眼38の中心OからZ方向側の45度を超え且つ200度以下の角度範囲、換言すると、被検眼38の中心Oで、眼底の中心から眼底の周辺方向にかけて45度を超え且つ200度以下の角度範囲に広がった領域を指す。
制御装置13は、装置本体12と各種情報の授受を行うことで装置本体12の動作を制御する。また、制御装置13は、フォトディテクタ46Aから得られたSLO画像信号に基づいて眼底の表面の態様を示す二次元画像を生成する。制御装置13は、眼球画像生成モジュールの一部として、撮影された眼球画像に本明細書の下記に説明される画像処理動作を行って、下記で説明する判定モジュールによって処理するための被検眼38の画像を生成することもできる。また、制御装置13は、ラインセンサ58から得られたOCT画像信号に基づいて眼底の断層画像を生成する。
なお、この第1の例示的実施形態では、SLOユニット32を用いて得られる二次元画像が、RG光に基づく有彩色の画像と近赤外光に基づく無彩色の画像とに大別される。また、OCTユニット34を用いて得られる断層画像は、無彩色の画像である。SLOユニット32を用いて得られる二次元画像及びOCTユニット34を用いて得られる断層画像は共に、静止画像として表示され、ライブビュー画像としても表示される。
制御装置13は、主制御部14、OCT画像生成部16、SLO画像生成部18、受付I/F20、受付デバイス22、表示制御部24、ディスプレイ26、通信I/F28、及びバスライン30を含む。
主制御部14、OCT画像生成部16、SLO画像生成部18、受付I/F20、表示制御部24、及び通信I/F28は、バスライン30によって互いと接続されている。したがって、主制御部14は、OCT画像生成部16、SLO画像生成部18、受付I/F20、表示制御部24、及び通信I/F28との間で各種情報の授受を行うことができる。
主制御部14は、モータ48,62,72の各々に対応する各モータ駆動回路(図示省略)を通信I/F28を介して制御することで、モータ48,62,72の駆動を制御する。
また、主制御部14は、光源40Aに対応する光源駆動回路(図示省略)を通信I/F28を介して制御することで、光源40Aの点灯及び消灯の切り替え、光量の調節、及び光源40Aから発せられる光の波長の変更等を行う。
また、主制御部14は、SLD50に対応するSLD駆動回路(図示省略)を通信I/F28を介して制御することで、SLD50の点灯及び消灯の切り替え、光量の調節、及びSLD50から発せられる光の波長の変更等を行う。
更に、主制御部14は、バンドパスフィルタ40Bの動作、光学フィルタ46Bの動作、及び参照光光学系54の参照ミラーの動作を通信I/F28を介して制御する。
受付デバイス22は、キーボード、マウス、及びタッチパネル等を有しており、ユーザによる各種指示を受け付ける。
受付デバイス22は、受付I/F20に接続されており、受け付けた指示の内容を示す指示内容信号を受付I/F20に出力する。主制御部14は、受付I/F20から入力された指示内容信号に応じた処理を実行する。
ディスプレイ26は、例えば、LCDやOELD(Organic Electroluminescence Display)である。ディスプレイ26は、表示制御部24に接続されている。表示制御部24は、主制御部14の制御下で、ディスプレイ26を制御することにより、SLOユニット32を用いて得られる二次元画像及びOCTユニット34を用いて得られる断層画像を静止画像やライブビュー画像としてディスプレイ26に表示する。また、表示制御部24は、主制御部14の制御下で、ディスプレイ26を制御することにより、メニュー画面等の各種画面も表示する。
通信I/F28は、装置本体12の電気系と接続されており、主制御部14の制御下で動作し、主制御部14と装置本体12との間での各種情報の送受信を司る。
SLO画像生成部18は、SLOユニット32のフォトディテクタ46AからのSLO画像信号を通信I/F28を介して取得し、取得したSLO画像信号に基づく二次元画像を生成する処理を行う専用回路である。
SLO画像生成部18は、生成した二次元画像を、例えば、典型的には数十フレーム/秒等の特定のフレームレートで1フレーム毎に表示制御部24に出力する。表示制御部24は、SLO画像生成部18から入力された二次元画像を、主制御部14の指示に従って、ライブ画像としてディスプレイ26に表示する。また、表示制御部24は、SLO画像生成部18から入力された二次元画像を、主制御部14の指示に従って、静止画像としてディスプレイ26に表示する。
OCT画像生成部16は、OCTユニット34のラインセンサ58からのOCT画像信号を通信I/F28を介して取得し、取得したOCT画像信号に基づく断層画像を生成する処理を行う専用回路である。
OCT画像生成部16は、生成した断層画像を、例えば、典型的には数十フレーム/秒等の特定のフレームレートで1フレーム毎に表示制御部24に出力する。表示制御部24は、OCT画像生成部16から入力された断層画像を、主制御部14の指示に従って、ライブビュー画像としてディスプレイ26に表示する。また、表示制御部24は、OCT画像生成部16から入力された断層画像を、主制御部14の指示に従って、静止画像としてディスプレイ26に表示する。
なお、この第1の例示的実施形態では、OCT画像生成部16及びSLO画像生成部18の各々が、CPU、ROM、及びRAMを含むコンピュータによって実現される場合を例示しているが、本開示の技術はこれに限定されるものではない。例えば、OCT画像生成部16及びSLO画像生成部18の各々は、CPU、ROM、及びRAMを含むコンピュータによって実現されてもよいし、ASIC(Application Specific Integrated Circuit)によって実現されてもよい。また、OCT画像生成部16及びSLO画像生成部18の各々は、FPGA(Field−Programmable Gate Array)、又はハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
一例として図3に示すように、主制御部14は、CPU(Central Processing Unit)74、一次記憶部76、及び二次記憶部78を含む。CPU74、一次記憶部76、及び二次記憶部78は、バスライン30によって互いと接続されている。
CPU74は、眼球画像撮影装置10の全体を制御する。一次記憶部76は、各種プログラムの実行時のワークエリア等として用いられる揮発性のメモリである。一次記憶部76は、本明細書の下記で説明する判定モジュールによって行われた判定を記憶することができる。一次記憶部76の一例としては、RAM(Random Access Memory)が挙げられる。二次記憶部78は、眼球画像撮影装置10の基本的な動作を制御するプログラムや各種パラメータ等を記憶する不揮発性のメモリである。二次記憶部78の一例としては、EEPROM(Electrically Erasable Programmable Read Only Memory)やフラッシュメモリ等が挙げられる。
二次記憶部78は、後述の眼底画像撮影処理(眼球画像処理方法を含む)を実現するために実行される眼底画像撮影プログラム80を記憶している。
CPU74は、二次記憶部78から眼底画像撮影プログラム80を読み出して眼底画像撮影プログラム80を一次記憶部76に展開し、眼底画像撮影プログラム80を実行することで、本開示の技術に係る判定モジュールとして動作する。
次に、CPU74により実行される眼底画像撮影処理について図4に示すフローチャートを参照して説明する。図4に示す処理は、オペレータが受付デバイス22を操作して撮影処理の開始を指示する場合に実行される。
以下では、光源40AからRG光を出射させてSLOユニット32の制御下で被検眼38の眼底を撮影し、SLO画像生成部18によって生成された二次元画像を「RG−SLO画像」と称する。また、光源40Aから近赤外光を出射させてSLOユニット32の制御下で被検眼38の眼底を撮影し、SLO画像生成部18によって生成された二次元画像を「IR−SLO画像」と称する。また、SLD50から低コヒーレンス光を出射させてOCTユニット34の制御下で被検眼38の眼底を撮影し、OCT画像生成部16によって生成された断層画像を「OCT画像」と称する。
ステップ102では、オペレータがOCT画像の撮影希望範囲を指定するための第1の眼底画像として、RG−SLO画像を撮影する。より一般的には、第1の眼底画像は、オペレータが照明モジュールによって照明すべき照明希望領域を指定するために使用することができる。なお、本例示的実施形態ではRG−SLO画像を撮影する場合について説明するが、IR−SLO画像を撮影してもよい。
まず、被検眼の視線を特定の向きに固定させるための固視標を表示するためのLCD等の固視標ディスプレイ(図示省略)に固視標を表示させる。この固視標を患者が注視することによって被検眼38の視線が特定の向きに固定される。
そして、SLOユニット32の光源40AからRG光を出射させ、SLOユニット32を制御することにより被検眼38の眼底画像を撮影し、SLO画像生成部18からRG−SLO画像を取得する。取得したRG−SLO画像は静止画像としてディスプレイ26に表示される。
ここで、オペレータは、ディスプレイ26に表示されたRG−SLO画像の静止画像を参照し、被検眼38の位置が撮影に適した位置となっているか否かを目視で判定する。そして、被検眼38の位置が撮影に適した位置となっていない場合には、患者に対して固視標を注視するよう促し、再度RG−SLO画像の撮影を指示する。これを被検眼38の位置が撮影に適した位置となるまで繰り返す。ここで、患者は一旦装置から離れて待機する。
ステップ104では、OCT画像の撮影希望範囲を指定する。オペレータは、ディスプレイ26に表示されたRG−SLO画像の静止画像を参照し、受付デバイス22を操作してOCT画像の撮影希望範囲を指定する。例えば図5に示すように、ディスプレイ26に表示されたRG−SLO画像400を参照し、撮影希望範囲402を指定する。図5の例では、撮影希望範囲のY方向の長さを矢印で指定した場合を示した。この場合、撮影希望範囲402で示される領域のOCT画像を撮影することとなる。
そして、撮影希望範囲の指定が終了した場合、オペレータは、患者に再び固視標を注視するよう促す。これにより、患者は再び固視標を注視する。
ステップ105では、図6に示す瞳孔位置判定処理を実行する。超広角領域においてOCT画像の撮影を行う場合、すなわちOCT画像の撮影対象領域が被検眼38の周辺部の場合、OCT画像の撮影用にSLD50から出射された光の光軸が被検眼38の瞳孔から外れやすく、ケラレによってOCT画像の品質が悪化しやすい。
そこで、瞳孔位置判定処理では、被検眼38の瞳孔の位置が予め定めた許容範囲内か否かを判定モジュールにより判定する。
まず、ステップ202では、眼球画像撮影モジュールによるIR−SLO画像の撮影を開始させる。すなわち、光源40Aから近赤外光を出射させると共に、図4のステップ104で指定された撮影希望範囲を走査するようにSLOユニット32を制御し、狭域のIR−SLO画像を撮影する。なお、IR−SLO画像の撮影は、図4の処理が終了するまで連続して実行される。また、本例示的実施形態ではIR−SLO画像を撮影する場合について説明するが、RG−SLO画像(又は他の種類の画像)を撮影してもよい。
ステップ204では、SLO画像生成部18により生成された狭域のIR−SLO画像を取得する。
ステップ206では、眼球画像生成モジュールの一部を構成する二値画像生成モジュールにより取得したIR−SLO画像に対して二値化処理を任意選択で実行し、IR−SLO画像を二値化した二値化画像を生成する。すなわち、例えばIR−SLO画像の各画素の画素値が予め定めた二値化閾値以上であれば白画素、二値化閾値未満であれば黒画素とする。図7には、二値画像生成モジュールによって生成された二値化画像の一例を示した。
図7に示す二値化画像300のうち白領域は被検眼38に向けて出射したIR−SLO撮影用の光の反射光が検出された領域であり、そのうち白領域302は被検眼の瞳孔の領域を表す。また、白領域304は、瞳孔以外の領域であり、例えば睫毛や瞼の領域である。なお、白領域302と白領域304とがつながってしまう場合もある。また、黒領域306は、被検眼38に向けて出射したIR−SLO撮影用の光の反射光が検出されなかった領域である。図7に示すように、瞳孔の領域を表す白領域302内に、例えば血管等の黒領域308が現れる場合がある。
このように、瞳孔の領域だけでなく、睫毛や瞼の領域も同じ白領域で表される場合があるが、瞳孔の位置が許容範囲内であるか否かを判定する際には、睫毛や瞼の白領域304は不要な領域である。また、瞳孔の領域を表す白領域302内に現れた血管等の黒領域308も、瞳孔の位置が許容範囲内であるか否かを判定する際には不要な領域となる。
そこで、ステップ208では、これも眼球画像生成モジュールの一部を構成し得る判定用画像生成モジュールが、任意選択で、ステップ206で生成した二値化画像300から(又は二値化が行われない場合は撮影画像から)瞳孔以外の不要領域を除去することにより、判定用画像を生成する。すなわち、判定用画像生成モジュールは、二値画像瞳孔領域以外の不要領域を二値化画像300から除去することによって判定用画像を生成し、二値画像瞳孔領域は、二値化画像300における瞳孔の少なくとも一部分の画像である。具体的には、例えば二値化画像300に対して公知のモルフォロジー演算処理を実行することにより、二値化画像300から、不要領域である白領域304及び黒領域308を除去する。
ここで、モルフォロジー演算処理とは、処理対象の画像に対して収縮処理及び膨張処理を繰り返すことで画像の特徴部分(本例示的実施形態では瞳孔)を残し、その他の不要な領域を除去する処理である。このようなモルフォロジー演算処理を二値化画像300に対して実行することにより、図8に示すように、不要領域が除去された判定用画像310が生成される。
なお、本例示的実施形態では、不要領域をモルフォロジー演算処理によって除去する場合について説明したが、不要領域を除去する処理はモルフォロジー演算処理に限らない。例えば、公知の特徴抽出処理、パターンマッチング処理等を用いて不要領域を除去してもよい。
ステップ210では、判定モジュールが、判定用画像310の瞳孔領域の少なくとも一部分が、判定用画像310内で許容領域内にあるか否かを判定する(瞳孔領域は、被検眼38の瞳孔の少なくとも一部分の画像である)。このように、ステップ208で生成した判定用画像310に基づいて、瞳孔の位置が許容範囲内か否かを判定する。
判定モジュールは、代替として、判定用画像310の予め定めた許容領域に対して判定用画像310の瞳孔領域の少なくとも一部分が占める割合が予め定めた閾値以上であるか否かを判定してもよい。換言すると、判定用画像310の予め定めた判定領域に対して瞳孔の領域が占める割合が予め定めた閾値以上であるか否かを判定することができる。判定領域は、本例示的実施形態では、例えば図9に示すように、判定用画像310の幅方向(X方向)に沿ったライン312とする。そして、ライン312の総画素数に対して、ライン312上における白画素(瞳孔を表す画素)の画素数が占める割合が閾値以上であるか否かを判定する。ここで、閾値は、白画素の数が閾値以上の場合は、その後撮影されるOCT画像の品質が許容範囲内となる値に設定される。
そして、ライン312の総画素数に対して、ライン312上における白画素の画素数が占める割合が閾値以上の場合は本ルーチンを終了し、閾値未満の場合はステップ212へ移行する。
ステップ212では、判定モジュールが、判定を示す出力信号を生成する。主制御部14は、判定モジュールが生成した出力信号に基づいて表示制御部24を制御して、ディスプレイ26に表示される表示内容、例えば、OCT画像の撮影が正常に行えない旨を示す警告メッセージを設定することができる。これにより、オペレータは、患者に対して固視標を注視するよう指示する。そして、ステップ210の判定が肯定判定となるまで上記の処理が繰り返される。
なお、図9では、ライン312が判定用画像310の幅方向に沿ったラインとしているが、図10に示したように、判定用画像310の幅方向に対して傾斜したライン312としてもよい。また、判定領域を図11に示すように矩形領域314としてもよい。また、矩形に限らず任意の多角形の領域としてもよい。
図4に戻ってステップ106では、OCT画像の撮影範囲を、ステップ104で指定した撮影希望範囲と一致させるための自動アライメント処理を実行する。
具体的には、SLO画像生成部18により生成された狭域のIR−SLO画像を取得し、取得した狭域のIR−SLO画像と、ステップ102で撮影された広域のRG−SLO画像と、に基づいて、狭域のIR−SLO画像と、ステップ104で指定された撮影希望範囲と、の位置ずれを算出する。そして、算出した位置ずれに基づいて、OCT画像の撮影における走査範囲を設定する。
ステップ108では、OCT画像の撮影におけるオートフォーカス処理及びオートリファレンス処理を実行する。
まず、OCT画像の撮影を開始する。すなわち、SLD50から低コヒーレンス光を出射させると共に、ステップ106で設定された走査範囲を走査するようにOCTユニット34を制御し、OCT画像を撮影する。なお、OCT画像の撮影は、本ルーチンが終了するまで連続して実行される。
そして、撮影したOCT画像のピントが合うように、すなわちZ方向の位置ずれが補正されるようにOCTユニット34を制御する(オートフォーカス処理)。
また、撮影したOCT画像の奥行き方向(Z方向)が所定レンジ内に入るようにOCTユニット34を制御する(オートリファレンス処理)。
ステップ110では、撮影したOCT画像を二次記憶部78に記憶すると共に、ディスプレイ26に表示させる。
ところで、患者が固視標を注視している場合でも、固視微動によって眼球が微妙に動いてしまう。
そこで、ステップ110の処理と並行して、固視微動による位置ずれを補正するためのアイトラッキング処理を実行する。
アイトラッキング処理では、連続して撮影されたIR−SLO画像のうち、例えばステップ108でOCT画像の撮影を開始した直後のIR−SLO画像を参照用IR−SLO画像として設定する。そして、その後に撮影されたIR−SLO画像をトラッキング用IR−SLO画像として、参照用IR−SLO画像との位置ずれを算出し、算出した位置ずれが補正されるようにOCTユニット34を制御する。この処理をトラッキング用IR−SLO画像を取得する毎に実行する。
これにより、ステップ110では、固視微動による眼球の動きに追尾してOCT画像が撮影される。
また、ステップ110の処理及びアイトラッキング処理と並行して、図12に示す瞳孔位置判定処理を実行する。
図12に示すステップ504〜510は、図6に示すステップ204〜510の処理と同一なので、説明は省略する。
ステップ512では、ステップ208の判定結果を示す判定情報として、ステップ504でIR−SLO画像を取得したタイミングと同じタイミングでステップ110において撮影されたOCT画像を使用可とする情報を二次記憶部78に記憶させる。
ステップ514では、ステップ208の判定結果を示す判定情報として、ステップ504でIR−SLO画像を取得したタイミングと同じタイミングでステップ110において撮影されたOCT画像を使用不可とする情報を二次記憶部78に記憶させる。
図4のステップ110では、図12の瞳孔位置判定処理によって二次記憶部78に記憶された判定情報を参照し、使用不可とされたOCT画像を二次記憶部78から削除し、使用不可とする。
そして、OCT画像の撮影を終了すべきタイミングとなった場合は、IR−SLO画像の撮影及びOCT画像の撮影を停止させ、本ルーチンを終了する。
このように、本例示的実施形態では、被検眼の前眼部ではなく、後眼部からの反射光に基づくIR−SLO画像を用いて瞳孔の位置が許容範囲内か否かを判定するので、瞳孔の位置合わせを精度良く行うことができる。また、瞳孔の位置が許容範囲外の場合におけるOCT画像を使用不可とするので、精度の悪いOCT画像を使用して断層画像が生成されてしまうのを防ぐことができる。
判定モジュールによって行われる眼球画像処理方法を図13のフローチャートに要約している。処理602で、判定モジュールは、被検眼38からの反射光に基づく眼38の画像を取得する。処理S604で、判定モジュールは、取得した画像の瞳孔領域の少なくとも一部分が、取得した画像内で予め定めた許容領域内にあるか否かを判定し、瞳孔領域は眼38の瞳孔の少なくとも一部分の画像である。処理S606で、判定モジュールは、判定を示す出力信号を生成する。
判定モジュールによって行われる代替の眼球画像処理方法を図14のフローチャートに要約している。処理702で、判定モジュールは、被検眼38からの反射光に基づく眼の画像を取得する。処理S704で、判定モジュールは、取得した画像の予め定めた許容領域に対して取得した画像の瞳孔領域の少なくとも一部分が占める割合が、予め定めた閾値以上であるか否かを判定し、瞳孔領域は眼38の瞳孔の少なくとも一部分の画像である。処理706で、判定モジュールは、判定を示す出力信号を生成する。
上記の実施形態の変形例では、主制御部14は、瞳孔アライメントの度合いについてのフィードバックを被検者に提供することによって被検者が適切な瞳孔アライメントを維持するのを支援するために、行われた判定を示す判定モジュールからの出力信号に基づいて、表示される固視標の少なくとも1つの特性(例えば、固視標の少なくとも一部分の色や、固視標の少なくとも一部分の点滅等)を制御する固視標表示制御装置として機能することができる。
なお、本例示的実施形態では、瞳孔位置判定処理において、IR−SLO画像から二値化画像を生成する際の二値化閾値を1つとした場合について説明したが、例えばIR−SLO画像を明度に応じて複数の領域に分け、この複数の領域毎に二値化閾値を適切に設定するようにしてもよい。
CCD又はCMOS等の撮像装置を更に設け、その撮像装置により撮影された画像を上記のRG−SLO画像に代えてもよい。また、SLOユニット32に代えて撮像装置を設け、撮像装置により撮影された画像を上記のRG−SLO画像及びIR−SLO画像に代えてもよい。
また、ステップ102で撮影したRG−SLO画像に対して瞳孔位置判定処理を適用してもよい。すなわち、ステップ102でRG−SLO画像を撮影した後、撮影したRG−SLO画像に対して、図6に示す瞳孔位置判定処理のステップ204〜212の処理を実行することができる。以て、ステップ104において瞳孔の位置が許容範囲外のRG−SLO画像が用いられてしまうのを防ぐことができる。
上記各実施形態では、スリットミラー66及び楕円面鏡70による一対の凹面鏡を例示したが、本発明はこれに限定されるものではない。例えば、スリットミラー66に代えて、傾斜球面鏡、非球面鏡、一対のパラボラ鏡、一対の放物面鏡、若しくはレンズ系、又はこれらを適宜に組み合わせた光学系を適用してもよい。
上記で説明した例示的実施形態では、Y方向の走査を行うポリゴンミラー44及びY方向の走査を行うV−ガルバノミラー60を、ダイクロイックミラー64の光入射側に配置する例について説明したが、ダイクロイックミラー64を光軸方向にスリットミラーの焦点から離れた位置に配置し、Y方向の走査を行うポリゴンミラー44又はV−ガルバノミラー60をスリットミラーの焦点位置に配置してもよい。この場合、ポリゴンミラー44又はV−ガルバノミラー60は、SLO画像取得時及びOCT画像取得時に共通に使用される走査光学系として機能する。
また、ダイクロイックミラー64により、SLO用の光及びOCT用の光が通過する共通の光軸を生成する例について説明したが、ダイクロイックミラー64に代えて偏光ビームスプリッタ等のビームスプリッタ、又はハーフミラー等の光学部材を用いてもよい。
なお、上記で説明した各例示的実施形態では、図1に示すように、ポリゴンミラー44及びV−ガルバノミラー60を、ダイクロイックミラー64の光入射側に配置し、SLO及びOCTのX方向の走査を共通に行うH−ガルバノミラー68を、ダイクロイックミラー64の光出射側に配置した例について説明した。図15Aには、図1に示すSLOユニット32、OCTユニット34、及び共通光学系36に対応する構成が示されている。図15Aに示すように、装置本体は、ダイクロイックミラー(Dichroic mirror)1064、SLOエンジン(engine)1032A、及びOCTエンジン(engine)1034Aを備えている。ダイクロイックミラー1064とSLOエンジン1032Aとの間には、走査システム(Scanning system)1044が配置されている。また、ダイクロイックミラー1064とOCTエンジン1034Aとの間には、走査システム1060が配置されている。ダイクロイックミラー1064と被検眼1038との間には、走査システム1068が配置されている。
なお、走査システム1044は、ポリゴンミラー44に対応し、SLOエンジン1032Aは、図1におけるSLOユニット32からポリゴンミラー44を除いた部分である。走査システム1060は、V−ガルバノミラー60に対応し、OCTエンジン1034Aは、図1におけるOCTユニット34からV−ガルバノミラー60を除いた部分である。走査システム1068は、H−ガルバノミラー68に対応する。
上記走査光学系としては、以下のように変形することができる。
図15Bには、走査光学系の第1の変形例が示されている。図15Bに示すように、ダイクロイックミラー1064の一方(SLOエンジン1032A側)の光入射側に、SLO用の二次元走査光学系1104を配置し、ダイクロイックミラー1064の他方(OCTエンジン1034A側)の光入射側に、OCT用の二次元走査光学系1102を配置する。
図15Cには、走査光学系の第2の変形例が示されている。図15Cに示すように、ダイクロイックミラー1064の光出射側に、SLO及びOCTに共通に使用される二次元走査光学系1200を配置する。
また、上記で説明したいずれの走査光学系においても、X方向とY方向とを入れ替えても同様の走査が行えることは言うまでもない。
走査を中継する光学部材として楕円面鏡を使用する例について説明したが、放物面鏡等の他の凹面鏡を使用することができ、凹面鏡に代えてレンズ等の光学部材を使用することもできる。走査を中継する光学部材としては、複数の焦点を有する光学部材を使用することができる。この場合の光学部材、走査光学系、及び被検眼の位置関係は、以下の態様をとることができる。
第1の態様では、1つの焦点位置f1に被検眼が配置され、他の1つの焦点位置f2にSLO及びOCTに共通に使用される二次元走査光学系が配置される。
第2の態様では、1つの焦点位置f1に被検眼が配置され、他の1つの焦点位置f2にSLOに使用される二次元走査光学系が配置され、更に他の1つの焦点位置f3にOCTに使用される二次元走査光学系が配置される。
第3の態様では、1つの焦点位置f1に被検眼が配置され、他の1つの焦点位置f2にSLO及びOCTに共通に使用される第1の方向に光を走査する一次元走査光学系が配置され、更に他の1つの焦点位置f3にSLOに使用される第1の方向と交差する第2の方向(例えば、直交する方向)に光を走査する一次元走査光学系が配置され、更に他の1つの焦点位置f3と光学的に等価な位置にOCTに使用される第2の方向に光を走査する一次元走査光学系が配置される。
なお、上記の各態様では、焦点位置に代えて焦点位置と光学的に等価な位置に被検眼及び走査光学系を配置してもよい。
上記各例示的実施形態では、スリットミラー66及び楕円面鏡70による一対の凹面鏡を例示したが、本発明はこれに限定されるものではない。例えば、スリットミラー66に代えて、傾斜球面鏡、非球面鏡、一対のパラボラ鏡、一対の放物面鏡、若しくはレンズ系、又はこれらを適宜に組み合わせた光学系を適用してもよい。
上記各例示的実施形態では眼底画像撮影プログラム80を二次記憶部78から読み出す場合を例示したが、眼底画像撮影プログラム80は必ずしも最初から二次記憶部78に記憶させておく必要はない。例えば、図16に示すように、SSD(Solid State Drive)、USB(Universal Serial Bus)メモリ、及びCD−ROM(Compact Disk Read Only Memory)等の任意の可搬型の記憶媒体90にまずは眼底画像撮影プログラム80を記憶させておいてもよい。この場合、記憶媒体90の眼球画像撮影プログラム80が眼球画像撮影装置10にインストールされ、インストールされた眼底画像撮影プログラム80がCPU74によって実行される。
通信網(図示省略)を介して眼球画像撮影装置10に接続される他のコンピュータ又はサーバ装置等の記憶部に眼球画像撮影プログラム80を記憶させておき、眼球画像撮影プログラム80が眼球画像撮影装置10の要求に応じてダウンロードされるようにしてもよい。この場合、ダウンロードされた眼底画像撮影プログラム80がCPU74によって実行される。
また、上記各例示的実施形態で説明した眼底画像撮影処理はあくまでも一例である。したがって、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。また、眼底画像撮影処理に含まれる各処理は、FPGA又はASIC等のハードウェア構成のみで実現されてもよいし、コンピュータを利用したソフトウェア構成とハードウェア構成との組み合わせで実現されてもよい。
その他、上記各例示的実施形態で説明した眼球画像撮影装置10の構成(図1参照)は一例であり、本発明の主旨を逸脱しない範囲内において不要な部分を削除したり、新たな部分を追加したりしてもよいことは言うまでもない。
また、上記各例示的実施形態で説明した眼底画像撮影プログラムの処理の流れ(図4及び図6参照)も一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的且つ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
10 眼球画像撮影装置
13 制御装置
14 主制御部
16 OCT画像生成部
18 SLO画像生成部
32 SLOユニット
34 OCTユニット
36 共通光学系
38 被検眼

Claims (13)

  1. 被検眼からの反射光に基づく前記被検眼の画像を生成するように動作可能な眼球画像生成モジュールと、
    前記生成した画像の予め定めた多角形の許容領域の総画素数に対して前記生成した画像の瞳孔領域の少なくとも一部分を表す画素数の割合が予め定めた閾値以上であるか否かを判定し、前記判定を示す出力信号を生成するように構成された判定モジュールであって、前記瞳孔領域が、前記被検眼の瞳孔の少なくとも一部分の画像である、判定モジュールと
    を備える、眼球画像撮影装置。
  2. 前記眼球画像生成モジュールが、
    前記被検眼からの反射光に基づく前記被検眼の画像を撮影するように構成された眼球画像撮影モジュールと、
    前記撮影された画像から撮影画像瞳孔領域以外の不要領域を除去することによって判定用画像を生成するように構成された判定用画像生成モジュールであって、前記撮影画像瞳孔領域が、前記撮影された画像における前記瞳孔の少なくとも一部分の画像である、判定用画像生成モジュールと
    を備え、
    前記判定モジュールが、前記判定用画像に基づいて前記判定を行うように構成されている、請求項に記載の眼球画像撮影装置。
  3. 前記眼球画像生成モジュールが、
    前記被検眼からの反射光に基づく前記被検眼の画像を撮影するように構成された眼球画像撮影モジュールと、
    前記撮影された画像を二値化することによって二値画像を生成するように構成された二値画像生成モジュールと、
    前記二値画像から二値画像瞳孔領域以外の不要領域を除去することによって判定用画像を生成するように構成された判定用画像生成モジュールであって、前記二値画像瞳孔領域が、前記二値画像における前記瞳孔の少なくとも一部分の画像である、判定用画像生成モジュールと
    を備え、
    前記判定モジュールが、前記判定用画像に基づいて前記判定を行うように構成されている、請求項に記載の眼球画像撮影装置。
  4. 前記被検眼の眼底を照明するように構成された照明モジュールを更に備え、
    前記眼球画像生成モジュールが、前記被検眼からの反射光に基づく前記被検眼の画像を撮影するように構成された眼球画像撮影モジュールを備え、請求項1〜のいずれか1項に記載の眼球画像撮影装置。
  5. 前記判定モジュールによって生成された前記出力信号に基づいて前記照明モジュールを制御するように構成された制御装置を更に備える、請求項に記載の眼球画像撮影装置。
  6. 前記判定モジュールが、前記照明モジュールが前記眼底を照明している間に前記判定を繰り返し行うように構成され、前記眼球画像撮影装置が、前記判定モジュールによって行われた前記判定の結果を記憶するように構成された記憶モジュールを更に備える、請求項又はに記載の眼球画像撮影装置。
  7. 前記照明モジュールが、前記被検眼に向けて出射された光のうち、前記被検眼の眼底からの反射光と、前記反射光の光路と異なる光路を通った参照光と、の干渉を用いて、前記被検眼の眼底の断層画像を取得するように構成された断層画像取得モジュールを備える、請求項のいずれか一項に記載の眼球画像撮影装置。
  8. 前記被検眼に向けて出射された光のうち、前記被検眼の眼底からの反射光と、前記反射光の光路と異なる光路を通った参照光と、の干渉を用いて、前記被検眼の眼底の断層画像を取得するように構成された断層画像取得モジュールと、
    前記判定モジュールによって行われた前記判定に基づいて、前記断層画像取得モジュールによる前記断層画像の取得を制御するように構成された制御モジュールと
    を更に備える、請求項1〜のいずれか一項に記載の眼球画像撮影装置。
  9. 前記眼球画像生成モジュールが、
    眼底撮影用の光を照射するように構成された第1の光源と、
    第1の方向に光を走査すると共に、前記第1の方向と交差する第2の方向に光を前記被検眼の周辺部に走査するように構成された第1の走査光学系と、
    前記第1の走査光学系によって前記第1の光源から照射された光で前記被検眼を走査した際に、前記被検眼の眼底からの光を受光するように構成された第1の受光部と
    を備え、
    前記断層画像取得モジュールが、
    断層画像生成用の光を照射するように構成された第2の光源と、
    前記第1の方向に光を走査すると共に、前記第2の方向に光を前記被検眼の周辺部に走査するように構成された第2の走査光学系と、
    前記第2の走査光学系によって前記第2の光源から照射された光のうち、前記被検眼の眼底からの反射光と、前記反射光の光路と異なる光路を通った参照光と、を受光するように構成された第2の受光部と、
    前記第2の受光部により受光した前記反射光及び前記参照光に基づいて、前記断層画像を生成するように構成された生成モジュールと
    を備える、請求項に記載の眼球画像撮影装置。
  10. 前記被検眼の視線を固定するための固視標を表示するように構成された固視標表示モジュールと、
    前記判定モジュールによって生成された前記出力信号に基づいて、前記表示された固視標の少なくとも1つの特性を制御するように構成された固視標表示制御装置と
    を更に備える、請求項1〜のいずれか一項に記載の眼球画像撮影装置。
  11. ディスプレイと、
    前記判定モジュールによって生成された前記出力信号に基づいて、前記ディスプレイの表示内容を設定するように構成された表示制御部と
    を更に備える、請求項1〜10のいずれか一項に記載の眼球画像撮影装置。
  12. CPUにより、被検眼画像を取得するステップと、
    前記取得した画像の予め定めた多角形の許容領域の総画素数に対して前記取得した画像の瞳孔領域の少なくとも一部分を表す画素数の割合が予め定めた閾値以上であるか否かを判定するステップであって、前記瞳孔領域が、前記被検眼の瞳孔の少なくとも一部分の画像である、ステップと、
    前記判定を示す出力信号を生成するステップと
    を含む、眼球画像処理方法。
  13. プロセッサによって実行されたときに、請求項12に記載の方法を前記プロセッサに行わせるコンピュータプログラム
JP2019515970A 2016-10-11 2017-10-10 眼球画像撮影装置 Active JP6978165B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016200481A JP2018061621A (ja) 2016-10-11 2016-10-11 眼底画像撮影装置、眼底画像撮影方法、及び眼底画像撮影プログラム
JP2016200481 2016-10-11
PCT/EP2017/075851 WO2018069345A1 (en) 2016-10-11 2017-10-10 Ocular image capturing device

Publications (2)

Publication Number Publication Date
JP2019536500A JP2019536500A (ja) 2019-12-19
JP6978165B2 true JP6978165B2 (ja) 2021-12-08

Family

ID=59593108

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016200481A Pending JP2018061621A (ja) 2016-10-11 2016-10-11 眼底画像撮影装置、眼底画像撮影方法、及び眼底画像撮影プログラム
JP2019515970A Active JP6978165B2 (ja) 2016-10-11 2017-10-10 眼球画像撮影装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016200481A Pending JP2018061621A (ja) 2016-10-11 2016-10-11 眼底画像撮影装置、眼底画像撮影方法、及び眼底画像撮影プログラム

Country Status (5)

Country Link
US (1) US11170213B2 (ja)
EP (1) EP3525656A1 (ja)
JP (2) JP2018061621A (ja)
CN (1) CN109936995A (ja)
WO (1) WO2018069345A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019034228A1 (en) 2017-08-14 2019-02-21 Optos Plc OPHTHALMIC DEVICE
SG11202005927VA (en) 2017-12-20 2020-07-29 Medi Whale Inc Method and apparatus for assisting in diagnosis of cardiovascular disease
KR20200005404A (ko) * 2018-07-06 2020-01-15 연세대학교 산학협력단 진단 보조 시스템
JP7183617B2 (ja) * 2018-08-02 2022-12-06 株式会社ニデック 眼底撮影装置
KR102652943B1 (ko) * 2018-12-03 2024-03-29 삼성전자주식회사 3차원 영상 출력 방법 및 그 방법을 수행하는 전자 장치
US11652981B2 (en) 2019-03-04 2023-05-16 Nikon Corporation Resolution test chart and artificial eye for assessing fundus imaging systems
ES2917214T3 (es) * 2019-10-07 2022-07-07 Optos Plc Sistema de formación de imágenes oftálmicas
CA3096285A1 (en) * 2020-10-16 2022-04-16 Pulsemedica Corp. Opthalmological imaging and laser delivery device, system and methods
FI4000502T3 (fi) * 2020-11-12 2024-02-05 Optos Plc Volumetrisen OCT-kuvatiedon käsittely

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9323065D0 (en) 1993-11-09 1994-01-05 Besca Ltd A wide field retinal scanning ophthalmoscope
JP3523453B2 (ja) * 1997-06-30 2004-04-26 株式会社ニデック 検眼装置
US6086204A (en) * 1999-09-20 2000-07-11 Magnante; Peter C. Methods and devices to design and fabricate surfaces on contact lenses and on corneal tissue that correct the eye's optical aberrations
JP4428987B2 (ja) * 2003-11-17 2010-03-10 キヤノン株式会社 眼科装置
JP2005342282A (ja) 2004-06-04 2005-12-15 Canon Inc 眼科撮影装置
GB2440163A (en) 2006-07-15 2008-01-23 Optos Plc Scanning ophthalmoscope with reduced shear distortion
JP4971872B2 (ja) 2007-05-23 2012-07-11 株式会社トプコン 眼底観察装置及びそれを制御するプログラム
GB201011095D0 (en) 2010-07-01 2010-08-18 Optos Plc Improvements in or relating to ophthalmology
GB201100555D0 (en) 2011-01-13 2011-03-02 Optos Plc Improvements in or relating to Ophthalmology
JP5981722B2 (ja) * 2011-04-27 2016-08-31 キヤノン株式会社 眼科装置
JP5236089B1 (ja) 2012-01-26 2013-07-17 キヤノン株式会社 光干渉断層撮像装置、光干渉断層撮像装置の制御方法、およびプログラム
JP5989523B2 (ja) * 2012-05-01 2016-09-07 株式会社トプコン 眼科装置
GB201217538D0 (en) 2012-10-01 2012-11-14 Optos Plc Improvements in or relating to scanning laser ophthalmoscopes
WO2014084231A1 (ja) 2012-11-30 2014-06-05 株式会社トプコン 眼底撮影装置
US20140253686A1 (en) 2013-03-08 2014-09-11 Victor C. Wong Color 3-d image capture with monochrome image sensor
JP2016510628A (ja) 2013-03-14 2016-04-11 レイセオン カンパニー 携帯型網膜画像化装置
US9295386B2 (en) 2013-04-03 2016-03-29 Kabushiki Kaisha Topcon Ophthalmologic apparatus
GB201307936D0 (en) 2013-05-02 2013-06-12 Optos Plc Improvements in and relating to ophthalmoscopes
US20150097925A1 (en) * 2013-10-04 2015-04-09 Electronics And Telecommunications Research Institute Apparatus and method for displaying hologram based on pupil tracking using hybrid camera
KR20150070802A (ko) * 2013-12-17 2015-06-25 현대자동차주식회사 동공 검출 장치 및 동공 검출 방법
US9355315B2 (en) * 2014-07-24 2016-05-31 Microsoft Technology Licensing, Llc Pupil detection
JP6436294B2 (ja) 2014-09-30 2018-12-12 株式会社ニデック 眼科装置、および眼科装置制御プログラム
JP6456711B2 (ja) 2015-02-16 2019-01-23 株式会社トプコン 眼科手術用顕微鏡および眼科手術用アタッチメント
JP6638354B2 (ja) * 2015-12-01 2020-01-29 株式会社Jvcケンウッド 視線検出装置及び視線検出方法
JP6906898B2 (ja) * 2016-03-10 2021-07-21 キヤノン株式会社 眼科撮影装置
TW201901529A (zh) * 2017-05-22 2019-01-01 宏達國際電子股份有限公司 眼球追蹤方法、電子裝置及非暫態電腦可讀取記錄媒體
JP6930223B2 (ja) * 2017-05-31 2021-09-01 富士通株式会社 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法
CN111263925B (zh) * 2017-09-28 2022-06-14 苹果公司 用于使用事件相机数据的眼动跟踪的方法和设备
EP3675709B1 (en) * 2017-11-07 2023-07-26 Notal Vision Ltd. Systems for alignment of ophthalmic imaging devices
US10917634B2 (en) * 2018-01-17 2021-02-09 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
US10713483B2 (en) * 2018-03-20 2020-07-14 Welch Allyn, Inc. Pupil edge detection in digital imaging
US10890979B2 (en) * 2018-04-23 2021-01-12 Industrial Technology Research Institute Controlling system and controlling method for virtual display
US10839609B2 (en) * 2018-10-05 2020-11-17 Facebook Technologies, Llc Apparatus, systems, and methods for display devices including local dimming

Also Published As

Publication number Publication date
US11170213B2 (en) 2021-11-09
US20190278972A1 (en) 2019-09-12
JP2018061621A (ja) 2018-04-19
EP3525656A1 (en) 2019-08-21
JP2019536500A (ja) 2019-12-19
WO2018069345A1 (en) 2018-04-19
CN109936995A (zh) 2019-06-25

Similar Documents

Publication Publication Date Title
JP6978165B2 (ja) 眼球画像撮影装置
US9743830B2 (en) Fundus photography device
US9386920B2 (en) Ophthalmologic image processing apparatus
CN111163684B (zh) 眼科设备
JP2015066242A (ja) 眼科撮影装置
US10321819B2 (en) Ophthalmic imaging apparatus
EP3257433A1 (en) Ophthalmic imaging device and generation method of ophthalmic synthetic image
JP2015091309A (ja) 眼科用画像処理装置および画像処理プログラム
JP6319616B2 (ja) 走査型レーザー検眼鏡
JP2017127578A (ja) 撮像方法、撮像装置、および該撮像方法を実行するプログラム
JP6713297B2 (ja) 眼科装置
JP6739183B2 (ja) 眼科装置
JP7468162B2 (ja) 眼底画像処理プログラムおよび眼底撮影装置
JP5913519B2 (ja) 眼底観察装置
JP7421062B2 (ja) 眼底撮影装置
WO2020179522A1 (ja) 走査型眼科撮影装置、および眼科撮影プログラム
JP6912554B2 (ja) 眼科装置
JP7375323B2 (ja) 眼底撮影装置
JP7200516B2 (ja) 眼底撮影装置
JP6617790B2 (ja) 眼科撮影装置
JP6836212B2 (ja) 眼科撮影装置
JP6844949B2 (ja) 眼科装置
JP5718154B2 (ja) 干渉光計測装置
JP2018099631A (ja) 走査型レーザー検眼鏡
JP2018166631A (ja) 眼科撮影装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190618

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190521

AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20190910

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190913

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190918

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191004

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200616

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200908

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20201110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211109

R150 Certificate of patent or registration of utility model

Ref document number: 6978165

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150