JP7355434B2 - 眼底画像認識方法及び装置並びに設備 - Google Patents

眼底画像認識方法及び装置並びに設備 Download PDF

Info

Publication number
JP7355434B2
JP7355434B2 JP2022519681A JP2022519681A JP7355434B2 JP 7355434 B2 JP7355434 B2 JP 7355434B2 JP 2022519681 A JP2022519681 A JP 2022519681A JP 2022519681 A JP2022519681 A JP 2022519681A JP 7355434 B2 JP7355434 B2 JP 7355434B2
Authority
JP
Japan
Prior art keywords
optic disc
image
region
optic
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022519681A
Other languages
English (en)
Other versions
JP2023503781A (ja
Inventor
黎明 代
泓羊 姜
戦波 楊
冬冬 張
Original Assignee
北京至真互聯網技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京至真互聯網技術有限公司 filed Critical 北京至真互聯網技術有限公司
Publication of JP2023503781A publication Critical patent/JP2023503781A/ja
Application granted granted Critical
Publication of JP7355434B2 publication Critical patent/JP7355434B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Fuzzy Systems (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Description

本発明は、画像処理技術分野に関し、特に眼底画像認識方法及び装置並びに設備に関する。
近年、機械学習、特に深層学習などの技術の継続的な開発と、医用画像取得装置の継続的な改善により、ますます多くの研究者が人工知能医学の分野に投入し、これにより、医用画像処理に大きな進歩がもたらされた。その中で、深層学習に基づく視神経乳頭と視神経乳頭の陥凹の位置決めアルゴリズムは、十分なトレーニングデータを収集することにより、視神経乳頭の機能は、深層学習モデルをトレーニングすることで自動的に学習される。ただし、深層学習はデータドリブンであり、現在の公開データセットはすべてデスクトップイメージであるため、視神経乳頭領域は比較的に明白である。実際に撮影した眼底画像に、撮影機材や撮影方法の影響で、光漏れ、レインボースポット、レンズの汚れなどの異常がある場合、深い学習に基づいて視神経乳頭と視神経乳頭の陥凹を認識した場合、複数の視神経乳頭と視神経乳頭の陥凹候補領域が頻繁に現れ、したがって視神経乳頭検出結果の精度に影響を与える。
これに基づいて、視神経乳頭の検出結果の精度を効果的に向上できる眼底画像認識方法及び装置並びに設備を提供する必要がある。
上記目的を達成するために、本発明は、以下の技術的解決策を提供する。
本出願の一態様によれば、眼底画像認識方法を提供し、
収集された眼底画像を取得し、収集された眼底画像を前処理すること、
前処理された前記眼底画像をトレーニング済みの視神経乳頭予測モデルに入力し、前記視神経乳頭予測モデルが前記眼底画像に対して視神経乳頭予測を行い、１つ以上の位置決めされた視神経乳頭候補領域がマークされている対応する視神経乳頭予測図像を得ること、
前記視神経乳頭予測図を取得し、楕円フィッティングを行って、前記視神経乳頭予測図における視神経乳頭候補領域の楕円フィッティングパラメータを取得し、前記視神経乳頭候補領域の数と前記楕円フィッティングパラメータに基づいて、前記眼底画像内の視神経乳頭領域を確定することを含む。
一つの可能な実施形態では、前記視神経乳頭候補領域の数と前記楕円フィッティングパラメータに基づいて前記眼底画像内の視神経乳頭領域を確定することは、
前記視神経乳頭候補領域が２つ以上である場合、各前記視神経乳頭候補領域に対応する楕円フィッティングパラメータによって、前記視神経乳頭予測図像から対応する楕円領域を切り取ること、
各前記楕円形領域について、エッジ検出を行い、各前記視神経乳頭候補領域の血管ピクセル図を取得することと、
各前記血管ピクセル図の血管ピクセル数を計算し、各前記血管ピクセル数によって最終的な視神経乳頭領域を確定することを含む。
一つの可能な実施形態では、各前記血管ピクセル数によって最終的な視神経乳頭領域を確定することは、
前記血管ピクセル数の中から最大値の視神経乳頭候補領域を前記視神経乳頭領域とすることを含む。
一つの可能な実施形態では、各前記楕円形領域について、エッジ検出を行う場合、Ｃａｎｎｙ演算子に基づくマルチレベルのエッジ検出アルゴリズムを使用して検出する。
一つの可能な実施形態では、前記視神経乳頭予測図像を取得し、楕円フィッティングを実行することは、
前記視神経乳頭予測図像対して二値化処理を実行し、前記視神経乳頭予測図像を二値化図に変換し；
二値化図における視神経乳頭候補領域に対して楕円フィッティングを実行して、対応する楕円フィッティングパラメータを取得することを含む。
一つの可能な実施形態では、さらに、視神経乳頭の陥凹を認識するステップを含み；
視神経乳頭を中心とする視神経乳頭一部画像を取得し、前記視神経乳頭一部画像をトレーニング済みの視神経乳頭の陥凹検出モデルに入力し、前記視神経乳頭の陥凹検出モデルによって前記視神経乳頭一部画像に対して視神経乳頭の陥凹予測を実行して、視神経乳頭の陥凹候補領域を取得し；
前記視神経乳頭の陥凹候補領域に対して楕円フィッティングを行い、フィッティング結果基づいて、前記視神経乳頭の陥凹候補領域の境界と視神経乳頭領域の関係を確定し；
視神経乳頭の陥凹候補領域の境界が視神経乳頭領域を超えていると判断された場合、前記視神経乳頭の陥凹候補領域の調整を調整された前記視神経乳頭の陥凹候補領域が前記視神経乳頭領域内に収まるまで実行した後、視神経乳頭の陥凹位置を確定することを含む。
一つの可能な実施形態では、視神経乳頭の陥凹候補領域を調整する場合、視神経乳頭一部画像をマスクとして使用するマスク大津閾値法を使用して、視神経乳頭の陥凹候補領域を調整する。
一つの可能な実施形態では、前記視神経乳の陥凹を調整することは、
今回の調整が初回目の調整であるかどうかを判断すること、
今回の調整が初回目の調整である場合、前記視神経乳頭の陥凹候補領域を拡大処理して調整しようとする視神経乳頭の陥凹候補領域とすること、
今回の調整が初回目の調整ではない場合、前記視神経乳頭の陥凹候補領域を縮小してから調整しようとする視神経乳頭の陥凹候補領域とすることを含む。
本出願の別の態様によれば、さらに眼底画像認識装置を提供し、画像前処理モジュール、視神経乳頭位置決めモジュール、楕円フィッティングモジュール、視神経乳頭領域確定モジュールを含み；
前記画像前処理モジュールは、収集された眼底画像を取得し、収集された前記眼底画像を前処理する構成であり；
前記視神経乳頭位置決めモジュールは、前処理された後の前記眼底画像をトレーニング済みの神経乳頭予測モデルに入力し、前記視神経乳頭予測モデルにより前記眼底画像を視神経乳頭予測して、対応する視神経乳頭予測図像が得られ；ここで、前記視神経乳頭予測図像には１つ以上の位置決められた視神経乳頭候補領域がマークされている構成であり；
前記楕円フィッティングモジュールは、前記視神経乳頭予測図像を取得し、楕円フィッティングして、前記視神経乳頭予測図像における視神経乳頭候補領域の楕円フィッティングパラメータを取得する構成であり；
前記視神経乳頭領域確定モジュールは、前記視神経乳頭候補領域の数と前記楕円フィッティングパラメータに基づいて前記眼底画像内の視神経乳頭領域を確定する構成である。
本出願の別の態様によれば、さらに眼底画像認識設備を提供し、
プロセッサと；
プロセッサからの実行可能な命令を格納するためのメモリと；を含み、
ここで、前記プロセッサは、前記実行可能命令を実行する際に、前記いずれかに記載の方法を実現するように構成されている。
本出願の実施例の眼底画像認識方法は、トレーニング済みの視神経乳頭予測モデルを使用することにより、眼底画像に対して視神経乳頭位置決めを行い、まず眼底画像において視神経乳頭候補領域を位置決めし、次に位置決められた視神経乳頭候補領域に対して楕円フィッティングを実行した後、視神経乳頭候補領域の数と楕円フィッティングパラメータに基づいて、最終的な視神経乳頭領域が確定され、したがって、取得した画質が高くない眼底画像（即ち、光漏れ、虹色の斑点、レンズの汚れなどのある眼底画像）については、視神経乳頭予測モジュールを通して眼底画像から現れる可能性のある複数の視神経乳頭候補領域を位置決めすることが依然として可能であり、次に、複数の視神経乳頭候補領域から最終的な視神経乳頭領域を選定する。これにより、さまざまな状況での眼底画像における視神経乳頭領域の認識と位置決めが実現されるだけでなく、同時に、視神経乳頭領域の位置決めの精度を効果的に向上させる。
本発明の実施形態または先行技術の技術的解決策をより明確に説明するために、以下では、実施形態または先行技術の説明に使用する必要のある図面を簡単に紹介するが、以下の説明は、本発明の一部の実施形態に過ぎず、当技術分野の通常の技術者にとって、他の図面は、創造的な作業なしに、これらの図面に従って得ることができる。
本出願の一実施例による眼底画像認識方法のフローチャート。 本出願の別の実施例による眼底画像認識方法のフローチャート。 本出願の一実施例による眼底画像認識方法において、複数の視神経乳頭候補領域を認識した後、複数の視神経乳頭候補領域から最終的な視神経乳頭領域を確定するフローチャート。 本出願の一実施例による眼底画像認識方法において、収集された眼底画像を前処理した後に得られる眼底グレースケール画像。 本出願の一実施例による眼底画像認識方法において、得られた視神経乳頭予測図像の眼底図。 本出願の一実施例による眼底画像認識方法において、認識された視神経乳頭候補領域の図である。 本出願の一実施例による眼底画像認識方法において、認識された別の視神経乳頭候補領域の図である。 本出願の一実施例による眼底画像認識方法において、視神経乳頭の陥凹認識のフローチャートである。 本出願の一実施例による眼底画像認識方法において、視神経乳頭の陥凹認識の過程において、視神経乳頭の陥凹候補領域を調整するフローチャートである。 本出願の一実施例の眼底画像認識装置の構造ブロック図。 本出願の一実施例の眼底画像認識設備の構造ブロック図。
以下は、本発明の実施例における添付の図面と組み合わせて、本発明を詳細に説明し、本発明の実施例における技術的解決策を明確かつ完全に説明するが、明らかに、記載された実施例は、すべてではなく、本発明の実施例の一部にすぎない。本発明の実施形態に基づいて、創造的な作業なしに当業者によって得られる他のすべての実施形態は、本発明の保護範囲に含まれる。
本発明の上記の目的、特徴および利点をより明白かつ理解可能にするために、本発明は、図面および特定の実施形態と併せて、以下でさらに詳細に説明される。
図１は本出願の一実施例による眼底画像認識方法のフローチャートである。図１に示されるように、当該方法は以下のステップを含む。Ｓ１００であり、即ち、収集された眼底画像を取得し、且つ収集された眼底画像に対して前処理を行う。ここで、注意すべきことは、眼底画像の収集は、デスクトップ眼底カメラまたは携帯型眼底カメラなどの様々な装置を使用でき、他の方法も使用でき、眼底像の取得方法については、ここでは限定しない。同時に、取得した眼底画像に対して実行される前処理方法は、トリミング、グレースケール変換、自己適用的ヒストグラム平坦化（ＣＬＡＨＥ）、ガンマ補正及び正規化のうちの少なくとも１つを含む。
ステップＳ２００であり、即ち、前処理された眼底画像をトレーニング済みの視神経乳頭予測モデルに入力し、視神経乳頭予測モデルにより眼底画像に対して視神経乳頭予測を行い、対応する視神経乳頭予測図像を取得する。ここで、注意すべきことは、トレーニング済みの視神経乳頭予測モデルを使用して眼底画像に対して視神経乳頭を予測および位置決めする場合、撮影設備および撮影方法の影響により、眼底画像の画質はあまり高くなく、光漏れ、レインボースポット、レンズの汚れなどのリスクがある。したがって、本出願の実施例の眼底画像認識方法において、トレーニング済みの視神経乳頭予測モデルを使用して、眼底画像内の視神経乳頭を認識および位置決めする場合、画質があまり標準的ではない眼底画像である場合、複数の視神経乳頭候補領域が認識され、認識された各視神経乳頭候補領域はいずれも視神経乳頭予測画像にマークされることになる。
次に、ステップＳ３００を介して、視神経乳頭予測図像を取得し、視神経乳頭予測図像における各視神経乳頭候補領域に対して楕円フィッティングを行って、視神経乳頭予測図像における各視神経乳頭候補領域の楕円フィッティングパラメータを取得し、視神経乳頭候補領域の数と楕円フィッティングパラメータに基づいて、眼底画像内の視神経乳頭領域を確定する。
以上のことにより、本出願の実施例の眼底画像認識方法は、トレーニング済みの視神経乳頭予測モデルを使用することにより、眼底画像に対して視神経乳頭位置決めを行い、まず眼底画像において視神経乳頭候補領域を位置決めし、次に位置決められた視神経乳頭候補領域（即ち、視神経乳頭予測図像）に対して楕円フィッティングを実行した後、視神経乳頭候補領域の数と楕円フィッティングパラメータに基づいて、最終的な視神経乳頭領域が確定され、したがって、取得した画質の低い眼底画像（即ち、光漏れ、虹色の斑点、レンズの汚れなどのある眼底画像）については、視神経乳頭予測モジュールを通して眼底画像から現れる可能性のある複数の視神経乳頭候補領域を位置決めすることが依然として可能であり、次に、画像の後処理方式により、複数の視神経乳頭候補領域から最終的な視神経乳頭領域を選定し、これにより、さまざまな状況での眼底画像における視神経乳頭領域の認識と位置決めが実現されるだけでなく、同時に、視神経乳頭領域の位置決めの精度を効果的に向上させる。
前述によれば、本出願の実施例の眼底画像認識方法において、眼底画像上の視神経乳頭候補領域を予測および位置決めするときに、トレーニング済みの視神経乳頭予測モデルが使用される。したがって、本出願の実施例の方法を実行する場合、まず視神経乳頭予測モデルを構築し、構築された視神経乳頭予測モデルを訓練する必要がある。
ここで、可能な実施形態では、視神経乳頭予測モデルは深層学習モデルＢＣＤＵ－Ｎｅｔ（Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ＣｏｎｖＬＳＴＭ Ｕ－Ｎｅｔ ｗｉｔｈ Ｄｅｎｓｅｌｙ ｃｏｎｎｅｃｔｅｄ ｃｏｎｖｏｌｕｔｉｏｎｓ、改善されたＵ－Ｎｅｔ）を使用できる。Ｕ－Ｎｅｔは、医用画像のセマンティックセグメンテーションに一般的に使用されるニューラルネットワークモデルであり、４つのアップサンプリングプロセスと４つのダウンサンプリングプロセスが含まれている。ＢＣＤＵ－Ｎｅｔは、双方向の畳み込み長期および短期記憶ネットワークと密に接続された畳み込みネットワークを基本的なＵ－Ｎｅｔに追加することにより、モデルのセグメンテーション効果が向上させる。
視神経乳頭予測モデルのネットワークモデルが確定された後、視神経乳頭予測モデルのモデルトレーニングを実行できる。即ち、対応するモデルトレーニングモジュールを設定することにより、視神経乳頭予測モデルは、モデルトレーニングモジュールによってトレーニングおよび学習される。その中で、モデルトレーニング中に、大量の眼底画像および対応する注釈付き視神経乳頭セグメンテーション効果画像をサンプルとして収集し、トレーニングセットとテストセットをそれぞれ構築する必要がある。その中で、テストセットは、モデルトレーニングの各ラウンド後の検証セットとして、保存するのに最適なモデルを選択するために使用される。
同時に、前記トレーニングセットで眼底画像を使用して視神経乳頭予測モデルをトレーニングする前に、さらに、眼底画像に対して前処理操作を実行する必要もある。一つの可能な実施形態では、眼底画像の画像前処理操作は、順次に完全な画像（即ち、取得したカラー眼底画像）を読み取り；黒いエッジをトリミングし、眼底領域部分を保存し；画像の青チャンネルをグレースケール画像として抽出し；自己適用的ヒストグラム平坦化ガンマ補正（Ｇａｍｍａ Ｃｏｒｒｅｃｔｉｏｎ）及び正規化処理する。
各サンプルに対して前記前処理操作を実行したことで、それを視神経乳頭予測モデルに入力して、視神経乳頭予測モジュールをトレーニングすることができる。注意すべきことは、本出願では、モデル訓練を行う時、一般的に用いられるクロスエントロピとは異なり、その代わりにモデルの損失関数としてＤｉｃｅＬｏｓｓを使用し、その計算式は次のとおりである。
Figure 0007355434000001
その中で、ＡとＢは、モデルの視神経乳頭予測画像とマークされた視神経乳頭分割効果画像をそれぞれ表し、画像Ａのピクセルにより計算された面積を
Figure 0007355434000002
 で表し、ＡとＢの交差部分の画像を
Figure 0007355434000003
 で表している。
視神経乳頭予測モデルに対するトレーニング及び検証が完了した後、即ち、視神経乳頭予測モデルを最適にトレーニング及び収束したら、眼底画像の視神経乳頭認識を実行できる。ここで、図２を参照すると、現在認識する必要のある眼底画像を収集した後、収集した眼底画像を前処理する。ここで、注意すべきことは、眼底画像に対する前処理の操作は、モデルトレーニングする場合と同じ前処理操作を使用できる。
眼底画像を前処理した後、視神経乳頭予測モデルに入力して視神経乳頭認識を実行する前に、図２を参照すると、さらにステップＳ００２を含んでもよく、現在取得されている眼底画像の品質を評価する。
具体的には、眼底画像の品質を評価する場合、二値分類による深層学習モデルを使用して実現できる。即ち、二値分類による深層学習モデを使用して、前処理された眼底画像の品質を評価し、眼底画像が合格かどうかを判断する。合格であれは、当該眼底画像における視神経乳頭領域が可視であることを示し、視神経乳頭領域の認識を行うことができる。不合格であれは、当該眼底画像に、視神経乳頭領域がない、或は、視神経乳頭領域がぼやけており、不可視であることを示すため、この時点では、ステップＳ２００’により原画像が出力され、これに対して視神経乳頭領域の認識は行われない。
ここで、当業者は、眼底画像の品質評価は、主に、眼底画像内の視神経乳頭が可視であるかどうかを確定することを指し、眼底画像の画質（即ち、光漏れ、虹彩斑、レンズ汚れの有無など）を確定する必要はない。
本出願の実施例による眼底画像認識方法では、前処理した後の眼底画像を視神経乳頭予測モデルに入力することにより、視神経乳頭の予測および位置決めする前に、まず眼底画像に対して品質評価することにより、眼底画像内に視神経乳頭が存在する前提に、視神経乳頭領域の認識および位置決めが行われるため、視神経乳頭のぼやけや存在しない眼底画像の認識を回避して、無駄な演算を防ぐこともできる。
さらに、眼底画像の品質が合格であると評価された場合（即ち、眼底画像内の視神経乳頭領域が可視である）、前処理された眼底画像を視神経乳頭予測モジュールに入力して、視神経乳頭領域の初期認識および位置決めを行うことができる。ここで、本出願の実施例の方法では、視神経乳頭予測モデルを使用して眼底画像内の視神経乳頭を認識し位置決めする場合、得られた視神経乳頭予測画像には、すべての可能な視神経乳頭候補領域がマークされている。
即ち、前記視神経乳頭予測モデルを使用して眼底画像内の視神経乳頭を位置きめ及び認識する場合、光漏れ、レインボースポット及び／又はレンズの汚れなどの異常がある場合の眼底画像でも、視神経乳頭さえ存在すれば視神経乳頭領域の認識及び確定でき、眼底画像に求められる画質を大幅に低減するので、本出願の実施例の方法は、様々な眼底画像に適用できる。
さらに、品質が合格な眼底画像を視神経乳頭予測モデルに入力して視神経乳頭予測画像を取得した後、視神経乳頭予測画像を後処理して、複数の視神経乳頭候補領域から最終的な視神経乳頭領域を選定できる。
ここで、前記によれば、最終的な視神経乳頭領域が視神経乳頭予測画像によって確定される場合、以下の２つの状況が含まれる。
１つは、視神経乳頭予測画像にマークされた視神経乳頭候補領域が１つ存在する場合であり、これは収集された眼底画像の画質が比較的高く、光漏れ、レインボースポット、レンズの汚れのない場合に対応する。この場合では、視神経乳頭予測画像にマークされた画像候補領域をそのまま視神経乳頭領域とし、当該領域に楕円フィッティングして、対応する楕円フィッティングパラメータを出力できる。
もう１つは、視神経乳頭予測画像にマークされた視神経乳頭領域が一つだけではない場合であり、この場合、収集された眼底画像には、光漏れ、レインボースポット及び／又はレンズの汚れが存在する可能性がある場合に対応する。この場合、視神経乳頭領域として、一つだけではない視神経乳頭候補領域から最も一致する領域を選択する必要がある。
したがって、図２を参照すると、本出願の実施例の方法では、ステップＳ２００を通して、視神経乳頭予測モデルを使用して、眼底画像に対して視神経乳頭の位置決め及び認識をして、対応する視神経乳頭予測画像を取得した後、ステップＳ３１０により、視神経乳頭予測画像にマークされた視神経乳頭候補領域の数が一つだけであるかどうかを判断する。そうでない場合、ステップＳ３２０を通して、視神経乳頭予測画像から最終的な視神経乳頭領域を選択する。そうでる場合、ステップＳ３３０が直接に実行され、視神経乳頭予測画像でマークされた視神経乳頭候補領域が視神経乳頭領域として使用され、対応する楕円フィッティングパラメータが出力される。
ここで、一つの可能な実施形態では、ステップＳ３１０が実行されて、視神経乳頭予測画像内の視神経乳頭候補領域の数が１より大きいかどうかを判断する前に、視神経乳頭予測画像を取得し、楕円フィッティングを実行して、対応する楕円フィッティングパラメータを取得するステップも含まれる。
即ち、図３を参照すると、ステップＳ３０１を通して、視神経乳頭予測モデルの出力結果を読み取って、視神経乳頭予測画像を取得した後、まずステップＳ３０２を実行して、視神経乳頭予測画像をクローズドオペレーション処理し（膨張してから侵食する）、次にステップＳ３０３を実行して、視神経乳頭予測画像（グレースケール画像である）に対して二値化処理を実行して、視神経乳頭予測画像二値化画像に変換した後、次にステップＳ３０４を通して、二値化画像内の視神経乳頭候補領域に対して楕円フィッティングして、対応する楕円フィッティングパラメータを取得する。
ここで、注意すべきことは、楕円フィッティングを行う場合、各視神経乳頭候補領域のいずれかに対してフィッティングを行い、それに対応して、得られた楕円フィッティングパラメータには、それぞれの視神経乳頭候補領域の楕円フィッティングパラメータが含まれる。
具体的には、楕円フィッティングする場合、ＯｐｅｎＣＶのｆｉｔＥｌｌｉｐｓｅ（）関数を使用でき、楕円をフィッティングする一般的な形式は、
Figure 0007355434000004
 ；
ここで、ａは解答する楕円フィッティングパラメータを表し；
Figure 0007355434000005
 ｘは、フィットするすべての楕円点を表し；
Figure 0007355434000006
 この関数は、Ｌ２ノルムに基づく代数距離を目的関数として使用して、楕円フィッティングパラメータを解く。
ここで、上記によれば、視神経乳頭候補領域が１つしかない場合、以前の品質評価結果と組み合わせると、当該候補領域は眼底画像における視神経乳頭領域であり、この場合、眼底画像の対応する位置に視神経乳頭領域を直接マークでき、対応する楕円フィッティングパラメータ及びマークされた眼底画像を出力できる。
視神経乳頭候補領域が一つ以上である場合、即ち、ステップＳ３１０により、視神経乳頭候補領域の数が１より大きい（視神経乳頭候補領域の数が一つだけではない）と判断された場合、眼底画像における視神経乳頭領域として、複数の視神経乳頭候補領域の中から、最適な領域を一つ確定する必要がある。
一つの可能な実施形態では、２つ以上の視神経乳頭候補領域から選択される最終的な視神経乳頭領域は、候補領域内の血管ピクセルポイントに基づく方法で確定できる。
即ち、まず、各視神経乳頭候補領域に対応する楕円フィッティングパラメータによって、視神経乳頭予測図像から対応する楕円領域を切り取る。次に、楕円形領域について、エッジ検出を行い、視神経乳頭候補領域の血管ピクセル図を取得する。さらに、各血管ピクセル図の血管ピクセル数を計算し、各血管ピクセル数によって最終的な視神経乳頭領域を確定する。
ここで、楕円形領域に対してエッジ検出を行う場合、Ｃａｎｎｙ演算子に基づくマルチレベルのエッジ検出アルゴリズムを使用して検出できる。
より具体的には、図４、図５、図６及び図７を参照すると、まず、上で得られた楕円フィッティングパラメータによって、視神経乳頭予測画像（図４を参照）の中から対応する楕円領域を切り取る。ここで、楕円の輪郭による影響を低減するために、本出願の実施例の方法では、楕円の輪郭を背景色として描く。
次に、それぞれの視神経乳頭候補領域について、Ｃａｎｎｙ演算子を使用して、エッジ検出し、各視神経乳頭候補領域の内部血管ピクセル画像を取得する（図６及び図７を参照）。ここで、視神経乳頭は眼底の血管が集まる場所であり、残りの領域の血管は比較的少ないため、それぞれの領域の血管ピクセル数を算出することで、これらの中から最も大きなものを最終的な視神経乳頭領域として選択する。
ここで、Ｃａｎｎｙ演算子に基づくマルチレベルエッジ検出アルゴリズムの主な計算手順は次のとおりである。
まず、ガウスフィルタを使用して視神経乳頭候補領域をフィルタリングし、画像のノイズを除去し；
次に、視神経乳頭候補領域の勾配の大きさと方向を計算し、ここで、ｘ軸方向の計算に使用される畳み込み配列は：
Figure 0007355434000007
 ｙ軸方向の畳み込み配列は：
Figure 0007355434000008
 次に、次の式で計算される勾配の大きさは、
Figure 0007355434000009
 方向は、
Figure 0007355434000010
 次に、視神経乳頭候補領域について、非エッジピクセルの影響を排除するために、非最大抑制を実行し；
最後に、ヒステリシスに閾して、保存する必要のあるピクセル値をフィルタリングする。
これにより、前記視神経乳頭予測モデルにより、眼底画像について視神経乳頭領域の初期の認識及び位置決めして、一つ又は二つ以上がマークされた視神経乳頭候補領域の視神経乳頭予測画像を取得し、次に、視神経乳頭予測画像に基づいて後処理を行い、視神経乳頭予測画像の中から最終的な視神経乳頭領域を選定して、視神経乳頭の位置決めの制度を効果的に保証した。同時に、画質の低い眼底画像（即ち、光漏れ、レインボースポット、レンズの汚れなどの異常な状態）である場合でも、視神経乳頭領域を正確に認識できるため、眼底画像に求められる画質を効果的に低減し、これはまた、視神経乳頭の認識の難易度を大幅に低下させる。
さらに、本出願の実施例の方法は、視神経乳頭の陥凹を認識するステップをさらに含む。その中で、注意すべきことは、視神経乳頭の陥凹の認識を行う場合、以前に認識された視神経乳頭に基づいて行う必要がある。即ち、上記の方法のいずれかによって眼底画像における視神経乳頭領域を位置決めした後、位置決めした視神経乳頭領域を中心とした視神経乳頭一部画像を取得でき、当該視神経乳頭一部画像に基づいて視神経乳頭の陥凹を認識する。
一つの可能な実施形態では、視神経乳頭の陥凹の認識を実行するとき、まず視神経乳頭を中心とする視神経乳頭一部画像を前処理する必要がある。ここで、当業者は、視神経乳頭一部画像に対して実行される前処理操作は、前の視神経乳頭を認識する場合の眼底画像に対して実行される前処理操作と同じ又は類似していることを理解できるため、ここでは繰り返さない。
同時に、前の視神経乳頭を認識する時に得られた視神経乳頭の認識結果に基づいて、対応する視神経乳頭一部画像を獲得する場合、視神経乳頭予測モデルにより出力された視神経乳頭の中心座標に基づいて視神経乳頭の中心を画像中心とした部分的な視神経乳頭画像を切り取って、本出願の実施例における視神経乳頭の陥凹を認識する時の関心領域として使用できる。
また、本出願の実施例では、視神経乳頭の陥凹を認識する場合も、同様に深層学習方法を使用して視神経乳頭の陥凹の候補領域について初期の位置決めする。即ち、トレーニング済みの視神経乳頭の陥凹検出モデルを使用して、得られた視神経乳頭一部画像に対して視神経乳頭の陥凹予測を実行して、視神経乳頭一部画像内の視神経乳頭の陥凹の候補領域を確定する。
ここで、当業者は、深層学習の方法を使用して視神経乳頭の陥凹の候補領域を予測及び位置決めする場合も、同様に、構築された神経乳頭の陥凹の予測モデルを最適なネットワーク構造に収束させるように、構築された神経乳頭の陥凹の予測モデルをトレーニングする必要がある。
また、視神経乳頭の陥凹予測モデルをトレーニングする場合、使用されるトレーニングサンプルは視神経乳頭予測モデルのトレーニングで使用されるものと同様であり、サンプルを視神経乳頭の陥凹予測モデルに入力する前にサンプル画像を前処理することもできる。
ここで、視神経乳頭の陥凹予測モデルのトレーニングプロセスでは、サンプル画像の前処理には、具体的には、次のステップが含まれる。黒のエッジがトリミングされたサンプル画像を読み取り、視神経乳頭予測モデルの出力によって、得られた視神経乳頭中心の視神経乳頭中心を画像中心とした視神経乳頭一部画像を関心領域とする。次に、視神経乳頭予測モデルをトレーニングするときの画像前処理操作方法を使用して処理すればよい。
同時に、本出願の実施形態の方法では、トレーニング済みの視神経乳頭の陥凹予測モデルを使用して、視神経乳頭一部画像に対して視神経乳頭の陥凹予測を実行して、視神経乳頭の陥凹候補領域を確定する場合、視神経乳頭の陥凹候補領域の数は、１つでも２つ以上でも可能である。視神経乳頭の陥凹候補領域の数が２つ以上の場合、最終的な視神経乳頭の陥凹候補領域として、視神経乳頭一部画像の中心に最も近い候補位置が選択される。
視神経乳頭一部画像から視神経乳頭の陥凹候補領域を位置決めした後、視神経乳頭の陥凹候補領域に対して楕円フィッティングを行い、フィッティング結果基づいて、視神経乳頭の陥凹候補領域の境界と視神経乳頭領域の関係を確定する。具体的には、図８を参照すると、ステップＳ４００により、視神経乳頭一部画像を取得し、ステップＳ５００により、視神経乳頭の陥凹予測モデルを使用して、視神経乳頭一部画像に対して視神経乳頭の陥凹予測を実行し、対応する視神経乳頭候の陥凹補領域を確定した後、次にステップＳ６００により、確定された視神経乳頭の陥凹候補領域の境界が視神経乳頭領域を超えているかどうかを検出する。視神経乳頭の陥凹候補領域の境界が視神経乳頭領域を超えていることが検出された場合、ステップＳ７００を実行して、視神経乳頭の陥凹候補領域を調整し、視神経乳頭の陥凹候補領域を視神経乳頭領域内に調整したら、視神経乳頭の陥凹位置を確定できる。視神経乳頭の陥凹候補領域の境界が視神経乳頭領域を超えていないことが検出された場合、当該視神経乳頭の陥凹候補領域が視神経乳頭位置であると判断できるので、ステップＳ８００を直接に実行して、確定された視神経乳頭の陥凹候補領域によって、視神経乳頭一部画像に視神経乳頭の陥凹位置をマークする。
ここで、一つの可能な実施形態では、ステップＳ７００では、視神経乳頭の陥凹候補領域を調整する場合、視神経乳頭一部画像をマスクとして使用することにより、マスクされた大津閾値法を使用することにより、視神経乳頭の陥凹候補領域を調整できる。
具体的には、図９を参照すると、視神経乳頭の陥凹を調整する前に、画像を前処理するステップであるステップＳ００７がさらに含まれる。ここで、注意すべきことは、視神経乳頭一部画像に対して実行される前処理操作には、ガウスフィルタ及びグレースケール変換などが含まれる。
さらに、一つの可能な実施形態では、視神経乳頭の陥凹を調整する場合、まずステップＳ７１０を通して、今回の調整が初回目の調整であるかどうかを判断できる。調整が初回目の調整である場合は、ステップＳ７２０を実行して視神経乳頭の陥凹候補領域を拡張処理して、拡大された視神経乳頭候補領域を調整する視神経乳頭の陥凹候補領域とする。
ここで、拡大処理を行う際に、まず楕円のフィッティングパラメータにおけるサイズの最大値を計算し、次に、当該最大値を初期値として、外側へプリセットのピクセル値（例：３０ピクセル）を拡張した後、調整する視神経乳頭の陥凹候補領とする。ここで、注意すべきことは、拡大処理する場合のプリセットのピクセル値の値は、実際の状況に応じて柔軟に設定できる。たとえば、プリセットのピクセル値の値の範囲は２０～４０である。初回目調整ではない場合（即ち、初回目の調整後もまだ境界を超えた場合）は、ステップＳ７３０を通して、神経乳頭の陥凹候補領域を縮小し、縮小された神経乳頭の陥凹候補領域を調整する神経乳頭の陥凹候補領域とする。ここで、視神経乳頭の陥凹候補領域を縮小する場合、その操作方法は拡大方法と同じか類似しており、ここでは繰り返さない。
視神経乳頭の陥凹候補領域を拡大または縮小したら、拡大または縮小した視神経乳頭の陥凹候補領域をマスクとすることができ、次に、視神経乳頭一部画像にマスクされた大津閾値法が適用されて、視神経乳頭の陥凹候補領域の位置が調整される。
ここで、マスク大津閾値法を適用して視神経乳頭の陥凹候補領域の位置を調整することは、具体的には以下のステップを含む：
マスク部分の視神経乳頭一部画像を取得し、当該視神経乳頭一部画像のヒストグラムと全般の平均グレーレベルを計算し；
二値化閾値ｔ値を１～２５４に設置し、当該閾値ｔを順次にトラバースし、当該閾値ｔに基づいて前景と背景が区別され、２つの部分の間の級間分散を計算する。
ここで、計算式は、
Figure 0007355434000011
 ；ここで、Ｖａｒ（ｔ）は級間分散を表し、ＣｆとＬｆはそれぞれ、前景のピクセル数の比率と平均グレースケールを表し、ＣｂとＬｂは、それぞれ背景のピクセルの比率と平均グレースケールを表し、Ｌａｌｌは、全般の平均グレースケールを表している。
級間分散の最大値に基づいて、所定の前記二値化閾値の中から最適な閾値を確定する。即ち、級間分散を最大化するｔは、アルゴリズムの出力に最適な二値化閾値となる。
確定された最適な二値化閾値に従って、視神経乳頭一部画像における現在の視神経乳頭の陥凹候補領域（即ち、拡大又は縮小処理した後の視神経乳頭の陥凹候補領域）を二値化し、次に、ステップＳ７５０を通して、楕円フィッティングして、視神経乳頭の陥凹のサイズが得られる。次に、ステップＳ７６０を実行して、現在得られている視神経乳頭の陥凹のサイズがプリセットの視神経乳頭の陥凹のサイズより小さいかどうかを判断する。現在得られている視神経乳頭の陥凹のサイズがプリセットの視神経乳頭の陥凹のサイズより小さいと判断された場合、ステップＳ７７０を直接実行し、デフォルトの楕円フィットパラメータを出力する。現在得られている視神経乳頭の陥凹のサイズがプリセットの視神経乳頭の陥凹のサイズ以上であると判断された場合、ステップＳ７８０を実行し、調整された楕円フィットパラメータを出力する。
前記ステップを通して、今回の視神経乳頭の陥凹候補領域に対する調整が完了された後、ステップＳ６００を再度実行して、調整された視神経乳頭の陥凹候補領域の境界が視神経乳頭領域を超えているかどうかを判断する。それでもそれを超えている場合は、前記ステップを繰り返して、視神経乳頭の陥凹候補領域の調整を続けるが、その調整方法については、ここでは繰り返さないことにする。視神経乳頭領域を超えなくなった場合は、現時点で視神経乳頭の陥凹候補領域が医学的常識に合致することを表し、調整された視神経乳頭の陥凹候補領域を最終的な視神経乳頭の陥凹領域とすることができ、したがって、当該調整された視神経乳頭の陥凹候補領域が楕円フィッティングされた楕円フィッティングパラメータは直接出力されて、マークされた眼底画像を返すことができて、眼底画像の視神経乳頭と視神経乳頭の陥凹の認識が完了する。
これにより、本出願実施例の眼底画像認識方法は、眼底画像における視神経乳頭領域を認識及び位置決めしてから、視神経乳頭の陥凹領域を認識する。ここで、視神経乳頭の陥凹領域を認識する場合、視神経乳頭の陥凹候補領域の境界と視神経乳頭領域の関係を予測することにより、視神経乳頭の陥凹候補領域を調整して、最終的に認識された視神経乳頭の陥凹領域の精度を保証した。
また、視神経乳頭の陥凹を調整する過程では、マスク大津閾値法に基づいて視神経乳頭一部画像を二値化処理する場合の閾値の値を確定することで、認識された視神経乳頭の陥凹の精度を保証すると同時に、アルゴリズムの適時性も効果的に保証した。
さらに、上記の方法により視神経乳頭の楕円フィッティングパラメータ（即ち、視神経乳頭フィッティングパラメータ）と視神経乳頭の陥凹の楕円フィッティングパラメータ（即ち、視神経乳頭の陥凹フィッティングパラメータ）をそれぞれ取得した後、得られた視神経乳頭フィッティングパラメータ及び視神経乳頭の陥凹フィッティングパラメータにより、視神経乳頭の垂直方向の直径と視神経乳頭の陥凹の垂直方向の直径をそれぞれ計算できる。次に、視神経乳頭の垂直方向の直径と視神経乳頭の陥凹の垂直方向の直径の比を計算して、垂直方向の陥凹対乳頭比が得られる。そして、計算して得られた垂直方向の陥凹対乳頭比によって現在認識されたこの眼底画像における視神経乳頭領域に異常があるかどうかを判断する。
これに対応して、前述の眼底画像認識方法のいずれかに基づいて、本出願はまた、眼底画像認識装置を提供する。本出願で提供される眼底画像認識装置の動作原理は、本出願によって提供される眼底画像認識方法の動作原理と同じ又は類似しているので、重複する部分は繰り返さないことにする。
図１０を参照すると、本出願によって提供される眼底画像認識装置１００には、画像前処理モジュール１１０、視神経乳頭位置決めモジュール１２０、楕円フィッティングモジュール１３０、視神経乳頭領域確定モジュール１４０を含む。ここで、画像前処理モジュール１１０は、収集された眼底画像を取得し、収集された前記眼底画像を前処理するように構成される。視神経乳頭位置決めモジュール１２０は、前処理された後の眼底画像をトレーニング済みの視神経乳頭予測モデルに入力し、視神経乳頭予測モデルにより眼底画像を視神経乳頭予測して、対応する視神経乳頭予測図像が得られ；ここで、視神経乳頭予測図像には１つ以上の位置決められた視神経乳頭候補領域がマークされている構成である楕円フィッティングモジュール１３０は、視神経乳頭予測図像を取得し、楕円フィッティングして、視神経乳頭予測図像における視神経乳頭候補領域の楕円フィッティングパラメータを取得する構成である。視神経乳頭領域確定モジュール１４０は、視神経乳頭候補領域の数と楕円フィッティングパラメータに基づいて眼底画像内の視神経乳頭領域を確定する構成である。
また、注意すべきことは、本出願実施例の眼底画像認識装置１００では、眼底画像の視神経乳頭予測を行う場合、使用されるのは、トレーニング済みの視神経乳頭予測モデルである。即ち、ニューラルネットワークを使用して視神経乳頭候補領域を予測する。したがって、本出願の実施例の装置には、モデルトレーニングモジュールがさらに含まれる。当該モデルトレーニングモジュールは、視神経乳頭予測モデルを最適なネットワーク構造に収束するように、視神経乳頭予測モデルをトレーニングさせるために使用される。ここで、また、注意すべきことは、当該モデルトレーニングモジュールは、視神経乳頭の陥凹予測モデルを最適なネットワーク構造に収束するように、さらに視神経乳頭の陥凹予測モデルをトレーニングさせるためにも使用される。
同時に、また、注意すべきことは、一つの可能な実施形態では、本出願実施例の装置は、主に４つの部分に分けられ、１つの部分は、前記の前記画像前処理モジュール１１０、視神経乳頭位置決めモジュール１２０、楕円フィッティングモジュール１３０及び視神経乳頭領域確定モジュール１４０の４つのモジュールが含まれる視神経乳頭の位置決め選択を実現するための視神経乳頭の位置決め及び選択ユニットであり（図示せず）、一つの部分は、トレーニングモジュールが含まれるトレーニングユニットであり（図示せず）、もう１つの部分は、視神経乳頭の陥凹予測及び調整するための視神経乳頭の陥凹位置決め選択ユニット（図示せず）であり、他には、視神経乳頭フィッティングパラメータ及び視神経乳頭の陥凹フィッティングパラメータに基づいて眼底画像における視神経乳頭領域が異常であるかどうかを判断するための指標定量化モジュール（図示せず）をさらに含む。
前記眼底画像認識装置１００を使用して眼底画像の視神経乳頭および視神経乳頭の陥凹を認識することで、視神経乳頭認識の過程において、トレーニング済みの視神経乳頭予測モデルによってまず視神経乳頭補領域を予測し、次に、設計された視神経乳頭領域内の血管ピクセルに基づくカウントする方法を使用して、視神経乳頭候補領域から最終的な視神経乳頭領域が選択され、視神経乳頭の検出認識結果の精度を効果的に向上させるだけでなく、アルゴリズムの適時性を向上させる効果も達成した。視神経乳頭の陥凹を認識する過程では、視神経乳頭の陥凹候補領域の境界と視神経乳頭領域の関係を予測することにより、視神経乳頭の陥凹候補領域を調整して、最終的に認識及び位置決めされた視神経乳頭の陥凹領域の精度を保証した。さらに、視神経乳頭の陥凹を調整する場合、設計されたマスク大津閾値法によって、画像を２値化する閾値を確定することで、検出結果の精度を保証すると同時に、アルゴリズムの適時性もさらに向上させる。
さらに、本出願の別の態様によれば、さらに眼底画像認識設備２００を提供する。図１１を参照すると、本出願実施例による眼底画像認識設備２００は、プロセッサ２１０と、プロセッサ２１０によって実行可能な命令を格納するためのメモリ２２０とを含む。ここで、プロセッサ２１０は、前記実行可能命令を実行する際に、前記いずれか一つに記載の眼底画像認識方法を実現する構成である。
ここで、プロセッサ２１０の数は、１つまたは複数個であり得ることに留意されたい。同時に、本出願実施例の眼底画像認識設備２００には、入力装置２３０および出力装置２４０をさらに含むことができる。その中で、プロセッサ２１０、メモリ２２０、入力装置２３０、および出力装置２４０の間はバスを介して接続でき、または他の方法で接続でき、ここでは、特に限定しない。
メモリ２２０は、コンピュータ可読記憶媒体として、コンピュータ可読記憶媒体として、ソフトウェアプログラム、コンピュータ実行可能プログラム及び各種モジュール、例えば：本出願の実施例の眼底画像認識方法に対応するプログラム又はモジュールを格納するために使用されてもよい。プロセッサ２１０は、メモリ２２０に格納されたソフトウェアプログラムまたはモジュールを実行することによって、眼底画像認識設備２００の様々な機能のアプリケーションおよびデータ処理を実行する。
入力装置２３０は、入力番号または信号を受信するために使用できる。ここで、信号は、デバイス／端末／サーバーのユーザ設定および機能制御に関連し、生成されたキー信号であってもよい。出力装置２４０は、表示画面などの表示装置を含むことができる。
本明細書の様々な実施例は漸進的に説明されており、各実施例と他の実施例との違いを重点として説明し、各実施例間の同じおよび類似の部分を互いに参照することができる。
本明細書では、特定の例を応用して、本発明の原理及び実施形態を説明したが、以上の実施例の説明は、本発明の方法および本発明の核心思想の理解を助けるためのものに過ぎず；同時に、当業者にとっては、本発明の思想に基づいて、具体的な実施形態や適用範囲に変更が生じる可能性がある。要約すると、本明細書の内容は、本発明を限定するものとして解釈されるべきではない。
本出願は、２０２０年１０月２８日に中国特許庁に出願された出願番号が２０２０１１１７３３９３．８、発明名称が眼底画像認識方法及び装置並びに設備」の中国特許出願の優先権を主張し、その全ての内容は、参照により本出願に組み込まれている。

Claims (8)

  1. 眼底画像認識方法であって、
    収集された眼底画像を取得し、収集された前記眼底画像を前処理すること、
    前処理された前記眼底画像をトレーニング済みの視神経乳頭予測モデルに入力し、前記視神経乳頭予測モデルによって前記眼底画像に対して視神経乳頭予測を行い、１つ以上の位置決めされた視神経乳頭候補領域がマークされている対応する視神経乳頭予測図像を得ること、
    前記視神経乳頭予測図像を取得し、楕円フィッティングを行って、前記視神経乳頭予測図像における視神経乳頭候補領域の楕円フィッティングパラメータを取得し、前記視神経乳頭候補領域の数と前記楕円フィッティングパラメータに基づいて前記眼底画像内の視神経乳頭領域を確定し、
    その中で、更に視神経乳頭の陥凹を認識するステップを含み、
    視神経乳頭の中心を画像中心とする視神経乳頭一部画像を取得し、前記視神経乳頭一部画像をトレーニング済みの視神経乳頭の陥凹検出モデルに入力し、前記視神経乳頭の陥凹検出モデルによって前記視神経乳頭一部画像に対して視神経乳頭の陥凹予測を実行して、視神経乳頭の陥凹候補領域を取得すること、
    前記視神経乳頭の陥凹候補領域に対して楕円フィッティングを行い、フィッティング結果基づいて、前記視神経乳頭の陥凹候補領域の境界と前記視神経乳頭領域の関係を確定すること、
    前記視神経乳頭の陥凹候補領域の境界が前記視神経乳頭領域を超えていると判断された場合、前記視神経乳頭の陥凹候補領域の調整を調整された前記視神経乳頭の陥凹候補領域が前記視神経乳頭領域内に収まるまで実行した後、視神経乳頭の陥凹位置が確定されることを含み、
    前記視神経乳頭候補領域の数と前記楕円フィッティングパラメータに基づく、前記眼底画像における視神経乳頭領域の確定には、
    前記視神経乳頭候補領域が２つ以上である場合、各前記視神経乳頭候補領域に対応する楕円フィッティングパラメータによって、前記視神経乳頭予測図像から対応する楕円領域を切り取ること、
    各前記楕円形領域について、エッジ検出を行い、各前記視神経乳頭候補領域の血管ピクセル図を取得すること、
    各前記血管ピクセル図の血管ピクセル数を計算し、各前記血管ピクセル数によって最終的な視神経乳頭領域を確定することを含むことを特徴とする眼底画像認識方法。
  2. 各前記血管ピクセル数によって最終的な視神経乳頭領域を確定することは、
    前記血管ピクセル数から最大値の視神経乳頭候補領域を前記視神経乳頭領域とすることを含むことを特徴とする請求項１に記載の方法。
  3. 各前記楕円形領域に対してエッジ検出を行う場合、Ｃａｎｎｙ演算子に基づくマルチレベルのエッジ検出アルゴリズムを使用して検出することを特徴とする請求項１に記載の方法。
  4. 前記視神経乳頭予測図像を取得し、楕円フィッティングを実行することは、
    前記視神経乳頭予測図像に対して二値化処理を実行し、前記視神経乳頭予測図像を二値化図に変換し、
    二値化図における視神経乳頭候補領域に対して楕円フィッティングを実行して、対応する楕円フィッティングパラメータを取得することを含むことを特徴とする請求項１に記載の方法。
  5. 前視神経乳頭の陥凹候補領域を調整する場合、前記視神経乳頭一部画像をマスクとして使用するマスク大津閾値法を使用して、前記視神経乳頭の陥凹候補領域を調整することを特徴とする請求項１に記載の方法。
  6. 前記視神経乳頭の陥凹候補領域を調整する場合には、
    今回の調整が初回目の調整であるかどうかを判断し、
    今回の調整が初回目の調整である場合、前記視神経乳頭の陥凹候補領域を拡大処理してから、調整しようとする視神経乳頭の陥凹候補領域とし、
    今回の調整が初回目の調整ではない場合、前記視神経乳頭の陥凹候補領域を縮小してから、調整しようとする視神経乳頭の陥凹候補領域とすることを含むことを特徴とする請求項５に記載の方法。
  7. 眼底画像認識装置であって、画像前処理モジュール、視神経乳頭位置決めモジュール、楕円フィッティングモジュール、視神経乳頭領域確定モジュールを含み、
    前記画像前処理モジュールは、収集された眼底画像を取得し、収集された前記眼底画像を前処理する構成であり、
    前記視神経乳頭位置決めモジュールは、前処理された後の前記眼底画像をトレーニング済みの視神経乳頭予測モデルに入力し、前記視神経乳頭予測モデルにより前記眼底画像を視神経乳頭予測して、対応する視神経乳頭予測図像が得られ、ここで、前記視神経乳頭予測図像には１つ以上の位置決められた視神経乳頭候補領域がマークされている構成であり、
    前記楕円フィッティングモジュールは、前記視神経乳頭予測図像を取得し、楕円フィッティングして、前記視神経乳頭予測図像における視神経乳頭候補領域の楕円フィッティングパラメータを取得する構成であり、
    前記視神経乳頭領域確定モジュールは、前記視神経乳頭候補領域の数と前記楕円フィッティングパラメータに基づいて前記眼底画像内の視神経乳頭領域を確定する構成であり、
    さらに前記視神経乳頭の陥凹位置決め選択ユニットを含み、
    ここで、前記視神経乳頭の陥凹位置決め選択ユニットは、視神経乳頭を中心とする視神経乳頭一部画像を取得し、前記視神経乳頭一部画像をトレーニング済みの視神経乳頭の陥凹検出モデルに入力し、前記視神経乳頭の陥凹検出モデルによって前記視神経乳頭一部画像に対して視神経乳頭の陥凹予測を実行して、視神経乳頭の陥凹候補領域を取得する構成であり、
    前記視神経乳頭の陥凹位置決め選択ユニットは、さらに、前記視神経乳頭の陥凹候補領域に対して楕円フィッティングを行い、フィッティング結果基づいて、前記視神経乳頭の陥凹候補領域の境界と前記視神経乳頭領域の関係を確定し、前記視神経乳頭の陥凹候補領域の境界が前記視神経乳頭領域を超えていると判断された場合、前記視神経乳頭の陥凹候補領域の調整を、調整された前記視神経乳頭の陥凹候補領域が前記視神経乳頭領域内に収まるまで実行した後、視神経乳頭の陥凹位置を確定する構成であり、
    前記視神経乳頭領域確定モジュールは、前記視神経乳頭候補領域の数と前記楕円フィッティングパラメータに基づいて前記眼底画像内の視神経乳頭領域を確定する場合には、
    前記視神経乳頭候補領域が２つ以上である場合、各前記視神経乳頭候補領域に対応する楕円フィッティングパラメータによって、前記視神経乳頭予測図像から対応する楕円領域を切り取ること、
    各前記楕円形領域について、エッジ検出を行い、各前記視神経乳頭候補領域の血管ピクセル図を取得すること、
    各前記血管ピクセル図の血管ピクセル数を計算し、各前記血管ピクセル数によって最終的な視神経乳頭領域を確定することを含むことを特徴とする眼底画像認識装置。
  8. 眼底画像認識設備であって、
    プロセッサと、
    プロセッサからの実行可能な命令を格納するためのメモリを含み、
    ここで、前記プロセッサは、実行可能命令を実行する際に、請求項１から６のいずれか一項に記載の方法を実施するように構成されることを特徴とする眼底画像認識設備。
JP2022519681A 2020-10-28 2021-08-17 眼底画像認識方法及び装置並びに設備 Active JP7355434B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202011173393.8 2020-10-28
CN202011173393.8A CN112001920B (zh) 2020-10-28 2020-10-28 眼底图像识别方法及装置和设备
PCT/CN2021/112938 WO2022088856A1 (zh) 2020-10-28 2021-08-17 眼底图像识别方法及装置和设备

Publications (2)

Publication Number Publication Date
JP2023503781A JP2023503781A (ja) 2023-02-01
JP7355434B2 true JP7355434B2 (ja) 2023-10-03

Family

ID=73475235

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022519681A Active JP7355434B2 (ja) 2020-10-28 2021-08-17 眼底画像認識方法及び装置並びに設備

Country Status (5)

Country Link
US (1) US11620763B2 (ja)
JP (1) JP7355434B2 (ja)
KR (1) KR20220107022A (ja)
CN (1) CN112001920B (ja)
WO (1) WO2022088856A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001920B (zh) 2020-10-28 2021-02-05 北京至真互联网技术有限公司 眼底图像识别方法及装置和设备
WO2024130628A1 (zh) * 2022-12-22 2024-06-27 上海健康医学院 一种眼底图像视盘定位方法及***
CN116824116A (zh) * 2023-06-26 2023-09-29 爱尔眼科医院集团股份有限公司 一种超广角眼底影像识别方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006263127A (ja) 2005-03-24 2006-10-05 Gifu Univ 眼底画像診断支援システム、及び眼底画像診断支援プログラム
JP2008073188A (ja) 2006-09-21 2008-04-03 Gifu Univ 画像解析システム、及び画像解析プログラム
JP2011520503A (ja) 2008-05-14 2011-07-21 エージェンシー フォー サイエンス，テクノロジー アンド リサーチ 自動陥凹乳頭比測定システム
JP2011147547A (ja) 2010-01-20 2011-08-04 Kowa Co 画像処理方法および画像処理装置
CN108961280A (zh) 2018-06-29 2018-12-07 电子科技大学 一种基于slic超像素分割的眼底视盘精细分割方法
CN109472781A (zh) 2018-10-29 2019-03-15 电子科技大学 一种基于串行结构分割的糖尿病视网膜病变检测***
WO2020055272A1 (en) 2018-09-12 2020-03-19 Auckland Uniservices Limited Methods and systems for ocular imaging, diagnosis and prognosis

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009131655A2 (en) 2008-04-23 2009-10-29 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Automated assessment of optic nerve head with spectral domain optical coherence tomograph
SG10201407330UA (en) * 2009-11-16 2015-01-29 Agency Science Tech & Res Obtaining data for automatic glaucoma screening, and screening and diagnostic techniques and systems using the data
CN106408564B (zh) * 2016-10-10 2019-04-02 北京新皓然软件技术有限责任公司 一种基于深度学习的眼底图像处理方法、装置及***
CN107292868B (zh) * 2017-05-31 2020-03-13 瑞达昇医疗科技(大连)有限公司 一种视盘定位方法及装置
WO2019083129A1 (ko) * 2017-10-27 2019-05-02 주식회사 뷰노 피검체에 대한 안저 영상의 판독을 지원하는 방법 및 이를 이용한 장치
CN108416344B (zh) 2017-12-28 2021-09-21 中山大学中山眼科中心 眼底彩照视盘与黄斑定位识别方法
CN108520522A (zh) * 2017-12-31 2018-09-11 南京航空航天大学 基于深度全卷积神经网络的视网膜眼底图像分割方法
CN109829877A (zh) * 2018-09-20 2019-05-31 中南大学 一种视网膜眼底图像杯盘比自动评估方法
CN109784337B (zh) 2019-03-05 2022-02-22 北京康夫子健康技术有限公司 一种黄斑区识别方法、装置及计算机可读存储介质
CN110298850B (zh) * 2019-07-02 2022-03-15 北京百度网讯科技有限公司 眼底图像的分割方法和装置
CN112001920B (zh) * 2020-10-28 2021-02-05 北京至真互联网技术有限公司 眼底图像识别方法及装置和设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006263127A (ja) 2005-03-24 2006-10-05 Gifu Univ 眼底画像診断支援システム、及び眼底画像診断支援プログラム
JP2008073188A (ja) 2006-09-21 2008-04-03 Gifu Univ 画像解析システム、及び画像解析プログラム
JP2011520503A (ja) 2008-05-14 2011-07-21 エージェンシー フォー サイエンス，テクノロジー アンド リサーチ 自動陥凹乳頭比測定システム
JP2011147547A (ja) 2010-01-20 2011-08-04 Kowa Co 画像処理方法および画像処理装置
CN108961280A (zh) 2018-06-29 2018-12-07 电子科技大学 一种基于slic超像素分割的眼底视盘精细分割方法
WO2020055272A1 (en) 2018-09-12 2020-03-19 Auckland Uniservices Limited Methods and systems for ocular imaging, diagnosis and prognosis
CN109472781A (zh) 2018-10-29 2019-03-15 电子科技大学 一种基于串行结构分割的糖尿病视网膜病变检测***

Also Published As

Publication number Publication date
CN112001920B (zh) 2021-02-05
CN112001920A (zh) 2020-11-27
JP2023503781A (ja) 2023-02-01
KR20220107022A (ko) 2022-08-01
WO2022088856A1 (zh) 2022-05-05
US11620763B2 (en) 2023-04-04
US20220319036A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
JP7355434B2 (ja) 眼底画像認識方法及び装置並びに設備
CN110276356B (zh) 基于r-cnn的眼底图像微动脉瘤识别方法
KR102058884B1 (ko) 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
CN110033456B (zh) 一种医疗影像的处理方法、装置、设备和***
CN106682435B (zh) 一种多模型融合自动检测医学图像中病变的***及方法
Ter Haar Automatic localization of the optic disc in digital colour images of the human retina
EP1820141B1 (en) Multiscale variable domain decomposition method and system for iris identification
CN109087310B (zh) 睑板腺纹理区域的分割方法、***、存储介质及智能终端
CN111507932A (zh) 高特异性的糖尿病性视网膜病变特征检测方法及存储设备
CN110287791A (zh) 一种用于人脸图片的筛选方法和***
JP7305046B2 (ja) 画像分類方法及び装置並びに機器
JP6734475B2 (ja) 画像処理装置及びプログラム
CN111260641A (zh) 一种基于人工智能的掌上超声成像***及其方法
Herrera-Pereda et al. A review on digital image processing techniques for in-vivo confocal images of the cornea
CN114937024A (zh) 图像评估方法、装置和计算机设备
CN116758336A (zh) 一种基于人工智能的医学图像智能分析***
Lazar et al. Retinal microaneurysm detection based on intensity profile analysis
CN109447948B (zh) 一种基于病灶彩色视网膜眼底图像的视盘分割方法
Badeka et al. Evaluation of LBP variants in retinal blood vessels segmentation using machine learning
Jana et al. A semi-supervised approach for automatic detection and segmentation of optic disc from retinal fundus image
Verma et al. Machine learning classifiers for detection of glaucoma
Tao Enhanced Canny Algorithm for Image Edge Detection in Print Quality Assessment
CN113989588A (zh) 一种基于自学习的五边形绘图测试智能评价***及方法
CN115409765B (zh) 一种基于眼底视网膜图像的血管提取方法及装置
CN115409762B (zh) 自动检测规划点与血管的重叠的方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220328

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230913

R150 Certificate of patent or registration of utility model

Ref document number: 7355434

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150