JP2011056069A - テンプレート画像の評価方法及び生体運動検出装置 - Google Patents

テンプレート画像の評価方法及び生体運動検出装置 Download PDF

Info

Publication number
JP2011056069A
JP2011056069A JP2009209397A JP2009209397A JP2011056069A JP 2011056069 A JP2011056069 A JP 2011056069A JP 2009209397 A JP2009209397 A JP 2009209397A JP 2009209397 A JP2009209397 A JP 2009209397A JP 2011056069 A JP2011056069 A JP 2011056069A
Authority
JP
Japan
Prior art keywords
template
image
images
template image
pattern matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009209397A
Other languages
English (en)
Other versions
JP2011056069A5 (ja
JP5355316B2 (ja
Inventor
Junko Nakajima
淳子 中嶋
Norihiko Utsunomiya
紀彦 宇都宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009209397A priority Critical patent/JP5355316B2/ja
Priority to US12/874,909 priority patent/US20110058029A1/en
Publication of JP2011056069A publication Critical patent/JP2011056069A/ja
Publication of JP2011056069A5 publication Critical patent/JP2011056069A5/ja
Application granted granted Critical
Publication of JP5355316B2 publication Critical patent/JP5355316B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Ophthalmology & Optometry (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

【課題】本発明は、パターンマッチングに用いるテンプレート画像を決定する際に、テンプレート画像を評価する方法を提供することを目的とする。
【解決手段】評価対象の複数のテンプレート画像を用いて複数画像とのパターンマッチングを実施し、パターンマッチング結果に基づき複数のテンプレート画像間の相関係数を算出し、算出結果に基づいてテンプレート画像を評価する。
【選択図】図1

Description

本発明はテンプレート画像の評価方法及び生体運動検出装置に関するものであり、特に眼底画像のパターンマッチングを行う際のテンプレート画像を評価するための、テンプレート画像の評価方法及び生体運動検出装置に関する。
近年、眼底画像に代表される眼科画像が、疾病の早期発見などのための医用画像として診療に用いられている。しかしながら、眼科画像を用いる診療において、診察中における眼の動きの影響が長年大きな問題として認識されてきた。すなわち、眼が動くことによって、眼科画像が不鮮明なものとなり、診察や治療の精度向上が図れないおそれが出てくるからである。人間の眼は、一点を固視している時でも不随意に微小な振動を繰り返している。これを固視微動という。固視微動を患者が意識して止めることはできないので、眼に対して診察・治療を行う際には、診療器具又は検者・術者のほうで固視微動の影響を排除する工夫が必要である。
高いクオリティの診療を行うためには、検者・術者の技術に依存せずに固視微動を排除することが重要であり、そのためには診療器具に眼の動きへの対策を施すことが必要となる。例えば、非特許文献1に示すような、視神経乳頭に円を描く光をあて、その反射の変位で眼の動きを検知し補正するトラッキング技術が公開されている。
しかし、上記非特許文献1の技術では、眼の動きを検知するためのハードウェアを検眼鏡のほかに追加する必要があるという煩雑さがあった。そこで、眼の動きを検知するための追加ハードウェアなしで実現できるトラッキング手法が提示されている。これは、一般的な検眼鏡にはアライメントのため等に眼底を観察する装置がついているが、その眼底観察装置で眼底の横方向(眼の深さ方向に対して垂直な方向)の動きを検出し、トラッキングを行うというものである。
その際、眼底画像全体から特徴を持った小領域を抽出し、連続した複数の眼底画像間におけるその小領域の動きを検知することで眼底全体の動きをも検出することができる。この方法によれば、眼底全体の動きを検知するよりも計算量が少なくなるため、効率的に眼底の動きを検出することができる。このとき用いる、特徴を持った小領域の画像のことをテンプレート画像と呼び、テンプレート画像の動きを検知するためにはパターンマッチングという技術を用いる。パターンマッチングとは、テンプレート画像と最も似た部位を対象となる参照する画像の全体から探す技術である。
テンプレート画像を用いたパターンマッチングで眼底の動きを検知する場合、選択するテンプレート画像によっては、探知すべき部位とマッチングしなかったり、探知すべきではない部位とマッチングしたりしてしまう等の問題が生じ、結果として誤検知が誘発される場合がある。そのため、テンプレート画像が適切に選ばれていることが重要である。
特開2001-070247号公報
Daniel X. Hammer, R. Daniel Ferguson, John C. Magill, and Michael A. White, "Image stabilization for scanning laser ophthalmoscopy" , OPTICS EXPRESS 10(26), 1542-1549 (2002)
しかし、従来、適切なテンプレート画像を評価する方法がなく、パターンマッチングに用いるテンプレート画像を決定する際に、よりよいテンプレート画像を選択して設定することができなかった。
かかる問題に鑑みて、本発明は、抽出されたテンプレート画像を適正に評価することができるテンプレート画像の評価方法及び生体運動検出装置を提供することを目的とする。
本発明のテンプレート評価方法は、画像のパターンマッチングに用いるテンプレート画像の評価方法であって、複数のテンプレート画像のそれぞれのテンプレート画像を用いて複数の参照画像に対してパターンマッチングを行う手段と、前記テンプレート画像によるパターンマッチングの結果の相関係数を、テンプレート画像の組み合わせごとに算出する手段と、算出された相関係数に基づいて各テンプレート画像を評価し、他のテンプレート画像との相関が悪いテンプレート画像を悪いテンプレート画像であると判断する手段とを備える。
また、本発明の生体運動検出装置は、生体画像を取得する取得手段と、前記画像から複数のテンプレート画像を抽出する抽出手段と、複数の前記生体画像に前記複数テンプレート画像でパターンマッチングを実施するパターンマッチング手段と、前記パターンマッチングの結果に基づき、複数のテンプレート画像間の相関係数を算出する演算手段と、算出の結果に基づいて、テンプレート画像を評価する評価手段と、前記評価手段で良いと評価されたテンプレート画像を用いてパターンマッチングを行い、生体運動を定量的に検知する検知手段とからなる。
本発明によれば、テンプレート画像を適正に評価することができる。
実施例1における本発明の処理のフローチャート 実施例1のハードウェア構成図 本発明の参照画像とテンプレート画像の関係を示す図。 実施例1における各テンプレート画像間においてパターンマッチング結果を比較した相関関係を表すグラフ。 ステップ102の、実施例2におけるフローチャート 実施例2におけるステップ302及び303を説明するための模式図。 実施例2の構成で、ステップ303の中央部の大きさによる誤判定の割合を示したグラフ
以下、本発明の一実施の形態を、図面を用いて詳細に説明する。なお、本発明に用いる画像の種類やサイズ、形状等は以下の構成に限定されず、本発明は、あらゆる画像におけるパターンマッチングの際のテンプレート画像の評価に使用することができる。また、本発明は、眼底のみならず、あらゆる部位の生体画像におけるパターンマッチングに使用するテンプレート画像の評価にも使用可能である。
[実施例1]
実施例1では、テンプレート画像を決定し、評価し、選択することで良いテンプレート画像を取得するための図1のフローチャートに示す方法、及び、本方法を用いた図2の生体運動検出装置の構成について説明する。
図2の生体運動検出装置は、生体画像の取得手段としての共焦点検眼鏡(Scanning Laser Ophtalmoscope、以下SLO)201及び光干渉断層装置(Optical Coherence Tomography、以下OCT)202、CPU203、メモリ204、ハードディスク205からなる。SLO201及びOCT202は既存の撮像系で実現できるため、その構成を簡略化して記載してある。また、CPU203は、後述するようにプログラムを実行することにより抽出手段、パターンマッチング手段、演算手段、評価手段、検知手段として機能する。本構成により、図2の生体運動検出装置は、SLO201で眼底を撮像した眼底画像を時系列に比較することで眼球の運動を検知し、同時に、OCT202によって断層画像を撮影するときの位置ずれを抑止することができる。以下、SLO像とは共焦点検眼鏡で撮像された眼底画像のことを指す。なお、図1のフローチャートを実現するプログラムはハードディスク205に記憶され、CPU203が読み出して実行する。
まず、図1のフローチャートのステップ101、“参照画像を一枚取得”から処理を開始する。このステップではSLO201にてSLO像を1枚撮像し、メモリ204に保存する。用いる画像については特に限定されないが、血管の交差・分岐部位が入る程度以上の大きさを有することが必要である。本実施例においては、縦2000×横2000画素のサイズのSLO像を用いた。
次にステップ102、“複数テンプレート画像(T1,…Ti…,Tn)決定”に進む。CPU203は抽出手段として機能して、ステップ101でメモリ204に保存されたSLO像から、パターンマッチングに使用できる特徴を持った小領域の画像であるテンプレート画像を複数抽出する。なお、ステップ101を省略して、ステップ102において予めメモリ204に保存されている別のテンプレート画像を選択してもよい。特徴を持った小領域としては、例えば、限定はされないが、視神経乳頭や血管の交差・分岐部位等が考えられる。本実施例では、特徴を持った小領域として血管の交差・分岐部位を抽出し、テンプレート画像とした。
本実施例において、テンプレート画像を評価するためには、テンプレート画像が複数あることが必要となる。テンプレート画像の数は3つ以上が望ましいが、2つでもかまわない。評価に必要なテンプレートの数は、検者206が任意に定めることができる。本実施例では、検者206はテンプレート画像は4つ以上と定め、その情報がメモリ204に保存されている。
取得した参照画像からの血管の交差・分岐部位の抽出の手順としては、例えば特許文献1に開示される方法を用いることができるし、或いは後述する実施例2の方法を用いることもできる。ただし、特徴を持った小領域の抽出方法はこれらの手段に限定されず、いかなる公知の手段によってテンプレート画像を決定してもよい。
複数テンプレート画像を抽出する処理を終えると、CPU203はステップ103に進む。ステップ103は、参照画像としての複数のSLO像を、取得手段として機能するSLO201を用いて取得し、メモリ204に保存させるステップである。ステップ103の処理は、ステップ104の判断、“画像をM枚以上取得したか?”をCPU203がYESと判断するまで続く。なお、ステップ101で取得した参照画像が上記M枚の参照画像のうちの1枚として含まれていてもかまわない。取得する参照画像の枚数であるM枚は、検者206が任意に定めることができる。取得する枚数は特に限定されなく、後述する相関係数を算出するのに十分な数であればよい。本実施例では、検者206は、取得する参照画像の枚数を20枚とした。
メモリ204内にM枚以上のSLO像を取得したら、CPU203はパターンマッチング手段として機能して、ステップ105の処理“M枚以上のSLO像に複数テンプレート画像(T1,…Ti…,Tn)でパターンマッチング”を行う。ここでは、図3に示すように、ステップ102で取得した複数のテンプレート画像(T1,…Ti…,Tn)を使用し、ステップ103で取得したM枚以上の参照画像のすべてに対してそれぞれのテンプレート画像を用いて別個にパターンマッチングを行う。
それぞれの参照画像に対して各テンプレート画像でパターンマッチングした結果は、ステップ106において、使用したテンプレート画像ごとにメモリ204に保存される。パターンマッチングの結果としては、後述する相関係数を計算することができれば、検出された部位のX座標、Y座標等の位置座標の情報やテンプレート画像との類似度など、いかなる情報を用いても良い。本実施例では、それぞれの参照画像において検出された部位のX座標を用いた。また、結果のメモリへの保存はパターンマッチングを行いながら行ってもよいし、パターンマッチングが終了した後に検出された位置の情報を算出し、一括して結果を保存してもよい。
次に、ステップ107に進む。ステップ107の処理は、CPU203が演算手段として機能して“各テンプレート画像間のXijとXkj(i≠k , j=1,…,M)の相関係数γikを計算する”ステップである。ここで、Xijとは、テンプレート画像Tiを用いて参照画像jに対して行ったパターンマッチングの結果であり、上記のとおり、本実施例では検出された部位の参照画像jにおけるX座標である。同様に、Xkjとは、テンプレート画像Tkを用いて参照画像jに対して行ったパターンマッチングの結果であり、本実施例においては、検出された部位の参照画像jにおけるX座標である。つまり、このステップでは、同じ参照画像jに対して2枚のテンプレート画像TiとTkによってパターンマッチングを行った結果の相関関係を、M枚の参照画像j(j=1,…,M)に対して行ったパターンマッチングに基づいて求めることになる。
CPU203は、XijとXkj(i≠k , j=1,…,M)の相関係数γikを、次の式で計算する。
相関係数γikは、テンプレート画像TiでM枚の参照画像にパターンマッチングをかけた結果とテンプレート画像TkでM枚の参照画像にパターンマッチングをかけた結果の相関を表す。本実施例では、CPU203はこの計算をテンプレート画像(T1,…Ti…,Tn)間における全ての組み合わせについて行い、それぞれの相関係数を求め、メモリ204に記憶した。ただし、相関係数を求める組み合わせは、全ての組み合わせではなくてもかまわない。すべてのテンプレート画像について、少なくとも次のステップ108で他のテンプレートと相関が悪いかどうか判断できる組み合わせ数を充足する相関係数が算出されていればよい。
本実施例において、テンプレート画像T1〜T4を用いて20枚の参照画像についてパターンマッチングを行った結果の相関関係を、テンプレート画像の組み合わせごとに図4に示す。図4は、それぞれのテンプレート画像の組み合わせごとに、M枚の参照画像に対して行ったパターンマッチングの結果として検出された部位のX座標(単位:ピクセル)を比較して、相関係数を求めたものである。例えば、図4(a)は、参照画像jに対し、テンプレートT1でパターンマッチングを行った結果のX座標の値をX軸方向の値とし、テンプレートT2でパターンマッチングを行った結果のX座標の値をY軸方向の値として点をプロットしていき、M枚の参照画像について同様にプロットしたものの相関係数を求めたグラフである。図4(b)〜(f)も同様に、一方のテンプレート画像による結果をX軸方向、もう一方のテンプレート画像による結果をY軸方向の値として、相関係数を求めている。
次に、ステップ108に進む。ステップ108は、CPU203が評価手段として機能して“全ての組み合わせの相関係数を調べ、複数のテンプレート画像との相関が悪いテンプレート画像があるか”判断するステップである。本実施例においてパターンマッチングの結果は正の相関関係を示す。相関係数の最大値は1で、相関係数が1に近いほどテンプレート画像同士の相関はよく、相関係数が0に近いほどテンプレート画像同士の相関は悪い。また、相関係数が1ならば完全に相関していることになる。本実施例において、相関係数が1に近いほど、比較した2枚のテンプレート画像はどの参照画像においても同一部位を検出する蓋然性が高いことになり、その2枚のテンプレート画像の信頼性は高いといえる。一方、相関係数が0に近いと、その2枚のテンプレート画像によるパターンマッチングの結果は不安定であり、使用テンプレート画像のうち一方あるいは双方が誤った部位を検出しやすいものと考えられる。複数のテンプレートとの相関が悪いテンプレートは、誤検知を誘発する悪いテンプレートであると本ステップにおいて判断される。
検者206は0から1までの値で閾値を決めて予めメモリ204に保存させ、評価手段としてのCPU203は、ステップ108において相関係数が閾値以上であれば相関がよいと判断する。すなわち、テンプレート画像TiとTkとの組み合わせにおいて、γikが閾値以上であったら、評価手段としてのCPU203は、メモリ204には何も保存しない。一方、γikが閾値未満であれば、評価手段としてのCPU203はテンプレート画像TiかTkのどちらかが悪いテンプレート画像であると判断し、TiとTjを悪いテンプレート画像の候補としてメモリ204に保存する。評価手段としてのCPU203はステップ107で計算された全ての相関係数を調べ、それぞれのテンプレート画像について、悪い画像の候補か否かを判断し、悪い画像の候補である場合はその旨を保存する。本実施例においては、相関係数が0.7以上のものを良い相関関係と規定した。よって、図4より、T1〜T3間におけるそれぞれの組み合わせ((a)、(b)、(d))については相関関係がよいと判断される。一方、T1〜T3のそれぞれとT4との組み合わせ((c)、(e)、(f))については相関が悪いと判断される。そのため、T1〜T3についてはそれぞれ1回ずつ、T4については3回、悪いテンプレート画像の候補としてメモリ204に保存されることになる。
全ての相関関係を調べた後、評価手段としてのCPU203は、メモリ204に保存された結果に基づき、それぞれのテンプレート画像が良い画像か悪い画像かを判断する。それぞれのテンプレート画像について悪いと判断するための基準は、検者206が任意に定めることができる。本実施例において、評価手段のCPU203は、複数のテンプレート画像との相関が悪いと判断したテンプレート画像を悪いテンプレート画像としてメモリ204に保存した。また、悪いテンプレート画像であると判断されたもの以外のテンプレート画像を良いテンプレート画像としてメモリ204に保存した。そのため、T1〜T3の3枚との間で相関が悪いとされたT4は悪いテンプレート画像としてメモリ204に保存され、それ以外のT1〜T3は良いテンプレート画像としてメモリ204に保存された。
なお、判断基準はこの方法に限定されることはない。例えば、相関係数をもとに各テンプレート画像に点数をつけていき、その点数の平均値により他のテンプレート画像との相関が良いか悪いかを求めてもよい。また、用いたテンプレートが2枚の場合は、その2枚についての相関関係が検者206が予め決めた閾値よりも悪い場合には2枚とも悪いテンプレートとして記憶させ、それ以外の場合は良い画像として保存する等としてもよい。
全てのテンプレート画像が良いテンプレート画像と判断された場合には、ここで処理を終了する。その後、CPU203は検知手段として機能して、メモリ204に保存された良いテンプレート画像を用いてパターンマッチングを行い、眼球運動等の生体運動を定量的に検知したり、断層画像の撮像時の位置ずれを抑止したりすることができる。
CPU203が悪いと判断したテンプレート画像が1つでもある場合には、ステップ109に進む。
ステップ109は、“悪いと判断されたテンプレート画像を排除するか、新しいテンプレート画像に変える”処理である。
CPU203は、メモリ204から、悪いと判断されたテンプレート画像の情報を消去する。本実施例においては、上記結果より、テンプレート4が消去されることになる。
検者206は、最終的に必要なテンプレート画像の枚数を予めメモリ204に保存させておく。ステップ109の結果として残ったテンプレート画像の個数が必要なテンプレート画像の個数より多い場合、処理は終了となる。その後、CPU203は検知手段として機能して、メモリ204に残った良いテンプレート画像を用いてパターンマッチングを行い、眼球運動等の生体運動を定量的に検知したり、断層画像の撮像時の位置ずれを抑止したりすることができる。一方、残ったテンプレート画像の個数が必要なテンプレート画像の個数よりも少ない場合は、使用するテンプレート画像を別のものに変えて、ステップ105以降の処理を繰り返す。このとき、ステップ102においてテンプレート画像を抽出した画像から新たに別のテンプレート画像を取得してもよいし、ステップ103において取得した参照画像や、それ以外の画像からテンプレート画像を用意してもよい。
CPU203は、必要なテンプレート画像の個数分だけ良いテンプレート画像が揃うまで、図1のフローチャートの105から109を繰り返す。CPU203が良いテンプレート画像が揃ったと判断したら、処理を終了する。
以上説明のように、取得したテンプレート画像を適正に評価し、必要な枚数の良いテンプレート画像を取得することができる。
本実施例ではその後、SLO201で眼底像を撮像し、時系列に並んだSLO像に対して、検知手段としてのCPU203により、選ばれたテンプレート画像を用いてパターンマッチングを行い、眼球の運動を定量的に検知した。検知された眼球運動は、同時に撮像されるOCT202などの眼底画像の、眼球運動によるズレを補正するのにも用いることができた。
このように構成することにより、動きを検知するためのハードウェアを追加することなく、眼球運動を定量的に検知し補正することができるようになり、取得する画像が不鮮明になることを防止することができる。
[実施例2]
実施例2では、上記実施例1のステップ102において、参照画像から複数テンプレート画像を取得する際に、図5のフローチャートに従って、本実施例における血管交差・分岐部位を抽出する処理例を示す。本実施例においては、血管の交差・分岐部位をより確実に抽出し、さらに血管の交差・分岐部位が、抽出されたテンプレート画像の中央により確実に位置するようにテンプレート画像を抽出することができる。
なお、使用した参照画像やステップ102以外については実施例1と同様であり、重複する部分については説明を省略する。
まず、CPU203がSLO像の左上隅の小領域を抽出候補領域として選択し、その小領域の画像をメモリ204に保存することから処理を開始する。抽出候補領域の大きさは、あらかじめ検者206が決定してメモリ204に保存する。なお、抽出候補領域の大きさに特に制限はなく、血管交差・分岐部位が入る程度よりも大きければよい。図6(a)に示すように、本実施例では縦140×横140画素とした。これは、本発明者が、本発明を用いて血管交差・分岐部位を抽出し、抽出した領域をテンプレート画像として同一被検者のSLO像にパターンマッチングをかけた際にパターンマッチングでの誤検知がなかった最小のサイズである。また、抽出候補領域の形状も正方形に限定されず、長方形や円形等、いかなる形状としてもよい。
次に、図5のフローチャートのステップ301を説明する。ステップ301は、CPU203が選択された抽出候補領域の外周小領域を定め、外周小領域に含まれる各画素の輝度の平均値を計算し、メモリ204に保存させるステップである。まず、CPU203は検者904が指定した外周小領域のサイズに従い、抽出候補領域の外周部に沿って正方形の領域を隙間なく連続して設定する。この、外周部に沿って設定された正方形の領域を、以下において外周小領域という。外周小領域の形状は正方形には限定されず、抽出候補領域の外周に沿って連続して設定できれば、いかなる形状としてもよい。ただし、外周小領域の抽出候補領域の外周に対する幅方向の大きさは血管の太さと同程度であることが必要である。本実施例の画像においては、血管の太さは約20画素にあたるため、検者206は、外周小領域の大きさを縦20×横20画素と決め、不図示の入力装置から入力することにより、メモリ204に保存した。
ここで、図6(a)は、CPU203により抽出された抽出候補領域を示している。抽出候補領域のサイズが140×140画素で、その外周部として20×20画素の外周小領域が24個設定されている。
次にCPU203は各外周小領域内に含まれる全ての画素の輝度値を平均し、各外周小領域を代表する値としてその値をメモリ204に保存する。図6(b)にその概念図を示す。
ステップ302は、CPU203が、外周小領域の3箇所以上を血管が走っているかどうか判定するステップである。
まず、CPU203は、隣り合う各外周小領域間の輝度平均値の差の絶対値を求め、メモリ204に保存する。図6(c)にその概念図を示す。その後CPU203は、隣り合う外周小領域間の輝度平均値の差の絶対値が第1の閾値A以上であり、かつ輝度平均値の低いほうの外周小領域の輝度が第2の閾値B以下である場合、低いほうの輝度平均値で表される外周小領域には血管が走っていると判定する。
第1の閾値A及び第2の閾値Bは、検者904が任意に定めることができる。本実施例においては、検者206は第1の閾値Aを8000、第2の閾値Bを−10000と定めた。そのため、図6(b)と図6(c)から、図6(d)で黒く塗った外周小領域が血管の走っている外周小領域であると判定される。
次にCPU902は、血管の走っている外周小領域が3つ以上あるか判定する。血管の走っている外周小領域が3つ以上あると判定した場合、CPU203はステップ307へ進む。3つ未満の場合は、CPU203はステップ305の処理に進む。
ステップ307は、CPU203が、抽出候補領域の中央小領域を血管が走っているかどうか判定する工程である。ここで、中央小領域は抽出候補領域と同じ重心をもつ正方形の領域である。中央小領域の大きさは検者904が任意に定めることができるが、血管の太さと同じ程度の幅を持っていることが望ましい。前述のように、本実施例において血管の太さは20画素程度であるので、検者206は中央小領域の大きさを20×20画素と決定し、メモリに保存した。
CPU203は、抽出候補領域の中央小領域を血管が走っているかどうかを以下のように判定する。まず、CPU203は中央小領域の画素の輝度を平均し、平均値を取る。この平均値が、検者206があらかじめメモリに保存した閾値D以下であるとき、中央小領域には血管が走っていると判定する。
閾値Dは、検者206が任意に定めることができる。検者206は、閾値Dを、外周小領域に血管があるかどうか判定した際の閾値Bと等しく−10000と定めた。CPU203が中央小領域に血管が走っていると判定した場合、図5のフローチャートのステップ303へ進む。中央小領域を血管が走っていると判定しなかった場合は、抽出候補領域をずらし(ステップ306)、ステップ301へ戻る。
ステップ303は、CPU902が、外周部血管の座標平均が中央部の範囲内にあるかを判定するステップである。
本実施例において、外周部血管とは、CPU902がステップ302で血管が走っていると判定した外周小領域である。抽出候補領域内に2本の血管が存在し、互いに交差している場合、外周部血管の各座標を平均した位置(座標平均)にその血管の交差の中心が存在すると考えられる。そのため、座標平均が抽出候補領域の中央部にあるような抽出候補領域を選択して抽出することで、抽出された画像の中央部に交差が存在する可能性が高まる。
CPU902は、外周部血管が走っている複数の外周小領域のそれぞれ抽出候補領域での座標位置を用いて、その外周部血管の重心の位置座標を求める。即ち、すべての外周部血管の走っている外周小領域の位置座標値をX軸、Y軸毎に足し合わせ、外周部血管の走っている外周小領域の数で割ることで、外周部血管の座標平均を得る。
本実施例において、中央部とは、抽出候補領域と同じ重心を持ち、所定の面積を持つ抽出候補領域内の正方形の領域である。中央部の面積は任意に定めることができるが、1辺の長さが抽出候補領域の5分の1以下(9分の1以上)の大きさを持つ領域(抽出候補領域全体の1/25以下、1/81以上の面積を占める領域)であると、誤判定が改善されるために好ましい(図7)。
ここで、図7の横軸は、抽出候補領域の1辺の長さを1としたときの抽出候補領域に対する中央部の大きさを、それぞれの正方形の1辺の長さの比で表したものである。例えば、横軸に表す中央部の大きさが1/2のときは、中央部の正方形の各1辺は抽出候補領域の1/2となるため、中央部は抽出候補領域の面積の1/4を占める領域ということになる。また、図7の縦軸は、それぞれの大きさの抽出候補領域において、等しいSLO像から、血管の交差・分岐部位として抽出された抽出候補領域のうち、目視で血管の交差・分岐部位が認められなかったもの(誤判定)の数である。なお、1辺の長さの比が1のときは、抽出候補領域全体を中央部と見なしているため、結果的に、ステップ303はすべてYesとなり、ステップ404においてすべての抽出候補領域が血管交差・分岐部位として抽出されることになる。すなわち、中央部の1辺の長さの比が1のときは、従来技術(特許文献1)の結果と同等であることを表していることになる。図7から、本実施例において、中央部の大きさを小さくするほど上記従来技術よりも誤判定数が減っており、判定の正確性が改善されていることが分かる。なお、本実施例では、検者206は、中央部の1辺の長さを抽出候補領域の7分の1と決定した。
外周部血管の平均座標が中央部の領域内に含まれる場合、CPU902はステップ304の処理に進み、当該抽出候補領域を血管の交差・分岐部位として抽出する。外周部血管の平均座標が中央部の領域内に含まれない場合は、CPU902は抽出候補領域に血管交差・分岐部位があると判定せず、その抽出候補領域は抽出されない。この場合、CPU902はステップ305に進む。
本実施例においては、上記のとおり、図3(d)のように外周部血管が分布していると判定されるため、外周部血管の座標平均401は抽出候補領域の中央部402の領域内に含まれる。そのため、CPU902はステップ303の判定をyesとし、次のステップ304において抽出候補領域を血管交差・分岐部位を含む領域として抽出する。
その後CPU203は、ステップ305に進む。ステップ305はCPU203が終了条件を満たすかどうか判定するステップである。終了条件は検者が任意に決定することができる。本実施例では「眼底画像を全てスキャンしたか」を終了条件とした。CPU902は、現在のステータスが終了条件を満たしていないと判定するとき、抽出候補領域をずらして(ステップ306)、ステップ301の処理へ戻る。ここで、ずらす画素数は検者206が任意に決定することができる。本実施例では画像上で抽出候補領域を右に1画素ずつずらしていき、画像の右端にたどりついたら、その後下方向へ1画素ずらして画像の左端に戻り、再度ステップ301の処理へ戻るとした。
CPU203が終了条件(本実施例では、「眼底画像を全てスキャンしたか」)を満たすと判定するまで、CPU203は抽出候補領域をずらしながら(ステップ306)上記ステップ301からステップ305までの判定・処理を繰り返し、眼底画像をスキャンしていく。CPU203が終了条件を満たす(本実施例では眼底画像を全てスキャンし終えた)と判定したタイミングで処理を終了する。
仮に、ステップ304で抽出されたテンプレート画像の数が評価に必要な数に満たない場合は、最も条件に近い領域をステップ303のNoの判定の後でメモリ204に保存しておき、その領域を抽出するように構成する、あるいは、条件を緩めて再度始めから処理を実施するように構成することもできる。
本実施例の方法により、効率的にテンプレート画像を取得することができる。また、血管の交差・分岐部位が取得したテンプレート画像の中央部に確実に位置するようになるため、実施例1におけるテンプレートの評価もより確実かつ効率的に行うことができる。
201 SLO部
202 OCT部
203 CPU
204 メモリ
205 ハードディスク
206 検者
401 座標平均
402 中央部

Claims (7)

  1. 画像のパターンマッチングに用いるテンプレート画像の評価方法であって、
    複数のテンプレート画像のそれぞれのテンプレート画像を用いて複数の参照画像に対してパターンマッチングを行う手段と、
    前記テンプレート画像によるパターンマッチングの結果の相関係数を、テンプレート画像の組み合わせごとに算出する手段と、
    算出された相関係数に基づいて各テンプレート画像を評価し、他のテンプレート画像との相関が悪いテンプレート画像を悪いテンプレート画像であると判断する手段からなるテンプレート画像の評価方法。
  2. 前記テンプレート画像は、前記パターンマッチングを行う複数の参照画像のうちの1枚から抽出されることを特徴とする請求項1に記載のテンプレート画像の評価方法。
  3. 前記画像は、生体画像であることを特徴とする請求項1又は2に記載のテンプレート画像の評価方法。
  4. 前記相関係数の算出に用いる前記パターンマッチングの結果として、パターンマッチングによって検出された部位の位置座標を用いることを特徴とする請求項1乃至2の何れか1項に記載のテンプレート画像の評価方法。
  5. 前記テンプレート画像の評価は、前記相関係数が1に近いほどその組み合わせにおけるテンプレート画像の評価が良いことを特徴とする請求項1乃至4の何れか1項に記載のテンプレート画像の評価方法。
  6. 生体画像を取得する取得手段と、
    前記画像から複数のテンプレート画像を抽出する抽出手段と、
    複数の前記生体画像に前記複数テンプレート画像でパターンマッチングを実施するパターンマッチング手段と、
    前記パターンマッチングの結果に基づき、複数のテンプレート画像間の相関係数を算出する演算手段と、
    算出の結果に基づいて、テンプレート画像を評価する評価手段と、
    前記評価手段で良いと評価されたテンプレート画像を用いてパターンマッチングを行い、生体運動を定量的に検知する検知手段とからなる生体運動検出装置。
  7. 請求項1乃至5の何れか1項に記載のテンプレート画像の評価方法を、コンピュータに実行させるためのプログラム。
JP2009209397A 2009-09-10 2009-09-10 テンプレート画像の評価方法及び生体運動検出装置 Expired - Fee Related JP5355316B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009209397A JP5355316B2 (ja) 2009-09-10 2009-09-10 テンプレート画像の評価方法及び生体運動検出装置
US12/874,909 US20110058029A1 (en) 2009-09-10 2010-09-02 Evaluation method of template images and in vivo motion detecting apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009209397A JP5355316B2 (ja) 2009-09-10 2009-09-10 テンプレート画像の評価方法及び生体運動検出装置

Publications (3)

Publication Number Publication Date
JP2011056069A true JP2011056069A (ja) 2011-03-24
JP2011056069A5 JP2011056069A5 (ja) 2013-05-02
JP5355316B2 JP5355316B2 (ja) 2013-11-27

Family

ID=43647448

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009209397A Expired - Fee Related JP5355316B2 (ja) 2009-09-10 2009-09-10 テンプレート画像の評価方法及び生体運動検出装置

Country Status (2)

Country Link
US (1) US20110058029A1 (ja)
JP (1) JP5355316B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012030054A (ja) * 2010-07-05 2012-02-16 Canon Inc 眼科装置、眼科システム及び記憶媒体
JP2012196438A (ja) * 2011-03-10 2012-10-18 Canon Inc 眼科装置及びその制御方法
JP2013034855A (ja) * 2011-07-14 2013-02-21 Canon Inc 撮像制御装置、眼科撮像装置、撮像制御方法及びプログラム
JP2013043044A (ja) * 2011-08-26 2013-03-04 Canon Inc 瞬目計測装置、方法、及びプログラム
JP2013085758A (ja) * 2011-10-19 2013-05-13 Tomey Corporation 断層撮影装置及び断層像の補正処理方法
DE102013200290A1 (de) 2012-01-16 2013-07-18 Canon Kabushiki Kaisha Ophthalmologische Bildaufnahmevorrichtung und Steuerverfahren für die Vorrichtung
JP2014512245A (ja) * 2011-04-29 2014-05-22 オプトビュー,インコーポレーテッド 光コヒーレンストモグラフィーを用いたリアルタイムトラッキングによる改善された撮影
WO2019240157A1 (ja) * 2018-06-12 2019-12-19 国立大学法人筑波大学 眼球運動測定装置、眼球運動測定方法及び眼球運動測定プログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8971663B2 (en) * 2012-05-21 2015-03-03 Cognex Corporation System and method for producing synthetic golden template image for vision system inspection of multi-layer patterns
JP6062688B2 (ja) * 2012-08-30 2017-01-18 キヤノン株式会社 眼科装置、眼科装置の制御方法、およびプログラム
JP6213708B2 (ja) * 2012-10-31 2017-10-18 株式会社ニデック 眼科撮影装置、及び眼科撮影プログラム
US11508062B2 (en) * 2019-03-29 2022-11-22 Nidek Co., Ltd. Ophthalmological image processing apparatus

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0882880A (ja) * 1994-03-18 1996-03-26 Fuji Photo Film Co Ltd 放射線画像の位置合せ用対応点決定方法
JP2000163564A (ja) * 1998-12-01 2000-06-16 Fujitsu Ltd 目の追跡装置および瞬き検出装置
JP2001202507A (ja) * 1999-06-02 2001-07-27 Fuji Photo Film Co Ltd 画像の位置合わせ処理方法および位置合わせ処理装置
JP2001340300A (ja) * 2000-05-31 2001-12-11 Mixed Reality Systems Laboratory Inc 瞳孔位置検出装置及び方法、視点位置検出装置及び方法、並びに立体画像表示システム
US20070238954A1 (en) * 2005-11-11 2007-10-11 White Christopher A Overlay image contrast enhancement
JP2011056068A (ja) * 2009-09-10 2011-03-24 Canon Inc 血管交差・分岐部位の抽出方法及び装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5793969A (en) * 1993-07-09 1998-08-11 Neopath, Inc. Network review and analysis of computer encoded slides
US6463426B1 (en) * 1997-10-27 2002-10-08 Massachusetts Institute Of Technology Information search and retrieval system
US6292683B1 (en) * 1999-05-18 2001-09-18 General Electric Company Method and apparatus for tracking motion in MR images
US6494878B1 (en) * 2000-05-12 2002-12-17 Ceramoptec Industries, Inc. System and method for accurate optical treatment of an eye's fundus
ATE414310T1 (de) * 2000-09-14 2008-11-15 Univ Leland Stanford Junior Verfahren zur manipulation medizinischer bilder
US6841780B2 (en) * 2001-01-19 2005-01-11 Honeywell International Inc. Method and apparatus for detecting objects
GB0300921D0 (en) * 2003-01-15 2003-02-12 Mirada Solutions Ltd Improvements in or relating to dynamic medical imaging
JP4242796B2 (ja) * 2004-03-12 2009-03-25 パナソニック株式会社 画像認識方法及び画像認識装置
JP4575124B2 (ja) * 2004-11-29 2010-11-04 オリンパス株式会社 画像表示装置
EP1862106A1 (en) * 2005-03-22 2007-12-05 Osaka University Capsule endoscope image display controller
DE102005034332A1 (de) * 2005-07-22 2007-01-25 Carl Zeiss Meditec Ag Einrichtung und Verfahren zur Beobachtung, Dokumentation und/oder Diagnose des Augenhintergrundes
US20070081700A1 (en) * 2005-09-29 2007-04-12 General Electric Company Systems, methods and apparatus for creation of a database of images from categorical indices
JP4864516B2 (ja) * 2006-04-07 2012-02-01 株式会社トプコン 眼科装置
JP4999163B2 (ja) * 2006-04-17 2012-08-15 富士フイルム株式会社 画像処理方法および装置ならびにプログラム
JP5038703B2 (ja) * 2006-12-22 2012-10-03 株式会社トプコン 眼科装置
JP4915737B2 (ja) * 2007-03-13 2012-04-11 興和株式会社 画像解析システム、及び画像解析プログラム
JP5005032B2 (ja) * 2007-06-21 2012-08-22 オリンパス株式会社 画像表示装置および画像表示プログラム
US8401294B1 (en) * 2008-12-30 2013-03-19 Lucasfilm Entertainment Company Ltd. Pattern matching using convolution of mask image and search image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0882880A (ja) * 1994-03-18 1996-03-26 Fuji Photo Film Co Ltd 放射線画像の位置合せ用対応点決定方法
JP2000163564A (ja) * 1998-12-01 2000-06-16 Fujitsu Ltd 目の追跡装置および瞬き検出装置
JP2001202507A (ja) * 1999-06-02 2001-07-27 Fuji Photo Film Co Ltd 画像の位置合わせ処理方法および位置合わせ処理装置
JP2001340300A (ja) * 2000-05-31 2001-12-11 Mixed Reality Systems Laboratory Inc 瞳孔位置検出装置及び方法、視点位置検出装置及び方法、並びに立体画像表示システム
US20070238954A1 (en) * 2005-11-11 2007-10-11 White Christopher A Overlay image contrast enhancement
JP2011056068A (ja) * 2009-09-10 2011-03-24 Canon Inc 血管交差・分岐部位の抽出方法及び装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012030054A (ja) * 2010-07-05 2012-02-16 Canon Inc 眼科装置、眼科システム及び記憶媒体
JP2012196438A (ja) * 2011-03-10 2012-10-18 Canon Inc 眼科装置及びその制御方法
JP2014512245A (ja) * 2011-04-29 2014-05-22 オプトビュー,インコーポレーテッド 光コヒーレンストモグラフィーを用いたリアルタイムトラッキングによる改善された撮影
JP2013034855A (ja) * 2011-07-14 2013-02-21 Canon Inc 撮像制御装置、眼科撮像装置、撮像制御方法及びプログラム
JP2013043044A (ja) * 2011-08-26 2013-03-04 Canon Inc 瞬目計測装置、方法、及びプログラム
JP2013085758A (ja) * 2011-10-19 2013-05-13 Tomey Corporation 断層撮影装置及び断層像の補正処理方法
DE102013200290A1 (de) 2012-01-16 2013-07-18 Canon Kabushiki Kaisha Ophthalmologische Bildaufnahmevorrichtung und Steuerverfahren für die Vorrichtung
US9237845B2 (en) 2012-01-16 2016-01-19 Canon Kabushiki Kaisha Ophthalmologic image pickup apparatus and control method therefor
WO2019240157A1 (ja) * 2018-06-12 2019-12-19 国立大学法人筑波大学 眼球運動測定装置、眼球運動測定方法及び眼球運動測定プログラム
JPWO2019240157A1 (ja) * 2018-06-12 2021-07-08 国立大学法人 筑波大学 眼球運動測定装置、眼球運動測定方法及び眼球運動測定プログラム
JP7320283B2 (ja) 2018-06-12 2023-08-03 国立大学法人 筑波大学 眼球運動測定装置、眼球運動測定方法及び眼球運動測定プログラム

Also Published As

Publication number Publication date
JP5355316B2 (ja) 2013-11-27
US20110058029A1 (en) 2011-03-10

Similar Documents

Publication Publication Date Title
JP5355316B2 (ja) テンプレート画像の評価方法及び生体運動検出装置
US11935241B2 (en) Image processing apparatus, image processing method and computer-readable medium for improving image quality
JP5301001B2 (ja) 眼科装置及びその制御方法
US9872614B2 (en) Image processing apparatus, method for image processing, image pickup system, and computer-readable storage medium
JP4909377B2 (ja) 画像処理装置及びその制御方法、コンピュータプログラム
JP2020093076A (ja) 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム
US20110137157A1 (en) Image processing apparatus and image processing method
US9619874B2 (en) Image processing apparatus and image processing method
JP2010110556A (ja) 画像処理装置、画象処理方法、プログラム、及びプログラム記憶媒体
US8870377B2 (en) Image processing apparatus, image processing apparatus control method, ophthalmologic apparatus, ophthalmologic apparatus control method, ophthalmologic system, and storage medium
JP5404358B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5631339B2 (ja) 画像処理装置、画像処理方法、眼科装置、眼科システム及びコンピュータプログラム
JP2012120756A (ja) 画像処理装置、撮影システム、画像処理方法及びプログラム
EP2693399B1 (en) Method and apparatus for tomography imaging
JP2010110656A (ja) 断層像撮影装置、断層像撮影方法法、プログラム、及びプログラム記憶媒体
JP7374615B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020075719A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP2017127397A (ja) 画像処理装置、推定方法、システム及びプログラム
JP7332463B2 (ja) 制御装置、光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム
JP2018046959A (ja) 眼科撮影装置
US10916012B2 (en) Image processing apparatus and image processing method
JP2020058615A (ja) 画像処理装置、学習済モデル、画像処理方法およびプログラム
JP7111874B2 (ja) 眼科撮影装置
JP7157221B2 (ja) 眼科情報処理装置及び眼科撮影装置
JP2018057828A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20120727

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20120730

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20120731

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20120831

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130314

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20130701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130827

R151 Written notification of patent or utility model registration

Ref document number: 5355316

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees