JP6590513B2 - 情報処理装置、その作動方法、及びコンピュータプログラム - Google Patents
情報処理装置、その作動方法、及びコンピュータプログラム Download PDFInfo
- Publication number
- JP6590513B2 JP6590513B2 JP2015093541A JP2015093541A JP6590513B2 JP 6590513 B2 JP6590513 B2 JP 6590513B2 JP 2015093541 A JP2015093541 A JP 2015093541A JP 2015093541 A JP2015093541 A JP 2015093541A JP 6590513 B2 JP6590513 B2 JP 6590513B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- confocal
- images
- processing apparatus
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0041—Operational features thereof characterised by display arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/1025—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for confocal scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
- A61B3/1225—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
- A61B3/1233—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation for measuring blood flow, e.g. at the retina
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Ophthalmology & Optometry (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Human Computer Interaction (AREA)
- Hematology (AREA)
- Signal Processing (AREA)
- Eye Examination Apparatus (AREA)
Description
異なる時間に眼部を撮影して得た複数の共焦点画像と前記複数の共焦点画像に時間的に対応する複数の非共焦点画像とを含む複数種類の画像のうちの少なくとも一つの位置ずれを示す情報を取得するための画像の種類を選択する選択手段と、
前記選択された種類の画像として前記複数の非共焦点画像が選択された場合に、前記複数の非共焦点画像の位置ずれを示す情報を、前記複数種類の画像のうちの少なくとも一つの位置ずれを示す情報として取得する情報取得手段と、を有する。
異なる時間に眼部を撮影して得た複数の共焦点画像と前記複数の共焦点画像に時間的に対応する複数の非共焦点画像とを含む複数種類の画像のうちの少なくとも一つの位置ずれを示す情報を取得するための画像の種類を選択する工程と、
前記選択された種類の画像として前記複数の非共焦点画像が選択された場合に、前記複数の非共焦点画像の位置ずれを示す情報を、前記複数種類の画像のうちの少なくとも一つの位置ずれを示す情報として取得する工程と、を有する。
本実施形態に係る情報処理装置は、共焦点画像と非共焦点画像を略同時に取得するSLO装置を用いて網膜血管を撮影する場合に、非共焦点画像に基づいて決定される位置合わせパラメータ値を用いて共焦点画像と非共焦点画像を位置合わせするよう構成したものである。具体的には、図3(a)(b)に示すような共焦点画像Dcと非共焦点画像Dnを略同時に取得するSLO装置で網膜血管に関する共焦点画像Dcおよび非共焦点画像Dnを取得する。非共焦点画像Dnに基づいて決定される位置合わせパラメータ値を用いて共焦点画像Dc及び非共焦点画像Dnのフレーム間位置合わせ及び画像貼り合わせ処理を行う場合について説明する。なお、共焦点画像と非共焦点画像は、完全に同時に取得される必要はなく、時間的に対応していれば良い。例えば、眼の移動に伴う画像の位置ずれが比較的小さい時間間隔に取得されたものであれば良い。
図2は、本実施形態に係る情報処理装置10を含むシステムの構成図である。図2に示すように情報処理装置10は、眼科撮像装置の一例であるSLO像撮像装置20やデータサーバ40、時相データ取得装置50と、光ファイバ、USBやIEEE1394等で構成されるローカル・エリア・ネットワーク(LAN)30を介して通信可能に接続されている。なお、これらの機器との接続は、インターネット等の外部ネットワークを介して通信可能に接続される構成であってもよいし、あるいは情報処理装置10と直接接続されている構成であってもよい。また、情報処理装置が眼科撮像装置に内蔵されて一体として構成されても良い。
データ取得部110はSLO像撮像装置20に対して、広画角画像Dlc、Dlr、Dll、共焦点画像Dcj、非共焦点画像DnrkおよびDnlk、対応する固視標位置Fl、Fcnの取得を要求する。SLO像撮像装置20は該取得要求に応じて広画角画像Dlc、Dlr、Dll、共焦点画像Dcjや非共焦点画像Dnrk、Dnlk、対応する固視標位置Fl、Fcnを取得し送信する。データ取得部110はSLO像撮像装置20からLAN30を介して当該広画角画像Dlc、Dlr、Dll、共焦点画像Dcj、非共焦点画像Dnrk、Dnlk、及び固視標位置Fl、Fcnを受信し、記憶部120に格納する。また、時相データ取得部113は時相データ取得装置50に対し生体信号に関する時相データPiの取得を要求する。本実施形態では時相データ取得装置として脈波計を用い、被験者の耳垂(耳たぶ)から脈波データPiを取得する。ここで脈波データPiは一方の軸に取得時刻、他方の軸に脈波計が計測した脈波信号値を持つ点列として表現される。時相データ取得装置50は該取得要求に応じて対応する時相データPiを取得し送信するので、時相データ取得部113は時相データ取得装置50からLAN30を介して当該脈波データPiを受信する。時相データ取得部113は受信した時相データPiを記憶部120に格納する。ここで、時相データ取得装置50が取得する時相データPiのある位相に合わせて共焦点データ取得部111もしくは非共焦点データ取得部112が画像を取得開始する場合と、画像の取得要求後直ちに脈波データPiと画像取得を同時に開始する場合が考えられる。本実施形態では画像取得要求後直ちに時相データPiと画像取得を開始する。時相データ取得部113より各画像の時相データPiを取得し、各々の時相データPiの極値を検出して拍動周期及び心時相の相対値(relative cardiac cycle)を算出する。なお、網膜血管を撮影した場合の共焦点画像Dc、非共焦点画像Dnrの例を図6(c)及び(d)に示す。共焦点画像Dcでは背景の神経線維層の反射が強く、背景部分のノイズにより位置合わせが難しくなりやすい。また、Rチャンネル(Lチャンネル)の非共焦点画像Dnr(Dnl)では、右側(左側)の血管壁のコントラストが高くなる。
位置合わせ部131は、広画角画像Dln及び非共焦点画像Dnkにおけるフレーム間位置合わせを行う。広画角画像Dln及び非共焦点画像Dnkにおいて位置合わせの基準となる基準フレームを設定し、Affine変換により大まかな位置合わせ(粗位置合わせ)を行う。さらに精密位置合わせとして非剛***置合わせを行う。なお本ステップにおいて、例外領域判定部1310が広画角画像Dln及び非共焦点画像Dnkに含まれる輝度異常、画像歪み、低S/N比もしくはフレームアウトの見られる例外フレームを検出する。
位置合わせ部131は、S520で形成された広画角非共焦点画像Dlnの重ね合わせ画像と高倍率非共焦点画像Dnkの重ね合わせ画像との位置合わせを行い、Dln上のDnkの相対位置を求める。すなわち、位置合わせパラメータの組み合わせを変えながら広画角非共焦点画像Dlnr+lと高倍率非共焦点画像Dnr+lの重ね合わせ画像との画像間類似度を算出する。最も画像間類似度の大きい位置合わせパラメータの組み合わせを用いて広画角非共焦点画像Dlnr+lに対する各非共焦点画像Dnr+lの相対位置を決定する。
表示制御部132は、形成された画像群をモニタ305上に表示する。ここでは、時相データPiが特定の位相(拡張末期)を持つフレームのみを選択した上でS520で決定された位置合わせパラメータ値を用いて各動画像を重ね合わせした画像を、S530で決定した位置合わせパラメータ値を用いて貼り合わせ表示する。また、指示取得部140を経由して指示された撮影位置について、S520で決定されたフレーム間位置合わせパラメータ値を用いて重ね合わせ画像もしくはフレーム間位置合わせ済み動画像を表示する。
指示取得部140は、広画角画像Dlc、Dlr、Dll、高倍率共焦点画像Dc、高倍率非共焦点画像Dnr及びDnl、固視標位置Fl、Fcn、S520及びS530において取得された位置合わせパラメータ値、S540で形成された重ね合わせ画像及び貼り合わせ画像をデータサーバ40へ保存するか否かの指示を外部から取得する。この指示は例えばキーボード306やマウス307を介して操作者により入力される。保存が指示された場合はS560へ、保存が指示されなかった場合はS570へと処理を進める。
画像処理部130は、検査日時、披検眼を同定する情報、広画角画像Dlc、Dlr、Dll、高倍率画像Dc、Dnr、Dnlと固視標位置Fl、Fcn、位置合わせパラメータ値、各動画像Dlc、Dlr、Dll、Dc、Dnr、Dnlの重ね合わせ画像、貼り合わせ画像を関連付けてデータサーバ40へ送信する。
指示取得部140は情報処理装置10による広画角画像Dlと高倍率共焦点画像Dcj、高倍率非共焦点画像Dnkに関する処理を終了するか否かの指示を外部から取得する。この指示はキーボード306やマウス307を介して操作者により入力される。処理終了の指示を取得した場合は処理を終了する。一方、処理継続の指示を取得した場合にはS510に処理を戻し、次の披検眼に対する処理(または同一披検眼に対する再処理を)行う。
高倍率非共焦点画像Dnkの各フレームにおいて、単独フレームでの例外フレーム判定を行う。本実施形態においては、例外領域判定部1310が各フレームの平均輝度値Akj及びS/N比SNjを算出し、Akjが閾値T1以下、もしくはS/N比SNjがT2以下であれば輝度異常もしくは低画質であるとみなして例外フレームと判定する。ただし、例外フレームの判定法はこれに限るものではなく、任意の例外判定法を用いて良い。
位置合わせ部131は、高倍率非共焦点画像Dnkに対して位置合わせの基準となる基準フレームを設定する。本実施形態では、S710において例外フレームと判定されたフレーム以外で、最もフレーム番号の小さいフレームを基準フレームとする。なお、基準フレームの設定法はこれに限るものではなく、任意の設定法を用いて良い。例えば、ユーザが指定した基準フレーム番号を指示取得部140から取得して基準フレームを設定してもよい。
位置合わせ部131は、高倍率非共焦点画像Dnkに対してフレーム間の大まかな位置の対応付け(粗位置合わせ)を行う。任意の位置合わせ手法を用いることができ、本実施形態では画像間類似度評価関数として相関係数、座標変換手法としてAffine変換を用いて粗位置合わせを行う。なお、評価関数や座標変換手法はこれに限定されず、任意の評価関数あるいは座標変換手法を用いてよい。
位置合わせ部131は、S730で得られた高倍率非共焦点画像Dnkのフレーム間の大まかな位置の対応関係のデータに基づき、高倍率非共焦点画像Dnkの各フレームに対して精密位置合わせを行う。本実施形態ではS730で得られた高倍率非共焦点画像Dnkの粗位置合わせ済動画像に対し、非剛***置合わせ手法の一種であるFFD(Free Form Deformation)法を用いてフレーム間の精密位置合わせを行う。なお、精密位置合わせの手法はこれに限らず、任意の位置合わせ手法を用いて良い。
S740の高倍率非共焦点画像Dnkに対する精密位置合わせによって得られた精密位置合わせ済動画像の各フレームに対して例外フレーム判定を行う。本実施形態では、例外領域判定部1310が基準フレームと(基準フレーム以外の)各フレームとの差分演算を行って該差分画像のヒストグラムを求める。該ヒストグラムの平均値及び分散が閾値T3以上かつ閾値T4以上であれば固視微動により一時的に眼底上の異なる位置が撮影されたとみなして例外フレームと判定する。
位置合わせ部131は、記憶部120から高倍率非共焦点画像Dnkの撮影時に用いた固指標位置Fcnを取得し、広画角画像Dlnと非共焦点画像Dnkとの位置合わせにおける位置合わせパラメータの探索初期点とする。本実施形態においては、位置合わせパラメータとして並進(x及びy)・回転θ・拡大率sを求める。該パラメータの初期値として、(x0,y0,θ0,s0)=(Fcnのx成分、Fcnのy成分、0°、1.0)を設定する。
S711で設定された位置合わせパラメータ値の組み合わせ(x0,y0,θ0,s0)を初期値として、該パラメータ値の組み合わせを変化させながら広画角画像Dlnと高倍率非共焦点画像Dnkとの位置合わせを行う。なお、本実施形態では広画角画像Dlnは重ね合わせ画像であるものとする。広画角画像Dlnの重ね合わせ画像と高倍率非共焦点画像Dnkの重ね合わせ画像との類似度が最も高い位置合わせパラメータ値の組み合わせを広画角画像Dlnに対する非共焦点画像Dnkの相対位置として決定する。位置合わせ手法はこれに限らず、任意の位置合わせ手法を用いて良い。なお、高倍率非共焦点画像Dnk間で重なり領域がある場合には、該重なり領域に関しても画像間類似度を算出し、最も画像間類似度が最大となる位置に高倍率非共焦点画像Dnk同士の位置を合わせる。
本実施形態に係る情報処理装置は、共焦点画像と非共焦点画像を同時に取得するSLO装置で網膜血管を撮影する場合に、第1実施形態のように画像取得後に位置合わせするのではなく、画像取得中に非共焦点画像を用いて追尾処理を行うように構成したものである。ここで言う追尾処理とは、高速で局所領域ごとの画像位置合わせを行い、その結果をSLO装置にフィードバックしてスキャナの走査位置を随時修正することで略同一の領域を常に撮影可能にすることを指す。具体的には、図3(a)(b)に示すような共焦点画像Dcjと非共焦点画像Dnkを同時に取得するSLO装置で網膜血管の非共焦点動画像Dnkを取得する。該画像内を複数の矩形領域で分割する場合の、隣接矩形領域間での類似度評価値に基づいて決定された並進移動パラメータ値を用いて追尾する場合について説明する。
データ取得部110が非共焦点高倍率動画像Dnkのpフレーム目Dnkp内の部分画像としてSpx(x=1,2,...,xmax)を取得する。ここで高倍率動画像Dnkの主走査方向は横方向であるので、本実施形態では図6(g)に示すような非共焦点高倍率動画像Dnkの部分画像Spxを図6(j)のSp1〜Sp5に示すように横長の矩形領域の画像として定義する。なお、局所領域(部分画像)の縦横のサイズは1以上画像サイズ以下の値であれば任意の自然数値を設定してよい。また、局所領域として任意の形状を指定してよい。なお、本実施形態ではフレーム内の最下部の部分画像(図6(g)ではSp5)が位置合わせされた後に次の部分画像を取得する場合には、次のフレームの最上部の部分画像S(p+1)1を取得するものとする。
データ取得部110によって非共焦点高倍率動画像Dnkpの部分画像Spx+1が取得されたら、局所領域位置合わせ部1313が部分画像Spx+1とその隣接部分画像Spxとの間で位置合わせを行う。具体的には、所定のパラメータ探索範囲で水平方向及び垂直方向の並進移動に関して部分画像間の類似度(あるいは相違度)評価値を算出する。評価値としては任意の評価関数を用いることができ、本実施形態では相互相関係数値を用いる。パラメータ値の組合わせを変化させながら該類似度評価値の算出を繰り返し、類似度評価値が最大(相違度評価値の場合は最小)となるような並進移動量の組み合わせを決定する。なお、フレーム内の最下部の部分画像(図6(j)Sp5)を位置合わせ後、S520で次の部分画像(次フレーム最上部の部分画像)S(p+1)1を取得した際は前フレーム最上部の部分画像Sp1と位置合わせし、評価値最大の位置合わせパラメータ値を算出する。
局所領域位置合わせ部1313が決定した位置合わせパラメータ値(隣接部分画像間の水平及び垂直方向の並進移動量)に基づき、位置合わせ部131がデータ取得部110に該位置合わせパラメータ値を送信する。さらに、データ取得部110はSLO撮像装置20に対して該位置合わせパラメータ値を送信する。SLO撮像装置20は算出された並進移動量がキャンセルされるようにX−Y走査ミラー205の走査位置を修正する。
表示制御部132は、S521で算出された位置合わせパラメータ値(水平方向及び垂直方向の並進移動量)に基づいて、各部分画像をつなぎ合わせて合成フレームとしてモニタ305に表示する。部分画像Spxの取得ごとに走査位置の修正が行われているため、合成フレームはほぼ静止したフレームとして表示され、観察しやすい網膜血管の画像を高速に得ることができる。
データ取得部110は、現在撮影中の動画像Dc、Dnr、Dnlに関して、撮影指示されたフレーム数分の取得が完了したか否かを判定し、1動画像分の画像取得が完了していればS551に処理を進める。もしまだ取得未完了のフレームが残っている場合は、S511に処理を進めて次の部分画像(Spx+1もしくはS(p+1)1)を取得するようSLO撮像装置20に対して要求する。
画像貼り合わせ部1312が、広画角画像Dln上に非共焦点高倍率画像Dnkの貼り合わせを行う。基本的な貼り合わせ方法は実施形態1と同様である。ただし実施形態1では全高倍率画像Dncj、Dnrk、Dnlkを1度に広画角画像に貼り合わせたのに対し、本実施形態では1高倍率動画像Dncj、Dnrk、Dnlkを取得する度に広画角画像Dlc、Dnr、Dnlへ貼り合わせる点が異なる。
データ取得部110は、全ての動画像取得が終了したか否かを判定し、全動画像の取得が完了していればS565に処理を進める。もしまだ取得未完了の動画像が残っている場合は、S511に処理を進めて次の動画像を取得するようSLO撮像装置20に対して要求する。なお、本実施形態ではS561の後で本ステップの処理を実行したが、S571の処理の後で行ってもよい。
本実施形態に係る情報処理装置は第1実施形態のように常に非共焦点画像で決定した位置合わせパラメータ値で位置合わせするのではなく、画像の面内または深度方向の取得位置に基づき位置合わせ用の画像種を決定し、該画像種で位置合わせパラメータ値を決定する。具体的には、黄斑部の網膜外層を撮影した画像に対しては共焦点画像、視神経乳頭部の網膜内層を撮影した画像に対しては非共焦点画像を位置合わせに用いる画像として決定し、該決定された種類の画像を用いてフレーム間位置合わせ及び画像貼り合わせ処理を行う。
共焦点画像取得部111が広画角画像Dlcと黄斑部網膜外層及び視神経乳頭部網膜内層における共焦点高倍率画像Dlcを取得する。非共焦点画像取得部112が広画角画像Dlr、Dllと、黄斑部網膜外層及び視神経乳頭部網膜内層における非共焦点高倍率画像Dnr、Dnlとを取得する。また属性取得部113が、共焦点画像取得部111及び非共焦点画像取得部112が取得した画像の属性として画像の取得位置(面内及び深度方向)を取得する。ここでは網膜黄斑部網膜外層では視細胞、視神経乳頭部網膜内層については網膜血管を観察することを目的としている。なお、視神経乳頭部網膜内層においては時相データPiも同時に取得する。
S512において属性取得部113が取得した画像取得位置データに基づいて、決定部133が画像のフレーム位置合わせ及び貼り合わせに用いる画像種を決定する。本実施形態では、決定部133が位置合わせに用いる画像種を視神経乳頭部もしくは網膜内層に対しては非共焦点画像、それ以外では共焦点画像と決定するものとする。
S512で取得された画像に対して、S522で決定された種類の画像を用いて、フレーム間位置合わせ部1311がフレーム間位置合わせ処理を実行する。フレーム間位置合わせ処理の手順は、基本的に第1実施形態におけるS710〜S750と同様である。ただし、決定部133が決定した種類の画像でフレーム間位置合わせを行い、その結果得られた位置合わせパラメータ値を用いて他種類の画像のフレーム間位置合わせを行う、という点が第1実施形態と異なる。すなわち、視神経乳頭部網膜内層では、非共焦点動画像Dnr+lを生成した上で該動画像のフレーム間位置合わせを行い、得られたフレーム間位置合わせパラメータ値を用いて共焦点動画像Dcのフレーム間位置合わせを行う。また、黄斑部網膜外層では、共焦点動画像Dcのフレーム間位置合わせを行い、得られたフレーム間位置合わせパラメータ値を用いて非共焦点動画像Dnkのフレーム間位置合わせを行う。さらに、得られたフレーム間位置合わせ済みの各動画像の重ね合わせ処理を行い、重ね合わせ画像を生成する。なお、時相データPiが取得されている視神経乳頭部網膜内層の画像に関しては、心拍動の影響による血管径の変化によって重ね合わせ画像がぼけるのを防止するため、所定の脈波位相を持つ区間に属するフレームを選択して重ね合わせ画像を生成するものとする。
画像貼り合わせ部1312が、S532で生成した画像を貼り合わせる処理を実行する。画像貼り合わせ処理の手順は、基本的に第1実施形態におけるS711〜S721と同様である。ただし、決定部133が決定した種類の画像で貼り合わせ処理を行い、その結果得られた位置合わせパラメータ値を用いて他種類の画像を貼り合わせる処理を行う、という点が第1実施形態と異なる。
表示制御部132が、形成された画像群をモニタ305に表示する。本実施形態では、S542で決定した位置合わせパラメータに基づいて貼り合わせ画像を表示する。また、指示取得部140を経由して指示された撮影位置について、S532で決定されたフレーム間位置合わせパラメータ値を用いて重ね合わせ画像もしくはフレーム間位置合わせ済み動画像を表示する。ここで、撮影位置によって表示する画像種を変えてもよい。本実施形態では、既定の表示設定として、視神経乳頭部では非共焦点(R+L)画像Dnr+l、黄斑部では共焦点画像Dcの表示が選択されているものとする。表示制御部132は、表示する画像種を複数の撮影位置でまとめて切り替えるためのGUIも備えてよい。例えば、矩形や円形領域で指定した範囲の撮影位置の画像種をまとめて切り替えたり、深度位置を示すスライダで深度位置の範囲をまとめて指定してよい。さらに、表示する画像種を複数の撮影位置でまとめて切り替えるのに、撮影位置や深度位置の範囲を数値で入力することによってまとめて指定してよい。
本実施形態に係る情報処理装置は、全ての種類の画像に対してフレーム間の類似度評価値及び貼り合わせ時の類似度評価値を算出し、最も類似度評価値の高い種類の画像を用いてフレーム間位置合わせ及び画像貼り合わせ処理を行うよう構成したものである。具体的には、図6(k)(l)に示すように視細胞外節欠損領域を含む共焦点画像及び非共焦点画像を異なる撮影位置で取得する場合に、共焦点画像間の類似度と非共焦点画像間の類似度を算出し、より類似度が高い方の画像を選択して位置合わせを行う。すなわち、視細胞外節が健全な領域では共焦点画像、視細胞外節が欠損している領域では非共焦点画像に基づいて位置合わせを行う場合について説明する。本実施形態に係る情報処理装置10と接続される機器の構成は、第1の実施形態の場合と比較して時相データ取得装置50が接続されていないという点が異なる。
情報処理装置10は指示取得部140を通じて、ユーザが指定した画像取得パターン(撮影位置等)に関する情報を取得する。本実施形態では、黄斑部の中心窩に固視標位置Fl及びFcnを設定して広画角画像Dlと図6(k)に示す高倍率共焦点画像Dcj(j=1,2,...,9)や図6(l)に示す高倍率非共焦点画像Dnrk及びDnlk(k=1,2,...,9)を取得する。なお撮影位置の設定方法はこれに限定されず、任意の位置に設定してよい。データ取得部110は、SLO像撮像装置20に対して、広画角画像Dlc、Dlr、Dll、共焦点画像Dcj、非共焦点画像DnrkおよびDnlk、対応する固視標位置Fl、Fcnの取得を要求する。本実施形態では、黄斑部の中心窩に固視標位置Fl及びFcnを設定して画像を取得する。SLO像撮像装置20は該取得要求に応じて広画角画像Dlc、Dlr、Dll、共焦点画像Dcjや非共焦点画像Dnrk、Dnlk、対応する固視標位置Fl、Fcnを取得し送信する。データ取得部110はSLO像撮像装置20からLAN30を介して当該広画角画像Dlc、Dlr、Dll、共焦点画像Dcj、非共焦点画像Dnrk、Dnlk、及び固視標位置Fl、Fcnを受信し、記憶部120に格納する。なお、本実施形態では非共焦点データ取得部112は非共焦点画像としてSplit Detector画像Dlnsd及びDnsdkを生成し、記憶部120に格納する。以下、非共焦点画像Dln及びDnkとして表記しているところでは実際にはSplitDetector画像DlnsdやDnsdkを用いて位置合わせを行うものとする。
位置合わせ部131は、各撮影位置においてフレーム間位置合わせを行う。本実施形態では共焦点広画角画像Dlcに対する高倍率共焦点画像Dcjの類似度評価値と、非共焦点広画角画像Dlnに対する高倍率非共焦点画像Dnkの類似度評価値とを比較し、より高評価値である種類の画像を用いてフレーム間位置合わせを行う。なお、各々の種類の画像におけるフレーム間位置合わせ具体的な手順は基本的に第1実施形態のS710〜750と同様であり、フレーム間位置合わせに用いる画像が非共焦点画像でなく共焦点画像である場合も含まれるという点が異なる。例えば、図6(k)の共焦点画像Dc5では視細胞外節が欠損して類似度評価値が低いため高精度な位置合わせが難しいのに対し、図6(l)の非共焦点画像Dn5では視細胞内節が残存していて評価値が高くなり、より高精度にフレーム間位置合わせできる。従って、5番目の撮影位置では決定部133が非共焦点画像Dn5を位置合わせ用の画像として決定し、非共焦点画像Dn5を用いて決定したフレーム間位置合わせパラメータ値を用いて共焦点画像Dc5のフレーム間位置合わせを行う。それ以外の撮影位置、例えばDc1では共焦点画像の方が、信号値が大きく、非共焦点画像よりも類似度評価値が高くなるため決定部133は共焦点画像Dc1をフレーム間位置合わせ用の画像として決定する。さらに、位置合わせ部131は共焦点画像Dc1を用いて決定した位置合わせパラメータ値を用いて非共焦点画像Dn1のフレーム間位置合わせを行う。
位置合わせ部131は、各撮影位置において画像貼り合わせを行う。本実施形態では共焦点広画角画像Dlcに対する高倍率共焦点画像Dcjの類似度評価値と、非共焦点広画角画像Dlnに対する高倍率非共焦点画像Dnkの類似度評価値とを比較し、より高評価値である種類の画像を用いて広画角画像への貼り合わせを行う。なお、各種類の画像における画像貼り合わせ手順は基本的に第2実施形態のS551における画像貼り合わせ手順と同様であり、貼り合わせ処理を全高倍率画像に対して一度に行うのではなく、単一高倍率画像と広画角画像との貼り合わせ処理を撮影位置ごとに行う。ただし、類似度評価値比較の結果共焦点画像に基づいて貼り合わせされる場合もあり得るという点が第2実施形態の場合と異なっている。例えば、図6(k)の共焦点画像Dc5では視細胞外節が欠損して類似度評価値が低いため広画角画像への高精度な貼り合わせが難しいのに対し、図6(l)の非共焦点画像Dn5では視細胞内節が残存して類似度評価値が高くなり、より高精度に貼り合わせできる。従って、5番目の撮影位置では決定部133が非共焦点画像Dn5を位置合わせ用の画像として決定し、非共焦点画像Dn5を用いて決定した貼り合わせパラメータ値を用いて共焦点画像Dc5の広画角画像Dclへの貼り合わせを行う。それ以外の撮影位置、例えばDc1では共焦点画像の方が信号値が大きく、非共焦点画像よりも類似度評価値が高くなるため決定部133は共焦点画像Dc1を貼り合わせ用の画像として決定する。さらに、位置合わせ部131は共焦点画像Dc1を用いて決定した位置合わせパラメータ値を用いて非共焦点画像Dn1の広画角画像Dlnへの貼り合わせを行う。
表示制御部132は、これまでに形成された画像群をS520及びS530で決定された位置合わせパラメータ値に基づいて貼り合わせし、モニタ305上に表示する。これにより視細胞欠損領域であるか否かによらず、ロバストにフレーム間位置合わせ及び画像貼り合わせできる。なお、本実施形態では撮影位置の異なる9つの画像を撮影して撮影位置ごとに全ての画像種でフレーム間の類似度評価値を算出してフレーム間位置合わせを行った。また、撮影位置ごとに全ての画像種で広画角画像との類似度評価値を算出して撮影位置ごとに最高評価値の画像種を決定して画像貼り合わせを行う構成としたが、本発明はこれに限定されない。例えば、画像内を複数の局所領域に分割し、局所領域ごとに全画像種でのフレーム間位置合わせ及び広画角画像への位置合わせ類似度評価値を算出する。最高評価値の画像種を用いて決定した位置合わせパラメータ値で局所領域ごとにフレーム間位置合わせや画像貼り合わせを行うことも本発明に含まれる。
上述の実施形態では本発明を情報処理装置として実現したが、本発明の実施形態は情報処理装置のみに限定されない。例えばコンピュータのCPUにより実行されるソフトウェアとして実現しても良い。本ソフトウェアを記憶した記憶媒体も本発明を構成することは言うまでもない。
Claims (19)
- 異なる時間に眼部を撮影して得た複数の共焦点画像と前記複数の共焦点画像に時間的に対応する複数の非共焦点画像とを含む複数種類の画像のうちの少なくとも一つの位置ずれを示す情報を取得するための画像の種類を選択する選択手段と、
前記選択された種類の画像として前記複数の非共焦点画像が選択された場合に、前記複数の非共焦点画像の位置ずれを示す情報を、前記複数種類の画像のうちの少なくとも一つの位置ずれを示す情報として取得する情報取得手段と、
を有することを特徴とする情報処理装置。 - 前記取得された位置ずれを示す情報に基づいて、前記複数種類の画像のうちの少なくとも一つを位置合わせする位置合わせ手段を更に有することを特徴とする請求項1に記載の情報処理装置。
- 前記複数種類の画像のうち前記位置合わせされる画像の種類を決定する決定手段を更に有し、
前記位置合わせ手段は、前記決定された種類の画像として前記複数の共焦点画像が決定された場合に、前記取得された位置ずれを示す情報に基づいて、前記複数の共焦点画像を位置合わせすることを特徴とする請求項2に記載の情報処理装置。 - 異なる時間に眼部を撮影して得た複数の共焦点画像と前記複数の共焦点画像に時間的に対応する複数の非共焦点画像とを含む複数種類の画像のうちの少なくとも一つの位置合わせされる画像の種類を決定する決定手段と、
前記複数の非共焦点画像の位置ずれを示す情報を、前記複数種類の画像のうちの少なくとも一つの位置ずれを示す情報として取得する情報取得手段と、
前記決定された種類の画像として前記複数の共焦点画像が決定された場合に、前記取得された位置ずれを示す情報に基づいて、前記複数の共焦点画像を位置合わせする位置合わせ手段と、
を有することを特徴とする情報処理装置。 - 前記決定手段は、画像が取得された取得位置、取得された画像の種類毎に算出される画像内もしくは画像間の評価値、の少なくとも一方に基づいて、前記位置合わせに用いる画像の種類を決定することを特徴とする請求項3または4に記載の情報処理装置。
- 前記位置合わせ手段は、フレーム間位置合わせ、画像内の局所領域間の位置合わせ、画像貼り合わせ、異なる種類の画像間の位置合わせ、の少なくとも一つを行うことを特徴とする請求項2乃至5のいずれか1項に記載の情報処理装置。
- 前記位置合わせ手段によって位置合わせされた画像を表示手段に表示させる表示制御手段を更に有することを特徴とする請求項2乃至6のいずれか1項に記載の情報処理装置。
- 前記眼部の複数種類の画像を撮る眼科撮像装置と通信可能に接続され、
前記眼部を略同時に撮像して得た複数種類の画像が取得されることを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。 - 異なる時間に眼部を撮影して得た複数の共焦点画像と前記複数の共焦点画像に時間的に対応する複数の非共焦点画像とを含む複数種類の画像であって、前記眼部を略同時に撮像して得た前記複数種類の画像を撮る眼科撮像装置と通信可能に接続される情報処理装置であって、
前記複数の非共焦点画像の位置ずれを示す情報を、前記複数種類の画像のうちの少なくとも一つの位置ずれを示す情報として取得する情報取得手段を有することを特徴とする情報処理装置。 - 前記取得された位置ずれを示す情報に基づいて、前記眼部を追尾するように前記眼科撮像装置を制御する制御手段を更に有することを特徴とする請求項8または9に記載の情報処理装置。
- 前記眼科撮像装置は、前記複数の共焦点画像と前記複数の非共焦点画像とを取得するための兼用の光源と、前記光源からの光が照射された前記眼部からの戻り光を、共焦点領域を通る戻り光と非共焦点領域を通る戻り光とに分割する光学部材とを有し、
前記共焦点領域を通る戻り光に基づいて、前記複数の共焦点画像を取得し、前記非共焦点領域を通る戻り光に基づいて、前記複数の非共焦点画像が取得されることを特徴とする請求項8乃至10のいずれか1項に記載の情報処理装置。 - 前記共焦点領域を通る戻り光と前記非共焦点領域を通る戻り光とのうち少なくとも一つを受光する受光部の前段に設けられた開口部の位置と形状とのうち少なくとも一つが調整されて得た前記眼部の共焦点画像と非共焦点画像とが取得されることを特徴とする請求項11に記載の情報処理装置。
- 前記眼部における前記複数の共焦点画像の取得位置と前記複数の非共焦点画像の取得位置とが同じであることを特徴とする請求項1乃至12のいずれか1項に記載の情報処理装置。
- 異なる時間に眼部を撮影して得た複数の共焦点画像と前記複数の共焦点画像に時間的に対応する複数の非共焦点画像とを含む複数種類の画像のうちの少なくとも一つの位置ずれを示す情報として、前記複数の非共焦点画像の位置ずれを示す情報を取得する情報取得手段を有し、
前記眼部における前記複数の共焦点画像の取得位置と前記複数の非共焦点画像の取得位置とが同じであることを特徴とする情報処理装置。 - 異なる時間に眼部を撮影して得た複数の共焦点画像と前記複数の共焦点画像に時間的に対応する複数の非共焦点画像とを含む複数種類の画像のうちの少なくとも一つの位置ずれを示す情報を取得するための画像の種類を選択する工程と、
前記選択された種類の画像として前記複数の非共焦点画像が選択された場合に、前記複数の非共焦点画像の位置ずれを示す情報を、前記複数種類の画像のうちの少なくとも一つの位置ずれを示す情報として取得する工程と、
を有することを特徴とする情報処理装置の作動方法。 - 異なる時間に眼部を撮影して得た複数の共焦点画像と前記複数の共焦点画像に時間的に対応する複数の非共焦点画像とを含む複数種類の画像のうちの少なくとも一つの位置合わせされる画像の種類を決定する工程と、
前記複数の非共焦点画像の位置ずれを示す情報を、前記複数種類の画像のうちの少なくとも一つの位置ずれを示す情報として取得する工程と、
前記決定された種類の画像として前記複数の共焦点画像が決定された場合に、前記取得された位置ずれを示す情報に基づいて、前記複数の共焦点画像を位置合わせする工程と、
を有することを特徴とする情報処理装置の作動方法。 - 異なる時間に眼部を撮影して得た複数の共焦点画像と前記複数の共焦点画像に時間的に対応する複数の非共焦点画像とを含む複数種類の画像であって、前記眼部を略同時に撮像して得た前記複数種類の画像を撮る眼科撮像装置と通信可能に接続される情報処理装置の作動方法であって、
前記複数の非共焦点画像の位置ずれを示す情報を、前記複数種類の画像のうちの少なくとも一つの位置ずれを示す情報として取得する工程を有することを特徴とする情報処理装置の作動方法。 - 異なる時間に眼部を撮影して得た複数の共焦点画像と前記複数の共焦点画像に時間的に対応する複数の非共焦点画像とを含む複数種類の画像のうちの少なくとも一つの位置ずれを示す情報として、前記複数の非共焦点画像の位置ずれを示す情報を取得する工程を有し、
前記眼部における前記複数の共焦点画像の取得位置と前記複数の非共焦点画像の取得位置とが同じであることを特徴とする情報処理装置の作動方法。 - 請求項15乃至18のいずれか1項に記載の情報処理装置の作動方法をコンピュータで実行するためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015093541A JP6590513B2 (ja) | 2015-04-30 | 2015-04-30 | 情報処理装置、その作動方法、及びコンピュータプログラム |
US15/138,676 US10674902B2 (en) | 2015-04-30 | 2016-04-26 | Information processing apparatus, operation method thereof, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015093541A JP6590513B2 (ja) | 2015-04-30 | 2015-04-30 | 情報処理装置、その作動方法、及びコンピュータプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016209135A JP2016209135A (ja) | 2016-12-15 |
JP2016209135A5 JP2016209135A5 (ja) | 2018-06-07 |
JP6590513B2 true JP6590513B2 (ja) | 2019-10-16 |
Family
ID=57204378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015093541A Active JP6590513B2 (ja) | 2015-04-30 | 2015-04-30 | 情報処理装置、その作動方法、及びコンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10674902B2 (ja) |
JP (1) | JP6590513B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019154992A (ja) * | 2018-03-16 | 2019-09-19 | 株式会社トプコン | 眼科装置、その制御方法、プログラム、及び記録媒体 |
CN109325942B (zh) * | 2018-09-07 | 2022-03-25 | 电子科技大学 | 基于全卷积神经网络的眼底图像结构分割方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9901365D0 (en) * | 1999-01-22 | 1999-03-10 | Isis Innovations Ltd | Confocal microscopy apparatus and method |
US6341035B1 (en) | 1999-07-09 | 2002-01-22 | Olympus Optical Co., Ltd. | Confocal microscope |
GB2375679A (en) * | 2001-04-09 | 2002-11-20 | Patrick Kerr | Retinal function camera using plural light wavelengths to produce a retinal function image showing haemoglobin oxygenation. |
US7425067B2 (en) | 2003-11-14 | 2008-09-16 | Ophthonix, Inc. | Ophthalmic diagnostic instrument |
US8057039B2 (en) * | 2007-09-29 | 2011-11-15 | Nidek Co., Ltd. | Fundus imaging apparatus |
JP5269396B2 (ja) * | 2007-09-29 | 2013-08-21 | 株式会社ニデック | 眼底撮影装置 |
EP2413778B8 (en) * | 2009-04-01 | 2019-09-25 | Centervue S.P.A. | Instrument for eye examination |
ES2673475T3 (es) * | 2010-09-28 | 2018-06-22 | Sifi S.P.A. | Microscopio confocal corneal (MCC) |
JP5979904B2 (ja) * | 2012-02-20 | 2016-08-31 | キヤノン株式会社 | 画像処理装置、眼科撮影システム、及び画像処理方法 |
JP6224908B2 (ja) * | 2013-04-17 | 2017-11-01 | キヤノン株式会社 | 撮像装置 |
JP6147080B2 (ja) * | 2013-05-14 | 2017-06-14 | オリンパス株式会社 | 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム |
JP6174908B2 (ja) * | 2013-05-27 | 2017-08-02 | キヤノン株式会社 | 情報処理装置、情報処理方法、及び、コンピュータプログラム |
-
2015
- 2015-04-30 JP JP2015093541A patent/JP6590513B2/ja active Active
-
2016
- 2016-04-26 US US15/138,676 patent/US10674902B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10674902B2 (en) | 2020-06-09 |
US20160317014A1 (en) | 2016-11-03 |
JP2016209135A (ja) | 2016-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9320424B2 (en) | Image display apparatus, image display method and imaging system | |
JP6101048B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6438216B2 (ja) | 画像生成装置および画像生成方法 | |
WO2013164943A1 (ja) | 眼科装置 | |
US10791920B2 (en) | Image forming apparatus and image forming method | |
JP6463047B2 (ja) | 眼科装置及び眼科装置の作動方法 | |
JP6463048B2 (ja) | 画像処理装置及び画像処理装置の作動方法 | |
JP2020089768A (ja) | 画像処理装置及び画像処理方法 | |
JP2019201952A (ja) | 撮影装置及びその制御方法 | |
JP2019201951A (ja) | 撮影装置及びその制御方法 | |
JP6590513B2 (ja) | 情報処理装置、その作動方法、及びコンピュータプログラム | |
JP6516597B2 (ja) | 画像処理装置及び画像処理方法 | |
US10383514B2 (en) | Ophthalmologic imaging apparatus, operation method thereof, and computer program | |
JP6468907B2 (ja) | 画像処理装置及び画像処理方法及びプログラム | |
JP6470604B2 (ja) | 画像処理装置及び画像処理方法及びプログラム | |
JP6604743B2 (ja) | 情報処理装置、その作動方法、及びコンピュータプログラム | |
JP6602043B2 (ja) | 情報処理装置、その作動方法、及びコンピュータプログラム | |
JP2019000728A (ja) | 眼底画像処理装置及び眼底画像処理方法、撮影システム | |
JP6420859B2 (ja) | 画像表示装置及び画像表示方法、撮影システム | |
JP6711617B2 (ja) | 画像形成装置、画像形成方法及びそのプログラム | |
JP2018164814A (ja) | 画像処理装置及び画像処理装置の作動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180420 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180420 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190328 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190820 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190917 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6590513 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |