以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。
ただし、以下の実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。
以下の実施例では、被検体として被検眼を例に挙げるが、人の他の臓器等を被検体としてもよい。また、機械学習モデル(機械学習エンジン)に関する学習済モデルを用いて画質向上処理を施す画像として、被検眼のOCTA(OCT Angiography)画像を例に挙げて説明する。なお、OCTAとは、OCTを用いた、造影剤を用いない血管造影法である。OCTAでは、被検体の深さ情報に基づいて取得される三次元のモーションコントラストデータを深度方向に統合し、二次元平面上に投影することでOCTA画像(正面血管画像)を生成する。
ここで、モーションコントラストデータとは、被検体の略同一箇所を繰り返し撮影し、その撮影間における被写体の時間的な変化を検出したデータである。なお、略同一箇所とは、モーションコントラストデータを生成するのに許容できる程度に同一である位置をいい、厳密に同一である箇所から僅かにずれた箇所も含むものをいう。モーションコントラストデータは、例えば、複素OCT信号の位相やベクトル、強度の時間的な変化を差、比率、又は相関等から計算することによって得られる。
ここで、機械学習モデルに関する学習済モデルを用いた画質向上処理に関する注意点を記載する。画像について機械学習モデルに関する学習済モデルを用いて画質向上処理を行うことで、少ない画像から高画質な画像が得られる一方で、現実には存在しない組織を画像上に描出してしまったり、本来存在している組織を消してしまったりすることがある。そのため、学習済モデルを用いた画質向上処理によって高画質化された画像では、画像上に描出された組織の真偽が判断しにくいという問題があった。
そのため、以下の実施例では、機械学習モデルを用いて、従来よりも画像診断に適した画像を生成するとともに、このような画像について、画像上に描出された組織の真偽を容易に判断できる画像処理装置を提供する。
なお、以下の実施例ではOCTA画像について説明するが、画質向上処理を施す画像はこれに限られず、断層画像や輝度のEn-Face画像等であってもよい。ここで、En-Face画像とは、被検体の三次元のデータにおいて、2つの基準面に基づいて定められる所定の深さ範囲内のデータを二次元平面に投影又は積算して生成した正面画像である。En-Face画像には、例えば、輝度の断層画像に基づく輝度のEn-Face画像やモーションコントラストデータに基づくOCTA画像が含まれる。
(実施例1)
以下、図1乃至7を参照して、本発明の実施例1に係る光干渉断層撮像装置(OCT装置)及び画像処理方法について説明する。図1は、本実施例に係るOCT装置の概略構成を示す。
本実施例に係るOCT装置1には、OCT撮影部100、制御部(画像処理装置)200、入力部260、表示部270が設けられている。
OCT撮影部100は、SD-OCT装置の撮影光学系を含み、走査部を介して測定光が照射された被検眼Eからの戻り光と、測定光に対応する参照光とを干渉させた干渉光に基づいて、被検眼Eの断層の情報(断層情報)を含む信号を取得する。OCT撮影部100には、光干渉部110、及び走査光学系150が設けられている。
制御部200は、OCT撮影部100を制御したり、OCT撮影部100や不図示の他の装置から得られた信号から画像を生成したり、生成/取得した画像を処理したりすることができる。表示部270は、LCDディスプレイ等の任意のディスプレイであり、OCT撮影部100及び制御部200を操作するためのGUIや生成した画像、任意の処理を施した画像、及び患者情報等の各種の情報を表示することができる。
入力部260は、GUIを操作したり、情報を入力したりすることで、制御部200を操作するために用いられる。入力部260は、例えば、マウスやタッチパッド、トラックボール、タッチパネルディスプレイ、スタイラスペン等のポインティングデバイス及びキーボード等を含む。なお、タッチパネルディスプレイを用いる場合には、表示部270と入力部260を一体的に構成できる。なお、本実施例では、OCT撮影部100、制御部200、入力部260、及び表示部270は別々の要素とされているが、これらのうちの一部又は全部を一体的に構成してもよい。
OCT撮影部100における光干渉部110には、光源111、カプラ113、コリメート光学系121、分散補償光学系122、反射ミラー123、レンズ131、回折格子132、結像レンズ133、及びラインセンサ134が設けられている。光源111は、近赤外光を発光する低コヒーレンス光源である。光源111から発光した光は、光ファイバ112aを伝搬し、光分岐部であるカプラ113に入射する。カプラ113に入射した光は、走査光学系150側に向かう測定光と、コリメート光学系121、分散補償光学系122、及び反射ミラー123を含む参照光学系側に向かう参照光に分割される。測定光は、光ファイバ112bに入射され、走査光学系150に導かれる。一方、参照光は、光ファイバ112cに入射され、参照光学系へ導かれる。
光ファイバ112cに入射した参照光は、ファイバ端から射出され、コリメート光学系121を介して、分散補償光学系122に入射し、反射ミラー123へと導かれる。反射ミラー123で反射した参照光は、光路を逆にたどり再び光ファイバ112cに入射する。分散補償光学系122は、走査光学系150及び被検体である被検眼Eにおける光学系の分散を補償し、測定光と参照光の分散を合わせるためのものである。反射ミラー123は、制御部200によって制御される不図示の駆動手段により、参照光の光軸方向に駆動可能なように構成されており、参照光の光路長を、測定光の光路長に対して相対的に変化させ、参照光と測定光の光路長を一致させることができる。
一方、光ファイバ112bに入射した測定光はファイバ端より射出され、走査光学系150に入射する。走査光学系150は被検眼Eに対して相対的に移動可能なように構成された光学系である。走査光学系150は、制御部200によって制御される不図示の駆動手段により、被検眼Eの眼軸に対して前後上下左右方向に駆動可能なように構成され、被検眼Eに対してアライメントを行うことができる。なお、走査光学系150は、光源111、カプラ113及び参照光学系等を含むように構成されてもよい。
走査光学系150には、コリメート光学系151、走査部152、及びレンズ153が設けられている。光ファイバ112bのファイバ端より射出した光は、コリメート光学系151により略平行化され、走査部152へ入射する。
走査部152は、ミラー面を回転可能なガルバノミラーを2つ有し、一方は水平方向に光を偏向し、他方は垂直方向に光を偏向する。走査部152は、入射した光を制御部200による制御に従って偏向する。これにより、走査部152は、紙面垂直方向(X方向)の主走査方向と紙面内方向(Y方向)の副走査方向の2方向に、被検眼Eの眼底Er上で測定光を走査することができる。なお、主走査方向と副走査方向は、X方向及びY方向に限られず、被検眼Eの深さ方向(Z方向)に対して垂直な方向であり、主走査方向と副走査方向が互いに交差する方向であればよい。そのため、例えば、主走査方向がY方向であってもよいし、副走査方向がX方向であってもよい。
走査部152により走査された測定光は、レンズ153を経由して被検眼Eの眼底Er上に、照明スポットを形成する。走査部152により面内偏向を受けると、各照明スポットは被検眼Eの眼底Er上を移動(走査)する。この照明スポットの位置における眼底Erから反射・散乱された測定光の戻り光が光路を逆にたどり光ファイバ112bに入射して、カプラ113に戻る。
以上のように、反射ミラー123で反射された参照光、及び被検眼Eの眼底Erからの測定光の戻り光は、カプラ113に戻され、互いに干渉して干渉光となる。干渉光は光ファイバ112dを通過し、レンズ131に射出される。干渉光は、レンズ131により略平行化され、回折格子132に入射する。回折格子132は周期構造を有し、入力した干渉光を分光する。分光された干渉光は、合焦状態を変更可能な結像レンズ133によりラインセンサ134に結像される。ラインセンサ134は、各センサ部に照射される光の強度に応じた信号を制御部200に出力する。制御部200は、ラインセンサ134から出力される干渉信号に基づいて、被検眼Eの断層画像を生成することができる。
上記一連の動作により、被検眼Eの一点における深さ方向の断層情報を取得することができる。このような動作をAスキャンという。
また、走査部152のガルバノミラーを駆動させることで、被検眼Eの隣接する一点の干渉光を発生させ、被検眼Eの隣接する一点における深さ方向の断層情報を取得する。この一連の制御を繰り返すことにより、Aスキャンを任意の横断方向(主走査方向)において複数回行うことで被検眼Eの当該横断方向と深さ方向の二次元の断層情報を取得することができる。このような動作をBスキャンという。制御部200は、Aスキャンによって取得された干渉信号に基づくAスキャン画像を複数集めることで、一つのBスキャン画像を構成することができる。以下、このBスキャン画像のことを、二次元断層画像と呼ぶ。
さらに、走査部152のガルバノミラーを主走査方向に直交する副走査方向に微小に駆動させ、被検眼Eの別の箇所(隣接する走査ライン)における断層情報を取得することができる。制御部200は、この動作を繰り返すことにより、Bスキャン画像を複数集めることで、被検眼Eの所定範囲における三次元断層画像を取得することができる。
次に、図2を参照して制御部200について説明する。図2は制御部200の概略構成を示す。制御部200には、取得部210、画像処理部220、駆動制御部230、記憶部240、及び表示制御部250が設けられている。
取得部210は、OCT撮影部100から、被検眼Eの干渉信号に対応するラインセンサ134の出力信号のデータを取得することができる。なお、取得部210が取得する出力信号のデータは、アナログ信号でもデジタル信号でもよい。取得部210がアナログ信号を取得する場合には、制御部200でアナログ信号をデジタル信号に変換することができる。
また、取得部210は、画像処理部220で生成された断層データや、二次元断層画像、三次元断層画像、モーションコントラスト画像、及びEn-Face画像等の各種画像を取得することができる。ここで、断層データとは、被検体の断層に関する情報を含むデータであり、OCTによる干渉信号にフーリエ変換を施した信号、該信号に任意の処理を施した信号、及びこれらに基づく断層画像等を含むものをいう。
さらに、取得部210は、画像処理すべき画像の撮影条件群(例えば、撮影日時、撮影部位名、撮影領域、撮影画角、撮影方式、画像の解像度や階調、画像の画像サイズ、画像フィルタ、及び画像のデータ形式に関する情報など)を取得する。なお、撮影条件群については、例示したものに限られない。また、撮影条件群は、例示したもの全てを含む必要はなく、これらのうちの一部を含んでもよい。
具体的には、取得部210は、画像を撮影した際のOCT撮影部100の撮影条件を取得する。また、取得部210は、画像のデータ形式に応じて、画像を構成するデータ構造に保存された撮影条件群を取得することもできる。なお、画像のデータ構造に撮影条件が保存されていない場合には、取得部210は、別途撮影条件を保存している記憶装置等から撮影条件群を含む撮影情報群を取得することもできる。
また、取得部210は、被検者識別番号等の被検眼を同定するための情報を入力部260等から取得することもできる。なお、取得部210は、記憶部240や、制御部200に接続される不図示のその他の装置から各種データや各種画像、各種情報を取得してもよい。取得部210は、取得した各種データや画像を記憶部240に記憶させることができる。
画像処理部220は、取得部210で取得されたデータや記憶部240に記憶されたデータから断層画像やEn-Face画像等を生成したり、生成又は取得した画像に画像処理を施したりすることができる。画像処理部220には、断層画像生成部221、モーションコントラスト生成部222、En-Face画像生成部223、及び画質向上部224が設けられている。
断層画像生成部221は、取得部210が取得した干渉信号のデータに対して波数変換やフーリエ変換、絶対値変換(振幅の取得)等を施して断層データを生成し、断層データに基づいて被検眼Eの断層画像を生成することができる。ここで、取得部210で取得される干渉信号のデータは、ラインセンサ134から出力された信号のデータであってもよいし、記憶部240や制御部200に接続された不図示の装置から取得された干渉信号のデータであってもよい。なお、断層画像の生成方法としては公知の任意の方法を採用してよく、詳細な説明は省略する。
また、断層画像生成部221は、生成した複数部位の断層画像に基づいて三次元断層画像を生成することができる。断層画像生成部221は、例えば、複数部位の断層画像を1の座標系に並べて配置することで三次元断層画像を生成することができる。ここで、断層画像生成部221は、記憶部240や制御部200に接続された不図示の装置から取得された複数部位の断層画像に基づいて三次元断層画像を生成してもよい。
モーションコントラスト生成部222は、略同一箇所を撮影して得た複数の断層画像を用いて二次元モーションコントラスト画像を生成することができる。また、モーションコントラスト生成部222は、生成した各部位の二次元モーションコントラスト画像を1の座標系に並べて配置することで三次元モーションコントラスト画像を生成することができる。
本実施例では、モーションコントラスト生成部222は被検眼Eの略同一箇所を撮影して得た複数の断層画像間の脱相関値に基づいてモーションコントラスト画像を生成する。
具体的には、モーションコントラスト生成部222は、撮影時刻が互いに連続する略同一箇所を撮影して得た複数の断層画像について、位置合わせが行われた複数の断層画像を取得する。なお、位置合わせは、種々の公知の方法を使用することができる。例えば、複数の断層画像のうちの1つを基準画像として選択し、基準画像の位置及び角度を変更しながら、その他の断層画像との類似度が算出され、各断層画像の基準画像との位置ずれ量が算出される。算出結果に基づいて各断層画像を補正することで、複数の断層画像の位置合わせが行われる。なお、当該位置合わせの処理は、モーションコントラスト生成部222とは別個の構成要素によって行われてもよい。また、位置合わせの方法はこれに限られず、公知の任意の手法により行われてよい。
モーションコントラスト生成部222は、位置合わせが行われた複数の断層画像のうち撮影時刻が互いに連続する2枚の断層画像ずつについて、以下の数式1により脱相関値を算出する。
ここで、A(x,z)は断層画像Aの位置(x,z)における振幅、B(x,z)は断層画像Bの同一位置(x,z)における振幅を示している。結果として得られる脱相関値M(x,z)は0から1までの値を取り、二つの振幅値の差異が大きいほど1に近い値となる。なお、本実施例では、XZ平面の二次元の断層画像を用いる場合について述べたが、例えばYZ平面等の二次元断層画像を用いてもよい。この場合には、位置(x、z)を位置(y、z)等に置き換えてよい。なお、脱相関値は、断層画像の輝度値に基づいて求められてもよいし、断層画像に対応する干渉信号の値に基づいて求められてもよい。
モーションコントラスト生成部222は、各位置(画素位置)での脱相関値M(x、z)に基づいて、モーションコントラスト画像の画素値を決定し、モーションコントラスト画像を生成する。なお、本実施例では、モーションコントラスト生成部222は、撮影時刻が互いに連続する断層画像について脱相関値を算出したが、モーションコントラストデータの算出方法はこれに限定されない。脱相関値Mを求める2つの断層画像は、互いに対応する各断層画像に関する撮影時間が所定の時間間隔以内であればよく、撮影時間が連続していなくてもよい。そのため、例えば、時間的変化が少ない対象物の抽出を目的として、取得した複数の断層画像から撮影間隔が通常の規定時間より長くなるような2つの断層画像を抽出して脱相関値を算出してもよい。また、脱相関値に代えて、分散値や、最大値を最小値で割った値(最大値/最小値)等を求めてもよい。
なお、モーションコントラスト画像の生成方法は、上述の方法に限られず、公知の他の任意の方法を用いてもよい。
En-Face画像生成部223は、モーションコントラスト生成部222が生成した三次元モーションコントラスト画像から正面画像であるEn-Face画像(OCTA画像)を生成することができる。具体的には、En-Face画像生成部223は、三次元モーションコントラスト画像を、例えば、被検眼Eの深さ方向(Z方向)における2つの任意の基準面に基づいて、二次元平面に投影した正面画像であるOCTA画像を生成することができる。また、En-Face画像生成部223は、断層画像生成部221が生成した三次元断層画像から同様に輝度のEn-Face画像を生成することもできる。
En-Face画像生成部223は、より具体的には、例えば、2つの基準面に囲まれた領域のXY方向の各位置において深さ方向における画素値の代表値を決定し、その代表値に基づいて各位置における画素値を決定して、En-Face画像を生成する。ここで、代表値は、2つの基準面に囲まれた領域の深さ方向の範囲内における画素値の平均値、中央値又は最大値などの値を含む。
なお、基準面は被検眼Eの断層の層境界に沿った面でもよいし、平面であってもよい。以下、En-Face画像を生成するための基準面間の深さ方向の範囲をEn-Face画像の生成範囲という。また、本実施例に係るEn-Face画像の生成方法は一例であり、En-Face画像生成部223は、公知の任意の方法を用いてEn-Face画像を生成してよい。
画質向上部224は、後述する学習済モデルを用いて、En-Face画像生成部223で生成されたOCTA画像に基づく、高画質なOCTA画像を生成する。また、画質向上部224は、断層画像生成部221により生成された断層画像やEn-Face画像生成部223により生成された輝度のEn-Face画像に基づく、高画質な断層画像や高画質な輝度のEn-Face画像を生成してもよい。なお、画質向上部224は、OCT撮影部100を用いて撮影されたOCTA画像等だけでなく、取得部210が、記憶部240や制御部200に接続される不図示のその他の装置から取得した各種画像に基づいて高画質な画像を生成することもできる。さらに、画質向上部224はOCTA画像や断層画像だけでなく、三次元モーションコントラスト画像や三次元断層画像の画質向上処理を行ってもよい。
駆動制御部230は、制御部200に接続されている、OCT撮影部100の光源111や、走査光学系150、走査部152、結像レンズ133等の構成要素の駆動を制御することができる。記憶部240は、取得部210で取得された各種データ、及び画像処理部220で生成・処理された断層画像やOCTA画像等の各種画像やデータ等を記憶することができる。また、記憶部240は、被検者の属性(氏名や年齢など)や他の検査機器を用いて取得した計測結果(眼軸長や眼圧など)などの被検眼に関する情報、撮影パラメータ、画像解析パラメータ、操作者によって設定されたパラメータを記憶することができる。なお、これらの画像及び情報は、不図示の外部記憶装置に記憶する構成にしてもよい。また、記憶部240は、プロセッサーによって実行されることで制御部200の各構成要素の機能を果たすためのプログラム等を記憶することもできる。
表示制御部250は、取得部210で取得された各種情報や画像処理部220で生成・処理された断層画像やOCTA画像、三次元モーションコントラスト画像等の各種画像を表示部270に表示させることができる。また、表示制御部250は、ユーザによって入力された情報等を表示部270に表示させることができる。
制御部200は、例えば汎用のコンピュータを用いて構成されてよい。なお、制御部200は、OCT装置1の専用のコンピュータを用いて構成されてもよい。制御部200は、不図示のCPU(Central Processing Unit)やMPU(Micro Processing Unit)、及び光学ディスクやROM(Read Only Memory)等のメモリを含む記憶媒体を備えている。制御部200の記憶部240以外の各構成要素は、CPUやMPU等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、当該各構成要素は、ASIC等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。記憶部240は、例えば、光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。
なお、制御部200が備えるCPU等のプロセッサー及びROM等の記憶媒体は1つであってもよいし複数であってもよい。そのため、制御部200の各構成要素は、少なくとも1以上のプロセッサーと少なくとも1つの記憶媒体とが接続され、少なくとも1以上のプロセッサーが少なくとも1以上の記憶媒体に記憶されたプログラムを実行した場合に機能するように構成されてもよい。なお、プロセッサーはCPUやMPUに限定されるものではなく、GPU(Graphics Processing Unit)等であってもよい。
次に、図3(a)乃至4を参照して、本実施例に係るディープラーニング等の機械学習アルゴリズムに従った機械学習モデルに関する学習済モデルについて説明する。本実施例に係る学習済モデルは、学習の傾向に従って、入力された画像に基づいて、画質向上処理が行われたような画像を生成して出力する。
本明細書における画質向上処理とは、入力された画像を画像診断により適した画質の画像に変換することをいい、高画質画像とは、画像診断により適した画質の画像に変換された画像をいう。ここで、画像診断に適した画質の内容は、各種の画像診断で何を診断したいのかということに依存する。そのため一概には言えないが、例えば、画像診断に適した画質は、ノイズが少なかったり、高コントラストであったり、撮影対象を観察しやすい色や階調で示していたり、画像サイズが大きかったり、高解像度であったりする画質を含む。また、画像生成の過程で描画されてしまった実際には存在しないオブジェクトやグラデーションが画像から除去されているような画質を含むことができる。
学習済モデルとは、ディープラーニング等の任意の機械学習アルゴリズムに従った機械学習モデルに対して、事前に適切な教師データ(学習データ)を用いてトレーニング(学習)を行ったモデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。教師データは、一つ以上の、入力データと出力データ(正解データ)とのペア群で構成される。本実施例では、入力データ及び出力データのペアを、OCTA画像と、該OCTA画像を含む複数のOCTA画像について加算平均等の重ね合わせ処理が行われたOCTA画像によって構成する。
重ね合わせ処理を行った重ね合わせ画像は、元画像群で共通して描出された画素が強調されるため、画像診断に適した高画質画像になる。この場合には、生成される高画質画像は、共通して描出された画素が強調された結果、低輝度領域と高輝度領域との違いがはっきりした高コントラストな画像になる。また、例えば、重ね合わせ画像では、撮影毎に発生するランダムノイズが低減されたり、ある時点の元画像ではうまく描出されなかった領域が他の元画像群によって補間されたりすることができる。
なお、教師データを構成するペア群のうち、高画質化に寄与しないペアは教師データから取り除くことができる。例えば、教師データのペアを構成する出力データである高画質画像が画像診断に適さない画質である場合には、当該教師データを用いて学習した学習済モデルが出力する画像も画像診断に適さない画質になってしまう可能性がある。そのため、出力データが画像診断に適さない画質であるペアを教師データから取り除くことで、学習済モデルが画像診断に適さない画質の画像を生成する可能性を低減させることができる。
また、ペアである画像群の平均輝度や輝度分布が大きく異なる場合には、当該教師データを用いて学習した学習済モデルが、低画質画像と大きく異なる輝度分布を持つ画像診断に適さない画像を出力する可能性がある。このため、平均輝度や輝度分布が大きく異なる入力データと出力データのペアを教師データから取り除くこともできる。
さらに、ペアである画像群に描画される撮影対象の構造や位置が大きく異なる場合には、当該教師データを用いて学習した学習済モデルが、低画質画像と大きく異なる構造や位置に撮影対象を描画した画像診断に適さない画像を出力する可能性がある。このため、描画される撮影対象の構造や位置が大きく異なる入力データと出力データのペアを教師データから取り除くこともできる。
このように学習を行った学習済モデルを用いることで、画質向上部224は、一回の撮影(検査)で取得されたOCTA画像が入力された場合に、重ね合わせ処理によって高コントラスト化やノイズ低減等が行われたような高画質なOCTA画像を生成できる。このため、画質向上部224は、入力画像である低画質画像に基づいて、画像診断に適した高画質画像を生成することができる。
次に、学習時の画像について説明する。教師データを構成する、OCTA画像301と高画質なOCTA画像302とのペア群を構成する画像群を、位置関係が対応する一定の画像サイズの矩形領域画像によって作成する。当該画像の作成について、図3(a)及び(b)を参照して説明する。
まず、教師データを構成するペア群の1つを、OCTA画像301と高画質なOCTA画像302とした場合について説明する。この場合には、図3(a)に示すように、OCTA画像301の全体を入力データ、高画質なOCTA画像302の全体を出力データとして、ペアを構成する。なお、図3(a)に示す例では各画像の全体により入力データと出力データのペアを構成しているが、ペアはこれに限らない。
例えば、図3(b)に示すように、OCTA画像301のうちの矩形領域画像311を入力データ、OCTA画像302における対応する撮影領域である矩形領域画像321を出力データとして、ペアを構成してもよい。
なお、学習時には、スキャン範囲(撮影画角)、スキャン密度(Aスキャン数、Bスキャン数)を正規化して画像サイズを揃えて、学習時の矩形領域サイズを一定に揃えることができる。また、図3(a)及び(b)に示した矩形領域画像は、それぞれ別々に学習する際の矩形領域サイズの一例である。
また、矩形領域の数は、図3(a)に示す例では1つ、図3(b)に示す例では複数設定可能である。例えば、図3(b)に示す例において、OCTA画像301のうちの矩形領域画像312を入力データ、高画質なOCTA画像302における対応する撮影領域である矩形領域画像322を出力データとしてペアを構成することもできる。このように、1枚ずつのOCTA画像及び高画質なOCTA画像のペアから、互いに異なる矩形領域画像のペアを作成できる。なお、元となるOCTA画像及び高画質なOCTA画像において、領域の位置を異なる座標に変えながら多数の矩形領域画像のペアを作成することで、教師データを構成するペア群を充実させることができる。
なお、図3(b)に示す例では、離散的に矩形領域を示しているが、元となるOCTA画像及び高画質なOCTA画像を、隙間なく連続する一定の画像サイズの矩形領域画像群に分割することができる。また、元となるOCTA画像及び高画質なOCTA画像について、互いに対応する、ランダムな位置の矩形領域画像群に分割してもよい。このように、矩形領域として、より小さな領域の画像を入力データ及び出力データのペアとして選択することで、もともとのペアを構成するOCTA画像301及び高画質なOCTA画像302から多くのペアデータを生成できる。そのため、機械学習モデルのトレーニングにかかる時間を短縮することができる。
次に、本実施例に係る学習済モデルの一例として、入力された断層画像に対して、画質向上処理を行う畳み込みニューラルネットワーク(CNN)に関して、図4を参照して説明する。図4は、画質向上部224が用いる学習済モデルの構成401の一例を示している。
図4に示す学習済モデルは、入力値群を加工して出力する処理を担う複数の層群によって構成される。なお、当該学習済モデルの構成401に含まれる層の種類としては、畳み込み(Convolution)層、ダウンサンプリング(Downsampling)層、アップサンプリング(Upsampling)層、及び合成(Merger)層がある。
畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、フィルタのカーネルサイズの次元数も変更してもよい。
ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。具体的には、このような処理として、例えば、Max Pooling処理がある。
アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。具体的には、このような処理として、例えば、線形補間処理がある。
合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。
なお、図4に示す構成401に含まれる畳み込み層群に設定されるパラメータとして、例えば、フィルタのカーネルサイズを幅3画素、高さ3画素、フィルタの数を64とすることで、一定の精度の画質向上処理が可能である。ただし、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、教師データからトレーニングされた傾向を出力データに再現可能な程度が異なる場合があるので注意が必要である。つまり、多くの場合、実施する際の形態に応じて適切なパラメータは異なるので、必要に応じて好ましい値に変更することができる。
また、上述したようなパラメータを変更するという方法だけでなく、CNNの構成を変更することによって、CNNがより良い特性を得られる場合がある。より良い特性とは、例えば、画質向上処理の精度が高かったり、画質向上処理の時間が短かったり、機械学習モデルのトレーニングにかかる時間が短かったりする等である。
図示しないが、CNNの構成の変更例として、例えば、畳み込み層の後にバッチ正規化(Batch Normalization)層や、正規化線形関数(Rectifier Linear Unit)を用いた活性化層を組み込む等してもよい。
このような機械学習モデルの学習済モデルにデータを入力すると、機械学習モデルの設計に従ったデータが出力される。例えば、教師データを用いてトレーニングされた傾向に従って入力データに対応する可能性の高い出力データが出力される。本実施例に係る学習済モデルでは、OCTA画像301が入力されると、教師データを用いてトレーニングされた傾向に従って、高画質なOCTA画像302を出力する。
なお、画像の領域を分割して学習している場合、学習済モデルは、それぞれの矩形領域に対応する高画質なOCTA画像である矩形領域画像を出力する。この場合、画質向上部224は、まず、入力画像であるOCTA画像301を学習時の画像サイズに基づいて矩形領域画像群に分割し、分割した矩形領域画像群を学習済モデルに入力する。その後、画質向上部224は、学習済モデルから出力された高画質なOCTA画像である矩形領域画像群のそれぞれを、学習済モデルに入力した矩形領域画像群のぞれぞれと同様の位置関係に配置して結合する。これにより、画質向上部224は、入力されたOCTA画像301に対応する、高画質なOCTA画像302を生成することができる。
次に、図5乃至7を参照して、本実施例に係る一連の画像処理について説明する。図5は、本実施例に係る一連の画像処理のフローチャートである。
まず、ステップS501では、取得部210が、被検眼Eを複数回撮影して得た複数の三次元の断層情報を取得する。取得部210は、OCT撮影部100を用いて被検眼Eの断層情報を取得してもよいし、記憶部240や制御部200に接続される他の装置から断層情報を取得してもよい。
ここで、OCT撮影部100を用いて被検眼Eの断層情報を取得する場合について説明する。まず、操作者は、走査光学系150の前に被検者である患者を着座させ、アライメントを行ったり、患者情報等を制御部200に入力したりした後にOCT撮影を開始する。制御部200の駆動制御部230は、走査部152のガルバノミラーを駆動し、被検眼の略同一箇所を複数回走査して被検眼の略同一箇所における複数の断層情報(干渉信号)を取得する。その後、駆動制御部230は、走査部152のガルバノミラーを主走査方向に直交する副走査方向に微小に駆動させ、被検眼Eの別の箇所(隣接する走査ライン)における複数の断層情報を取得する。この制御を繰り返すことにより、取得部210は、被検眼Eの所定範囲における複数の三次元の断層情報を取得する。
次に、ステップS502において、断層画像生成部221は、取得された複数の三次元の断層情報に基づいて、複数の三次元断層画像を生成する。なお、取得部210が、ステップS501において、記憶部240や制御部200に接続される他の装置から複数の三次元断層画像を取得する場合には、ステップS502は省略されてよい。
ステップS503では、モーションコントラスト生成部222が、複数の三次元断層画像に基づいて、三次元モーションコントラストデータ(三次元モーションコントラスト画像)を生成する。なお、モーションコントラスト生成部222は、略同一箇所について取得した3枚以上の断層画像に基づいて複数のモーションコントラストデータを求め、それらの平均値を最終的なモーションコントラストデータとして生成してもよい。なお、取得部210が、ステップS501において、記憶部240や制御部200に接続される他の装置から三次元モーションコントラストデータを取得する場合には、ステップS502及びステップS503は省略されてよい。
ステップS504では、En-Face画像生成部223が、三次元モーションコントラストデータについて、操作者の指示に応じた又は所定のEn-Face画像の生成範囲に基づいて、OCTA画像を生成する。なお、取得部210が、ステップS501において、記憶部240や制御部200に接続される他の装置からOCTA画像を取得する場合には、ステップS502乃至ステップS504は省略されてよい。
ステップS505では、画質向上部224が、学習済モデルを用いて、OCTA画像の画質向上処理を行う。画質向上部224は、OCTA画像を学習済モデルに入力し、学習済モデルからの出力に基づいて高画質なOCTA画像を生成する。なお、学習済モデルが画像の領域を分割して学習している場合には、画質向上部224は、まず、入力画像であるOCTA画像を学習時の画像サイズに基づいて矩形領域画像群に分割し、分割した矩形領域画像群を学習済モデルに入力する。その後、画質向上部224は、学習済モデルから出力された高画質なOCTA画像である矩形領域画像群のそれぞれを、学習済モデルに入力した矩形領域画像群のぞれぞれと同様の位置関係に配置して結合することで、最終的な高画質なOCTA画像を生成する。
ステップS506では、表示制御部250が、表示部270に、画質向上部224によって生成された高画質なOCTA画像(第2の画像)を元のOCTA画像(第1の画像)と切り替えて表示させる。上述のように、機械学習モデルを用いた画質向上処理では、現実には存在しない血管をOCTA画像上に描出してしまったり、本来存在している血管を消してしまったりすることがある。これに対し、表示制御部250は、表示部270に、生成された高画質なOCTA画像を元のOCTA画像と切り替えて表示させることで、画質向上処理によって新たに生成された血管か、元の画像にも存在していた血管かの判断を容易にすることができる。表示制御部250による表示処理が終了すると、一連の画像処理が終了する。
次に、図6(a)乃至7を参照して、制御部200の操作方法について説明する。図6(a)及び(b)は、画質向上処理前後の画像を切り替えて表示するレポート画面の一例を示す。図6(a)に示すレポート画面600には、断層画像611と画質向上処理前のOCTA画像601が示されている。図6(b)に示すレポート画面600には、断層画像611と画質向上処理後のOCTA画像602(高画質なOCTA画像)が示されている。
図6(a)に示すレポート画面600において、操作者が入力部260の一例であるマウスを用い、OCTA画像601上でマウスの右ボタンを押下すると、画質向上処理を行うか否かを選択するポップアップメニュー620が表示される。操作者がポップアップメニュー620上で画質向上処理を行うことを選択すると、画質向上部224はOCTA画像601に対する画質向上処理を実行する。
そして、図6(b)に示すように、表示制御部250は、レポート画面600に表示された画質向上処理を行う前のOCTA画像601を、画質向上処理を行った後のOCTA画像602に切り替えて表示させる。なお、OCTA画像602上でマウスの右ボタンを再度押下することでポップアップメニュー620を開き、画質向上処理を行う前のOCTA画像601に切り替えて表示させることもできる。
なお、マウスの右ボタンの押下に応じて表示されるポップアップメニュー620によって画質向上処理前後の画像の切替表示を行う例を示したが、画像の切替方法はポップアップメニュー以外の任意の方法で行ってもよい。例えば、レポート画面上に配置されたボタン(例えば、図18や図20のボタン3420)、プルダウンメニュー、ラジオボタン、チェックボックス、又はキーボード操作などで画像の切替を行ってもよい。さらに、マウスホイールの操作やタッチパネルディスプレイのタッチ操作によって画像を切替表示してもよい。
操作者は上記方法により、画質向上処理を行う前のOCTA画像601と、画質向上処理を行った後のOCTA画像602を任意に切替表示することができる。そのため、操作者は、画質向上処理の前後のOCTA画像を容易に見比べることができ、画質向上処理によるOCTA画像の変化を容易に確認することができる。従って、操作者は、画質向上処理によってOCTA画像に現実には存在しない血管が描出されてしまったり、本来存在している血管が消えてしまったりしても容易に識別することができ、画像上に描出された組織の真偽を容易に判断することができる。
なお、上述の表示方法では、画質向上処理前後の画像を切り替えて表示したが、これらの画像を並べて表示したり、重ねて表示したりすることでも、同様の効果を奏することができる。図7は、画質向上処理前後の画像を並べて表示する場合のレポート画面の一例を示す。図7に示すレポート画面700には、画質向上処理前のOCTA画像701と画質向上処理後のOCTA画像702が並べて表示されている。
この場合でも、操作者は、画質向上処理前後の画像を容易に見比べることができ、画質向上処理による画像の変化を容易に確認することができる。そのため、操作者は画質向上処理によってOCTA画像に現実には存在しない血管が描出されてしまったり、本来存在している血管が消えてしまったりしても容易に識別することができ、画像上に描出された組織の真偽を容易に判断することができる。なお、画質向上処理前後の画像を重ねて表示する場合には、表示制御部250は、画質向上処理前後の画像の少なくとも一方について、透明度を設定し、表示部270に画質向上処理前後の画像を重ねて表示させることができる。
また、上述のように、画質向上部224は、OCTA画像だけでなく、断層画像や輝度のEn-Face画像について学習済モデルを用いた画質向上処理を行ってもよい。この場合には、学習済モデルの教師データのペアとして、重ね合わせ前の断層画像や輝度のEn-Face画像を入力データとし、重ね合わせ後の断層画像や輝度のEn-Face画像を出力データとしたペアを用いることができる。なお、この場合、学習済モデルは、OCTA画像や断層画像等の教師データを用いて学習を行った1つの学習済モデルとしてもよいし、画像の種類毎に学習を行った複数の学習済モデルとしてもよい。複数の学習済モデルを用いる場合には、画質向上部224は、画質向上処理を行う対象である画像の種類に応じた学習済モデルを用いることができる。なお、画質向上部224は、三次元モーションコントラスト画像や三次元断層画像について学習済モデルを用いた画質向上処理を行ってもよく、この場合の学習データも上述と同様に用意することができる。
図7には、画質向上処理前の断層画像711と、画質向上処理後の断層画像712が並べて表示されている。なお、表示制御部250は、図6(a)及び(b)に示す画質向上処理前後のOCTA画像のように、画質向上処理前後の断層画像や輝度のEn-Face画像を切り替えて、表示部270に表示させてもよい。また、表示制御部250は、画質向上処理前後の断層画像や輝度のEn-Face画像を重ねて表示部270に表示させてもよい。これらの場合でも、操作者は、画質向上処理の前後の画像を容易に見比べることができ、画質向上処理による画像の変化を容易に確認することができる。そのため操作者は、画質向上処理によって画像に現実には存在しない組織が描出されてしまったり、本来存在している組織が消えてしまったりしても容易に識別することができ、画像上に描出された組織の真偽を容易に判断することができる。
上記のように、本実施例に係る制御部200は、画質向上部224と表示制御部250を備える。画質向上部224は、学習済モデルを用いて、被検眼の第1の画像から、該第1の画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされた第2の画像を生成する。表示制御部250は、表示部270に第1の画像と第2の画像とを切り替えて、並べて、又は重ねて表示させる。なお、表示制御部250は、操作者からの指示に応じて、第1の画像及び第2の画像を切り替えて、表示部270に表示させることができる。
これにより、制御部200は、元の画像から、ノイズが低減されていたり、コントラストが強調されていたりする高画質な画像を生成することができる。このため、制御部200は、より明瞭な画像や観察したい部位や病変が強調されている画像等の、従来よりも画像診断に適した画像を生成することができる。
また、操作者は、画質向上処理の前後の画像を容易に見比べることができ、画質向上処理による画像の変化を容易に確認することができる。そのため操作者は、画質向上処理によって画像に現実には存在しない組織が描出されてしまったり、本来存在している組織が消えてしまったりしても容易に識別することができ、画像上に描出された組織の真偽を容易に判断することができる。
本実施例に係る学習済モデルでは、教師データの出力データとして、重ね合わせ画像を用いたが、教師データはこれに限られない。例えば、教師データの出力データとして、元画像群に対して最大事後確率推定処理(MAP推定処理)を行うことで得られる高画質画像を用いてもよい。MAP推定処理では、複数の画像における各画素値の確率密度から尤度関数を求め、求めた尤度関数を用いて真の信号値(画素値)を推定する。
MAP推定処理により得られた高画質画像は、真の信号値に近い画素値に基づいて高コントラストな画像となる。また、推定される信号値は、確率密度に基づいて求められるため、MAP推定処理により得られた高画質画像では、ランダムに発生するノイズが低減される。このため、MAP推定処理により得られた高画質画像を教師データとして用いることで、学習済モデルは、入力画像から、ノイズが低減されたり、高コントラストとなったりした、画像診断に適した高画質画像を生成することができる。なお、教師データの入力データと出力データのペアの生成方法は、重ね合わせ画像を教師データとした場合と同様の方法で行われてよい。
また、教師データの出力データとして、元画像に平滑化フィルタ処理を適用した高画質画像を用いてもよい。この場合には、学習済モデルは、入力画像から、ランダムノイズが低減された高画質画像を生成することができる。さらに、教師データの出力データとして、元画像に階調変換処理を適用した画像を用いてもよい。この場合には、学習済モデルは、入力画像から、コントラスト強調された高画質画像を生成することができる。なお、教師データの入力データと出力データのペアの生成方法は、重ね合わせ画像を教師データとした場合と同様の方法で行われてよい。
なお、教師データの入力データは、OCT撮影部100と同じ画質傾向を持つ撮影装置から取得された画像でもよい。また、教師データの出力データは、逐次近似法等の高コストな処理によって得られた高画質画像であってもよいし、入力データに対応する被検体を、OCT撮影部100よりも高性能な撮影装置で撮影することで取得した高画質画像であってもよい。さらに、出力データは、被検体の構造等に基づくルールベースによるノイズ低減処理を行うことによって取得された高画質画像であってもよい。ここで、ノイズ低減処理は、例えば、低輝度領域内に現れた明らかにノイズである1画素のみの高輝度画素を、近傍の低輝度画素値の平均値に置き換える等の処理を含むことができる。このため、学習済モデルは、入力画像の撮影に用いられる撮影装置よりも高性能な撮影装置によって撮影された画像、又は入力画像の撮影工程よりも工数の多い撮影工程で取得された画像を教師データとしてもよい。
なお、画質向上部224が、学習済モデルを用いて、ノイズが低減されていたり、コントラストが強調されていたりする高画質な画像を生成することについて述べたが、画質向上部224による画質向上処理はこれに限られない。画質向上部224は、画質向上処理により、上述のように、画像診断により適した画質の画像を生成できればよい。
また、表示制御部250は、表示部270に画質向上処理前後の画像を並べて表示させる場合、操作者からの指示に応じて、表示部270に並べて表示されている画質向上処理前後の画像のいずれかを拡大表示させてもよい。より具体的には、例えば、図7に示すレポート画面700において、操作者がOCTA画像701を選択したら、表示制御部250は、レポート画面700においてOCTA画像701を拡大表示させることができる。また、操作者が画質向上処理後のOCTA画像702を選択したら、表示制御部250は、レポート画面700においてOCTA画像702を拡大表示させることができる。この場合には、操作者は画質向上処理前後の画像のうち観察したい画像をより詳細に観察することができる。
さらに、制御部200は、操作者の指示に応じてOCTA画像等のEn-Face画像の生成範囲が変更された場合、並べて表示されている画像を、変更された生成範囲に基づく画像及び高画質化した画像に変更して表示してもよい。より具体的には、操作者が入力部260を介して、En-Face画像の生成範囲を変更すると、En-Face画像生成部223が変更された生成範囲に基づいて、画質向上処理前のEn-Face画像を生成する。画質向上部224は、学習済モデルを用いて、En-Face画像生成部223によって新たに生成されたEn-Face画像から、高画質なEn-Face画像を生成する。その後、表示制御部250は、表示部270に並べて表示されている画質向上処理前後のEn-Face画像を、新たに生成された画質向上処理前後のEn-Face画像に変更して表示させる。このような場合には、操作者が観察したい深さ方向の範囲を任意に変更しながら、変更された深さ方向の範囲に基づく画質向上処理前後のEn-Face画像を観察することができる。
(変形例1)
上述のように、学習済モデルを用いて画質向上処理を行った画像では、現実には存在しない組織が描出されてしまったり、本来存在している組織が消えてしまったりする。そのため、当該画像に基づいて操作者が画像診断を行うことにより誤診断が生じてしまう場合がある。そこで、表示制御部250は、画質向上処理後のOCTA画像や断層画像等を表示部270に表示させる際に、当該画像が学習済モデルを用いて画質向上処理を行った画像である旨をともに表示させてもよい。この場合には、操作者による誤診断の発生を抑制することができる。なお、学習済モデルを用いて取得した高画質画像である旨が理解できる態様であれば、表示の態様については任意であってよい。
(変形例2)
実施例1では一回の撮影(検査)で得られたOCTA画像や断層画像等に対して画質向上処理を適用する例について述べた。これに対し、複数回の撮影(検査)で得られた複数のOCTA画像や断層画像等に対して、学習済モデルを用いた画質向上処理を適用することもできる。変形例2では、図8(a)及び(b)を参照して、複数のOCTA画像や断層画像等に対して、学習済モデルを用いた画質向上処理を適用した画像を同時に表示させる構成について説明する。
図8(a)及び(b)は、同一被検眼を経時的に複数回撮影することによって取得された複数のOCTA画像を表示するための時系列レポート画面の一例を示す。図8(a)に示すレポート画面800では、画質向上処理を行う前の複数のOCTA画像801が時系列に並んで表示されている。また、レポート画面800にはポップアップメニュー820も含まれており、操作者は、入力部260を介してポップアップメニュー820を操作することで、画質向上処理の適用有無を選択することが可能である。
操作者が画質向上処理の適用を選択すると、画質向上部224は表示されている全てのOCTA画像に対して、学習済モデルを用いた画質向上処理を適用する。そして、表示制御部250は、図8(b)に示すように、画質向上処理を行った後の複数のOCTA画像802を、表示されていた複数のOCTA画像801と切り替えて表示する。
また、操作者が、ポップアップメニュー820にて画質向上処理を適用しないことを選択すると、表示制御部250は、画質向上処理前の複数のOCTA画像801を、表示されていた画質向上処理後の複数のOCTA画像802と切り替えて表示する。
なお、本変形例では、学習済モデルを用いた画質向上処理前後の複数のOCTA画像について同時に切り替えて表示する例を示した。しかしながら、学習済モデルを用いた画質向上処理前後の複数の断層画像や輝度のEn-Face画像等を同時に切り替えて表示してもよい。なお、操作方法はポップアップメニュー820を用いる方法に限られず、レポート画面上に配置されたボタンやプルダウンメニュー、ラジオボタン、チェックボックス、又はキーボードやマウスホイール、タッチパネルの操作等の任意の操作方法を採用してよい。
(実施例2)
学習済モデルは、学習の傾向に従って入力データに対応する可能性の高い出力データを出力する。これに関連して、学習済モデルは、画質の傾向が似た画像群を教師データとして学習を行うと、当該似た傾向の画像に対して、より効果的に高画質化した画像を出力することができる。そこで、実施例2では、撮影部位等の撮影条件やEn-Face画像の生成範囲毎にグルーピングされたペア群で構成された教師データを用いて学習した複数の学習済モデルによって画質向上処理を行うことで、より効果的に画質向上処理を行う。
以下、図9及び10を参照して本実施例に係るOCT装置について説明する。なお、本実施例に係るOCT装置の構成は、制御部を除いて実施例1に係るOCT装置1と同様であるため、図1に示す構成と同様の構成については、同一の参照符号を用いて示し、説明を省略する。以下、実施例1に係るOCT装置1との違いを中心に、本実施例に係るOCT装置について説明する。
図9は、本実施例に係る制御部900の概略構成を示す。なお、本実施例に係る制御部900における画像処理部920及び選択部925以外の構成は実施例1に係る制御部200の各構成と同様である。そのため、図2に示す構成と同様の構成については、同一の参照符号を用いて示し説明を省略する。
制御部900の画像処理部920には、断層画像生成部221、モーションコントラスト生成部222、En-Face画像生成部223、及び画質向上部224に加えて、選択部925が設けられている。
選択部925は、画質向上部224によって画質向上処理を行うべき画像の撮影条件やEn-Face画像の生成範囲に基づいて、複数の学習済モデルのうち、画質向上部224が用いるべき学習済モデルを選択する。画質向上部224は、選択部925によって選択された学習済モデルを用いて、対象となるOCTA画像や断層画像等に画質向上処理を行い、高画質なOCTA画像や高画質な断層画像を生成する。
次に、本実施例に係る複数の学習済モデルについて説明する。上述のように、学習済モデルは、学習の傾向に従って入力データに対応する可能性の高い出力データを出力する。これに関連して、学習済モデルは、画質の傾向が似た画像群を教師データとして学習を行うと、当該似た傾向の画像に対して、より効果的に高画質化した画像を出力することができる。そこで、本実施例では、撮影部位、撮影方式、撮影領域、撮影画角、スキャン密度、及び画像の解像度等を含む撮影条件やEn-Face画像の生成範囲毎にグルーピングされたペア群で構成された教師データを用いて学習した複数の学習済モデルを用意する。
より具体的には、例えば、黄斑部を撮影部位としたOCTA画像を教師データとした学習済モデル、及び乳頭部を撮影部位としたOCTA画像を教師データとした学習済モデル等の複数の学習済モデルを用意する。なお、黄斑部や乳頭部は撮影部位の一例であり、他の撮影部位を含んでもよい。また、黄斑部や乳頭部等の撮影部位における特定の撮影領域毎のOCTA画像を教師データとした学習済モデルを用意してもよい。
また、例えば、網膜を広画角・低密度で撮影した場合と、網膜を狭画角・高密度で撮影した場合とでは、OCTA画像に描出される血管等の構造物の描出が大きく異なる。そのため、撮影画角やスキャン密度に応じた教師データ毎に学習を行った学習済モデルを用意してもよい。さらに、撮影方式の例としては、SD-OCTとSS-OCT等の撮影方式があり、これらの撮影方式の違いにより、画質、撮影範囲、及び深さ方向の深達度等が異なる。このため、撮影方式に応じた教師データ毎に学習を行った学習済モデルを用意してもよい。
また、通常、網膜の全ての層の血管を一度に抽出したOCTA画像を生成することは稀であり、所定の深度範囲に存在する血管のみを抽出したOCTA画像を生成することが一般的である。例えば、網膜の浅層、深層、外層、及び脈絡膜浅層等の深度範囲において、それぞれの深度範囲で血管を抽出したOCTA画像を生成する。一方、OCTA画像に描出される血管の態様は、深度範囲に応じて大きく異なる。例えば、網膜の浅層で描出される血管は低密度で細く明瞭な血管網を形成するのに対し、脈絡膜浅層で描出される血管は高密度で一本一本の血管を明瞭に識別することは困難である。このため、OCTA画像等のEn-Face画像の生成範囲に応じた教師データ毎に学習を行った学習済モデルを用意してもよい。
ここではOCTA画像を教師データとする例について述べたが、実施例1と同様に、断層画像や輝度のEn-Face画像等について画質向上処理を行う場合には、これらの画像を教師データとすることができる。この場合には、これら画像の撮影条件やEn-Face画像の生成範囲に応じた教師データ毎に学習を行った複数の学習済モデルを用意する。
次に、図10を参照して、本実施例に係る一連の画像処理について説明する。図10は、本実施例に係る一連の画像処理のフローチャートである。なお、実施例1に係る一連の画像処理と同様の処理に関しては、適宜説明を省略する。
まず、ステップS1001において、実施例1に係るステップS501と同様に、取得部210は、被検眼Eを複数回撮影して得た複数の三次元の断層情報を取得する。取得部210は、OCT撮影部100を用いて被検眼Eの断層情報を取得してもよいし、記憶部240や制御部200に接続される他の装置から断層情報を取得してもよい。
また、取得部210は、断層情報に関する撮影条件群を取得する。具体的には、取得部210は、断層情報に関する撮影を行った際の撮影部位や撮影方式等の撮影条件を取得することができる。なお、取得部210は、断層情報のデータ形式に応じて、断層情報のデータを構成するデータ構造に保存された撮影条件群を取得してもよい。また、断層情報のデータ構造に撮影条件が保存されていない場合には、取得部210は、撮影条件を記載したファイルを記憶したサーバやデータベース等から撮影情報群を取得することができる。また、公知の任意の方法により、取得部210は、断層情報に基づく画像から撮影情報群を推定してもよい。
また、取得部210が、複数の三次元断層画像や三次元モーションコントラストデータ、OCTA画像等を取得する場合には、取得部210は取得した画像やデータに関する撮影条件群を取得する。なお、OCTA画像や輝度のEn-Face画像の生成範囲に応じた教師データ毎に学習を行った複数の学習済モデルのみを画質向上処理に用いる場合には、取得部210は断層画像の撮影条件群を取得しなくてもよい。
ステップS1002乃至ステップS1004は、実施例1に係るステップS502乃至S504と同様であるため説明を省略する。ステップS1004において、En-Face画像生成部223がOCTA画像を生成すると、処理はステップS1005に移行する。
ステップS1005では、選択部925が、生成されたOCTA画像に関する撮影条件群や生成範囲及び複数の学習済モデルに関する教師データの情報に基づいて、画質向上部224が用いるべき学習済モデルを選択する。より具体的には、例えば、選択部925は、OCTA画像の撮影部位が乳頭部である場合には、乳頭部のOCTA画像を教師データとして学習を行った学習済モデルを選択する。また、例えば、選択部925は、OCTA画像の生成範囲が網膜の浅層である場合には、網膜の浅層を生成範囲としたOCTA画像を教師データとして学習を行った学習済モデルを選択する。
なお、選択部925は、生成されたOCTA画像に関する撮影条件群や生成範囲と学習済モデルの教師データの情報が完全には一致していなくても、画質が似た傾向の画像を教師データとして学習を行った学習済モデルを選択してもよい。この場合には、例えば、選択部925は、OCTA画像に関する撮影条件群や生成範囲と、用いるべき学習済モデルとの対応関係を記載したテーブルを備えてもよい。
ステップS1006では、画質向上部224が、選択部925によって選択された学習済モデルを用いて、ステップS1004で生成されたOCTA画像について画質向上処理を行い、高画質なOCTA画像を生成する。高画質なOCTA画像の生成方法は、実施例1に係るステップS505と同様であるため説明を省略する。
ステップS1007は、実施例1に係るステップS506と同様であるため説明を省略する。ステップS1007において、高画質なOCTA画像が表示部270に表示されると、本実施例に係る一連の画像処理が終了する。
上記のように、本実施例に係る制御部900は、複数の学習済モデルから、画質向上部224によって用いられる学習済モデルを選択する選択部925を備える。選択部925は、画質向上処理を行うべきOCTA画像を生成するための深さ方向の範囲に基づいて、画質向上部224によって用いられる学習済モデルを選択する。
例えば、選択部925は、画質向上処理をすべきOCTA画像における表示部位及び当該OCTA画像を生成するための深さ方向の範囲に基づいて、学習済モデルを選択することができる。また、例えば、選択部925は、画質向上処理を行うべきOCTA画像における表示部位を含む撮影部位及び当該OCTA画像を生成するための深さ方向の範囲に基づいて、画質向上部224によって用いられる学習済モデルを選択してもよい。さらに、例えば、選択部925は、画質向上処理を行うべきOCTA画像の撮影条件に基づいて、画質向上部224によって用いられる学習済モデルを選択してもよい。
このため、制御部900は、撮影条件やEn-Face画像の生成範囲毎にグルーピングされたペア群で構成された教師データを用いて学習した複数の学習済モデルによって画質向上処理を行うことで、より効果的に画質向上処理を行うことができる。
なお、本実施例では、選択部925が、OCTA画像に関する撮影部位等の撮影条件又は生成範囲に基づいて、学習済モデルを選択する例を説明したが、上記以外の条件に基づいて学習済モデルを変更するようにしてもよい。選択部925は、例えば、OCTA画像や輝度のEn-Face画像を生成する際の投影方法(最大値投影法又は平均値投映法)や、血管影によって生じるアーチファクトの除去処理の有無に応じて、学習済モデルを選択してもよい。この場合には、投影方法やアーチファクト除去処理の有無に応じた教師データ毎に学習を行った学習済モデルを用意することができる。
(変形例3)
実施例2では、選択部925が、撮影条件やEn-Face画像の生成範囲等に応じて適切な学習済モデルを自動的に選択した。これに対し、操作者が画像に適用する画質向上処理を手動で選択することを望む場合もある。そのため、選択部925は、操作者の指示に応じて、学習済モデルを選択してもよい。
また、操作者が、画像に対して適用された画質向上処理を変更することを望む場合もある。そのため、選択部925は、操作者の指示に応じて、学習済モデルを変更し、画像に対して適用される画質向上処理を変更してもよい。
以下、図11(a)及び(b)を参照して、画像に対して適用される画質向上処理を手動で変更する際の操作方法について説明する。図11(a)及び(b)は、画質向上処理前後の画像を切り替えて表示するレポート画面の一例を示す。図11(a)に示すレポート画面1100には、断層画像1111と自動選択された学習済モデルを用いた画質向上処理が適用されたOCTA画像1101が示されている。図11(b)に示すレポート画面1100には、断層画像1111と操作者の指示に応じた学習済モデルを用いた画質向上処理が適用されたOCTA画像1102が示されている。また、図11(a)及び(b)に示すレポート画面1100には、OCTA画像に適用する画質向上処理を変更するための処理指定部1120が示されている。
ここで、図11(a)に示すレポート画面1100に表示されているOCTA画像1101は、黄斑部の深層血管(Deep Capillary)を描出したものである。一方で、選択部925によって自動選択された学習済モデルを用いてOCTA画像に適用された画質向上処理は、乳頭部の浅層血管(RPC)に適したものである。そのため、図11(a)に示すレポート画面1100に表示されているOCTA画像1101に関して、OCTA画像に適用されている画質向上処理は、OCTA画像に抽出されている血管に対して最適なものではない。
そこで、操作者は、入力部260を介して処理指定部1120にて、Deep Capillaryを選択する。選択部925は、操作者による選択指示に応じて、画質向上部224によって用いられる学習済モデルを、黄斑部の深層血管に関するOCTA画像を教師データとして学習を行った学習済モデルに変更する。
画質向上部224は、選択部925によって変更された学習済モデルを用いてOCTA画像について画質向上処理を再度行う。表示制御部250は、図11(b)に示すように、画質向上部224によって改めて生成された高画質なOCTA画像1102を表示部270に表示させる。
このように、選択部925が、操作者の指示に応じて、学習済モデルを変更するように構成することで、操作者は同じOCTA画像に対して適切な画質向上処理を指定し直すことができる。また、当該画質向上処理の指定は何度も行われてもよい。
ここでは、OCTA画像に対して適用される画質向上処理を手動で変更することができるように、制御部900を構成する例を示した。これに対して、制御部900は、断層画像や輝度のEn-Face画像等に対して適用される画質向上処理を手動で変更可能なように構成されてもよい。
また、図11(a)及び(b)に示すレポート画面は、画質向上処理前後の画像を切り替えて表示する態様を有するが、画質向上処理前後の画像を並べて表示したり、重ねて表示したりする態様のレポート画面としてもよい。さらに、処理指定部1120の態様は、図11(a)及び(b)に示す態様に限られず、画質向上処理又は学習済モデルを指示できる任意の態様であってよい。また、図11(a)及び(b)に示す画質向上処理の種類は一例であり、学習済モデルについての教師データに応じた他の画質向上処理の種類を含んでよい。
また、変形例2と同様に、画質向上処理が適用された複数の画像を同時に表示させてもよい。また、この際に、どの画質向上処理を適用するかの指定を行うことができるように構成することもできる。この場合の、レポート画面の一例を図12(a)及び(b)に示す。
図12(a)及び(b)は、画質向上処理前後の複数の画像を切り替えて表示するレポート画面の一例を示す。図12(a)に示すレポート画面1200には、画質向上処理前のOCTA画像1201が示されている。図12(b)に示すレポート画面1200には、操作者の指示に応じた画質向上処理が適用されたOCTA画像1202が示されている。また、図12(a)及び(b)に示すレポート画面1200には、OCTA画像に適用する画質向上処理を変更するための処理指定部1220が示されている。
この場合には、選択部925は、処理指定部1220を用いて指示された画質向上処理に応じた学習済モデルを、画質向上部224が用いる学習済モデルとして選択する。画質向上部224は、選択部925により選択された学習済モデルを用いて、複数のOCTA画像1201に対して画質向上処理を行う。表示制御部250は、生成された高画質な複数のOCTA画像1202を、図12(b)に示すようにレポート画面1200に一度に表示させる。
なお、OCTA画像についての画質向上処理について説明したが、断層画像や輝度のEn-Face画像等についての画質向上処理に関して、操作者の指示に応じて、学習済モデルを選択・変更してもよい。なお、レポート画面に画質向上処理前後の複数の画像を並べて表示したり、重ねて表示したりしてもよい。この場合にも、操作者からの指示に応じた画質向上処理が適用された複数の画像を一度に表示することができる。
(実施例3)
実施例1及び2では、画質向上部224は、断層画像やOCTA画像を撮影した後、自動的に画質向上処理を実行した。しかしながら、画質向上部224が実行する学習済モデルを用いた画質向上処理は、処理に長時間を要する場合がある。また、モーションコントラスト生成部222によるモーションコントラストデータの生成及びEn-Face画像生成部223によるOCTA画像の生成にも時間を要する。そのため、撮影後に画質向上処理が完了するのを待ってから画像を表示する場合には、撮影から表示までに長時間を要する場合がある。
これに対し、OCT装置を用いた被検眼の撮影では、まばたきや被検眼の意図しない移動等により、撮影が失敗することがある。そのため、撮影の成否を早い段階で確認することで、OCT装置の利便性を高めることができる。そこで、実施例3では、高画質なOCTA画像の生成や表示に先立って、被検眼を撮影して得た断層情報に基づく輝度のEn-Face画像やOCTA画像を表示することにより、早い段階で撮影画像の確認が行えるようにOCT装置を構成する。
以下、図13を参照して本実施例に係るOCT装置について説明する。なお、本実施例に係るOCT装置の構成は、実施例1に係るOCT装置1と同様であるため、同一の参照符号を用いて示し、説明を省略する。以下、実施例1に係るOCT装置1との違いを中心に、本実施例に係るOCT装置について説明する。
図13は、本実施例に係る一連の画像処理のフローチャートである。まず、ステップS1301では、取得部210は、OCT撮影部100により、被検眼Eを撮影して複数の三次元の断層情報を取得する。
ステップS1302は、実施例1に係るステップS502と同様であるため説明を省略する。ステップS1302において三次元断層画像が生成されると、処理はステップS1303に移行する。
ステップS1303では、En-Face画像生成部223が、ステップS1302において生成された三次元断層画像を二次元平面上に投影することで、眼底の正面画像(輝度のEn-Face画像)を生成する。その後、ステップS1304において、表示制御部250が、生成された輝度のEn-Face画像を表示部270に表示させる。
ステップS1305及びステップS1306は、実施例1に係るステップS503及びS504と同様であるため説明を省略する。ステップS1306においてOCTA画像が生成されると処理はステップS1307に移行する。ステップS1307では、表示制御部250が、ステップS1306で生成された画質向上処理前のOCTA画像を輝度のEn-Face画像と切り替えて表示部270に表示させる。
ステップS1308では、実施例1に係るステップS505と同様に、画質向上部224が、ステップS1306で生成されたOCTA画像に対して、学習済モデルを用いて画質向上処理を行い、高画質なOCTA画像を生成する。ステップS1309では、表示制御部250が、生成された高画質なOCTA画像を画質向上処理前のOCTA画像と切り替えて表示部270に表示させる。
上記のように、本実施例に係る表示制御部250は、取得部210によるOCTA画像の取得前に、被検眼の深さ方向における断層データに基づいて生成された正面画像である輝度のEn-Face画像(第3の画像)を表示部270に表示させる。また、表示制御部250は、OCTA画像の取得直後に、表示されている輝度のEn-Face画像をOCTA画像に切り替えて表示部270に表示させる。さらに、表示制御部250は、画質向上部224によって高画質なOCTA画像が生成された後に、表示されているOCTA画像を高画質なOCTA画像に切り替えて表示部270に表示させる。
これにより、操作者は撮影後ただちに被検眼の正面画像を確認することができ、撮影の成否をすぐに判断することができる。また、OCTA画像が生成された直後にOCTA画像が表示されるため、操作者は、モーションコントラストデータを生成するための複数の三次元の断層情報が適切に取得されているか否かを早い段階で判断することができる。
なお、断層画像や輝度のEn-Face画像等についても、画質向上処理を行う前の断層画像や輝度のEn-Face画像等を表示することで、操作者は早い段階で撮影の成否を判断することができる。
本実施例では、輝度のEn-Face画像の表示処理(ステップS1304)後にモーションコントラストデータの生成処理(ステップS1305)が開始されているが、モーションコントラストデータの生成処理のタイミングはこれに限られない。モーションコントラスト生成部222は、例えば、輝度のEn-Face画像の生成処理(ステップS1303)や表示処理(ステップS1304)と並行して、モーションコントラストデータの生成処理を開始してもよい。同様に、画質向上部224は、OCTA画像の表示処理(ステップS1307)と並行して、画質向上処理(ステップS1308)を開始してもよい。
(実施例4)
実施例1では、画質向上処理前後のOCTA画像を切り替えて表示する例について述べた。これに対し、実施例4では、画質向上処理前後の画像の比較を行う。
以下、図14及び15を参照して本実施例に係るOCT装置について説明する。なお、本実施例に係るOCT装置の構成は、制御部を除いて実施例1に係るOCT装置1と同様であるため、図1に示す構成と同様の構成については、同一の参照符号を用いて示し、説明を省略する。以下、実施例1に係るOCT装置1との違いを中心に、本実施例に係るOCT装置について説明する。
図14は、本実施例に係る制御部1400の概略構成を示す。なお、本実施例に係る制御部1400における画像処理部1420及び比較部1426以外の構成は実施例1に係る制御部200の各構成と同様である。そのため、図2に示す構成と同様の構成については、同一の参照符号を用いて示し説明を省略する。
制御部1400の画像処理部1420には、断層画像生成部221、モーションコントラスト生成部222、En-Face画像生成部223、及び画質向上部224に加えて、比較部1426が設けられている。
比較部1426は、画質向上部224によって画質向上処理が行われる前の画像(元の画像)と画質向上処理が行われた後の画像の比較を行う。より具体的には、比較部1426は、画質向上処理前後の画像を比較し、画質向上処理前後の画像の対応する画素位置における画素値の差分を算出する。
そして、比較部1426は、差分値の大小に応じて色付けされたカラーマップ画像を生成する。例えば、画質向上処理前の画像に対して、画質向上処理後の画像の画素値が大きくなっている場合には暖色(黄~橙~赤)系の色調を、画質向上処理後の画像の画素値が小さくなっている場合には寒色(黄緑~緑~青)系の色調を用いる。このような配色を用いることで、カラーマップ画像上において暖色系で示された箇所は、画質向上処理によって復元された(又は新たに生み出された)組織であることが容易に識別できる。同様に、カラーマップ画像上において寒色系で示された箇所は、画質向上処理で除去されたノイズ(又は消されてしまった組織)であることも容易に識別できる。
なお、当該カラーマップ画像の配色は一例である。例えば、画質向上処理前の画像における画素値に対する画質向上処理後の画像における画素値の大小に応じて異なる色調の配色を行う等、カラーマップ画像の配色は所望の構成に応じて任意に設定されてよい。
表示制御部250は、比較部1426によって生成されたカラーマップ画像を画質向上処理前の画像又は画質向上処理後の画像に重畳して、表示部270に表示させることができる。
次に、図15を参照して本実施例に係る一連の画像処理について説明する。なお、ステップS1501乃至ステップS1505は、実施例1に係るステップS501乃至S505と同様であるため説明を省略する。ステップS1505において、画質向上部224により高画質なOCTA画像が生成されたら、処理はステップS1506に移行する。
ステップS1506では、比較部1426が、ステップS1504で生成されたOCTA画像とステップS1505で生成された高画質なOCTA画像を比較して各画素値の差分を算出し、各画素値の差分に基づいてカラーマップ画像を生成する。なお、比較部1426は、高画質処理前後の画像における画素値の差分に代えて、高画質処理前後の画像における画素値の比や相関値など別の手法を用いて画像の比較を行い、比較結果に基づいてカラーマップ画像を生成してもよい。
ステップS1507では、表示制御部250が、カラーマップ画像を画質向上処理前の画像又は画質向上処理後の画像に重畳して、表示部270に表示させる。このとき、表示制御部250は、カラーマップ画像が重畳される画像を隠さないように、カラーマップについて透過度を設定して対象となる画像に重畳表示させることができる。
また、表示制御部250は、カラーマップ画像において、画質向上処理前後の画像の差が少ない(カラーマップ画像の画素値が低い)箇所の透過度を高く設定したり、差が所定値以下の箇所が完全に透明になるように透明度を設定したりしてもよい。このようにすることで、カラーマップ画像の下に表示された画像とカラーマップ画像の両方を良好に視認することができる。なお、カラーマップ画像の透明度については、比較部1426が透明度の設定を含んだカラーマップ画像を生成してもよい。
上記のように、本実施例に係る制御部1400は、第1の画像と画質向上処理が行われた第2の画像を比較する比較部1426を備える。比較部1426は、第1の画像と第2画像の差分を算出し、該差分に基づいて色分けされたカラーマップ画像を生成する。表示制御部250は、比較部1426による比較結果に基づいて表示部270の表示を制御する。より具体的には、表示制御部250は、第1の画像又は第2の画像にカラーマップ画像を重畳して表示部270に表示させる。
これにより、画質向上処理前後の画像に重畳されたカラーマップ画像を観察することで、画質向上処理による画像の変化をより容易に確認することができる。そのため操作者は、画質向上処理によって画像に現実には存在しない組織が描出されてしまったり、本来存在している組織が消えてしまったりしても、そのような組織をより容易に識別することができ、組織の真偽をより容易に判断することができる。また、操作者は、カラーマップ画像の配色に応じて、画質向上処理により新たに描出された箇所であるか、消された箇所であるかを容易に識別することができる。
なお、表示制御部250は、操作者の指示に応じてカラーマップ画像の重畳表示を有効にしたり、無効にしたりすることができる。このカラーマップ画像の重畳表示のオン/オフ操作は、表示部270に表示されている複数の画像に対して同時に適用するようにしてもよい。この場合、比較部1426は、対応する画質向上処理前後の画像毎にカラーマップ画像を生成し、表示制御部250は、カラーマップ画像を対応する画質向上処理前の画像又は画質向上処理後の画像に重畳表示させることができる。また、表示制御部250は、カラーマップ画像の表示の前に、画質向上処理前の画像や画質向上処理後の画像を表示部270に表示させてもよい。
なお、本実施例ではOCTA画像を例に説明したが、断層画像や輝度のEn-Face画像等について画質向上処理を行う場合についても同様の処理を行うことができる。また、本実施例に係る比較処理及びカラーマップの表示処理は、実施例2及び実施例3に係るOCT装置にも適用することができる。
(変形例4)
また、比較部1426が画質向上処理前後の画像の比較を行い、表示制御部250が比較部1426による比較結果に応じて、表示部270に警告を表示させてもよい。より具体的には、比較部1426が算出した、画質向上処理前後の画像における画素値の差分が所定値よりも大きい場合に、表示制御部250が表示部270に警告を表示させる。このような構成によれば、生成された高画質画像において、学習済モデルによって、現実には存在しない組織が生成されてしまったり、本来存在している組織が消されてしまったりした場合に、操作者に注意を促すことができる。なお、差分と所定値の比較は、比較部1426によって行われてもよいし、表示制御部250によって行われてもよい。また、差分に代えて差分の平均値等の統計的な値が所定値と比較されてもよい。
さらに、表示制御部250は、画質向上処理前後の画像の差分が所定値よりも大きい場合に、画質向上処理を行った後の画像の表示を表示部270に表示させないようにしてもよい。この場合には、生成された高画質画像において、学習済モデルによって、現実には存在しない組織が生成されてしまったり、本来存在している組織が消されてしまったりした場合に、当該高画質画像に基づく誤診断を抑制することができる。なお、差分と所定値の比較は、比較部1426によって行われてもよいし、表示制御部250によって行われてもよい。また、差分に代えて差分の平均値等の統計的な値が所定値と比較されてもよい。
(実施例5)
次に、図20(a)及び(b)を参照して、実施例5に係る画像処理装置(制御部200)について説明する。本実施例では、画質向上部224での処理結果を表示制御部250が表示部270に表示を行う例について説明を行う。なお、本実施例では、図20(a)及び(b)を用いて説明を行うが表示画面はこれに限らない。経過観察のように、異なる日時で得た複数の画像を並べて表示する表示画面においても同様に高画質化処理(画質向上処理)は適用可能である。また、撮影確認画面のように、検者が撮影直後に撮影成否を確認する表示画面においても同様に高画質化処理は適用可能である。表示制御部250は、画質向上部224が生成した複数の高画質画像や高画質化を行っていない低画質画像を表示部270に表示させることができる。これにより、検者の指示に応じて低画質画像、高画質画像をそれぞれ出力することができる。
以下、図20(a)及び(b)を参照して、当該インターフェース3400の一例を示す。3400は画面全体、3401は患者タブ、3402は撮影タブ、3403はレポートタブ、3404は設定タブを表している。また、3403のレポートタブにおける斜線は、レポート画面のアクティブ状態を表している。本実施例においては、レポート画面を表示する例について説明をする。Im3405はSLO画像、Im3406は、Im3407に示すOCTAのEn-Face画像をSLO画像Im3405に重畳表示している。ここでSLO画像とは、不図示のSLO(Scanning Laser Ophthalmoscope:走査型検眼鏡)光学系によって取得した眼底の正面画像である。Im3407とIm3408はOCTAのEn-Face画像、Im3409は輝度のEn-Face画像、Im3411とIm3412は断層画像を示している。3413と3414は、それぞれIm3407とIm3408に示したOCTAのEn-Face画像の上下範囲の境界線を断層画像に重畳表示している。ボタン3420は、高画質化処理の実行を指定するためのボタンである。もちろん、後述するように、ボタン3420は、高画質画像の表示を指示するためのボタンであってもよい。
本実施例において、高画質化処理の実行はボタン3420を指定して行うか、データベースに保存(記憶)されている情報に基づいて実行の有無を判断する。初めに、検者からの指示に応じてボタン3420を指定することで高画質画像の表示と低画質画像の表示を切り替える例について説明をする。なお、高画質化処理の対象画像はOCTAのEn-Face画像として説明する。
検者がレポートタブ3403を指定してレポート画面に遷移した際には、低画質なOCTAのEn-Face画像Im3407とIm3408を表示する。その後、検者がボタン3420を指定することで、画質向上部224は画面に表示している画像Im3407とIm3408に対して高画質化処理を実行する。高画質化処理が完了後、表示制御部250は画質向上部224が生成した高画質画像をレポート画面に表示する。なお、Im3406は、Im3407をSLO画像Im3405に重畳表示しているものであるため、Im3406も高画質化処理した画像を表示する。そして、ボタン3420の表示をアクティブ状態に変更し、高画質化処理を実行したことが分かるような表示をする。
ここで、画質向上部224における処理の実行は、検者がボタン3420を指定したタイミングに限る必要はない。レポート画面を開く際に表示するOCTAのEn-Face画像Im3407とIm3408の種類は事前に分かっているため、レポート画面に遷移する際に高画質化処理の実行をしてもよい。そして、ボタン3420が押下されたタイミングで、表示制御部250が高画質画像をレポート画面に表示するようにしてもよい。さらに、検者からの指示に応じて、又はレポート画面に遷移する際に高画質化処理を行う画像の種類は2種類である必要はない。表示する可能性の高い画像、例えば、図19で示すような表層(Im2910)、深層(Im2920)、外層(Im2930)、及び脈絡膜血管網(Im2940)などの複数のOCTAのEn-Face画像に対して処理を行うようにしてもよい。この場合、高画質化処理を行った画像を一時的にメモリに記憶、あるいはデータベースに記憶しておくようにしてもよい。
次に、データベースに保存(記録)されている情報に基づいて高画質化処理を実行する場合について説明をする。データベースに高画質化処理の実行を行う状態が保存されている場合、レポート画面に遷移した際に、高画質化処理を実行して得た高画質画像をデフォルトで表示する。そして、ボタン3420がアクティブ状態としてデフォルトで表示されることで、検者に対しては高画質化処理を実行して得た高画質画像が表示されていることが分かるように構成することができる。検者は、高画質化処理前の低画質画像を表示したい場合には、ボタン3420を指定してアクティブ状態を解除することで、低画質画像を表示することができる。高画質画像に戻したい場合、検者はボタン3420を指定する。
データベースへの高画質化処理の実行有無は、データベースに保存されているデータ全体に対して共通、及び撮影データ毎(検査毎)など、階層別に指定するものとする。例えば、データベース全体に対して高画質化処理を実行する状態を保存してある場合において、個別の撮影データ(個別の検査)に対して、検者が高画質化処理を実行しない状態を保存した場合、その撮影データを次回表示する際には高画質化処理を実行しない状態で表示を行う。撮影データ毎(検査毎)に高画質化処理の実行状態を保存するために、不図示のユーザーインターフェース(例えば、保存ボタン)を用いてもよい。また、他の撮影データ(他の検査)や他の患者データに遷移(例えば、検者からの指示に応じてレポート画面以外の表示画面に変更)する際に、表示状態(例えば、ボタン3420の状態)に基づいて、高画質化処理の実行を行う状態が保存されるようにしてもよい。これにより、撮影データ単位(検査単位)で高画質化処理実行の有無が指定されていない場合、データベース全体に対して指定されている情報に基づいて処理を行い、撮影データ単位(検査単位)で指定されている場合には、その情報に基づいて個別に処理を実行することができる。
本実施例におけるOCTAのEn-Face画像として、Im3407とIm3408を表示する例を示しているが、表示するOCTAのEn-Face画像は検者の指定により変更することが可能である。そのため、高画質化処理の実行が指定されている時(ボタン3420がアクティブ状態)における画像の変更について説明をする。
画像の変更は、不図示のユーザーインターフェース(例えば、コンボボックス)を用いて変更を行う。例えば、検者が画像の種類を表層から脈絡膜血管網に変更した時に、画質向上部224は脈絡膜血管網画像に対して高画質化処理を実行し、表示制御部250は画質向上部224が生成した高画質な画像をレポート画面に表示する。すなわち、表示制御部250は、検者からの指示に応じて、第1の深度範囲の高画質画像の表示を、第1の深度範囲とは少なくとも一部が異なる第2の深度範囲の高画質画像の表示に変更してもよい。このとき、表示制御部250は、検者からの指示に応じて第1の深度範囲が第2の深度範囲に変更されることにより、第1の深度範囲の高画質画像の表示を、第2の深度範囲の高画質画像の表示に変更してもよい。なお、上述したようにレポート画面遷移時に表示する可能性の高い画像に対しては、既に高画質画像が生成済みである場合、表示制御部250は生成済みの高画質な画像を表示すればよい。
なお、画像の種類の変更方法は上記したものに限らず、基準となる層とオフセットの値を変えて異なる深度範囲を設定したOCTAのEn-Face画像を生成することも可能である。その場合、基準となる層、あるいはオフセット値が変更された時に、画質向上部224は任意のOCTAのEn-Face画像に対して高画質化処理を実行し、表示制御部250は高画質な画像をレポート画面に表示する。基準となる層やオフセット値の変更は、不図示のユーザーインターフェース(例えば、コンボボックスやテキストボックス)を用いて行われることができる。また、断層画像Im3411とIm3412に重畳表示している境界線3413と3414のいずれかをドラッグ(層境界を移動)することで、OCTAのEn-Face画像の生成範囲を変更することができる。
境界線をドラッグによって変更する場合、高画質化処理の実行命令が連続的に実施される。そのため、画質向上部224は実行命令に対して常に処理を行ってもよいし、ドラッグによる層境界の変更後に実行するようにしてもよい。あるいは、高画質化処理の実行は連続的に命令されるが、次の命令が来た時点で前回の命令をキャンセルし、最新の命令を実行するようにしてもよい。
なお、高画質化処理には比較的時間がかかる場合がある。このため、上述したどのようなタイミングで命令が実行されたとしても、高画質画像が表示されるまでに比較的時間がかかる場合がある。そこで、検者からの指示に応じてOCTAのEn-Face画像を生成するための深度範囲が設定されてから、高画質画像が表示されるまでの間、該設定された深度範囲に対応するOCTAのEn-Face画像(低画質画像)が表示されてもよい。すなわち、上記深度範囲が設定されると、該設定された深度範囲に対応するOCTAのEn-Face画像(低画質画像)が表示され、高画質化処理が終了すると、該OCTAのEn-Face画像(該低画質画像)の表示が高画質画像の表示に変更されるように構成されてもよい。また、上記深度範囲が設定されてから、高画質画像が表示されるまでの間、高画質化処理が実行されていることを示す情報が表示されてもよい。なお、これらは、高画質化処理の実行が既に指定されている状態(ボタン3420がアクティブ状態)を前提とする場合だけでなく、例えば、検者からの指示に応じて高画質化処理の実行が指示された際に、高画質画像が表示されるまでの間においても、適用することが可能である。
本実施例では、OCTAのEn-Face画像として、Im3407とIm3408に異なる層を表示し、低画質と高画質な画像は切り替えて表示する例を示したが、これに限らない。例えば、Im3407には低画質なOCTAのEn-Face画像、Im3408には高画質なOCTAのEn-Face画像を並べて表示するようにしてもよい。画像を切り替えて表示する場合には、同じ場所で画像を切り替えるので変化がある部分の比較を行いやすく、並べて表示する場合には、同時に画像を表示することができるので画像全体を比較しやすい。
次に、図20(a)と(b)を用いて、画面遷移における高画質化処理の実行について説明を行う。図20(b)は、図20(a)におけるOCTAのEn-Face画像Im3407を拡大表示した画面例である。図20(b)においても、図20(a)と同様にボタン3420を表示する。図20(a)から図20(b)への画面遷移は、例えば、OCTAのEn-Face画像Im3407をダブルクリックすることで遷移し、図20(b)から図20(a)へは閉じるボタン3430で遷移する。なお、画面遷移に関しては、ここで示した方法に限らず、不図示のユーザーインターフェースを用いてもよい。
画面遷移の際に高画質化処理の実行が指定されている場合(ボタン3420がアクティブ)、画面遷移時においてもその状態を保つ。すなわち、図20(a)の画面で高画質画像を表示している状態で図20(b)の画面に遷移する場合、図20(b)の画面においても高画質画像を表示する。そして、ボタン3420はアクティブ状態にする。図20(b)から図20(a)へ遷移する場合にも同様である。図20(b)において、ボタン3420を指定して低画質画像に表示を切り替えることもできる。
画面遷移に関して、ここで示した画面に限らず、経過観察用の表示画面、又はパノラマ用の表示画面など同じ撮影データを表示する画面への遷移であれば、高画質画像の表示状態を保ったまま遷移を行う。すなわち、遷移後の表示画面において、遷移前の表示画面におけるボタン3420の状態に対応する画像が表示される。例えば、遷移前の表示画面におけるボタン3420がアクティブ状態であれば、遷移後の表示画面において高画質画像が表示される。また、例えば、遷移前の表示画面におけるボタン3420のアクティブ状態が解除されていれば、遷移後の表示画面において低画質画像が表示される。なお、経過観察用の表示画面におけるボタン3420がアクティブ状態になると、経過観察用の表示画面に並べて表示される異なる日時(異なる検査日)で得た複数の画像が高画質画像に切り換わるようにしてもよい。すなわち、経過観察用の表示画面におけるボタン3420がアクティブ状態になると、異なる日時で得た複数の画像に対して一括で反映されるように構成してもよい。
なお、経過観察用の表示画面の例を、図18に示す。検者からの指示に応じてタブ3801が選択されると、図18のように、経過観察用の表示画面が表示される。このとき、En-Face画像の深度範囲を、リストボックスに表示された既定の深度範囲セット(3802及び3803)から検者が選択することで変更できる。例えば、リストボックス3802では網膜表層が選択され、また、リストボックス3803では網膜深層が選択されている。上側の表示領域には網膜表層のEn-Face画像の解析結果が表示され、また、下側の表示領域には網膜深層のEn-Face画像の解析結果が表示されている。すなわち、深度範囲が選択されると、異なる日時の複数の画像について、選択された深度範囲の複数のEn-Face画像の解析結果の並列表示に一括して変更される。
このとき、解析結果の表示を非選択状態にすると、異なる日時の複数のEn-Face画像の並列表示に一括して変更されてもよい。そして、検者からの指示に応じてボタン3420が指定されると、複数のEn-Face画像の表示が複数の高画質画像の表示に一括して変更される。
また、解析結果の表示が選択状態である場合には、検者からの指示に応じてボタン3420が指定されると、複数のEn-Face画像の解析結果の表示が複数の高画質画像の解析結果の表示に一括して変更される。ここで、解析結果の表示は、解析結果を任意の透明度により画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像(例えば、2次元マップ)の表示への変更であってもよい。
また、深度範囲の指定に用いる層境界の種類とオフセット位置をそれぞれ、3805,3806のようなユーザーインターフェースから一括して変更することができる。なお、断層画像も一緒に表示させ、断層画像上に重畳された層境界データを検者からの指示に応じて移動させることにより、異なる日時の複数のEn-Face画像の深度範囲を一括して変更されてもよい。このとき、異なる日時の複数の断層画像を並べて表示し、1つの断層画像上で上記移動が行われると、他の断層画像上でも同様に層境界データが移動されてもよい。
また、画像投影法やプロジェクションアーチファクト抑制処理の有無を、例えば、コンテキストメニューのようなユーザーインターフェースから選択することにより変更してもよい。
また、選択ボタン3807を選択して選択画面を表示させ、該選択画面上に表示された画像リストから選択された画像が表示されてもよい。なお、図18の上部に表示されている矢印3804は現在選択されている検査であることを示す印であり、基準検査(Baseline)はFollow-up撮影の際に選択した検査(図18の一番左側の画像)である。もちろん、基準検査を示すマークを表示部に表示させてもよい。
また、「Show Difference」チェックボックス3808が指定された場合には、基準画像上に基準画像に対する計測値分布(マップもしくはセクタマップ)を表示する。さらに、この場合には、それ以外の検査日に対応する領域に基準画像に対して算出した計測値分布と当該領域に表示される画像に対して算出した計測分布との差分計測値マップを表示する。計測結果としては、レポート画面上にトレンドグラフ(経時変化計測によって得られた各検査日の画像に対する計測値のグラフ)を表示させてもよい。すなわち、異なる日時の複数の画像に対応する複数の解析結果の時系列データ(例えば、時系列グラフ)が表示されてもよい。このとき、表示されている複数の画像に対応する複数の日時以外の日時に関する解析結果についても、表示されている複数の画像に対応する複数の解析結果と判別可能な状態で(例えば、時系列グラフ上の各点の色が画像の表示の有無で異なる)時系列データとして表示させてもよい。また、該トレンドグラフの回帰直線(曲線)や対応する数式をレポート画面に表示させてもよい。
本実施例においては、OCTAのEn-Face画像に関して説明を行ったが、これに限らない。本実施例に係る表示、高画質化、及び画像解析等の処理に関する画像は、輝度のEn-Face画像でもよい。さらには、En-Face画像だけではなく、断層画像やSLO画像、眼底写真、又は蛍光眼底写真など、異なる画像であっても構わない。その場合、高画質化処理を実行するためのユーザーインターフェースは、種類の異なる複数の画像に対して高画質化処理の実行を指示するもの、種類の異なる複数の画像から任意の画像を選択して高画質化処理の実行を指示するものがあってもよい。
このような構成により、本実施例に係る画質向上部224が処理した画像を表示制御部250が表示部270に表示することができる。このとき、上述したように、高画質画像の表示、解析結果の表示、表示される正面画像の深度範囲等に関する複数の条件のうち少なくとも1つが選択された状態である場合には、表示画面が遷移されても、選択された状態が維持されてもよい。
また、上述したように、複数の条件のうち少なくとも1つが選択された状態である場合には、他の条件が選択された状態に変更されても、該少なくとも1つが選択された状態が維持されてもよい。例えば、表示制御部250は、解析結果の表示が選択状態である場合に、検者からの指示に応じて(例えば、ボタン3420が指定されると)、低画質画像の解析結果の表示を高画質画像の解析結果の表示に変更してもよい。また、表示制御部250は、解析結果の表示が選択状態である場合に、検者からの指示に応じて(例えば、ボタン3420の指定が解除されると)、高画質画像の解析結果の表示を低画質画像の解析結果の表示に変更してもよい。
また、表示制御部250は、高画質画像の表示が非選択状態である場合に、検者からの指示に応じて(例えば、解析結果の表示の指定が解除されると)、低画質画像の解析結果の表示を低画質画像の表示に変更してもよい。また、表示制御部250は、高画質画像の表示が非選択状態である場合に、検者からの指示に応じて(例えば、解析結果の表示が指定されると)、低画質画像の表示を低画質画像の解析結果の表示に変更してもよい。また、表示制御部250は、高画質画像の表示が選択状態である場合に、検者からの指示に応じて(例えば、解析結果の表示の指定が解除されると)、高画質画像の解析結果の表示を高画質画像の表示に変更してもよい。また、表示制御部250は、高画質画像の表示が選択状態である場合に、検者からの指示に応じて(例えば、解析結果の表示が指定されると)、高画質画像の表示を高画質画像の解析結果の表示に変更してもよい。
また、高画質画像の表示が非選択状態で且つ第1の種類の解析結果の表示が選択状態である場合を考える。この場合には、表示制御部250は、検者からの指示に応じて(例えば、第2の種類の解析結果の表示が指定されると)、低画質画像の第1の種類の解析結果の表示を低画質画像の第2の種類の解析結果の表示に変更してもよい。また、高画質画像の表示が選択状態で且つ第1の種類の解析結果の表示が選択状態である場合を考える。この場合には、表示制御部250は、検者からの指示に応じて(例えば、第2の種類の解析結果の表示が指定されると)、高画質画像の第1の種類の解析結果の表示を高画質画像の第2の種類の解析結果の表示に変更してもよい。
なお、経過観察用の表示画面においては、上述したように、これらの表示の変更が、異なる日時で得た複数の画像に対して一括で反映されるように構成してもよい。ここで、解析結果の表示は、解析結果を任意の透明度により画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像(例えば、2次元マップ)の表示への変更であってもよい。
(変形例5)
上述した様々な実施例及び変形例において、表示制御部250は、画質向上部224によって生成された高画質画像と入力画像のうち、検者からの指示に応じて選択された画像を表示部270に表示させることができる。また、表示制御部250は、検者からの指示に応じて、表示部270上の表示を撮影画像(入力画像)から高画質画像に切り替えてもよい。すなわち、表示制御部250は、検者からの指示に応じて、低画質画像の表示を高画質画像の表示に変更してもよい。また、表示制御部250は、検者からの指示に応じて、高画質画像の表示を低画質画像の表示に変更してもよい。
さらに、画質向上部224が、高画質化エンジン(高画質化用の学習済モデル)による高画質化処理の開始(高画質化エンジンへの画像の入力)を検者からの指示に応じて実行し、表示制御部250が、画質向上部224によって生成された高画質画像を表示部270に表示させてもよい。これに対し、撮影装置(OCT撮影部100)によって入力画像が撮影されると、高画質化エンジンが自動的に入力画像に基づいて高画質画像を生成し、表示制御部250が、検者からの指示に応じて高画質画像を表示部270に表示させてもよい。ここで、高画質化エンジンとは、上述した画質向上処理(高画質化処理)を行う学習済モデルを含む。
なお、これらの処理は解析結果の出力についても同様に行うことができる。すなわち、表示制御部250は、検者からの指示に応じて、低画質画像の解析結果の表示を高画質画像の解析結果の表示に変更してもよい。また、表示制御部250は、検者からの指示に応じて、高画質画像の解析結果の表示を低画質画像の解析結果の表示に変更してもよい。もちろん、表示制御部250は、検者からの指示に応じて、低画質画像の解析結果の表示を低画質画像の表示に変更してもよい。また、表示制御部250は、検者からの指示に応じて、低画質画像の表示を低画質画像の解析結果の表示に変更してもよい。また、表示制御部250は、検者からの指示に応じて、高画質画像の解析結果の表示を高画質画像の表示に変更してもよい。また、表示制御部250は、検者からの指示に応じて、高画質画像の表示を高画質画像の解析結果の表示に変更してもよい。
また、表示制御部250は、検者からの指示に応じて、低画質画像の解析結果の表示を低画質画像の他の種類の解析結果の表示に変更してもよい。また、表示制御部250は、検者からの指示に応じて、高画質画像の解析結果の表示を高画質画像の他の種類の解析結果の表示に変更してもよい。
ここで、高画質画像の解析結果の表示は、高画質画像の解析結果を任意の透明度により高画質画像に重畳表示させたものであってもよい。また、低画質画像の解析結果の表示は、低画質画像の解析結果を任意の透明度により低画質画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像(例えば、2次元マップ)の表示への変更であってもよい。
(変形例6)
上述した様々な実施例及び変形例におけるレポート画面において、所望の層の層厚や各種の血管密度等の解析結果を表示させてもよい。また、視神経乳頭部、黄斑部、血管領域、神経線維束、硝子体領域、黄斑領域、脈絡膜領域、強膜領域、篩状板領域、網膜層境界、網膜層境界端部、視細胞、血球、血管壁、血管内壁境界、血管外側境界、神経節細胞、角膜領域、隅角領域、シュレム管等の少なくとも1つを含む注目部位に関するパラメータの値(分布)を解析結果として表示させてもよい。このとき、例えば、各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い解析結果を表示させることができる。なお、アーチファクトは、例えば、血管領域等による光吸収により生じる偽像領域や、プロジェクションアーチファクト、被検眼の状態(動きや瞬き等)によって測定光の主走査方向に生じる正面画像における帯状のアーチファクト等であってもよい。また、アーチファクトは、例えば、被検者の所定部位の医用画像上に撮影毎にランダムに生じるような写損領域であれば、何でもよい。また、上述したような様々なアーチファクト(写損領域)の少なくとも1つを含む領域に関するパラメータの値(分布)を解析結果として表示させてもよい。また、ドルーゼン、新生血管、白斑(硬性白斑)、シュードドルーゼン等の異常部位等の少なくとも1つを含む領域に関するパラメータの値(分布)を解析結果として表示させてもよい。
また、解析結果は、解析マップや、各分割領域に対応する統計値を示すセクター等で表示されてもよい。なお、解析結果は、医用画像の解析結果を学習データとして学習して得た学習済モデル(解析結果生成エンジン、解析結果生成用の学習済モデル)を用いて生成されたものであってもよい。このとき、学習済モデルは、医用画像とその医用画像の解析結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の解析結果とを含む学習データ等を用いた学習により得たものであってもよい。また、学習済モデルは、輝度正面画像及びモーションコントラスト正面画像のように、所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データを用いた学習により得たものであってもよい。ここで、輝度正面画像は輝度のEn-Face画像に対応し、モーションコントラスト正面画像はOCTAのEn-Face画像に対応する。また、高画質化用の学習済モデルにより生成された高画質画像を用いて得た解析結果が表示されるように構成されてもよい。
また、学習データに含まれる入力データとしては、高画質化用の学習済モデルにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。また、学習データは、例えば、解析領域を解析して得た解析値(例えば、平均値や中央値等)、解析値を含む表、解析マップ、画像におけるセクター等の解析領域の位置等の少なくとも1つを含む情報を(教師あり学習の)正解データとして、入力データにラベル付けしたデータであってもよい。なお、検者からの指示に応じて、解析結果生成用の学習済モデルにより得た解析結果が表示されるように構成されてもよい。
また、上述した様々な実施例及び変形例におけるレポート画面において、緑内障や加齢黄斑変性等の種々の診断結果を表示させてもよい。このとき、例えば、上述したような各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い診断結果を表示させることができる。また、診断結果は、特定された異常部位等の位置を画像上に表示されてもよいし、また、異常部位の状態等を文字等によって表示されてもよい。また、異常部位等の分類結果(例えば、カーティン分類)を診断結果として表示させてもよい。
なお、診断結果は、医用画像の診断結果を学習データとして学習して得た学習済モデル(診断結果生成エンジン、診断結果生成用の学習済モデル)を用いて生成されたものであってもよい。また、学習済モデルは、医用画像とその医用画像の診断結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の診断結果とを含む学習データ等を用いた学習により得たものであってもよい。また、高画質化用の学習済モデルにより生成された高画質画像を用いて得た診断結果が表示されるように構成されてもよい。
また、学習データに含まれる入力データとしては、高画質化用の学習済モデルにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。また、学習データは、例えば、診断名、病変(異常部位)の種類や状態(程度)、画像における病変の位置、注目領域に対する病変の位置、所見(読影所見等)、診断名の根拠(肯定的な医用支援情報等)、診断名を否定する根拠(否定的な医用支援情報)等の少なくとも1つを含む情報を(教師あり学習の)正解データとして、入力データにラベル付けしたデータであってもよい。なお、検者からの指示に応じて、診断結果生成用の学習済モデルにより得た診断結果が表示されるように構成されてもよい。
また、上述した様々な実施例及び変形例におけるレポート画面において、上述したような注目部位、アーチファクト、異常部位等の物体認識結果(物体検出結果)やセグメンテーション結果を表示させてもよい。このとき、例えば、画像上の物体の周辺に矩形の枠等を重畳して表示させてもよい。また、例えば、画像における物体上に色等を重畳して表示させてもよい。なお、物体認識結果やセグメンテーション結果は、物体認識やセグメンテーションを示す情報を正解データとして医用画像にラベル付けした学習データを学習して得た学習済モデルを用いて生成されたものであってもよい。なお、上述した解析結果生成や診断結果生成は、上述した物体認識結果やセグメンテーション結果を利用することで得られたものであってもよい。例えば、物体認識やセグメンテーションの処理により得た注目部位に対して解析結果生成や診断結果生成の処理を行ってもよい。
また、上述した学習済モデルは、被検者の所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底のモーションコントラスト正面画像及び輝度正面画像(あるいは輝度断層画像)をセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の断層画像(Bスキャン画像)及びカラー眼底画像(あるいは蛍光眼底画像)をセットとする入力データ等も考えられる。また、異なる種類の複数の医療画像は、異なるモダリティ、異なる光学系、又は異なる原理等により取得されたものであれば何でもよい。
また、上述した学習済モデルは、被検者の異なる部位の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底の断層画像(Bスキャン画像)と前眼部の断層画像(Bスキャン画像)とをセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の黄斑の三次元OCT画像(三次元断層画像)と眼底の視神経乳頭のサークルスキャン(又はラスタスキャン)断層画像とをセットとする入力データ等も考えられる。
なお、学習データに含まれる入力データは、被検者の異なる部位及び異なる種類の複数の医用画像であってもよい。このとき、学習データに含まれる入力データは、例えば、前眼部の断層画像とカラー眼底画像とをセットとする入力データ等が考えられる。また、上述した学習済モデルは、被検者の所定部位の異なる撮影画角の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。また、学習データに含まれる入力データは、パノラマ画像のように、所定部位を複数領域に時分割して得た複数の医用画像を貼り合わせたものであってもよい。このとき、パノラマ画像のような広画角画像を学習データとして用いることにより、狭画角画像よりも情報量が多い等の理由から画像の特徴量を精度良く取得できる可能性があるため、各処理の結果を向上することができる。また、学習データに含まれる入力データは、被検者の所定部位の異なる日時の複数の医用画像をセットとする入力データであってもよい。
また、上述した解析結果と診断結果と物体認識結果とセグメンテーション結果とのうち少なくとも1つの結果が表示される表示画面は、レポート画面に限らない。このような表示画面は、例えば、撮影確認画面、経過観察用の表示画面、及び撮影前の各種調整用のプレビュー画面(各種のライブ動画像が表示される表示画面)等の少なくとも1つの表示画面に表示されてもよい。例えば、上述した学習済モデルを用いて得た上記少なくとも1つの結果を撮影確認画面に表示させることにより、検者は、撮影直後であっても精度の良い結果を確認することができる。また、上述した低画質画像と高画質画像との表示の変更は、例えば、低画質画像の解析結果と高画質画像の解析結果との表示の変更であってもよい。
ここで、上述した様々な学習済モデルは、学習データを用いた機械学習により得ることができる。機械学習には、例えば、多階層のニューラルネットワークから成る深層学習(Deep Learning)がある。また、多階層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)を用いることができる。また、多階層のニューラルネットワークの少なくとも一部には、オートエンコーダ(自己符号化器)に関する技術が用いられてもよい。また、学習には、バックプロパゲーション(誤差逆伝搬法)に関する技術が用いられてもよい。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出(表現)可能なモデルであれば何でもよい。
また、高画質化エンジン(高画質化用の学習済モデル)は、高画質化エンジンにより生成された少なくとも1つの高画質画像を含む学習データを追加学習して得た学習済モデルであってもよい。このとき、高画質画像を追加学習用の学習データとして用いるか否かを、検者からの指示により選択可能に構成されてもよい。
(変形例7)
上述した様々な実施例及び変形例におけるプレビュー画面において、ライブ動画像の少なくとも1つのフレーム毎に上述した学習済モデルが用いられるように構成されてもよい。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されてもよい。これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。なお、複数のライブ動画像は、例えば、XYZ方向のアライメントのための前眼部の動画像、及び眼底観察光学系のフォーカス調整やOCTフォーカス調整のための眼底の正面動画像であってよい。また、複数のライブ動画像は、例えば、OCTのコヒーレンスゲート調整(測定光路長と参照光路長との光路長差の調整)のための眼底の断層動画像等であってもよい。
また、上述した学習済モデルを適用可能な動画像は、ライブ動画像に限らず、例えば、記憶部に記憶(保存)された動画像であってもよい。このとき、例えば、記憶部に記憶(保存)された眼底の断層動画像の少なくとも1つのフレーム毎に位置合わせして得た動画像が表示画面に表示されてもよい。例えば、硝子体を好適に観察したい場合には、まず、フレーム上に硝子体ができるだけ存在する等の条件を基準とする基準フレームを選択してもよい。このとき、各フレームは、XZ方向の断層画像(Bスキャン像)である。そして、選択された基準フレームに対して他のフレームがXZ方向に位置合わせされた動画像が表示画面に表示されてもよい。このとき、例えば、動画像の少なくとも1つのフレーム毎に高画質化用の学習済モデルにより順次生成された高画質画像(高画質フレーム)を連続表示させるように構成してもよい。
なお、上述したフレーム間の位置合わせの手法としては、X方向の位置合わせの手法とZ方向(深度方向)の位置合わせの手法とは、同じ手法が適用されてもよいし、全て異なる手法が適用されてもよい。また、同一方向の位置合わせは、異なる手法で複数回行われてもよく、例えば、粗い位置合わせを行った後に、精密な位置合わせが行われてもよい。また、位置合わせの手法としては、例えば、断層画像(Bスキャン像)をセグメンテーション処理して得た網膜層境界を用いた(Z方向の粗い)位置合わせ、断層画像を分割して得た複数の領域と基準画像との相関情報(類似度)を用いた(X方向やZ方向の精密な)位置合わせ、断層画像(Bスキャン像)毎に生成した1次元投影像を用いた(X方向の)位置合わせ、2次元正面画像を用いた(X方向の)位置合わせ等がある。また、ピクセル単位で粗く位置合わせが行われてから、サブピクセル単位で精密な位置合わせが行われるように構成されてもよい。
ここで、各種の調整中では、被検眼の網膜等の撮影対象がまだ上手く撮像できていない可能性がある。このため、学習済モデルに入力される医用画像と学習データとして用いられた医用画像との違いが大きいために、精度良く高画質画像が得られない可能性がある。そこで、断層画像(Bスキャン)の画質評価等の評価値が閾値を超えたら、高画質動画像の表示(高画質フレームの連続表示)を自動的に開始するように構成してもよい。また、断層画像(Bスキャン)の画質評価等の評価値が閾値を超えたら、高画質化ボタンを検者が指定可能な状態(アクティブ状態)に変更するように構成されてもよい。
また、走査パターン等が異なる撮影モード毎に異なる高画質化用の学習済モデルを用意して、選択された撮影モードに対応する高画質化用の学習済モデルが選択されるように構成されてもよい。また、異なる撮影モードで得た様々な医用画像を含む学習データを学習して得た1つの高画質化用の学習済モデルが用いられてもよい。
(変形例8)
上述した様々な実施例及び変形例においては、学習済モデルが追加学習中である場合、追加学習中の学習済モデル自体を用いて出力(推論・予測)することが難しい可能性がある。このため、追加学習中の学習済モデルに対する医用画像の入力を禁止することがよい。また、追加学習中の学習済モデルと同じ学習済モデルをもう一つ予備の学習済モデルとして用意してもよい。このとき、追加学習中には、予備の学習済モデルに対して医用画像の入力が実行できるようにすることがよい。そして、追加学習が完了した後に、追加学習後の学習済モデルを評価し、問題なければ、予備の学習済モデルから追加学習後の学習済モデルに置き換えればよい。また、問題があれば、予備の学習済モデルが用いられるようにしてもよい。
また、撮影部位毎に学習して得た学習済モデルを選択的に利用できるようにしてもよい。具体的には、第1の撮影部位(肺、被検眼等)を含む学習データを用いて得た第1の学習済モデルと、第1の撮影部位とは異なる第2の撮影部位を含む学習データを用いて得た第2の学習済モデルと、を含む複数の学習済モデルを用意することができる。そして、制御部200は、これら複数の学習済モデルのいずれかを選択する選択手段を有してもよい。このとき、制御部200は、選択された学習済モデルに対して追加学習として実行する制御手段を有してもよい。制御手段は、検者からの指示に応じて、選択された学習済モデルに対応する撮影部位と該撮影部位の撮影画像とがペアとなるデータを検索し、検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行することができる。なお、選択された学習済モデルに対応する撮影部位は、データのヘッダの情報から取得したり、検者により手動入力されたりしたものであってよい。また、データの検索は、例えば、病院や研究所等の外部施設のサーバ等からネットワークを介して行われてよい。これにより、学習済モデルに対応する撮影部位の撮影画像を用いて、撮影部位毎に効率的に追加学習することができる。
なお、選択手段及び制御手段は、制御部200のCPUやMPU等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、選択手段及び制御手段は、ASIC等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。
また、追加学習用の学習データを、病院や研究所等の外部施設のサーバ等からネットワークを介して取得する際には、改ざんや、追加学習時のシステムトラブル等による信頼性低下を低減したい。そこで、デジタル署名やハッシュ化による一致性の確認を行うことで、追加学習用の学習データの正当性を検出してもよい。これにより、追加学習用の学習データを保護することができる。このとき、デジタル署名やハッシュ化による一致性の確認した結果として、追加学習用の学習データの正当性が検出できなかった場合には、その旨の警告を行い、その学習データによる追加学習を行わない。なお、サーバは、その設置場所を問わず、例えば、クラウドサーバ、フォグサーバ、エッジサーバ等のどのような形態でもよい。
(変形例9)
上述した様々な実施例及び変形例において、検者からの指示は、手動による指示(例えば、ユーザーインターフェース等を用いた指示)以外にも、音声等による指示であってもよい。このとき、例えば、機械学習により得た音声認識モデル(音声認識エンジン、文字認識用の学習済モデル)を含む機械学習モデルが用いられてもよい。また、手動による指示は、キーボードやタッチパネル等を用いた文字入力等による指示であってもよい。このとき、例えば、機械学習により得た文字認識モデル(文字認識エンジン、文字認識用の学習済モデル)を含む機械学習モデルが用いられてもよい。また、検者からの指示は、ジェスチャー等による指示であってもよい。このとき、機械学習により得たジェスチャー認識モデル(ジェスチャー認識エンジン、ジェスチャー認識用の学習済モデル)を含む機械学習モデルが用いられてもよい。
また、検者からの指示は、モニタ上の検者の視線検出結果等であってもよい。視線検出結果は、例えば、モニタ周辺から撮影して得た検者の動画像を用いた瞳孔検出結果であってもよい。このとき、動画像からの瞳孔検出は、上述したような物体認識エンジンを用いてもよい。また、検者からの指示は、脳波、体を流れる微弱な電気信号等による指示であってもよい。
このような場合、例えば、学習データとしては、上述したような種々の学習済モデルの処理による結果の表示の指示を示す文字データ又は音声データ(波形データ)等を入力データとし、種々の学習済モデルの処理による結果等を実際に表示部に表示させるための実行命令を正解データとする学習データであってもよい。また、学習データとしては、例えば、高画質化用の学習済モデルで得た高画質画像の表示の指示を示す文字データ又は音声データ等を入力データとし、高画質画像の表示の実行命令及びボタン3420をアクティブ状態に変更するための実行命令を正解データとする学習データであってもよい。もちろん、学習データとしては、例えば、文字データ又は音声データ等が示す指示内容と実行命令内容とが互いに対応するものであれば何でもよい。また、音響モデルや言語モデル等を用いて、音声データから文字データに変換してもよい。また、複数のマイクで得た波形データを用いて、音声データに重畳しているノイズデータを低減する処理を行ってもよい。また、文字又は音声等による指示と、マウス、タッチパネル等による指示とを、検者からの指示に応じて選択可能に構成されてもよい。また、文字又は音声等による指示のオン・オフを、検者からの指示に応じて選択可能に構成されてもよい。
ここで、機械学習には、上述したような深層学習があり、また、多階層のニューラルネットワークの少なくとも一部には、例えば、再帰型ニューラルネットワーク(RNN:Recurrernt Neural Network)を用いることができる。ここで、本変形例に係る機械学習モデルの一例として、時系列情報を扱うニューラルネットワークであるRNNに関して、図16(a)及び(b)を参照して説明する。また、RNNの一種であるLong short-term memory(以下、LSTM)に関して、図17(a)及び(b)を参照して説明する。
図16(a)は、機械学習モデルであるRNNの構造を示す。RNN3520は、ネットワークにループ構造を持ち、時刻tにおいてデータxt3510を入力し、データht3530を出力する。RNN3520はネットワークにループ機能を持つため、現時刻の状態を次の状態に引き継ぐことが可能であるため、時系列情報を扱うことができる。図16(b)には時刻tにおけるパラメータベクトルの入出力の一例を示す。データxt3510にはN個(Params1~ParamsN)のデータが含まれる。また、RNN3520より出力されるデータht3530には入力データに対応するN個(Params1~ParamsN)のデータが含まれる。
しかし、RNNでは誤差逆伝搬時に長期時間の情報を扱うことができないため、LSTMが用いられることがある。LSTMは、忘却ゲート、入力ゲート、及び出力ゲートを備えることで長期時間の情報を学習することができる。ここで、図17(a)にLSTMの構造を示す。LSTM3540において、ネットワークが次の時刻tに引き継ぐ情報は、セルと呼ばれるネットワークの内部状態ct-1と出力データht-1である。なお、図の小文字(c、h、x)はベクトルを表している。
次に、図17(b)にLSTM3540の詳細を示す。図17(b)において、FGは忘却ゲートネットワーク、IGは入力ゲートネットワーク、OGは出力ゲートネットワークを示し、それぞれはシグモイド層である。そのため、各要素が0から1の値となるベクトルを出力する。忘却ゲートネットワークFGは過去の情報をどれだけ保持するかを決め、入力ゲートネットワークIGはどの値を更新するかを判定するものである。CUは、セル更新候補ネットワークであり、活性化関数tanh層である。これは、セルに加えられる新たな候補値のベクトルを作成する。出力ゲートネットワークOGは、セル候補の要素を選択し次の時刻にどの程度の情報を伝えるか選択する。
なお、上述したLSTMのモデルは基本形であるため、ここで示したネットワークに限らない。ネットワーク間の結合を変更してもよい。LSTMではなく、QRNN(Quasi Recurrent Neural Network)を用いてもよい。さらに、機械学習モデルは、ニューラルネットワークに限定されるものではなく、ブースティングやサポートベクターマシン等が用いられてもよい。また、検者からの指示が文字又は音声等による入力の場合には、自然言語処理に関する技術(例えば、Sequence to Sequence)が適用されてもよい。また、検者に対して文字又は音声等による出力で応答する対話エンジン(対話モデル、対話用の学習済モデル)が適用されてもよい。
(変形例10)
上述した様々な実施例及び変形例において、高画質画像等は、検者からの指示に応じて記憶部に保存されてもよい。このとき、高画質画像等を保存するための検者からの指示の後、ファイル名の登録の際に、推奨のファイル名として、ファイル名のいずれかの箇所(例えば、最初の箇所、最後の箇所)に、高画質化用の学習済モデルを用いた処理(高画質化処理)により生成された画像であることを示す情報(例えば、文字)を含むファイル名が、検者からの指示に応じて編集可能な状態で表示されてもよい。
また、レポート画面等の種々の表示画面において、表示部に高画質画像を表示させる際に、表示されている画像が高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示が、高画質画像とともに表示されてもよい。この場合には、ユーザは、当該表示によって、表示された高画質画像が撮影によって取得した画像そのものではないことが容易に識別できるため、誤診断を低減させたり、診断効率を向上させたりすることができる。なお、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示は、入力画像と当該処理により生成された高画質画像とを識別可能な表示であればどのような態様のものでもよい。また、高画質化用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルを用いた処理により生成された結果であることを示す表示が、その結果とともに表示されてもよい。
このとき、レポート画面等の表示画面は、検者からの指示に応じて記憶部に保存されてもよい。例えば、高画質化画像等と、これらの画像が高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示とが並んだ1つの画像としてレポート画面が記憶部に保存されてもよい。
また、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示について、高画質化用の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部に表示されてもよい。当該表示としては、学習データの入力データと正解データの種類の説明や、入力データと正解データに含まれる撮影部位等の正解データに関する任意の表示を含んでよい。なお、高画質化用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部に表示されてもよい。
また、高画質化用の学習済モデルを用いた処理により生成された画像であることを示す情報(例えば、文字)を、高画質画像等に重畳した状態で表示又は保存されるように構成されてもよい。このとき、画像上に重畳する箇所は、撮影対象となる注目部位等が表示されている領域には重ならない領域(例えば、画像の端)であればどこでもよい。また、重ならない領域を判定し、判定された領域に重畳させてもよい。
また、レポート画面の初期表示画面として、ボタン3420がアクティブ状態(高画質化処理がオン)となるようにデフォルト設定されている場合には、検者からの指示に応じて、高画質画像等を含むレポート画面に対応するレポート画像がサーバに送信されるように構成されてもよい。また、ボタン3420がアクティブ状態となるようにデフォルト設定されている場合には、検査終了時(例えば、検者からの指示に応じて、撮影確認画面やプレビュー画面からレポート画面に変更された場合)に、高画質画像等を含むレポート画面に対応するレポート画像がサーバに(自動的に)送信されるように構成されてもよい。このとき、デフォルト設定における各種設定(例えば、レポート画面の初期表示画面におけるEn-Face画像の生成のための深度範囲、解析マップの重畳の有無、高画質画像か否か、経過観察用の表示画面か否か等の少なくとも1つに関する設定)に基づいて生成されたレポート画像がサーバに送信されるように構成されもよい。
(変形例11)
上述した様々な実施例及び変形例において、上述したような種々の学習済モデルのうち、第1の種類の学習済モデルで得た画像(例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像)を、第1の種類とは異なる第2の種類の学習済モデルに入力してもよい。このとき、第2の種類の学習済モデルの処理による結果(例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果)が生成されるように構成されてもよい。
また、上述したような種々の学習済モデルのうち、第1の種類の学習済モデルの処理による結果(例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果)を用いて、第1の種類の学習済モデルに入力した画像から、第1の種類とは異なる第2の種類の学習済モデルに入力する画像を生成してもよい。このとき、生成された画像は、第2の種類の学習済モデルにより処理する画像として適した画像である可能性が高い。このため、生成された画像を第2の種類の学習済モデルに入力して得た画像(例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像)の精度を向上することができる。
また、上述したような学習済モデルの処理による解析結果や診断結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似画像検索を行ってもよい。なお、データベースにおいて保存されている複数の画像が、既に機械学習等によって該複数の画像それぞれの特徴量を付帯情報として付帯された状態で管理されている場合等には、画像自体を検索キーとする類似画像検索エンジン(類似画像検査モデル、類似画像検索用の学習済モデル)が用いられてもよい。
(変形例12)
なお、上記実施例及び変形例におけるモーションコントラストデータの生成処理は、断層画像の輝度値に基づいて行われる構成に限られない。上記各種処理は、OCT撮影部100で取得された干渉信号、干渉信号にフーリエ変換を施した信号、該信号に任意の処理を施した信号、及びこれらに基づく断層画像等を含む断層データに対して適用されてよい。これらの場合も、上記構成と同様の効果を奏することができる。
分割手段としてカプラを使用したファイバ光学系を用いているが、コリメータとビームスプリッタを使用した空間光学系を用いてもよい。また、OCT撮影部100の構成は、上記の構成に限られず、OCT撮影部100に含まれる構成の一部をOCT撮影部100と別体の構成としてもよい。
また、上記実施例及び変形例では、OCT撮影部100の干渉光学系としてマッハツェンダー型干渉計の構成を用いているが、干渉光学系の構成はこれに限られない。例えば、OCT装置1の干渉光学系はマイケルソン干渉計の構成を有していてもよい。
さらに、上記実施例及び変形例では、OCT装置として、SLDを光源として用いたスペクトラルドメインOCT(SD-OCT)装置について述べたが、本発明によるOCT装置の構成はこれに限られない。例えば、出射光の波長を掃引することができる波長掃引光源を用いた波長掃引型OCT(SS-OCT)装置等の他の任意の種類のOCT装置にも本発明を適用することができる。また、ライン光を用いたLine-OCT装置に対して本発明を適用することもできる。
また、上記実施例及び変形例では、取得部210は、OCT撮影部100で取得された干渉信号や画像処理部220で生成された三次元断層画像等を取得した。しかしながら、取得部210がこれらの信号や画像を取得する構成はこれに限られない。例えば、取得部210は、制御部とLAN、WAN、又はインターネット等を介して接続されるサーバや撮影装置からこれらの信号を取得してもよい。
なお、学習済モデルは、画像処理装置である制御部200,900,1400に設けられることができる。学習済モデルは、例えば、CPU等のプロセッサーによって実行されるソフトウェアモジュール等で構成されることができる。また、学習済モデルは、制御部200,900,1400と接続される別のサーバ等に設けられてもよい。この場合には、制御部200,900,1400は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバに接続することで、学習済モデルを用いて画質向上処理を行うことができる。
(変形例13)
また、上述した様々な実施例及び変形例による画像処理装置又は画像処理方法によって処理される画像は、任意のモダリティ(撮影装置、撮影方法)を用いて取得された医用画像を含む。処理される医用画像は、任意の撮影装置等で取得された医用画像や、上記実施例及び変形例による画像処理装置又は画像処理方法によって作成された画像を含むことができる。
さらに、処理される医用画像は、被検者(被検体)の所定部位の画像であり、所定部位の画像は被検者の所定部位の少なくとも一部を含む。また、当該医用画像は、被検者の他の部位を含んでもよい。また、医用画像は、静止画像又は動画像であってよく、白黒画像又はカラー画像であってもよい。さらに医用画像は、所定部位の構造(形態)を表す画像でもよいし、その機能を表す画像でもよい。機能を表す画像は、例えば、OCTA画像、ドップラーOCT画像、fMRI画像、及び超音波ドップラー画像等の血流動態(血流量、血流速度等)を表す画像を含む。なお、被検者の所定部位は、撮影対象に応じて決定されてよく、人眼(被検眼)、脳、肺、腸、心臓、すい臓、腎臓、及び肝臓等の臓器、頭部、胸部、脚部、並びに腕部等の任意の部位を含む。
また、医用画像は、被検者の断層画像であってもよいし、正面画像であってもよい。正面画像は、例えば、眼底正面画像や、前眼部の正面画像、蛍光撮影された眼底画像、OCTで取得したデータ(三次元のOCTデータ)について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したEn-Face画像を含む。En-Face画像は、三次元のOCTAデータ(三次元のモーションコントラストデータ)について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したOCTAのEn-Face画像(モーションコントラスト正面画像)でもよい。また、三次元のOCTデータや三次元のモーションコントラストデータは、三次元の医用画像データの一例である。
また、撮影装置とは、診断に用いられる画像を撮影するための装置である。撮影装置は、例えば、被検者の所定部位に光、X線等の放射線、電磁波、又は超音波等を照射することにより所定部位の画像を得る装置や、被写体から放出される放射線を検出することにより所定部位の画像を得る装置を含む。より具体的には、上述した様々な実施例及び変形例に係る撮影装置は、少なくとも、X線撮影装置、CT装置、MRI装置、PET装置、SPECT装置、SLO装置、OCT装置、OCTA装置、眼底カメラ、及び内視鏡等を含む。
なお、OCT装置としては、タイムドメインOCT(TD-OCT)装置やフーリエドメインOCT(FD-OCT)装置を含んでよい。また、フーリエドメインOCT装置はスペクトラルドメインOCT(SD-OCT)装置や波長掃引型OCT(SS-OCT)装置を含んでよい。また、SLO装置やOCT装置として、波面補償光学系を用いた波面補償SLO(AO-SLO)装置や波面補償OCT(AO-OCT)装置等を含んでよい。また、SLO装置やOCT装置として、偏光位相差や偏光解消に関する情報を可視化するための偏光SLO(PS-SLO)装置や偏光OCT(PS-OCT)装置等を含んでよい。
(その他の実施例)
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、実施例及び変形例を参照して本発明について説明したが、本発明は上記実施例及び変形例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施例及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。