JP2022011912A

JP2022011912A - 画像処理装置、画像処理方法、及びプログラム

Info

Publication number: JP2022011912A
Application number: JP2020113336A
Authority: JP
Inventors: 学山添; Manabu Yamazoe; 好彦岩瀬; Yoshihiko Iwase; 弘樹内田; Hiroki Uchida; 律也富田; Ritsuya Tomita
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2020-06-30
Filing date: 2020-06-30
Publication date: 2022-01-17
Anticipated expiration: 2040-06-30
Also published as: JP7344847B2

Abstract

【課題】学習済モデルを用いた医用画像の画像処理による過補正を低減する。【解決手段】被検体の医用画像を学習データとした学習により得た学習済モデルを用いて、被検体の医用画像の第１の画像に対して高画質化処理を行い、被検体の医用画像の第２の画像を取得する高画質化部と、被検体の医用画像における対象領域を検出する検出部と、第２の画像における対象領域に対して、対象領域の画素値と対象領域以外の領域の画素値との差が広がるように且つ対象領域の画素値がより低くなるように画像処理を行う画像処理部とを備える、画像処理装置。【選択図】図７

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

被検体の断層画像を得るための装置として、光干渉断層撮影法（ＯＣＴ：ＯｐｔｉｃａｌＣｏｈｅｒｅｎｃｅＴｏｍｏｇｒａｐｈｙ）を用いた装置（ＯＣＴ装置）が知られている。ＯＣＴ装置などの医用断層画像撮影装置を用いることで、網膜層内部の状態を三次元的に観察することが可能であり、このような医用断層画像撮影装置は、例えばＡＭＤのような眼科網膜疾患の診断に有用である。近年、臨床現場で用いられているＯＣＴは、例えば、高速に画像を取得する方法として、ＳＤ－ＯＣＴ（ＳｐｅｃｔｒａｌＤｏｍａｉｎＯＣＴ）、及びＳＳ－ＯＣＴ（ＳｗｅｐｔＳｏｕｒｃｅＯＣＴ）の２方式に大別される。ＳＤ－ＯＣＴでは、広帯域光源を用い、分光器でインターフェログラムを取得する。これに対し、ＳＳ－ＯＣＴでは、光源として高速波長掃引光源を用いることで、単一チャネル光検出器でスペクトル干渉を計測する。

最近は、両方式のＯＣＴにおいて、造影剤を用いないで血管を造影するＯＣＴ血管造影法（ＯＣＴＡｎｇｉｏｇｒａｐｈｙ：ＯＣＴＡ）が注目されてきた。ＯＣＴＡでは、ＯＣＴにより取得したＯＣＴ画像からモーションコントラストデータを生成する。ここで、モーションコントラストデータとは、測定対象の同一断面をＯＣＴで繰り返し撮影し、その撮影間における測定対象の時間的な変化を検出したデータであり、例えば、複素ＯＣＴ信号の位相やベクトル、強度の時間的な変化を差、比率、又は相関等から計算される。

また、ＯＣＴＡ画像は、表示に際して、取得された三次元ＯＣＴ画像から算出された三次元モーションコントラストデータを二次元平面に投影することにより二次元化したＯＣＴＡ正面画像として表示されることが通例となりつつある。これに関して、投影するモーションコントラストデータの深さ方向の範囲を指定することで二次元正面画像を生成する技術が特許文献１に開示されている。さらに、低解像度画像と高解像度画像を用いた機械学習により得られた人工知能エンジンで、低解像度画像から高解像度画像を生成する技術が特許文献２に開示されている。

特開２０１７－６１７９号公報特開２０１８－５８４１号公報

しかしながら、ＯＣＴを用いて得られたデータ（ＯＣＴデータ）又はモーションコントラストデータの解析処理等については、種々の面で改善の余地があり得る。例えば、ＯＣＴデータ又はモーションコントラストデータの解析処理を行う上で、特に、人工知能エンジンを用いて画像を補正する場合、過補正が起きてしまうなどの可能性があった。

そこで、本発明は、学習済モデルを用いた医用画像の画像処理による過補正を低減する画像処理装置、画像処理方法、及びプログラムを提供することを目的の一つとする。

本発明の少なくとも１つの実施態様に係る画像処理装置は、被検体の医用画像を学習データとした学習により得た学習済モデルを用いて、被検体の医用画像の第１の画像に対して高画質化処理を行い、被検体の医用画像の第２の画像を取得する高画質化部と、被検体の医用画像における対象領域を検出する検出部と、前記第２の画像における対象領域に対して、対象領域の画素値と対象領域以外の領域の画素値との差が広がるように且つ対象領域の画素値がより低くなるように画像処理を行う画像処理部とを備える。

本発明の少なくとも１つの実施態様によれば、学習済モデルを用いた医用画像の画像処理による過補正を低減することができる。

第１の実施形態に係るＯＣＴ装置の概略的な構成を示すブロック図である。第１の実施形態に係る撮影装置の概略的な構成を説明する図である。第１の実施形態に係る高画質化部の概略的な構成を示すブロック図である。高画質化エンジンに関するニューラルネットワークの構成の一例を示す。高画質化処理に関する学習データの一例を示す。高画質化処理に関する入力画像の一例を示す。第１の実施形態に係る画像処理の概略的な流れを示すフロー図である。第１の実施形態に係る画像処理の流れの一例を示すフロー図である。第１の実施形態に係る画像処理の流れの一例を示すフロー図である。第１の実施形態に係る画像処理の流れの一例を示すフロー図である。第１の実施形態に係る画像処理の流れの一例を示すフロー図である。第１の実施形態に係る画像処理の流れの一例を示すフロー図である。第１の実施形態に係る画像処理の流れの一例を示すフロー図である。第２の実施形態に係る画像処理の概略的な流れを示すフロー図である。変形例８に係る機械学習モデルの一例を示す。変形例８に係る機械学習モデルの一例を示す。

以下、本発明を実施するための例示的な実施形態を、図面を参照して詳細に説明する。ただし、以下の実施形態で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。また、以下において、眼軸方向をＺ、眼底平面水平方向をＸ、眼底平面垂直方向をＹと記述する。

なお、以下において、機械学習モデルとは、機械学習アルゴリズムによる学習モデルをいう。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて以下の実施形態及び変形例に適用することができる。また、教師データとは、学習データのことをいい、入力データ及び出力データのペアで構成される。また、正解データとは、学習データ（教師データ）の出力データのことをいう。

なお、学習済モデルとは、ディープラーニング等の任意の機械学習アルゴリズムに従った機械学習モデルに対して、事前に適切な教師データ（学習データ）を用いてトレーニング（学習）を行ったモデルをいう。ただし、学習済モデルは、事前に適切な学習データを用いて得ているが、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。追加学習は、装置が使用先に設置された後も行われることができる。

（第１の実施形態）
以下、図１乃至１３を参照して、本発明の第１の実施形態に係る画像処理システムについて詳細に説明する。本実施形態では、画像処理システムの例として、ＯＣＴによって取得した被検体の断層画像に対して処理を行う画像処理装置を備えるＯＣＴ装置について説明する。

（画像処理装置の構成）
本実施形態に係る画像処理装置１０１の構成と他機器との接続について図１を参照して説明する。画像処理装置１０１は、撮影装置１００、外部記憶装置１０２、出力部１０３、及び入力部１０４に接続されている。なお、これらの接続は、有線接続であってもよいし、無線接続であってもよい。また、これらの接続はネットワークを介した接続であってもよい。例えば、画像処理装置１０１はインターネット等のネットワークを介して撮影装置１００に接続されてよい。また、例えば、外部記憶装置１０２をインターネット等のネットワーク上に置き、データを複数の画像処理装置で共有できるように構成してもよい。

画像処理装置１０１には、機能ブロックである、取得部１０１－１、撮影制御部１０１－２、画像処理部１０１－４、及び表示制御部１０１－５、並びに記憶部１０１－３が設けられている。画像処理装置１０１は、プロセッサーやメモリ等を含む一般的なコンピュータを用いて構成することができるが、ＯＣＴ装置の専用のコンピュータとして構成されてもよい。ここで、画像処理装置１０１は、ＯＣＴ装置の内蔵（内部）のコンピュータであってもよいし、ＯＣＴ装置が通信可能に接続された別体（外部）のコンピュータであってもよい。また、画像処理装置１０１は、例えば、パーソナルコンピュータであってもよく、デスクトップＰＣや、ノート型ＰＣ、タブレット型ＰＣ（携帯型の情報端末）が用いられてもよい。なお、プロセッサーは、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）であってよい。また、プロセッサーは、例えば、ＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＧＰＵ（ＧｒａｐｈｉｃａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等であってもよい。

画像処理装置１０１の各機能は、ＣＰＵやＭＰＵ等のプロセッサーが記憶部１０１－３に記憶されたソフトウェアモジュールを実行することで実現されてよい。なお、プロセッサーは、例えば、ＧＰＵやＦＰＧＡ等であってもよい。また、各機能は、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。例えば、画像処理部１０１－４をＡＳＩＣ等の専用のハードウェアで実現してもよいし、表示制御部１０１－５をＣＰＵとは異なるＧＰＵ等の専用のプロセッサーを用いて実現してもよい。記憶部１０１－３は、例えば、ハードディスク等の光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。

取得部１０１－１は、被検体を撮影装置１００により撮影して得たＳＬＯ像や断層像、前眼部像等の信号データやＳＬＯ画像や断層画像、前眼観察画像等の画像、患者情報等を取得する機能ブロックである。また、取得部１０１－１は、取得した信号データを用いてＳＬＯ画像や断層画像、前眼観察画像等の画像を生成することができる。取得部１０１－１には、断層画像生成部１０１－１１及びモーションコントラストデータ生成部１０１－１２が設けられている。なお、取得部１０１－１は、画像処理装置１０１に接続されたサーバ等の不図示の外部装置から画像を含む各種データを取得してもよい。ここで、画像処理装置１０１と不図示の外部装置はインターネット等の任意のネットワークを介して接続されていてもよい。また、取得部１０１－１は、記憶部１０１－３に記憶された各種データを取得してもよい。

断層画像生成部１０１－１１は、取得された断層像の信号データ（干渉信号）に信号処理を行って断層画像を生成し、生成した断層画像を記憶部１０１－３に記憶させる。なお、干渉信号から断層画像を生成する手法は、公知の任意の手法を用いてよい。

モーションコントラストデータ生成部１０１－１２は、断層画像生成部１０１－１１が生成した略同一位置（被検体における互いに対応する領域）の複数の断層画像に基づいて、モーションコントラストデータを生成する。以下、モーションコントラストデータの生成方法について説明する。

まず、断層画像生成部１０１－１１が、被検体の略同一位置を複数回撮影して取得した複数の干渉信号から、複数の断層画像を生成する。ここで、モーションコントラストデータを生成するために被検体の略同一位置を複数回撮影する際の測定光の走査群を１クラスタという。また、被検体の同一位置を複数回撮影して取得した複数の干渉信号に対応する複数の断層画像を１クラスタ（１群）分の断層画像という。より具体的には、断層画像生成部１０１－１１は、取得部１０１－１が取得した複数の干渉信号に対して、波数変換、高速フーリエ変換（ＦＦＴ：ＦａｓｔＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ）、及び絶対値変換（振幅の取得）を行うことで、１クラスタ分の断層画像を生成する。なお、断層画像の生成方法はこれに限られず、その他の画像処理を行う公知の任意の手法を用いてもよい。

次に、後述する画像処理部１０１－４の位置合わせ部１０１－４１は、同一クラスタに属する断層画像同士を位置合わせし、重ね合わせ処理を行う。その後、後述する画像処理部１０１－４の画像特徴取得部１０１－４４が、該重ね合わせ断層画像から層境界データを取得する。本実施形態では層境界の取得法として可変形状モデルを用いるが、公知の任意の層境界取得手法を用いてもよい。なお、層境界の取得処理は必須ではなく、例えばモーションコントラスト画像の生成を三次元のみで行い、深度方向に投影した二次元のモーションコントラスト画像を生成しない場合には層境界の取得処理は省略できる。

モーションコントラストデータ生成部１０１－１２は、同一クラスタ内の隣接する断層画像間でモーションコントラストデータを算出する。本実施形態では、モーションコントラストデータ生成部１０１－１２は、モーションコントラストデータとして脱相関値Ｍｘｚを以下の式（１）に基づき求める。

ここで、Ａｘｚは断層画像データＡの位置（ｘ，ｚ）における（ＦＦＴ処理後の複素数データの）振幅、Ｂｘｚは断層データＢの同一位置（ｘ，ｚ）における振幅を示している。０≦Ｍｘｚ≦１であり、両振幅値の差異が大きいほど１に近い値をとる。モーションコントラストデータ生成部１０１－１２は、式（１）のような脱相関演算処理を（同一クラスタに属する）任意の時間的に隣接する断層画像間で行う。なお、脱相関演算処理を行う断層画像は所定の期間内の画像であれば、必ずしも時間的に隣接していなくてもよい。モーションコントラストデータ生成部１０１－１２は、得られた（１クラスタあたりの断層画像数－１）個のモーションコントラストデータの値の平均を画素値として持つ画像を最終的なモーションコントラスト画像として生成する。

なお、ここではＦＦＴ処理後の複素数データの振幅に基づいてモーションコントラストデータを計算したが、モーションコントラストデータの計算法は上記に限定されない。例えば、複素数データの位相情報に基づいてモーションコントラストデータを計算してもよいし、振幅と位相の両方の情報に基づいてモーションコントラストデータを計算してもよい。あるいは、複素数データの実部や虚部に基づいてモーションコントラストデータを計算してもよい。

また、本実施形態ではモーションコントラストデータとして脱相関値を計算したが、モーションコントラストデータの計算法はこれに限定されず、公知の任意の計算法を用いてよい。例えば、二つの値の差分に基づいてモーションコントラストデータを計算してもよいし、二つの値の比に基づいてモーションコントラストデータを計算してもよい。また、モーションコントラストデータは、例えば、２枚の断層画像又はこれに対応する干渉信号間の分散値、又は最大値を最小値で割った値（最大値／最小値）として求めることもできる。これらの算出方法は、公知の任意の方法を用いてよい。

また、略同一位置を測定光が複数回走査されるように走査手段を制御する際に、１つの走査（１つのＢスキャン）と次の走査（次のＢスキャン）との時間間隔（タイムインターバル）が変更（決定）されるように構成されてもよい。これにより、例えば、血管の状態によって血流速度が異なる場合があっても、血管領域を精度よく可視化することができる。

このとき、例えば、操作者（検者）からの指示に応じて、上記時間間隔が変更可能に構成されてもよい。また、例えば、操作者からの指示に応じて、予め設定されている複数の時間間隔に対応する複数のモーションコントラスト画像から、いずれかのモーションコントラスト画像が選択可能に構成されてもよい。さらに、例えば、モーションコントラストデータを取得した際の時間間隔と該モーションコントラストデータとを対応づけて記憶部１０１－３に記憶可能に構成されてもよい。また、例えば、表示制御部１０１－５が、モーションコントラストデータを取得した際の時間間隔と該モーションコントラストデータに対応するモーションコントラスト画像とを出力部１０３に表示させてもよい。さらに、例えば、上記時間間隔が自動的に決定、あるいは上記時間間隔の少なくとも１つの候補が決定されるように構成されてもよい。このとき、例えば、機械学習モデルを用いて、モーションコントラスト画像から、上記時間間隔が決定（出力）されるように構成されてもよい。このような機械学習モデルは、例えば、複数の時間間隔に対応する複数のモーションコントラスト画像を入力データとし、該複数の時間間隔から所望のモーションコントラスト画像を取得した際の時間間隔までの差を正解データとする学習データを学習することにより得ることができる。

さらに、ここでは、取得された複数の脱相関値の平均値を求めることで最終的なモーションコントラスト画像の画素値を得ているが、最終的な画素値はこれに限定されない。例えば、取得された複数の脱相関値の中央値、又は最大値を画素値として持つ画像を最終的なモーションコントラスト画像として生成してもよい。

撮影制御部１０１－２は、撮影装置１００に対する撮影制御を行う機能ブロックである。例えば、撮影制御部１０１－２は、撮影装置１００に含まれる光源、走査部、及び焦点合わせ用のレンズの駆動装置等の駆動制御を行うことができる。撮影制御部１０１－２は、後述する撮影装置１００のステージ部１００－２等のアライメント動作の制御を行うことができる。さらに、撮影制御部１０１－２は、撮影装置１００に対して撮影パラメータの設定に関して指示したり、撮影の開始又は終了に関して指示したりすることもできる。

記憶部１０１－３は、オペレーティングシステム（ＯＳ）、周辺機器のデバイスドライバ、及び後述する処理等を行うためのプログラムを含む各種アプリケーションソフトを実現するためのプログラムを記憶することができる。また、記憶部１０１－３は、取得部１０１－１によって取得された情報や、画像処理部１０１－４で処理された各種画像等を記憶することもできる。例えば、記憶部１０１－３は、取得部１０１－１により取得された断層画像等の医用画像を記憶したり、後述する高画質化部１０１－４７で高画質化された画像を記憶したりすることができる。

画像処理部１０１－４は、断層画像やモーションコントラスト画像、ＳＬＯ画像、前眼観察画像等の各種画像について画像処理を行う機能ブロックである。画像処理部１０１－４には、位置合わせ部１０１－４１、合成部１０１－４２、補正部１０１－４３、画像特徴取得部１０１－４４、投影部１０１－４５、解析部１０１－４６、及び高画質化部１０１－４７が設けられている。

位置合わせ部１０１－４１は、画像間の位置合わせ処理を行う機能ブロックである。例えば、位置合わせ部１０１－４１は、同一クラスタに属する断層画像同士を位置合わせし、重ね合わせ処理を行うことができる。なお、位置合わせ処理や重ね合わせ処理は、公知の任意の手法を用いて行われてよい。

合成部１０１－４２は、各複数の二次元画像から１つの画像を合成する機能ブロックである。合成部１０１－４２には、例えば、合成法指定部１０１－４２１、同一モダリティ画像合成部１０１－４２２、及び異種モダリティ画像合成部１０１－４２３が設けられている。

合成法指定部１０１－４２１は、合成対象画像の種類（例えば、断層画像／モーションコントラスト画像／断層画像及びモーションコントラスト画像）と、合成処理法（例えば、重ね合わせ／貼り合わせ／並置表示）を指定する。同一モダリティ画像合成部１０１－４２２は、例えば、断層画像間、又はモーションコントラスト画像間の合成処理を行う。異種モダリティ画像合成部１０１－４２３は、例えば、断層画像とモーションコントラスト画像間等の異なる種類のモダリティで得られた画像間の合成処理を行う。

補正部１０１－４３は、モーションコントラスト画像内に生じるプロジェクションアーチファクトを抑制する処理を行う機能ブロックである。ここで、プロジェクションアーチファクトは、網膜表層血管内のモーションコントラストが深層側（網膜深層や網膜外層、脈絡膜）に映り込み、実際には血管の存在しない深層側の領域に高い脱相関値が生じる現象を指す。例えば、補正部１０１－４３は、生成されたモーションコントラストデータにおけるプロジェクションアーチファクトを低減する処理を行う。このため、補正部１０１－４３は、生成されたモーションコントラストデータに対してプロジェクションアーチファクトを低減する処理を行う処理手段の一例に相当する。

画像特徴取得部１０１－４４は、断層画像やモーションコントラスト断層画像等から層境界データを取得する。具体的には、画像特徴取得部１０１－４４は、断層画像等について画像セグメンテーション処理を行い、被検眼の断層における層構造を抽出し、境界位置等の層境界データを取得する。なお、画像セグメンテーション処理の手法は、公知の任意の手法を用いてよい。

投影部１０１－４５は、設定された深度範囲で断層画像又はモーションコントラスト画像を投影又は積算し、輝度正面画像（輝度Ｅｎ－Ｆａｃｅ画像）又はＯＣＴＡ正面画像を生成する機能ブロックである。なお、深度範囲は、操作者の指示や画像特徴取得部１０１－４４が取得した層境界データに基づく２つの基準面を用いて設定されることができる。設定される深度範囲は任意の深度範囲であってよい。例えば、網膜表層及び網膜外層の深度範囲を設定し、合成部１０１－４２によって２種類の合成ＯＣＴＡ正面画像を生成することができる。

ここで、２つの基準面に基づいて設定された深度範囲に対応するデータを二次元平面に投影する手法としては、例えば、当該深度範囲内のデータの代表値を二次元平面上の画素値とする手法を用いることができる。代表値は、２つの基準面に囲まれた領域の深さ方向の範囲内における画素値の平均値、中央値又は最大値などの値を含むことができる。具体的には、投影法として、例えば、最大値投影（ＭＩＰ：ＭａｘｉｍｕｍＩｎｔｅｎｓｉｔｙＰｒｏｊｅｃｔｉｏｎ）又は平均値投影（ＡＩＰ：ＡｖｅｒａｇｅＩｎｔｅｎｓｉｔｙＰｒｏｊｅｃｔｉｏｎ）等を選択することができる。

また、正面画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の一方を基準として、より深い方向又はより浅い方向に所定の画素数分だけ含んだ範囲であってもよい。また、Ｅｎ－Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の間の範囲から、操作者の指示に応じて変更された（オフセットされた）範囲であってもよい。ここで、正面画像を生成するための深度範囲は、不図示の選択リスト等に表示された既定の深度範囲セットから操作者が選択することにより変更することができる。また、操作者は、投影範囲の指定に用いる層境界の種類とオフセット位置をユーザーインターフェース（ＵＩ）から変更したり、入力部１０４を操作して断層画像上に重畳された層境界データを移動させたりすることで、投影範囲を変更することもできる。

生成された輝度正面画像やＯＣＴＡ正面画像は、出力部１０３によって出力されることができる。なお、出力部１０３に出力されるモーションコントラスト画像は、ＯＣＴＡ正面画像に限定されるものではなく、三次元的にレンダリングした三次元モーションコントラスト画像や断層画像に対応するモーションコントラスト断層画像であってもよい。なお、生成されたモーションコントラスト画像等が出力部１０３によって表示される場合、上述した投影法やプロジェクションアーチファクト抑制処理の有無を、例えばコンテキストメニューのようなＵＩから選択することにより変更してもよい。例えば、プロジェクションアーチファクト抑制処理後のモーションコントラスト画像を三次元画像として表示してもよい。

また、解析部１０１－４６は、断層画像やモーションコントラスト画像等の各種画像の解析処理を行う機能ブロックである。解析部１０１－４６には、強調部１０１－４６１、抽出部１０１－４６２、計測部１０１－４６３、及び比較部１０１－４６４が設けられている。

強調部１０１－４６１は、例えば、操作者による指示に応じて、画像中の任意の領域のデータを強調する強調処理を行うことができる。抽出部１０１－４６２は、解析部１０１－４６によって用いられる画像における特徴部や領域等を抽出することができる。例えば、抽出部１０１－４６２は、断層画像から網膜や脈絡膜の層境界、篩状板の前面や後面の境界、中心窩や視神経乳頭中心の位置等を取得することができる。また、抽出部１０１－４６２は、ＯＣＴＡ正面画像から血管領域を抽出することができる。計測部１０１－４６３は、例えば、各種画像から解析すべき計測値を算出する。例えば、計測部１０１－４６３は特定の層の厚さを算出したり、抽出された該血管領域や該血管領域を細線化することで取得した血管中心線データを用いて血管密度等の計測値を算出したりすることができる。また、比較部１０１－４６４は、複数の断層画像や複数のモーションコントラスト画像等の複数の画像を比較することができる。さらに、比較部１０１－４６４は、計測部１０１－４６３によって算出された計測値等の複数の画像の解析結果を比較することもできる。

高画質化部１０１－４７は、各種画像を高画質化する機能ブロックである。このため、高画質化部１０１－４７は、例えば、断層画像やＯＣＴＡ正面画像等の医用画像を高画質化する高画質化部の一例である。なお、高画質化部１０１－４７の構成及び機能の詳細については後述する。

表示制御部１０１－５は、画像処理装置１０１に接続された出力部１０３の表示を制御することができる。表示制御部１０１－５は、例えば、出力部１０３に被検眼の断層画像や患者の情報等の各種データ等を表示させることができる。

外部記憶装置１０２は、断層撮影用のプログラムや患者情報、画像情報等を記憶することができる。例えば、外部記憶装置１０２は、患者情報（患者の氏名、年齢、及び性別等）や被検眼の情報（左眼、右眼、眼軸長等）と、撮影した画像（断層画像、ＳＬＯ画像、及びＯＣＴＡ画像等）や合成画像、撮影パラメータ、過去検査の画像データや計測データ、操作者が設定したパラメータなどとを関連付けて記憶することができる。

入力部１０４は、例えば、マウスやキーボード、タッチパネル等を含んで構成され、操作者は、入力部１０４を介して、画像処理装置１０１や撮影装置１００へ指示を行うことができる。出力部１０３は、画像処理装置１０１で処理した各種画像等のデータを出力することができる。出力部１０３は、任意のディスプレイ等で構成されることができ、表示制御部１０１－５による制御に基づいて、例えば被検体に関する患者情報や各種画像等を表示することができる。この場合、出力部１０３は、各種画像や情報を表示する表示部の一例として機能することができる。なお、出力部１０３はタッチＵＩ等を備えていてもよい。

なお、ＯＣＴ装置の一部の構成を別個の装置として構成してもよいし、一体的な装置として構成してもよい。例えば、出力部１０３をタッチパネル式のディスプレイとして入力部１０４と一体的に構成してもよい。

（撮影装置の構成）
撮影装置１００は、被検眼の断層画像やＳＬＯ画像等を得るために被検眼を撮影する装置である。以下、本実施形態に係る撮影装置１００における測定光学系及び分光器の構成について図１及び図２を参照して説明する。本実施形態においては、撮影装置１００としてＳＤ－ＯＣＴ（ＳｐｅｃｔｒａｌＤｏｍａｉｎＯＣＴ）の光学系を含む撮影装置を用いるものとする。これに限らず、例えばＳＳ－ＯＣＴやＴＤ－ＯＣＴ（ＴｉｍｅＤｏｍａｉｎＯＣＴ）等の光学系を含む撮影装置を用いて構成してもよい。

図１に示されるように、撮影装置１００には、測定光学系１００－１、ステージ部１００－２、及びベース部１００－３が設けられている。測定光学系１００－１は前眼部像、被検眼のＳＬＯ眼底像、及び断層像を取得するための光学系である。ステージ部１００－２は、測定光学系１００－１を前後左右に移動可能に保持し、撮影制御部１０１－２の制御に応じて測定光学系１００－１を移動させることができる。ベース部１００－３は、後述の分光器２３０を内蔵している。

図２を参照して、測定光学系１００－１の構成について説明する。測定光学系１００－１では、被検眼２００に対向して対物レンズ２０１が設置され、その光軸上に第１ダイクロイックミラー２０２及び第２ダイクロイックミラー２０３が配置されている。対物レンズ２０１からの光路は、これらのダイクロイックミラーによってＯＣＴ光学系用の光路２５０、ＳＬＯ光学系と固視灯用の光路２５１、及び前眼観察用の光路２５２とに波長帯域ごとに分岐される。

本実施形態では、第１ダイクロイックミラー２０２の反射方向に前眼観察用の光路２５２が配置され、第１ダイクロイックミラー２０２の透過方向にＯＣＴ光学系用の光路２５０及びＳＬＯ光学系と固視灯用の光路２５１が配置される。また、第２ダイクロイックミラー２０３の反射方向にＯＣＴ光学系用の光路２５０が配置され、第２ダイクロイックミラー２０３の透過方向にＳＬＯ光学系と固視灯用の光路２５１が配置される。ただし、ダイクロイックミラーに対する各光路の配置はそれぞれ逆であってもよい。

ＳＬＯ光学系と固視灯用の光路２５１には、ＳＬＯ走査部２０４、レンズ２０５，２０６、ミラー２０７、第３ダイクロイックミラー２０８、ＡＰＤ（ＡｖａｌａｎｃｈｅＰｈｏｔｏｄｉｏｄｅ）２０９、ＳＬＯ光源２１０、及び固視灯２１１が設けられている。ミラー２０７は、穴あきミラーや中空のミラーが蒸着されたプリズムを用いて構成され、ＳＬＯ光源２１０による照明光と、照明光の被検眼２００からの戻り光とを分離する。第３ダイクロイックミラー２０８は、第３ダイクロイックミラー２０８からの光路をＳＬＯ光源２１０の光路と固視灯２１１の光路とに波長帯域ごとに分岐させる。なお、本実施形態では、第３ダイクロイックミラー２０８の反射方向にＳＬＯ光源２１０の光路が配置され、第３ダイクロイックミラー２０８の透過方向に固視灯２１１が配置されている。ただし、ダイクロイックミラーに対する各光路の配置はそれぞれ逆であってもよい。

ＳＬＯ走査部２０４は、ＳＬＯ光源２１０から発せられた照明光を被検眼２００上で走査するものであり、Ｘ方向に走査するＸスキャナ、Ｙ方向に走査するＹスキャナから構成されている。ＳＬＯ走査部２０４は、撮影制御部１０１－２によって制御される。本実施形態では、Ｘスキャナは高速走査を行うポリゴンミラーで、Ｙスキャナはガルバノミラーによって構成されている。ただし、ＳＬＯ走査部２０４の構成はこれに限られず、Ｘスキャナ及びＹスキャナは所望の構成に応じて任意の偏向ミラーを用いて構成されてよい。

レンズ２０５は、ＳＬＯ光学系及び固視灯２１１の焦点合わせのため、不図示のモータによって光軸方向に駆動される。なお、レンズ２０５を駆動させるためのモータは、撮影制御部１０１－２によって制御される。

ＳＬＯ光源２１０は、７８０ｎｍ付近の波長の光を発生する。ＡＰＤ２０９は、被検眼２００からの戻り光を検出する。固視灯２１１は、可視光を発生して被検者の固視を促すものである。

ＳＬＯ光源２１０から発せられた照明光は、第３ダイクロイックミラー２０８で反射され、ミラー２０７を通過し、レンズ２０６，２０５を通ってＳＬＯ走査部２０４に至り、ＳＬＯ走査部２０４によって被検眼２００上で走査される。被検眼２００からの戻り光は、照明光と同じ経路を戻った後、ミラー２０７によって反射され、ＡＰＤ２０９へと導かれる。

ＡＰＤ２０９は、戻り光に基づいてＳＬＯ眼底像の信号データを生成し、画像処理装置１０１に出力する。画像処理装置１０１の取得部１０１－１はＡＰＤ２０９から出力された信号データに基づいてＳＬＯ画像を生成する。なお、ＳＬＯ光源２１０から発せられた照明光を、被検眼２００の眼底上で走査することで被検眼２００の眼底のＳＬＯ画像を取得することができる。これに対し、ＳＬＯ光源２１０から発せられた照明光を、被検眼の前眼部を走査することで被検眼２００の前眼部のＳＬＯ画像を取得することもできる。

固視灯２１１から発せられた光は、第３ダイクロイックミラー２０８、ミラー２０７を透過し、レンズ２０６，２０５を通り、ＳＬＯ走査部２０４によって被検眼２００上の任意の位置に所定の形状を作る。固視灯２１１から発せられた光を被検者に注視させることで、被検者の固視を促すことができる。

前眼観察用の光路２５２には、レンズ２１２，２１３、スプリットプリズム２１４、及び赤外光を検知する前眼部観察用のＣＣＤ２１５が配置されている。ＣＣＤ２１５は、不図示の前眼部観察用照射光の波長、具体的には９７０ｎｍ付近に感度を持つものである。ＣＣＤ２１５から出力されたデータ信号は画像処理装置１０１へ出力され、画像処理装置１０１は入力された信号データに基づいて前眼部観察画像を生成することができる。

スプリットプリズム２１４は、被検眼２００の瞳孔と共役な位置に配置されている。画像処理装置１０１は、スプリットプリズム２１４を通った光に基づく前眼部のスプリット像を用いて、被検眼２００に対する測定光学系１００－１のＺ軸方向（光軸方向）の距離を検出できる。

ＯＣＴ光学系用の光路２５０にはＯＣＴ光学系が設けられており、ＯＣＴ光学系は被検眼２００の断層画像を撮影するために用いられる。より具体的には、ＯＣＴ光学系は、断層画像を生成するための干渉信号を得るために用いられる。ＯＣＴ光学系用の光路２５０には、ＸＹスキャナ２１６、レンズ２１７，２１８、及び光ファイバー２２４が設けられている。

ＸＹスキャナ（ＯＣＴ走査部）２１６は、測定光を被検眼２００上で走査するためのものである。ＸＹスキャナ２１６は、撮影制御部１０１－２によって制御される。ＸＹスキャナ２１６は、図２では１枚のミラーとして図示されているが、実際はＸＹ２軸方向の走査を行うガルバノミラーである。ただし、ＸＹスキャナ２１６の構成はこれに限られず、所望の構成に応じて任意の偏向ミラーを用いて構成されてよい。例えば、ＸＹスキャナ２１６は、１枚で２次元方向に測定光を走査可能なＭＥＭＳミラー等の任意の偏向手段を用いて構成されてよい。

レンズ２１７は、光カプラー２１９に接続されている光ファイバー２２４から出射する測定光を、被検眼２００に焦点合わせするために不図示のモータによって光軸方向に駆動される。この焦点合わせによって、測定光の被検眼２００からの戻り光は同時に光ファイバー２２４の先端に、スポット状に結像されて入射されることとなる。なお、レンズ２１７を駆動させるためのモータは、撮影制御部１０１－２によって制御される。

次に、ＯＣＴ光源２２０からの光路と参照光学系、分光器の構成について説明する。ＯＣＴ光学系には、ＯＣＴ光源２２０、参照ミラー２２１、分散補償ガラス２２２、レンズ２２３、光カプラー２１９、光カプラーに接続されて一体化しているシングルモードの光ファイバー２２４～２２７、分光器２３０が更に設けられている。ＯＣＴ光学系は、これらの構成によってマイケルソン干渉計を構成している。

ＯＣＴ光源２２０は、代表的な低コヒーレント光源であるＳＬＤ（ＳｕｐｅｒＬｕｍｉｎｅｓｃｅｎｔＤｉｏｄｅ）である。中心波長は８５５ｎｍ、波長バンド幅は約１００ｎｍである。ここで、バンド幅は、得られる断層画像の光軸方向の分解能に影響するため、重要なパラメータである。光源の種類は、ここではＳＬＤを選択したが、低コヒーレント光が出射できればよく、ＡＳＥ（ＡｍｐｌｉｆｉｅｄＳｐｏｎｔａｎｅｏｕｓＥｍｉｓｓｉｏｎ）等を用いることができる。中心波長は眼を測定することを鑑みると近赤外光が適する。また、中心波長は得られる断層画像の横方向の分解能に影響するため、なるべく短波長であることができる。本実施形態では、双方の理由からＯＣＴ光源２２０の中心波長を８５５ｎｍとした。

ＯＣＴ光源２２０から出射された光は、光ファイバー２２５を通じ、光カプラー２１９を介して光ファイバー２２４側に入射される測定光と、光ファイバー２２６側に入射される参照光とに分割される。測定光は、ＯＣＴ光学系用の光路２５０を通じて、観察対象である被検眼２００に照射され、被検眼２００による反射や散乱により同じ光路を通じて戻り光として光カプラー２１９に到達する。一方、参照光は光ファイバー２２６、レンズ２２３、及び測定光と参照光の波長分散を合わせるために挿入された分散補償ガラス２２２を介して参照ミラー２２１に到達し反射される。参照ミラー２２１で反射された参照光は同じ光路を戻り、光カプラー２１９に到達する。

測定光と参照光は、光カプラー２１９によって合波され干渉光となる。ここで、測定光と参照光は、測定光の光路長と参照光の光路長がほぼ同一となったときに干渉を生じる。参照ミラー２２１は、撮影制御部１０１－２により制御される不図示のモータ及び駆動機構によって光軸方向に調整可能に保持され、測定光の光路長に参照光の光路長を合わせることが可能である。干渉光は光ファイバー２２７を介して分光器２３０に導かれる。

また、光ファイバー２２４，２２６中には偏光調整部２２８，２２９が設けられている。偏光調整部２２８，２２９は、それぞれ測定光及び参照光の偏光調整を行う。偏光調整部２２８，２２９は、光ファイバーをループ状に引きまわした部分を幾つか持っている。偏光調整部２２８，２２９では、このループ状の部分を光ファイバーの長手方向を中心として回転させることで光ファイバーに捩じりを加え、測定光と参照光の偏光状態を各々調整して合わせることができる。

分光器２３０には、レンズ２３２，２３４、回折格子２３３、及びラインセンサ２３１が設けられている。光ファイバー２２７から出射された干渉光は、レンズ２３４を介して平行光となった後、回折格子２３３で分光され、レンズ２３２によってラインセンサ２３１に結像される。

干渉光は、ラインセンサ２３１によって、波長毎の強度情報として計測される。ラインセンサ２３１によって計測された波長毎の強度情報は、画像処理装置１０１に断層像の信号データ（干渉信号）として出力される。画像処理装置１０１は、受け取った信号データを用いて被検眼２００の断層画像を生成することができる。

本実施形態では、干渉計としてマイケルソン干渉計を用いたが、マッハツェンダー干渉計を用いてもよい。例えば、測定光と参照光との光量差に応じて、光量差が大きい場合にはマッハツェンダー干渉計を、光量差が比較的小さい場合にはマイケルソン干渉計を用いることができる。

（高画質化処理）
以下、具体的にＯＣＴで取得したモーションコントラストデータを対象とする高画質化処理について説明するが、実施形態の説明の中で使用する用語について簡単に定義しておく。まず、干渉信号やこれに基づく輝度の断層画像に関する三次元ボリュームデータの情報をＯＣＴデータ、モーションコントラストに関する三次元ボリュームデータの情報をＯＣＴＡデータと表記する。また、干渉信号やこれに基づく輝度の断層画像に関する三次元ボリュームデータから取り出せる二次元情報をＯＣＴ画像、モーションコントラストに関する三次元ボリュームデータから取り出せる二次元情報をＯＣＴＡ画像とする。特に、指定した深さ方向の範囲で、干渉信号やこれに基づく輝度の断層画像に関する三次元ボリュームデータを投影又は積算して生成した画像をＯＣＴ正面画像（輝度Ｅｎ－Ｆａｃｅ）と表記する。また、モーションコントラストに関する三次元ボリュームデータを投影又は積算して生成した画像をＯＣＴＡ正面画像と表記する。さらに、深さ方向のデータを含む二次元画像を断層画像と表記する。

（高画質化部）
図３は、高画質化部１０１－４７のより詳細な構成を示すブロック図である。高画質化部１０１－４７には、高画質化処理部３０１、領域検出部３０２、ＲＯＩ設定部３０３、ブレンド処理部３０４、及びＢＣ調整部３０５が設けられている。

高画質化処理部３０１は、取得部１０１－１によって取得された医用画像について、後述する高画質化用の学習済モデル（高画質化エンジン、高画質化モデル）を用いて高画質化処理を行い、高画質画像を生成する。高画質化処理部３０１は、被検体の医用画像を学習データとした学習により得た学習済モデルを用いて、被検体の医用画像（第１の画像）に対して高画質化処理を行い、被検体の高画質画像（第２の画像）を取得する高画質化部の一例として機能することができる。なお、高画質化処理する医用画像は、ＯＣＴ画像、ＯＣＴＡ画像、断層画像、ＯＣＴ正面画像、ＯＣＴＡ正面画像、ＳＬＯ画像、及び前眼観察画像及びこれら画像を解析して得た解析マップ等の画像であってよい。

領域検出部３０２は、後述する領域検出用の学習済モデル（領域検出エンジン、領域検出モデル）を用いて医用画像又は高画質化された医用画像に対して領域検出処理を行い、少なくとも１つの領域（例えば、対象領域）を検出する。例えば、領域検出部３０２は、対象領域及び対象領域以外の領域を検出することができる。領域検出部３０２は、被検体の医用画像又は高画質画像における対象領域を検出する検出部の一例として機能することができる。例えば、領域検出部３０２は、領域検出エンジンを用いてＯＣＴＡ正面画像から灌流領域と無灌流領域を検出する。眼底の診断においては、灌流領域と無灌流領域を特定することで、血管があるべきところに血流がない、あるいは血管がないはずのところに何らかの血流が認められるか（新生血管など）を判断することができる。なお、対象領域は、灌流領域及び無灌流領域に限られず、高画質化エンジンにより過補正が生じる領域を含んだものであればよい。例えば、対象領域は、灌流領域及び無灌流領域のほかに中心窩無血管領域や視神経乳頭部等を含んでもよい。

なお、領域の分類は、それぞれの領域を示す属性情報（ラベル）で管理すればよい。例えば、領域検出部３０２は、医用画像の各画素位置に対応する画素値として属性情報を有するラベル画像を生成してもよい。また、属性情報に加えて、領域検出エンジンから出力されたそれぞれの属性情報に関する確からしさ（信頼度、確率）を示す値を医用画像の各画素に対応付けて保持してもよい。

ＲＯＩ設定部３０３は、領域検出部３０２で検出された領域に基づいてＲＯＩ（ＲｅｇｉｏｎＯｆＩｎｔｅｒｅｓｔ）を設定する。なお、ＲＯＩは、領域検出部３０２で検出された領域（対象領域）のうちの少なくとも１つの領域とすることができる。なお、ＲＯＩは、領域検出部３０２によって所定の属性情報を有する領域として自動的に設定されてもよく、この場合にはＲＯＩ設定部３０３は省略されてよい。

ブレンド処理部３０４は、例えば、所定の属性情報を有する領域である設定されたＲＯＩに対して、医用画像及び医用画像の高画質画像を用いて画像処理の一種であるブレンド処理を行う。ブレンド処理としては、例えば、αブレンド処理等の公知の任意の処理を用いてよい。ブレンド処理部３０４は、医用画像又は高画質画像における対象領域に対して、対象領域の画素値と対象領域以外の領域の画素値との差が広がるように且つ対象領域の画素値がより低くなるように画像処理を行う画像処理部の一例として機能することができる。

ＢＣ調整部３０５は、例えば、所定の属性情報を有する領域である設定されたＲＯＩに対して、明るさ及びコントラストの少なくとも一方の補正処理であるＢＣ（Ｂｒｉｇｈｔｎｅｓｓ，Ｃｏｎｔｒａｓｔ）調整処理を行う。ここで、コントラストの補正処理とは、公知の任意のコントラスト補正処理を含んでよく、例えば、トーンカーブ又はガンマカーブを用いた補正やレベル補正を含んでよい。ＢＣ調整部３０５も、医用画像又は高画質画像における対象領域に対して、対象領域の画素値と対象領域以外の領域の画素値との差が広がるように且つ対象領域の画素値がより低くなるように画像処理を行う画像処理部の一例として機能することができる。

なお、ブレンド処理部３０４及びＢＣ調整部３０５はいずれか一方のみが設けられてもよい。また、ブレンド処理部３０４及びＢＣ調整部３０５の両方が設けられる場合には、画像処理装置１０１は、操作者による指示に応じて、実行するべき画像処理としてブレンド処理及びＢＣ調整処理のいずれか又は両方を選択できるように構成されてもよい。なお、ブレンド処理及びＢＣ調整処理の両方を実行する場合には、画像処理装置１０１は、それぞれの画像処理を施した画像をＵＩ等の操作に応じて切り替えて又は並べて出力部１０３に表示させるように構成されてもよい。

（医用画像の高画質化エンジン）
以下、高画質化処理部３０１が用いる高画質化エンジンについて図４乃至図７を参照して説明する。なお、本実施形態では高画質化エンジンは記憶部１０１－３に記憶される構成とするが、高画質化エンジンは、画像処理装置１０１に接続される外部装置に設けられてもよい。この場合、高画質化処理部３０１は、外部装置に設けられた高画質化エンジンを用いて高画質化処理を行うことができる。

本実施形態に係る高画質化エンジンは、機械学習アルゴリズムに係るトレーニング（学習）を行って得た学習済モデルである。本実施形態では、機械学習アルゴリズムに係る機械学習モデルのトレーニングに、処理対象として想定される特定の撮影条件を持つ低画質画像である入力データと、入力データに対応する高画質画像である出力データのペア群で構成された学習データを用いる。なお、特定の撮影条件には、具体的には、予め決定された撮影部位、撮影方式、撮影画角、及び画像サイズ等が含まれる。

ここで、一般的な学習済モデルについて簡単に説明する。学習済モデルとは、任意の機械学習アルゴリズムに対して、事前に適切な学習データを用いてトレーニング（学習）を行った機械学習モデルである。学習データは、一つ以上の、入力データと出力データ（正解データ）とのペア群で構成される。なお、学習データを構成するペア群の入力データと出力データの形式や組み合わせは、一方が画像で他方が数値であったり、一方が複数の画像群で構成され他方が文字列であったり、双方が画像であったりする等、所望の構成に適したものであってよい。

具体的には、例えば、ＯＣＴによって取得された画像と、該画像に対応する撮影部位ラベルとのペア群によって構成された学習データ（以下、第１の学習データ）が挙げられる。なお、撮影部位ラベルは部位を表すユニークな数値や文字列である。また、その他の学習データの例として、ＯＣＴの通常撮影によって取得されたノイズの多い低画質画像と、ＯＣＴにより複数回撮影して高画質化処理した高画質画像とのペア群によって構成されている学習データ（以下、第２の学習データ）等が挙げられる。

このとき、学習済モデルに入力データを入力すると、該学習済モデルの設計に従った出力データが出力される。学習済モデルは、例えば、学習データを用いてトレーニングされた傾向に従って、入力データに対応する可能性の高い出力データを出力する。また、学習済モデルは、例えば、学習データを用いてトレーニングされた傾向に従って、出力データの種類のそれぞれについて、入力データに対応する確からしさ（信頼度、確率）を数値として出力する等を行うことができる。

具体的には、例えば、第１の学習データでトレーニングされた機械学習モデルにＯＣＴによって取得された画像を入力すると、機械学習モデルは、該画像に撮影されている撮影部位の撮影部位ラベルを出力したり、撮影部位ラベル毎の確率を出力したりする。また、例えば、第２の学習データでトレーニングされた機械学習モデルにＯＣＴの通常撮影によって取得されたノイズの多い低画質画像を入力すると、機械学習モデルは、ＯＣＴにより複数回撮影して高画質化処理された画像相当の高画質画像を出力する。なお、機械学習モデルについては、品質保持の観点から、自身が出力した出力データを学習データとして用いないように構成することもできる。

また、機械学習アルゴリズムは、畳み込みニューラルネットワーク（ＣＮＮ：ＣｏｎｖｏｌｕｔｉｏｎＮｅｕｒａｌＮｅｔｗｏｒｋ）等のディープラーニングに関する手法を含む。ディープラーニングに関する手法においては、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、学習データを用いてトレーニングされた傾向を出力データに再現可能な程度が異なる場合がある。例えば、第１の学習データを用いたディープラーニングの機械学習モデルにおいては、より適切なパラメータが設定されていると、正しい撮影部位ラベルを出力する確率がより高くなる場合がある。また、例えば、第２の学習データを用いたディープラーニングの機械学習モデルにおいては、より適切なパラメータが設定されていると、より高画質な画像を出力できる場合がある。

具体的には、ＣＮＮにおけるパラメータは、例えば、畳み込み層に対して設定される、フィルタのカーネルサイズ、フィルタの数、ストライドの値、及びダイレーションの値、並びに全結合層の出力するノードの数等を含むことができる。なお、パラメータ群やトレーニングのエポック数は、学習データに基づいて、学習済モデルの利用形態に好ましい値に設定することができる。例えば、学習データに基づいて、正しい撮影部位ラベルをより高い確率で出力したり、より高画質な画像を出力したりできるパラメータ群やエポック数を設定することができる。

このようなパラメータ群やエポック数の決定方法の一つを例示する。まず、学習データを構成するペア群の７割をトレーニング用とし、残りの３割を評価用としてランダムに設定する。次に、トレーニング用のペア群を用いて機械学習モデルのトレーニングを行い、トレーニングの各エポックの終了時に、評価用のペア群を用いてトレーニング評価値を算出する。トレーニング評価値とは、例えば、各ペアを構成する入力データをトレーニング中の機械学習モデルに入力したときの出力と、入力データに対応する出力データとを損失関数によって評価した値群の平均値である。最後に、最もトレーニング評価値が小さくなったときのパラメータ群及びエポック数を、当該機械学習モデルのパラメータ群やエポック数として決定する。なお、このように、学習データを構成するペア群をトレーニング用と評価用とに分けてエポック数の決定を行うことによって、機械学習モデルがトレーニング用のペア群に対して過学習してしまうことを防ぐことができる。

ここで、本実施形態に係る高画質化エンジンは、入力された低画質画像を高画質化した高画質画像を出力するモジュールとして構成される。ここで、本明細書における高画質化とは、入力された画像を画像診断により適した画質の画像に変換することをいい、高画質画像とは、画像診断により適した画質の画像に変換された画像をいう。また、低画質画像とは、例えば、Ｘ線撮影、ＣＴ、ＭＲＩ、ＯＣＴ、ＰＥＴ、若しくはＳＰＥＣＴ等により取得された二次元画像や三次元画像、又は連続撮影したＣＴの三次元動画像等の特に高画質になるような設定をされずに撮影されたものである。具体的には、低画質画像は、例えば、Ｘ線撮影装置やＣＴによる低線量での撮影や、造影剤を使用しないＭＲＩによる撮影、ＯＣＴの短時間撮影等によって取得される画像、及び少ない撮影回数で取得されたＯＣＴＡ画像等を含む。

また、ノイズが少なかったり、高コントラストであったりする高画質画像を、ＯＣＴＡ等の画像の血管解析処理や、ＣＴやＯＣＴ等の画像の領域セグメンテーション処理等の画像解析に利用すると、低画質画像を利用するよりも精度よく解析が行えることが多い。そのため、高画質化エンジンによって出力された高画質画像は、画像診断だけでなく、画像解析にも有用である場合がある。

また、画像診断に適した画質の内容は、各種の画像診断で何を診断したいのかということに依存する。そのため一概には言えないが、例えば、画像診断に適した画質は、ノイズが少なかったり、高コントラストであったり、撮影対象を観察しやすい色や階調で示していたり、画像サイズが大きかったり、高解像度であったりする画質を含む。また、画像生成の過程で描画されてしまった実際には存在しないオブジェクトやグラデーションが画像から除去されているような画質を含むことができる。

本実施形態における高画質化処理部３０１による高画質化手法を構成する画像処理手法では、ディープラーニング等の各種機械学習アルゴリズムを用いた処理を行う。なお、当該画像処理手法では、機械学習アルゴリズムを用いた処理に加えて、各種画像フィルタ処理、類似画像に対応する高画質画像のデータベースを用いたマッチング処理、及び知識ベース画像処理等の既存の任意の処理を行ってもよい。

以下、図４を参照して、本実施形態に係る高画質化エンジンに係るＣＮＮの構成例を説明する。図４は、高画質化エンジンの構成の一例を示している。図４で示す構成は、入力値群を加工して出力する処理を担う、複数の層群によって構成される。なお、当該構成に含まれる層の種類としては、図４に示すように、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、ダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）層、アップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）層、及び合成（Ｍｅｒｇｅｒ）層がある。

畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、及びダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、フィルタのカーネルサイズの次元数も変更してもよい。ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理である。具体的には、例えば、ＭａｘＰｏｏｌｉｎｇ処理がある。アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理である。具体的には、例えば、線形補間処理がある。合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。

このような構成では、入力された画像Ｉｍ４１０を構成する画素値群が畳み込み処理ブロックを経て出力された値群と、入力された画像Ｉｍ４１０を構成する画素値群が、合成層で合成される。その後、合成された画素値群は最後の畳み込み層で高画質画像Ｉｍ４２０に成形される。なお、図示はしないが、ＣＮＮの構成の変更例として、例えば、畳み込み層の後にバッチ正規化（ＢａｔｃｈＮｏｒｍａｌｉｚａｔｉｏｎ）層や、正規化線形関数（ＲｅｃｔｉｆｉｅｒＬｉｎｅａｒＵｎｉｔ）を用いた活性化層を組み込む等をしてもよい。

ここで、ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合には、ＧＰＵで処理を行うことが有効である。そこで、本実施形態では、学習部の一例である画像処理部１０１－４による処理には、ＣＰＵに加えてＧＰＵを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、学習部の処理では、ＣＰＵ又はＧＰＵのみにより演算が行われてもよい。また、高画質化処理部３０１についても、学習部と同様にＧＰＵを用いて実現してもよい。

また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。

なお、ＣＮＮを用いた画像処理等、一部の画像処理手法を利用する場合には画像サイズについて注意する必要がある。具体的には、高画質画像の周辺部が十分に高画質化されない問題等の対策のため、入力する低画質画像と出力する高画質画像とで異なる画像サイズを要する場合があることに留意すべきである。

明瞭な説明のため、本実施形態において明記はしないが、高画質化エンジンに入力される画像と出力される画像とで異なる画像サイズを要する高画質化エンジンを採用した場合には、適宜画像サイズを調整しているものとする。具体的には、機械学習モデルをトレーニングするための学習データに用いる画像や、高画質化エンジンに入力される画像といった入力画像に対して、パディングを行ったり、該入力画像の周辺の撮影領域を結合したりして、画像サイズを調整する。なお、パディングを行う領域は、効果的に高画質化できるように高画質化手法の特性に合わせて、一定の画素値で埋めたり、近傍画素値で埋めたり、ミラーパディングしたりする。

また、高画質化処理部３０１による高画質化手法は、一つの画像処理手法だけで実施されてもよいし、二つ以上の画像処理手法を組み合わせて実施されてもよい。また、複数の高画質化手法群を並列に実施し、複数の高画質画像群を生成した上で、最も高画質な高画質画像を最終的に高画質画像として選択してもよい。なお、最も高画質な高画質画像の選択は、画質評価指数を用いて自動的に行われてもよいし、出力部１０３等に備えられたＵＩに複数の高画質画像群を表示して、検者（操作者）の指示に応じて行われてもよい。

なお、高画質化していない入力画像の方が、画像診断に適している場合もあるので、最終的な画像の選択の対象には入力画像を加えてよい。また、高画質化エンジンに対して、低画質画像とともにパラメータを入力してもよい。高画質化エンジンに対して、入力画像とともに、例えば、高画質化を行う程度を指定するパラメータや、画像処理手法に用いられる画像フィルタサイズを指定するパラメータを入力してもよい。

ここで、本実施形態に係る高画質化エンジンの学習データの入力データは、撮影装置１００と同じ機種、撮影装置１００と同じ設定により取得された低画質画像である。また、高画質化エンジンの学習データの出力データは、同じ機種が備えるより工数の多い撮影条件に関する設定や画像処理により取得された高画質画像である。具体的には、出力データは、例えば、複数回撮影することにより取得した画像（元画像）群に対して加算平均等の重ね合わせ処理を行うことにより得られる高画質画像（重ね合わせ画像）とすることができる。

ここで、高画質画像と低画質画像についてＯＣＴＡのモーションコントラストデータを例として説明する。モーションコントラストデータとは、ＯＣＴＡ等で用いられる、撮影対象の同一箇所を繰り返し撮影し、その撮影間における撮影対象の時間的な変化を検出したデータである。また、上述のように、算出したモーションコントラストデータ（三次元の医用画像データの一例）のうち、撮影対象の深さ方向における所望の範囲のデータを用いて正面画像を生成することで、ＯＣＴＡのＥｎ－Ｆａｃｅ画像（ＯＣＴＡ正面画像）を生成することができる。なお、以下では略同一位置（略同一箇所）におけるＯＣＴデータを繰り返し撮影する回数のことをＮＯＲ（ＮｕｍｂｅｒＯｆＲｅｐｅａｔ）と呼ぶ。

本実施形態に係る学習データに関して、重ね合わせ処理による高画質画像と低画質画像の生成例として異なる２種類の方法について図５（ａ）及び図５（ｂ）を参照して説明する。なお、高画質画像と低画質画像の生成方法はこれらに限られず、公知の任意の生成方法を用いてよい。

高画質画像と低画質画像の生成例に係る第１の方法について図５（ａ）を参照して説明する。当該第１の方法では、高画質画像の例として、撮影対象の略同一位置を繰り返し撮影したＯＣＴデータから生成するモーションコントラスト画像を用いる。図５（ａ）において、モーションコントラスト画像Ｉｍ５１０は、三次元のモーションコントラスト画像（三次元のモーションコントラストデータ）を示す。また、モーションコントラスト画像Ｉｍ５１１は、三次元のモーションコントラスト画像を構成する二次元のモーションコントラスト画像（二次元のモーションコントラストデータ）を示す。

断層画像Ｉｍ５０１－１～Ｉｍ５０１－３は、モーションコントラスト画像Ｉｍ５１１を生成するためのＯＣＴ断層画像（Ｂスキャン画像）を示している。ここで、ＮＯＲは、図５（ａ）においては、断層画像Ｉｍ５０１－１～Ｉｍ５０１－３におけるＯＣＴ断層画像の数に対応し、図の例においてＮＯＲは３である。断層画像Ｉｍ５０１－１～Ｉｍ５０１－３は所定の時間間隔（Δｔ）で撮影される。なお、略同一位置とは被検眼の正面方向（ＸＹ）において、１ラインのことを示し、図５（ａ）においては、モーションコントラスト画像Ｉｍ５１１の位置に相当する。なお、正面方向は、深さ方向に対して交差する方向の一例である。

モーションコントラストデータは時間的な変化を検出したデータであるため、このデータを生成するためには、少なくともＮＯＲは２回とする必要がある。例えば、ＮＯＲが２の場合には、１つのモーションコントラストデータが生成される。ＮＯＲが３の場合には、隣接する時間間隔（１回目と２回目、２回目と３回目）のＯＣＴデータのみを用いてモーションコントラストデータを生成すると、２つのモーションコントラストデータが生成される。離れた時間間隔（１回目と３回目）のＯＣＴデータも用いてモーションコントラストデータを生成する場合には、合計３つのモーションコントラストデータが生成される。すなわち、ＮＯＲを３回、４回、・・・と増やしていくと、略同一位置におけるモーションコントラストのデータ数も増加する。略同一位置を繰り返し撮影して取得した複数のモーションコントラスト画像を位置合わせして加算平均等の重ね合わせ処理をすることで、高画質なモーションコントラスト画像を生成することができる。そのため、高画質なモーションコントラスト画像を生成するために、ＮＯＲを少なくとも３回以上とし、より高画質なモーションコントラスト画像を得るためには例えばＮＯＲを５回以上とすることができる。

一方、これに対応する低画質画像の例としては、加算平均等の重ね合わせ処理を行う前のモーションコントラスト画像を用いることができる。この場合、低画質画像は、例えば、高画質画像を生成するための加算平均等の重ね合わせ処理を行う際の基準画像とすることができる。重ね合わせ処理を行う際に、基準画像に対して対象画像の位置や形状を変形して位置合わせを行っておけば、基準画像と重ね合わせ処理後の画像とでは空間的な位置ずれがほとんどない。そのため、容易に低画質画像と高画質画像のペアとすることができる。なお、基準画像ではなく位置合わせの画像変形処理を行った対象画像を低画質画像としてもよい。

元画像群（基準画像と対象画像）のそれぞれを入力データ、対応する重ね合わせ画像を出力データとすることで、複数のペア群を生成することができる。例えば、１５の元画像群から１の重ね合わせ画像を得る場合、元画像群のうちの一つ目の元画像と重ね合わせ画像とのペア、元画像群のうちの二つ目の元画像と重ね合わせ画像とのペアを生成することができる。このように、１５の元画像群から１の重ね合わせ画像を得る場合には、元画像群のうちの一つの画像と重ね合わせ画像による１５のペア群が生成可能である。なお、主走査（Ｘ）方向に略同一位置を繰り返し撮影し、それを副走査（Ｙ）方向にずらしながらスキャンをすることで三次元の高画質データを生成することができる。

次に、高画質画像と低画質画像の生成例に係る第２の方法について図５（ｂ）を参照して説明する。当該第２の方法では、撮影対象の略同一領域を複数回撮影したモーションコントラスト画像を重ね合わせ処理することで高画質画像を生成する。なお、略同一領域とは被検眼の正面方向（Ｘ－Ｙ）において、３×３ｍｍや１０×１０ｍｍのような領域のことを示し、撮影対象の略同一領域を複数回撮影することで、断層画像の深さ方向を含めて三次元のモーションコントラスト画像（三次元のモーションコントラストデータ）を取得することができる。同一領域を複数回撮影して重ね合わせ処理を行う際には、１回あたりの撮影を短くするため、ＮＯＲは２回か３回とすることができる。

また、高画質な３次元モーションコントラストデータを生成するために、同一領域の３次元データを少なくとも２つ以上取得する。図５（ｂ）では、複数の三次元モーションコントラスト画像の例を示している。モーションコントラスト画像Ｉｍ５２０～Ｉｍ５４０は、図５（ａ）で説明したモーションコントラスト画像Ｉｍ５１０と同様に、三次元のモーションコントラスト画像である。これら２つ以上の三次元モーションコントラスト画像を用いて、正面方向（Ｘ－Ｙ）と深度方向（Ｚ）の位置合わせ処理を行い、それぞれのデータにおいてアーチファクトとなるデータを除外した後に、平均化処理を行う。これにより、アーチファクトの除外された１つの高画質な三次元モーションコントラスト画像を生成することができる。

一方、これに対応する低画質画像は、加算平均等の重ね合わせ処理を行う際の基準データとすることができる。第１の方法で説明したように、基準画像と加算平均後の画像とでは空間的な位置ずれがほとんどないため、容易に低画質画像と高画質画像のペアとすることができる。なお、基準データではなく位置合わせの画像変形処理を行った対象データから生成した任意の三次元モーションコントラスト画像を低画質画像としてもよい。

第１の方法では、撮影自体が１回で終了するため被検者の負担は少ない。しかし、ＮＯＲの回数を増やすほど１回の撮影時間が長くなってしまう。また、撮影途中に目の混濁や睫毛などのアーチファクトが入った場合には必ずしも良い画像が得られるとは限らない。第２の方法では、複数回撮影を行うため被検者の負担は少し増えてしまう。しかし、１回の撮影時間が短く済むのと、１回の撮影でアーチファクトが入ったとしても、別の撮影でアーチファクトが写らなければ最終的にはアーチファクトの少ないきれいな画像を得ることができる。これらの特徴を鑑みて、データを集める際には被検者の状況に合わせて任意の方法を選択することができる。

本実施形態では、学習データとして用いる低画質画像と高画質画像としてモーションコントラスト画像を例に説明したが、学習データとして用いる画像はこれに限らない。モーションコントラストデータを生成するためにＯＣＴデータを取得しているため、ＯＣＴデータを用いて同様に低画質画像と高画質画像を生成することが可能である。さらに、本実施形態ではトラッキング処理について説明を省略したが、被検眼の略同一位置や略同一領域を撮影するため、被検眼のトラッキングを行いながら撮影を行うこともできる。トラッキング処理は公知の任意の方法によって行われてよい。

三次元の高画質データと低画質データのペアを取得できた場合には、これらから任意の二次元画像のペアを生成することができる。例えば、生成した高画質な三次元モーションコントラスト画像について、所望の深度範囲で投影又は積算を行い、任意のＯＣＴＡ正面画像を生成することで、高画質なＯＣＴＡ平面画像を生成することができる。また、これに対応する低画質画像は、加算平均等の重ね合わせ処理を行う際の基準データから生成する任意のＯＣＴＡ正面画像とすることができる。この場合にも、基準画像と加算平均後の画像とでは空間的な位置ずれがほとんどないため、容易に低画質画像と高画質画像のペアとすることができる。なお、基準データではなく位置合わせの画像変形処理を行った対象データから生成した任意のモーションコントラスト正面画像を低画質画像としてもよい。

このような学習データとして用いる二次元画像のペアの例について、図６（ａ）及び図６（ｂ）を参照してより詳細に説明する。例えば、学習データに用いる画像をＯＣＴＡ正面画像とする場合、上述のように、モーションコントラストに係る三次元ボリュームデータについて所望の深度範囲で投影又は積算を行うことで、ＯＣＴＡ正面画像を生成することができる。ここで、深度範囲とは、図５（ａ）及び図５（ｂ）に示すＺ方向における範囲である。

図６（ａ）はＯＣＴＡ正面画像の例を示す。学習データに用いるＯＣＴＡ正面画像としては、表層（画像Ｉｍ６１０）、深層（画像Ｉｍ６２０）、外層（画像Ｉｍ６３０）、及び脈絡膜血管網（画像Ｉｍ６４０）など、異なる深度範囲で生成したＯＣＴＡ正面画像を用いることができる。なお、ＯＣＴＡ正面画像の種類はこれに限られず、基準となる層とオフセットの値を変えて異なる深度範囲を設定したＯＣＴＡ正面画像を生成して種類を増やしてもよい。学習を行う際には、異なる深さのＯＣＴＡ正面画像毎に別々に学習をしてもよいし、異なる深度範囲の画像を複数組み合わせて（例えば、表層側と深層側で分けて）学習してもよいし、全ての深度範囲のＯＣＴＡ正面画像を一緒に学習させるようにしてもよい。ＯＣＴデータから生成する輝度のＥｎ－Ｆａｃｅ画像を学習データに用いる場合も、ＯＣＴＡ正面画像と同様に、任意の深度範囲から生成した複数のＥｎ－Ｆａｃｅ画像を用いることができる。

例えば、高画質化エンジンが、被検眼の異なる深度範囲に対応する複数のＯＣＴＡ正面画像を含む学習データを用いて得た学習済モデルを含む場合を考える。このとき、取得部１０１－１は、異なる深度範囲を含む長い深度範囲のうち一部の深度範囲に対応するＯＣＴＡ正面画像を第１の画像として取得することができる。すなわち、学習データに含まれる複数のＯＣＴＡ正面画像に対応する複数の深度範囲とは異なる深度範囲に対応するＯＣＴＡ正面画像を、高画質化処理時の入力画像とすることができる。もちろん、学習時と同じ深度範囲のＯＣＴＡ正面画像を、高画質化処理時の入力画像としてもよい。また、一部の深度範囲は、操作者がＵＩ上の任意のボタンを押す等に応じて設定されてもよいし、自動的に設定されてもよい。なお、上述した内容は、ＯＣＴＡ正面画像に限るものではなく、例えば、輝度のＥｎ－Ｆａｃｅ画像に対しても適用することができる。

なお、学習済モデルの処理対象の画像が断層画像である場合、Ｂスキャン画像であるＯＣＴ断層画像やモーションコントラストデータの断層画像を学習データとして用いて学習を行う。これに関して、図６（ｂ）を参照して説明する。図６（ｂ）において、画像Ｉｍ６５１～画像Ｉｍ６５３はＯＣＴ断層画像（輝度の断層画像）である。図６（ｂ）において画像が異なるのは、副走査（Ｙ）方向の位置が異なる場所の断層画像を示しているからである。断層画像においては、副走査方向の位置の違いを気にせずに一緒に学習するようにしてもよい。ただし、撮影部位（例えば、黄斑部中心や視神経乳頭部中心）が異なる場所を撮影した画像の場合には、部位ごとに別々に学習するようにしてもよいし、撮影部位を気にせずに一緒に学習するようにしてもよい。なお、ＯＣＴ断層画像と、モーションコントラストデータの断層画像においては画像特徴量が大きく異なるので別々に学習を行う方がよい。

学習データの出力データとして用いられる高画質画像としては、例えば、上述のように重ね合わせ画像を用いることができる。重ね合わせ処理を行った重ね合わせ画像は、元画像群で共通して描出された画素が強調されるため、画像診断に適した高画質画像になる。この場合には、生成される高画質画像は、共通して描出された画素が強調された結果、低輝度領域と高輝度領域との違いがはっきりした高コントラストな画像になる。また、例えば、重ね合わせ画像では、撮影毎に発生するランダムノイズが低減されたり、ある時点の元画像ではうまく描出されなかった領域が他の元画像群によって補間されたりすることができる。

さらに、重ね合わせ画像を学習データの出力データとする場合、重ね合わせ画像から学習データの入力データとして用いる低画質画像を生成することもできる。この場合には、例えば、重ね合わせ画像を一度ダウンサンプリングで低解像化し、低解像度化した画像を既知の方法（ニアレストネイバー法、バイリニア法など）でアップサンプリングを行ったものを学習データの入力データとすることができる。このような画像のペア群を学習データとして用いて学習を行うことで解像感を向上する高画質化エンジンを構成することも可能である。

また、機械学習モデルの入力データを複数の画像で構成する必要がある場合には、元画像群から必要な数の元画像群を選択し、入力データとすることができる。例えば、１５枚の元画像群から１枚の重ね合わせ画像を得る場合において、機械学習モデルの入力データとして２枚の画像が必要であれば、１０５（１５Ｃ２＝１０５）のペア群を生成可能である。

なお、学習データを構成するペア群のうち、高画質化に寄与しないペアは学習データから取り除くことができる。例えば、学習データのペアを構成する出力データである高画質画像が画像診断に適さない画質である場合には、当該学習データを用いて学習した高画質化エンジンが出力する画像も画像診断に適さない画質になってしまう可能性がある。そのため、出力データが画像診断に適さない画質であるペアを学習データから取り除くことで、高画質化エンジンが画像診断に適さない画質の画像を生成する可能性を低減させることができる。

また、ペアである画像群の平均輝度や輝度分布が大きく異なる場合には、当該学習データを用いて学習した高画質化エンジンが、低画質画像と大きく異なる輝度分布を持つ画像診断に適さない画像を出力する可能性がある。このため、平均輝度や輝度分布が大きく異なる入力データと出力データのペアを学習データから取り除くこともできる。

さらに、ペアである画像群に描画される撮影対象の構造や位置が大きく異なる場合には、当該学習データを用いて学習した高画質化エンジンが、低画質画像と大きく異なる構造や位置に撮影対象を描画した画像診断に適さない画像を出力する可能性がある。このため、描画される撮影対象の構造や位置が大きく異なる入力データと出力データのペアを学習データから取り除くこともできる。また、高画質化エンジンについて、品質保持の観点から、自身が出力する高画質画像を学習データとして用いないように構成することができる。

このように学習を行った高画質化エンジンを用いることで、高画質化処理部３０１は、一回の撮影で取得された医用画像が入力された場合に、重ね合わせ処理によって高コントラスト化やノイズ低減等が行われたような高画質画像を出力することができる。このため、高画質化処理部３０１は、入力画像である低画質画像に基づいて、画像診断に適した高画質画像を生成することができる。

なお、ここでは学習データの出力データとして重ね合わせ画像を用いる例について説明したが、高画質化エンジンの学習データの出力データはこれに限られない。学習データの出力データは、入力データに対応する高画質画像であればよく、例えば、診断に適するようにノイズ低減された画像や、コントラスト補正を行った画像、高解像度化した画像、より工数の多い撮影条件で撮影した画像等であってもよい。また、入力データとして用いる低画質画像に最大事後確率推定（ＭＡＰ推定）処理などの統計処理を用いた画像処理を施した画像を、学習データの出力データとして用いることもできる。なお、高画質画像の生成方法は、公知の任意の手法を用いてよい。

また、高画質化エンジンとしては、ノイズ低減やコントラスト補正、さらに高解像度化など種々の高画質化処理をそれぞれ単独で行う複数の高画質化エンジンを用意してもよい。また、少なくとも２つの高画質化処理を行うひとつの高画質化エンジンを用意してもよい。なお、これらの場合には、学習データの出力データとしては、所望の処理に応じた高画質化画像を用いればよい。例えば、個々の処理を行う高画質化エンジンに関しては、ノイズ低減処理等の個々の処理を施した高画質画像を学習データの出力データとすればよい。また、複数の高画質化処理を行う高画質化エンジンに関しては、例えば、ノイズ低減処理及びコントラスト補正処理等を施した高画質画像を学習データの出力データとすればよい。

（医用画像の領域検出エンジン）
次に、領域検出部３０２が用いる医用画像の領域検出エンジンについて、コントラスト正面画像を例にして説明する。本実施形態に係る領域検出部３０２は、コントラスト正面画像において、例えば、血流の有無を確認するため、灌流領域と無灌流領域に分類して領域を検出する。以後、無灌流領域をＮＰＡ（ＮｏｎＰｅｒｆｕｓｉｏｎＡｒｅａ）と表記する。また、本実施形態に係る領域検出部３０２は、例えば、中心窩無血管領域（ＦＡＺ：ＦｏｖｅａｌＡｖａｓｃｕｌａｒＺｏｎｅ）や視神経乳頭部（ＯＮＨ：ＯｐｔｉｃＮｅｒｖｅＨｅａｄ）を領域として検出してもよい。検出した領域の情報としては、当該領域のラベルを画像内の画素に関連付けることができる。このように画像内の全画素にラベルを関連付ける深層学習は、セマンティックセグメンテーションと呼ばれる。

一般に深層学習において、学習データの出力データ（正解データ）を作成する作業をアノテーションと呼ぶ。領域検出用の学習済モデルに係る学習データに関しては、アノテーションによって、入力データ又は対応する画像の各画素位置に対して分類する領域を示すラベルを与えることで出力データを作成していくことができる。このようにして生成した各領域のラベルを示す情報を画素値として有する画像を領域ラベル画像という。アノテーション作業は、すべてを手動で行ってもよいし、一部を自動で行ってもよい。一定の作業が終わった時点で深層学習を随時行っていき、途中段階の領域検出エンジンによるセグメンテーション結果を参考にしながらラベルを修正することで、アノテーション作業の効率をあげることもできる。なお、領域ラベル画像を作成する場合には、入力データだけでなく他の情報を用いてもよい。例えば、入力データを高画質画像とした学習データの出力データとなる領域ラベル画像を作成する際に、高画質化される前の画像等を用いて、例えば参照して領域ラベル画像を作成してもよい。

このように所定枚数の医用画像である入力データと、医用画像に対応する領域ラベル画像である出力データのペア群とする学習データを用いて機械学習を行った学習済モデルを領域検出エンジンとして用いることができる。なお、このように学習を行った領域検出エンジンでは、各画素についての領域のラベルについての確からしさ（信頼度、確率）を出力することができる。そのため、領域検出部３０２は、領域検出エンジンから出力されたラベルの確率について、例えば各ラベルの中で、他のラベルよりも高い確率のラベルを領域の検出結果として出力することができる。また、各ラベルのうち閾値よりも高い確率のラベルを検出結果として出力することができる。このとき、閾値よりも高い確率のラベルが複数ある場合には、それらすべてを出力してもよいし、そのうちの他のラベルよりも高い確率のラベルを検出結果として出力してもよい。さらに、領域検出部３０２は、学習済モデルを用いて得た各ラベルの確率から、機械学習モデルを用いて、検出結果を決定してもよい。この場合に用いる機械学習アルゴリズムは、ラベルの確率の取得に用いられた機械学習アルゴリズムとは異なる種類の機械学習アルゴリズムであってもよく、例えば、ニューラルネットワーク、サポートベクターマシン、アダブースト、ベイジアンネットワーク、又はランダムフォレスト等であってよい。

なお、高画質化エンジンと領域検出エンジンとして、共通のモデルを使ってもよい。この場合には、例えば、既知のＵ－Ｎｅｔモデルなどが利用でき、高画質化エンジンと領域検出エンジンを同じにすることで、パラメータの差し替えだけでそれぞれの推論処理を行うことができる。

さらに、領域検出を行う入力データとしては、前述した高画質画像（重ね合わせ画像）を用いてもよいし、入力される医用画像に対して高画質化エンジンを適用した高画質画像を入力データとして用いてもよい。このように、入力データに応じた学習を行うことで、それぞれの入力データに最適な領域検出エンジンを構成することができる。

なお、領域検出エンジンは、必ずしも機械学習による人工知能エンジンである必要はなく、従来の各種フィルタ処理等を含めた、被検眼の構造等に基づくルールベースのアルゴリズム等を用いて構成されてもよい。そのため、領域検出部３０２が用いる領域検出エンジンは、例えば、既知のガウスフィルタ等のフィルタ処理を組み合わせてＦＡＺやＮＰＡ領域を抽出してもよいし、ＧＵＩ等を介した操作者による指示に応じて領域を抽出してもよい。また、領域検出エンジンは、例えば、モーションコントラスト画像において、被検眼の構造や所定の閾値を用いた閾値処理により、灌流領域と無灌流領域に分類して領域を検出してもよい。

（医用画像の画像処理手順）
次に、図７を参照して本実施形態に係る画像処理装置１０１による一連の画像処理の手順について説明する。図７は、本実施形態に係る画像処理の概略的な流れを示すフロー図である。

本実施形態に係る画像処理が開始されると、ステップＳ７０１において、取得部１０１－１が医用画像を取得する。取得部１０１－１は、撮影装置１００や外部装置から医用画像を取得してもよいし、これらから取得した信号データを用いて生成された医用画像を取得してもよい。本実施形態では、取得部１０１－１は、医用画像として例えばコントラスト正面画像を取得する。なお、医用画像はこれに限られず、断層画像や輝度のＥｎ－Ｆａｃｅ画像、ＳＬＯ画像、被検体の医用画像を解析して得た解析画像（解析マップ）等であってもよい。

ステップＳ７０２においては、高画質化処理部３０１が、取得された医用画像に対して、前述した少なくとも１つの高画質化エンジンを用いて、第１の画像処理である高画質化処理を適用し高画質化された医用画像を取得する。本実施形態に係る高画質化処理部３０１は、高画質化エンジンを用いて、ＯＣＴＡ正面画像から高画質化されたＯＣＴＡ正面画像を取得する。

次に、ステップＳ７０３において、領域検出部３０２がステップＳ７０１で取得された医用画像又はステップＳ７０２で取得された高画質化された医用画像に対して、前述した領域検出エンジンを用いて領域検出処理を適用する。領域検出部３０２は、当該領域検出処理により、医用画像又は高画質化された医用画像における少なくとも２つの領域を検出し、各領域を示す情報を取得する。例えば、領域検出部３０２は、検出した領域に関してそれぞれの領域を示すラベルを各画素の情報とした領域ラベル画像を取得してもよいし、医用画像について各画素の情報にそれぞれの領域を示すラベルを加えてもよい。なお、領域検出部３０２は、検出した領域を示す情報を出力できればよく、検出した領域を示す情報は上述した形式に限られない。例えば、領域検出部３０２は、医用画像の画素情報に対応付けられたラベルの情報等であってよい。また、前述のように、領域検出エンジンから出力されたそれぞれの属性に関する確からしさ（信頼度、確率）を示す値を医用画像の各画素に対応付けて画素の情報に加えてもよい。本実施形態では、領域検出エンジンを用いて、ＯＣＴＡ正面画像又は高画質化されたＯＣＴＡ正面画像における灌流領域と無灌流領域（ＮＰＡ）を検出する。なお、医用画像又は高画質化された医用画像における検出された領域の画素位置は、医用画像及び高画質化された医用画像において対応しているものとすることができる。

領域検出部３０２が検出した領域を示す情報を出力すると、ＲＯＩ設定部３０３が、当該出力された情報に基づいて、高画質化された医用画像におけるＲＯＩを設定する。なお、ＲＯＩは、領域検出部３０２によって検出された領域のうちの少なくとも１つの領域について設定されてよい。本実施形態においては、ＲＯＩ設定部３０３は、高画質化されたＯＣＴＡ正面画像におけるＮＰＡについてＲＯＩを設定する。なお、上述のように、ＲＯＩの設定は領域検出部３０２によって行われてもよい。

最後に、ステップＳ７０４において、ブレンド処理部３０４又はＢＣ調整部３０５によって、高画質化された医用画像におけるＲＯＩに対して、ＲＯＩの画素値とＲＯＩ以外の領域の画素値との差が広がるように第２の画像処理を適用する。このとき、ブレンド処理部３０４又はＢＣ調整部３０５は、高画質化された医用画像におけるＲＯＩに対して、ＲＯＩの画素値が第２の画像処理前のＲＯＩの画素値より低くなるように、第２の画像処理を適用する。例えば、ブレンド処理部３０４は、高画質化された医用画像におけるＲＯＩに対して、第２の画像処理として、ステップＳ７０１で取得された医用画像及びステップＳ７０２で取得された高画質化された医用画像のブレンド処理を行う。ブレンド処理は公知の任意の手法を用いて行われてよく、ブレンド比率は所定の比率であってもよいし、操作者の指示に応じて設定されてもよい。当該ブレンド処理が行われることで、学習済モデルを用いた高画質化処理による過補正が生じている領域について、過補正が生じる前の画像と過補正が生じている画像がブレンドされ、過補正が生じている領域の画素値とそれ以外の領域の画素値との差が広がる。言い換えると、当該ブレンド処理が行われることで、過補正が生じている領域の画素値が低くなる。このような処理では、画像全体の画素値を低くすることなく、過補正が生じている領域のみ画素値を低くすることができる。このため、例えば、ＮＰＡやＦＡＺ等の領域における過補正を抑制することができる。

また、ＢＣ調整部３０５は、高画質化された医用画像におけるＲＯＩに対して、第２の画像処理としてＢＣ調整処理を行う。ＢＣ調整処理は、公知の任意の手法を用いて行われてよく、例えば、ＲＯＩにおける明るさを所定の値に設定したり、所定の値だけ増減させたりしてよい。また、ＲＯＩにおいて、例えばトーンカーブやガンマカーブ等を用いてコントラストの調整を行ってもよい。さらに、ＢＣ調整処理は、ＲＯＩにおける明るさ及びコントラストの少なくとも一方を操作者の指示に応じた値に設定したり、当該値だけ増減させたりしてもよい。例えば、ＢＣ調整部３０５は、操作者の指示に応じて、明るさの補正値を決定したり、コントラスト調整に用いるトーンカーブ等の設定値を決定したりしてもよい。当該ＢＣ調整処理が行われることで、学習済モデルを用いた高画質化処理による過補正が生じている領域について、過補正が生じている領域の画素値とそれ以外の領域の画素値との差が広がるように、明るさ及びコントラストの少なくとも一方が調整される。言い換えると、当該ＢＣ調整処理が行われることで、過補正が生じている領域の画素値が低くなる。このような処理では、画像全体の画素値を低くすることなく、過補正が生じている領域のみ画素値を低くすることができる。このため、例えば、ＮＰＡやＦＡＺ等の領域における過補正を抑制することができる。

本実施形態では、ブレンド処理部３０４は、高画質化されたＯＣＴＡ正面画像におけるＲＯＩとして設定されたＮＰＡに対して、ＯＣＴＡ正面画像及び高画質化されたＯＣＴＡ正面画像のブレンド処理を行う。また、ＢＣ調整部３０５は、高画質化されたＯＣＴＡ正面画像におけるＲＯＩとして設定されたＮＰＡに対して、高画質化されたＯＣＴＡ正面画像のＢＣ調整処理を行う。なお、前述のように、ブレンド処理部３０４による処理及びＢＣ調整部３０５による処理はいずれか一方のみ行われてもよいし、両方行われてもよい。ブレンド処理部３０４やＢＣ調整部３０５によって第２の画像処理が施された高画質画像は、表示制御部１０１－５によって出力部１０３に表示されたり、出力部１０３によって外部装置等に出力されたり、記憶部１０１－３や外部記憶装置１０２に記憶されてよい。

このように本実施形態に係る画像処理を行うことで、学習済モデルを用いた医用画像の画像処理による過補正が生じる領域を検出し、検出された領域に対して当該過補正を低減する画像処理を施すことができる。例えば、ＯＣＴＡ正面画像におけるＮＰＡを検出し、学習済モデルを用いて取得された高画質なＯＣＴＡ正面画像におけるＮＰＡについて過補正を低減するブレンド処理やＢＣ調整処理を施すことができる。

前述のように、眼底画像を診断する上でＮＰＡは特に重要である。ＮＰＡを特定することで、血管があるべきところに血流がない、あるいは血管がないはずのところに何らかの血流が認められるか（新生血管など）を判断することができる。特にＦＡＺやＮＰＡに関しては、高画質化前の元の状態をある程度残すことで、画像診断において、ノイズか血管かの区別に関する操作者（検者）の判断を支援することができる。

一方で、ＮＰＡに対して、明るさやコントラストを所望の状態にしてノイズなどを積極的に除去することで、よりＮＰＡらしくすることで視認性を向上させることもできる。この場合にも、画像診断において、ノイズか血管かの区別に関する操作者の判断を支援することができる。

なお、一般的には、他の検査も含めて複合的に診断が行われるため、第２の画像処理方法は予め設定してもよいし、適宜選択できるようにしてもよい。また、分類する領域によって第２の画像処理方法を変更できるようにしてもよい。さらに、被検眼によって設定を変更することも可能である。また、ＯＣＴＡ正面画像の深さ、すなわち浅層と深層で設定を変更できるようにしてもよい。これらの設定は、ユーザー又は被検者ごとに設定を記憶しておいてもよい。

上記のように、本実施形態に係る画像処理装置１０１は、高画質化処理部３０１と、領域検出部３０２と、ブレンド処理部３０４と、ＢＣ調整部３０５とを備える。高画質化処理部３０１は、被検体の医用画像を学習データとした学習により得た高画質化モデル（高画質化エンジン）を用いて、被検体の医用画像の第１の画像に対して高画質化処理を行い、被検体の医用画像の高画質な第２の画像を取得する。領域検出部３０２は、被検体の医用画像（第１の画像又は第２の画像）における対象領域を検出する。ブレンド処理部３０４及びＢＣ調整部３０５の少なくとも一方は、第２の画像における対象領域に対して、対象領域の画素値と対象領域以外の領域の画素値との差が広がるように、且つ対象領域の画素値が画像処理前の対象領域の画素値より低くなるように画像処理を行う。

ブレンド処理部３０４は、画像処理として、対象領域の画素値と対象領域以外の領域の画素値との差が広がるように且つ対象領域の画素値がより低くなるように第１の画像と第２の画像とをブレンドするブレンド処理を行う。また、ＢＣ調整部３０５は、画像処理として、対象領域の画素値と対象領域以外の領域の画素値との差が広がるように且つ対象領域の画素値がより低くなるように明るさ及びコントラストの少なくとも一方を補正するＢＣ調整処理を行う。なお、被検体の医用画像は、例えば被検眼のモーションコントラスト画像とし、対象領域は例えば無灌流領域、中心窩血管領域、及び視神経乳頭領域の少なくとも１つを含むことができる。また、領域検出部３０２は、被検体の医用画像を学習データとした学習により得た学習済モデルを用いて、対象領域を検出することができる。

このような構成により、本実施形態に係る画像処理装置は、学習済モデルを用いた医用画像の画像処理による過補正が生じるＮＰＡ等の領域を検出し、検出された領域に対して当該過補正を低減する画像処理を施すことができる。このような処理では、画像全体の画素値を低くすることなく、過補正が生じている領域のみ画素値を低くすることができる。このため、学習済モデルを用いた医用画像の画像処理による過補正を低減することができる。これにより、画像診断において、ノイズか血管かの区別に関する操作者の判断を支援することができる。

ここで、本実施形態に係る一連の画像処理に関しては、種々の変形が可能である。以下、図８乃至図１３を参照して、本実施形態に係る一連の画像処理の具体的な例について詳細に説明する。なお、各例について、図７に示す前述した画像処理と同様の処理に関しては説明を省略する。

＜画像処理方法の第１の例＞
画像処理方法の第１の例について、図８を参照して説明する。本例ではＦＡＺやＮＰＡに対する高画質化エンジンによる過補正を抑制するための画像処理方法について説明する。

ステップＳ８０１及びステップＳ８０２における処理は、ステップＳ７０１及びステップＳ７０２と同様であるため、説明を省略する。ステップＳ８０２において高画質化された医用画像が取得されると処理はステップＳ８０３に移行する。

ステップＳ８０３では、領域検出部３０２が、領域検出エンジンを用いて、ステップＳ８０１で取得した医用画像（入力画像）におけるＦＡＺ及びＮＰＡの領域を検出する。ＦＡＺ及びＮＰＡはそれぞれ区別して検出してもよいし、１つの領域としてまとめて検出してもよい。また、いずれか一方の領域だけを検出してもよいし、ＦＡＺ及びＮＰＡ以外の領域は灌流領域として検出してもよい。領域検出部３０２が検出した領域を示す情報を出力したら、ＲＯＩ設定部３０３が、当該出力された情報に基づいて、ステップＳ８０２において高画質化された医用画像におけるＲＯＩを設定する。なお、医用画像における検出された領域の画素位置は、医用画像及び高画質化された医用画像において対応しているものとすることができる。

最後にステップＳ８０４において、ブレンド処理部３０４が、入力画像とステップＳ８０２で取得された高画質化された医用画像を用いて、高画質化された医用画像における検出された領域に対してブレンド処理を行う。ここで、ブレンド処理は既知のαブレンド処理などを用いればよい。また、ブレンド比率は、固定値でもよいし、領域検出エンジンが出力した属性情報に関する信頼度（確からしさ、確率）に応じて、ブレンド処理部３０４が各画素におけるブレンド比率を変更してもよい。具体的には、無灌流領域の属性情報を持つ画素に対しては、信頼度が高いほど入力画像のブレンド比率が高くなるようにαブレンド比率を設定することができる。

また、ＦＡＺ及びＮＰＡ等の属性情報を区別して検出している場合には、区別されている属性情報に応じてそれぞれのブレンド比率を変えてもよい。さらに、ＦＡＺ及びＮＰＡ以外の領域、例えば、ＦＡＺやＮＰＡ等の対象領域の周辺の画素に対しても、入力画像を適度に合成してもよい。これによって、領域境界での急峻な変化を緩和することができる。

なお、ブレンド比率に関しては、ＵＩを介して操作者が指示できるようにしてもよい。例えば、スライドバーなどのＧＵＩを用いて過補正の抑制強度に対応するブレンド比率を設定できるようにしてもよい。

本例によれば、ＦＡＺやＮＰＡに関しては、高画質化前の元の状態をある程度残すことできる。そのため、画像診断において、ノイズか血管かの区別に関する操作者の判断を支援することができる。

なお、入力画像である医用画像（第１の画像）における対象領域を検出する場合には、領域検出部３０２は、領域検出エンジンとして、学習済モデルにより構成された領域検出エンジンを用いることができる。この場合、領域検出エンジンの学習データとしては、入力画像である医用画像を入力データとし、入力画像である医用画像における各領域のラベルを示す情報を画素値として有する領域ラベル画像を出力データとすることができる。また、領域検出部３０２は、被検体の構造に基づくルールベースのアルゴリズム等を用いて構成された領域検出エンジンを用いることもできる。この場合にも、領域検出部３０２は、学習済モデルを用いた高画質化が行われていない、言い換えると、過補正が生じていない医用画像における特徴部から、ＦＡＺ及びＮＰＡ等の対象領域を検出することができる。

＜画像処理方法の第２の例＞
画像処理方法の第２の例について、図９を参照して説明する。本例では、ＮＰＡに対する高画質化処理を強調するための画像処理方法について説明する。

領域検出エンジンの性能が高い場合には、領域検出部３０２は、ＦＡＺやＮＰＡ等の領域をより適切には検出することができる。例えば、ＦＡＺ及びＮＰＡでは、本来血管がないのが正しい。そのため、領域検出エンジンの性能が高い場合には、これらの領域に対しては、高画質化エンジンで処理された後に、さらにＢＣ調整でより暗くすることでより診断に適した画像が得られる。このような画像処理を用いてより診断に適した画像を得ることができる本例の処理を以下でより詳細に説明する。

ステップＳ９０１及びステップＳ９０２における処理は、ステップＳ７０１及びステップＳ７０２と同様であるため、説明を省略する。ステップＳ９０２において高画質化された医用画像が取得されると処理はステップＳ９０３に移行する。

ステップＳ９０３では、領域検出部３０２が、領域検出エンジンを用いて、ステップＳ９０１で取得した医用画像（入力画像）におけるＦＡＺ及びＮＰＡの領域を検出する。ＦＡＺ及びＮＰＡはそれぞれ区別して検出してもよいし、１つの領域としてまとめても検出してもよい。また、いずれか一方の領域だけを検出してもよいし、ＦＡＺ及びＮＰＡ以外の領域を灌流領域として検出してもよい。領域検出部３０２が検出した領域を示す情報を出力したら、ＲＯＩ設定部３０３が、当該出力された情報に基づいて、ステップＳ９０２において高画質化された医用画像におけるＲＯＩを設定する。なお、医用画像における検出された領域の画素位置は、医用画像及び高画質化された医用画像において対応しているものとすることができる。

最後にステップＳ９０４において、ＢＣ調整部３０５が、ステップＳ９０２で高画質化エンジンを用いて取得された高画質化された医用画像における検出された領域（ＦＡＺ及びＮＰＡの領域）の画素についてＢＣ調整処理を行う。ＢＣ調整は、画素値に関する輝度値（明るさ）をより暗くするように補正すればよい。例えば、単純に輝度値を下げてもよいし、ゼロにしてもよい。また、ガンマ補正のような、元の画素値に応じた画像処理を適用してもよい。なお、補正の強さはＦＡＺとＮＰＡでそれぞれ変更してもよいし、検出した領域を示す情報として属性と信頼度が保持されていれば、信頼度に応じてＢＣ調整を行ってもよい。

なお、ＢＣ調整の方法及び強度は、ＵＩを介して操作者が指示できるようにしてもよい。例えば、ラジオボタンなどのＧＵＩで方法を選択できるようにし、また、スライドバーなどのＧＵＩで強度を指定してもよい。

本例によれば、ＮＰＡ及びＦＡＺ等の領域の視認性を向上させることもできる。この場合にも、画像診断において、ノイズか血管かの区別に関する医師の判断を支援することができる。さらに、第１の例で示した抑制処理と第２の例で示した強調処理を領域の属性ごとに選択できるようにしてもよい。例えば、ＦＡＺは強調処理、ＮＰＡは抑制処理としてもよい。この場合、各領域に応じたより診断に適した画像を生成することができ、医師の判断を支援することができる。

＜画像処理方法の第３の例＞
画像処理方法の第３の例について、図１０を参照して説明する。本例では、高画質化エンジンを用いて高画質化した医用画像から、領域検出エンジンを用いてＦＡＺ及びＮＰＡ等の領域として検出し、それらの領域における過補正を抑制する画像処理について説明する。

ステップＳ１００１及びステップＳ１００２における処理は、ステップＳ７０１及びステップＳ７０２と同様であるため、説明を省略する。ステップＳ１００２において高画質化された医用画像が取得されると処理はステップＳ１００３に移行する。

ステップＳ１００３では、領域検出部３０２が、領域検出エンジンを用いて、Ｓ１００２で高画質化された医用画像におけるＦＡＺ及びＮＰＡの領域を検出する。ＦＡＺ及びＮＰＡはそれぞれ区別して検出してもよいし、１つの領域としてまとめて検出してもよい。また、いずれか一方の領域だけを検出してもよいし、ＦＡＺ及びＮＰＡ以外の領域は灌流領域として検出してもよい。領域検出部３０２が検出した領域を示す情報を出力したら、ＲＯＩ設定部３０３が、当該出力された情報に基づいて、ステップＳ１００２において高画質化された医用画像におけるＲＯＩを設定する。

最後にステップＳ１００４において、ブレンド処理部３０４が、高画質化された医用画像とステップＳ１００１で取得された医用画像を用いて、高画質化された医用画像における検出された領域に対してブレンド処理を行う。ブレンド処理に関しては、第１の例で説明した処理と同様の処理であってよい。

本例の場合も、第１の例と同様に、ＦＡＺやＮＰＡに関しては、高画質化前の元の状態をある程度残すことできる。そのため、画像診断において、ノイズか血管かの区別に関する操作者の判断を支援することができる。

なお、高画質化された医用画像における対象領域を検出する場合には、領域検出部３０２は、学習済モデルにより構成された領域検出エンジンを用いることができる。この場合、領域検出エンジンの学習データとしては、高画質化された医用画像（第２の画像）を入力データとし、入力画像である医用画像（第１の画像）における各領域のラベルを示す情報を画素値として有する領域ラベル画像を出力データとすることができる。ここで、入力データとなる高画質化された医用画像は、高画質化エンジンを用いて高画質化された医用画像であり、ＮＰＡ等の対象領域において過補正が生じている高画質画像とすることができる。これに対して、出力データとなる領域ラベル画像は、高画質化エンジンを用いて高画質化される前の医用画像についてラベル付けを行って得た画像であってよい。この場合には、学習済モデルにより構成された領域検出エンジンは学習の傾向に従って、入力された高画質画像から、過補正が生じている対象領域のラベルを含む領域ラベル画像を出力することができる。なお、高画質画像を入力として用いることで、学習済モデルにより構成された領域検出エンジンは、より適切に画像内の特徴を抽出することができ、より精度の高い領域ラベル画像を出力できると期待される。

＜画像処理方法の第４の例＞
画像処理方法の第４の例について、図１１を参照して説明する。本例では、高画質化エンジンを用いて高画質化した医用画像から、領域検出エンジンを用いてＦＡＺ及びＮＰＡ等の領域を検出し、それらの領域の高画質化処理を強調する画像処理について説明する。

ステップＳ１１０１及びステップＳ１１０２における処理は、ステップＳ７０１及びステップＳ７０２と同様であるため、説明を省略する。ステップＳ１１０２において高画質化された医用画像が取得されると処理はステップＳ１１０３に移行する。

ステップＳ１１０３では、領域検出部３０２が、領域検出エンジンを用いて、ステップＳ１１０２で高画質化された医用画像におけるＦＡＺ及びＮＰＡの領域を検出する。ＦＡＺ及びＮＰＡはそれぞれ区別して検出してもよいし、１つの領域としてまとめて検出してもよい。また、いずれか一方の領域だけを検出してもよいし、ＦＡＺ及びＮＰＡ以外の領域は灌流領域として検出してもよい。領域検出部３０２が検出した領域を示す情報を出力したら、ＲＯＩ設定部３０３が、当該出力された情報に基づいて、ステップＳ１１０２において高画質化された医用画像におけるＲＯＩを設定する。

最後にステップＳ１１０４において、ＢＣ調整部３０５が、高画質化された医用画像における検出された領域（ＦＡＺやＮＰＡの領域）の画素についてＢＣ調整処理を行う。ＢＣ調整処理は、第２の例で説明した処理と同様の処理であってよい。

本例の場合も、第２の例と同様に、ＮＰＡ及びＦＡＺ等の領域の視認性を向上させることもできる。この場合にも、画像診断において、ノイズか血管かの区別に関する医師の判断を支援することができる。さらに、第１の例や第３の例で示した抑制処理と第４の例で示した強調処理を領域の属性ごとに選択できるようにしてもよい。例えば、ＦＡＺは強調処理、ＮＰＡは抑制処理としてもよい。この場合、各領域に応じたより診断に適した画像を生成することができ、医師の判断を支援することができる。

＜画像処理方法の第５の例＞
画像処理方法の第５の例について、図１２を参照して説明する。本例では、高画質化する前の医用画像について領域検出エンジンを用いてＦＡＺ及びＮＰＡ等の領域を検出し、それらの領域に対してＢＣ調整を行った上で、高画質化エンジンを用いた高画質化処理を適用する画像処理について説明する。

ステップＳ１２０１における処理は、ステップＳ７０１と同様であるため、説明を省略する。ステップＳ１２０２では、領域検出部３０２が、領域検出エンジンを用いて、ステップＳ１２０１で取得された医用画像（入力画像）におけるＦＡＺ及びＮＰＡの領域を検出する。領域検出部３０２が検出した領域を示す情報を出力したら、ＲＯＩ設定部３０３が、当該出力された情報に基づいて、入力画像におけるＲＯＩを設定する。

次に、ステップＳ１２０３において、ＢＣ調整部３０５が、入力画像における検出された領域（ＦＡＺやＮＰＡの領域）の画素についてＢＣ調整処理を行う。なお、ＢＣ調整処理は、第２の例で説明した処理と同様の処理であってよい。

最後にステップＳ１２０４において、高画質化処理部３０１が、高画質化エンジンを用いて、ステップＳ１２０３においてＢＣ調整処理が行われた医用画像に対して高画質化処理を実行し、高画質化された医用画像を取得する。なお、高画質化処理部３０１による高画質化処理後の医用画像に対して、検出された領域に基づくブレンド処理やＢＣ調整処理をさらに加えてもよい。ブレンド処理やＢＣ調整処理はそれぞれ第１の例及び第２の例で説明した処理と同様の処理であってよい。

上記のように、本例では、領域検出部３０２は、被検体の医用画像の第１の画像における対象領域を検出する。また、ＢＣ調整部３０５は、被検体の医用画像の第１の画像における対象領域に対して、対象領域の画素値と対象領域以外の領域の画素値との差が広がるように且つ対象領域の画素値がＢＣ調整処理前の対象領域の画素値より低くなるようにＢＣ調整処理を行う。さらに、高画質化処理部３０１は、被検体の医用画像を学習データとした学習により得た高画質化モデルを用いて、ＢＣ調整処理が行われた第１の画像に対して高画質化処理を行い、被検体の医用画像の高画質な第２の画像を取得する。

本例の場合には、ＢＣ調整処理が行われることで、過補正が生じる領域の画素値がより低くされた医用画像について、高画質化処理が行われる。このような処理では、画像全体の画素値を低くすることなく、過補正が生じる領域のみ画素値を低くすることができる。このため、例えば、ＮＰＡやＦＡＺ等の領域における過補正を抑制することができ、ＮＰＡ及びＦＡＺ等の領域の視認性を向上させることもできる。この場合にも、画像診断において、ノイズか血管かの区別に関する医師の判断を支援することができる。

＜画像処理方法の第６の例＞
画像処理方法の第６の例について、図１３を参照して説明する。本例では、高画質化エンジンを用いて高画質化された医用画像に対して、領域検出エンジンを用いて領域検出を行う。その後、高画質化される前の医用画像について、前述の領域検出によって検出された領域に基づくＢＣ調整を行った上で、さらに高画質化エンジンを用いた高画質化処理を適用する画像処理について説明する。

ステップＳ１３０１及びステップＳ１３０２における処理は、ステップＳ７０１及びステップＳ７０２と同様であるため、説明を省略する。ステップＳ１３０２において高画質化された医用画像が取得されると処理はステップＳ１３０３に移行する。

ステップＳ１３０３では、領域検出部３０２が、領域検出エンジンを用いて、ステップＳ１３０２で高画質化された画像に対して領域検出処理を行う。なお、検出される領域は、第１～第５の例と同様に、ＦＡＺ及びＮＰＡ等であってよい。このように、高画質化された医用画像に対して領域検出エンジンを適用することで、検出性能を向上できると期待できる。領域検出部３０２が検出した領域を示す情報を出力したら、ＲＯＩ設定部３０３が、当該出力された情報に基づいて、入力画像におけるＲＯＩを設定する。なお、高画質化された医用画像における検出された領域の画素位置は、医用画像及び高画質化された医用画像において対応しているものとすることができる。

次に、ステップＳ１３０４において、ＢＣ調整部３０５は、ステップＳ１３０１で取得した医用画像（入力画像）に対して、ステップＳ１３０３で検出した領域に基づくＢＣ調整処理を行う。なお、ＢＣ調整処理は、第２の例で説明した処理と同様の処理であってよい。

最後に、ステップＳ１３０５において、高画質化処理部３０１が、高画質化エンジンを用いて、ステップＳ１３０３においてＢＣ調整処理が行われた医用画像に対して高画質化処理を実行し、高画質化された医用画像を取得する。なお、ステップＳ１３０５における高画質化処理部３０１による高画質化処理後の画像に対して、領域の分類に基づくブレンド処理やＢＣ調整をさらに加えてもよい。ブレンド処理やＢＣ調整はそれぞれ第１の例及び第２の例で説明した処理と同様の処理であってよい。

上記のように、本例では、本例では、高画質化処理部３０１は、被検体の医用画像を学習データとした学習により得た高画質化モデルを用いて、被検体の医用画像の第１の画像から被検体の医用画像の第１の画像を高画質化した画像を取得する。領域検出部３０２は、被検体の医用画像の第１の画像を高画質化した画像における対象領域を検出する。ＢＣ調整部３０５は、被検体の医用画像の第１の画像における対象領域に対して、対象領域の画素値と対象領域以外の領域の画素値との差が広がるように且つ対象領域の画素値がＢＣ調整処理前の対象領域の画素値より低くなるようにＢＣ調整処理を行う。さらに、高画質化処理部３０１は、高画質化モデルを用いて、ＢＣ調整処理が行われた第１の画像に対して高画質化処理を行い、被検体の医用画像の高画質な第２の画像を取得する。なお、領域検出部３０２は、ＢＣ調整部３０５によりＢＣ調整が行われていない被検体の医用画像の第１の画像を高画質化した画像を用いて対象領域を検出する。

以上、説明したように、高画質化エンジンと領域検出エンジンを用いた画像処理としては種々の変形が可能である。これらの説明した例は、多数の変形が可能なものであって、本開示を限定して解釈するためのものではない。例えば、医用画像の経過観察を行う場合など、検出した領域に基づくブレンド処理やＢＣ調整処理を同じ条件に合わせる、又はこれらの条件は被検者ごとに記憶して管理してもよい。

［第２の実施形態］
本発明の第２の実施形態に係る画像処理装置を備える画像処理システムについて図１４を参照しながら詳細に説明する。図１４は、本実施形態に係る一連の画像処理の流れを示すフロー図である。なお、本実施形態に係る画像処理システムの構成は、第１の実施形態に係る画像処理システムの構成と同様であるため、同一の参照番号を用いて説明を省略する。ただし、本実施形態に係る高画質化部においては、領域検出部３０２、ＲＯＩ設定部３０３、ブレンド処理部３０４及びＢＣ調整部３０５は設けられなくてよい。以下、本実施形態に係る画像処理システムについて、第１の実施形態に係る画像処理システムとの違いを中心として説明する。

第１の実施形態では、深層学習を用いた高画質化エンジンと領域検出エンジンを組み合わせて、部分的に追加の画像補正を行うことで、より好適な高画質画像を得るための方法について説明した。これに対して、本実施形態では、これらの方法を応用して構築した高画質化エンジンを用いて高画質化処理を行う構成について説明する。

本実施形態に係る高画質化エンジンの機械学習アルゴリズムは、第１の実施形態に係る高画質化エンジンの機械学習アルゴリズムと同様のものであってよい。ただし、本実施形態に係る高画質化エンジンの学習データの出力データには、第１の実施形態で説明したいずれかの方法により最終的に生成した高画質画像を用いる。所定枚数の医用画像に対して、これらの処理フローを適用して高画質画像を出力し、それぞれをペアとして学習データセットを構築する。このような学習データを用いて学習を行って得た高画質化エンジンは、学習の傾向に従い、過補正が抑制された高画質画像を生成できることが期待できる。また、部分的に補正した結果を含めて一括で機械学習を行うことで、推論時の画像処理負荷が低減できると期待できる。

図１４を参照して本実施形態の画像処理装置１０１の処理手順について説明する。まず、ステップＳ１４０１において取得部１０１－１は医用画像を取得する。ステップＳ１４０１の処理はステップＳ７０１の処理と同様の処理であってよい。

次に、ステップＳ１４０２において、高画質化処理部３０１は、前述のような学習データを用いた学習により得た高画質化エンジンを用いて、ステップＳ１４０１で取得された医用画像に対して高画質化処理を行い、高画質画像を取得する。このように取得された高画質画像は、高画質化エンジンの学習の傾向に従って、過補正が抑制された高画質画像となる。

上記のように、本実施形態に係る画像処理装置は、取得部１０１－１と、高画質化処理部３０１とを備える。取得部１０１－１は、被検体の医用画像の第１の画像を取得する。高画質化処理部３０１は、被検体の医用画像を学習データとする学習により得た第１の学習済モデルを用いた高画質化処理と、被検体の医用画像の対象領域におけるブレンド処理又は明るさ及びコントラストの少なくとも一方の補正処理とが行われた被検体の医用画像を学習データとする学習により得た第２の学習済モデルを用いて、第１の画像に対して高画質化処理を行い被検体の医用画像の第２の画像を取得する。この場合にも、過補正が抑制された高画質画像を生成できる。

なお、第１の実施形態及び第２の実施形態に係るいずれかの方法によって高画質化した医用画像を用いて各種の画像解析を行うことで、より確度の高い解析を行うことができる。また、人工知能エンジンによる疾病スクリーニングについても、高画質化した画像を入力画像として利用することができ、より精度の高い処理ができると期待できる。

［変形例１］
第１の実施形態において、領域検出部３０２が学習済モデルを用いて対象領域を検出する場合の学習データとしては、複数の深度範囲に対応する複数の正面画像を用いることができる。例えば、学習済モデルを用いた領域検出エンジンの学習データの入力データとして、複数の深度範囲に対応する複数のＯＣＴＡ正面画像を用いることができる。なお、学習データの出力データとしては、入力データとして用いたＯＣＴＡ正面画像に対応する領域ラベル画像を用いてよい。領域検出部３０２は、このような学習データの学習により得た共通の学習済モデルを用いることで、任意の深度範囲、例えば、検者からの指示に応じて選択された深度範囲に対応する被検体の正面画像から、２次元の対象領域を検出することができる。なお、深度範囲としては、例えば、表層、深層、外層、及び脈絡膜血管網や、基準となる層とオフセットの値を変えた異なる深度範囲等を含んでよい。また、正面画像はＯＣＴＡ正面画像に限られず、Ｅｎ－Ｆａｃｅ画像であってもよい。

また、深度範囲毎の学習データを用いて、深度範囲に対応する複数の学習済モデルを用意してもよい。この場合、領域検出部３０２は、複数の深度範囲に対応する被検体の複数の正面画像をそれぞれの学習データとした学習により得た複数の学習済モデルのうち、検者からの指示に応じて選択された深度範囲に対応する学習済モデルを選択し、選択された学習済モデルを用いて、被検体の正面画像から２次元の対象領域を検出してもよい。また、領域検出部３０２は、このような複数の学習済モデルのうち、領域検出処理に用いる医用画像の深度範囲に対応する学習済モデルを選択し、選択された学習済モデルを用いて、被検体の正面画像から２次元の対象領域を検出してもよい。

さらに、学習データとして、異なる深度範囲の正面画像を複数組み合わせて（例えば、表層側と深層側で複数の正面画像を分けて）用いてもよい。この場合も、領域検出部３０２は、検者からの指示に応じて選択された深度範囲又は領域検出処理に用いる医用画像の深度範囲に対応する学習済モデルを選択し、選択された学習済モデルを用いて、被検体の正面画像から２次元の対象領域を検出することができる。

さらに、学習済モデルを用いた領域検出エンジンの学習データの入力データとして、３次元画像を用いてもよい。例えば、学習データの入力データとして、３次元の断層画像や３次元のモーションコントラスト画像を用い、学習データの出力データとして、当該３次元の画像についてラベル付けを行った３次元の領域ラベル画像を用いることができる。この場合、領域検出部３０２は、被検体の３次元画像を学習データとした学習により得た学習済モデルを用いて、被検体の３次元画像から３次元の対象領域を検出することができる。

同様に、高画質化エンジンについても、３次元画像を入力データとし、高画質化した３次元画像を出力データとした学習データを用いて学習を行ってもよい。この場合、高画質化処理部３０１は、被検体の３次元の医用画像を学習データとした学習により得た高画質化エンジンを用いて、被検体の３次元の医用画像から高画質化した３次元画像を取得することができる。さらに、ブレンド処理部３０４やＢＣ調整部３０５を３次元の医用画像における３次元の対象領域について各種処理を行うように構成することができる。この場合には、３次元の医用画像について処理を行うことで、第１の実施形態と同様の効果を奏することができる。また、同様に、第２の実施形態に係る高画質化エンジンの学習データに３次元画像を用いてもよい。この場合には、３次元の医用画像について処理を行うことで、第２の実施形態と同様の効果を奏することができる。

［変形例２］
高画質化処理や領域検出処理に用いる学習済モデル（高画質化用の学習済モデル、領域検出用の学習済モデル）を被検者毎に調整（チューニング）する学習を行い、その被検者専用の学習済モデルを生成してもよい。例えば、被検者の過去の検査において取得された医用画像を用いて、高画質な医用画像を生成するための汎用的な学習済モデルや領域を検出するための汎用的な学習済モデルの転移学習を行い、その被検者専用の学習済モデルを生成することができる。被検者専用の学習済モデルを被検者のＩＤと紐付けて記憶部１０１－３やサーバ等の外部装置に記憶させておくことで、画像処理装置１０１は、被検者の現在の検査を行う際に、被検者のＩＤに基づいて被検者専用の学習済モデルを特定し、利用することができる。被検者専用の学習済モデルを用いることで、高画質化処理や領域検出処理の精度を向上させることができる。

［変形例３］
高画質化エンジンは、入力データである各種画像の種類毎に用意されてもよい。例えば、前眼画像用の高画質化モデルや、ＳＬＯ画像用の高画質化モデル、断層画像用の高画質化モデル、ＯＣＴＡ正面画像用の高画質化モデル等が用意されてよい。また、ＯＣＴＡ正面画像やＥｎ－Ｆａｃｅ画像については、画像を生成するための深度範囲毎に高画質化モデルが用意されてもよい。例えば、表層用の高画質化モデルや深層用の高画質化モデル等が用意されてよい。さらに、高画質化モデルは、撮影部位（例えば、黄斑部中心、視神経乳頭部中心）毎の画像について学習を行ったものでもよいし、撮影部位に関わらず学習を行ったものであってもよい。

このとき、例えば、眼底ＯＣＴＡ正面画像を学習データとして学習して得た高画質化モデルを用いて、眼底ＯＣＴＡ正面画像を高画質化し、さらに、前眼ＯＣＴＡ正面画像を学習データとして学習して得た高画質化モデルを用いて、前眼ＯＣＴＡ正面画像を高画質化してもよい。また、高画質化モデルは、撮影部位を関わらず学習を行ったものであってもよい。ここで、例えば、眼底ＯＣＴＡ正面画像及び前眼ＯＣＴＡ正面画像は、撮影対象である血管の分布の様子が互いに比較的類似していることがある。このように、撮影対象の様子が互いに比較的類似しているような複数の種類の医用画像では、互いの特徴量が比較的類似していることがある。そこで、例えば、眼底ＯＣＴＡ正面画像を学習データとして学習して得た高画質化モデルを用いて、眼底ＯＣＴＡ正面画像を高画質化するだけでなく、前眼ＯＣＴＡ正面画像も高画質化可能に構成されてもよい。また、例えば、前眼ＯＣＴＡ正面画像を学習データとして学習して得た高画質化モデルを用いて、前眼ＯＣＴＡ正面画像を高画質化するだけでなく、眼底ＯＣＴＡ正面画像も高画質化可能に構成されてもよい。すなわち、眼底ＯＣＴＡ正面画像と前眼ＯＣＴＡ正面画像との少なくとも一つの種類の正面画像を学習データとして学習して得た高画質化モデルを用いて、眼底ＯＣＴＡ正面画像と前眼ＯＣＴＡ正面画像との少なくとも一つの種類の正面画像を高画質化可能に構成されてもよい。

ここで、眼底撮影可能なＯＣＴ装置において、前眼も撮影可能である場合を考える。このとき、ＯＣＴＡのＥｎ－Ｆａｃｅ画像には、例えば、眼底撮影モードにおいては眼底ＯＣＴＡ正面画像が適用され、また、前眼部撮影モードにおいては前眼ＯＣＴＡ正面画像が適用されてもよい。このとき、高画質化ボタンが押下されると、例えば、眼底撮影モードにおいては、ＯＣＴＡのＥｎ－Ｆａｃｅ画像の表示領域において、低画質の眼底ＯＣＴＡ正面画像と高画質の眼底ＯＣＴＡ正面画像とのうち一方の表示が他方の表示に変更されるように構成されてもよい。また、高画質化ボタンが押下されると、例えば、前眼部撮影モードにおいては、ＯＣＴＡのＥｎ－Ｆａｃｅ画像の表示領域において、低画質の前眼ＯＣＴＡ正面画像と高画質の前眼ＯＣＴＡ正面画像とのうち一方の表示が他方の表示に変更されるように構成されてもよい。

なお、眼底撮影可能なＯＣＴ装置において、前眼も撮影可能とする場合に、前眼アダプタが装着可能に構成されてもよい。また、前眼アダプタを用いずに、ＯＣＴ装置の光学系が被検眼の眼軸長程度の距離、移動可能に構成されてもよい。このとき、ＯＣＴ装置のフォーカス位置が前眼に結像する程度、正視側に大きく変更可能に構成されてもよい。

また、断層画像には、例えば、眼底撮影モードにおいては眼底ＯＣＴ断層画像が適用され、また、前眼部撮影モードにおいては前眼ＯＣＴ断層画像が適用されてもよい。また、上述した眼底ＯＣＴＡ正面画像及び前眼ＯＣＴＡ正面画像の高画質化処理は、例えば、眼底ＯＣＴ断層画像及び前眼ＯＣＴ断層画像の高画質化処理として適用することも可能である。このとき、高画質化ボタンが押下されると、例えば、眼底撮影モードにおいては、断層画像の表示領域において、低画質の眼底ＯＣＴ断層画像と高画質の眼底ＯＣＴ断層画像とのうち一方の表示が他方の表示に変更されるように構成されてもよい。また、高画質化ボタンが押下されると、例えば、前眼部撮影モードにおいては、断層画像の表示領域において、低画質の前眼ＯＣＴ断層画像と高画質の前眼ＯＣＴ断層画像とのうち一方の表示が他方の表示に変更されるように構成されてもよい。

また、断層画像には、例えば、眼底撮影モードにおいては眼底ＯＣＴＡ断層画像が適用され、また、前眼部撮影モードにおいては前眼ＯＣＴＡ断層画像が適用されてもよい。また、上述した眼底ＯＣＴＡ正面画像及び前眼ＯＣＴＡ正面画像の高画質化処理は、例えば、眼底ＯＣＴＡ断層画像及び前眼ＯＣＴＡ断層画像の高画質化処理として適用することも可能である。このとき、例えば、眼底撮影モードにおいては、断層画像の表示領域において、眼底ＯＣＴＡ断層画像における血管領域（例えば、閾値以上のモーションコントラストデータ）を示す情報が、対応する位置の眼底ＯＣＴ断層画像に重畳して表示されるように構成されてもよい。また、例えば、前眼部撮影モードにおいては、断層画像の表示領域において、前眼ＯＣＴＡ断層画像における血管領域を示す情報が、対応する位置の前眼ＯＣＴ断層画像に重畳して表示されてもよい。

このように、例えば、複数の種類の医用画像の特徴量（撮影対象の様子）が互いに比較的類似していると考えられるような場合には、複数の種類の医用画像の少なくとも一つの種類の医用画像を学習データとして学習して得た高画質化モデルを用いて、複数の種類の医用画像の少なくとも一つの種類の医用画像を高画質化可能に構成されてもよい。これにより、例えば、共通の学習済モデル（共通の高画質化モデル）を用いて、複数の種類の医用画像の高画質化を実行可能に構成することができる。

なお、眼底撮影モードの表示画面と前眼部撮影モードの表示画面とは、同じ表示レイアウトであってもよいし、それぞれの撮影モードに対応する表示レイアウトであってもよい。眼底撮影モードと前眼部撮影モードとで、撮影条件や解析条件等の種々の条件が同じであってもよいし、異なっていてもよい。

ここで、高画質化処理の対象画像は、例えば、（複数の深度範囲に対応する）複数のＯＣＴＡ正面画像（ＯＣＴＡのＥｎ－Ｆａｃｅ画像、モーションコントラストのＥｎ－Ｆａｃｅ画像）であってもよい。また、高画質化処理の対象画像は、例えば、１つの深度範囲に対応する１つのＯＣＴＡ正面画像であってもよい。また、高画質化処理の対象画像は、ＯＣＴＡ正面画像の代わりに、例えば、輝度の正面画像（輝度のＥｎ－Ｆａｃｅ画像）、あるいはＢスキャン画像であるＯＣＴ断層画像やモーションコントラストデータの断層画像（ＯＣＴＡ断層画像）であってもよい。また、高画質化処理の対象画像は、ＯＣＴＡ正面画像だけでなく、例えば、輝度の正面画像及びＢスキャン画像であるＯＣＴ断層画像やモーションコントラストデータの断層画像（ＯＣＴＡ断層画像）等の種々の医用画像であってもよい。すなわち、高画質化処理の対象画像は、例えば、出力部１０３の表示画面上に表示されている種々の医用画像の少なくとも１つであればよい。このとき、例えば、画像の種類毎に画像の特徴量が異なる場合があるため、高画質化処理の対象画像の各種類に対応する高画質化用の学習済モデルが用いられてもよい。例えば、検者からの指示に応じて高画質化ボタンが押下されると、ＯＣＴＡ正面画像に対応する高画質化用の学習済モデルを用いてＯＣＴＡ正面画像を高画質化処理するだけでなく、ＯＣＴ断層画像に対応する高画質化用の学習済モデルを用いてＯＣＴ断層画像も高画質化処理するように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタンが押下されると、ＯＣＴＡ正面画像に対応する高画質化用の学習済モデルを用いて生成された高画質なＯＣＴＡ正面画像の表示に変更されるだけでなく、ＯＣＴ断層画像に対応する高画質化用の学習済モデルを用いて生成された高画質なＯＣＴ断層画像の表示に変更されるように構成されてもよい。このとき、ＯＣＴ断層画像の位置を示すラインがＯＣＴＡ正面画像に重畳表示されるように構成されてもよい。また、上記ラインは、検者からの指示に応じてＯＣＴＡ正面画像上で移動可能に構成されてもよい。また、高画質化ボタンの表示がアクティブ状態である場合には、上記ラインが移動された後に、現在のラインの位置に対応するＯＣＴ断層画像を高画質化処理して得た高画質なＯＣＴ断層画像の表示に変更されるように構成されてもよい。また、高画質化処理の対象画像毎に高画質化ボタンが表示されることで、画像毎に独立して高画質化処理可能に構成されてもよい。

また、ＯＣＴＡ断層画像における血管領域（例えば、閾値以上のモーションコントラストデータ）を示す情報が、対応する位置のＢスキャン画像であるＯＣＴ断層画像に重畳して表示されてもよい。このとき、例えば、ＯＣＴ断層画像が高画質化されると、対応する位置のＯＣＴＡ断層画像が高画質化されてもよい。そして、高画質化して得たＯＣＴＡ断層画像における血管領域を示す情報が、高画質化して得たＯＣＴ断層画像に重畳して表示されてもよい。なお、血管領域を示す情報は、色等の識別可能な情報であれば何でもよい。また、血管領域を示す情報の重畳表示と非表示とが検者からの指示に応じて変更可能に構成されてもよい。また、ＯＣＴ断層画像の位置を示すラインがＯＣＴＡ正面画像上で移動されると、ラインの位置に応じてＯＣＴ断層画像の表示が更新されてもよい。このとき、対応する位置のＯＣＴＡ断層画像も更新されるため、ＯＣＴＡ断層画像から得られる血管領域を示す情報の重畳表示が更新されてもよい。これにより、例えば、任意の位置において、血管領域と注目領域との位置関係を容易に確認しながら、血管領域の３次元の分布や状態を効果的に確認することができる。また、ＯＣＴＡ断層画像の高画質化は、高画質化用の学習済モデルを用いる代わりに、対応する位置で取得した複数のＯＣＴＡ断層画像の加算平均処理等による高画質化処理であってもよい。また、ＯＣＴ断層画像は、ＯＣＴボリュームデータにおける任意の位置の断面として再構成された疑似ＯＣＴ断層画像であってもよい。また、ＯＣＴＡ断層画像は、ＯＣＴＡボリュームデータにおける任意の位置の断面として再構成された疑似ＯＣＴＡ断層画像であってもよい。なお、任意の位置は、少なくとも１つの任意の位置であればよく、また、検者からの指示に応じて変更可能に構成されてもよい。このとき、複数の位置に対応する複数の疑似断層画像が再構成されるように構成されてもよい。

なお、表示される断層画像（例えば、ＯＣＴ断層画像あるいはＯＣＴＡ断層画像）は、１つだけ表示されてもよいし、複数表示されてもよい。複数の断層画像が表示される場合には、それぞれ異なる副走査方向の位置で取得された断層画像が表示されてもよいし、例えばクロススキャン等により得られた複数の断層画像を高画質化して表示する場合には、異なる走査方向の画像がそれぞれ表示されてもよい。また、例えばラジアルスキャン等により得られた複数の断層画像を高画質化して表示する場合には、一部選択された複数の断層画像（例えば基準ラインに対して互いに対称な位置の２つの断層画像）がそれぞれ表示されてもよい。さらに、経過観察用の表示画面（フォローアップ用の表示画面）に複数の断層画像を表示し、上述の方法と同様の手法により高画質化の指示や解析結果（例えば、特定の層の厚み等）の表示が行われてもよい。このとき、表示される複数の断層画像は、被検眼の所定部位の異なる日時に得た複数の断層画像であってもよいし、同一検査日の異なる時間に得た複数の断層画像であってもよい。また、上述の方法と同様の手法によりデータベースに保存されている情報に基づいて断層画像に高画質化処理を実行してもよい。

同様に、ＳＬＯ画像を高画質化して表示する場合には、例えば、同一の表示画面に表示されるＳＬＯ画像を高画質化して表示してもよい。さらに、輝度の正面画像を高画質化して表示する場合には、例えば、同一の表示画面に表示される輝度の正面画像を高画質化して表示してよい。さらに、経過観察用の表示画面に複数のＳＬＯ画像や輝度の正面画像を表示し、上述の方法と同様の手法により高画質化の指示や解析結果（例えば、特定の層の厚み等）の表示が行われてもよい。また、上述の方法と同様の手法によりデータベースに保存されている情報に基づいてＳＬＯ画像や輝度の正面画像に高画質化処理を実行してもよい。なお、断層画像、ＳＬＯ画像、及び輝度の正面画像の表示は例示であり、これらの画像は所望の構成に応じて任意の態様で表示されてよい。また、ＯＣＴＡ正面画像、断層画像、ＳＬＯ画像、及び輝度の正面画像の少なくとも２つ以上が、一度の指示で高画質化され表示されてもよい。

このような構成により、高画質化処理して得た高画質画像を表示制御部１０１－５が出力部１０３に表示させることができる。なお、高画質画像の表示、解析結果の表示、表示される正面画像の深度範囲等に関する複数の条件のうち少なくとも１つの条件が選択されている場合には、表示画面が遷移されても、選択された条件が維持されるように構成されてもよい。なお、各種高画質画像や上記ライン、血管領域を示す情報等の表示の制御は、表示制御部１０１－５によって行われてよい。

また、高画質化モデルは、表示制御部１０１－５によって出力部１０３に表示されるプレビュー画面において、ライブ動画像のすくなくとも１つのフレーム毎に用いられてもよい。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されてもよい。例えば、アライメント処理に用いる前眼画像について、前眼画像用の高画質化モデルを用いて高画質化された画像を用いてもよい。同様に各種画像における所定領域の検出処理について用いられる各種画像について、それぞれの画像用の高画質化モデルを用いて高画質化された画像を用いてもよい。

このとき、例えば、検者からの指示に応じて高画質化ボタンが押下された場合には、異なる種類の複数のライブ動画像（例えば、前眼画像、ＳＬＯ画像、断層画像）の表示を（同時に）、それぞれ高画質化処理されることにより得た高画質動画像の表示に変更されるように構成されてもよい。このとき、高画質動画像の表示は、各フレームを高画質化処理して得た高画質画像の連続表示であってもよい。また、例えば、画像の種類毎に画像の特徴量が異なる場合があるため、高画質化処理の対象画像の各種類に対応する高画質化用の学習済モデルが用いられてもよい。例えば、検者からの指示に応じて高画質化ボタンが押下されると、前眼画像に対応する高画質化モデルを用いて前眼画像を高画質化処理するだけでなく、ＳＬＯ画像に対応する高画質化モデルを用いてＳＬＯ画像も高画質化処理するように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタンが押下されると、前眼画像に対応する高画質化モデルを用いて生成された高画質な前眼画像の表示に変更されるだけでなく、ＳＬＯ画像に対応する高画質化モデルを用いて生成された高画質なＳＬＯ画像の表示に変更されるように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタンが押下されると、ＳＬＯ画像に対応する高画質化モデルを用いてＳＬＯ画像を高画質化処理するだけでなく、断層画像に対応する高画質化モデルを用いて断層画像も高画質化処理するように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタンが押下されると、ＳＬＯ画像に対応する高画質化モデルを用いて生成された高画質なＳＬＯ画像の表示に変更されるだけでなく、断層画像に対応する高画質化モデルを用いて生成された高画質な断層画像の表示に変更されるように構成されてもよい。このとき、断層画像の位置を示すラインがＳＬＯ画像に重畳表示されるように構成されてもよい。また、上記ラインは、検者からの指示に応じてＳＬＯ画像上で移動可能に構成されてもよい。また、高画質化ボタンの表示がアクティブ状態である場合には、上記ラインが移動された後に、現在のラインの位置に対応する断層画像を高画質化処理して得た高画質な断層画像の表示に変更されるように構成されてもよい。また、高画質化処理の対象画像毎に高画質化ボタンが表示されることで、画像毎に独立して高画質化処理可能に構成されてもよい。

これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、プレビュー画面を確認しながら操作者がアライメント位置を修正する場合に、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。また、画像処理装置１０１は、撮影開始に関する指示に応じて、撮影の途中あるいは撮影の最後に、セグメンテーション処理等により得たアーチファクト領域等の部分領域が再度撮影（リスキャン）されるように、上述した走査手段を駆動制御してもよい。なお、被検眼の動き等の状態によっては、１回のリスキャンでは上手く撮影できない場合があるため、所定の回数のリスキャンが繰り返されるように駆動制御されてもよい。このとき、所定の回数のリスキャンの途中でも、操作者からの指示に応じて（例えば、撮影キャンセルボタンの押下後に）リスキャンが終了されるように構成されてもよい。このとき、操作者からの指示に応じてリスキャンが終了されるまでの撮影データが保存されるように構成されてもよい。なお、例えば、撮影キャンセルボタンの押下後に確認ダイアログが表示され、撮影データの保存か、撮影データの破棄かを、操作者からの指示に応じて選択可能に構成されてもよい。また、例えば、撮影キャンセルボタンの押下後には、（現在のリスキャンは完了するまで実行されるが）次のリスキャンは実行されずに、確認ダイアログにおける操作者からの指示（入力）があるまで待機するように構成されてもよい。また、例えば、注目部位に関する物体検出結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、各調整や撮影開始等を自動的に行うように構成されてもよい。また、例えば、注目部位に関する物体検出結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、各調整や撮影開始等を検者からの指示に応じて実行可能な状態に変更（実行禁止状態を解除）するように構成されてもよい。

ここで、オートアライメント中では、被検眼２００の網膜等の撮影対象がまだ上手く撮像できていない可能性がある。このため、学習済モデルに入力される医用画像と学習データとして用いられた医用画像との違いが大きいために、精度良く高画質画像が得られない可能性がある。そこで、断層画像（Ｂスキャン画像）の画質評価等の評価値が閾値を超えたら、高画質動画像の表示（高画質フレームの連続表示）を自動的に開始するように構成してもよい。また、断層画像の画質評価等の評価値が閾値を超えたら、高画質化ボタンを検者が指定可能な状態（アクティブ状態）に変更するように構成されてもよい。なお、高画質化ボタンは、高画質化処理の実行を指定するためのボタンである。もちろん、高画質化ボタンは、高画質画像の表示を指示するためのボタンであってもよい。

また、スキャンパターン等が異なる撮影モード毎に異なる高画質化モデルを用意して、選択された撮影モードに対応する高画質化用の学習済モデルが選択されるように構成されてもよい。また、異なる撮影モードで得た様々な医用画像を含む学習データを学習して得た１つの高画質化モデルが用いられてもよい。

ここで、眼科装置、例えばＯＣＴ装置では、撮影モード毎に測定に用いる光束のスキャンパターンや撮影部位が異なる。そのため、断層画像を入力データとする学習済モデルに関しては、撮影モード毎に学習済モデルを用意し、操作者の指示に応じて選択された撮影モードに対応する学習済モデルが選択されるように構成してもよい。この場合、撮影モードとしては、例えば、網膜撮影モード、前眼部撮影モード、硝子体撮影モード、黄斑部撮影モード、及び視神経乳頭部撮影モード、ＯＣＴＡ撮影モード等が含まれてよい。また、スキャンパターンとしては、３Ｄスキャン、ラジアルスキャン、クロススキャン、サークルスキャン、ラスタスキャン、及びリサージュスキャン（リサージュ曲線に沿った走査）等が含まれてよい。なお、ＯＣＴＡ撮影モードでは、被検眼の同一領域（同一位置）において測定光が複数回走査されるように、撮影制御部１０１－２が上述した走査部を制御する。ＯＣＴＡ撮影モードでも、スキャンパターンとして、例えばラスタスキャンや、ラジアルスキャン、クロススキャン、サークルスキャン、リサージュスキャン等を設定することができる。また、断層画像を入力データとする学習済モデルに関しては、異なる方向の断面に応じた断層画像を学習データに用いて学習を行うことができる。例えば、ｘｚ方向の断面の断層画像やｙｚ方向の断面の断層画像等を学習データに用いて学習を行ってよい。

なお、高画質化モデルによる高画質化処理の実行（又は高画質化処理して得た高画質画像の表示）の要否の判断は、表示画面に設けられる高画質化ボタンについて、操作者の指示に応じて行われてもよいし、予め記憶部１０１－３に記憶されている設定に応じて行われてもよい。なお、学習済モデル（高画質化モデル）を用いた高画質化処理である旨を高画質化ボタンのアクティブ状態等で表示してもよいし、その旨をメッセージとして表示画面に表示させてもよい。また、高画質化処理の実行は、眼科装置の前回の起動時における実行状態を維持してもよいし、被検者毎に前回の検査時の実行状態を維持してもよい。

また、高画質化モデル等の種々の学習済モデルを適用可能な動画像は、ライブ動画像に限らず、例えば、記憶部１０１－３に記憶（保存）された動画像であってもよい。このとき、例えば、記憶部１０１－３に記憶（保存）された眼底の断層動画像の少なくとも１つのフレーム毎に位置合わせして得た動画像が表示画面に表示されてもよい。例えば、硝子体を好適に観察したい場合には、まず、フレーム上に硝子体ができるだけ存在する等の条件を基準とする基準フレームを選択してもよい。このとき、各フレームは、ＸＺ方向の断層画像（Ｂスキャン画像）である。そして、選択された基準フレームに対して他のフレームがＸＺ方向に位置合わせされた動画像が表示画面に表示されてもよい。このとき、例えば、動画像の少なくとも１つのフレーム毎に高画質化エンジンにより順次生成された高画質画像（高画質フレーム）を連続表示させるように構成されてもよい。

なお、上述したフレーム間の位置合わせの手法としては、Ｘ方向の位置合わせの手法とＺ方向（深度方向）の位置合わせの手法とは、同じ手法が適用されても良いし、全て異なる手法が適用されてもよい。また、同一方向の位置合わせは、異なる手法で複数回行われてもよく、例えば、粗い位置合わせを行った後に、精密な位置合わせが行われてもよい。また、位置合わせの手法としては、例えば、断層画像（Ｂスキャン画像）をセグメンテーション処理して得た網膜層境界を用いた（Ｚ方向の粗い）位置合わせ、断層画像を分割して得た複数の領域と基準画像との相関情報（類似度）を用いた（Ｘ方向やＺ方向の精密な）位置合わせ、断層画像（Ｂスキャン画像）毎に生成した１次元投影像を用いた（Ｘ方向の）位置合わせ、２次元正面画像を用いた（Ｘ方向の）位置合わせ等がある。また、ピクセル単位で粗く位置合わせが行われてから、サブピクセル単位で精密な位置合わせが行われるように構成されてもよい。

また、高画質化モデルは、検者からの指示に応じて設定（変更）された割合の値を学習データとする追加学習により更新されてもよい。例えば、入力画像が比較的暗いときに、高画質画像に対する入力画像の割合を検者が高く設定する傾向にあれば、学習済モデルはそのような傾向となるように追加学習することになる。これにより、例えば、検者の好みに合った合成の割合を得ることができる学習済モデルとしてカスタマイズすることができる。このとき、設定（変更）された割合の値を追加学習の学習データとして用いるか否かを、検者からの指示に応じて決定するためのボタンが表示画面に表示されていてもよい。また、学習済モデルを用いて決定された割合をデフォルトの値とし、その後、検者からの指示に応じて割合の値をデフォルトの値から変更可能となるように構成されてもよい。また、高画質化モデルは、高画質化モデルを用いて生成された少なくとも１つの高画質画像を含む学習データを追加学習して得た学習済モデルであってもよい。このとき、高画質画像を追加学習用の学習データとして用いるか否かを、検者からの指示により選択可能に構成されてもよい。

［変形例４］
画像特徴取得部１０１－４４、抽出部１０１－４６２、及び領域検出部３０２は、画像セグメンテーション用の学習済モデルを用いてラベル画像を生成し、画像セグメンテーション処理を行ってもよい。ここでラベル画像とは、当該断層画像について画素毎に領域のラベルが付されたラベル画像をいう。具体的には、取得された画像に描出されている領域群のうち、任意の領域を特定可能な画素値（以下、ラベル値）群によって分けている画像のことである。ここで、特定される任意の領域には関心領域や関心体積（ＶＯＩ：ＶｏｌｕｍｅＯｆＩｎｔｅｒｅｓｔ）等が含まれる。

画像から任意のラベル値を持つ画素の座標群を特定すると、画像中において対応する網膜層等の領域を描出している画素の座標群を特定できる。具体的には、例えば、網膜を構成する神経節細胞層を示すラベル値が１である場合、画像の画素群のうち画素値が１である座標群を特定し、画像から該座標群に対応する画素群を抽出する。これにより、当該画像における神経節細胞層の領域を特定できる。

なお、画像セグメンテーション処理には、ラベル画像に対する縮小又は拡大処理を実施する処理が含まれてもよい。このとき、ラベル画像の縮小又は拡大に用いる画像補完処理手法は、未定義のラベル値や対応する座標に存在しないはずのラベル値を誤って生成しないような、最近傍法等を使うものとする。

画像セグメンテーション処理とは、画像に描出された臓器や病変といった、ＲＯＩ（ＲｅｇｉｏｎＯｆＩｎｔｅｒｅｓｔ）やＶＯＩと呼ばれる領域を、画像診断や画像解析に利用するために特定する処理のことである。例えば、画像セグメンテーション処理によれば、後眼部を撮影対象としたＯＣＴの撮影によって取得された画像から、網膜を構成する層群の領域群を特定することができる。なお、画像に特定すべき領域が描出されていなければ特定される領域の数は０である。また、画像に特定すべき複数の領域群が描出されていれば、特定される領域の数は複数であってもよいし、又は、該領域群を含むように囲む領域１つであってもよい。

特定された領域群は、その他の処理において利用可能な情報として出力される。具体的には、例えば、特定された領域群のそれぞれを構成する画素群の座標群を数値データ群として出力することができる。また、例えば、特定された領域群のそれぞれを含む矩形領域や楕円領域、長方体領域、楕円体領域等を示す座標群を数値データ群として出力することもできる。さらに、例えば、特定された領域群の境界にあたる直線や曲線、平面、又は曲面等を示す座標群を数値データ群として出力することもできる。また、例えば、特定された領域群を示すラベル画像を出力することもできる。

ここで、画像セグメンテーション用の機械学習モデルとしては、例えば、畳み込みニューラルネットワーク（ＣＮＮ）を用いることができる。なお、本変形例で用いるＣＮＮの構成は、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するＵ－ｎｅｔ型の機械学習モデルとすることができる。Ｕ－ｎｅｔ型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報（空間情報）を、デコーダーとして構成される複数の階層において、同次元の階層（互いに対応する階層）で用いることができるように（例えば、スキップコネクションを用いて）構成される。

また、ＣＮＮの構成の変更例として、例えば、畳み込み層の後にバッチ正規化（ＢａｔｃｈＮｏｒｍａｌｉｚａｔｉｏｎ）層や、正規化線形関数（ＲｅｃｔｉｆｉｅｒＬｉｎｅａｒＵｎｉｔ）を用いた活性化層を組み込む等をしてもよい。ＣＮＮのこれらのステップを通して、撮影画像の特徴を抽出することができる。

なお、本変形例に係る機械学習モデルとしては、例えば、ＣＮＮ（Ｕ－ｎｅｔ型の機械学習モデル）、ＣＮＮとＬＳＴＭを組み合わせたモデル、ＦＣＮ（ＦｕｌｌｙＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ等を用いることができる。また、所望の構成に応じて、物体認識を行う機械学習モデル等を用いることもできる。物体認識を行う機械学習モデルとしては、例えば、ＲＣＮＮ（ＲｅｇｉｏｎＣＮＮ）、ｆａｓｔＲＣＮＮ、又はｆａｓｔｅｒＲＣＮＮを用いることができる。さらに、領域単位で物体認識を行う機械学習モデルを用いることもできる。領域単位で物体認識を行う機械学習モデルとしては、ＹＯＬＯ（ＹｏｕＯｎｌｙＬｏｏｋＯｎｃｅ）、又はＳＳＤ（ＳｉｎｇｌｅＳｈｏｔＤｅｔｅｃｔｏｒ、あるいはＳｉｎｇｌｅＳｈｏｔＭｕｌｔｉＢｏｘＤｅｔｅｃｔｏｒ）を用いることもできる。

また、画像セグメンテーション用の機械学習モデルの学習データは、ＯＣＴにより取得された断層画像を入力データとし、当該断層画像について画素毎に領域のラベルが付されたラベル画像を出力データとする。ラベル画像としては、例えば、内境界膜（ＩＬＭ）、神経線維層（ＮＦＬ）、神経節細胞層（ＧＣＬ）、視細胞内節外節接合部（ＩＳＯＳ）、網膜色素上皮層（ＲＰＥ）、ブルッフ膜（ＢＭ）、及び脈絡膜等のラベルが付されたラベル画像を用いることができる。なお、その他の領域として、例えば、硝子体、強膜、外網状層（ＯＰＬ）、外顆粒層（ＯＮＬ）、内網状層（ＩＰＬ）、内顆粒層（ＩＮＬ）、角膜、前房、虹彩、及び水晶体等のラベルが付された画像を用いてもよい。

また、画像セグメンテーション用の機械学習モデルの入力データは断層画像に限られない。前眼画像やＳＬＯ画像、ＯＣＴＡ画像等であってもよい。この場合、学習データは、各種画像を入力データとし、各種画像の画素毎に領域名等がラベル付けされたラベル画像を出力データとすることができる。例えば、学習データの入力データがＳＬＯ画像である場合には、出力データは、視神経乳頭の周辺部、Ｄｉｓｃ、及びＣｕｐ等のラベルが付された画像であってよい。

なお、出力データとして用いられるラベル画像は、医師等により断層画像において各領域にラベルが付された画像であってもよいし、ルールベースの領域検出処理により各領域にラベルが付された画像であってもよい。ただし、適切にラベル付けが行われていないラベル画像を学習データの出力データとして用いて機械学習を行うと、当該学習データを用いて学習した学習済モデルを用いて得た画像も適切にラベル付けが行われていないラベル画像となってしまう可能性がある。そのため、そのようなラベル画像を含むペアを学習データから取り除くことで、学習済モデルを用いて適切でないラベル画像が生成される可能性を低減させることができる。ここで、ルールベースの領域検出処理とは、例えば網膜の形状の規則性等の既知の規則性を利用した検出処理をいう。

画像特徴取得部１０１－４４、抽出部１０１－４６２、及び領域検出部３０２は、このような画像セグメンテーション用の学習済モデルを用いて、画像セグメンテーション処理を行うことで、各種画像について特定の領域を高速に精度良く検出することが期待できる。なお、画像セグメンテーション用の学習済モデルも、入力データである各種画像の種類毎に用意されてもよい。また、ＯＣＴＡ正面画像やＥｎ－Ｆａｃｅ画像については、画像を生成するための深度範囲毎に学習済モデルが用意されてもよい。さらに、画像セグメンテーション用の学習済モデルも、撮影部位（例えば、黄斑部中心、視神経乳頭部中心）毎の画像について学習を行ったものでもよいし、撮影部位を関わらず学習を行ったものであってもよい。

また、画像セグメンテーション用の学習済モデルについては、操作者の指示に応じて手動で修正されたデータを学習データとして追加学習が行われてもよい。また、追加学習の要否の判断やサーバにデータを送信するか否かの判断も同様の方法で行われてよい。これらの場合にも、各処理の精度を向上させたり、検者の好みの傾向に応じた処理を行えたりすることが期待できる。

さらに、画像処理装置１０１は、学習済モデルを用いて、被検眼２００の部分領域（例えば、注目部位、アーチファクト領域、異常部位等）を検出する場合には、検出した部分領域毎に所定の画像処理を施すこともできる。例として、硝子体領域、網膜領域、及び脈絡膜領域のうちの少なくとも２つの部分領域を検出する場合について述べる。この場合には、検出された少なくとも２つの部分領域に対してコントラスト調整等の画像処理を施す際に、それぞれ異なる画像処理のパラメータを用いることで、各領域に適した調整を行うことができる。各領域に適した調整が行われた画像を表示することで、操作者は部分領域毎の疾病等をより適切に診断することができる。なお、検出された部分領域毎に異なる画像処理のパラメータを用いる構成については、学習済モデルを用いずに被検眼２００の部分領域を検出して求めた被検眼２００の部分領域について同様に適用されてもよい。

［変形例５］
上述した様々な実施形態及び変形例における表示制御部１０１－５は、断層画像撮影後に表示画面のレポート画面において、所望の層の層厚や各種の血管密度等の解析結果を表示させてもよい。また、視神経乳頭部、黄斑部、血管領域、毛細血管領域、動脈領域、静脈領域、神経線維束、硝子体領域、黄斑領域、脈絡膜領域、強膜領域、篩状板領域、網膜層境界、網膜層境界端部、視細胞、血球、血管壁、血管内壁境界、血管外側境界、神経節細胞、角膜領域、隅角領域、シュレム管等の少なくとも１つを含む注目部位に関するパラメータの値（分布）を解析結果として表示させてもよい。ここで、注目部位は、例えば、Ｈａｌｌｅｒ層における血管（脈絡膜領域の一部の深度範囲における血管の一例）の眼外への流出口である渦静脈等であってもよい。このとき、注目部位に関するパラメータは、例えば、渦静脈の個数（例えば、領域毎の個数）や、視神経乳頭部から各渦静脈までの距離、視神経乳頭を中心とする各渦静脈の位置する角度等であってもよい。これにより、例えば、Ｐａｃｈｙｃｈｏｒｏｉｄ（肥厚した脈絡膜）に関する種々の疾患（例えば、脈絡膜新生血管症）等を精度よく診断することが可能となる。また、例えば、各種のアーチファクトの低減処理が適用された医用画像を解析することで、上述した種々の解析結果を精度の良い解析結果として表示させることができる。なお、アーチファクトは、例えば、血管領域等による光吸収により生じる偽像領域や、プロジェクションアーチファクト、被検眼の状態（動きや瞬き等）によって測定光の主走査方向に生じる正面画像における帯状のアーチファクト等であってもよい。また、アーチファクトは、例えば、被検者の所定部位の医用画像上に撮影毎にランダムに生じるような写損領域であれば、何でもよい。また、表示制御部１０１－５は、上述したような様々なアーチファクト（写損領域）の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として出力部１０３に表示させてもよい。また、ドルーゼン、新生血管、白斑（硬性白斑）、及びシュードドルーゼン等の異常部位等の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示させてもよい。また、標準データベースを用いて得た標準値や標準範囲と、解析結果とを比較して得た比較結果が表示されてもよい。

また、解析結果は、解析マップや、各分割領域に対応する統計値を示すセクター等で表示されてもよい。なお、解析結果は、医用画像の解析結果を学習データとして学習して得た学習済モデル（解析結果生成エンジン、解析結果生成用の学習済モデル）を用いて生成されたものであってもよい。このとき、学習済モデルは、医用画像とその医用画像の解析結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の解析結果とを含む学習データ等を用いた学習により得たものであってもよい。

また、画像解析を行うための学習データは、画像セグメンテーション処理用の学習済モデルを用いて生成されたラベル画像と、当該ラベル画像を用いた医用画像の解析結果とを含んだものでもよい。この場合、画像処理装置１０１は、例えば、解析結果生成用の学習済モデルを用いて、画像セグメンテーション処理の結果から、断層画像の解析結果を生成する、解析結果生成部の一例として機能することができる。さらに、学習済モデルは、輝度のＥｎ－Ｆａｃｅ画像及びモーションコントラスト正面画像（ＯＣＴＡのＥｎ－Ｆａｃｅ画像）のように、所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データを用いた学習により得たものであってもよい。

また、高画質化モデルを用いて生成された高画質画像を用いて得た解析結果が表示されるように構成されてもよい。この場合、学習データに含まれる入力データとしては、高画質化用の学習済モデルを用いて生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。なお、学習データは、学習済モデルを用いて高画質化された画像について、手動又は自動で少なくとも一部に修正が施された画像であってもよい。

また、学習データは、例えば、解析領域を解析して得た解析値（例えば、平均値や中央値等）、解析値を含む表、解析マップ、画像におけるセクター等の解析領域の位置等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータであってもよい。なお、操作者からの指示に応じて、解析結果生成用の学習済モデルを用いて得た解析結果が表示されるように構成されてもよい。

また、上述した実施形態及び変形例における表示制御部１０１－５は、表示画面のレポート画面において、糖尿病網膜症や、緑内障、加齢黄斑変性症等の種々の診断結果を表示させてもよい。このとき、例えば、上述したような各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い診断結果を表示させることができる。また、診断結果は、特定された異常部位等の位置を画像上に表示されてもよいし、異常部位の状態等を文字等によって表示されてもよい。さらに、異常部位等の分類結果（例えば、カーティン分類）を診断結果として表示させてもよい。また、分類結果としては、例えば、異常部位毎の確からしさを示す情報（例えば、割合を示す数値）が表示されてもよい。また、医師が診断を確定させる上で必要な情報が診断結果として表示されてもよい。上記必要な情報としては、例えば、追加撮影等のアドバイスが考えられる。例えば、ＯＣＴＡ画像における血管領域に異常部位が検出された場合には、ＯＣＴＡよりも詳細に血管を観察可能な造影剤を用いた蛍光撮影を追加で行う旨が表示されてもよい。また、診断結果は、被検者の今後の診療方針等に関する情報であってもよい。また、診断結果は、例えば、診断名、病変（異常部位）の種類や状態（程度）、画像における病変の位置、注目領域に対する病変の位置、所見（読影所見等）、診断名の根拠（肯定的な医用支援情報等）、及び診断名を否定する根拠（否定的な医用支援情報）等の少なくとも１つを含む情報であってもよい。このとき、例えば、検者からの指示に応じて入力された診断名等の診断結果よりも確からしい診断結果を医用支援情報として表示させてもよい。また、複数の種類の医用画像が用いられた場合には、例えば、診断結果の根拠となり得る種類の医用画像が識別可能に表示されてもよい。また、診断結果の根拠としては、学習済モデルが抽出した特徴量を可視化したマップ（注意マップ、活性化マップ）で、例えば、特徴量をカラーで示したカラーマップ（ヒートマップ）であってもよい。このとき、例えば、入力データとした医用画像にヒートマップを重畳表示させてもよい。なお、ヒートマップは、例えば、予測（推定）されるクラスの出力値への寄与が大きい領域（勾配が大きい領域）を可視化する手法であるＧｒａｄ－ＣＡＭ（Ｇｒａｄｉｅｎｔ－ｗｅｉｇｈｔｅｄＣｌａｓｓＡｃｔｉｖａｔｉｏｎＭａｐｐｉｎｇ）やＧｕｉｄｅｄＧｒａｄ－ＣＡＭ等を用いて得ることができる。

なお、診断結果は、医用画像の診断結果を学習データとして学習して得た学習済モデル（診断結果生成エンジン、診断結果生成用の学習済モデル）を用いて生成されたものであってもよい。また、学習済モデルは、医用画像とその医用画像の診断結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の診断結果とを含む学習データ等を用いた学習により得たものであってもよい。

また、学習データは、領域認識エンジンやセグメンテーション処理用の学習済モデルを用いて生成されたラベル画像と、当該ラベル画像を用いた医用画像の診断結果とを含んだものでもよい。この場合、画像処理装置１０１は、例えば、診断結果生成用の学習済モデルを用いて、画像セグメンテーション処理の結果から、断層画像の診断結果を生成する、診断結果生成部の一例として機能することができる。

さらに、高画質化エンジンを用いて生成された高画質画像を用いて得た診断結果が表示されるように構成されてもよい。この場合、学習データに含まれる入力データとしては、高画質化エンジンを用いて生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。なお、学習データは、学習済モデルを用いて高画質化された画像について、手動又は自動で少なくとも一部に修正が施された画像であってもよい。

また、学習データは、例えば、診断名、病変（異常部位）の種類や状態（程度）、画像における病変の位置、注目領域に対する病変の位置、所見（読影所見等）、診断名の根拠（肯定的な医用支援情報等）、診断名を否定する根拠（否定的な医用支援情報）等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータを用いてもよい。なお、検者からの指示に応じて、診断結果生成用の学習済モデルを用いて得た診断結果が表示されるように構成されてもよい。

なお、入力データとして用いる情報毎又は情報の種類毎に学習済モデルを用意し、学習済モデルを用いて、診断結果を取得してもよい。この場合、各学習済モデルから出力された情報に統計的な処理を行い、最終的な診断結果を決定してもよい。例えば、各学習済モデルから出力された情報の割合を各種類の情報毎に加算し、他の情報よりも割合の合計が高い情報を最終的な診断結果として決定してもよい。なお、統計的な処理は合計の算出に限られず、平均値や中央値の算出等であってもよい。また、例えば、各学習済モデルから出力された情報のうち、他の情報よりも割合の高い情報（最も割合の高い情報）を用いて診断結果を決定してもよい。同様に、各学習済モデルから出力された情報のうち、閾値以上である割合の情報を用いて診断結果を決定してもよい。

また、操作者の指示（選択）に応じて、決定された診断結果の良否の判定（承認）が可能に構成されてもよい。また、操作者の指示（選択）に応じて、各学習済モデルから出力された情報から診断結果を決定してもよい。このとき、例えば、表示制御部１０１－５が、各学習済モデルから出力された情報及びその割合を並べて出力部１０３に表示させてもよい。そして、操作者が、例えば、他の情報よりも割合の高い情報を選択することにより、選択された情報を診断結果として決定するように構成されてもよい。さらに、各学習済モデルから出力された情報から、機械学習モデルを用いて、診断結果を決定してもよい。この場合には、機械学習アルゴリズムとして、診断結果生成に用いられた機械学習アルゴリズムとは異なる種類の機械学習アルゴリズムであってもよく、例えば、ニューラルネットワーク、サポートベクターマシン、アダブースト、ベイジアンネットワーク、又はランダムフォレスト等を用いてよい。

なお、上述した種々の学習済モデルの学習は、教師あり学習（ラベル付きの学習データで学習）だけでなく、半教師あり学習であってもよい。半教師あり学習は、例えば、複数の識別器（分類器）がそれぞれ教師あり学習を行った後、ラベルのない学習データを識別（分類）し、識別結果（分類結果）の信頼度に応じて（例えば、確からしさが閾値以上の識別結果を）自動的にラベル付け（アノテーション）し、ラベル付けされた学習データで学習を行う手法である。半教師あり学習は、例えば、共訓練（Ｃｏ－Ｔｒａｉｎｉｎｇ、あるいはＭｕｌｔｉｖｉｅｗ）であってもよい。このとき、診断結果生成用の学習済モデルは、例えば、正常な被検体の医用画像を識別する第１の識別器と、特定の病変を含む医用画像を識別する第２の識別器とを用いて半教師あり学習（例えば、共訓練）して得た学習済モデルであってもよい。なお、診断目的に限らず、例えば撮影支援等を目的としてもよい。この場合、第２の識別器は、例えば、注目部位やアーチファクト領域等の部分領域を含む医用画像を識別するものであってもよい。

また、上述した様々な実施形態及び変形例に係る表示制御部１０１－５は、表示画面のレポート画面において、上述したような注目部位、アーチファクト領域、及び異常部位等の部分領域の物体認識結果（物体検出結果）やセグメンテーション結果を表示させてもよい。このとき、例えば、画像上の物体の周辺に矩形の枠等を重畳して表示させてもよい。また、例えば、画像における物体上に色等を重畳して表示させてもよい。なお、物体認識結果やセグメンテーション結果は、物体認識やセグメンテーションを示す情報を正解データとして医用画像にラベル付け（アノテーション）した学習データを学習して得た学習済モデル（物体認識エンジン、物体認識用の学習済モデル、セグメンテーションエンジン、セグメンテーション用の学習済モデル）を用いて生成されたものであってもよい。なお、上述した解析結果生成や診断結果生成は、上述した物体認識結果やセグメンテーション結果を利用することで得られたものであってもよい。例えば、物体認識やセグメンテーションの処理により得た注目部位に対して解析結果生成や診断結果生成の処理を行ってもよい。

また、異常部位を検出する場合には、画像処理装置１０１は、敵対的生成ネットワーク（ＧＡＮ：ＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｋｓ）や変分オートエンコーダー（ＶＡＥ：ＶａｒｉａｔｉｏｎａｌＡｕｔｏ－Ｅｎｃｏｄｅｒ）を用いてもよい。例えば、医用画像の生成を学習して得た生成器と、生成器が生成した新たな医用画像と本物の医用画像との識別を学習して得た識別器とからなるＤＣＧＡＮ（ＤｅｅｐＣｏｎｖｏｌｕｔｉｏｎａｌＧＡＮ）を機械学習モデルとして用いることができる。

ＤＣＧＡＮを用いる場合には、例えば、識別器が入力された医用画像をエンコードすることで潜在変数にし、生成器が潜在変数に基づいて新たな医用画像を生成する。その後、入力された医用画像と生成された新たな医用画像との差分を異常部位として抽出（検出）することができる。また、ＶＡＥを用いる場合には、例えば、入力された医用画像をエンコーダーによりエンコードすることで潜在変数にし、潜在変数をデコーダーによりデコードすることで新たな医用画像を生成する。その後、入力された医用画像と生成された新たな医用画像像との差分を異常部位として抽出することができる。

さらに、画像処理装置１０１は、畳み込みオートエンコーダー（ＣＡＥ：ＣｏｎｖｏｌｕｔｉｏｎａｌＡｕｔｏ－Ｅｎｃｏｄｅｒ）を用いて、異常部位を検出してもよい。ＣＡＥを用いる場合には、学習時に入力データ及び出力データとして同じ医用画像を学習させる。これにより、推定時に異常部位がある医用画像をＣＡＥに入力すると、学習の傾向に従って異常部位がない医用画像が出力される。その後、ＣＡＥに入力された医用画像とＣＡＥから出力された医用画像の差分を異常部位として抽出することができる。

これらの場合、画像処理装置１０１は、敵対的生成ネットワーク又はオートエンコーダーを用いて得た医用画像と、該敵対的生成ネットワーク又はオートエンコーダーに入力された医用画像との差に関する情報を異常部位に関する情報として生成することができる。これにより、画像処理装置１０１は、高速に精度よく異常部位を検出することが期待できる。例えば、異常部位の検出精度の向上のために異常部位を含む医用画像を学習データとして数多く集めることが難しい場合であっても、比較的に数多く集め易い正常な被検体の医用画像を学習データとして用いることができる。このため、例えば、異常部位を精度よく検出するための学習を効率的に行うことができる。ここで、オートエンコーダーには、ＶＡＥやＣＡＥ等が含まれる。また、敵対的生成ネットワークの生成部の少なくとも一部がＶＡＥで構成されてもよい。これにより、例えば、同じようなデータを生成してしまう現象を低減しつつ、比較的鮮明な画像を生成することができる。例えば、画像処理装置１０１は、種々の医用画像から敵対的生成ネットワーク又はオートエンコーダーを用いて得た医用画像と、該敵対的生成ネットワーク又は該オートエンコーダーに入力された医用画像との差に関する情報を、異常部位に関する情報として生成することができる。また、例えば、表示制御部１０１－５は、種々の医用画像から敵対的生成ネットワーク又はオートエンコーダーを用いて得た医用画像と、該敵対的生成ネットワーク又は該オートエンコーダーに入力された医用画像との差に関する情報を、異常部位に関する情報として出力部１０３に表示させることができる。

また、特に診断結果生成用の学習済モデルは、被検者の所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底のモーションコントラスト正面画像及び輝度正面画像（あるいは輝度断層画像）をセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）及びカラー眼底画像（あるいは蛍光眼底画像）をセットとする入力データ等も考えられる。また、異なる種類の複数の医療画像は、異なるモダリティ、異なる光学系、又は異なる原理等により取得されたものであれば何でもよい。

また、特に診断結果生成用の学習済モデルは、被検者の異なる部位の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）と前眼部の断層画像（Ｂスキャン画像）とをセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の黄斑の三次元ＯＣＴ画像（三次元断層画像）と眼底の視神経乳頭のサークルスキャン（又はラスタスキャン）断層画像とをセットとする入力データ等も考えられる。

なお、学習データに含まれる入力データは、被検者の異なる部位及び異なる種類の複数の医用画像であってもよい。このとき、学習データに含まれる入力データは、例えば、前眼部の断層画像とカラー眼底画像とをセットとする入力データ等が考えられる。また、上述した学習済モデルは、被検者の所定部位の異なる撮影画角の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。また、学習データに含まれる入力データは、パノラマ画像のように、所定部位を複数領域に時分割して得た複数の医用画像を貼り合わせたものであってもよい。このとき、パノラマ画像のような広画角画像を学習データとして用いることにより、狭画角画像よりも情報量が多い等の理由から画像の特徴量を精度良く取得できる可能性があるため、処理の結果を向上することができる。また、学習データに含まれる入力データは、被検者の所定部位の異なる日時の複数の医用画像をセットとする入力データであってもよい。

また、上述した解析結果と診断結果と物体認識結果とセグメンテーション結果とのうち少なくとも１つの結果が表示される表示画面は、レポート画面に限らない。このような表示画面は、例えば、撮影確認画面、経過観察用の表示画面、及び撮影前の各種調整用のプレビュー画面（各種のライブ動画像が表示される表示画面）等の少なくとも１つの表示画面に表示されてもよい。例えば、上述した学習済モデルを用いて得た上記少なくとも１つの結果を撮影確認画面に表示させることにより、操作者は、撮影直後であっても精度の良い結果を確認することができる。

また、例えば、特定の物体が認識されると、認識された物体を囲う枠がライブ動画像に重畳表示させるように構成されてもよい。このとき、物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、例えば、物体を囲う枠の色が変更される等のように強調表示されてもよい。これにより、検者は、物体をライブ動画上で容易に識別することができる。

なお、上述した様々な学習済モデルの学習に用いられる正解データの生成には、ラベル付け（アノテーション）等の正解データを生成するための正解データ生成用の学習済モデルが用いられてもよい。このとき、正解データ生成用の学習済モデルは、検者がラベル付け（アノテーション）して得た正解データを（順次）追加学習することにより得られたものであってもよい。すなわち、正解データ生成用の学習済モデルは、ラベル付け前のデータを入力データとし、ラベル付け後のデータを出力データとする学習データを追加学習することにより得られたものであってもよい。また、動画像等のような連続する複数フレームにおいて、前後のフレームの物体認識やセグメンテーション等の結果を考慮して、結果の精度が低いと判定されたフレームの結果を修正するように構成されてもよい。このとき、検者からの指示に応じて、修正後の結果を正解データとして追加学習するように構成されてもよい。また、例えば、結果の精度が低い医用画像については、検者が該医用画像上に、学習済モデルが抽出した特徴量を可視化したマップ（注意マップ、活性化マップ）の一例である、特徴量をカラーで示したカラーマップ（ヒートマップ）を確認しながらラベル付け（アノテーション）した画像を入力データとして追加学習するように構成されてもよい。例えば、学習済モデルにおける結果を出力する直前等のレイヤー上のヒートマップにおいて、注目すべき箇所が検者の意図と異なる場合には、検者が注目すべきと考える箇所にラベル付け（アノテーション）した医用画像を追加学習してもよい。これにより、例えば、学習済モデルは、医用画像上の部分領域であって、学習済モデルの出力結果に対して比較的影響が大きな部分領域の特徴量を、他の領域よりも優先して（重みを付けて）追加学習することができる。

ここで、上述した様々な学習済モデルは、学習データを用いた機械学習により得ることができる。機械学習には、例えば、多階層のニューラルネットワークから成る深層学習（ＤｅｅｐＬｅａｒｎｉｎｇ）がある。また、多階層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワークを用いることができる。また、多階層のニューラルネットワークの少なくとも一部には、オートエンコーダー（自己符号化器）に関する技術が用いられてもよい。また、学習には、バックプロパゲーション（誤差逆伝搬法）に関する技術が用いられてもよい。また、学習には、各ユニット（各ニューロン、あるいは各ノード）をランダムに不活性化する手法（ドロップアウト）が用いられてもよい。また、学習には、多階層のニューラルネットワークの各層に伝わったデータを、活性化関数（例えばＲｅＬｕ関数）が適用される前に、正規化する手法（バッチ正規化）が用いられてもよい。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出（表現）可能なモデルを用いた学習であれば何でもよい。ここで、機械学習モデルとは、ディープラーニング等の機械学習アルゴリズムによる学習モデルをいう。また、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いてトレーニングした（学習を行った）モデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。また、学習データとは、入力データ及び出力データ（正解データ）のペアで構成される。ここで、学習データを教師データという場合もあるし、あるいは、正解データを教師データという場合もある。

なお、ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合には、ＧＰＵで処理を行うことが有効である。そこで、本変形例では、学習部（不図示）の一例である画像処理装置１０１による処理には、ＣＰＵに加えてＧＰＵを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、学習部の処理は、ＣＰＵ又はＧＰＵのみにより演算が行われてもよい。また、上述した様々な学習済モデルを用いた処理を実行する処理部（推定部）も、学習部と同様にＧＰＵを用いてもよい。また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。

また、上述した物体認識や、セグメンテーション、高画質化等に用いられる機械学習モデルとしては、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するＵ－ｎｅｔ型の機械学習モデルが適用可能である。Ｕ－ｎｅｔ型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報（空間情報）を、デコーダーとして構成される複数の階層において、同次元の階層（互いに対応する階層）で用いることができるように（例えば、スキップコネクションを用いて）構成される。

また、上述した物体認識や、セグメンテーション、高画質化等に用いられる機械学習モデルとしては、例えば、ＦＣＮ（ＦｕｌｌｙＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ等を用いることもできる。また、所望の構成に応じて領域単位で物体認識を行う機械学習モデルを用いてもよい。物体認識を行う機械学習モデルとしては、例えば、ＲＣＮＮ（ＲｅｇｉｏｎＣＮＮ）、ｆａｓｔＲＣＮＮ、又はｆａｓｔｅｒＲＣＮＮを用いることができる。さらに、領域単位で物体認識を行う機械学習モデルとして、ＹＯＬＯ（ＹｏｕＯｎｌｙＬｏｏｋＯｎｃｅ）、又はＳＳＤ（ＳｉｎｇｌｅＳｈｏｔＤｅｔｅｃｔｏｒ、あるいはＳｉｎｇｌｅＳｈｏｔＭｕｌｔｉＢｏｘＤｅｔｅｃｔｏｒ）を用いることもできる。

また、機械学習モデルは、例えば、カプセルネットワーク（ＣａｐｓｕｌｅＮｅｔｗｏｒｋ；ＣａｐｓＮｅｔ）でもよい。ここで、一般的なニューラルネットワークでは、各ユニット（各ニューロン、あるいは各ノード）はスカラー値を出力するように構成されることによって、例えば、画像における特徴間の空間的な位置関係（相対位置）に関する空間情報が低減されるように構成されている。これにより、例えば、画像の局所的な歪みや平行移動等の影響が低減されるような学習を行うことができる。一方、カプセルネットワークでは、各ユニット（各カプセル）は空間情報をベクトルとして出力するように構成されることよって、例えば、空間情報が保持されるように構成されている。これにより、例えば、画像における特徴間の空間的な位置関係が考慮されたような学習を行うことができる。

［変形例６］
上述した様々な実施形態及び変形例におけるプレビュー画面において、ライブ動画像の少なくとも１つのフレーム毎に上述した種々の学習済モデルが用いられるように構成されてもよい。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されてもよい。これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。

なお、複数のライブ動画像は、例えば、ＸＹＺ方向のアライメントのための前眼部の動画像、及び眼底観察光学系のフォーカス調整やＯＣＴフォーカス調整のための眼底の正面動画像であってよい。また、複数のライブ動画像は、例えば、ＯＣＴのコヒーレンスゲート調整（測定光路長と参照光路長との光路長差の調整）のための眼底の断層動画像等であってもよい。このようなプレビュー画像が表示される場合、上述した物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された領域が所定の条件を満たすように、上述した各種調整が行われるように画像処理装置１０１を構成してもよい。例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やＲＰＥ等の所定の網膜層等に関する値（例えば、コントラスト値あるいは強度値）が閾値を超える（あるいはピーク値になる）ように、ＯＣＴフォーカス調整等の各種調整が行われるように構成されてもよい。また、例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やＲＰＥ等の所定の網膜層が深さ方向における所定の位置になるように、ＯＣＴのコヒーレンスゲート調整が行われるように構成されてもよい。

これらの場合には、画像処理装置１０１は、学習済モデルを用いて、動画像について高画質化処理を行って、高画質な動画像を生成することができる。また、撮影制御部１０１－２は、高画質な動画像が表示された状態で、セグメンテーション処理等により得た注目部位等の部分領域が表示領域における所定の位置になるように、参照ミラー２２１の撮影範囲を変更するための光学部材を駆動制御することができる。このような場合には、撮影制御部１０１－２は、精度の高い情報に基づいて、所望される領域が表示領域の所定の位置になるように自動的にアライメント処理を行うことができる。なお、撮影範囲を変更する光学部材としては、例えばコヒーレンスゲート位置を調整する光学部材であってよく、具体的には参照光を反射する参照ミラー２２１であってよい。また、コヒーレンスゲート位置は、測定光路長及び参照光路長の光路長差を変更する光学部材によって調整されることができ、当該光学部材は、例えば、不図示の測定光の光路長を変更するためのミラー等であってもよい。なお、撮影範囲を変更する光学部材は、例えばステージ部１００－２であってもよい。また、撮影制御部１０１－２、撮影開始に関する指示に応じて、撮影の途中あるいは撮影の最後に、セグメンテーション処理等により得たアーチファクト領域等の部分領域が再度撮影（リスキャン）されるように、走査手段を駆動制御してもよい。また、例えば、注目部位に関する物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、各種調整や撮影開始等を自動的に行うように構成されてもよい。また、例えば、注目部位に関する物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、各調整や撮影開始等を検者からの指示に応じて実行可能な状態に変更（実行禁止状態を解除）するように構成されてもよい。

また、上述した種々の学習済モデルを適用可能な動画像は、ライブ動画像に限らず、例えば、記憶部１０１－３に記憶（保存）された動画像であってもよい。このとき、例えば、記憶部１０１－３に記憶（保存）された眼底の断層動画像の少なくとも１つのフレーム毎に位置合わせして得た動画像が表示画面に表示されてもよい。例えば、硝子体を好適に観察したい場合には、まず、フレーム上に硝子体ができるだけ存在する等の条件を基準とする基準フレームを選択してもよい。このとき、各フレームは、ＸＺ方向の断層画像（Ｂスキャン像）である。そして、選択された基準フレームに対して他のフレームがＸＺ方向に位置合わせされた動画像が表示画面に表示されてもよい。このとき、例えば、動画像の少なくとも１つのフレーム毎に高画質化用の学習済モデルにより順次生成された高画質画像（高画質フレーム）を連続表示させるように構成してもよい。

なお、上述したフレーム間の位置合わせの手法としては、Ｘ方向の位置合わせの手法とＺ方向（深度方向）の位置合わせの手法とは、同じ手法が適用されてもよいし、全て異なる手法が適用されてもよい。また、同一方向の位置合わせは、異なる手法で複数回行われてもよく、例えば、粗い位置合わせを行った後に、精密な位置合わせが行われてもよい。また、位置合わせの手法としては、例えば、断層画像（Ｂスキャン像）をセグメンテーション処理して得た網膜層境界を用いた（Ｚ方向の粗い）位置合わせ、断層画像を分割して得た複数の領域と基準画像との相関情報（類似度）を用いた（Ｘ方向やＺ方向の精密な）位置合わせ、断層画像（Ｂスキャン像）毎に生成した１次元投影像を用いた（Ｘ方向の）位置合わせ、２次元正面画像を用いた（Ｘ方向の）位置合わせ等がある。また、ピクセル単位で粗く位置合わせが行われてから、サブピクセル単位で精密な位置合わせが行われるように構成されてもよい。

ここで、各種の調整中では、被検眼の網膜等の撮影対象がまだ上手く撮像できていない可能性がある。このため、学習済モデルに入力される医用画像と学習データとして用いられた医用画像との違いが大きいために、精度良く高画質画像が得られない可能性がある。そこで、断層画像（Ｂスキャン）の画質評価等の評価値が閾値を超えたら、高画質動画像の表示（高画質フレームの連続表示）を自動的に開始するように構成してもよい。また、断層画像（Ｂスキャン）の画質評価等の評価値が閾値を超えたら、高画質化ボタンを検者が指定可能な状態（アクティブ状態）に変更するように構成されてもよい。

また、例えば、スキャンパターン等が異なる撮影モード毎に異なる高画質化用の学習済モデルを用意して、選択された撮影モードに対応する高画質化用の学習済モデルが選択されるように構成されてもよい。また、異なる撮影モードで得た様々な医用画像を含む学習データを学習して得た１つの高画質化用の学習済モデルが用いられてもよい。

［変形例７］
上述した実施形態及び変形例においては、各種学習済モデルが追加学習の実行中である場合、追加学習の実行中の学習済モデル自体を用いて出力（推定・予測）することが難しい可能性がある。このため、追加学習の実行中の学習済モデルに対する学習データ以外の医用画像の入力を禁止するように構成されることがよい。また、追加学習の実行前の学習済モデルと同じ学習済モデルをもう一つ予備の学習済モデルとして用意してもよい。このとき、追加学習の実行中には、予備の学習済モデルに対する学習データ以外の医用画像の入力が実行可能なように構成されることがよい。そして、追加学習が完了した後に、追加学習の実行後の学習済モデルを評価し、問題がなければ、予備の学習済モデルから追加学習の実行後の学習済モデルに置き換えればよい。また、問題があれば、予備の学習済モデルが用いられるようにしてもよい。

なお、追加学習の実行後の学習済モデルの評価としては、例えば、高画質化用の学習済モデルで得た高画質画像を他の種類の画像と分類するための分類用の学習済モデルが用いられてもよい。分類用の学習済モデルは、例えば、高画質化用の学習済モデルで得た高画質画像と低画質画像とを含む複数の画像を入力データとし、これらの画像の種類がラベル付け（アノテーション）されたデータを正解データとして含む学習データを学習して得た学習済モデルであってもよい。このとき、推定時（予測時）の入力データの画像の種類が、学習時の正解データに含まれる画像の種類毎の確からしさを示す情報（例えば、割合を示す数値）と合わせて表示されてもよい。なお、分類用の学習済モデルの入力データとしては、上記の画像以外にも、複数の低画質画像の重ね合わせ処理（例えば、位置合わせして得た複数の低画質画像の平均化処理）等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像が含まれてもよい。また、追加学習の実行後の学習済モデルの評価としては、例えば、追加学習の実行後の学習済モデルと追加学習の実行前の学習済モデル（予備の学習済モデル）とをそれぞれ用いて同一の画像から得た複数の高画質画像を比較、あるいは該複数の高画質画像の解析結果を比較してもよい。このとき、例えば、該複数の高画質画像の比較結果（追加学習による変化の一例）、あるいは該複数の高画質画像の解析結果の比較結果（追加学習による変化の一例）が所定の範囲であるか否かを判定し、判定結果が表示されてもよい。

また、撮影部位毎に学習して得た学習済モデルを選択的に利用できるようにしてもよい。具体的には、第１の撮影部位（例えば、前眼部、後眼部等）を含む学習データを用いて得た第１の学習済モデルと、第１の撮影部位とは異なる第２の撮影部位を含む学習データを用いて得た第２の学習済モデルと、を含む複数の学習済モデルを用意することができる。そして、画像処理装置１０１は、これら複数の学習済モデルのいずれかを選択する選択手段を有してもよい。このとき、画像処理装置１０１は、選択された学習済モデルに対して追加学習を実行する制御手段を有してもよい。制御手段は、検者からの指示に応じて、選択された学習済モデルに対応する撮影部位と該撮影部位の撮影画像とがペアとなるデータを検索し、検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行することができる。なお、選択された学習済モデルに対応する撮影部位は、データのヘッダの情報から取得したり、検者により手動入力されたりしたものであってよい。また、データの検索は、例えば、病院や研究所等の外部施設のサーバ等からネットワークを介して行われてよい。これにより、学習済モデルに対応する撮影部位の撮影画像を用いて、撮影部位毎に効率的に追加学習することができる。

なお、選択手段及び制御手段は、画像処理装置１０１のＣＰＵやＭＰＵ等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、選択手段及び制御手段は、ＡＳＩＣ等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。

また、追加学習用の学習データを、病院や研究所等の外部施設のサーバ等からネットワークを介して取得する際には、改ざんや、追加学習時のシステムトラブル等による信頼性低下を低減することが有用である。そこで、デジタル署名やハッシュ化による一致性の確認を行うことで、追加学習用の学習データの正当性を検出してもよい。これにより、追加学習用の学習データを保護することができる。このとき、デジタル署名やハッシュ化による一致性の確認した結果として、追加学習用の学習データの正当性が検出できなかった場合には、その旨の警告を行い、その学習データによる追加学習を行わないものとする。なお、サーバは、その設置場所を問わず、例えば、クラウドサーバ、フォグサーバ、エッジサーバ等のどのような形態でもよい。なお、施設内や、施設が含まれる敷地内、複数の施設が含まれる地域内等のネットワークを無線通信可能に構成する場合には、例えば、施設や、敷地、地域等に限定で割り当てられた専用の波長帯域の電波を用いるように構成することで、ネットワークの信頼性を向上させてもよい。また、高速や、大容量、低遅延、多数同時接続が可能な無線通信によりネットワークが構成されてもよい。

また、上述したような一致性の確認によるデータの保護は、追加学習用の学習データに限らず、医用画像を含むデータに適用可能である。また、複数の施設のサーバの間の医用画像を含むデータの取引が分散型のネットワークにより管理されるように画像管理システムが構成されてもよい。また、取引履歴と、前のブロックのハッシュ値とが一緒に記録された複数のブロックを時系列につなぐように画像管理システムが構成されてもよい。なお、一致性の確認等を行うための技術としては、量子ゲート方式等の量子コンピュータを用いても計算が困難な暗号（例えば、格子暗号、量子鍵配送による量子暗号等）が用いられてもよい。ここで、画像管理システムは、撮影装置によって撮影された画像や画像処理された画像を受信して保存する装置及びシステムであってもよい。また、画像管理システムは、接続された装置の要求に応じて画像を送信したり、保存された画像に対して画像処理を行ったり、画像処理の要求を他の装置に要求したりすることができる。画像管理システムとしては、例えば、画像保存通信システム（ＰＡＣＳ）を含むことができる。また、画像管理システムは、受信した画像とともに関連付けられた被検者の情報や撮影時間などの各種情報も保存可能なデータベースを備える。また、画像管理システムはネットワークに接続され、他の装置からの要求に応じて、画像を送受信したり、画像を変換したり、保存した画像に関連付けられた各種情報を送受信したりすることができる。

なお、各種学習済モデルについて、追加学習を行う際には、ＧＰＵを用いて高速に処理を行うことができる。ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができるため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合にはＧＰＵで処理を行うことが有効である。なお、追加学習の処理は、ＧＰＵとＣＰＵ等が協働して行ってもよい。

［変形例８］
上述した様々な実施形態及び変形例において、検者からの指示は、手動による指示（例えば、ユーザーインターフェース等を用いた指示）以外にも、音声等による指示であってもよい。このとき、例えば、機械学習により得た音声認識モデル（音声認識エンジン、音声認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。また、手動による指示は、キーボードやタッチパネル等を用いた文字入力等による指示であってもよい。このとき、例えば、機械学習により得た文字認識モデル（文字認識エンジン、文字認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。また、検者からの指示は、ジェスチャー等による指示であってもよい。このとき、機械学習により得たジェスチャー認識モデル（ジェスチャー認識エンジン、ジェスチャー認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。

また、検者からの指示は、出力部１０３における表示画面上の検者の視線検出結果等であってもよい。視線検出結果は、例えば、出力部１０３における表示画面の周辺から撮影して得た検者の動画像を用いた瞳孔検出結果であってもよい。このとき、動画像からの瞳孔検出は、上述したような物体認識エンジンを用いてもよい。また、検者からの指示は、脳波、体を流れる微弱な電気信号等による指示であってもよい。

このような場合、例えば、学習データとしては、上述したような種々の学習済モデルの処理による結果の表示の指示を示す文字データ又は音声データ（波形データ）等を入力データとし、種々の学習済モデルの処理による結果等を実際に出力部１０３に表示させるための実行命令を正解データとする学習データであってもよい。また、学習データとしては、例えば、撮影パラメータの自動設定を行うか否かの実行命令及び当該命令用のボタンをアクティブ状態に変更するための実行命令等を正解データとする学習データであってもよい。さらに、学習データとしては、例えば、高画質画像を得るために高画質化処理を行うか否かの実行命令及び当該命令用のボタンをアクティブ状態に変更するための実行命令等を正解データとする学習データであってもよい。なお、学習データとしては、例えば、文字データ又は音声データ等が示す指示内容と実行命令内容とが互いに対応するものであれば何でもよい。また、音響モデルや言語モデル等を用いて、音声データから文字データに変換してもよい。また、複数のマイクで得た波形データを用いて、音声データに重畳しているノイズデータを低減する処理を行ってもよい。また、文字又は音声等による指示と、マウス又はタッチパネル等による指示とを、検者からの指示に応じて選択可能に構成されてもよい。また、文字又は音声等による指示のオン・オフを、検者からの指示に応じて選択可能に構成されてもよい。

ここで、機械学習には、上述したような深層学習があり、また、多階層のニューラルネットワークの少なくとも一部には、例えば、ＲＮＮを用いることができる。ここで、本変形例に係る機械学習モデルの一例として、時系列情報を扱うニューラルネットワークであるＲＮＮに関して、図１５（ａ）及び図１５（ｂ）を参照して説明する。また、ＲＮＮの一種であるＬｏｎｇｓｈｏｒｔ－ｔｅｒｍｍｅｍｏｒｙ（以下、ＬＳＴＭ）に関して、図１６（ａ）及び図１６（ｂ）を参照して説明する。

図１５（ａ）は、機械学習モデルであるＲＮＮの構造を示す。ＲＮＮ１５２０は、ネットワークにループ構造を持ち、時刻ｔにおいてデータｘ^ｔ１５１０が入力され、データｈ^ｔ１５３０を出力する。ＲＮＮ１５２０はネットワークにループ機能を持つため、現時刻の状態を次の状態に引き継ぐことが可能であるため、時系列情報を扱うことができる。図１５（ｂ）には時刻ｔにおけるパラメータベクトルの入出力の一例を示す。データｘ^ｔ１５１０にはＮ個（Ｐａｒａｍｓ１～ＰａｒａｍｓＮ）のデータが含まれる。また、ＲＮＮ１５２０より出力されるデータｈ^ｔ１５３０には入力データに対応するＮ個（Ｐａｒａｍｓ１～ＰａｒａｍｓＮ）のデータが含まれる。

しかしながら、ＲＮＮでは誤差逆伝搬時に長期時間の情報を扱うことができないため、ＬＳＴＭが用いられることがある。ＬＳＴＭは、忘却ゲート、入力ゲート、及び出力ゲートを備えることで長期時間の情報を学習することができる。ここで、図１６（ａ）にＬＳＴＭの構造を示す。ＬＳＴＭ１６４０において、ネットワークが次の時刻ｔに引き継ぐ情報は、セルと呼ばれるネットワークの内部状態ｃ^ｔ－１と出力データｈ^ｔ－１である。なお、図の小文字（ｃ、ｈ、ｘ）はベクトルを表している。

次に、図１６（ｂ）にＬＳＴＭ１６４０の詳細を示す。図１６（ｂ）においては、忘却ゲートネットワークＦＧ、入力ゲートネットワークＩＧ、及び出力ゲートネットワークＯＧが示され、それぞれはシグモイド層である。そのため、各要素が０から１の値となるベクトルを出力する。忘却ゲートネットワークＦＧは過去の情報をどれだけ保持するかを決め、入力ゲートネットワークＩＧはどの値を更新するかを判定するものである。また、図１６（ｂ）においては、セル更新候補ネットワークＣＵが示され、セル更新候補ネットワークＣＵは活性化関数ｔａｎｈ層である。これは、セルに加えられる新たな候補値のベクトルを作成する。出力ゲートネットワークＯＧは、セル候補の要素を選択し次の時刻にどの程度の情報を伝えるか選択する。

なお、上述したＬＳＴＭのモデルは基本形であるため、ここで示したネットワークに限らない。ネットワーク間の結合を変更してもよい。ＬＳＴＭではなく、ＱＲＮＮ（ＱｕａｓｉＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋ）を用いてもよい。さらに、機械学習モデルは、ニューラルネットワークに限定されるものではなく、ブースティングやサポートベクターマシン等が用いられてもよい。また、検者からの指示が文字又は音声等による入力の場合には、自然言語処理に関する技術（例えば、ＳｅｑｕｅｎｃｅｔｏＳｅｑｕｅｎｃｅ）が適用されてもよい。このとき、自然言語処理に関する技術としては、例えば、入力される文章毎に出力されるモデルが適用されてもよい。また、上述した種々の学習済モデルは、検者からの指示に限らず、検者に対する出力に適用されてもよい。また、検者に対して文字又は音声等による出力で応答する対話エンジン（対話モデル、対話用の学習済モデル）が適用されてもよい。

また、自然言語処理に関する技術としては、文書データを教師なし学習により事前学習して得た学習済モデルが用いられてもよい。また、自然言語処理に関する技術としては、事前学習して得た学習済モデルをさらに目的に応じて転移学習（あるいはファインチューニング）して得た学習済モデルが用いられてもよい。また、自然言語処理に関する技術としては、例えば、ＢＥＲＴ（ＢｉｄｉｒｅｃｔｉｏｎａｌＥｎｃｏｄｅｒＲｅｐｒｅｓｅｎｔａｔｉｏｎｓｆｒｏｍＴｒａｎｓｆｏｒｍｅｒｓ）が適用されてもよい。また、自然言語処理に関する技術としては、文章内の特定の単語を左右両方の文脈から予測することで、文脈（特徴量）を自ら抽出（表現）可能なモデルが適用されてもよい。また、自然言語処理に関する技術としては、入力される時系列データにおける２つのシーケンス（センテンス）の関係性（連続性）を判断可能なモデルが適用されてもよい。また、自然言語処理に関する技術としては、隠れ層にＴｒａｎｓｆｏｒｍｅｒのＥｎｃｏｄｅｒが用いられ、ベクトルのシーケンスが入力、出力されるモデルが適用されてもよい。

ここで、本変形例が適用可能な検者からの指示は、上述した様々な実施形態及び変形例に記載のような種々の画像や解析結果の表示の変更、Ｅｎ－Ｆａｃｅ画像の生成のための深度範囲の選択、追加学習用の学習データとして用いるか否かの選択、学習済モデルの選択、種々の学習済モデルを用いて得た結果の出力（表示や送信等）や保存等、に関する少なくとも１つの指示であれば何でもよい。また、本変形例が適用可能な検者からの指示は、撮影後の指示だけでなく、撮影前の指示であってもよく、例えば、種々の調整に関する指示、種々の撮影条件の設定に関する指示、撮影開始に関する指示であってもよい。また、本変形例が適用可能な検者からの指示は、表示画面の変更（画面遷移）に関する指示であってもよい。

なお、機械学習モデルとしては、ＣＮＮ等の画像に関する機械学習モデルとＲＮＮ等の時系列データに関する機械学習モデルとを組み合わせた機械学習モデルであってもよい。このような機械学習モデルでは、例えば、画像に関する特徴量と時系列データに関する特徴量との関係性を学習することができる。機械学習モデルの入力層側がＣＮＮで、出力層側がＲＮＮである場合には、例えば、医用画像を入力データとし、該医用画像に関する文章（例えば、病変の有無、病変の種類、次の検査のレコメンド等）を出力データとする学習データを用いて学習が行われてもよい。これにより、例えば、医用画像に関する医療情報が自動的に文章で説明されるため、医療経験が浅い検者であっても、医用画像に関する医療情報を容易に把握することができる。また、機械学習モデルの入力層側がＲＮＮで、出力層側がＣＮＮである場合には、例えば、病変、所見、診断等の医療に関する文章を入力データとし、該医療に関する文章に対応する医用画像を出力データとする学習データを用いて学習が行われてもよい。これにより、例えば、検者が確認したい症例に関係する医用画像を容易に検索することができる。

また、検者からの指示や検者に対する出力には、文字や音声等の文章を任意の言語に機械翻訳する機械翻訳エンジン（機械翻訳モデル、機械翻訳用の学習済モデル）が用いられてもよい。なお、任意の言語は、検者からの指示に応じて選択可能に構成されてもよい。また、任意の言語は、言語の種類を自動認識する学習済モデルを用いることで自動選択可能に構成されてもよい。また、自動選択された言語の種類を検者からの指示に応じて修正可能に構成されてもよい。機械翻訳エンジンには、例えば、上述した自然言語処理に関する技術（例えば、ＳｅｑｕｅｎｃｅｔｏＳｅｑｕｅｎｃｅ）が適用されてもよい。例えば、機械翻訳エンジンに入力された文章が機械翻訳された後に、機械翻訳された文章を文字認識エンジン等に入力するように構成されてもよい。また、例えば、上述した種々の学習済モデルから出力された文章を機械翻訳エンジンに入力し、機械翻訳エンジンから出力された文章が出力されるように構成されてもよい。

また、上述した種々の学習済モデルが組み合わせて用いられてもよい。例えば、検者からの指示に対応する文字が文字認識エンジンに入力され、入力された文字から得た音声を他の種類の機械学習エンジン（例えば、機械翻訳エンジン等）に入力されるように構成されてもよい。また、例えば、他の種類の機械学習エンジンから出力された文字が文字認識エンジンに入力され、入力された文字から得た音声が出力されるように構成されてもよい。また、例えば、検者からの指示に対応する音声が音声認識エンジンに入力され、入力された音声から得た文字を他の種類の機械学習エンジン（例えば、機械翻訳エンジン等）に入力されるように構成されてもよい。また、例えば、他の種類の機械学習エンジンから出力された音声が音声認識エンジンに入力され、入力された音声から得た文字が出力部１０３に表示されるように構成されてもよい。このとき、検者に対する出力として文字による出力か音声による出力かを、検者からの指示に応じて選択可能に構成されてもよい。また、検者からの指示として文字による入力か音声による入力かを、検者からの指示に応じて選択可能に構成されてもよい。また、検者からの指示による選択によって、上述した種々の構成が採用されるようにしてもよい。

［変形例９］
本撮影により取得された画像に関するラベル画像や高画質画像等は、操作者からの指示に応じて記憶部１０１－３に保存されてもよい。このとき、例えば、高画質画像を保存するための操作者からの指示の後、ファイル名の登録の際に、推奨のファイル名として、ファイル名のいずれかの箇所（例えば、最初の箇所、又は最後の箇所）に、高画質化用の学習済モデルを用いた処理（高画質化処理）により生成された画像であることを示す情報（例えば、文字）を含むファイル名が、操作者からの指示に応じて編集可能な状態で表示されてもよい。なお、同様に、ラベル画像等についても、学習済モデルを用いた処理により生成された画像である情報を含むファイル名が表示されてもよい。

また、レポート画面等の種々の表示画面において、出力部１０３に高画質画像を表示させる際に、表示されている画像が高画質化モデルを用いた処理により生成された高画質画像であることを示す表示が、高画質画像とともに表示されてもよい。この場合には、操作者は、当該表示によって、表示された高画質画像が撮影によって取得した画像そのものではないことが容易に識別できるため、誤診断を低減させたり、診断効率を向上させたりすることができる。なお、高画質化モデルを用いた処理により生成された高画質画像であることを示す表示は、入力画像と当該処理により生成された高画質画像とを識別可能な表示であればどのような態様のものでもよい。また、高画質化モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルを用いた処理により生成された結果であることを示す表示が、その結果とともに表示されてもよい。例えば、画像セグメンテーション処理用の学習済モデルを用いたセグメンテーション結果の解析結果を表示する際にも、画像セグメンテーション用の学習済モデルを用いた結果に基づいた解析結果であることを示す表示が、解析結果とともに表示されてもよい。

このとき、レポート画面等の表示画面は、操作者からの指示に応じて、画像データとして記憶部１０１－３に保存されてもよい。例えば、高画質画像等と、これらの画像が学習済モデルを用いた処理により生成された画像であることを示す表示とが並んだ１つの画像としてレポート画面が記憶部１０１－３に保存されてもよい。

また、高画質化モデルを用いた処理により生成された高画質画像であることを示す表示について、高画質化モデルがどのような学習データによって学習を行ったものであるかを示す表示が出力部１０３に表示されてもよい。当該表示としては、学習データの入力データと正解データの種類の説明や、入力データと正解データに含まれる撮影部位等の正解データに関する任意の表示を含んでよい。なお、例えば画像セグメンテーション処理等上述した種々の学習済モデルを用いた処理についても、その種類の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が出力部１０３に表示されてもよい。

また、学習済モデルを用いた処理により生成された画像であることを示す情報（例えば、文字）を、画像等に重畳した状態で表示又は保存されるように構成されてもよい。このとき、画像上に重畳する箇所は、撮影対象となる注目部位等が表示されている領域には重ならない領域（例えば、画像の端）であればどこでもよい。また、重ならない領域を判定し、判定された領域に重畳させてもよい。なお、高画質化モデルを用いた処理だけでなく、例えば画像セグメンテーション処理等の上述した種々の学習済モデルを用いた処理により得た画像についても、同様に処理してよい。

また、レポート画面の初期表示画面として、高画質化処理ボタン等がアクティブ状態（高画質化処理がオン）となるようにデフォルト設定されている場合には、検者からの指示に応じて、高画質画像等を含むレポート画面に対応するレポート画像がサーバに送信されるように構成されてもよい。また、当該ボタンがアクティブ状態となるようにデフォルト設定されている場合には、検査終了時（例えば、検者からの指示に応じて、撮影確認画面やプレビュー画面からレポート画面に変更された場合）に、高画質画像等を含むレポート画面に対応するレポート画像がサーバに（自動的に）送信されるように構成されてもよい。このとき、デフォルト設定における各種設定（例えば、レポート画面の初期表示画面におけるＥｎ－Ｆａｃｅ画像の生成のための深度範囲、解析マップの重畳の有無、高画質画像か否か、経過観察用の表示画面か否か等の少なくとも１つに関する設定）に基づいて生成されたレポート画像がサーバに送信されるように構成されてもよい。なお、当該ボタンが画像セグメンテーション処理の切り替えを表す場合に関しても、同様に処理されてよい。

［変形例１０］
上述した実施形態及び変形例において、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルで得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、領域認識結果を示す画像、セグメンテーション結果を示す画像）を、第１の種類とは異なる第２の種類の学習済モデルに入力してもよい。このとき、第２の種類の学習済モデルの処理による結果（例えば、解析結果、診断結果、領域認識結果、セグメンテーション結果）が生成されるように構成されてもよい。

また、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルの処理による結果（例えば、解析結果、診断結果、領域認識結果、セグメンテーション結果）を用いて、第１の種類の学習済モデルに入力した画像から、第１の種類とは異なる第２の種類の学習済モデルに入力する画像を生成してもよい。このとき、生成された画像は、第２の種類の学習済モデルを用いて処理する画像として適した画像である可能性が高い。このため、生成された画像を第２の種類の学習済モデルに入力して得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、領域認識結果を示す画像、セグメンテーション結果を示す画像）の精度を向上することができる。

なお、共通の画像が、第１の種類の学習済モデルと第２の種類の学習済モデルとに入力されることで、これらの学習済モデルを用いた各処理結果の生成（あるいは表示）を実行するように構成されてもよい。このとき、例えば、検者からの指示に応じて、これらの学習済モデルを用いた各処理結果の生成（あるいは表示）を一括して（連動して）実行するように構成されてもよい。

また、入力させる画像の種類（例えば、高画質画像、領域認識結果、物体認識結果、セグメンテーション結果、類似症例画像）、生成（あるいは表示）させる処理結果の種類（例えば、高画質画像、領域認識結果、診断結果、解析結果、物体認識結果、セグメンテーション結果、類似症例画像）、入力の種類や出力の種類（例えば、文字、音声、言語）等をそれぞれ検者からの指示に応じて選択可能に構成されてもよい。さらに入力の種類は、入力の種類を自動認識する学習済モデルを用いることで自動選択可能に構成されてもよい。また、出力の種類は、入力の種類と対応する（例えば、同じ種類になる）ように自動選択可能に構成されてもよい。さらに、自動選択された種類を検者からの指示に応じて修正可能に構成されてもよい。このとき、選択された種類に応じて少なくとも１つの学習済モデルが選択されるように構成されてもよい。このとき、複数の学習済モデルが選択された場合には、選択された種類に応じて複数の学習済モデルの組み合わせ方（例えば、データを入力させる順番等）が決定されてもよい。なお、例えば、入力させる画像の種類と、生成（あるいは表示）させる処理結果の種類とが、異なるように選択可能に構成されてもよいし、同じである場合には異なるように選択することを促す情報を検者に対して出力するように構成されてもよい。

また、各学習済モデルはどの場所で実行されてもよい。例えば、複数の学習済モデルのうちの一部がクラウドサーバで用いられ、他はフォグサーバやエッジサーバ等の別のサーバで用いられるように構成されてもよい。なお、施設内や、施設が含まれる敷地内、複数の施設が含まれる地域内等のネットワークを無線通信可能に構成する場合には、例えば、施設や、敷地、地域等に限定で割り当てられた専用の波長帯域の電波を用いるように構成することで、ネットワークの信頼性を向上させてもよい。また、高速や、大容量、低遅延、多数同時接続が可能な無線通信によりネットワークが構成されてもよい。これらにより、例えば、硝子体、白内障、緑内障、角膜屈折矯正、外眼等の手術や、レーザ光凝固等の治療が、遠隔であってもリアルタイムに支援することができる。このとき、例えば、これらの手術や治療に関する装置により得た種々の医用画像の少なくとも１つを無線により受信したフォグサーバやエッジサーバ等が種々の学習済モデルの少なくとも１つを用いて得た情報を手術や治療に関する装置に無線で送信するように構成されてもよい。また、例えば、手術や治療に関する装置に無線で受信した情報が、上述したような光学系や光学部材の移動量（ベクトル）であってもよく、この場合、手術や治療に関する装置が自動制御されるように構成されてもよい。また、例えば、検者による操作の支援を目的として、検者の許可を伴う自動制御（半自動制御）として構成されてもよい。

また、上述したような学習済モデルの処理による解析結果や診断結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似症例画像検索を行ってもよい。また、上述したような種々の学習済モデルの処理による物体認識結果やセグメンテーション結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似症例画像検索を行ってもよい。なお、データベースにおいて保存されている複数の医用画像が、既に機械学習等によって該複数の医用画像それぞれの特徴量を付帯情報として付帯された状態で管理されている場合等には、医用画像自体を検索キーとする類似症例画像検索エンジン（類似症例画像検索モデル、類似症例画像検索用の学習済モデル）が用いられてもよい。例えば、画像処理装置１０１は、（高画質化用の学習済モデルとは異なる）類似症例画像検索用の学習済モデルを用いて、種々の医用画像から該医用画像に関連する類似症例画像の検索を行うことができる。

また、例えば、表示制御部１０１－５は、種々の医用画像から類似症例画像検索用の学習済モデルを用いて得た類似症例画像を出力部１０３に表示させることができる。このとき、類似症例画像は、例えば、学習済モデルに入力された医用画像の特徴量と類似する特徴量の画像である。また、類似症例画像は、例えば、学習済モデルに入力された医用画像において異常部位等の部分領域が含まれる場合には、異常部位等の部分領域の特徴量と類似する特徴量の画像である。このため、例えば、類似症例画像を精度よく検索するための学習を効率的に行うことができるだけでなく、医用画像において異常部位が含まれる場合には、検者は異常部位の診断を効率よく行うことができる。また、複数の類似症例画像が検索されてもよく、特徴量が類似する順番が識別可能に複数の類似症例画像が表示されてもよい。また、複数の類似症例画像のうち、検者からの指示に応じて選択された画像と該画像との特徴量とを含む学習データを用いて、類似症例画像検索用の学習済モデルが追加学習されるように構成されてもよい。

また、各種学習済モデルの学習データは、実際の撮影を行う眼科装置自体を用いて得たデータに限られず、所望の構成に応じて、同型の眼科装置を用いて得たデータや、同種の眼科装置を用いて得たデータ等であってもよい。

なお、上述した実施形態及び変形例に係る各種学習済モデルは画像処理装置１０１に設けられることができる。学習済モデルは、例えば、ＣＰＵや、ＭＰＵ、ＧＰＵ、ＦＰＧＡ等のプロセッサーによって実行されるソフトウェアモジュール等で構成されてもよいし、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。また、これら学習済モデルは、画像処理装置１０１と接続される別のサーバの装置等に設けられてもよい。この場合には、画像処理装置１０１は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバ等に接続することで、学習済モデルを用いることができる。ここで、学習済モデルを備えるサーバは、例えば、クラウドサーバや、フォグサーバ、エッジサーバ等であってよい。なお、施設内や、施設が含まれる敷地内、複数の施設が含まれる地域内等のネットワークを無線通信可能に構成する場合には、例えば、施設や、敷地、地域等に限定で割り当てられた専用の波長帯域の電波を用いるように構成することで、ネットワークの信頼性を向上させてもよい。また、高速や、大容量、低遅延、多数同時接続が可能な無線通信によりネットワークが構成されてもよい。

［変形例１１］
上述した様々な実施形態及び変形例による画像処理装置１０１によって処理される医用画像は、任意のモダリティ（撮影装置、撮影方法）を用いて取得された画像を含む。処理される医用画像は、任意の撮影装置等で取得された医用画像や、医用画像処理装置又は医用画像処理方法によって作成された画像を含むことができる。

さらに、処理される医用画像は、被検者（被検体）の所定部位の画像であり、所定部位の画像は被検者の所定部位の少なくとも一部を含む。また、当該医用画像は、被検者の他の部位を含んでもよい。また、医用画像は、静止画像又は動画像であってよく、白黒画像又はカラー画像であってもよい。さらに医用画像は、所定部位の構造（形態）を表す画像でもよいし、その機能を表す画像でもよい。機能を表す画像は、例えば、ＯＣＴＡ画像、ドップラーＯＣＴ画像、ｆＭＲＩ画像、及び超音波ドップラー画像等の血流動態（血流量、血流速度等）を表す画像を含む。なお、被検者の所定部位は、撮影対象に応じて決定されてよく、人眼（被検眼）、脳、肺、腸、心臓、すい臓、腎臓、及び肝臓等の臓器、頭部、胸部、脚部、並びに腕部等の任意の部位を含む。

また、医用画像は、被検者の断層画像であってもよいし、正面画像であってもよい。正面画像は、例えば、眼底又は前眼部のＳＬＯ画像、蛍光撮影された眼底画像、ＯＣＴで取得したデータ（３次元のＯＣＴデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＥｎ－Ｆａｃｅ画像を含む。Ｅｎ－Ｆａｃｅ画像は、３次元のＯＣＴＡデータ（３次元のモーションコントラストデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＯＣＴＡのＥｎ－Ｆａｃｅ画像（モーションコントラスト正面画像）であってもよい。また、３次元のＯＣＴデータや３次元のモーションコントラストデータは、３次元の医用画像データの一例である。

ここで、モーションコントラストデータとは、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得た複数のボリュームデータ間での変化を示すデータである。このとき、ボリュームデータは、異なる位置で得た複数の断層画像により構成される。そして、異なる位置それぞれにおいて、略同一位置で得た複数の断層画像の間での変化を示すデータを得ることで、モーションコントラストデータをボリュームデータとして得ることができる。なお、モーションコントラスト正面画像は、血流の動きを測定するＯＣＴアンギオグラフィ（ＯＣＴＡ）に関するＯＣＴＡ正面画像（ＯＣＴＡのＥｎ－Ｆａｃｅ画像）とも呼ばれ、モーションコントラストデータはＯＣＴＡデータとも呼ばれる。モーションコントラストデータは、例えば、２枚の断層画像又はこれに対応する干渉信号間の脱相関値、分散値、又は最大値を最小値で割った値（最大値／最小値）として求めることができ、公知の任意の方法により求められてよい。このとき、２枚の断層画像は、例えば、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得ることができる。なお、略同一位置を測定光が複数回走査されるように走査手段を制御する際に、一つの走査（一つのＢスキャン）と次の走査（次のＢスキャン）との時間間隔（タイムインターバル）が変更（決定）されるように構成されてもよい。これにより、例えば、血管の状態によって血流速度が異なる場合があっても、血管領域を精度よく可視化することができる。このとき、例えば、検者からの指示に応じて、上記時間間隔が変更可能に構成されてもよい。また、例えば、検者からの指示に応じて、予め設定されている複数の時間間隔に対応する複数のモーションコントラスト画像から、いずれかのモーションコントラスト画像が選択可能に構成されてもよい。また、例えば、モーションコントラストデータを取得した際の時間間隔と該モーションコントラストデータとを対応づけて記憶部１０１－３に記憶可能に構成されてもよい。また、例えば、表示制御部１０１－５、モーションコントラストデータを取得した際の時間間隔と該モーションコントラストデータに対応するモーションコントラスト画像とを出力部１０３に表示させてもよい。また、例えば、上記時間間隔が自動的に決定、あるいは上記時間間隔の少なくとも１つの候補が決定されるように構成されてもよい。このとき、例えば、機械学習モデルを用いて、モーションコントラスト画像から、上記時間間隔が決定（出力）されるように構成されてもよい。このような機械学習モデルは、例えば、複数の時間間隔に対応する複数のモーションコントラスト画像を入力データとし、該複数の時間間隔から所望のモーションコントラスト画像を取得した際の時間間隔までの差を正解データとする学習データを学習することにより得ることができる。

また、Ｅｎ－Ｆａｃｅ画像は、例えば、２つの層境界の間の範囲のデータをＸＹ方向に投影して生成した正面画像である。このとき、正面画像は、光干渉を用いて得たボリュームデータ（３次元の断層画像）の少なくとも一部の深度範囲であって、２つの基準面に基づいて定められた深度範囲に対応するデータを２次元平面に投影又は積算して生成される。Ｅｎ－Ｆａｃｅ画像は、ボリュームデータのうちの、検出された網膜層に基づいて決定された深度範囲に対応するデータを２次元平面に投影して生成された正面画像である。なお、２つの基準面に基づいて定められた深度範囲に対応するデータを２次元平面に投影する手法としては、例えば、当該深度範囲内のデータの代表値を２次元平面上の画素値とする手法を用いることができる。ここで、代表値は、２つの基準面に囲まれた領域の深さ方向の範囲内における画素値の平均値、中央値又は最大値などの値を含むことができる。また、Ｅｎ－Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の一方を基準として、より深い方向又はより浅い方向に所定の画素数分だけ含んだ範囲であってもよい。また、Ｅｎ－Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の間の範囲から、操作者の指示に応じて変更された（オフセットされた）範囲であってもよい。

また、撮影装置とは、診断に用いられる画像を撮影するための装置である。撮影装置は、例えば、被検者の所定部位に光、Ｘ線等の放射線、電磁波、又は超音波等を照射することにより所定部位の画像を得る装置や、被写体から放出される放射線を検出することにより所定部位の画像を得る装置を含む。より具体的には、上述した様々な実施形態及び変形例に係る撮影装置は、少なくとも、Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、ＳＰＥＣＴ装置、ＳＬＯ装置、ＯＣＴ装置、ＯＣＴＡ装置、眼底カメラ、及び内視鏡等を含む。なお、上述の各実施形態や変形例に係る構成を、これら撮影装置に適用することができる。この場合、上述の予測すべき被検眼の動きに対応する被検体の動きとしては、例えば、顔や体の動き、心臓の動き（心拍）等であってよい。

なお、ＯＣＴ装置としては、タイムドメインＯＣＴ（ＴＤ－ＯＣＴ）装置やフーリエドメインＯＣＴ（ＦＤ－ＯＣＴ）装置を含んでよい。また、フーリエドメインＯＣＴ装置はスペクトラルドメインＯＣＴ（ＳＤ－ＯＣＴ）装置や波長掃引型ＯＣＴ（ＳＳ－ＯＣＴ）装置を含んでよい。また、ＯＣＴ装置は、ライン光を用いたＬｉｎｅ－ＯＣＴ装置（あるいはＳＳ－Ｌｉｎｅ－ＯＣＴ装置）を含んでよい。また、ＯＣＴ装置は、エリア光を用いたＦｕｌｌＦｉｅｌｄ－ＯＣＴ装置（あるいはＳＳ－ＦｕｌｌＦｉｅｌｄ－ＯＣＴ装置）を含んでよい。また、ＯＣＴ装置は、Ｄｏｐｐｌｅｒ－ＯＣＴ装置を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、波面補償光学系を用いた波面補償ＳＬＯ（ＡＯ－ＳＬＯ）装置や波面補償ＯＣＴ（ＡＯ－ＯＣＴ）装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、偏光位相差や偏光解消に関する情報を可視化するための偏光ＳＬＯ（ＰＳ－ＳＬＯ）装置や偏光ＯＣＴ（ＰＳ－ＯＣＴ）装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、病理顕微鏡ＳＬＯ装置や病理顕微鏡ＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、ハンドヘルド型のＳＬＯ装置やハンドヘルド型のＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、カテーテルＳＬＯ装置やカテーテルＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、ヘッドマウント型のＳＬＯ装置やヘッドマウント型のＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、双眼鏡型のＳＬＯ装置や双眼鏡型のＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置は、光学変倍可能な構成によって、撮影画角を変更可能なものであってもよい。また、ＳＬＯ装置は、ＲＧＢの各光源を用いて、１つの受光素子で時分割に受光する構成又は複数の受光素子で同時に受光する構成によって、カラー画像や蛍光画像を取得可能なものであってもよい。

また、上述の実施形態及び変形例では、画像処理装置１０１はＯＣＴ装置の一部として構成されているが、画像処理装置１０１はＯＣＴ装置と別体として構成されてもよい。この場合、画像処理装置１０１は、ＯＣＴ装置の撮影装置１００等とインターネット等を介して接続されてもよい。また、ＯＣＴ装置の構成は、上記の構成に限られず、ＯＣＴ装置に含まれる構成の一部を、例えばＳＬＯ撮影部等をＯＣＴ装置と別体の構成としてもよい。

なお、音声認識用や文字認識用、ジェスチャー認識用等の学習済モデルでは、入力される連続する時系列のデータ値間の傾きを特徴量の一部として抽出し、推定処理に用いているものと考えられる。このような学習済モデルは、具体的な数値の時間的な変化による影響を推定処理に用いることで、精度のよい推定を行うことができると期待される。また、上述の実施形態及び変形例に係る、高画質化用、領域認識用、セグメンテーション処理用、画像解析用、診断結果生成用の学習済モデルでも、断層画像の輝度値の大小、明部と暗部の順番や傾き、位置、分布、連続性等を特徴量の一部として抽出して、推定処理に用いているものと考えらえる。

（その他の実施形態）
本発明は、上述した様々な実施形態及び変形例の１以上の機能を実現するソフトウェア（プログラム）を、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、１つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。

このとき、プロセッサー又は回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサー又は回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、又はニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

以上、実施形態及び変形例を参照して本発明について説明したが、本発明は上記実施形態及び変形例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施形態及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。

１０１：画像処理装置、１０１－４７：高画質化部、２００：被検眼（被検体）、３０１：高画質化処理部（高画質化部）３０２：領域認識部、３０４：ブレンド処理部（画像処理部）、３０５：ＢＣ調整部（画像処理部）

Claims

被検体の医用画像を学習データとした学習により得た学習済モデルを用いて、被検体の医用画像の第１の画像に対して高画質化処理を行い、被検体の医用画像の第２の画像を取得する高画質化部と、
被検体の医用画像における対象領域を検出する検出部と、
前記第２の画像における対象領域に対して、対象領域の画素値と対象領域以外の領域の画素値との差が広がるように且つ対象領域の画素値がより低くなるように画像処理を行う画像処理部と、
を備える、画像処理装置。
前記画像処理は、対象領域の画素値と対象領域以外の領域の画素値との差が広がるように前記第１の画像と前記第２の画像とをブレンドする処理を含む、請求項１に記載の画像処理装置。
前記検出部は、前記第１の画像を用いて対象領域を検出し、
前記画像処理部は、前記第１の画像における検出された対象領域に対応する前記第２の画像における対象領域に対して前記画像処理を行う、請求項１又は２に記載の画像処理装置。
前記検出部は、前記第２の画像を用いて対象領域を検出する、請求項１又は２に記載の画像処理装置。
被検体の医用画像における対象領域を検出する検出部と、
被検体の医用画像の第１の画像における対象領域に対して、対象領域の画素値と対象領域以外の領域の画素値との差が広がるように且つ対象領域の画素値がより低くなるように画像処理を行う画像処理部と、
被検体の医用画像を学習データとした学習により得た学習済モデルを用いて、前記画像処理が行われた第１の画像に対して高画質化処理を行い、被検体の医用画像の第２の画像を取得する高画質化部と、
を備える、画像処理装置。
前記検出部は、前記第１の画像を用いて対象領域を検出する、請求項５に記載の画像処理装置。
前記検出部は、前記画像処理が行われていない前記第１の画像を高画質化処理した画像を用いて対象領域を検出する、請求項５に記載の画像処理装置。
前記検出部は、被検体の医用画像を学習データとした学習により得た学習済モデルを用いて、対象領域を検出する、請求項１乃至７のいずれか一項に記載の画像処理装置。
医用画像は正面画像であり、
前記検出部は、複数の深度範囲に対応する被検体の複数の正面画像を学習データとした学習により得た学習済モデルを用いて、２次元の対象領域を検出する、請求項１乃至８のいずれか一項に記載の画像処理装置。
医用画像は正面画像であり、
前記検出部は、複数の深度範囲に対応する被検体の複数の正面画像をそれぞれの学習データとした学習により得た複数の学習済モデルのうち、検者からの指示に応じて選択された深度範囲に対応する学習済モデルを選択し、選択された学習済モデルを用いて、２次元の対象領域を検出する、請求項１乃至８のいずれか一項に記載の画像処理装置。
医用画像は３次元の医用画像であり、
前記検出部は、被検体の３次元の医用画像を学習データとした学習により得た学習済モデルを用いて、３次元の対象領域を検出する、請求項１乃至８のいずれか一項に記載の画像処理装置。
前記検出部は、前記第１の画像を用いて、被検体の構造に基づくルールベースの処理により対象領域を検出する、請求項１乃至３、５、及び６のいずれか一項に記載の画像処理装置。
前記画像処理は、対象領域の画素値と対象領域以外の領域の画素値との差が広がるように明るさ及びコントラストの少なくとも一方を補正する処理を含む、請求項１乃至１２のいずれか一項に記載の画像処理装置。
被検体の医用画像は、被検眼のモーションコントラスト画像であり、
前記対象領域は無灌流領域、中心窩血管領域、及び視神経乳頭領域の少なくとも１つを含む、請求項１乃至１３のいずれか一項に記載の画像処理装置。
被検体の医用画像の第１の画像を取得する取得部と、
被検体の医用画像を学習データとした学習により得た第１の学習済モデルを用いた高画質化処理と、被検体の医用画像の対象領域におけるブレンド処理又は明るさ及びコントラストの少なくとも一方の補正処理とが行われた被検体の医用画像を学習データとした学習により得た第２の学習済モデルを用いて、前記第１の画像に対して高画質化処理を行い、被検体の医用画像の第２の画像を取得する高画質化部と、
を備える画像処理装置。
被検体のライブ動画像を表示部に表示させる表示制御部を更に備える、請求項１乃至１５のいずれか一項に記載の画像処理装置。
前記表示制御部は、被検体に関する画像を含む学習データを学習して得た学習済モデルを用いて生成された高画質画像であって、前記被検体の医用画像を入力して得た高画質画像を前記表示部に表示させる、請求項１６に記載の画像処理装置。
前記表示制御部は、前記高画質画像として生成された前眼画像を前記ライブ動画像として前記表示部に表示させ、前記高画質画像として生成されたＳＬＯ画像であって、前記高画質画像として生成された断層画像の位置を示すラインが重畳表示されたＳＬＯ画像を前記ライブ動画像として前記表示部に表示させ、該ＳＬＯ画像上の該ラインの位置に対応する該断層画像を前記ライブ動画像として前記表示部に表示させる、請求項１７に記載の画像処理装置。
前記表示制御部は、前記高画質画像として生成された断層画像であって、前記ラインの位置に対応する断層画像における血管領域を示す情報を、前記ラインの位置に対応する前記断層画像に重畳表示させる、請求項１８に記載の画像処理装置。
前記表示制御部は、被検体に関する画像を含む学習データを学習して得た解析結果生成用の学習済モデルを用いて生成された解析結果であって、被検体に関する画像を入力して得た解析結果を前記表示部に表示させる、請求項１６乃至１９のいずれか一項に記載の画像処理装置。
前記表示制御部は、被検体に関する画像を含む学習データを学習して得た診断結果生成用の学習済モデルを用いて生成された診断結果であって、被検体に関する画像を入力して得た診断結果を前記表示部に表示させる、請求項１６乃至２０のいずれか一項に記載の画像処理装置。
前記表示制御部は、敵対的生成ネットワーク又はオートエンコーダーを用いて生成された画像であって、被検体に関する画像を入力して得た画像と、該敵対的生成ネットワーク又はオートエンコーダーに入力された該被検体に関する画像との差に関する情報を、異常部位に関する情報として前記表示部に表示させる、請求項１６乃至２１のいずれか一項に記載の画像処理装置。
前記表示制御部は、被検体に関する画像を含む学習データを学習して得た類似症例画像検索用の学習済モデルを用いて検索された類似症例画像であって、被検体に関する画像を入力して得た類似症例画像を前記表示部に表示させる、請求項１６乃至２２のいずれか一項に記載の画像処理装置。
前記表示制御部は、被検体に関する画像を含む学習データを学習して得た物体認識用の学習済モデル又はセグメンテーション用の学習済モデルを用いて生成された物体認識結果又はセグメンテーション結果であって、被検体に関する画像を入力して得た物体認識結果又はセグメンテーション結果を、前記表示部に表示させる、請求項１６乃至２３のいずれか一項に記載の画像処理装置。
前記第２の画像を取得するための操作者の指示は、文字認識用の学習済モデルと音声認識用の学習済モデルとジェスチャー認識用の学習済モデルとのうち少なくとも１つの学習済モデルを用いて得た情報である、請求項１乃至２４のいずれか一項に記載の画像処理装置。
被検体の医用画像を学習データとした学習により得た学習済モデルを用いて、被検体の医用画像の第１の画像に対して高画質化処理を行い、被検体の医用画像の第２の画像を取得することと、
被検体の医用画像における対象領域を検出することと、
前記第２の画像における対象領域に対して、対象領域の画素値と対象領域以外の領域の画素値との差が広がるように且つ対象領域の画素値がより低くなるように画像処理を行うことと、
を含む、画像処理方法。
被検体の医用画像における対象領域を検出することと、
被検体の医用画像の第１の画像における対象領域に対して、対象領域の画素値と対象領域以外の領域の画素値との差が広がるように且つ対象領域の画素値がより低くなるように画像処理を行うことと、
被検体の医用画像を学習データとした学習により得た学習済モデルを用いて、前記画像処理が行われた第１の画像に対して高画質化処理を行い、被検体の医用画像の第２の画像を取得することと、
含む、画像処理方法。
被検体の医用画像の第１の画像を取得することと、
被検体の医用画像を学習データとした学習により得た第１の学習済モデルを用いた高画質化処理と、対象領域における画像処理とが行われた被検体の医用画像を学習データとした学習により得た第２の学習済モデルを用いて、前記第１の画像に対して高画質化処理を行い、被検体の医用画像の第２の画像を取得することと、
を含む、画像処理方法。
コンピュータによって実行されると、該コンピュータに請求項２６乃至２８のいずれか一項に記載の画像処理方法の各工程を実行させるプログラム。