JP2021164535A

JP2021164535A - 画像処理装置、画像処理方法、及びプログラム

Info

Publication number: JP2021164535A
Application number: JP2020068611A
Authority: JP
Inventors: 朋之牧平; Tomoyuki Makihira; 律也富田; Ritsuya Tomita
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2020-04-06
Filing date: 2020-04-06
Publication date: 2021-10-14

Abstract

【課題】従来よりも画像診断に適した画像を生成することができる画像処理装置を提供する。【解決手段】画像処理装置は、被検眼の前眼ＯＣＴＡ正面画像である第１の医用画像を取得する取得部と、被検眼の眼底ＯＣＴＡ正面画像を学習データとして用いて得た学習済モデルを用いて、取得された第１の医用画像に対して画質向上処理して得た第２の医用画像を表示部に表示させる表示制御部と、を備える。【選択図】図６

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

生体などの被検体の断層画像を非破壊、非侵襲で取得する方法として、光干渉断層撮像法（ＯＣＴ：ＯｐｔｉｃａｌＣｏｈｅｒｅｎｃｅＴｏｍｏｇｒａｐｈｙ）を利用した装置（ＯＣＴ装置）が実用化されている。ＯＣＴ装置は、特に眼科診断のための画像を取得する眼科装置として広く利用されている。

ＯＣＴでは、測定対象から反射した光と参照鏡から反射した光を干渉させ、その干渉光の強度を解析することにより被検体の断層画像を得ることができる。このようなＯＣＴとして、タイムドメインＯＣＴ（ＴＤ−ＯＣＴ：ＴｉｍｅＤｏｍａｉｎＯＣＴ）が知られている。ＴＤ−ＯＣＴでは、参照鏡の位置を順次変えることで被検体の深さ情報を得る。

また、スペクトラルドメインＯＣＴ（ＳＤ−ＯＣＴ：ＳｐｅｃｔｒａｌＤｏｍａｉｎＯＣＴ）、及び波長掃引型ＯＣＴ（ＳＳ−ＯＣＴ：ＳｗｅｐｔＳｏｕｒｃｅＯＣＴ）が知られている。ＳＤ−ＯＣＴでは、低コヒーレンス光を用いて干渉させた干渉光を分光し、深さ情報を周波数情報に置き換えて取得する。また、ＳＳ−ＯＣＴでは、波長掃引光源を用いて先に波長を分光した光を用いて干渉光を取得する。なお、ＳＤ−ＯＣＴとＳＳ−ＯＣＴは総称してフーリエドメインＯＣＴ（ＦＤ−ＯＣＴ：ＦｏｕｒｉｅｒＤｏｍａｉｎＯＣＴ）とも呼ばれる。

ＯＣＴを用いることで、被検体の深さ情報に基づく断層画像を取得することができる。また、取得した三次元の断層画像を深度方向に統合し、二次元平面上に投影することで、測定対象の正面画像を生成することができる。従来、これら画像の画質を向上させるため、複数回画像を取得し重ね合わせ処理を施すことが行われている。しかしながら、このような場合、複数回の撮影に時間がかかる。

特許文献１には、医用技術の急激な進歩や緊急時の簡易な撮影に対応するため、以前に取得した画像を、人工知能エンジンによって、より解像度の高い画像に変換する技術が開示されている。このような技術によれば、例えば、より少ない撮影によって取得された画像をより解像度の高い画像に変換することができる。

特開２０１８−５８４１号公報

しかしながら、解像度が高い画像であっても、画像診断に適した画像とは言えない場合もある。例えば、解像度が高い画像であっても、ノイズが多い場合やコントラストが低い場合等には観察すべき対象が適切に把握できないことがある。

そこで、本発明の目的の一つは、従来よりも画像診断に適した画像を生成することができる画像処理装置、画像処理方法、及びプログラムを提供することである。

本発明の一実施態様に係る画像処理装置は、被検眼の前眼ＯＣＴＡ正面画像である第１の医用画像を取得する取得部と、被検眼の眼底ＯＣＴＡ正面画像を学習データとして用いて得た学習済モデルを用いて、前記取得された第１の医用画像に対して画質向上処理して得た第２の医用画像を表示部に表示させる表示制御部と、を備える。

本発明の一つによれば、従来よりも画像診断に適した画像を生成することができる。

実施例１に係るＯＣＴ装置の概略構成を示す。実施例１に係る制御部の概略構成を示す。実施例１に係る教師データの一例を示す。実施例１に係る学習済モデルの構成の一例を示す。実施例１に係る一連の画像処理のフローチャートである。画質向上処理前後の画像を切り替えて表示するレポート画面の一例を示す。画質向上処理前後の画像を並べて表示するレポート画面の一例を示す。画質向上処理が適用された複数の画像を同時に表示するレポート画面の一例を示す。実施例２に係る制御部の概略構成を示す。実施例２に係る一連の画像処理のフローチャートである。画質向上処理を変更する一例を示す。画質向上処理が適用された複数の画像を同時に表示するレポート画面の一例を示す。実施例３に係る一連の画像処理のフローチャートである。実施例４に係る制御部の概略構成を示す。実施例４に係る一連の画像処理のフローチャートである。変形例に係るレポート画面（表示画面）の一例を示す。変形例に係るレポート画面（表示画面）の一例を示す。変形例１２に係る機械学習モデルとして用いられるニューラルネットワークの構成の一例を示す。変形例１２に係る機械学習モデルとして用いられるニューラルネットワークの構成の一例を示す。実施例５に係るユーザーインターフェースの一例を示す。複数のＯＣＴＡのＥｎ−Ｆａｃｅ画像の一例を示す。実施例５に係るユーザーインターフェースの一例を示す。

以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。

ただし、以下の実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。

以下の実施例では、被検体（被検者）として被検眼を例に挙げるが、人の他の臓器等を被検体としてもよい。また、機械学習モデル（機械学習エンジン）に関する学習済モデルを用いて画質向上処理を施す画像として、被検眼のＯＣＴＡ（ＯＣＴＡｎｇｉｏｇｒａｐｈｙ）画像を例に挙げて説明する。なお、ＯＣＴＡとは、ＯＣＴを用いた、造影剤を用いない血管造影法である。ＯＣＴＡでは、被検体の深さ情報に基づいて取得される三次元のモーションコントラストデータを深度方向に統合し、二次元平面上に投影することでＯＣＴＡ画像（正面血管画像、あるいはモーションコントラスト正面画像）を生成する。

ここで、モーションコントラストデータとは、被検体の略同一箇所を繰り返し撮影し、その撮影間における被写体の時間的な変化を検出したデータである。なお、略同一箇所とは、モーションコントラストデータを生成するのに許容できる程度に同一である位置をいい、厳密に同一である箇所から僅かにずれた箇所も含むものをいう。モーションコントラストデータは、例えば、複素ＯＣＴ信号の位相やベクトル、強度の時間的な変化を差、比率、又は相関等から計算することによって得られる。

ここで、機械学習モデルに関する学習済モデルを用いた画質向上処理に関する注意点を記載する。画像について機械学習モデルに関する学習済モデルを用いて画質向上処理を行うことで、少ない画像から高画質な画像が得られる一方で、現実には存在しない組織を画像上に描出してしまったり、本来存在している組織を消してしまったりすることがある。そのため、学習済モデルを用いた画質向上処理によって高画質化された画像では、画像上に描出された組織の真偽が判断しにくいという問題があった。

そのため、以下の実施例では、機械学習モデルを用いて、従来よりも画像診断に適した画像を生成するとともに、このような画像について、画像上に描出された組織の真偽を容易に判断できる画像処理装置を提供する。

なお、以下の実施例ではＯＣＴＡ画像について説明するが、画質向上処理を施す画像はこれに限られず、断層画像や輝度のＥｎ−Ｆａｃｅ画像等であってもよい。ここで、Ｅｎ−Ｆａｃｅ画像とは、被検体の三次元のデータにおいて、２つの基準面に基づいて定められる所定の深さ範囲内のデータを二次元平面に投影又は積算して生成した正面画像である。Ｅｎ−Ｆａｃｅ画像には、例えば、輝度の断層画像に基づく輝度のＥｎ−Ｆａｃｅ画像やモーションコントラストデータに基づくＯＣＴＡ画像（モーションコントラスト正面画像、あるいはモーションコントラストＥｎ−Ｆａｃｅ画像）が含まれる。

（実施例１）
以下、図１乃至７を参照して、本発明の実施例１に係る光干渉断層撮像装置（ＯＣＴ装置）及び画像処理方法について説明する。図１は、本実施例に係るＯＣＴ装置の概略構成を示す。

本実施例に係るＯＣＴ装置１には、ＯＣＴ撮影部１００、制御部（画像処理装置）２００、入力部２６０、表示部２７０が設けられている。

ＯＣＴ撮影部１００は、ＳＤ−ＯＣＴ装置の撮影光学系を含み、走査部を介して測定光が照射された被検眼Ｅからの戻り光と、測定光に対応する参照光とを干渉させた干渉光に基づいて、被検眼Ｅの断層の情報（断層情報）を含む信号を取得する。ＯＣＴ撮影部１００には、光干渉部１１０、及び走査光学系１５０が設けられている。

制御部２００は、ＯＣＴ撮影部１００を制御したり、ＯＣＴ撮影部１００や不図示の他の装置から得られた信号から画像を生成したり、生成／取得した画像を処理したりすることができる。表示部２７０は、ＬＣＤディスプレイ等の任意のディスプレイであり、ＯＣＴ撮影部１００及び制御部２００を操作するためのＧＵＩや生成した画像、任意の処理を施した画像、及び患者情報等の各種の情報を表示することができる。

入力部２６０は、ＧＵＩを操作したり、情報を入力したりすることで、制御部２００を操作するために用いられる。入力部２６０は、例えば、マウスやタッチパッド、トラックボール、タッチパネルディスプレイ、スタイラスペン等のポインティングデバイス及びキーボード等を含む。なお、タッチパネルディスプレイを用いる場合には、表示部２７０と入力部２６０を一体的に構成できる。なお、本実施例では、ＯＣＴ撮影部１００、制御部２００、入力部２６０、及び表示部２７０は別々の要素とされているが、これらのうちの一部又は全部を一体的に構成してもよい。

ＯＣＴ撮影部１００における光干渉部１１０には、光源１１１、カプラ１１３、コリメート光学系１２１、分散補償光学系１２２、反射ミラー１２３、レンズ１３１、回折格子１３２、結像レンズ１３３、及びラインセンサ１３４が設けられている。光源１１１は、近赤外光を発光する低コヒーレンス光源である。光源１１１から発光した光は、光ファイバ１１２ａを伝搬し、光分岐部であるカプラ１１３に入射する。カプラ１１３に入射した光は、走査光学系１５０側に向かう測定光と、コリメート光学系１２１、分散補償光学系１２２、及び反射ミラー１２３を含む参照光学系側に向かう参照光に分割される。測定光は、光ファイバ１１２ｂに入射され、走査光学系１５０に導かれる。一方、参照光は、光ファイバ１１２ｃに入射され、参照光学系へ導かれる。

光ファイバ１１２ｃに入射した参照光は、ファイバ端から射出され、コリメート光学系１２１を介して、分散補償光学系１２２に入射し、反射ミラー１２３へと導かれる。反射ミラー１２３で反射した参照光は、光路を逆にたどり再び光ファイバ１１２ｃに入射する。分散補償光学系１２２は、走査光学系１５０及び被検体である被検眼Ｅにおける光学系の分散を補償し、測定光と参照光の分散を合わせるためのものである。反射ミラー１２３は、制御部２００によって制御される不図示の駆動手段により、参照光の光軸方向に駆動可能なように構成されており、参照光の光路長を、測定光の光路長に対して相対的に変化させ、参照光と測定光の光路長を一致させることができる。

一方、光ファイバ１１２ｂに入射した測定光はファイバ端より射出され、走査光学系１５０に入射する。走査光学系１５０は被検眼Ｅに対して相対的に移動可能なように構成された光学系である。走査光学系１５０は、制御部２００によって制御される不図示の駆動手段により、被検眼Ｅの眼軸に対して前後上下左右方向に駆動可能なように構成され、被検眼Ｅに対してアライメントを行うことができる。なお、走査光学系１５０は、光源１１１、カプラ１１３及び参照光学系等を含むように構成されてもよい。

走査光学系１５０には、コリメート光学系１５１、走査部１５２、及びレンズ１５３が設けられている。光ファイバ１１２ｂのファイバ端より射出した光は、コリメート光学系１５１により略平行化され、走査部１５２へ入射する。

走査部１５２は、ミラー面を回転可能なガルバノミラーを２つ有し、一方は水平方向に光を偏向し、他方は垂直方向に光を偏向する。走査部１５２は、入射した光を制御部２００による制御に従って偏向する。これにより、走査部１５２は、紙面垂直方向（Ｘ方向）の主走査方向と紙面内方向（Ｙ方向）の副走査方向の２方向に、被検眼Ｅの眼底Ｅｒ上で測定光を走査することができる。なお、主走査方向と副走査方向は、Ｘ方向及びＹ方向に限られず、被検眼Ｅの深さ方向（Ｚ方向）に対して垂直な方向であり、主走査方向と副走査方向が互いに交差する方向であればよい。そのため、例えば、主走査方向がＹ方向であってもよいし、副走査方向がＸ方向であってもよい。

走査部１５２により走査された測定光は、レンズ１５３を経由して被検眼Ｅの眼底Ｅｒ上に、照明スポットを形成する。走査部１５２により面内偏向を受けると、各照明スポットは被検眼Ｅの眼底Ｅｒ上を移動（走査）する。この照明スポットの位置における眼底Ｅｒから反射・散乱された測定光の戻り光が光路を逆にたどり光ファイバ１１２ｂに入射して、カプラ１１３に戻る。

以上のように、反射ミラー１２３で反射された参照光、及び被検眼Ｅの眼底Ｅｒからの測定光の戻り光は、カプラ１１３に戻され、互いに干渉して干渉光となる。干渉光は光ファイバ１１２ｄを通過し、レンズ１３１に射出される。干渉光は、レンズ１３１により略平行化され、回折格子１３２に入射する。回折格子１３２は周期構造を有し、入力した干渉光を分光する。分光された干渉光は、合焦状態を変更可能な結像レンズ１３３によりラインセンサ１３４に結像される。ラインセンサ１３４は、各センサ部に照射される光の強度に応じた信号を制御部２００に出力する。制御部２００は、ラインセンサ１３４から出力される干渉信号に基づいて、被検眼Ｅの断層画像を生成することができる。

上記一連の動作により、被検眼Ｅの一点における深さ方向の断層情報を取得することができる。このような動作をＡスキャンという。

また、走査部１５２のガルバノミラーを駆動させることで、被検眼Ｅの隣接する一点の干渉光を発生させ、被検眼Ｅの隣接する一点における深さ方向の断層情報を取得する。この一連の制御を繰り返すことにより、Ａスキャンを任意の横断方向（主走査方向）において複数回行うことで被検眼Ｅの当該横断方向と深さ方向の二次元の断層情報を取得することができる。このような動作をＢスキャンという。制御部２００は、Ａスキャンによって取得された干渉信号に基づくＡスキャン画像を複数集めることで、一つのＢスキャン画像を構成することができる。以下、このＢスキャン画像のことを、二次元断層画像と呼ぶ。

さらに、走査部１５２のガルバノミラーを主走査方向に直交する副走査方向に微小に駆動させ、被検眼Ｅの別の箇所（隣接する走査ライン）における断層情報を取得することができる。制御部２００は、この動作を繰り返すことにより、Ｂスキャン画像を複数集めることで、被検眼Ｅの所定範囲における三次元断層画像を取得することができる。

次に、図２を参照して制御部２００について説明する。図２は制御部２００の概略構成を示す。制御部２００には、取得部２１０、画像処理部２２０、駆動制御部２３０、記憶部２４０、及び表示制御部２５０が設けられている。

取得部２１０は、ＯＣＴ撮影部１００から、被検眼Ｅの干渉信号に対応するラインセンサ１３４の出力信号のデータを取得することができる。なお、取得部２１０が取得する出力信号のデータは、アナログ信号でもデジタル信号でもよい。取得部２１０がアナログ信号を取得する場合には、制御部２００でアナログ信号をデジタル信号に変換することができる。

また、取得部２１０は、画像処理部２２０で生成された断層データや、二次元断層画像、三次元断層画像、モーションコントラスト画像、及びＥｎ−Ｆａｃｅ画像等の各種画像を取得することができる。ここで、断層データとは、被検体の断層に関する情報を含むデータであり、ＯＣＴによる干渉信号にフーリエ変換を施した信号、該信号に任意の処理を施した信号、及びこれらに基づく断層画像等を含むものをいう。

さらに、取得部２１０は、画像処理すべき画像の撮影条件群（例えば、撮影日時、撮影部位名、撮影領域、撮影画角、撮影方式、画像の解像度や階調、画像の画像サイズ、画像フィルタ、及び画像のデータ形式に関する情報など）を取得する。なお、撮影条件群については、例示したものに限られない。また、撮影条件群は、例示したもの全てを含む必要はなく、これらのうちの一部を含んでもよい。

具体的には、取得部２１０は、画像を撮影した際のＯＣＴ撮影部１００の撮影条件を取得する。また、取得部２１０は、画像のデータ形式に応じて、画像を構成するデータ構造に保存された撮影条件群を取得することもできる。なお、画像のデータ構造に撮影条件が保存されていない場合には、取得部２１０は、別途撮影条件を保存している記憶装置等から撮影条件群を含む撮影情報群を取得することもできる。

また、取得部２１０は、被検者識別番号等の被検眼を同定するための情報を入力部２６０等から取得することもできる。なお、取得部２１０は、記憶部２４０や、制御部２００に接続される不図示のその他の装置から各種データや各種画像、各種情報を取得してもよい。取得部２１０は、取得した各種データや画像を記憶部２４０に記憶させることができる。

画像処理部２２０は、取得部２１０で取得されたデータや記憶部２４０に記憶されたデータから断層画像やＥｎ−Ｆａｃｅ画像等を生成したり、生成又は取得した画像に画像処理を施したりすることができる。画像処理部２２０には、断層画像生成部２２１、モーションコントラスト生成部２２２、Ｅｎ−Ｆａｃｅ画像生成部２２３、及び画質向上部２２４が設けられている。

断層画像生成部２２１は、取得部２１０が取得した干渉信号のデータに対して波数変換やフーリエ変換、絶対値変換（振幅の取得）等を施して断層データを生成し、断層データに基づいて被検眼Ｅの断層画像を生成することができる。ここで、取得部２１０で取得される干渉信号のデータは、ラインセンサ１３４から出力された信号のデータであってもよいし、記憶部２４０や制御部２００に接続された不図示の装置から取得された干渉信号のデータであってもよい。なお、断層画像の生成方法としては公知の任意の方法を採用してよく、詳細な説明は省略する。

また、断層画像生成部２２１は、生成した複数部位の断層画像に基づいて三次元断層画像を生成することができる。断層画像生成部２２１は、例えば、複数部位の断層画像を１の座標系に並べて配置することで三次元断層画像を生成することができる。ここで、断層画像生成部２２１は、記憶部２４０や制御部２００に接続された不図示の装置から取得された複数部位の断層画像に基づいて三次元断層画像を生成してもよい。

モーションコントラスト生成部２２２は、略同一箇所を撮影して得た複数の断層画像を用いて二次元モーションコントラスト画像を生成することができる。また、モーションコントラスト生成部２２２は、生成した各部位の二次元モーションコントラスト画像を１の座標系に並べて配置することで三次元モーションコントラスト画像を生成することができる。

本実施例では、モーションコントラスト生成部２２２は被検眼Ｅの略同一箇所を撮影して得た複数の断層画像間の脱相関値に基づいてモーションコントラスト画像を生成する。

具体的には、モーションコントラスト生成部２２２は、撮影時刻が互いに連続する略同一箇所を撮影して得た複数の断層画像について、位置合わせが行われた複数の断層画像を取得する。なお、位置合わせは、種々の公知の方法を使用することができる。例えば、複数の断層画像のうちの１つを基準画像として選択し、基準画像の位置及び角度を変更しながら、その他の断層画像との類似度が算出され、各断層画像の基準画像との位置ずれ量が算出される。算出結果に基づいて各断層画像を補正することで、複数の断層画像の位置合わせが行われる。なお、当該位置合わせの処理は、モーションコントラスト生成部２２２とは別個の構成要素によって行われてもよい。また、位置合わせの方法はこれに限られず、公知の任意の手法により行われてよい。

モーションコントラスト生成部２２２は、位置合わせが行われた複数の断層画像のうち撮影時刻が互いに連続する２枚の断層画像ずつについて、以下の数式１により脱相関値を算出する

ここで、Ａ（ｘ，ｚ）は断層画像Ａの位置（ｘ，ｚ）における振幅、Ｂ（ｘ，ｚ）は断層画像Ｂの同一位置（ｘ，ｚ）における振幅を示している。結果として得られる脱相関値Ｍ（ｘ，ｚ）は０から１までの値を取り、二つの振幅値の差異が大きいほど１に近い値となる。なお、本実施例では、ＸＺ平面の二次元の断層画像を用いる場合について述べたが、例えばＹＺ平面等の二次元断層画像を用いてもよい。この場合には、位置（ｘ、ｚ）を位置（ｙ、ｚ）等に置き換えてよい。なお、脱相関値は、断層画像の輝度値に基づいて求められてもよいし、断層画像に対応する干渉信号の値に基づいて求められてもよい。

モーションコントラスト生成部２２２は、各位置（画素位置）での脱相関値Ｍ（ｘ、ｚ）に基づいて、モーションコントラスト画像の画素値を決定し、モーションコントラスト画像を生成する。なお、本実施例では、モーションコントラスト生成部２２２は、撮影時刻が互いに連続する断層画像について脱相関値を算出したが、モーションコントラストデータの算出方法はこれに限定されない。脱相関値Ｍを求める２つの断層画像は、互いに対応する各断層画像に関する撮影時間が所定の時間間隔以内であればよく、撮影時間が連続していなくてもよい。そのため、例えば、時間的変化が少ない対象物の抽出を目的として、取得した複数の断層画像から撮影間隔が通常の規定時間より長くなるような２つの断層画像を抽出して脱相関値を算出してもよい。また、脱相関値に代えて、分散値や、最大値を最小値で割った値（最大値／最小値）等を求めてもよい。

なお、モーションコントラスト画像の生成方法は、上述の方法に限られず、公知の他の任意の方法を用いてもよい。

Ｅｎ−Ｆａｃｅ画像生成部２２３は、モーションコントラスト生成部２２２が生成した三次元モーションコントラスト画像から正面画像であるＥｎ−Ｆａｃｅ画像（ＯＣＴＡ画像）を生成することができる。具体的には、Ｅｎ−Ｆａｃｅ画像生成部２２３は、三次元モーションコントラスト画像を、例えば、被検眼Ｅの深さ方向（Ｚ方向）における２つの任意の基準面に基づいて、二次元平面に投影した正面画像であるＯＣＴＡ画像を生成することができる。また、Ｅｎ−Ｆａｃｅ画像生成部２２３は、断層画像生成部２２１が生成した三次元断層画像から同様に輝度のＥｎ−Ｆａｃｅ画像を生成することもできる。

Ｅｎ−Ｆａｃｅ画像生成部２２３は、より具体的には、例えば、２つの基準面に囲まれた領域のＸＹ方向の各位置において深さ方向における画素値の代表値を決定し、その代表値に基づいて各位置における画素値を決定して、Ｅｎ−Ｆａｃｅ画像を生成する。ここで、代表値は、２つの基準面に囲まれた領域の深さ方向の範囲内における画素値の平均値、中央値又は最大値などの値を含む。

なお、基準面は被検眼Ｅの断層の層境界に沿った面でもよいし、平面であってもよい。以下、Ｅｎ−Ｆａｃｅ画像を生成するための基準面間の深さ方向の範囲をＥｎ−Ｆａｃｅ画像の生成範囲という。また、本実施例に係るＥｎ−Ｆａｃｅ画像の生成方法は一例であり、Ｅｎ−Ｆａｃｅ画像生成部２２３は、公知の任意の方法を用いてＥｎ−Ｆａｃｅ画像を生成してよい。

画質向上部２２４は、後述する学習済モデルを用いて、Ｅｎ−Ｆａｃｅ画像生成部２２３で生成されたＯＣＴＡ画像に基づく、高画質なＯＣＴＡ画像を生成する。また、画質向上部２２４は、断層画像生成部２２１により生成された断層画像やＥｎ−Ｆａｃｅ画像生成部２２３により生成された輝度のＥｎ−Ｆａｃｅ画像に基づく、高画質な断層画像や高画質な輝度のＥｎ−Ｆａｃｅ画像を生成してもよい。なお、画質向上部２２４は、ＯＣＴ撮影部１００を用いて撮影されたＯＣＴＡ画像等だけでなく、取得部２１０が、記憶部２４０や制御部２００に接続される不図示のその他の装置から取得した各種画像に基づいて高画質な画像を生成することもできる。さらに、画質向上部２２４はＯＣＴＡ画像や断層画像だけでなく、三次元モーションコントラスト画像や三次元断層画像の画質向上処理を行ってもよい。

駆動制御部２３０は、制御部２００に接続されている、ＯＣＴ撮影部１００の光源１１１や、走査光学系１５０、走査部１５２、結像レンズ１３３等の構成要素の駆動を制御することができる。記憶部２４０は、取得部２１０で取得された各種データ、及び画像処理部２２０で生成・処理された断層画像やＯＣＴＡ画像等の各種画像やデータ等を記憶することができる。また、記憶部２４０は、被検者の属性（氏名や年齢など）や他の検査機器を用いて取得した計測結果（眼軸長や眼圧など）などの被検眼に関する情報、撮影パラメータ、画像解析パラメータ、操作者によって設定されたパラメータを記憶することができる。なお、これらの画像及び情報は、不図示の外部記憶装置に記憶する構成にしてもよい。また、記憶部２４０は、プロセッサーによって実行されることで制御部２００の各構成要素の機能を果たすためのプログラム等を記憶することもできる。

表示制御部２５０は、取得部２１０で取得された各種情報や画像処理部２２０で生成・処理された断層画像やＯＣＴＡ画像、三次元モーションコントラスト画像等の各種画像を表示部２７０に表示させることができる。また、表示制御部２５０は、ユーザによって入力された情報等を表示部２７０に表示させることができる。

制御部２００は、例えば汎用のコンピュータを用いて構成されてよい。なお、制御部２００は、ＯＣＴ装置１の専用のコンピュータを用いて構成されてもよい。制御部２００は、不図示のＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）やＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、及び光学ディスクやＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）等のメモリを含む記憶媒体を備えている。制御部２００の記憶部２４０以外の各構成要素は、ＣＰＵやＭＰＵ等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、当該各構成要素は、ＡＳＩＣ等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。記憶部２４０は、例えば、光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。

なお、制御部２００が備えるＣＰＵ等のプロセッサー及びＲＯＭ等の記憶媒体は１つであってもよいし複数であってもよい。そのため、制御部２００の各構成要素は、少なくとも１以上のプロセッサーと少なくとも１つの記憶媒体とが接続され、少なくとも１以上のプロセッサーが少なくとも１以上の記憶媒体に記憶されたプログラムを実行した場合に機能するように構成されてもよい。なお、プロセッサーはＣＰＵやＭＰＵに限定されるものではなく、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等であってもよい。

次に、図３（ａ）乃至図４を参照して、本実施例に係るディープラーニング等の機械学習アルゴリズムに従った機械学習モデルに関する学習済モデルについて説明する。本実施例に係る学習済モデルは、学習の傾向に従って、入力された画像に基づいて、画質向上処理が行われたような画像を生成して出力する。

本明細書における画質向上処理とは、入力された画像を画像診断により適した画質の画像に変換することをいい、高画質画像とは、画像診断により適した画質の画像に変換された画像をいう。ここで、画像診断に適した画質の内容は、各種の画像診断で何を診断したいのかということに依存する。そのため一概には言えないが、例えば、画像診断に適した画質は、ノイズが少なかったり、高コントラストであったり、撮影対象を観察しやすい色や階調で示していたり、画像サイズが大きかったり、高解像度であったりする画質を含む。また、画像生成の過程で描画されてしまった実際には存在しないオブジェクトやグラデーションが画像から除去されているような画質を含むことができる。

学習済モデルとは、ディープラーニング等の任意の機械学習アルゴリズムに従った機械学習モデルに対して、事前に適切な教師データ（学習データ）を用いてトレーニング（学習）を行ったモデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。教師データは、一つ以上の、入力データと出力データとのペア群で構成される。本実施例では、入力データ及び出力データのペアを、ＯＣＴＡ画像と、該ＯＣＴＡ画像を含む複数のＯＣＴＡ画像について加算平均等の重ね合わせ処理が行われたＯＣＴＡ画像によって構成する。

重ね合わせ処理を行った重ね合わせ画像は、元画像群で共通して描出された画素が強調されるため、画像診断に適した高画質画像になる。この場合には、生成される高画質画像は、共通して描出された画素が強調された結果、低輝度領域と高輝度領域との違いがはっきりした高コントラストな画像になる。また、例えば、重ね合わせ画像では、撮影毎に発生するランダムノイズが低減されたり、ある時点の元画像ではうまく描出されなかった領域が他の元画像群によって補間されたりすることができる。

なお、教師データを構成するペア群のうち、高画質化に寄与しないペアは教師データから取り除くことができる。例えば、教師データのペアを構成する出力データである高画質画像が画像診断に適さない画質である場合には、当該教師データを用いて学習した学習済モデルが出力する画像も画像診断に適さない画質になってしまう可能性がある。そのため、出力データが画像診断に適さない画質であるペアを教師データから取り除くことで、学習済モデルが画像診断に適さない画質の画像を生成する可能性を低減させることができる。

また、ペアである画像群の平均輝度や輝度分布が大きく異なる場合には、当該教師データを用いて学習した学習済モデルが、低画質画像と大きく異なる輝度分布を持つ画像診断に適さない画像を出力する可能性がある。このため、平均輝度や輝度分布が大きく異なる入力データと出力データのペアを教師データから取り除くこともできる。

さらに、ペアである画像群に描画される撮影対象の構造や位置が大きく異なる場合には、当該教師データを用いて学習した学習済モデルが、低画質画像と大きく異なる構造や位置に撮影対象を描画した画像診断に適さない画像を出力する可能性がある。このため、描画される撮影対象の構造や位置が大きく異なる入力データと出力データのペアを教師データから取り除くこともできる。

このように学習を行った学習済モデルを用いることで、画質向上部２２４は、一回の撮影（検査）で取得されたＯＣＴＡ画像が入力された場合に、重ね合わせ処理によって高コントラスト化やノイズ低減等が行われたような高画質なＯＣＴＡ画像を生成できる。このため、画質向上部２２４は、入力画像である低画質画像に基づいて、画像診断に適した高画質画像を生成することができる。

次に、学習時の画像について説明する。教師データを構成する、ＯＣＴＡ画像３０１と高画質なＯＣＴＡ画像３０２とのペア群を構成する画像群を、位置関係が対応する一定の画像サイズの矩形領域画像によって作成する。当該画像の作成について、図３（ａ）及び（ｂ）を参照して説明する。

まず、教師データを構成するペア群の１つを、ＯＣＴＡ画像３０１と高画質なＯＣＴＡ画像３０２とした場合について説明する。この場合には、図３（ａ）に示すように、ＯＣＴＡ画像３０１の全体を入力データ、高画質なＯＣＴＡ画像３０２の全体を出力データとして、ペアを構成する。なお、図３（ａ）に示す例では各画像の全体により入力データと出力データのペアを構成しているが、ペアはこれに限らない。

例えば、図３（ｂ）に示すように、ＯＣＴＡ画像３０１のうちの矩形領域画像３１１を入力データ、ＯＣＴＡ画像３０２における対応する撮影領域である矩形領域画像３２１を出力データとして、ペアを構成してもよい。

なお、学習時には、スキャン範囲（撮影画角）、スキャン密度（Ａスキャン数、Ｂスキャン数）を正規化して画像サイズを揃えて、学習時の矩形領域サイズを一定に揃えることができる。また、図３（ａ）及び（ｂ）に示した矩形領域画像は、それぞれ別々に学習する際の矩形領域サイズの一例である。

また、矩形領域の数は、図３（ａ）に示す例では１つ、図３（ｂ）に示す例では複数設定可能である。例えば、図３（ｂ）に示す例において、ＯＣＴＡ画像３０１のうちの矩形領域画像３１２を入力データ、高画質なＯＣＴＡ画像３０２における対応する撮影領域である矩形領域画像３２２を出力データとしてペアを構成することもできる。このように、１枚ずつのＯＣＴＡ画像及び高画質なＯＣＴＡ画像のペアから、互いに異なる矩形領域画像のペアを作成できる。なお、元となるＯＣＴＡ画像及び高画質なＯＣＴＡ画像において、領域の位置を異なる座標に変えながら多数の矩形領域画像のペアを作成することで、教師データを構成するペア群を充実させることができる。

なお、図３（ｂ）に示す例では、離散的に矩形領域を示しているが、元となるＯＣＴＡ画像及び高画質なＯＣＴＡ画像を、隙間なく連続する一定の画像サイズの矩形領域画像群に分割することができる。また、元となるＯＣＴＡ画像及び高画質なＯＣＴＡ画像について、互いに対応する、ランダムな位置の矩形領域画像群に分割してもよい。このように、矩形領域として、より小さな領域の画像を入力データ及び出力データのペアとして選択することで、もともとのペアを構成するＯＣＴＡ画像３０１及び高画質なＯＣＴＡ画像３０２から多くのペアデータを生成できる。そのため、機械学習モデルのトレーニングにかかる時間を短縮することができる。

次に、本実施例に係る学習済モデルの一例として、入力された断層画像に対して、画質向上処理を行う畳み込みニューラルネットワーク（ＣＮＮ）に関して、図４を参照して説明する。図４は、画質向上部２２４が用いる学習済モデルの構成４０１の一例を示している。

図４に示す学習済モデルは、入力値群を加工して出力する処理を担う複数の層群によって構成される。なお、当該学習済モデルの構成４０１に含まれる層の種類としては、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、ダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）層、アップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）層、及び合成（Ｍｅｒｇｅｒ）層がある。

畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、フィルタのカーネルサイズの次元数も変更してもよい。

ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。具体的には、このような処理として、例えば、ＭａｘＰｏｏｌｉｎｇ処理がある。

アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。具体的には、このような処理として、例えば、線形補間処理がある。

合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。

なお、図４に示す構成４０１に含まれる畳み込み層群に設定されるパラメータとして、例えば、フィルタのカーネルサイズを幅３画素、高さ３画素、フィルタの数を６４とすることで、一定の精度の画質向上処理が可能である。ただし、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、教師データからトレーニングされた傾向を出力データに再現可能な程度が異なる場合があるので注意が必要である。つまり、多くの場合、実施する際の形態に応じて適切なパラメータは異なるので、必要に応じて好ましい値に変更することができる。

また、上述したようなパラメータを変更するという方法だけでなく、ＣＮＮの構成を変更することによって、ＣＮＮがより良い特性を得られる場合がある。より良い特性とは、例えば、画質向上処理の精度が高かったり、画質向上処理の時間が短かったり、機械学習モデルのトレーニングにかかる時間が短かったりする等である。

図示しないが、ＣＮＮの構成の変更例として、例えば、畳み込み層の後にバッチ正規化（ＢａｔｃｈＮｏｒｍａｌｉｚａｔｉｏｎ）層や、正規化線形（ＲｅＬＵ：ＲｅｃｔｉｆｉｅｒＬｉｎｅａｒＵｎｉｔ）関数を用いた活性化層を組み込む等してもよい。

このような機械学習モデルの学習済モデルにデータを入力すると、機械学習モデルの設計に従ったデータが出力される。例えば、教師データを用いてトレーニングされた傾向に従って入力データに対応する可能性の高い出力データが出力される。本実施例に係る学習済モデルでは、ＯＣＴＡ画像３０１が入力されると、教師データを用いてトレーニングされた傾向に従って、高画質なＯＣＴＡ画像３０２を出力する。

なお、画像の領域を分割して学習している場合、学習済モデルは、それぞれの矩形領域に対応する高画質なＯＣＴＡ画像である矩形領域画像を出力する。この場合、画質向上部２２４は、まず、入力画像であるＯＣＴＡ画像３０１を学習時の画像サイズに基づいて矩形領域画像群に分割し、分割した矩形領域画像群を学習済モデルに入力する。その後、画質向上部２２４は、学習済モデルから出力された高画質なＯＣＴＡ画像である矩形領域画像群のそれぞれを、学習済モデルに入力した矩形領域画像群のぞれぞれと同様の位置関係に配置して結合する。これにより、画質向上部２２４は、入力されたＯＣＴＡ画像３０１に対応する、高画質なＯＣＴＡ画像３０２を生成することができる。

次に、図５乃至図７を参照して、本実施例に係る一連の画像処理について説明する。図５は、本実施例に係る一連の画像処理のフローチャートである。

まず、ステップＳ５０１では、取得部２１０が、被検眼Ｅを複数回撮影して得た複数の三次元の断層情報を取得する。取得部２１０は、ＯＣＴ撮影部１００を用いて被検眼Ｅの断層情報を取得してもよいし、記憶部２４０や制御部２００に接続される他の装置から断層情報を取得してもよい。

ここで、ＯＣＴ撮影部１００を用いて被検眼Ｅの断層情報を取得する場合について説明する。まず、操作者は、走査光学系１５０の前に被検者である患者を着座させ、アライメントを行ったり、患者情報等を制御部２００に入力したりした後にＯＣＴ撮影を開始する。制御部２００の駆動制御部２３０は、走査部１５２のガルバノミラーを駆動し、被検眼の略同一箇所を複数回走査して被検眼の略同一箇所における複数の断層情報（干渉信号）を取得する。その後、駆動制御部２３０は、走査部１５２のガルバノミラーを主走査方向に直交する副走査方向に微小に駆動させ、被検眼Ｅの別の箇所（隣接する走査ライン）における複数の断層情報を取得する。この制御を繰り返すことにより、取得部２１０は、被検眼Ｅの所定範囲における複数の三次元の断層情報を取得する。

次に、ステップＳ５０２において、断層画像生成部２２１は、取得された複数の三次元の断層情報に基づいて、複数の三次元断層画像を生成する。なお、取得部２１０が、ステップＳ５０１において、記憶部２４０や制御部２００に接続される他の装置から複数の三次元断層画像を取得する場合には、ステップＳ５０２は省略されてよい。

ステップＳ５０３では、モーションコントラスト生成部２２２が、複数の三次元断層画像に基づいて、三次元モーションコントラストデータ（三次元モーションコントラスト画像）を生成する。なお、モーションコントラスト生成部２２２は、略同一箇所について取得した３枚以上の断層画像に基づいて複数のモーションコントラストデータを求め、それらの平均値を最終的なモーションコントラストデータとして生成してもよい。なお、取得部２１０が、ステップＳ５０１において、記憶部２４０や制御部２００に接続される他の装置から三次元モーションコントラストデータを取得する場合には、ステップＳ５０２及びステップＳ５０３は省略されてよい。

ステップＳ５０４では、Ｅｎ−Ｆａｃｅ画像生成部２２３が、三次元モーションコントラストデータについて、操作者の指示に応じた又は所定のＥｎ−Ｆａｃｅ画像の生成範囲に基づいて、ＯＣＴＡ画像を生成する。なお、取得部２１０が、ステップＳ５０１において、記憶部２４０や制御部２００に接続される他の装置からＯＣＴＡ画像を取得する場合には、ステップＳ５０２乃至ステップＳ５０４は省略されてよい。

ステップＳ５０５では、画質向上部２２４が、学習済モデルを用いて、ＯＣＴＡ画像の画質向上処理を行う。画質向上部２２４は、ＯＣＴＡ画像を学習済モデルに入力し、学習済モデルからの出力に基づいて高画質なＯＣＴＡ画像を生成する。なお、学習済モデルが画像の領域を分割して学習している場合には、画質向上部２２４は、まず、入力画像であるＯＣＴＡ画像を学習時の画像サイズに基づいて矩形領域画像群に分割し、分割した矩形領域画像群を学習済モデルに入力する。その後、画質向上部２２４は、学習済モデルから出力された高画質なＯＣＴＡ画像である矩形領域画像群のそれぞれを、学習済モデルに入力した矩形領域画像群のぞれぞれと同様の位置関係に配置して結合することで、最終的な高画質なＯＣＴＡ画像を生成する。

ステップＳ５０６では、表示制御部２５０が、表示部２７０に、画質向上部２２４によって生成された高画質なＯＣＴＡ画像（第２の医用画像）を元のＯＣＴＡ画像（第１の医用画像）と切り替えて表示させる。上述のように、機械学習モデルを用いた画質向上処理では、現実には存在しない血管をＯＣＴＡ画像上に描出してしまったり、本来存在している血管を消してしまったりすることがある。これに対し、表示制御部２５０は、表示部２７０に、生成された高画質なＯＣＴＡ画像を元のＯＣＴＡ画像と切り替えて表示させることで、画質向上処理によって新たに生成された血管か、元の画像にも存在していた血管かの判断を容易にすることができる。表示制御部２５０による表示処理が終了すると、一連の画像処理が終了する。

次に、図６（ａ）乃至図７を参照して、制御部２００の操作方法について説明する。図６（ａ）及び（ｂ）は、画質向上処理前後の画像を切り替えて表示するレポート画面の一例を示す。図６（ａ）に示すレポート画面６００には、断層画像６１１と画質向上処理前のＯＣＴＡ画像６０１が示されている。図６（ｂ）に示すレポート画面６００には、断層画像６１１と画質向上処理後のＯＣＴＡ画像６０２（高画質なＯＣＴＡ画像）が示されている。

図６（ａ）に示すレポート画面６００において、操作者が入力部２６０の一例であるマウスを用い、ＯＣＴＡ画像６０１上でマウスの右ボタンを押下すると、画質向上処理を行うか否かを選択するポップアップメニュー６２０が表示される。操作者がポップアップメニュー６２０上で画質向上処理を行うことを選択すると、画質向上部２２４はＯＣＴＡ画像６０１に対する画質向上処理を実行する。

そして、図６（ｂ）に示すように、表示制御部２５０は、レポート画面６００に表示された画質向上処理を行う前のＯＣＴＡ画像６０１を、画質向上処理を行った後のＯＣＴＡ画像６０２に切り替えて表示させる。なお、ＯＣＴＡ画像６０２上でマウスの右ボタンを再度押下することでポップアップメニュー６２０を開き、画質向上処理を行う前のＯＣＴＡ画像６０１に切り替えて表示させることもできる。

なお、マウスの右ボタンの押下に応じて表示されるポップアップメニュー６２０によって画質向上処理前後の画像の切替表示を行う例を示したが、画像の切替方法はポップアップメニュー以外の任意の方法で行ってもよい。例えば、レポート画面上に配置されたボタン（後述する図２０（ａ）及び（ｂ）の高画質化ボタン３４２０の一例）、プルダウンメニュー、ラジオボタン、チェックボックス、又はキーボード操作などで画像の切替を行ってもよい。さらに、マウスホイールの操作やタッチパネルディスプレイのタッチ操作によって画像を切替表示してもよい。

操作者は上記方法により、画質向上処理を行う前のＯＣＴＡ画像６０１と、画質向上処理を行った後のＯＣＴＡ画像６０２を任意に切替表示することができる。そのため、操作者は、画質向上処理の前後のＯＣＴＡ画像を容易に見比べることができ、画質向上処理によるＯＣＴＡ画像の変化を容易に確認することができる。従って、操作者は、画質向上処理によってＯＣＴＡ画像に現実には存在しない血管が描出されてしまったり、本来存在している血管が消えてしまったりしても容易に識別することができ、画像上に描出された組織の真偽を容易に判断することができる。

なお、上述の表示方法では、画質向上処理前後の画像を切り替えて表示したが、これらの画像を並べて表示したり、重ねて表示したりすることでも、同様の効果を奏することができる。図７は、画質向上処理前後の画像を並べて表示する場合のレポート画面の一例を示す。図７に示すレポート画面７００には、画質向上処理前のＯＣＴＡ画像７０１と画質向上処理後のＯＣＴＡ画像７０２が並べて表示されている。

この場合でも、操作者は、画質向上処理前後の画像を容易に見比べることができ、画質向上処理による画像の変化を容易に確認することができる。そのため、操作者は画質向上処理によってＯＣＴＡ画像に現実には存在しない血管が描出されてしまったり、本来存在している血管が消えてしまったりしても容易に識別することができ、画像上に描出された組織の真偽を容易に判断することができる。なお、画質向上処理前後の画像を重ねて表示する場合には、表示制御部２５０は、画質向上処理前後の画像の少なくとも一方について、透明度を設定し、表示部２７０に画質向上処理前後の画像を重ねて表示させることができる。

また、上述のように、画質向上部２２４は、ＯＣＴＡ画像だけでなく、断層画像や輝度のＥｎ−Ｆａｃｅ画像について学習済モデルを用いた画質向上処理を行ってもよい。この場合には、学習済モデルの教師データのペアとして、重ね合わせ前の断層画像や輝度のＥｎ−Ｆａｃｅ画像を入力データとし、重ね合わせ後の断層画像や輝度のＥｎ−Ｆａｃｅ画像を出力データとしたペアを用いることができる。なお、この場合、学習済モデルは、ＯＣＴＡ画像や断層画像等の教師データを用いて学習を行った１つの学習済モデルとしてもよいし、画像の種類毎に学習を行った複数の学習済モデルとしてもよい。複数の学習済モデルを用いる場合には、画質向上部２２４は、画質向上処理を行う対象である画像の種類に応じた学習済モデルを用いることができる。なお、画質向上部２２４は、三次元モーションコントラスト画像や三次元断層画像について学習済モデルを用いた画質向上処理を行ってもよく、この場合の学習データも上述と同様に用意することができる。

図７には、画質向上処理前の断層画像７１１と、画質向上処理後の断層画像７１２が並べて表示されている。なお、表示制御部２５０は、図６（ａ）及び（ｂ）に示す画質向上処理前後のＯＣＴＡ画像のように、画質向上処理前後の断層画像や輝度のＥｎ−Ｆａｃｅ画像を切り替えて、表示部２７０に表示させてもよい。また、表示制御部２５０は、画質向上処理前後の断層画像や輝度のＥｎ−Ｆａｃｅ画像を重ねて表示部２７０に表示させてもよい。これらの場合でも、操作者は、画質向上処理の前後の画像を容易に見比べることができ、画質向上処理による画像の変化を容易に確認することができる。そのため操作者は、画質向上処理によって画像に現実には存在しない組織が描出されてしまったり、本来存在している組織が消えてしまったりしても容易に識別することができ、画像上に描出された組織の真偽を容易に判断することができる。

上記のように、本実施例に係る制御部２００は、画質向上部２２４と表示制御部２５０を備える。画質向上部２２４は、学習済モデルを用いて、被検眼の第１の医用画像から、該第１の医用画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされた第２の医用画像を生成する。表示制御部２５０は、表示部２７０に第１の医用画像と第２の医用画像とを切り替えて、並べて、又は重ねて表示させる。なお、表示制御部２５０は、操作者からの指示に応じて、第１の医用画像及び第２の医用画像を切り替えて、表示部２７０に表示させることができる。

これにより、制御部２００は、元の画像から、ノイズが低減されていたり、コントラストが強調されていたりする高画質な画像を生成することができる。このため、制御部２００は、より明瞭な画像や観察したい部位や病変が強調されている画像等の、従来よりも画像診断に適した画像を生成することができる。

また、操作者は、画質向上処理の前後の画像を容易に見比べることができ、画質向上処理による画像の変化を容易に確認することができる。そのため操作者は、画質向上処理によって画像に現実には存在しない組織が描出されてしまったり、本来存在している組織が消えてしまったりしても容易に識別することができ、画像上に描出された組織の真偽を容易に判断することができる。

本実施例に係る学習済モデルでは、教師データの出力データとして、重ね合わせ画像を用いたが、教師データはこれに限られない。例えば、教師データの出力データとして、元画像群に対して最大事後確率推定処理（ＭＡＰ推定処理）を行うことで得られる高画質画像を用いてもよい。ＭＡＰ推定処理では、複数の画像における各画素値の確率密度から尤度関数を求め、求めた尤度関数を用いて真の信号値（画素値）を推定する。

ＭＡＰ推定処理により得られた高画質画像は、真の信号値に近い画素値に基づいて高コントラストな画像となる。また、推定される信号値は、確率密度に基づいて求められるため、ＭＡＰ推定処理により得られた高画質画像では、ランダムに発生するノイズが低減される。このため、ＭＡＰ推定処理により得られた高画質画像を教師データとして用いることで、学習済モデルは、入力画像から、ノイズが低減されたり、高コントラストとなったりした、画像診断に適した高画質画像を生成することができる。なお、教師データの入力データと出力データのペアの生成方法は、重ね合わせ画像を教師データとした場合と同様の方法で行われてよい。

また、教師データの出力データとして、元画像に平滑化フィルタ処理を適用した高画質画像を用いてもよい。この場合には、学習済モデルは、入力画像から、ランダムノイズが低減された高画質画像を生成することができる。さらに、教師データの出力データとして、元画像に階調変換処理を適用した画像を用いてもよい。この場合には、学習済モデルは、入力画像から、コントラスト強調された高画質画像を生成することができる。なお、教師データの入力データと出力データのペアの生成方法は、重ね合わせ画像を教師データとした場合と同様の方法で行われてよい。

なお、教師データの入力データは、ＯＣＴ撮影部１００と同じ画質傾向を持つ撮影装置から取得された画像でもよい。また、教師データの出力データは、逐次近似法等の高コストな処理によって得られた高画質画像であってもよいし、入力データに対応する被検体を、ＯＣＴ撮影部１００よりも高性能な撮影装置で撮影することで取得した高画質画像であってもよい。さらに、出力データは、被検体の構造等に基づくルールベースによるノイズ低減処理を行うことによって取得された高画質画像であってもよい。ここで、ノイズ低減処理は、例えば、低輝度領域内に現れた明らかにノイズである１画素のみの高輝度画素を、近傍の低輝度画素値の平均値に置き換える等の処理を含むことができる。このため、学習済モデルは、入力画像の撮影に用いられる撮影装置よりも高性能な撮影装置によって撮影された画像、又は入力画像の撮影工程よりも工数の多い撮影工程で取得された画像を教師データとしてもよい。

なお、画質向上部２２４が、学習済モデルを用いて、ノイズが低減されていたり、コントラストが強調されていたりする高画質な画像を生成することについて述べたが、画質向上部２２４による画質向上処理はこれに限られない。画質向上部２２４は、画質向上処理により、上述のように、画像診断により適した画質の画像を生成できればよい。

また、表示制御部２５０は、表示部２７０に画質向上処理前後の画像を並べて表示させる場合、操作者からの指示に応じて、表示部２７０に並べて表示されている画質向上処理前後の画像のいずれかを拡大表示させてもよい。より具体的には、例えば、図７に示すレポート画面７００において、操作者がＯＣＴＡ画像７０１を選択したら、表示制御部２５０は、レポート画面７００においてＯＣＴＡ画像７０１を拡大表示させることができる。また、操作者が画質向上処理後のＯＣＴＡ画像７０２を選択したら、表示制御部２５０は、レポート画面７００においてＯＣＴＡ画像７０２を拡大表示させることができる。この場合には、操作者は画質向上処理前後の画像のうち観察したい画像をより詳細に観察することができる。

さらに、制御部２００は、操作者の指示に応じてＯＣＴＡ画像等のＥｎ−Ｆａｃｅ画像の生成範囲が変更された場合、並べて表示されている画像を、変更された生成範囲に基づく画像及び高画質化した画像に変更して表示してもよい。より具体的には、操作者が入力部２６０を介して、Ｅｎ−Ｆａｃｅ画像の生成範囲を変更すると、Ｅｎ−Ｆａｃｅ画像生成部２２３が変更された生成範囲に基づいて、画質向上処理前のＥｎ−Ｆａｃｅ画像を生成する。画質向上部２２４は、学習済モデルを用いて、Ｅｎ−Ｆａｃｅ画像生成部２２３によって新たに生成されたＥｎ−Ｆａｃｅ画像から、高画質なＥｎ−Ｆａｃｅ画像を生成する。その後、表示制御部２５０は、表示部２７０に並べて表示されている画質向上処理前後のＥｎ−Ｆａｃｅ画像を、新たに生成された画質向上処理前後のＥｎ−Ｆａｃｅ画像に変更して表示させる。このような場合には、操作者が観察したい深さ方向の範囲を任意に変更しながら、変更された深さ方向の範囲に基づく画質向上処理前後のＥｎ−Ｆａｃｅ画像を観察することができる。

（変形例１）
上述のように、学習済モデルを用いて画質向上処理を行った画像では、現実には存在しない組織が描出されてしまったり、本来存在している組織が消えてしまったりする。そのため、当該画像に基づいて操作者が画像診断を行うことにより誤診断が生じてしまう場合がある。そこで、表示制御部２５０は、画質向上処理後のＯＣＴＡ画像や断層画像等を表示部２７０に表示させる際に、当該画像が学習済モデルを用いて画質向上処理を行った画像である旨をともに表示させてもよい。この場合には、操作者による誤診断の発生を抑制することができる。なお、学習済モデルを用いて取得した高画質画像である旨が理解できる態様であれば、表示の態様については任意であってよい。

（変形例２）
実施例１では一回の撮影（検査）で得られたＯＣＴＡ画像や断層画像等に対して画質向上処理を適用する例について述べた。これに対し、複数回の撮影（検査）で得られた複数のＯＣＴＡ画像や断層画像等に対して、学習済モデルを用いた画質向上処理を適用することもできる。変形例２では、図８（ａ）及び（ｂ）を参照して、複数のＯＣＴＡ画像や断層画像等に対して、学習済モデルを用いた画質向上処理を適用した画像を同時に表示させる構成について説明する。

図８（ａ）及び（ｂ）は、同一被検眼を経時的に複数回撮影することによって取得された複数のＯＣＴＡ画像を表示するための時系列レポート画面の一例を示す。図８（ａ）に示すレポート画面８００では、画質向上処理を行う前の複数のＯＣＴＡ画像８０１が時系列に並んで表示されている。また、レポート画面８００にはポップアップメニュー８２０も含まれており、操作者は、入力部２６０を介してポップアップメニュー８２０を操作することで、画質向上処理の適用有無を選択することが可能である。

操作者が画質向上処理の適用を選択すると、画質向上部２２４は表示されている全てのＯＣＴＡ画像に対して、学習済モデルを用いた画質向上処理を適用する。そして、表示制御部２５０は、図８（ｂ）に示すように、画質向上処理を行った後の複数のＯＣＴＡ画像８０２を、表示されていた複数のＯＣＴＡ画像８０１と切り替えて表示する。

また、操作者が、ポップアップメニュー８２０にて画質向上処理を適用しないことを選択すると、表示制御部２５０は、画質向上処理前の複数のＯＣＴＡ画像８０１を、表示されていた画質向上処理後の複数のＯＣＴＡ画像８０２と切り替えて表示する。

なお、本変形例では、学習済モデルを用いた画質向上処理前後の複数のＯＣＴＡ画像について同時に切り替えて表示する例を示した。しかしながら、学習済モデルを用いた画質向上処理前後の複数の断層画像や輝度のＥｎ−Ｆａｃｅ画像等を同時に切り替えて表示してもよい。なお、操作方法はポップアップメニュー８２０を用いる方法に限られず、レポート画面上に配置されたボタン（後述する図２０（ａ）及び（ｂ）の高画質化ボタン３４２０の一例）やプルダウンメニュー、ラジオボタン、チェックボックス、又はキーボードやマウスホイール、タッチパネルの操作等の任意の操作方法を採用してよい。

（実施例２）
学習済モデルは、学習の傾向に従って入力データに対応する可能性の高い出力データを出力する。これに関連して、学習済モデルは、画質の傾向が似た画像群を教師データとして学習を行うと、当該似た傾向の画像に対して、より効果的に高画質化した画像を出力することができる。そこで、実施例２では、撮影部位等の撮影条件やＥｎ−Ｆａｃｅ画像の生成範囲毎にグルーピングされたペア群で構成された教師データを用いて学習した複数の学習済モデルによって画質向上処理を行うことで、より効果的に画質向上処理を行う。

以下、図９及び図１０を参照して本実施例に係るＯＣＴ装置について説明する。なお、本実施例に係るＯＣＴ装置の構成は、制御部を除いて実施例１に係るＯＣＴ装置１と同様であるため、図１に示す構成と同様の構成については、同一の参照符号を用いて示し、説明を省略する。以下、実施例１に係るＯＣＴ装置１との違いを中心に、本実施例に係るＯＣＴ装置について説明する。

図９は、本実施例に係る制御部９００の概略構成を示す。なお、本実施例に係る制御部９００における画像処理部９２０及び選択部９２５以外の構成は実施例１に係る制御部２００の各構成と同様である。そのため、図２に示す構成と同様の構成については、同一の参照符号を用いて示し説明を省略する。

制御部９００の画像処理部９２０には、断層画像生成部２２１、モーションコントラスト生成部２２２、Ｅｎ−Ｆａｃｅ画像生成部２２３、及び画質向上部２２４に加えて、選択部９２５が設けられている。

選択部９２５は、画質向上部２２４によって画質向上処理を行うべき画像の撮影条件やＥｎ−Ｆａｃｅ画像の生成範囲に基づいて、複数の学習済モデルのうち、画質向上部２２４が用いるべき学習済モデルを選択する。画質向上部２２４は、選択部９２５によって選択された学習済モデルを用いて、対象となるＯＣＴＡ画像や断層画像等に画質向上処理を行い、高画質なＯＣＴＡ画像や高画質な断層画像を生成する。

次に、本実施例に係る複数の学習済モデルについて説明する。上述のように、学習済モデルは、学習の傾向に従って入力データに対応する可能性の高い出力データを出力する。これに関連して、学習済モデルは、画質の傾向が似た画像群を教師データとして学習を行うと、当該似た傾向の画像に対して、より効果的に高画質化した画像を出力することができる。そこで、本実施例では、撮影部位、撮影方式、撮影領域、撮影画角、スキャン密度、及び画像の解像度等を含む撮影条件やＥｎ−Ｆａｃｅ画像の生成範囲毎にグルーピングされたペア群で構成された教師データを用いて学習した複数の学習済モデルを用意する。

より具体的には、例えば、黄斑部を撮影部位としたＯＣＴＡ画像を教師データとした学習済モデル、及び乳頭部を撮影部位としたＯＣＴＡ画像を教師データとした学習済モデル等の複数の学習済モデルを用意する。なお、黄斑部や乳頭部は撮影部位の一例であり、他の撮影部位を含んでもよい。また、黄斑部や乳頭部等の撮影部位における特定の撮影領域毎のＯＣＴＡ画像を教師データとした学習済モデルを用意してもよい。

また、例えば、網膜を広画角・低密度で撮影した場合と、網膜を狭画角・高密度で撮影した場合とでは、ＯＣＴＡ画像に描出される血管等の構造物の描出が大きく異なる。そのため、撮影画角やスキャン密度に応じた教師データ毎に学習を行った学習済モデルを用意してもよい。さらに、撮影方式の例としては、ＳＤ−ＯＣＴとＳＳ−ＯＣＴ等の撮影方式があり、これらの撮影方式の違いにより、画質、撮影範囲、及び深さ方向の深達度等が異なる。このため、撮影方式に応じた教師データ毎に学習を行った学習済モデルを用意してもよい。

また、通常、網膜の全ての層の血管を一度に抽出したＯＣＴＡ画像を生成することは稀であり、所定の深度範囲に存在する血管のみを抽出したＯＣＴＡ画像を生成することが一般的である。例えば、網膜の浅層、深層、外層、及び脈絡膜浅層等の深度範囲において、それぞれの深度範囲で血管を抽出したＯＣＴＡ画像を生成する。一方、ＯＣＴＡ画像に描出される血管の態様は、深度範囲に応じて大きく異なる。例えば、網膜の浅層で描出される血管は低密度で細く明瞭な血管網を形成するのに対し、脈絡膜浅層で描出される血管は高密度で一本一本の血管を明瞭に識別することは困難である。このため、ＯＣＴＡ画像等のＥｎ−Ｆａｃｅ画像の生成範囲に応じた教師データ毎に学習を行った学習済モデルを用意してもよい。

ここではＯＣＴＡ画像を教師データとする例について述べたが、実施例１と同様に、断層画像や輝度のＥｎ−Ｆａｃｅ画像等について画質向上処理を行う場合には、これらの画像を教師データとすることができる。この場合には、これら画像の撮影条件やＥｎ−Ｆａｃｅ画像の生成範囲に応じた教師データ毎に学習を行った複数の学習済モデルを用意する。

次に、図１０を参照して、本実施例に係る一連の画像処理について説明する。図１０は、本実施例に係る一連の画像処理のフローチャートである。なお、実施例１に係る一連の画像処理と同様の処理に関しては、適宜説明を省略する。

まず、ステップＳ１００１において、実施例１に係るステップＳ５０１と同様に、取得部２１０は、被検眼Ｅを複数回撮影して得た複数の三次元の断層情報を取得する。取得部２１０は、ＯＣＴ撮影部１００を用いて被検眼Ｅの断層情報を取得してもよいし、記憶部２４０や制御部２００に接続される他の装置から断層情報を取得してもよい。

また、取得部２１０は、断層情報に関する撮影条件群を取得する。具体的には、取得部２１０は、断層情報に関する撮影を行った際の撮影部位や撮影方式等の撮影条件を取得することができる。なお、取得部２１０は、断層情報のデータ形式に応じて、断層情報のデータを構成するデータ構造に保存された撮影条件群を取得してもよい。また、断層情報のデータ構造に撮影条件が保存されていない場合には、取得部２１０は、撮影条件を記載したファイルを記憶したサーバやデータベース等から撮影情報群を取得することができる。また、公知の任意の方法により、取得部２１０は、断層情報に基づく画像から撮影情報群を推定してもよい。

また、取得部２１０が、複数の三次元断層画像や三次元モーションコントラストデータ、ＯＣＴＡ画像等を取得する場合には、取得部２１０は取得した画像やデータに関する撮影条件群を取得する。なお、ＯＣＴＡ画像や輝度のＥｎ−Ｆａｃｅ画像の生成範囲に応じた教師データ毎に学習を行った複数の学習済モデルのみを画質向上処理に用いる場合には、取得部２１０は断層画像の撮影条件群を取得しなくてもよい。

ステップＳ１００２乃至ステップＳ１００４は、実施例１に係るステップＳ５０２乃至Ｓ５０４と同様であるため説明を省略する。ステップＳ１００４において、Ｅｎ−Ｆａｃｅ画像生成部２２３がＯＣＴＡ画像を生成すると、処理はステップＳ１００５に移行する。

ステップＳ１００５では、選択部９２５が、生成されたＯＣＴＡ画像に関する撮影条件群や生成範囲及び複数の学習済モデルに関する教師データの情報に基づいて、画質向上部２２４が用いるべき学習済モデルを選択する。より具体的には、例えば、選択部９２５は、ＯＣＴＡ画像の撮影部位が乳頭部である場合には、乳頭部のＯＣＴＡ画像を教師データとして学習を行った学習済モデルを選択する。また、例えば、選択部９２５は、ＯＣＴＡ画像の生成範囲が網膜の浅層である場合には、網膜の浅層を生成範囲としたＯＣＴＡ画像を教師データとして学習を行った学習済モデルを選択する。

なお、選択部９２５は、生成されたＯＣＴＡ画像に関する撮影条件群や生成範囲と学習済モデルの教師データの情報が完全には一致していなくても、画質が似た傾向の画像を教師データとして学習を行った学習済モデルを選択してもよい。この場合には、例えば、選択部９２５は、ＯＣＴＡ画像に関する撮影条件群や生成範囲と、用いるべき学習済モデルとの対応関係を記載したテーブルを備えてもよい。

ステップＳ１００６では、画質向上部２２４が、選択部９２５によって選択された学習済モデルを用いて、ステップＳ１００４で生成されたＯＣＴＡ画像について画質向上処理を行い、高画質なＯＣＴＡ画像を生成する。高画質なＯＣＴＡ画像の生成方法は、実施例１に係るステップＳ５０５と同様であるため説明を省略する。

ステップＳ１００７は、実施例１に係るステップＳ５０６と同様であるため説明を省略する。ステップＳ１００７において、高画質なＯＣＴＡ画像が表示部２７０に表示されると、本実施例に係る一連の画像処理が終了する。

上記のように、本実施例に係る制御部９００は、複数の学習済モデルから、画質向上部２２４によって用いられる学習済モデルを選択する選択部９２５を備える。選択部９２５は、画質向上処理を行うべきＯＣＴＡ画像を生成するための深さ方向の範囲に基づいて、画質向上部２２４によって用いられる学習済モデルを選択する。

例えば、選択部９２５は、画質向上処理をすべきＯＣＴＡ画像における表示部位及び当該ＯＣＴＡ画像を生成するための深さ方向の範囲に基づいて、学習済モデルを選択することができる。また、例えば、選択部９２５は、画質向上処理を行うべきＯＣＴＡ画像における表示部位を含む撮影部位及び当該ＯＣＴＡ画像を生成するための深さ方向の範囲に基づいて、画質向上部２２４によって用いられる学習済モデルを選択してもよい。さらに、例えば、選択部９２５は、画質向上処理を行うべきＯＣＴＡ画像の撮影条件に基づいて、画質向上部２２４によって用いられる学習済モデルを選択してもよい。

このため、制御部９００は、撮影条件やＥｎ−Ｆａｃｅ画像の生成範囲毎にグルーピングされたペア群で構成された教師データを用いて学習した複数の学習済モデルによって画質向上処理を行うことで、より効果的に画質向上処理を行うことができる。

なお、本実施例では、選択部９２５が、ＯＣＴＡ画像に関する撮影部位等の撮影条件又は生成範囲に基づいて、学習済モデルを選択する例を説明したが、上記以外の条件に基づいて学習済モデルを変更するようにしてもよい。選択部９２５は、例えば、ＯＣＴＡ画像や輝度のＥｎ−Ｆａｃｅ画像を生成する際の投影方法（最大値投影法又は平均値投映法）や、血管影によって生じるアーチファクトの除去処理の有無に応じて、学習済モデルを選択してもよい。この場合には、投影方法やアーチファクト除去処理の有無に応じた教師データ毎に学習を行った学習済モデルを用意することができる。

（変形例３）
実施例２では、選択部９２５が、撮影条件やＥｎ−Ｆａｃｅ画像の生成範囲等に応じて適切な学習済モデルを自動的に選択した。これに対し、操作者が画像に適用する画質向上処理を手動で選択することを望む場合もある。そのため、選択部９２５は、操作者の指示に応じて、学習済モデルを選択してもよい。

また、操作者が、画像に対して適用された画質向上処理を変更することを望む場合もある。そのため、選択部９２５は、操作者の指示に応じて、学習済モデルを変更し、画像に対して適用される画質向上処理を変更してもよい。

以下、図１１（ａ）及び（ｂ）を参照して、画像に対して適用される画質向上処理を手動で変更する際の操作方法について説明する。図１１（ａ）及び（ｂ）は、画質向上処理前後の画像を切り替えて表示するレポート画面の一例を示す。図１１（ａ）に示すレポート画面１１００には、断層画像１１１１と自動選択された学習済モデルを用いた画質向上処理が適用されたＯＣＴＡ画像１１０１が示されている。図１１（ｂ）に示すレポート画面１１００には、断層画像１１１１と操作者の指示に応じた学習済モデルを用いた画質向上処理が適用されたＯＣＴＡ画像１１０２が示されている。また、図１１（ａ）及び（ｂ）に示すレポート画面１１００には、ＯＣＴＡ画像に適用する画質向上処理を変更するための処理指定部１１２０が示されている。

ここで、図１１（ａ）に示すレポート画面１１００に表示されているＯＣＴＡ画像１１０１は、黄斑部の深層血管（ＤｅｅｐＣａｐｉｌｌａｒｙ）を描出したものである。一方で、選択部９２５によって自動選択された学習済モデルを用いてＯＣＴＡ画像に適用された画質向上処理は、乳頭部の浅層血管（ＲＰＣ）に適したものである。そのため、図１１（ａ）に示すレポート画面１１００に表示されているＯＣＴＡ画像１１０１に関して、ＯＣＴＡ画像に適用されている画質向上処理は、ＯＣＴＡ画像に抽出されている血管に対して最適なものではない。

そこで、操作者は、入力部２６０を介して処理指定部１１２０にて、ＤｅｅｐＣａｐｉｌｌａｒｙを選択する。選択部９２５は、操作者による選択指示に応じて、画質向上部２２４によって用いられる学習済モデルを、黄斑部の深層血管に関するＯＣＴＡ画像を教師データとして学習を行った学習済モデルに変更する。

画質向上部２２４は、選択部９２５によって変更された学習済モデルを用いてＯＣＴＡ画像について画質向上処理を再度行う。表示制御部２５０は、図１１（ｂ）に示すように、画質向上部２２４によって改めて生成された高画質なＯＣＴＡ画像１１０２を表示部２７０に表示させる。

このように、選択部９２５が、操作者の指示に応じて、学習済モデルを変更するように構成することで、操作者は同じＯＣＴＡ画像に対して適切な画質向上処理を指定し直すことができる。また、当該画質向上処理の指定は何度も行われてもよい。

ここでは、ＯＣＴＡ画像に対して適用される画質向上処理を手動で変更することができるように、制御部９００を構成する例を示した。これに対して、制御部９００は、断層画像や輝度のＥｎ−Ｆａｃｅ画像等に対して適用される画質向上処理を手動で変更可能なように構成されてもよい。

また、図１１（ａ）及び（ｂ）に示すレポート画面は、画質向上処理前後の画像を切り替えて表示する態様を有するが、画質向上処理前後の画像を並べて表示したり、重ねて表示したりする態様のレポート画面としてもよい。さらに、処理指定部１１２０の態様は、図１１（ａ）及び（ｂ）に示す態様に限られず、画質向上処理又は学習済モデルを指示できる任意の態様であってよい。また、図１１（ａ）及び（ｂ）に示す画質向上処理の種類は一例であり、学習済モデルについての教師データに応じた他の画質向上処理の種類を含んでよい。

また、変形例２と同様に、画質向上処理が適用された複数の画像を同時に表示させてもよい。また、この際に、どの画質向上処理を適用するかの指定を行うことができるように構成することもできる。この場合の、レポート画面の一例を図１２（ａ）及び（ｂ）に示す。

図１２（ａ）及び（ｂ）は、画質向上処理前後の複数の画像を切り替えて表示するレポート画面の一例を示す。図１２（ａ）に示すレポート画面１２００には、画質向上処理前のＯＣＴＡ画像１２０１が示されている。図１２（ｂ）に示すレポート画面１２００には、操作者の指示に応じた画質向上処理が適用されたＯＣＴＡ画像１２０２が示されている。また、図１２（ａ）及び（ｂ）に示すレポート画面１２００には、ＯＣＴＡ画像に適用する画質向上処理を変更するための処理指定部１２２０が示されている。

この場合には、選択部９２５は、処理指定部１２２０を用いて指示された画質向上処理に応じた学習済モデルを、画質向上部２２４が用いる学習済モデルとして選択する。画質向上部２２４は、選択部９２５により選択された学習済モデルを用いて、複数のＯＣＴＡ画像１２０１に対して画質向上処理を行う。表示制御部２５０は、生成された高画質な複数のＯＣＴＡ画像１２０２を、図１２（ｂ）に示すようにレポート画面１２００に一度に表示させる。

なお、ＯＣＴＡ画像についての画質向上処理について説明したが、断層画像や輝度のＥｎ−Ｆａｃｅ画像等についての画質向上処理に関して、操作者の指示に応じて、学習済モデルを選択・変更してもよい。なお、レポート画面に画質向上処理前後の複数の画像を並べて表示したり、重ねて表示したりしてもよい。この場合にも、操作者からの指示に応じた画質向上処理が適用された複数の画像を一度に表示することができる。

（実施例３）
実施例１及び２では、画質向上部２２４は、断層画像やＯＣＴＡ画像を撮影した後、自動的に画質向上処理を実行した。しかしながら、画質向上部２２４が実行する学習済モデルを用いた画質向上処理は、処理に長時間を要する場合がある。また、モーションコントラスト生成部２２２によるモーションコントラストデータの生成及びＥｎ−Ｆａｃｅ画像生成部２２３によるＯＣＴＡ画像の生成にも時間を要する。そのため、撮影後に画質向上処理が完了するのを待ってから画像を表示する場合には、撮影から表示までに長時間を要する場合がある。

これに対し、ＯＣＴ装置を用いた被検眼の撮影では、まばたきや被検眼の意図しない移動等により、撮影が失敗することがある。そのため、撮影の成否を早い段階で確認することで、ＯＣＴ装置の利便性を高めることができる。そこで、実施例３では、高画質なＯＣＴＡ画像の生成や表示に先立って、被検眼を撮影して得た断層情報に基づく輝度のＥｎ−Ｆａｃｅ画像やＯＣＴＡ画像を表示することにより、早い段階で撮影画像の確認が行えるようにＯＣＴ装置を構成する。

以下、図１３を参照して本実施例に係るＯＣＴ装置について説明する。なお、本実施例に係るＯＣＴ装置の構成は、実施例１に係るＯＣＴ装置１と同様であるため、同一の参照符号を用いて示し、説明を省略する。以下、実施例１に係るＯＣＴ装置１との違いを中心に、本実施例に係るＯＣＴ装置について説明する。

図１３は、本実施例に係る一連の画像処理のフローチャートである。まず、ステップＳ１３０１では、取得部２１０は、ＯＣＴ撮影部１００により、被検眼Ｅを撮影して複数の三次元の断層情報を取得する。

ステップＳ１３０２は、実施例１に係るステップＳ５０２と同様であるため説明を省略する。ステップＳ１３０２において三次元断層画像が生成されると、処理はステップＳ１３０３に移行する。

ステップＳ１３０３では、Ｅｎ−Ｆａｃｅ画像生成部２２３が、ステップＳ１３０２において生成された三次元断層画像を二次元平面上に投影することで、眼底の正面画像（輝度のＥｎ−Ｆａｃｅ画像）を生成する。その後、ステップＳ１３０４において、表示制御部２５０が、生成された輝度のＥｎ−Ｆａｃｅ画像を表示部２７０に表示させる。

ステップＳ１３０５及びステップＳ１３０６は、実施例１に係るステップＳ５０３及びＳ５０４と同様であるため説明を省略する。ステップＳ１３０６においてＯＣＴＡ画像が生成されると処理はステップＳ１３０７に移行する。ステップＳ１３０７では、表示制御部２５０が、ステップＳ１３０６で生成された画質向上処理前のＯＣＴＡ画像を輝度のＥｎ−Ｆａｃｅ画像と切り替えて表示部２７０に表示させる。

ステップＳ１３０８では、実施例１に係るステップＳ５０５と同様に、画質向上部２２４が、ステップＳ１３０６で生成されたＯＣＴＡ画像に対して、学習済モデルを用いて画質向上処理を行い、高画質なＯＣＴＡ画像を生成する。ステップＳ１３０９では、表示制御部２５０が、生成された高画質なＯＣＴＡ画像を画質向上処理前のＯＣＴＡ画像と切り替えて表示部２７０に表示させる。

上記のように、本実施例に係る表示制御部２５０は、取得部２１０によるＯＣＴＡ画像の取得前に、被検眼の深さ方向における断層データに基づいて生成された正面画像である輝度のＥｎ−Ｆａｃｅ画像（第３の画像）を表示部２７０に表示させる。また、表示制御部２５０は、ＯＣＴＡ画像の取得直後に、表示されている輝度のＥｎ−Ｆａｃｅ画像をＯＣＴＡ画像に切り替えて表示部２７０に表示させる。さらに、表示制御部２５０は、画質向上部２２４によって高画質なＯＣＴＡ画像が生成された後に、表示されているＯＣＴＡ画像を高画質なＯＣＴＡ画像に切り替えて表示部２７０に表示させる。

これにより、操作者は撮影後ただちに被検眼の正面画像を確認することができ、撮影の成否をすぐに判断することができる。また、ＯＣＴＡ画像が生成された直後にＯＣＴＡ画像が表示されるため、操作者は、モーションコントラストデータを生成するための複数の三次元の断層情報が適切に取得されているか否かを早い段階で判断することができる。

なお、断層画像や輝度のＥｎ−Ｆａｃｅ画像等についても、画質向上処理を行う前の断層画像や輝度のＥｎ−Ｆａｃｅ画像等を表示することで、操作者は早い段階で撮影の成否を判断することができる。

本実施例では、輝度のＥｎ−Ｆａｃｅ画像の表示処理（ステップＳ１３０４）後にモーションコントラストデータの生成処理（ステップＳ１３０５）が開始されているが、モーションコントラストデータの生成処理のタイミングはこれに限られない。モーションコントラスト生成部２２２は、例えば、輝度のＥｎ−Ｆａｃｅ画像の生成処理（ステップＳ１３０３）や表示処理（ステップＳ１３０４）と並行して、モーションコントラストデータの生成処理を開始してもよい。同様に、画質向上部２２４は、ＯＣＴＡ画像の表示処理（ステップＳ１３０７）と並行して、画質向上処理（ステップＳ１３０８）を開始してもよい。

（実施例４）
実施例１では、画質向上処理前後のＯＣＴＡ画像を切り替えて表示する例について述べた。これに対し、実施例４では、画質向上処理前後の画像の比較を行う。

以下、図１４及び１５を参照して本実施例に係るＯＣＴ装置について説明する。なお、本実施例に係るＯＣＴ装置の構成は、制御部を除いて実施例１に係るＯＣＴ装置１と同様であるため、図１に示す構成と同様の構成については、同一の参照符号を用いて示し、説明を省略する。以下、実施例１に係るＯＣＴ装置１との違いを中心に、本実施例に係るＯＣＴ装置について説明する。

図１４は、本実施例に係る制御部１４００の概略構成を示す。なお、本実施例に係る制御部１４００における画像処理部１４２０及び比較部１４２６以外の構成は実施例１に係る制御部２００の各構成と同様である。そのため、図２に示す構成と同様の構成については、同一の参照符号を用いて示し説明を省略する。

制御部１４００の画像処理部１４２０には、断層画像生成部２２１、モーションコントラスト生成部２２２、Ｅｎ−Ｆａｃｅ画像生成部２２３、及び画質向上部２２４に加えて、比較部１４２６が設けられている。

比較部１４２６は、画質向上部２２４によって画質向上処理が行われる前の画像（元の画像）と画質向上処理が行われた後の画像の比較を行う。より具体的には、比較部１４２６は、画質向上処理前後の画像を比較し、画質向上処理前後の画像の対応する画素位置における画素値の差分を算出する。

そして、比較部１４２６は、差分値の大小に応じて色付けされたカラーマップ画像を生成する。例えば、画質向上処理前の画像に対して、画質向上処理後の画像の画素値が大きくなっている場合には暖色（黄〜橙〜赤）系の色調を、画質向上処理後の画像の画素値が小さくなっている場合には寒色（黄緑〜緑〜青）系の色調を用いる。このような配色を用いることで、カラーマップ画像上において暖色系で示された箇所は、画質向上処理によって復元された（又は新たに生み出された）組織であることが容易に識別できる。同様に、カラーマップ画像上において寒色系で示された箇所は、画質向上処理で除去されたノイズ（又は消されてしまった組織）であることも容易に識別できる。

なお、当該カラーマップ画像の配色は一例である。例えば、画質向上処理前の画像における画素値に対する画質向上処理後の画像における画素値の大小に応じて異なる色調の配色を行う等、カラーマップ画像の配色は所望の構成に応じて任意に設定されてよい。

表示制御部２５０は、比較部１４２６によって生成されたカラーマップ画像を画質向上処理前の画像又は画質向上処理後の画像に重畳して、表示部２７０に表示させることができる。

次に、図１５を参照して本実施例に係る一連の画像処理について説明する。なお、ステップＳ１５０１乃至ステップＳ１５０５は、実施例１に係るステップＳ５０１乃至Ｓ５０５と同様であるため説明を省略する。ステップＳ１５０５において、画質向上部２２４により高画質なＯＣＴＡ画像が生成されたら、処理はステップＳ１５０６に移行する。

ステップＳ１５０６では、比較部１４２６が、ステップＳ１５０４で生成されたＯＣＴＡ画像とステップＳ１５０５で生成された高画質なＯＣＴＡ画像を比較して各画素値の差分を算出し、各画素値の差分に基づいてカラーマップ画像を生成する。なお、比較部１４２６は、高画質処理前後の画像における画素値の差分に代えて、高画質処理前後の画像における画素値の比や相関値など別の手法を用いて画像の比較を行い、比較結果に基づいてカラーマップ画像を生成してもよい。

ステップＳ１５０７では、表示制御部２５０が、カラーマップ画像を画質向上処理前の画像又は画質向上処理後の画像に重畳して、表示部２７０に表示させる。このとき、表示制御部２５０は、カラーマップ画像が重畳される画像を隠さないように、カラーマップについて透過度を設定して対象となる画像に重畳表示させることができる。

また、表示制御部２５０は、カラーマップ画像において、画質向上処理前後の画像の差が少ない（カラーマップ画像の画素値が低い）箇所の透過度を高く設定したり、差が所定値以下の箇所が完全に透明になるように透明度を設定したりしてもよい。このようにすることで、カラーマップ画像の下に表示された画像とカラーマップ画像の両方を良好に視認することができる。なお、カラーマップ画像の透明度については、比較部１４２６が透明度の設定を含んだカラーマップ画像を生成してもよい。

上記のように、本実施例に係る制御部１４００は、第１の医用画像と画質向上処理が行われた第２の医用画像を比較する比較部１４２６を備える。比較部１４２６は、第１の医用画像と第２の医用画像の差分を算出し、該差分に基づいて色分けされたカラーマップ画像を生成する。表示制御部２５０は、比較部１４２６による比較結果に基づいて表示部２７０の表示を制御する。より具体的には、表示制御部２５０は、第１の医用画像又は第２の医用画像にカラーマップ画像を重畳して表示部２７０に表示させる。

これにより、画質向上処理前後の画像に重畳されたカラーマップ画像を観察することで、画質向上処理による画像の変化をより容易に確認することができる。そのため操作者は、画質向上処理によって画像に現実には存在しない組織が描出されてしまったり、本来存在している組織が消えてしまったりしても、そのような組織をより容易に識別することができ、組織の真偽をより容易に判断することができる。また、操作者は、カラーマップ画像の配色に応じて、画質向上処理により新たに描出された箇所であるか、消された箇所であるかを容易に識別することができる。

なお、表示制御部２５０は、操作者の指示に応じてカラーマップ画像の重畳表示を有効にしたり、無効にしたりすることができる。このカラーマップ画像の重畳表示のオン／オフ操作は、表示部２７０に表示されている複数の画像に対して同時に適用するようにしてもよい。この場合、比較部１４２６は、対応する画質向上処理前後の画像毎にカラーマップ画像を生成し、表示制御部２５０は、カラーマップ画像を対応する画質向上処理前の画像又は画質向上処理後の画像に重畳表示させることができる。また、表示制御部２５０は、カラーマップ画像の表示の前に、画質向上処理前の画像や画質向上処理後の画像を表示部２７０に表示させてもよい。

なお、本実施例ではＯＣＴＡ画像を例に説明したが、断層画像や輝度のＥｎ−Ｆａｃｅ画像等について画質向上処理を行う場合についても同様の処理を行うことができる。また、本実施例に係る比較処理及びカラーマップの表示処理は、実施例２及び実施例３に係るＯＣＴ装置にも適用することができる。

（変形例４）
また、比較部１４２６が画質向上処理前後の画像の比較を行い、表示制御部２５０が比較部１４２６による比較結果に応じて、表示部２７０に警告を表示させてもよい。より具体的には、比較部１４２６が算出した、画質向上処理前後の画像における画素値の差分が所定値よりも大きい場合に、表示制御部２５０が表示部２７０に警告を表示させる。このような構成によれば、生成された高画質画像において、学習済モデルによって、現実には存在しない組織が生成されてしまったり、本来存在している組織が消されてしまったりした場合に、操作者に注意を促すことができる。なお、差分と所定値の比較は、比較部１４２６によって行われてもよいし、表示制御部２５０によって行われてもよい。また、差分に代えて差分の平均値等の統計的な値が所定値と比較されてもよい。

さらに、表示制御部２５０は、画質向上処理前後の画像の差分が所定値よりも大きい場合に、画質向上処理を行った後の画像の表示を表示部２７０に表示させないようにしてもよい。この場合には、生成された高画質画像において、学習済モデルによって、現実には存在しない組織が生成されてしまったり、本来存在している組織が消されてしまったりした場合に、当該高画質画像に基づく誤診断を抑制することができる。なお、差分と所定値の比較は、比較部１４２６によって行われてもよいし、表示制御部２５０によって行われてもよい。また、差分に代えて差分の平均値等の統計的な値が所定値と比較されてもよい。

（変形例５）
また、比較部１４２６は、画質向上処理前後の画像をそれぞれ解析して得た解析結果の比較を行ってもよい。より具体的には、比較部１４２６は、画質向上処理前後の画像をそれぞれ解析して得た解析結果の差分（増減又は減衰の度合）を画素位置毎に算出する。例えば、図１６（ａ）のように、画質向上処理前後の画像（取得画像１６０１、取得画像１６０２）から、差分画像１６０３を取得し、差分画像において差分が増加している個所及び減少している個所を色分けする等し、ユーザに分かり易く、画像改善した個所などの情報を表示部２７０に表示させる。なお、差分画像１６０３を画質向上処理前後の画像（取得画像１６０１、高画質画像１６０２）の少なくとも１つに重畳してもよい。また、ピクセル単位ではなく、変化の大きい領域を、評価マップ１６０４の様なマップ表示を実施してもよい。具体的には、複数の象限に分割された各領域に評価結果を示す評価マップとして表示部２７０に表示させてもよい。このとき、象限の数は、例えば、表示エリア１６０７に示すように、２つ、４つ、８つ等が考えられるが、これに限らない。また、象限の数が２つである場合、例えば、上下に領域分割してもよいし、左右に領域分割してもよい。また、象限の中心は、例えば、黄斑部や視神経乳頭部等の注目部位が考えられるが、これに限らない。また、操作者が象限の中心として、画質向上処理後の画像や差分画像上で任意の位置を指定できるようにしてもよい。また、また、画質向上処理前後の画像をそれぞれ解析して得た解析結果の差分として算出した結果の一致率を数値化し、例えば、画質向上処理の評価結果１６０５、図１６（ｂ）の画質向上処理の評価値１６１５のように表示することもできる。このとき、評価マップ１６０４は各象限において、例えば、評価値が高い程、濃く表示させ、逆に、評価値が低い程、薄く表示させる等、濃淡で各象限の評価を示してもよいし、象限毎に評価値を表示させてもよい。ここで、眼の動きや瞬き等によるアーチファクトを、主走査方向に沿った血管であると誤って認識して画質向上処理を行ってしまう可能性がある。このような場合、例えば、視神経乳頭部を象限の中心とした場合には、黄斑部側に主走査方向に沿った血管が多いため、黄斑部とは逆側よりも一致率が低くなる可能性がある。そこで、象限毎に評価値を示すことにより、操作者は画質向上処理結果を効率的に評価することができる。

ここで、解析結果は、図１６（ｂ）の表示エリア１６１２に示す解析パラメータの少なくとも１つに関する値であって、例えば、血管に関する値（例えば、血管面積密度、血管長さ密度、血管長）、無血管領域に関する値（例えば、円周長、体積、面積、円形度）、浮腫領域（脈絡膜新生血管等の疾病領域）に関する値（例えば、体積、面積）の少なくとも１つである。また、解析結果は、例えば、解析パラメータの少なくとも１つに関する値の２次元マップ（解析マップ）であってもよい。このとき、表示制御部２５０は、比較部１４２６による比較結果（解析結果を比較した結果）を表示部２７０に表示させてもよい。より具体的には、図１６（ａ）の評価マップ１６０４として示すように、表示制御部２５０は、比較結果として、差分値の大小に応じて色付けされたカラーマップ画像を表示部２７０に表示させてもよい。また、図１６（ａ）の評価結果１６０５に示すように、解析結果の差分が所定値よりも大きい場合に、表示制御部２５０が表示部２７０に、警告を表示させてもよい。また、表示制御部２５０は、解析結果の差分が所定値よりも大きい領域に対して、解析結果の差分が所定値以下である他の領域とは識別可能に、表示部２７０に表示させてもよい。また、表示制御部２５０は、差分が所定値よりも大きい画素の数が別の所定値よりも多い場合に、表示制御部２５０が表示部２７０に警告を表示させてもよい。また、これらの表示のいくつかを同時に行ってもよい。

このような構成によれば、学習済モデルによって生成された高画質画像において、例えば、現実には存在しない組織が生成された場合や、本来存在している組織が消された場合に、操作者に注意を促すことが容易にできる。なお、画素位置毎の差分に代えて、差分の平均値等の統計的な値が所定値と比較されてもよい。ここで、画質向上処理前後の画像同士を直接比較して評価するだけだと、注目していない箇所についても評価されてしまう可能性がある。一方、解析の種類（例えば、血管密度、特定の層厚）によって、種々の注目部位（例えば、血管、特定の層）が存在する。このため、画質向上処理前後の画像の解析結果を比較して評価すると、画像同士で直接比較して評価するよりも、注目部位の評価結果を効果的に得ることができると考えられる。なお、画像の種類に応じて、上述した画像の直接比較と解析結果の比較とを選択的に実行させてもよいし、いずれも実行させた後にいずれかの評価結果を選択的に表示部２０７に表示させるようにしてもよい。例えば、ＯＣＴＡ画像の場合には、上述したようなアーチファクトを血管と誤認識してしまう問題が生じる可能性があるため、解析結果を比較した評価値を選択的に表示部２０７に表示させてもよい。

（変形例６）
また、比較部１４２６は、被検眼の略同一箇所を異なる時間に撮影して得た複数の画像と、該複数の画像を用いて画質向上処理して得た複数の画像とを、画質向上処理前後において比較してもよい。より具体的には、比較部１４２６は、複数の画像において、画質向上処理前後の画像における互いに対応する画素位置の画素値の差分を算出する。このとき、表示制御部２５０は、複数の画像において、比較部１４２６による比較結果（差分）を表示部２７０に表示させてもよい。これにより、操作者は、それぞれの比較結果（差分）を考慮して、複数の画像のいずれかを選択してもよい。また、表示制御部２５０は、複数の画像に対応する複数の比較結果（差分）の平均値等の統計的な値を表示部２７０に表示させてもよい。また、比較部１４２６は、複数の画像を重ね合わせ（加算平均）して得た１つの画像と、該１つの画像を用いて画質向上処理して得た画像とを比較してもよい。なお、複数の画像が、被検眼の深さ方向の範囲における情報に基づいて生成された正面画像である場合には、深さ方向の範囲が互いに共通する方がよい。このとき、例えば、操作者からの指示に応じて一方の画像の深さ方向の範囲が設定されたら、他方の画像の深さ方向の範囲が設定されてもよい。

ここで、本変形例では、簡単のために、二枚のＯＣＴＡ画像を取得した場合について、記述する。図１７の第１の取得画像１７０１と第２の取得画像１７０３のように、二枚のＯＣＴＡ画像を取得する。各々を画質向上処理して得た画像（図１７では、第１の高画質画像、第２の高画質画像と表記）を取得する。まず、第１の取得画像１７０１のように、ＯＣＴＡ画像取得中に、硝子体などの混濁物が撮影範囲に入ると、影１７０８が存在するＯＣＴＡ画像が出力される。このため、第１の取得画像１７０１に対して画質向上処理を実施すると、影１７０９を有する第１の高画質画像１７０２が出力される。また、第２の取得画像１７０３のような影のない画像を画質向上させた際は、画質向上が適正に実施され、第２の高画質画像１７０４を得ることができる。これにより、第１の取得画像１７０１と第２の取得画像１７０３それぞれに対する画質向上処理の評価を数値で提供する事で、医師の判断を適正に実施する事をサポートすることができる。更に、混濁などの影響が生じている画像の方が低い評価値となるため、評価値の高い画像を優先的に表示させてもよい。例えば、評価値の低い画像は表示させずに、評価値の高い画像を選択的に表示させてもよい。なお、第１の取得画像１７０１と第２の取得画像１７０３それぞれを平均化処理した後、画質向上処理を実施してもよい。

（変形例７）
また、上述した様々な実施例及び変形例においては、複数の画質向上部（異なる学習データにより学習して得た複数の学習済モデル）を有する装置を用いて同様の評価を実施する事で、医師に多様な診断情報を提供する事ができる。ここで、複数の画質向上部は、図１６（ｂ）の第２の画質向上処理１６１３のように、主要なリーディングセンターが選定した教師画像でそれぞれ学習して得た学習済モデルを用いた画質向上処理を選択的に実行することができるものである。例えば、ユーザは、予め用意されていた第１の画質向上処理とは異なる第２の画質向上処理１６１３として複数の施設（病院や研究所等）のいずれかを選択することにより、第１の画質向上処理を実施して得た画像（第１の高画質画像１６０９）だけでなく、第２の画質向上処理を実施して得た画像（第２の高画質画像１６１４）も表示させる事ができる。また、第２の画質向上処理１６１３には、施設名と共に、国名（人種）を記述する事で、遺伝子に依存する疾患や、特異な眼底画像（近視、正常眼圧緑内障、血管走行）を適正に画質向上させる事ができる。このとき、取得画像１６０８と第１の高画質画像１６１０（１６０９）とを比較することにより、評価値１６１５のような評価結果を得た後、取得画像１６０８と第２の高画質画像１６１１とを比較することにより、評価値１６１４のような評価結果を得ることができる。これにより、例えば、各々の評価結果から、適切な画質向上処理を選択し、次回以降の診断に反映させる事ができる。また、変形例４乃至変形例７に記述した画質向上処理の評価について、適正な処理であると評価した際（複数画像取得した際の選択画像、複数の画質向上処理の選択処理）は、表示エリア１６０６や表示エリア１７０６に示すように、施設名と処理内容をデータ送信する事で、追加学習を実施し、よりフレキシブルな画質向上処理が可能となる。追加学習は、サーバで実施しても良く、クラウドや、機器の製造メーカにて、実施されてもよい。また、追加学習を行う事で、変形例６の様な、影がある画像１７０１から、画質向上処理を実施する事で陰の存在しない画像１７０４を得る事ができるようになる。

ここで、画質向上処理の学習の精度を上げるためには、上述した一致率を数値化した評価値がある程度高い画像のペアを学習データとする追加学習を行ってもよい。そこで、図１７の表示エリア１７０７に示すように、追加学習の学習データとして利用するか否かの基準となる評価値を選択できるようにしてもよい。例えば、上記基準として７５％と８５％のいずれかが選択できるようにした場合、８５％の方が学習データの質は高いが、学習データの数が多く得られない可能性があり、一方、７５％の方だと質が比較的低い学習データが含まれるが、学習データの数を多く得られる可能性がある。なお、選択可能な評価値はこれらに限らないし、また、３つ以上から選択できるようにしてもよい。また、複数の画像を画質向上処理する場合には、それぞれについて上記基準を選択できるようにしてもよい。また、予め用意しておいた評価値を基準としてもよいし、また、基準として設定した評価値と比較して差分が大きい場合には追加しないようにしてもよい。

以上の変形例４乃至変形例７に示したように、画質向上処理を実施した画像と元画像を用い、評価する事で、医師に画質向上処理を実施した画像を用いて診断してよいのかという事の判断をサポートする事ができる。数値如何によっては、再検査（ＯＣＴＡ画像再取得）を判断する事ができる。また、閾値を装置に記憶させ、自動で再検査を実施してもよい。評価機能を有する装置において、追加学習機能を付加させる事で、より適正な画質向上処理プログラムを提供する事ができる。

（実施例５）
次に、図２０（ａ）及び（ｂ）を参照して、実施例５に係る画像処理装置（制御部２００）について説明する。本実施例では、画質向上部２２４での処理結果を表示制御部２５０が表示部２７０に表示を行う例について説明を行う。なお、本実施例では、図２０（ａ）及び（ｂ）を用いて説明を行うが表示画面はこれに限らない。経過観察のように、異なる日時で得た複数の画像を並べて表示する表示画面においても同様に高画質化処理（画質向上処理）は適用可能である。また、撮影確認画面のように、検者が撮影直後に撮影成否を確認する表示画面においても同様に高画質化処理は適用可能である。表示制御部２５０は、画質向上部２２４が生成した複数の高画質画像や高画質化を行っていない低画質画像を表示部２７０に表示させることができる。これにより、検者の指示に応じて低画質画像、高画質画像をそれぞれ出力することができる。

以下、図２０（ａ）及び（ｂ）を参照して、当該インターフェース３４００の一例を示す。３４００は画面全体、３４０１は患者タブ、３４０２は撮影タブ、３４０３はレポートタブ、３４０４は設定タブを表している。また、３４０３のレポートタブにおける斜線は、レポート画面のアクティブ状態を表している。本実施例においては、レポート画面を表示する例について説明をする。Ｉｍ３４０５はＳＬＯ画像、Ｉｍ３４０６は、Ｉｍ３４０７に示すＯＣＴＡのＥｎ−Ｆａｃｅ画像をＳＬＯ画像Ｉｍ３４０５に重畳表示している。ここでＳＬＯ画像とは、不図示のＳＬＯ（ＳｃａｎｎｉｎｇＬａｓｅｒＯｐｈｔｈａｌｍｏｓｃｏｐｅ：走査型検眼鏡）光学系によって取得した眼底の正面画像である。Ｉｍ３４０７とＩｍ３４０８はＯＣＴＡのＥｎ−Ｆａｃｅ画像、Ｉｍ３４０９は輝度のＥｎ−Ｆａｃｅ画像、Ｉｍ３４１１とＩｍ３４１２は断層画像を示している。３４１３と３４１４は、それぞれＩｍ３４０７とＩｍ３４０８に示したＯＣＴＡのＥｎ−Ｆａｃｅ画像の上下範囲の境界線を断層画像に重畳表示している。高画質化ボタン３４２０は、高画質化処理の実行を指定するためのボタンである。もちろん、後述するように、高画質化ボタン３４２０は、高画質画像の表示を指示するためのボタンであってもよい。

本実施例において、高画質化処理の実行は高画質化ボタン３４２０を指定して行うか、データベースに保存（記憶）されている情報に基づいて実行の有無を判断する。初めに、検者からの指示に応じて高画質化ボタン３４２０を指定することで高画質画像の表示と低画質画像の表示を切り替える例について説明をする。なお、高画質化処理の対象画像はＯＣＴＡのＥｎ−Ｆａｃｅ画像として説明する。

検者がレポートタブ３４０３を指定してレポート画面に遷移した際には、低画質なＯＣＴＡのＥｎ−Ｆａｃｅ画像Ｉｍ３４０７とＩｍ３４０８を表示する。その後、検者が高画質化ボタン３４２０を指定することで、画質向上部２２４は画面に表示している画像Ｉｍ３４０７とＩｍ３４０８に対して高画質化処理を実行する。高画質化処理が完了後、表示制御部２５０は画質向上部２２４が生成した高画質画像をレポート画面に表示する。なお、Ｉｍ３４０６は、Ｉｍ３４０７をＳＬＯ画像Ｉｍ３４０５に重畳表示しているものであるため、Ｉｍ３４０６も高画質化処理した画像を表示する。そして、高画質化ボタン３４２０の表示をアクティブ状態に変更し、高画質化処理を実行したことが分かるような表示をする。

ここで、画質向上部２２４における処理の実行は、検者が高画質化ボタン３４２０を指定したタイミングに限る必要はない。レポート画面を開く際に表示するＯＣＴＡのＥｎ−Ｆａｃｅ画像Ｉｍ３４０７とＩｍ３４０８の種類は事前に分かっているため、レポート画面に遷移する際に高画質化処理の実行をしてもよい。そして、高画質化ボタン３４２０が押下されたタイミングで、表示制御部２５０が高画質画像をレポート画面に表示するようにしてもよい。さらに、検者からの指示に応じて、又はレポート画面に遷移する際に高画質化処理を行う画像の種類は２種類である必要はない。表示する可能性の高い画像、例えば、図２１で示すような表層（Ｉｍ２９１０）、深層（Ｉｍ２９２０）、外層（Ｉｍ２９３０）、及び脈絡膜血管網（Ｉｍ２９４０）などの複数のＯＣＴＡのＥｎ−Ｆａｃｅ画像に対して処理を行うようにしてもよい。この場合、高画質化処理を行った画像を一時的にメモリに記憶、あるいはデータベースに記憶しておくようにしてもよい。

次に、データベースに保存（記録）されている情報に基づいて高画質化処理を実行する場合について説明をする。データベースに高画質化処理の実行を行う状態が保存されている場合、レポート画面に遷移した際に、高画質化処理を実行して得た高画質画像をデフォルトで表示する。そして、高画質化ボタン３４２０がアクティブ状態としてデフォルトで表示されることで、検者に対しては高画質化処理を実行して得た高画質画像が表示されていることが分かるように構成することができる。検者は、高画質化処理前の低画質画像を表示したい場合には、高画質化ボタン３４２０を指定してアクティブ状態を解除することで、低画質画像を表示することができる。高画質画像に戻したい場合、検者は高画質化ボタン３４２０を指定する。

データベースへの高画質化処理の実行有無は、データベースに保存されているデータ全体に対して共通、及び撮影データ毎（検査毎）など、階層別に指定するものとする。例えば、データベース全体に対して高画質化処理を実行する状態を保存してある場合において、個別の撮影データ（個別の検査）に対して、検者が高画質化処理を実行しない状態を保存した場合、その撮影データを次回表示する際には高画質化処理を実行しない状態で表示を行う。撮影データ毎（検査毎）に高画質化処理の実行状態を保存するために、不図示のユーザーインターフェース（例えば、保存ボタン）を用いてもよい。また、他の撮影データ（他の検査）や他の患者データに遷移（例えば、検者からの指示に応じてレポート画面以外の表示画面に変更）する際に、表示状態（例えば、高画質化ボタン３４２０の状態）に基づいて、高画質化処理の実行を行う状態が保存されるようにしてもよい。これにより、撮影データ単位（検査単位）で高画質化処理実行の有無が指定されていない場合、データベース全体に対して指定されている情報に基づいて処理を行い、撮影データ単位（検査単位）で指定されている場合には、その情報に基づいて個別に処理を実行することができる。

本実施例におけるＯＣＴＡのＥｎ−Ｆａｃｅ画像として、Ｉｍ３４０７とＩｍ３４０８を表示する例を示しているが、表示するＯＣＴＡのＥｎ−Ｆａｃｅ画像は検者の指定により変更することが可能である。そのため、高画質化処理の実行が指定されている時（高画質化ボタン３４２０がアクティブ状態）における画像の変更について説明をする。

画像の変更は、不図示のユーザーインターフェース（例えば、コンボボックス）を用いて変更を行う。例えば、検者が画像の種類を表層から脈絡膜血管網に変更した時に、画質向上部２２４は脈絡膜血管網画像に対して高画質化処理を実行し、表示制御部２５０は画質向上部２２４が生成した高画質な画像をレポート画面に表示する。すなわち、表示制御部２５０は、検者からの指示に応じて、第１の深度範囲の高画質画像の表示を、第１の深度範囲とは少なくとも一部が異なる第２の深度範囲の高画質画像の表示に変更してもよい。このとき、表示制御部２５０は、検者からの指示に応じて第１の深度範囲が第２の深度範囲に変更されることにより、第１の深度範囲の高画質画像の表示を、第２の深度範囲の高画質画像の表示に変更してもよい。なお、上述したようにレポート画面遷移時に表示する可能性の高い画像に対しては、既に高画質画像が生成済みである場合、表示制御部２５０は生成済みの高画質な画像を表示すればよい。

なお、画像の種類の変更方法は上記したものに限らず、基準となる層とオフセットの値を変えて異なる深度範囲を設定したＯＣＴＡのＥｎ−Ｆａｃｅ画像を生成することも可能である。その場合、基準となる層、あるいはオフセット値が変更された時に、画質向上部２２４は任意のＯＣＴＡのＥｎ−Ｆａｃｅ画像に対して高画質化処理を実行し、表示制御部２５０は高画質な画像をレポート画面に表示する。基準となる層やオフセット値の変更は、不図示のユーザーインターフェース（例えば、コンボボックスやテキストボックス）を用いて行われることができる。また、断層画像Ｉｍ３４１１とＩｍ３４１２に重畳表示している境界線３４１３と３４１４のいずれかをドラッグ（層境界を移動）することで、ＯＣＴＡのＥｎ−Ｆａｃｅ画像の生成範囲を変更することができる。

境界線をドラッグによって変更する場合、高画質化処理の実行命令が連続的に実施される。そのため、画質向上部２２４は実行命令に対して常に処理を行ってもよいし、ドラッグによる層境界の変更後に実行するようにしてもよい。あるいは、高画質化処理の実行は連続的に命令されるが、次の命令が来た時点で前回の命令をキャンセルし、最新の命令を実行するようにしてもよい。

なお、高画質化処理には比較的時間がかかる場合がある。このため、上述したどのようなタイミングで命令が実行されたとしても、高画質画像が表示されるまでに比較的時間がかかる場合がある。そこで、検者からの指示に応じてＯＣＴＡのＥｎ−Ｆａｃｅ画像を生成するための深度範囲が設定されてから、高画質画像が表示されるまでの間、該設定された深度範囲に対応するＯＣＴＡのＥｎ−Ｆａｃｅ画像（低画質画像）が表示されてもよい。すなわち、上記深度範囲が設定されると、該設定された深度範囲に対応するＯＣＴＡのＥｎ−Ｆａｃｅ画像（低画質画像）が表示され、高画質化処理が終了すると、該ＯＣＴＡのＥｎ−Ｆａｃｅ画像（該低画質画像）の表示が高画質画像の表示に変更されるように構成されてもよい。また、上記深度範囲が設定されてから、高画質画像が表示されるまでの間、高画質化処理が実行されていることを示す情報が表示されてもよい。なお、これらは、高画質化処理の実行が既に指定されている状態（高画質化ボタン３４２０がアクティブ状態）を前提とする場合だけでなく、例えば、検者からの指示に応じて高画質化処理の実行が指示された際に、高画質画像が表示されるまでの間においても、適用することが可能である。

本実施例では、ＯＣＴＡのＥｎ−Ｆａｃｅ画像として、Ｉｍ３４０７とＩｍ３４０８に異なる層を表示し、低画質と高画質な画像は切り替えて表示する例を示したが、これに限らない。例えば、Ｉｍ３４０７には低画質なＯＣＴＡのＥｎ−Ｆａｃｅ画像、Ｉｍ３４０８には高画質なＯＣＴＡのＥｎ−Ｆａｃｅ画像を並べて表示するようにしてもよい。画像を切り替えて表示する場合には、同じ場所で画像を切り替えるので変化がある部分の比較を行いやすく、並べて表示する場合には、同時に画像を表示することができるので画像全体を比較しやすい。

次に、図２０（ａ）と（ｂ）を用いて、画面遷移における高画質化処理の実行について説明を行う。図２０（ｂ）は、図２０（ａ）におけるＯＣＴＡのＥｎ−Ｆａｃｅ画像Ｉｍ３４０７を拡大表示した画面例である。図２０（ｂ）においても、図２０（ａ）と同様に高画質化ボタン３４２０を表示する。図２０（ａ）から図２０（ｂ）への画面遷移は、例えば、ＯＣＴＡのＥｎ−Ｆａｃｅ画像Ｉｍ３４０７をダブルクリックすることで遷移し、図２０（ｂ）から図２０（ａ）へは閉じるボタン３４３０で遷移する。なお、画面遷移に関しては、ここで示した方法に限らず、不図示のユーザーインターフェースを用いてもよい。

画面遷移の際に高画質化処理の実行が指定されている場合（高画質化ボタン３４２０がアクティブ）、画面遷移時においてもその状態を保つ。すなわち、図２０（ａ）の画面で高画質画像を表示している状態で図２０（ｂ）の画面に遷移する場合、図２０（ｂ）の画面においても高画質画像を表示する。そして、高画質化ボタン３４２０はアクティブ状態にする。図２０（ｂ）から図２０（ａ）へ遷移する場合にも同様である。図２０（ｂ）において、高画質化ボタン３４２０を指定して低画質画像に表示を切り替えることもできる。

画面遷移に関して、ここで示した画面に限らず、経過観察用の表示画面、又はパノラマ用の表示画面など同じ撮影データを表示する画面への遷移であれば、高画質画像の表示状態を保ったまま遷移を行う。すなわち、遷移後の表示画面において、遷移前の表示画面における高画質化ボタン３４２０の状態に対応する画像が表示される。例えば、遷移前の表示画面における高画質化ボタン３４２０がアクティブ状態であれば、遷移後の表示画面において高画質画像が表示される。また、例えば、遷移前の表示画面における高画質化ボタン３４２０のアクティブ状態が解除されていれば、遷移後の表示画面において低画質画像が表示される。なお、経過観察用の表示画面における高画質化ボタン３４２０がアクティブ状態になると、経過観察用の表示画面に並べて表示される異なる日時（異なる検査日）で得た複数の画像が高画質画像に切り換わるようにしてもよい。すなわち、経過観察用の表示画面における高画質化ボタン３４２０がアクティブ状態になると、異なる日時で得た複数の画像に対して一括で反映されるように構成してもよい。

なお、経過観察用の表示画面の例を、図２２に示す。検者からの指示に応じてタブ３８０１が選択されると、図２２のように、経過観察用の表示画面が表示される。このとき、Ｅｎ−Ｆａｃｅ画像の深度範囲を、リストボックスに表示された既定の深度範囲セット（３８０２及び３８０３）から検者が選択することで変更できる。例えば、リストボックス３８０２では網膜表層が選択され、また、リストボックス３８０３では網膜深層が選択されている。上側の表示領域には網膜表層のＥｎ−Ｆａｃｅ画像の解析結果が表示され、また、下側の表示領域には網膜深層のＥｎ−Ｆａｃｅ画像の解析結果が表示されている。すなわち、深度範囲が選択されると、異なる日時の複数の画像について、選択された深度範囲の複数のＥｎ−Ｆａｃｅ画像の解析結果の並列表示に一括して変更される。

このとき、解析結果の表示を非選択状態にすると、異なる日時の複数のＥｎ−Ｆａｃｅ画像の並列表示に一括して変更されてもよい。そして、検者からの指示に応じて高画質化ボタン３４２０が指定されると、複数のＥｎ−Ｆａｃｅ画像の表示が複数の高画質画像の表示に一括して変更される。

また、解析結果の表示が選択状態である場合には、検者からの指示に応じて高画質化ボタン３４２０が指定されると、複数のＥｎ−Ｆａｃｅ画像の解析結果の表示が複数の高画質画像の解析結果の表示に一括して変更される。ここで、解析結果の表示は、解析結果を任意の透明度により画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像（例えば、２次元マップ）の表示への変更であってもよい。

また、深度範囲の指定に用いる層境界の種類とオフセット位置をそれぞれ、３８０５，３８０６のようなユーザーインターフェースから一括して変更することができる。なお、断層画像も一緒に表示させ、断層画像上に重畳された層境界データを検者からの指示に応じて移動させることにより、異なる日時の複数のＥｎ−Ｆａｃｅ画像の深度範囲を一括して変更されてもよい。このとき、異なる日時の複数の断層画像を並べて表示し、１つの断層画像上で上記移動が行われると、他の断層画像上でも同様に層境界データが移動されてもよい。

また、画像投影法やプロジェクションアーチファクト抑制処理の有無を、例えば、コンテキストメニューのようなユーザーインターフェースから選択することにより変更してもよい。

また、選択ボタン３８０７を選択して選択画面を表示させ、該選択画面上に表示された画像リストから選択された画像が表示されてもよい。なお、図２２の上部に表示されている矢印３８０４は現在選択されている検査であることを示す印であり、基準検査（Ｂａｓｅｌｉｎｅ）はＦｏｌｌｏｗ−ｕｐ撮影の際に選択した検査（図２２の一番左側の画像）である。もちろん、基準検査を示すマークを表示部に表示させてもよい。

また、「ＳｈｏｗＤｉｆｆｅｒｅｎｃｅ」チェックボックス３８０８が指定された場合には、基準画像上に基準画像に対する計測値分布（マップもしくはセクタマップ）を表示する。さらに、この場合には、それ以外の検査日に対応する領域に基準画像に対して算出した計測値分布と当該領域に表示される画像に対して算出した計測分布との差分計測値マップを表示する。計測結果としては、レポート画面上にトレンドグラフ（経時変化計測によって得られた各検査日の画像に対する計測値のグラフ）を表示させてもよい。すなわち、異なる日時の複数の画像に対応する複数の解析結果の時系列データ（例えば、時系列グラフ）が表示されてもよい。このとき、表示されている複数の画像に対応する複数の日時以外の日時に関する解析結果についても、表示されている複数の画像に対応する複数の解析結果と判別可能な状態で（例えば、時系列グラフ上の各点の色が画像の表示の有無で異なる）時系列データとして表示させてもよい。また、該トレンドグラフの回帰直線（曲線）や対応する数式をレポート画面に表示させてもよい。

本実施例においては、ＯＣＴＡのＥｎ−Ｆａｃｅ画像に関して説明を行ったが、これに限らない。本実施例に係る表示、高画質化、及び画像解析等の処理に関する画像は、輝度のＥｎ−Ｆａｃｅ画像でもよい。さらには、Ｅｎ−Ｆａｃｅ画像だけではなく、断層画像やＳＬＯ画像、眼底写真、又は蛍光眼底写真など、異なる画像であっても構わない。その場合、高画質化処理を実行するためのユーザーインターフェースは、種類の異なる複数の画像に対して高画質化処理の実行を指示するもの、種類の異なる複数の画像から任意の画像を選択して高画質化処理の実行を指示するものがあってもよい。

このような構成により、本実施例に係る画質向上部２２４が処理した画像を表示制御部２５０が表示部２７０に表示することができる。このとき、上述したように、高画質画像の表示、解析結果の表示、表示される正面画像の深度範囲等に関する複数の条件のうち少なくとも１つが選択された状態である場合には、表示画面が遷移されても、選択された状態が維持されてもよい。

また、上述したように、複数の条件のうち少なくとも１つが選択された状態である場合には、他の条件が選択された状態に変更されても、該少なくとも１つが選択された状態が維持されてもよい。例えば、表示制御部２５０は、解析結果の表示が選択状態である場合に、検者からの指示に応じて（例えば、高画質化ボタン３４２０が指定されると）、低画質画像の解析結果の表示を高画質画像の解析結果の表示に変更してもよい。また、表示制御部２５０は、解析結果の表示が選択状態である場合に、検者からの指示に応じて（例えば、高画質化ボタン３４２０の指定が解除されると）、高画質画像の解析結果の表示を低画質画像の解析結果の表示に変更してもよい。

また、表示制御部２５０は、高画質画像の表示が非選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示の指定が解除されると）、低画質画像の解析結果の表示を低画質画像の表示に変更してもよい。また、表示制御部２５０は、高画質画像の表示が非選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示が指定されると）、低画質画像の表示を低画質画像の解析結果の表示に変更してもよい。また、表示制御部２５０は、高画質画像の表示が選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示の指定が解除されると）、高画質画像の解析結果の表示を高画質画像の表示に変更してもよい。また、表示制御部２５０は、高画質画像の表示が選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示が指定されると）、高画質画像の表示を高画質画像の解析結果の表示に変更してもよい。

また、高画質画像の表示が非選択状態で且つ第１の種類の解析結果の表示が選択状態である場合を考える。この場合には、表示制御部２５０は、検者からの指示に応じて（例えば、第２の種類の解析結果の表示が指定されると）、低画質画像の第１の種類の解析結果の表示を低画質画像の第２の種類の解析結果の表示に変更してもよい。また、高画質画像の表示が選択状態で且つ第１の種類の解析結果の表示が選択状態である場合を考える。この場合には、表示制御部２５０は、検者からの指示に応じて（例えば、第２の種類の解析結果の表示が指定されると）、高画質画像の第１の種類の解析結果の表示を高画質画像の第２の種類の解析結果の表示に変更してもよい。

なお、経過観察用の表示画面においては、上述したように、これらの表示の変更が、異なる日時で得た複数の画像に対して一括で反映されるように構成してもよい。ここで、解析結果の表示は、解析結果を任意の透明度により画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像（例えば、２次元マップ）の表示への変更であってもよい。

（変形例８）
上述した様々な実施例及び変形例において、表示制御部２５０は、画質向上部２２４によって生成された高画質画像と入力画像のうち、検者からの指示に応じて選択された画像を表示部２７０に表示させることができる。また、表示制御部２５０は、検者からの指示に応じて、表示部２７０上の表示を撮影画像（入力画像）から高画質画像に切り替えてもよい。すなわち、表示制御部２５０は、検者からの指示に応じて、低画質画像の表示を高画質画像の表示に変更してもよい。また、表示制御部２５０は、検者からの指示に応じて、高画質画像の表示を低画質画像の表示に変更してもよい。

さらに、画質向上部２２４が、高画質化エンジン（高画質化用の学習済モデル）による高画質化処理の開始（高画質化エンジンへの画像の入力）を検者からの指示に応じて実行し、表示制御部２５０が、画質向上部２２４によって生成された高画質画像を表示部２７０に表示させてもよい。これに対し、撮影装置（ＯＣＴ撮影部１００）によって入力画像が撮影されると、高画質化エンジンが自動的に入力画像に基づいて高画質画像を生成し、表示制御部２５０が、検者からの指示に応じて高画質画像を表示部２７０に表示させてもよい。ここで、高画質化エンジンとは、上述した画質向上処理（高画質化処理）を行う学習済モデルを含む。

なお、これらの処理は解析結果の出力についても同様に行うことができる。すなわち、表示制御部２５０は、検者からの指示に応じて、低画質画像の解析結果の表示を高画質画像の解析結果の表示に変更してもよい。また、表示制御部２５０は、検者からの指示に応じて、高画質画像の解析結果の表示を低画質画像の解析結果の表示に変更してもよい。もちろん、表示制御部２５０は、検者からの指示に応じて、低画質画像の解析結果の表示を低画質画像の表示に変更してもよい。また、表示制御部２５０は、検者からの指示に応じて、低画質画像の表示を低画質画像の解析結果の表示に変更してもよい。また、表示制御部２５０は、検者からの指示に応じて、高画質画像の解析結果の表示を高画質画像の表示に変更してもよい。また、表示制御部２５０は、検者からの指示に応じて、高画質画像の表示を高画質画像の解析結果の表示に変更してもよい。

また、表示制御部２５０は、検者からの指示に応じて、低画質画像の解析結果の表示を低画質画像の他の種類の解析結果の表示に変更してもよい。また、表示制御部２５０は、検者からの指示に応じて、高画質画像の解析結果の表示を高画質画像の他の種類の解析結果の表示に変更してもよい。

ここで、高画質画像の解析結果の表示は、高画質画像の解析結果を任意の透明度により高画質画像に重畳表示させたものであってもよい。また、低画質画像の解析結果の表示は、低画質画像の解析結果を任意の透明度により低画質画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像（例えば、２次元マップ）の表示への変更であってもよい。

なお、本変形例に係る表示、高画質化、及び画像解析等の処理に関する画像は、ＯＣＴＡ画像（モーションコントラスト正面画像）だけでなく、断層画像でもよい。さらには、Ｂ−スキャンによる断層画像だけではなく、ＳＬＯ画像、眼底写真、又は蛍光眼底写真など、異なる画像であっても構わない。その場合、高画質化処理を実行するためのユーザーインターフェースは、種類の異なる複数の画像に対して高画質化処理の実行を指示するもの、種類の異なる複数の画像から任意の画像を選択して高画質化処理の実行を指示するものがあってもよい。

例えば、Ｂ−スキャンによる断層画像Ｉｍ３４１１、Ｉｍ３４１２を高画質化して表示する場合には、表示される少なくとも１つの断層画像を高画質化して表示してもよい。また、ＯＣＴＡ正面画像が表示されている領域に高画質化された断層画像が表示されてもよい。また、Ｂ−スキャンによる断層画像Ｉｍ３４１１、Ｉｍ３４１２は、輝度の断層画像だけでなく、モーションコントラストデータを用いて得たＢ−スキャンによる断層画像であってもよい。

また、高画質化モデルは、入力データである各種画像の種類毎に用意されてもよい。例えば、前眼画像用の高画質化モデルや、眼底正面画像用の高画質化モデル、断層画像用の高画質化モデル、ＯＣＴＡ正面画像用の高画質化モデル等が用意されてよい。また、ＯＣＴＡ正面画像やＥｎ−Ｆａｃｅ画像については、画像を生成するための深度範囲毎に高画質化モデルが用意されてもよい。例えば、表層用の高画質化モデルや深層用の高画質化モデル等が用意されてよい。さらに、高画質化モデルは、撮影部位（例えば、黄斑部中心、視神経乳頭部中心）毎の画像について学習を行ったものでもよいし、撮影部位を関わらず学習を行ったものであってもよい。

このとき、例えば、眼底ＯＣＴＡ正面画像を学習データとして学習して得た高画質化モデルを用いて、眼底ＯＣＴＡ正面画像を高画質化し、さらに、前眼ＯＣＴＡ正面画像を学習データとして学習して得た高画質化モデルを用いて、前眼ＯＣＴＡ正面画像を高画質化してもよい。また、高画質化モデルは、撮影部位を関わらず学習を行ったものであってもよい。ここで、例えば、眼底ＯＣＴＡ正面画像及び前眼ＯＣＴＡ正面画像は、撮影対象である血管の分布の様子が互いに比較的類似していることがある。このように、撮影対象の様子が互いに比較的類似しているような複数の種類の医用画像では、互いの特徴量が比較的類似していることがある。そこで、例えば、眼底ＯＣＴＡ正面画像を学習データとして学習して得た高画質化モデルを用いて、眼底ＯＣＴＡ正面画像を高画質化するだけでなく、前眼ＯＣＴＡ正面画像も高画質化可能に構成されてもよい。また、例えば、前眼ＯＣＴＡ正面画像を学習データとして学習して得た高画質化モデルを用いて、前眼ＯＣＴＡ正面画像を高画質化するだけでなく、眼底ＯＣＴＡ正面画像も高画質化可能に構成されてもよい。すなわち、眼底ＯＣＴＡ正面画像と前眼ＯＣＴＡ正面画像との少なくとも一つの種類の正面画像を学習データとして学習して得た高画質化モデルを用いて、眼底ＯＣＴＡ正面画像と前眼ＯＣＴＡ正面画像との少なくとも一つの種類の正面画像を高画質化可能に構成されてもよい。

ここで、眼底撮影可能なＯＣＴ装置において、前眼も撮影可能である場合を考える。このとき、Ｉｍ３４０７とＩｍ３４０８に示したＯＣＴＡのＥｎ−Ｆａｃｅ画像には、例えば、眼底撮影モードにおいては眼底ＯＣＴＡ正面画像が適用され、また、前眼撮影モードにおいては前眼ＯＣＴＡ正面画像が適用されてもよい。このとき、高画質化ボタン３４２０が押下されると、例えば、眼底撮影モードにおいては、Ｉｍ３４０７とＩｍ３４０８に示したＯＣＴＡのＥｎ−Ｆａｃｅ画像の表示領域において、低画質の眼底ＯＣＴＡ正面画像と高画質の眼底ＯＣＴＡ正面画像とのうち一方の表示を他方の表示に変更されるように構成されてもよい。また、高画質化ボタン３４２０が押下されると、例えば、前眼撮影モードにおいては、Ｉｍ３４０７とＩｍ３４０８に示したＯＣＴＡのＥｎ−Ｆａｃｅ画像の表示領域において、低画質の前眼ＯＣＴＡ正面画像と高画質の前眼ＯＣＴＡ正面画像とのうち一方の表示を他方の表示に変更されるように構成されてもよい。

なお、眼底撮影可能なＯＣＴ装置において、前眼も撮影可能とする場合に、前眼アダプタが装着可能に構成されてもよい。また、前眼アダプタを用いずに、ＯＣＴ装置の光学系が被検眼の眼軸長程度の距離、移動可能に構成されてもよい。このとき、ＯＣＴ装置のフォーカス位置が前眼に結像する程度、正視側に大きく変更可能に構成されてもよい。

また、Ｉｍ３４１１とＩｍ３４１２に示した断層画像には、例えば、眼底撮影モードにおいては眼底ＯＣＴ断層画像が適用され、また、前眼撮影モードにおいては前眼ＯＣＴ断層画像が適用されてもよい。また、上述した眼底ＯＣＴＡ正面画像及び前眼ＯＣＴＡ正面画像の高画質化処理は、例えば、眼底ＯＣＴ断層画像及び前眼ＯＣＴ断層画像の高画質化処理として適用することも可能である。このとき、高画質化ボタン３４２０が押下されると、例えば、眼底撮影モードにおいては、Ｉｍ３４１１とＩｍ３４１２に示した断層画像の表示領域において、低画質の眼底ＯＣＴ断層画像と高画質の眼底ＯＣＴ断層画像とのうち一方の表示を他方の表示に変更されるように構成されてもよい。また、高画質化ボタン３４２０が押下されると、例えば、前眼撮影モードにおいては、Ｉｍ３４１１とＩｍ３４１２に示した断層画像の表示領域において、低画質の前眼ＯＣＴ断層画像と高画質の前眼ＯＣＴ断層画像とのうち一方の表示を他方の表示に変更されるように構成されてもよい。

また、Ｉｍ３４１１とＩｍ３４１２に示した断層画像には、例えば、眼底撮影モードにおいては眼底ＯＣＴＡ断層画像が適用され、また、前眼撮影モードにおいては前眼ＯＣＴＡ断層画像が適用されてもよい。また、上述した眼底ＯＣＴＡ正面画像及び前眼ＯＣＴＡ正面画像の高画質化処理は、例えば、眼底ＯＣＴＡ断層画像及び前眼ＯＣＴＡ断層画像の高画質化処理として適用することも可能である。このとき、例えば、眼底撮影モードにおいては、Ｉｍ３４１１とＩｍ３４１２に示した断層画像の表示領域において、眼底ＯＣＴＡ断層画像における血管領域（例えば、閾値以上のモーションコントラストデータ）を示す情報が、対応する位置の眼底ＯＣＴ断層画像に重畳して表示されるように構成されてもよい。また、例えば、前眼撮影モードにおいては、Ｉｍ３４１１とＩｍ３４１２に示した断層画像の表示領域において、前眼ＯＣＴＡ断層画像における血管領域を示す情報が、対応する位置の前眼ＯＣＴ断層画像に重畳して表示されてもよい。

このように、例えば、複数の種類の医用画像の特徴量（撮影対象の様子）が互いに比較的類似していると考えられるような場合には、複数の種類の医用画像の少なくとも一つの種類の医用画像を学習データとして学習して得た高画質化モデルを用いて、複数の種類の医用画像の少なくとも一つの種類の医用画像を高画質化可能に構成されてもよい。これにより、例えば、共通の学習済モデル（共通の高画質化モデル）を用いて、複数の種類の医用画像の高画質化を実行可能に構成することができる。

なお、眼底撮影モードの表示画面と前眼撮影モードの表示画面とは、同じ表示レイアウトであってもよいし、それぞれの撮影モードに対応する表示レイアウトであってもよい。眼底撮影モードと前眼撮影モードとで、撮影条件や解析条件等の種々の条件が同じであってもよいし、異なっていてもよい。

ここで、高画質化処理の対象画像は、例えば、（複数の深度範囲に対応する）複数のＯＣＴＡ正面画像（ＯＣＴＡのＥｎ−Ｆａｃｅ画像、モーションコントラストのＥｎ−Ｆａｃｅ画像）Ｉｍ３４０７、Ｉｍ３４０８であってもよい。また、高画質化処理の対象画像は、例えば、１つの深度範囲に対応する１つのＯＣＴＡ正面画像であってもよい。また、高画質化処理の対象画像は、ＯＣＴＡ正面画像の代わりに、例えば、輝度の正面画像（輝度のＥｎ−Ｆａｃｅ画像）Ｉｍ３４０９、あるいはＢスキャン画像であるＯＣＴ断層画像Ｉｍ３４１１、Ｉｍ３４１２やモーションコントラストデータの断層画像（ＯＣＴＡ断層画像）であってもよい。また、高画質化処理の対象画像は、ＯＣＴＡ正面画像だけでなく、例えば、輝度の正面画像Ｉｍ３４０９及びＢスキャン画像であるＯＣＴ断層画像Ｉｍ３４１１、Ｉｍ３４１２やモーションコントラストデータの断層画像（ＯＣＴＡ断層画像）等の種々の医用画像であってもよい。すなわち、高画質化処理の対象画像は、例えば、表示部の表示画面上に表示されている種々の医用画像の少なくとも一つであればよい。このとき、例えば、画像の種類毎に画像の特徴量が異なる場合があるため、高画質化処理の対象画像の各種類に対応する高画質化用の学習済モデルが用いられてもよい。例えば、検者からの指示に応じて高画質化ボタン３４２０が押下されると、ＯＣＴＡ正面画像に対応する高画質化用の学習済モデルを用いてＯＣＴＡ正面画像Ｉｍ３４０７、Ｉｍ３４０８を高画質化処理するだけでなく、ＯＣＴ断層画像に対応する高画質化用の学習済モデルを用いてＯＣＴ断層画像Ｉｍ３４１１、Ｉｍ３４１２も高画質化処理するように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタン３４２０が押下されると、ＯＣＴＡ正面画像（第１の医用画像の一例）に対応する高画質化用の学習済モデルを用いて生成された高画質なＯＣＴＡ正面画像（第２の医用画像の一例）の表示に変更されるだけでなく、ＯＣＴ断層画像（第１の断層画像）に対応する高画質化用の学習済モデルを用いて生成された高画質なＯＣＴ断層画像（第２の断層画像）の表示に変更されるように構成されてもよい。このとき、ＯＣＴ断層画像の位置を示すラインがＯＣＴＡ正面画像Ｉｍ３４０７、Ｉｍ３４０８に重畳表示されるように構成されてもよい。また、上記ラインは、検者からの指示に応じてＯＣＴＡ正面画像上で移動可能に構成されてもよい。また、高画質化ボタン３４２０の表示がアクティブ状態である場合には、上記ラインが移動された後に、現在のラインの位置に対応するＯＣＴ断層画像（第１の断層画像）を高画質化処理して得た高画質なＯＣＴ断層画像（第２の断層画像）の表示に変更されるように構成されてもよい。また、高画質化処理の対象画像毎に高画質化ボタン３４２０が表示されることで、画像毎に独立して高画質化処理可能に構成されてもよい。

また、ＯＣＴＡ断層画像における血管領域（例えば、閾値以上のモーションコントラストデータ）を示す情報が、対応する位置のＢスキャン画像であるＯＣＴ断層画像Ｉｍ３４１１、Ｉｍ３４１２に重畳して表示されてもよい。このとき、例えば、ＯＣＴ断層画像Ｉｍ３４１１、Ｉｍ３４１２が高画質化されると、対応する位置のＯＣＴＡ断層画像が高画質化されてもよい。そして、高画質化して得たＯＣＴＡ断層画像における血管領域を示す情報が、高画質化して得たＯＣＴ断層画像Ｉｍ３４１１、Ｉｍ３４１２に重畳して表示されてもよい。なお、血管領域を示す情報は、色等の識別可能な情報であれば何でもよい。また、血管領域を示す情報の重畳表示と非表示とが検者からの指示に応じて変更可能に構成されてもよい。また、ＯＣＴ断層画像の位置を示すラインがＯＣＴＡ正面画像上で移動されると、ラインの位置に応じてＯＣＴ断層画像Ｉｍ３４１１、Ｉｍ３４１２の表示が更新されてもよい。このとき、対応する位置のＯＣＴＡ断層画像も更新されるため、ＯＣＴＡ断層画像から得られる血管領域を示す情報の重畳表示が更新されてもよい。これにより、例えば、任意の位置において、血管領域と注目領域との位置関係を容易に確認しながら、血管領域の３次元の分布や状態を効果的に確認することができる。また、ＯＣＴＡ断層画像の高画質化は、高画質化用の学習済モデルを用いる代わりに、対応する位置で取得した複数のＯＣＴＡ断層画像の加算平均処理等による高画質化処理であってもよい。また、ＯＣＴ断層画像は、ＯＣＴボリュームデータにおける任意の位置の断面として再構成された疑似ＯＣＴ断層画像であってもよい。また、ＯＣＴＡ断層画像は、ＯＣＴＡボリュームデータにおける任意の位置の断面として再構成された疑似ＯＣＴＡ断層画像であってもよい。なお、任意の位置は、少なくとも１つの任意の位置であればよく、また、検者からの指示に応じて変更可能に構成されてもよい。このとき、複数の位置に対応する複数の疑似断層画像が再構成されるように構成されてもよい。

なお、高画質化され、表示される断層画像（例えば、ＯＣＴ断層画像あるいはＯＣＴＡ断層画像）は、１つだけ表示されてもよいし、複数表示されてもよい。１つだけ表示される場合には、例えばサークルスキャン等により得られた断層画像を高画質化して表示されてもよい。また、複数の断層画像が表示される場合には、それぞれ異なる副走査方向の位置で取得された断層画像が表示されてもよいし、例えばクロススキャン等により得られた複数の断層画像を高画質化して表示する場合には、異なる走査方向の画像がそれぞれ表示されてもよい。なお、クロススキャン等により得られた複数の断層画像の画像特徴は似ていることが多いため、例えば、これらの断層画像を学習データとして学習して得た共通の学習済モデルを用いて、各走査方向の画像を高画質化してもよい。また、例えばラジアルスキャン等により得られた複数の断層画像を高画質化して表示する場合には、一部選択された複数の断層画像（例えば基準ラインに対して互いに対称な位置の２つの断層画像）がそれぞれ表示されてもよい。さらに、経過観察用の表示画面に異なる日時に得られた複数の断層画像を表示し、高画質化の指示や解析結果（例えば、特定の層の厚さ等）の表示が行われてもよい。また、データベースに保存されている情報に基づいて断層画像に高画質化処理を実行してもよい。

同様に、ＳＬＯ眼底画像を高画質化して表示する場合には、例えば、同一の表示画面に表示されるＳＬＯ眼底画像（ＳＬＯ画像Ｉｍ３４０５）を高画質化して表示してよい。さらに、輝度のＥｎ−Ｆａｃｅ画像を高画質化して表示する場合には、例えば、同一の表示画面に表示される輝度のＥｎ−Ｆａｃｅ画像Ｉｍ３４０９を高画質化して表示してよい。さらに、経過観察用の表示画面に異なる日時に得られた複数のＳＬＯ眼底画像や複数の輝度のＥｎ−Ｆａｃｅ画像を表示し、高画質化の指示や解析結果（例えば、特定の層の厚さ等）の表示が行われてもよい。また、データベースに保存されている情報に基づいてＳＬＯ眼底画像や輝度のＥｎ−Ｆａｃｅ画像に高画質化処理を実行してもよい。なお、断層画像、ＳＬＯ眼底画像、及び輝度のＥｎ−Ｆａｃｅ画像の表示は例示であり、これらの画像は所望の構成に応じて任意の態様で表示されてよい。また、ＯＣＴＡ正面画像、断層画像、ＳＬＯ眼底画像、及び輝度のＥｎ−Ｆａｃｅ画像の少なくとも２つ以上が、一度の指示で高画質化され表示されてもよい。

このような構成により、高画質化処理して得た高画質画像を表示制御部２５０が表示部２７０に表示させることができる。なお、高画質画像の表示、解析結果の表示、表示される正面画像の深度範囲等に関する複数の条件のうち少なくとも１つの条件が選択されている場合には、表示画面が遷移されても、選択された条件が維持されるように構成されてもよい。なお、各種高画質画像や上記ライン、血管領域を示す情報等の表示の制御は、表示制御部２５０によって行われてよい。

また、高画質化モデルは、表示制御部２５０によって表示部２７０に表示されるプレビュー画面において、ライブ動画像のすくなくとも１つのフレーム毎に用いられてもよい。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されてもよい。例えば、アライメント処理に用いる前眼画像について、前眼画像用の高画質化モデルを用いて高画質化された画像を用いてもよい。同様に、各種画像における所定領域の検出処理について用いられる各種画像について、それぞれの画像用の高画質化モデルを用いて高画質化された画像を用いてもよい。

このとき、例えば、検者からの指示に応じて高画質化ボタンが押下された場合には、異なる種類の複数のライブ動画像（例えば、前眼画像、眼底正面画像、断層画像）の表示を（同時に）、それぞれ高画質化処理されることにより得た高画質動画像の表示に変更されるように構成されてもよい。このとき、高画質動画像の表示は、各フレームを高画質化処理して得た高画質画像の連続表示であってもよい。また、例えば、画像の種類毎に画像の特徴量が異なる場合があるため、高画質化処理の対象画像の各種類に対応する高画質化用の学習済モデルが用いられてもよい。例えば、検者からの指示に応じて高画質化ボタンが押下されると、前眼画像に対応する高画質化モデルを用いて前眼画像を高画質化処理するだけでなく、眼底正面画像に対応する高画質化モデルを用いて眼底正面画像も高画質化処理するように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタンが押下されると、前眼画像に対応する高画質化モデルを用いて生成された高画質な前眼画像の表示に変更されるだけでなく、眼底正面画像に対応する高画質化モデルを用いて生成された高画質な眼底正面画像の表示に変更されるように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタンが押下されると、眼底正面画像に対応する高画質化モデルを用いて眼底正面画像を高画質化処理するだけでなく、断層画像に対応する高画質化モデルを用いて断層画像も高画質化処理するように構成されてもよい。また、例えば、検者からの指示に応じて高画質化ボタンが押下されると、眼底正面画像に対応する高画質化モデルを用いて生成された高画質な眼底正面画像の表示に変更されるだけでなく、断層画像に対応する高画質化モデルを用いて生成された高画質な断層画像の表示に変更されるように構成されてもよい。このとき、断層画像の位置を示すラインが眼底正面画像に重畳表示されるように構成されてもよい。また、上記ラインは、検者からの指示に応じて眼底正面画像上で移動可能に構成されてもよい。また、高画質化ボタンの表示がアクティブ状態である場合には、上記ラインが移動された後に、現在のラインの位置に対応する断層画像を高画質化処理して得た高画質な断層画像の表示に変更されるように構成されてもよい。また、高画質化処理の対象画像毎に高画質化ボタンが表示されることで、画像毎に独立して高画質化処理可能に構成されてもよい。

これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、プレビュー画面を確認しながら操作者がアライメント位置を修正する場合に、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。

ここで、オートアライメント中では、被検眼の網膜等の撮影対象がまだ上手く撮像できていない可能性がある。このため、学習済モデルに入力される医用画像と学習データとして用いられた医用画像との違いが大きいために、精度良く高画質画像が得られない可能性がある。そこで、断層画像（Ｂスキャン画像）の画質評価等の評価値が閾値を超えたら、高画質動画像の表示（高画質フレームの連続表示）を自動的に開始するように構成してもよい。また、断層画像の画質評価等の評価値が閾値を超えたら、高画質化ボタンを検者が指定可能な状態（アクティブ状態）に変更するように構成されてもよい。なお、高画質化ボタンは、高画質化処理の実行を指定するためのボタンである。もちろん、高画質化ボタンは、高画質画像の表示を指示するためのボタンであってもよい。

また、スキャンパターン等が異なる撮影モード毎に異なる高画質化モデルを用意して、選択された撮影モードに対応する高画質化用の学習済モデルが選択されるように構成されてもよい。また、異なる撮影モードで得た様々な医用画像を含む学習データを学習して得た１つの高画質化モデルが用いられてもよい。

ここで、眼科装置、例えばＯＣＴ装置では、撮影モード毎に測定に用いる光束のスキャンパターンや撮影部位が異なる。そのため、断層画像を入力データとする学習済モデルに関しては、撮影モード毎に学習済モデルを用意し、操作者の指示に応じて選択された撮影モードに対応する学習済モデルが選択されるように構成してもよい。この場合、撮影モードとしては、例えば、網膜撮影モード、前眼部撮影モード、硝子体撮影モード、黄斑部撮影モード、及び視神経乳頭部撮影モード、ＯＣＴＡ撮影モード等が含まれてよい。また、スキャンパターンとしては、３Ｄスキャン、ラジアルスキャン、クロススキャン、サークルスキャン、ラスタスキャン、及びリサージュスキャン（リサージュ曲線に沿った走査）等が含まれてよい。なお、ＯＣＴＡ撮影モードでは、被検眼の同一領域（同一位置）において測定光が複数回走査されるように、駆動制御部２３０が走査部１５２を制御する。ＯＣＴＡ撮影モードでも、スキャンパターンとして、例えばラスタスキャンや、ラジアルスキャン、クロススキャン、サークルスキャン、リサージュスキャン等を設定することができる。また、断層画像を入力データとする学習済モデルに関しては、異なる方向の断面に応じた断層画像を学習データに用いて学習を行うことができる。例えば、ｘｚ方向の断面の断層画像やｙｚ方向の断面の断層画像等を学習データに用いて学習を行ってよい。

なお、高画質化モデルによる高画質化処理の実行（又は高画質化処理して得た高画質画像の表示）の要否の判断は、表示画面に設けられる高画質化ボタン３４２０について、操作者の指示に応じて行われてもよいし、予め記憶部２４０に記憶されている設定に応じて行われてもよい。なお、学習済モデル（高画質化モデル）を用いた高画質化処理である旨を高画質化ボタン３４２０のアクティブ状態等で表示してもよいし、その旨をメッセージとして表示画面に表示させてもよい。また、高画質化処理の実行は、眼科装置の前回の起動時における実行状態を維持してもよいし、被検者毎に前回の検査時の実行状態を維持してもよい。

また、上述した様々な実施例及び変形例における画像処理部２２０には、画質向上部２２４等に加えて、解析部（不図示）が設けられていてもよい。解析部は、画質向上部２２４によって生成された高画質な断層画像について、領域毎に設定された解析条件に基づいて、画像解析を行う。ここで、領域毎に設定される解析条件としては、例えば、網膜部の領域や脈絡膜部の領域では、層抽出や血管抽出、硝子体部の領域では硝子体や硝子体の剥離の検出が設定される。なお、解析条件は、あらかじめ設定されていてもよいし、操作者によって適宜設定されてもよい。解析部は、解析条件として層抽出が設定されている場合には、当該解析条件が設定されている領域について層抽出を行い、抽出された層について層厚値計測等を行うことができる。また、解析部は、解析条件として血管抽出が設定されている場合には、当該解析条件が設定されている領域について血管抽出を行い、抽出された血管について血管密度計測等を行うことができる。さらに、解析部は、解析条件として硝子体や硝子体の剥離の検出が設定されている場合には、当該解析条件が設定されている領域について硝子体や硝子体の剥離の検出を行う。その後、解析部は、検出された硝子体や硝子体の剥離について定量化を行い硝子体や硝子体の剥離の厚みや、幅、面積、体積等を求めることができる。なお、解析条件はこれらに限られず、所望の構成に応じて任意に設定されてよい。例えば、硝子体部の領域について硝子体の線維構造の検出が設定されてもよい。この場合には、解析部は、検出した硝子体の線維構造の定量化を行い、線維構造の厚みや、幅、面積、体積等を求めることができる。また、解析条件に従った解析処理も、上記処理に限られず所望の構成に応じて任意に設定されてよい。また、表示制御部２５０は、解析部によって行われた画像解析の結果を、高画質な断層画像とともに又は高画質な断層画像とは別に表示部２７０に表示させてもよい。

（変形例９）
上述した様々な実施例及び変形例における表示制御部２５０は、表示画面のレポート画面において、所望の層の層厚や各種の血管密度等の解析結果を表示させてもよい。また、視神経乳頭部、黄斑部、血管領域、毛細血管領域、動脈領域、静脈領域、神経線維束、硝子体領域、黄斑領域、脈絡膜領域、強膜領域、篩状板領域、網膜層境界、網膜層境界端部、視細胞、血球、血管壁、血管内壁境界、血管外側境界、神経節細胞、角膜領域、隅角領域、シュレム管等の少なくとも１つを含む注目部位に関するパラメータの値（分布）を解析結果として表示させてもよい。このとき、例えば、各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い解析結果を表示させることができる。なお、アーチファクトは、例えば、血管領域等による光吸収により生じる偽像領域や、プロジェクションアーチファクト、被検眼の状態（動きや瞬き等）によって測定光の主走査方向に生じる正面画像における帯状のアーチファクト等であってもよい。また、アーチファクトは、例えば、被検者の所定部位の医用画像上に撮影毎にランダムに生じるような写損領域であれば、何でもよい。また、表示制御部２５０は、上述したような様々なアーチファクト（写損領域）の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示部２７０に表示させてもよい。また、ドルーゼン、新生血管、白斑（硬性白斑）、シュードドルーゼン等の異常部位等の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示させてもよい。また標準データベースを用いて得た標準値や標準範囲と、解析結果とを比較して得た比較結果が表示されてもよい。

また、解析結果は、解析マップや、各分割領域に対応する統計値を示すセクター等で表示されてもよい。なお、解析結果は、医用画像の解析結果を学習データとして学習して得た学習済モデル（解析結果生成エンジン、解析結果生成用の学習済モデル）を用いて生成されたものであってもよい。このとき、学習済モデルは、医用画像とその医用画像の解析結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の解析結果とを含む学習データ等を用いた学習により得たものであってもよい。また、学習済モデルは、輝度正面画像及びモーションコントラスト正面画像のように、所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データを用いた学習により得たものであってもよい。ここで、輝度正面画像は輝度のＥｎ−Ｆａｃｅ画像に対応し、モーションコントラスト正面画像はＯＣＴＡのＥｎ−Ｆａｃｅ画像に対応する。また、高画質化用の学習済モデルにより生成された高画質画像を用いて得た解析結果が表示されるように構成されてもよい。なお、高画質化用の学習済モデルは、第一の画像を入力データとし、第一の画像よりも高画質な第二の画像を正解データとする学習データを学習して得たものであってもよい。このとき、第二の画像は、例えば、複数の第一の画像の重ね合わせ処理（例えば、位置合わせして得た複数の第一の画像の平均化処理）等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像であってもよい。

また、学習データに含まれる入力データとしては、高画質化用の学習済モデルにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。また、学習データは、例えば、解析領域を解析して得た解析値（例えば、平均値や中央値等）、解析値を含む表、解析マップ、画像におけるセクター等の解析領域の位置等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータであってもよい。なお、検者からの指示に応じて、解析結果生成用の学習済モデルにより得た解析結果が表示されるように構成されてもよい。

また、上述した様々な実施例及び変形例における表示制御部２５０は、表示画面のレポート画面において、糖尿病網膜症や、緑内障、加齢黄斑変性等の種々の診断結果を表示させてもよい。このとき、例えば、上述したような各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い診断結果を表示させることができる。また、診断結果は、特定された異常部位等の位置を画像上に表示されてもよいし、また、異常部位の状態等を文字等によって表示されてもよい。また、異常部位等の分類結果（例えば、カーティン分類）が診断結果として表示されてもよい。また、分類結果としては、例えば、異常部位毎の確からしさを示す情報（例えば、割合を示す数値）が表示されてもよい。また、医師が診断を確定させる上で必要な情報が診断結果として表示されてもよい。上記必要な情報としては、例えば、追加撮影等のアドバイスが考えられる。例えば、ＯＣＴＡ画像における血管領域に異常部位が検出された場合には、ＯＣＴＡよりも詳細に血管を観察可能な造影剤を用いた蛍光撮影を追加で行う旨が表示されてもよい。また、診断結果は、被検者の今後の診療方針等に関する情報であってもよい。また、診断結果は、例えば、診断名、病変（異常部位）の種類や状態（程度）、画像における病変の位置、注目領域に対する病変の位置、所見（読影所見等）、診断名の根拠（肯定的な医用支援情報等）、診断名を否定する根拠（否定的な医用支援情報）等の少なくとも１つを含む情報であってもよい。

このとき、例えば、検者からの指示に応じて入力された診断名等の診断結果よりも確からしい診断結果を医用支援情報として表示させてもよい。また、複数の種類の医用画像が用いられた場合には、例えば、診断結果の根拠となり得る種類の医用画像が識別可能に表示されてもよい。また、診断結果の根拠としては、学習済モデルが抽出した特徴量を可視化したマップで、例えば、特徴量をカラーで示したカラーマップ（ヒートマップ）であってもよい。このとき、例えば、ヒートマップを入力データとした医用画像に重畳表示させてもよい。

なお、診断結果は、医用画像の診断結果を学習データとして学習して得た学習済モデル（診断結果生成エンジン、診断結果生成用の学習済モデル）を用いて生成されたものであってもよい。また、学習済モデルは、医用画像とその医用画像の診断結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の診断結果とを含む学習データ等を用いた学習により得たものであってもよい。また、高画質化用の学習済モデルにより生成された高画質画像を用いて得た診断結果が表示されるように構成されてもよい。

また、学習データに含まれる入力データとしては、高画質化用の学習済モデルにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。また、学習データは、例えば、診断名、病変（異常部位）の種類や状態（程度）、画像における病変の位置、注目領域に対する病変の位置、所見（読影所見等）、診断名の根拠（肯定的な医用支援情報等）、診断名を否定する根拠（否定的な医用支援情報）等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータであってもよい。なお、表示制御部２５０は、検者からの指示に応じて、診断結果生成用の学習済モデルにより得た診断結果を表示部２７０に表示させるように構成されてもよい。

また、例えば、緑内障の診断結果を得たい場合には、視神経乳頭を含む医用画像（断層画像や、カラー眼底正面画像、輝度正面画像、ＯＣＴＡ正面画像等）や解析マップ（ＯＣＴデータから得た層厚マップや、ＯＣＴＡデータから得た血管密度マップ等）を入力データとしてもよい。このとき、これらのうちの１つの情報を入力データとしてもよいし、複数の種類の情報を入力データとしてもよい。また、例えば、複数の種類の情報の入力データが輝度正面画像及びＯＣＴＡ正面画像である場合には、これら正面画像は少なくとも一部が共通であるＯＣＴデータを用いて得た共通の深度範囲の正面画像であってもよいし、互いに異なる深度範囲の正面画像であってもよい。また、例えば、緑内障の診断結果を得たい場合には、視神経乳頭の周辺をサークルスキャンして得た断層画像やＯＣＴＡ断層画像を入力データとしてもよい。また、例えば、緑内障の診断結果を得たい場合には、視神経乳頭をクロススキャンして得た複数の断層画像や複数のＯＣＴＡ断層画像を入力データとしてもよい。また、例えば、緑内障の診断結果は、緑内障の種類や状態（程度）であってもよい。このとき、例えば、緑内障の診断結果は、緑内障の前視野緑内障（ＰＰＧ：ＰｒｅｐｅｒｉｍｅｔｒｉｃＧｌａｕｃｏｍａ）、前期、中期、後期等であってもよい。また、緑内障の診断結果は、視野欠損等の視野異常の疑いは低いが、視神経乳頭陥凹の拡大や視神経線維の欠損等の網膜に関する形態的な変化（異常）の疑いが高い状態、緑内障の疑いが低い状態等であってもよい。

なお、入力データとして用いる情報毎又は情報の種類毎に学習済モデルを用意し、学習済モデルを用いて、診断結果を取得してもよい。この場合、各学習済モデルから出力された情報に統計的な処理を行い、最終的な診断結果を決定してもよい。例えば、各学習済モデルから出力された情報の割合を各種類の情報毎に加算し、他の情報よりも割合の合計が高い情報を最終的な診断結果として決定してもよい。なお、統計的な処理は合計の算出に限られず、平均値や中央値の算出等であってもよい。また、例えば、各学習済モデルから出力された情報のうち、他の情報よりも割合の高い情報（最も割合の高い情報）を用いて診断結果を決定してもよい。同様に、各学習済モデルから出力された情報のうち、閾値以上である割合の情報を用いて診断結果を決定してもよい。

また、操作者の指示（選択）に応じて、決定された診断結果の良否の判定（承認）が可能に構成されてもよい。また、操作者の指示（選択）に応じて、各学習済モデルから出力された情報から診断結果を決定してもよい。このとき、例えば、表示制御部２５０が、各学習済モデルから出力された情報及びその割合を並べて表示部２７０に表示させてもよい。そして、操作者が、例えば、他の情報よりも割合の高い情報を選択することにより、選択された情報を診断結果として決定するように構成されてもよい。さらに、各学習済モデルから出力された情報から、機械学習モデルを用いて、診断結果を決定してもよい。この場合には、機械学習アルゴリズムとして、診断結果生成に用いられた機械学習アルゴリズムとは異なる種類の機械学習アルゴリズムであってもよく、例えば、サポートベクターマシン、アダブースト、ベイジアンネットワーク、又はランダムフォレスト等を用いてよい。

なお、上述した種々の学習済モデルの学習は、教師あり学習（ラベル付きの学習データで学習）だけでなく、半教師あり学習であってもよい。半教師あり学習は、例えば、複数の識別器（分類器）がそれぞれ教師あり学習を行った後、ラベルのない学習データを識別（分類）し、識別結果（分類結果）の信頼度に応じて（例えば、確からしさが閾値以上の識別結果を）自動的にラベル付け（アノテーション）し、ラベル付けされた学習データで学習を行う手法である。半教師あり学習は、例えば、共訓練（Ｃｏ−Ｔｒａｉｎｉｎｇ、あるいはＭｕｌｔｉｖｉｅｗ）であってもよい。このとき、診断結果生成用の学習済モデルは、例えば、正常な被検体の医用画像を識別する第１の識別器と、特定の病変を含む医用画像を識別する第２の識別器とを用いて半教師あり学習（例えば、共訓練）して得た学習済モデルであってもよい。なお、診断目的に限らず、例えば撮影支援等を目的としてもよい。この場合、第２の識別器は、例えば、注目部位やアーチファクト領域等の部分領域を含む医用画像を識別するものであってもよい。

また、上述した様々な実施例及び変形例における表示制御部２５０は、表示画面のレポート画面において、上述したような注目部位、アーチファクト領域、異常部位等の部分領域の物体認識結果（物体検出結果）やセグメンテーション結果を表示させてもよい。このとき、例えば、画像上の物体の周辺に矩形の枠等を重畳して表示させてもよい。また、例えば、画像における物体上に色等を重畳して表示させてもよい。なお、物体認識結果やセグメンテーション結果は、物体認識やセグメンテーションを示す情報を正解データとして医用画像にラベル付け（アノテーション）した学習データを学習して得た学習済モデル（物体認識エンジン、物体認識用の学習済モデル、セグメンテーションエンジン、セグメンテーション用の学習済モデル）を用いて生成されたものであってもよい。なお、上述した解析結果生成や診断結果生成は、上述した物体認識結果やセグメンテーション結果を利用することで得られたものであってもよい。例えば、物体認識やセグメンテーションの処理により得た注目部位に対して解析結果生成や診断結果生成の処理を行ってもよい。

また、異常部位を検出する場合には、画像処理部２２０は、敵対的生成ネットワーク（ＧＡＮ：ＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｋｓ）や変分オートエンコーダ―（ＶＡＥ：Ｖａｒｉａｔｉｏｎａｌａｕｔｏ−ｅｎｃｏｄｅｒ）を用いてもよい。例えば、断層画像の生成を学習して得た生成器と、生成器が生成した新たな断層画像と本物の眼底正面画像との識別を学習して得た識別器とからなるＤＣＧＡＮ（ＤｅｅｐＣｏｎｖｏｌｕｔｉｏｎａｌＧＡＮ）を機械学習モデルとして用いることができる。

ＤＣＧＡＮを用いる場合には、例えば、識別器が入力された断層画像をエンコードすることで潜在変数にし、生成器が潜在変数に基づいて新たな断層画像を生成する。その後、入力された断層画像と生成された新たな断層画像との差分を異常部位として抽出することができる。また、ＶＡＥを用いる場合には、例えば、入力された断層画像をエンコーダーによりエンコードすることで潜在変数にし、潜在変数をデコーダーによりデコードすることで新たな断層画像を生成する。その後、入力された断層画像と生成された新たな断層画像像との差分を異常部位として抽出することができる。なお、入力データの例として断層画像を例として説明したが、眼底画像や前眼の正面画像等を用いてもよい。

さらに、画像処理部２２０は、畳み込みオートエンコーダ（ＣＡＥ：ＣｏｎｖｏｌｕｔｉｏｎａｌＡｕｔｏ−Ｅｎｃｏｄｅｒ）を用いて、異常部位を検出してもよい。ＣＡＥを用いる場合には、学習時に入力データ及び出力データとして同じ画像を学習させる。これにより、推定時に異常部位がある画像をＣＡＥに入力すると、学習の傾向に従って異常部位がない画像が出力される。その後、ＣＡＥに入力された画像とＣＡＥから出力された画像の差分を異常部位として抽出することができる。なお、この場合にも、断層画像だけでなく、眼底画像や前眼の正面画像等を入力データとして用いてもよい。

これらの場合、画像処理部２２０は、敵対的生成ネットワーク又はオートエンコーダ（ＡＥ）を用いて得た医用画像と、該敵対的生成ネットワーク又はオートエンコーダに入力された医用画像との差に関する情報を異常部位に関する情報として生成することができる。これにより、画像処理部２２０は、高速に精度よく異常部位を検出することが期待できる。ここで、オートエンコーダには、ＶＡＥやＣＡＥ等が含まれる。例えば、画像処理部２２０は、種々の医用画像から敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と、該敵対的生成ネットワーク又は該オートエンコーダに入力された医用画像との差に関する情報を、異常部位に関する情報として生成することができる。また、例えば、表示制御部２５０は、種々の医用画像から敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と、該敵対的生成ネットワーク又は該オートエンコーダに入力された医用画像との差に関する情報を、異常部位に関する情報として表示部２７０に表示させることができる。

また、疾病眼では、疾病の種類に応じて画像特徴が異なる。そのため、上述した様々な実施例や変形例において用いられる学習済モデルは、疾病の種類毎又は異常部位毎にそれぞれ生成・用意されてもよい。この場合には、例えば、制御部２００は、操作者からの被検眼の疾病の種類や異常部位等の入力（指示）に応じて、処理に用いる学習済モデルを選択することができる。なお、疾病の種類や異常部位毎に用意される学習済モデルは、網膜層の検出や領域ラベル画像等の生成に用いられる学習済モデルに限られず、例えば、画像の評価用のエンジンや解析用のエンジン等で用いられる学習済モデルであってもよい。このとき、制御部２００は、別に用意された学習済モデルを用いて、画像から被検眼の疾病の種類や異常部位を識別してもよい。この場合には、制御部２００は、当該別に用意された学習済モデルを用いて識別された疾病の種類や異常部位に基づいて、上記処理に用いる学習済モデルを自動的に選択することができる。なお、当該被検眼の疾病の種類や異常部位を識別するための学習済モデルは、断層画像や眼底画像等を入力データとし、疾病の種類やこれら画像における異常部位を出力データとした学習データのペアを用いて学習を行ってよい。ここで、学習データの入力データとしては、断層画像や眼底画像等を単独で入力データとしてもよいし、これらの組み合わせを入力データとしてもよい。

また、特に診断結果生成用の学習済モデルは、被検者の所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底のモーションコントラスト正面画像及び輝度正面画像（あるいは輝度断層画像）をセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）及びカラー眼底画像（あるいは蛍光眼底画像）をセットとする入力データ等も考えられる。また、異なる種類の複数の医療画像は、異なるモダリティ、異なる光学系、又は異なる原理等により取得されたものであれば何でもよい。

また、特に診断結果生成用の学習済モデルは、被検者の異なる部位の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）と前眼部の断層画像（Ｂスキャン画像）とをセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の黄斑の三次元ＯＣＴ画像（三次元断層画像）と眼底の視神経乳頭のサークルスキャン（又はラスタスキャン）断層画像とをセットとする入力データ等も考えられる。

なお、学習データに含まれる入力データは、被検者の異なる部位及び異なる種類の複数の医用画像であってもよい。このとき、学習データに含まれる入力データは、例えば、前眼部の断層画像とカラー眼底画像とをセットとする入力データ等が考えられる。また、上述した種々の学習済モデルは、被検者の所定部位の異なる撮影画角の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。また、学習データに含まれる入力データは、パノラマ画像のように、所定部位を複数領域に時分割して得た複数の医用画像を貼り合わせたものであってもよい。このとき、パノラマ画像のような広画角画像を学習データとして用いることにより、狭画角画像よりも情報量が多い等の理由から画像の特徴量を精度良く取得できる可能性があるため、各処理の結果を向上することができる。例えば、推定時（予測時）において、広画角画像における複数の位置で異常部位が検出された場合に、各異常部位の拡大画像を順次表示可能に構成させる。これにより、複数の位置における異常部位を効率よく確認することができるため、例えば、検者の利便性を向上することができる。このとき、例えば、異常部位が検出された広画角画像上の各位置を検者が選択可能に構成され、選択された位置における異常部位の拡大画像が表示されるように構成されてもよい。また、学習データに含まれる入力データは、被検者の所定部位の異なる日時の複数の医用画像をセットとする入力データであってもよい。

また、上述した解析結果と診断結果と物体認識結果とセグメンテーション結果とのうち少なくとも１つの結果が表示される表示画面は、レポート画面に限らない。このような表示画面は、表示制御部２５０によって表示部２７０に表示される、例えば、撮影確認画面、経過観察用の表示画面、及び撮影前の各種調整用のプレビュー画面（各種のライブ動画像が表示される表示画面）等の少なくとも１つの表示画面に表示されてもよい。例えば、上述した種々の学習済モデルを用いて得た上記少なくとも１つの結果を撮影確認画面に表示させることにより、検者は、撮影直後であっても精度の良い結果を確認することができる。また、例えば、特定の物体が認識されると、認識された物体を囲う枠がライブ動画像に重畳表示させるように構成されてもよい。このとき、物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、例えば、物体を囲う枠の色が変更される等のように強調表示されてもよい。これにより、検者は、物体をライブ動画上で容易に識別することができる。また、上述した低画質画像と高画質画像との表示の変更は、例えば、低画質画像の解析結果と高画質画像の解析結果との表示の変更であってもよい。

なお、上述した様々な学習済モデルの学習に用いられる正解データの生成には、ラベル付け（アノテーション）等の正解データを生成するための正解データ生成用の学習済モデルが用いられてもよい。このとき、正解データ生成用の学習済モデルは、検者がラベル付け（アノテーション）して得た正解データを（順次）追加学習することにより得られたものであってもよい。すなわち、正解データ生成用の学習済モデルは、ラベル付け前のデータを入力データとし、ラベル付け後のデータを出力データとする学習データを追加学習することにより得られたものであってもよい。また、動画像等のような連続する複数フレームにおいて、前後のフレームの物体認識やセグメンテーション等の結果を考慮して、結果の精度が低いと判定されたフレームの結果を修正するように構成されてもよい。このとき、検者からの指示に応じて、修正後の結果を正解データとして追加学習するように構成されてもよい。また、例えば、結果の精度が低い医用画像については、検者が該医用画像上に、学習済モデルが抽出した特徴量を可視化したマップ（ヒートマップ）を確認しながらラベル付け（アノテーション）した画像を入力データとして追加学習するように構成されてもよい。例えば、学習済モデルにおける結果を出力する直前等のレイヤー上のヒートマップにおいて、注目すべき箇所が検者の意図と異なる場合には、検者が注目すべきと考える箇所にラベル付け（アノテーション）した医用画像を追加学習してもよい。これにより、例えば、学習済モデルは、医用画像上の部分領域であって、学習済モデルの出力結果に対して比較的影響が大きな部分領域の特徴量を、他の領域よりも優先して（重みを付けて）追加学習することができる。

ここで、上述した様々な学習済モデルは、学習データを用いた機械学習により得ることができる。機械学習には、例えば、多階層のニューラルネットワークから成る深層学習（ＤｅｅｐＬｅａｒｎｉｎｇ）がある。また、多階層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワーク（ＣＮＮ：ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）を機械学習モデルとして用いることができる。また、多階層のニューラルネットワークの少なくとも一部には、オートエンコーダ（自己符号化器）に関する技術が用いられてもよい。また、学習には、バックプロパゲーション（誤差逆伝搬法）に関する技術が用いられてもよい。また、学習には、各ユニット（各ニューロン、あるいは各ノード）をランダムに不活性化する手法（ドロップアウト）が用いられてもよい。また、学習には、多階層のニューラルネットワークの各層に伝わったデータを、活性化関数（例えばＲｅＬｕ関数）が適用される前に、正規化する手法（バッチ正規化）が用いられてもよい。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出（表現）可能なモデルを用いた学習であれば何でもよい。ここで、機械学習モデルとは、ディープラーニング等の機械学習アルゴリズムによる学習モデルをいう。また、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いてトレーニングした（学習を行った）モデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。また、学習データとは、入力データ及び出力データ（正解データ）のペアで構成される。ここで、学習データを教師データという場合もあるし、あるいは、正解データを教師データという場合もある。

なお、ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合には、ＧＰＵで処理を行うことが有効である。そこで、本変形例では、学習部（不図示）の一例である画像処理部２２０による処理には、ＣＰＵに加えてＧＰＵを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、学習部の処理は、ＣＰＵまたはＧＰＵのみにより演算が行われてもよい。また、上述した様々な学習済モデルを用いた処理を実行する処理部（推定部）も、学習部と同様にＧＰＵを用いてもよい。また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。

また、高画質化やセグメンテーション等に用いられる機械学習モデルとしては、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するＵ−ｎｅｔ型の機械学習モデルが適用可能である。Ｕ−ｎｅｔ型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報（空間情報）を、デコーダーとして構成される複数の階層において、同次元の階層（互いに対応する階層）で用いることができるように（例えば、スキップコネクションを用いて）構成される。

また、高画質化やセグメンテーション等に用いられる機械学習モデルとしては、例えば、ＦＣＮ（ＦｕｌｌｙＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ等を用いることもできる。また、所望の構成に応じて領域単位で物体認識を行う機械学習モデルを用いてもよい。物体認識を行う機械学習モデルとしては、例えば、ＲＣＮＮ（ＲｅｇｉｏｎＣＮＮ）、ｆａｓｔＲＣＮＮ、又はｆａｓｔｅｒＲＣＮＮを用いることができる。さらに、領域単位で物体認識を行う機械学習モデルとして、ＹＯＬＯ（ＹｏｕＯｎｌｙＬｏｏｋＯｎｓｅ）、又はＳＳＤ（ＳｉｎｇｌｅＳｈｏｔＤｅｔｅｃｔｏｒ、あるいはＳｉｎｇｌｅＳｈｏｔＭｕｌｔｉＢｏｘＤｅｔｅｃｔｏｒ）を用いることもできる。

また、機械学習モデルは、例えば、カプセルネットワーク（ＣａｐｓｕｌｅＮｅｔｗｏｒｋ；ＣａｐｓＮｅｔ）でもよい。ここで、一般的なニューラルネットワークでは、各ユニット（各ニューロン、あるいは各ノード）はスカラー値を出力するように構成されることによって、例えば、画像における特徴間の空間的な位置関係（相対位置）に関する空間情報が低減されるように構成されている。これにより、例えば、画像の局所的な歪みや平行移動等の影響が低減されるような学習を行うことができる。一方、カプセルネットワークでは、各ユニット（各カプセル）は空間情報をベクトルとして出力するように構成されることよって、例えば、空間情報が保持されるように構成されている。これにより、例えば、画像における特徴間の空間的な位置関係が考慮されたような学習を行うことができる。

また、高画質化エンジン（高画質化用の学習済モデル）は、高画質化エンジンにより生成された少なくとも１つの高画質画像を含む学習データを追加学習して得た学習済モデルであってもよい。このとき、高画質画像を追加学習用の学習データとして用いるか否かを、検者からの指示により選択可能に構成されてもよい。なお、これらの構成は、高画質化用の学習済モデルに限らず、上述した様々な学習済モデルに対しても適用可能である。また、上述した様々な学習済モデルの学習に用いられる正解データの生成には、ラベル付け（アノテーション）等の正解データを生成するための正解データ生成用の学習済モデルが用いられてもよい。このとき、正解データ生成用の学習済モデルは、検者がラベル付け（アノテーション）して得た正解データを（順次）追加学習することにより得られたものであってもよい。すなわち、正解データ生成用の学習済モデルは、ラベル付け前のデータを入力データとし、ラベル付け後のデータを出力データとする学習データを追加学習することにより得られたものであってもよい。また、動画像等のような連続する複数フレームにおいて、前後のフレームの物体認識やセグメンテーション等の結果を考慮して、結果の精度が低いと判定されたフレームの結果を修正するように構成されてもよい。このとき、検者からの指示に応じて、修正後の結果を正解データとして追加学習するように構成されてもよい。

また、上述した様々な実施例及び変形例において、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて被検眼の部分領域（例えば、注目部位、アーチファクト領域、異常部位等）を検出する場合には、検出した領域毎に所定の画像処理を施すこともできる。例えば、硝子体領域、網膜領域、及び脈絡膜領域のうちの少なくとも２つの領域を検出する場合を考える。この場合には、検出された少なくとも２つの領域に対してコントラスト調整等の画像処理を施す際に、それぞれ異なる画像処理のパラメータを用いることで、各領域に適した調整を行うことができる。各領域に適した調整が行われた画像を表示することで、操作者は領域毎の疾病等をより適切に診断することができる。なお、検出された領域毎に異なる画像処理のパラメータを用いる構成については、例えば、学習済モデルを用いずに検出された被検眼の領域について同様に適用されてもよい。

（変形例１０）
上述した様々な実施例及び変形例におけるプレビュー画面において、ライブ動画像の少なくとも１つのフレーム毎に上述した種々の学習済モデルが用いられるように構成されてもよい。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されてもよい。これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。

なお、複数のライブ動画像は、例えば、ＸＹＺ方向のアライメントのための前眼部の動画像、及び眼底観察光学系のフォーカス調整やＯＣＴフォーカス調整のための眼底の正面動画像であってよい。また、複数のライブ動画像は、例えば、ＯＣＴのコヒーレンスゲート調整（測定光路長と参照光路長との光路長差の調整）のための眼底の断層動画像等であってもよい。このとき、上述した物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された領域が所定の条件を満たすように、上述した各種調整が行われるように構成されてもよい。例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やＲＰＥ等の所定の網膜層等に関する値（例えば、コントラスト値あるいは強度値）が閾値を超える（あるいはピーク値になる）ように、ＯＣＴフォーカス調整等の各種調整が行われるように構成されてもよい。また、例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やＲＰＥ等の所定の網膜層が深さ方向における所定の位置になるように、ＯＣＴのコヒーレンスゲート調整が行われるように構成されてもよい。

これらの場合には、画質向上部２２４は、学習済モデルを用いて、動画像について高画質化処理を行って、高画質な動画像を生成することができる。また、駆動制御部２３０は、高画質な動画像が表示された状態で、セグメンテーション処理等により得た注目部位等の部分領域が表示領域における所定の位置になるように、参照光学系における反射ミラー１２３等の撮影範囲を変更するための光学部材を駆動制御することができる。このような場合には、駆動制御部２３０は、精度の高い情報に基づいて、所望される領域が表示領域の所定の位置になるように自動的にアライメント処理を行うことができる。なお、撮影範囲を変更する光学部材としては、例えばコヒーレンスゲート位置を調整する光学部材であってよく、具体的には参照光学系における反射ミラー１２３等であってよい。また、コヒーレンスゲート位置は、測定光路長及び参照光路長の光路長差を変更する光学部材によって調整されることができ、当該光学部材は、例えば、不図示の測定光の光路長を変更するためのミラー等であってもよい。なお、撮影範囲を変更する光学部材は、例えばステージ部（不図示）であってもよい。また、駆動制御部２３０は、撮影開始に関する指示に応じて、撮影の途中あるいは撮影の最後に、セグメンテーション処理等により得たアーチファクト領域等の部分領域が再度撮影（リスキャン）されるように、上述した走査部を駆動制御してもよい。また、例えば、注目部位に関する物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、各調整や撮影開始等を自動的に行うように構成されてもよい。また、例えば、注目部位に関する物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、各調整や撮影開始等を検者からの指示に応じて実行可能な状態に変更（実行禁止状態を解除）するように構成されてもよい。

また、上述した種々の学習済モデルを適用可能な動画像は、ライブ動画像に限らず、例えば、記憶部２４０に記憶（保存）された動画像であってもよい。このとき、例えば、記憶部２４０に記憶（保存）された眼底の断層動画像の少なくとも１つのフレーム毎に位置合わせして得た動画像が表示画面に表示されてもよい。例えば、硝子体を好適に観察したい場合には、まず、フレーム上に硝子体ができるだけ存在する等の条件を基準とする基準フレームを選択してもよい。このとき、各フレームは、ＸＺ方向の断層画像（Ｂスキャン像）である。そして、選択された基準フレームに対して他のフレームがＸＺ方向に位置合わせされた動画像が表示画面に表示されてもよい。このとき、例えば、動画像の少なくとも１つのフレーム毎に高画質化用の学習済モデルにより順次生成された高画質画像（高画質フレーム）を連続表示させるように構成してもよい。

なお、上述したフレーム間の位置合わせの手法としては、Ｘ方向の位置合わせの手法とＺ方向（深度方向）の位置合わせの手法とは、同じ手法が適用されてもよいし、全て異なる手法が適用されてもよい。また、同一方向の位置合わせは、異なる手法で複数回行われてもよく、例えば、粗い位置合わせを行った後に、精密な位置合わせが行われてもよい。また、位置合わせの手法としては、例えば、断層画像（Ｂスキャン像）をセグメンテーション処理して得た網膜層境界を用いた（Ｚ方向の粗い）位置合わせ、断層画像を分割して得た複数の領域と基準画像との相関情報（類似度）を用いた（Ｘ方向やＺ方向の精密な）位置合わせ、断層画像（Ｂスキャン像）毎に生成した１次元投影像を用いた（Ｘ方向の）位置合わせ、２次元正面画像を用いた（Ｘ方向の）位置合わせ等がある。また、ピクセル単位で粗く位置合わせが行われてから、サブピクセル単位で精密な位置合わせが行われるように構成されてもよい。

（変形例１１）
また、上述した様々な実施例及び変形例においては、学習済モデルが追加学習の実行中である場合、追加学習の実行中の学習済モデル自体を用いて出力（推論・予測）することが難しい可能性がある。例えば、追加学習の実行中の画質向上部では画質向上処理を実行することが難しい可能性がある。このため、追加学習の実行中の学習済モデルに対する学習データ以外の医用画像の入力を禁止するように構成されることがよい。また、追加学習の実行前の学習済モデルと同じ学習済モデルをもう一つ予備の学習済モデルとして用意してもよい。このとき、追加学習の実行中には、予備の学習済モデルに対する学習データ以外の医用画像の入力を実行可能なように構成されることがよい。追加学習が完了した後に、追加学習の実行後の学習済モデルを評価し、問題がなければ、予備の学習済モデルから追加学習の実行後の学習済モデルに置き換えればよい。また、問題があれば、予備の学習済モデルが用いられるようにしてもよい。なお、追加学習して得た学習済モデルの評価としては、例えば、高画質化用の学習済モデルで得た高画質画像を他の種類の画像と分類するための分類用の学習済モデルが用いられてもよい。分類用の学習済モデルは、例えば、高画質化用の学習済モデルで得た高画質画像と低画質画像とを含む複数の画像を入力データとし、これらの画像の種類がラベル付け（アノテーション）されたデータを正解データとして含む学習データを学習して得た学習済モデルであってもよい。このとき、推定時（予測時）の入力データの画像の種類が、学習時の正解データに含まれる画像の種類毎の確からしさを示す情報（例えば、割合を示す数値）と合わせて表示されてもよい。なお、分類用の学習済モデルの入力データとしては、上記の画像以外にも、複数の低画質画像の重ね合わせ処理（例えば、位置合わせして得た複数の低画質画像の平均化処理）等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像が含まれてもよい。また、追加学習の実行後の学習済モデルの評価としては、例えば、追加学習の実行後の学習済モデルと追加学習の実行前の学習済モデル（予備の学習済モデル）とをそれぞれ用いて同一の画像から得た複数の高画質画像を比較、あるいは該複数の高画質画像の解析結果を比較してもよい。このとき、例えば、該複数の高画質画像の比較結果（追加学習による変化の一例）、あるいは該複数の高画質画像の解析結果の比較結果（追加学習による変化の一例）が所定の範囲であるか否かを判定し、判定結果が表示されてもよい。

また、撮影部位毎に学習して得た学習済モデルを選択的に利用できるようにしてもよい。具体的には、第１の撮影部位（肺、被検眼等）を含む学習データを用いて得た第１の学習済モデルと、第１の撮影部位とは異なる第２の撮影部位を含む学習データを用いて得た第２の学習済モデルと、を含む複数の学習済モデルを用意することができる。そして、制御部２００は、これら複数の学習済モデルのいずれかを選択する選択手段を有してもよい。このとき、制御部２００は、選択された学習済モデルに対して追加学習として実行する制御手段を有してもよい。制御手段は、操作者からの指示に応じて、選択された学習済モデルに対応する撮影部位と該撮影部位の撮影画像とがペアとなるデータを検索し、検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行することができる。なお、選択された学習済モデルに対応する撮影部位は、データのヘッダの情報から取得したり、検者により手動入力されたりしたものであってもよい。また、データの検索は、例えば、病院や研究所等の外部施設のサーバ等からネットワークを介して行われてよい。これにより、学習済モデルに対応する撮影部位の撮影画像を用いて、撮影部位毎に効率的に追加学習することができる。

なお、選択手段及び制御手段は、制御部２００のＣＰＵやＭＰＵ等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、選択手段及び制御手段は、ＡＳＩＣ等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。

また、追加学習用の学習データを、上述したような施設等の外部のサーバ等からネットワークを介して取得する際には、改ざん、追加学習時のシステムトラブル等による信頼性低下を低減したい。そこで、デジタル署名やハッシュ化による一致性の確認を行うことで、追加学習用の学習データの正当性を検出してもよい。これにより、追加学習用の学習データを保護することができる。このとき、デジタル署名やハッシュ化による一致性の確認した結果として、追加学習用の学習データの正当性が検出できなかった場合には、その旨の警告を行い、その学習データによる追加学習を行わないものとする。なお、サーバは、その設置場所を問わず、例えば、クラウドサーバ、フォグサーバ、エッジサーバ等のどのような形態でもよい。なお、施設内や、施設が含まれる敷地内、複数の施設が含まれる地域内等のネットワークを無線通信可能に構成する場合には、例えば、施設や、敷地、地域等に限定で割り当てられた専用の波長帯域の電波を用いるように構成することで、ネットワークの信頼性を向上させてもよい。また、高速や、大容量、低遅延、多数同時接続が可能な無線通信によりネットワークが構成されてもよい。

また、上述したような一致性の確認によるデータの保護は、追加学習用の学習データに限らず、医用画像を含むデータに適用可能である。また、複数の施設のサーバの間の医用画像を含むデータの取引が分散型のネットワークにより管理されるように画像管理システムが構成されてもよい。また、取引履歴と、前のブロックのハッシュ値とが一緒に記録された複数のブロックを時系列につなぐように画像管理システムが構成されてもよい。なお、一致性の確認等を行うための技術としては、量子ゲート方式等の量子コンピュータを用いても計算が困難な暗号（例えば、格子暗号、量子鍵配送による量子暗号等）が用いられてもよい。ここで、画像管理システムは、撮影装置によって撮影された画像や画像処理された画像を受信して保存する装置及びシステムであってもよい。また、画像管理システムは、接続された装置の要求に応じて画像を送信したり、保存された画像に対して画像処理を行ったり、画像処理の要求を他の装置に要求したりすることができる。画像管理システムとしては、例えば、画像保存通信システム（ＰＡＣＳ）を含むことができる。また、画像管理システムは、受信した画像とともに関連付けられた被検者の情報や撮影時間などの各種情報も保存可能なデータベースを備える。また、画像管理システムはネットワークに接続され、他の装置からの要求に応じて、画像を送受信したり、画像を変換したり、保存した画像に関連付けられた各種情報を送受信したりすることができる。

（変形例１２）
上述した様々な実施例及び変形例において、検者からの指示は、手動による指示（例えば、ユーザーインターフェース等を用いた指示）以外にも、音声等による指示であってもよい。このとき、例えば、機械学習により得た音声認識モデル（音声認識エンジン、音声認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。また、手動による指示は、キーボードやタッチパネル等を用いた文字入力等による指示であってもよい。このとき、例えば、機械学習により得た文字認識モデル（文字認識エンジン、文字認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。また、検者からの指示は、ジェスチャー等による指示であってもよい。このとき、機械学習により得たジェスチャー認識モデル（ジェスチャー認識エンジン、ジェスチャー認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。

また、検者からの指示は、表示部２７０における表示画面上の検者の視線検出結果等であってもよい。視線検出結果は、例えば、表示部２７０における表示画面の周辺から撮影して得た検者の動画像を用いた瞳孔検出結果であってもよい。このとき、動画像からの瞳孔検出は、上述したような物体認識エンジンを用いてもよい。また、検者からの指示は、脳波、体を流れる微弱な電気信号等による指示であってもよい。

このような場合、例えば、学習データとしては、上述したような種々の学習済モデルの処理による結果の表示の指示を示す文字データ又は音声データ（波形データ）等を入力データとし、種々の学習済モデルの処理による結果等を実際に表示部に表示させるための実行命令を正解データとする学習データであってもよい。また、学習データとしては、例えば、高画質化用の学習済モデルで得た高画質画像の表示の指示を示す文字データ又は音声データ等を入力データとし、高画質画像の表示の実行命令及び高画質化ボタン３４２０をアクティブ状態に変更するための実行命令を正解データとする学習データであってもよい。もちろん、学習データとしては、例えば、文字データ又は音声データ等が示す指示内容と実行命令内容とが互いに対応するものであれば何でもよい。また、音響モデルや言語モデル等を用いて、音声データから文字データに変換してもよい。また、複数のマイクで得た波形データを用いて、音声データに重畳しているノイズデータを低減する処理を行ってもよい。また、文字又は音声等による指示と、マウス、タッチパネル等による指示とを、検者からの指示に応じて選択可能に構成されてもよい。また、文字又は音声等による指示のオン・オフを、検者からの指示に応じて選択可能に構成されてもよい。

ここで、機械学習には、上述したような深層学習があり、また、多階層のニューラルネットワークの少なくとも一部には、例えば、再帰型ニューラルネットワーク（ＲＮＮ：ＲｅｃｕｒｒｅｒｎｔＮｅｕｒａｌＮｅｔｗｏｒｋ）を用いることができる。ここで、本変形例に係る機械学習モデルの一例として、時系列情報を扱うニューラルネットワークであるＲＮＮに関して、図１８（ａ）及び（ｂ）を参照して説明する。また、ＲＮＮの一種であるＬｏｎｇｓｈｏｒｔ−ｔｅｒｍｍｅｍｏｒｙ（以下、ＬＳＴＭ）に関して、図１９（ａ）及び（ｂ）を参照して説明する。

図１８（ａ）は、機械学習モデルであるＲＮＮの構造を示す。ＲＮＮ３５２０は、ネットワークにループ構造を持ち、時刻ｔにおいてデータｘ^ｔ３５１０を入力し、データｈ^ｔ３５３０を出力する。ＲＮＮ３５２０はネットワークにループ機能を持つため、現時刻の状態を次の状態に引き継ぐことが可能であるため、時系列情報を扱うことができる。図１８（ｂ）には時刻ｔにおけるパラメータベクトルの入出力の一例を示す。データｘ^ｔ３５１０にはＮ個（Ｐａｒａｍｓ１〜ＰａｒａｍｓＮ）のデータが含まれる。また、ＲＮＮ３５２０より出力されるデータｈ^ｔ３５３０には入力データに対応するＮ個（Ｐａｒａｍｓ１〜ＰａｒａｍｓＮ）のデータが含まれる。

しかし、ＲＮＮでは誤差逆伝搬時に長期時間の情報を扱うことができないため、ＬＳＴＭが用いられることがある。ＬＳＴＭは、忘却ゲート、入力ゲート、及び出力ゲートを備えることで長期時間の情報を学習することができる。ここで、図１９（ａ）にＬＳＴＭの構造を示す。ＬＳＴＭ３５４０において、ネットワークが次の時刻ｔに引き継ぐ情報は、セルと呼ばれるネットワークの内部状態ｃ^ｔ−１と出力データｈ^ｔ−１である。なお、図の小文字（ｃ、ｈ、ｘ）はベクトルを表している。

次に、図１９（ｂ）にＬＳＴＭ３５４０の詳細を示す。図１９（ｂ）において、ＦＧは忘却ゲートネットワーク、ＩＧは入力ゲートネットワーク、ＯＧは出力ゲートネットワークを示し、それぞれはシグモイド層である。そのため、各要素が０から１の値となるベクトルを出力する。忘却ゲートネットワークＦＧは過去の情報をどれだけ保持するかを決め、入力ゲートネットワークＩＧはどの値を更新するかを判定するものである。ＣＵは、セル更新候補ネットワークであり、活性化関数ｔａｎｈ層である。これは、セルに加えられる新たな候補値のベクトルを作成する。出力ゲートネットワークＯＧは、セル候補の要素を選択し次の時刻にどの程度の情報を伝えるか選択する。

なお、上述したＬＳＴＭのモデルは基本形であるため、ここで示したネットワークに限らない。ネットワーク間の結合を変更してもよい。ＬＳＴＭではなく、ＱＲＮＮ（ＱｕａｓｉＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋ）を用いてもよい。さらに、機械学習モデルは、ニューラルネットワークに限定されるものではなく、ブースティングやサポートベクターマシン等が用いられてもよい。また、検者からの指示が文字又は音声等による入力の場合には、自然言語処理に関する技術（例えば、ＳｅｑｕｅｎｃｅｔｏＳｅｑｕｅｎｃｅ）が適用されてもよい。また、検者に対して文字又は音声等による出力で応答する対話エンジン（対話モデル、対話用の学習済モデル）が適用されてもよい。

また、自然言語処理に関する技術としては、文書データを教師なし学習により事前学習して得た学習済モデルが用いられてもよい。また、自然言語処理に関する技術としては、事前学習して得た学習済モデルを更に目的に応じて転移学習（あるいはファインチューニング）して得た学習済モデルが用いられてもよい。また、自然言語処理に関する技術としては、例えば、ＢＥＲＴ（ＢｉｄｉｒｅｃｔｉｏｎａｌＥｎｃｏｄｅｒＲｅｐｒｅｓｅｎｔａｔｉｏｎｓｆｒｏｍＴｒａｎｓｆｏｒｍｅｒｓ）が適用されてもよい。また、自然言語処理に関する技術としては、文章内の特定の単語を左右両方の文脈から予測することで、文脈（特徴量）を自ら抽出（表現）可能なモデルが適用されてもよい。また、自然言語処理に関する技術としては、入力される時系列データにおける２つのシーケンス（センテンス）の関係性（連続性）を判断可能なモデルが適用されてもよい。また、自然言語処理に関する技術としては、隠れ層にＴｒａｎｓｆｏｒｍｅｒのＥｎｃｏｄｅｒが用いられ、ベクトルのシーケンスが入力、出力されるモデルが適用されてもよい。

ここで、本変形例が適用可能な検者からの指示は、上述した様々な実施例及び変形例に記載のような種々の画像や解析結果の表示の変更、Ｅｎ−Ｆａｃｅ画像の生成のための深度範囲の選択、追加学習用の学習データとして用いるか否かの選択、学習済モデルの選択、種々の学習済モデルを用いて得た結果の出力（表示や送信等）や保存等、に関する少なくとも１つの指示であれば何でもよい。また、本変形例が適用可能な検者からの指示は、撮影後の指示だけでなく、撮影前の指示であってもよく、例えば、種々の調整に関する指示、種々の撮影条件の設定に関する指示、撮影開始に関する指示であってもよい。また、本変形例が適用可能な検者からの指示は、表示画面の変更（画面遷移）に関する指示であってもよい。

なお、機械学習モデルとしては、ＣＮＮ等の画像に関する機械学習モデルとＲＮＮ等の時系列データに関する機械学習モデルとを組み合わせた機械学習モデルであってもよい。このような機械学習モデルでは、例えば、画像に関する特徴量と時系列データに関する特徴量との関係性を学習することができる。機械学習モデルの入力層側がＣＮＮで、出力層側がＲＮＮである場合には、例えば、医用画像を入力データとし、該医用画像に関する文章（例えば、病変の有無、病変の種類、次の検査のレコメンド等）を出力データとする学習データを用いて学習が行われてもよい。これにより、例えば、医用画像に関する医療情報が自動的に文章で説明されるため、医療経験が浅い検者であっても、医用画像に関する医療情報を容易に把握することができる。また、機械学習モデルの入力層側がＲＮＮで、出力層側がＣＮＮである場合には、例えば、病変、所見、診断等の医療に関する文章を入力データとし、該医療に関する文章に対応する医用画像を出力データとする学習データを用いて学習が行われてもよい。これにより、例えば、検者が確認したい症例に関係する医用画像を容易に検索することができる。

また、検者からの指示や検者に対する出力には、文字や音声等の文章を任意の言語に機械翻訳する機械翻訳エンジン（機械翻訳モデル、機械翻訳用の学習済モデル）が用いられてもよい。なお、任意の言語は、検者からの指示に応じて選択可能に構成されてもよい。また、任意の言語は、言語の種類を自動認識する学習済モデルを用いることで自動選択可能に構成されてもよい。また、自動選択された言語の種類を検者からの指示に応じて修正可能に構成されてもよい。機械翻訳エンジンには、例えば、上述した自然言語処理に関する技術（例えば、ＳｅｑｕｅｎｃｅｔｏＳｅｑｕｅｎｃｅ）が適用されてもよい。例えば、機械翻訳エンジンに入力された文章が機械翻訳された後に、機械翻訳された文章を文字認識エンジン等に入力するように構成されてもよい。また、例えば、上述した種々の学習済モデルから出力された文章を機械翻訳エンジンに入力し、機械翻訳エンジンから出力された文章が出力されるように構成されてもよい。

また、上述した種々の学習済モデルが組み合わせて用いられてもよい。例えば、検者からの指示に対応する文字が文字認識エンジンに入力され、入力された文字から得た音声を他の種類の機械学習エンジン（例えば、機械翻訳エンジン等）に入力されるように構成されてもよい。また、例えば、他の種類の機械学習エンジンから出力された文字が文字認識エンジンに入力され、入力された文字から得た音声が出力されるように構成されてもよい。また、例えば、検者からの指示に対応する音声が音声認識エンジンに入力され、入力された音声から得た文字を他の種類の機械学習エンジン（例えば、機械翻訳エンジン等）に入力されるように構成されてもよい。また、例えば、他の種類の機械学習エンジンから出力された音声が音声認識エンジンに入力され、入力された音声から得た文字が表示部に表示されるように構成されてもよい。このとき、検者に対する出力として文字による出力か音声による出力かを、検者からの指示に応じて選択可能に構成されてもよい。また、検者からの指示として文字による入力か音声による入力かを、検者からの指示に応じて選択可能に構成されてもよい。また、検者からの指示による選択によって、上述した種々の構成が採用されるようにしてもよい。

（変形例１３）
上述した様々な実施例及び変形例において、高画質画像等は、検者からの指示に応じて記憶部２４０に保存されてもよい。このとき、高画質画像等を保存するための検者からの指示の後、ファイル名の登録の際に、推奨のファイル名として、ファイル名のいずれかの箇所（例えば、最初の箇所、最後の箇所）に、高画質化用の学習済モデルを用いた処理（高画質化処理）により生成された画像であることを示す情報（例えば、文字）を含むファイル名が、検者からの指示に応じて編集可能な状態で表示されてもよい。

また、レポート画面等の種々の表示画面において、表示部に高画質画像を表示させる際に、表示されている画像が高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示が、高画質画像とともに表示されてもよい。この場合には、ユーザは、当該表示によって、表示された高画質画像が撮影によって取得した画像そのものではないことが容易に識別できるため、誤診断を低減させたり、診断効率を向上させたりすることができる。なお、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示は、入力画像と当該処理により生成された高画質画像とを識別可能な表示であればどのような態様のものでもよい。また、高画質化用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルを用いた処理により生成された結果であることを示す表示が、その結果とともに表示されてもよい。

このとき、レポート画面等の表示画面は、検者からの指示に応じて、画像データとして記憶部２４０に保存されてもよい。例えば、高画質画像等と、これらの画像が高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示とが並んだ１つの画像としてレポート画面が記憶部２４０に保存されてもよい。

また、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示について、高画質化用の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部２７０に表示されてもよい。当該表示としては、学習データの入力データと正解データの種類の説明や、入力データと正解データに含まれる撮影部位等の正解データに関する任意の表示を含んでよい。なお、高画質化用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部２７０に表示されてもよい。

また、高画質化用の学習済モデルを用いた処理により生成された画像であることを示す情報（例えば、文字）を、高画質画像等に重畳した状態で表示又は保存されるように構成されてもよい。このとき、画像上に重畳する箇所は、撮影対象となる注目部位等が表示されている領域には重ならない領域（例えば、画像の端）であればどこでもよい。また、重ならない領域を判定し、判定された領域に重畳させてもよい。

また、レポート画面の初期表示画面として、高画質化ボタン３４２０がアクティブ状態（高画質化処理がオン）となるようにデフォルト設定されている場合には、検者からの指示に応じて、高画質画像等を含むレポート画面に対応するレポート画像がサーバに送信されるように構成されてもよい。また、高画質化ボタン３４２０がアクティブ状態となるようにデフォルト設定されている場合には、検査終了時（例えば、検者からの指示に応じて、撮影確認画面やプレビュー画面からレポート画面に変更された場合）に、高画質画像等を含むレポート画面に対応するレポート画像がサーバに（自動的に）送信されるように構成されてもよい。このとき、デフォルト設定における各種設定（例えば、レポート画面の初期表示画面におけるＥｎ−Ｆａｃｅ画像の生成のための深度範囲、解析マップの重畳の有無、高画質画像か否か、経過観察用の表示画面か否か等の少なくとも１つに関する設定）に基づいて生成されたレポート画像がサーバに送信されるように構成されてもよい。

なお、記憶部２４０を用いて保存する構成を上述したが、記憶部２４０は、ネットワークのデータサーバ、クラウド、データベース等であってもよい。また、表示部２７０の表示制御は、記憶部２４０、データ管理媒体、画像管理システムを通じて実行されてもよい。ここで、画像管理システムは、撮影装置によって撮影された画像や画像処理された画像を受信して保存する装置及びシステムである。また、画像管理システムは、接続された装置の要求に応じて画像を送信したり、保存された画像に対して画像処理を行ったり、画像処理の要求を他の装置に要求したりすることができる。画像管理システムとしては、例えば、画像保存通信システム（ＰＡＣＳ）を含むことができる。特に、下記実施形態に係る画像管理システムは、受信した画像とともに関連付けられた被検者の情報や撮影時間などの各種情報も保存可能なデータベースを備える。また、画像管理システムはネットワークに接続され、他の装置からの要求に応じて、画像を送受信したり、画像を変換したり、保存した画像に関連付けられた各種情報を送受信したりすることができる。また、画像管理システムにおいて、上述した様々な実施例及び変形例における学習に関する内容を識別するための情報（上述したように、画像に重畳させる、ファイル名に記述する、ファイル内部のヘッダに情報を記載する）を画像および情報に紐付けしてもよい。これにより、例えば、保存されている画像が、学習済モデルを用いた処理後の画像であるかどうかを容易に識別することができる。また、画像管理システムは、このような画像データを受信した際に、受信した画像データが学習済モデルを用いて処理して得たデータであるか否かを、送信元に確認するように構成されてもよい。また、紐付けする情報は、学習モデル情報（他の処理、疾患、装置、リーディングセンター）であってもよい。また、本変形例における保存される情報及び表示される情報は、上述したような、学習済の画像評価結果（数値、評価内容、追加学習などの情報）であってもよい。

（変形例１４）
上述した様々な実施例及び変形例において、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルで得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像）を、第１の種類とは異なる第２の種類の学習済モデルに入力してもよい。このとき、第２の種類の学習済モデルの処理による結果（例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果）が生成されるように構成されてもよい。

また、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルの処理による結果（例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果）を用いて、第１の種類の学習済モデルに入力した画像から、第１の種類とは異なる第２の種類の学習済モデルに入力する画像を生成してもよい。このとき、生成された画像は、第２の種類の学習済モデルにより処理する画像として適した画像である可能性が高い。このため、生成された画像を第２の種類の学習済モデルに入力して得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像）の精度を向上することができる。

なお、共通の画像が、第１の種類の学習済モデルと第２の種類の学習済モデルとに入力されることで、これらの学習済モデルを用いた各処理結果の生成（あるいは表示）を実行するように構成されてもよい。このとき、例えば、検者からの指示に応じて、これらの学習済モデルを用いた各処理結果の生成（あるいは表示）を一括して（連動して）実行するように構成されてもよい。また、入力させる画像の種類（例えば、高画質画像、物体認識結果、セグメンテーション結果、類似症例画像）、生成（あるいは表示）させる処理結果の種類（例えば、高画質画像、診断結果、解析結果、物体認識結果、セグメンテーション結果、類似症例画像）、入力の種類や出力の種類（例えば、文字、音声、言語）等をそれぞれ検者からの指示に応じて選択可能に構成されてもよい。また、入力の種類は、入力の種類を自動認識する学習済モデルを用いることで自動選択可能に構成されてもよい。また、出力の種類は、入力の種類と対応する（例えば、同じ種類になる）ように自動選択可能に構成されてもよい。また、自動選択された種類を検者からの指示に応じて修正可能に構成されてもよい。このとき、選択された種類に応じて少なくとも１つの学習済モデルが選択されるように構成されてもよい。このとき、複数の学習済モデルが選択された場合には、選択された種類に応じて複数の学習済モデルの組み合わせ方（例えば、データを入力させる順番等）が決定されてもよい。なお、例えば、入力させる画像の種類と、生成（あるいは表示）させる処理結果の種類とが、異なるように選択可能に構成されてもよいし、同じである場合には異なるように選択することを促す情報を検者に対して出力するように構成されてもよい。また、各学習済モデルはどの場所で実行されてもよい。例えば、複数の学習済モデルのうちの一部がクラウドサーバで用いられ、他はフォグサーバやエッジサーバ等の別のサーバで用いられるように構成されてもよい。

なお、施設内や、施設が含まれる敷地内、複数の施設が含まれる地域内等のネットワークを無線通信可能に構成する場合には、例えば、施設や、敷地、地域等に限定で割り当てられた専用の波長帯域の電波を用いるように構成することで、ネットワークの信頼性を向上させてもよい。また、高速や、大容量、低遅延、多数同時接続が可能な無線通信によりネットワークが構成されてもよい。これらにより、例えば、硝子体、白内障、緑内障、角膜屈折矯正、外眼等の手術や、レーザー光凝固等の治療が、遠隔であってもリアルタイムに支援することができる。このとき、例えば、これらの手術や治療に関する装置により得た種々の医用画像の少なくとも１つを無線により受信したフォグサーバやエッジサーバ等が種々の学習済モデルの少なくとも１つを用いて得た情報を手術や治療に関する装置に無線で送信するように構成されてもよい。また、例えば、手術や治療に関する装置に無線で受信した情報が、上述したような光学系や光学部材の移動量（ベクトル）であってもよく、この場合、手術や治療に関する装置が自動制御されるように構成されてもよい。また、例えば、検者による操作の支援を目的として、検者の許可を伴う自動制御（半自動制御）として構成されてもよい。

また、上述したような種々の学習済モデルは、被検体の２次元の医用画像を含む学習データを学習して得た学習済モデルであってもよいし、また、被検体の３次元の医用画像を含む学習データを学習して得た学習済モデルであってもよい。

また、上述したような学習済モデルの処理による解析結果や診断結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似症例画像検索を行ってもよい。また、上述したような種々の学習済モデルの処理による物体認識結果やセグメンテーション結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似症例画像検索を行ってもよい。なお、データベースにおいて保存されている複数の画像が、既に機械学習等によって該複数の画像それぞれの特徴量を付帯情報として付帯された状態で管理されている場合等には、画像自体を検索キーとする類似症例画像検索エンジン（類似症例画像検査モデル、類似症例画像検索用の学習済モデル）が用いられてもよい。例えば、制御部２００は、（高画質化用の学習済モデルとは異なる）類似症例画像検索用の学習済モデルを用いて、種々の医用画像から該医用画像に関連する類似症例画像の検索を行うことができる。また、例えば、表示制御部２５０は、種々の医用画像から類似症例画像検索用の学習済モデルを用いて得た類似症例画像を表示部２７０に表示させることができる。このとき、類似症例画像は、例えば、学習済モデルに入力された医用画像の特徴量と類似する特徴量の画像である。また、類似症例画像は、例えば、学習済モデルに入力された医用画像において異常部位等の部分領域が含まれる場合には、異常部位等の部分領域の特徴量と類似する特徴量の画像である。このため、例えば、類似症例画像を精度よく検索するための学習を効率的に行うことができるだけでなく、医用画像において異常部位が含まれる場合には、検者は異常部位の診断を効率よく行うことができる。また、複数の類似症例画像が検索されてもよく、特徴量が類似する順番が識別可能に複数の類似症例画像が表示されてもよい。また、複数の類似症例画像のうち、検者からの指示に応じて選択された画像と該画像との特徴量とを含む学習データを用いて、類似症例画像検索用の学習済モデルが追加学習されるように構成されてもよい。

また、上述した実施例及び変形例に係る所定領域検出用、高画質化用、画像セグメンテーション処理用等の学習済モデルでは、断層画像の輝度値の大小、明部と暗部の順番や傾き、位置、分布、連続性等を特徴量の一部として抽出して、推定処理に用いているものと考えらえる。一方で、音声認識用や文字認識用、ジェスチャー認識用等の学習済モデルでは、時系列のデータを用いて学習を行っているため、入力される連続する時系列のデータ値間の傾きも特徴量の一部として抽出し、推定処理に用いているものと考えられる。そのため、このような学習済モデルは、具体的な数値の時間的な変化による影響を推定処理に用いることで、精度のよい推定を行うことができると期待される。

また、各種学習済モデルの学習データは、実際の撮影を行う眼科装置自体を用いて得たデータに限られず、所望の構成に応じて、同型の眼科装置を用いて得たデータや、同種の眼科装置を用いて得たデータ等であってもよい。

なお、上述した実施例及び変形例に係る各種学習済モデルは制御部２００に設けられることができる。学習済モデルは、例えば、ＣＰＵや、ＭＰＵ、ＧＰＵ、ＦＰＧＡ等のプロセッサーによって実行されるソフトウェアモジュール等で構成されてもよいし、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。また、これら学習済モデルは、制御部２００と接続される別のサーバの装置等に設けられてもよい。この場合には、制御部２００は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバ等に接続することで、学習済モデルを用いることができる。ここで、学習済モデルを備えるサーバは、例えば、クラウドサーバや、フォグサーバ、エッジサーバ等であってよい。なお、施設内や、施設が含まれる敷地内、複数の施設が含まれる地域内等のネットワークを無線通信可能に構成する場合には、例えば、施設や、敷地、地域等に限定で割り当てられた専用の波長帯域の電波を用いるように構成することで、ネットワークの信頼性を向上させてもよい。また、高速や、大容量、低遅延、多数同時接続が可能な無線通信によりネットワークが構成されてもよい。

（変形例１５）
なお、上記実施例及び変形例におけるモーションコントラストデータの生成処理は、断層画像の輝度値に基づいて行われる構成に限られない。上記各種処理は、ＯＣＴ撮影部１００で取得された干渉信号、干渉信号にフーリエ変換を施した信号、該信号に任意の処理を施した信号、及びこれらに基づく断層画像等を含む断層データに対して適用されてよい。これらの場合も、上記構成と同様の効果を奏することができる。

分割手段としてカプラを使用したファイバ光学系を用いているが、コリメータとビームスプリッタを使用した空間光学系を用いてもよい。また、ＯＣＴ撮影部１００の構成は、上記の構成に限られず、ＯＣＴ撮影部１００に含まれる構成の一部をＯＣＴ撮影部１００と別体の構成としてもよい。

また、上記実施例及び変形例では、ＯＣＴ撮影部１００の干渉光学系としてマッハツェンダー型干渉計の構成を用いているが、干渉光学系の構成はこれに限られない。例えば、ＯＣＴ装置１の干渉光学系はマイケルソン干渉計の構成を有していてもよい。

さらに、上記実施例及び変形例では、ＯＣＴ装置として、ＳＬＤを光源として用いたスペクトラルドメインＯＣＴ（ＳＤ−ＯＣＴ）装置について述べたが、本発明によるＯＣＴ装置の構成はこれに限られない。例えば、出射光の波長を掃引することができる波長掃引光源を用いた波長掃引型ＯＣＴ（ＳＳ−ＯＣＴ）装置等の他の任意の種類のＯＣＴ装置にも本発明を適用することができる。また、ライン光を用いたＬｉｎｅ−ＯＣＴ装置（あるいはＳＳ−Ｌｉｎｅ−ＯＣＴ装置）に対して本発明を適用することもできる。また、エリア光を用いたＦｕｌｌＦｉｅｌｄ−ＯＣＴ装置（あるいはＳＳ−ＦｕｌｌＦｉｅｌｄ−ＯＣＴ装置）にも本発明を適用することもできる。

また、上記実施例及び変形例では、取得部２１０は、ＯＣＴ撮影部１００で取得された干渉信号や画像処理部２２０で生成された三次元断層画像等を取得した。しかしながら、取得部２１０がこれらの信号や画像を取得する構成はこれに限られない。例えば、取得部２１０は、制御部とＬＡＮ、ＷＡＮ、又はインターネット等を介して接続されるサーバや撮影装置からこれらの信号を取得してもよい。

なお、学習済モデルは、画像処理装置である制御部２００，９００，１４００に設けられることができる。学習済モデルは、例えば、ＣＰＵ等のプロセッサーによって実行されるソフトウェアモジュール等で構成されることができる。また、学習済モデルは、制御部２００，９００，１４００と接続される別のサーバ等に設けられてもよい。この場合には、制御部２００，９００，１４００は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバに接続することで、学習済モデルを用いて画質向上処理を行うことができる。なお、学習済モデルが設けられるサーバは、例えば、クラウドサーバ、フォグサーバ、エッジサーバ等のどのような形態でもよい。

（変形例１６）
また、上述した様々な実施例及び変形例による画像処理装置又は画像処理方法によって処理される画像は、任意のモダリティ（撮影装置、撮影方法）を用いて取得された医用画像を含む。処理される医用画像は、任意の撮影装置等で取得された医用画像や、上記実施例及び変形例による画像処理装置又は画像処理方法によって作成された画像を含むことができる。

さらに、処理される医用画像は、被検者（被検体）の所定部位の画像であり、所定部位の画像は被検者の所定部位の少なくとも一部を含む。また、当該医用画像は、被検者の他の部位を含んでもよい。また、医用画像は、静止画像又は動画像であってよく、白黒画像又はカラー画像であってもよい。さらに医用画像は、所定部位の構造（形態）を表す画像でもよいし、その機能を表す画像でもよい。機能を表す画像は、例えば、ＯＣＴＡ画像、ドップラーＯＣＴ画像、ｆＭＲＩ画像、及び超音波ドップラー画像等の血流動態（血流量、血流速度等）を表す画像を含む。なお、被検者の所定部位は、撮影対象に応じて決定されてよく、人眼（被検眼）、脳、肺、腸、心臓、すい臓、腎臓、及び肝臓等の臓器、頭部、胸部、脚部、並びに腕部等の任意の部位を含む。

また、医用画像は、被検者の断層画像であってもよいし、正面画像であってもよい。正面画像は、例えば、眼底正面画像や、前眼部の正面画像、蛍光撮影された眼底画像、ＯＣＴで取得したデータについて撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＥｎ−Ｆａｃｅ画像を含む。Ｅｎ−Ｆａｃｅ画像は、三次元のＯＣＴＡデータ（三次元のモーションコントラストデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＯＣＴＡのＥｎ−Ｆａｃｅ画像（モーションコントラスト正面画像）でもよい。また、三次元のＯＣＴデータや三次元のモーションコントラストデータは、三次元の医用画像データの一例である。

ここで、モーションコントラストデータとは、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得た複数のボリュームデータ間での変化を示すデータである。このとき、ボリュームデータは、異なる位置で得た複数の断層画像により構成される。そして、異なる位置それぞれにおいて、略同一位置で得た複数の断層画像の間での変化を示すデータを得ることで、モーションコントラストデータをボリュームデータとして得ることができる。なお、モーションコントラスト正面画像は、血流の動きを測定するＯＣＴアンギオグラフィ（ＯＣＴＡ）に関するＯＣＴＡ正面画像（ＯＣＴＡのＥｎ−Ｆａｃｅ画像）とも呼ばれ、モーションコントラストデータはＯＣＴＡデータとも呼ばれる。モーションコントラストデータは、例えば、２枚の断層画像又はこれに対応する干渉信号間の脱相関値、分散値、又は最大値を最小値で割った値（最大値／最小値）として求めることができ、公知の任意の方法により求められてよい。このとき、２枚の断層画像は、例えば、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得ることができる。

なお、略同一位置を測定光が複数回走査されるように走査手段を制御する際に、一つの走査（一つのＢスキャン）と次の走査（次のＢスキャン）との時間間隔（タイムインターバル）が変更（決定）されるように構成されてもよい。これにより、例えば、血管の状態によって血流速度が異なる場合があっても、血管領域を精度よく可視化することができる。このとき、例えば、検者からの指示に応じて、上記時間間隔が変更可能に構成されてもよい。また、例えば、検者からの指示に応じて、予め設定されている複数の時間間隔に対応する複数のモーションコントラスト画像から、いずれかのモーションコントラスト画像が選択可能に構成されてもよい。また、例えば、モーションコントラストデータを取得した際の時間間隔と該モーションコントラストデータとを対応づけて記憶部２４０に記憶可能に構成されてもよい。また、例えば、表示制御部２５０は、モーションコントラストデータを取得した際の時間間隔と該モーションコントラストデータに対応するモーションコントラスト画像とを表示部２７０に表示させてもよい。また、例えば、上記時間間隔が自動的に決定、あるいは上記時間間隔の少なくとも１つの候補が決定されるように構成されてもよい。このとき、例えば、機械学習モデルを用いて、モーションコントラスト画像から、上記時間間隔が決定（出力）されるように構成されてもよい。このような機械学習モデルは、例えば、複数の時間間隔に対応する複数のモーションコントラスト画像を入力データとし、該複数の時間間隔から所望のモーションコントラスト画像を取得した際の時間間隔までの差を正解データとする学習データを学習することにより得ることができる。

また、Ｅｎ−Ｆａｃｅ画像は、例えば、２つの層境界の間の範囲のデータをＸＹ方向に投影して生成した正面画像である。このとき、正面画像は、光干渉を用いて得たボリュームデータ（三次元の断層画像）の少なくとも一部の深度範囲であって、２つの基準面に基づいて定められた深度範囲に対応するデータを二次元平面に投影又は積算して生成される。Ｅｎ−Ｆａｃｅ画像は、ボリュームデータのうちの、検出された網膜層に基づいて決定された深度範囲に対応するデータを二次元平面に投影して生成された正面画像である。なお、２つの基準面に基づいて定められた深度範囲に対応するデータを二次元平面に投影する手法としては、例えば、当該深度範囲内のデータの代表値を二次元平面上の画素値とする手法を用いることができる。ここで、代表値は、２つの基準面に囲まれた領域の深さ方向の範囲内における画素値の平均値、中央値又は最大値などの値を含むことができる。また、Ｅｎ−Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の一方を基準として、より深い方向又はより浅い方向に所定の画素数分だけ含んだ範囲であってもよい。また、Ｅｎ−Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の間の範囲から、操作者の指示に応じて変更された（オフセットされた）範囲であってもよい。

また、撮影装置とは、診断に用いられる画像を撮影するための装置である。撮影装置は、例えば、被検者の所定部位に光、Ｘ線等の放射線、電磁波、又は超音波等を照射することにより所定部位の画像を得る装置や、被写体から放出される放射線を検出することにより所定部位の画像を得る装置を含む。より具体的には、上述した様々な実施例及び変形例に係る撮影装置は、少なくとも、Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、ＳＰＥＣＴ装置、ＳＬＯ装置、ＯＣＴ装置、ＯＣＴＡ装置、眼底カメラ、及び内視鏡等を含む。

なお、ＯＣＴ装置としては、タイムドメインＯＣＴ（ＴＤ−ＯＣＴ）装置やフーリエドメインＯＣＴ（ＦＤ−ＯＣＴ）装置を含んでよい。また、フーリエドメインＯＣＴ装置はスペクトラルドメインＯＣＴ（ＳＤ−ＯＣＴ）装置や波長掃引型ＯＣＴ（ＳＳ−ＯＣＴ）装置を含んでよい。また、ＯＣＴ装置は、Ｄｏｐｐｌｅｒ−ＯＣＴ装置を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、波面補償光学系を用いた波面補償ＳＬＯ（ＡＯ−ＳＬＯ）装置や波面補償ＯＣＴ（ＡＯ−ＯＣＴ）装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、偏光位相差や偏光解消に関する情報を可視化するための偏光ＳＬＯ（ＰＳ−ＳＬＯ）装置や偏光ＯＣＴ（ＰＳ−ＯＣＴ）装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、病理顕微鏡ＳＬＯ装置や病理顕微鏡ＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、ハンドヘルド型のＳＬＯ装置やハンドヘルド型のＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、カテーテルＳＬＯ装置やカテーテルＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、ヘッドマウント型のＳＬＯ装置やヘッドマウント型のＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、双眼鏡型のＳＬＯ装置や双眼鏡型のＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置は、光学変倍可能な構成によって、撮影画角を変更可能なものであってもよい。また、ＳＬＯ装置は、ＲＧＢの各光源を用いて、１つの受光素子で時分割に受光する構成又は複数の受光素子で同時に受光する構成によって、カラー画像や蛍光画像を取得可能なものであってもよい。

上記実施例及び変形例の一つによれば、従来よりも画像診断に適した画像を生成することができる。

（その他の実施例）
本発明は、上述した様々な実施例及び変形例の１以上の機能を実現するソフトウェア（プログラム）を、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理でも実現可能である。コンピュータは、１つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。

このとき、プロセッサー又は回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサー又は回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、又はニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

以上、実施例及び変形例を参照して本発明について説明したが、本発明は上記実施例及び変形例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施例及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。

Claims

被検眼の前眼ＯＣＴＡ正面画像である第１の医用画像を取得する取得部と、
被検眼の眼底ＯＣＴＡ正面画像を学習データとして用いて得た学習済モデルを用いて、前記取得された第１の医用画像に対して画質向上処理して得た第２の医用画像を表示部に表示させる表示制御部と、
を備える、画像処理装置。
被検眼の眼底ＯＣＴＡ正面画像である第１の医用画像を取得する取得部と、
被検眼の前眼ＯＣＴＡ正面画像を学習データとして用いて得た学習済モデルを用いて、前記取得された第１の医用画像に対して画質向上処理して得た第２の医用画像を表示部に表示させる表示制御部と、
を備える、画像処理装置。
前記表示制御部は、被検眼の第１の断層画像に対して画質向上処理して得た第２の断層画像の位置を示すラインが重畳表示された前記第２の医用画像を前記表示部に表示させ、前記第２の医用画像上の該ラインの位置に対応する該第２の断層画像を前記表示部に表示させる、請求項１又は２に記載の画像処理装置。
前記表示制御部は、前記ラインの位置に対応する第２の断層画像における血管領域を示す情報を、前記ラインの位置に対応する前記第２の断層画像に重畳表示させる、請求項３に記載の画像処理装置。
前記学習済モデルの学習データは、重ね合わせ処理、最大事後確率推定処理、平滑化フィルタ処理及び階調変換処理のうちの一つの処理により得られた画像を含む、請求項１乃至４のいずれか一項に記載の画像処理装置。
前記学習済モデルの学習データは、前記第１の医用画像の撮影に用いられる撮影装置よりも高性能な撮影装置によって撮影された画像、又は前記第１の医用画像の撮影工程よりも工数の多い撮影工程で取得された画像を含む、請求項１乃至５のいずれか一項に記載の画像処理装置。
前記表示制御部は、被検体の医用画像を学習して得た解析結果生成用の学習済モデルを用いて生成された解析結果であって、前記第１の医用画像又は前記第２の医用画像に関する解析結果を前記表示部に表示させる、請求項１乃至６のいずれか一項に記載の画像処理装置。
前記表示制御部は、被検体の医用画像を学習して得た診断結果生成用の学習済モデルを用いて生成された診断結果であって、前記第１の医用画像又は前記第２の医用画像に関する診断結果を前記表示部に表示させる、請求項１乃至７のいずれか一項に記載の画像処理装置。
前記表示制御部は、前記第１の医用画像又は前記第２の医用画像が入力された敵対的生成ネットワーク又はオートエンコーダを用いて生成された画像と、該敵対的生成ネットワーク又はオートエンコーダに入力された医用画像との差に関する情報を、異常部位に関する情報として前記表示部に表示させる、請求項１乃至８のいずれか一項の記載の画像処理装置。
前記表示制御部は、被検体の医用画像を学習して得た類似症例画像検索用の学習済モデルを用いて検索された類似症例画像であって、前記第１の医用画像又は前記第２の医用画像に関する類似症例画像を前記表示部に表示させる、請求項１乃至９のいずれか一項に記載の画像処理装置。
前記表示制御部は、被検体の医用画像を学習して得た物体認識用の学習済モデルまたはセグメンテーション用の学習済モデルを用いて生成された物体検出結果またはセグメンテーション結果であって、前記第１の医用画像又は前記第２の医用画像に関する物体検出結果またはセグメンテーション結果を、前記表示部に表示させる、請求項１乃至１０のいずれか一項に記載の画像処理装置。
前記表示制御部は、前記第１の医用画像及び前記第２の医用画像を学習済モデルに入力して得た画像、情報、又は結果を、前記表示部に表示させる、請求項７乃至１１のいずれか一項に記載の画像処理装置。
前記画質向上処理に関する検者からの指示は、文字認識用の学習済モデルと音声認識用の学習済モデルとジェスチャー認識用の学習済モデルとのうち少なくとも１つの学習済モデルを用いて得た情報である、請求項１乃至１２のいずれか一項に記載の画像処理装置。
前記第２の医用画像のファイル名は、前記画質向上処理を行って生成された画像であることを示す情報を、検者からの指示に応じて編集可能な状態で含む、請求項１乃至１３のいずれか一項に記載の画像処理装置。
被検眼の前眼ＯＣＴＡ正面画像である第１の医用画像を取得する工程と、
被検眼の眼底ＯＣＴＡ正面画像を学習データとして用いて得た学習済モデルを用いて、前記取得された第１の医用画像に対して画質向上処理して得た第２の医用画像を表示部に表示させる工程と、
を含む、画像処理方法。
被検眼の眼底ＯＣＴＡ正面画像である第１の医用画像を取得する工程と、
被検眼の前眼ＯＣＴＡ正面画像を学習データとして用いて得た学習済モデルを用いて、前記取得された第１の医用画像に対して画質向上処理して得た第２の医用画像を表示部に表示させる工程と、
を含む、画像処理方法。
プロセッサーによって実行されると、該プロセッサーに請求項１５又は１６に記載の画像処理方法の各工程を実行させる、プログラム。