JP2021069667A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 ＯＣＴ等で得た断層画像や正面画像等の医用画像のノイズを効果的に低減する。【解決手段】 画像処理装置は、被写体を撮像して得た第１の医用画像におけるノイズの位置を検出する手段と、第１の医用画像における検出されたノイズの位置の画素値を低減させた第２の医用画像と、第１の医用画像におけるノイズが低減されたと推定される推定画像とを生成する手段と、第２の医用画像と推定画像との差に関する第１項と推定画像に関する第２項とを含む目的関数を用いて、推定画像を変更する手段と、目的関数が所定の条件を満たすように変更して得た推定画像をノイズ低減画像として出力する手段と、を有する。【選択図】 図４

Description

開示の技術は、画像処理装置、画像処理方法及びプログラムに関する。

光干渉断層計（ＯＣＴ；Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）は、光の干渉を利用して断層像を撮影する装置であり、被写体は光を透過する物質なら何でもよい。特に眼科用の光干渉断層計は被写体が眼であり、網膜層内部の状態を三次元的に観察することが可能であり、断層画像撮影装置と呼ばれる。この断層画像撮影装置は、疾病の診断をより的確に行うのに有用であることから近年注目を集めている。ＯＣＴの形態として、広帯域な光源とマイケルソン干渉計を組み合わせたＴＤ−ＯＣＴ（Ｔｉｍｅ ｄｏｍａｉｎ ＯＣＴ）がある。これは、被検眼に光が入射した際に生じる後方散乱光と参照光との干渉光を計測し、参照光の光路長と後方散乱光の光路長が一致するときに反射強度が大きくなることを利用して、被検眼の深さ方向の情報を得るように構成されたものである。ＴＤ−ＯＣＴは１回の計測により深さ方向のある１点の情報しか得られない。このため、ＴＤ−ＯＣＴは、参照光を反射させる参照光ミラーを機械的に動かすことにより、参照光の光路長を変更しながら、深さ方向の複数点の情報を取得する必要がある。そのため、より高速に画像を取得する方法として、ＦＤ−ＯＣＴ（Ｆｏｕｒｉｅｒ ｄｏｍａｉｎ ＯＣＴ）が開発された。ＦＤ−ＯＣＴは、１回の計測により深さ方向の情報がすべて得られる。このため、ＦＤ−ＯＣＴでは、深さ方向の機械的走査が不要となり、ＴＤ−ＯＣＴより高速に計測することができる。ＦＤ−ＯＣＴには、２種類のＯＣＴが知られている。一つは、広帯域光源を用いて分光器でインターフェログラムを取得してフーリエ空間で情報を得るＳＤ−ＯＣＴ（Ｓｐｅｃｔｒａｌ ｄｏｍａｉｎ ＯＣＴ）である。もう一つは、光源の発信波長を高速に変化させることにより光波の干渉をフーリエ空間で行うＳＳ−ＯＣＴ（Ｓｗｅｐｔ Ｓｏｕｒｃｅ ＯＣＴ）である。ＦＤ−ＯＣＴの断層画像は、観測信号をフーリエ変換して得られる複素データの絶対値成分である。この絶対値成分の信号は、輝度画像や強度画像と呼ばれている。

ここで、ＯＣＴの画像のノイズ低減方法として、畳み込みフィルタによる方法（例えば、３ｘ３のサイズのガウシアンフィルタを画像に適用する方法）がある。この方法は、局所的な画像領域に対してノイズ低減を適用する方法である。具体的には、画像全体の個々の局所的な部分に対してこのノイズ低減を順次適用することにより、画像全体としてノイズ低減が行われる。また、ＯＣＴの画像のノイズ低減方法として、全変動ノイズ低減法（全変動ノイズ除去法）という方法が知られている（特許文献１）。この方法は、画像全体の変動成分の量を考慮して、ノイズ低減を行う方法である。すなわち、ノイズ低減後の画像全体の変動成分量がある値になるようにノイズ低減が行われる。ここで、変動成分とは、隣の画素との差分の絶対値である。例えば、画像全体の変動成分量がゼロの場合とは、画像の全部の画素値が同じ値の場合である。画像全体の変動成分量をコントロールすることにより、ノイズ低減の効果の強さが決まる。変動成分量が少なくなるようにノイズ低減を行う場合、エッジ成分やランダムノイズ成分のような変動成分が削減されて、出力画像は「のっぺり」した感じになる。反対に、変動成分量が多くなるようにノイズ低減を行う場合、エッジ成分やランダムノイズ成分が削減されないため、ノイズ低減の効果は弱くなる。

特表２０１８−５３１７７３号公報

ところで、ＯＣＴの画像に従来の全変動ノイズ低減法をそのまま適用しても、黒点ノイズを効果的に低減することが難しいために、効果的にノイズ低減が行われない場合があることが分かった。ここで、黒点ノイズとは、図７（ｂ）のようなものである。なお、図７（ａ）は、ＯＣＴの断層画像であり、この一部を拡大したものが図７（ｂ）である。図７（ｂ）ように黒い点が多く点在しており（以下、黒点と呼ぶ）、これが画質を低減する要因の一つとなっている。特に、構造物である網膜層の上に黒点が存在し、医者が網膜層を観察するときに、この黒点が邪魔をするため、診断を難しくさせる場合があった。

開示の技術の目的の一つは、上記課題に鑑みてなされたものであり、ＯＣＴ等で得た断層画像や正面画像等の医用画像のノイズを効果的に低減することである。

なお、上記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本件の他の目的の１つとして位置付けることができる。

開示の画像処理装置の一つは、
被写体を撮像して得た第１の医用画像におけるノイズの位置を検出する手段と、
前記第１の医用画像における前記検出されたノイズの位置の画素値を低減させた第２の医用画像と、前記第１の医用画像におけるノイズが低減されたと推定される推定画像とを生成する手段と、
前記第２の医用画像と前記推定画像との差に関する第１項と前記推定画像に関する第２項とを含む目的関数を用いて、前記推定画像を変更する手段と、
前記目的関数が所定の条件を満たすように変更して得た推定画像をノイズ低減画像として出力する手段と、を有する。

開示の技術の一つによれば、ＯＣＴ等で得た断層画像や正面画像等の医用画像のノイズを効果的に低減することができる。

画像処理システムの構成を示す図。 眼部の構造と断層画像と眼底画像を説明するための図。 画像処理システムにおける処理の流れを示すフローチャート。 画像処理装置におけるノイズ低減部を説明するためのブロック図。 比率λを変更するＧＵＩの一例。 乱数で黒点の位置を予測する場合のノイズ低減部を説明するためのブロック図。 黒点ノイズを説明するための図。 高画質化処理の一例を説明するための図。 機械学習モデルとして用いられるニューラルネットワークの構成の一例。 機械学習モデルとして用いられるニューラルネットワークの構成の一例。

（第１の実施形態）
以下、図面を参照しながら、第１の実施形態に係る画像処理装置を備える画像処理システムと、眼の構造ならびに画像処理システムで取得する眼の画像について、詳細を説明する。

まず、図２は、画像処理システムで取得する眼の構造と画像を示す図である。図２（ａ）に眼球の模式図を示す。図２（ａ）において、Ｃは角膜、ＣＬは水晶体、Ｖは硝子体、Ｍは黄斑部（黄斑の中心部は中心窩を表す）、Ｄは視神経乳頭部を表す。本実施形態にかかる断層画像撮影装置２００は、主に、硝子体、黄斑部、視神経乳頭部を含む網膜の後極部を撮影する場合について説明を行う。なお、本実施形態では説明をしないが、断層画像撮影装置２００は、角膜、水晶体の前眼部を撮影することも可能である。

また、図１は、本実施形態に係る画像処理装置３００を備える画像処理システム１００の構成を示す図である。図１に示すように、画像処理システム１００は、画像処理装置３００が、インタフェースを介して断層画像撮影装置（ＯＣＴとも言う）２００、眼底画像撮影装置４００、外部記憶部５００、表示部６００、入力部７００と接続されることにより構成されている。

ここで、断層画像撮影装置２００は、不図示の被写体である眼を撮像し、眼網膜層の断層画像を生成する。なお、断層画像は、被写体を撮像して得た第１の医用画像の一例である。このとき、断層画像撮影装置２００は、測定光を照射した被検眼からの戻り光と測定光に対応する参照光とによる干渉光を受光するように構成される。また、断層画像撮影装置２００は、フーリエドメイン型のＯＣＴ装置が好適に用いられる。また、断層画像撮影装置２００は、例えば、干渉光を受光する受光手段がラインセンサ等により構成されるＳＤ−ＯＣＴや、波長掃引光源が用いられるＳＳ−ＯＣＴにより構成される。また、断層画像撮影装置２００は、画像処理装置３００と通信可能に接続されるが、画像処理装置３００を断層画像撮影装置２００の内部に組み込むように構成されていても良い。なお、断層画像撮影装置２００は、既知の装置であるため詳細な説明は省略し、ここでは、画像処理装置３００からの指示により行われる断層画像の撮影について説明を行う。

まず、図１において、走査手段の一例であるガルバノミラー２０１は、測定光の眼底における走査を行うためのものであり、ＯＣＴによる眼底の撮影範囲を規定する。また、駆動制御部２０２は、ガルバノミラー２０１の駆動範囲および速度を制御することで、眼底における平面方向の撮影範囲及び走査線数（平面方向の走査速度）を規定する。また、駆動制御部２０２は、被検眼の同一位置で測定光を走査するように走査手段を制御する。ここでは、簡単のためガルバノミラーは一つのユニットとして示したが、実際にはＸスキャン用のミラーとＹスキャン用の２枚のミラーで構成され、眼底上で所望の範囲を測定光で走査できる。

また、フォーカス２０３は被写体である眼の前眼部を介し、眼底の網膜層にフォーカスするためのものである。測定光は、非図示のフォーカスレンズにより、被写体である眼の前眼部を介し、眼底の網膜層にフォーカスされる。眼底を照射した測定光は各網膜層で反射・散乱して戻る。なお、硝子体を詳細に観察する場合には、網膜層よりも前眼部側にフォーカスを移動させ、硝子体にフォーカスを合わせる。

また、内部固視灯２０４は、表示部２４１、レンズ２４２で構成される。表示部２４１として複数の発光ダイオード（ＬＤ）がマトリックス状に配置されたものを用いる。発光ダイオードの点灯位置は、駆動制御部２０２の制御により撮影したい部位に合わせて変更される。表示部２４１からの光は、レンズ２４２を介し、被検眼に導かれる。表示部２４１から出射される光は５２０ｎｍで、駆動制御部２０２により所望のパターンが表示される。

また、コヒーレンスゲートステージ２０５は、被検眼の眼軸長の相違等に対応するため、駆動制御部２０２により制御されている。コヒーレンスゲートとは、ＯＣＴにおける測定光と参照光の光学距離が等しい位置を表す。さらには、撮影方法としてコヒーレンスゲートの位置を制御することにより、網膜層側か、あるいは網膜層より深部側とする撮影を行うことを制御する。ここで、断層画像撮影装置２００で取得される断層画像について図２（ｂ）を用いて説明する。図２（ｂ）において、Ｖは硝子体、Ｍは黄斑部、Ｄは視神経乳頭部を表す。また、Ｌ１は内境界膜（ＩＬＭ）と神経線維層（ＮＦＬ）との境界、Ｌ２は神経線維層と神経節細胞層（ＧＣＬ）との境界、Ｌ３は視細胞内節外節接合部（ＩＳＯＳ）、Ｌ４は網膜色素上皮層（ＲＰＥ）、Ｌ５はブルッフ膜（ＢＭ）、Ｌ６は脈絡膜を表す。断層画像において、横軸（ＯＣＴの主走査方向）をｘ軸、縦軸（深さ方向）をｚ軸とする。

また、眼底画像撮影装置４００は、眼部の眼底画像を撮影する装置であり、当該装置としては、例えば、眼底カメラやＳＬＯ（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｏｔｈａｌｍｏｓｃｏｐｅ）等が挙げられる。図２（ｃ）に眼部の眼底画像を示す。図２（ｃ）において、Ｍは黄斑部、Ｄは視神経乳頭部を表し、太い曲線は網膜の血管を表す。眼底画像において、横軸（ＯＣＴの主走査方向）をｘ軸、縦軸（ＯＣＴの副走査方向）をｙ軸とする。なお、断層画像撮影装置２００と眼底画像撮影装置４００の装置構成は、一体型でもよいし別体型でもよい。

また、画像処理装置３００は、画像取得部３０１、記憶部３０２、画像処理部３０３、指示部３０４、表示制御部３０５を備える。画像取得部３０１は、断層画像生成部３１１からなり、断層画像撮影装置２００により撮影された断層画像の信号データを取得し、信号処理を行うことで断層画像の生成を行う。また、眼底画像撮影装置４００により撮影された眼底画像データを取得する。そして、生成した断層画像と眼底画像を記憶部３０２に格納する。画像処理部３０３は、位置合わせ部３３１、検出部３３２、算出部３３３、ノイズ低減部３３４からなる。位置合わせ部３３１は、複数個の断層画像間の断層画像位置合わせや断層画像と眼底画像の位置合わせを行う。検出部３３２では、硝子体境界や硝子体領域を検出する。算出部３３３は、硝子体境界と網膜上層とで規定される領域に関する特徴を数値化する。ノイズ低減部３３４は、算出部３３３で算出を行う領域の指定を行う。

また、外部記憶部５００は、被検眼に関する情報（患者の氏名、年齢、性別など）と、撮影した画像データ、撮影パラメータ、画像解析パラメータ、操作者によって設定されたパラメータをそれぞれ関連付けて保持している。

また、入力部７００は、例えば、マウス、キーボード、タッチ操作画面などであり、操作者は、入力部７００を介して、画像処理装置３００や断層画像撮影装置２００、眼底画像撮影装置４００へ指示を行う。

次に、図３と図４を参照して本実施形態の画像処理装置３００の処理手順を示す。図３は、本実施形態における本システム全体の動作処理の流れを示すフローチャートである。図４は、本実施形態における画像処理部３０３のノイズ低減部３３４に関するブロック図である。

＜ステップＳ３０１＞
ステップＳ３０１では、不図示の被検眼情報取得部は、被検眼を同定する情報として被検者識別番号を外部から取得する。そして、被検者識別番号に基づいて、外部記憶部５００が保持している当該被検眼に関する情報を取得して記憶部３０２に記憶する。

＜ステップＳ３０２＞
ステップＳ３０２では被検眼をスキャンして撮影を行う。被検眼のスキャンは、操作者が非図示のスキャン開始を選択すると、断層画像撮影装置２００は、駆動制御部２０２を制御し、ガルバノミラー２０１を動作させて被検眼のスキャンを行う。ガルバノミラー２０１は、水平方向用のＸスキャナと垂直方向用のＹスキャナで構成される。そのため、これらのスキャナの向きをそれぞれ変更すると、装置座標系における水平方向（Ｘ）、垂直方向（Ｙ）それぞれの方向に走査することが出来る。そして、これらのスキャナの向きを同時に変更させることで、水平方向と垂直方向とを合成した方向に走査することが出来るため、眼底平面上の任意の方向に走査することが可能となる。

撮影を行うにあたり各種撮影パラメータの調整を行う。具体的には、内部固視灯の位置、スキャン範囲、スキャンパターン、コヒーレンスゲート位置、フォーカスを設定する。駆動制御部２０２は、表示部２４１の発光ダイオードを制御して、黄斑部中心や視神経乳頭に撮影を行うように内部固視灯２０４の位置を制御する。スキャンパターンは、３次元ボリュームを撮影するラスタースキャンや放射状スキャン、クロススキャンなどのスキャンパターンを設定する。本実施形態はＣスキャンとする。コヒーレンスゲート位置は硝子体側とし、フォーカスも硝子体に合わせて撮影を行うとする。

これら撮影パラメータの調整終了後、操作者が非図示の撮影開始を選択することで、撮影を行う。撮影を開始すると、Ａスキャン毎に干渉信号を出力する。

＜ステップＳ３０３＞
ステップＳ３０３では、被写体を撮像して得た第１の医用画像の一例である断層画像の生成を行う。断層画像生成部３１１は、それぞれの干渉信号に対して、一般的な再構成処理を行うことで、断層画像を生成する。

まず、断層画像生成部３１１は、干渉信号から固定パターンノイズ除去を行う。固定パターンノイズ除去は検出した複数のＡスキャン信号を平均することで固定パターンノイズを抽出し、これを入力した干渉信号から減算することで行われる。

次に、断層画像生成部３１１は、有限区間でフーリエ変換した場合にトレードオフの関係となる深さ分解能とダイナミックレンジを最適化するために、所望の窓関数処理を行う。次に、ＦＦＴ処理を行った結果に、絶対値の演算を施すことにより、絶対値の断層画像を得る。この絶対値の断層画像に対数演算を行ったものがＯＣＴの断層画像であり、輝度画像や強度画像と呼ばれるものである。

＜ステップＳ３０４＞
ステップＳ３０４では、ノイズ低減部３３４が断層画像のノイズを低減する。図４にノイズ低減部３３４のブロック図を示す。ノイズ低減部は、黒点を考慮した全変動ノイズ低減法（ｔｏｔａｌ ｖａｒｉａｔｉｏｎ ｄｅ−ｎｏｉｓｉｎｇ）を使用する。黒点とは、周囲の画素に比較して極端に暗い画素である。

ここで、従来の全変動ノイズ低減法について説明する。従来の全変動ノイズ低減法は、次式で表現される。

数式１において、Ｖは評価関数、ｇ（ｘ，ｙ）は入力画像、ｆ（ｘ，ｙ）は出力画像である。出力画像ｆ（ｘ，ｙ）は入力画像ｇ（ｘ，ｙ）のノイズを低減した画像である。入力画像ｇ（ｘ，ｙ）の大きさと出力画像ｆ（ｘ，ｙ）の大きさは同じである。数式１のΣ（ ）は画素毎に括弧の中を計算して画像全体について総和を計算し、ｄ／ｄｘはｘ方向の微分を計算し、ｄ／ｄｙはｙ方向の微分を計算する。λは、第１項と第２項の割合を決めるための比率である。評価関数Ｖのうち、ｆ（ｘ，ｙ）が変数であり、その他は固定値である。評価関数Ｖの値はゼロ以上の値である。

全変動ノイズ低減法は、入力画像ｇ（ｘ，ｙ）が与えられたときに、評価関数Ｖを最小化するような出力画像ｆ（ｘ，ｙ）を求める方法である。ここで評価関数Ｖの意味について言及する。第１項は入力画像と出力画像の差の二乗であるので、出力画像が入力画像と似ていれば第１項は小さくなり、第２項は出力画像の微分の大きさであるので、出力画像が滑らかであれば第２項は小さくなる。このことから、評価関数Ｖを小さくすることは、「出力画像は入力画像と似ているが、似ているだけでなく出力画像は滑らかである」ということを要請していることになる。第１項と第２項の割合はλの大きさで決定し、λが小さければ全体に占める第１項の割合が大きくなるので出力画像が入力画像と似ていることを強く要請することになる。λが大きければ全体に占める第２項の割合が大きくなるので、出力画像が滑らかであることを強く要請することになる。

ノイズ除去するなら、第２項だけでもよいように思えるが、もし評価関数が第２項だけで構成されていると、ｆ（ｘ，ｙ）＝５とかｆ（ｘ，ｙ）＝７などの、ｆ（ｘ，ｙ）の全画素が一定値のケースが求解されてしまう。なぜなら、全画素が一定値の場合、第２項はゼロとなり、その結果、評価関数はゼロとなり、最小値となるためである。全画素が一定値の場合、入力画像のノイズ低減の意味をなさない。そのため、第１項と第２項の両方が必要である。第１項を誤差項、第２項を全変動正則化項と呼ぶ。λは、全変動正則化項と前記誤差項の比率を変更するためのパラメータである。

出力画像ｆ（ｘ，ｙ）を求めるアルゴリズムとしては、最急降下法、ＡＤＭＭ（Ａｌｔｅｒｎａｔｉｎｇ Ｄｉｒｅｃｔｉｏｎ Ｍｅｔｈｏｄ ｏｆ Ｍｕｌｔｉｐｌｉｅｒｓ）、主−双対近接分離法、Ｉｔｅｒａｔｉｖｅｌｙ Ｒｅｗｅｉｇｈｔｅｄ Ｌｅａｓｔ Ｓｑｕａｒｅｓ法などが知られている。これらはいずれも反復法である。反復法であるから評価関数を徐々に最小化していくわけだが、このとき最小化に向かっている途中の状態の出力画像ｆ（ｘ，ｙ）はノイズ低減画像の推定画像と呼ぶ。最小化した状態の出力画像ｆ（ｘ，ｙ）はノイズ低減画像とか、ノイズ低減された画像と呼ぶ。ノイズ低減画像の推定画像は図４の目的関数最小化部３３４４が生成する。なお、目的関数の最小化は、目的関数が満たすべき所定の条件の一例であり、このとき、目的関数が所定の条件を満たすように変更して得た推定画像がノイズ低減画像として出力される。

全変動ノイズ低減法は人物写真や風景写真のノイズ低減に効果的に働く。しかし、上記数式１の入力画像ｇ（ｘ，ｙ）に断層画像を与えて、出力画像ｆ（ｘ，ｙ）を求解した場合、出力画像はノイズが十分に除去されない。理由は断層画像にガウス性のノイズだけでなく、黒点が多く含まれていることが原因である。第１項は出力画像と入力画像とが似ていることを要請しているわけであるが、入力画像の黒点が出力画像の同じ位置に黒点が存在することを要請してしまうためである。そのため、数式１を改良した次の評価関数Ｖ１を採用する方法がよい。本実施形態は、このＶ１を目的関数として使用する。

ここで、ｈ（ｘ，ｙ）は、ＯＣＴ装置が被写体を撮像して得た断層画像または正面画像の一例である第１の医用画像であって、第１の医用画像におけるノイズの位置の画素値を欠損（低減）させた画像であり、第２の医用画像（欠損画像）の一例である。本実施形態では、ｇ（ｘ，ｙ）において黒点の位置の画素をゼロにした画像である。Ａ（ｘ，ｙ）は、黒点の位置の画素をゼロ、その他の画素を１にした画像であり、ノイズの位置について画素値をマスクしたマスク画像である。本実施形態ではＡ（ｘ，ｙ）を観測行列と呼ぶ。

数式２は、次式でも同じである。

Ａ（ｘ，ｙ）の導入により、評価関数Ｖ１の第１項は、入力画像の黒点と同じ位置に出力画像の黒点が存在しない場合に評価関数の値が大きくならないようになる。すなわち、検出されたノイズ（黒点）の位置については、入力画像と出力画像との画素毎における画素値の差を考慮しないようにすることができる。このおかげで、出力画像に黒点が存在しなくなる、または黒点の数が軽減されることになり、従来の全変動ノイズ低減法よりも断層画像のノイズ低減の効果が高くなる。すなわち、ノイズ（黒点）の位置の画素値が改善された（ノイズの位置以外の画素値は似ているが、ノイズの位置の画素値は似ていない）出力画像を生成することが可能となる。このＡ（ｘ，ｙ）の生成は、ノイズ低減部３３４の内部ブロックの、観測行列生成部３３４２で行われる。

本実施形態では出力画像ｆ（ｘ，ｙ）は、ステップＳ３０３でＦＦＴ処理を行った結果に、絶対値の演算を施して、さらに対数演算を行った画像を考えているが、その対数演算を行わない画像を与えてもよい。この場合、評価関数はＶ２を使用するとよい。

評価関数Ｖ２において、δは対数演算を行う際に使用する定数である。評価関数Ｖ２を使用する場合は、求解アルゴリズムにより出力画像ｆ（ｘ，ｙ）を求めたのちに、対数演算を施して、断層画像のノイズ低減画像を得る。具体的には

を演算して対数画像を得て、断層画像のノイズ低減画像を得る。

画像処理システム１００は、ノイズ低減部３３４に、ステップＳ３０３で生成した断層画像と、ステップＳ３０２の撮影パラメータを入力する。ノイズ低減部３３４は、断層画像と撮影パラメータをノイズ検出部３３４１に入力する。また、ノイズ低減部３３４は、断層画像を目的関数最小化部３３４４に入力する。

ノイズ検出部３３４１は、断層画像からノイズの一種である黒点を検出して、黒点の画素位置を特定する。黒点を検出する方法としては、平均画像を作成して、平均画像と断層画像を比較するという方法がある。具体的には、断層画像の画素値が平均画像の画素値より７０％以下の画素を黒点と判断する。なお、この７０％という数字を説明の便宜上、数Ａと呼ぶ。数Ａが７０％とは本実施形態のケースであり、その他の実施形態として、数Ａが７０％より大きくても、また、小さくてもよい。黒点の発生は、撮影パラメータと関係性があるため、黒点が多く発生することが撮影パラメータから判断できるケースは、ノイズ検出部３３４１が数Ａを自動的に大きくするようにしてもよい。例えば、数Ａに初期値があり、黒点が多く発生することが撮影パラメータから判断できるケースは、初期値より大きくするという方法がある。この方法は相対的に設定するケースである。または、黒点が多く発生することが撮影パラメータから判断できるケースにおいて、ノイズ検出部３３４１が数Ａを設定してもよい。この方法は絶対的に設定するケースである。黒点が少なく発生することが撮影パラメータから判断できるケースは自動的に数Ａを小さくする方法を採ってもよい。つまり、数Ａは黒点を検出するための閾値である。

または、黒点の割合が画素全体の２０％となるように、ノイズ検出部３３４１が数Ａを探索的に決定してもよい。この２０％という数字を説明の便宜上、数Ｂと呼ぶ。数Ｂが大きいと黒点が多く検出することを意味し、数Ｂが小さいと黒点が少なく検出することを意味する。数Ａを決定すると画素の割合が決まる関係にあるので、黒点の割合が画素全体の２０％となるように数Ａを探索的に決定するとは、数Ａを１００％から少しずつ減少させながら、数Ｂが略２０％となる数Ａを見つけることを意味する。なお、本実施形態では、数Ｂは２０％であるが、その他の実施形態としては、２０％より大きくても、また、小さくてもよい。上述したように黒点の発生は、撮影パラメータと関係性があるため、黒点が多く発生することが撮影パラメータから判断できるケースは、ノイズ検出部３３４１が数Ｂを自動的に大きくするようにしてもよい。この場合、数Ａが探索的に決定されて、数Ａは大きくなる。つまり、数Ｂも黒点を検出するための閾値である。

ノイズ検出部３３４１が黒点の画素位置ｘ、ｙを特定したら、ノイズ検出部３３４１は黒点の画素位置を観測行列生成部３３４２へ入力する。観測行列生成部３３４２は入力された黒点の画素位置を使用して、評価関数Ｖ１やＶ２の、Ａ（ｘ，ｙ）を生成する。Ａ（ｘ，ｙ）の値は、黒点の位置の値がゼロで、それ以外が１である。ノイズ低減部３３４は、観測行列生成部３３４２が生成したＡ（ｘ，ｙ）を目的関数最小化部３３４４へ入力する。

さらに、ノイズ低減部３３４は、撮影パラメータを比率λ生成部３３４３に入力する。比率λ生成部３３４３は、評価関数Ｖ１やＶ２の比率λを生成するブロックである。比率λはノイズ低減の効果の強さを決めるパラメータであり、λが大きいほどノイズ低減の効果は大きくなる。ノイズの多さは撮影パラメータと関係があるため、比率λ生成部３３４３は撮影パラメータと関係して比率λを生成する。なお、別の実施形態として、比率λの生成は撮影パラメータに依存しなくてもよい。ノイズ低減部３３４は、比率λ生成部３３４３が生成したλを目的関数最小化部３３４４へ入力する。

目的関数最小化部３３４４は、目的関数を最小化するブロックである。本実施形態の目的関数は評価関数Ｖ１である。目的関数最小化部３３４４は、入力された断層画像を入力画像ｇ（ｘ，ｙ）とし、入力されたＡ（ｘ，ｙ）と入力されたλを使用して、目的関数を最小化する。目的関数最小化部３３４４は、反復を繰り返しても目的関数の値が変化しない状態にあることを検出したときに、目的関数が最小化したと判定する。本実施形態の最小化アルゴリズムは、ＡＤＭＭを使用するが、このアルゴリズムである必要はなく、目的関数を最小化することができるアルゴリズムを使用すればよい。最小化で得られる出力画像ｆ（ｘ，ｙ）がノイズ低減された断層画像である。ノイズ低減部３３４は、目的関数最小化部３３４４が生成したノイズ低減された断層画像をノイズ低減部３３４の外部へ出力する。画像処理システム１００は、ノイズ低減された断層画像を、記憶部３０２で記憶する。

なお、比率λは、画像処理システム１００が自動的に決めるのではなく、画像処理システムを操作する人間が変更する手段があってもよい。図５は、表示部と入力部を合わせたＧＵＩである。このＧＵＩは、画像表示部６００１と比率λ入力部７００１がある。画像表示部６００１はノイズ低減された断層画像を表示する領域であり、比率λ入力部７００１は比率λを連続的または離散的に値を変更するためのスライダーである。本実施形態はスライダーであるが、スライダーではなく、ボタンや直接数値を入力するようなＧＵＩであってもよい。図５は、比率λ入力部により比率λを変更すると、それに応じてノイズ低減部３３４が動作して、ノイズ低減された断層画像を画像表示部６００１に表示するＧＵＩの一例である。

また、本実施形態では、ノイズ検出部３３４１が黒点を検出したが、その他の実施形態としてノイズ検出部３３４１が白とび画素の位置を検出して観測行列生成部３３４２が白とび画素の位置をマスクするＡ（ｘ，ｙ）を生成してもよい。ここで、白とび画素とは、信号レベルが周辺近傍より極端に大きい画素である。または、その他の実施形態として、ノイズ検出部３３４１は、黒点と白とび画素の両方の位置を検出し、観測行列生成部３３４２が黒点と白とび画素の位置をマスクするＡ（ｘ，ｙ）を生成する構成であってもよい。

＜ステップＳ３０５＞
ステップＳ３０５では、検出部３３２がステップＳ３０３で生成した断層画像、または、ステップＳ３０４で生成したノイズ低減された断層画像から、網膜層の層境界を検出して、層境界線を出力する。本実施形態はステップＳ３０４で生成したノイズ低減された断層画像を使用する。検出部３３２は、まず、ステップＳ３０４でノイズ低減した断層画像にエッジ検出演算を施して、次に線強調フィルタを施す。線強調フィルタは、例えば、ヘッセ行列固有値に基づく強調フィルタなどがある。層検出部３３２は、エッジ検出演算の結果と、線強調フィルタの結果を用いて、層境界の位置を判断する。

＜ステップＳ３０７＞
ステップＳ３０７では、表示制御部３０５は、ノイズ低減した断層画像を表示部６００に表示させる。すなわち、表示制御部３０５は、ノイズ低減画像を表示部６００に表示させる。このとき、層検出部により検出した層境界線を断層画像に重畳して、表示部６００に表示してもよい。

＜ステップＳ３０８＞
ステップＳ３０８において、不図示の指示取得部は、画像処理システム１００による断層画像の撮影を終了するか否かの指示を外部から取得する。この指示は、入力部７００を用いて、操作者によって入力される。処理を終了する指示を取得した場合には、画像処理システム１００はその処理を終了する。一方、処理を終了せずに、撮影を続ける場合には、ステップＳ３０２に処理を戻して撮影を続行する。

以上によって、画像処理システム１００の処理が行われる。

（第２の実施形態）
以下、第２の実施形態について説明する。なお、本実施形態に係る画像処理装置を備える画像処理システムは、第１の実施形態と共通している部分がある。以下では、異なる点についてのみ、説明する。

第１の実施形態では、１枚の断層画像をスキャンしていた。第２の実施形態では、同じ箇所において複数回スキャンを繰り返して複数個の断層画像を得て、これらを加算平均してノイズ低減を行うとともに、ノイズ低減部３３４のノイズ低減を行う。なお、加算平均による処理は、複数の推定画像を合成する合成処理の一例であり、また、加算平均して得た加算平均画像は、合成画像の一例である。まず、第１の実施形態のステップＳ３０２に加えて、本実施形態では、撮影を行うにあたり各種撮影パラメータの調整を行う際に、加算平均する個数Ｎ（Ｎ≧２）も設定する。また、第１の実施形態のステップＳ３０２のスキャンパターンに関して、３次元ボリュームを撮影するラスタースキャンや放射状スキャン、クロススキャンなどのスキャンパターンを設定するところは同じであるが、本実施形態は、各スキャンパターンにおいて、一つのライン上を繰り返し撮影する点が異なる。加算平均する個数Ｎが繰り返し撮影する回数である。また、第１の実施形態のステップＳ３０３では、１枚のＣスキャンの断層画像を生成するが、本実施形態は、Ｎ枚のＣスキャンの断層画像を生成する。さらに、第１の実施形態のステップＳ３０４はノイズ低減を行うが、本実施形態は、ノイズ低減の前に、ステップＳ２０３で生成したＮ個（Ｎ≧２）のＣスキャンの断層画像を用いて、位置合わせ部３３１が絶対値の断層画像の位置合わせを行う。本実施形態では絶対値の断層画像を使用するが、絶対値の断層画像に対数演算を施した画像を使用してもよい。位置合わせ処理としては、例えば、２つの断層画像の類似度を表す評価関数を事前に定義しておき、この評価関数の値が最も良くなるように絶対値の断層画像を変形する。評価関数としては、画素値で評価する方法が挙げられる（例えば、相関係数を用いて評価を行う方法が挙げられる）。

Ｃスキャンの絶対値の断層画像同士の類似度を評価することはデータ量が多いため、処理時間がかかる。処理時間の高速化のために、Ｃスキャンの絶対値の断層画像から代表的な複数のＢスキャンの断層画像を取り出して絶対値の断層画像集合を作り、絶対値の断層画像集合毎に類似度を計算する。

類似度を表す評価関数として相関係数を用いた場合の式を数式６に示す。

数式６において、１枚目の絶対値の断層画像の領域をｆ（ｘ，ｚ）、２枚目の絶対値の断層画像の領域をｇ（ｘ，ｚ）とする。

は、それぞれ領域ｆ（ｘ，ｚ）と領域ｇ（ｘ，ｚ）の平均を表す。なお数式６のｆとｇは、数式１〜４のｆとｇとは別物である。ここで領域とは位置合わせに用いるための画像領域であり、通常断層画像のサイズ以下の領域が設定され、眼の断層画像においては網膜層領域を含むように設定される事が望ましい。画像の変形処理としては、アフィン変換を用いて並進や回転を行ったり、拡大率を変化させたりする処理が挙げられる。次に、画像処理システム１００は、位置合わせ部３３１が位置合わせした断層画像Ｎ個に対し、ノイズ低減部３３４で１枚ずつノイズ低減を行う。ノイズ低減部３３４は、Ｎ個のノイズ低減された断層画像を出力する。その後、画像処理システム１００が、Ｎ個のノイズ低減された断層画像について、同じ座標のピクセル同士の加算平均を行い、加算平均をした断層画像を生成する。これらの処理を各ラインにおける複数の絶対値の断層画像に対して実行する。加算平均処理を行うことで、ノイズを減らし硝子体や網膜の信号を強調した高画質な画像を生成する事が出来る。

本実施形態によれば、加算平均のノイズ低減効果だけでなく、ノイズ低減部３３４によるノイズ低減効果が得られる。そのため、Ｎ回のスキャン回数の加算平均のみで得られるノイズ低減効果と同じ効果を、Ｎより少ないスキャン回数で得ることができる。スキャン回数が少ないと、患者を検査する時間が短くなるので、患者の負担を少なくする効果がある。なお、本実施形態では、スキャンの方法はＣスキャンであるが、他の実施形態として、クロススキャンやマルチクロススキャンであってもよい。また、本実施形態では位置合わせしてからノイズ低減部３３４によるノイズ低減を行ったが、ノイズ低減部３３４によるノイズ低減を行った後に位置合わせして加算平均してもよい。

本実施形態では、Ｎ回のスキャン回数に対応するＮ個の断層画像に関して、ノイズ低減部３３４によるノイズ低減を行った。しかし、Ｎ個の全部に対してノイズ低減を行うのではなく、そのうち一部についてのみノイズ低減を行うという実施形態であってもよい。ノイズ低減部３３４の実行処理時間が長い場合は、Ｎ個の全部に対してノイズ低減を行うよりも一部に対して行う方が全体の処理時間を短くすることができる。また、本実施形態では、ノイズ検出部３３４１が黒点の位置を検出したが、黒点の位置を検出する時間を節約するために、乱数で黒点の位置を予測してもよい。この場合、乱数で生成した位置が黒点であるとは限らないため、複数回の乱数生成とノイズ低減を実行し、その結果を加算平均することでノイズ低減された断層画像として出力する。図６は、そのブロック図である。図６の画像１は、１回目の処理であり、乱数生成で黒点の位置を決定し、第１の実施形態で説明したように目的関数最小化部で評価関数を最小化して得られた画像である。図６の画像２は、２回目の処理であり、１回目と同様に乱数生成で黒点の位置を決定し、第１の実施形態で説明したように目的関数最小化部で評価関数を最小化して得られた画像である。これをＭ回繰り返して（複数回繰り返して）、画像１〜画像Ｍを得る。最後に画像１〜画像Ｍを加算平均して、ノイズ低減された断層画像として出力する。本実施形態はノイズの位置を予測するときに乱数で生成するが、このとき画素数全体に占めるノイズの割合を固定値とする。その他の実施形態として、ＯＣＴ装置の撮影時の制御パラメータに応じて、画素数全体に占めるノイズの割合を変更してもよい。

（第３の実施形態）
以下、第３の実施形態について説明する。なお、本実施形態に係る画像処理装置を備える画像処理システムは、第１の実施形態と第２の実施形態と共通している部分がある。以下では、異なる点についてのみ、説明する。

第１および第２の実施形態では、目的関数最小化部３３４４で使用した目的関数は数式２のＶ１であるが、本実施形態では出力画像ｆ（ｘ，ｙ）の代わりに、深層学習の分野で知られているＣＡＥ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ａｕｔｏｅｎｃｏｄｅｒ：畳み込みオートエンコーダ）を使用して生成する。ＣＡＥに与える入力は、入力画像ｇ（ｘ，ｙ）とする。その他の実施形態として、ＣＡＥの代わりに、画像を入力して画像を出力する画像生成関数であればよく、例えば、ＡＥ（Ａｕｔｏｅｎｃｏｄｅｒ：オートエンコーダ）が考えられる。以下の説明のため、ＣＡＥおよび上述の画像生成関数をまとめて関数ｈ（Ｉｍａｇｅ，ｘ，ｙ）と記す。

関数ｈは、画像Ｉｍａｇｅを入力して評価関数Ｖ１の入力画像ｇ（ｘ，ｙ）と同じ大きさの画像を生成する関数である。便宜的にその生成画像を画像ｈ＿ｏｕｔと呼ぶと、画像ｈ＿ｏｕｔの位置ｘ，ｙにおける画素値は、ｈ（Ｉｍａｇｅ，ｘ，ｙ）である。画像ｈ＿ｏｕｔの位置ｘ，ｙにおける画素値は、画像Ｉｍａｇｅの複数の画素値に依存し、かつ、画像Ｉｍａｇｅの複数の画素を用いた非線形関数で計算され、この非線形関数は関数の形を変更するためのパラメータを複数持っている。このように関数ｈは複数のパラメータを有しており、パラメータを変更すると画像ｈ＿ｏｕｔが変更される。本実施形態の場合の目的関数最小化部は、第１および第２の実施形態のように出力画像ｆ（ｘ，ｙ）の画素を変更するのではなく、関数ｈを構成するパラメータを変更することにより、間接的に出力画像ｆ（ｘ，ｙ）の画素を変更する。数式２〜４の出力画像ｆ（ｘ，ｙ）は位置ｘ，ｙに関する値が格納されており、第１および第２の実施形態の目的関数最小化部３３４４は、その格納されている値を変更することにより目的関数を最小化した。これに対し本実施形態は、関数ｈを構成するパラメータを変更することで目的関数を最小化する。ＣＡＥを用いて最小化する方法は深層学習の分野で知られており、各種の方法があるが本実施形態は最急降下法を使用する。本実施形態によれば、ＣＡＥを使用することにより、出力を非負値制約条件、つまりｈ（Ｉｍａｇｅ，ｘ，ｙ）≧０となる条件を付することができるようになる。例えば、ＣＡＥの最終層の活性化関数にシグモイド関数を使うことで実現できる。深層学習における学習とは目的関数を最小化することであるから、本実施形態もその意味において学習していると言えるが、少なくとも以下の事が異なる。まず、第１に、本実施形態は、深層学習で知られているような、多数の教師データを与えて学習するということを行わない。深層学習の教師データに相当するデータは本実施形態ではただ１つであり、入力画像ｇ（ｘ，ｙ）である。また、第２に、深層学習は学習処理ステップと推論処理ステップを持つが、本実施形態は学習処理ステップのみであり推論処理ステップは無い。本実施形態は評価関数Ｖ１を目的関数として使用し、出力画像ｆ（ｘ，ｙ）の代わりに関数ｈ（Ｉｍａｇｅ，ｘ，ｙ）を使用して生成したが、数式４の評価関数Ｖ２を目的関数として使用し、出力画像ｆ（ｘ，ｙ）の代わりに関数ｈ（Ｉｍａｇｅ，ｘ，ｙ）を使用して生成した構成でもよい。

（第４の実施形態）
本実施形態に係る画像処理装置におけるノイズ低減部３３４は、断層画像を高画質化（ノイズ低減）する高画質化手段（ノイズ低減手段）の一例であり、上述した実施形態における加算平均による処理（合成処理）の代わりに、機械学習による高画質化処理を適用するものである。なお、ノイズ低減部３３４は、高画質化部ともよぶ。このとき、高画質化部は、少ない枚数の断層画像から生成した低画質な断層画像を機械学習モデルに入力することにより、多数枚の断層画像から生成した場合と同等の高画質な（低ノイズかつ高コントラストな）断層画像を生成する。ここで、本実施形態に係る機械学習モデルとは、処理対象として想定される所定の撮影条件で取得された低画質な画像である入力データと、入力データに対応する高画質画像である出力データ（正解データ）のペア群で構成された学習データを用いて機械学習を行うことにより生成した関数のことを指す。なお、所定の撮影条件には撮影部位、撮影方式、撮影画角、及び画像サイズ等が含まれる。

ここで、低画質な断層画像は、例えば、以下のように取得される。まず、操作者が入力部７００を操作して撮影画面（プレビュー画面）中の撮影開始（Ｃａｐｔｕｒｅ）ボタンを押下することにより、操作者からの指示に応じて設定された撮影条件によるＯＣＴ撮影が開始される。このとき、指示部３０４は、断層画像撮影装置２００に対して操作者が指示した設定に基づいてＯＣＴ撮影を実施することを指示し、断層画像撮影装置２００が対応するＯＣＴ断層画像を取得する。また、断層画像撮影装置２００は、ＳＬＯ画像の取得も行い、ＳＬＯ動画像に基づく追尾処理を実行する。ここで、撮影条件の設定は、例えば、１）Ｍａｃｕｌａｒ Ｄｉｓｅａｓｅ検査セットの登録、２）ＯＣＴスキャンモードの選択、３）以下の撮影パラメータ、等の設定である。また、撮影パラメータとしては、例えば、３−１）走査パターン：３００Ａスキャン（本）×３００Ｂスキャン（枚）、３−２）走査領域サイズ：６×６ｍｍ、３−３）主走査方向：水平方向、等が設定される。また、撮影パラメータとしては、更に、例えば、３−４）走査間隔：０．０１ｍｍ、３−５）固視灯位置：黄斑（中心窩）、３−６）コヒーレンスゲート位置：硝子体側、３−７）既定表示レポート種別：単眼検査用レポート、等が設定する。そして、表示制御部３０５は、取得された断層画像や撮影条件に関する情報等を表示部６００に表示させる。このとき、本実施形態では、操作者が入力部７００を操作して表示画面（解析結果等を表示するためのレポート画面）における不図示の高画質化ボタンを押下することにより、高画質化部が断層画像に対する高画質化処理を実施するものとする。すなわち、高画質化ボタンは、高画質化処理の実行を指示するためのボタンである。もちろん、高画質化ボタンは、（高画質化ボタンを押下する前に生成された）高画質画像の表示を指示するためのボタンであってもよい。

本実施形態において、学習データとして用いる入力データは、断層画像数の少ない単一クラスタから生成された低画質の断層画像とする。また、学習データとして用いる出力データ（正解データ）は、位置合わせ済の複数の断層画像を加算平均して得られた高画質の断層画像とする。なお、学習データとして用いる出力データはこれに限らず、例えば、多数枚の断層画像で構成される単一クラスタから生成された高画質な断層画像でもよい。また、学習データとして用いる出力データは、入力画像より高解像度な（高倍率な）断層画像を入力画像と同解像度（同倍率）にすることによって得られた高画質な断層画像でもよい。なお、機械学習モデルのトレーニングに用いる入力画像と出力画像のペアは上記に限られるものではなく、任意の公知の画像の組み合わせを用いてよい。例えば、断層画像撮影装置２００や他の装置で取得した断層画像に第一のノイズ成分を付加した画像を入力画像とし、該（断層画像撮影装置２００や他の装置で取得した）断層画像に（第一のノイズ成分とは異なる）第二のノイズ成分を付加した画像を出力画像として機械学習モデルのトレーニングに用いてもよい。すなわち、高画質化部は、眼底の断層画像を含む学習データを学習して得た高画質化用の学習済モデルを用いて、入力画像として入力された断層画像を高画質化するものであれば何でもよい。

本実施形態に係る高画質化部における機械学習モデルの構成例を図８に示す。機械学習モデルは、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＣＮＮ）であり、入力値群を加工して出力する処理を担う複数の層群によって構成される。なお、上記構成に含まれる層の種類として、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、ダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）層、アップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）層、合成（Ｍｅｒｇｅｒ）層がある。畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、上記フィルタのカーネルサイズの次元数も変更してもよい。ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理である。具体的には、例えば、Ｍａｘ Ｐｏｏｌｉｎｇ処理がある。アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理である。具体的には、例えば、線形補間処理がある。合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。このような構成では、入力画像１３０１を構成する画素値群が畳み込み処理ブロックを経て出力された値群と、入力画像１３０１を構成する画素値群が、合成層で合成される。その後、合成された画素値群は最後の畳み込み層で高画質画像１３０２に成形される。なお、図示はしないが、ＣＮＮの構成の変更例として、例えば、畳み込み層の後にバッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）層や、正規化線形関数（Ｒｅｃｔｉｆｉｅｒ Ｌｉｎｅａｒ Ｕｎｉｔ）を用いた活性化層を組み込む等をしても良い。なお、図８では説明を簡単にするため処理対象画像を２次元画像として説明しているが、本発明はこれに限定されない。例えば、３次元の低画質の断層画像を高画質化部に入力して３次元の高画質の断層画像を出力する場合も本発明に含まれる。

ここで、ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合には、ＧＰＵで処理を行うことが有効である。そこで、本実施形態では、学習部（不図示）の一例である画像処理部３０３による処理には、ＣＰＵに加えてＧＰＵを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、学習部の処理は、ＣＰＵまたはＧＰＵのみにより演算が行われても良い。また、高画質化部も、学習部と同様にＧＰＵを用いても良い。また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。

また、操作者は入力部７００を用いてＯＣＴ計測処理（例えば、後述するような、解析結果生成、診断結果生成、物体認識、セグメンテーション等の種々の計測処理）の開始を指示することができる。例えば、操作者からの指示に応じて、高画質化用の学習済モデルにより高画質化された断層画像を用いて、後述するような種々の計測処理を実行することができるため、これらの計測処理の精度を向上することができる。

なお、上述した本実施形態において、断層画像に関して説明を行ったが、これに限らない。本実施形態に係る表示、高画質化、及び画像解析等の処理に関する画像は、正面画像やモーションコントラスト画像等であってもよい。さらには、断層画像だけではなく、ＳＬＯ画像、眼底写真、又は蛍光眼底写真など、異なる画像であっても構わない。その場合、高画質化処理を実行するためのユーザーインターフェースは、種類の異なる複数の画像に対して高画質化処理の実行を指示するもの、種類の異なる複数の画像から任意の画像を選択して高画質化処理の実行を指示するものがあってもよい。

このような構成により、本実施形態に係る高画質化部が処理した画像を表示制御部３０５が表示部６００に表示することができる。このとき、上述したように、高画質画像の表示、解析結果の表示、表示される正面画像の深度範囲等に関する複数の条件のうち少なくとも１つが選択された状態である場合には、表示画面が遷移されても、選択された状態が維持されてもよい。

また、上述したように、複数の条件のうち少なくとも１つが選択された状態である場合には、他の条件が選択された状態に変更されても、該少なくとも１つが選択された状態が維持されてもよい。例えば、表示制御部３０５は、解析結果の表示が選択状態である場合に、検者からの指示に応じて（例えば、不図示の高画質化ボタンが指定されると）、低画質画像の解析結果の表示を高画質画像の解析結果の表示に変更してもよい。また、表示制御部３０５は、解析結果の表示が選択状態である場合に、検者からの指示に応じて（例えば、不図示の高画質化ボタンの指定が解除されると）、高画質画像の解析結果の表示を低画質画像の解析結果の表示に変更してもよい。

また、表示制御部３０５は、高画質画像の表示が非選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示の指定が解除されると）、低画質画像の解析結果の表示を低画質画像の表示に変更してもよい。また、表示制御部３０５は、高画質画像の表示が非選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示が指定されると）、低画質画像の表示を低画質画像の解析結果の表示に変更してもよい。また、表示制御部３０５は、高画質画像の表示が選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示の指定が解除されると）、高画質画像の解析結果の表示を高画質画像の表示に変更してもよい。また、表示制御部３０５は、高画質画像の表示が選択状態である場合に、検者からの指示に応じて（例えば、解析結果の表示が指定されると）、高画質画像の表示を高画質画像の解析結果の表示に変更してもよい。

また、高画質画像の表示が非選択状態で且つ第１の種類の解析結果の表示が選択状態である場合を考える。この場合には、表示制御部３０５は、検者からの指示に応じて（例えば、第２の種類の解析結果の表示が指定されると）、低画質画像の第１の種類の解析結果の表示を低画質画像の第２の種類の解析結果の表示に変更してもよい。また、高画質画像の表示が選択状態で且つ第１の種類の解析結果の表示が選択状態である場合を考える。この場合には、表示制御部３０５は、検者からの指示に応じて（例えば、第２の種類の解析結果の表示が指定されると）、高画質画像の第１の種類の解析結果の表示を高画質画像の第２の種類の解析結果の表示に変更してもよい。

なお、経過観察用の表示画面においては、上述したように、これらの表示の変更が、異なる日時で得た複数の画像に対して一括で反映されるように構成してもよい。ここで、解析結果の表示は、解析結果を任意の透明度により画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像（例えば、２次元マップ）の表示への変更であってもよい。

また、上述した実施形態において、表示制御部３０５は、高画質化部によって生成された高画質画像と入力画像のうち、検者からの指示に応じて選択された画像を表示部６００に表示させることができる。また、表示制御部３０５は、検者からの指示に応じて、表示部６００上の表示を撮影画像（入力画像）から高画質画像に切り替えてもよい。すなわち、表示制御部３０５は、検者からの指示に応じて、低画質画像の表示を高画質画像の表示に変更してもよい。また、表示制御部３０５は、検者からの指示に応じて、高画質画像の表示を低画質画像の表示に変更してもよい。

さらに、高画質化部が、高画質化エンジン（高画質化用の学習済モデル）による高画質化処理の開始（高画質化エンジンへの画像の入力）を検者からの指示に応じて実行し、表示制御部３０５が、高画質化部によって生成された高画質画像を表示部６００に表示させてもよい。これに対し、撮影装置（断層画像撮影装置２００）によって入力画像が撮影されると、高画質化エンジンが自動的に入力画像に基づいて高画質画像を生成し、表示制御部３０５が、検者からの指示に応じて高画質画像を表示部６００に表示させてもよい。ここで、高画質化エンジンとは、上述した画質向上処理（高画質化処理）を行う学習済モデルを含む。

なお、これらの処理は解析結果の出力についても同様に行うことができる。すなわち、表示制御部３０５は、検者からの指示に応じて、低画質画像の解析結果の表示を高画質画像の解析結果の表示に変更してもよい。また、表示制御部３０５は、検者からの指示に応じて、高画質画像の解析結果の表示を低画質画像の解析結果の表示に変更してもよい。もちろん、表示制御部３０５は、検者からの指示に応じて、低画質画像の解析結果の表示を低画質画像の表示に変更してもよい。また、表示制御部３０５は、検者からの指示に応じて、低画質画像の表示を低画質画像の解析結果の表示に変更してもよい。また、表示制御部３０５は、検者からの指示に応じて、高画質画像の解析結果の表示を高画質画像の表示に変更してもよい。また、表示制御部３０５は、検者からの指示に応じて、高画質画像の表示を高画質画像の解析結果の表示に変更してもよい。

また、表示制御部３０５は、検者からの指示に応じて、低画質画像の解析結果の表示を低画質画像の他の種類の解析結果の表示に変更してもよい。また、表示制御部３０５は、検者からの指示に応じて、高画質画像の解析結果の表示を高画質画像の他の種類の解析結果の表示に変更してもよい。

ここで、高画質画像の解析結果の表示は、高画質画像の解析結果を任意の透明度により高画質画像に重畳表示させたものであってもよい。また、低画質画像の解析結果の表示は、低画質画像の解析結果を任意の透明度により低画質画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像（例えば、２次元マップ）の表示への変更であってもよい。

（変形例１）
上述した様々な実施形態において、ノイズの一例である黒点の位置の検出または予測は、機械学習による物体認識用の機械学習モデルやセグメンテーション用の機械学習モデルを用いて行われてもよい。このとき、撮影して得た医用画像から、被写体の医用画像を含む学習データを学習して得た学習済モデルを用いて、ノイズの位置が検出または予測される。ここで、本変形例に係る機械学習モデルとは、医用画像の一例である断層画像である入力データと、該断層画像におけるノイズの位置がラベル付け（アノテーション）されたデータ（正解データ）のペア群で構成された学習データを用いて機械学習を行うことにより生成した関数のことを指す。なお、機械学習モデルや学習部の処理等については、図８等のような上述した種々の手法が適用可能である。また、後述の敵対的生成ネットワーク又はオートエンコーダを用いた異常部位の検出の手法により、上述のノイズの位置の検出または予測を行ってもよい。

（変形例２）
上述した様々な実施形態及び変形例における表示制御部３０５は、表示画面のレポート画面において、所望の層の層厚や各種の血管密度等の解析結果を表示させてもよい。また、視神経乳頭部、黄斑部、血管領域、神経線維束、硝子体領域、黄斑領域、脈絡膜領域、強膜領域、篩状板領域、網膜層境界、網膜層境界端部、視細胞、血球、血管壁、血管内壁境界、血管外側境界、神経節細胞、角膜領域、隅角領域、シュレム管等の少なくとも１つを含む注目部位に関するパラメータの値（分布）を解析結果として表示させてもよい。このとき、例えば、各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い解析結果を表示させることができる。なお、アーチファクトは、例えば、血管領域等による光吸収により生じる偽像領域や、プロジェクションアーチファクト、被検眼の状態（動きや瞬き等）によって測定光の主走査方向に生じる正面画像における帯状のアーチファクト等であってもよい。また、アーチファクトは、例えば、被検者の所定部位の医用画像上に撮影毎にランダムに生じるような写損領域であれば、何でもよい。また、上述したような様々なアーチファクト（写損領域）の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示させてもよい。また、ドルーゼン、新生血管、白斑（硬性白斑）、シュードドルーゼン等の異常部位等の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示させてもよい。

また、解析結果は、解析マップや、各分割領域に対応する統計値を示すセクタ等で表示されてもよい。なお、解析結果は、医用画像の解析結果を学習データとして学習して得た学習済モデル（解析結果生成エンジン、解析結果生成用の学習済モデル）を用いて生成されたものであってもよい。このとき、学習済モデルは、医用画像とその医用画像の解析結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の解析結果とを含む学習データ等を用いた学習により得たものであってもよい。また、学習済モデルは、輝度正面画像及びモーションコントラスト正面画像のように、所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データを用いた学習により得たものであってもよい。ここで、輝度正面画像は断層画像のＥｎ−Ｆａｃｅ画像に対応し、モーションコントラスト正面画像はＯＣＴＡのＥｎ−Ｆａｃｅ画像に対応する。また、高画質化用の学習済モデルにより生成された高画質画像を用いて得た解析結果が表示されるように構成されてもよい。なお、高画質化用の学習済モデルは、第一の画像を入力データとし、第一の画像よりも高画質な第二の画像を正解データとする学習データを学習して得たものであってもよい。このとき、第二の画像は、例えば、複数の第一の画像の重ね合わせ処理（例えば、位置合わせして得た複数の第一の画像の平均化処理）等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像であってもよい。

また、学習データに含まれる入力データとしては、高画質化用の学習済モデルにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。また、学習データは、例えば、解析領域を解析して得た解析値（例えば、平均値や中央値等）、解析値を含む表、解析マップ、画像におけるセクタ等の解析領域の位置等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータであってもよい。なお、検者からの指示に応じて、解析結果生成用の学習済モデルにより得た解析結果が表示されるように構成されてもよい。例えば、画像処理部３０３は、（高画質化用の学習済モデルとは異なる）解析結果生成用の学習済モデルを用いて、上述のノイズ低減画像から、該ノイズ低減画像に関連する解析結果を生成することができる。また、例えば、表示制御部３０５は、被写体の医用画像を含む学習データを学習して得た解析結果生成用の学習済モデルを用いて上述のノイズ低減画像から生成された該ノイズ低減画像に関連する解析結果を表示部６００に表示させることができる。

また、上述した様々な実施形態及び変形例における表示制御部３０５は、表示画面のレポート画面において、緑内障や加齢黄斑変性等の種々の診断結果を表示させてもよい。このとき、例えば、上述したような各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い診断結果を表示させることができる。また、診断結果としては、特定された異常部位等の位置が画像上に表示されてもよいし、また、異常部位の状態等が文字等によって表示されてもよい。また、異常部位等の分類結果（例えば、Ｃｕｒｔｉｎ分類）が診断結果として表示されてもよい。また、分類結果としては、例えば、異常部位毎の確からしさを示す情報（例えば、割合を示す数値）が表示されてもよい。また、医師が診断を確定させる上で必要な情報が診断結果として表示されてもよい。上記必要な情報としては、例えば、追加撮影等のアドバイスが考えられる。例えば、ＯＣＴＡ画像における血管領域に異常部位が検出された場合には、ＯＣＴＡよりも詳細に血管を観察可能な造影剤を用いた蛍光撮影を追加で行う旨が表示されてもよい。

なお、診断結果は、医用画像の診断結果を学習データとして学習して得た学習済モデル（診断結果生成エンジン、診断結果生成用の学習済モデル）を用いて生成されたものであってもよい。また、学習済モデルは、医用画像とその医用画像の診断結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の診断結果とを含む学習データ等を用いた学習により得たものであってもよい。また、高画質化用の学習済モデルにより生成された高画質画像を用いて得た診断結果が表示されるように構成されてもよい。

また、学習データに含まれる入力データとしては、高画質化用の学習済モデルにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。また、学習データは、例えば、診断名、病変（異常部位）の種類や状態（程度）、画像における病変の位置、注目領域に対する病変の位置、所見（読影所見等）、診断名の根拠（肯定的な医用支援情報等）、診断名を否定する根拠（否定的な医用支援情報）等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータであってもよい。なお、検者からの指示に応じて、診断結果生成用の学習済モデルにより得た診断結果が表示されるように構成されてもよい。例えば、画像処理部３０３は、（高画質化用の学習済モデルとは異なる）診断結果生成用の学習済モデルを用いて、上述のノイズ低減画像から、該ノイズ低減画像に関連する診断結果を生成することができる。また、例えば、表示制御部３０５は、被写体の医用画像を含む学習データを学習して得た診断結果生成用の学習済モデルを用いて上述のノイズ低減画像から生成された該ノイズ低減画像に関連する診断結果を表示部６００に表示させることができる。

また、上述した様々な実施形態及び変形例における表示制御部３０５は、表示画面のレポート画面において、上述したような注目部位、アーチファクト、異常部位等の物体認識結果（物体検出結果）やセグメンテーション結果を表示させてもよい。このとき、例えば、画像上の物体の周辺に矩形の枠等を重畳して表示させてもよい。また、例えば、画像における物体上に色等を重畳して表示させてもよい。なお、物体認識結果やセグメンテーション結果は、物体認識やセグメンテーションを示す情報を正解データとして医用画像にラベル付け（アノテーション）した学習データを学習して得た学習済モデル（物体認識エンジン、物体認識用の学習済モデル、セグメンテーションエンジン、セグメンテーション用の学習済モデル）を用いて生成されたものであってもよい。なお、上述した解析結果生成や診断結果生成は、上述した物体認識結果やセグメンテーション結果を利用することで得られたものであってもよい。例えば、物体認識やセグメンテーションの処理により得た注目部位等の部分領域に対して解析結果生成や診断結果生成の処理を行ってもよい。例えば、画像処理部３０３は、（高画質化用の学習済モデルとは異なる）物体認識用の学習済モデルを用いて、上述のノイズ低減画像から、該ノイズ低減画像に関連する物体認識結果を生成することができる。また、例えば、画像処理部３０３は、（高画質化用の学習済モデルとは異なる）セグメンテーション用の学習済モデルを用いて、上述のノイズ低減画像から、該ノイズ低減画像に関連するセグメンテーション結果を生成することができる。また、例えば、表示制御部３０５は、被写体の医用画像を含む学習データを学習して得た物体認識用の学習済モデルを用いて上述のノイズ低減画像から生成された物体認識結果を表示部６００に表示させることができる。また、例えば、表示制御部３０５は、被写体の医用画像を含む学習データを学習して得たセグメンテーション用の学習済モデルを用いて上述のノイズ低減画像から生成されたセグメンテーション結果を表示部６００に表示させることができる。このとき、物体認識結果やセグメンテーション結果は、例えば、ノイズ低減画像から検出された部分領域である。

また、異常部位を検出する場合には、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｋｓ）や変分オートエンコーダ―（ＶＡＥ：Ｖａｒｉａｔｉｏｎａｌ ａｕｔｏ−ｅｎｃｏｄｅｒ）を用いてもよい。例えば、断層画像の生成を学習して得た生成器と、生成器が生成した新たな断層画像と本物の眼底正面画像との識別を学習して得た識別器とからなるＤＣＧＡＮ（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＧＡＮ）を機械学習モデルとして用いることができる。

ＤＣＧＡＮを用いる場合には、例えば、識別器が入力された断層画像をエンコードすることで潜在変数にし、生成器が潜在変数に基づいて新たな断層画像を生成する。その後、入力された断層画像と生成された新たな断層画像との差分を異常部位として抽出（検出）することができる。また、ＶＡＥを用いる場合には、例えば、入力された断層画像をエンコーダーによりエンコードすることで潜在変数にし、潜在変数をデコーダーによりデコードすることで新たな断層画像を生成する。その後、入力された断層画像と生成された新たな断層画像像との差分を異常部位として抽出（検出）することができる。なお、入力データの例として断層画像を例として説明したが、眼底画像や前眼の正面画像等を用いてもよい。

さらに、情報処理装置は、畳み込みオートエンコーダ（ＣＡＥ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ａｕｔｏ−Ｅｎｃｏｄｅｒ）を用いて、異常部位を検出してもよい。ＣＡＥを用いる場合には、学習時に入力データ及び出力データとして同じ画像を学習させる。これにより、推定時に異常部位がある画像をＣＡＥに入力すると、学習の傾向に従って異常部位がない画像が出力される。その後、ＣＡＥに入力された画像とＣＡＥから出力された画像の差分を異常部位として抽出（検出）することができる。なお、この場合にも、断層画像だけでなく、眼底画像や前眼の正面画像等を入力データとして用いてもよい。

これらの場合、情報処理装置は、敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と、該敵対的生成ネットワーク又はオートエンコーダに入力された医用画像との差に関する情報を異常部位に関する情報として生成することができる。これにより、情報処理装置は、高速に精度よく異常部位を検出することが期待できる。ここで、オートエンコーダには、ＶＡＥやＣＡＥ等が含まれる。例えば、画像処理部３０３は、上述のノイズ低減画像から敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と該ノイズ低減画像との差に関する情報を、異常部位に関する情報として生成することができる。また、例えば、表示制御部３０５は、上述のノイズ低減画像から敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と該ノイズ低減画像との差に関する情報を、異常部位に関する情報として表示部６００に表示させることができる。

また、疾病眼では、疾病の種類に応じて画像特徴が異なる。そのため、上述した様々な実施形態や変形例において用いられる学習済モデルは、疾病の種類毎又は異常部位毎にそれぞれ生成・用意されてもよい。この場合には、例えば、画像処理装置３００は、操作者からの被検眼の疾病の種類や異常部位等の入力（指示）に応じて、処理に用いる学習済モデルを選択することができる。なお、疾病の種類や異常部位毎に用意される学習済モデルは、網膜層の検出や領域ラベル画像等の生成に用いられる学習済モデルに限られず、例えば、画像の評価用のエンジンや解析用のエンジン等で用いられる学習済モデルであってもよい。このとき、画像処理装置３００は、別に用意された学習済モデルを用いて、画像から被検眼の疾病の種類や異常部位を識別してもよい。この場合には、画像処理装置３００は、当該別に用意された学習済モデルを用いて識別された疾病の種類や異常部位に基づいて、上記処理に用いる学習済モデルを自動的に選択することができる。なお、当該被検眼の疾病の種類や異常部位を識別するための学習済モデルは、断層画像や眼底画像等を入力データとし、疾病の種類やこれら画像における異常部位を出力データとした学習データのペアを用いて学習を行ってよい。ここで、学習データの入力データとしては、断層画像や眼底画像等を単独で入力データとしてもよいし、これらの組み合わせを入力データとしてもよい。

また、特に診断結果生成用の学習済モデルは、被検者の所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底のモーションコントラスト正面画像及び輝度正面画像（あるいは輝度断層画像）をセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）及びカラー眼底画像（あるいは蛍光眼底画像）をセットとする入力データ等も考えられる。また、異なる種類の複数の医療画像は、異なるモダリティ、異なる光学系、又は異なる原理等により取得されたものであれば何でもよい。

また、特に診断結果生成用の学習済モデルは、被検者の異なる部位の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）と前眼部の断層画像（Ｂスキャン画像）とをセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の黄斑の三次元ＯＣＴ画像（三次元断層画像）と眼底の視神経乳頭のサークルスキャン（又はラスタースキャン）断層画像とをセットとする入力データ等も考えられる。

なお、学習データに含まれる入力データは、被検者の異なる部位及び異なる種類の複数の医用画像であってもよい。このとき、学習データに含まれる入力データは、例えば、前眼部の断層画像とカラー眼底画像とをセットとする入力データ等が考えられる。また、上述した学習済モデルは、被検者の所定部位の異なる撮影画角の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。また、学習データに含まれる入力データは、パノラマ画像のように、所定部位を複数領域に時分割して得た複数の医用画像を貼り合わせたものであってもよい。このとき、パノラマ画像のような広画角画像を学習データとして用いることにより、狭画角画像よりも情報量が多い等の理由から画像の特徴量を精度良く取得できる可能性があるため、各処理の結果を向上することができる。例えば、推定時（予測時）において、広画角画像における複数の位置で異常部位が検出された場合に、各異常部位の拡大画像を順次表示可能に構成させる。これにより、複数の位置における異常部位を効率よく確認することができるため、例えば、検者の利便性を向上することができる。このとき、例えば、異常部位が検出された広画角画像上の各位置を検者が選択可能に構成され、選択された位置における異常部位の拡大画像が表示されるように構成されてもよい。また、学習データに含まれる入力データは、被検者の所定部位の異なる日時の複数の医用画像をセットとする入力データであってもよい。

また、上述した解析結果と診断結果と物体認識結果とセグメンテーション結果とのうち少なくとも１つの結果が表示される表示画面は、レポート画面に限らない。このような表示画面は、例えば、撮影確認画面、経過観察用の表示画面、及び撮影前の各種調整用のプレビュー画面（各種のライブ動画像が表示される表示画面）等の少なくとも１つの表示画面に表示されてもよい。例えば、上述した学習済モデルを用いて得た上記少なくとも１つの結果を撮影確認画面に表示させることにより、検者は、撮影直後であっても精度の良い結果を確認することができる。また、上述した低画質画像と高画質画像との表示の変更は、例えば、低画質画像の解析結果と高画質画像の解析結果との表示の変更であってもよい。

ここで、上述した様々な学習済モデルは、学習データを用いた機械学習により得ることができる。機械学習には、例えば、多階層のニューラルネットワークから成る深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）がある。また、多階層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を機械学習モデルとして用いることができる。また、多階層のニューラルネットワークの少なくとも一部には、オートエンコーダ（自己符号化器）に関する技術が用いられてもよい。また、学習には、バックプロパゲーション（誤差逆伝搬法）に関する技術が用いられてもよい。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出（表現）可能なモデルを用いた学習であれば何でもよい。ここで、機械学習モデルとは、ディープラーニング等の機械学習アルゴリズムによる学習モデルをいう。また、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いてトレーニングした（学習を行った）モデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。また、学習データとは、入力データ及び出力データ（正解データ）のペアで構成される。ここで、学習データを教師データという場合もあるし、あるいは、正解データを教師データという場合もある。

なお、ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合には、ＧＰＵで処理を行うことが有効である。そこで、本変形例では、学習部（不図示）の一例である画像処理部３０３による処理には、ＣＰＵに加えてＧＰＵを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、学習部の処理は、ＣＰＵまたはＧＰＵのみにより演算が行われても良い。また、上述した様々な学習済モデルを用いた処理を実行する処理部（推定部）も、学習部と同様にＧＰＵを用いても良い。また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。

また、高画質化やセグメンテーション等に用いられる機械学習モデルとしては、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するＵ−ｎｅｔ型の機械学習モデルが適用可能である。Ｕ−ｎｅｔ型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報（空間情報）を、デコーダーとして構成される複数の階層において、同次元の階層（互いに対応する階層）で用いることができるように（例えば、スキップコネクションを用いて）構成される。

また、高画質化やセグメンテーション等に用いられる機械学習モデルとしては、例えば、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ等を用いることもできる。また、所望の構成に応じて領域単位で物体認識を行う機械学習モデルを用いてもよい。物体認識を行う機械学習モデルとしては、例えば、ＲＣＮＮ（Ｒｅｇｉｏｎ ＣＮＮ）、ｆａｓｔＲＣＮＮ、又はｆａｓｔｅｒＲＣＮＮを用いることができる。さらに、領域単位で物体認識を行う機械学習モデルとして、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、又はＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ）を用いることもできる。

また、機械学習モデルは、例えば、カプセルネットワーク（Ｃａｐｓｕｌｅ Ｎｅｔｗｏｒｋ；ＣａｐｓＮｅｔ）でもよい。ここで、一般的なニューラルネットワークでは、各ユニット（各ニューロン）はスカラー値を出力するように構成されることによって、例えば、画像における特徴間の空間的な位置関係（相対位置）に関する空間情報が低減されるように構成されている。これにより、例えば、画像の局所的な歪みや平行移動等の影響が低減されるような学習を行うことができる。一方、カプセルネットワークでは、各ユニット（各カプセル）は空間情報をベクトルとして出力するように構成されることよって、例えば、空間情報が保持されるように構成されている。これにより、例えば、画像における特徴間の空間的な位置関係が考慮されたような学習を行うことができる。

また、高画質化エンジン（高画質化用の学習済モデル）は、高画質化エンジンにより生成された少なくとも１つの高画質画像を含む学習データを追加学習して得た学習済モデルであってもよい。このとき、高画質画像を追加学習用の学習データとして用いるか否かを、検者からの指示により選択可能に構成されてもよい。なお、これらの構成は、高画質化用の学習済モデルに限らず、上述した様々な学習済モデルに対しても適用可能である。また、上述した様々な学習済モデルの学習に用いられる正解データの生成には、ラベル付け（アノテーション）等の正解データを生成するための正解データ生成用の学習済モデルが用いられてもよい。このとき、正解データ生成用の学習済モデルは、検者がラベル付け（アノテーション）して得た正解データを（順次）追加学習することにより得られたものであってもよい。すなわち、正解データ生成用の学習済モデルは、ラベル付け前のデータを入力データとし、ラベル付け後のデータを出力データとする学習データを追加学習することにより得られたものであってもよい。また、動画像等のような連続する複数フレームにおいて、前後のフレームの物体認識やセグメンテーション等の結果を考慮して、結果の精度が低いと判定されたフレームの結果を修正するように構成されてもよい。このとき、検者からの指示に応じて、修正後の結果を正解データとして追加学習するように構成されてもよい。

（変形例３）
上述した様々な実施形態及び変形例において、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて被検眼の領域（部分領域）を検出する場合には、検出した領域毎に所定の画像処理を施すこともできる。例えば、硝子体領域、網膜領域、及び脈絡膜領域のうちの少なくとも２つの領域を検出する場合を考える。この場合には、検出された少なくとも２つの領域に対してコントラスト調整等の画像処理を施す際に、それぞれ異なる画像処理のパラメータを用いることで、各領域に適した調整を行うことができる。各領域に適した調整が行われた画像を表示することで、操作者は領域毎の疾病等をより適切に診断することができる。なお、検出された領域毎に異なる画像処理のパラメータを用いる構成については、例えば、学習済モデルを用いずに検出された被検眼の領域について同様に適用されてもよい。

（変形例４）
上述した様々な実施形態及び変形例におけるプレビュー画面において、ライブ動画像の少なくとも１つのフレーム毎に上述した学習済モデルが用いられるように構成されてもよい。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されてもよい。これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。なお、複数のライブ動画像は、例えば、ＸＹＺ方向のアライメントのための前眼部の動画像、及び眼底観察光学系のフォーカス調整やＯＣＴフォーカス調整のための眼底の正面動画像であってよい。また、複数のライブ動画像は、例えば、ＯＣＴのコヒーレンスゲート調整（測定光路長と参照光路長との光路長差の調整）のための眼底の断層動画像等であってもよい。このとき、上述した物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された領域が所定の条件を満たすように、上述した各種調整が行われるように構成されてもよい。例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やＲＰＥ等の所定の網膜層等に関する値（例えば、コントラスト値あるいは強度値）が閾値を超える（あるいはピーク値になる）ように、ＯＣＴフォーカス調整等の各種調整が行われるように構成されてもよい。また、例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やＲＰＥ等の所定の網膜層が深さ方向における所定の位置になるように、ＯＣＴのコヒーレンスゲート調整が行われるように構成されてもよい。

また、上述した学習済モデルを適用可能な動画像は、ライブ動画像に限らず、例えば、記憶部３０２に記憶（保存）された動画像であってもよい。このとき、例えば、記憶部３０２に記憶（保存）された眼底の断層動画像の少なくとも１つのフレーム毎に位置合わせして得た動画像が表示画面に表示されてもよい。例えば、硝子体領域を好適に観察したい場合には、まず、フレーム上に硝子体領域ができるだけ存在する等の条件を基準とする基準フレームを選択してもよい。このとき、各フレームは、ＸＺ方向の断層画像（Ｂスキャン像）である。そして、選択された基準フレームに対して他のフレームがＸＺ方向に位置合わせされた動画像が表示画面に表示されてもよい。このとき、例えば、動画像の少なくとも１つのフレーム毎に高画質化用の学習済モデルにより順次生成された高画質画像（高画質フレーム）を連続表示させるように構成してもよい。

なお、上述したフレーム間の位置合わせの手法としては、Ｘ方向の位置合わせの手法とＺ方向（深度方向）の位置合わせの手法とは、同じ手法が適用されてもよいし、全て異なる手法が適用されてもよい。また、同一方向の位置合わせは、異なる手法で複数回行われてもよく、例えば、粗い位置合わせを行った後に、精密な位置合わせが行われてもよい。また、位置合わせの手法としては、例えば、断層画像（Ｂスキャン像）をセグメンテーション処理して得た網膜層境界を用いた（Ｚ方向の粗い）位置合わせ、断層画像を分割して得た複数の領域と基準画像との相関情報（類似度）を用いた（Ｘ方向やＺ方向の精密な）位置合わせ、断層画像（Ｂスキャン像）毎に生成した１次元投影像を用いた（Ｘ方向の）位置合わせ、２次元正面画像を用いた（Ｘ方向の）位置合わせ等がある。また、ピクセル単位で粗く位置合わせが行われてから、サブピクセル単位で精密な位置合わせが行われるように構成されてもよい。

ここで、各種の調整中では、被検眼の網膜等の撮影対象がまだ上手く撮像できていない可能性がある。このため、学習済モデルに入力される医用画像と学習データとして用いられた医用画像との違いが大きいために、精度良く高画質画像が得られない可能性がある。そこで、断層画像（Ｂスキャン）の画質評価等の評価値が閾値を超えたら、高画質動画像の表示（高画質フレームの連続表示）を自動的に開始するように構成してもよい。また、断層画像（Ｂスキャン）の画質評価等の評価値が閾値を超えたら、高画質化ボタンを検者が指定可能な状態（アクティブ状態）に変更するように構成されてもよい。なお、高画質化ボタンは、高画質化処理の実行を指定するためのボタンである。もちろん、高画質化ボタンは、高画質画像の表示を指示するためのボタンであってもよい。

また、走査パターン等が異なる撮影モード毎に異なる高画質化用の学習済モデルを用意して、選択された撮影モードに対応する高画質化用の学習済モデルが選択されるように構成されてもよい。また、異なる撮影モードで得た様々な医用画像を含む学習データを学習して得た１つの高画質化用の学習済モデルが用いられてもよい。

（変形例５）
上述した様々な実施形態及び変形例においては、学習済モデルが追加学習中である場合、追加学習中の学習済モデル自体を用いて出力（推論・予測）することが難しい可能性がある。このため、追加学習中の学習済モデルに対する医用画像の入力を禁止することがよい。また、追加学習中の学習済モデルと同じ学習済モデルをもう一つ予備の学習済モデルとして用意してもよい。このとき、追加学習中には、予備の学習済モデルに対して医用画像の入力が実行できるようにすることがよい。そして、追加学習が完了した後に、追加学習後の学習済モデルを評価し、問題なければ、予備の学習済モデルから追加学習後の学習済モデルに置き換えればよい。また、問題があれば、予備の学習済モデルが用いられるようにしてもよい。なお、学習済モデルの評価としては、例えば、高画質化用の学習済モデルで得た高画質画像を他の種類の画像と分類するための分類用の学習済モデルが用いられてもよい。分類用の学習済モデルは、例えば、高画質化用の学習済モデルで得た高画質画像と低画質画像とを含む複数の画像を入力データとし、これらの画像の種類がラベル付け（アノテーション）されたデータを正解データとして含む学習データを学習して得た学習済モデルであってもよい。このとき、推定時（予測時）の入力データの画像の種類が、学習時の正解データに含まれる画像の種類毎の確からしさを示す情報（例えば、割合を示す数値）と合わせて表示されてもよい。なお、分類用の学習済モデルの入力データとしては、上記の画像以外にも、複数の低画質画像の重ね合わせ処理（例えば、位置合わせして得た複数の低画質画像の平均化処理）等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像が含まれても良い。

また、撮影部位毎に学習して得た学習済モデルを選択的に利用できるようにしてもよい。具体的には、第１の撮影部位（肺、被検眼等）を含む学習データを用いて得た第１の学習済モデルと、第１の撮影部位とは異なる第２の撮影部位を含む学習データを用いて得た第２の学習済モデルと、を含む複数の学習済モデルを用意することができる。そして、画像処理部３０３は、これら複数の学習済モデルのいずれかを選択する選択手段（不図示）を有してもよい。このとき、画像処理部３０３は、選択された学習済モデルに対して追加学習として実行する制御手段（不図示）を有してもよい。制御手段は、検者からの指示に応じて、選択された学習済モデルに対応する撮影部位と該撮影部位の撮影画像とがペアとなるデータを検索し、検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行することができる。なお、選択された学習済モデルに対応する撮影部位は、データのヘッダの情報から取得したり、検者により手動入力されたりしたものであってよい。また、データの検索は、例えば、病院や研究所等の外部施設のサーバ等からネットワークを介して行われてよい。これにより、学習済モデルに対応する撮影部位の撮影画像を用いて、撮影部位毎に効率的に追加学習することができる。

なお、選択手段及び制御手段は、画像処理部３０３のＣＰＵやＭＰＵ等のプロセッサによって実行されるソフトウェアモジュールにより構成されてよい。また、選択手段及び制御手段は、ＡＳＩＣ等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。

また、追加学習用の学習データを、病院や研究所等の外部施設のサーバ等からネットワークを介して取得する際には、改ざんや、追加学習時のシステムトラブル等による信頼性低下を低減したい。そこで、デジタル署名やハッシュ化による一致性の確認を行うことで、追加学習用の学習データの正当性を検出してもよい。これにより、追加学習用の学習データを保護することができる。このとき、デジタル署名やハッシュ化による一致性の確認した結果として、追加学習用の学習データの正当性が検出できなかった場合には、その旨の警告を行い、その学習データによる追加学習を行わない。なお、サーバは、その設置場所を問わず、例えば、クラウドサーバ、フォグサーバ、エッジサーバ等のどのような形態でもよい。

（変形例６）
上述した様々な実施形態及び変形例において、検者からの指示は、手動による指示（例えば、ユーザーインターフェース等を用いた指示）以外にも、音声等による指示であってもよい。このとき、例えば、機械学習により得た音声認識モデル（音声認識エンジン、音声認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。また、手動による指示は、キーボードやタッチパネル等を用いた文字入力等による指示であってもよい。このとき、例えば、機械学習により得た文字認識モデル（文字認識エンジン、文字認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。また、検者からの指示は、ジェスチャー等による指示であってもよい。このとき、機械学習により得たジェスチャー認識モデル（ジェスチャー認識エンジン、ジェスチャー認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。

また、検者からの指示は、表示部６００における表示画面上の検者の視線検出結果等であってもよい。視線検出結果は、例えば、表示部６００における表示画面の周辺から撮影して得た検者の動画像を用いた瞳孔検出結果であってもよい。このとき、動画像からの瞳孔検出は、上述したような物体認識エンジンを用いてもよい。また、検者からの指示は、脳波、体を流れる微弱な電気信号等による指示であってもよい。

このような場合、例えば、学習データとしては、上述したような種々の学習済モデルの処理による結果の表示の指示を示す文字データ又は音声データ（波形データ）等を入力データとし、種々の学習済モデルの処理による結果等を実際に表示部に表示させるための実行命令を正解データとする学習データであってもよい。また、学習データとしては、例えば、高画質化用の学習済モデルで得た高画質画像の表示の指示を示す文字データ又は音声データ等を入力データとし、高画質画像の表示の実行命令及び高画質化ボタンをアクティブ状態に変更するための実行命令を正解データとする学習データであってもよい。もちろん、学習データとしては、例えば、文字データ又は音声データ等が示す指示内容と実行命令内容とが互いに対応するものであれば何でもよい。また、音響モデルや言語モデル等を用いて、音声データから文字データに変換してもよい。また、複数のマイクで得た波形データを用いて、音声データに重畳しているノイズデータを低減する処理を行ってもよい。また、文字又は音声等による指示と、マウス、タッチパネル等による指示とを、検者からの指示に応じて選択可能に構成されてもよい。また、文字又は音声等による指示のオン・オフを、検者からの指示に応じて選択可能に構成されてもよい。

ここで、機械学習には、上述したような深層学習があり、また、多階層のニューラルネットワークの少なくとも一部には、例えば、再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｒｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いることができる。ここで、本変形例に係る機械学習モデルの一例として、時系列情報を扱うニューラルネットワークであるＲＮＮに関して、図９（ａ）及び（ｂ）を参照して説明する。また、ＲＮＮの一種であるＬｏｎｇ ｓｈｏｒｔ−ｔｅｒｍ ｍｅｍｏｒｙ（以下、ＬＳＴＭ）に関して、図１０（ａ）及び（ｂ）を参照して説明する。

図９（ａ）は、機械学習モデルであるＲＮＮの構造を示す。ＲＮＮ３５２０は、ネットワークにループ構造を持ち、時刻ｔにおいてデータｘ^ｔ３５１０を入力し、データｈ^ｔ３５３０を出力する。ＲＮＮ３５２０はネットワークにループ機能を持つため、現時刻の状態を次の状態に引き継ぐことが可能であるため、時系列情報を扱うことができる。図９（ｂ）には時刻ｔにおけるパラメータベクトルの入出力の一例を示す。データｘ^ｔ３５１０にはＮ個（Ｐａｒａｍｓ１〜ＰａｒａｍｓＮ）のデータが含まれる。また、ＲＮＮ３５２０より出力されるデータｈ^ｔ３５３０には入力データに対応するＮ個（Ｐａｒａｍｓ１〜ＰａｒａｍｓＮ）のデータが含まれる。

しかし、ＲＮＮでは誤差逆伝搬時に長期時間の情報を扱うことができないため、ＬＳＴＭが用いられることがある。ＬＳＴＭは、忘却ゲート、入力ゲート、及び出力ゲートを備えることで長期時間の情報を学習することができる。ここで、図１０（ａ）にＬＳＴＭの構造を示す。ＬＳＴＭ３５４０において、ネットワークが次の時刻ｔに引き継ぐ情報は、セルと呼ばれるネットワークの内部状態ｃ^ｔ−１と出力データｈ^ｔ−１である。なお、図の小文字（ｃ、ｈ、ｘ）はベクトルを表している。

次に、図１０（ｂ）にＬＳＴＭ３５４０の詳細を示す。図１０（ｂ）において、ＦＧは忘却ゲートネットワーク、ＩＧは入力ゲートネットワーク、ＯＧは出力ゲートネットワークを示し、それぞれはシグモイド層である。そのため、各要素が０から１の値となるベクトルを出力する。忘却ゲートネットワークＦＧは過去の情報をどれだけ保持するかを決め、入力ゲートネットワークＩＧはどの値を更新するかを判定するものである。ＣＵは、セル更新候補ネットワークであり、活性化関数ｔａｎｈ層である。これは、セルに加えられる新たな候補値のベクトルを作成する。出力ゲートネットワークＯＧは、セル候補の要素を選択し次の時刻にどの程度の情報を伝えるか選択する。

なお、上述したＬＳＴＭのモデルは基本形であるため、ここで示したネットワークに限らない。ネットワーク間の結合を変更してもよい。ＬＳＴＭではなく、ＱＲＮＮ（Ｑｕａｓｉ Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いてもよい。さらに、機械学習モデルは、ニューラルネットワークに限定されるものではなく、ブースティングやサポートベクターマシン等が用いられてもよい。また、検者からの指示が文字又は音声等による入力の場合には、自然言語処理に関する技術（例えば、Ｓｅｑｕｅｎｃｅ ｔｏＳｅｑｕｅｎｃｅ）が適用されてもよい。また、検者に対して文字又は音声等による出力で応答する対話エンジン（対話モデル、対話用の学習済モデル）が適用されてもよい。

（変形例７）
上述した様々な実施形態及び変形例において、高画質画像等は、検者からの指示に応じて記憶部３０２に保存されてもよい。このとき、高画質画像等を保存するための検者からの指示の後、ファイル名の登録の際に、推奨のファイル名として、ファイル名のいずれかの箇所（例えば、最初の箇所、最後の箇所）に、高画質化用の学習済モデルを用いた処理（高画質化処理）により生成された画像であることを示す情報（例えば、文字）を含むファイル名が、検者からの指示に応じて編集可能な状態で表示されてもよい。

また、レポート画面等の種々の表示画面において、表示部６００に高画質画像を表示させる際に、表示されている画像が高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示が、高画質画像とともに表示されてもよい。この場合には、検者は、当該表示によって、表示された高画質画像が撮影によって取得した画像そのものではないことが容易に識別できるため、誤診断を低減させたり、診断効率を向上させたりすることができる。なお、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示は、入力画像と当該処理により生成された高画質画像とを識別可能な表示であればどのような態様のものでもよい。また、高画質化用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルを用いた処理により生成された結果であることを示す表示が、その結果とともに表示されてもよい。

このとき、レポート画面等の表示画面は、検者からの指示に応じて、画像データとして記憶部３０２に保存されてもよい。例えば、高画質画像等と、これらの画像が高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示とが並んだ１つの画像としてレポート画面が記憶部３０２に保存されてもよい。

また、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示について、高画質化用の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部に表示されてもよい。当該表示としては、学習データの入力データと正解データの種類の説明や、入力データと正解データに含まれる撮影部位等の正解データに関する任意の表示を含んでよい。なお、高画質化用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部に表示されてもよい。

また、高画質化用の学習済モデルを用いた処理により生成された画像であることを示す情報（例えば、文字）を、高画質画像等に重畳した状態で表示又は保存されるように構成されてもよい。このとき、画像上に重畳する箇所は、撮影対象となる注目部位等が表示されている領域には重ならない領域（例えば、画像の端）であればどこでもよい。また、重ならない領域を判定し、判定された領域に重畳させてもよい。

また、レポート画面の初期表示画面として、高画質化ボタンがアクティブ状態（高画質化処理がオン）となるようにデフォルト設定されている場合には、検者からの指示に応じて、高画質画像等を含むレポート画面に対応するレポート画像が外部記憶部５００等のサーバに送信されるように構成されてもよい。また、高画質化ボタンがアクティブ状態となるようにデフォルト設定されている場合には、検査終了時（例えば、検者からの指示に応じて、撮影確認画面やプレビュー画面からレポート画面に変更された場合）に、高画質画像等を含むレポート画面に対応するレポート画像がサーバに（自動的に）送信されるように構成されてもよい。このとき、デフォルト設定における各種設定（例えば、レポート画面の初期表示画面におけるＥｎ−Ｆａｃｅ画像の生成のための深度範囲、解析マップの重畳の有無、高画質画像か否か、経過観察用の表示画面か否か等の少なくとも１つに関する設定）に基づいて生成されたレポート画像がサーバに送信されるように構成されもよい。

（変形例８）
上述した様々な実施形態及び変形例において、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルで得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像）を、第１の種類とは異なる第２の種類の学習済モデルに入力してもよい。このとき、第２の種類の学習済モデルの処理による結果（例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果）が生成されるように構成されてもよい。

また、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルの処理による結果（例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果）を用いて、第１の種類の学習済モデルに入力した画像から、第１の種類とは異なる第２の種類の学習済モデルに入力する画像を生成してもよい。このとき、生成された画像は、第２の種類の学習済モデルにより処理する画像として適した画像である可能性が高い。このため、生成された画像を第２の種類の学習済モデルに入力して得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像）の精度を向上することができる。

また、上述したような種々の学習済モデルは、被検体の２次元の医用画像を含む学習データを学習して得た学習済モデルであってもよいし、また、被検体の３次元の医用画像を含む学習データを学習して得た学習済モデルであってもよい。

また、上述したような学習済モデルの処理による解析結果や診断結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似症例画像検索を行ってもよい。なお、データベースにおいて保存されている複数の画像が、既に機械学習等によって該複数の画像それぞれの特徴量を付帯情報として付帯された状態で管理されている場合等には、画像自体を検索キーとする類似症例画像検索エンジン（類似症例画像検索モデル、類似症例画像検索用の学習済モデル）が用いられてもよい。例えば、画像処理部３０３は、（高画質化用の学習済モデルとは異なる）類似症例画像検索用の学習済モデルを用いて、上述のノイズ低減画像から、該ノイズ低減画像に関連する類似症例画像の検索を行うことができる。また、例えば、表示制御部３０５は、被写体の医用画像を含む学習データを学習して得た類似症例画像検索用の学習済モデルを用いて上述のノイズ低減画像から得た該ノイズ低減画像に関連する類似症例画像を表示部６００に表示させることができる。

（変形例９）
上述した様々な実施形態及び変形例において、上記各種処理は、断層画像の輝度値に基づいて行われる構成に限られない。上記各種処理は、断層画像撮影装置２００で取得された干渉信号、干渉信号にフーリエ変換を施した信号、該信号に任意の処理を施した信号、及びこれらに基づく断層画像等を含む断層データに対して適用されてよい。これらの場合も、上記構成と同様の効果を奏することができる。例えば、分割手段として光カプラを使用したファイバ光学系を用いているが、コリメータとビームスプリッタを使用した空間光学系を用いてもよい。また、断層画像撮影装置２００の構成は、上記の構成に限られず、断層画像撮影装置２００に含まれる構成の一部を断層画像撮影装置２００と別体の構成としてもよい。また、上記の構成では、断層画像撮影装置２００の干渉光学系としてマイケルソン型干渉計の構成が用いられているが、干渉光学系の構成はこれに限られない。例えば、断層画像撮影装置２００の干渉光学系は、マッハツェンダー干渉計の構成を有していてもよい。また、ＯＣＴ装置として、ＳＬＤを光源として用いたスペクトラルドメインＯＣＴ（ＳＤ−ＯＣＴ）装置について述べられているが、ＯＣＴ装置の構成はこれに限られない。例えば、出射光の波長を掃引することができる波長掃引光源を用いた波長掃引型ＯＣＴ（ＳＳ−ＯＣＴ）装置等の他の任意の種類のＯＣＴ装置にも本発明を適用することができる。また、ライン光を用いたＬｉｎｅ−ＯＣＴ装置（あるいはＳＳ−Ｌｉｎｅ−ＯＣＴ装置）に対して本発明を適用することもできる。また、エリア光を用いたＦｕｌｌ Ｆｉｅｌｄ−ＯＣＴ装置（あるいはＳＳ−Ｆｕｌｌ Ｆｉｅｌｄ−ＯＣＴ装置）にも本発明を適用することもできる。また、画像処理部３０３は、断層画像撮影装置２００で取得された干渉信号や画像処理部で生成された三次元断層画像等を取得しているが、画像処理部３０３がこれらの信号や画像を取得する構成はこれに限られない。例えば、画像処理部３０３は、ＬＡＮ、ＷＡＮ、又はインターネット等を介して接続されるサーバや撮影装置からこれらの信号を取得してもよい。

なお、学習済モデルは、画像処理部３０３に設けられることができる。学習済モデルは、例えば、ＣＰＵ等のプロセッサによって実行されるソフトウェアモジュール等で構成されることができる。また、学習済モデルは、画像処理部３０３と接続される別のサーバ等に設けられてもよい。この場合には、画像処理部３０３は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバに接続することで、学習済モデルを用いて高画質化処理を行うことができる。

（変形例１０）
また、上述した様々な実施形態及び変形例による画像処理装置又は画像処理方法によって処理される画像は、任意のモダリティ（撮影装置、撮影方法）を用いて取得された医用画像を含む。処理される医用画像は、任意の撮影装置等で取得された医用画像や、上記実施形態及び変形例による画像処理装置又は画像処理方法によって作成された画像を含むことができる。

さらに、処理される医用画像は、被検者（被検体）の所定部位の画像であり、所定部位の画像は被検者の所定部位の少なくとも一部を含む。また、当該医用画像は、被検者の他の部位を含んでもよい。また、医用画像は、静止画像又は動画像であってよく、白黒画像又はカラー画像であってもよい。さらに医用画像は、所定部位の構造（形態）を表す画像でもよいし、その機能を表す画像でもよい。機能を表す画像は、例えば、ＯＣＴＡ画像、ドップラーＯＣＴ画像、ｆＭＲＩ画像、及び超音波ドップラー画像等の血流動態（血流量、血流速度等）を表す画像を含む。なお、被検者の所定部位は、撮影対象に応じて決定されてよく、人眼（被検眼）、脳、肺、腸、心臓、すい臓、腎臓、及び肝臓等の臓器、頭部、胸部、脚部、並びに腕部等の任意の部位を含む。

また、医用画像は、被検者の断層画像であってもよいし、正面画像であってもよい。正面画像は、例えば、眼底正面画像や、前眼部の正面画像、蛍光撮影された眼底画像、ＯＣＴで取得したデータ（三次元のＯＣＴデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＥｎ−Ｆａｃｅ画像を含む。Ｅｎ−Ｆａｃｅ画像は、三次元のＯＣＴＡデータ（三次元のモーションコントラストデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＯＣＴＡのＥｎ−Ｆａｃｅ画像（モーションコントラスト正面画像）でもよい。また、三次元のＯＣＴデータや三次元のモーションコントラストデータは、三次元の医用画像データの一例である。

ここで、モーションコントラストデータとは、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得た複数のボリュームデータ間での変化を示すデータである。このとき、ボリュームデータは、異なる位置で得た複数の断層画像により構成される。そして、異なる位置それぞれにおいて、略同一位置で得た複数の断層画像の間での変化を示すデータを得ることで、モーションコントラストデータをボリュームデータとして得ることができる。なお、モーションコントラスト正面画像は、血流の動きを測定するＯＣＴアンギオグラフィ（ＯＣＴＡ）に関するＯＣＴＡ正面画像（ＯＣＴＡのＥｎ−Ｆａｃｅ画像）とも呼ばれ、モーションコントラストデータはＯＣＴＡデータとも呼ばれる。モーションコントラストデータは、例えば、２枚の断層画像又はこれに対応する干渉信号間の脱相関値、分散値、又は最大値を最小値で割った値（最大値／最小値）として求めることができ、公知の任意の方法により求められてよい。このとき、２枚の断層画像は、例えば、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得ることができる。

また、Ｅｎ−Ｆａｃｅ画像は、例えば、２つの層境界の間の範囲のデータをＸＹ方向に投影して生成した正面画像である。このとき、正面画像は、光干渉を用いて得たボリュームデータ（三次元の断層画像）の少なくとも一部の深度範囲であって、２つの基準面に基づいて定められた深度範囲に対応するデータを二次元平面に投影又は積算して生成される。Ｅｎ−Ｆａｃｅ画像は、ボリュームデータのうちの、検出された網膜層に基づいて決定された深度範囲に対応するデータを二次元平面に投影して生成された正面画像である。なお、２つの基準面に基づいて定められた深度範囲に対応するデータを二次元平面に投影する手法としては、例えば、当該深度範囲内のデータの代表値を二次元平面上の画素値とする手法を用いることができる。ここで、代表値は、２つの基準面に囲まれた領域の深さ方向の範囲内における画素値の平均値、中央値又は最大値などの値を含むことができる。また、Ｅｎ−Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の一方を基準として、より深い方向又はより浅い方向に所定の画素数分だけ含んだ範囲であってもよい。また、Ｅｎ−Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の間の範囲から、操作者の指示に応じて変更された（オフセットされた）範囲であってもよい。

また、撮影装置とは、診断に用いられる画像を撮影するための装置である。撮影装置は、例えば、被検者の所定部位に光、Ｘ線等の放射線、電磁波、又は超音波等を照射することにより所定部位の画像を得る装置や、被写体から放出される放射線を検出することにより所定部位の画像を得る装置を含む。より具体的には、上述した様々な実施形態及び変形例に係る撮影装置は、少なくとも、Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、ＳＰＥＣＴ装置、ＳＬＯ装置、ＯＣＴ装置、ＯＣＴＡ装置、眼底カメラ、及び内視鏡等を含む。

なお、ＯＣＴ装置としては、タイムドメインＯＣＴ（ＴＤ−ＯＣＴ）装置やフーリエドメインＯＣＴ（ＦＤ−ＯＣＴ）装置を含んでよい。また、フーリエドメインＯＣＴ装置はスペクトラルドメインＯＣＴ（ＳＤ−ＯＣＴ）装置や波長掃引型ＯＣＴ（ＳＳ−ＯＣＴ）装置を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、波面補償光学系を用いた波面補償ＳＬＯ（ＡＯ−ＳＬＯ）装置や波面補償ＯＣＴ（ＡＯ−ＯＣＴ）装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、偏光位相差や偏光解消に関する情報を可視化するための偏光ＳＬＯ（ＰＳ−ＳＬＯ）装置や偏光ＯＣＴ（ＰＳ−ＯＣＴ）装置等を含んでよい。

（その他の実施形態）
上記のそれぞれの実施形態は、画像処理装置として実現したものである。しかしながら、本発明は画像処理装置のみに限定されるものではない。本発明をコンピュータ上で動作するソフトウェアとして実現することも可能である。画像処理装置のＣＰＵは、ＲＡＭやＲＯＭに格納されたコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。また、画像処理装置の各部に対応するソフトウェアの実行を制御して、各部の機能を実現する。また、ボタンなどのユーザーインターフェースや表示のレイアウトは上記で示したものに限定されるものではない。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した様々な実施形態及び変形例の１以上の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

また、本発明は、上述した様々な実施形態及び変形例の１以上の機能を実現するソフトウェア（プログラム）を、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、１つ又は複数のプロセッサ若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサ若しくは回路のネットワークを含みうる。

このとき、プロセッサ又は回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサ又は回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、又はニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

Claims (27)

1. 被写体を撮像して得た第１の医用画像におけるノイズの位置を検出する手段と、
   前記第１の医用画像における前記検出されたノイズの位置の画素値を低減させた第２の医用画像と、前記第１の医用画像におけるノイズが低減されたと推定される推定画像とを生成する手段と、
   前記第２の医用画像と前記推定画像との差に関する第１項と前記推定画像に関する第２項とを含む目的関数を用いて、前記推定画像を変更する手段と、
   前記目的関数が所定の条件を満たすように変更して得た推定画像をノイズ低減画像として出力する手段と、
   を有する画像処理装置。
2. ＯＣＴ装置の撮影時の制御パラメータに応じて、前記ノイズの位置を検出するための閾値を変更する手段を更に有する請求項１に記載の画像処理装置。
3. 前記ノイズの位置を検出する手段は、前記第１の医用画像における信号レベルが周辺近傍より大きい画素と、前記第１の医用画像における信号レベルが周辺近傍より小さい画素との少なくとも１つを、前記ノイズの位置として検出する請求項１または２に記載の画像処理装置。
4. 被写体を撮影して得た第１の医用画像におけるノイズの位置を予測する手段と、
   前記第１の医用画像における前記予測されたノイズの位置の画素値を低減させた第２の医用画像と、前記第１の医用画像におけるノイズが低減されたと推定される推定画像とを生成する手段と、
   前記第２の医用画像と前記推定画像との差に関する第１項と前記推定画像に関する第２項とを含む目的関数を用いて、前記推定画像を変更する手段と、
   前記目的関数が所定の条件を満たすように変更して得た推定画像であって、前記ノイズの位置を乱数として予測して得た複数の前記推定画像を合成して得た合成画像をノイズ低減画像として出力する手段と、
   を有する画像処理装置。
5. 前記ノイズの位置が乱数として予測される際に、ＯＣＴ装置の撮影時の制御パラメータに応じて、前記第１の医用画像における画素数に占めるノイズに関する画素数の割合を変更する請求項４に記載の画像処理装置。
6. 前記目的関数は、前記第１項である誤差項と前記第２項である全変動正則化項との比率を変更するためのパラメータを有する請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 操作者からの指示に応じて、前記パラメータを設定する手段を更に有する請求項６に記載の画像処理装置。
8. 前記パラメータは、ＯＣＴ装置の撮影時の制御パラメータに応じて変更される請求項６または７に記載の画像処理装置。
9. 前記第１の医用画像は、ＯＣＴ装置が前記被写体を撮像して得た断層画像または正面画像である請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記被写体は、被検眼である請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記目的関数が最小化された場合に、前記目的関数が所定の条件を満たしたと判定する手段を更に有する請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記推定画像を変更する手段は、オートエンコーダを用いて前記推定手段を変更する請求項１乃至１０のいずれか１項に記載の画像処理装置。
13. 前記被写体の同じ箇所が複数回スキャンされるように、測定光の走査を制御する手段を用いて得た複数の前記第１の医用画像を用いて得た前記ノイズ低減画像が位置合わせされ、前記位置合わせして得た複数のノイズ低減画像が加算平均される請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記被写体の同じ箇所が複数回スキャンされるように、測定光の走査を制御する手段を用いて得た複数の前記第１の医用画像が位置合わせされ、前記位置合わせして得た複数の第１の医用画像を用いて得た複数の前記ノイズ低減画像が加算平均される請求項１乃至１２のいずれか１項に記載の画像処理装置。
15. 被写体の医用画像を含む学習データを学習して得た高画質化用の学習済モデルを用いて、前記ノイズ低減画像から、該ノイズ低減画像を高画質化処理して得た高画質画像が生成される請求項１乃至１２のいずれか１項に記載の画像処理装置。
16. 前記ノイズ低減画像を表示手段に表示させる表示制御手段を更に有する請求項１乃至１５のいずれか１項に記載の画像処理装置。
17. 前記表示制御手段は、被写体の医用画像を含む学習データを学習して得た解析結果生成用の学習済モデルを用いて前記ノイズ低減画像から生成された該ノイズ低減画像に関連する解析結果を前記表示手段に表示させる請求項１６に記載の画像処理装置。
18. 前記表示制御手段は、被写体の医用画像を含む学習データを学習して得た診断結果生成用の学習済モデルを用いて前記ノイズ低減画像から生成された該ノイズ低減画像に関連する診断結果を前記表示手段に表示させる請求項１６または１７に記載の画像処理装置。
19. 前記表示制御手段は、被写体の医用画像を含む学習データを学習して得た物体認識用の学習済モデルまたは被写体の医用画像を含む学習データを学習して得たセグメンテーション用の学習済モデルを用いて前記ノイズ低減画像から検出された部分領域を前記表示手段に表示させる請求項１６乃至１８のいずれか１項に記載の画像処理装置。
20. 前記表示制御手段は、前記ノイズ低減画像から敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と該ノイズ低減画像との差に関する情報を、異常部位に関する情報として前記表示手段に表示させる請求項１６乃至１９のいずれか１項に記載の画像処理装置。
21. 前記表示制御手段は、被写体の医用画像を含む学習データを学習して得た類似症例画像検索用の学習済モデルを用いて前記ノイズ低減画像から得た該ノイズ低減画像に関連する類似症例画像を前記表示手段に表示させる請求項１６乃至２０のいずれか１項に記載の画像処理装置。
22. 前記ノイズの位置は、前記第１の医用画像から、被写体の医用画像を含む学習データを学習して得た学習済モデルを用いて、検出または予測される請求項１乃至２１のいずれか１項に記載の画像処理装置。
23. 被写体を撮像して得た第１の医用画像を取得する手段と、
    被写体の医用画像を含む学習データを学習して得た学習済モデルを用いて、前記取得された第１の医用画像から、前記取得された第１の医用画像におけるノイズの位置を検出する手段と、
    を有する画像処理装置。
24. 請求項１乃至２３のいずれか１項に記載の画像処理装置と、
    前記第１の医用画像を断層画像として取得するためのＯＣＴ装置と、を有するシステム。
25. 被写体を撮像して得た第１の医用画像におけるノイズの位置を検出する工程と、
    前記第１の医用画像における前記検出されたノイズの位置の画素値を低減させた第２の医用画像と、前記第１の医用画像におけるノイズが低減されたと推定される推定画像とを生成する工程と、
    前記第２の医用画像と前記推定画像との差に関する第１項と前記推定画像に関する第２項とを含む目的関数を用いて、前記推定画像を変更する工程と、
    前記目的関数が所定の条件を満たすように変更して得た推定画像をノイズ低減画像として出力する工程と、
    を有する画像処理方法。
26. 被写体を撮影して得た第１の医用画像におけるノイズの位置を予測する工程と、
    前記第１の医用画像における前記予測されたノイズの位置の画素値を低減させた第２の医用画像と、前記第１の医用画像におけるノイズが低減されたと推定される推定画像とを生成する工程と、
    前記第２の医用画像と前記推定画像との差に関する第１項と前記推定画像に関する第２項とを含む目的関数を用いて、前記推定画像を変更する工程と、
    前記目的関数が所定の条件を満たすように変更して得た推定画像であって、前記ノイズの位置を乱数として予測して得た複数の前記推定画像を合成して得た合成画像をノイズ低減画像として出力する工程と、
    を有する画像処理方法。
27. 請求項２５または２６に記載の画像処理方法の各工程を実行するプログラム。
    7

Images