JP2023017051A

JP2023017051A - 医用画像処理装置、医用画像処理方法及びプログラム

Info

Publication number: JP2023017051A
Application number: JP2022197060A
Authority: JP
Inventors: 好彦岩瀬; Yoshihiko Iwase; 学山添; Manabu Yamazoe; 秀謙溝部; Hidekane Mizobe
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-10-10
Filing date: 2022-12-09
Publication date: 2023-02-02
Anticipated expiration: 2038-10-10
Also published as: JP7229715B2; JP2020058629A; JP7490741B2

Abstract

【課題】従来よりも画像診断に適した画像を生成することができる医用画像処理装置を提供する。【解決手段】医用画像処理装置は、被検眼のモーションコントラスト正面画像である第１の画像を取得する取得部と、機械学習エンジンを含む高画質化エンジンを用いて、第１の画像から、該第１の画像と比べて高画質化された第２の画像を生成する高画質化部とを備える。【選択図】図５

Description

本発明は、医用画像処理装置、医用画像処理方法及びプログラムに関する。

医療分野においては、被検者の疾患を特定したり、疾患の程度を観察したりするために、様々な撮影装置によって画像が取得され、医療従事者による画像診断が行われている。撮影装置の種類には、例えば放射線科分野では、Ｘ線撮影装置、Ｘ線コンピュータ断層撮影（ＣＴ）装置、磁気共鳴イメージング（ＭＲＩ）装置、陽電子放出断層撮影（ＰＥＴ）装置、及び単一光子放射断層撮影（ＳＰＥＣＴ）装置等がある。また、例えば眼科分野では、眼底カメラ、走査型レーザ検眼鏡（ＳＬＯ）、光コヒーレンストモグラフィ（ＯＣＴ）装置、及びＯＣＴアンギオグラフィ（ＯＣＴＡ）装置がある。

画像診断を正確に行ったり、短時間で完了したりするためには、撮影装置によって取得される画像のノイズの少なさや解像度・空間分解能の高さ、適切な階調といった画質の高さが重要となる。また、観察したい部位や病変が強調されている画像も役に立つことがある。

しかしながら、多くの撮影装置においては、画質が高いなどの、画像診断に適した画像を取得するためになんらかの代償が必要である。例えば、画質が高い画像を取得するために高性能な撮影装置を購入する方法があるが、低性能なものよりも多くの投資が必要になる場合が多い。

また、例えばＣＴでは、ノイズが少ない画像を取得するために被検者の被曝線量を増やさなければならない場合がある。また、例えばＭＲＩでは、観察したい部位が強調された画像を取得するために副作用のリスクがある造影剤を使用する場合がある。また、例えばＯＣＴでは、撮影する領域が広かったり、高い空間分解能が必要であったりする場合には、撮影時間がより長くなる場合がある。また、例えば、一部の撮影装置では、画質が高い画像を取得するために複数回画像を取得する必要があり、その分撮影に時間がかかる。

特許文献１には、医用技術の急激な進歩や緊急時の簡易な撮影に対応するため、以前に取得した画像を、人工知能エンジンによって、より解像度の高い画像に変換する技術が開示されている。このような技術によれば、例えば、代償の少ない簡易な撮影によって取得された画像をより解像度の高い画像に変換することができる。

特開２０１８－５８４１号公報

しかしながら、解像度の高い画像であっても、画像診断に適した画像とは言えない場合もある。例えば、解像度が高い画像であっても、ノイズが多い場合やコントラストが低い場合等には観察すべき対象が適切に把握できないことがある。

これに対し、本発明の目的の一つは、従来よりも画像診断に適した画像を生成することができる医用画像処理装置、医用画像処理方法及びプログラムを提供することである。

本発明の一実施態様に係る医用画像処理装置は、被検眼のモーションコントラスト正面画像である第１の画像を取得する取得部と、機械学習エンジンを含む高画質化エンジンを用いて、前記第１の画像から、該第１の画像と比べて高画質化された第２の画像を生成する高画質化部とを備える。

また、本発明の他の実施態様に係る医用画像処理方法は、被検眼のモーションコントラスト正面画像である第１の画像を取得することと、機械学習エンジンを含む高画質化エンジンを用いて、前記第１の画像から、該第１の画像と比べて高画質化された第２の画像を生成することとを含む。

本発明の一つによれば、従来よりも画像診断に適した画像を生成することができる。

高画質化処理に関するニューラルネットワークの構成の一例を示す。撮影箇所推定処理に関するニューラルネットワークの構成の一例を示す。画像の真贋評価処理に関するニューラルネットワークの構成の一例を示す。第１の実施形態に係る画像処理装置の概略的な構成の一例を示す。第１の実施形態に係る画像処理の流れの一例を示すフロー図である。第１の実施形態に係る画像処理の流れの別例を示すフロー図である。第２の実施形態に係る画像処理の流れの一例を示すフロー図である。第４の実施形態に係る画像処理を説明するための図である。第４の実施形態に係る高画質化処理の流れの一例を示すフロー図である。第５の実施形態に係る画像処理を説明するための図である。第５の実施形態に係る高画質化処理の流れの一例を示すフロー図である。第６の実施形態に係る画像処理を説明するための図である。第６の実施形態に係る高画質化処理の流れの一例を示すフロー図である。第６の実施形態に係る画像処理を説明するための図である。第７の実施形態に係る画像処理装置の概略的な構成の一例を示す。第７の実施形態に係る画像処理の流れの一例を示すフロー図である。第７の実施形態に係るユーザーインターフェースの一例を示す。第９の実施形態に係る画像処理装置の概略的な構成の一例を示す。第９の実施形態に係る画像処理の流れの一例を示すフロー図である。第１２の実施形態に係る画像処理装置の概略的な構成の一例を示す。第１３の実施形態に係る高画質化処理の流れの一例を示すフロー図である。第１３の実施形態に係る高画質化処理の流れの別例を示すフロー図である。第１７の実施形態に係る画像処理装置の概略的な構成の一例を示す。第１７の実施形態に係る画像処理の流れの一例を示すフロー図である。高画質化処理に関するニューラルネットワークの構成の一例を示す。第１９の実施形態に係る画像処理装置の概略的な構成の一例を示す。第１９の実施形態に係る画像処理の流れの一例を示すフロー図である。第２１の実施形態に係る画像処理の流れの一例を示すフロー図である。高画質化処理に関する教師画像の一例を示す。高画質化処理に関する入力画像の一例を示す。第２２の実施形態に係る画像処理装置の概略的な構成の一例を示す。第２２の実施形態に係る画像処理の流れの一例を示すフロー図である。第２２の実施形態に係る広画角画像を説明するための図である。

以下、本発明を実施するための例示的な実施形態を、図面を参照して詳細に説明する。ただし、以下の実施形態で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。

＜用語の説明＞
まず、本明細書において用いられる用語について説明する。

本明細書におけるネットワークでは、各装置は有線又は無線の回線で接続されてよい。ここで、ネットワークにおける各装置を接続する回線は、例えば、専用回線、ローカルエリアネットワーク（以下、ＬＡＮと表記）回線、無線ＬＡＮ回線、インターネット回線、Ｗｉ－Ｆｉ（登録商標）、及びＢｌｕｅｔｏｏｔｈ（登録商標）等を含む。

医用画像処理装置は、相互に通信が可能な２以上の装置によって構成されてもよいし、単一の装置によって構成されてもよい。また、医用画像処理装置の各構成要素は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）やＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、当該各構成要素は、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。また、他の任意のハードウェアと任意のソフトウェアとの組み合わせにより構成されてもよい。

また、下記実施形態による医用画像処理装置又は医用画像処理方法によって処理される医用画像は、任意のモダリティ（撮影装置、撮影方法）を用いて取得された画像を含む。処理される医用画像は、任意の撮影装置等で取得された医用画像や下記実施形態による医用画像処理装置又は医用画像処理方法によって作成された画像を含むことができる。

さらに、処理される医用画像は、被検者の所定部位の画像であり、所定部位の画像は被検者の所定部位の少なくとも一部を含む。また、当該医用画像は、被検者の他の部位を含んでもよい。また、医用画像は、静止画像又は動画像であってよく、白黒画像又はカラー画像であってもよい。さらに医用画像は、所定部位の構造（形態）を表す画像でもよいし、その機能を表す画像でもよい。機能を表す画像は、例えば、ＯＣＴＡ画像、ドップラーＯＣＴ画像、ｆＭＲＩ画像、及び超音波ドップラー画像等の血流動態（血流量、血流速度等）を表す画像を含む。なお、被検者の所定部位は、撮影対象に応じて決定されてよく、人眼（被検眼）、脳、肺、腸、心臓、すい臓、腎臓、及び肝臓等の臓器、頭部、胸部、脚部、並びに腕部等の任意の部位を含む。

また、医用画像は、被検者の断層画像であってもよいし、正面画像であってもよい。正面画像は、例えば、眼底正面画像や、前眼部の正面画像、蛍光撮影された眼底画像、ＯＣＴで取得したデータ（３次元のＯＣＴデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＥｎ－Ｆａｃｅ画像を含む。なお、Ｅｎ－Ｆａｃｅ画像は、３次元のＯＣＴＡデータ（３次元のモーションコントラストデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＯＣＴＡのＥｎ－Ｆａｃｅ画像（モーションコントラスト正面画像）であっても良い。

また、撮影装置とは、診断に用いられる画像を撮影するための装置である。撮影装置は、例えば、被検者の所定部位に光、Ｘ線等の放射線、電磁波、又は超音波等を照射することにより所定部位の画像を得る装置や、被写体から放出される放射線を検出することにより所定部位の画像を得る装置を含む。より具体的には、以下の実施形態に係る撮影装置は、少なくとも、Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、ＳＰＥＣＴ装置、ＳＬＯ装置、ＯＣＴ装置、ＯＣＴＡ装置、眼底カメラ、及び内視鏡等を含む。

なお、ＯＣＴ装置としては、タイムドメインＯＣＴ（ＴＤ－ＯＣＴ）装置やフーリエドメインＯＣＴ（ＦＤ－ＯＣＴ）装置を含んでよい。また、フーリエドメインＯＣＴ装置はスペクトラルドメインＯＣＴ（ＳＤ－ＯＣＴ）装置や波長掃引型ＯＣＴ（ＳＳ－ＯＣＴ）装置を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、波面補償光学系を用いた波面補償ＳＬＯ（ＡＯ－ＳＬＯ）装置や波面補償ＯＣＴ（ＡＯ－ＯＣＴ）装置等を含んでよい。

画像管理システムは、撮影装置によって撮影された画像や画像処理された画像を受信して保存する装置及びシステムである。また、画像管理システムは、接続された装置の要求に応じて画像を送信したり、保存された画像に対して画像処理を行ったり、画像処理の要求を他の装置に要求したりすることができる。画像管理システムとしては、例えば、画像保存通信システム（ＰＡＣＳ）を含むことができる。特に、下記実施形態に係る画像管理システムは、受信した画像とともに関連付けられた被検者の情報や撮影時間などの各種情報も保存可能なデータベースを備える。また、画像管理システムはネットワークに接続され、他の装置からの要求に応じて、画像を送受信したり、画像を変換したり、保存した画像に関連付けられた各種情報を送受信したりすることができる。

撮影条件とは、撮影装置によって取得された画像の撮影時の様々な情報である。撮影条件は、例えば、撮影装置に関する情報、撮影が実施された施設に関する情報、撮影に係る検査の情報、撮影者に関する情報、及び被検者に関する情報等を含む。また、撮影条件は、例えば、撮影日時、撮影部位名、撮影領域、撮影画角、撮影方式、画像の解像度や階調、画像サイズ、適用された画像フィルタ、画像のデータ形式に関する情報、及び放射線量に関する情報等を含む。なお、撮影領域には、特定の撮影部位からずれた周辺の領域や複数の撮影部位を含んだ領域等が含まれることができる。

撮影条件は、画像を構成するデータ構造中に保存されていたり、画像とは別の撮影条件データとして保存されていたり、撮影装置に関連するデータベースや画像管理システムに保存されたりすることができる。そのため、撮影条件は、撮影装置の撮影条件の保存手段に対応した手順により取得することができる。具体的には、撮影条件は、例えば、撮影装置が出力した画像のデータ構造を解析したり、画像に対応する撮影条件データを取得したり、撮影装置に関連するデータベースから撮影条件を取得するためのインターフェースにアクセスする等により取得される。

なお、撮影装置によっては、保存されていない等の理由で取得できない撮影条件も存在する。例えば、撮影装置に特定の撮影条件を取得したり保存したりする機能が無い、又はそのような機能が無効にされている場合である。また、例えば、撮影装置や撮影に関係の無い撮影条件であるとして保存しないようになっている場合もある。さらに、例えば、撮影条件が隠蔽されていたり、暗号化されていたり、権利が無いと取得できないようになっていたりする場合等もある。ただし、保存されていない撮影条件であっても取得できる場合がある。例えば、画像解析を実施することによって、撮影部位名や撮影領域を特定することができる。

機械学習モデルとは、任意の機械学習アルゴリズムに対して、事前に適切な教師データ（学習データ）を用いてトレーニング（学習）を行ったモデルである。教師データは、一つ以上の、入力データと出力データとのペア群で構成される。なお、教師データを構成するペア群の入力データと出力データの形式や組み合わせは、一方が画像で他方が数値であったり、一方が複数の画像群で構成され他方が文字列であったり、双方が画像であったりする等、所望の構成に適したものであってよい。

具体的には、例えば、ＯＣＴによって取得された画像と、該画像に対応する撮影部位ラベルとのペア群によって構成された教師データ（以下、第１の教師データ）が挙げられる。なお、撮影部位ラベルは部位を表すユニークな数値や文字列である。また、その他の教師データの例として、ＯＣＴの通常撮影によって取得されたノイズの多い低画質画像と、ＯＣＴにより複数回撮影して高画質化処理した高画質画像とのペア群によって構成されている教師データ（以下、第２の教師データ）等が挙げられる。

機械学習モデルに入力データを入力すると、該機械学習モデルの設計に従った出力データが出力される。機械学習モデルは、例えば、教師データを用いてトレーニングされた傾向に従って、入力データに対応する可能性の高い出力データを出力する。また、機械学習モデルは、例えば、教師データを用いてトレーニングされた傾向に従って、出力データの種類のそれぞれについて、入力データに対応する可能性を数値として出力する等を行うことができる。具体的には、例えば、第１の教師データでトレーニングされた機械学習モデルにＯＣＴによって取得された画像を入力すると、機械学習モデルは、該画像に撮影されている撮影部位の撮影部位ラベルを出力したり、撮影部位ラベル毎の確率を出力したりする。また、例えば、第２の教師データでトレーニングされた機械学習モデルにＯＣＴの通常撮影によって取得されたノイズの多い低画質画像を入力すると、機械学習モデルは、ＯＣＴにより複数回撮影して高画質化処理された画像相当の高画質画像を出力する。なお、機械学習モデルについては、品質保持の観点から、自身が出力した出力データを教師データとして用いないように構成することができる。

また、機械学習アルゴリズムは、畳み込みニューラルネットワーク（ＣＮＮ）等のディープラーニングに関する手法を含む。ディープラーニングに関する手法においては、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、教師データを用いてトレーニングされた傾向を出力データに再現可能な程度が異なる場合がある。例えば、第１の教師データを用いたディープラーニングの機械学習モデルにおいては、より適切なパラメータが設定されていると、正しい撮影部位ラベルを出力する確率がより高くなる場合がある。また、例えば、第２の教師データを用いたディープラーニングの機械学習モデルにおいては、より適切なパラメータが設定されていると、より高画質な画像を出力できる場合がある。

具体的には、ＣＮＮにおけるパラメータは、例えば、畳み込み層に対して設定される、フィルタのカーネルサイズ、フィルタの数、ストライドの値、及びダイレーションの値、並びに全結合層の出力するノードの数等を含むことができる。なお、パラメータ群やトレーニングのエポック数は、教師データに基づいて、機械学習モデルの利用形態に好ましい値に設定することができる。例えば、教師データに基づいて、正しい撮影部位ラベルをより高い確率で出力したり、より高画質な画像を出力したりできるパラメータ群やエポック数を設定することができる。

このようなパラメータ群やエポック数の決定方法の一つを例示する。まず、教師データを構成するペア群の７割をトレーニング用とし、残りの３割を評価用としてランダムに設定する。次に、トレーニング用のペア群を用いて機械学習モデルのトレーニングを行い、トレーニングの各エポックの終了時に、評価用のペア群を用いてトレーニング評価値を算出する。トレーニング評価値とは、例えば、各ペアを構成する入力データをトレーニング中の機械学習モデルに入力したときの出力と、入力データに対応する出力データとを損失関数によって評価した値群の平均値である。最後に、最もトレーニング評価値が小さくなったときのパラメータ群及びエポック数を、当該機械学習モデルのパラメータ群やエポック数として決定する。なお、このように、教師データを構成するペア群をトレーニング用と評価用とに分けてエポック数の決定を行うことによって、機械学習モデルがトレーニング用のペア群に対して過学習してしまうことを防ぐことができる。

高画質化エンジンとは、入力された低画質画像を高画質化した高画質画像を出力するモジュールのことである。ここで、本明細書における高画質化とは、入力された画像を画像診断により適した画質の画像に変換することをいい、高画質画像とは、画像診断により適した画質の画像に変換された画像をいう。また、低画質画像とは、例えば、Ｘ線撮影、ＣＴ、ＭＲＩ、ＯＣＴ、ＰＥＴ、若しくはＳＰＥＣＴ等により取得された二次元画像や三次元画像、又は連続撮影したＣＴの三次元動画像等の特に高画質になるような設定をされずに撮影されたものである。具体的には、低画質画像は、例えば、Ｘ線撮影装置やＣＴによる低線量での撮影や、造影剤を使用しないＭＲＩによる撮影、ＯＣＴの短時間撮影等によって取得される画像、及び少ない撮影回数で取得されたＯＣＴＡ画像等を含む。

また、画像診断に適した画質の内容は、各種の画像診断で何を診断したいのかということに依存する。そのため一概には言えないが、例えば、画像診断に適した画質は、ノイズが少なかったり、高コントラストであったり、撮影対象を観察しやすい色や階調で示していたり、画像サイズが大きかったり、高解像度であったりする画質を含む。また、画像生成の過程で描画されてしまった実際には存在しないオブジェクトやグラデーションが画像から除去されているような画質を含むことができる。

また、ノイズが少なかったり、高コントラストであったりする高画質画像を、ＯＣＴＡ等の画像の血管解析処理や、ＣＴやＯＣＴ等の画像の領域セグメンテーション処理等の画像解析に利用すると、低画質画像を利用するよりも精度よく解析が行えることが多い。そのため、高画質化エンジンによって出力された高画質画像は、画像診断だけでなく、画像解析にも有用である場合がある。

下記の実施形態における高画質化手法を構成する画像処理手法では、ディープラーニング等の各種機械学習アルゴリズムを用いた処理を行う。なお、当該画像処理手法では、機械学習アルゴリズムを用いた処理に加えて、各種画像フィルタ処理、類似画像に対応する高画質画像のデータベースを用いたマッチング処理、及び知識ベース画像処理等の既存の任意の処理を行ってもよい。

特に、二次元画像を高画質化するＣＮＮの構成例として、図１に示す構成がある。当該ＣＮＮの構成には、複数の畳み込み処理ブロック１００群が含まれる。畳み込み処理ブロック１００は、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層１０１と、バッチ正規化（ＢａｔｃｈＮｏｒｍａｌｉｚａｔｉｏｎ）層１０２と、正規化線形関数（ＲｅｃｔｉｆｉｅｒＬｉｎｅａｒＵｎｉｔ）を用いた活性化層１０３とを含む。また、当該ＣＮＮの構成には、合成（Ｍｅｒｇｅｒ）層１０４と、最後の畳み込み層１０５が含まれる。合成層１０４は、畳み込み処理ブロック１００の出力値群と画像を構成する画素値群とを連結したり、加算したりして合成する。最後の畳み込み層１０５は、合成層１０４で合成された、高画質画像Ｉｍ１２０を構成する画素値群を出力する。このような構成では、入力された画像Ｉｍ１１０を構成する画素値群が畳み込み処理ブロック１００群を経て出力された値群と、入力された画像Ｉｍ１１０を構成する画素値群とが、合成層１０４で合成される。その後、合成された画素値群は最後の畳み込み層１０５で高画質画像Ｉｍ１２０に成形される。

なお、例えば、畳み込み処理ブロック１００の数を１６とし、畳み込み層１０１群のパラメータとして、フィルタのカーネルサイズを幅３画素、高さ３画素、フィルタの数を６４とすることで、一定の高画質化の効果を得られる。しかしながら、実際には上記の機械学習モデルの説明において述べた通り、機械学習モデルの利用形態に応じた教師データを用いて、より良いパラメータ群を設定することができる。なお、三次元画像や四次元画像を処理する必要がある場合には、フィルタのカーネルサイズを三次元や四次元に拡張してもよい。

なお、ＣＮＮを用いた画像処理等、一部の画像処理手法を利用する場合には画像サイズについて注意する必要がある。具体的には、高画質画像の周辺部が十分に高画質化されない問題等の対策のため、入力する低画質画像と出力する高画質画像とで異なる画像サイズを要する場合があることに留意すべきである。

明瞭な説明のため、後述の実施形態において明記はしないが、高画質化エンジンに入力される画像と出力される画像とで異なる画像サイズを要する高画質化エンジンを採用した場合には、適宜画像サイズを調整しているものとする。具体的には、機械学習モデルをトレーニングするための教師データに用いる画像や、高画質化エンジンに入力される画像といった入力画像に対して、パディングを行ったり、該入力画像の周辺の撮影領域を結合したりして、画像サイズを調整する。なお、パディングを行う領域は、効果的に高画質化できるように高画質化手法の特性に合わせて、一定の画素値で埋めたり、近傍画素値で埋めたり、ミラーパディングしたりする。

また、高画質化手法は、一つの画像処理手法だけで実施されることもあるし、二つ以上の画像処理手法を組み合わせて実施されることもある。また、複数の高画質化手法群を並列に実施し、複数の高画質画像群を生成した上で、最も高画質な高画質画像を最終的に高画質画像として選択することもある。なお、最も高画質な高画質画像の選択は、画質評価指数を用いて自動的に行われてもよいし、任意の表示部等に備えられたユーザーインターフェースに複数の高画質画像群を表示して、検者（ユーザー）の指示に応じて行われてもよい。

なお、高画質化していない入力画像の方が、画像診断に適している場合もあるので、最終的な画像の選択の対象には入力画像を加えてよい。また、高画質化エンジンに対して、低画質画像とともにパラメータを入力してもよい。高画質化エンジンに対して、入力画像とともに、例えば、高画質化を行う程度を指定するパラメータや、画像処理手法に用いられる画像フィルタサイズを指定するパラメータを入力してもよい。

撮影箇所推定エンジンとは、入力された画像の撮影部位や撮影領域を推定するモジュールのことである。撮影箇所推定エンジンは、入力された画像に描画されている撮影部位や撮影領域がどこであるか、又は必要な詳細レベルの撮影部位ラベルや撮影領域ラベル毎に、該撮影部位や撮影領域である確率を出力することができる。

撮影部位や撮影領域は、撮影装置によっては撮影条件として保存していない、又は撮影装置が取得できず保存できていない場合がある。また、撮影部位や撮影領域が保存されていても、必要な詳細レベルの撮影部位や撮影領域が保存されていない場合もある。例えば、撮影部位として“後眼部”と保存されているだけで、詳細には“黄斑部”なのか、“視神経乳頭部”なのか、又は、“黄斑部及び視神経乳頭部”なのか、“その他”なのかが分からないことがある。また、別の例では、撮影部位として“***”と保存されているだけで、詳細には“右***”なのか、“左***”なのか、又は、“両方”なのかが分からないことがある。そのため、撮影箇所推定エンジンを用いることで、これらの場合に入力画像の撮影部位や撮影領域を推定することができる。

撮影箇所推定エンジンの推定手法を構成する画像及びデータ処理手法では、ディープラーニング等の各種機械学習アルゴリズムを用いた処理を行う。なお、当該画像及びデータ処理手法では、機械学習アルゴリズムを用いた処理に加えて又は代えて、自然言語処理、類似画像及び類似データのデータベースを用いたマッチング処理、知識ベース処理等の既存の任意の推定処理を行ってもよい。なお、機械学習アルゴリズムを用いて構築した機械学習モデルをトレーニングする教師データは、撮影部位や撮影領域のラベルが付けられた画像とすることができる。この場合には、教師データの画像を入力データ、撮影部位や撮影領域のラベルを出力データとする。

特に、二次元画像の撮影箇所を推定するＣＮＮの構成例として、図２に示す構成がある。当該ＣＮＮの構成には、畳み込み層２０１とバッチ正規化層２０２と正規化線形関数を用いた活性化層２０３とで構成された複数の畳み込み処理ブロック２００群が含まれる。また、当該ＣＮＮの構成には、最後の畳み込み層２０４と、全結合（ＦｕｌｌＣｏｎｎｅｃｔｉｏｎ）層２０５と、出力層２０６が含まれる。全結合層２０５は畳み込み処理ブロック２００の出力値群を全結合する。また、出力層２０６は、Ｓｏｆｔｍａｘ関数を利用して、入力画像Ｉｍ２１０に対する、想定される撮影部位ラベル毎の確率を推定結果（Ｒｅｓｕｌｔ）２０７として出力する。このような構成では、例えば、入力画像Ｉｍ２１０が“黄斑部”を撮影した画像であれば、“黄斑部に対応する撮影部位ラベルについて最も高い確率が出力される。

なお、例えば、畳み込み処理ブロック２００の数を１６、畳み込み層２０１群のパラメータとして、フィルタのカーネルサイズを幅３画素、高さ３画素、フィルタの数を６４とすることで、一定の精度で撮影部位を推定することができる。しかしながら、実際には上記の機械学習モデルの説明において述べた通り、機械学習モデルの利用形態に応じた教師データを用いて、より良いパラメータ群を設定することができる。なお、三次元画像や四次元画像を処理する必要がある場合には、フィルタのカーネルサイズを三次元や四次元に拡張してもよい。なお、推定手法は、一つの画像及びデータ処理手法だけで実施されることもあるし、二つ以上の画像及びデータ処理手法を組み合わせて実施されることもある。

画質評価エンジンとは、入力された画像に対する画質評価指数を出力するモジュールのことである。画質評価指数を算出する画質評価処理手法では、ディープラーニング等の各種機械学習アルゴリズムを用いた処理を行う。なお、当該画質評価処理手法では、画像ノイズ計測アルゴリズム、及び類似画像や基底画像に対応する画質評価指数のデータベースを用いたマッチング処理等の既存の任意の評価処理を行ってもよい。なお、これらの評価処理は、機械学習アルゴリズムを用いた処理に加えて又は代えて行われてよい。

例えば、画質評価指数は機械学習アルゴリズムを用いて構築した機械学習モデルより得ることができる。この場合、機械学習モデルをトレーニングする教師データを構成するペアの入力データは、事前に様々な撮影条件によって撮影された低画質画像群と高画質画像群とで構成される画像群である。また、機械学習モデルをトレーニングする教師データを構成するペアの出力データは、例えば、画像診断を行う検者が入力データの画像群のそれぞれについて設定した画質評価指数群である。

本発明の説明における真贋評価エンジンとは、入力された画像の描画を評価して、対象の撮影装置によって撮影され取得された画像か否かを、ある程度の精度で評価するモジュールである。真贋評価処理手法では、ディープラーニング等の各種機械学習アルゴリズムを用いた処理を行う。なお、真贋評価処理手法では、機械学習アルゴリズムを用いた処理に加えて又は代えて、知識ベース処理等の既存の任意の評価処理を行ってもよい。

例えば、真贋評価処理は機械学習アルゴリズムを用いて構築した機械学習モデルにより実施することができる。まず、機械学習モデルの教師データについて説明する。教師データには、事前に様々な撮影条件によって撮影された高画質画像群と対象の撮影装置によって撮影され取得されたことを表すラベル（以下、真作ラベル）とのペア群が含まれる。また、教師データには、高画質化エンジン（第１レベルの高画質化エンジン）に低画質画像を入力して生成した高画質画像群と対象の撮影装置によって撮影され取得されていないことを表すラベル（以下、贋作ラベル）とのペア群が含まれる。このような教師データを用いてトレーニングした機械学習モデルは、第１レベルの高画質化エンジンが生成する高画質画像が入力されると贋作ラベルを出力する。

特に、二次元画像の真贋評価処理を行うＣＮＮの構成例として、図３に示す構成がある。当該ＣＮＮの構成には、畳み込み層３０１と、バッチ正規化層３０２と、正規化線形関数を用いた活性化層３０３とで構成された複数の畳み込み処理ブロック３００群が含まれる。また、当該ＣＮＮの構成には、最後の畳み込み層３０４と、全結合層３０５と、出力層３０６が含まれる。全結合層３０５は、畳み込み処理ブロック３００の出力値群を全結合する。また、出力層３０６は、Ｓｉｇｍｏｉｄ関数を利用して、入力画像Ｉｍ３１０に対して、真作ラベルを表す１の値（真）又は贋作ラベルを表す０の値（偽）を、真贋評価処理の結果（Ｒｅｓｕｌｔ）３０７として出力する。

なお、畳み込み処理ブロック３００の数を１６、畳み込み層３０１群のパラメータとして、フィルタのカーネルサイズを幅３画素、高さ３画素、フィルタの数を６４とすることで、一定の精度で正しい真贋評価処理の結果を得られる。しかしながら、実際には上記の機械学習モデルの説明において述べた通り、機械学習モデルの利用形態に応じた教師データを用いて、より良いパラメータ群を設定することができる。なお、三次元画像や四次元画像を処理する必要がある場合には、フィルタのカーネルサイズを三次元や四次元に拡張してもよい。

真贋評価エンジンは、第１レベルの高画質化エンジンよりも高度に高画質化する高画質化エンジン（第２レベルの高画質化エンジン）が生成する高画質画像が入力されると真作ラベルを出力することがある。つまり、真贋評価エンジンは入力された画像に対し、確実に撮影装置によって撮影され取得された画像か否かを評価できるわけではないが、撮影装置によって撮影され取得された画像らしさを持つ画像か否かを評価できる。この特性を利用して、真贋評価エンジンに高画質化エンジンが生成した高画質画像を入力することで、高画質化エンジンが生成した高画質画像が十分に高画質化されているか否かを評価できる。

また、高画質化エンジンの機械学習モデルと真贋評価エンジンの機械学習モデルとを協調させてトレーニングすることによって、双方のエンジンの効率や精度を向上させてもよい。この場合には、まず、高画質化エンジンが生成する高画質画像を真贋評価エンジンに評価させると真作ラベルが出力されるように、該高画質化エンジンの機械学習モデルをトレーニングする。また、並行して、高画質化エンジンが生成する画像を真贋評価エンジンに評価させると贋作ラベルを出力するように、該真贋評価エンジンの機械学習モデルをトレーニングさせる。さらに、並行して、撮影装置によって取得された画像を真贋評価エンジンに評価させると真作ラベルを出力するように、該真贋評価エンジンの機械学習モデルをトレーニングさせる。これによって、高画質化エンジンと真贋評価エンジンの効率や精度が向上する。

＜第１の実施形態＞
以下、図４及び５を参照して、第１の実施形態による医用画像処理装置について説明する。図４は、本実施形態に係る画像処理装置の概略的な構成の一例を示す。

画像処理装置４００は、撮影装置１０及び表示部２０に、回路やネットワークを介して接続されている。また、撮影装置１０及び表示部２０が直接接続されていてもよい。なお、これらの装置は本実施形態では別個の装置とされているが、これらの装置の一部又は全部を一体的に構成してもよい。また、これらの装置は、他の任意の装置と回路やネットワークを介して接続されてもよいし、他の任意の装置と一体的に構成されてもよい。

画像処理装置４００には、取得部４０１と、撮影条件取得部４０２と、高画質化可否判定部４０３と、高画質化部４０４と、出力部４０５（表示制御部）とが設けられている。なお、画像処理装置４００は、これら構成要素のうちの一部が設けられた複数の装置で構成されてもよい。取得部４０１は、撮影装置１０や他の装置から各種データや画像を取得したり、不図示の入力装置を介して検者からの入力を取得したりすることができる。なお、入力装置としては、マウス、キーボード、タッチパネル及びその他任意の入力装置を採用してよい。また、表示部２０をタッチパネルディスプレイとして構成してもよい。

撮影条件取得部４０２は、取得部４０１が取得した医用画像（入力画像）の撮影条件を取得する。具体的には、医用画像のデータ形式に応じて、医用画像を構成するデータ構造に保存された撮影条件群を取得する。なお、医用画像に撮影条件が保存されていない場合には、取得部４０１を介して、撮影装置１０や画像管理システムから撮影条件群を含む撮影情報群を取得することができる。

高画質化可否判定部４０３は、撮影条件取得部４０２によって取得された撮影条件群を用いて高画質化部４０４によって医用画像が対処可能であるか否かを判定する。高画質化部４０４は、対処可能である医用画像について高画質化を行い、画像診断に適した高画質画像を生成する。出力部４０５は、高画質化部４０４が生成した高画質画像や入力画像、各種情報等を表示部２０に表示させる。また、出力部４０５は、生成された高画質画像等を画像処理装置４００に接続される記憶装置に記憶させてもよい。

次に、高画質化部４０４について詳細に説明する。高画質化部４０４には高画質化エンジンが備えられている。本実施形態に係る高画質化エンジンの備える高画質化手法では、機械学習アルゴリズムを用いた処理を行う。

本実施形態では、機械学習アルゴリズムに係る機械学習モデルのトレーニングに、処理対象として想定される特定の撮影条件を持つ低画質画像である入力データと、入力データに対応する高画質画像である出力データのペア群で構成された教師データを用いる。なお、特定の撮影条件には、具体的には、予め決定された撮影部位、撮影方式、撮影画角、及び画像サイズ等が含まれる。

本実施形態において、教師データの入力データは、撮影装置１０と同じ機種、撮影装置１０と同じ設定により取得された低画質画像である。また、教師データの出力データは、撮影装置１０と同じ機種が備える設定や画像処理により取得された高画質画像である。具体的には、出力データは、例えば、複数回撮影することにより取得した画像（元画像）群に対して加算平均等の重ね合わせ処理を行うことにより得られる高画質画像（重ね合わせ画像）である。ここで、高画質画像と低画質画像についてＯＣＴＡのモーションコントラストデータを例として説明をする。ここで、モーションコントラストデータとは、ＯＣＴＡ等で用いられる、撮影対象の同一箇所を繰り返し撮影し、その撮影間における撮影対象の時間的な変化を検出したデータである。このとき、算出したモーションコントラストデータのうち、撮影対象の深さ方向における所望の範囲のデータを用いて正面画像を生成することで、ＯＣＴＡのＥｎ－Ｆａｃｅ画像（モーションコントラスト正面画像）を生成することができる。なお、以下では同一箇所におけるＯＣＴデータを繰り返し撮影することをＮＯＲ（ＮｕｍｂｅｒＯｆＲｅｐｅａｔ）と呼ぶ。

本実施形態において、重ね合わせ処理による高画質画像と低画質画像の生成例として異なる２種類の方法について図２８を用いて説明をする。

第一の方法は、高画質画像の例として、撮影対象の同一箇所を繰り返し撮影したＯＣＴデータから生成するモーションコントラストデータに関して、図２８（ａ）を用いて説明する。図２８（ａ）において、Ｉｍ２８１０は３次元のモーションコントラストデータ、Ｉｍ２８１１は３次元のモーションコントラストデータを構成する２次元のモーションコントラストデータを示す。そして、Ｉｍ２８１１－１～Ｉｍ２８１１－３は、Ｉｍ２８１１を生成するためのＯＣＴ断層画像（Ｂスキャン）を示している。ここで、ＮＯＲとは、図２８（ａ）においては、Ｉｍ２８１１－１～Ｉｍ２８１１－３におけるＯＣＴ断層画像の数の事を示し、図の例においてＮＯＲは３である。Ｉｍ２８１１－１～Ｉｍ２８１１－３は所定の時間間隔（Δｔ）で撮影される。なお、同一箇所とは被検眼の正面方向（Ｘ－Ｙ）において、１ラインの事を示し、図２８（ａ）においては、Ｉｍ２８１１の箇所に相当する。モーションコントラストデータは時間的な変化を検出したデータであるため、このデータを生成するためには、少なくともＮＯＲは２回とする必要がある。例えば、ＮＯＲが２の場合には、１つのモーションコントラストデータが生成される。ＮＯＲが３の場合には、隣接する時間間隔（１回目と２回目、２回目と３回目）のＯＣＴのみでモーションコントラストデータを生成する場合には、２つのデータが生成される。離れた時間間隔（１回目と３回目）のＯＣＴデータも用いてモーションコントラストデータを生成する場合には、合計３つのデータが生成される。すなわち、ＮＯＲを３回、４回、・・・と増やしていくと、同一箇所におけるモーションコントラストのデータ数も増加する。同一箇所を繰り返し撮影して取得した複数のモーションコントラストデータを位置合わせして加算平均等の重ね合わせ処理をすることで、高画質なモーションコントラストデータを生成することが出来る。そのため、ＮＯＲを少なくとも３回以上とし、５回以上とするのが望ましい。一方、これに対応する低画質画像の例としては、加算平均等の重ね合わせ処理を行う前のモーションコントラストデータとする。この場合、低画質画像は加算平均等の重ね合わせ処理を行う際の基準画像とするのが望ましい。重ね合わせ処理をする際に、基準画像に対して対象画像の位置や形状を変形して位置合わせを行っておけば、基準画像と重ね合わせ処理後の画像とでは空間的な位置ずれがほとんどない。そのため、容易に低画質画像と高画質画像のペアとすることが出来る。なお、基準画像ではなく位置合わせの画像変形処理を行った対象画像を低画質画像としてもよい。元画像群（基準画像と対象画像）のそれぞれを入力データ、対応する重ね合わせ画像を出力データとすることで、複数のペア群を生成することができる。例えば、１５の元画像群から１の重ね合わせ画像を得る場合、元画像群のうちの一つ目の元画像と重ね合わせ画像とのペア、元画像群のうちの二つ目の元画像と重ね合わせ画像とのペアを生成することができる。このように、１５の元画像群から１の重ね合わせ画像を得る場合には、元画像群のうちの一つの画像と重ね合わせ画像による１５のペア群が生成可能である。なお、主走査（Ｘ）方向に同一箇所を繰り返し撮影し、それを副走査（Ｙ）方向にずらしながらスキャンをすることで３次元の高画質データを生成することが出来る。

第二の方法は、撮影対象の同一領域を複数回撮影したモーションコントラストデータを重ね合わせ処理することで高画質画像を生成する処理に関して、図２８（ｂ）を用いて説明する。なお、同一領域とは被検眼の正面方向（Ｘ－Ｙ）において、３×３ｍｍや１０×１０ｍｍのような領域の事を示し、断層画像の深さ方向を含めて３次元のモーションコントラストデータを取得することを意味する。同一領域を複数回撮影して重ね合わせ処理を行う際には、１回あたりの撮影を短くするため、ＮＯＲは２回か３回とすることが望ましい。また、高画質な３次元モーションコントラストデータを生成するために、同一領域の３次元データを少なくとも２データ以上取得する。図２８（ｂ）では、複数の３次元モーションコントラストデータの例を示している。Ｉｍ２８２０～Ｉｍ２８４０は、図２８（ａ）で説明したのと同様に３次元のモーションコントラストデータである。これら２データ以上の３次元モーションコントラストデータを用いて、正面方向（Ｘ－Ｙ）と深度方向（Ｚ）の位置合わせ処理を行い、それぞれのデータにおいてアーティファクトとなるデータを除外した後に、平均化処理を行う。それによりアーティファクトの除外された１つの高画質な３次元モーションコントラストデータを生成することが出来る。３次元モーションコントラストデータから任意の平面を生成することで高画質画像となる。一方、これに対応する低画質画像は加算平均等の重ね合わせ処理を行う際の基準データから生成する任意の平面とするのが望ましい。第一の方法で説明したように、基準画像と加算平均後の画像とでは空間的な位置ずれがほとんどないため、容易に低画質画像と高画質画像のペアとすることが出来る。なお、基準データではなく位置合わせの画像変形処理を行った対象データから生成した任意の平面を低画質画像としてもよい。

第一の方法は、撮影自体が１回で終了するため被験者の負担は少ない。しかし、ＮＯＲの回数を増やすほど１回の撮影時間が長くなってしまう。また、撮影途中に目の混濁や睫毛などのアーティファクトが入った場合には必ずしも良い画像が得られるとは限らない。第二の方法は、複数回撮影を行うため被験者の負担は少し増えてしまう。しかし、１回の撮影時間が短く済むのと、１回の撮影でアーティファクトが入ったとしても、別の撮影でアーティファクトが写らなければ最終的にはアーティファクトの少ないきれいな画像を得ることが出来る。これらの特徴を鑑みて、データを集める際には被験者の状況に合わせて任意の方法を選択する。

本実施形態では、モーションコントラストデータを例として説明をしたがこれに限らない。モーションコントラストデータを生成するためにＯＣＴデータを撮影しているため、ＯＣＴデータでも上記の方法で同じことが可能である。さらに、本実施形態においてトラッキング処理について説明を省略したが、被検眼の同一箇所や同一領域を撮影するため、被検眼のトラッキングを行いながら撮影を行うことが望ましい。

本実施形態において、３次元の高画質データと低画質データのペアが出来ているため、ここから任意の２次元画像のペアを生成することが出来る。これに関して、図２９を用いて説明をする。例えば、対象画像をＯＣＴＡのＥｎ－Ｆａｃｅ画像とする場合、３次元データから所望の深度範囲でＯＣＴＡのＥｎ－Ｆａｃｅ画像を生成する。所望の深度範囲とは、図２８においてＺ方向における範囲の事を示す。ここで生成するＯＣＴＡのＥｎ－Ｆａｃｅ画像の例を図２９（ａ）に示す。ＯＣＴＡのＥｎ－Ｆａｃｅ画像としては、表層（Ｉｍ２９１０）、深層（Ｉｍ２９２０）、外層（Ｉｍ２９３０）、脈絡膜血管網（Ｉｍ２９４０）など、異なる深度範囲で生成したＯＣＴＡのＥｎ－Ｆａｃｅ画像を用いて学習を行う。なお、ＯＣＴＡのＥｎ－Ｆａｃｅ画像の種類はこれに限らず、基準となる層とオフセットの値を変えて異なる深度範囲を設定したＯＣＴＡのＥｎ－Ｆａｃｅ画像を生成して種類を増やしてもよい。学習を行う際には、異なる深さのＯＣＴＡのＥｎ－Ｆａｃｅ画像毎に別々に学習をしてもよいし、異なる深度範囲の画像を複数組み合わせて（例えば、表層側と深層側で分ける）学習してもよいし、全ての深度範囲のＯＣＴＡのＥｎ－Ｆａｃｅ画像を一緒に学習させるようにしてもよい。ＯＣＴデータから生成する輝度のＥｎ－Ｆａｃｅ画像の場合も、ＯＣＴＡのＥｎ－Ｆａｃｅと同様に、任意の深度範囲から生成した複数のＥｎ－Ｆａｃｅ画像を用いて学習を行う。例えば、高画質化エンジンが、被検眼の異なる深度範囲に対応する複数のモーションコントラスト正面画像を含む学習データを用いて得た機械学習エンジンを含む場合を考える。このとき、取得部は、異なる深度範囲を含む長い深度範囲のうち一部の深度範囲に対応するモーションコントラスト正面画像を第１の画像として取得することができる。すなわち、学習データに含まれる複数のモーションコントラスト正面画像に対応する複数の深度範囲とは異なる深度範囲に対応するモーションコントラスト正面画像を、高画質化時の入力画像とすることができる。もちろん、学習時と同じ深度範囲のモーションコントラスト正面画像を、高画質化時の入力画像としてもよい。また、一部の深度範囲は、検者がユーザーインターフェース上の任意のボタンを押す等に応じて設定されてもよいし、自動的に設定されてもよい。なお、上述した内容は、モーションコントラスト正面画像に限るものではなく、例えば、輝度のＥｎ－Ｆａｃｅ画像に対しても適用することができる。

なお、処理対象の画像が断層画像である場合、ＢスキャンであるＯＣＴ断層画像やモーションコントラストデータの断層画像を用いて学習を行う。これに関して、図２９（ｂ）を用いて説明をする。図２９（ｂ）において、Ｉｍ２９５１～Ｉｍ２９５３はＯＣＴの断層画像である。図２９（ｂ）において画像が異なるのは、副走査（Ｙ）方向の位置が異なる場所の断層画像を示しているからである。断層画像においては、副走査方向の位置の違いを気にせずに一緒に学習をするようにしてもよい。ただし、撮影部位（例えば、黄斑部中心、視神経乳頭部中心）が異なる場所を撮影した画像の場合には、部位ごとに別々に学習をするようにしてもよいし、撮影部位を気にせずに一緒に学習をするようにしてもよい。なお、ＯＣＴ断層画像と、モーションコントラストデータの断層画像においては画像特徴量が大きく異なるので別々に学習を行う方が良い。

重ね合わせ処理を行った重ね合わせ画像は、元画像群で共通して描出された画素が強調されるため、画像診断に適した高画質画像になる。この場合には、生成される高画質画像は、共通して描出された画素が強調された結果、低輝度領域と高輝度領域との違いがはっきりした高コントラストな画像になる。また、例えば、重ね合わせ画像では、撮影毎に発生するランダムノイズが低減されたり、ある時点の元画像ではうまく描出されなかった領域が他の元画像群によって補間されたりすることができる。

また、機械学習モデルの入力データを複数の画像で構成する必要がある場合には、元画像群から必要な数の元画像群を選択し、入力データとすることができる。例えば、１５の元画像群から１の重ね合わせ画像を得る場合において、機械学習モデルの入力データとして２の画像が必要であれば、１０５（１５Ｃ２＝１０５）のペア群を生成可能である。

なお、教師データを構成するペア群のうち、高画質化に寄与しないペアは教師データから取り除くことができる。例えば、教師データのペアを構成する出力データである高画質画像が画像診断に適さない画質である場合には、当該教師データを用いて学習した高画質化エンジンが出力する画像も画像診断に適さない画質になってしまう可能性がある。そのため、出力データが画像診断に適さない画質であるペアを教師データから取り除くことで、高画質化エンジンが画像診断に適さない画質の画像を生成する可能性を低減させることができる。

また、ペアである画像群の平均輝度や輝度分布が大きく異なる場合には、当該教師データを用いて学習した高画質化エンジンが、低画質画像と大きく異なる輝度分布を持つ画像診断に適さない画像を出力する可能性がある。このため、平均輝度や輝度分布が大きく異なる入力データと出力データのペアを教師データから取り除くこともできる。

さらに、ペアである画像群に描画される撮影対象の構造や位置が大きく異なる場合には、当該教師データを用いて学習した高画質化エンジンが、低画質画像と大きく異なる構造や位置に撮影対象を描画した画像診断に適さない画像を出力する可能性がある。このため、描画される撮影対象の構造や位置が大きく異なる入力データと出力データのペアを教師データから取り除くこともできる。また、高画質化エンジンについて、品質保持の観点から、自身が出力する高画質画像を教師データとして用いないように構成することができる。

このように機械学習を行った高画質化エンジンを用いることで、高画質化部４０４は、一回の撮影で取得された医用画像が入力された場合に、重ね合わせ処理によって高コントラスト化やノイズ低減等が行われたような高画質画像を出力することができる。このため、高画質化部４０４は、入力画像である低画質画像に基づいて、画像診断に適した高画質画像を生成することができる。

次に、図５のフロー図を参照して、本実施形態に係る一連の画像処理について説明する。図５は本実施形態に係る一連の画像処理のフロー図である。まず、本実施形態に係る一連の画像処理が開始されると、処理はステップＳ５１０に移行する。

ステップＳ５１０では、取得部４０１が、回路やネットワークを介して接続された撮影装置１０から、撮影装置１０が撮影した画像を入力画像として取得する。なお、取得部４０１は、撮影装置１０からの要求に応じて、入力画像を取得してもよい。このような要求は、例えば、撮影装置１０が画像を生成した時、撮影装置１０が生成した画像を撮影装置１０が備える記録装置に保存する前や保存した後、保存された画像を表示部２０に表示する時、画像解析処理に高画質画像を利用する時等に発行されてよい。

なお、取得部４０１は、撮影装置１０から画像を生成するためのデータを取得し、画像処理装置４００が当該データに基づいて生成した画像を入力画像として取得してもよい。この場合、画像処理装置４００が各種画像を生成するための画像生成方法としては、既存の任意の画像生成方法を採用してよい。

ステップＳ５２０では、撮影条件取得部４０２が、入力画像の撮影条件群を取得する。具体的には、入力画像のデータ形式に応じて、入力画像を構成するデータ構造に保存された撮影条件群を取得する。なお、上述のように、入力画像に撮影条件が保存されていない場合には、撮影条件取得部４０２は、撮影装置１０や不図示の画像管理システムから撮影条件群を含む撮影情報群を取得することができる。

ステップＳ５３０においては、高画質化可否判定部４０３が、取得された撮影条件群を用いて、高画質化部４０４に備える高画質化エンジンによって入力画像を高画質化可能であるか否かを判定する。具体的には、高画質化可否判定部４０３は、入力画像の撮影部位、撮影方式、撮影画角、及び画像サイズが、高画質化エンジンによって対処可能な条件と一致するか否かを判定する。

高画質化可否判定部４０３が、すべての撮影条件を判定し、対処可能と判定された場合には、処理はステップＳ５４０に移行する。一方、高画質化可否判定部４０３が、これら撮影条件に基づいて、高画質化エンジンが入力画像を対処不可能であると判定した場合には、処理はステップＳ５５０に移行する。

なお、画像処理装置４００の設定や実装形態によっては、撮影部位、撮影方式、撮影画角、及び画像サイズのうちの一部に基づいて入力画像が処理不可能であると判定されたとしても、ステップＳ５４０における高画質化処理が実施されてもよい。例えば、高画質化エンジンが、被検者のいずれの撮影部位に対しても網羅的に対応可能であると想定され、入力データに未知の撮影部位が含まれていたとしても対処可能であるように実装されている場合等には、このような処理を行ってもよい。また、高画質化可否判定部４０３は、所望の構成に応じて、入力画像の撮影部位、撮影方式、撮影画角、及び画像サイズのうちの少なくとも一つが高画質化エンジンによって対処可能な条件と一致するか否かを判定してもよい。

ステップＳ５４０においては、高画質化部４０４が、高画質化エンジンを用いて、入力画像を高画質化し、入力画像よりも画像診断に適した高画質画像を生成する。具体的には、高画質化部４０４は、入力画像を高画質化エンジンに入力し、高画質化された高画質画像を生成させる。高画質化エンジンは、教師データを用いて機械学習を行った機械学習モデルに基づいて、入力画像を用いて重ね合わせ処理を行ったような高画質画像を生成する。このため、高画質化エンジンは、入力画像よりも、ノイズ低減されたり、コントラスト強調されたりした高画質画像を生成することができる。

なお、画像処理装置４００の設定や実装形態によっては、高画質化部４０４が、撮影条件群に応じて、高画質化エンジンに入力画像とともにパラメータを入力して、高画質化の程度等を調節してもよい。また、高画質化部４０４は、検者の入力に応じたパラメータを高画質化エンジンに入力画像とともに入力して高画質化の程度等を調整してもよい。

ステップＳ５５０では、出力部４０５が、ステップＳ５４０において高画質画像が生成されていれば、高画質画像を出力して、表示部２０に表示させる。一方、ステップＳ５３０において高画質化処理が不可能であるとされていた場合には、入力画像を出力し、表示部２０に表示させる。なお、出力部４０５は、表示部２０に出力画像を表示させるのに代えて、撮影装置１０や他の装置に出力画像を表示させたり、記憶させたりしてもよい。また、出力部４０５は、画像処理装置４００の設定や実装形態によっては、出力画像を撮影装置１０や他の装置が利用可能なように加工したり、画像管理システム等に送信可能なようにデータ形式を変換したりしてもよい。

上記のように、本実施形態に係る画像処理装置４００は、取得部４０１と、高画質化部４０４とを備える。取得部４０１は、被検者の所定部位の画像である入力画像（第１の画像）を取得する。高画質化部４０４は、機械学習エンジンを含む高画質化エンジンを用いて、入力画像から、入力画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされた高画質画像（第２の画像）を生成する。高画質化エンジンは、重ね合わせ処理により得られた画像を学習データとした機械学習エンジンを含む。

当該構成により、本実施形態に係る画像処理装置４００は、入力画像から、ノイズが低減されていたり、コントラストが強調されていたりする高画質画像を出力することができる。このため、画像処理装置４００は、より明瞭な画像や観察したい部位や病変が強調されている画像等の画像診断に適した画像を、従来と比べて、撮影者や被検者の侵襲性を高めたり、労力を増したりすることなく、より少ない代償で取得することができる。

また、画像処理装置４００は、入力画像に対して、高画質化エンジンを用いて高画質画像を生成できる否かを判定する高画質化可否判定部４０３を更に備える。高画質化可否判定部４０３は、入力画像の撮影部位、撮影方式、撮影画角、及び画像サイズの少なくとも一つに基づいて当該判定を行う。

当該構成により、本実施形態に係る画像処理装置４００は、高画質化部４０４が処理できない入力画像を高画質化処理から省くことができ、画像処理装置４００の処理負荷やエラーの発生を低減させることができる。

なお、本実施形態においては、出力部４０５（表示制御部）は、生成された高画質画像を表示部２０に表示させる構成としたが、出力部４０５の動作はこれに限られない。例えば、出力部４０５は、高画質画像を撮影装置１０や画像処理装置４００に接続される他の装置に出力することもできる。このため、高画質画像は、これらの装置のユーザーインターフェースに表示されたり、任意の記録装置に保存されたり、任意の画像解析に利用されたり、画像管理システムに送信されたりすることができる。

本実施形態においては、高画質化可否判定部４０３が、高画質化エンジンによって高画質化可能な入力画像であるか否かを判定して、高画質化可能な入力画像であれば高画質化部４０４が高画質化を行った。これに対し、撮影装置１０によって、高画質化可能な撮影条件でのみ撮影が行なわれる等の場合には、撮影装置１０から取得した画像を無条件に高画質化してもよい。この場合には、図６に示すように、ステップＳ５２０とステップＳ５３０の処理を省き、ステップＳ５１０の次にステップＳ５４０を実施することができる。

なお、本実施形態においては、出力部４０５が、表示部２０に高画質画像を表示させる構成とした。しかしながら、出力部４０５は、検者からの指示に応じて、高画質画像を表示部２０に表示させてもよい。例えば、出力部４０５は、検者が表示部２０のユーザーインターフェース上の任意のボタンを押すことに応じて、高画質画像を表示部２０に表示させてもよい。この場合、出力部４０５は、入力画像と切り替えて高画質画像を表示させてもよいし、入力画像と並べて高画質画像を表示させてもよい。

さらに、出力部４０５は、表示部２０に高画質画像を表示させる際に、表示されている画像が機械学習アルゴリズムを用いた処理により生成された高画質画像であることを示す表示を高画質画像とともに表示させてもよい。この場合には、ユーザーは、当該表示によって、表示された高画質画像が撮影によって取得した画像そのものではないことが容易に識別できるため、誤診断を低減させたり、診断効率を向上させたりすることができる。なお、機械学習アルゴリズムを用いた処理により生成された高画質画像であることを示す表示は、入力画像と当該処理により生成された高画質画像とを識別可能な表示であればどのような態様のものでもよい。

また、出力部４０５は、機械学習アルゴリズムを用いた処理により生成された高画質画像であることを示す表示について、機械学習アルゴリズムがどのような教師データによって学習を行ったものであるかを示す表示を表示部２０に表示させてもよい。当該表示としては、教師データの入力データと出力データの種類の説明や、入力データと出力データに含まれる撮影部位等の教師データに関する任意の表示を含んでよい。

本実施形態に係る高画質化エンジンでは、教師データの出力データとして、重ね合わせ画像を用いたが、教師データはこれに限られない。教師データの出力データとして、高画質画像を得る手段である、重ね合わせ処理や、後述する処理群、後述する撮影方法のうち、少なくとも一つを行うことで得られる高画質画像を用いてもよい。

例えば、教師データの出力データとして、元画像群に対して最大事後確率推定処理（ＭＡＰ推定処理）を行うことで得られる高画質画像を用いてもよい。ＭＡＰ推定処理では、複数の低画質画像における各画素値の確率密度から尤度関数を求め、求めた尤度関数を用いて真の信号値（画素値）を推定する。

ＭＡＰ推定処理により得られた高画質画像は、真の信号値に近い画素値に基づいて高コントラストな画像となる。また、推定される信号値は、確率密度に基づいて求められるため、ＭＡＰ推定処理により得られた高画質画像では、ランダムに発生するノイズが低減される。このため、ＭＡＰ推定処理により得られた高画質画像を教師データとして用いることで、高画質化エンジンは、入力画像から、ノイズが低減されたり、高コントラストとなったりした、画像診断に適した高画質画像を生成することができる。なお、教師データの入力データと出力データのペアの生成方法は、重ね合わせ画像を教師データとした場合と同様の方法で行われてよい。

また、教師データの出力データとして、元画像に平滑化フィルタ処理を適用した高画質画像を用いてもよい。この場合には、高画質化エンジンは、入力画像から、ランダムノイズが低減された高画質画像を生成することができる。さらに、教師データの出力データとして、元画像に階調変換処理を適用した画像を用いてもよい。この場合には、高画質化エンジンは、入力画像から、コントラスト強調された高画質画像を生成することができる。なお、教師データの入力データと出力データのペアの生成方法は、重ね合わせ画像を教師データとした場合と同様の方法で行われてよい。

なお、教師データの入力データは、撮影装置１０と同じ画質傾向を持つ撮影装置から取得された画像でもよい。また、教師データの出力データは、逐次近似法等の高コストな処理によって得られた高画質画像であってもよいし、入力データに対応する被検者を、撮影装置１０よりも高性能な撮影装置で撮影することで取得した高画質画像であってもよい。さらに、出力データは、ルールベースによるノイズ低減処理を行うことによって取得された高画質画像であってもよい。ここで、ノイズ低減処理は、例えば、低輝度領域内に現れた明らかにノイズである１画素のみの高輝度画素を、近傍の低輝度画素値の平均値に置き換える等の処理を含むことができる。このため、高画質化エンジンは、入力画像の撮影に用いられる撮影装置よりも高性能な撮影装置によって撮影された画像、又は入力画像の撮影工程よりも工数の多い撮影工程で取得された画像を学習データとしてもよい。例えば、高画質化エンジンは、モーションコントラスト正面画像を入力画像とする場合、入力画像のＯＣＴＡ撮影に用いられるＯＣＴ撮影装置よりも高性能なＯＣＴ撮影装置によってＯＣＴＡ撮影されて得た画像、又は入力画像のＯＣＴＡ撮影工程よりも工数の多いＯＣＴＡ撮影工程で取得されて得た画像を学習データとしてもよい。

なお、本実施形態の説明では省略したが、教師データの出力データとして用いられる、複数の画像から生成された高画質画像は、位置合わせ済みの複数の画像から生成されることができる。当該位置合わせ処理としては、例えば、複数の画像のうちの一つをテンプレートとして選択し、テンプレートの位置と角度を変えながらその他の画像との類似度を求め、テンプレートとの位置ずれ量を求め、位置ずれ量に基づいて各画像を補正してよい。また、その他の既存の任意の位置合わせ処理を行ってもよい。

なお、三次元画像を位置合わせする場合には、三次元画像を複数の二次元画像に分解し、二次元画像毎に位置合わせしたものを統合することで、三次元画像の位置合わせを行ってもよい。また、二次元画像を一次元画像に分解し、一次元画像毎に位置合わせしたものを統合することで、二次元画像の位置合わせを行ってもよい。なお、画像ではなく、画像を生成するためのデータに対して、これら位置合わせを行ってもよい。

また、本実施形態では、高画質化可否判定部４０３が高画質化部４０４によって入力画像が対処可能であると判断したら、処理がステップＳ５４０に移行して、高画質化部４０４による高画質化処理が開始された。これに対し、出力部４０５が高画質化可否判定部４０３による判定結果を表示部２０に表示させ、高画質化部４０４が検者からの指示に応じて高画質化処理を開始してもよい。この際、出力部４０５は、判定結果とともに、入力画像や入力画像について取得した撮影部位等の撮影条件を表示部２０に表示させることができる。この場合には、検者によって判定結果が正しいか否かが判断された上で、高画質化処理が行われるため、誤判定に基づく高画質化処理を低減させることができる。

また、高画質化可否判定部４０３による判定を行わず、出力部４０５が入力画像や入力画像について取得した撮影部位等の撮影条件を表示部２０に表示させ、高画質化部４０４が検者からの指示に応じて高画質化処理を開始してもよい。

＜第２の実施形態＞
次に、図４及び７を参照して、第２の実施形態に係る画像処理装置について説明する。第１の実施形態では、高画質化部４０４は、一つの高画質化エンジンを備えていた。これに対して、本実施形態では、高画質化部が、異なる教師データを用いて機械学習を行った複数の高画質化エンジンを備え、入力画像に対して複数の高画質画像を生成する。

特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。

本実施形態に係る高画質化部４０４には、それぞれ異なる教師データを用いて機械学習が行われた二つ以上の高画質化エンジンが備えられている。ここで、本実施形態に係る教師データ群の作成方法について説明する。具体的には、まず、様々な撮影部位が撮影された、入力データとしての元画像と出力データとしての重ね合わせ画像のペア群を用意する。次に、撮影部位毎にペア群をグルーピングすることで、教師データ群を作成する。例えば、第１の撮影部位を撮影して取得されたペア群で構成される第１の教師データ、第２の撮影部位を撮影して取得されたペア群で構成される第２の教師データというように、教師データ群を作成する。

その後、各教師データを用いて別々の高画質化エンジンに機械学習を行わせる。例えば、第１の教師データでトレーニングされた機械学習モデルに対応する第１の高画質化エンジン、第２の教師データでトレーニングされた機械学習モデルに対応する第２の高画質化エンジンというように高画質化エンジン群を用意する。

このような高画質化エンジンは、それぞれ対応する機械学習モデルのトレーニングに用いた教師データが異なるため、高画質化エンジンに入力される画像の撮影条件によって、入力画像を高画質化できる程度が異なる。具体的には、第１の高画質化エンジンは、第１の撮影部位を撮影して取得された入力画像に対しては高画質化の程度が高く、第２の撮影部位を撮影して取得された画像に対しては高画質化の程度が低い。同様に、第２の高画質化エンジンは、第２の撮影部位を撮影して取得された入力画像に対しては高画質化の程度が高く、第１の撮影部位を撮影して取得された画像に対しては高画質化の程度が低い。

教師データのそれぞれが撮影部位によってグルーピングされたペア群で構成されることにより、該ペア群を構成する画像群の画質傾向が似る。このため、高画質化エンジンは対応する撮影部位であれば、第１の実施形態に係る高画像化エンジンよりも効果的に高画質化を行うことができる。なお、教師データのペアをグルーピングするための撮影条件は、撮影部位に限られず、撮影画角であったり、画像の解像度であったり、これらのうちの二つ以上の組み合わせであったりしてもよい。

以下、図７を参照して、本実施形態に係る一連の画像処理について説明する。図７は、本実施形態に係る一連の画像処理のフロー図である。なお、ステップＳ７１０及びステップＳ７２０の処理は、第１の実施形態に係るステップＳ５１０及びステップＳ５２０と同様であるため、説明を省略する。なお、入力画像に対して、無条件で高画質化する場合には、ステップＳ７２０の処理の後に、ステップＳ７３０の処理を省き、処理をステップＳ７４０に移行してよい。

ステップＳ７２０において入力画像の撮影条件が取得されると、処理はステップＳ７３０に移行する。ステップＳ７３０においては、高画質化可否判定部４０３が、ステップＳ７２０において取得した撮影条件群を用いて、高画質化部４０４が備える高画質化エンジン群のいずれかが、入力画像を対処可能であるか否かを判定する。

高画質化可否判定部４０３が、高画質化エンジン群のいずれも入力画像を対処不可能であると判定した場合には、処理はステップＳ７６０に移行する。一方で、高画質化可否判定部４０３が、高画質化エンジン群のいずれかが入力画像を対処可能であると判定した場合には、処理はステップＳ７４０に移行する。なお、画像処理装置４００の設定や実装形態によっては、第１の実施形態と同様に、高画質化エンジンによって一部の撮影条件が対処不可能であると判定されたとしても、ステップＳ７４０を実施してもよい。

ステップＳ７４０においては、高画質化部４０４が、ステップＳ７２０で取得した入力画像の撮影条件及び高画質化エンジン群の教師データの情報に基づいて、高画質化エンジン群から高画質化処理を行う高画質化エンジンを選択する。具体的には、例えば、ステップＳ７２０において取得した撮影条件群のうちの撮影部位に対して、同撮影部位又は周囲の撮影部位に関する教師データの情報を有し、高画質化の程度が高い高画質化エンジンを選択する。上述の例では、撮影部位が第１の撮影部位である場合には、高画質化部４０４は第１の高画質化エンジンを選択する。

ステップＳ７５０では、高画質化部４０４が、ステップＳ７４０において選択した高画質化エンジンを用いて、入力画像を高画質化した高画質画像を生成する。その後、ステップＳ７６０において、出力部４０５は、ステップＳ７５０において高画質画像が生成されていれば、高画質画像を出力して、表示部２０に表示させる。一方、ステップＳ７３０において高画質化処理が不可能であるとされていた場合には、入力画像を出力し、表示部２０に表示させる。なお、出力部４０５は、高画質画像を表示部２０に表示させる際、高画質化部４０４によって選択された高画質化エンジンを用いて生成された高画質画像であることを表示させてもよい。

上記のように、本実施形態に係る高画質化部４０４は、それぞれ異なる学習データを用いて学習を行った複数の高画質化エンジンを備える。ここで、複数の高画質化エンジンの各々は、それぞれ撮影部位、撮影画角、異なる深度の正面画像、及び画像の解像度のうちの少なくとも一つについての異なる学習データを用いて学習を行ったものである。高画質化部４０４は、入力画像の撮影部位、撮影画角、異なる深度の正面画像、及び画像の解像度のうちの少なくとも一つに応じた高画質化エンジンを用いて、高画質画像を生成する。

このような構成により、本実施形態に係る画像処理装置４００は、より効果的な高画質画像を生成することができる。

本実施形態では、高画質化部４０４が、入力画像の撮影条件に基づいて高画質化処理に用いる高画質化エンジンを選択したが、高画質化エンジンの選択処理はこれに限られない。例えば、出力部４０５が、取得した入力画像の撮影条件と高画質化エンジン群を表示部２０のユーザーインターフェースに表示させ、検者からの指示に応じて、高画質化部４０４が高画質化処理に用いる高画質化エンジンを選択してもよい。なお、出力部４０５は、高画質化エンジン群とともに各高画質化エンジンの学習に用いた教師データの情報を表示部２０に表示させてもよい。なお、高画質化エンジンの学習に用いた教師データの情報の表示態様は任意であってよく、例えば、学習に用いた教師データに関連する名称を用いて高画質化エンジン群を表示してもよい。

また、出力部４０５が、高画質化部４０４によって選択された高画質化エンジンを表示部２０のユーザーインターフェースに表示させ、検者からの指示を受け付けてもよい。この場合、高画質化部４０４は、検者からの指示に応じて、当該高画質化エンジンを高画質化処理に用いる高画質化エンジンとして最終的に選択するか否かを判断してもよい。

なお、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置４００に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第１の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。

＜第３の実施形態＞
次に、図４及び７を参照して、第３の実施形態に係る画像処理装置について説明する。第１及び２の実施形態では、撮影条件取得部４０２は、入力画像のデータ構造等から撮影条件群を取得する。これに対して、本実施形態では、撮影条件取得部は、撮影箇所推定エンジンを用いて、入力画像の撮影部位又は撮影領域を入力画像に基づいて推定する。

特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第２の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第２の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第１及び２の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。

本実施形態に係る撮影条件取得部４０２には、取得部４０１が取得した入力画像に描画されている撮影部位又は撮影領域を推定する撮影箇所推定エンジンが備えられている。本実施形態に係る撮影箇所推定エンジンの備える撮影箇所の推定手法では、機械学習アルゴリズムを用いた推定処理を行う。

本実施形態では、機械学習アルゴリズムを用いた撮影箇所推定手法に係る機械学習モデルのトレーニングには、画像である入力データと、入力データに対応する撮影部位ラベルや撮影領域ラベルである出力データとのペア群で構成された教師データを用いる。ここで、入力データとは、処理対象（入力画像）として想定される特定の撮影条件を持つ画像のことである。入力データとしては、撮影装置１０と同じ画質傾向を持つ撮影装置から取得された画像であることが好ましく、撮影装置１０と同じ設定をされた同じ機種であるとより良い。出力データである撮影部位ラベルや撮影領域ラベルの種類は、入力データに少なくとも一部が含まれている撮影部位や撮影領域であってよい。出力データである撮影部位ラベルの種類は、例えば、ＯＣＴであれば、“黄斑部”、“視神経乳頭部”、“黄斑部及び視神経乳頭部”、並びに“その他”等であってよい。

本実施形態に係る撮影箇所推定エンジンは、このような教師データを用いた学習を行ったことにより、入力された画像に描画されている撮影部位や撮影領域がどこであるかを出力することができる。また、撮影箇所推定エンジンは、必要な詳細レベルの撮影部位ラベルや撮影領域ラベル毎に、該撮影部位や撮影領域である確率を出力することもできる。撮影箇所推定エンジンを用いることで、撮影条件取得部４０２は、入力画像に基づいて、入力画像の撮影部位や撮影領域を推定し、入力画像についての撮影条件として取得することができる。なお、撮影箇所推定エンジンが撮影部位ラベルや撮影領域ラベル毎に、該撮影部位や撮影領域である確率を出力する場合には、撮影条件取得部４０２は、最も確率の高い撮影部位や撮影領域を入力画像の撮影条件として取得する。

次に、第２の実施形態と同様に、図７のフロー図を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップＳ７１０、及びステップＳ７３０～ステップＳ７６０の処理は、第２の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、無条件で高画質化する場合には、ステップＳ７２０の処理の後に、ステップＳ７３０の処理を省き、処理をステップＳ７４０に移行してよい。

ステップＳ７１０において入力画像が取得されると、処理はステップＳ７２０に移行する。ステップＳ７２０では、撮影条件取得部４０２が、ステップＳ７１０において取得した入力画像の撮影条件群を取得する。

具体的には、入力画像のデータ形式に応じて、入力画像を構成するデータ構造に保存された撮影条件群を取得する。また、撮影条件群に撮影部位や撮影領域に関する情報が含まれていない場合、撮影条件取得部４０２は撮影箇所推定エンジンに入力画像を入力し、入力画像がどの撮影部位を撮影して取得されたものなのかを推定する。具体的には、撮影条件取得部４０２は、撮影箇所推定エンジンに入力画像を入力し、撮影部位ラベル群のそれぞれに対して出力された確率を評価し、最も確率の高い撮影部位を入力画像の撮影条件として設定・取得する。

なお、入力画像に撮影部位や撮影領域以外の撮影条件が保存されていない場合には、撮影条件取得部４０２は、撮影装置１０や不図示の画像管理システムから撮影条件群を含む撮影情報群を取得することができる。

以降の処理は、第２実施形態に係る一連の画像処理と同様であるため説明を省略する。

上記のように、本実施形態に係る撮影条件取得部４０２は、入力画像の撮影部位及び撮影領域のうちの少なくとも一方を推定する推定部として機能する。撮影条件取得部４０２は、撮影部位や撮影領域のラベルが付けられた画像を学習データとした撮影箇所推定エンジンを含み、撮影箇所推定エンジンに入力画像を入力することで、入力画像の撮影部位や撮影領域を推定する。

これにより、本実施形態に係る画像処理装置４００は、入力画像の撮影部位や撮影領域についての撮影条件を入力画像に基づいて取得することができる。

なお、本実施形態では、撮影条件取得部４０２は、撮影条件群に撮影部位や撮影領域に関する情報が含まれていない場合に撮影箇所推定エンジンを用いて入力画像の撮影部位や撮影領域について推定を行った。しかしながら、撮影箇所推定エンジンを用いて撮影部位や撮影領域について推定を行う状況はこれに限られない。撮影条件取得部４０２は、入力画像のデータ構造に含まれる撮影部位や撮影領域についての情報が、必要な詳細レベルの情報として不足している場合にも、撮影箇所推定エンジンを用いて撮影部位や撮影領域について推定を行ってもよい。

また、入力画像のデータ構造に撮影部位や撮影領域についての情報が含まれているか否かとは無関係に、撮影条件取得部４０２が撮影箇所推定エンジンを用いて入力画像の撮影部位や撮影領域を推定してもよい。この場合、出力部４０５が、撮影箇所推定エンジンから出力された推定結果と入力画像のデータ構造に含まれる撮影部位や撮影領域についての情報を表示部２０に表示させ、撮影条件取得部４０２が検者の指示に応じて、これらの撮影条件を決定してもよい。

＜第４の実施形態＞
次に、図４、５、８及び９を参照して、第４の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が、入力画像を高画質化エンジンが対処可能な画像サイズになるように、入力画像を拡大又は縮小する。また、高画質化部は、高画質化エンジンからの出力画像を、出力画像の画像サイズが入力画像の画像サイズになるように縮小又は拡大して高画質画像を生成する。

本実施形態に係る高画質化部４０４には、第１の実施形態に係る高画質化エンジンと同様の、高画質化エンジンが備えられている。ただし、本実施形態では、高画質化エンジンの学習に用いる教師データとして、入力データの画像及び出力データの画像を一定の画像サイズになるように拡大又は縮小した画像群により構成した、入力データと出力データのペア群を用いている。

ここで、図８を参照して、本実施形態に係る高画質化エンジンの教師データについて説明する。図８に示すように、例えば、教師データについて設定された一定の画像サイズより小さな低画質画像Ｉｍ８１０と高画質画像Ｉｍ８２０とがある場合を考える。この場合、教師データについて設定された一定の画像サイズとなるように、低画質画像Ｉｍ８１０及び高画質画像Ｉｍ８２０のそれぞれを拡大する。そして、拡大した低画質画像Ｉｍ８１１と拡大した高画質画像Ｉｍ８２１とをペアとして、当該ペアを教師データの一つとして用いる。

なお、第１の実施形態と同様に、教師データの入力データには、処理対象（入力画像）として想定される特定の撮影条件を持つ画像を用いるが、当該特定の撮影条件は、予め決定された撮影部位、撮影方式、及び撮影画角である。つまり、本実施形態に係る当該特定の撮影条件には、第１の実施形態と異なり、画像サイズは含まれない。

本実施形態に係る高画質化部４０４は、このような教師データで学習が行われた高画質化エンジンを用いて、入力画像を高画質化して高画質画像を生成する。この際、高画質化部４０４は、入力画像を教師データについて設定された一定の画像サイズになるように拡大又は縮小した変形画像を生成し、変形画像を高画質化エンジン入力する。また、高画質化部４０４は、高画質化エンジンからの出力画像を入力画像の画像サイズになるように縮小又は拡大し、高画質画像を生成する。このため、本実施形態に係る高画質化部４０４は、第１の実施形態では対処できなかった画像サイズの入力画像であっても、高画質化エンジンによって高画質化して高画質画像を生成することができる。

次に、図５及び９を参照して、本実施形態に係る一連の画像処理について説明する。図９は、本実施形態に係る高画質化処理のフロー図である。なお、本実施形態に係るステップＳ５１０、ステップＳ５２０、及びステップＳ５５０の処理は、第１の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、画像サイズ以外の撮影条件について無条件で高画質化する場合には、ステップＳ５２０の処理の後に、ステップＳ５３０の処理を省き、処理をステップＳ５４０に移行してよい。

ステップＳ５２０において、第１の実施形態と同様に、撮影条件取得部４０２が入力画像の撮影条件群を取得したら処理はステップＳ５３０に移行する。ステップＳ５３０では、高画質化可否判定部４０３が、取得された撮影条件群を用いて、高画質化部４０４に備える高画質化エンジンが入力画像を対処可能であるか否かを判定する。具体的には、高画質化可否判定部４０３は、入力画像の撮影条件について、高画質化エンジンが対処可能な、撮影部位、撮影方式、及び撮影画角であるか否かを判定する。高画質化可否判定部４０３は、第１の実施形態と異なり、画像サイズは判定しない。

高画質化可否判定部４０３が、撮影部位、撮影方式、及び撮影画角について判定し、入力画像が対処可能と判定された場合には、処理はステップＳ５４０に移行する。一方、高画質化可否判定部４０３が、これら撮影条件に基づいて、高画質化エンジンが入力画像を対処不可能であると判定した場合には、処理はステップＳ５５０に移行する。なお、画像処理装置４００の設定や実装形態によっては、撮影部位、撮影方式、及び撮影画角のうちの一部に基づいて入力画像が処理不可能であると判定されたとしても、ステップＳ５４０における高画質化処理が実施されてもよい。

処理がステップＳ５４０に移行すると、図９に示される本実施形態に係る高画質化処理が開始される。本実施形態に係る高画質化処理では、まず、ステップＳ９１０において、高画質化部４０４が、入力画像を教師データについて設定された一定の画像サイズに拡大又は縮小し、変形画像を生成する。

次に、ステップＳ９２０において、高画質化部４０４は、生成した変形画像を高画質化エンジンに入力し高画質化された高画質な変形画像を取得する。

その後、ステップＳ９３０において、高画質化部４０４は、高画質な変形画像を入力画像の画像サイズに縮小又は拡大し、高画質画像を生成する。高画質化部４０４がステップＳ９３０において高画質画像を生成したら、本実施形態に係る高画質化処理は終了し、処理はステップＳ５５０に移行する。ステップＳ５５０の処理は、第１の実施形態のステップＳ５５０と同様であるため説明を省略する。

上記のように、本実施形態に係る高画質化部４０４は、入力画像の画像サイズを、高画質化エンジンが対処可能な画像サイズに調整して高画質化エンジンに入力する。また、高画質化部４０４は、高画質化エンジンからの出力画像を入力画像の元の画像サイズに調整することで高画質画像を生成する。これにより、本実施形態の画像処理装置４００は、高画質化エンジンを用いて、第１の実施形態では対処できなかった画像サイズの入力画像についても高画質化して、画像診断に適切な高画質画像を生成することができる。

＜第５の実施形態＞
次に、図４、５、１０及び１１を参照して、第５の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が、高画質化エンジンによる一定の解像度を基準とした高画質化処理により高画質画像を生成する。

本実施形態に係る高画質化部４０４には、第１の実施形態と同様の、高画質化エンジンが備えられている。ただし、本実施形態では、高画質化エンジンの学習に用いる教師データが第１の実施形態における教師データと異なる。具体的には、教師データの入力データと出力データとのペア群を構成する画像群の解像度が一定の解像度となるような画像サイズに当該画像群を拡大又は縮小した後、十分に大きい一定の画像サイズとなるようにパディングしている。ここで、画像群の解像度とは、例えば、撮影装置の空間分解能や撮影領域に対する解像度をいう。

ここで、図１０を参照して、本実施形態に係る高画質化エンジンの教師データについて説明する。図１０に示すように、例えば、教師データについて設定された一定の解像度より低い解像度を持つ低画質画像Ｉｍ１０１０と高画質画像Ｉｍ１０２０とがある場合を考える。この場合、教師データについて設定された一定の解像度となるように、低画質画像Ｉｍ１０１０と高画質画像Ｉｍ１０２０のそれぞれを拡大する。さらに、拡大された低画質画像Ｉｍ１０１０と高画質画像Ｉｍ１０２０のそれぞれについて、教師データについて設定された一定の画像サイズとなるようにパディングする。そして、拡大及びパディングが行われた低画質画像Ｉｍ１０１１と高画質画像Ｉｍ１０２１とをペアとし、当該ペアを教師データの一つとして用いる。

なお、教師データについて設定された一定の画像サイズとは、処理対象（入力画像）として想定される画像を一定の解像度となるように拡大又は縮小したときの最大となりうる画像サイズである。当該一定の画像サイズが十分に大きくない場合には、高画質化エンジンに入力された画像を拡大したときに、機械学習モデルが対処不可能な画像サイズとなる可能性がある。

また、パディングが行われる領域は、効果的に高画質化できるように機械学習モデルの特性に合わせて、一定の画素値で埋めたり、近傍画素値で埋めたり、ミラーパディングしたりする。なお、第１の実施形態と同様に、入力データには、処理対象として想定される特定の撮影条件を持つ画像を用いるが、当該特定の撮影条件は、予め決定された撮影部位、撮影方式、撮影画角である。つまり、本実施形態に係る当該特定の撮影条件には、第１の実施形態と異なり、画像サイズは含まれない。

本実施形態に係る高画質化部４０４は、このような教師データで学習が行われた高画質化エンジンを用いて、入力画像を高画質化して高画質画像を生成する。この際、高画質化部４０４は、入力画像を教師データについて設定された一定の解像度になるように拡大又は縮小した変形画像を生成する。また、高画質化部４０４は、変形画像について、教師データについて設定された一定の画像サイズとなるようにパディングを行ってパディング画像を生成し、パディング画像を高画質化エンジン入力する。

また、高画質化部４０４は、高画質化エンジンから出力された高画質なパディング画像について、パディングを行った領域分だけトリミングし、高画質な変形画像を生成する。その後、高画質化部４０４は、生成した高画質な変形画像を入力画像の画像サイズになるように縮小又は拡大し、高画質画像を生成する。

このため、本実施形態に係る高画質化部４０４は、第１の実施形態では対処できなかった画像サイズの入力画像であっても、高画質化エンジンによって高画質化して高画質画像を生成することができる。

次に、図５及び１１を参照して、本実施形態に係る一連の画像処理について説明する。図１１は、本実施形態に係る高画質化処理のフロー図である。なお、本実施形態に係るステップＳ５１０、ステップＳ５２０、及びステップＳ５５０の処理は、第１の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、画像サイズ以外の撮影条件について無条件で高画質化する場合には、ステップＳ５２０の処理の後に、ステップＳ５３０の処理を省き、処理をステップＳ５４０に移行してよい。

ステップＳ５２０において、第１の実施形態と同様に、撮影条件取得部４０２が入力画像の撮影条件群を取得したら、処理はステップＳ５３０に移行する。ステップＳ５３０では、高画質化可否判定部４０３が、取得された撮影条件群を用いて、高画質化部４０４に備える高画質化エンジンが入力画像を対処可能であるか否かを判定する。具体的には、高画質化可否判定部４０３は、入力画像の撮影条件について、高画質化エンジンが対処可能な、撮影部位、撮影方式、及び撮影画角であるか否かを判定する。高画質化可否判定部４０３は、第１の実施形態と異なり、画像サイズは判定しない。

処理がステップＳ５４０に移行すると、図１１に示される本実施形態に係る高画質化処理が開始される。本実施形態に係る高画質化処理では、まず、ステップＳ１１１０において、高画質化部４０４が、入力画像を教師データについて設定された一定の解像度となるように拡大又は縮小し、変形画像を生成する。

次に、ステップＳ１１２０において、高画質化部４０４は、生成した変形画像について、教師データについて設定された画像サイズとなるように、パディングを行ってパディング画像を生成する。この際、高画質化部４０４は、パディングを行う領域について、効果的に高画質化できるように機械学習モデルの特性に合わせて、一定の画素値で埋めたり、近傍画素値で埋めたり、ミラーパディングしたりする。

ステップＳ１１３０では、高画質化部４０４がパディング画像を高画質化エンジンに入力し高画質化された高画質なパディング画像を取得する。

次に、ステップＳ１１４０において、高画質化部４０４は、高画質なパディング画像について、ステップＳ１１２０でパディングを行った領域分だけトリミングを行い、高画質な変形画像を生成する。

その後、ステップＳ１１５０において、高画質化部４０４は、高画質な変形画像を入力画像の画像サイズに縮小又は拡大し、高画質画像を生成する。高画質化部４０４がステップＳ１１３０において高画質画像を生成したら、本実施形態に係る高画質化処理は終了し、処理はステップＳ５５０に移行する。ステップＳ５５０の処理は、第１の実施形態のステップＳ５５０と同様であるため説明を省略する。

上記のように、本実施形態による高画質化部４０４は、入力画像の解像度が所定の解像度となるように、入力画像の画像サイズを調整する。また、高画質化部４０４は、画像サイズが調整された入力画像について、調整された画像サイズが高画質化エンジンによって対処可能な画像サイズとなるように、パディングを行ったパディング画像を生成し、パディング画像を高画質化エンジンに入力する。その後、高画質化部４０４は、高画質化エンジンからの出力画像について、パディングを行った領域分だけトリミングを行う。そして、高画質化部４０４は、トリミングが行われた画像の画像サイズを、入力画像の元の画像サイズに調整することで高画質画像を生成する。

これにより、本実施形態の高画質化部４０４は、第１の実施形態では対処できなかった画像サイズの入力画像であっても、高画質化エンジンによって高画質化して高画質画像を生成することができる。また、解像度を基準とした教師データで学習した高画質化エンジンを用いることで、単純に同一な画像サイズの画像を処理する第４の実施形態に係る高画質化エンジンよりも、効率よく入力画像を高画質化できる場合がある。

＜第６の実施形態＞
次に、図４、５、１２及び１３を参照して、第６の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が、入力画像を一定の画像サイズの領域毎に高画質化することにより高画質画像を生成する。

本実施形態に係る高画質化部４０４には、第１の実施形態と同様の、高画質化エンジンが備えられている。ただし、本実施形態では、高画質化エンジンの学習に用いる教師データが第１の実施形態における教師データと異なる。具体的には、教師データを構成する、低画質画像である入力データと高画質画像である出力データとのペア群を、低画質画像及び高画質画像における、位置関係が対応する一定の画像サイズの矩形領域画像によって構成している。なお、矩形領域は、部分領域の一例であり、矩形である必要はなく、どのような形状であってもよい。

ここで、図１２を参照して、本実施形態に係る高画質化エンジンの教師データについて説明する。図１２に示すように、教師データを構成するペア群の一つに、例えば、低画質画像である元画像Ｉｍ１２１０と、高画質画像である重ね合わせ画像Ｉｍ１２２０があるとした場合を考える。この場合、第１の実施形態においては、教師データの入力データをＩｍ１２１０、出力データをＩｍ１２２０とした。

これに対し、本実施形態においては、元画像Ｉｍ１２１０のうちの矩形領域画像Ｒ１２１１を入力データとし、重ね合わせ画像Ｉｍ１２２０において矩形領域画像Ｒ１２１１と同じ撮影領域である矩形領域画像Ｒ１２２１を出力データとする。そして、入力データである矩形領域画像Ｒ１２１１と出力データである矩形領域画像Ｒ１２２１によって教師データのペア（以下、第１の矩形領域画像ペア）を構成する。ここで、矩形領域画像Ｒ１２１１と矩形領域画像Ｒ１２２１は、一定の画像サイズの画像とされる。なお、元画像Ｉｍ１２１０と重ね合わせ画像Ｉｍ１２２０は任意の方法により位置合わせされてよい。また、矩形領域画像Ｒ１２１１と矩形領域画像Ｒ１２２１の対応する位置関係はテンプレートマッチングなどの任意の方法によって特定されてよい。なお、高画質化エンジンの設計によっては、入力データと出力データの、それぞれの画像サイズや次元数は異なっていてもよい。例えば、処理対象がＯＣＴの画像である場合に、入力データがＢスキャン画像（二次元画像）の一部であるとき、出力データがＡスキャン画像（一次元画像）の一部であってもよい。

矩形領域画像Ｒ１２１１，Ｒ１２２１に関する一定の画像サイズは、例えば、処理対象（入力画像）として想定される画像の画像サイズ群について、対応する各次元の画素数群の公約数から決定することができる。この場合には、高画質化エンジンが出力する矩形領域画像群の位置関係が重なることを防ぐことができる。具体的に、例えば、処理対象として想定される画像が二次元画像であり、画像サイズ群のうちの第１の画像サイズが幅５００画素、高さ５００画素であり、第２の画像サイズが幅１００画素、高さ１００画素である場合を考える。ここで、各辺の公約数から、矩形領域画像Ｒ１２１１，Ｒ１２２１に関する一定の画像サイズを選択する。この場合には、例えば、一定の画像サイズを、幅１００画素、高さ１００画素や、幅５０画素、高さ５０画素や、幅２５画素、高さ２５画素等から選択する。

処理対象として想定される画像が三次元である場合には、幅、高さ、奥行きに関して画素数を決定する。なお、矩形領域は、入力データに対応する低画質画像と出力データに対応する高画質画像のペアの一つに対して、複数設定可能である。このため、例えば、元画像Ｉｍ１２１０のうちの矩形領域画像Ｒ１２１２を入力データ、重ね合わせ画像Ｉｍ１２２０において矩形領域画像Ｒ１２１２と同じ撮影領域である矩形領域画像Ｒ１２２２を出力データとする。そして、入力データである矩形領域画像Ｒ１２１２と出力データである矩形領域画像Ｒ１２２２によって教師データのペアを構成する。これにより、第１の矩形領域画像ペアとは別の矩形領域画像ペアを作成できる。

なお、矩形領域の画像を異なる座標の画像に変えながら多数の矩形領域画像のペアを作成することで教師データを構成するペア群を充実させることができ、当該教師ペアを用いて学習を行った高画質化エンジンによって効率的な高画質化が期待できる。ただし、機械学習モデルの高画質化に寄与しないペアは教師データに加えないようにすることができる。例えば、ペアを構成する出力データである高画質画像から作成した矩形領域画像が診断に適さない画質である場合には、そのような教師データを用いて学習を行った高画質化エンジンが出力する画像も画像診断に適さない画質になってしまう可能性がある。そのため、そのような高画質画像を含むペアを教師データから取り除くことができる。

また、例えば、ペアである、低画質画像から作成した矩形領域画像と高画質画像から作成した矩形領域画像の平均輝度や輝度分布が大きく異なる場合も、そのようなペアを教師データから取り除くことができる。そのような教師データを用いて学習を行うと、高画質化エンジンが入力画像と大きく異なる輝度分布を持つ画像診断に適さない画像を出力してしまう可能性がある。

さらに、例えば、ペアである、低画質画像から作成した矩形領域画像と高画質画像から作成した矩形領域画像とに描画される撮影対象の構造や位置が大きく異なる場合を考える。この場合には、そのような教師データを用いて学習を行った高画質化エンジンが入力画像と大きく異なる構造や位置に撮影対象を描画した画像診断に適さない画像を出力してしまう可能性がある。そのため、このようなペアを教師データから取り除くこともできる。

なお、第１の実施形態と同様に、教師データの入力データには、処理対象として想定される特定の撮影条件を持つ画像を用いるが、当該特定の撮影条件は、予め決定された撮影部位、撮影方式、及び撮影画角である。つまり、本実施形態に係る当該特定の撮影条件には、第１の実施形態と異なり、画像サイズは含まれない。

本実施形態に係る高画質化部４０４は、このような教師データで学習が行われた高画質化エンジンを用いて、入力画像を高画質化して高画質画像を生成する。この際、高画質化部４０４は、入力された画像を、隙間なく連続する、教師データについて設定された一定の画像サイズの矩形領域画像群に分割する。高画質化部４０４は、分割した矩形領域画像群のそれぞれを高画質化エンジンにより高画質化し、高画質な矩形領域画像群を生成する。その後、高画質化部４０４は、生成した高画質な矩形領域画像群を、入力画像の位置関係に応じて配置して結合し、高画質画像を生成する。ここで、学習時には、ペア画像である入力データと出力データとの互いの位置関係が対応していれば、それぞれの矩形領域を低画質画像及び高画質画像における任意の場所から切り出して（抽出して）もよい。一方、高画質化時には、入力画像を隙間なく連続する矩形領域画像群に分割してもよい。また、学習時の各ペア画像の画像サイズと、高画質化時の各矩形領域画像の画像サイズとが互いが対応する（例えば、同一となる）ように設定されてもよい。これらにより、学習効率を上げつつ、無駄な計算や足りない所が出てくると画像にならないという問題が生じないようにすることができる。

このように、本実施形態の高画質化部４０４は、入力された画像を矩形領域単位で高画質化し、高画質化した画像を結合することで、第１の実施形態では対処できなかった画像サイズの画像をも高画質化して高画質画像を生成することができる。

次に、図５、１３及び１４を参照して、本実施形態に係る一連の画像処理について説明する。図１３は、本実施形態に係る高画質化処理のフロー図である。なお、本実施形態に係るステップＳ５１０、ステップＳ５２０、及びステップＳ５５０の処理は、第１の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、画像サイズ以外の撮影条件について無条件で高画質化する場合には、ステップＳ５２０の処理の後に、ステップＳ５３０の処理を省き、処理をステップＳ５４０に移行してよい。

処理がステップＳ５４０に移行すると、図１３に示される本実施形態に係る高画質化処理が開始される。これについて図１４を用いて説明をする。本実施形態に係る高画質化処理では、まず、ステップＳ１３１０において、図１４（ａ）に示すように、入力画像を隙間なく連続する、教師データについて設定された一定の画像サイズ（Ｒ１４１１に示すサイズ）の矩形領域画像群に分割する。ここで、図１４（ａ）は、入力画像Ｉｍ１４１０を一定の画像サイズの矩形領域画像Ｒ１４１１～Ｒ１４２６群に分割した一例を示す。なお、上述のよぅに、高画質化エンジンの設計によっては、高画質化エンジンの入力画像と出力画像の、それぞれの画像サイズや次元数が異なってもよい。この場合には、ステップＳ１３２０において生成される結合された高画質画像に欠損が無いように、入力画像の分割位置を重複させたり、分離させたりして、調整することができる。図１４（ｂ）には分割位置を重複させる例を示す。図１４（ｂ）において、Ｒ１４１１’、Ｒ１４１２’が重複した領域を示している。煩雑になるため図示はしないが、Ｒ１４１３～Ｒ１４２６においても同様な重複領域Ｒ１４１３’～Ｒ１４２６’を持つものとする。なお、図１４（ｂ）の場合の教師データについて設定される矩形領域サイズは、Ｒ１４１１’に示すサイズである。入力画像Ｉｍ１４１０の画像外部の周辺（上下左右端）においてはデータが存在しないため、一定の画素値で埋めたり、近傍画素値で埋めたり、ミラーパディングしたりする。また、高画質化エンジンによっては、フィルタ処理により画像内部の周辺（上下左右端）では、高画質化の精度が低下する場合がある。そのため、図１４（ｂ）のように分割位置を重複して矩形領域画像を設定し、最終的な画像としては矩形領域画像の一部をトリミングして合成するようにしてもよい。高画質化エンジンの特性に応じて、矩形領域のサイズを設定する。なお、図１４（ａ）、（ｂ）にはＯＣＴの断層画像を例示したが、図１４（ｃ）、（ｄ）に示すように入力画像（Ｉｍ１４５０）はＯＣＴＡのＥｎ－Ｆａｃｅ画像のような正面画像でもよく、同様の処理が可能である。なお、矩形領域画像のサイズは、対象とする画像や高画質化エンジンの種類に応じて適切に設定を行う。

次に、ステップＳ１３２０において、高画質化部４０４は、矩形領域画像Ｒ１４１１～Ｒ１４２６群、あるいは重複領域を設定している場合は矩形領域画像Ｒ１４１１’～Ｒ１４２６’群のそれぞれを高画質化エンジンにより高画質化し、高画質な矩形領域画像群を生成する。

そして、ステップＳ１３３０において、高画質化部４０４は、生成した高画質な矩形領域画像群のそれぞれを、入力画像について分割した矩形領域画像Ｒ１４１１～Ｒ１４２６群のそれぞれと同様の位置関係に配置して結合し、高画質画像を生成する。重複領域を設定している場合には、矩形領域画像Ｒ１４１１’～Ｒ１４２６’それぞれと同様の位置関係に配置した後に矩形領域画像Ｒ１４１１～Ｒ１４２６を切り出して結合し、高画質画像を生成する。なお、重複領域を利用して矩形領域画像Ｒ１４１１’～Ｒ１４２６’の輝度値を補正するようにしてもよい。例えば、基準とする矩形領域画像を任意に設定する。そして、基準矩形画像と重複する領域のある隣接矩形画像において、同じ座標点の輝度値を計測することで、隣接画像間における輝度値の差（比率）が分かる。同様に、全ての画像においても重複領域における輝度値の差（比率）を求めることで、全体として輝度値のムラを無くすように補正を行うことが可能となる。なお、輝度値補正に重複領域を全て利用する必要はなく、重複領域の一部（周辺部数ピクセル）は使用しなくてもよい。

上記のように、本実施形態に係る高画質化部４０４は、入力画像を所定の画像サイズの複数の矩形領域画像（第３の画像）Ｒ１４１１～Ｒ１４２６に分割する。その後、高画質化部４０４は、分割した複数の矩形領域画像Ｒ１４１１～Ｒ１４２６を高画質化エンジンに入力して複数の第４の画像を生成し、複数の第４の画像を統合することで、高画質画像を生成する。なお、統合時に矩形領域群間で位置関係が重なる場合には、該矩形領域群の画素値群を統合したり、上書きしたりすることができる。

これにより、本実施形態の高画質化部４０４は、第１の実施形態では対処できなかった画像サイズの入力画像であっても、高画質化エンジンによって高画質化して高画質画像を生成することができる。また、教師データを、低画質画像及び高画質画像を所定の画像サイズに分割した複数の画像から作成すると、少ない画像から多くの教師データを作成することができる。そのため、この場合には、教師データを作成するための低画質画像及び高画質画像の数を少なくすることができる。

＜第７の実施形態＞
次に、図１５～１７を参照して、第７の実施形態に係る画像処理装置について説明する。本実施形態では、画質評価部が、検者の指示に応じて、複数の高画質化エンジンから出力された複数の高画質画像のうち最も高画質な画像を選択する。

特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。

図１５は、本実施形態に係る画像処理装置１５００の概略的な構成を示す。本実施形態に係る画像処理装置１５００には、取得部４０１、撮影条件取得部４０２、高画質化可否判定部４０３、高画質化部４０４、及び出力部４０５に加えて、画質評価部１５０６が設けられている。なお、画像処理装置１５００は、これら構成要素のうちの一部が設けられた複数の装置で構成されてもよい。ここで、取得部４０１、撮影条件取得部４０２、高画質化可否判定部４０３、高画質化部４０４、及び出力部４０５は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。

また、画像処理装置１５００は、第１の実施形態に係る画像処理装置４００と同様に撮影装置１０、表示部２０及び不図示の他の装置と、任意の回路やネットワークを介して接続されてよい。また、これらの装置は、他の任意の装置と回路やネットワークを介して接続されてもよいし、他の任意の装置と一体的に構成されてもよい。なお、これらの装置は本実施形態では別個の装置とされているが、これらの装置の一部又は全部を一体的に構成してもよい。

本実施形態に係る高画質化部４０４には、それぞれ異なる教師データを用いて機械学習が行われた二つ以上の高画質化エンジンが備えられている。ここで、本実施形態に係る教師データ群の作成方法について説明する。具体的には、まず、様々な撮影条件によって撮影された、低画質画像である入力データと高画質画像である出力データのペア群を用意する。次に、任意の撮影条件の組み合わせによってペア群をグルーピングすることで、教師データ群を作成する。例えば、第１の撮影条件の組み合わせによって取得されたペア群で構成される第１の教師データ、第２の撮影条件の組み合わせによって取得されたペア群で構成される第２の教師データというように、教師データ群として作成する。

その後、各教師データを用いて別々の高画質化エンジンに機械学習を行わせる。例えば、第１の教師データでトレーニングされた機械学習モデルに対応する第１の高画質化エンジン、第１の教師データでトレーニングされた機械学習モデルに対応する第１の高画質化エンジンというように高画質化エンジン群を用意する。

このような高画質化エンジンは、それぞれ対応する機械学習モデルのトレーニングに用いた教師データが異なるため、高画質化エンジンに入力される画像の撮影条件によって、入力画像を高画質化できる程度が異なる。具体的には、第１の高画質化エンジンは、第１の撮影条件の組み合わせで撮影して取得された入力画像に対しては高画質化の程度が高く、第２の撮影条件の組み合わせで撮影して取得された画像に対しては高画質化の程度が低い。同様に、第２の高画質化エンジンは、第２の撮影条件で撮影して取得された入力画像に対しては高画質化の程度が高く、第１の撮影条件で撮影して取得された画像に対しては高画質化の程度が低い。

教師データのそれぞれが撮影条件の組み合わせによってグルーピングされたペア群で構成されることにより、該ペア群を構成する画像群の画質傾向が似る。このため、高画質化エンジンは対応する撮影条件の組み合わせであれば、第１の実施形態に係る高画像化エンジンよりも効果的に高画質化を行うことができる。なお、教師データのペアをグルーピングするための撮影条件の組み合わせは、任意であってよく、例えば、撮影部位、撮影画角、及び画像の解像度のうちの二つ以上の組み合わせであってよい。また、教師データのグルーピングを、第２の実施形態と同様に、一つの撮影条件に基づいて行ってもよい。

画質評価部１５０６は、高画質化部４０４が、複数の高画質化エンジンを用いて生成した複数の高画質画像について、検者の指示に応じて、最も画質の高い高画質画像を選択する。

出力部４０５は、画質評価部１５０６が選択した高画質画像を表示部２０に表示させたり、他の装置に出力したりすることができる。なお、出力部４０５は、高画質化部４０４が生成した複数の高画質画像を表示部２０に表示させることができ、画質評価部１５０６は、表示部２０を確認した検者からの指示に応じて最も画質の高い高画質画像を選択することができる。

これにより、画像処理装置１５００は、複数の高画質化エンジンを用いて生成された複数の高画質画像のうち、検者の指示に応じた最も画質の高い高画質画像を出力することができる。

以下、図１６及び１７を参照して、本実施形態に係る一連の画像処理について説明する。図１６は、本実施形態に係る一連の画像処理のフロー図である。なお、本実施形態に係るステップＳ１６１０及びステップＳ１６２０の処理は、第１の実施形態におけるステップＳ５１０及びステップＳ５２０での処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ１６２０の処理の後に、ステップＳ１６３０の処理を省き、処理をステップＳ１６４０に移行してよい。

ステップＳ１６２０において、第１の実施形態と同様に、撮影条件取得部４０２が入力画像の撮影条件群を取得したら、処理はステップＳ１６３０に移行する。ステップＳ１６３０では、高画質化可否判定部４０３が、第２の実施形態と同様に、取得された撮影条件群を用いて、高画質化部４０４に備える高画質化エンジンのいずれかが入力画像を対処可能であるか否かを判定する。

高画質化可否判定部４０３が、高画質化エンジン群のいずれも入力画像を対処不可能であると判定した場合には、処理はステップＳ１６６０に移行する。一方で、高画質化可否判定部４０３が、高画質化エンジン群のいずれかが入力画像を対処可能であると判定した場合には、処理はステップＳ１６４０に移行する。なお、画像処理装置４００の設定や実装形態によっては、第１の実施形態と同様に、高画質化エンジンによって一部の撮影条件が対処不可能であると判定されたとしても、ステップＳ１６４０を実施してもよい。

ステップＳ１６４０においては、高画質化部４０４が、高画質化エンジン群のそれぞれにステップＳ１６１０において取得した入力画像を入力し、高画質画像群を生成する。

ステップＳ１６５０では、画質評価部１５０６が、ステップＳ１６４０において生成された高画質画像群のうち最も高画質な画像を選択する。具体的には、まず、出力部４０５が、ステップＳ１６４０で生成された高画質画像群を、表示部２０のユーザーインターフェースに表示させる。

ここで、図１７に当該インターフェースの一例を示す。当該インターフェースには、入力画像Ｉｍ１７１０、及び高画質化エンジン群のそれぞれが出力した高画質画像Ｉｍ１７２０，Ｉｍ１７３０，Ｉｍ１７４０，Ｉｍ１７５０のそれぞれが表示される。検者は不図示の任意の入力装置を操作して、画像群（高画質画像Ｉｍ１７２０～Ｉｍ１７５０）のうち、最も高画質、つまり、最も画像診断に適した画像を指示する。なお、高画質化エンジンによって高画質化していない入力画像の方が、画像診断に適している可能性もあるので、検者による指示の対象となる画像群に入力画像を加えてもよい。

その後、画質評価部１５０６は、検者によって指示された高画質画像を最も高画質な画像として選択する。

ステップＳ１６６０においては、出力部４０５が、ステップＳ１６５０において選択された画像を表示部２０に表示させたり、他の装置に出力したりする。ただし、ステップＳ１６３０において、入力画像が処理不可能であると判定されている場合には、出力部４０５は、入力画像を出力画像として出力する。なお、出力部４０５は、検者によって入力画像が指示された場合や、入力画像が処理不可能であった場合には、表示部２０に出力画像が入力画像と同じであることを表示させてもよい。

上記のように、本実施形態に係る高画質化部４０４は、複数の高画質化エンジンを用いて、入力画像から複数の高画質画像を生成し、画像処理装置１５００の出力部４０５は、検者の指示に応じて、複数の高画質画像のうち少なくとも一つの画像を出力する。特に、本実施形態では、出力部４０５は、検者の指示に応じて、最も高画質な画像を出力する。これにより、画像処理装置１５００は、複数の高画質化エンジンを用いて生成された複数の高画質画像のうち、検者の指示に応じた画質の高い高画質画像を出力することができる。

なお、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置１５００に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第１の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。

＜第８の実施形態＞
次に、図１５及び１６を参照して、第８の実施形態に係る画像処理装置について説明する。本実施形態では、画質評価部が、画質評価エンジンを用いて、複数の高画質化エンジンから出力された複数の高画質画像のうち最も高画質な画像を選択する。

特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第７の実施形態に係る画像処理装置１５００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第７の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第７の実施形態に係る画像処理装置の構成と同様であるため、図１５に示す構成について同一の参照符号を用いて示し、説明を省略する。

本実施形態に係る画質評価部１５０６には、入力された画像の画質を評価する画質評価エンジンが備えられている。画質評価エンジンは入力された画像に対する画質評価指数を出力する。本実施形態に係る画質評価エンジンにおいて画質評価指数を算出する画質評価処理手法は、機械学習アルゴリズムを用いて構築した機械学習モデルを用いる。機械学習モデルをトレーニングする教師データを構成するペアの入力データは、事前に様々な撮影条件によって撮影された低画質画像群と高画質画像群とで構成される画像群である。また、機械学習モデルをトレーニングする教師データを構成するペアの出力データは、例えば、画像診断を行う検者が入力データの画像群のそれぞれについて設定した画質評価指数群である。

次に図１６を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップＳ１６１０、ステップＳ１６２０、ステップＳ１６３０、及びステップＳ１６６０の処理は、第７の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ１６２０の処理の後に、ステップＳ１６３０の処理を省き、処理をステップＳ１６４０に移行してよい。

ステップＳ１６３０において、第７の実施形態と同様に、高画質化可否判定部４０３が、高画質化エンジン群のいずれかが入力画像を対処可能であると判定した場合には、処理はステップＳ１６４０に移行する。なお、画像処理装置４００の設定や実装形態によっては、第１の実施形態と同様に、高画質化エンジンによって一部の撮影条件が対処不可能であると判定されたとしても、ステップＳ１６４０を実施してもよい。

ステップＳ１６５０では、画質評価部１５０６が、ステップＳ１６４０において生成された高画質画像群のうち最も高画質な画像を選択する。具体的には、まず、画質評価部１５０６が、ステップＳ１６４０で生成された高画質画像群を、画質評価エンジンに入力する。画質評価エンジンは、入力された各高画質画像について、学習に基づいて、画質評価指数を算出する。画質評価部１５０６は、算出された画質評価指数のうち最も高い画質評価指数が算出された高画質画像を選択する。なお、高画質化エンジンによって高画質化していない入力画像の方が、画像診断に適している可能性もあるので、画質評価部１５０６は、画質評価エンジンに入力画像も入力し、入力画像に対する画質評価指数も選択に加えてもよい。ステップＳ１６６０は、第７の実施形態のステップＳ１６６０と同様であるため説明を省略する。

上記のように、本実施形態に係る画像処理装置１５００は、高画質画像の画質を評価する画質評価部１５０６を更に備える。高画質化部４０４は、複数の高画質化エンジンを用いて、入力画像から複数の高画質画像を生成し、画像処理装置１５００の出力部４０５は、画質評価部１５０６による評価結果に応じて、複数の高画質画像のうち少なくとも一つの画像を出力する。特に、本実施形態に係る画質評価部１５０６は、所定の評価手法による評価値を学習データとした画質評価エンジンを含む。画質評価部１５０６は、複数の高画質画像のうち、画質評価部１５０６による画質評価エンジンを用いた評価の結果が最も高い高画質画像を選択する。出力部４０５は、画質評価部１５０６によって選択された最も評価値が高い高画質画像を出力する。

これにより、本実施形態に係る画像処理装置１５００では、画質評価エンジンの出力に基づいて、複数の高画質画像から最も画像診断に適した高画質画像を容易に出力することができる。

なお、本実施形態では、画質評価部１５０６が画質評価エンジンによって出力される画質評価指数のうち最も高い画質評価指数の高画質画像を選択し、出力部４０５が選択された高画質画像を表示部２０に表示させた。しかしながら、画質評価部１５０６の構成はこれに限られない。例えば、画質評価部１５０６は画質評価エンジンによって出力される画質評価指数のうち上位いくつかの画質評価指数の高画質画像を選択し、出力部４０５が選択された高画質画像を表示部２０に表示させてもよい。また、出力部４０５が、画質評価エンジンによって出力された画質評価指数を対応する高画質画像とともに表示部２０に表示させ、画質評価部１５０６が検者の指示に応じて、最も高画質な画像を選択してもよい。

＜第９の実施形態＞
次に、図１８及び１９を参照して、第９の実施形態に係る画像処理装置について説明する。本実施形態では、真贋評価部が、真贋評価エンジンを用いて、高画質化部４０４によって生成された高画質画像が十分に高画質化されたものであるか否かを評価する。

図１８は、本実施形態に係る画像処理装置１８００の概略的な構成を示す。本実施形態に係る画像処理装置１８００には、取得部４０１、撮影条件取得部４０２、高画質化可否判定部４０３、高画質化部４０４、及び出力部４０５に加えて、真贋評価部１８０７が設けられている。なお、画像処理装置１８００は、これら構成要素のうちの一部が設けられた複数の装置で構成されてもよい。ここで、取得部４０１、撮影条件取得部４０２、高画質化可否判定部４０３、高画質化部４０４、及び出力部４０５は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。

また、画像処理装置１８００は、第１の実施形態に係る画像処理装置４００と同様に撮影装置１０、表示部２０及び不図示の他の装置と、任意の回路やネットワークを介して接続されてよい。また、これらの装置は、他の任意の装置と回路やネットワークを介して接続されてもよいし、他の任意の装置と一体的に構成されてもよい。なお、これらの装置は本実施形態では別個の装置とされているが、これらの装置の一部又は全部を一体的に構成してもよい。

真贋評価部１８０７には、真贋評価エンジンが備えられている。真贋評価部１８０７は、真贋評価エンジンを用いて、高画質化エンジンが生成した高画質画像が十分に高画質化されているか否かを評価する。本実施形態に係る真贋評価エンジンにおける真贋評価処理手法は、機械学習アルゴリズムを用いて構築した機械学習モデルを用いる。

機械学習モデルをトレーニングする教師データには、事前に様々な撮影条件によって撮影された高画質画像群と対象の撮影装置によって撮影され取得されたことを表すラベル（以下、真作ラベル）とのペア群が含まれる。また、教師データには、高画質化の精度の悪い高画質化エンジンに低画質画像を入力して生成した高画質画像群と対象の撮影装置によって撮影され取得されていないことを表すラベル（以下、贋作ラベル）とのペア群が含まれる。

このような教師データを用いて学習が行われた真贋評価エンジンは、入力された画像に対し、確実に撮影装置によって撮影され取得された画像か否かを評価できるわけではないが、撮影装置によって撮影され取得された画像らしさを持つ画像か否かを評価できる。この特性を利用して、真贋評価部１８０７は、真贋評価エンジンに高画質化部４０４が生成した高画質画像を入力することで、高画質化部４０４が生成した高画質画像が十分に高画質化されているか否かを評価できる。

出力部４０５は、真贋評価部１８０７によって高画質化部４０４が生成した高画質画像が十分に高画質化されていると判断されたら、当該高画質画像を表示部２０に表示させる。一方、出力部４０５は、真贋評価部１８０７によって、高画質化部４０４が生成した高画質画像が十分に高画質化されていないと判断されたら、入力画像を表示部２０に表示させる。なお、出力部４０５は、入力画像を表示させる際に、高画質化部４０４によって生成された高画質画像が十分に高画質化されなかったことや表示されている画像が入力画像であることを表示部２０に表示させることができる。

以下、図１９を参照して、本実施形態に係る一連の画像処理について説明する。図１９は、本実施形態に係る一連の画像処理のフロー図である。なお、本実施形態に係るステップＳ１９１０～ステップＳ１９４０の処理は、第１の実施形態におけるステップＳ５１０～ステップＳ５４０での処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ１９２０の処理の後に、ステップＳ１９３０の処理を省き、処理をステップＳ１９４０に移行してよい。

ステップＳ１９４０において、高画質化部４０４が高画質画像群を生成したら、処理はステップＳ１９５０に移行する。ステップＳ１９５０では、真贋評価部１８０７が、ステップＳ１９４０において生成された高画質画像を真贋評価エンジンに入力し、真贋評価エンジンの出力に基づいて真贋評価を行う。具体的には、真贋評価部１８０７は、真贋評価エンジンから真作ラベル（真）が出力された場合には、生成された高画質画像が十分に高画質化されていると評価する。一方、真贋評価エンジンから贋作ラベル（偽）が出力された場合には、真贋評価部１８０７は、生成された高画質画像が十分に高画質化されていないと評価する。

ステップＳ１９６０においては、出力部４０５が、真贋評価部１８０７によって高画質化部４０４が生成した高画質画像が十分に高画質化されていると判断されたら、当該高画質画像を表示部２０に表示させる。一方、出力部４０５は、真贋評価部１８０７によって、高画質化部４０４が生成した高画質画像が十分に高画質化されていないと判断されたら、入力画像を表示部２０に表示させる。

上記のように、本実施形態に係る画像処理装置１８００は、高画質画像の画質を評価する真贋評価部１８０７を更に備え、真贋評価部１８０７は画像の真贋を評価する真贋評価エンジンを含む。真贋評価エンジンは、高画質化部４０４の高画質化エンジンよりも高画質化処理の精度が低い（悪い）高画質化エンジンによって生成された画像を学習データとした機械学習エンジンを含む。画像処理装置１８００の出力部４０５は、真贋評価部の真贋評価エンジンからの出力が真である場合に、高画質画像を出力する。

これにより、本実施形態に係る画像処理装置１８００では、検者は十分に高画質化された高画質画像を効率よく確認することができる。

また、高画質化エンジンの機械学習モデルと真贋評価エンジンの機械学習モデルとを協調させてトレーニングすることによって、双方のエンジンの効率や精度を向上させてもよい。

なお、本実施形態では、高画質化部４０４が一つの高画質画像を生成し、真贋評価部１８０７が生成された一つの高画質画像について評価を行う構成としたが、真贋評価部１８０７の評価はこれに限られない。例えば、第２の実施形態のように、高画質化部４０４が複数の高画質化エンジンを用いて複数の高画質画像を生成する場合には、真贋評価部１８０７が生成された複数の高画質画像の少なくとも一つについて評価を行う構成としてもよい。この場合、例えば真贋評価部１８０７は、生成された複数の高画質画像の全てについて評価を行ってもよいし、複数の高画質画像のうち検者によって指示された画像のみについて評価を行ってもよい。

さらに、出力部４０５は、真贋評価部１８０７による高画質画像が十分に高画質化されているか否かの判断結果を表示部２０に表示させ、検者の指示に応じて、高画質画像を出力してもよい。

なお、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置１８００に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第１の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。

＜第１０の実施形態＞
次に、図４及び５を参照して、第１０の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が三次元の入力画像を複数の二次元画像に分割して高画質化エンジンに入力し、高画質化エンジンからの出力画像を結合することで三次元の高画質画像を生成する。

本実施形態に係る取得部４０１は、構造的に連続する二次元画像群で構成された、三次元画像を取得する。具体的には、三次元画像は、例えば、ＯＣＴのＢスキャン像（断層画像）群で構成された三次元ＯＣＴボリューム画像である。また、例えば、アキシャル断層像群で構成された三次元ＣＴボリューム画像である。

高画質化部４０４には、第１の実施形態と同様に、高画質化エンジンが備えられている。なお、高画質化エンジンの教師データである入力データと出力データのペア群は二次元画像の画像群により構成されている。高画質化部４０４は、取得された三次元画像を複数の二次元画像に分割し、二次元画像毎に高画質化エンジンに入力する。これにより、高画質化部４０４は、複数の二次元の高画質画像を生成することができる。

出力部４０５は、高画質化部４０４によって、三次元画像の各二次元画像について生成された複数の二次元の高画質画像を結合し、三次元の高画質画像を出力する。

次に、図５を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップＳ５１０～ステップＳ５３０、及びステップＳ５５０の処理は、第１の実施形態におけるこれらの処理と同様であるため、説明を省略する。ただし、ステップＳ５１０では、取得部４０１は三次元画像を取得する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ５２０の処理の後に、ステップＳ５３０の処理を省き、処理をステップＳ５４０に移行してよい。

ステップＳ５３０において、高画質化可否判定部４０３が、高画質化エンジンによって入力画像を対処可能と判定した場合には、処理はステップＳ５４０に移行する。なお、高画質化可否判定部４０３は、三次元画像の撮影条件に基づいて当該判定を行ってもよいし、三次元画像を構成する複数の二次元画像に関する撮影条件に基づいて当該判定を行ってもよい。ステップＳ５４０では、高画質化部４０４が、取得された三次元画像を複数の二次元画像に分割する。高画質化部４０４は、分割した複数の二次元画像のそれぞれを高画質化エンジンに入力し、複数の二次元の高画質画像を生成する。高画質化部４０４は、取得した三次元画像に基づいて、生成した複数の二次元の高画質画像を結合し、三次元の高画質画像を生成する。

ステップＳ５５０では、出力部４０５は、生成された三次元の高画質画像を表示部２０に表示させる。なお、三次元の高画質画像の表示態様は任意であってよい。

上記のように、本実施形態に係る高画質化部４０４は、三次元の入力画像を複数の二次元の画像に分割して高画質化エンジンに入力する。高画質化部４０４は、高画質化エンジンから出力された複数の二次元の高画質画像を結合し、三次元の高画質画像を生成する。

これにより、本実施形態に係る高画質化部４０４は、二次元画像の教師データを用いて学習が行われた高画質化エンジンを用いて、三次元画像を高画質化することができる。

＜第１１の実施形態＞
次に、図４及び５を参照して、第１１の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が三次元の入力画像を複数の二次元画像に分割し、複数の二次元画像を複数の高画質化エンジンによって並列に高画質化し、高画質化エンジンからの出力画像を結合することで三次元の高画質画像を生成する。

特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１０の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１０の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第１及び１０の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。

本実施形態に係る高画質化部４０４には、第１０の実施形態と同様の高画質化エンジンが、複数備えられている。なお、高画質化部４０４に備えられた複数の高画質化エンジン群は、回路やネットワークを介して、二つ以上の装置群に分散処理可能なように実装されていてもよいし、単一の装置に実装されていてもよい。

高画質化部４０４は、第１０の実施形態と同様に、取得された三次元画像を複数の二次元画像に分割する。高画質化部４０４は、複数の二次元画像を複数の高画質化エンジンを用いて、分担して（並列的に）高画質化を行い、複数の二次元の高画質画像を生成する。高画質化部４０４は、複数の高画質化エンジンから出力された複数の二次元の高画質画像を、処理対象である三次元画像に基づいて結合し、三次元の高画質画像を生成する。

次に、図５を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップＳ５１０～ステップＳ５３０、及びステップＳ５５０の処理は、第１０の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ５２０の処理の後に、ステップＳ５３０の処理を省き、処理をステップＳ５４０に移行してよい。

ステップＳ５３０において、高画質化可否判定部４０３が、高画質化エンジンによって入力画像を対処可能と判定した場合には、処理はステップＳ５４０に移行する。なお、高画質化可否判定部４０３は、三次元画像の撮影条件に基づいて当該判定を行ってもよいし、三次元画像を構成する複数の二次元画像に関する撮影条件に基づいて当該判定を行ってもよい。

ステップＳ５４０では、高画質化部４０４が、取得された三次元画像を複数の二次元画像に分割する。高画質化部４０４は、分割した複数の二次元画像のそれぞれを複数の高画質化エンジンに入力し、並列的に高画質化処理して、複数の二次元の高画質画像を生成する。高画質化部４０４は、取得した三次元画像に基づいて、生成した複数の二次元の高画質画像を結合し、三次元の高画質画像を生成する。

上記のように、本実施形態に係る高画質化部４０４は、複数の高画質化エンジンを含む。高画質化部４０４は、三次元の入力画像を複数の二次元の画像に分割し、複数の高画質化エンジンを並列的に用いて、複数の二次元の高画質画像を生成する。高画質化部４０４は複数の二次元の高画質画像を統合することで、三次元の高画質画像を生成する。

これにより、本実施形態に係る高画質化部４０４は、二次元画像の教師データを用いて学習が行われた高画質化エンジンを用いて、三次元画像を高画質化することができる。また、第１０の実施形態と比べて、より効率的に三次元画像を高画質化することができる。

なお、複数の高画質化エンジンの教師データは、各高画質化エンジンで処理を行う処理対象に応じて異なる教師データであってもよい。例えば、第１の高画質化エンジンは第１の撮影領域についての教師データで学習を行い、第２の高画質化エンジンは第２の撮影領域についての教師データで学習を行ってもよい。この場合には、それぞれの高画質化エンジンが、より精度良く二次元画像の高画質化を行うことができる。

また、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置４００に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第１の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。

＜第１２の実施形態＞
次に、図５及び２０を参照して、第１２の実施形態に係る画像処理装置について説明する。本実施形態では、取得部４０１が撮影装置ではなく画像管理システム２０００から入力画像を取得する。

特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第１の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は第１の実施形態に係る画像処理装置４００の構成と同様であるため、図４に示す構成について同じ参照符号を用いて説明を省略する。

図２０は、本実施形態に係る画像処理装置４００の概略的な構成を示す。本実施形態に係る画像処理装置４００は画像管理システム２０００、及び表示部２０と任意の回路やネットワークを介して接続されている。画像管理システム２０００は、任意の撮影装置によって撮影された画像や画像処理された画像を受信して保存する装置及びシステムである。また、画像管理システム２０００は、接続された装置の要求に応じて画像を送信したり、保存された画像に対して画像処理を行ったり、画像処理の要求を他の装置に要求したりすることができる。画像管理システムとしては、例えば、画像保存通信システム（ＰＡＣＳ）を含むことができる。

本実施形態に係る取得部４０１は、画像処理装置４００に接続される画像管理システム２０００から入力画像を取得することができる。また、出力部４０５は、高画質化部４０４によって生成された高画質画像を、画像管理システム２０００に出力することができる。

次に、図５を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップＳ５２０～ステップＳ５４０の処理は、第１の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ５２０の処理の後に、ステップＳ５３０の処理を省き、処理をステップＳ５４０に移行してよい。

ステップＳ５１０において、取得部４０１は、回路やネットワークを介して接続された画像管理システム２０００から、画像管理システム２０００が保存している画像を入力画像として取得する。なお、取得部４０１は、画像管理システム２０００からの要求に応じて、入力画像を取得してもよい。このような要求は、例えば、画像管理システム２０００が画像を保存した時や、保存した画像を他の装置に送信する前、保存された画像を表示部２０に表示する時に発行されてよい。また、当該要求は、例えば、画像管理システム２０００を利用者が操作して高画質化処理の要求を行った時や、画像管理システム２０００が備える画像解析機能に高画質画像を利用する時等に発行されてよい。

ステップＳ５２０～ステップＳ５４０の処理は、第１の実施形態における処理と同様である。ステップＳ５４０において高画質化部４０４が高画質画像を生成したら、処理はステップＳ５５０に移行する。ステップＳ５５０において、出力部４０５は、ステップＳ５４０において高画質画像が生成されていれば、該高画質画像を画像管理システム２０００に出力画像として出力する。ステップＳ５４０において高画質画像が生成されていなければ、上記入力画像を画像管理システム２０００に出力画像として出力する。なお、出力部４０５は、画像処理装置４００の設定や実装によっては、出力画像を画像管理システム２０００が利用可能なように加工したり、出力画像のデータ形式を変換したりしてもよい。

上記のように、本実施形態に係る取得部４０１は、画像管理システム２０００から入力画像を取得する。このため、本実施形態の画像処理装置４００は、画像管理システム２０００が保存している画像を元に、画像診断に適した高画質画像を、撮影者や被検者の侵襲性を高めたり、労力を増したりすることなく出力することができる。また、出力された高画質画像は画像管理システム２０００に保存されたり、画像管理システム２０００が備えるユーザーインターフェースに表示されたりすることができる。また、出力された高画質画像は、画像管理システム２０００が備える画像解析機能に利用されたり、画像管理システム２０００に接続された他の装置に画像管理システム２０００を介して送信されたりすることができる。

なお、画像処理装置４００や画像管理システム２０００、表示部２０は、不図示の他の装置と回路やネットワークを介して接続されていてもよい。また、これらの装置は本実施形態では別個の装置とされているが、これらの装置の一部又は全部を一体的に構成してもよい。

また、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を画像管理システム２０００や画像処理装置４００に接続される他の装置に出力してもよい。

＜第１３の実施形態＞
次に、図４、５、２１Ａ、及び２１Ｂを参照して、第１３の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が複数の画像を入力画像とし、一枚の高画質画像を生成する。

本実施形態に係る取得部４０１は、撮影装置１０や他の装置から、処理対象である入力データとして、複数の画像を取得する。

本実施形態に係る高画質化部４０４には、第１の実施形態と同様の、高画質化エンジンが備えられている。また、教師データも第１の実施形態と同様であってよい。高画質化部４０４は、取得部４０１で取得された複数の画像のそれぞれを高画質化エンジンに入力し、出力された複数の高画質画像を重ね合わせ処理して、最終的な高画質画像を生成する。なお、高画質化部４０４は、複数の高画質画像を重ね合わせ処理する前に、任意の手法により複数の高画質画像を位置合わせしてよい。

出力部４０５は、高画質化部４０４が生成した最終的な高画質画像を表示部２０に表示させる。なお、出力部４０５は、最終的な高画質画像とともに、複数の入力画像を表示部２０に表示させてもよい。また、出力部４０５は、生成された複数の高画質画像を最終的な高画質画像や入力画像とともに表示部２０に表示してもよい。

次に、図５及び図２１Ａを参照して、本実施形態に係る一連の画像処理について説明する。図２１Ａは本実施形態に係る高画質化処理のフロー図である。なお、本実施形態に係るステップＳ５１０～ステップＳ５３０の処理は、第１の実施形態におけるこれらの処理と同様であるため、説明を省略する。

ただし、ステップＳ５１０では、取得部４０１は複数の画像を取得し、ステップＳ５２０及びＳ５３０では、複数の画像のそれぞれについて、撮影条件が取得されるとともに、高画質化エンジンによって対処可能か否かが判断される。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ５２０の処理の後に、ステップＳ５３０の処理を省き、処理をステップＳ５４０に移行してよい。また、複数の画像の一部の画像が、高画質化エンジンによって対処不可能であると判断された場合には、当該画像を以降の処理から除外することができる。

ステップＳ５３０において、高画質化可否判定部４０３が、複数の入力画像について高画質化エンジンによって対処可能と判定した場合には、処理はステップＳ５４０に移行する。処理がステップＳ５４０に移行すると、図２１Ａに示される本実施形態に係る高画質化処理が開始される。本実施形態に係る高画質化処理では、まず、ステップＳ２１１０において、高画質化部４０４が、複数の入力画像のそれぞれを高画質化エンジンに入力し、高画質画像群を生成する。

次に、ステップＳ２１２０では、高画質化部４０４は、生成した高画質画像群を重ね合わせ処理して最終的な一枚の高画質画像を生成する。なお、重ね合わせ処理は加算平均等平均化の処理やその他の既存の任意の処理によって行われてよい。また、重ね合わせに際しては、高画質化部４０４は複数の高画質画像を任意の手法により位置合わせした上で重ね合わせしてよい。高画質化部４０４が最終的な高画質画像を生成したら、処理はステップＳ５５０に移行する。

ステップＳ５５０では、出力部４０５が生成された最終的な高画質画像を表示部２０に表示させる。

上記のように、本実施形態に係る高画質化部４０４は、複数の入力画像から一つの最終的な高画質画像を生成する。高画質化エンジンによる高画質化は入力画像に基づくため、例えば、病変部等が、ある入力画像において適切に表示されていない場合、当該入力画像を高画質化した高画質画像では低い画素値となってしまう。一方で、同一箇所を撮影した他の入力画像では病変部等が適切に表示されており、当該他の入力画像を高画質化した高画質画像では高い画素値となっている場合もある。そこで、これらの高画質画像を重ね合わせることで、当該低い又は高い画素値となっている箇所を適切に表示できるようになり、高コントラストな高画質画像を生成することができる。なお、入力画像の数は、従来の重ね合わせに必要な枚数よりも少ない数とすることで、従来のような撮影時間の長期化等の代償をより少なくすることができる。

なお、当該作用については、例えば、ＯＣＴＡ等のモーションコントラストデータを用いた入力画像を用いる場合に顕著となる。

モーションコントラストデータは、撮影対象の同一箇所を繰り返し撮影した時間間隔における、撮影対象の時間的な変化を検出したものであるため、例えば、ある時間間隔では撮影対象の動きについて僅かな動きしか検出できない場合がある。これに対して、別の時間間隔撮影を行った場合には、撮影対象の動きをより大きな動きとして検出できる場合もある。そのため、それぞれの場合のモーションコントラスト画像を高画質化した画像を重ね合わせることで、特定のタイミングでは生じていなかった又は僅かにしか検出されていなかったモーションコントラストを補間することができる。そのため、このような処理によれば、撮影対象のより多くの動きについてコントラスト強調が行われたモーションコントラスト画像を生成することができ、検者は、撮影対象のより正確な状態を把握することができる。

従って、ＯＣＴＡ画像のように時間的に変化している箇所を描出する画像を入力画像として用いる場合には、異なる時間で取得した高画質画像を重ね合わせることによって、被検者の所定部位をより詳細に画像化することができる。

なお、本実施形態では、複数の入力画像からそれぞれ高画質画像を生成し、高画質画像を重ね合わせることで、最終的な一枚の高画質画像を生成したが、複数の入力画像から一枚の高画質画像を生成する方法はこれに限られない。例えば、図２１Ｂに示す本実施形態の高画質化処理の別例では、ステップＳ５４０において高画質化処理が開始されると、ステップＳ２１３０において、高画質化部４０４が入力画像群を重ね合わせし、一枚の重ね合わせされた入力画像を生成する。

その後、ステップＳ２１４０において、高画質化部４０４が、一枚の重ね合わされた入力画像を高画質化エンジンに入力し、一枚の高画質画像を生成する。このような、高画質化処理であっても、上述の高画質化処理と同様に、複数の入力画像について低い又は高い画素値となっている箇所を適切に表示できるようになり、高コントラストな高画質画像を生成することができる。当該処理も、上記ＯＣＴＡ画像等のモーションコントラスト画像を入力画像とした場合に、顕著な作用を奏することができる。

なお、当該高画質処理を行う場合には、高画質化エンジンの教師データの入力データとして、処理対象とされる複数の入力画像と同数の入力画像の重ね合わせ画像を用いる。これにより、高画質化エンジンにより適切な高画質化処理を行うことができる。

また、本実施形態による高画質化処理及び上述の別の高画質化処理について、高画質画像群又は入力画像群を組み合わせる処理は、重ね合わせに限られない。例えば、これらの画像群にＭＡＰ推定処理を適用することで一枚の画像を生成してもよい。また、高画質画像群又は入力画像群を合成して一枚の画像を生成してもよい。

高画質画像群又は入力画像群を合成して一枚の画像を生成する場合としては、例えば、入力画像として高輝度領域について広い階調を有する画像と低輝度領域に広い階調を有する画像を用いる場合がある。この場合には、例えば、高輝度領域について広い階調を有する画像を高画質化した画像と、低輝度領域について広い階調を有する画像を高画質化した画像とを合成する。これにより、より広い明るさの幅（ダイナミックレンジ）を表現できる画像を生成することができる。なお、この場合には、高画質化エンジンの教師データの入力データは、処理対象とされる、高輝度領域について広い階調を有する画像や低輝度領域について広い階調を有する低画質画像とすることができる。また、高画質化エンジンの教師データの出力データは、入力データに対応する高画質画像とすることができる。

また、高輝度領域について広い階調を有する画像と、低輝度領域について広い階調を有する画像とを合成し、合成した画像を高画質化エンジンによって高画質化してもよい。この場合にも、より広い明るさの幅を表現できる画像を生成することができる。なお、この場合には、高画質化エンジンの教師データの入力データは、処理対象とされる、高輝度領域について広い階調を有する低画質画像と低輝度領域について広い階調を有する低画質画像を合成した画像とすることができる。また、高画質化エンジンの教師データの出力データは、入力データに対応する高画質画像とすることができる。

これらの場合には、高画質化エンジンを用いて、より広い明るさの幅を表現できる画像を高画質化することができ、従来と比べてより少ない枚数の画像等で処理を行うことができ、より少ない代償で、画像解析に適した画像を提供することができる。

なお、高輝度領域について広い階調を有する画像と、低輝度領域について広い階調を有する画像の撮影方法としては、撮影装置の露光時間をより短く又はより長くする等の、任意の方法を採用してよい。また、階調の幅の分け方は、低輝度領域及び高輝度領域に限られず、任意であってよい。

また、本実施形態に係る高画質化処理において、複数の高画質化エンジンを用いて、複数の入力画像を並列的に処理してもよい。なお、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置４００に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第１の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。

＜第１４の実施形態＞
次に、図４及び５を参照して、第１４の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が複数の低画質画像から生成された中画質画像を入力画像とし、高画質画像を生成する。

本実施形態に係る取得部４０１は、撮影装置１０や他の装置から、処理対象である入力データとして、複数の低画質画像を重ね合わせ処理した中画質画像を取得する。なお、低画質画像の重ね合わせに際しては、任意の位置合わせ処理が行われてよい。

本実施形態に係る高画質化部４０４には、第１の実施形態と同様の、高画質化エンジンが備えられている。ただし、本実施形態の高画質化エンジンは、中程度の画質である中画質画像を入力し、高画質画像を出力するように設計されている。中画質画像とは複数の低画質画像群を重ね合わせして生成された重ね合わせ画像である。また、高画質画像は中画質画像よりも高画質な画像である。また、高画質化エンジンのトレーニングに用いられた教師データを構成するペア群についても、各ペアを構成する入力データは中画質画像と同様にして生成された中画質画像であり、出力データは高画質画像である。

出力部４０５は、高画質化部４０４が生成した高画質画像を表示部２０に表示させる。なお、出力部４０５は、高画質画像とともに、入力画像を表示部２０に表示させてもよく、この場合に、出力部４０５は、入力画像が複数の低画質画像から生成された画像であることを表示部２０に表示してもよい。

次に、図５を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップＳ５２０～ステップＳ５５０の処理は、第１の実施形態におけるこれらの処理と同様であるため、説明を省略する。

ステップＳ５１０においては、取得部４０１は、撮影装置１０や他の装置から、入力画像として中画質画像を取得する。なお、取得部４０１は撮影装置１０からの要求に応じて、撮影装置１０が生成した中画質画像を入力画像として取得してもよい。このような要求は、例えば、撮影装置１０が画像を生成した時、撮影装置１０が生成した画像を撮影装置１０が備える記録装置に保存する前や保存した後、保存された画像を表示部２０に表示する時、画像解析処理に高画質画像を利用する時等に発行されてよい。

以降の処理は、第１の実施形態における処理と同様であるため、説明を省略する。

上記のように、本実施形態に係る取得部４０１は、被検者の所定部位の複数の画像を用いて生成された画像である中画質画像を入力画像として取得する。この場合、入力画像がより明瞭な画像となるため、高画質化エンジンは高画質画像をより精度良く生成することができる。なお、中画質画像を生成するために用いる低画質画像の枚数は、従来の重ね合わせ画像を生成するために用いられる画像の枚数より少なくてよい。

なお、中画質画像は、複数の低画質画像を重ね合わせた画像に限られず、例えば、複数の低画質画像にＭＡＰ推定処理を適用した画像でもよいし、複数の低画質画像を合成した画像であってもよい。複数の低画質画像を合成する場合には、それぞれの画像の階調が異なっている画像同士を合成してもよい。

＜第１５の実施形態＞
次に、図４及び５を参照して、第１５の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が第１の実施形態等に係る高画質化とともに入力画像の高画像サイズ化（高サイズ化）を行う。

本実施形態に係る取得部４０１は、入力画像として低画像サイズの画像（低サイズ画像）を取得する。なお、低サイズ画像とは、後述する高画質化エンジンによって出力される高画像サイズの画像（高サイズ画像）よりも、画像を構成する画素数が少ない画像である。具体的には、例えば、高サイズ画像の画像サイズが幅１０２４画素、高さ１０２４画素、奥行き１０２４画素の場合に、低サイズ画像の画像サイズが５１２画素、高さ５１２画素、奥行き５１２画素である場合等である。これに関連して、本明細書における、高画像サイズ化とは、一画像あたりの画素数を増加させ、画像サイズを拡大する処理をいう。

本実施形態に係る高画質化部４０４には、第１の実施形態と同様に、高画質化エンジンが備えられている。ただし、本実施形態の高画質化エンジンは、入力画像についてノイズ低減やコントラスト強調するとともに、入力画像の画像サイズを高画像サイズ化するように構成されている。そのため、本実施形態の高画質化エンジンは、低サイズ画像を入力し、高サイズ画像を出力するように構成されている。

これに関連して、高画質化エンジンの教師データを構成するペア群について、各ペアを構成する入力データは低サイズ画像であり、出力データは高サイズ画像である。なお、出力データ用として用いる高サイズ画像は、低サイズ画像を取得した撮影装置よりも高性能な装置から取得したり、撮影装置の設定を変更することによって取得したりすることができる。また、高サイズ画像群が既にある場合には、当該高サイズ画像群を撮影装置１０からの取得が想定される画像の画像サイズに縮小することで、入力データとして用いる低サイズ画像群を取得してもよい。また、高サイズ画像については、第１の実施形態等と同様に低サイズ画像を重ね合わせたものが用いられる。

なお、本実施形態に係る高画質化部４０４による入力画像の画像サイズの拡大については、教師データとして撮影装置１０よりも高性能な装置から取得したり、撮影装置１０の設定を変更したりすることで取得しているため、単純な画像の拡大とは異なる。具体的には、本実施形態に係る高画質化部４０４による入力画像の画像サイズの拡大処理は、単純に画像を拡大した場合と比べ、解像度の劣化を低減することができる。

このような構成により、本実施形態に係る高画質化部４０４は、入力画像に対して、ノイズ低減やコントラスト強調がなされるとともに高画像サイズ化された高画質画像を生成することができる。

次に、図５を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップＳ５２０、ステップＳ５３０、及びステップＳ５５０の処理は、第１の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ５２０の処理の後に、ステップＳ５３０の処理を省き、処理をステップＳ５４０に移行してよい。

ステップＳ５１０において、取得部４０１は、撮影装置１０や他の装置から、処理対象である入力データとして、低サイズ画像を取得する。なお、取得部４０１は撮影装置１０からの要求に応じて、撮影装置１０が生成した低サイズ画像を入力画像として取得してもよい。このような要求は、例えば、撮影装置１０が画像を生成した時、撮影装置１０が生成した画像を撮影装置１０が備える記録装置に保存する前や保存した後、保存された画像を表示部２０に表示する時、画像解析処理に高画質画像を利用する時等に発行されてよい。

ステップＳ５２０及びステップＳ５３０の処理は第１の実施形態での処理と同様であるため説明を省略する。ステップＳ５４０では、高画質化部４０４が、入力画像を高画質化エンジンに入力し、高画質画像としてノイズ低減やコントラスト強調がなされるとともに高画像サイズ化された画像を生成する。以降の処理は、第１の実施形態と同様であるため説明を省略する。

上記のように、本実施形態に係る高画質化部４０４は、入力画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされるとともに、画像サイズの拡大がなされた高画質画像を生成する。これにより、本実施形態に係る画像処理装置４００は、画像診断に適した高画質画像を、撮影者や被検者の侵襲性を高めたり、労力を増したりすることなく出力することができる。

なお、本実施形態では、一つの高画質化エンジンにより、第１の実施形態等による高画質化処理と高分解能化の処理を行った高画質画像を生成したが、これらの処理を行う構成はこれに限られない。例えば、高画質化部は、第１の実施形態等による高画質化処理を行う高画質化エンジン及び高画像サイズ化処理を行う別の高画質化エンジンを備えてもよい。

この場合には、第１の実施形態等に係る高画質化処理を行う高画質化エンジンは第１の実施形態等に係る高画質化エンジンと同様に学習を行った機械学習モデルを用いることができる。また、高画像サイズ化処理を行う高画質化エンジンの教師データの入力データとしては、第１の実施形態等に係る高画質化エンジンが生成した高画質画像を用いる。また、当該高画質化エンジンの教師データの出力データとしては、高性能な撮影装置で取得された画像について第１の実施形態等に係る高画質化エンジンが生成した高画質画像を用いる。これにより、高画像サイズ化処理を行う高画質化エンジンは、第１の実施形態等に係る高画質化処理を行った高画質画像について高画像サイズ化した最終的な高画質画像を生成することができる。

また、当該高画質化エンジンによる高画像サイズ化処理を、第１の実施形態等に係る高画化処理エンジンによる高画質化処理の前に行ってもよい。この場合には、高画像サイズ化処理を行う高画質化エンジンについての教師データは、撮影装置で取得した低サイズ画像である入力データと高サイズ画像である出力データのペア群により構成する。また、第１の実施形態等に係る高画質化処理を行う高画質化エンジンの教師データとしては、高サイズ画像を入力データと、高サイズ画像を重ね合わせした画像を出力データのペア群により構成する。

このような構成によっても、画像処理装置４００は、入力画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされるとともに、画像サイズの拡大がなされた画像を高画質画像として生成することができる。

なお、本実施形態では、第１の実施形態等に係る高画質化処理について、重ね合わせ画像を教師データの出力データとして用いる構成について述べたが、第１の実施形態と同様に当該出力データはこれに限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。

なお、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置４００に接続される他の装置に出力してもよい。

＜第１６の実施形態＞
次に、図４及び５を参照して、第１６の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が第１の実施形態等に係る高画質化とともに高空間分解能化を行う。

本実施形態に係る取得部４０１は、入力画像として低空間分解能画像を取得する。なお、低空間分解能画像とは、高画質化部４０４が出力する高空間分解能画像よりも、空間分解能が低い画像である。

高画質化部４０４には、第１の実施形態と同様に、高画質化エンジンが備えられている。ただし、本実施形態の高画質化エンジンは、入力画像についてノイズ低減やコントラスト強調するとともに、入力画像の空間分解能を高空間分解能化するように構成されている。そのため、本実施形態に係る高画質化エンジンは、低空間分解能画像を入力し、高空間分解能画像を出力するように構成されている。

これに関連して、高画質化エンジンの教師データを構成するペア群についても、各ペアを構成する入力データは低空間分解能画像であり、出力データは高空間分解能画像である。なお、高空間分解能画像は、低空間分解能画像を取得した撮影装置よりも高性能な装置から取得したり、撮影装置の設定を変更することによって取得したりすることができる。また、高空間分解能画像については、第１の実施形態等と同様に低空間分解能画像を重ね合わせたものが用いられる。

このような構成により、本実施形態に係る高画質化部４０４は、入力画像に対して、ノイズ低減やコントラスト強調がなされるとともに高空間分解能化された高画質画像を生成することができる。

ステップＳ５１０において、取得部４０１は、撮影装置１０や他の装置から、処理対象である入力データとして、低空間分解能画像を取得する。なお、取得部４０１は撮影装置１０からの要求に応じて、撮影装置１０が生成した低空間分解能画像を入力画像として取得してもよい。このような要求は、例えば、撮影装置１０が画像を生成した時、撮影装置１０が生成した画像を撮影装置１０が備える記録装置に保存する前や保存した後、保存された画像を表示部２０に表示する時、画像解析処理に高画質画像を利用する時等に発行されてよい。

ステップＳ５２０及びステップＳ５３０の処理は第１の実施形態での処理と同様であるため説明を省略する。ステップＳ５４０では、高画質化部４０４が、入力画像を高画質化エンジンに入力し、高画質画像としてノイズ低減やコントラスト強調がなされるとともに高空間分解能化された画像を生成する。以降の処理は、第１の実施形態と同様であるため説明を省略する。

上記のように、本実施形態に係る高画質化部４０４は、入力画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされるとともに、空間分解能が向上された画像を高画質画像として生成する。これにより、本実施形態に係る画像処理装置４００は、画像診断に適した高画質画像を、撮影者や被検者の侵襲性を高めたり、労力を増したりすることなく出力することができる。

なお、本実施形態では、一つの高画質化エンジンにより、第１の実施形態等による高画質化処理と高分解能化の処理を行った高画質画像を生成したが、これらの処理を行う構成はこれに限られない。例えば、高画質化部は、第１の実施形態等による高画質化処理を行う高画質化エンジン及び高分解能化処理を行う別の高画質化エンジンを備えてもよい。

この場合には、第１の実施形態等に係る高画質化処理を行う高画質化エンジンは第１の実施形態等に係る高画質化エンジンと同様に学習を行った機械学習モデルを用いることができる。また、高分解能化処理を行う高画質化エンジンの教師データの入力データとしては、第１の実施形態等に係る高画質化エンジンが生成した高画質画像を用いる。また、当該高画質化エンジンの教師データの出力データとしては、高性能な撮影装置で取得された画像について第１の実施形態等に係る高画質化エンジンが生成した高画質画像を用いる。これにより、高空間分解能化処理を行う高画質化エンジンは、第１の実施形態等に係る高画質化処理を行った高画質画像について高空間分解能化した最終的な高画質画像を生成することができる。

また、当該高画質化エンジンによる高空間分解能化処理を、第１の実施形態等に係る高画化処理エンジンによる高画質化処理の前に行ってもよい。この場合には、高空間分解能化処理を行う高画質化エンジンについての教師データは、撮影装置で取得した低空間分解能画像である入力データと高空間分解能画像である出力データのペア群により構成する。また、第１の実施形態等に係る高画質化処理を行う高画質化エンジンの教師データとしては、高空間分解能画像を入力データと、高空間分解能画像を重ね合わせした画像を出力データのペア群により構成する。

このような構成によっても、画像処理装置４００は、入力画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされるとともに、空間分解能が向上された画像を高画質画像として生成することができる。

また、高画質化部４０４は、高画質化エンジンを用いて、高空間分解能化処理に加えて第１５の実施形態に係る高画質化処理を行ってもよい。この場合には、入力画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされるとともに、入力画像と比べて高画像サイズ化及び高空間分解能化された画像を高画質画像として生成することができる。これにより、本実施形態に係る画像処理装置４００は、画像診断に適した高画質画像を、撮影者や被検者の侵襲性を高めたり、労力を増したりすることなく出力することができる。

＜第１７の実施形態＞
次に、図２２及び２３を参照して、第１７の実施形態に係る画像処理装置について説明する。本実施形態では、解析部が高画質化部によって生成された高画質画像を画像解析する。

図２２は、本実施形態に係る画像処理装置２２００の概略的な構成を示す。本実施形態に係る画像処理装置２２００には、取得部４０１、撮影条件取得部４０２、高画質化可否判定部４０３、高画質化部４０４、及び出力部４０５に加えて、解析部２２０８が設けられている。なお、画像処理装置２２００は、これら構成要素のうちの一部が設けられた複数の装置で構成されてもよい。ここで、取得部４０１、撮影条件取得部４０２、高画質化可否判定部４０３、高画質化部４０４、及び出力部４０５は、第１の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。

解析部２２０８は、高画質化部４０４が生成した高画質画像に対して所定の画像解析処理を適用する。画像解析処理は、例えば、眼科分野では、ＯＣＴにより取得された画像に対する、網膜層のセグメンテーション、層厚計測、乳頭三次元形状解析、篩状板解析、ＯＣＴＡ画像の血管密度計測、及び角膜形状解析等の既存の任意の画像解析処理を含む。また、画像解析処理は眼科分野の解析処理に限られず、例えば、拡散テンソル解析やＶＢＬ（Ｖｏｘｅｌ－ｂａｓｅｄＭｏｒｐｈｏｍｅｔｒｙ）解析等の放射線分野における既存の任意の解析処理も含む。

出力部４０５は、高画質化部４０４によって生成された高画質画像を表示部２０に表示させるとともに、解析部２２０８による画像解析処理の解析結果を表示させることができる。なお、出力部４０５は解析部２２０８による画像解析結果のみを表示部２０に表示させてもよいし、当該画像解析結果を撮影装置１０や画像管理システム、その他の装置等に出力してもよい。なお、解析結果の表示形態は、解析部２２０８で行った画像解析処理に応じて任意であってよく、例えば、画像、数値又は文字として表示されてもよい。

以下、図２３を参照して、本実施形態に係る一連の画像処理について、ＯＣＴＡのＥｎ－Ｆａｃｅ画像を例として説明する。図２３は、本実施形態に係る一連の画像処理のフロー図である。なお、本実施形態に係るステップＳ２３１０～ステップＳ２３４０の処理は、第１の実施形態におけるステップＳ５１０～ステップＳ５４０での処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ２３２０の処理の後に、ステップＳ２３３０の処理を省き、処理をステップＳ２３４０に移行してよい。

ステップＳ２３４０において、高画質化部４０４はＯＣＴＡのＥｎ－Ｆａｃｅ画像の高画質化を行い、処理はステップＳ２３５０に移行する。ステップＳ２３５０で、解析部２２０８が、ステップＳ２３４０において生成された高画質画像を画像解析する。高画質化したＯＣＴＡのＥｎ－Ｆａｃｅ画像における画像解析としては、任意の２値化処理を適用することで、画像から血管相当の箇所（血管領域）を検出することが出来る。検出した血管相当の箇所が画像に対して占める割合を求めることで面積密度を解析することが出来る。また、２値化処理した血管相当の箇所を細線化することで、線幅１画素の画像とし、太さに依存しない血管が占める割合（スケルトン密度ともいう）を求めることも出来る。これらの画像を用いて、無血管領域（ＦＡＺ）の面積や形状（円形度など）を解析するようにしてもよい。解析の方法として、画像全体から上述した数値を計算するようにしてもよいし、不図示のユーザーインターフェースを用いて、検者（ユーザー）の指示に基づいて、指定された関心領域（ＲＯＩ）に対して数値を計算するようにしてもよい。ＲＯＩの設定は必ずしも検者に指定されるだけではなく、自動的に所定の領域が指定されるものであってもよい。ここで、上述した各種パラメータは、血管に関する解析結果の一例であって、血管に関するパラメータであれば、何でも良い。なお、解析部２２０８は複数の画像解析処理を行ってもよい。すなわち、ここではＯＣＴＡのＥｎ－Ｆａｃｅ画像に関して解析する例を示したが、これだけではなく、同時にＯＣＴにより取得された画像に対する、網膜層のセグメンテーション、層厚計測、乳頭三次元形状解析、篩状板解析などを行ってもよい。これに関連して、解析部２２０８は、任意の入力装置を介した検者からの指示に応じて、複数の画像解析処理のうちの一部又は全部を行ってもよい。

ステップＳ２３６０では、出力部４０５が、高画質化部４０４によって生成された高画質画像及び解析部２２０８による解析結果を表示部２０に表示させる。なお、出力部４０５は高画質画像及び解析結果を別々の表示部や装置に出力してもよい。また、出力部４０５は、解析結果のみを表示部２０に表示させてもよい。さらに、解析部２２０８が複数の解析結果を出力する場合には、出力部４０５は、複数の解析結果の一部又は全部を表示部２０やその他の装置に出力してもよい。例えば、ＯＣＴＡのＥｎ－Ｆａｃｅ画像における血管に関する解析結果を２次元マップとして表示部２０に表示させてもよい。また、ＯＣＴＡのＥｎ－Ｆａｃｅ画像における血管に関する解析結果を示す値をＯＣＴＡのＥｎ－Ｆａｃｅ画像に重畳して表示部２０に表示させてもよい。

上記のように、本実施形態に係る画像処理装置２２００は、高画質画像を画像解析する解析部２２０８を更に備え、出力部４０５は解析部２２０８による解析結果を表示部２０に表示させる。このように、本実施形態に係る画像処理装置２２００では、画像解析に高画質画像を用いるため、解析の精度を向上させることができる。

また、出力部４０５は、第１の実施形態と同様に、生成された高画質画像を撮影装置１０や画像処理装置２２００に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第１の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やＭＡＰ推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。

＜第１８の実施形態＞
次に、図４を参照して、第１８の実施形態に係る画像処理装置について説明する。本実施形態では、学習時の画像にノイズを付加しノイズ成分を学習することで高画質化部が高画質画像を生成する例について説明をする。

本実施形態に係る取得部４０１は、撮影装置１０や他の装置から、処理対象である入力データとして画像を取得する。本実施形態に係る高画質化部におけるＣＮＮの構成例として、図２４を用いて説明をする。図２４は、高画質化部４０４における機械学習モデル構成の一例を示している。図２４で示す構成は、入力値群を加工して出力する処理を担う、複数の層群によって構成される。なお、前記構成に含まれる層の種類としては、図２４に示すように、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、ダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）層、アップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）層、合成（Ｍｅｒｇｅｒ）層がある。畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、前記フィルタのカーネルサイズの次元数も変更してもよい。ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理である。具体的には、例えば、ＭａｘＰｏｏｌｉｎｇ処理がある。アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理である。具体的には、例えば、線形補間処理がある。合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。このような構成では、入力された画像Ｉｍ２４１０を構成する画素値群が畳み込み処理ブロックを経て出力された値群と、入力された画像Ｉｍ２４１０を構成する画素値群が、合成層で合成される。その後、合成された画素値群は最後の畳み込み層で高画質画像Ｉｍ２４２０に成形される。なお、図示はしないが、ＣＮＮの構成の変更例として、例えば、畳み込み層の後にバッチ正規化（ＢａｔｃｈＮｏｒｍａｌｉｚａｔｉｏｎ）層や、正規化線形関数（ＲｅｃｔｉｆｉｅｒＬｉｎｅａｒＵｎｉｔ）を用いた活性化層を組み込む等をしても良い。

本実施形態の高画質化エンジンは、撮影装置１０や他の装置から得た画像に第一のノイズ成分を付加した低画質画像を入力し、出力データとしては、撮影装置１０や他の装置から得た画像に第二のノイズ成分を付加した画像を高画質画像としてトレーニングしている。すなわち、本実施形態の学習時の教師画像は、低画質画像と高画質画像とが共通の画像を用いており、それぞれの画像におけるノイズ成分が異なるものとなる。画像としては同じものを用いているため、ペア画像とする際の位置合わせは不要である。

ノイズ成分としては、ガウシアンノイズ、対象画像特有のノイズをモデル化したもの等をノイズとして付加する。ただし、第一と第二のノイズはそれぞれ異なるノイズとする。異なるノイズとは、ノイズを付加する空間的な場所（画素の位置）が異なる、あるいはノイズの値が異なるなどを意味する。対象画像特有のノイズとしては、例えばＯＣＴの場合、模型眼や被検眼を置かない状態で撮影したデータを基にノイズを推定し、それらをノイズモデルとして使用することが出来る。ＯＣＴＡの場合では、無血管領域（ＦＡＺ）の範囲に現れるノイズや、血液の流れを模式的に再現した模型眼を撮影した画像に現れるノイズを基に、ノイズモデルとして使用することが出来る。

ガウシアンノイズの場合は、ノイズの大きさとして標準偏差、あるいは分散値を定義し、それらの数値に基づいて画像にランダムにノイズを与える。ランダムノイズを与えた結果として、全体としての平均値は変わらないようにしてもよい。すなわち、１画像の各画素に付加されるノイズの平均値は０となるようにする。ここで、平均値は０となるようにする必要はなく、入力データと出力データとに対して互いに異なるパターンのノイズが付加できればよい。また、入力データと出力データとの両方にノイズを付加する必要はなく、いずれか一方にノイズを付加してもよい。ここで、ノイズを付加しない場合、例えば、高画質化後の画像では血管の偽像が生じる場合があったが、これは、高画質化前後の画像の差異が比較的大きい場合に生じると考えることも可能である。このため、高画質化前後の画像の差異が低減されるようにしてもよい。このとき、学習時において、低画質画像と高画質画像とに対して異なるパターンのノイズを付加して得た２つの画像をペア画像としてもよいし、また、高画質化画像に対して異なるパターンのノイズを付加して得た２つの画像をペア画像としてもよい。

出力部４０５は、高画質化部４０４が生成した高画質画像を表示部２０に表示させる。なお、出力部４０５は、高画質画像とともに、入力画像を表示部２０に表示させてもよい。

なお、本実施形態では、撮影装置１０や他の装置から入手した低画質画像に第一のノイズ成分と第一のノイズ成分とは異なる第二のノイズ成分を付加した画像を用いて高画質画像を生成したが、これらの処理を行う構成はこれに限られない。例えば、ノイズを付加する画像は、第一の実施形態で示した重ね合わせ処理をした高画質画像に対して第一および第二のノイズ成分を付加するようにしてもよい。すなわち、重ね合わせ処理画像に第一のノイズ成分を付加した画像を低画質画像、重ね合わせ処理画像に第二のノイズ成分を付加した画像を高画質画像として学習する構成としてもよい。

さらには、本実施形態では、第一と第二のノイズ成分を用いて学習する例について説明したがこれに限らない。例えば、低画質画像とする方にのみ第一のノイズ成分を付加し、高画質画像とする方にはノイズ成分を付加せずに学習を行う構成としてもよい。その際の画像としては、撮影装置１０や他の装置から入手した画像でも良いし、その画像を重ね合わせ処理した画像を対象とするようにしてもよい。

なお、本実施形態において、画像の撮影条件については明記しなかったが、様々な撮影範囲とスキャン数の異なる画像、異なる撮影部位や異なる深度の正面画像などを用いて学習をしておく。

上記では、撮影装置１０や他の装置から入手した画像、その画像にノイズを付加したノイズ画像、重ね合わせ処理画像、重ね合わせ処理画像にノイズを付加した画像について説明をした。しかし、これらの組み合わせは上述したものに限らず、どのように低画質画像と高画質画像とを組み合わせてもよい。

＜第１９の実施形態＞
次に、図２５、２６を参照して、第１９の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が複数の高画質化エンジンを備え、入力画像に対して複数の高画質画像を生成する。そして、合成部２５０５が複数の高画質化エンジンから出力される複数の高画質画像を合成する例について説明をする。

本実施形態に係る取得部４０１は、撮影装置１０や他の装置から、処理対象である入力データとして画像を取得する。

本実施形態に係る高画質化部４０４には、第２の実施形態と同様に複数の高画質化エンジンが備えられている。ここで、複数の高画質化エンジンの各々は、それぞれ撮影部位、撮影画角、異なる深度の正面画像、ノイズ成分、及び画像の解像度のうちの少なくとも一つについての異なる学習データを用いて学習を行ったものである。高画質化部４０４は、入力画像の撮影部位、撮影画角、異なる深度の正面画像、ノイズ成分、及び画像の解像度のうちの少なくとも一つに応じた高画質化エンジンを複数用いて、高画質画像を生成する。

図２６は、本実施形態に係る一連の画像処理のフロー図である。なお、本実施形態に係るステップＳ２６１０及びステップＳ２６２０の処理は、第１の実施形態におけるステップＳ５１０及びステップＳ５２０での処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ２６２０の処理の後に、ステップＳ２６３０の処理を省き、処理をステップＳ２６４０に移行してよい。

ステップＳ２６２０において、第１の実施形態と同様に、撮影条件取得部４０２が入力画像の撮影条件群を取得したら、処理はステップＳ２６３０に移行する。ステップＳ２６３０では、高画質化可否判定部４０３が、第２の実施形態と同様に、取得された撮影条件群を用いて、高画質化部４０４に備える高画質化エンジンのいずれかが入力画像を対処可能であるか否かを判定する。

高画質化可否判定部４０３が、高画質化エンジン群のいずれも入力画像を対処不可能であると判定した場合には、処理はステップＳ２６６０に移行する。一方で、高画質化可否判定部４０３が、高画質化エンジン群のいずれかが入力画像を対処可能であると判定した場合には、処理はステップＳ２６４０に移行する。なお、画像処理装置４００の設定や実装形態によっては、第１の実施形態と同様に、高画質化エンジンによって一部の撮影条件が対処不可能であると判定されたとしても、ステップＳ２６４０を実施してもよい。

ステップＳ２６４０においては、高画質化部４０４が、高画質化エンジン群のそれぞれにステップＳ２６１０において取得した入力画像を入力し、高画質画像群を生成する。

ステップＳ２６５０では、合成部２４０５が、ステップＳ２６４０において生成された高画質画像群のうちいくつかの高画質な画像を合成する。具体的には、例えば、第１の実施形態で示したように撮影装置１０から取得した低画質画像と、低画質画像を複数回撮影することにより取得した画像群に対して加算平均等の重ね合わせ処理をして得た高画質画像とのペア画像を用いて学習した第一の高画質化エンジンと、第１８の実施形態で示したような画像にノイズを付加したペア画像を用いて学習した第二の高画質化エンジンとの２つの高画質画像の結果を合成する。合成方法としては、加算平均や重み付き加算平均などを用いて合成することが出来る。

ステップＳ２６６０においては、出力部４０５が、ステップＳ２６５０において合成された画像を表示部２０に表示させたり、他の装置に出力したりする。ただし、ステップＳ２６３０において、入力画像が処理不可能であると判定されている場合には、出力部４０５は、入力画像を出力画像として出力する。なお、出力部４０５は、検者によって入力画像が指示された場合や、入力画像が処理不可能であった場合には、表示部２０に出力画像が入力画像と同じであることを表示させてもよい。

＜第２０の実施形態＞
次に、図４を参照して、第２０の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が第一の高画質化エンジンの出力結果を用いて第二の高画質化エンジンが高画質化画像を生成する例について説明をする。

本実施形態に係る高画質化部４０４には、第１の実施形態と同様の、高画質化エンジンが複数備えられている。本実施形態の高画質化部は、撮影装置１０や他の装置から入力データとして取得した低画質画像と、複数の低画質画像から生成された中画質画像を出力データとして学習した第一の高画質化エンジンを備える。さらに、第一の高画質化エンジンから出力された画像と、中画質画像よりも高画質な画像を出力データとして学習した第二の高画質化エンジンを備える。なお、中画質画像に関しては、第１４の実施形態と同様であるため、説明を省略する。

次に、図５を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップＳ５１０～ステップＳ５３０の処理は、第１の実施形態におけるこれらの処理と同様であるため、説明を省略する。

ステップＳ５４０においては、高画質化部４０４が、高画質化エンジンを用いて、入力画像を高画質化し、入力画像よりも画像診断に適した高画質画像を生成する。具体的には、高画質化部４０４は、入力画像を第一の高画質化エンジンに入力し、高画質化された第一の高画質画像を生成させる。さらに、第一の高画質画像を第二の高画質化エンジンに入力し、第二の高画質化画像を得る。高画質化エンジンは、教師データを用いて機械学習を行った機械学習モデルに基づいて、入力画像を用いて重ね合わせ処理を行ったような高画質画像を生成する。このため、高画質化エンジンは、入力画像よりも、ノイズ低減されたり、コントラスト強調されたりした高画質画像を生成することができる。

なお、本実施形態では、撮影装置１０や他の装置から入手した低画質画像と中画質画像とをペアで学習した第一の高画質化エンジンと第一の高画質画像と高画質画像とをペアで学習した第二の高画質エンジンを用いて高画質画像を生成したが、これらの処理を行う構成はこれに限られない。例えば、第一の高画質化エンジンで学習する画像のペアは、第１８の実施形態で説明をしたノイズを学習するエンジンとし、第二の高画質化エンジンは第一の高画質画像と高画質画像とをペアで学習するようにしてもよい。逆の構成として、低画質画像と中画質画像とをペアで学習した第一の高画質化エンジンと、第二の高画質化エンジンは第一の高画質画像に対してノイズを付加した画像を学習したエンジンとしてもよい。

さらに、第一の高画質化エンジンと第二の高画質化エンジン共に、第１８の実施形態で説明をしたノイズを学習するエンジンとしてもよい。この場合、例えば、第一の高画質化エンジンは、重ね合わせ処理画像により生成した高画質画像に第一および第二のノイズを付加した画像をペアで学習し、第二の高画質化エンジンは、第一の高画質化エンジンにより生成された第一の高画質化画像に対して第一および第二のノイズを付加した画像をペアで学習する。なお、本実施形態では、二つの高画質化エンジンについて説明を行ったが、これに限らず、第三、第四と、さらに連結して処理をする構成としてもよい。学習に用いる画像をきれいにしていくことで、より滑らかでシャープな画像を生成しやすいネットワークが構成される。

＜第２１の実施形態＞
次に、図４及び２７を参照して、第２１の実施形態に係る画像処理装置について説明する。第１の実施形態では、高画質化部４０４は、一つの高画質化エンジンを備えていた。これに対して、本実施形態では、高画質化部が、異なる教師データを用いて機械学習を行った複数の高画質化エンジンを備え、入力画像に対して複数の高画質画像を生成する。

特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第２の実施形態に係る画像処理装置４００と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第１、第２の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第１、第２の実施形態に係る画像処理装置の構成と同様であるため、図４に示す構成について同一の参照符号を用いて示し、説明を省略する。

本実施形態に係る高画質化部４０４には、それぞれ異なる教師データを用いて機械学習が行われた二つ以上の高画質化エンジンが備えられている。ここで、本実施形態に係る教師データ群の作成方法について説明する。まず、様々な撮影範囲とスキャン数の異なる画像で撮影された、入力データとしての元画像と出力データとしての重ね合わせ画像のペア群を用意する。ＯＣＴやＯＣＴＡを例に説明すると、例えば、３×３ｍｍの範囲を３００本のＡスキャンと３００枚のＢスキャンで撮影した第一の画像群のペアと、１０×１０ｍｍの範囲を５００本のＡスキャンと５００枚のＢスキャンで撮影した第二の画像群のペアとする。この時、第一の画像群のペアと第二の画像群のペアとでは、スキャン密度が２倍異なる。そのため、これらの画像群は別としてグルーピングしておく。そして、６×６ｍｍの範囲を６００本のＡスキャンと６００枚のＢスキャンで撮影した画像群がある場合には、第一の画像群と同一のグループとする。すなわち、ここではスキャン密度が同じか、ほぼ同じ（１割程度の誤差）の画像群を同一のグループでグルーピングをする。

次に、スキャン密度毎にペア群をグルーピングすることで、教師データ群を作成する。例えば、第一のスキャン密度で撮影して取得されたペア群で構成される第一の教師データ、第二のスキャン密度で撮影して取得されたペア群で構成される第二の教師データというように、教師データ群を作成する。

その後、各教師データを用いて別々の高画質化エンジンに機械学習を行わせる。例えば、第一の教師データでトレーニングされた機械学習モデルに対応する第一の高画質化エンジン、第二の教師データでトレーニングされた機械学習モデルに対応する第二の高画質化エンジンというように高画質化エンジン群を用意する。

このような高画質化エンジンは、それぞれ対応する機械学習モデルのトレーニングに用いた教師データが異なるため、高画質化エンジンに入力される画像の撮影条件によって、入力画像を高画質化できる程度が異なる。具体的には、第一の高画質化エンジンは、第一のスキャン密度で取得された入力画像に対しては高画質化の程度が高く、第二のスキャン密度で取得された画像に対しては高画質化の程度が低い。同様に、第二の高画質化エンジンは、第二のスキャン密度で取得された入力画像に対しては高画質化の程度が高く、第一のスキャン密度で取得された画像に対しては高画質化の程度が低い。

一方、学習時に様々な撮影範囲とスキャン密度の異なる画像を教師データとして十分の数を集められない場合がある。その場合、それらの画像群に対しては、第１８の実施形態で示したように、ノイズ成分を学習した高画質化エンジンを用意する。

ノイズ成分を学習した高画質化エンジンは、撮影時のスキャン密度の影響を受けにくいため、学習していないスキャン密度の画像が入力された際には、こちらを適用する。

教師データのそれぞれがスキャン密度によってグルーピングされたペア群で構成されることにより、該ペア群を構成する画像群の画質傾向が似る。このため、高画質化エンジンは対応するスキャン密度であれば、第一の実施形態に係る高画像化エンジンよりも効果的に高画質化を行うことができる。なお、教師データのペアをグルーピングするための撮影条件は、スキャン密度に限られず、撮影部位であったり、正面画像においては異なる深度の画像であったり、これらのうちの二つ以上の組み合わせであったりしてもよい。

以下、図２７を参照して、本実施形態に係る一連の画像処理について説明する。図２７は、本実施形態に係る一連の画像処理のフロー図である。なお、ステップＳ２７１０及びステップＳ２７２０の処理は、第１の実施形態に係るステップＳ５１０及びステップＳ５２０と同様であるため、説明を省略する。

ステップＳ２７２０において入力画像の撮影条件が取得されると、処理はステップＳ２７３０に移行する。ステップＳ２７３０においては、高画質化可否判定部４０３が、ステップＳ２７２０において取得した撮影条件群を用いて、高画質化部４０４が備える高画質化エンジン群のいずれかが、入力画像を対処可能であるか否かを判定する。

高画質化可否判定部４０３が、撮影条件外であると判定した場合には、処理はステップＳ２７７０に移行する。一方で、高画質化可否判定部４０３が、撮影条件内であると判定した場合には、処理はステップＳ２７４０に移行する。

ステップＳ２７４０においては、高画質化部４０４が、ステップＳ２７２０で取得した入力画像の撮影条件及び高画質化エンジン群の教師データの情報に基づいて、高画質化エンジン群から高画質化処理を行う高画質化エンジンを選択する。具体的には、例えば、ステップＳ２７２０において取得した撮影条件群のうちのスキャン密度に対して、スキャン密度に関する教師データの情報を有し、高画質化の程度が高い高画質化エンジンを選択する。上述の例では、スキャン密度が第一のスキャン密度である場合には、高画質化部４０４は第一の高画質化エンジンを選択する。

一方、ステップＳ２７７０においては、高画質化部４０４は、ノイズ成分を学習した高画質化エンジンを選択する。

ステップＳ２７５０では、高画質化部４０４が、ステップＳ２７４０、ステップＳ２７７０において選択した高画質化エンジンを用いて、入力画像を高画質化した高画質画像を生成する。その後、ステップＳ２７６０において、出力部４０５は、ステップＳ２７５０において高画質画像を出力して、表示部２０に表示させる。なお、出力部４０５は、高画質画像を表示部２０に表示させる際、高画質化部４０４によって選択された高画質化エンジンを用いて生成された高画質画像であることを表示させてもよい。

上記のように、本実施形態に係る高画質化部４０４は、それぞれ異なる学習データを用いて学習を行った複数の高画質化エンジンを備える。ここで、複数の高画質化エンジンの各々は、それぞれ撮影部位、撮影画角、異なる深度の正面画像、及び画像の解像度のうちの少なくとも一つについての異なる学習データを用いて学習を行ったものである。さらに、正解データを十分に集められなかったデータについては、ノイズ成分を用いて学習を行ったものである。高画質化部４０４は、これらのうちの少なくとも一つに応じた高画質化エンジンを用いて、高画質画像を生成する。

＜第２２の実施形態＞
次に、図３０から３２を参照して、第２０の実施形態に係る画像処理装置について説明する。本実施形態では、広画角画像生成部が高画質化部によって生成された複数の高画質画像を用いて広画角画像を生成する。

図３１（ａ）は、本実施形態に係る一連の画像処理のフロー図である。ステップＳ３１１０において、取得部４０１は撮影装置１０や他の装置から入力データとして複数の画像（少なくとも２枚）を取得する。複数の画像は、同一の被写体（被検眼など）の異なる位置を撮影した画像であり、被写体に対して完全には重複せずに、画像の一部が重複する場所を撮影した画像とする。被検眼を撮影する場合を例に説明すると、撮影時に固視灯の位置を変更し、被検眼がその固視灯に注視することで、同一の被検眼において異なる場所を撮影した画像を取得することが出来る。なお、画像撮影時には、隣接する画像同士の重複領域が少なくとも２割程度が同じ場所となるように固視灯の位置を変更して撮影しておくことが望ましい。図３２（ａ）に、隣接する画像の一部が重複するように固視灯の位置を変更して撮影したＯＣＴＡのＥｎ－Ｆａｃｅ画像の例を示す。図３２（ａ）では、固視灯の位置を変更して異なる場所を５回撮影する場合の例を示している。なお、図３２には例として５枚の画像を示しているが、５枚に限らず２枚以上であればよい。

なお、本実施形態に係るステップＳ３１２０の処理は、第１の実施形態におけるステップＳ５２０での処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップＳ３１２０の処理の後に、ステップＳ３１３０の処理を省き、処理をステップＳ３１４０に移行してよい。

ステップＳ３１２０において、第１の実施形態と同様に、撮影条件取得部４０２が入力画像の撮影条件群を取得したら、処理はステップＳ３１３０に移行する。ステップＳ３１３０では、高画質化可否判定部４０３が、第１の実施形態と同様に、取得された撮影条件群を用いて、高画質化部４０４に備える高画質化エンジンが入力画像を対処可能であるか否かを判定する。

高画質化可否判定部４０３が、高画質化エンジンが複数の入力画像を対処不可能であると判定した場合には、処理はステップＳ３１６０に移行する。一方で、高画質化可否判定部４０３が、高画質化エンジンが複数の入力画像を対処可能であると判定した場合には、処理はステップＳ３１４０に移行する。なお、画像処理装置４００の設定や実装形態によっては、第１の実施形態と同様に、高画質化エンジンによって一部の撮影条件が対処不可能であると判定されたとしても、ステップＳ３１４０を実施してもよい。

ステップＳ３１４０においては、高画質化部４０４が、ステップＳ３１１０において取得した複数の入力画像に対して処理を実行し複数の高画質画像を生成する。

ステップＳ３１５０では、広画角画像生成部３００５が、ステップＳ３１４０において生成された高画質画像群のうちいくつかの高画質な画像を合成する。具体的には、ＯＣＴＡのＥｎ－Ｆａｃｅ画像を例に説明をする。複数の画像は完全には重複しないが、隣接する画像同士は一部の領域が互いに重複するように撮影されたＯＣＴＡのＥｎ－Ｆａｃｅ画像である。そのため、広画角画像生成部３００５は複数のＯＣＴＡのＥｎ－Ｆａｃｅ画像から重複した領域を検出し、重複領域を用いて位置合わせを実施する。位置合わせパラメータに基づいてＯＣＴＡのＥｎ－Ｆａｃｅ画像を変形して画像を合成することで、１枚のＯＣＴＡのＥｎ－Ｆａｃｅ画像よりも広範囲なＯＣＴＡのＥｎ－Ｆａｃｅ画像を生成することが出来る。この時、入力となる複数のＯＣＴＡのＥｎ－Ｆａｃｅ画像はステップＳ３１４０において高画質化されているため、ステップＳ３１５０において出力される広画角なＯＣＴＡのＥｎ－Ｆａｃｅ画像は既に高画質化されている。図３２（ｂ）に広画角画像生成部３００５によって生成される広画角なＯＣＴＡのＥｎ－Ｆａｃｅ画像の例を示す。図３２（ｂ）は図３２（ａ）で示した５枚の画像を位置合わせして生成した例である。図３２（ｃ）には、図３２（ａ）と図３２（ｂ）との位置の対応関係を示す。図３２（ｃ）に示すように、Ｉｍ３２１０を中心に、その周辺にＩｍ３２２０～３２５０が配置される。なお、ＯＣＴＡのＥｎ－Ｆａｃｅ画像は、３次元のモーションコントラストデータから異なる深度範囲を設定することで、複数のＯＣＴＡのＥｎ－Ｆａｃｅ画像を生成することが出来る。そのため、図３２には広画角の表層画像の例を示したが、これに限らない。例えば、図２９で示した表層のＯＣＴＡのＥｎ－Ｆａｃｅ画像（Ｉｍ２９１０）を用いて位置合わせをして、その他の深度範囲のＯＣＴＡのＥｎ－Ｆａｃｅ画像は、そこで求めたパラメータを用いて変形させるようにしてもよい。あるいは、位置合わせの入力画像をカラー画像とし、ＲＧＢ成分のＲＧ成分に表層のＯＣＴＡのＥｎ－Ｆａｃｅ、Ｂ成分に位置合わせの対象となるＯＣＴＡのＥｎ－Ｆａｃｅ画像とした合成カラー画像を生成する。そして、複数の深度範囲の層を１枚に合成した合成カラーＯＣＴＡのＥｎ－Ｆａｃｅ画像の位置合わせを実施してもよい。それにより、位置合わせ済みのカラーＯＣＴＡのＥｎ－Ｆａｃｅ画像からＢ成分のみを抽出すれば、対象となるＯＣＴＡのＥｎ－Ｆａｃｅ画像の位置合わせが済んだ広画角のＯＣＴＡのＥｎ－Ｆａｃｅ画像を得ることが出来る。なお、高画質化を行う対象として、２次元のＯＣＴＡのＥｎ－Ｆａｃｅ画像に限らず、３次元のＯＣＴ、３次元のモーションコントラストデータそのものでもよい。その場合、３次元データで位置合わせを行い、広範囲の３次元データを生成するようにしてもよい。広範囲の３次元データから任意の断面（ＸＹＺのどの面でも可能）や任意の深度範囲（Ｚ方向での範囲）を切り出すことで、高画質な広画角画像を生成することが出来る。

ステップＳ３１６０においては、出力部４０５が、ステップＳ３１５０において複数の画像から合成された画像を表示部２０に表示させたり、他の装置に出力したりする。ただし、ステップＳ３１３０において、入力画像が処理不可能であると判定されている場合には、出力部４０５は、入力画像を出力画像として出力する。なお、出力部４０５は、検者によって入力画像が指示された場合や、入力画像が処理不可能であった場合には、表示部２０に出力画像が入力画像と同じであることを表示させてもよい。

なお、本実施形態では、複数の入力画像からそれぞれ高画質画像を生成し、高画質画像を位置合わせすることで、最終的な一枚の高画質な広画角画像を生成したが、複数の入力画像から一枚の高画質画像を生成する方法はこれに限られない。例えば、図３１（ｂ）に示す本実施形態の高画質化処理の別例では、先に一枚の広画角画像を生成し、広画角画像に対して高画質化処理を実行して最終的に一枚の高画質な広画角画像を生成するようにしてもよい。

この処理に関して、図３１（ｂ）を用いて説明を行うが、図３１（ａ）と同様な処理の部分に関しては説明を省略する。

ステップＳ３１２１では、広画角画像生成部３００５が、ステップＳ３１１０において取得した複数の画像を合成する。広画角画像生成に関しては、ステップＳ３１５０での説明と同様であるが、入力画像が撮影装置１０や他の装置から取得した画像であり、高画質化される前の画像である点が異なる。

ステップＳ３１５１では、高画質化部４０４が、広画角画像生成部３００５が生成した高画質画像に対して処理を実行し一枚の高画質な広画角画像を生成する。

このような構成により、本実施形態に係る画像処理装置４００は、広画角な高画質画像を生成することができる。

上記第１～２２の実施形態に関しては、出力部４０５による表示部２０への高画質画像の表示は基本的に高画質化部４０４による高画質画像の生成や解析部２２０８による解析結果の出力に応じて自動で行われる。しかしながら、高画質画像の表示は、検者からの指示に応じてなされてもよい。例えば、出力部４０５は、高画質化部４０４によって生成された高画質画像と入力画像のうち、検者からの指示に応じて選択された画像を表示部２０に表示させてもよい。また、出力部４０５は、検者からの指示に応じて、表示部２０上の表示を撮影画像（入力画像）から高画質画像に切り替えてもよい。さらに、高画質化部４０４が、高画質化エンジンによる高画質化処理の開始（高画質化エンジンへの画像の入力）を検者からの指示に応じて実行し、出力部４０５が、高画質化部４０４によって生成された高画質画像を表示部２０に表示させてもよい。これに対し、撮影装置１０によって入力画像が撮影されると、高画質化エンジンが自動的に入力画像に基づいて高画質画像を生成し、出力部４０５が、検者からの指示に応じて高画質画像を表示部２０に表示させてもよい。なお、これらの処理は解析結果の出力についても同様に行うことができる。さらに、撮影箇所推定エンジンや画質評価エンジン、真贋評価エンジン、評価部による処理を検者からの指示に応じて開始するように、画像処理装置が構成されてもよい。なお、上記第１～２２の実施形態に関し、出力部４０５が高画質画像を表示部２０に表示させる表示態様は任意であってよい。例えば、出力部４０５は、入力画像と高画質画像を並べて表示させてもよいし、切り替えて表示させてもよい。また、出力部４０５は、入力画像や高画質画像を、撮影部位や撮影日時、撮影が行われた施設等に応じて順番に表示させてもよい。同様に、出力部４０５は高画質画像を用いた画像解析結果等を、高画質画像や高画質画像に対応する入力画像の任意の撮影条件に応じて順番に表示させてもよい。さらに、出力部４０５は高画質画像を用いた画像解析結果を、解析項目ごとに順番に表示させてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。以上、実施形態を参照して本発明について説明したが、本発明は上記実施形態に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施形態は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。

本発明の一実施態様に係る医用画像処理装置は、被検眼の深度範囲と交差する方向における検者からの指示に応じて決定された位置に対応するモーションコントラスト正面画像である第１の画像を取得する取得部と、被検眼の深度範囲と交差する方向における互いに異なる複数の位置に対応する複数のモーションコントラスト正面画像と、該複数モーションコントラスト正面画像よりも低いノイズと高いコントラストとのうちの少なくとも一つを有する複数の画像とを含む学習データを用いて学習して得た機械学習エンジンを含む高画質化エンジンに入力される入力データとして前記取得された第１の画像を用いることにより、前記取得された第１の画像よりも低いノイズと高いコントラストとのうちの少なくとも一つを有する第２の画像を生成する高画質化部と、を備える。

また、本発明の他の実施態様に係る医用画像処理方法は、被検眼の深度範囲と交差する方向における検者からの指示に応じて決定された位置に対応するモーションコントラスト正面画像である第１の画像を取得することと、被検眼の深度範囲と交差する方向における互いに異なる複数の位置に対応する複数モーションコントラスト正面画像と、該複数モーションコントラスト正面画像よりも低いノイズと高いコントラストとのうちの少なくとも一つを有する複数の画像とを含む学習データを用いて学習して得た機械学習エンジンを含む高画質化エンジンに入力される入力データとして前記取得された第１の画像を用いることにより、前記取得された第１の画像よりも低いノイズと高いコントラストとのうちの少なくとも一つを有する第２の画像を生成することと、を含む。

教師データのそれぞれが撮影部位によってグルーピングされたペア群で構成されることにより、該ペア群を構成する画像群の画質傾向が似る。このため、高画質化エンジンは対応する撮影部位であれば、第１の実施形態に係る高画質化エンジンよりも効果的に高画質化を行うことができる。なお、教師データのペアをグルーピングするための撮影条件は、撮影部位に限られず、撮影画角であったり、画像の解像度であったり、これらのうちの二つ以上の組み合わせであったりしてもよい。

教師データのそれぞれが撮影条件の組み合わせによってグルーピングされたペア群で構成されることにより、該ペア群を構成する画像群の画質傾向が似る。このため、高画質化エンジンは対応する撮影条件の組み合わせであれば、第１の実施形態に係る高画質化エンジンよりも効果的に高画質化を行うことができる。なお、教師データのペアをグルーピングするための撮影条件の組み合わせは、任意であってよく、例えば、撮影部位、撮影画角、及び画像の解像度のうちの二つ以上の組み合わせであってよい。また、教師データのグルーピングを、第２の実施形態と同様に、一つの撮影条件に基づいて行ってもよい。

高画質化可否判定部４０３が、高画質化エンジン群のいずれも入力画像を対処不可能であると判定した場合には、処理はステップＳ１６６０に移行する。一方で、高画質化可否判定部４０３が、高画質化エンジン群のいずれかが入力画像を対処可能であると判定した場合には、処理はステップＳ１６４０に移行する。なお、画像処理装置１５００の設定や実装形態によっては、第１の実施形態と同様に、高画質化エンジンによって一部の撮影条件が対処不可能であると判定されたとしても、ステップＳ１６４０を実施してもよい。

ステップＳ１６３０において、第７の実施形態と同様に、高画質化可否判定部４０３が、高画質化エンジン群のいずれかが入力画像を対処可能であると判定した場合には、処理はステップＳ１６４０に移行する。なお、画像処理装置１５００の設定や実装形態によっては、第１の実施形態と同様に、高画質化エンジンによって一部の撮影条件が対処不可能であると判定されたとしても、ステップＳ１６４０を実施してもよい。

なお、本実施形態では、一つの高画質化エンジンにより、第１の実施形態等による高画質化処理と高画像サイズ化の処理を行った高画質画像を生成したが、これらの処理を行う構成はこれに限られない。例えば、高画質化部は、第１の実施形態等による高画質化処理を行う高画質化エンジン及び高画像サイズ化処理を行う別の高画質化エンジンを備えてもよい。

なお、本実施形態では、一つの高画質化エンジンにより、第１の実施形態等による高画質化処理と高分解能化の処理を行った高画質画像を生成したが、これらの処理を行う構成はこれに限られない。例えば、高画質化部は、第１の実施形態等による高画質化処理を行う高画質化エンジン及び高空間分解能化処理を行う別の高画質化エンジンを備えてもよい。

この場合には、第１の実施形態等に係る高画質化処理を行う高画質化エンジンは第１の実施形態等に係る高画質化エンジンと同様に学習を行った機械学習モデルを用いることができる。また、高空間分解能化処理を行う高画質化エンジンの教師データの入力データとしては、第１の実施形態等に係る高画質化エンジンが生成した高画質画像を用いる。また、当該高画質化エンジンの教師データの出力データとしては、高性能な撮影装置で取得された画像について第１の実施形態等に係る高画質化エンジンが生成した高画質画像を用いる。これにより、高空間分解能化処理を行う高画質化エンジンは、第１の実施形態等に係る高画質化処理を行った高画質画像について高空間分解能化した最終的な高画質画像を生成することができる。

ステップＳ２６５０では、合成部２５０５が、ステップＳ２６４０において生成された高画質画像群のうちいくつかの高画質な画像を合成する。具体的には、例えば、第１の実施形態で示したように撮影装置１０から取得した低画質画像と、低画質画像を複数回撮影することにより取得した画像群に対して加算平均等の重ね合わせ処理をして得た高画質画像とのペア画像を用いて学習した第一の高画質化エンジンと、第１８の実施形態で示したような画像にノイズを付加したペア画像を用いて学習した第二の高画質化エンジンとの２つの高画質画像の結果を合成する。合成方法としては、加算平均や重み付き加算平均などを用いて合成することが出来る。

なお、本実施形態では、撮影装置１０や他の装置から入手した低画質画像と中画質画像とをペアで学習した第一の高画質化エンジンと第一の高画質画像と高画質画像とをペアで学習した第二の高画質化エンジンを用いて高画質画像を生成したが、これらの処理を行う構成はこれに限られない。例えば、第一の高画質化エンジンで学習する画像のペアは、第１８の実施形態で説明をしたノイズを学習するエンジンとし、第二の高画質化エンジンは第一の高画質画像と高画質画像とをペアで学習するようにしてもよい。逆の構成として、低画質画像と中画質画像とをペアで学習した第一の高画質化エンジンと、第二の高画質化エンジンは第一の高画質画像に対してノイズを付加した画像を学習したエンジンとしてもよい。

教師データのそれぞれがスキャン密度によってグルーピングされたペア群で構成されることにより、該ペア群を構成する画像群の画質傾向が似る。このため、高画質化エンジンは対応するスキャン密度であれば、第一の実施形態に係る高画質化エンジンよりも効果的に高画質化を行うことができる。なお、教師データのペアをグルーピングするための撮影条件は、スキャン密度に限られず、撮影部位であったり、正面画像においては異なる深度の画像であったり、これらのうちの二つ以上の組み合わせであったりしてもよい。

Claims

被検眼のモーションコントラスト正面画像である第１の画像を取得する取得部と、
機械学習エンジンを含む高画質化エンジンを用いて、前記第１の画像から、該第１の画像と比べて高画質化された第２の画像を生成する高画質化部と、
を備える、医用画像処理装置。
前記高画質化エンジンは、重ね合わせ処理により得られた画像を含む学習データを用いて得た機械学習エンジンを含む、請求項１に記載の医用画像処理装置。
前記高画質化エンジンは、前記第１の画像のＯＣＴＡ撮影に用いられるＯＣＴ撮影装置よりも高性能なＯＣＴ撮影装置によってＯＣＴＡ撮影されて得た画像、又は前記第１の画像のＯＣＴＡ撮影工程よりも工数の多いＯＣＴＡ撮影工程で取得されて得た画像を含む学習データを用いて得た機械学習エンジンを含む、請求項１に記載の医用画像処理装置。
前記高画質化部は、前記第１の画像を複数の二次元の画像に分割して前記高画質化エンジンに入力し、前記高画質化エンジンからの複数の出力画像を統合することで、前記第２の画像を生成する、請求項１乃至３のいずれか一項に記載の医用画像処理装置。
前記高画質化エンジンは、互いの位置関係が対応するペア画像を含む学習データを用いて得た機械学習エンジンを含み、
前記高画質化部は、前記ペア画像の画像サイズに対応する画像サイズで、前記第１の画像を前記複数の二次元の画像に分割して前記高画質化エンジンに入力する、請求項４に記載の医用画像処理装置。
前記高画質化エンジンは、画像と該画像の外部の周辺とを含む領域に対して、隣接する部分領域の一部が互いに重複するように設定された複数の部分領域の画像を含む学習データを用いて得た機械学習エンジンを含む、請求項４又は５に記載の医用画像処理装置。
前記高画質化エンジンは、ノイズを付加して得た画像を含む学習データを用いて得た機械学習エンジンを含む、請求項１乃至６のいずれか一項に記載の医用画像処理装置。
前記高画質化エンジンは、互いに異なるパターンのノイズを付加して得たペア画像を含む学習データを用いて得た機械学習エンジンを含む、請求項１乃至６のいずれか一項に記載の医用画像処理装置。
前記高画質化エンジンは、重ね合わせ処理により得られた画像に対して、互いに異なるパターンのノイズを付加して得たペア画像を含む学習データを用いて得た機械学習エンジンを含む、請求項１乃至８のいずれか一項に記載の医用画像処理装置。
隣接するモーションコントラスト正面画像の一部の領域が互いに重複するように前記被検眼の異なる位置をＯＣＴＡ撮影して得た複数の前記第１の画像であって、該複数の第１の画像から得た複数の前記第２の画像を用いて広画角画像を生成する広画角画像生成部を更に備える、請求項１乃至９のいずれか一項に記載の医用画像処理装置。
前記高画質化エンジンは、前記被検眼の異なる深度範囲に対応する複数のモーションコントラスト正面画像を含む学習データを用いて得た機械学習エンジンを含み、
前記取得部は、前記異なる深度範囲を含む長い深度範囲のうち一部の深度範囲に対応するモーションコントラスト正面画像を前記第１の画像として取得する、請求項１乃至１０のいずれか一項に記載の医用画像処理装置。
前記第１の画像に対して、前記高画質化エンジンを用いて前記第２の画像を生成できるか否かを判定する判定部を更に備え、
前記判定部は、前記第１の画像の撮影部位、撮影方式、撮影画角、及び画像サイズの少なくとも一つに基づいて前記判定を行う、請求項１乃至１１のいずれか一項に記載の医用画像処理装置。
前記高画質化部は、それぞれ異なる学習データを用いて学習を行った複数の高画質化エンジンを備え、
前記複数の高画質化エンジンの各々は、それぞれ撮影部位、撮影画角、及び画像の解像度のうちの少なくとも一つについての異なる学習データを用いて学習を行っており、
前記高画質化部は、前記第１の画像の撮影部位、撮影画角、及び画像の解像度のうちの少なくとも一つに応じた前記高画質化エンジンを用いて、前記第２の画像を生成する、請求項１乃至１２のいずれか一項に記載の医用画像処理装置。
前記高画質化部は、それぞれ異なる学習データを用いて学習を行った複数の高画質化エンジンを備え、
前記高画質化部は、前記複数の高画質化エンジンのうち検者の指示に応じた前記高画質化エンジンを用いて、前記第２の画像を生成する、請求項１乃至１２のいずれか一項に記載の医用画像処理装置。
前記高画質化部は、それぞれ異なる学習データを用いて学習を行った複数の高画質化エンジンを備え、
前記高画質化部は、前記複数の高画質化エンジンを用いて、前記第１の画像から複数の前記第２の画像を生成し、
該医用画像処理装置は、検者の指示に応じて、前記複数の第２の画像のうち少なくとも一つの画像を出力する、請求項１乃至１２のいずれか一項に記載の医用画像処理装置。
前記第２の画像の画質を評価する評価部を更に備え、
前記高画質化部は、それぞれ異なる学習データを用いて学習を行った複数の高画質化エンジンを備え、
前記高画質化部は、前記複数の高画質化エンジンを用いて、前記第１の画像から複数の前記第２の画像を生成し、
該医用画像処理装置は、前記評価部による評価結果に応じて、前記複数の第２の画像のうち少なくとも一つの画像を出力する、請求項１乃至１２のいずれか一項に記載の医用画像処理装置。
前記評価部は、所定の評価手法による評価値を学習データとした機械学習エンジンを含み、
該医用画像処理装置は、前記複数の第２の画像のうち、前記評価部による評価値が最も高い前記第２の画像を出力する、請求項１６に記載の医用画像処理装置。
前記高画質化部は、
前記第１の画像の画像サイズを、前記高画質化エンジンが対処可能な画像サイズに調整して高画質化エンジンに入力し、
前記高画質化エンジンからの出力画像を前記第１の画像の元の画像サイズに調整することで前記第２の画像を生成する、請求項１乃至１７のいずれか一項に記載の医用画像処理装置。
前記高画質化部は、
前記第１の画像の解像度が所定の解像度となるように、前記第１の画像の画像サイズを調整し、
前記画像サイズが調整された前記第１の画像について、調整された前記画像サイズが前記高画質化エンジンによって対処可能な画像サイズとなるように、パディングを行った画像を高画質化エンジンに入力し、
前記高画質化エンジンからの出力画像について、前記パディングを行った領域分だけトリミングを行い、
前記トリミングが行われた画像の画像サイズを、前記第１の画像の元の画像サイズに調整することで前記第２の画像を生成する、請求項１乃至１８のいずれか一項に記載の医用画像処理装置。
前記高画質化部は、
前記第１の画像を所定の画像サイズの複数の第３の画像に分割し、
前記複数の第３の画像を前記高画質化エンジンに入力して複数の第４の画像を生成し、前記複数の第４の画像を統合することで、前記第２の画像を生成する、請求項１乃至１９のいずれか一項に記載の医用画像処理装置。
前記高画質化部は、
複数の前記高画質化エンジンを含み、前記第１の画像を複数の二次元の画像に分割し、前記複数の高画質化エンジンの並列的に用いて、前記複数の二次元の画像から複数の第２の画像を生成し、
前記複数の第２の画像を統合することで、前記第２の画像を生成する、請求項１乃至２０のいずれか一項に記載の医用画像処理装置。
前記高画質化部は、前記第１の画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされるとともに、画像サイズの拡大及び空間分解能の向上のうちの少なくとも一つがなされた画像を前記第２の画像として生成する、請求項１乃至２１のいずれか一項に記載の医用画像処理装置。
前記第２の画像を表示部に表示する表示制御部を更に備える、請求項１乃至２２のいずれか一項に記載の医用画像処理装置。
前記表示制御部は、検者の指示に応じて前記第２の画像を前記表示部に表示させる、請求項２３に記載の医用画像処理装置。
前記表示制御部は、前記第２の画像とともに、前記第２の画像が前記高画質化エンジンにより生成された画像であることを示す表示を前記表示部に表示させる、請求項２３又は２４に記載の医用画像処理装置。
前記表示制御部は、前記第２の画像を前記表示部に表示させ、
該医用画像処理装置は、表示された前記第２の画像に対する検者からの入力に応じて前記第２の画像を出力する、請求項２３乃至２５のいずれか一項に記載の医用画像処理装置。
前記第２の画像を画像解析する解析部を更に備え、
前記表示制御部は、前記第２の画像における血管に関する解析結果を前記表示部に表示させる、請求項２３乃至２６のいずれか一項に記載の医用画像処理装置。
前記高画質化部は、複数の前記第１の画像から一つの前記第２の画像を生成する、請求項１乃至２７のいずれか一項に記載の医用画像処理装置。
前記第１の画像は、前記被検眼の複数のモーションコントラスト正面画像を用いて生成された１つのモーションコントラスト正面画像である、請求項１乃至２８のいずれか一項に記載の医用画像処理装置。
前記高画質化部は、複数の前記第２の画像を生成し、該複数の第２の画像を平均化する、請求項１乃至２９のいずれか一項に記載の医用画像処理装置。
前記取得部は、ＯＣＴ撮影装置から前記第１の画像を取得する、請求項１乃至３０のいずれか一項に記載の医用画像処理装置。
前記取得部は、ＯＣＴ撮影装置から前記被検眼の３次元のモーションコントラストデータを取得し、前記３次元のモーションコントラストデータについて前記被検眼の深さ方向における少なくとも一部の範囲のデータを用いて、前記モーションコントラスト正面画像である前記第１の画像を生成する、請求項１乃至３０のいずれか一項に記載の医用画像処理装置。
前記取得部は、画像管理システムから前記第１の画像を取得する、請求項１乃至３０のいずれか一項に記載の医用画像処理装置。
前記高画質化エンジンは、前記第２の画像を学習データとして用いない、請求項１乃至３３のいずれか一項に記載の医用画像処理装置。
被検眼のモーションコントラスト正面画像である第１の画像を取得することと、
機械学習エンジンを含む高画質化エンジンを用いて、前記第１の画像から、該第１の画像と比べて高画質化された第２の画像を生成することと、
を含む、医用画像処理方法。
プロセッサーによって実行されると、該プロセッサーに請求項３５に記載の医用画像処理方法の各工程を実行させる、プログラム。