以下、本発明を実施するための例示的な実施形態を、図面を参照して詳細に説明する。ただし、以下の実施形態で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。
<用語の説明>
まず、本明細書において用いられる用語について説明する。
本明細書におけるネットワークでは、各装置は有線又は無線の回線で接続されてよい。ここで、ネットワークにおける各装置を接続する回線は、例えば、専用回線、ローカルエリアネットワーク(以下、LANと表記)回線、無線LAN回線、インターネット回線、Wi-Fi(登録商標)、及びBluetooth(登録商標)等を含む。
医用画像処理装置は、相互に通信が可能な2以上の装置によって構成されてもよいし、単一の装置によって構成されてもよい。また、医用画像処理装置の各構成要素は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、当該各構成要素は、ASIC等の特定の機能を果たす回路等によって構成されてもよい。また、他の任意のハードウェアと任意のソフトウェアとの組み合わせにより構成されてもよい。
また、下記実施形態による医用画像処理装置又は医用画像処理方法によって処理される医用画像は、任意のモダリティ(撮影装置、撮影方法)を用いて取得された画像を含む。処理される医用画像は、任意の撮影装置等で取得された医用画像や下記実施形態による医用画像処理装置又は医用画像処理方法によって作成された画像を含むことができる。
さらに、処理される医用画像は、被検者の所定部位の画像であり、所定部位の画像は被検者の所定部位の少なくとも一部を含む。また、当該医用画像は、被検者の他の部位を含んでもよい。また、医用画像は、静止画像又は動画像であってよく、白黒画像又はカラー画像であってもよい。さらに医用画像は、所定部位の構造(形態)を表す画像でもよいし、その機能を表す画像でもよい。機能を表す画像は、例えば、OCTA画像、ドップラーOCT画像、fMRI画像、及び超音波ドップラー画像等の血流動態(血流量、血流速度等)を表す画像を含む。なお、被検者の所定部位は、撮影対象に応じて決定されてよく、人眼(被検眼)、脳、肺、腸、心臓、すい臓、腎臓、及び肝臓等の臓器、頭部、胸部、脚部、並びに腕部等の任意の部位を含む。
また、医用画像は、被検者の断層画像であってもよいし、正面画像であってもよい。正面画像は、例えば、眼底正面画像や、前眼部の正面画像、蛍光撮影された眼底画像、OCTで取得したデータ(3次元のOCTデータ)について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したEn-Face画像を含む。なお、En-Face画像は、3次元のOCTAデータ(3次元のモーションコントラストデータ)について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したOCTAのEn-Face画像(モーションコントラスト正面画像)であっても良い。
また、撮影装置とは、診断に用いられる画像を撮影するための装置である。撮影装置は、例えば、被検者の所定部位に光、X線等の放射線、電磁波、又は超音波等を照射することにより所定部位の画像を得る装置や、被写体から放出される放射線を検出することにより所定部位の画像を得る装置を含む。より具体的には、以下の実施形態に係る撮影装置は、少なくとも、X線撮影装置、CT装置、MRI装置、PET装置、SPECT装置、SLO装置、OCT装置、OCTA装置、眼底カメラ、及び内視鏡等を含む。
なお、OCT装置としては、タイムドメインOCT(TD-OCT)装置やフーリエドメインOCT(FD-OCT)装置を含んでよい。また、フーリエドメインOCT装置はスペクトラルドメインOCT(SD-OCT)装置や波長掃引型OCT(SS-OCT)装置を含んでよい。また、SLO装置やOCT装置として、波面補償光学系を用いた波面補償SLO(AO-SLO)装置や波面補償OCT(AO-OCT)装置等を含んでよい。
画像管理システムは、撮影装置によって撮影された画像や画像処理された画像を受信して保存する装置及びシステムである。また、画像管理システムは、接続された装置の要求に応じて画像を送信したり、保存された画像に対して画像処理を行ったり、画像処理の要求を他の装置に要求したりすることができる。画像管理システムとしては、例えば、画像保存通信システム(PACS)を含むことができる。特に、下記実施形態に係る画像管理システムは、受信した画像とともに関連付けられた被検者の情報や撮影時間などの各種情報も保存可能なデータベースを備える。また、画像管理システムはネットワークに接続され、他の装置からの要求に応じて、画像を送受信したり、画像を変換したり、保存した画像に関連付けられた各種情報を送受信したりすることができる。
撮影条件とは、撮影装置によって取得された画像の撮影時の様々な情報である。撮影条件は、例えば、撮影装置に関する情報、撮影が実施された施設に関する情報、撮影に係る検査の情報、撮影者に関する情報、及び被検者に関する情報等を含む。また、撮影条件は、例えば、撮影日時、撮影部位名、撮影領域、撮影画角、撮影方式、画像の解像度や階調、画像サイズ、適用された画像フィルタ、画像のデータ形式に関する情報、及び放射線量に関する情報等を含む。なお、撮影領域には、特定の撮影部位からずれた周辺の領域や複数の撮影部位を含んだ領域等が含まれることができる。
撮影条件は、画像を構成するデータ構造中に保存されていたり、画像とは別の撮影条件データとして保存されていたり、撮影装置に関連するデータベースや画像管理システムに保存されたりすることができる。そのため、撮影条件は、撮影装置の撮影条件の保存手段に対応した手順により取得することができる。具体的には、撮影条件は、例えば、撮影装置が出力した画像のデータ構造を解析したり、画像に対応する撮影条件データを取得したり、撮影装置に関連するデータベースから撮影条件を取得するためのインターフェースにアクセスする等により取得される。
なお、撮影装置によっては、保存されていない等の理由で取得できない撮影条件も存在する。例えば、撮影装置に特定の撮影条件を取得したり保存したりする機能が無い、又はそのような機能が無効にされている場合である。また、例えば、撮影装置や撮影に関係の無い撮影条件であるとして保存しないようになっている場合もある。さらに、例えば、撮影条件が隠蔽されていたり、暗号化されていたり、権利が無いと取得できないようになっていたりする場合等もある。ただし、保存されていない撮影条件であっても取得できる場合がある。例えば、画像解析を実施することによって、撮影部位名や撮影領域を特定することができる。
機械学習モデルとは、任意の機械学習アルゴリズムに対して、事前に適切な教師データ(学習データ)を用いてトレーニング(学習)を行ったモデルである。教師データは、一つ以上の、入力データと出力データとのペア群で構成される。なお、教師データを構成するペア群の入力データと出力データの形式や組み合わせは、一方が画像で他方が数値であったり、一方が複数の画像群で構成され他方が文字列であったり、双方が画像であったりする等、所望の構成に適したものであってよい。
具体的には、例えば、OCTによって取得された画像と、該画像に対応する撮影部位ラベルとのペア群によって構成された教師データ(以下、第1の教師データ)が挙げられる。なお、撮影部位ラベルは部位を表すユニークな数値や文字列である。また、その他の教師データの例として、OCTの通常撮影によって取得されたノイズの多い低画質画像と、OCTにより複数回撮影して高画質化処理した高画質画像とのペア群によって構成されている教師データ(以下、第2の教師データ)等が挙げられる。
機械学習モデルに入力データを入力すると、該機械学習モデルの設計に従った出力データが出力される。機械学習モデルは、例えば、教師データを用いてトレーニングされた傾向に従って、入力データに対応する可能性の高い出力データを出力する。また、機械学習モデルは、例えば、教師データを用いてトレーニングされた傾向に従って、出力データの種類のそれぞれについて、入力データに対応する可能性を数値として出力する等を行うことができる。具体的には、例えば、第1の教師データでトレーニングされた機械学習モデルにOCTによって取得された画像を入力すると、機械学習モデルは、該画像に撮影されている撮影部位の撮影部位ラベルを出力したり、撮影部位ラベル毎の確率を出力したりする。また、例えば、第2の教師データでトレーニングされた機械学習モデルにOCTの通常撮影によって取得されたノイズの多い低画質画像を入力すると、機械学習モデルは、OCTにより複数回撮影して高画質化処理された画像相当の高画質画像を出力する。なお、機械学習モデルについては、品質保持の観点から、自身が出力した出力データを教師データとして用いないように構成することができる。
また、機械学習アルゴリズムは、畳み込みニューラルネットワーク(CNN)等のディープラーニングに関する手法を含む。ディープラーニングに関する手法においては、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、教師データを用いてトレーニングされた傾向を出力データに再現可能な程度が異なる場合がある。例えば、第1の教師データを用いたディープラーニングの機械学習モデルにおいては、より適切なパラメータが設定されていると、正しい撮影部位ラベルを出力する確率がより高くなる場合がある。また、例えば、第2の教師データを用いたディープラーニングの機械学習モデルにおいては、より適切なパラメータが設定されていると、より高画質な画像を出力できる場合がある。
具体的には、CNNにおけるパラメータは、例えば、畳み込み層に対して設定される、フィルタのカーネルサイズ、フィルタの数、ストライドの値、及びダイレーションの値、並びに全結合層の出力するノードの数等を含むことができる。なお、パラメータ群やトレーニングのエポック数は、教師データに基づいて、機械学習モデルの利用形態に好ましい値に設定することができる。例えば、教師データに基づいて、正しい撮影部位ラベルをより高い確率で出力したり、より高画質な画像を出力したりできるパラメータ群やエポック数を設定することができる。
このようなパラメータ群やエポック数の決定方法の一つを例示する。まず、教師データを構成するペア群の7割をトレーニング用とし、残りの3割を評価用としてランダムに設定する。次に、トレーニング用のペア群を用いて機械学習モデルのトレーニングを行い、トレーニングの各エポックの終了時に、評価用のペア群を用いてトレーニング評価値を算出する。トレーニング評価値とは、例えば、各ペアを構成する入力データをトレーニング中の機械学習モデルに入力したときの出力と、入力データに対応する出力データとを損失関数によって評価した値群の平均値である。最後に、最もトレーニング評価値が小さくなったときのパラメータ群及びエポック数を、当該機械学習モデルのパラメータ群やエポック数として決定する。なお、このように、教師データを構成するペア群をトレーニング用と評価用とに分けてエポック数の決定を行うことによって、機械学習モデルがトレーニング用のペア群に対して過学習してしまうことを防ぐことができる。
高画質化エンジンとは、入力された低画質画像を高画質化した高画質画像を出力するモジュールのことである。ここで、本明細書における高画質化とは、入力された画像を画像診断により適した画質の画像に変換することをいい、高画質画像とは、画像診断により適した画質の画像に変換された画像をいう。また、低画質画像とは、例えば、X線撮影、CT、MRI、OCT、PET、若しくはSPECT等により取得された二次元画像や三次元画像、又は連続撮影したCTの三次元動画像等の特に高画質になるような設定をされずに撮影されたものである。具体的には、低画質画像は、例えば、X線撮影装置やCTによる低線量での撮影や、造影剤を使用しないMRIによる撮影、OCTの短時間撮影等によって取得される画像、及び少ない撮影回数で取得されたOCTA画像等を含む。
また、画像診断に適した画質の内容は、各種の画像診断で何を診断したいのかということに依存する。そのため一概には言えないが、例えば、画像診断に適した画質は、ノイズが少なかったり、高コントラストであったり、撮影対象を観察しやすい色や階調で示していたり、画像サイズが大きかったり、高解像度であったりする画質を含む。また、画像生成の過程で描画されてしまった実際には存在しないオブジェクトやグラデーションが画像から除去されているような画質を含むことができる。
また、ノイズが少なかったり、高コントラストであったりする高画質画像を、OCTA等の画像の血管解析処理や、CTやOCT等の画像の領域セグメンテーション処理等の画像解析に利用すると、低画質画像を利用するよりも精度よく解析が行えることが多い。そのため、高画質化エンジンによって出力された高画質画像は、画像診断だけでなく、画像解析にも有用である場合がある。
下記の実施形態における高画質化手法を構成する画像処理手法では、ディープラーニング等の各種機械学習アルゴリズムを用いた処理を行う。なお、当該画像処理手法では、機械学習アルゴリズムを用いた処理に加えて、各種画像フィルタ処理、類似画像に対応する高画質画像のデータベースを用いたマッチング処理、及び知識ベース画像処理等の既存の任意の処理を行ってもよい。
特に、二次元画像を高画質化するCNNの構成例として、図1に示す構成がある。当該CNNの構成には、複数の畳み込み処理ブロック100群が含まれる。畳み込み処理ブロック100は、畳み込み(Convolution)層101と、バッチ正規化(Batch Normalization)層102と、正規化線形関数(RectifierLinear Unit)を用いた活性化層103とを含む。また、当該CNNの構成には、合成(Merger)層104と、最後の畳み込み層105が含まれる。合成層104は、畳み込み処理ブロック100の出力値群と画像を構成する画素値群とを連結したり、加算したりして合成する。最後の畳み込み層105は、合成層104で合成された、高画質画像Im120を構成する画素値群を出力する。このような構成では、入力された画像Im110を構成する画素値群が畳み込み処理ブロック100群を経て出力された値群と、入力された画像Im110を構成する画素値群とが、合成層104で合成される。その後、合成された画素値群は最後の畳み込み層105で高画質画像Im120に成形される。
なお、例えば、畳み込み処理ブロック100の数を16とし、畳み込み層101群のパラメータとして、フィルタのカーネルサイズを幅3画素、高さ3画素、フィルタの数を64とすることで、一定の高画質化の効果を得られる。しかしながら、実際には上記の機械学習モデルの説明において述べた通り、機械学習モデルの利用形態に応じた教師データを用いて、より良いパラメータ群を設定することができる。なお、三次元画像や四次元画像を処理する必要がある場合には、フィルタのカーネルサイズを三次元や四次元に拡張してもよい。
なお、CNNを用いた画像処理等、一部の画像処理手法を利用する場合には画像サイズについて注意する必要がある。具体的には、高画質画像の周辺部が十分に高画質化されない問題等の対策のため、入力する低画質画像と出力する高画質画像とで異なる画像サイズを要する場合があることに留意すべきである。
明瞭な説明のため、後述の実施形態において明記はしないが、高画質化エンジンに入力される画像と出力される画像とで異なる画像サイズを要する高画質化エンジンを採用した場合には、適宜画像サイズを調整しているものとする。具体的には、機械学習モデルをトレーニングするための教師データに用いる画像や、高画質化エンジンに入力される画像といった入力画像に対して、パディングを行ったり、該入力画像の周辺の撮影領域を結合したりして、画像サイズを調整する。なお、パディングを行う領域は、効果的に高画質化できるように高画質化手法の特性に合わせて、一定の画素値で埋めたり、近傍画素値で埋めたり、ミラーパディングしたりする。
また、高画質化手法は、一つの画像処理手法だけで実施されることもあるし、二つ以上の画像処理手法を組み合わせて実施されることもある。また、複数の高画質化手法群を並列に実施し、複数の高画質画像群を生成した上で、最も高画質な高画質画像を最終的に高画質画像として選択することもある。なお、最も高画質な高画質画像の選択は、画質評価指数を用いて自動的に行われてもよいし、任意の表示部等に備えられたユーザーインターフェースに複数の高画質画像群を表示して、検者(ユーザー)の指示に応じて行われてもよい。
なお、高画質化していない入力画像の方が、画像診断に適している場合もあるので、最終的な画像の選択の対象には入力画像を加えてよい。また、高画質化エンジンに対して、低画質画像とともにパラメータを入力してもよい。高画質化エンジンに対して、入力画像とともに、例えば、高画質化を行う程度を指定するパラメータや、画像処理手法に用いられる画像フィルタサイズを指定するパラメータを入力してもよい。
撮影箇所推定エンジンとは、入力された画像の撮影部位や撮影領域を推定するモジュールのことである。撮影箇所推定エンジンは、入力された画像に描画されている撮影部位や撮影領域がどこであるか、又は必要な詳細レベルの撮影部位ラベルや撮影領域ラベル毎に、該撮影部位や撮影領域である確率を出力することができる。
撮影部位や撮影領域は、撮影装置によっては撮影条件として保存していない、又は撮影装置が取得できず保存できていない場合がある。また、撮影部位や撮影領域が保存されていても、必要な詳細レベルの撮影部位や撮影領域が保存されていない場合もある。例えば、撮影部位として“後眼部”と保存されているだけで、詳細には“黄斑部”なのか、“視神経乳頭部”なのか、又は、“黄斑部及び視神経乳頭部”なのか、“その他”なのかが分からないことがある。また、別の例では、撮影部位として“***”と保存されているだけで、詳細には“右***”なのか、“左***”なのか、又は、“両方”なのかが分からないことがある。そのため、撮影箇所推定エンジンを用いることで、これらの場合に入力画像の撮影部位や撮影領域を推定することができる。
撮影箇所推定エンジンの推定手法を構成する画像及びデータ処理手法では、ディープラーニング等の各種機械学習アルゴリズムを用いた処理を行う。なお、当該画像及びデータ処理手法では、機械学習アルゴリズムを用いた処理に加えて又は代えて、自然言語処理、類似画像及び類似データのデータベースを用いたマッチング処理、知識ベース処理等の既存の任意の推定処理を行ってもよい。なお、機械学習アルゴリズムを用いて構築した機械学習モデルをトレーニングする教師データは、撮影部位や撮影領域のラベルが付けられた画像とすることができる。この場合には、教師データの画像を入力データ、撮影部位や撮影領域のラベルを出力データとする。
特に、二次元画像の撮影箇所を推定するCNNの構成例として、図2に示す構成がある。当該CNNの構成には、畳み込み層201とバッチ正規化層202と正規化線形関数を用いた活性化層203とで構成された複数の畳み込み処理ブロック200群が含まれる。また、当該CNNの構成には、最後の畳み込み層204と、全結合(Full Connection)層205と、出力層206が含まれる。全結合層205は畳み込み処理ブロック200の出力値群を全結合する。また、出力層206は、Softmax関数を利用して、入力画像Im210に対する、想定される撮影部位ラベル毎の確率を推定結果(Result)207として出力する。このような構成では、例えば、入力画像Im210が“黄斑部”を撮影した画像であれば、“黄斑部に対応する撮影部位ラベルについて最も高い確率が出力される。
なお、例えば、畳み込み処理ブロック200の数を16、畳み込み層201群のパラメータとして、フィルタのカーネルサイズを幅3画素、高さ3画素、フィルタの数を64とすることで、一定の精度で撮影部位を推定することができる。しかしながら、実際には上記の機械学習モデルの説明において述べた通り、機械学習モデルの利用形態に応じた教師データを用いて、より良いパラメータ群を設定することができる。なお、三次元画像や四次元画像を処理する必要がある場合には、フィルタのカーネルサイズを三次元や四次元に拡張してもよい。なお、推定手法は、一つの画像及びデータ処理手法だけで実施されることもあるし、二つ以上の画像及びデータ処理手法を組み合わせて実施されることもある。
画質評価エンジンとは、入力された画像に対する画質評価指数を出力するモジュールのことである。画質評価指数を算出する画質評価処理手法では、ディープラーニング等の各種機械学習アルゴリズムを用いた処理を行う。なお、当該画質評価処理手法では、画像ノイズ計測アルゴリズム、及び類似画像や基底画像に対応する画質評価指数のデータベースを用いたマッチング処理等の既存の任意の評価処理を行ってもよい。なお、これらの評価処理は、機械学習アルゴリズムを用いた処理に加えて又は代えて行われてよい。
例えば、画質評価指数は機械学習アルゴリズムを用いて構築した機械学習モデルより得ることができる。この場合、機械学習モデルをトレーニングする教師データを構成するペアの入力データは、事前に様々な撮影条件によって撮影された低画質画像群と高画質画像群とで構成される画像群である。また、機械学習モデルをトレーニングする教師データを構成するペアの出力データは、例えば、画像診断を行う検者が入力データの画像群のそれぞれについて設定した画質評価指数群である。
本発明の説明における真贋評価エンジンとは、入力された画像の描画を評価して、対象の撮影装置によって撮影され取得された画像か否かを、ある程度の精度で評価するモジュールである。真贋評価処理手法では、ディープラーニング等の各種機械学習アルゴリズムを用いた処理を行う。なお、真贋評価処理手法では、機械学習アルゴリズムを用いた処理に加えて又は代えて、知識ベース処理等の既存の任意の評価処理を行ってもよい。
例えば、真贋評価処理は機械学習アルゴリズムを用いて構築した機械学習モデルにより実施することができる。まず、機械学習モデルの教師データについて説明する。教師データには、事前に様々な撮影条件によって撮影された高画質画像群と対象の撮影装置によって撮影され取得されたことを表すラベル(以下、真作ラベル)とのペア群が含まれる。また、教師データには、高画質化エンジン(第1レベルの高画質化エンジン)に低画質画像を入力して生成した高画質画像群と対象の撮影装置によって撮影され取得されていないことを表すラベル(以下、贋作ラベル)とのペア群が含まれる。このような教師データを用いてトレーニングした機械学習モデルは、第1レベルの高画質化エンジンが生成する高画質画像が入力されると贋作ラベルを出力する。
特に、二次元画像の真贋評価処理を行うCNNの構成例として、図3に示す構成がある。当該CNNの構成には、畳み込み層301と、バッチ正規化層302と、正規化線形関数を用いた活性化層303とで構成された複数の畳み込み処理ブロック300群が含まれる。また、当該CNNの構成には、最後の畳み込み層304と、全結合層305と、出力層306が含まれる。全結合層305は、畳み込み処理ブロック300の出力値群を全結合する。また、出力層306は、Sigmoid関数を利用して、入力画像Im310に対して、真作ラベルを表す1の値(真)又は贋作ラベルを表す0の値(偽)を、真贋評価処理の結果(Result)307として出力する。
なお、畳み込み処理ブロック300の数を16、畳み込み層301群のパラメータとして、フィルタのカーネルサイズを幅3画素、高さ3画素、フィルタの数を64とすることで、一定の精度で正しい真贋評価処理の結果を得られる。しかしながら、実際には上記の機械学習モデルの説明において述べた通り、機械学習モデルの利用形態に応じた教師データを用いて、より良いパラメータ群を設定することができる。なお、三次元画像や四次元画像を処理する必要がある場合には、フィルタのカーネルサイズを三次元や四次元に拡張してもよい。
真贋評価エンジンは、第1レベルの高画質化エンジンよりも高度に高画質化する高画質化エンジン(第2レベルの高画質化エンジン)が生成する高画質画像が入力されると真作ラベルを出力することがある。つまり、真贋評価エンジンは入力された画像に対し、確実に撮影装置によって撮影され取得された画像か否かを評価できるわけではないが、撮影装置によって撮影され取得された画像らしさを持つ画像か否かを評価できる。この特性を利用して、真贋評価エンジンに高画質化エンジンが生成した高画質画像を入力することで、高画質化エンジンが生成した高画質画像が十分に高画質化されているか否かを評価できる。
また、高画質化エンジンの機械学習モデルと真贋評価エンジンの機械学習モデルとを協調させてトレーニングすることによって、双方のエンジンの効率や精度を向上させてもよい。この場合には、まず、高画質化エンジンが生成する高画質画像を真贋評価エンジンに評価させると真作ラベルが出力されるように、該高画質化エンジンの機械学習モデルをトレーニングする。また、並行して、高画質化エンジンが生成する画像を真贋評価エンジンに評価させると贋作ラベルを出力するように、該真贋評価エンジンの機械学習モデルをトレーニングさせる。さらに、並行して、撮影装置によって取得された画像を真贋評価エンジンに評価させると真作ラベルを出力するように、該真贋評価エンジンの機械学習モデルをトレーニングさせる。これによって、高画質化エンジンと真贋評価エンジンの効率や精度が向上する。
<第1の実施形態>
以下、図4及び5を参照して、第1の実施形態による医用画像処理装置について説明する。図4は、本実施形態に係る画像処理装置の概略的な構成の一例を示す。
画像処理装置400は、撮影装置10及び表示部20に、回路やネットワークを介して接続されている。また、撮影装置10及び表示部20が直接接続されていてもよい。なお、これらの装置は本実施形態では別個の装置とされているが、これらの装置の一部又は全部を一体的に構成してもよい。また、これらの装置は、他の任意の装置と回路やネットワークを介して接続されてもよいし、他の任意の装置と一体的に構成されてもよい。
画像処理装置400には、取得部401と、撮影条件取得部402と、高画質化可否判定部403と、高画質化部404と、出力部405(表示制御部)とが設けられている。なお、画像処理装置400は、これら構成要素のうちの一部が設けられた複数の装置で構成されてもよい。取得部401は、撮影装置10や他の装置から各種データや画像を取得したり、不図示の入力装置を介して検者からの入力を取得したりすることができる。なお、入力装置としては、マウス、キーボード、タッチパネル及びその他任意の入力装置を採用してよい。また、表示部20をタッチパネルディスプレイとして構成してもよい。
撮影条件取得部402は、取得部401が取得した医用画像(入力画像)の撮影条件を取得する。具体的には、医用画像のデータ形式に応じて、医用画像を構成するデータ構造に保存された撮影条件群を取得する。なお、医用画像に撮影条件が保存されていない場合には、取得部401を介して、撮影装置10や画像管理システムから撮影条件群を含む撮影情報群を取得することができる。
高画質化可否判定部403は、撮影条件取得部402によって取得された撮影条件群を用いて高画質化部404によって医用画像が対処可能であるか否かを判定する。高画質化部404は、対処可能である医用画像について高画質化を行い、画像診断に適した高画質画像を生成する。出力部405は、高画質化部404が生成した高画質画像や入力画像、各種情報等を表示部20に表示させる。また、出力部405は、生成された高画質画像等を画像処理装置400に接続される記憶装置に記憶させてもよい。
次に、高画質化部404について詳細に説明する。高画質化部404には高画質化エンジンが備えられている。本実施形態に係る高画質化エンジンの備える高画質化手法では、機械学習アルゴリズムを用いた処理を行う。
本実施形態では、機械学習アルゴリズムに係る機械学習モデルのトレーニングに、処理対象として想定される特定の撮影条件を持つ低画質画像である入力データと、入力データに対応する高画質画像である出力データのペア群で構成された教師データを用いる。なお、特定の撮影条件には、具体的には、予め決定された撮影部位、撮影方式、撮影画角、及び画像サイズ等が含まれる。
本実施形態において、教師データの入力データは、撮影装置10と同じ機種、撮影装置10と同じ設定により取得された低画質画像である。また、教師データの出力データは、撮影装置10と同じ機種が備える設定や画像処理により取得された高画質画像である。具体的には、出力データは、例えば、複数回撮影することにより取得した画像(元画像)群に対して加算平均等の重ね合わせ処理を行うことにより得られる高画質画像(重ね合わせ画像)である。ここで、高画質画像と低画質画像についてOCTAのモーションコントラストデータを例として説明をする。ここで、モーションコントラストデータとは、OCTA等で用いられる、撮影対象の同一箇所を繰り返し撮影し、その撮影間における撮影対象の時間的な変化を検出したデータである。このとき、算出したモーションコントラストデータのうち、撮影対象の深さ方向における所望の範囲のデータを用いて正面画像を生成することで、OCTAのEn-Face画像(モーションコントラスト正面画像)を生成することができる。なお、以下では同一箇所におけるOCTデータを繰り返し撮影することをNOR(Number Of Repeat)と呼ぶ。
本実施形態において、重ね合わせ処理による高画質画像と低画質画像の生成例として異なる2種類の方法について図28を用いて説明をする。
第一の方法は、高画質画像の例として、撮影対象の同一箇所を繰り返し撮影したOCTデータから生成するモーションコントラストデータに関して、図28(a)を用いて説明する。図28(a)において、Im2810は3次元のモーションコントラストデータ、Im2811は3次元のモーションコントラストデータを構成する2次元のモーションコントラストデータを示す。そして、Im2811-1~Im2811-3は、Im2811を生成するためのOCT断層画像(Bスキャン)を示している。ここで、NORとは、図28(a)においては、Im2811-1~Im2811-3におけるOCT断層画像の数の事を示し、図の例においてNORは3である。Im2811-1~Im2811-3は所定の時間間隔(Δt)で撮影される。なお、同一箇所とは被検眼の正面方向(X-Y)において、1ラインの事を示し、図28(a)においては、Im2811の箇所に相当する。モーションコントラストデータは時間的な変化を検出したデータであるため、このデータを生成するためには、少なくともNORは2回とする必要がある。例えば、NORが2の場合には、1つのモーションコントラストデータが生成される。NORが3の場合には、隣接する時間間隔(1回目と2回目、2回目と3回目)のOCTのみでモーションコントラストデータを生成する場合には、2つのデータが生成される。離れた時間間隔(1回目と3回目)のOCTデータも用いてモーションコントラストデータを生成する場合には、合計3つのデータが生成される。すなわち、NORを3回、4回、・・・と増やしていくと、同一箇所におけるモーションコントラストのデータ数も増加する。同一箇所を繰り返し撮影して取得した複数のモーションコントラストデータを位置合わせして加算平均等の重ね合わせ処理をすることで、高画質なモーションコントラストデータを生成することが出来る。そのため、NORを少なくとも3回以上とし、5回以上とするのが望ましい。一方、これに対応する低画質画像の例としては、加算平均等の重ね合わせ処理を行う前のモーションコントラストデータとする。この場合、低画質画像は加算平均等の重ね合わせ処理を行う際の基準画像とするのが望ましい。重ね合わせ処理をする際に、基準画像に対して対象画像の位置や形状を変形して位置合わせを行っておけば、基準画像と重ね合わせ処理後の画像とでは空間的な位置ずれがほとんどない。そのため、容易に低画質画像と高画質画像のペアとすることが出来る。なお、基準画像ではなく位置合わせの画像変形処理を行った対象画像を低画質画像としてもよい。元画像群(基準画像と対象画像)のそれぞれを入力データ、対応する重ね合わせ画像を出力データとすることで、複数のペア群を生成することができる。例えば、15の元画像群から1の重ね合わせ画像を得る場合、元画像群のうちの一つ目の元画像と重ね合わせ画像とのペア、元画像群のうちの二つ目の元画像と重ね合わせ画像とのペアを生成することができる。このように、15の元画像群から1の重ね合わせ画像を得る場合には、元画像群のうちの一つの画像と重ね合わせ画像による15のペア群が生成可能である。なお、主走査(X)方向に同一箇所を繰り返し撮影し、それを副走査(Y)方向にずらしながらスキャンをすることで3次元の高画質データを生成することが出来る。
第二の方法は、撮影対象の同一領域を複数回撮影したモーションコントラストデータを重ね合わせ処理することで高画質画像を生成する処理に関して、図28(b)を用いて説明する。なお、同一領域とは被検眼の正面方向(X-Y)において、3×3mmや10×10mmのような領域の事を示し、断層画像の深さ方向を含めて3次元のモーションコントラストデータを取得することを意味する。同一領域を複数回撮影して重ね合わせ処理を行う際には、1回あたりの撮影を短くするため、NORは2回か3回とすることが望ましい。また、高画質な3次元モーションコントラストデータを生成するために、同一領域の3次元データを少なくとも2データ以上取得する。図28(b)では、複数の3次元モーションコントラストデータの例を示している。Im2820~Im2840は、図28(a)で説明したのと同様に3次元のモーションコントラストデータである。これら2データ以上の3次元モーションコントラストデータを用いて、正面方向(X-Y)と深度方向(Z)の位置合わせ処理を行い、それぞれのデータにおいてアーティファクトとなるデータを除外した後に、平均化処理を行う。それによりアーティファクトの除外された1つの高画質な3次元モーションコントラストデータを生成することが出来る。3次元モーションコントラストデータから任意の平面を生成することで高画質画像となる。一方、これに対応する低画質画像は加算平均等の重ね合わせ処理を行う際の基準データから生成する任意の平面とするのが望ましい。第一の方法で説明したように、基準画像と加算平均後の画像とでは空間的な位置ずれがほとんどないため、容易に低画質画像と高画質画像のペアとすることが出来る。なお、基準データではなく位置合わせの画像変形処理を行った対象データから生成した任意の平面を低画質画像としてもよい。
第一の方法は、撮影自体が1回で終了するため被験者の負担は少ない。しかし、NORの回数を増やすほど1回の撮影時間が長くなってしまう。また、撮影途中に目の混濁や睫毛などのアーティファクトが入った場合には必ずしも良い画像が得られるとは限らない。第二の方法は、複数回撮影を行うため被験者の負担は少し増えてしまう。しかし、1回の撮影時間が短く済むのと、1回の撮影でアーティファクトが入ったとしても、別の撮影でアーティファクトが写らなければ最終的にはアーティファクトの少ないきれいな画像を得ることが出来る。これらの特徴を鑑みて、データを集める際には被験者の状況に合わせて任意の方法を選択する。
本実施形態では、モーションコントラストデータを例として説明をしたがこれに限らない。モーションコントラストデータを生成するためにOCTデータを撮影しているため、OCTデータでも上記の方法で同じことが可能である。さらに、本実施形態においてトラッキング処理について説明を省略したが、被検眼の同一箇所や同一領域を撮影するため、被検眼のトラッキングを行いながら撮影を行うことが望ましい。
本実施形態において、3次元の高画質データと低画質データのペアが出来ているため、ここから任意の2次元画像のペアを生成することが出来る。これに関して、図29を用いて説明をする。例えば、対象画像をOCTAのEn-Face画像とする場合、3次元データから所望の深度範囲でOCTAのEn-Face画像を生成する。所望の深度範囲とは、図28においてZ方向における範囲の事を示す。ここで生成するOCTAのEn-Face画像の例を図29(a)に示す。OCTAのEn-Face画像としては、表層(Im2910)、深層(Im2920)、外層(Im2930)、脈絡膜血管網(Im2940)など、異なる深度範囲で生成したOCTAのEn-Face画像を用いて学習を行う。なお、OCTAのEn-Face画像の種類はこれに限らず、基準となる層とオフセットの値を変えて異なる深度範囲を設定したOCTAのEn-Face画像を生成して種類を増やしてもよい。学習を行う際には、異なる深さのOCTAのEn-Face画像毎に別々に学習をしてもよいし、異なる深度範囲の画像を複数組み合わせて(例えば、表層側と深層側で分ける)学習してもよいし、全ての深度範囲のOCTAのEn-Face画像を一緒に学習させるようにしてもよい。OCTデータから生成する輝度のEn-Face画像の場合も、OCTAのEn-Faceと同様に、任意の深度範囲から生成した複数のEn-Face画像を用いて学習を行う。例えば、高画質化エンジンが、被検眼の異なる深度範囲に対応する複数のモーションコントラスト正面画像を含む学習データを用いて得た機械学習エンジンを含む場合を考える。このとき、取得部は、異なる深度範囲を含む長い深度範囲のうち一部の深度範囲に対応するモーションコントラスト正面画像を第1の画像として取得することができる。すなわち、学習データに含まれる複数のモーションコントラスト正面画像に対応する複数の深度範囲とは異なる深度範囲に対応するモーションコントラスト正面画像を、高画質化時の入力画像とすることができる。もちろん、学習時と同じ深度範囲のモーションコントラスト正面画像を、高画質化時の入力画像としてもよい。また、一部の深度範囲は、検者がユーザーインターフェース上の任意のボタンを押す等に応じて設定されてもよいし、自動的に設定されてもよい。なお、上述した内容は、モーションコントラスト正面画像に限るものではなく、例えば、輝度のEn-Face画像に対しても適用することができる。
なお、処理対象の画像が断層画像である場合、BスキャンであるOCT断層画像やモーションコントラストデータの断層画像を用いて学習を行う。これに関して、図29(b)を用いて説明をする。図29(b)において、Im2951~Im2953はOCTの断層画像である。図29(b)において画像が異なるのは、副走査(Y)方向の位置が異なる場所の断層画像を示しているからである。断層画像においては、副走査方向の位置の違いを気にせずに一緒に学習をするようにしてもよい。ただし、撮影部位(例えば、黄斑部中心、視神経乳頭部中心)が異なる場所を撮影した画像の場合には、部位ごとに別々に学習をするようにしてもよいし、撮影部位を気にせずに一緒に学習をするようにしてもよい。なお、OCT断層画像と、モーションコントラストデータの断層画像においては画像特徴量が大きく異なるので別々に学習を行う方が良い。
重ね合わせ処理を行った重ね合わせ画像は、元画像群で共通して描出された画素が強調されるため、画像診断に適した高画質画像になる。この場合には、生成される高画質画像は、共通して描出された画素が強調された結果、低輝度領域と高輝度領域との違いがはっきりした高コントラストな画像になる。また、例えば、重ね合わせ画像では、撮影毎に発生するランダムノイズが低減されたり、ある時点の元画像ではうまく描出されなかった領域が他の元画像群によって補間されたりすることができる。
また、機械学習モデルの入力データを複数の画像で構成する必要がある場合には、元画像群から必要な数の元画像群を選択し、入力データとすることができる。例えば、15の元画像群から1の重ね合わせ画像を得る場合において、機械学習モデルの入力データとして2の画像が必要であれば、105(15C2=105)のペア群を生成可能である。
なお、教師データを構成するペア群のうち、高画質化に寄与しないペアは教師データから取り除くことができる。例えば、教師データのペアを構成する出力データである高画質画像が画像診断に適さない画質である場合には、当該教師データを用いて学習した高画質化エンジンが出力する画像も画像診断に適さない画質になってしまう可能性がある。そのため、出力データが画像診断に適さない画質であるペアを教師データから取り除くことで、高画質化エンジンが画像診断に適さない画質の画像を生成する可能性を低減させることができる。
また、ペアである画像群の平均輝度や輝度分布が大きく異なる場合には、当該教師データを用いて学習した高画質化エンジンが、低画質画像と大きく異なる輝度分布を持つ画像診断に適さない画像を出力する可能性がある。このため、平均輝度や輝度分布が大きく異なる入力データと出力データのペアを教師データから取り除くこともできる。
さらに、ペアである画像群に描画される撮影対象の構造や位置が大きく異なる場合には、当該教師データを用いて学習した高画質化エンジンが、低画質画像と大きく異なる構造や位置に撮影対象を描画した画像診断に適さない画像を出力する可能性がある。このため、描画される撮影対象の構造や位置が大きく異なる入力データと出力データのペアを教師データから取り除くこともできる。また、高画質化エンジンについて、品質保持の観点から、自身が出力する高画質画像を教師データとして用いないように構成することができる。
このように機械学習を行った高画質化エンジンを用いることで、高画質化部404は、一回の撮影で取得された医用画像が入力された場合に、重ね合わせ処理によって高コントラスト化やノイズ低減等が行われたような高画質画像を出力することができる。このため、高画質化部404は、入力画像である低画質画像に基づいて、画像診断に適した高画質画像を生成することができる。
次に、図5のフロー図を参照して、本実施形態に係る一連の画像処理について説明する。図5は本実施形態に係る一連の画像処理のフロー図である。まず、本実施形態に係る一連の画像処理が開始されると、処理はステップS510に移行する。
ステップS510では、取得部401が、回路やネットワークを介して接続された撮影装置10から、撮影装置10が撮影した画像を入力画像として取得する。なお、取得部401は、撮影装置10からの要求に応じて、入力画像を取得してもよい。このような要求は、例えば、撮影装置10が画像を生成した時、撮影装置10が生成した画像を撮影装置10が備える記録装置に保存する前や保存した後、保存された画像を表示部20に表示する時、画像解析処理に高画質画像を利用する時等に発行されてよい。
なお、取得部401は、撮影装置10から画像を生成するためのデータを取得し、画像処理装置400が当該データに基づいて生成した画像を入力画像として取得してもよい。この場合、画像処理装置400が各種画像を生成するための画像生成方法としては、既存の任意の画像生成方法を採用してよい。
ステップS520では、撮影条件取得部402が、入力画像の撮影条件群を取得する。具体的には、入力画像のデータ形式に応じて、入力画像を構成するデータ構造に保存された撮影条件群を取得する。なお、上述のように、入力画像に撮影条件が保存されていない場合には、撮影条件取得部402は、撮影装置10や不図示の画像管理システムから撮影条件群を含む撮影情報群を取得することができる。
ステップS530においては、高画質化可否判定部403が、取得された撮影条件群を用いて、高画質化部404に備える高画質化エンジンによって入力画像を高画質化可能であるか否かを判定する。具体的には、高画質化可否判定部403は、入力画像の撮影部位、撮影方式、撮影画角、及び画像サイズが、高画質化エンジンによって対処可能な条件と一致するか否かを判定する。
高画質化可否判定部403が、すべての撮影条件を判定し、対処可能と判定された場合には、処理はステップS540に移行する。一方、高画質化可否判定部403が、これら撮影条件に基づいて、高画質化エンジンが入力画像を対処不可能であると判定した場合には、処理はステップS550に移行する。
なお、画像処理装置400の設定や実装形態によっては、撮影部位、撮影方式、撮影画角、及び画像サイズのうちの一部に基づいて入力画像が処理不可能であると判定されたとしても、ステップS540における高画質化処理が実施されてもよい。例えば、高画質化エンジンが、被検者のいずれの撮影部位に対しても網羅的に対応可能であると想定され、入力データに未知の撮影部位が含まれていたとしても対処可能であるように実装されている場合等には、このような処理を行ってもよい。また、高画質化可否判定部403は、所望の構成に応じて、入力画像の撮影部位、撮影方式、撮影画角、及び画像サイズのうちの少なくとも一つが高画質化エンジンによって対処可能な条件と一致するか否かを判定してもよい。
ステップS540においては、高画質化部404が、高画質化エンジンを用いて、入力画像を高画質化し、入力画像よりも画像診断に適した高画質画像を生成する。具体的には、高画質化部404は、入力画像を高画質化エンジンに入力し、高画質化された高画質画像を生成させる。高画質化エンジンは、教師データを用いて機械学習を行った機械学習モデルに基づいて、入力画像を用いて重ね合わせ処理を行ったような高画質画像を生成する。このため、高画質化エンジンは、入力画像よりも、ノイズ低減されたり、コントラスト強調されたりした高画質画像を生成することができる。
なお、画像処理装置400の設定や実装形態によっては、高画質化部404が、撮影条件群に応じて、高画質化エンジンに入力画像とともにパラメータを入力して、高画質化の程度等を調節してもよい。また、高画質化部404は、検者の入力に応じたパラメータを高画質化エンジンに入力画像とともに入力して高画質化の程度等を調整してもよい。
ステップS550では、出力部405が、ステップS540において高画質画像が生成されていれば、高画質画像を出力して、表示部20に表示させる。一方、ステップS530において高画質化処理が不可能であるとされていた場合には、入力画像を出力し、表示部20に表示させる。なお、出力部405は、表示部20に出力画像を表示させるのに代えて、撮影装置10や他の装置に出力画像を表示させたり、記憶させたりしてもよい。また、出力部405は、画像処理装置400の設定や実装形態によっては、出力画像を撮影装置10や他の装置が利用可能なように加工したり、画像管理システム等に送信可能なようにデータ形式を変換したりしてもよい。
上記のように、本実施形態に係る画像処理装置400は、取得部401と、高画質化部404とを備える。取得部401は、被検者の所定部位の画像である入力画像(第1の画像)を取得する。高画質化部404は、機械学習エンジンを含む高画質化エンジンを用いて、入力画像から、入力画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされた高画質画像(第2の画像)を生成する。高画質化エンジンは、重ね合わせ処理により得られた画像を学習データとした機械学習エンジンを含む。
当該構成により、本実施形態に係る画像処理装置400は、入力画像から、ノイズが低減されていたり、コントラストが強調されていたりする高画質画像を出力することができる。このため、画像処理装置400は、より明瞭な画像や観察したい部位や病変が強調されている画像等の画像診断に適した画像を、従来と比べて、撮影者や被検者の侵襲性を高めたり、労力を増したりすることなく、より少ない代償で取得することができる。
また、画像処理装置400は、入力画像に対して、高画質化エンジンを用いて高画質画像を生成できる否かを判定する高画質化可否判定部403を更に備える。高画質化可否判定部403は、入力画像の撮影部位、撮影方式、撮影画角、及び画像サイズの少なくとも一つに基づいて当該判定を行う。
当該構成により、本実施形態に係る画像処理装置400は、高画質化部404が処理できない入力画像を高画質化処理から省くことができ、画像処理装置400の処理負荷やエラーの発生を低減させることができる。
なお、本実施形態においては、出力部405(表示制御部)は、生成された高画質画像を表示部20に表示させる構成としたが、出力部405の動作はこれに限られない。例えば、出力部405は、高画質画像を撮影装置10や画像処理装置400に接続される他の装置に出力することもできる。このため、高画質画像は、これらの装置のユーザーインターフェースに表示されたり、任意の記録装置に保存されたり、任意の画像解析に利用されたり、画像管理システムに送信されたりすることができる。
本実施形態においては、高画質化可否判定部403が、高画質化エンジンによって高画質化可能な入力画像であるか否かを判定して、高画質化可能な入力画像であれば高画質化部404が高画質化を行った。これに対し、撮影装置10によって、高画質化可能な撮影条件でのみ撮影が行なわれる等の場合には、撮影装置10から取得した画像を無条件に高画質化してもよい。この場合には、図6に示すように、ステップS520とステップS530の処理を省き、ステップS510の次にステップS540を実施することができる。
なお、本実施形態においては、出力部405が、表示部20に高画質画像を表示させる構成とした。しかしながら、出力部405は、検者からの指示に応じて、高画質画像を表示部20に表示させてもよい。例えば、出力部405は、検者が表示部20のユーザーインターフェース上の任意のボタンを押すことに応じて、高画質画像を表示部20に表示させてもよい。この場合、出力部405は、入力画像と切り替えて高画質画像を表示させてもよいし、入力画像と並べて高画質画像を表示させてもよい。
さらに、出力部405は、表示部20に高画質画像を表示させる際に、表示されている画像が機械学習アルゴリズムを用いた処理により生成された高画質画像であることを示す表示を高画質画像とともに表示させてもよい。この場合には、ユーザーは、当該表示によって、表示された高画質画像が撮影によって取得した画像そのものではないことが容易に識別できるため、誤診断を低減させたり、診断効率を向上させたりすることができる。なお、機械学習アルゴリズムを用いた処理により生成された高画質画像であることを示す表示は、入力画像と当該処理により生成された高画質画像とを識別可能な表示であればどのような態様のものでもよい。
また、出力部405は、機械学習アルゴリズムを用いた処理により生成された高画質画像であることを示す表示について、機械学習アルゴリズムがどのような教師データによって学習を行ったものであるかを示す表示を表示部20に表示させてもよい。当該表示としては、教師データの入力データと出力データの種類の説明や、入力データと出力データに含まれる撮影部位等の教師データに関する任意の表示を含んでよい。
本実施形態に係る高画質化エンジンでは、教師データの出力データとして、重ね合わせ画像を用いたが、教師データはこれに限られない。教師データの出力データとして、高画質画像を得る手段である、重ね合わせ処理や、後述する処理群、後述する撮影方法のうち、少なくとも一つを行うことで得られる高画質画像を用いてもよい。
例えば、教師データの出力データとして、元画像群に対して最大事後確率推定処理(MAP推定処理)を行うことで得られる高画質画像を用いてもよい。MAP推定処理では、複数の低画質画像における各画素値の確率密度から尤度関数を求め、求めた尤度関数を用いて真の信号値(画素値)を推定する。
MAP推定処理により得られた高画質画像は、真の信号値に近い画素値に基づいて高コントラストな画像となる。また、推定される信号値は、確率密度に基づいて求められるため、MAP推定処理により得られた高画質画像では、ランダムに発生するノイズが低減される。このため、MAP推定処理により得られた高画質画像を教師データとして用いることで、高画質化エンジンは、入力画像から、ノイズが低減されたり、高コントラストとなったりした、画像診断に適した高画質画像を生成することができる。なお、教師データの入力データと出力データのペアの生成方法は、重ね合わせ画像を教師データとした場合と同様の方法で行われてよい。
また、教師データの出力データとして、元画像に平滑化フィルタ処理を適用した高画質画像を用いてもよい。この場合には、高画質化エンジンは、入力画像から、ランダムノイズが低減された高画質画像を生成することができる。さらに、教師データの出力データとして、元画像に階調変換処理を適用した画像を用いてもよい。この場合には、高画質化エンジンは、入力画像から、コントラスト強調された高画質画像を生成することができる。なお、教師データの入力データと出力データのペアの生成方法は、重ね合わせ画像を教師データとした場合と同様の方法で行われてよい。
なお、教師データの入力データは、撮影装置10と同じ画質傾向を持つ撮影装置から取得された画像でもよい。また、教師データの出力データは、逐次近似法等の高コストな処理によって得られた高画質画像であってもよいし、入力データに対応する被検者を、撮影装置10よりも高性能な撮影装置で撮影することで取得した高画質画像であってもよい。さらに、出力データは、ルールベースによるノイズ低減処理を行うことによって取得された高画質画像であってもよい。ここで、ノイズ低減処理は、例えば、低輝度領域内に現れた明らかにノイズである1画素のみの高輝度画素を、近傍の低輝度画素値の平均値に置き換える等の処理を含むことができる。このため、高画質化エンジンは、入力画像の撮影に用いられる撮影装置よりも高性能な撮影装置によって撮影された画像、又は入力画像の撮影工程よりも工数の多い撮影工程で取得された画像を学習データとしてもよい。例えば、高画質化エンジンは、モーションコントラスト正面画像を入力画像とする場合、入力画像のOCTA撮影に用いられるOCT撮影装置よりも高性能なOCT撮影装置によってOCTA撮影されて得た画像、又は入力画像のOCTA撮影工程よりも工数の多いOCTA撮影工程で取得されて得た画像を学習データとしてもよい。
なお、本実施形態の説明では省略したが、教師データの出力データとして用いられる、複数の画像から生成された高画質画像は、位置合わせ済みの複数の画像から生成されることができる。当該位置合わせ処理としては、例えば、複数の画像のうちの一つをテンプレートとして選択し、テンプレートの位置と角度を変えながらその他の画像との類似度を求め、テンプレートとの位置ずれ量を求め、位置ずれ量に基づいて各画像を補正してよい。また、その他の既存の任意の位置合わせ処理を行ってもよい。
なお、三次元画像を位置合わせする場合には、三次元画像を複数の二次元画像に分解し、二次元画像毎に位置合わせしたものを統合することで、三次元画像の位置合わせを行ってもよい。また、二次元画像を一次元画像に分解し、一次元画像毎に位置合わせしたものを統合することで、二次元画像の位置合わせを行ってもよい。なお、画像ではなく、画像を生成するためのデータに対して、これら位置合わせを行ってもよい。
また、本実施形態では、高画質化可否判定部403が高画質化部404によって入力画像が対処可能であると判断したら、処理がステップS540に移行して、高画質化部404による高画質化処理が開始された。これに対し、出力部405が高画質化可否判定部403による判定結果を表示部20に表示させ、高画質化部404が検者からの指示に応じて高画質化処理を開始してもよい。この際、出力部405は、判定結果とともに、入力画像や入力画像について取得した撮影部位等の撮影条件を表示部20に表示させることができる。この場合には、検者によって判定結果が正しいか否かが判断された上で、高画質化処理が行われるため、誤判定に基づく高画質化処理を低減させることができる。
また、高画質化可否判定部403による判定を行わず、出力部405が入力画像や入力画像について取得した撮影部位等の撮影条件を表示部20に表示させ、高画質化部404が検者からの指示に応じて高画質化処理を開始してもよい。
<第2の実施形態>
次に、図4及び7を参照して、第2の実施形態に係る画像処理装置について説明する。第1の実施形態では、高画質化部404は、一つの高画質化エンジンを備えていた。これに対して、本実施形態では、高画質化部が、異なる教師データを用いて機械学習を行った複数の高画質化エンジンを備え、入力画像に対して複数の高画質画像を生成する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第1の実施形態に係る画像処理装置400と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第1の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第1の実施形態に係る画像処理装置の構成と同様であるため、図4に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る高画質化部404には、それぞれ異なる教師データを用いて機械学習が行われた二つ以上の高画質化エンジンが備えられている。ここで、本実施形態に係る教師データ群の作成方法について説明する。具体的には、まず、様々な撮影部位が撮影された、入力データとしての元画像と出力データとしての重ね合わせ画像のペア群を用意する。次に、撮影部位毎にペア群をグルーピングすることで、教師データ群を作成する。例えば、第1の撮影部位を撮影して取得されたペア群で構成される第1の教師データ、第2の撮影部位を撮影して取得されたペア群で構成される第2の教師データというように、教師データ群を作成する。
その後、各教師データを用いて別々の高画質化エンジンに機械学習を行わせる。例えば、第1の教師データでトレーニングされた機械学習モデルに対応する第1の高画質化エンジン、第2の教師データでトレーニングされた機械学習モデルに対応する第2の高画質化エンジンというように高画質化エンジン群を用意する。
このような高画質化エンジンは、それぞれ対応する機械学習モデルのトレーニングに用いた教師データが異なるため、高画質化エンジンに入力される画像の撮影条件によって、入力画像を高画質化できる程度が異なる。具体的には、第1の高画質化エンジンは、第1の撮影部位を撮影して取得された入力画像に対しては高画質化の程度が高く、第2の撮影部位を撮影して取得された画像に対しては高画質化の程度が低い。同様に、第2の高画質化エンジンは、第2の撮影部位を撮影して取得された入力画像に対しては高画質化の程度が高く、第1の撮影部位を撮影して取得された画像に対しては高画質化の程度が低い。
教師データのそれぞれが撮影部位によってグルーピングされたペア群で構成されることにより、該ペア群を構成する画像群の画質傾向が似る。このため、高画質化エンジンは対応する撮影部位であれば、第1の実施形態に係る高画像化エンジンよりも効果的に高画質化を行うことができる。なお、教師データのペアをグルーピングするための撮影条件は、撮影部位に限られず、撮影画角であったり、画像の解像度であったり、これらのうちの二つ以上の組み合わせであったりしてもよい。
以下、図7を参照して、本実施形態に係る一連の画像処理について説明する。図7は、本実施形態に係る一連の画像処理のフロー図である。なお、ステップS710及びステップS720の処理は、第1の実施形態に係るステップS510及びステップS520と同様であるため、説明を省略する。なお、入力画像に対して、無条件で高画質化する場合には、ステップS720の処理の後に、ステップS730の処理を省き、処理をステップS740に移行してよい。
ステップS720において入力画像の撮影条件が取得されると、処理はステップS730に移行する。ステップS730においては、高画質化可否判定部403が、ステップS720において取得した撮影条件群を用いて、高画質化部404が備える高画質化エンジン群のいずれかが、入力画像を対処可能であるか否かを判定する。
高画質化可否判定部403が、高画質化エンジン群のいずれも入力画像を対処不可能であると判定した場合には、処理はステップS760に移行する。一方で、高画質化可否判定部403が、高画質化エンジン群のいずれかが入力画像を対処可能であると判定した場合には、処理はステップS740に移行する。なお、画像処理装置400の設定や実装形態によっては、第1の実施形態と同様に、高画質化エンジンによって一部の撮影条件が対処不可能であると判定されたとしても、ステップS740を実施してもよい。
ステップS740においては、高画質化部404が、ステップS720で取得した入力画像の撮影条件及び高画質化エンジン群の教師データの情報に基づいて、高画質化エンジン群から高画質化処理を行う高画質化エンジンを選択する。具体的には、例えば、ステップS720において取得した撮影条件群のうちの撮影部位に対して、同撮影部位又は周囲の撮影部位に関する教師データの情報を有し、高画質化の程度が高い高画質化エンジンを選択する。上述の例では、撮影部位が第1の撮影部位である場合には、高画質化部404は第1の高画質化エンジンを選択する。
ステップS750では、高画質化部404が、ステップS740において選択した高画質化エンジンを用いて、入力画像を高画質化した高画質画像を生成する。その後、ステップS760において、出力部405は、ステップS750において高画質画像が生成されていれば、高画質画像を出力して、表示部20に表示させる。一方、ステップS730において高画質化処理が不可能であるとされていた場合には、入力画像を出力し、表示部20に表示させる。なお、出力部405は、高画質画像を表示部20に表示させる際、高画質化部404によって選択された高画質化エンジンを用いて生成された高画質画像であることを表示させてもよい。
上記のように、本実施形態に係る高画質化部404は、それぞれ異なる学習データを用いて学習を行った複数の高画質化エンジンを備える。ここで、複数の高画質化エンジンの各々は、それぞれ撮影部位、撮影画角、異なる深度の正面画像、及び画像の解像度のうちの少なくとも一つについての異なる学習データを用いて学習を行ったものである。高画質化部404は、入力画像の撮影部位、撮影画角、異なる深度の正面画像、及び画像の解像度のうちの少なくとも一つに応じた高画質化エンジンを用いて、高画質画像を生成する。
このような構成により、本実施形態に係る画像処理装置400は、より効果的な高画質画像を生成することができる。
本実施形態では、高画質化部404が、入力画像の撮影条件に基づいて高画質化処理に用いる高画質化エンジンを選択したが、高画質化エンジンの選択処理はこれに限られない。例えば、出力部405が、取得した入力画像の撮影条件と高画質化エンジン群を表示部20のユーザーインターフェースに表示させ、検者からの指示に応じて、高画質化部404が高画質化処理に用いる高画質化エンジンを選択してもよい。なお、出力部405は、高画質化エンジン群とともに各高画質化エンジンの学習に用いた教師データの情報を表示部20に表示させてもよい。なお、高画質化エンジンの学習に用いた教師データの情報の表示態様は任意であってよく、例えば、学習に用いた教師データに関連する名称を用いて高画質化エンジン群を表示してもよい。
また、出力部405が、高画質化部404によって選択された高画質化エンジンを表示部20のユーザーインターフェースに表示させ、検者からの指示を受け付けてもよい。この場合、高画質化部404は、検者からの指示に応じて、当該高画質化エンジンを高画質化処理に用いる高画質化エンジンとして最終的に選択するか否かを判断してもよい。
なお、出力部405は、第1の実施形態と同様に、生成された高画質画像を撮影装置10や画像処理装置400に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第1の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やMAP推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
<第3の実施形態>
次に、図4及び7を参照して、第3の実施形態に係る画像処理装置について説明する。第1及び2の実施形態では、撮影条件取得部402は、入力画像のデータ構造等から撮影条件群を取得する。これに対して、本実施形態では、撮影条件取得部は、撮影箇所推定エンジンを用いて、入力画像の撮影部位又は撮影領域を入力画像に基づいて推定する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第2の実施形態に係る画像処理装置400と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第2の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第1及び2の実施形態に係る画像処理装置の構成と同様であるため、図4に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る撮影条件取得部402には、取得部401が取得した入力画像に描画されている撮影部位又は撮影領域を推定する撮影箇所推定エンジンが備えられている。本実施形態に係る撮影箇所推定エンジンの備える撮影箇所の推定手法では、機械学習アルゴリズムを用いた推定処理を行う。
本実施形態では、機械学習アルゴリズムを用いた撮影箇所推定手法に係る機械学習モデルのトレーニングには、画像である入力データと、入力データに対応する撮影部位ラベルや撮影領域ラベルである出力データとのペア群で構成された教師データを用いる。ここで、入力データとは、処理対象(入力画像)として想定される特定の撮影条件を持つ画像のことである。入力データとしては、撮影装置10と同じ画質傾向を持つ撮影装置から取得された画像であることが好ましく、撮影装置10と同じ設定をされた同じ機種であるとより良い。出力データである撮影部位ラベルや撮影領域ラベルの種類は、入力データに少なくとも一部が含まれている撮影部位や撮影領域であってよい。出力データである撮影部位ラベルの種類は、例えば、OCTであれば、“黄斑部”、“視神経乳頭部”、“黄斑部及び視神経乳頭部”、並びに“その他”等であってよい。
本実施形態に係る撮影箇所推定エンジンは、このような教師データを用いた学習を行ったことにより、入力された画像に描画されている撮影部位や撮影領域がどこであるかを出力することができる。また、撮影箇所推定エンジンは、必要な詳細レベルの撮影部位ラベルや撮影領域ラベル毎に、該撮影部位や撮影領域である確率を出力することもできる。撮影箇所推定エンジンを用いることで、撮影条件取得部402は、入力画像に基づいて、入力画像の撮影部位や撮影領域を推定し、入力画像についての撮影条件として取得することができる。なお、撮影箇所推定エンジンが撮影部位ラベルや撮影領域ラベル毎に、該撮影部位や撮影領域である確率を出力する場合には、撮影条件取得部402は、最も確率の高い撮影部位や撮影領域を入力画像の撮影条件として取得する。
次に、第2の実施形態と同様に、図7のフロー図を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップS710、及びステップS730~ステップS760の処理は、第2の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、無条件で高画質化する場合には、ステップS720の処理の後に、ステップS730の処理を省き、処理をステップS740に移行してよい。
ステップS710において入力画像が取得されると、処理はステップS720に移行する。ステップS720では、撮影条件取得部402が、ステップS710において取得した入力画像の撮影条件群を取得する。
具体的には、入力画像のデータ形式に応じて、入力画像を構成するデータ構造に保存された撮影条件群を取得する。また、撮影条件群に撮影部位や撮影領域に関する情報が含まれていない場合、撮影条件取得部402は撮影箇所推定エンジンに入力画像を入力し、入力画像がどの撮影部位を撮影して取得されたものなのかを推定する。具体的には、撮影条件取得部402は、撮影箇所推定エンジンに入力画像を入力し、撮影部位ラベル群のそれぞれに対して出力された確率を評価し、最も確率の高い撮影部位を入力画像の撮影条件として設定・取得する。
なお、入力画像に撮影部位や撮影領域以外の撮影条件が保存されていない場合には、撮影条件取得部402は、撮影装置10や不図示の画像管理システムから撮影条件群を含む撮影情報群を取得することができる。
以降の処理は、第2実施形態に係る一連の画像処理と同様であるため説明を省略する。
上記のように、本実施形態に係る撮影条件取得部402は、入力画像の撮影部位及び撮影領域のうちの少なくとも一方を推定する推定部として機能する。撮影条件取得部402は、撮影部位や撮影領域のラベルが付けられた画像を学習データとした撮影箇所推定エンジンを含み、撮影箇所推定エンジンに入力画像を入力することで、入力画像の撮影部位や撮影領域を推定する。
これにより、本実施形態に係る画像処理装置400は、入力画像の撮影部位や撮影領域についての撮影条件を入力画像に基づいて取得することができる。
なお、本実施形態では、撮影条件取得部402は、撮影条件群に撮影部位や撮影領域に関する情報が含まれていない場合に撮影箇所推定エンジンを用いて入力画像の撮影部位や撮影領域について推定を行った。しかしながら、撮影箇所推定エンジンを用いて撮影部位や撮影領域について推定を行う状況はこれに限られない。撮影条件取得部402は、入力画像のデータ構造に含まれる撮影部位や撮影領域についての情報が、必要な詳細レベルの情報として不足している場合にも、撮影箇所推定エンジンを用いて撮影部位や撮影領域について推定を行ってもよい。
また、入力画像のデータ構造に撮影部位や撮影領域についての情報が含まれているか否かとは無関係に、撮影条件取得部402が撮影箇所推定エンジンを用いて入力画像の撮影部位や撮影領域を推定してもよい。この場合、出力部405が、撮影箇所推定エンジンから出力された推定結果と入力画像のデータ構造に含まれる撮影部位や撮影領域についての情報を表示部20に表示させ、撮影条件取得部402が検者の指示に応じて、これらの撮影条件を決定してもよい。
なお、出力部405は、第1の実施形態と同様に、生成された高画質画像を撮影装置10や画像処理装置400に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第1の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やMAP推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
<第4の実施形態>
次に、図4、5、8及び9を参照して、第4の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が、入力画像を高画質化エンジンが対処可能な画像サイズになるように、入力画像を拡大又は縮小する。また、高画質化部は、高画質化エンジンからの出力画像を、出力画像の画像サイズが入力画像の画像サイズになるように縮小又は拡大して高画質画像を生成する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第1の実施形態に係る画像処理装置400と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第1の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第1の実施形態に係る画像処理装置の構成と同様であるため、図4に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る高画質化部404には、第1の実施形態に係る高画質化エンジンと同様の、高画質化エンジンが備えられている。ただし、本実施形態では、高画質化エンジンの学習に用いる教師データとして、入力データの画像及び出力データの画像を一定の画像サイズになるように拡大又は縮小した画像群により構成した、入力データと出力データのペア群を用いている。
ここで、図8を参照して、本実施形態に係る高画質化エンジンの教師データについて説明する。図8に示すように、例えば、教師データについて設定された一定の画像サイズより小さな低画質画像Im810と高画質画像Im820とがある場合を考える。この場合、教師データについて設定された一定の画像サイズとなるように、低画質画像Im810及び高画質画像Im820のそれぞれを拡大する。そして、拡大した低画質画像Im811と拡大した高画質画像Im821とをペアとして、当該ペアを教師データの一つとして用いる。
なお、第1の実施形態と同様に、教師データの入力データには、処理対象(入力画像)として想定される特定の撮影条件を持つ画像を用いるが、当該特定の撮影条件は、予め決定された撮影部位、撮影方式、及び撮影画角である。つまり、本実施形態に係る当該特定の撮影条件には、第1の実施形態と異なり、画像サイズは含まれない。
本実施形態に係る高画質化部404は、このような教師データで学習が行われた高画質化エンジンを用いて、入力画像を高画質化して高画質画像を生成する。この際、高画質化部404は、入力画像を教師データについて設定された一定の画像サイズになるように拡大又は縮小した変形画像を生成し、変形画像を高画質化エンジン入力する。また、高画質化部404は、高画質化エンジンからの出力画像を入力画像の画像サイズになるように縮小又は拡大し、高画質画像を生成する。このため、本実施形態に係る高画質化部404は、第1の実施形態では対処できなかった画像サイズの入力画像であっても、高画質化エンジンによって高画質化して高画質画像を生成することができる。
次に、図5及び9を参照して、本実施形態に係る一連の画像処理について説明する。図9は、本実施形態に係る高画質化処理のフロー図である。なお、本実施形態に係るステップS510、ステップS520、及びステップS550の処理は、第1の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、画像サイズ以外の撮影条件について無条件で高画質化する場合には、ステップS520の処理の後に、ステップS530の処理を省き、処理をステップS540に移行してよい。
ステップS520において、第1の実施形態と同様に、撮影条件取得部402が入力画像の撮影条件群を取得したら処理はステップS530に移行する。ステップS530では、高画質化可否判定部403が、取得された撮影条件群を用いて、高画質化部404に備える高画質化エンジンが入力画像を対処可能であるか否かを判定する。具体的には、高画質化可否判定部403は、入力画像の撮影条件について、高画質化エンジンが対処可能な、撮影部位、撮影方式、及び撮影画角であるか否かを判定する。高画質化可否判定部403は、第1の実施形態と異なり、画像サイズは判定しない。
高画質化可否判定部403が、撮影部位、撮影方式、及び撮影画角について判定し、入力画像が対処可能と判定された場合には、処理はステップS540に移行する。一方、高画質化可否判定部403が、これら撮影条件に基づいて、高画質化エンジンが入力画像を対処不可能であると判定した場合には、処理はステップS550に移行する。なお、画像処理装置400の設定や実装形態によっては、撮影部位、撮影方式、及び撮影画角のうちの一部に基づいて入力画像が処理不可能であると判定されたとしても、ステップS540における高画質化処理が実施されてもよい。
処理がステップS540に移行すると、図9に示される本実施形態に係る高画質化処理が開始される。本実施形態に係る高画質化処理では、まず、ステップS910において、高画質化部404が、入力画像を教師データについて設定された一定の画像サイズに拡大又は縮小し、変形画像を生成する。
次に、ステップS920において、高画質化部404は、生成した変形画像を高画質化エンジンに入力し高画質化された高画質な変形画像を取得する。
その後、ステップS930において、高画質化部404は、高画質な変形画像を入力画像の画像サイズに縮小又は拡大し、高画質画像を生成する。高画質化部404がステップS930において高画質画像を生成したら、本実施形態に係る高画質化処理は終了し、処理はステップS550に移行する。ステップS550の処理は、第1の実施形態のステップS550と同様であるため説明を省略する。
上記のように、本実施形態に係る高画質化部404は、入力画像の画像サイズを、高画質化エンジンが対処可能な画像サイズに調整して高画質化エンジンに入力する。また、高画質化部404は、高画質化エンジンからの出力画像を入力画像の元の画像サイズに調整することで高画質画像を生成する。これにより、本実施形態の画像処理装置400は、高画質化エンジンを用いて、第1の実施形態では対処できなかった画像サイズの入力画像についても高画質化して、画像診断に適切な高画質画像を生成することができる。
なお、出力部405は、第1の実施形態と同様に、生成された高画質画像を撮影装置10や画像処理装置400に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第1の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やMAP推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
<第5の実施形態>
次に、図4、5、10及び11を参照して、第5の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が、高画質化エンジンによる一定の解像度を基準とした高画質化処理により高画質画像を生成する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第1の実施形態に係る画像処理装置400と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第1の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第1の実施形態に係る画像処理装置の構成と同様であるため、図4に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る高画質化部404には、第1の実施形態と同様の、高画質化エンジンが備えられている。ただし、本実施形態では、高画質化エンジンの学習に用いる教師データが第1の実施形態における教師データと異なる。具体的には、教師データの入力データと出力データとのペア群を構成する画像群の解像度が一定の解像度となるような画像サイズに当該画像群を拡大又は縮小した後、十分に大きい一定の画像サイズとなるようにパディングしている。ここで、画像群の解像度とは、例えば、撮影装置の空間分解能や撮影領域に対する解像度をいう。
ここで、図10を参照して、本実施形態に係る高画質化エンジンの教師データについて説明する。図10に示すように、例えば、教師データについて設定された一定の解像度より低い解像度を持つ低画質画像Im1010と高画質画像Im1020とがある場合を考える。この場合、教師データについて設定された一定の解像度となるように、低画質画像Im1010と高画質画像Im1020のそれぞれを拡大する。さらに、拡大された低画質画像Im1010と高画質画像Im1020のそれぞれについて、教師データについて設定された一定の画像サイズとなるようにパディングする。そして、拡大及びパディングが行われた低画質画像Im1011と高画質画像Im1021とをペアとし、当該ペアを教師データの一つとして用いる。
なお、教師データについて設定された一定の画像サイズとは、処理対象(入力画像)として想定される画像を一定の解像度となるように拡大又は縮小したときの最大となりうる画像サイズである。当該一定の画像サイズが十分に大きくない場合には、高画質化エンジンに入力された画像を拡大したときに、機械学習モデルが対処不可能な画像サイズとなる可能性がある。
また、パディングが行われる領域は、効果的に高画質化できるように機械学習モデルの特性に合わせて、一定の画素値で埋めたり、近傍画素値で埋めたり、ミラーパディングしたりする。なお、第1の実施形態と同様に、入力データには、処理対象として想定される特定の撮影条件を持つ画像を用いるが、当該特定の撮影条件は、予め決定された撮影部位、撮影方式、撮影画角である。つまり、本実施形態に係る当該特定の撮影条件には、第1の実施形態と異なり、画像サイズは含まれない。
本実施形態に係る高画質化部404は、このような教師データで学習が行われた高画質化エンジンを用いて、入力画像を高画質化して高画質画像を生成する。この際、高画質化部404は、入力画像を教師データについて設定された一定の解像度になるように拡大又は縮小した変形画像を生成する。また、高画質化部404は、変形画像について、教師データについて設定された一定の画像サイズとなるようにパディングを行ってパディング画像を生成し、パディング画像を高画質化エンジン入力する。
また、高画質化部404は、高画質化エンジンから出力された高画質なパディング画像について、パディングを行った領域分だけトリミングし、高画質な変形画像を生成する。その後、高画質化部404は、生成した高画質な変形画像を入力画像の画像サイズになるように縮小又は拡大し、高画質画像を生成する。
このため、本実施形態に係る高画質化部404は、第1の実施形態では対処できなかった画像サイズの入力画像であっても、高画質化エンジンによって高画質化して高画質画像を生成することができる。
次に、図5及び11を参照して、本実施形態に係る一連の画像処理について説明する。図11は、本実施形態に係る高画質化処理のフロー図である。なお、本実施形態に係るステップS510、ステップS520、及びステップS550の処理は、第1の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、画像サイズ以外の撮影条件について無条件で高画質化する場合には、ステップS520の処理の後に、ステップS530の処理を省き、処理をステップS540に移行してよい。
ステップS520において、第1の実施形態と同様に、撮影条件取得部402が入力画像の撮影条件群を取得したら、処理はステップS530に移行する。ステップS530では、高画質化可否判定部403が、取得された撮影条件群を用いて、高画質化部404に備える高画質化エンジンが入力画像を対処可能であるか否かを判定する。具体的には、高画質化可否判定部403は、入力画像の撮影条件について、高画質化エンジンが対処可能な、撮影部位、撮影方式、及び撮影画角であるか否かを判定する。高画質化可否判定部403は、第1の実施形態と異なり、画像サイズは判定しない。
高画質化可否判定部403が、撮影部位、撮影方式、及び撮影画角について判定し、入力画像が対処可能と判定された場合には、処理はステップS540に移行する。一方、高画質化可否判定部403が、これら撮影条件に基づいて、高画質化エンジンが入力画像を対処不可能であると判定した場合には、処理はステップS550に移行する。なお、画像処理装置400の設定や実装形態によっては、撮影部位、撮影方式、及び撮影画角のうちの一部に基づいて入力画像が処理不可能であると判定されたとしても、ステップS540における高画質化処理が実施されてもよい。
処理がステップS540に移行すると、図11に示される本実施形態に係る高画質化処理が開始される。本実施形態に係る高画質化処理では、まず、ステップS1110において、高画質化部404が、入力画像を教師データについて設定された一定の解像度となるように拡大又は縮小し、変形画像を生成する。
次に、ステップS1120において、高画質化部404は、生成した変形画像について、教師データについて設定された画像サイズとなるように、パディングを行ってパディング画像を生成する。この際、高画質化部404は、パディングを行う領域について、効果的に高画質化できるように機械学習モデルの特性に合わせて、一定の画素値で埋めたり、近傍画素値で埋めたり、ミラーパディングしたりする。
ステップS1130では、高画質化部404がパディング画像を高画質化エンジンに入力し高画質化された高画質なパディング画像を取得する。
次に、ステップS1140において、高画質化部404は、高画質なパディング画像について、ステップS1120でパディングを行った領域分だけトリミングを行い、高画質な変形画像を生成する。
その後、ステップS1150において、高画質化部404は、高画質な変形画像を入力画像の画像サイズに縮小又は拡大し、高画質画像を生成する。高画質化部404がステップS1130において高画質画像を生成したら、本実施形態に係る高画質化処理は終了し、処理はステップS550に移行する。ステップS550の処理は、第1の実施形態のステップS550と同様であるため説明を省略する。
上記のように、本実施形態による高画質化部404は、入力画像の解像度が所定の解像度となるように、入力画像の画像サイズを調整する。また、高画質化部404は、画像サイズが調整された入力画像について、調整された画像サイズが高画質化エンジンによって対処可能な画像サイズとなるように、パディングを行ったパディング画像を生成し、パディング画像を高画質化エンジンに入力する。その後、高画質化部404は、高画質化エンジンからの出力画像について、パディングを行った領域分だけトリミングを行う。そして、高画質化部404は、トリミングが行われた画像の画像サイズを、入力画像の元の画像サイズに調整することで高画質画像を生成する。
これにより、本実施形態の高画質化部404は、第1の実施形態では対処できなかった画像サイズの入力画像であっても、高画質化エンジンによって高画質化して高画質画像を生成することができる。また、解像度を基準とした教師データで学習した高画質化エンジンを用いることで、単純に同一な画像サイズの画像を処理する第4の実施形態に係る高画質化エンジンよりも、効率よく入力画像を高画質化できる場合がある。
なお、出力部405は、第1の実施形態と同様に、生成された高画質画像を撮影装置10や画像処理装置400に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第1の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やMAP推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
<第6の実施形態>
次に、図4、5、12及び13を参照して、第6の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が、入力画像を一定の画像サイズの領域毎に高画質化することにより高画質画像を生成する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第1の実施形態に係る画像処理装置400と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第1の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第1の実施形態に係る画像処理装置の構成と同様であるため、図4に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る高画質化部404には、第1の実施形態と同様の、高画質化エンジンが備えられている。ただし、本実施形態では、高画質化エンジンの学習に用いる教師データが第1の実施形態における教師データと異なる。具体的には、教師データを構成する、低画質画像である入力データと高画質画像である出力データとのペア群を、低画質画像及び高画質画像における、位置関係が対応する一定の画像サイズの矩形領域画像によって構成している。なお、矩形領域は、部分領域の一例であり、矩形である必要はなく、どのような形状であってもよい。
ここで、図12を参照して、本実施形態に係る高画質化エンジンの教師データについて説明する。図12に示すように、教師データを構成するペア群の一つに、例えば、低画質画像である元画像Im1210と、高画質画像である重ね合わせ画像Im1220があるとした場合を考える。この場合、第1の実施形態においては、教師データの入力データをIm1210、出力データをIm1220とした。
これに対し、本実施形態においては、元画像Im1210のうちの矩形領域画像R1211を入力データとし、重ね合わせ画像Im1220において矩形領域画像R1211と同じ撮影領域である矩形領域画像R1221を出力データとする。そして、入力データである矩形領域画像R1211と出力データである矩形領域画像R1221によって教師データのペア(以下、第1の矩形領域画像ペア)を構成する。ここで、矩形領域画像R1211と矩形領域画像R1221は、一定の画像サイズの画像とされる。なお、元画像Im1210と重ね合わせ画像Im1220は任意の方法により位置合わせされてよい。また、矩形領域画像R1211と矩形領域画像R1221の対応する位置関係はテンプレートマッチングなどの任意の方法によって特定されてよい。なお、高画質化エンジンの設計によっては、入力データと出力データの、それぞれの画像サイズや次元数は異なっていてもよい。例えば、処理対象がOCTの画像である場合に、入力データがBスキャン画像(二次元画像)の一部であるとき、出力データがAスキャン画像(一次元画像)の一部であってもよい。
矩形領域画像R1211,R1221に関する一定の画像サイズは、例えば、処理対象(入力画像)として想定される画像の画像サイズ群について、対応する各次元の画素数群の公約数から決定することができる。この場合には、高画質化エンジンが出力する矩形領域画像群の位置関係が重なることを防ぐことができる。具体的に、例えば、処理対象として想定される画像が二次元画像であり、画像サイズ群のうちの第1の画像サイズが幅500画素、高さ500画素であり、第2の画像サイズが幅100画素、高さ100画素である場合を考える。ここで、各辺の公約数から、矩形領域画像R1211,R1221に関する一定の画像サイズを選択する。この場合には、例えば、一定の画像サイズを、幅100画素、高さ100画素や、幅50画素、高さ50画素や、幅25画素、高さ25画素等から選択する。
処理対象として想定される画像が三次元である場合には、幅、高さ、奥行きに関して画素数を決定する。なお、矩形領域は、入力データに対応する低画質画像と出力データに対応する高画質画像のペアの一つに対して、複数設定可能である。このため、例えば、元画像Im1210のうちの矩形領域画像R1212を入力データ、重ね合わせ画像Im1220において矩形領域画像R1212と同じ撮影領域である矩形領域画像R1222を出力データとする。そして、入力データである矩形領域画像R1212と出力データである矩形領域画像R1222によって教師データのペアを構成する。これにより、第1の矩形領域画像ペアとは別の矩形領域画像ペアを作成できる。
なお、矩形領域の画像を異なる座標の画像に変えながら多数の矩形領域画像のペアを作成することで教師データを構成するペア群を充実させることができ、当該教師ペアを用いて学習を行った高画質化エンジンによって効率的な高画質化が期待できる。ただし、機械学習モデルの高画質化に寄与しないペアは教師データに加えないようにすることができる。例えば、ペアを構成する出力データである高画質画像から作成した矩形領域画像が診断に適さない画質である場合には、そのような教師データを用いて学習を行った高画質化エンジンが出力する画像も画像診断に適さない画質になってしまう可能性がある。そのため、そのような高画質画像を含むペアを教師データから取り除くことができる。
また、例えば、ペアである、低画質画像から作成した矩形領域画像と高画質画像から作成した矩形領域画像の平均輝度や輝度分布が大きく異なる場合も、そのようなペアを教師データから取り除くことができる。そのような教師データを用いて学習を行うと、高画質化エンジンが入力画像と大きく異なる輝度分布を持つ画像診断に適さない画像を出力してしまう可能性がある。
さらに、例えば、ペアである、低画質画像から作成した矩形領域画像と高画質画像から作成した矩形領域画像とに描画される撮影対象の構造や位置が大きく異なる場合を考える。この場合には、そのような教師データを用いて学習を行った高画質化エンジンが入力画像と大きく異なる構造や位置に撮影対象を描画した画像診断に適さない画像を出力してしまう可能性がある。そのため、このようなペアを教師データから取り除くこともできる。
なお、第1の実施形態と同様に、教師データの入力データには、処理対象として想定される特定の撮影条件を持つ画像を用いるが、当該特定の撮影条件は、予め決定された撮影部位、撮影方式、及び撮影画角である。つまり、本実施形態に係る当該特定の撮影条件には、第1の実施形態と異なり、画像サイズは含まれない。
本実施形態に係る高画質化部404は、このような教師データで学習が行われた高画質化エンジンを用いて、入力画像を高画質化して高画質画像を生成する。この際、高画質化部404は、入力された画像を、隙間なく連続する、教師データについて設定された一定の画像サイズの矩形領域画像群に分割する。高画質化部404は、分割した矩形領域画像群のそれぞれを高画質化エンジンにより高画質化し、高画質な矩形領域画像群を生成する。その後、高画質化部404は、生成した高画質な矩形領域画像群を、入力画像の位置関係に応じて配置して結合し、高画質画像を生成する。ここで、学習時には、ペア画像である入力データと出力データとの互いの位置関係が対応していれば、それぞれの矩形領域を低画質画像及び高画質画像における任意の場所から切り出して(抽出して)もよい。一方、高画質化時には、入力画像を隙間なく連続する矩形領域画像群に分割してもよい。また、学習時の各ペア画像の画像サイズと、高画質化時の各矩形領域画像の画像サイズとが互いが対応する(例えば、同一となる)ように設定されてもよい。これらにより、学習効率を上げつつ、無駄な計算や足りない所が出てくると画像にならないという問題が生じないようにすることができる。
このように、本実施形態の高画質化部404は、入力された画像を矩形領域単位で高画質化し、高画質化した画像を結合することで、第1の実施形態では対処できなかった画像サイズの画像をも高画質化して高画質画像を生成することができる。
次に、図5、13及び14を参照して、本実施形態に係る一連の画像処理について説明する。図13は、本実施形態に係る高画質化処理のフロー図である。なお、本実施形態に係るステップS510、ステップS520、及びステップS550の処理は、第1の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、画像サイズ以外の撮影条件について無条件で高画質化する場合には、ステップS520の処理の後に、ステップS530の処理を省き、処理をステップS540に移行してよい。
ステップS520において、第1の実施形態と同様に、撮影条件取得部402が入力画像の撮影条件群を取得したら、処理はステップS530に移行する。ステップS530では、高画質化可否判定部403が、取得された撮影条件群を用いて、高画質化部404に備える高画質化エンジンが入力画像を対処可能であるか否かを判定する。具体的には、高画質化可否判定部403は、入力画像の撮影条件について、高画質化エンジンが対処可能な、撮影部位、撮影方式、及び撮影画角であるか否かを判定する。高画質化可否判定部403は、第1の実施形態と異なり、画像サイズは判定しない。
高画質化可否判定部403が、撮影部位、撮影方式、及び撮影画角について判定し、入力画像が対処可能と判定された場合には、処理はステップS540に移行する。一方、高画質化可否判定部403が、これら撮影条件に基づいて、高画質化エンジンが入力画像を対処不可能であると判定した場合には、処理はステップS550に移行する。なお、画像処理装置400の設定や実装形態によっては、撮影部位、撮影方式、及び撮影画角のうちの一部に基づいて入力画像が処理不可能であると判定されたとしても、ステップS540における高画質化処理が実施されてもよい。
処理がステップS540に移行すると、図13に示される本実施形態に係る高画質化処理が開始される。これについて図14を用いて説明をする。本実施形態に係る高画質化処理では、まず、ステップS1310において、図14(a)に示すように、入力画像を隙間なく連続する、教師データについて設定された一定の画像サイズ(R1411に示すサイズ)の矩形領域画像群に分割する。ここで、図14(a)は、入力画像Im1410を一定の画像サイズの矩形領域画像R1411~R1426群に分割した一例を示す。なお、上述のよぅに、高画質化エンジンの設計によっては、高画質化エンジンの入力画像と出力画像の、それぞれの画像サイズや次元数が異なってもよい。この場合には、ステップS1320において生成される結合された高画質画像に欠損が無いように、入力画像の分割位置を重複させたり、分離させたりして、調整することができる。図14(b)には分割位置を重複させる例を示す。図14(b)において、R1411’、R1412’が重複した領域を示している。煩雑になるため図示はしないが、R1413~R1426においても同様な重複領域R1413’~R1426’を持つものとする。なお、図14(b)の場合の教師データについて設定される矩形領域サイズは、R1411’に示すサイズである。入力画像Im1410の画像外部の周辺(上下左右端)においてはデータが存在しないため、一定の画素値で埋めたり、近傍画素値で埋めたり、ミラーパディングしたりする。また、高画質化エンジンによっては、フィルタ処理により画像内部の周辺(上下左右端)では、高画質化の精度が低下する場合がある。そのため、図14(b)のように分割位置を重複して矩形領域画像を設定し、最終的な画像としては矩形領域画像の一部をトリミングして合成するようにしてもよい。高画質化エンジンの特性に応じて、矩形領域のサイズを設定する。なお、図14(a)、(b)にはOCTの断層画像を例示したが、図14(c)、(d)に示すように入力画像(Im1450)はOCTAのEn-Face画像のような正面画像でもよく、同様の処理が可能である。なお、矩形領域画像のサイズは、対象とする画像や高画質化エンジンの種類に応じて適切に設定を行う。
次に、ステップS1320において、高画質化部404は、矩形領域画像R1411~R1426群、あるいは重複領域を設定している場合は矩形領域画像R1411’~R1426’群のそれぞれを高画質化エンジンにより高画質化し、高画質な矩形領域画像群を生成する。
そして、ステップS1330において、高画質化部404は、生成した高画質な矩形領域画像群のそれぞれを、入力画像について分割した矩形領域画像R1411~R1426群のそれぞれと同様の位置関係に配置して結合し、高画質画像を生成する。重複領域を設定している場合には、矩形領域画像R1411’~R1426’それぞれと同様の位置関係に配置した後に矩形領域画像R1411~R1426を切り出して結合し、高画質画像を生成する。なお、重複領域を利用して矩形領域画像R1411’~R1426’の輝度値を補正するようにしてもよい。例えば、基準とする矩形領域画像を任意に設定する。そして、基準矩形画像と重複する領域のある隣接矩形画像において、同じ座標点の輝度値を計測することで、隣接画像間における輝度値の差(比率)が分かる。同様に、全ての画像においても重複領域における輝度値の差(比率)を求めることで、全体として輝度値のムラを無くすように補正を行うことが可能となる。なお、輝度値補正に重複領域を全て利用する必要はなく、重複領域の一部(周辺部数ピクセル)は使用しなくてもよい。
上記のように、本実施形態に係る高画質化部404は、入力画像を所定の画像サイズの複数の矩形領域画像(第3の画像)R1411~R1426に分割する。その後、高画質化部404は、分割した複数の矩形領域画像R1411~R1426を高画質化エンジンに入力して複数の第4の画像を生成し、複数の第4の画像を統合することで、高画質画像を生成する。なお、統合時に矩形領域群間で位置関係が重なる場合には、該矩形領域群の画素値群を統合したり、上書きしたりすることができる。
これにより、本実施形態の高画質化部404は、第1の実施形態では対処できなかった画像サイズの入力画像であっても、高画質化エンジンによって高画質化して高画質画像を生成することができる。また、教師データを、低画質画像及び高画質画像を所定の画像サイズに分割した複数の画像から作成すると、少ない画像から多くの教師データを作成することができる。そのため、この場合には、教師データを作成するための低画質画像及び高画質画像の数を少なくすることができる。
なお、出力部405は、第1の実施形態と同様に、生成された高画質画像を撮影装置10や画像処理装置400に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第1の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やMAP推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
<第7の実施形態>
次に、図15~17を参照して、第7の実施形態に係る画像処理装置について説明する。本実施形態では、画質評価部が、検者の指示に応じて、複数の高画質化エンジンから出力された複数の高画質画像のうち最も高画質な画像を選択する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第1の実施形態に係る画像処理装置400と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第1の実施形態に係る画像処理装置との違いを中心として説明する。
図15は、本実施形態に係る画像処理装置1500の概略的な構成を示す。本実施形態に係る画像処理装置1500には、取得部401、撮影条件取得部402、高画質化可否判定部403、高画質化部404、及び出力部405に加えて、画質評価部1506が設けられている。なお、画像処理装置1500は、これら構成要素のうちの一部が設けられた複数の装置で構成されてもよい。ここで、取得部401、撮影条件取得部402、高画質化可否判定部403、高画質化部404、及び出力部405は、第1の実施形態に係る画像処理装置の構成と同様であるため、図4に示す構成について同一の参照符号を用いて示し、説明を省略する。
また、画像処理装置1500は、第1の実施形態に係る画像処理装置400と同様に撮影装置10、表示部20及び不図示の他の装置と、任意の回路やネットワークを介して接続されてよい。また、これらの装置は、他の任意の装置と回路やネットワークを介して接続されてもよいし、他の任意の装置と一体的に構成されてもよい。なお、これらの装置は本実施形態では別個の装置とされているが、これらの装置の一部又は全部を一体的に構成してもよい。
本実施形態に係る高画質化部404には、それぞれ異なる教師データを用いて機械学習が行われた二つ以上の高画質化エンジンが備えられている。ここで、本実施形態に係る教師データ群の作成方法について説明する。具体的には、まず、様々な撮影条件によって撮影された、低画質画像である入力データと高画質画像である出力データのペア群を用意する。次に、任意の撮影条件の組み合わせによってペア群をグルーピングすることで、教師データ群を作成する。例えば、第1の撮影条件の組み合わせによって取得されたペア群で構成される第1の教師データ、第2の撮影条件の組み合わせによって取得されたペア群で構成される第2の教師データというように、教師データ群として作成する。
その後、各教師データを用いて別々の高画質化エンジンに機械学習を行わせる。例えば、第1の教師データでトレーニングされた機械学習モデルに対応する第1の高画質化エンジン、第1の教師データでトレーニングされた機械学習モデルに対応する第1の高画質化エンジンというように高画質化エンジン群を用意する。
このような高画質化エンジンは、それぞれ対応する機械学習モデルのトレーニングに用いた教師データが異なるため、高画質化エンジンに入力される画像の撮影条件によって、入力画像を高画質化できる程度が異なる。具体的には、第1の高画質化エンジンは、第1の撮影条件の組み合わせで撮影して取得された入力画像に対しては高画質化の程度が高く、第2の撮影条件の組み合わせで撮影して取得された画像に対しては高画質化の程度が低い。同様に、第2の高画質化エンジンは、第2の撮影条件で撮影して取得された入力画像に対しては高画質化の程度が高く、第1の撮影条件で撮影して取得された画像に対しては高画質化の程度が低い。
教師データのそれぞれが撮影条件の組み合わせによってグルーピングされたペア群で構成されることにより、該ペア群を構成する画像群の画質傾向が似る。このため、高画質化エンジンは対応する撮影条件の組み合わせであれば、第1の実施形態に係る高画像化エンジンよりも効果的に高画質化を行うことができる。なお、教師データのペアをグルーピングするための撮影条件の組み合わせは、任意であってよく、例えば、撮影部位、撮影画角、及び画像の解像度のうちの二つ以上の組み合わせであってよい。また、教師データのグルーピングを、第2の実施形態と同様に、一つの撮影条件に基づいて行ってもよい。
画質評価部1506は、高画質化部404が、複数の高画質化エンジンを用いて生成した複数の高画質画像について、検者の指示に応じて、最も画質の高い高画質画像を選択する。
出力部405は、画質評価部1506が選択した高画質画像を表示部20に表示させたり、他の装置に出力したりすることができる。なお、出力部405は、高画質化部404が生成した複数の高画質画像を表示部20に表示させることができ、画質評価部1506は、表示部20を確認した検者からの指示に応じて最も画質の高い高画質画像を選択することができる。
これにより、画像処理装置1500は、複数の高画質化エンジンを用いて生成された複数の高画質画像のうち、検者の指示に応じた最も画質の高い高画質画像を出力することができる。
以下、図16及び17を参照して、本実施形態に係る一連の画像処理について説明する。図16は、本実施形態に係る一連の画像処理のフロー図である。なお、本実施形態に係るステップS1610及びステップS1620の処理は、第1の実施形態におけるステップS510及びステップS520での処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップS1620の処理の後に、ステップS1630の処理を省き、処理をステップS1640に移行してよい。
ステップS1620において、第1の実施形態と同様に、撮影条件取得部402が入力画像の撮影条件群を取得したら、処理はステップS1630に移行する。ステップS1630では、高画質化可否判定部403が、第2の実施形態と同様に、取得された撮影条件群を用いて、高画質化部404に備える高画質化エンジンのいずれかが入力画像を対処可能であるか否かを判定する。
高画質化可否判定部403が、高画質化エンジン群のいずれも入力画像を対処不可能であると判定した場合には、処理はステップS1660に移行する。一方で、高画質化可否判定部403が、高画質化エンジン群のいずれかが入力画像を対処可能であると判定した場合には、処理はステップS1640に移行する。なお、画像処理装置400の設定や実装形態によっては、第1の実施形態と同様に、高画質化エンジンによって一部の撮影条件が対処不可能であると判定されたとしても、ステップS1640を実施してもよい。
ステップS1640においては、高画質化部404が、高画質化エンジン群のそれぞれにステップS1610において取得した入力画像を入力し、高画質画像群を生成する。
ステップS1650では、画質評価部1506が、ステップS1640において生成された高画質画像群のうち最も高画質な画像を選択する。具体的には、まず、出力部405が、ステップS1640で生成された高画質画像群を、表示部20のユーザーインターフェースに表示させる。
ここで、図17に当該インターフェースの一例を示す。当該インターフェースには、入力画像Im1710、及び高画質化エンジン群のそれぞれが出力した高画質画像Im1720,Im1730,Im1740,Im1750のそれぞれが表示される。検者は不図示の任意の入力装置を操作して、画像群(高画質画像Im1720~Im1750)のうち、最も高画質、つまり、最も画像診断に適した画像を指示する。なお、高画質化エンジンによって高画質化していない入力画像の方が、画像診断に適している可能性もあるので、検者による指示の対象となる画像群に入力画像を加えてもよい。
その後、画質評価部1506は、検者によって指示された高画質画像を最も高画質な画像として選択する。
ステップS1660においては、出力部405が、ステップS1650において選択された画像を表示部20に表示させたり、他の装置に出力したりする。ただし、ステップS1630において、入力画像が処理不可能であると判定されている場合には、出力部405は、入力画像を出力画像として出力する。なお、出力部405は、検者によって入力画像が指示された場合や、入力画像が処理不可能であった場合には、表示部20に出力画像が入力画像と同じであることを表示させてもよい。
上記のように、本実施形態に係る高画質化部404は、複数の高画質化エンジンを用いて、入力画像から複数の高画質画像を生成し、画像処理装置1500の出力部405は、検者の指示に応じて、複数の高画質画像のうち少なくとも一つの画像を出力する。特に、本実施形態では、出力部405は、検者の指示に応じて、最も高画質な画像を出力する。これにより、画像処理装置1500は、複数の高画質化エンジンを用いて生成された複数の高画質画像のうち、検者の指示に応じた画質の高い高画質画像を出力することができる。
なお、出力部405は、第1の実施形態と同様に、生成された高画質画像を撮影装置10や画像処理装置1500に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第1の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やMAP推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
<第8の実施形態>
次に、図15及び16を参照して、第8の実施形態に係る画像処理装置について説明する。本実施形態では、画質評価部が、画質評価エンジンを用いて、複数の高画質化エンジンから出力された複数の高画質画像のうち最も高画質な画像を選択する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第7の実施形態に係る画像処理装置1500と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第7の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第7の実施形態に係る画像処理装置の構成と同様であるため、図15に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る画質評価部1506には、入力された画像の画質を評価する画質評価エンジンが備えられている。画質評価エンジンは入力された画像に対する画質評価指数を出力する。本実施形態に係る画質評価エンジンにおいて画質評価指数を算出する画質評価処理手法は、機械学習アルゴリズムを用いて構築した機械学習モデルを用いる。機械学習モデルをトレーニングする教師データを構成するペアの入力データは、事前に様々な撮影条件によって撮影された低画質画像群と高画質画像群とで構成される画像群である。また、機械学習モデルをトレーニングする教師データを構成するペアの出力データは、例えば、画像診断を行う検者が入力データの画像群のそれぞれについて設定した画質評価指数群である。
次に図16を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップS1610、ステップS1620、ステップS1630、及びステップS1660の処理は、第7の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップS1620の処理の後に、ステップS1630の処理を省き、処理をステップS1640に移行してよい。
ステップS1630において、第7の実施形態と同様に、高画質化可否判定部403が、高画質化エンジン群のいずれかが入力画像を対処可能であると判定した場合には、処理はステップS1640に移行する。なお、画像処理装置400の設定や実装形態によっては、第1の実施形態と同様に、高画質化エンジンによって一部の撮影条件が対処不可能であると判定されたとしても、ステップS1640を実施してもよい。
ステップS1640においては、高画質化部404が、高画質化エンジン群のそれぞれにステップS1610において取得した入力画像を入力し、高画質画像群を生成する。
ステップS1650では、画質評価部1506が、ステップS1640において生成された高画質画像群のうち最も高画質な画像を選択する。具体的には、まず、画質評価部1506が、ステップS1640で生成された高画質画像群を、画質評価エンジンに入力する。画質評価エンジンは、入力された各高画質画像について、学習に基づいて、画質評価指数を算出する。画質評価部1506は、算出された画質評価指数のうち最も高い画質評価指数が算出された高画質画像を選択する。なお、高画質化エンジンによって高画質化していない入力画像の方が、画像診断に適している可能性もあるので、画質評価部1506は、画質評価エンジンに入力画像も入力し、入力画像に対する画質評価指数も選択に加えてもよい。ステップS1660は、第7の実施形態のステップS1660と同様であるため説明を省略する。
上記のように、本実施形態に係る画像処理装置1500は、高画質画像の画質を評価する画質評価部1506を更に備える。高画質化部404は、複数の高画質化エンジンを用いて、入力画像から複数の高画質画像を生成し、画像処理装置1500の出力部405は、画質評価部1506による評価結果に応じて、複数の高画質画像のうち少なくとも一つの画像を出力する。特に、本実施形態に係る画質評価部1506は、所定の評価手法による評価値を学習データとした画質評価エンジンを含む。画質評価部1506は、複数の高画質画像のうち、画質評価部1506による画質評価エンジンを用いた評価の結果が最も高い高画質画像を選択する。出力部405は、画質評価部1506によって選択された最も評価値が高い高画質画像を出力する。
これにより、本実施形態に係る画像処理装置1500では、画質評価エンジンの出力に基づいて、複数の高画質画像から最も画像診断に適した高画質画像を容易に出力することができる。
なお、本実施形態では、画質評価部1506が画質評価エンジンによって出力される画質評価指数のうち最も高い画質評価指数の高画質画像を選択し、出力部405が選択された高画質画像を表示部20に表示させた。しかしながら、画質評価部1506の構成はこれに限られない。例えば、画質評価部1506は画質評価エンジンによって出力される画質評価指数のうち上位いくつかの画質評価指数の高画質画像を選択し、出力部405が選択された高画質画像を表示部20に表示させてもよい。また、出力部405が、画質評価エンジンによって出力された画質評価指数を対応する高画質画像とともに表示部20に表示させ、画質評価部1506が検者の指示に応じて、最も高画質な画像を選択してもよい。
なお、出力部405は、第1の実施形態と同様に、生成された高画質画像を撮影装置10や画像処理装置1500に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第1の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やMAP推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
<第9の実施形態>
次に、図18及び19を参照して、第9の実施形態に係る画像処理装置について説明する。本実施形態では、真贋評価部が、真贋評価エンジンを用いて、高画質化部404によって生成された高画質画像が十分に高画質化されたものであるか否かを評価する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第1の実施形態に係る画像処理装置400と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第1の実施形態に係る画像処理装置との違いを中心として説明する。
図18は、本実施形態に係る画像処理装置1800の概略的な構成を示す。本実施形態に係る画像処理装置1800には、取得部401、撮影条件取得部402、高画質化可否判定部403、高画質化部404、及び出力部405に加えて、真贋評価部1807が設けられている。なお、画像処理装置1800は、これら構成要素のうちの一部が設けられた複数の装置で構成されてもよい。ここで、取得部401、撮影条件取得部402、高画質化可否判定部403、高画質化部404、及び出力部405は、第1の実施形態に係る画像処理装置の構成と同様であるため、図4に示す構成について同一の参照符号を用いて示し、説明を省略する。
また、画像処理装置1800は、第1の実施形態に係る画像処理装置400と同様に撮影装置10、表示部20及び不図示の他の装置と、任意の回路やネットワークを介して接続されてよい。また、これらの装置は、他の任意の装置と回路やネットワークを介して接続されてもよいし、他の任意の装置と一体的に構成されてもよい。なお、これらの装置は本実施形態では別個の装置とされているが、これらの装置の一部又は全部を一体的に構成してもよい。
真贋評価部1807には、真贋評価エンジンが備えられている。真贋評価部1807は、真贋評価エンジンを用いて、高画質化エンジンが生成した高画質画像が十分に高画質化されているか否かを評価する。本実施形態に係る真贋評価エンジンにおける真贋評価処理手法は、機械学習アルゴリズムを用いて構築した機械学習モデルを用いる。
機械学習モデルをトレーニングする教師データには、事前に様々な撮影条件によって撮影された高画質画像群と対象の撮影装置によって撮影され取得されたことを表すラベル(以下、真作ラベル)とのペア群が含まれる。また、教師データには、高画質化の精度の悪い高画質化エンジンに低画質画像を入力して生成した高画質画像群と対象の撮影装置によって撮影され取得されていないことを表すラベル(以下、贋作ラベル)とのペア群が含まれる。
このような教師データを用いて学習が行われた真贋評価エンジンは、入力された画像に対し、確実に撮影装置によって撮影され取得された画像か否かを評価できるわけではないが、撮影装置によって撮影され取得された画像らしさを持つ画像か否かを評価できる。この特性を利用して、真贋評価部1807は、真贋評価エンジンに高画質化部404が生成した高画質画像を入力することで、高画質化部404が生成した高画質画像が十分に高画質化されているか否かを評価できる。
出力部405は、真贋評価部1807によって高画質化部404が生成した高画質画像が十分に高画質化されていると判断されたら、当該高画質画像を表示部20に表示させる。一方、出力部405は、真贋評価部1807によって、高画質化部404が生成した高画質画像が十分に高画質化されていないと判断されたら、入力画像を表示部20に表示させる。なお、出力部405は、入力画像を表示させる際に、高画質化部404によって生成された高画質画像が十分に高画質化されなかったことや表示されている画像が入力画像であることを表示部20に表示させることができる。
以下、図19を参照して、本実施形態に係る一連の画像処理について説明する。図19は、本実施形態に係る一連の画像処理のフロー図である。なお、本実施形態に係るステップS1910~ステップS1940の処理は、第1の実施形態におけるステップS510~ステップS540での処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップS1920の処理の後に、ステップS1930の処理を省き、処理をステップS1940に移行してよい。
ステップS1940において、高画質化部404が高画質画像群を生成したら、処理はステップS1950に移行する。ステップS1950では、真贋評価部1807が、ステップS1940において生成された高画質画像を真贋評価エンジンに入力し、真贋評価エンジンの出力に基づいて真贋評価を行う。具体的には、真贋評価部1807は、真贋評価エンジンから真作ラベル(真)が出力された場合には、生成された高画質画像が十分に高画質化されていると評価する。一方、真贋評価エンジンから贋作ラベル(偽)が出力された場合には、真贋評価部1807は、生成された高画質画像が十分に高画質化されていないと評価する。
ステップS1960においては、出力部405が、真贋評価部1807によって高画質化部404が生成した高画質画像が十分に高画質化されていると判断されたら、当該高画質画像を表示部20に表示させる。一方、出力部405は、真贋評価部1807によって、高画質化部404が生成した高画質画像が十分に高画質化されていないと判断されたら、入力画像を表示部20に表示させる。
上記のように、本実施形態に係る画像処理装置1800は、高画質画像の画質を評価する真贋評価部1807を更に備え、真贋評価部1807は画像の真贋を評価する真贋評価エンジンを含む。真贋評価エンジンは、高画質化部404の高画質化エンジンよりも高画質化処理の精度が低い(悪い)高画質化エンジンによって生成された画像を学習データとした機械学習エンジンを含む。画像処理装置1800の出力部405は、真贋評価部の真贋評価エンジンからの出力が真である場合に、高画質画像を出力する。
これにより、本実施形態に係る画像処理装置1800では、検者は十分に高画質化された高画質画像を効率よく確認することができる。
また、高画質化エンジンの機械学習モデルと真贋評価エンジンの機械学習モデルとを協調させてトレーニングすることによって、双方のエンジンの効率や精度を向上させてもよい。
なお、本実施形態では、高画質化部404が一つの高画質画像を生成し、真贋評価部1807が生成された一つの高画質画像について評価を行う構成としたが、真贋評価部1807の評価はこれに限られない。例えば、第2の実施形態のように、高画質化部404が複数の高画質化エンジンを用いて複数の高画質画像を生成する場合には、真贋評価部1807が生成された複数の高画質画像の少なくとも一つについて評価を行う構成としてもよい。この場合、例えば真贋評価部1807は、生成された複数の高画質画像の全てについて評価を行ってもよいし、複数の高画質画像のうち検者によって指示された画像のみについて評価を行ってもよい。
さらに、出力部405は、真贋評価部1807による高画質画像が十分に高画質化されているか否かの判断結果を表示部20に表示させ、検者の指示に応じて、高画質画像を出力してもよい。
なお、出力部405は、第1の実施形態と同様に、生成された高画質画像を撮影装置10や画像処理装置1800に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第1の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やMAP推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
<第10の実施形態>
次に、図4及び5を参照して、第10の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が三次元の入力画像を複数の二次元画像に分割して高画質化エンジンに入力し、高画質化エンジンからの出力画像を結合することで三次元の高画質画像を生成する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第1の実施形態に係る画像処理装置400と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第1の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第1の実施形態に係る画像処理装置の構成と同様であるため、図4に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る取得部401は、構造的に連続する二次元画像群で構成された、三次元画像を取得する。具体的には、三次元画像は、例えば、OCTのBスキャン像(断層画像)群で構成された三次元OCTボリューム画像である。また、例えば、アキシャル断層像群で構成された三次元CTボリューム画像である。
高画質化部404には、第1の実施形態と同様に、高画質化エンジンが備えられている。なお、高画質化エンジンの教師データである入力データと出力データのペア群は二次元画像の画像群により構成されている。高画質化部404は、取得された三次元画像を複数の二次元画像に分割し、二次元画像毎に高画質化エンジンに入力する。これにより、高画質化部404は、複数の二次元の高画質画像を生成することができる。
出力部405は、高画質化部404によって、三次元画像の各二次元画像について生成された複数の二次元の高画質画像を結合し、三次元の高画質画像を出力する。
次に、図5を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップS510~ステップS530、及びステップS550の処理は、第1の実施形態におけるこれらの処理と同様であるため、説明を省略する。ただし、ステップS510では、取得部401は三次元画像を取得する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップS520の処理の後に、ステップS530の処理を省き、処理をステップS540に移行してよい。
ステップS530において、高画質化可否判定部403が、高画質化エンジンによって入力画像を対処可能と判定した場合には、処理はステップS540に移行する。なお、高画質化可否判定部403は、三次元画像の撮影条件に基づいて当該判定を行ってもよいし、三次元画像を構成する複数の二次元画像に関する撮影条件に基づいて当該判定を行ってもよい。ステップS540では、高画質化部404が、取得された三次元画像を複数の二次元画像に分割する。高画質化部404は、分割した複数の二次元画像のそれぞれを高画質化エンジンに入力し、複数の二次元の高画質画像を生成する。高画質化部404は、取得した三次元画像に基づいて、生成した複数の二次元の高画質画像を結合し、三次元の高画質画像を生成する。
ステップS550では、出力部405は、生成された三次元の高画質画像を表示部20に表示させる。なお、三次元の高画質画像の表示態様は任意であってよい。
上記のように、本実施形態に係る高画質化部404は、三次元の入力画像を複数の二次元の画像に分割して高画質化エンジンに入力する。高画質化部404は、高画質化エンジンから出力された複数の二次元の高画質画像を結合し、三次元の高画質画像を生成する。
これにより、本実施形態に係る高画質化部404は、二次元画像の教師データを用いて学習が行われた高画質化エンジンを用いて、三次元画像を高画質化することができる。
なお、出力部405は、第1の実施形態と同様に、生成された高画質画像を撮影装置10や画像処理装置400に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第1の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やMAP推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
<第11の実施形態>
次に、図4及び5を参照して、第11の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が三次元の入力画像を複数の二次元画像に分割し、複数の二次元画像を複数の高画質化エンジンによって並列に高画質化し、高画質化エンジンからの出力画像を結合することで三次元の高画質画像を生成する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第10の実施形態に係る画像処理装置400と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第10の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第1及び10の実施形態に係る画像処理装置の構成と同様であるため、図4に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る高画質化部404には、第10の実施形態と同様の高画質化エンジンが、複数備えられている。なお、高画質化部404に備えられた複数の高画質化エンジン群は、回路やネットワークを介して、二つ以上の装置群に分散処理可能なように実装されていてもよいし、単一の装置に実装されていてもよい。
高画質化部404は、第10の実施形態と同様に、取得された三次元画像を複数の二次元画像に分割する。高画質化部404は、複数の二次元画像を複数の高画質化エンジンを用いて、分担して(並列的に)高画質化を行い、複数の二次元の高画質画像を生成する。高画質化部404は、複数の高画質化エンジンから出力された複数の二次元の高画質画像を、処理対象である三次元画像に基づいて結合し、三次元の高画質画像を生成する。
次に、図5を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップS510~ステップS530、及びステップS550の処理は、第10の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップS520の処理の後に、ステップS530の処理を省き、処理をステップS540に移行してよい。
ステップS530において、高画質化可否判定部403が、高画質化エンジンによって入力画像を対処可能と判定した場合には、処理はステップS540に移行する。なお、高画質化可否判定部403は、三次元画像の撮影条件に基づいて当該判定を行ってもよいし、三次元画像を構成する複数の二次元画像に関する撮影条件に基づいて当該判定を行ってもよい。
ステップS540では、高画質化部404が、取得された三次元画像を複数の二次元画像に分割する。高画質化部404は、分割した複数の二次元画像のそれぞれを複数の高画質化エンジンに入力し、並列的に高画質化処理して、複数の二次元の高画質画像を生成する。高画質化部404は、取得した三次元画像に基づいて、生成した複数の二次元の高画質画像を結合し、三次元の高画質画像を生成する。
ステップS550では、出力部405は、生成された三次元の高画質画像を表示部20に表示させる。なお、三次元の高画質画像の表示態様は任意であってよい。
上記のように、本実施形態に係る高画質化部404は、複数の高画質化エンジンを含む。高画質化部404は、三次元の入力画像を複数の二次元の画像に分割し、複数の高画質化エンジンを並列的に用いて、複数の二次元の高画質画像を生成する。高画質化部404は複数の二次元の高画質画像を統合することで、三次元の高画質画像を生成する。
これにより、本実施形態に係る高画質化部404は、二次元画像の教師データを用いて学習が行われた高画質化エンジンを用いて、三次元画像を高画質化することができる。また、第10の実施形態と比べて、より効率的に三次元画像を高画質化することができる。
なお、複数の高画質化エンジンの教師データは、各高画質化エンジンで処理を行う処理対象に応じて異なる教師データであってもよい。例えば、第1の高画質化エンジンは第1の撮影領域についての教師データで学習を行い、第2の高画質化エンジンは第2の撮影領域についての教師データで学習を行ってもよい。この場合には、それぞれの高画質化エンジンが、より精度良く二次元画像の高画質化を行うことができる。
また、出力部405は、第1の実施形態と同様に、生成された高画質画像を撮影装置10や画像処理装置400に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第1の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やMAP推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
<第12の実施形態>
次に、図5及び20を参照して、第12の実施形態に係る画像処理装置について説明する。本実施形態では、取得部401が撮影装置ではなく画像管理システム2000から入力画像を取得する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第1の実施形態に係る画像処理装置400と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第1の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は第1の実施形態に係る画像処理装置400の構成と同様であるため、図4に示す構成について同じ参照符号を用いて説明を省略する。
図20は、本実施形態に係る画像処理装置400の概略的な構成を示す。本実施形態に係る画像処理装置400は画像管理システム2000、及び表示部20と任意の回路やネットワークを介して接続されている。画像管理システム2000は、任意の撮影装置によって撮影された画像や画像処理された画像を受信して保存する装置及びシステムである。また、画像管理システム2000は、接続された装置の要求に応じて画像を送信したり、保存された画像に対して画像処理を行ったり、画像処理の要求を他の装置に要求したりすることができる。画像管理システムとしては、例えば、画像保存通信システム(PACS)を含むことができる。
本実施形態に係る取得部401は、画像処理装置400に接続される画像管理システム2000から入力画像を取得することができる。また、出力部405は、高画質化部404によって生成された高画質画像を、画像管理システム2000に出力することができる。
次に、図5を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップS520~ステップS540の処理は、第1の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップS520の処理の後に、ステップS530の処理を省き、処理をステップS540に移行してよい。
ステップS510において、取得部401は、回路やネットワークを介して接続された画像管理システム2000から、画像管理システム2000が保存している画像を入力画像として取得する。なお、取得部401は、画像管理システム2000からの要求に応じて、入力画像を取得してもよい。このような要求は、例えば、画像管理システム2000が画像を保存した時や、保存した画像を他の装置に送信する前、保存された画像を表示部20に表示する時に発行されてよい。また、当該要求は、例えば、画像管理システム2000を利用者が操作して高画質化処理の要求を行った時や、画像管理システム2000が備える画像解析機能に高画質画像を利用する時等に発行されてよい。
ステップS520~ステップS540の処理は、第1の実施形態における処理と同様である。ステップS540において高画質化部404が高画質画像を生成したら、処理はステップS550に移行する。ステップS550において、出力部405は、ステップS540において高画質画像が生成されていれば、該高画質画像を画像管理システム2000に出力画像として出力する。ステップS540において高画質画像が生成されていなければ、上記入力画像を画像管理システム2000に出力画像として出力する。なお、出力部405は、画像処理装置400の設定や実装によっては、出力画像を画像管理システム2000が利用可能なように加工したり、出力画像のデータ形式を変換したりしてもよい。
上記のように、本実施形態に係る取得部401は、画像管理システム2000から入力画像を取得する。このため、本実施形態の画像処理装置400は、画像管理システム2000が保存している画像を元に、画像診断に適した高画質画像を、撮影者や被検者の侵襲性を高めたり、労力を増したりすることなく出力することができる。また、出力された高画質画像は画像管理システム2000に保存されたり、画像管理システム2000が備えるユーザーインターフェースに表示されたりすることができる。また、出力された高画質画像は、画像管理システム2000が備える画像解析機能に利用されたり、画像管理システム2000に接続された他の装置に画像管理システム2000を介して送信されたりすることができる。
なお、画像処理装置400や画像管理システム2000、表示部20は、不図示の他の装置と回路やネットワークを介して接続されていてもよい。また、これらの装置は本実施形態では別個の装置とされているが、これらの装置の一部又は全部を一体的に構成してもよい。
また、出力部405は、第1の実施形態と同様に、生成された高画質画像を画像管理システム2000や画像処理装置400に接続される他の装置に出力してもよい。
<第13の実施形態>
次に、図4、5、21A、及び21Bを参照して、第13の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が複数の画像を入力画像とし、一枚の高画質画像を生成する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第1の実施形態に係る画像処理装置400と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第1の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第1の実施形態に係る画像処理装置の構成と同様であるため、図4に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る取得部401は、撮影装置10や他の装置から、処理対象である入力データとして、複数の画像を取得する。
本実施形態に係る高画質化部404には、第1の実施形態と同様の、高画質化エンジンが備えられている。また、教師データも第1の実施形態と同様であってよい。高画質化部404は、取得部401で取得された複数の画像のそれぞれを高画質化エンジンに入力し、出力された複数の高画質画像を重ね合わせ処理して、最終的な高画質画像を生成する。なお、高画質化部404は、複数の高画質画像を重ね合わせ処理する前に、任意の手法により複数の高画質画像を位置合わせしてよい。
出力部405は、高画質化部404が生成した最終的な高画質画像を表示部20に表示させる。なお、出力部405は、最終的な高画質画像とともに、複数の入力画像を表示部20に表示させてもよい。また、出力部405は、生成された複数の高画質画像を最終的な高画質画像や入力画像とともに表示部20に表示してもよい。
次に、図5及び図21Aを参照して、本実施形態に係る一連の画像処理について説明する。図21Aは本実施形態に係る高画質化処理のフロー図である。なお、本実施形態に係るステップS510~ステップS530の処理は、第1の実施形態におけるこれらの処理と同様であるため、説明を省略する。
ただし、ステップS510では、取得部401は複数の画像を取得し、ステップS520及びS530では、複数の画像のそれぞれについて、撮影条件が取得されるとともに、高画質化エンジンによって対処可能か否かが判断される。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップS520の処理の後に、ステップS530の処理を省き、処理をステップS540に移行してよい。また、複数の画像の一部の画像が、高画質化エンジンによって対処不可能であると判断された場合には、当該画像を以降の処理から除外することができる。
ステップS530において、高画質化可否判定部403が、複数の入力画像について高画質化エンジンによって対処可能と判定した場合には、処理はステップS540に移行する。処理がステップS540に移行すると、図21Aに示される本実施形態に係る高画質化処理が開始される。本実施形態に係る高画質化処理では、まず、ステップS2110において、高画質化部404が、複数の入力画像のそれぞれを高画質化エンジンに入力し、高画質画像群を生成する。
次に、ステップS2120では、高画質化部404は、生成した高画質画像群を重ね合わせ処理して最終的な一枚の高画質画像を生成する。なお、重ね合わせ処理は加算平均等平均化の処理やその他の既存の任意の処理によって行われてよい。また、重ね合わせに際しては、高画質化部404は複数の高画質画像を任意の手法により位置合わせした上で重ね合わせしてよい。高画質化部404が最終的な高画質画像を生成したら、処理はステップS550に移行する。
ステップS550では、出力部405が生成された最終的な高画質画像を表示部20に表示させる。
上記のように、本実施形態に係る高画質化部404は、複数の入力画像から一つの最終的な高画質画像を生成する。高画質化エンジンによる高画質化は入力画像に基づくため、例えば、病変部等が、ある入力画像において適切に表示されていない場合、当該入力画像を高画質化した高画質画像では低い画素値となってしまう。一方で、同一箇所を撮影した他の入力画像では病変部等が適切に表示されており、当該他の入力画像を高画質化した高画質画像では高い画素値となっている場合もある。そこで、これらの高画質画像を重ね合わせることで、当該低い又は高い画素値となっている箇所を適切に表示できるようになり、高コントラストな高画質画像を生成することができる。なお、入力画像の数は、従来の重ね合わせに必要な枚数よりも少ない数とすることで、従来のような撮影時間の長期化等の代償をより少なくすることができる。
なお、当該作用については、例えば、OCTA等のモーションコントラストデータを用いた入力画像を用いる場合に顕著となる。
モーションコントラストデータは、撮影対象の同一箇所を繰り返し撮影した時間間隔における、撮影対象の時間的な変化を検出したものであるため、例えば、ある時間間隔では撮影対象の動きについて僅かな動きしか検出できない場合がある。これに対して、別の時間間隔撮影を行った場合には、撮影対象の動きをより大きな動きとして検出できる場合もある。そのため、それぞれの場合のモーションコントラスト画像を高画質化した画像を重ね合わせることで、特定のタイミングでは生じていなかった又は僅かにしか検出されていなかったモーションコントラストを補間することができる。そのため、このような処理によれば、撮影対象のより多くの動きについてコントラスト強調が行われたモーションコントラスト画像を生成することができ、検者は、撮影対象のより正確な状態を把握することができる。
従って、OCTA画像のように時間的に変化している箇所を描出する画像を入力画像として用いる場合には、異なる時間で取得した高画質画像を重ね合わせることによって、被検者の所定部位をより詳細に画像化することができる。
なお、本実施形態では、複数の入力画像からそれぞれ高画質画像を生成し、高画質画像を重ね合わせることで、最終的な一枚の高画質画像を生成したが、複数の入力画像から一枚の高画質画像を生成する方法はこれに限られない。例えば、図21Bに示す本実施形態の高画質化処理の別例では、ステップS540において高画質化処理が開始されると、ステップS2130において、高画質化部404が入力画像群を重ね合わせし、一枚の重ね合わせされた入力画像を生成する。
その後、ステップS2140において、高画質化部404が、一枚の重ね合わされた入力画像を高画質化エンジンに入力し、一枚の高画質画像を生成する。このような、高画質化処理であっても、上述の高画質化処理と同様に、複数の入力画像について低い又は高い画素値となっている箇所を適切に表示できるようになり、高コントラストな高画質画像を生成することができる。当該処理も、上記OCTA画像等のモーションコントラスト画像を入力画像とした場合に、顕著な作用を奏することができる。
なお、当該高画質処理を行う場合には、高画質化エンジンの教師データの入力データとして、処理対象とされる複数の入力画像と同数の入力画像の重ね合わせ画像を用いる。これにより、高画質化エンジンにより適切な高画質化処理を行うことができる。
また、本実施形態による高画質化処理及び上述の別の高画質化処理について、高画質画像群又は入力画像群を組み合わせる処理は、重ね合わせに限られない。例えば、これらの画像群にMAP推定処理を適用することで一枚の画像を生成してもよい。また、高画質画像群又は入力画像群を合成して一枚の画像を生成してもよい。
高画質画像群又は入力画像群を合成して一枚の画像を生成する場合としては、例えば、入力画像として高輝度領域について広い階調を有する画像と低輝度領域に広い階調を有する画像を用いる場合がある。この場合には、例えば、高輝度領域について広い階調を有する画像を高画質化した画像と、低輝度領域について広い階調を有する画像を高画質化した画像とを合成する。これにより、より広い明るさの幅(ダイナミックレンジ)を表現できる画像を生成することができる。なお、この場合には、高画質化エンジンの教師データの入力データは、処理対象とされる、高輝度領域について広い階調を有する画像や低輝度領域について広い階調を有する低画質画像とすることができる。また、高画質化エンジンの教師データの出力データは、入力データに対応する高画質画像とすることができる。
また、高輝度領域について広い階調を有する画像と、低輝度領域について広い階調を有する画像とを合成し、合成した画像を高画質化エンジンによって高画質化してもよい。この場合にも、より広い明るさの幅を表現できる画像を生成することができる。なお、この場合には、高画質化エンジンの教師データの入力データは、処理対象とされる、高輝度領域について広い階調を有する低画質画像と低輝度領域について広い階調を有する低画質画像を合成した画像とすることができる。また、高画質化エンジンの教師データの出力データは、入力データに対応する高画質画像とすることができる。
これらの場合には、高画質化エンジンを用いて、より広い明るさの幅を表現できる画像を高画質化することができ、従来と比べてより少ない枚数の画像等で処理を行うことができ、より少ない代償で、画像解析に適した画像を提供することができる。
なお、高輝度領域について広い階調を有する画像と、低輝度領域について広い階調を有する画像の撮影方法としては、撮影装置の露光時間をより短く又はより長くする等の、任意の方法を採用してよい。また、階調の幅の分け方は、低輝度領域及び高輝度領域に限られず、任意であってよい。
また、本実施形態に係る高画質化処理において、複数の高画質化エンジンを用いて、複数の入力画像を並列的に処理してもよい。なお、出力部405は、第1の実施形態と同様に、生成された高画質画像を撮影装置10や画像処理装置400に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第1の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やMAP推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
<第14の実施形態>
次に、図4及び5を参照して、第14の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が複数の低画質画像から生成された中画質画像を入力画像とし、高画質画像を生成する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第1の実施形態に係る画像処理装置400と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第1の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第1の実施形態に係る画像処理装置の構成と同様であるため、図4に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る取得部401は、撮影装置10や他の装置から、処理対象である入力データとして、複数の低画質画像を重ね合わせ処理した中画質画像を取得する。なお、低画質画像の重ね合わせに際しては、任意の位置合わせ処理が行われてよい。
本実施形態に係る高画質化部404には、第1の実施形態と同様の、高画質化エンジンが備えられている。ただし、本実施形態の高画質化エンジンは、中程度の画質である中画質画像を入力し、高画質画像を出力するように設計されている。中画質画像とは複数の低画質画像群を重ね合わせして生成された重ね合わせ画像である。また、高画質画像は中画質画像よりも高画質な画像である。また、高画質化エンジンのトレーニングに用いられた教師データを構成するペア群についても、各ペアを構成する入力データは中画質画像と同様にして生成された中画質画像であり、出力データは高画質画像である。
出力部405は、高画質化部404が生成した高画質画像を表示部20に表示させる。なお、出力部405は、高画質画像とともに、入力画像を表示部20に表示させてもよく、この場合に、出力部405は、入力画像が複数の低画質画像から生成された画像であることを表示部20に表示してもよい。
次に、図5を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップS520~ステップS550の処理は、第1の実施形態におけるこれらの処理と同様であるため、説明を省略する。
ステップS510においては、取得部401は、撮影装置10や他の装置から、入力画像として中画質画像を取得する。なお、取得部401は撮影装置10からの要求に応じて、撮影装置10が生成した中画質画像を入力画像として取得してもよい。このような要求は、例えば、撮影装置10が画像を生成した時、撮影装置10が生成した画像を撮影装置10が備える記録装置に保存する前や保存した後、保存された画像を表示部20に表示する時、画像解析処理に高画質画像を利用する時等に発行されてよい。
以降の処理は、第1の実施形態における処理と同様であるため、説明を省略する。
上記のように、本実施形態に係る取得部401は、被検者の所定部位の複数の画像を用いて生成された画像である中画質画像を入力画像として取得する。この場合、入力画像がより明瞭な画像となるため、高画質化エンジンは高画質画像をより精度良く生成することができる。なお、中画質画像を生成するために用いる低画質画像の枚数は、従来の重ね合わせ画像を生成するために用いられる画像の枚数より少なくてよい。
なお、中画質画像は、複数の低画質画像を重ね合わせた画像に限られず、例えば、複数の低画質画像にMAP推定処理を適用した画像でもよいし、複数の低画質画像を合成した画像であってもよい。複数の低画質画像を合成する場合には、それぞれの画像の階調が異なっている画像同士を合成してもよい。
また、出力部405は、第1の実施形態と同様に、生成された高画質画像を撮影装置10や画像処理装置400に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第1の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やMAP推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
<第15の実施形態>
次に、図4及び5を参照して、第15の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が第1の実施形態等に係る高画質化とともに入力画像の高画像サイズ化(高サイズ化)を行う。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第1の実施形態に係る画像処理装置400と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第1の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第1の実施形態に係る画像処理装置の構成と同様であるため、図4に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る取得部401は、入力画像として低画像サイズの画像(低サイズ画像)を取得する。なお、低サイズ画像とは、後述する高画質化エンジンによって出力される高画像サイズの画像(高サイズ画像)よりも、画像を構成する画素数が少ない画像である。具体的には、例えば、高サイズ画像の画像サイズが幅1024画素、高さ1024画素、奥行き1024画素の場合に、低サイズ画像の画像サイズが512画素、高さ512画素、奥行き512画素である場合等である。これに関連して、本明細書における、高画像サイズ化とは、一画像あたりの画素数を増加させ、画像サイズを拡大する処理をいう。
本実施形態に係る高画質化部404には、第1の実施形態と同様に、高画質化エンジンが備えられている。ただし、本実施形態の高画質化エンジンは、入力画像についてノイズ低減やコントラスト強調するとともに、入力画像の画像サイズを高画像サイズ化するように構成されている。そのため、本実施形態の高画質化エンジンは、低サイズ画像を入力し、高サイズ画像を出力するように構成されている。
これに関連して、高画質化エンジンの教師データを構成するペア群について、各ペアを構成する入力データは低サイズ画像であり、出力データは高サイズ画像である。なお、出力データ用として用いる高サイズ画像は、低サイズ画像を取得した撮影装置よりも高性能な装置から取得したり、撮影装置の設定を変更することによって取得したりすることができる。また、高サイズ画像群が既にある場合には、当該高サイズ画像群を撮影装置10からの取得が想定される画像の画像サイズに縮小することで、入力データとして用いる低サイズ画像群を取得してもよい。また、高サイズ画像については、第1の実施形態等と同様に低サイズ画像を重ね合わせたものが用いられる。
なお、本実施形態に係る高画質化部404による入力画像の画像サイズの拡大については、教師データとして撮影装置10よりも高性能な装置から取得したり、撮影装置10の設定を変更したりすることで取得しているため、単純な画像の拡大とは異なる。具体的には、本実施形態に係る高画質化部404による入力画像の画像サイズの拡大処理は、単純に画像を拡大した場合と比べ、解像度の劣化を低減することができる。
このような構成により、本実施形態に係る高画質化部404は、入力画像に対して、ノイズ低減やコントラスト強調がなされるとともに高画像サイズ化された高画質画像を生成することができる。
次に、図5を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップS520、ステップS530、及びステップS550の処理は、第1の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップS520の処理の後に、ステップS530の処理を省き、処理をステップS540に移行してよい。
ステップS510において、取得部401は、撮影装置10や他の装置から、処理対象である入力データとして、低サイズ画像を取得する。なお、取得部401は撮影装置10からの要求に応じて、撮影装置10が生成した低サイズ画像を入力画像として取得してもよい。このような要求は、例えば、撮影装置10が画像を生成した時、撮影装置10が生成した画像を撮影装置10が備える記録装置に保存する前や保存した後、保存された画像を表示部20に表示する時、画像解析処理に高画質画像を利用する時等に発行されてよい。
ステップS520及びステップS530の処理は第1の実施形態での処理と同様であるため説明を省略する。ステップS540では、高画質化部404が、入力画像を高画質化エンジンに入力し、高画質画像としてノイズ低減やコントラスト強調がなされるとともに高画像サイズ化された画像を生成する。以降の処理は、第1の実施形態と同様であるため説明を省略する。
上記のように、本実施形態に係る高画質化部404は、入力画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされるとともに、画像サイズの拡大がなされた高画質画像を生成する。これにより、本実施形態に係る画像処理装置400は、画像診断に適した高画質画像を、撮影者や被検者の侵襲性を高めたり、労力を増したりすることなく出力することができる。
なお、本実施形態では、一つの高画質化エンジンにより、第1の実施形態等による高画質化処理と高分解能化の処理を行った高画質画像を生成したが、これらの処理を行う構成はこれに限られない。例えば、高画質化部は、第1の実施形態等による高画質化処理を行う高画質化エンジン及び高画像サイズ化処理を行う別の高画質化エンジンを備えてもよい。
この場合には、第1の実施形態等に係る高画質化処理を行う高画質化エンジンは第1の実施形態等に係る高画質化エンジンと同様に学習を行った機械学習モデルを用いることができる。また、高画像サイズ化処理を行う高画質化エンジンの教師データの入力データとしては、第1の実施形態等に係る高画質化エンジンが生成した高画質画像を用いる。また、当該高画質化エンジンの教師データの出力データとしては、高性能な撮影装置で取得された画像について第1の実施形態等に係る高画質化エンジンが生成した高画質画像を用いる。これにより、高画像サイズ化処理を行う高画質化エンジンは、第1の実施形態等に係る高画質化処理を行った高画質画像について高画像サイズ化した最終的な高画質画像を生成することができる。
また、当該高画質化エンジンによる高画像サイズ化処理を、第1の実施形態等に係る高画化処理エンジンによる高画質化処理の前に行ってもよい。この場合には、高画像サイズ化処理を行う高画質化エンジンについての教師データは、撮影装置で取得した低サイズ画像である入力データと高サイズ画像である出力データのペア群により構成する。また、第1の実施形態等に係る高画質化処理を行う高画質化エンジンの教師データとしては、高サイズ画像を入力データと、高サイズ画像を重ね合わせした画像を出力データのペア群により構成する。
このような構成によっても、画像処理装置400は、入力画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされるとともに、画像サイズの拡大がなされた画像を高画質画像として生成することができる。
なお、本実施形態では、第1の実施形態等に係る高画質化処理について、重ね合わせ画像を教師データの出力データとして用いる構成について述べたが、第1の実施形態と同様に当該出力データはこれに限られない。すなわち、重ね合わせ処理やMAP推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
なお、出力部405は、第1の実施形態と同様に、生成された高画質画像を撮影装置10や画像処理装置400に接続される他の装置に出力してもよい。
<第16の実施形態>
次に、図4及び5を参照して、第16の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が第1の実施形態等に係る高画質化とともに高空間分解能化を行う。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第1の実施形態に係る画像処理装置400と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第1の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第1の実施形態に係る画像処理装置の構成と同様であるため、図4に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る取得部401は、入力画像として低空間分解能画像を取得する。なお、低空間分解能画像とは、高画質化部404が出力する高空間分解能画像よりも、空間分解能が低い画像である。
高画質化部404には、第1の実施形態と同様に、高画質化エンジンが備えられている。ただし、本実施形態の高画質化エンジンは、入力画像についてノイズ低減やコントラスト強調するとともに、入力画像の空間分解能を高空間分解能化するように構成されている。そのため、本実施形態に係る高画質化エンジンは、低空間分解能画像を入力し、高空間分解能画像を出力するように構成されている。
これに関連して、高画質化エンジンの教師データを構成するペア群についても、各ペアを構成する入力データは低空間分解能画像であり、出力データは高空間分解能画像である。なお、高空間分解能画像は、低空間分解能画像を取得した撮影装置よりも高性能な装置から取得したり、撮影装置の設定を変更することによって取得したりすることができる。また、高空間分解能画像については、第1の実施形態等と同様に低空間分解能画像を重ね合わせたものが用いられる。
このような構成により、本実施形態に係る高画質化部404は、入力画像に対して、ノイズ低減やコントラスト強調がなされるとともに高空間分解能化された高画質画像を生成することができる。
次に、図5を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップS520、ステップS530、及びステップS550の処理は、第1の実施形態におけるこれらの処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップS520の処理の後に、ステップS530の処理を省き、処理をステップS540に移行してよい。
ステップS510において、取得部401は、撮影装置10や他の装置から、処理対象である入力データとして、低空間分解能画像を取得する。なお、取得部401は撮影装置10からの要求に応じて、撮影装置10が生成した低空間分解能画像を入力画像として取得してもよい。このような要求は、例えば、撮影装置10が画像を生成した時、撮影装置10が生成した画像を撮影装置10が備える記録装置に保存する前や保存した後、保存された画像を表示部20に表示する時、画像解析処理に高画質画像を利用する時等に発行されてよい。
ステップS520及びステップS530の処理は第1の実施形態での処理と同様であるため説明を省略する。ステップS540では、高画質化部404が、入力画像を高画質化エンジンに入力し、高画質画像としてノイズ低減やコントラスト強調がなされるとともに高空間分解能化された画像を生成する。以降の処理は、第1の実施形態と同様であるため説明を省略する。
上記のように、本実施形態に係る高画質化部404は、入力画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされるとともに、空間分解能が向上された画像を高画質画像として生成する。これにより、本実施形態に係る画像処理装置400は、画像診断に適した高画質画像を、撮影者や被検者の侵襲性を高めたり、労力を増したりすることなく出力することができる。
なお、本実施形態では、一つの高画質化エンジンにより、第1の実施形態等による高画質化処理と高分解能化の処理を行った高画質画像を生成したが、これらの処理を行う構成はこれに限られない。例えば、高画質化部は、第1の実施形態等による高画質化処理を行う高画質化エンジン及び高分解能化処理を行う別の高画質化エンジンを備えてもよい。
この場合には、第1の実施形態等に係る高画質化処理を行う高画質化エンジンは第1の実施形態等に係る高画質化エンジンと同様に学習を行った機械学習モデルを用いることができる。また、高分解能化処理を行う高画質化エンジンの教師データの入力データとしては、第1の実施形態等に係る高画質化エンジンが生成した高画質画像を用いる。また、当該高画質化エンジンの教師データの出力データとしては、高性能な撮影装置で取得された画像について第1の実施形態等に係る高画質化エンジンが生成した高画質画像を用いる。これにより、高空間分解能化処理を行う高画質化エンジンは、第1の実施形態等に係る高画質化処理を行った高画質画像について高空間分解能化した最終的な高画質画像を生成することができる。
また、当該高画質化エンジンによる高空間分解能化処理を、第1の実施形態等に係る高画化処理エンジンによる高画質化処理の前に行ってもよい。この場合には、高空間分解能化処理を行う高画質化エンジンについての教師データは、撮影装置で取得した低空間分解能画像である入力データと高空間分解能画像である出力データのペア群により構成する。また、第1の実施形態等に係る高画質化処理を行う高画質化エンジンの教師データとしては、高空間分解能画像を入力データと、高空間分解能画像を重ね合わせした画像を出力データのペア群により構成する。
このような構成によっても、画像処理装置400は、入力画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされるとともに、空間分解能が向上された画像を高画質画像として生成することができる。
なお、本実施形態では、第1の実施形態等に係る高画質化処理について、重ね合わせ画像を教師データの出力データとして用いる構成について述べたが、第1の実施形態と同様に当該出力データはこれに限られない。すなわち、重ね合わせ処理やMAP推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
また、高画質化部404は、高画質化エンジンを用いて、高空間分解能化処理に加えて第15の実施形態に係る高画質化処理を行ってもよい。この場合には、入力画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされるとともに、入力画像と比べて高画像サイズ化及び高空間分解能化された画像を高画質画像として生成することができる。これにより、本実施形態に係る画像処理装置400は、画像診断に適した高画質画像を、撮影者や被検者の侵襲性を高めたり、労力を増したりすることなく出力することができる。
なお、出力部405は、第1の実施形態と同様に、生成された高画質画像を撮影装置10や画像処理装置400に接続される他の装置に出力してもよい。
<第17の実施形態>
次に、図22及び23を参照して、第17の実施形態に係る画像処理装置について説明する。本実施形態では、解析部が高画質化部によって生成された高画質画像を画像解析する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第1の実施形態に係る画像処理装置400と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第1の実施形態に係る画像処理装置との違いを中心として説明する。
図22は、本実施形態に係る画像処理装置2200の概略的な構成を示す。本実施形態に係る画像処理装置2200には、取得部401、撮影条件取得部402、高画質化可否判定部403、高画質化部404、及び出力部405に加えて、解析部2208が設けられている。なお、画像処理装置2200は、これら構成要素のうちの一部が設けられた複数の装置で構成されてもよい。ここで、取得部401、撮影条件取得部402、高画質化可否判定部403、高画質化部404、及び出力部405は、第1の実施形態に係る画像処理装置の構成と同様であるため、図4に示す構成について同一の参照符号を用いて示し、説明を省略する。
解析部2208は、高画質化部404が生成した高画質画像に対して所定の画像解析処理を適用する。画像解析処理は、例えば、眼科分野では、OCTにより取得された画像に対する、網膜層のセグメンテーション、層厚計測、乳頭三次元形状解析、篩状板解析、OCTA画像の血管密度計測、及び角膜形状解析等の既存の任意の画像解析処理を含む。また、画像解析処理は眼科分野の解析処理に限られず、例えば、拡散テンソル解析やVBL(Voxel-based Morphometry)解析等の放射線分野における既存の任意の解析処理も含む。
出力部405は、高画質化部404によって生成された高画質画像を表示部20に表示させるとともに、解析部2208による画像解析処理の解析結果を表示させることができる。なお、出力部405は解析部2208による画像解析結果のみを表示部20に表示させてもよいし、当該画像解析結果を撮影装置10や画像管理システム、その他の装置等に出力してもよい。なお、解析結果の表示形態は、解析部2208で行った画像解析処理に応じて任意であってよく、例えば、画像、数値又は文字として表示されてもよい。
以下、図23を参照して、本実施形態に係る一連の画像処理について、OCTAのEn-Face画像を例として説明する。図23は、本実施形態に係る一連の画像処理のフロー図である。なお、本実施形態に係るステップS2310~ステップS2340の処理は、第1の実施形態におけるステップS510~ステップS540での処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップS2320の処理の後に、ステップS2330の処理を省き、処理をステップS2340に移行してよい。
ステップS2340において、高画質化部404はOCTAのEn-Face画像の高画質化を行い、処理はステップS2350に移行する。ステップS2350で、解析部2208が、ステップS2340において生成された高画質画像を画像解析する。高画質化したOCTAのEn-Face画像における画像解析としては、任意の2値化処理を適用することで、画像から血管相当の箇所(血管領域)を検出することが出来る。検出した血管相当の箇所が画像に対して占める割合を求めることで面積密度を解析することが出来る。また、2値化処理した血管相当の箇所を細線化することで、線幅1画素の画像とし、太さに依存しない血管が占める割合(スケルトン密度ともいう)を求めることも出来る。これらの画像を用いて、無血管領域(FAZ)の面積や形状(円形度など)を解析するようにしてもよい。解析の方法として、画像全体から上述した数値を計算するようにしてもよいし、不図示のユーザーインターフェースを用いて、検者(ユーザー)の指示に基づいて、指定された関心領域(ROI)に対して数値を計算するようにしてもよい。ROIの設定は必ずしも検者に指定されるだけではなく、自動的に所定の領域が指定されるものであってもよい。ここで、上述した各種パラメータは、血管に関する解析結果の一例であって、血管に関するパラメータであれば、何でも良い。なお、解析部2208は複数の画像解析処理を行ってもよい。すなわち、ここではOCTAのEn-Face画像に関して解析する例を示したが、これだけではなく、同時にOCTにより取得された画像に対する、網膜層のセグメンテーション、層厚計測、乳頭三次元形状解析、篩状板解析などを行ってもよい。これに関連して、解析部2208は、任意の入力装置を介した検者からの指示に応じて、複数の画像解析処理のうちの一部又は全部を行ってもよい。
ステップS2360では、出力部405が、高画質化部404によって生成された高画質画像及び解析部2208による解析結果を表示部20に表示させる。なお、出力部405は高画質画像及び解析結果を別々の表示部や装置に出力してもよい。また、出力部405は、解析結果のみを表示部20に表示させてもよい。さらに、解析部2208が複数の解析結果を出力する場合には、出力部405は、複数の解析結果の一部又は全部を表示部20やその他の装置に出力してもよい。例えば、OCTAのEn-Face画像における血管に関する解析結果を2次元マップとして表示部20に表示させてもよい。また、OCTAのEn-Face画像における血管に関する解析結果を示す値をOCTAのEn-Face画像に重畳して表示部20に表示させてもよい。
上記のように、本実施形態に係る画像処理装置2200は、高画質画像を画像解析する解析部2208を更に備え、出力部405は解析部2208による解析結果を表示部20に表示させる。このように、本実施形態に係る画像処理装置2200では、画像解析に高画質画像を用いるため、解析の精度を向上させることができる。
また、出力部405は、第1の実施形態と同様に、生成された高画質画像を撮影装置10や画像処理装置2200に接続される他の装置に出力してもよい。また、高画質化エンジンの教師データの出力データは、第1の実施形態と同様に、重ね合わせ処理を行った高画質画像に限られない。すなわち、重ね合わせ処理やMAP推定処理、平滑化フィルタ処理、階調変換処理、高性能な撮影装置を用いた撮影、高コストな処理、ノイズ低減処理といった処理群や撮影方法のうち、少なくとも一つを行うことによって得られた高画質画像を用いてもよい。
<第18の実施形態>
次に、図4を参照して、第18の実施形態に係る画像処理装置について説明する。本実施形態では、学習時の画像にノイズを付加しノイズ成分を学習することで高画質化部が高画質画像を生成する例について説明をする。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第1の実施形態に係る画像処理装置400と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第1の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第1の実施形態に係る画像処理装置の構成と同様であるため、図4に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る取得部401は、撮影装置10や他の装置から、処理対象である入力データとして画像を取得する。本実施形態に係る高画質化部におけるCNNの構成例として、図24を用いて説明をする。図24は、高画質化部404における機械学習モデル構成の一例を示している。図24で示す構成は、入力値群を加工して出力する処理を担う、複数の層群によって構成される。なお、前記構成に含まれる層の種類としては、図24に示すように、畳み込み(Convolution)層、ダウンサンプリング(Downsampling)層、アップサンプリング(Upsampling)層、合成(Merger)層がある。畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、前記フィルタのカーネルサイズの次元数も変更してもよい。ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理である。具体的には、例えば、Max Pooling処理がある。アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理である。具体的には、例えば、線形補間処理がある。合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。このような構成では、入力された画像Im2410を構成する画素値群が畳み込み処理ブロックを経て出力された値群と、入力された画像Im2410を構成する画素値群が、合成層で合成される。その後、合成された画素値群は最後の畳み込み層で高画質画像Im2420に成形される。なお、図示はしないが、CNNの構成の変更例として、例えば、畳み込み層の後にバッチ正規化(Batch Normalization)層や、正規化線形関数(Rectifier Linear Unit)を用いた活性化層を組み込む等をしても良い。
本実施形態の高画質化エンジンは、撮影装置10や他の装置から得た画像に第一のノイズ成分を付加した低画質画像を入力し、出力データとしては、撮影装置10や他の装置から得た画像に第二のノイズ成分を付加した画像を高画質画像としてトレーニングしている。すなわち、本実施形態の学習時の教師画像は、低画質画像と高画質画像とが共通の画像を用いており、それぞれの画像におけるノイズ成分が異なるものとなる。画像としては同じものを用いているため、ペア画像とする際の位置合わせは不要である。
ノイズ成分としては、ガウシアンノイズ、対象画像特有のノイズをモデル化したもの等をノイズとして付加する。ただし、第一と第二のノイズはそれぞれ異なるノイズとする。異なるノイズとは、ノイズを付加する空間的な場所(画素の位置)が異なる、あるいはノイズの値が異なるなどを意味する。対象画像特有のノイズとしては、例えばOCTの場合、模型眼や被検眼を置かない状態で撮影したデータを基にノイズを推定し、それらをノイズモデルとして使用することが出来る。OCTAの場合では、無血管領域(FAZ)の範囲に現れるノイズや、血液の流れを模式的に再現した模型眼を撮影した画像に現れるノイズを基に、ノイズモデルとして使用することが出来る。
ガウシアンノイズの場合は、ノイズの大きさとして標準偏差、あるいは分散値を定義し、それらの数値に基づいて画像にランダムにノイズを与える。ランダムノイズを与えた結果として、全体としての平均値は変わらないようにしてもよい。すなわち、1画像の各画素に付加されるノイズの平均値は0となるようにする。ここで、平均値は0となるようにする必要はなく、入力データと出力データとに対して互いに異なるパターンのノイズが付加できればよい。また、入力データと出力データとの両方にノイズを付加する必要はなく、いずれか一方にノイズを付加してもよい。ここで、ノイズを付加しない場合、例えば、高画質化後の画像では血管の偽像が生じる場合があったが、これは、高画質化前後の画像の差異が比較的大きい場合に生じると考えることも可能である。このため、高画質化前後の画像の差異が低減されるようにしてもよい。このとき、学習時において、低画質画像と高画質画像とに対して異なるパターンのノイズを付加して得た2つの画像をペア画像としてもよいし、また、高画質化画像に対して異なるパターンのノイズを付加して得た2つの画像をペア画像としてもよい。
出力部405は、高画質化部404が生成した高画質画像を表示部20に表示させる。なお、出力部405は、高画質画像とともに、入力画像を表示部20に表示させてもよい。
以降の処理は、第1の実施形態における処理と同様であるため、説明を省略する。
なお、本実施形態では、撮影装置10や他の装置から入手した低画質画像に第一のノイズ成分と第一のノイズ成分とは異なる第二のノイズ成分を付加した画像を用いて高画質画像を生成したが、これらの処理を行う構成はこれに限られない。例えば、ノイズを付加する画像は、第一の実施形態で示した重ね合わせ処理をした高画質画像に対して第一および第二のノイズ成分を付加するようにしてもよい。すなわち、重ね合わせ処理画像に第一のノイズ成分を付加した画像を低画質画像、重ね合わせ処理画像に第二のノイズ成分を付加した画像を高画質画像として学習する構成としてもよい。
さらには、本実施形態では、第一と第二のノイズ成分を用いて学習する例について説明したがこれに限らない。例えば、低画質画像とする方にのみ第一のノイズ成分を付加し、高画質画像とする方にはノイズ成分を付加せずに学習を行う構成としてもよい。その際の画像としては、撮影装置10や他の装置から入手した画像でも良いし、その画像を重ね合わせ処理した画像を対象とするようにしてもよい。
なお、本実施形態において、画像の撮影条件については明記しなかったが、様々な撮影範囲とスキャン数の異なる画像、異なる撮影部位や異なる深度の正面画像などを用いて学習をしておく。
上記では、撮影装置10や他の装置から入手した画像、その画像にノイズを付加したノイズ画像、重ね合わせ処理画像、重ね合わせ処理画像にノイズを付加した画像について説明をした。しかし、これらの組み合わせは上述したものに限らず、どのように低画質画像と高画質画像とを組み合わせてもよい。
<第19の実施形態>
次に、図25、26を参照して、第19の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が複数の高画質化エンジンを備え、入力画像に対して複数の高画質画像を生成する。そして、合成部2505が複数の高画質化エンジンから出力される複数の高画質画像を合成する例について説明をする。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第1の実施形態に係る画像処理装置400と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第1の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第1の実施形態に係る画像処理装置の構成と同様であるため、図4に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る取得部401は、撮影装置10や他の装置から、処理対象である入力データとして画像を取得する。
本実施形態に係る高画質化部404には、第2の実施形態と同様に複数の高画質化エンジンが備えられている。ここで、複数の高画質化エンジンの各々は、それぞれ撮影部位、撮影画角、異なる深度の正面画像、ノイズ成分、及び画像の解像度のうちの少なくとも一つについての異なる学習データを用いて学習を行ったものである。高画質化部404は、入力画像の撮影部位、撮影画角、異なる深度の正面画像、ノイズ成分、及び画像の解像度のうちの少なくとも一つに応じた高画質化エンジンを複数用いて、高画質画像を生成する。
図26は、本実施形態に係る一連の画像処理のフロー図である。なお、本実施形態に係るステップS2610及びステップS2620の処理は、第1の実施形態におけるステップS510及びステップS520での処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップS2620の処理の後に、ステップS2630の処理を省き、処理をステップS2640に移行してよい。
ステップS2620において、第1の実施形態と同様に、撮影条件取得部402が入力画像の撮影条件群を取得したら、処理はステップS2630に移行する。ステップS2630では、高画質化可否判定部403が、第2の実施形態と同様に、取得された撮影条件群を用いて、高画質化部404に備える高画質化エンジンのいずれかが入力画像を対処可能であるか否かを判定する。
高画質化可否判定部403が、高画質化エンジン群のいずれも入力画像を対処不可能であると判定した場合には、処理はステップS2660に移行する。一方で、高画質化可否判定部403が、高画質化エンジン群のいずれかが入力画像を対処可能であると判定した場合には、処理はステップS2640に移行する。なお、画像処理装置400の設定や実装形態によっては、第1の実施形態と同様に、高画質化エンジンによって一部の撮影条件が対処不可能であると判定されたとしても、ステップS2640を実施してもよい。
ステップS2640においては、高画質化部404が、高画質化エンジン群のそれぞれにステップS2610において取得した入力画像を入力し、高画質画像群を生成する。
ステップS2650では、合成部2405が、ステップS2640において生成された高画質画像群のうちいくつかの高画質な画像を合成する。具体的には、例えば、第1の実施形態で示したように撮影装置10から取得した低画質画像と、低画質画像を複数回撮影することにより取得した画像群に対して加算平均等の重ね合わせ処理をして得た高画質画像とのペア画像を用いて学習した第一の高画質化エンジンと、第18の実施形態で示したような画像にノイズを付加したペア画像を用いて学習した第二の高画質化エンジンとの2つの高画質画像の結果を合成する。合成方法としては、加算平均や重み付き加算平均などを用いて合成することが出来る。
ステップS2660においては、出力部405が、ステップS2650において合成された画像を表示部20に表示させたり、他の装置に出力したりする。ただし、ステップS2630において、入力画像が処理不可能であると判定されている場合には、出力部405は、入力画像を出力画像として出力する。なお、出力部405は、検者によって入力画像が指示された場合や、入力画像が処理不可能であった場合には、表示部20に出力画像が入力画像と同じであることを表示させてもよい。
<第20の実施形態>
次に、図4を参照して、第20の実施形態に係る画像処理装置について説明する。本実施形態では、高画質化部が第一の高画質化エンジンの出力結果を用いて第二の高画質化エンジンが高画質化画像を生成する例について説明をする。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第1の実施形態に係る画像処理装置400と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第1の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第1の実施形態に係る画像処理装置の構成と同様であるため、図4に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る取得部401は、撮影装置10や他の装置から、処理対象である入力データとして画像を取得する。
本実施形態に係る高画質化部404には、第1の実施形態と同様の、高画質化エンジンが複数備えられている。本実施形態の高画質化部は、撮影装置10や他の装置から入力データとして取得した低画質画像と、複数の低画質画像から生成された中画質画像を出力データとして学習した第一の高画質化エンジンを備える。さらに、第一の高画質化エンジンから出力された画像と、中画質画像よりも高画質な画像を出力データとして学習した第二の高画質化エンジンを備える。なお、中画質画像に関しては、第14の実施形態と同様であるため、説明を省略する。
出力部405は、高画質化部404が生成した高画質画像を表示部20に表示させる。なお、出力部405は、高画質画像とともに、入力画像を表示部20に表示させてもよく、この場合に、出力部405は、入力画像が複数の低画質画像から生成された画像であることを表示部20に表示してもよい。
次に、図5を参照して、本実施形態に係る一連の画像処理について説明する。なお、本実施形態に係るステップS510~ステップS530の処理は、第1の実施形態におけるこれらの処理と同様であるため、説明を省略する。
ステップS540においては、高画質化部404が、高画質化エンジンを用いて、入力画像を高画質化し、入力画像よりも画像診断に適した高画質画像を生成する。具体的には、高画質化部404は、入力画像を第一の高画質化エンジンに入力し、高画質化された第一の高画質画像を生成させる。さらに、第一の高画質画像を第二の高画質化エンジンに入力し、第二の高画質化画像を得る。高画質化エンジンは、教師データを用いて機械学習を行った機械学習モデルに基づいて、入力画像を用いて重ね合わせ処理を行ったような高画質画像を生成する。このため、高画質化エンジンは、入力画像よりも、ノイズ低減されたり、コントラスト強調されたりした高画質画像を生成することができる。
以降の処理は、第1の実施形態における処理と同様であるため、説明を省略する。
なお、本実施形態では、撮影装置10や他の装置から入手した低画質画像と中画質画像とをペアで学習した第一の高画質化エンジンと第一の高画質画像と高画質画像とをペアで学習した第二の高画質エンジンを用いて高画質画像を生成したが、これらの処理を行う構成はこれに限られない。例えば、第一の高画質化エンジンで学習する画像のペアは、第18の実施形態で説明をしたノイズを学習するエンジンとし、第二の高画質化エンジンは第一の高画質画像と高画質画像とをペアで学習するようにしてもよい。逆の構成として、低画質画像と中画質画像とをペアで学習した第一の高画質化エンジンと、第二の高画質化エンジンは第一の高画質画像に対してノイズを付加した画像を学習したエンジンとしてもよい。
さらに、第一の高画質化エンジンと第二の高画質化エンジン共に、第18の実施形態で説明をしたノイズを学習するエンジンとしてもよい。この場合、例えば、第一の高画質化エンジンは、重ね合わせ処理画像により生成した高画質画像に第一および第二のノイズを付加した画像をペアで学習し、第二の高画質化エンジンは、第一の高画質化エンジンにより生成された第一の高画質化画像に対して第一および第二のノイズを付加した画像をペアで学習する。なお、本実施形態では、二つの高画質化エンジンについて説明を行ったが、これに限らず、第三、第四と、さらに連結して処理をする構成としてもよい。学習に用いる画像をきれいにしていくことで、より滑らかでシャープな画像を生成しやすいネットワークが構成される。
<第21の実施形態>
次に、図4及び27を参照して、第21の実施形態に係る画像処理装置について説明する。第1の実施形態では、高画質化部404は、一つの高画質化エンジンを備えていた。これに対して、本実施形態では、高画質化部が、異なる教師データを用いて機械学習を行った複数の高画質化エンジンを備え、入力画像に対して複数の高画質画像を生成する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第2の実施形態に係る画像処理装置400と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第1、第2の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第1、第2の実施形態に係る画像処理装置の構成と同様であるため、図4に示す構成について同一の参照符号を用いて示し、説明を省略する。
本実施形態に係る高画質化部404には、それぞれ異なる教師データを用いて機械学習が行われた二つ以上の高画質化エンジンが備えられている。ここで、本実施形態に係る教師データ群の作成方法について説明する。まず、様々な撮影範囲とスキャン数の異なる画像で撮影された、入力データとしての元画像と出力データとしての重ね合わせ画像のペア群を用意する。OCTやOCTAを例に説明すると、例えば、3×3mmの範囲を300本のAスキャンと300枚のBスキャンで撮影した第一の画像群のペアと、10×10mmの範囲を500本のAスキャンと500枚のBスキャンで撮影した第二の画像群のペアとする。この時、第一の画像群のペアと第二の画像群のペアとでは、スキャン密度が2倍異なる。そのため、これらの画像群は別としてグルーピングしておく。そして、6×6mmの範囲を600本のAスキャンと600枚のBスキャンで撮影した画像群がある場合には、第一の画像群と同一のグループとする。すなわち、ここではスキャン密度が同じか、ほぼ同じ(1割程度の誤差)の画像群を同一のグループでグルーピングをする。
次に、スキャン密度毎にペア群をグルーピングすることで、教師データ群を作成する。例えば、第一のスキャン密度で撮影して取得されたペア群で構成される第一の教師データ、第二のスキャン密度で撮影して取得されたペア群で構成される第二の教師データというように、教師データ群を作成する。
その後、各教師データを用いて別々の高画質化エンジンに機械学習を行わせる。例えば、第一の教師データでトレーニングされた機械学習モデルに対応する第一の高画質化エンジン、第二の教師データでトレーニングされた機械学習モデルに対応する第二の高画質化エンジンというように高画質化エンジン群を用意する。
このような高画質化エンジンは、それぞれ対応する機械学習モデルのトレーニングに用いた教師データが異なるため、高画質化エンジンに入力される画像の撮影条件によって、入力画像を高画質化できる程度が異なる。具体的には、第一の高画質化エンジンは、第一のスキャン密度で取得された入力画像に対しては高画質化の程度が高く、第二のスキャン密度で取得された画像に対しては高画質化の程度が低い。同様に、第二の高画質化エンジンは、第二のスキャン密度で取得された入力画像に対しては高画質化の程度が高く、第一のスキャン密度で取得された画像に対しては高画質化の程度が低い。
一方、学習時に様々な撮影範囲とスキャン密度の異なる画像を教師データとして十分の数を集められない場合がある。その場合、それらの画像群に対しては、第18の実施形態で示したように、ノイズ成分を学習した高画質化エンジンを用意する。
ノイズ成分を学習した高画質化エンジンは、撮影時のスキャン密度の影響を受けにくいため、学習していないスキャン密度の画像が入力された際には、こちらを適用する。
教師データのそれぞれがスキャン密度によってグルーピングされたペア群で構成されることにより、該ペア群を構成する画像群の画質傾向が似る。このため、高画質化エンジンは対応するスキャン密度であれば、第一の実施形態に係る高画像化エンジンよりも効果的に高画質化を行うことができる。なお、教師データのペアをグルーピングするための撮影条件は、スキャン密度に限られず、撮影部位であったり、正面画像においては異なる深度の画像であったり、これらのうちの二つ以上の組み合わせであったりしてもよい。
以下、図27を参照して、本実施形態に係る一連の画像処理について説明する。図27は、本実施形態に係る一連の画像処理のフロー図である。なお、ステップS2710及びステップS2720の処理は、第1の実施形態に係るステップS510及びステップS520と同様であるため、説明を省略する。
ステップS2720において入力画像の撮影条件が取得されると、処理はステップS2730に移行する。ステップS2730においては、高画質化可否判定部403が、ステップS2720において取得した撮影条件群を用いて、高画質化部404が備える高画質化エンジン群のいずれかが、入力画像を対処可能であるか否かを判定する。
高画質化可否判定部403が、撮影条件外であると判定した場合には、処理はステップS2770に移行する。一方で、高画質化可否判定部403が、撮影条件内であると判定した場合には、処理はステップS2740に移行する。
ステップS2740においては、高画質化部404が、ステップS2720で取得した入力画像の撮影条件及び高画質化エンジン群の教師データの情報に基づいて、高画質化エンジン群から高画質化処理を行う高画質化エンジンを選択する。具体的には、例えば、ステップS2720において取得した撮影条件群のうちのスキャン密度に対して、スキャン密度に関する教師データの情報を有し、高画質化の程度が高い高画質化エンジンを選択する。上述の例では、スキャン密度が第一のスキャン密度である場合には、高画質化部404は第一の高画質化エンジンを選択する。
一方、ステップS2770においては、高画質化部404は、ノイズ成分を学習した高画質化エンジンを選択する。
ステップS2750では、高画質化部404が、ステップS2740、ステップS2770において選択した高画質化エンジンを用いて、入力画像を高画質化した高画質画像を生成する。その後、ステップS2760において、出力部405は、ステップS2750において高画質画像を出力して、表示部20に表示させる。なお、出力部405は、高画質画像を表示部20に表示させる際、高画質化部404によって選択された高画質化エンジンを用いて生成された高画質画像であることを表示させてもよい。
上記のように、本実施形態に係る高画質化部404は、それぞれ異なる学習データを用いて学習を行った複数の高画質化エンジンを備える。ここで、複数の高画質化エンジンの各々は、それぞれ撮影部位、撮影画角、異なる深度の正面画像、及び画像の解像度のうちの少なくとも一つについての異なる学習データを用いて学習を行ったものである。さらに、正解データを十分に集められなかったデータについては、ノイズ成分を用いて学習を行ったものである。高画質化部404は、これらのうちの少なくとも一つに応じた高画質化エンジンを用いて、高画質画像を生成する。
このような構成により、本実施形態に係る画像処理装置400は、より効果的な高画質画像を生成することができる。
<第22の実施形態>
次に、図30から32を参照して、第20の実施形態に係る画像処理装置について説明する。本実施形態では、広画角画像生成部が高画質化部によって生成された複数の高画質画像を用いて広画角画像を生成する。
特に明記しない限り、本実施形態に係る画像処理装置の構成及び処理は、第1の実施形態に係る画像処理装置400と同様である。そのため、以下では、本実施形態に係る画像処理装置について、第1の実施形態に係る画像処理装置との違いを中心として説明する。なお、本実施形態に係る画像処理装置の構成は、第1の実施形態に係る画像処理装置の構成と同様であるため、図4に示す構成について同一の参照符号を用いて示し、説明を省略する。
図31(a)は、本実施形態に係る一連の画像処理のフロー図である。ステップS3110において、取得部401は撮影装置10や他の装置から入力データとして複数の画像(少なくとも2枚)を取得する。複数の画像は、同一の被写体(被検眼など)の異なる位置を撮影した画像であり、被写体に対して完全には重複せずに、画像の一部が重複する場所を撮影した画像とする。被検眼を撮影する場合を例に説明すると、撮影時に固視灯の位置を変更し、被検眼がその固視灯に注視することで、同一の被検眼において異なる場所を撮影した画像を取得することが出来る。なお、画像撮影時には、隣接する画像同士の重複領域が少なくとも2割程度が同じ場所となるように固視灯の位置を変更して撮影しておくことが望ましい。図32(a)に、隣接する画像の一部が重複するように固視灯の位置を変更して撮影したOCTAのEn-Face画像の例を示す。図32(a)では、固視灯の位置を変更して異なる場所を5回撮影する場合の例を示している。なお、図32には例として5枚の画像を示しているが、5枚に限らず2枚以上であればよい。
なお、本実施形態に係るステップS3120の処理は、第1の実施形態におけるステップS520での処理と同様であるため、説明を省略する。なお、入力画像に対して、撮影条件について無条件で高画質化する場合には、ステップS3120の処理の後に、ステップS3130の処理を省き、処理をステップS3140に移行してよい。
ステップS3120において、第1の実施形態と同様に、撮影条件取得部402が入力画像の撮影条件群を取得したら、処理はステップS3130に移行する。ステップS3130では、高画質化可否判定部403が、第1の実施形態と同様に、取得された撮影条件群を用いて、高画質化部404に備える高画質化エンジンが入力画像を対処可能であるか否かを判定する。
高画質化可否判定部403が、高画質化エンジンが複数の入力画像を対処不可能であると判定した場合には、処理はステップS3160に移行する。一方で、高画質化可否判定部403が、高画質化エンジンが複数の入力画像を対処可能であると判定した場合には、処理はステップS3140に移行する。なお、画像処理装置400の設定や実装形態によっては、第1の実施形態と同様に、高画質化エンジンによって一部の撮影条件が対処不可能であると判定されたとしても、ステップS3140を実施してもよい。
ステップS3140においては、高画質化部404が、ステップS3110において取得した複数の入力画像に対して処理を実行し複数の高画質画像を生成する。
ステップS3150では、広画角画像生成部3005が、ステップS3140において生成された高画質画像群のうちいくつかの高画質な画像を合成する。具体的には、OCTAのEn-Face画像を例に説明をする。複数の画像は完全には重複しないが、隣接する画像同士は一部の領域が互いに重複するように撮影されたOCTAのEn-Face画像である。そのため、広画角画像生成部3005は複数のOCTAのEn-Face画像から重複した領域を検出し、重複領域を用いて位置合わせを実施する。位置合わせパラメータに基づいてOCTAのEn-Face画像を変形して画像を合成することで、1枚のOCTAのEn-Face画像よりも広範囲なOCTAのEn-Face画像を生成することが出来る。この時、入力となる複数のOCTAのEn-Face画像はステップS3140において高画質化されているため、ステップS3150において出力される広画角なOCTAのEn-Face画像は既に高画質化されている。図32(b)に広画角画像生成部3005によって生成される広画角なOCTAのEn-Face画像の例を示す。図32(b)は図32(a)で示した5枚の画像を位置合わせして生成した例である。図32(c)には、図32(a)と図32(b)との位置の対応関係を示す。図32(c)に示すように、Im3210を中心に、その周辺にIm3220~3250が配置される。なお、OCTAのEn-Face画像は、3次元のモーションコントラストデータから異なる深度範囲を設定することで、複数のOCTAのEn-Face画像を生成することが出来る。そのため、図32には広画角の表層画像の例を示したが、これに限らない。例えば、図29で示した表層のOCTAのEn-Face画像(Im2910)を用いて位置合わせをして、その他の深度範囲のOCTAのEn-Face画像は、そこで求めたパラメータを用いて変形させるようにしてもよい。あるいは、位置合わせの入力画像をカラー画像とし、RGB成分のRG成分に表層のOCTAのEn-Face、B成分に位置合わせの対象となるOCTAのEn-Face画像とした合成カラー画像を生成する。そして、複数の深度範囲の層を1枚に合成した合成カラーOCTAのEn-Face画像の位置合わせを実施してもよい。それにより、位置合わせ済みのカラーOCTAのEn-Face画像からB成分のみを抽出すれば、対象となるOCTAのEn-Face画像の位置合わせが済んだ広画角のOCTAのEn-Face画像を得ることが出来る。なお、高画質化を行う対象として、2次元のOCTAのEn-Face画像に限らず、3次元のOCT、3次元のモーションコントラストデータそのものでもよい。その場合、3次元データで位置合わせを行い、広範囲の3次元データを生成するようにしてもよい。広範囲の3次元データから任意の断面(XYZのどの面でも可能)や任意の深度範囲(Z方向での範囲)を切り出すことで、高画質な広画角画像を生成することが出来る。
ステップS3160においては、出力部405が、ステップS3150において複数の画像から合成された画像を表示部20に表示させたり、他の装置に出力したりする。ただし、ステップS3130において、入力画像が処理不可能であると判定されている場合には、出力部405は、入力画像を出力画像として出力する。なお、出力部405は、検者によって入力画像が指示された場合や、入力画像が処理不可能であった場合には、表示部20に出力画像が入力画像と同じであることを表示させてもよい。
なお、本実施形態では、複数の入力画像からそれぞれ高画質画像を生成し、高画質画像を位置合わせすることで、最終的な一枚の高画質な広画角画像を生成したが、複数の入力画像から一枚の高画質画像を生成する方法はこれに限られない。例えば、図31(b)に示す本実施形態の高画質化処理の別例では、先に一枚の広画角画像を生成し、広画角画像に対して高画質化処理を実行して最終的に一枚の高画質な広画角画像を生成するようにしてもよい。
この処理に関して、図31(b)を用いて説明を行うが、図31(a)と同様な処理の部分に関しては説明を省略する。
ステップS3121では、広画角画像生成部3005が、ステップS3110において取得した複数の画像を合成する。広画角画像生成に関しては、ステップS3150での説明と同様であるが、入力画像が撮影装置10や他の装置から取得した画像であり、高画質化される前の画像である点が異なる。
ステップS3151では、高画質化部404が、広画角画像生成部3005が生成した高画質画像に対して処理を実行し一枚の高画質な広画角画像を生成する。
このような構成により、本実施形態に係る画像処理装置400は、広画角な高画質画像を生成することができる。
上記第1~22の実施形態に関しては、出力部405による表示部20への高画質画像の表示は基本的に高画質化部404による高画質画像の生成や解析部2208による解析結果の出力に応じて自動で行われる。しかしながら、高画質画像の表示は、検者からの指示に応じてなされてもよい。例えば、出力部405は、高画質化部404によって生成された高画質画像と入力画像のうち、検者からの指示に応じて選択された画像を表示部20に表示させてもよい。また、出力部405は、検者からの指示に応じて、表示部20上の表示を撮影画像(入力画像)から高画質画像に切り替えてもよい。さらに、高画質化部404が、高画質化エンジンによる高画質化処理の開始(高画質化エンジンへの画像の入力)を検者からの指示に応じて実行し、出力部405が、高画質化部404によって生成された高画質画像を表示部20に表示させてもよい。これに対し、撮影装置10によって入力画像が撮影されると、高画質化エンジンが自動的に入力画像に基づいて高画質画像を生成し、出力部405が、検者からの指示に応じて高画質画像を表示部20に表示させてもよい。なお、これらの処理は解析結果の出力についても同様に行うことができる。さらに、撮影箇所推定エンジンや画質評価エンジン、真贋評価エンジン、評価部による処理を検者からの指示に応じて開始するように、画像処理装置が構成されてもよい。なお、上記第1~22の実施形態に関し、出力部405が高画質画像を表示部20に表示させる表示態様は任意であってよい。例えば、出力部405は、入力画像と高画質画像を並べて表示させてもよいし、切り替えて表示させてもよい。また、出力部405は、入力画像や高画質画像を、撮影部位や撮影日時、撮影が行われた施設等に応じて順番に表示させてもよい。同様に、出力部405は高画質画像を用いた画像解析結果等を、高画質画像や高画質画像に対応する入力画像の任意の撮影条件に応じて順番に表示させてもよい。さらに、出力部405は高画質画像を用いた画像解析結果を、解析項目ごとに順番に表示させてもよい。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。以上、実施形態を参照して本発明について説明したが、本発明は上記実施形態に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施形態は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。
教師データのそれぞれが撮影部位によってグルーピングされたペア群で構成されることにより、該ペア群を構成する画像群の画質傾向が似る。このため、高画質化エンジンは対応する撮影部位であれば、第1の実施形態に係る高画質化エンジンよりも効果的に高画質化を行うことができる。なお、教師データのペアをグルーピングするための撮影条件は、撮影部位に限られず、撮影画角であったり、画像の解像度であったり、これらのうちの二つ以上の組み合わせであったりしてもよい。
その後、各教師データを用いて別々の高画質化エンジンに機械学習を行わせる。例えば、第1の教師データでトレーニングされた機械学習モデルに対応する第1の高画質化エンジン、第2の教師データでトレーニングされた機械学習モデルに対応する第2の高画質化エンジンというように高画質化エンジン群を用意する。
教師データのそれぞれが撮影条件の組み合わせによってグルーピングされたペア群で構成されることにより、該ペア群を構成する画像群の画質傾向が似る。このため、高画質化エンジンは対応する撮影条件の組み合わせであれば、第1の実施形態に係る高画質化エンジンよりも効果的に高画質化を行うことができる。なお、教師データのペアをグルーピングするための撮影条件の組み合わせは、任意であってよく、例えば、撮影部位、撮影画角、及び画像の解像度のうちの二つ以上の組み合わせであってよい。また、教師データのグルーピングを、第2の実施形態と同様に、一つの撮影条件に基づいて行ってもよい。
高画質化可否判定部403が、高画質化エンジン群のいずれも入力画像を対処不可能であると判定した場合には、処理はステップS1660に移行する。一方で、高画質化可否判定部403が、高画質化エンジン群のいずれかが入力画像を対処可能であると判定した場合には、処理はステップS1640に移行する。なお、画像処理装置1500の設定や実装形態によっては、第1の実施形態と同様に、高画質化エンジンによって一部の撮影条件が対処不可能であると判定されたとしても、ステップS1640を実施してもよい。
ステップS1630において、第7の実施形態と同様に、高画質化可否判定部403が、高画質化エンジン群のいずれかが入力画像を対処可能であると判定した場合には、処理はステップS1640に移行する。なお、画像処理装置1500の設定や実装形態によっては、第1の実施形態と同様に、高画質化エンジンによって一部の撮影条件が対処不可能であると判定されたとしても、ステップS1640を実施してもよい。
なお、本実施形態では、一つの高画質化エンジンにより、第1の実施形態等による高画質化処理と高分解能化の処理を行った高画質画像を生成したが、これらの処理を行う構成はこれに限られない。例えば、高画質化部は、第1の実施形態等による高画質化処理を行う高画質化エンジン及び高空間分解能化処理を行う別の高画質化エンジンを備えてもよい。
この場合には、第1の実施形態等に係る高画質化処理を行う高画質化エンジンは第1の実施形態等に係る高画質化エンジンと同様に学習を行った機械学習モデルを用いることができる。また、高空間分解能化処理を行う高画質化エンジンの教師データの入力データとしては、第1の実施形態等に係る高画質化エンジンが生成した高画質画像を用いる。また、当該高画質化エンジンの教師データの出力データとしては、高性能な撮影装置で取得された画像について第1の実施形態等に係る高画質化エンジンが生成した高画質画像を用いる。これにより、高空間分解能化処理を行う高画質化エンジンは、第1の実施形態等に係る高画質化処理を行った高画質画像について高空間分解能化した最終的な高画質画像を生成することができる。
なお、本実施形態では、撮影装置10や他の装置から入手した低画質画像と中画質画像とをペアで学習した第一の高画質化エンジンと第一の高画質画像と高画質画像とをペアで学習した第二の高画質化エンジンを用いて高画質画像を生成したが、これらの処理を行う構成はこれに限られない。例えば、第一の高画質化エンジンで学習する画像のペアは、第18の実施形態で説明をしたノイズを学習するエンジンとし、第二の高画質化エンジンは第一の高画質画像と高画質画像とをペアで学習するようにしてもよい。逆の構成として、低画質画像と中画質画像とをペアで学習した第一の高画質化エンジンと、第二の高画質化エンジンは第一の高画質画像に対してノイズを付加した画像を学習したエンジンとしてもよい。
教師データのそれぞれがスキャン密度によってグルーピングされたペア群で構成されることにより、該ペア群を構成する画像群の画質傾向が似る。このため、高画質化エンジンは対応するスキャン密度であれば、第一の実施形態に係る高画質化エンジンよりも効果的に高画質化を行うことができる。なお、教師データのペアをグルーピングするための撮影条件は、スキャン密度に限られず、撮影部位であったり、正面画像においては異なる深度の画像であったり、これらのうちの二つ以上の組み合わせであったりしてもよい。