JP6867117B2 - 医用画像処理方法及び医用画像処理装置 - Google Patents

Description

本発明は、医用画像処理方法及び医用画像処理装置に関する。

医療の様々な分野において画像診断や画像解析は重要な位置を占める。例えば眼科分野では、細隙灯顕微鏡、眼底カメラ、走査型レーザ検眼鏡（ＳＬＯ）、光コヒーレンストモグラフィ（ＯＣＴ）、レーザスペックルフローグラフィ（ＬＳＦＧ）、手術用顕微鏡など多様な撮影装置が使用される。また、複数の撮影手法に使用可能な撮影装置もある。例えば、眼底カメラにより行われる撮影手法には、赤外観察、カラー撮影、フルオレセイン蛍光造影撮影、インドシアニングリーン蛍光造影撮影、自発蛍光撮影、レッドレフレックス撮影などがある。また、ＯＣＴにより行われる撮影手法には、Ｂスキャンやボリュームスキャン等の形態撮影、血管造影、血流計測、偏光撮影などがある。更に、撮影装置以外の眼科装置（検査装置）の多くにも、被検眼を観察するための赤外動画撮影機能が設けられている。

また、眼科分野以外にも、Ｘ線撮影装置、Ｘ線コンピュータ断層撮影（ＣＴ）装置、磁気共鳴イメージング（ＭＲＩ）装置、陽電子放射断層撮影（ＰＥＴ）装置、単一光子放射断層撮影（ＳＰＥＣＴ）装置、内視鏡など、様々な撮影装置が用いられている。

撮影装置によって取得された画像は、スクリーニングや病変特定のための解析に利用される。また、経過観察や術前術後観察においては、異なるタイミングで取得された複数の画像の比較観察や比較解析が行われている。

また、人工知能や非線形信号処理などの技術の画像処理への応用が進められている。例えば、画像の解像度を変換するための技術が知られている。

特開平８−２６３６４９号公報 特開２００６−３５０４９８号公報 特開２０１０−５２０５２１号公報 特開２０１４−２２５９１７号公報 特開２０１５−５０５８５号公報

医用画像技術の発展は非常に速い。例えばＯＣＴのスキャンスピードや解像度は、この十年ほどの間に目覚ましい進歩を遂げている。一方、例えば緑内障のように、数十年にわたる経過観察が必要な疾患がある。このような場合、比較される複数の画像の質（解像度等）が大きく異なることがあり、比較観察や比較解析を適切に行えないおそれがある。同様に、緊急時や往診時などに簡易的な撮影装置で得られた低解像度画像と、高性能な撮影装置で得られた高解像度画像とを比較する場合にも、同じ問題が生じる。

また、緊急時や災害時のように簡易的な撮影装置しか使用できない場合には、低解像度画像（のみ）を参照して診断する必要があるが、このような診断の確度を向上させることは従来の技術では困難である。

また、通信環境等の影響により解像度が低下することがある。例えば、遠隔医療ではライブ画像や撮影画像が遠隔地に送信されるため、解像度の低下は医師の認識や判断を制約する。

本発明の目的は、医用画像の解像度の低さに起因する問題を解決することにある。

例示的な実施形態に係る医用画像処理方法の一つの態様は、コンピュータを用いて医用画像を処理する方法である。コンピュータは、低解像度画像と高解像度画像との複数の組み合わせを学習した人工知能エンジンを含む。コンピュータは、所定の解像度を有する被検眼の画像を受け付け、人工知能エンジンによってこの画像を所定の解像度より高い第１解像度を有する第１画像に変換し、この第１画像に基づき所定の処理を実行する。人工知能エンジンは、眼の解剖学的特徴を表す特徴情報を含む眼科知識ベースを備えた眼科用人工知能エンジンを含んでいる。眼科用人工知能エンジンは、少なくとも特徴情報に基づいて被検眼の画像を第１画像に変換する。
例示的な実施形態に係る医用画像処理装置の一つの態様は、画像受付部と、画像変換部と、処理部とを備える。画像受付部は、所定の解像度を有する被検眼の画像を受け付ける。画像変換部は、低解像度画像と高解像度画像との複数の組み合わせを学習した人工知能エンジンを含み、画像受付部により受け付けられた画像を、所定の解像度より高い第１解像度を有する第１画像に変換する。処理部は、画像変換部により生成された第１画像に基づき所定の処理を実行する。人工知能エンジンは、眼の解剖学的特徴を表す特徴情報を含む眼科知識ベースを備えた眼科用人工知能エンジンを含んでいる。眼科用人工知能エンジンは、少なくとも特徴情報に基づいて被検眼の画像を第１画像に変換する。

例示的な実施形態によれば、医用画像の解像度の低さに起因する問題を解決することができる。

例示的な医用画像処理方法を表すフローチャートである。 例示的な医用画像処理方法を表すフローチャートである。 例示的な医用画像処理方法を表すフローチャートである。 例示的な医用画像処理方法を表すフローチャートである。 例示的な医用画像処理方法を表すフローチャートである。 例示的な医用画像処理方法を表すフローチャートである。 例示的な医用画像処理装置の構成を表す概略図である。

本発明の例示的な実施形態について図面を参照しながら詳細に説明する。例示的な医用画像処理方法は、例示的な医用画像処理装置によって実現することができる。医用画像処理装置は、例えば、相互に通信が可能な２以上の装置（例えば、１以上のコンピュータ、１以上の記憶装置など）を含んでよい。或いは、医用画像処理装置は、単一の装置（例えば、記憶装置が搭載されたコンピュータ）であってもよい。

医用画像処理方法を実現するためのハードウェア及びソフトウェアは、以下に例示する医用画像処理装置には限定されず、その実現に寄与する任意のハードウェアと任意のソフトウェアとの組み合わせを含んでいてよい。典型的な例として、医用画像処理装置は、人工知能エンジンとして機能するハードウェア及びソフトウェアを含んでいてよい。

実施形態により処理される医用画像は、任意のモダリディ（撮影装置、撮影方法）を用いて被検眼を撮影することにより得られた画像を含んでいてよい。例えば、実施形態により処理される医用画像は、眼底カメラ、ＳＬＯ、ＯＣＴ等の眼科撮影装置によって被検眼を撮影することにより取得された画像を含んでいてよい。また、実施形態により処理される医用画像は、当該医用画像処理方法（当該医用画像処理装置）によって作成された画像を含んでもよい。例えば、実施形態により処理される医用画像は、眼科撮影装置によって取得された画像を当該医用画像処理装置が処理することで作成された画像を含んでいてよい。また、実施形態により処理される医用画像は、他の医用画像処理装置によって作成された画像を含んでいてもよい。例えば、実施形態により処理される医用画像は、眼科撮影装置によって取得された画像を他の医用画像処理装置が処理することで作成された画像を含んでいてよい。

医用画像は、被検者の所定部位の画像である。医用画像は静止画像でも動画像でもよい。所定部位の画像とは、所定部位の少なくとも一部を表す画像を少なくとも含み、他の部位（例えば所定部位の近傍の部位）の少なくとも一部を表す画像を更に含んでいてもよい。例えば、所定部位が網膜（又はそれを構成する組織）である場合、医用画像は、網膜の画像のみを含んでもよいし、網膜の近傍に位置する脈絡膜、強膜、硝子体、篩状板等の画像を更に含んでもよい。また、医用画像は、所定部位の構造（形態）を表す画像でもよいし、その機能を表す画像でもよい。機能画像の例として、ＯＣＴ血流画像、ｆＭＲＩ画像、超音波ドプラ画像等の血流動態（血流量、血流速度等）を表す画像がある。

以下、医用画像処理方法を眼科に適用した場合の例を主に説明するが、これを適用可能な診療科は眼科に限定されず、他の任意の診療科への適用も可能である。例えば、実施形態を適用可能な医用画像の典型的な例として、Ｘ線画像、ＣＴ画像、ＭＲＩ画像、ＰＥＴ画像、ＳＰＥＣＴ画像、内視鏡画像、胃カメラ画像、大腸カメラ画像、超音波画像などがある。

〈医用画像処理方法の例〉
医用画像処理方法を眼科に適用した例を説明する。医用画像処理方法を実現するための医用画像処理装置の例については後述する。

医用画像処理方法に係る処理はコンピュータにより実行される。コンピュータは、人工知能エンジンを含んでもよい。コンピュータは、１以上のプロセッサを含む。プロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、プログラマブル論理デバイス（例えば、ＳＰＬＤ（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＣＰＬＤ（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ））等の回路を含んでよい。プロセッサは、例えば、記憶装置（記憶回路）に格納されているプログラムを読み出して実行することにより所望の機能を実現する。

プロセッサは、記憶装置及び表示装置を制御することができる。記憶装置は、医用画像処理方法により使用されるプログラム、データ、情報等を記憶可能に構成され、コンピュータの内部に配置されてもよいし、コンピュータの外部に配置されてもよい。出力装置の配置についても同様である。

出力装置は、情報を出力する装置であり、その典型例として、表示装置や、音声出力装置や、印刷装置や、データ送信機能を有する通信機器や、記録媒体に情報を記録するデータライタなどがある。このような例の少なくとも１つが出力装置として用いられる。

医用画像処理方法の例を図１に示す。以下に説明する一連の処理の前、一連の処理の実行中、又は一連の処理の後に、被検者登録を行うことができる。被検者とは、医用画像処理方法により処理される医用画像の撮影対象となった者を意味する。被検者には、医療機関を受診済みの者だけでなく、未受診の者も含まれてよい。医療機関を受診済みの者には、例えば、医師による確定診断を受けた者、医師による診断は受けたが未だ確定診断に達しない者などが含まれる。医療機関を未受診の者には、例えば、健康診断を受けた者、検診（スクリーニング）を受けた者などが含まれる。

また、以下に説明する一連の処理の前、一連の処理の実行中、又は一連の処理の後に、被検者に関する医療情報を取得するステップが含まれてもよい。医療情報は、例えば、診察、診断、治療等の医療行為において取得、作成、利用することが可能な情報を含む。医療情報の典型的な例として、電子カルテ、パーソナルヘルスレコード（ＰＨＲ）、手術記録、検査データなどがある。

医用画像処理方法において付加的に実行可能な処理は被検者登録や医療情報の取得には限定されず、これら以外の所望の処理を所望のタイミングで付加的に実行することが可能である。

典型的な医用画像処理方法のいくつかの例を説明する。以下の例をそれぞれ適用することができる。或いは、以下の例のうちのいずれか２以上を組み合わせることもできる。また、以下の例におけるいずれかのステップを変形することも可能である。

〈医用画像処理方法の第１の例〉
医用画像処理方法の第１の例について、図１を参照しつつ説明する。本例では、実施形態に係る基本的な医用画像処理方法を説明する。

（Ｓ１：医用画像を受け付ける）
まず、コンピュータは、所定の解像度を有する被検者の所定部位の画像を受け付ける。所定の解像度は比較的低い解像度であってよい。例えば、この低解像度画像は、過去に使用されていた低解像度の撮影装置により取得された画像、緊急時や往診時などに簡易的な撮影装置で得られた画像、又は、遠隔医療等において遠隔地から送信された画像などであってよい。

コンピュータは、例えば通信回線又は記録媒体を介して医用画像の入力を受ける。例えば、コンピュータが通信機器を含む場合、コンピュータは、画像アーカイビング装置（ＰＡＣＳ、クラウド画像サーバ等）に格納されている医用画像を通信回線を通じて取得することができる。或いは、コンピュータがデータリーダ（ドライブ装置等）を含む場合、コンピュータは、記録媒体に記録された医用画像を読み取ることができる。なお、医用画像（又は医療情報等）を受け付けるための構成はこれらに限定されない。

（Ｓ２：解像度を変換する）
次に、コンピュータは、ステップＳ１で受け付けられた低解像度画像をその解像度より高い第１解像度を有する第１画像に変換する。つまり、コンピュータは、医用画像を高解像度化する。

第１解像度は任意に設定可能である。例えば、第１解像度はデフォルト値として設定されてもよいし、後段の処理に応じて設定されてもよい。後者の例として、医用画像の比較を後段で行う場合、低解像度画像と比較される（高解像度）画像の解像度を第１解像度に設定することができる。

解像度の変換を人工知能エンジンによって行うことができる。人工知能エンジンは、例えば、前述の引用文献のいずれかに記載された処理の１つ若しくは２以上の組み合わせ、他の公知文献に記載された処理の１つ若しくは２以上の組み合わせ、又は、それらのいずれか２以上の組み合わせを実行することにより、解像度を変換する。

人工知能エンジンに使用可能な人工知能技術の例として、ニューラルネットワーク、ディープラーニング、サポートベクターマシン、ベイジアンネットワーク、相関ルール学習、強化学習、表現学習、データマイニング、自然言語処理、推論などがある。また、知識ベース（医学知識ベース、眼科知識ベース等）などを参照することで、解像度を変換してもよい。

典型的な例として、低解像度画像と高解像度画像との複数の組み合わせ（学習サンプル）を学習し、それに基づく推論を行って解像度変換を行うことができる。例えば、眼底カメラ又はＯＣＴを用いて低解像度画像と高解像度画像とを連続して取得し、低解像度画像と高解像度画像との組み合わせの相関や関連や法則を学習させることができる。

また、高解像度画像のみを取得し、これを低解像度化して低解像度画像を作成し、これらの組み合わせを学習することも可能である。

また、低解像度画像のみを取得し、これから複数の高解像度画像を作成し、これら高解像度画像のうち適切なものを医師又は人工知能エンジンが選択することによって、低解像度画像と高解像度画像との組み合わせを決定するようにしてもよい。

他の典型的な例として、画素数の増加処理を含む超解像技術、高周波成分の持ち上げを含む超解像技術、これらを組み合わせた再構成型の超解像技術、消失した高周波成分を推定する超解像技術、複数フレーム超解像技術、フレーム内超解像技術、非線形信号処理を含む超解像技術などに代表される超解像技術を適用してもよい。また、公知のアップコンバート技術を適用してもよい。

（Ｓ３：所定の処理を実行する）
コンピュータは、ステップＳ２で高解像度化された第１画像に基づいて所定の処理を実行する。

所定の処理は任意の処理であってよい。所定の処理の典型的な例として、被検者の所定部位の２以上の画像を並べて表示するための処理、２以上の画像を解析するための処理、それにより得られた２以上の解析データを並べて表示するための処理、２以上の解析データから所定部位の特性の時系列変化を求めるための処理、被検者が罹患している疾患やその候補に関する推論を行うための処理について後述する。

ステップＳ１で受け付けられた低解像度画像、ステップＳ２で生成された高解像度画像（第１画像）、所定の処理によって得られた情報などは、記憶装置に保存され、及び／又は、出力装置により出力される。

〈医用画像処理方法の第２の例〉
医用画像処理方法の第２の例について、図２を参照しつつ説明する。本例では、被検者の所定部位のＮ枚の画像を並べて表示するための医用画像処理方法について説明する（Ｎは２以上の整数とする）。

（Ｓ１１：医用画像を受け付ける）
まず、第１の例におけるステップＳ１と同じ要領で、コンピュータは、所定の解像度を有する被検者の所定部位の画像（低解像度画像）を受け付ける。

（Ｓ１２：第１解像度の第１画像に変換する）
次に、第１の例におけるステップＳ２と同じ要領で、コンピュータは、ステップＳ１１で取得された画像の解像度を変換することにより、所定の解像度より高い第１解像度の第１画像を生成する。

（Ｓ１３：第２解像度の第２〜第Ｎ画像を取得する）
コンピュータは、ステップＳ１１で取得された低解像度画像の解像度よりも高い第２解像度を有する、第１画像と同じ部位を表す第２画像を取得する。

より一般に、コンピュータは、ステップＳ１１で取得された低解像度画像の解像度よりも高い解像度をそれぞれ有する、第１画像と同じ部位を表す１又は２以上の画像を取得する。ここで取得される画像の数は任意である。また、ここで２以上の画像が取得される場合、これら画像の解像度は同じでもよいし、異なってもよい。つまり、第２解像度は、所定の解像度より高い単一の解像度であってもよいし、所定の解像度より高い２以上の解像度であってもよい。

第２解像度は、ステップＳ１１で取得された低解像度画像の解像度よりも高い任意の解像度であってよい。例えば、第２解像度は、第１解像度と等しくてよい。或いは、第２解像度は、第１解像度とほぼ等しくてよい。第１解像度と第２解像度とが「ほぼ」等しいとは、例えば、観察や解析を同等の精度及び／又は確度で行える程度の解像度の差を許容すること、又は、第１解像度と第２解像度が異なる場合、それらのうち低い方の解像度でも十分な精度及び／又は確度で観察や解析を行えることなどを意味する。

本ステップの処理を実行するタイミングは当該タイミングには限定されず、任意であってよい。例えば、ステップＳ１１で複数の画像を受け付け、これら画像のうちの少なくとも一部に対してステップＳ１２の高解像度化を適用することにより、高解像度の画像群を取得することができる。

また、本ステップの処理は、高解像度の撮影装置によって取得された画像を受け付ける処理、過去に高解像度化された画像を受け付ける処理、及び／又は、このような画像を記憶装置から読み出す処理などを含んでもよい。これら処理を行うタイミングは、ステップＳ１１より前でも、ステップＳ１１の実行中でも、ステップＳ１１とステップＳ１１とステップＳ１２との間でも、ステップＳ１２の実行中でも、ステップＳ１２の後でもよい。

（Ｓ１４：撮影日に応じた順序で複数の画像を並べて表示する）
コンピュータは、ステップＳ１２で得られた第１画像と、ステップＳ１３で得られた第２〜第Ｎ画像を含むＮ枚の画像の少なくとも一部（複数の画像）を、それらの撮影日に応じた順序で並べて表示装置に表示させる。このとき、複数の画像の撮影日等も表示させることができる。

画像の撮影日は、モダリディを用いて被検者を撮影することにより当該画像が取得された日（及び時刻等）である。撮影日は、例えば、画像に関連付けられた状態で画像ともに送受信される。典型的な例として、医用画像のフォーマット及び通信プロトコルとしてＤｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ ＣＯｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ（ＤＩＣＯＭ）が用いられている場合、ＤＩＣＯＭファイル内のタグ情報に撮影日を記録することができる。また、画像の背景領域等に撮影日を示す情報を埋め込むこともできる。

コンピュータは、例えば、複数の画像のそれぞれの撮影日を取得し、取得された複数の撮影日を比較することでそれらに時系列順序を割り当て、この時系列順序に応じて複数の画像を配列することができる。なお、撮影日が同じ２以上の画像が存在する場合、例えば撮影時刻を参照して時系列順序を決定することができる。

このように時系列順に配列して複数の画像を表示することで、ユーザは、被検者の所定部位の構造や機能の時系列変化を容易に把握することができる。また、Ｎ枚の画像の一部のみが表示されている場合、表示される画像の指定を操作デバイスを用いて行えるように構成することができる。また、複数の画像のうちのいずれかを拡大表示させる機能を設けることができる。

〈医用画像処理方法の第３の例〉
医用画像処理方法の第３の例について、図３を参照しつつ説明する。本例では、被検者の所定部位のＮ個の解析データを取得するための医用画像処理方法、更には、それら解析データを並べて表示するための医用画像処理方法について説明する（Ｎは２以上の整数とする）。

（Ｓ２１：医用画像を受け付ける）
まず、第１の例におけるステップＳ１と同じ要領で、コンピュータは、所定の解像度を有する被検者の所定部位の画像（低解像度画像）を受け付ける。

（Ｓ２２：第１解像度の第１画像に変換する）
次に、第１の例におけるステップＳ２と同じ要領で、コンピュータは、ステップＳ２１で取得された画像の解像度を変換することにより、所定の解像度より高い第１解像度の第１画像を生成する。

（Ｓ２３：第２解像度の第２〜第Ｎ画像を取得する）
コンピュータは、ステップＳ２１で取得された低解像度画像の解像度よりも高い第２解像度を有する、第１画像と同じ部位を表す第２画像を取得する。より一般に、コンピュータは、ステップＳ２１で取得された低解像度画像の解像度よりも高い解像度をそれぞれ有する、第１画像と同じ部位を表す１又は２以上の画像を取得する。ここで取得される画像の数は任意である。

第２解像度は、前述した第２の例におけるそれと同様であってよい。また、本ステップの処理及びその実行タイミングについても、第２の例におけるそれらと同様であってよい。

（Ｓ２４：第１〜第Ｎ画像を解析する）
コンピュータは、ステップＳ２２で得られた第１画像及びステップＳ２３で得られた第２〜第Ｎ画像のそれぞれに所定の解析処理を施す。解析処理の典型的な例として、眼底ＯＣＴにより取得された画像に対する、乳頭３次元形状解析、網膜神経線維層（ＲＮＦＬ）厚解析、網膜色素上皮（ＲＰＥ）層厚解析、セグメント解析（視細胞内接／外節（ＩＳ／ＯＳ）ライン、錐体外節先端（ＣＯＳＴ）、外顆粒層、外境界膜、脈絡膜）、篩状板解析などがある。これにより、第１画像に基づく第１解析データ、第２画像に基づく第２解析データ、・・・、第Ｎ画像に基づく第Ｎ解析データが得られる。

（Ｓ２５：撮影日に応じた順序で複数の解析データを並べて表示する）
コンピュータは、ステップＳ２４で生成されたＮ個の解析データの少なくとも一部（複数の解析データ）を、対応する複数の画像の撮影日に応じた順序で並べて表示装置に表示させる。このとき、複数の画像の撮影日等も表示させることができる。撮影日及びそれに関する処理は、前述した第２の例と同様であってよい。

このように時系列順に配列して複数の解析データを表示することで、ユーザは、被検者の所定部位の解析データの時系列変化を容易に把握することができる。また、Ｎ個の解析データの一部のみが表示されている場合、表示される解析データの指定を操作デバイスを用いて行えるように構成することができる。また、複数の解析データのうちのいずれかを拡大表示させる機能を設けることができる。

〈医用画像処理方法の第４の例〉
医用画像処理方法の第４の例について、図４を参照しつつ説明する。本例では、被検者の所定部位のＮ個の解析データを取得するための医用画像処理方法、更には、それら解析データから所定部位の特性の時系列変化を表す情報を生成するための医用画像処理方法について説明する（Ｎは２以上の整数とする）。

（Ｓ３１：医用画像を受け付ける）
まず、第１の例におけるステップＳ１と同じ要領で、コンピュータは、所定の解像度を有する被検者の所定部位の画像（低解像度画像）を受け付ける。

（Ｓ３２：第１解像度の第１画像に変換する）
次に、第１の例におけるステップＳ２と同じ要領で、コンピュータは、ステップＳ３１で取得された画像の解像度を変換することにより、所定の解像度より高い第１解像度の第１画像を生成する。

（Ｓ３３：第２解像度の第２〜第Ｎ画像を取得する）
コンピュータは、ステップＳ３１で取得された低解像度画像の解像度よりも高い第２解像度を有する、第１画像と同じ部位を表す第２画像を取得する。より一般に、コンピュータは、ステップＳ３１で取得された低解像度画像の解像度よりも高い解像度をそれぞれ有する、第１画像と同じ部位を表す１又は２以上の画像を取得する。ここで取得される画像の数は任意である。

第２解像度は、前述した第２の例におけるそれと同様であってよい。また、本ステップの処理及びその実行タイミングについても、第２の例におけるそれらと同様であってよい。

（Ｓ３４：第１〜第Ｎ画像を解析する）
コンピュータは、ステップＳ３２で得られた第１画像及びステップＳ３３で得られた第２〜第Ｎ画像のそれぞれに所定の解析処理を施す。この解析処理は、前述した第３の例におけるそれと同様であってよい。

（Ｓ３５：特性の時系列変化を表す情報を生成する）
コンピュータは、ステップＳ２４で生成されたＮ個の解析データの少なくとも一部（複数の解析データ）と、これら複数の画像の撮影日とに基づいて、被検者の所定部位の特性の時系列変化を表す情報を生成する。この情報の典型的な例として、乳頭３次元形状の時系列変化を表すカラーマップやグラフ等、ＲＮＦＬ厚の時系列変化を表すカラーマップやグラフ等がある。撮影日及びそれに関する処理は、前述した第２の例と同様であってよい。また、コンピュータは、生成された情報を出力装置に出力させることができる。

このような情報を生成することで、ユーザは、被検者の所定部位の特性（構造、機能、分布、値など）の時系列変化を容易に把握することができる。また、Ｎ個の解析データの一部のみに基づく情報が生成された場合、情報の生成に用いられる解析データの指定を操作デバイスを用いて行えるように構成することができる。つまり、時系列変化の期間や間隔を任意に変更することができる。

〈医用画像処理方法の第５の例〉
医用画像処理方法の第５の例について、図５を参照しつつ説明する。本例では、被検者が罹患している疾患又はその候補に関する推論を行うための医用画像処理方法について説明する。ここで、被検者が罹患している疾患は、既に確定診断がなされている疾患を含んでよい。また、被検者が罹患している疾患の候補は、未だ確定診断がなされていない疾患や、健康診断・検診・スクリーニング等の対象の疾患を含んでよい。

（Ｓ４１：医用画像を受け付ける）
まず、第１の例におけるステップＳ１と同じ要領で、コンピュータは、所定の解像度を有する被検者の所定部位の画像（低解像度画像）を受け付ける。

（Ｓ４２：解像度を変換する）
次に、第１の例におけるステップＳ２と同じ要領で、コンピュータは、ステップＳ４１で取得された画像の解像度を変換することにより、所定の解像度より高い第１解像度の第１画像を生成する。

（Ｓ４３：医療情報を取得する）
コンピュータは、被検者に関する医療情報を取得する。医療情報は、例えば、電子カルテ、パーソナルヘルスレコード（ＰＨＲ）、手術記録、検査データなど、医療行為において取得、作成、利用することが可能な情報のいずれかを含んでよい。

コンピュータは、例えば、通信回線又は記録媒体を介して医療情報データベースにアクセスし、当該被検者の医療情報を取得することができる。或いは、コンピュータは、医療情報を生成することもできる。例えば、前述した解析データを医療情報として用いることができる。本ステップの処理を実行するタイミングは当該タイミングには限定されず、任意であってよい。

（Ｓ４４：疾患に関する推論を行う）
コンピュータは、ステップＳ４２で得られた第１画像と、ステップＳ４３で得られた医療情報に基づいて、被検者が罹患している疾患又はその候補に関する推論を行う。推論は、人工知能エンジンによって実行される。

推論は、例えば、所定の疾患に罹患しているか否かの判定、所定の疾患に罹患している確率の算出、所定の疾患の進行度合の特定、必要な検査の種別の特定などのいずれかを含んでよい。推論の内容に応じた学習が人工知能エンジンに対して予め行われる。このような疾患に関する推論を行うことで、診断支援が可能となる。

〈医用画像処理方法の第６の例〉
医用画像処理方法の第６の例について、図６を参照しつつ説明する。本例では、眼科分野への応用について説明する。

本例のコンピュータは、眼科に関する学習が施された人工知能エンジン（眼科用人工知能エンジン）を含んでいてよい。眼科用人工知能エンジンは、眼科に関する知識ベースを含む。眼科知識ベースには、眼科疾患に関する専門書や論文、眼の構造（解剖学）に関する専門書や論文、眼の画像や検査に関する専門書や論文などのいずれかが含まれてよい。

（Ｓ５１：被検眼の画像を受け付ける）
まず、第１の例におけるステップＳ１と同じ要領で、コンピュータは、所定の解像度を有する被検眼の所定部位の画像（低解像度画像）を受け付ける。

（Ｓ５２：左眼画像か右眼画像か判別する）
コンピュータは、ステップＳ５１で取得された画像が左眼画像であるか右眼画像であるか判別する。

この判別は、眼科用人工知能エンジン又はそれ以外のプロセッサによって実行される。この判別は、例えば、眼の解剖学的特徴を参照して行われる。典型的には、視神経乳頭の位置、黄斑の位置、視神経乳頭と黄斑との相対位置、血管の走行、神経線維の走行などに基づいて、ステップＳ５１で取得された画像が左眼画像であるか右眼画像であるか判別することが可能である。或いは、例えばＤＩＣＯＭファイル内のタグ情報に、当該画像が左眼画像であるか右眼画像であるかを示す情報を記録してもよい。

この左右判別を実行するタイミングは、当該画像の高解像度化の前でも後でもよい。また、高解像度化と並行して当該判別を実行することも可能である。

（Ｓ５３：解像度を変換する）
次に、第１の例におけるステップＳ２と同じ要領で、コンピュータは、ステップＳ５１で取得された画像の解像度を変換することにより、所定の解像度より高い第１解像度の第１画像を生成する。

この処理は、例えば眼科用人工知能エンジンによって実行される。例えば、眼科知識ベースが眼の解剖学的特徴（視神経乳頭の位置や形態、黄斑の位置や形態、血管の走行や形態、神経線維の走行や形態など）を表す特徴情報を含む場合、眼科用人工知能エンジンは、少なくとも特徴情報に基づいて解像度を変換することができる。

特徴情報は、左眼の解剖学的特徴を表す左眼情報と、右眼の解剖学的特徴を表す右眼情報とを含んでいてよい。この場合、高解像度化の前に左右判別（ステップＳ５２）を実行することができ、更に、この判定結果に応じて特徴情報を選択的に使用することができる。具体的には、ステップＳ５１で取得された画像が左眼画像であると判別された場合、眼科用人工知能エンジンは、少なくとも左眼情報に基づいて高解像度化を行うことにより第１画像を生成することができる。一方、ステップＳ５１で取得された画像が右眼画像であると判別された場合、眼科用人工知能エンジンは、少なくとも右眼情報に基づいて高解像度化を行うことにより第１画像を生成することができる。

（Ｓ５４：所定の処理を実行する）
コンピュータは、ステップＳ２で高解像度化された第１画像に基づいて所定の処理を実行する。所定の処理は、前述したように任意の処理であってよい。

ステップＳ５１で受け付けられた低解像度画像、ステップＳ５２で得られた判別結果、ステップＳ５３で生成された高解像度画像（第１画像）、所定の処理によって得られた情報などは、記憶装置に保存され、及び／又は、出力装置により出力される。

〈医用画像処理装置の例〉
以上のような医用画像処理方法を実現するための医用画像処理装置の例を説明する。このような装置の構成の例を図７に示す。

医用画像処理装置１は、制御部１０と、記憶部２０と、データ処理部３０と、通信部４０とを含む。ユーザインターフェイス（ＵＩ）１００は、医用画像処理装置１に含まれてもよいし、含まれなくてもよい。医用画像処理装置１に含まれる要素は、単一の装置又は２以上の装置として構成される。例えば、医用画像処理装置１は、これら要素の全てを備えた単一のコンピュータを含む。

医用画像処理装置１が２以上の装置を含む場合の例として、制御部１０を含むコンピュータと、記憶部２０を含むコンピュータと、データ処理部３０を含むコンピュータとを、それぞれ個別に設けることができる。或いは、医用画像処理装置１は、制御部１０、記憶部２０及びデータ処理部３０のうちのいずれか２つを備えたコンピュータと、他の１つを備えたコンピュータとを含む。異なるコンピュータの間の通信形態は、有線通信及び／又は無線通信を含んでよく、専用回線及び／又は公衆回線を含んでよく、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、近距離通信及びインターネットのうちの少なくとも１つを含んでよい。

〈制御部１０〉
制御部１０は各種の制御を実行する。例えば、制御部１０は、医用画像処理装置１の各要素の制御や、２以上の要素の連係的制御を実行する。また、制御部１０は、医用画像処理装置１の外部の装置の制御を行うことができる。例えば、ユーザインターフェイス１００が医用画像処理装置１に含まれない場合、制御部１０はユーザインターフェイス１００の制御を行うことができる。制御部１０はプロセッサを含む。

〈出力制御部１１〉
出力制御部１１は、前述した出力装置を制御する。本例において、出力制御部１１は、図１のステップＳ３、図２のステップＳ１４、図３のステップＳ２５、図６のステップＳ５４などを実行することができる。

出力装置は、例えば、表示装置、音声出力装置、印刷装置、通信機器、及びデータライタのうちの少なくとも１つを含む。すなわち、出力制御部１１は、次の制御のうちの少なくともいずれかを実行するように構成される：情報を表示するための表示装置の制御；音声情報を出力するための音声出力装置の制御；用紙に情報を印刷するための印刷装置の制御；外部装置に情報を送信させるための通信機器の制御；記録媒体に情報を記録するためのデータライタの制御。

図２に示す例では、表示装置として表示部１０１が設けられている。また、通信部４０を通信機器として用いることが可能である。図示は省略するが、音声出力装置、印刷装置、及びデータライタのうちの１つ以上が設けられていてよい。なお、他の出力装置が設けられていてもよい。

〈記憶部２０〉
記憶部２０は各種のデータを記憶する。記憶部２０に記憶されるデータの例として、被検者氏名や被検者ＩＤ等の被検者情報がある。記憶部２０は、例えば、半導体記憶装置、磁気記憶装置、光記憶装置、及び光磁気記憶装置のうちの少なくとも１つを含む。

〈知識ベース２１〉
記憶部２０には知識ベース２１が格納されている。知識ベース２１は、眼科知識ベース等の医学知識ベースや、自然言語解析や画像解析のための知識ベースを含んでいてよい。本例では、前述したように、低解像度画像と高解像度画像との複数の組み合わせ（学習サンプル）を学習することによって知識ベース２１の少なくとも一部を作成することができる。

〈通信部４０〉
通信部４０は、他の装置（外部装置２００）にデータを送信する処理と、外部装置２００からデータを受信する処理とを行う。通信部４０は、外部装置２００との間の通信方式に応じた公知の通信機器を含む。

外部装置２００は、コンピュータ（サーバ、データベース等）を含んでもよいし、医療装置（検査装置、撮影装置等）を含んでもよい。

外部装置２００が撮影装置又は画像アーカイビング装置などである場合、通信部４０は、外部装置２００から提供される医用画像を受け付ける画像受付部として機能することができる。本例では、通信部４０は、例えば、制御部１０による制御の下に、図１のステップＳ１、図２のステップＳ１１、図３のステップＳ２１、図４のステップＳ３１、図５のステップＳ４１、図６のステップＳ５１などを実行することができる。更に、図２のステップＳ１３、図３のステップ２３、図４のステップＳ３３などを実行することも可能である。

外部装置２００が前述の医療情報を作成する装置又はそれを格納する装置である場合、通信部４０は、外部装置２００から医療情報を取得する医療情報取得部として機能することができる。本例では、通信部４０は、例えば、制御部１０による制御の下に、図５のステップＳ４３などを実行することができる。

〈データ処理部３０〉
データ処理部３０は、各種のデータ処理を実行する。本例において、データ処理部３０は、画像の解像度変換、左眼画像／右眼画像の判別、画像解析、推論などを実行することができる。データ処理部３０は、プロセッサとコンピュータプログラムとを含む。データ処理部３０は、人工知能エンジン（眼科用人工知能エンジン等）を含んでよい。知識ベース２１は人工知能エンジンによって使用される。

画像の解像度変換は、図１のステップＳ２、図２のステップＳ１２、図３のステップＳ２２、図４のステップＳ３２、図５のステップＳ４２、図６のステップＳ５３などに相当する。画像の解像度変換は、画像変換部３１によって実行される。画像変換部３１は、典型的には人工知能エンジンを含むが、これを含まなくてもよい。画像変換部３１の動作は、解像度変換のためのハードウェア（プロセッサ、記憶装置等）とコンピュータプログラムとの協働によって実現される。

左眼画像／右眼画像の判別は、図６のステップＳ５２などに相当する。左眼画像／右眼画像の判別は、左右判別部３２によって実行される。左右判別部３２は、人工知能エンジンを含んでもよいし、含まなくてもよい。左右判別部３２の動作は、左眼画像／右眼画像の判別のためのハードウェア（プロセッサ、記憶装置等）とコンピュータプログラムとの協働によって実現される。

画像解析は、図３のステップＳ２４、図４のステップＳ３４などに相当する。画像解析は、画像解析部３３によって実行される。画像解析部３３は、人工知能エンジンを含んでもよいし、含まなくてもよい。画像解析部３３の動作は、画像解析のためのハードウェア（プロセッサ、記憶装置等）とコンピュータプログラムとの協働によって実現される。

推論は、図５のステップＳ４４などに相当する。推論は、推論部３４によって実行される。推論部３４は、典型的には人工知能エンジンを含むが、これを含まなくてもよい。推論部３４の動作は、推論のためのハードウェア（プロセッサ、記憶装置等）とコンピュータプログラムとの協働によって実現される。

〈ユーザインターフェイス１００〉
ユーザインターフェイス１００には、表示部１０１と操作部１０２とが含まれる。表示部１０１は、フラットパネルディスプレイ等の表示デバイスを含む。操作部１０２は、マウス、キーボード、トラックパッド、ボタン、キー、ジョイスティック、操作パネル等の操作デバイスを含む。

表示部１０１と操作部１０２は、それぞれ個別のデバイスとして構成される必要はない。たとえばタッチパネルのように、表示機能と操作機能とが一体化されたデバイスを用いることも可能である。その場合、操作部１０２は、このタッチパネルとコンピュータプログラムとを含んで構成される。操作部１０２に対する操作内容は、電気信号として制御部１０に入力される。また、表示部１０１に表示されたグラフィカルユーザインターフェイス（ＧＵＩ）と、操作部１０２とを用いて、操作や情報入力を行うようにしてもよい。

〈医用画像処理装置の動作例〉
医用画像処理装置１が実行可能な動作のいくつかの例を説明する。以下の動作例をそれぞれ適用することができる。或いは、以下の動作例のうちのいずれか２以上を組み合わせることもできる。また、以下の動作例におけるいずれかのステップを変形することも可能である。

〈第１の動作例〉
第１の動作例を説明する。まず、通信部４０は、所定の解像度を有する被検者の所定部位の画像を受け付ける（例えば、図１のステップＳ１）。

次に、画像変換部３１（例えば、（眼科用）人工知能エンジン）は、通信部４０によって受け付けられた画像を、所定の解像度より高い第１解像度を有する第１画像に変換する（例えば、図１のステップＳ２）。

続いて、データ処理部３０（画像解析部３３、推論部３４等）及び／又は制御部１０（出力制御部１１等）は、画像変換部３１によって生成された第１画像に基づいて所定の処理を実行する（例えば、図１のステップＳ３）。

〈第２の動作例〉
第２の動作例を説明する。まず、通信部４０は、所定の解像度を有する被検者の所定部位の画像を受け付ける（例えば、図２のステップＳ１１）。

次に、画像変換部３１（例えば、（眼科用）人工知能エンジン）は、通信部４０によって受け付けられた画像を、所定の解像度より高い第１解像度を有する第１画像に変換する（例えば、図２のステップＳ１２）。

通信部４０（及び／又はデータ処理部３０など）は、所定の解像度より高い第２解像度を有する所定部位の第２画像を取得する（例えば、図２のステップＳ１３）。或いは、通信部４０（及び／又はデータ処理部３０など）は、所定の解像度より高い第２解像度をそれぞれ有する所定部位の第２〜第Ｎ画像を取得する（例えば、図２のステップＳ１３）。

出力制御部１１は、第１解像度を有する第１画像と、第２解像度を有する第２画像（又は第２〜第Ｎ画像）とを、それらの撮影日に応じた順序で並べて表示部１０１に表示させる（例えば、図２のステップＳ１４）。このとき、第１〜第Ｎ画像から複数の画像を選択して表示させることもできる。

〈第３の動作例〉
第３の動作例を説明する。まず、通信部４０は、所定の解像度を有する被検者の所定部位の画像を受け付ける（例えば、図３のステップＳ２１）。

次に、画像変換部３１（例えば、（眼科用）人工知能エンジン）は、通信部４０によって受け付けられた画像を、所定の解像度より高い第１解像度を有する第１画像に変換する（例えば、図３のステップＳ２２）。

通信部４０（及び／又はデータ処理部３０など）は、所定の解像度より高い第２解像度を有する所定部位の第２画像（又は第２〜第Ｎ画像）を取得する（例えば、図３のステップＳ２３）。

画像解析部３３は、第１画像に所定の解析処理を施して第１解析データを生成し、且つ、第２画像に解析処理を施して第２解析データを生成する（例えば、図３のステップＳ２４）。或いは、画像解析部３３は、第１〜第Ｎ画像のそれぞれに所定の解析処理を施して複数の解析データを生成する（例えば、図３のステップＳ２４）。

出力制御部１１は、第１解析データ及び第２解析データ（又は第１〜第Ｎ解析データ）を、それら画像の撮影日に応じた順序で並べて表示部１０１に表示させる（例えば、図３のステップＳ２５）。このとき、第１〜第Ｎ解析データから複数の解析データを選択して表示させることもできる。

〈第４の動作例〉
第４の動作例を説明する。まず、通信部４０は、所定の解像度を有する被検者の所定部位の画像を受け付ける（例えば、図４のステップＳ３１）。

次に、画像変換部３１（例えば、（眼科用）人工知能エンジン）は、通信部４０によって受け付けられた画像を、所定の解像度より高い第１解像度を有する第１画像に変換する（例えば、図４のステップＳ３２）。

通信部４０（及び／又はデータ処理部３０など）は、所定の解像度より高い第２解像度を有する所定部位の第２〜第Ｎ画像を取得する（例えば、図４のステップＳ３３）。

画像解析部３３は、第１〜第Ｎ画像のそれぞれに所定の解析処理を施して第１〜第Ｎ解析データを生成する（例えば、図４のステップＳ３４）。

画像解析部３３は、更に、第１〜第Ｎ解析データの一部又は全部に基づいて、被検者の所定部位の特性の時系列変化を表す情報を生成する（例えば、図４のステップ３５）。出力制御部１１は、例えば、生成された情報、第１〜第Ｎ画像のいずれか、第１〜第Ｎ解析データのいずれかのうちの１つ以上を出力するように、出力装置（表示部１０１等）の制御を行うことが可能である。

〈第５の動作例〉
第５の動作例を説明する。まず、通信部４０は、所定の解像度を有する被検者の所定部位の画像を受け付ける（例えば、図５のステップＳ４１）。

次に、画像変換部３１（例えば、（眼科用）人工知能エンジン）は、通信部４０によって受け付けられた画像を、所定の解像度より高い第１解像度を有する第１画像に変換する（例えば、図５のステップＳ４２）。

通信部４０は、外部装置２００から医療情報を取得する（例えば、図５のステップＳ４３）。これに加え、又はこれに代えて、データ処理部３０は、医療情報を生成することができる（例えば、図５のステップＳ４３）。

推論部３４は、第１画像及び医療情報に基づいて、被検者が罹患している疾患又はその候補に関する推論を行う（例えば、図５のステップＳ５４）。なお、医療情報を用いることなく、第１画像に基づいて推論を行うことも可能である。

出力制御部１１は、例えば、推論の結果、第１画像、医療情報のうちの１つ以上を出力するように、出力装置（表示部１０１等）の制御を行うことが可能である。

〈第６の動作例〉
第６の動作例を説明する。まず、通信部４０は、所定の解像度を有する被検眼の所定部位の画像を受け付ける（例えば、図６のステップＳ５１）。

次に、左右判別部３２は、受け付けられた画像が左眼画像であるか右眼画像であるか判別する（例えば、図６のステップＳ５２）。なお、画像変換部３１による処理の後に左右判別処理を実行してもよい。

画像変換部３１（例えば、（眼科用）人工知能エンジン）は、通信部４０によって受け付けられた画像を、所定の解像度より高い第１解像度を有する第１画像に変換する（例えば、図６のステップＳ５３）。

ここで、知識ベース２１（眼科知識ベース）が、眼の解剖学的特徴を表す特徴情報を含む場合、画像変換部３１（眼科用人工知能エンジン）は、少なくとも特徴情報に基づいて解像度変換を行うことにより第１画像を生成することができる。

また、特徴情報が、左眼の解剖学的特徴を表す左眼情報と、右眼の解剖学的特徴を表す右眼情報とを含み、且つ、左右判別部３２による処理が既に実行された場合、画像変換部３１（眼科用人工知能エンジン）は、左眼画像に対しては少なくとも左眼情報に基づいて第１画像を生成し、右眼画像に対しては少なくとも右眼情報に基づいて第１画像を生成することができる。

続いて、データ処理部３０（画像解析部３３、推論部３４等）及び／又は制御部１０（出力制御部１１等）は、画像変換部３１によって生成された第１画像に基づいて所定の処理を実行する（例えば、図６のステップＳ５４）。

〈作用・効果〉
以上に例示した実施形態の作用及び効果について説明する。以下に説明する作用や効果は例示的なものであり、これらのうちのいずれか２以上を任意に組み合わせることや、これらのうちのいずれか１以上を公知技術と組み合わせることなどが可能である。

実施形態の医用画像処理方法は、コンピュータを用いて医用画像を処理する方法である。コンピュータは、所定の解像度を有する被検者の所定部位の画像を受け付け、この画像を上記所定の解像度より高い第１解像度を有する第１画像に変換し、この第１画像に基づき所定の処理を実行する。

このような医用画像処理方法によれば、例えば緑内障のように長期間にわたる経過観察が必要な場合において、例えば、過去に取得された低解像度の画像を高解像度化することができる。それにより、比較される複数の画像の質（解像度）が異なることに起因した比較観察や比較解析の問題が解消される。

また、緊急時や往診時などに簡易的な撮影装置で得られた低解像度画像を高解像度化することができるので、高性能な撮影装置で得られた高解像度画像との比較を好適に行うことができる。

また、緊急時や災害時のように簡易的な撮影装置しか使用できない場合であっても、低解像度画像を高解像度化して診断に用いることができるので、診断確度の向上を図ることが可能となる。

また、遠隔医療等において通信環境等の影響により解像度が低下した場合でも、ライブ画像や撮影画像を高解像度化することができるので、従来と比較して医師の認識や判断を制約することが少ない。

このようないくつかの運用例から明らかなように、例示的な実施形態によれば、医用画像の高解像度化により、上記した問題のいずれか、それから派生する問題、それに関連する問題など、医用画像の解像度に起因する問題を解決することが可能である。

実施形態において、コンピュータは人工知能エンジンを含んでいてよい。この場合、人工知能エンジンを用いて、受け付けられた画像を第１画像に変換することができる。つまり、人工知能エンジンによって高解像度化を行うことができる。

このような人工知能エンジンを用いることにより、低解像度の画像を高解像度化する処理を、より高精度、より高確度で行うことが可能となる。

実施形態において、コンピュータは、所定の解像度より高い第２解像度を有する被検者の所定部位の第２画像を取得する処理と、第１画像と第２画像とを並べて表示手段に表示させる処理とを実行するように構成されてよい。ここで、表示手段は、コンピュータに含まれてもよいし、その外部に設けられてもよい。

このような実施形態によれば、所定の解像度よりも解像度が高い第１画像及び第２画像を比較観察することができる。

実施形態において、コンピュータは、第１画像及び第２画像を含む、所定の解像度より高い解像度をそれぞれ有する所定部位の複数の画像を、それらの撮影日に応じた順序で並べて表示手段に表示させることができる。

このような実施形態によれば、所定の解像度よりも解像度が高い複数の画像をそれらが撮影された順に並べて表示することができるので、所定部位の時系列的な変化を容易に把握することが可能である。

実施形態において、コンピュータは、所定の解像度より高い第２解像度を有する所定部位の第２画像を取得し、更に、第１画像に所定の解析処理を施して第１解析データを生成し、且つ、第２画像に解析処理を施して第２解析データを生成することができる。

このような実施形態によれば、所定の解像度よりも解像度が高い第１画像及び第２画像を解析した結果を比較できるので、高解像度化を行わない場合よりも高精度、高確度での比較解析が可能である。

実施形態において、コンピュータは、第１画像及び第２画像を含む、所定の解像度より高い解像度をそれぞれ有する所定部位の複数の画像のそれぞれに解析処理を施して複数の解析データを生成し、更に、これら複数の画像の撮影日に応じた順序で複数の解析データを並べて表示手段に表示させることができる。

このような実施形態によれば、所定の解像度よりも解像度が高い複数の画像を解析した結果を画像の撮影順に並べて表示することができるので、解析データの時系列的な変化を容易に把握することが可能である。

実施形態において、コンピュータは、第１画像及び第２画像を含む、所定の解像度より高い解像度をそれぞれ有する所定部位の複数の画像のそれぞれに解析処理を施して複数の解析データを生成し、更に、これら複数の画像の撮影日及び複数の解析データに基づいて、所定部位の特性の時系列変化を表す情報を生成することができる。

このような実施形態によれば、所定の解像度よりも解像度が高い複数の画像を解析した結果に基づいて、所定部位の特性の時系列変化（つまり解析データの時系列変化）を表す情報を生成することができるので、従来よりも高精度、高確度の診断材料を提供することが可能である。

実施形態において、人工知能エンジンが、被検者が罹患している疾患又はその候補に関する推論を第１画像に基づき実行することができる。

このような実施形態によれば、高解像度化された画像の利用と人工知能エンジンの利用とを組み合わせることにより、所定疾患のスクリーニング、疾患の有無、疾患の進行度合、検査種別の選択などの診断支援を、従来よりも高精度、高確度で提供することが可能となる。

実施形態において、コンピュータが、被検者に関する医療情報を取得可能である場合、人工知能エンジンは、第１画像及び医療情報に基づいて推論を実行することができる。

このような実施形態によれば、高解像度化された画像に加えて被検者の医療情報を参照することができるので、診断支援の精度や確度の更なる向上を図ることができる。

実施形態において、所定部位の画像は被検眼の画像であってよい。眼科では、様々な種類の画像が診断やスクリーニングに用いられる。よって、眼科は、実施形態の適用が特に有効な診療科の一つと言える。言うまでもないが、眼科以外の診療科に実施形態と適用することも可能である。

実施形態において、コンピュータは、眼科知識ベースを備えた眼科用人工知能エンジンを含んでいてよい。この場合、眼科用人工知能エンジンが、被検眼の画像を第１画像に変換することができる。

このような眼科用人工知能エンジンを用いることにより、被検眼の画像を高解像度化する処理を、より高精度、より高確度で行うことが可能となる。

実施形態において、眼科知識ベースは、眼の解剖学的特徴を表す特徴情報を含んでいてよい。この場合、眼科用人工知能エンジンは、少なくとも特徴情報に基づいて第１画像を生成することができる。

このような実施形態によれば、眼の解剖学的特徴を参照して被検眼の画像を高解像度化できるので、被検眼の画像を高解像度化する処理の精度、確度の更なる向上を図ることができる。

実施形態において、特徴情報は、左眼の解剖学的特徴を表す左眼情報と、右眼の解剖学的特徴を表す右眼情報とを含んでいてよい。この場合、コンピュータ（眼科用人工知能エンジン又は他のプロセッサ）は、被検眼の画像が左眼画像であるか右眼画像であるか判別することができる。更に、被検眼の画像が左眼画像であると判別された場合、眼科用人工知能エンジンは、少なくとも左眼情報に基づいて第１画像を生成することができる。一方、被検眼の画像が右眼画像であると判別された場合、眼科用人工知能エンジンは、少なくとも右眼情報に基づいて第１画像を生成することができる。

このような実施形態によれば、被検眼の画像が左眼画像である場合には左眼の解剖学的特徴を利用して高解像度化を実行し、被検眼の画像が右眼画像である場合には右眼の解剖学的特徴を利用して高解像度化を実行することができる。よって、被検眼の画像を高解像度化する処理の精度、確度の更なる向上を図ることができる。

以上のような例示的な医用画像処理方法のうちの１又は２以上を実現するための医用画像処理装置は、例えば、画像受付部と、画像変換部と、処理部とを含む。画像受付部は、所定の解像度を有する被検者の所定部位の画像を受け付ける。図７に示す例では、通信部４０が画像受付部として機能している。画像変換部は、受け付けられた画像を所定の解像度より高い第１解像度を有する第１画像に変換する。図７に示す例では、画像変換部３１が画像変換部として機能している。処理部は、画像変換部により生成された第１画像に基づいて所定の処理を実行する。図７に示す例では、データ処理部３０及び／又は制御部１０などが処理部として機能している。

このような医用画像処理装置によれば、例えば緑内障のように長期間にわたる経過観察が必要な場合において、例えば、過去に取得された低解像度の画像を高解像度化することができる。それにより、比較される複数の画像の質（解像度）が異なることに起因した比較観察や比較解析の問題が解消される。

また、緊急時や往診時などに簡易的な撮影装置で得られた低解像度画像を高解像度化することができるので、高性能な撮影装置で得られた高解像度画像との比較を好適に行うことができる。

また、緊急時や災害時のように簡易的な撮影装置しか使用できない場合であっても、低解像度画像を高解像度化して診断に用いることができるので、診断確度の向上を図ることが可能となる。

また、遠隔医療等において通信環境等の影響により解像度が低下した場合でも、ライブ画像や撮影画像を高解像度化することができるので、従来と比較して医師の認識や判断を制約することが少ない。

このようないくつかの運用例から明らかなように、例示的な医用画像処理装置によれば、医用画像の高解像度化により、上記した問題のいずれか、それから派生する問題、それに関連する問題など、医用画像の解像度に起因する問題を解決することが可能である。

実施形態において、所定部位の画像は、被検眼の画像であってよい。この場合、画像変換部は、眼科知識ベースを備えた眼科用人工知能エンジンを含んでいてよい。この眼科用人工知能エンジンが被検眼の画像を第１画像に変換するように構成される。

このような医用画像処理装置によれば、眼科用人工知能エンジンを用いることによって、被検眼の画像を高解像度化する処理を、より高精度、より高確度で行うことが可能となる。

実施形態において、眼科知識ベースは、眼の解剖学的特徴を表す特徴情報を含んでいてよい。この場合、眼科用人工知能エンジンは、少なくとも特徴情報に基づいて第１画像を生成することができる。

このような医用画像処理装置によれば、眼の解剖学的特徴を参照して被検眼の画像を高解像度化できるので、被検眼の画像を高解像度化する処理の精度、確度の更なる向上を図ることができる。

実施形態において、特徴情報は、左眼の解剖学的特徴を表す左眼情報と、右眼の解剖学的特徴を表す右眼情報とを含んでいてよい。この場合、医用画像処理装置は、被検眼の画像が左眼画像であるか右眼画像であるか判別する判別部を含んでよい。図７に示す例では、左右判別部３２が判別部として機能している。被検眼の画像が左眼画像であると判別された場合、眼科用人工知能エンジンは、少なくとも左眼情報に基づいて第１画像を生成することができる。一方、被検眼の画像が右眼画像であると判別された場合、眼科用人工知能エンジンは、少なくとも右眼情報に基づいて第１画像を生成することができる。

このような実施形態によれば、画像に描写されている被検眼に対応する解剖学的特徴を利用して高解像度化を実行することができるので、被検眼の画像を高解像度化する処理の精度、確度の更なる向上を図ることが可能である。

実施形態において、処理部は、表示制御部を含んでいてよい。表示制御部は、予め取得された所定の解像度より高い第２解像度を有する所定部位の第２画像と、第１画像とを、並べて表示手段に表示させる。図７に示す例では、出力制御部１１が表示制御部として機能している。

このような実施形態によれば、所定の解像度よりも解像度が高い第１画像及び第２画像を比較観察することができる。

実施形態において、処理部は、画像解析部を含んでいてよい。画像解析部は、第１画像に所定の解析処理を施して第１解析データを生成し、且つ、予め取得された所定の解像度より高い第２解像度を有する所定部位の第２画像に解析処理を施して第２解析データを生成する。図７に示す例では、画像解析部３３が画像解析部として機能している。

このような実施形態によれば、所定の解像度よりも解像度が高い第１画像及び第２画像を解析した結果を比較できるので、高解像度化を行わない場合よりも高精度、高確度での比較解析が可能である。

実施形態において、処理部は推論部を含んでいてよい。推論部は、被検者が罹患している疾患又はその候補に関する推論を第１画像に基づき実行する。図７に示す例では、推論部３４が推論部として機能している。

このような実施形態によれば、高解像度化された画像の利用と推論処理とを組み合わせることにより、所定疾患のスクリーニング、疾患の有無、疾患の進行度合、検査種別の選択などの診断支援を、従来よりも高精度、高確度で提供することが可能となる。

実施形態に係る医用画像処理方法に含まれる工程や、医用画像処理装置に含まれる要素（構成、動作等）は、上記の例示に限定されるものではない。

以上に説明した実施形態は本発明の一例に過ぎない。本発明を実施しようとする者は、本発明の要旨の範囲内における変形（省略、置換、付加等）を任意に施すことが可能である。

１ 医用画像処理装置
１０ 制御部
１１ 出力制御部
２０ 記憶部
２１ 知識ベース
３０ データ処理部
３１ 画像変換部
３２ 左右判別部
３３ 画像解析部
３４ 推論部
４０ 通信部
１００ ユーザインターフェイス
１０１ 表示部
１０２ 操作部
２００ 外部装置

Claims (4)

1. コンピュータを用いて医用画像を処理する方法であって、
   前記コンピュータが、
   低解像度画像と高解像度画像との複数の組み合わせを学習した人工知能エンジンを含み、
   所定の解像度を有する被検眼の画像を受け付け、
   前記人工知能エンジンにより、前記画像を前記所定の解像度より高い第１解像度を有する第１画像に変換し、
   前記第１画像に基づき所定の処理を実行し、
   前記人工知能エンジンが、眼の解剖学的特徴を表す特徴情報を含む眼科知識ベースを備えた眼科用人工知能エンジンを含み、
   前記眼科用人工知能エンジンが、少なくとも前記特徴情報に基づいて前記被検眼の画像を前記第１画像に変換する
   ことを特徴とする医用画像処理方法。
2. 前記特徴情報が、左眼の解剖学的特徴を表す左眼情報と、右眼の解剖学的特徴を表す右眼情報とを含み、
   前記コンピュータが、前記被検眼の画像が左眼画像であるか右眼画像であるか判別し、
   前記眼科用人工知能エンジンが、前記左眼画像であると判別された場合には少なくとも前記左眼情報に基づいて前記第１画像を生成し、前記右眼画像であると判別された場合には少なくとも前記右眼情報に基づいて前記第１画像を生成する
   ことを特徴とする請求項１に記載の医用画像処理方法。
3. 前記解剖学的特徴は、視神経乳頭の位置、視神経乳頭の形態、黄斑の位置、黄斑の形態、血管の走行、血管の形態、神経線維の走行、及び神経線維の形態のいずれかを含む
   ことを特徴とする請求項１又は２に記載の医用画像処理方法。
4. 所定の解像度を有する被検眼の画像を受け付ける画像受付部と、
   低解像度画像と高解像度画像との複数の組み合わせを学習した人工知能エンジンを含み、前記画像受付部により受け付けられた前記画像を前記所定の解像度より高い第１解像度を有する第１画像に変換する画像変換部と、
   前記第１画像に基づき所定の処理を実行する処理部と
   を備え、
   前記人工知能エンジンが、眼の解剖学的特徴を表す特徴情報を含む眼科知識ベースを備えた眼科用人工知能エンジンを含み、
   前記眼科用人工知能エンジンが、少なくとも前記特徴情報に基づいて前記被検眼の画像を前記第１画像に変換する
   ことを特徴とする医用画像処理装置。

Images