JP6683960B1 - 画像処理装置、画像処理システム、および画像処理プログラム - Google Patents

Abstract

【課題】医用画像内に含まれる異常部を推定した患者診断用の画像を生成すること。【解決手段】画像処理装置１００は、入力された医用画像に対して画像処理を行って複数の変換画像を生成する変換画像生成手段と、変換画像生成手段によって生成された複数の変換画像のそれぞれに対して、健康者を撮影した医用画像との差異部を異常部として抽出して複数の検出結果画像を生成する検出結果画像生成手段と、検出結果画像生成手段によって生成された複数の検出結果画像のそれぞれに対して、変換画像生成手段が行った画像処理の逆変換を実行して、逆変換後の検出結果画像を生成する逆変換手段と、逆変換手段によって生成された逆変換後の検出結果画像に基づいて、医用画像を撮影した患者の異常部を推定するための診断用画像を生成する診断用画像生成手段とを備える。【選択図】図１

Description

本発明は、画像処理装置、画像処理システム、および画像処理プログラムに関する。

次のような生体画像処理装置が知られている。この生体画像処理装置では、目的物を含む生体画像である入力用訓練画像、目的物を含まない生体画像である出力用訓練画像、及び目的物を含む生体画像である入力画像を受け付け、入力用訓練画像及び出力用訓練画像を用いて、目的物を含む生体画像から目的物を含まない生体画像を生成する画像処理を行うニューラルネットワークを学習し、学習結果であるニューラルネットワークの画像処理を用いて、入力画像から目的物を除去した出力画像を生成する（例えば、特許文献１）。

特開２０１８−８９３０１号公報

従来の生体画像処理装置では、目的物を含む生体画像から目的物を含まない生体画像を生成する画像処理を行うニューラルネットワークを学習し、学習結果であるニューラルネットワークの画像処理を用いて、入力画像から目的物を除去した出力画像を生成していた。しかしながら、画像を用いた診断では、医用画像の中から異常がある可能性がある部位を見つけ出すことが求められることも多く、その精度も求められる。しかしながら、従来の技術では、医用画像から精度高く異常部を抽出して、診断者による診断を支援する仕組みについては、何ら検討されていなかった。

本発明による画像処理装置は、入力された医用画像に対して画像処理を行って複数の変換画像を生成する変換画像生成手段と、変換画像生成手段によって生成された複数の変換画像のそれぞれに対して、健康者を撮影した医用画像との差異部を異常部として抽出して複数の検出結果画像を生成する検出結果画像生成手段と、検出結果画像生成手段によって生成された複数の検出結果画像のそれぞれに対して、変換画像生成手段が行った画像処理の逆変換を実行して、逆変換後の検出結果画像を生成する逆変換手段と、逆変換手段によって生成された逆変換後の検出結果画像に基づいて、医用画像を撮影した患者の異常部を推定するための診断用画像を生成する診断用画像生成手段とを備えることを特徴とする。
本発明による画像処理システムは、入力された医用画像に対して画像処理を行って複数の変換画像を生成する変換画像生成手段と、変換画像生成手段によって生成された複数の変換画像のそれぞれに対して、健康者を撮影した医用画像との差異部を異常部として抽出して複数の検出結果画像を生成する検出結果画像生成手段と、検出結果画像生成手段によって生成された複数の検出結果画像のそれぞれに対して、変換画像生成手段が行った画像処理の逆変換を実行して、逆変換後の検出結果画像を生成する逆変換手段と、逆変換手段によって生成された逆変換後の検出結果画像に基づいて、医用画像を撮影した患者の異常部を推定するための診断用画像を生成する診断用画像生成手段とを備えることを特徴とする。
本発明による画像処理プログラムは、入力された医用画像に対して画像処理を行って複数の変換画像を生成する変換画像生成手順と、変換画像生成手順で生成した複数の変換画像のそれぞれに対して、健康者を撮影した医用画像との差異部を異常部として抽出して複数の検出結果画像を生成する検出結果画像生成手順と、検出結果画像生成手順で生成した複数の検出結果画像のそれぞれに対して、変換画像生成手順で行った画像処理の逆変換を実行して、逆変換後の検出結果画像を生成する逆変換手順と、逆変換手順で生成した逆変換後の検出結果画像に基づいて、医用画像を撮影した患者の異常部を推定するための診断用画像を生成する診断用画像生成手順とをコンピュータに実行させる。

本発明によれば、医用画像を変換した複数の変換画像を用いることにより、１枚の入力画像を用いた場合と比較して、診断用画像における異常部の抽出精度を向上させることができる。

画像処理装置１００の一実施の形態の構成を示すブロック図である。 入力画像Ｘから検出結果画像ＡＤ（Ｔ（Ｘ））を生成するための処理の流れを模式的に示した図である。 推定ステップの処理の流れを模式的に示した図である。 トレーニングステップの処理の流れを示すフローチャート図である。 推定ステップの処理の流れを示すフローチャート図である。

図１は、本実施の形態における画像処理装置１００の一実施の形態の構成を示すブロック図である。画像処理装置１００は、あらかじめ撮影された医用画像、例えば、ＭＲＩ画像、ＣＴ画像、Ｘ線画像を用いて、医用画像内から医学的に異常と認められる部位を抽出し、視覚化するための処理を実行する。画像処理装置１００としては、例えばサーバ装置やパソコンなどが用いられる。図１は、本実施の形態における画像処理装置１００として、パソコンを用いた場合の一実施の形態の構成を示すブロック図である。

画像処理装置１００は、操作部材１０１と、制御装置１０２と、記憶媒体１０３と、表示装置１０４とを備えている。

操作部材１０１は、画像処理装置１００の操作者によって操作される種々の装置、例えばキーボードやマウスを含む。

制御装置１０２は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、画像処理装置１００の全体を制御する。なお、制御装置１０２を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリである。このメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリとして使用される。例えば、接続インターフェース１０２を介して読み込まれたデータは、バッファメモリに一時的に記録される。

記憶媒体１０３は、画像処理装置１００が蓄える種々のデータや、制御装置１０２が実行するためのプログラムのデータ等を記録するための記憶媒体であり、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等が用いられる。なお、記憶媒体１０３に記録されるプログラムのデータは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体に記録されて提供されたり、ネットワークを介して提供され、操作者が取得したプログラムのデータを記憶媒体１０３にインストールすることによって、制御装置１０２がプログラムを実行できるようになる。本実施の形態では、以下に説明する処理で用いるプログラムや種々のデータは、記憶媒体１０３に記録されている。

表示装置１０４は、例えば液晶モニタであって、制御装置１０２から出力される種々の表示用データが表示される。

本実施の形態における画像処理装置１００では、図２に示すように、制御装置１０２は，入力画像（Ｉｎｐｕｔ）Ｘに対して、あらかじめ設定された変換方法により入力画像Ｘを変換して、１枚の入力画像Ｘから複数の変換画像（Ｔｒａｎｓｆｏｒｍｅｄ Ｉｍａｇｅ）Ｔ（Ｘ）を生成するためのデータ増加処理２ａを実行する。そして、制御装置１０２は、データ増加処理２ａで変換した変換画像Ｔ（Ｘ）を医学的な異常部位を検出した検出結果画像ＡＤ（Ｔ（Ｘ））を生成するための異常検出器２ｂに入力する。これにより、制御装置１０２は、入力画像Ｘに基づいて複数の検出結果画像ＡＤ（Ｔ（Ｘ））を生成することができる。

データ増加処理２ａでは、上述したように、入力画像Ｘをあらかじめ設定された変換方法により複数の変換画像Ｔ（Ｘ）に変換して、１枚の入力画像Ｘを複数枚の変換画像Ｔ（Ｘ）に増加させる。データ増加処理２ａでの変換方法としては、例えば、入力画像Ｘのサイズ変更、入力画像Ｘの回転、入力画像Ｘの位置変更、入力画像Ｘの明るさ変更などが想定される。

変換方法を入力画像Ｘのサイズ変更とした場合、データ増加処理２ａでは、入力画像Ｘを異なる倍率で拡大または縮小して複数の変換画像Ｔ（Ｘ）を得る。例えば、入力画像Ｘを０．８倍した変換画像Ｔ_１（Ｘ）と、入力画像Ｘを１倍した変換画像Ｔ_２（Ｘ）と、入力画像Ｘを１．２倍した変換画像Ｔ_３（Ｘ）の３枚の変換画像を生成するようにすればよい。

変換方法を入力画像Ｘの回転とした場合、データ増加処理２ａでは、入力画像Ｘを異なる回転角度で回転させて複数の変換画像Ｔ（Ｘ）を得る。例えば、入力画像Ｘを３０度回転させた変換画像Ｔ_１（Ｘ）と、入力画像Ｘを０度回転させた変換画像Ｔ_２（Ｘ）と、入力画像Ｘを−３０度回転させた変換画像Ｔ_３（Ｘ）の３枚の変換画像を生成するようにすればよい。

変換方法を入力画像Ｘの位置変更とした場合、データ増加処理２ａでは、入力画像Ｘを所定ピクセル位置をずらした複数の変換画像Ｔ（Ｘ）を得る。例えば、入力画像Ｘを上方向に１０ピクセル動かした変換画像Ｔ_１（Ｘ）と、入力画像Ｘを左方向に１０ピクセル動かした変換画像Ｔ_２（Ｘ）と、入力画像Ｘを下方向に１０ピクセル動かした変換画像Ｔ_３（Ｘ）と、入力画像Ｘを右方向に１０ピクセル動かした変換画像Ｔ_４（Ｘ）の４枚の変換画像を生成するようにすればよい。

変換方法を入力画像Ｘの明るさ変更とした場合、データ増加処理２ａでは、入力画像Ｘの明るさを変更して複数枚の変換画像Ｔ（Ｘ）を得る。例えば、入力画像Ｘの明るさを０．８倍した変換画像Ｔ_１（Ｘ）と、入力画像Ｘの明るさを１倍した変換画像Ｔ_２（Ｘ）と、入力画像Ｘの明るさを１．２倍した変換画像Ｔ_３（Ｘ）の３枚の変換画像を生成するようにすればよい。

異常検出器２ｂは、変換画像Ｔ（Ｘ）を入力すると、変換画像Ｔ（Ｘ）内から医学的に異常がみられない正常な患者を撮影した医用画像との相違部を異常部として抽出した検出結果画像ＡＤ（Ｔ（Ｘ））が出力されるように構成されている。

異常検出器２ｂの構成は特に限定されないが、本実施の形態では、健康者を撮影した異常がない医用画像の画像パターンを学習させ、入力された医用画像に対して異常がない医用画像を復元して出力するように構成されたオートエンコーダを用いる。異常検出器２ｂは、オートエンコーダに変換画像Ｔ（Ｘ）を入力すると、オートエンコーダへの入力画像と出力画像の差分を算出して得た差分画像を検出結果画像ＡＤ（Ｔ（Ｘ））として出力するように構成されている。なお、オートエンコーダの学習のために後述するトレーニングステップが実行される。

なお、異常検出器２ｂで用いるオートエンコーダは、入力Ｘを潜在表現Ｚに変換するエンコーダと、潜在表現Ｚから入力Ｘを再構築するデコーダで構成されており、このオートエンコーダを用いることにより、入力と出力が同じになるようにニューラルネットワークを学習させることができる。

エンコーダは、２のストライドサイズの７つの畳み込み層と、次式（１）で表される活性化関数ＲｅＬＵの５×５カーネルで構成されている。それぞれの層に対するフィルターの数は、８、１６、３２、６４、１２８、２５６、５１２である。その結果、５１２次元からなる潜在表現Ｚを得ることができる。また、デコーダは、ストライドサイズが２の７つの転置された畳み込み層と、次式（１）に示す活性化関数ＲｅＬＵの５×５カーネルで構成されている。デコーダの各レイヤのフィルタ数は、２５６、１２８、６４、３２、１６、８、１である。
ＲｅＬＵ（ｘ）＝ｍａｘ（ｘ，０） ・・・（１）

これによって、変換画像Ｔ（Ｘ）に医学的に異常と認められる部分が現れている場合、オートエンコーダへの入力画像である変換画像Ｔ（Ｘ）には異常部が含まれている一方で、出力画像は異常がない画像、すなわち異常部が表示されていない画像となるため、異常検出器２ｂがオートエンコーダへの入力画像と出力画像の差分をとれば、変換画像Ｔ（Ｘ）内から異常部を抽出した検出結果画像ＡＤ（Ｔ（Ｘ））を出力することができる。

なお、上述した異常がない医用画像は、画像内に医学的に異常と認められる部位を含まない画像であって、例えば、医学的に異常がみられない人物の診断対象部位を撮影した画像、すなわち健康な患者の特定部位を撮影した画像を用いればよい。

例えば、上述したように、データ増加処理２ａで変換画像Ｔ_１（Ｘ）と変換画像Ｔ_２（Ｘ）と変換画像Ｔ_３（Ｘ）の３枚の変換画像が生成される場合には、異常検出器２ｂによって、変換画像Ｔ_１（Ｘ）から異常部を抽出した検出結果画像ＡＤ（Ｔ_１（Ｘ））と、変換画像Ｔ_２（Ｘ）から異常部を抽出した検出結果画像ＡＤ（Ｔ_２（Ｘ））と、変換画像Ｔ_３（Ｘ）から異常部を抽出した検出結果画像ＡＤ（Ｔ_３（Ｘ））の３枚の検出結果画像が生成される。

本実施の形態では、事前に、異常がない患者の医用画像を入力画像Ｘとして、図２に示した画像処理を実行することにより、異常検出器２ｂのオートエンコーダに、健康者を撮影した異常がない医用画像の画像パターンを学習させるためのトレーニングステップが実行される。以下、本実施の形態におけるトレーニングステップの処理の流れについて説明する。

トレーニングステップでは、数多くの異常がない医用画像を入力画像Ｘとして用いて、異常検出器２ｂにおける異常検出モデルＹ＝ＡＤ（Ｘ）を訓練するために使用される。

制御装置１０２は、トレーニング用に用意された入力画像Ｘに対してデータ増加処理２ａを施すことにより、入力画像Ｘをあらかじめ設定された変換方法により複数の変換画像Ｔ（Ｘ）に変換する。ここでは、例えば、上述したように、３つの変換画像Ｔ_１（Ｘ）、Ｔ_２（Ｘ）、Ｔ_３（Ｘ）に変換されるものとする。

なお、トレーニングステップにおいては、入力画像Ｘの変換方法は、トレーニング用に撮影された各医用画像ごとに変更するようにしてもよい。例えば、変換方法を入力画像Ｘの回転とした場合、データ増加処理２ａでは、−４５度から４５度の範囲内でランダムに入力画像Ｘを回転させて変換画像を得るようにしてもよい。この場合、例えば、ある入力画像Ｘに対しては、入力画像Ｘを３５．５度回転させた変換画像Ｔ_１（Ｘ）と、入力画像Ｘを−１２度回転させた変換画像Ｔ_２（Ｘ）と、入力画像Ｘを−３８度回転させた変換画像Ｔ_３（Ｘ）の３枚の変換画像を生成するなどすればよい。医用画像を撮影する際には、必ず同じ角度や位置が撮影されるとは限らず、患者によって撮影する角度や位置が変わる可能性があるため、トレーニングステップでランダムに角度を変えて変換画像を得ることによって、後述する推定ステップで様々な角度の医用画像に対応できるようにニューラルネットワークを学習させることが可能となる。なお、データ増加処理２ａにおける変換方法が入力画像Ｘのサイズ変更、入力画像Ｘの位置変更、入力画像Ｘの明るさ変更の場合にも、同様にランダムに変更を行えばよい。

制御装置１０２は、データ増加処理２ａで変換された変換画像Ｔ（Ｘ）を異常検出器２ｂに入力し、異常検出器２ｂのオートエンコーダに異常がない医用画像の画像パターンを学習させるためのトレーニング処理を実行する。具体的には、制御装置１０２は、異常検出器２ｂにデータ増加処理２ａで変換された変換画像Ｔ（Ｘ）を異常検出器２ｂに入力し、それぞれの変換画像Ｔ（Ｘ）ごとに上述した検出結果画像ＡＤ（Ｔ（Ｘ））を得る。そして、制御装置１０２は、この画像処理をあらかじめ定義されている損失関数の値が所定の閾値以下になるまでオートエンコーダのエンコーダーとデコーダーの２つのニューラルネットワークの重みを調節しながら繰り返す。

制御装置１０２は、損失関数の値が閾値以下になったときにオートエンコーダのトレーニングは終了したと判定して、そのときに設定されていた重み値をオートエンコーダのネットワーク重み、すなわちエンコーダーとデコーダーの重みとして設定する。これによって、オートエンコーダに異常がない医用画像の画像パターンを学習させることができる。なお、オートエンコーダにおける損失関数については公知であるため詳細な説明は省略するが、損失関数は、その値が最小値である０をとるときに入力と出力が一致するようにあらかじめ定義されている。

このトレーニングステップをあらかじめ実行しておくことにより、制御装置１０２は、入力画像に含まれる異常部位を推定するための推定ステップを実行して、入力画像Ｘに対して図２に示した画像処理を実行することにより、入力画像Ｘと医学的に異常がみられない正常な患者を撮影した医用画像との相違部を異常部として抽出した検出結果画像ＡＤ（Ｔ（Ｘ））を得ることができ、検出結果画像ＡＤ（Ｔ（Ｘ））に基づいて、患者の医用画像内に含まれる異常部を推定するための診断用画像を得ることができる。

以下、本実施の形態における推定ステップの処理の流れについて、図３を用いて説明する。なお、図３では、データ増加処理２ａで、入力画像Ｘが３つの変換画像Ｔ_１（Ｘ）、Ｔ_２（Ｘ）、Ｔ_３（Ｘ）に変換され、これら３つの変換画像に対して、３つの検出結果画像ＡＤ（Ｔ_１（Ｘ））、ＡＤ（Ｔ_２（Ｘ））、ＡＤ（Ｔ_３（Ｘ））が生成される場合の処理の流れを示している。

推定ステップでは、制御装置１０２は、診断対象の患者の特定部位を撮影した医用画像を入力画像Ｘに対してデータ増加処理２ａを実行して、複数のＴ_１（Ｘ）,・・・,Ｔ_ｎ（Ｘ）に変換する。ここでは、ｎは、データ増加処理２ａによる変換で生成される画像の数を示す。例えば、図３では、入力画像Ｘに対して３つのデータ増加処理３ａ、３ｄ、３ｇを実行することにより、各データ増加処理においてあらかじめ設定された変換方法によって変換画像Ｔ_１（Ｘ）、Ｔ_２（Ｘ）、Ｔ_３（Ｘ）に変換している。図３では、例えば、データ増加処理３ａは、入力画像Ｘを３０度回転させて変換画像Ｔ_１（Ｘ）を生成し、データ増加処理３ｄは、入力画像Ｘを０度回転させて変換画像Ｔ_２（Ｘ）を生成し、データ増加処理３ｇは、入力画像Ｘを−３０度回転させて変換画像Ｔ_３（Ｘ）を生成している。

なお、上述したトレーニングステップでは、データ増加処理２ａでは、入力画像Ｘに対する変換方法をランダムに決定するようにしたが、推定ステップでは、あらかじめ設定された変換方法で変換を行う。例えば、変換方法を入力画像Ｘの回転とした場合、入力画像の回転角度はあらかじめ−３０度、０度、３０度と定められており、データ増加処理２ａでは、図３に示したように、入力画像Ｘを３０度回転させた変換画像Ｔ_１（Ｘ）と、入力画像Ｘを０度回転させた変換画像Ｔ_２（Ｘ）と、入力画像Ｘを−３０度回転させた変換画像Ｔ_３（Ｘ）の３枚の変換画像を生成する。このように、トレーニングステップでは、変換方法を入力画像ごとにランダムに決定し、推定ステップではあらかじめ設定された変換方法で入力画像を変換するようにすれば、トレーニングステップで様々な角度の医用画像に対応できるようにニューラルネットワークを学習させることが可能となるため、推定ステップでの推定精度を向上させることができる。

制御装置１０２は、データ増加処理２ａで変換した変換画像Ｔ_１（Ｘ）,・・・,Ｔ_ｎ（Ｘ）を異常検出器２ｂに入力して検出結果画像ＡＤ（Ｔ_ｎ（Ｘ））,・・・,ＡＤ（Ｔ_ｎ（Ｘ））を得る。図３に示す例では、異常検出器３ｂによって変換画像Ｔ_１（Ｘ）から検出結果画像ＡＤ（Ｔ_１（Ｘ））が生成され、異常検出器３ｅによって変換画像Ｔ_２（Ｘ）から検出結果画像ＡＤ（Ｔ_２（Ｘ））が生成され、異常検出器３ｈによって変換画像Ｔ_３（Ｘ）から検出結果画像ＡＤ（Ｔ_３（Ｘ））が生成されている。

ここで生成された検出結果画像ＡＤ（Ｔ_ｎ（Ｘ））,・・・,ＡＤ（Ｔ_ｎ（Ｘ））は、データ増加処理２ａによって変換された変換画像Ｔ_１（Ｘ）,・・・,Ｔ_ｎ（Ｘ）から異常部を抽出した画像となる。このため、制御装置１０２は、検出結果画像ＡＤ（Ｔ_ｎ（Ｘ））,・・・,ＡＤ（Ｔ_ｎ（Ｘ））に対してデータ増加処理２ａで行った変換の逆変換を行って、逆変換後の検出結果画像Ｙ_１＝Ｔ_１ ^−１（ＡＤ（Ｔ_１（Ｘ）））,・・・,Ｙ_ｎ＝Ｔ_ｎ ^−１（ＡＤ（Ｔ_ｎ（Ｘ）））を得る。図３に示す例では、検出結果画像ＡＤ（Ｔ_１（Ｘ））とＡＤ（Ｔ_２（Ｘ））とＡＤ（Ｔ_３（Ｘ））のそれぞれに対して、逆変換処理３ｃ、３ｆ、３ｉを行って、データ増加処理３ａ、３ｄ、３ｇで行われた変換の逆変換が行われる。

例えば、逆変換処理３ｃでは、検出結果画像ＡＤ（Ｔ_１（Ｘ））を−３０度回転させて逆変換後の検出結果画像Ｙ_１＝Ｔ_１ ^−１（ＡＤ（Ｔ_１（Ｘ）））を得る。逆変換処理３ｆでは、検出結果画像ＡＤ（Ｔ_２（Ｘ））を０度回転させて逆変換後の検出結果画像Ｙ_２＝Ｔ_２ ^−１（ＡＤ（Ｔ_２（Ｘ）））を得る。逆変換処理３ｉでは、検出結果画像ＡＤ（Ｔ_３（Ｘ））を３０度回転させて逆変換後の検出結果画像Ｙ_３＝Ｔ_３ ^−１（ＡＤ（Ｔ_３（Ｘ）））を得る。

制御装置１０２は、逆変換後の検出結果画像Ｙ_１＝Ｔ_１ ^−１（ＡＤ（Ｔ_１（Ｘ）））,・・・,Ｙ_ｎ＝Ｔ_ｎ ^−１（ＡＤ（Ｔ_ｎ（Ｘ）））に基づいて、患者の診断に用いる診断用画像を生成する。本実施の形態では、制御装置１０２は、逆変換後の検出結果画像Ｙ_１＝Ｔ_１ ^−１（ＡＤ（Ｔ_１（Ｘ）））,・・・,Ｙ_ｎ＝Ｔ_ｎ ^−１（ＡＤ（Ｔ_ｎ（Ｘ）））に対して結合処理３ｊを実行することにより診断用画像を生成する。結合処理３ｊでは、逆変換後の検出結果画像Ｙ_１＝Ｔ_１ ^−１（ＡＤ（Ｔ_１（Ｘ）））,・・・,Ｙ_ｎ＝Ｔ_ｎ ^−１（ＡＤ（Ｔ_ｎ（Ｘ）））は、あらかじめ設定された結合関数Ｃ（Ｙ_１,・・・,Ｙ_ｎ）によって結合され、その結果を患者の診断用画像とする。

図３に示す例では、結合処理３ｊによって、結合関数Ｃ（Ｙ_１,Ｙ_２,Ｙ_３）によって診断用画像が生成されている。なお、結合関数Ｃは、例えば、次式（２）に示すように、逆変換後のすべての検出結果画像において、各ピクセル位置における画素値の最小値が選択するように定義されている。
Ｃ（Ｙ_１,・・・,Ｙ_ｎ）＝ｍｉｎ（Ｙ_１,・・・,Ｙ_ｎ） ・・・（２）

このように、入力画像Ｘを変換した複数の変換画像Ｔ_１（Ｘ）,・・・,Ｔ_ｎ（Ｘ）を用いることにより、１枚の入力画像を用いた場合と比較して、トレーニングステップにおけるトレーニング精度を向上させることができるとともに、推定ステップで出力される診断用画像における異常部位の抽出精度を向上させることができる。

制御装置１０２は、結合処理３ｊによって得た診断用画像を表示装置１０４へ出力する。これによって、表示装置１０４に診断用画像が表示され、医師等は、診断用画像に基づいて患者の医用画像内に異常部位が認められないかを確認することができる。

図４は、本実施の形態におけるトレーニングステップの流れを示すフローチャートである。図４に示す処理は、異常部がない正常状態の医用画像、例えば健康な人物の脳画像が入力されると起動するプログラムとして、制御装置１０２によって実行される。

ステップＳ１０において、制御装置１０２は、入力された異常がない医用画像、すなわち入力画像Ｘに対してデータ増加処理２ａを実行して複数の変換画像Ｔ（Ｘ）を生成する。その後、ステップＳ２０へ進む。

ステップＳ２０では、制御装置１０２は、データ増加処理２ａで変換された変換画像Ｔ（Ｘ）をそれぞれ異常検出器２ｂに入力し、上述したように、異常検出器２ｂに異常がない医用画像の画像パターンを学習させるためのトレーニング処理を実行する。その後、ステップＳ３０へ進む。

ステップＳ３０では、制御装置１０２は、上述したように、あらかじめ定義されている損失関数の値が所定の閾値以下になったことにより、異常検出器２ｂのトレーニングが終了したか否かを判断する。ステップＳ３０で肯定判断した場合には、そのときに設定されていた重み値をオートエンコーダのネットワーク重みとして採用し、処理を終了する。これに対して、ステップＳ３０で否定判断した場合には、ステップＳ４０へ進む。

ステップＳ４０では、制御装置１０２は、上述したように、オートエンコーダのネットワーク重みを調整して、ステップＳ１０へ戻る。

図５は、本実施の形態における推定ステップの流れを示すフローチャートである。図５に示す処理は、診断対象患者の医用画像が入力されると起動するプログラムとして、制御装置１０２によって実行される。

ステップＳ１１０において、制御装置１０２は、入力された医用画像、すなわち入力画像Ｘに対してデータ増加処理２ａを実行して変換画像Ｔ_１（Ｘ）,・・・,Ｔ_ｎ（Ｘ）を生成する。その後、ステップＳ１２０へ進む。

ステップＳ１２０では、制御装置１０２は、データ増加処理２ａで変換した変換画像Ｔ_１（Ｘ）,・・・,Ｔ_ｎ（Ｘ）を異常検出器２ｂに入力して検出結果画像ＡＤ（Ｔ_ｎ（Ｘ））,・・・,ＡＤ（Ｔ_ｎ（Ｘ））を得る。その後、ステップＳ１３０へ進む。

ステップＳ１３０では、制御装置１０２は、検出結果画像ＡＤ（Ｔ_ｎ（Ｘ））,・・・,ＡＤ（Ｔ_ｎ（Ｘ））に対してデータ増加処理２ａで行った変換の逆変換を行って、逆変換後の検出結果画像Ｙ_１＝Ｔ_１ ^−１（ＡＤ（Ｔ_１（Ｘ）））,・・・,Ｙ_ｎ＝Ｔ_ｎ ^−１（ＡＤ（Ｔ_ｎ（Ｘ）））を得る。その後、ステップＳ１４０へ進む。

ステップＳ１４０では、制御装置１０２は、逆変換後の検出結果画像Ｙ_１＝Ｔ_１ ^−１（ＡＤ（Ｔ_１（Ｘ）））,・・・,Ｙ_ｎ＝Ｔ_ｎ ^−１（ＡＤ（Ｔ_ｎ（Ｘ）））に対して結合処理３ｊを実行することにより、診断用画像を生成する。その後、ステップＳ１５０へ進む。

ステップＳ１５０では、制御装置１０２は、ステップＳ１４０で生成した診断用画像を表示装置１０４へ出力することにより、表示装置１０４に診断用画像を表示する。その後、処理を終了する。

以上説明した実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０２は、入力された医用画像に対して画像処理を行って複数の変換画像を生成し、生成した複数の変換画像のそれぞれに対して、健康者を撮影した医用画像との差異部を異常部として抽出して複数の検出結果画像を生成し、生成した複数の検出結果画像のそれぞれに対して、データ増加処理２ａで行った画像処理の逆変換を実行して、逆変換後の検出結果画像を生成し、生成した逆変換後の検出結果画像に基づいて、医用画像を撮影した患者の異常部を推定するための診断用画像を生成するようにした。これによって、患者の医用画像内から医学的な異常部を抽出した診断用画像を生成して、画像を用いた診断を支援することができる。さらに、入力画像を変換した複数の変換画像を用いて逆変換後の検出結果画像を生成し、これらを結合して診断用画像を生成するようにしたので、１枚の入力画像を用いる場合と比較して、トレーニングステップにおけるトレーニング精度を向上させることができるとともに、推定ステップで出力される診断用画像における異常部位の抽出精度を向上させることができる。

（２）制御装置１０２は、生成した診断用画像を表示装置１０４に表示するようにした。これによって、医師等の操作者は、診断用画像を表示装置１０４上で確認することができる。

（３）制御装置１０２は、入力された医用画像に対してあらかじめ設定されている変換方法で画像処理を行って、複数の変換画像を生成するようにした。これによって、１枚の医用画像から複数の変換画像を生成して、異常検出器２ｂに入力する画像の数を増やすことができる。

（４）制御装置１０２は、異常がない医用画像に基づいて生成された変換画像の画像パターンを学習させ、入力された変換画像に対して異常がない医用画像における変換画像を復元して出力するように構成されたオートエンコーダに変換画像を入力し、オートエンコーダへの入力画像と出力画像の差分を算出して得た差分画像を検出結果画像として生成するようにした。これによって、あらかじめオートエンコーダに異常がない医用画像における変換画像の画像パターンを学習させておけば、患者を撮影した診断対象の医用画像を入力するだけで検出結果画像生成することができる。

（５）制御装置１０２は、逆変換手段によって生成されたすべての逆変換後の検出結果画像において、各ピクセル位置における画素値の最小値を選択した画像を診断用画像として生成するようにした。このように、複数の逆変換後の検出結果画像において、同じ画素位置の画素の中から画素値が最小となる画素を選択して診断用画像を生成するようにすれば、ノイズ等の影響を排除して精度の高い診断用画像を生成することができる。

―変形例―
なお、上述した実施の形態の画像処理装置は、以下のように変形することもできる。
（１）上述した実施の形態では、画像処理装置１００はパソコンであって、制御装置１０２が上述した処理を実行する例について説明した。しかしながら、操作者が操作する端末からインターネットなどの通信回線を介して画像処理装置１００へ接続できるようにし、上述した入力画像Ｘは、操作端末から画像処理装置１００へ送信されることにより入力されてもよい。また、その場合は、診断用画像は、操作端末に送信して、操作端末上で表示されるようにしてもよい。これによって、操作端末と画像処理装置１００とを通信回線を介して接続することで、クライアントサーバー型やクラウド型の画像処理システムを構築することができる一方で、画像処理装置１００を単体で用いることにより、スタンドアロン型の装置として利用することもできる。

（２）上述した実施の形態では、トレーニングステップのための処理は、画像処理装置１００で制御装置１０２が実行する例について説明した。しかしながら、トレーニングステップのための処理は他の装置で実行するようにして、トレーニングステップによって得られたデータを記憶媒体１０３に記録しておくようにしてもよい。この場合は、画像処理装置１００でのトレーニングステップのための処理は不要となる。

（３）上述した実施の形態では、制御装置１０２は、結合処理３ｊによって、式（２）に示した結合関数Cを用いて診断用画像を生成するようにし、結合関数Ｃは、逆変換後のすべての検出結果画像において、各ピクセル位置における画素値の最小値をその画素の画素値として診断用画像を生成するための関数である例について説明した。しかしながら、結合関数Ｃは式（２）に限定されない。例えば、結合関数Ｃは、逆変換後のすべての検出結果画像において、各ピクセル位置における画素値の平均値を算出し、算出した平均値をその画素の画素値として診断用画像を生成するための関数であってもよい。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

１００ 画像処理装置
１０１ 操作部材
１０２ 制御装置
１０３ 記憶媒体
１０４ 表示装置

Claims (15)

1. 入力された医用画像に対して画像処理を行って複数の変換画像を生成する変換画像生成手段と、
   前記変換画像生成手段によって生成された複数の変換画像のそれぞれに対して、健康者を撮影した医用画像との差異部を異常部として抽出して複数の検出結果画像を生成する検出結果画像生成手段と、
   前記検出結果画像生成手段によって生成された複数の検出結果画像のそれぞれに対して、前記変換画像生成手段が行った画像処理の逆変換を実行して、逆変換後の検出結果画像を生成する逆変換手段と、
   前記逆変換手段によって生成された逆変換後の検出結果画像に基づいて、前記医用画像を撮影した患者の異常部を推定するための診断用画像を生成する診断用画像生成手段とを備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記診断用画像生成手段によって生成された前記診断用画像を表示装置に表示する画像表示手段をさらに備えることを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記変換画像生成手段は、入力された医用画像に対してあらかじめ設定されている変換方法で画像処理を行って、複数の変換画像を生成することを特徴とする画像処理装置。
4. 請求項１〜３のいずれか一項に記載の画像処理装置において、
   前記検出結果画像生成手段は、異常がない医用画像に基づいて生成された前記変換画像の画像パターンを学習させ、入力された変換画像に対して異常がない医用画像における変換画像を復元して出力するように構成されたオートエンコーダに前記変換画像を入力し、前記オートエンコーダへの入力画像と出力画像の差分を算出して得た差分画像を前記検出結果画像として生成することを特徴とする画像処理装置。
5. 請求項１〜４のいずれか一項に記載の画像処理装置において、
   前記診断用画像生成手段は、前記逆変換手段によって生成されたすべての逆変換後の検出結果画像において、各ピクセル位置における画素値の最小値を選択した画像、または各ピクセル位置における画素値の平均値を算出した画像のいずれかを前記診断用画像として生成することを特徴とする画像処理装置。
6. 入力された医用画像に対して画像処理を行って複数の変換画像を生成する変換画像生成手段と、
   前記変換画像生成手段によって生成された複数の変換画像のそれぞれに対して、健康者を撮影した医用画像との差異部を異常部として抽出して複数の検出結果画像を生成する検出結果画像生成手段と、
   前記検出結果画像生成手段によって生成された複数の検出結果画像のそれぞれに対して、前記変換画像生成手段が行った画像処理の逆変換を実行して、逆変換後の検出結果画像を生成する逆変換手段と、
   前記逆変換手段によって生成された逆変換後の検出結果画像に基づいて、前記医用画像を撮影した患者の異常部を推定するための診断用画像を生成する診断用画像生成手段とを備えることを特徴とする画像処理システム。
7. 請求項６に記載の画像処理システムにおいて、
   前記診断用画像生成手段によって生成された前記診断用画像を表示装置に表示する画像表示手段をさらに備えることを特徴とする画像処理システム。
8. 請求項６または７に記載の画像処理システムにおいて、
   前記変換画像生成手段は、入力された医用画像に対してあらかじめ設定されている変換方法で画像処理を行って、複数の変換画像を生成することを特徴とする画像処理システム。
9. 請求項６〜８のいずれか一項に記載の画像処理システムにおいて、
   前記検出結果画像生成手段は、異常がない医用画像に基づいて生成された前記変換画像の画像パターンを学習させ、入力された変換画像に対して異常がない医用画像における変換画像を復元して出力するように構成されたオートエンコーダに前記変換画像を入力し、前記オートエンコーダへの入力画像と出力画像の差分を算出して得た差分画像を前記検出結果画像として生成することを特徴とする画像処理システム。
10. 請求項６〜９のいずれか一項に記載の画像処理システムにおいて、
    前記診断用画像生成手段は、前記逆変換手段によって生成されたすべての逆変換後の検出結果画像において、各ピクセル位置における画素値の最小値を選択した画像、または各ピクセル位置における画素値の平均値を算出した画像のいずれかを前記診断用画像として生成することを特徴とする画像処理システム。
11. 入力された医用画像に対して画像処理を行って複数の変換画像を生成する変換画像生成手順と、
    前記変換画像生成手順で生成した複数の変換画像のそれぞれに対して、健康者を撮影した医用画像との差異部を異常部として抽出して複数の検出結果画像を生成する検出結果画像生成手順と、
    前記検出結果画像生成手順で生成した複数の検出結果画像のそれぞれに対して、前記変換画像生成手順で行った画像処理の逆変換を実行して、逆変換後の検出結果画像を生成する逆変換手順と、
    前記逆変換手順で生成した逆変換後の検出結果画像に基づいて、前記医用画像を撮影した患者の異常部を推定するための診断用画像を生成する診断用画像生成手順とをコンピュータに実行させるための画像処理プログラム。
12. 請求項１１に記載の画像処理プログラムにおいて、
    前記診断用画像生成手順で生成した前記診断用画像を表示装置に表示する画像表示手順をさらに有することを特徴とする画像処理プログラム。
13. 請求項１１または１２に記載の画像処理プログラムにおいて、
    前記変換画像生成手順は、入力された医用画像に対してあらかじめ設定されている変換方法で画像処理を行って、複数の変換画像を生成することを特徴とする画像処理プログラム。
14. 請求項１１〜１３のいずれか一項に記載の画像処理プログラムにおいて、
    前記検出結果画像生成手順は、異常がない医用画像に基づいて生成された前記変換画像の画像パターンを学習させ、入力された変換画像に対して異常がない医用画像における変換画像を復元して出力するように構成されたオートエンコーダに前記変換画像を入力し、前記オートエンコーダへの入力画像と出力画像の差分を算出して得た差分画像を前記検出結果画像として生成することを特徴とする画像処理プログラム。
15. 請求項１１〜１４のいずれか一項に記載の画像処理プログラムにおいて、
    前記診断用画像生成手順は、前記逆変換手順で生成したすべての逆変換後の検出結果画像において、各ピクセル位置における画素値の最小値を選択した画像、または各ピクセル位置における画素値の平均値を算出した画像のいずれかを前記診断用画像として生成することを特徴とする画像処理プログラム。
    
    

Images