JP7321271B2 - 学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラム - Google Patents

Description

本開示は、学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラムに関する。

近年、ディープラーニング（深層学習）を用いた機械学習の技術が注目を集めている。ディープラーニングを用いることによって、画像に含まれる物体を検出及び分類したり、画像に含まれる物体の領域をセグメンテーションしたりするモデルを構築できることが知られている。ディープラーニングにおいては、画像識別の精度をより向上させるために様々な技術が開発されている。特開２０１９－２８６５０号公報には、撮像装置のセンサ値による入力画像を取得し、変換部を有する識別器を用いて、取得されたセンサ値による入力画像を識別する画像識別装置に関する開示がある。この画像識別装置は、撮像装置のセンサ値による学習画像とこの学習画像に付与された正解データとに基づいて変換部を学習させることにより、識別に適した画像を得ることができ、かつ高精度な画像識別を実現できる。

一般的に、ディープラーニングにおいては、多くの学習用画像があるほど、より精度の高い出力結果が得られることが知られている。しかしながら、入力対象となる画像が、例えば、くも膜下出血、脳内出血、及び脳梗塞等の脳卒中を発症した脳の脳画像である場合、セグメンテーションの対象となる梗塞領域及び出血領域等の疾患領域は、形状、大きさ、及び発症箇所等が不定である。また、疾患の発症からの経過時間によって脳画像中の疾患領域の画素値が変化する。そのため、脳画像においては多様な症例が存在することとなり、多様な症例を全てカバーできる程度の学習用画像を用意するのは困難である。また、多様な症例を全てカバーできる程度の学習用画像が用意できない場合には、学習用画像が存在しない未知の画像に対してモデルを安定して動作させることは困難である。

本開示は、限られた学習用画像を用いて、安定して動作できるようにモデルを学習させることができる学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラムを提供する。

本開示の第１の態様は、学習用画像生成装置であって、学習用画像を取得する画像取得部と、画像取得部により取得された学習用画像をモデルに入力した場合に、モデルの出力が目標値から離れる変動を、学習用画像を構成する少なくとも１つの画素の画素値に加えることにより変動学習用画像を生成する変動学習用画像生成部と、を含む。

ここで、例えば、学習用画像が脳画像の場合であって、モデルの出力が０以上０．５未満の場合に脳梗塞なし、０．５以上１以下の場合に脳梗塞ありと判別されるモデル（分類判別モデル）を使用することとする。この場合、変動前の学習用画像について、モデルの出力が０．６の場合には、この学習用画像は梗塞ありの画像となる。この画像は梗塞ありの画像であるため、最も梗塞ありの可能性が高いと判別される「１」が本開示の「目標値」となる。よって「目標値から離れる変動」は、モデルの出力が「１」からより離れる値であって、０．５以上０．６未満の値となる変動である。一方、変動前の学習用画像について、モデルの出力が０．３の場合には、この学習用画像は梗塞なしの画像となる。この画像は梗塞なしの画像であるため、最も梗塞なしの可能性が高いと判別される「０」が本開示の「目標値」となる。よって「目標値から離れる変動」は、モデルの出力が「０」からより離れる値であって、０．３よりも大きく０．５未満の値となる変動である。

また、例えば、学習用画像が脳画像の場合であって、学習用画像を構成する画素毎にモデルの出力がされるモデル、具体的には、モデルの出力が０以上０．５未満の場合にその画素は脳梗塞領域に属さない、０．５以上１以下の場合に脳梗塞領域に属すると判別されるモデル（セグメンテーション判別モデル）を使用することとする。この場合、変動前の学習用画像を構成する１つの画素について、モデルの出力が０．６の場合には、この画素は梗塞領域に属する画素となる。この画素は梗塞領域に属する画素であるため、最も梗塞領域に属する可能性が高いと判別される「１」が本開示の「目標値」となる。よって「目標値から離れる変動」は、モデルの出力が「１」からより離れる値であって、０．５以上０．６未満の値となる変動である。一方、変動前の学習用画像を構成する１つの画素について、モデルの出力が０．３の場合には、この画素は梗塞領域に属さない画素となる。この画素は梗塞領域に属さない画素であるため、最も梗塞領域に属さない可能性が高いと判別される「０」が本開示の「目標値」となる。よって「目標値から離れる変動」は、モデルの出力が「０」からより離れる値であって、０．３よりも大きく０．５未満の値となる変動である。

本開示の第２の態様は、第１の態様において、変動学習用画像生成部は、学習用画像を構成する各画素の画素値に対する出力値の勾配を取得し、取得した勾配を使用して変動を加えてもよい。

本開示の第３の態様は、上記態様において、学習用画像と、学習用画像において正解領域が定義された正解学習用画像とを組にした教師データを取得する教師データ取得部を備え、変動学習用画像生成部は、教師データ取得部により取得された教師データのうちの正解学習用画像を用いて注目画素を決定し、決定した注目画素の出力値の勾配を取得し、取得した勾配を使用して変動を加えてもよい。

本開示の第４の態様は、上記第３の態様において、変動学習用画像生成部は、正解領域に属する画素に対応する学習用画像における画素を注目画素として決定してもよい。

本開示の第５の態様は、上記第３又は第４の態様において、変動学習用画像生成部は、正解領域以外に属する画素に対応する学習用画像における画素を注目画素として決定してもよい。

本開示の第６の態様は、上記第３から第５のいずれか１態様において、変動学習用画像生成部は、正解領域の重心に属する画素に対応する学習用画像における画素を注目画素として決定してもよい。

本開示の第７の態様は、上記態様において、変動学習用画像生成部は、モデルが、入力された学習用画像を１以上の正解クラスを含む複数のクラスに分類する複数の出力部を有するモデルであって、正解クラスに分類する出力部から出力される出力値の勾配を取得してもよい。

本開示の第８の態様は、学習用画像生成方法であって、学習用画像を取得し、取得された学習用画像をモデルに入力した場合に、モデルの出力が目標値から離れる変動を、学習用画像を構成する少なくとも１つの画素の画素値に加えることにより変動学習用画像を生成する。

本開示の第９の態様は、学習用画像生成プログラムであって、学習用画像を取得する画像取得部と、画像取得部により取得された学習用画像をモデルに入力した場合に、モデルの出力が目標値から離れる変動を、学習用画像を構成する少なくとも１つの画素の画素値に加えることにより変動学習用画像を生成する変動学習用画像生成部として、コンピュータを機能させる。

本開示の他の態様は、学習用画像生成装置であって、プロセッサに実行させるための命令を記憶するメモリと、記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、学習用画像を取得し、取得された学習用画像をモデルに入力した場合に、モデルの出力が目標値から離れる変動を、学習用画像を構成する少なくとも１つの画素の画素値に加えることにより変動学習用画像を生成する処理を実行する。

本開示の第１０の態様は、学習方法であって、学習用画像と、学習用画像における正解情報とを組にした１以上の第１教師データ、及び、学習用画像をモデルに入力した場合に、モデルの出力が目標値から離れる変動を、学習用画像を構成する少なくとも１つの画素の画素値に加えることにより生成した１以上の変動学習用画像と、１以上の変動学習用画像の各々において変動前の学習用画像における正解情報とを組にした１以上の第２教師データを用いてモデルを学習させる。

本開示の第１１の態様は、上記第１０の態様において、正解情報は、学習用画像において正解領域が定義された正解学習用画像であってもよい。

本開示の第１２の態様は、上記第１０又は第１１の態様において、１回目の学習において、複数の第１教師データを用いてモデルを学習させ、２回目以降の学習において、複数の第１教師データのうちの少なくとも１つの第１教師データを第２教師データに換えてモデルを学習させてもよい。

本開示の第１３の態様は、上記第１０又は第１１の態様において、１回目の学習において、複数の第１教師データを用いてモデルを学習させ、２回目以降の学習において、少なくとも１つの第２教師データを追加してモデルを学習させてもよい。

本開示の第１４の態様は、上記第１２又は第１３の態様において、２回目以降の学習において、学習の回毎に、使用する第２教師データ及び第２教師データの数の少なくとも一方をランダムに設定してもよい。

本開示の第１５の態様は、上記第１２又は第１３の態様において、２回目以降の学習において、使用する第２教師データ及び第２教師データの数の少なくとも一方を予め設定してもよい。

本開示の第１６の態様は、上記第１２から第１５の態様において、２回目以降の学習において、少なくとも１回、複数の第１教師データのみを用いてモデルを学習させてもよい。

本開示の第１７の態様は、学習装置であって、学習用画像と、学習用画像における正解情報とを組にした１以上の第１教師データ、及び、学習用画像をモデルに入力した場合に、モデルの出力が目標値から離れる変動を、学習用画像を構成する少なくとも１つの画素の画素値に加えることにより生成した１以上の変動学習用画像と、１以上の変動学習用画像の各々において変動前の学習用画像における正解情報とを組にした１以上の第２教師データとを取得する教師データ取得部と、教師データ取得部により取得された１以上の第１教師データ及び１以上の第２教師データを用いてモデルを学習させる学習部と、を含む。

本開示の他の態様は、学習装置であって、プロセッサに実行させるための命令を記憶するメモリと、記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、学習用画像と、学習用画像における正解情報とを組にした１以上の第１教師データ、及び、学習用画像をモデルに入力した場合に、モデルの出力が目標値から離れる変動を、学習用画像を構成する少なくとも１つの画素の画素値に加えることにより生成した１以上の変動学習用画像と、１以上の変動学習用画像の各々において変動前の学習用画像における正解情報とを組にした１以上の第２教師データを用いてモデルを学習させる処理を実行する。

本開示の第１８の態様は、学習装置であって、学習部は、上記第１０から第１６の態様における学習方法によってモデルを学習させることができる。

本開示の第１９の態様は、学習プログラムであって、学習用画像と、学習用画像における正解情報とを組にした１以上の第１教師データ、及び、学習用画像をモデルに入力した場合に、モデルの出力が目標値から離れる変動を、学習用画像を構成する少なくとも１つの画素の画素値に加えることにより生成した１以上の変動学習用画像と、１以上の変動学習用画像の各々において変動前の学習用画像における正解情報とを組にした１以上の第２教師データとを取得する教師データ取得部と、教師データ取得部により取得された１以上の第１教師データ及び１以上の第２教師データを用いてモデルを学習させる学習部として、コンピュータを機能させる。

なお、本開示の学習装置及び学習プログラムにおいては、正解情報が、学習用画像において正解領域が定義された正解学習用画像であってもよい。

上記態様によれば、本開示の学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラムは、限られた学習用画像を用いて、安定して動作できるようにモデルを学習させることができる。

本開示の一例示的実施形態である学習用画像生成装置及び学習装置を適用した、診断支援システムの概要を示すハードウェア構成図 本開示の第１の例示的実施形態である学習装置の構成を示す概略ブロック図 ＣＴ画像と正解情報とを組にした第１教師データＦを説明するための図 学習モデルの一例を示す図 勾配を説明するための図 ＣＴ画像に変動を加えて生成した変動ＣＴ画像を説明するための図 変動ＣＴ画像を生成する処理を示すフローチャート 変動ＣＴ画像と正解情報とを組にした第２教師データを説明するための図 学習モデルを説明するための図 第２の例示的実施形態における第１教師データ及び第２教師データを用いた学習方法を説明するための図 学習時に行われる処理を示すフローチャート 第３の例示的実施形態における第１教師データ及び第２教師データを用いた学習方法を説明するための図 第４の例示的実施形態における第１教師データ及び第２教師データを用いた学習方法を説明するための図 第５の例示的実施形態における第１教師データ及び第２教師データを用いた学習方法を説明するための図 第６の例示的実施形態における第１教師データ及び第２教師データを用いた学習方法を説明するための図 ＣＴ画像と正解ＣＴ画像とを組にした第１教師データを説明するための図 Ｕ-Ｎｅｔの構造を有する学習モデルの一例を示す図 注目画素を説明するための図 ＣＴ画像上の注目画素を説明するための図である。 変動ＣＴ画像を生成する処理を示すフローチャート 変動ＣＴ画像と正解ＣＴ画像とを組にした第２教師データを説明するための図 学習モデルを説明するための図 多クラス分類の学習モデルの一例を示す図 多クラス分類の学習モデルの一例を示す図

以下、図面を参照して本開示の第１の例示的実施形態について説明する。図１は、本開示の第１の例示的実施形態による学習用画像生成装置及び学習装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本例示的実施形態による学習装置１、３次元画像撮影装置２、及び画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。なお、学習装置１には、本例示的実施形態による学習モデル及び学習用画像生成装置が内包される。

３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、及びＰＥＴ（Positron Emission Tomography）装置等である。この３次元画像撮影装置２により生成された医用画像は画像保管サーバ３に送信され、保存される。なお、本例示的実施形態においては、被検体である患者の診断対象部位は脳であり、３次元画像撮影装置２はＣＴ装置である。そして、ＣＴ装置において、被検体の脳を含む３次元のＣＴ画像Ｂｃ０を生成する。

画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置及びデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成されたＣＴ画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式及びネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。また、本例示的実施形態においては、画像保管サーバ３は、後述する学習モデル２２の学習のための学習用画像となるＣＴ画像Ｂｃ０を含む第１教師データＤ（後述する）も保管して管理している。

本例示的実施形態の学習用画像生成装置及び学習モデルを含む学習装置１は、１台のコンピュータに、本開示の学習用画像生成プログラム及び学習プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーション又はパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。学習用画像生成プログラム及び学習プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。又は、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。

図２は、コンピュータに学習用画像生成プログラム及び学習プログラムをインストールすることにより実現される本開示の一例示的実施形態である学習装置１の概略構成を示す図である。図２に示すように、学習装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２及びストレージ１３を備えている。また、学習装置１には、液晶ディスプレイ等からなる表示部１４、並びにキーボード及びマウス等からなる入力部１５が接続されている。入力部１５は、ユーザによる種々の設定入力を受け付ける。なお、タッチパネルを用いることによって表示部１４と入力部１５とを兼用するようにしてもよい。

ストレージ１３は、ハードディスクドライブ及びＳＳＤ(Solid State Drive)等からなる。ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した、学習モデル２２の学習のための学習用画像となるＣＴ画像Ｂｃ０を含む第１教師データＤ、及び処理に必要な情報を含む各種情報が記憶されている。

また、メモリ１２には、学習用画像生成プログラム及び学習プログラムが記憶されている。学習用画像生成プログラムは、ＣＰＵ１１に実行させる処理として、学習用画像を取得する画像取得処理と、変動学習用画像生成処理とを規定する。変動学習用画像生成処理は、取得された学習用画像を学習モデル２２に入力した場合に、学習モデル２２の出力が目標値から離れる変動を、学習用画像を構成する少なくとも１つの画素の画素値に加えることにより変動学習用画像を生成する。

また、学習プログラムは、ＣＰＵ１１に実行させる処理として、学習用画像と、学習用画像において正解領域が定義された正解学習用画像とを組にした１以上の第１教師データ、及び、学習用画像をモデルに入力した場合に、モデルの出力が目標値から離れる変動を、学習用画像を構成する少なくとも１つの画素の画素値に加えることにより生成した１以上の変動学習用画像と、１以上の変動学習用画像の各々において変動前の学習用画像において正解領域が定義された正解学習用画像とを組にした１以上の第２教師データとを取得する教師データ取得処理、取得された１以上の第１教師データ及び１以上の第２教師データを用いてモデルを学習させる学習処理、学習用画像又は判別の対象となる対象画像が入力された場合に、入力された画像における判別結果を出力する判別処理、並びに学習用画像、変動学習用画像、及び判別結果等を表示部１４に表示する表示制御処理を規定する。

そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２０、教師データ取得部２１、学習モデル２２、変動学習用画像生成部２３、学習部２４、及び表示制御部２５として機能する。ここで、画像取得部２０及び変動学習用画像生成部２３が、本例示的実施形態の学習用画像生成装置を構成する。

表示制御部２５は、画像取得部２０が取得したＣＴ画像Ｂｃ０、後述する変動ＣＴ画像Ｂｃ２、及び判別結果等を表示部１４に表示させる。

画像取得部２０は、ネットワークに接続されたインターフェース（不図示）を介して、画像保管サーバ３から、ＣＴ画像Ｂｃ０を取得する。図３はＣＴ画像Ｂｃ０と正解情報Ｊ０とを組にした第１教師データＦを説明するための図である。図３に示すＣＴ画像Ｂｃ０は、後述する学習モデル２２の学習のための学習用画像である。なお、図３において、ＣＴ画像Ｂｃ０は３次元画像であるが、ここでは説明のため、ＣＴ画像Ｂｃ０の１つの断層面における２次元の断層画像を用いて説明する。なお、ＣＴ画像Ｂｃ０が既にストレージ１３に記憶されている場合には、画像取得部２０は、ストレージ１３からＣＴ画像Ｂｃ０を取得するようにしてもよい。また、画像取得部２０は、後述する学習モデル２２の学習のために、多数の被検体についてのＣＴ画像Ｂｃ０を取得する。

教師データ取得部２１は、ネットワークに接続されたインターフェース（不図示）を介して、画像保管サーバ３から、第１教師データＤを取得する。第１教師データＤは、図３に示すように、ＣＴ画像Ｂｃ０と、ＣＴ画像Ｂｃ０における正解情報Ｊ０として「梗塞あり」又は「梗塞なし」を示す情報とを組にしたデータである。なお、「梗塞あり」又は「梗塞なし」の正解情報Ｊ０は、ユーザが入力部１５から手動で入力してもよい。また、ＣＴ画像Ｂｃ０を学習モデル２２に入力した場合に、ＣＴ画像Ｂｃ０全体ｘに対する学習モデル２２の出力値Ｓ（ｘ）の値に基づく判別結果が、「梗塞領域あり」である場合（表１参照）に、そのＣＴ画像Ｂｃ０を「梗塞あり」の画像としてもよい。

学習モデル２２は、ＣＴ画像Ｂｃ０における疾病領域の有無を判別する。すなわち、ＣＴ画像Ｂｃ０の分類（疾患領域があるかないか）を判別するモデルである。本例示的実施形態においては、一例として疾病領域を梗塞領域とする。本例示的実施形態においては、学習モデル２２は、複数の処理層が階層的に接続され、深層学習（ディープラーニング）がなされたモデルである。図４は学習モデル２２の一例を示す図である。なお、学習モデル２２は本開示のモデルに対応する。

学習モデル２２は、図４に示すように、３つの入力層を含む入力部Ｌ１、４つの処理層を含む第１処理部Ｌ２、４つの処理層を含む第２処理部Ｌ３、及び１つの出力層を含む出力部Ｌ４を有して構成されている。各々の入力層、処理層、及び出力層は、図４のように接続されている。

本例示的実施形態において、第１処理部Ｌ２及び第２処理部Ｌ３は、梗塞領域を含む多数の脳のＣＴ画像Ｂｃ０と、ＣＴ画像Ｂｃ０における判別結果である正解情報とのデータセットを教師データとして使用して、入力されたＣＴ画像Ｂｃ０全体ｘについての梗塞領域あり又は梗塞領域なしの判別結果を示す出力値Ｓ（ｘ）を出力するように学習がなされている。なお、正解情報は、ＣＴ画像Ｂｃ０全体ｘにおいて梗塞領域ありか梗塞領域なしかの情報である。

これにより、第１処理部Ｌ２の入力層にＣＴ画像Ｂｃ０が入力されると、第１処理部Ｌ２及び第２処理部Ｌ３の複数の処理層において、前段の処理層から出力された特徴量マップが次段の処理層に順次入力される。次に、ＣＴ画像Ｂｃ０全体ｘにおける梗塞領域あり又は梗塞領域なしの判別結果を示す出力値Ｓ（ｘ）が出力部Ｌ４の出力層から出力される。なお、出力部Ｌ４が出力する出力値Ｓ（ｘ）は、ＣＴ画像Ｂｃ０全体ｘについて梗塞領域ありか梗塞領域なしかの判別結果を示す値である。ここで、下記表１に、学習モデル２２による出力値Ｓ（ｘ）と判別結果の一例を示す。

学習モデル２２の出力値Ｓ（ｘ）が０以上０．５未満の場合に梗塞領域なし、０．５以上１以下の場合に梗塞ありと判別される。すなわち、例えばＣＴ画像Ｂｃ０を学習モデル２２に入力した際に、学習モデル２２の出力値Ｓ（ｘ）が０．６の場合には、このＣＴ画像Ｂｃ０は梗塞領域ありとなる。また、ＣＴ画像Ｂｃ０を学習モデル２２に入力した際に、学習モデル２２の出力値Ｓ（ｘ）が０．３の場合には、このＣＴ画像Ｂｃ０は梗塞領域なしとなる。

変動学習用画像生成部２３は、ＣＴ画像Ｂｃ０を学習モデル２２に入力した場合に、学習モデル２２の出力が目標値から離れる変動を、ＣＴ画像Ｂｃ０を構成する少なくとも１つの画素の画素値に加えることにより変動ＣＴ画像Ｂｃ２を生成する。例えば、変動前のＣＴ画像Ｂｃ０について、学習モデル２２の出力値Ｓ（ｘ）が０．６の場合には、このＣＴ画像Ｂｃ０は梗塞領域ありと判別される。このＣＴ画像Ｂｃ０は、梗塞領域ありの画像であるため、最も梗塞領域ありの可能性が高いと判別される出力値Ｓ（ｘ）である「１」が「目標値」となる。よって「目標値から離れる変動」は、学習モデル２２の出力値Ｓ（ｘ）が「１」からより離れる（「１」よりも低下する）値であって、０．５以上０．６未満の値となるように画素値に加えられる変動である。一方、変動前のＣＴ画像Ｂｃ０について、学習モデル２２の出力値Ｓ（ｘ）が０．３の場合には、このＣＴ画像Ｂｃ０は梗塞領域なしの画像となる。このＣＴ画像Ｂｃ０は梗塞なしの画像であるため、最も梗塞領域なしの可能性が高いと判別される出力値Ｓ（ｘ）である「０」が「目標値」となる。よって「目標値から離れる変動」は、学習モデル２２の出力値Ｓ（ｘ）が「０」からより離れる値であって、０．３よりも大きく０．５未満の値となるように画素値に加えられる変動である。

変動学習用画像生成部２３は、具体的には、まずＣＴ画像Ｂｃ０を学習モデル２２に入力した場合の、ＣＴ画像Ｂｃ０全体ｘに対する学習モデル２２の出力値Ｓ（ｘ）の勾配Ｍ（ｘ）を取得する。ＣＴ画像Ｂｃ０全体ｘに対する学習モデル２２の出力値Ｓ（ｘ）の勾配Ｍ（ｘ）は、下記式（１）により導出する。

Ｍ（ｘ）＝∂Ｓ（ｘ）／∂ｘ・・・（１）

図５は、勾配Ｍ（ｘ）を説明するための図である。図５の左図は、ＣＴ画像Ｂｃ０の一例、右図は左図に示すＣＴ画像Ｂｃ０における勾配Ｍ（ｘ）の値をプロットした図である。なお、図５の左図においては、画像上の左側に右側と比較して黒色の領域が存在する。この黒色の領域は脳梗塞Ｒの所見を示す。図５の右図に示すように、左側の斜線で示す領域、すなわち脳梗塞Ｒの所見がある領域側の勾配Ｍ（ｘ）はマイナスの値であり、右側の斜線以外の色付きで示す領域、すなわち脳梗塞の所見がない領域側の勾配Ｍ（ｘ）はプラスの値である。また、色が濃くなるにつれて勾配Ｍ（ｘ）の絶対値が大きくなる。

図５の右図で示す左側の斜線で示す領域に属する画素、つまり脳梗塞Ｒの所見が有る領域に属する画素については、画素値が小さくなると学習モデル２２の出力値Ｓ（ｘ）が上昇する。すなわち、左側の斜線で示す領域において画素値が小さくなると領域がより黒くなり、出力が上昇する。つまり、より脳梗塞の症例らしくなる。

上記に対して、図５の右図で示す右側の斜線以外の色付きで示す領域に属する画素については、画素値が大きくなると学習モデル２２の出力値Ｓ（ｘ）が上昇する。すなわち、右側の斜線以外の色付きで示す領域において画素値が大きくなると領域がより白くなり、左右比べた場合に脳梗塞Ｒの所見がある領域側が相対的により黒くなるので、出力が上昇する。つまり、より脳梗塞の症例らしくなる。

このように、勾配Ｍ（ｘ）を使用することにより、画素値をどのように変動させた場合に、学習モデル２２の出力値Ｓ（ｘ）がどのように変動するのかを容易に導出することができる。

次に、上記式（１）により導出された勾配Ｍ（ｘ）を使用して、下記式（２）によりＣＴ画像Ｂｃ０を構成する画素の画素値に変動を加えた変動ＣＴ画像Ｂｃ２を生成する。

ｘａ＝ｘ－ｋ×Ｍ（ｘ）・・・（２）
ただし、ｋ＞０の定数とする。
ここで、ｘａは、ＣＴ画像Ｂｃ０全体ｘを変動させた後の変動ＣＴ画像Ｂｃ２全体を示す。また、ｋ×Ｍ（ｘ）は図５の右図で示す勾配画像全体を表す。

変動学習用画像生成部２３は、図５の左図に示すＣＴ画像Ｂｃ０全体ｘに対して、図５の右図に示す勾配画像全体ｋ×Ｍ（ｘ）を減算することにより、ＣＴ画像Ｂｃ０を構成する画素の画素値に変動を加える。図６はＣＴ画像Ｂｃ０に変動を加えて生成した変動ＣＴ画像Ｂｃ２を説明するための図である。

変動学習用画像生成部２３が、ＣＴ画像Ｂｃ０全体ｘに対して、勾配画像全体ｋ×Ｍ（ｘ）を減算すると、図６に示すように、ＣＴ画像Ｂｃ０における脳梗塞Ｒの所見が有る領域は画素値がプラスされて出力が低下する。このため、変動ＣＴ画像Ｂｃ２において脳梗塞Ｒに対応する領域Ｒ２は黒色が弱まって、より脳梗塞の症例らしくなくなる。また、ＣＴ画像Ｂｃ０における脳梗塞Ｒの所見が有る側と反対側の領域は画素値がマイナスされて出力が上昇する。このため、変動ＣＴ画像Ｂｃ２において脳梗塞Ｒとは反対側に対応する領域は黒色が強まって、より脳梗塞の症例らしくなる。

このように、ＣＴ画像Ｂｃ０全体ｘに「目標値」から離れる変動を加えることにより、変動前のＣＴ画像Ｂｃ０と比較して学習モデル２２が梗塞領域を正しく認識し難い変動ＣＴ画像Ｂｃ２を生成することができる。

次いで、本例示的実施形態における変動ＣＴ画像Ｂｃ２を生成する処理について説明する。図７は変動ＣＴ画像Ｂｃ２を生成する処理を示すフローチャートである。先ず、画像取得部２０が、ＣＴ画像Ｂｃ０を取得する（ステップＳＴ１）。次に、変動学習用画像生成部２３が、ＣＴ画像Ｂｃ０を学習モデル２２に入力した場合の、ＣＴ画像Ｂｃ０全体ｘに対する学習モデル２２の出力値Ｓ（ｘ）の勾配Ｍ（ｘ）を取得する（ステップＳＴ２）。そして、変動学習用画像生成部２３が、上述したように、ＣＴ画像Ｂｃ０全体ｘに対して、「目標値」から離れる変動を加えることにより変動ＣＴ画像Ｂｃ２を生成して（ステップＳＴ３）、一連の処理を終了する。

画像取得部２０及び変動学習用画像生成部２３で構成される本例示的実施形態の学習用画像生成装置、本例示的実施形態の学習用画像生成方法、並びに本例示的実施形態の学習用画像生成プログラムによれば、ＣＴ画像Ｂｃ０全体ｘに対して「目標値」から離れる変動を加えることにより、変動前のＣＴ画像Ｂｃ０と比較して学習モデル２２が梗塞領域を正しく認識し難い変動ＣＴ画像Ｂｃ２を生成することができる。また、上記式（２）のｋの値を替えることにより、ＣＴ画像Ｂｃ０を構成する画素の画素値が異なる複数の変動ＣＴ画像Ｂｃ２を生成することができる。これにより、限られたＣＴ画像Ｂｃ０以外のＣＴ画像である変動ＣＴ画像Ｂｃ２も学習用画像として使用することができるので、限られたＣＴ画像Ｂｃ０を用いて、ＣＴ画像Ｂｃ０以外の未知のＣＴ画像に対しても安定して動作できるように学習モデル２２を学習させることができる。

なお、上記式（２）のｋの値は、予め設定された一定の値を使用してもよいし、ランダムに値を変化させて使用してもよい。また、後述するように、学習モデル２２を学習させる際に、学習の進行に応じて変動させてもよい。また、上記式（２）のｋの値に上限値を設けてもよい。これにより、変動ＣＴ画像Ｂｃ２が異常な画像となるのを防止することができる。この場合、上限値は、例えば、画素値の取り得る値に応じて設定することができる。

以上のようにして変動学習用画像生成部２３により生成された変動ＣＴ画像Ｂｃ２は、第２教師データＦを構成する画像データとしてストレージ１３に記憶される。図８は変動ＣＴ画像Ｂｃ２と正解情報Ｊ２とを組にした第２教師データＦを説明するための図である。第２教師データＦは、図８に示すように、変動ＣＴ画像Ｂｃ２と、変動前のＣＴ画像Ｂｃ０における正解情報Ｊ２として「梗塞あり」又は「梗塞なし」を示す情報とを組にしたデータである。なお、「梗塞あり」又は「梗塞なし」の正解情報Ｊ２は、ユーザが入力部１５から手動で入力してもよい。また、変動前のＣＴ画像Ｂｃ０を学習モデル２２に入力した場合に、変動前のＣＴ画像Ｂｃ０全体ｘに対する学習モデル２２の出力値Ｓ（ｘ）の値に基づく判別結果が「梗塞領域あり」である場合に、そのＣＴ画像Ｂｃ０を変動させた変動ＣＴ画像Ｂｃ２を「梗塞あり」の画像としてもよい。

次に、図２に戻り、学習部２４は、教師データ取得部２１により取得された１以上の第１教師データＤ及び１以上の第２教師データＦを用いて学習モデル２２を学習させる。図９は学習モデルの学習方法を説明するための図である。なお、本例示的実施形態において学習モデル２２は、本開示のモデルに対応する。

学習部２４は、図９に示すように、第１教師データＤすなわちＣＴ画像Ｂｃ０及び正解情報Ｊ０を学習モデル２２に入力することにより、学習モデル２２にＣＴ画像Ｂｃ０における梗塞領域の有無を学習させる。これにより、ＣＴ画像Ｂｃ０が入力された場合に、ＣＴ画像Ｂｃ０における梗塞領域の有無が出力されるように学習モデル２２を学習させる。また、学習部２４は、第２教師データＦすなわち変動ＣＴ画像Ｂｃ２及び正解情報Ｊ２を学習モデル２２に入力することにより、学習モデル２２に変動ＣＴ画像Ｂｃ２における梗塞領域の有無を学習させる。これにより、変動ＣＴ画像Ｂｃ２が入力された場合に、変動ＣＴ画像Ｂｃ２における梗塞領域の有無が出力されるように学習モデル２２を学習させる。

次に、１以上の第１教師データＤ及び１以上の第２教師データＦを用いた学習モデル２２の学習方法について説明する。一般的に学習モデル２２を学習させる場合には、例えばｎ個の教師データを順に学習モデル２２に学習させる。そして、ｎ個の教師データが全て学習されると、２回目として再度ｎ個の教師データを順に学習モデル２２に学習させて、予め定められた回数、同じ教師データを使用して繰り返し学習モデル２２に学習させることが行われている。

本例示的実施形態においては、ｎ個の第１教師データＤ１～Ｄｎを用いて学習モデル２２を学習させる際に、１回目はｎ個の第１教師データＤ１～Ｄｎを用いて学習モデル２２を学習させ、２回目以降は、ｎ個の第１教師データＤ１～Ｄｎのうちの少なくとも１つの第１教師データＤを第２教師データＦに換えて学習モデル２２を学習させる。図１０は第２の例示的実施形態における第１教師データＤ及び第２教師データＦを用いた学習方法を説明するための図である。なお、第１教師データＤ及び第２教師データＦは、ＣＴ画像Ｂｃ０又は変動ＣＴ画像Ｂｃ２と、正解情報Ｊ０又は正解情報Ｊ２との組で、すなわち２つのデータで構成されているが、図１０において第１教師データＤ及び第２教師データＦは説明の都合上、１枚の画像で表してある。なお、以下の図面においても同様に表すことがある。

学習部２４は、図１０に示すように、１回目の学習時（１Ｔ）には、ｎ個の第１教師データＤ１～Ｄｎを用いて学習モデル２２を学習させる。２回目の学習時（２Ｔ）には、第１教師データＤ１を第２教師データＦ１に換えて学習モデル２２を学習させる。３回目の学習時（３Ｔ）には、第２教師データＦ１を第１教師データＤ１に戻して、かつ、第１教師データＤ２を第２教師データＦ２に換えて学習モデル２２を学習させる。さらに４回目の学習時（４Ｔ）には、第２教師データＦ２を第１教師データＤ２に戻して、かつ、第１教師データＤ３を第２教師データＦ３に換えて学習モデル２２を学習させる。

このように、第２の例示的実施形態においては、２回目以降の学習において、回毎に、ｎ個の第１教師データＤ１～Ｄｎのうちの１つの第１教師データＤを第２教師データＦに換えて学習モデル２２を学習させる。ｎ＋１回の学習が終了すると、１回目の学習（１Ｔ）に戻り、設定された回数の学習が終了するまで上記学習を繰り返し行う。

次いで、第２の例示的実施形態における一連の処理について説明する。図１１は学習時に行われる処理を示すフローチャートである。先ず、教師データ取得部２１が、画像保管サーバ３及びストレージ１３から第１教師データＤ及び第２教師データＦを取得する（ステップＳＴ１１）。次いで、学習部２４が、取得した第１教師データＤ及び第２教師データＦを用いて、学習モデル２２を上述のようにして学習させて（ステップＳＴ１２）、一連の処理を終了する。

第２の例示的実施形態においては、ＣＴ画像Ｂｃ０全体ｘに対してモデルの出力が「目標値」から離れる変動をＣＴ画像Ｂｃ０を構成する画素に加えることにより生成された変動ＣＴ画像Ｂｃ２と正解情報Ｊ２とを組にした第２教師データＦを学習に使用する。このように、第１教師データＤのみを使用して学習モデル２２を学習させるよりも、第２教師データＦを使用することにより、限られたＣＴ画像Ｂｃ０以外のＣＴ画像である変動ＣＴ画像Ｂｃ２も学習用画像として使用することができる。すなわち、限られたＣＴ画像Ｂｃ０を用いて、ＣＴ画像Ｂｃ０以外の未知のＣＴ画像に対しても安定して動作できるように学習モデル２２を学習させることができる。

なお、第２の例示的実施形態においては、２回目以降の学習において、回毎に１つの第１教師データＤを第２教師データＦに換えて学習モデル２２を学習させたが、本開示の技術はこれに限られない。２つの第１教師データＤを第２教師データＦに換えてもよいし、３つ、４つ等、任意の数の第１教師データＤを第２教師データＦに替えることができる。また、予め定められた第１教師データＤのみを回毎に異なる第２教師データＦに換えてもよい。また、第２教師データＦに変更する第１教師データＤはランダムに選択されるようにしてもよい。また、第２教師データＦに変更する第１教師データＤの個数はランダムに決定されるようにしてもよい。また、第２教師データＦに変更する第１教師データＤ及び第２教師データＦに変更する第１教師データＤの個数の両方を、ランダムに決定するようにしてもよい。図１２は、第３の例示的実施形態における第１教師データＤ及び第２教師データＦを用いた学習方法を説明するための図である。

学習部２４は、図１２に示すように、１回目の学習時（１Ｔ）には、ｎ個の第１教師データＤ１～Ｄｎを用いて学習モデル２２を学習させる。２回目の学習時（２Ｔ）には、第１教師データＤ１を第２教師データＦ１に換えて学習モデル２２を学習させる。３回目の学習時（３Ｔ）には、第２教師データＦ１を第１教師データＤ１に戻して、かつ、第１教師データＤ２を第２教師データＦ２に、第１教師データＤ４を第２教師データＦ４に、第１教師データＤ５を第２教師データＦ５に、それぞれ換えて学習モデル２２を学習させる。さらに４回目の学習時（４Ｔ）には、第２教師データＦ２を第１教師データＤ２に、第２教師データＦ４を第１教師データＤ４に、第２教師データＦ５を第１教師データＤ５に、それぞれ戻して、かつ、第１教師データＤ１を第２教師データＦ１に、第１教師データＤ３を第２教師データＦ３に換えて学習モデル２２を学習させる。

なお、第２の例示的実施形態及び第３の例示的実施形態においては、２回目以降の学習において、回毎に第１教師データＤを第２教師データＦに換えて学習モデル２２を学習させたが、本開示の技術はこれに限られない。回毎にｎ個の第１教師データＤｎに第２教師データＦを追加して学習モデル２２を学習させてもよい。図１３は第４の例示的実施形態における第１教師データＤ及び第２教師データＦを用いた学習方法を説明するための図である。

学習部２４は、図１３に示すように、１回目の学習時（１Ｔ）には、ｎ個の第１教師データＤ１～Ｄｎを用いて学習モデル２２を学習させる。２回目の学習時（２Ｔ）には、第２教師データＦ１を加えて学習モデル２２を学習させる。３回目の学習時（３Ｔ）には、第２教師データＦ２を加えて学習モデル２２を学習させる。さらに４回目の学習時（４Ｔ）には、第２教師データＦ３を加えて学習モデル２２を学習させる。

このように、第４の例示的実施形態においては、２回目以降の学習において、回毎に、ｎ個の第１教師データＤ１～Ｄｎに、さらに第２教師データＦを１つ加えて学習モデル２２を学習させる。ｎ＋１回の学習が終了すると、１回目の学習（１Ｔ）に戻り、設定された回数の学習が終了するまで上記学習を繰り返し行う。

なお、第４の例示的実施形態においては、２回目以降の学習において、回毎に１つの第２教師データＦ加えて学習モデル２２を学習させたが、本開示の技術はこれに限られない。２つの第２教師データＦを加えてもよいし、３つ、４つ等、任意の数の第２教師データＦを加えることができる。また、加える第２教師データＦはランダムに選択されるようにしてもよい。図１４は第５の例示的実施形態における第１教師データＤ及び第２教師データＦを用いた学習方法を説明するための図である。

学習部２４は、図１４に示すように、１回目の学習時（１Ｔ）には、ｎ個の第１教師データＤ１～Ｄｎを用いて学習モデル２２を学習させる。２回目の学習時（２Ｔ）には、第２教師データＦ２、第２教師データＦ３、及び第２教師データＦ５を加えて学習モデル２２を学習させる。３回目の学習時（３Ｔ）には、第２教師データＦ４を加えて学習モデル２２を学習させる。さらに４回目の学習時（４Ｔ）には、第２教師データＦ１及び第２教師データＦ４を加えて学習モデル２２を学習させる。

このように、第５の例示的実施形態においては、２回目以降の学習において、回毎に、ｎ個の第１教師データＤ１～Ｄｎに、さらに第２教師データＦをランダムの個数加えて、設定された回数の学習が終了するまで学習モデル２２を学習させる。

なお、本開示の学習モデル２２の学習方法は上記第２～第５の例示的実施形態に示す学習方法に限られない。図１５は、第６の例示的実施形態における第１教師データＤ及び第２教師データＦを用いた学習方法を説明するための図である。

学習部２４は、図１５に示すように、２回目以降の学習において、少なくとも１回、本例示的実施形態においては７回目の学習において、ｎ個の第１教師データＤ１～Ｄｎのみを用いて学習モデル２２を学習させる。なお、ｎ個の第１教師データＤ１～Ｄｎのみを用いて学習モデル２２を学習させる回は、７回目に限られず何れの回であってもよい。また、２回、３回とｎ個の第１教師データＤ１～Ｄｎのみを用いて学習モデル２２を学習させてもよい。

なお、上述した例示的実施形態においては、第２教師データＦは、回毎に、上記式（２）のｋの値を換えて変動させた変動ＣＴ画像Ｂｃ２を使用してもよい。この場合、回毎にｋの値をランダムに換えてもよいし、予め定められた値としてもよい。

また、上述した例示的実施形態においては、第１教師データＤをＣＴ画像Ｂｃ０と正解情報Ｊ０とを組にした教師データ、第２教師データＦを変動ＣＴ画像Ｂｃ２と正解情報Ｊ２とを組にした教師データとしたが、本開示の技術はこれに限られない。図１６はＣＴ画像Ｂｃ０と正解ＣＴ画像Ｂｃ１とを組にした第１教師データＤ－２を説明するための図である。図１６に示すように、第１教師データＤは、学習モデル２２の学習のための学習用画像となるＣＴ画像Ｂｃ０及びこのＣＴ画像Ｂｃ０において正解領域として梗塞領域Ａが定義された正解マスクＢｃ１とを組にした教師データである。

なお、図１６において、正解マスクＢｃ１は、正解領域である梗塞領域Ａを白色に塗り潰して描画することにより定義しているが、正解マスクＢｃ１はこれに限られない。例えば、梗塞領域Ａの内部を塗り潰すことなく、梗塞領域Ａの境界を白色で描画することにより梗塞領域Ａを定義してもよい。また、白色以外の色で描画してもよい。また、梗塞領域Ａの内部と、梗塞領域Ａの外部とを異なる画素値を有する画素で構成した画像とすることにより梗塞領域Ａを定義してもよい。

本例示的実施形態のＣＴ画像Ｂｃ０は本開示の学習用画像に、本例示的実施形態の正解マスクＢｃ１は本開示の正解学習用画像にそれぞれ対応する。なお、ＣＴ画像Ｂｃ０及び正解マスクＢｃ１、すなわち第１教師データＤ－２が既にストレージ１３に記憶されている場合には、教師データ取得部２１は、ストレージ１３から第１教師データＤ－２を取得するようにしてもよい。また、教師データ取得部２１は、後述する学習モデル２２－２の学習のために、多数の被検体についての第１教師データＤ－２を取得する。

本例示的実施形態において、変動学習用画像生成部２３は、正解マスクＢｃ１を用いて決定した注目画素に対して、ＣＴ画像Ｂｃ０を後述する学習モデル２２－２（図１７で示されるモデル）に入力した場合に、学習モデル２２－２の出力が目標値から離れる変動を加える。ここで学習モデル２２－２について説明する。なお、注目画素の決定方法については後で詳細に説明する。

学習モデル２２－２は、ＣＴ画像Ｂｃ０を構成する各画素について梗塞領域の有無を判別する。すなわち、ＣＴ画像Ｂｃ０のセグメンテーションを判別するモデルである。具体的には、梗塞領域Ａを検出する対象となるＣＴ画像Ｂｃ０が入力された場合に、ＣＴ画像Ｂｃ０における梗塞領域Ａが定義された正解マスクＢｃ１を出力するように学習されたモデルである。本例示的実施形態においては、学習モデル２２－２は、Ｕ-Ｎｅｔ（U Networks)の構造を有する。Ｕ-Ｎｅｔは、全層畳み込みネットワーク（Fully Convolution Network；ＦＣＮ）の１つであり、画像のセグメンテーションに特化したネットワークである。図１７はＵ-Ｎｅｔの構造を有する学習モデル２２－２の一例を示す図である。図１７において、斜線で示す層は畳み込み層、ドットで示す層はプーリング層、格子で示す層はアップサンプリング層とする。また図１７において、円で囲んだ矢印は、画像サイズを同じにして統合することを示す。

学習モデル２２－２は、下向きのパス（図中下向きの矢印）は、畳み込み処理及びプーリング処理により、データ量が低減された特徴量マップを出力する。一方、上向きのパス（図中上向きの矢印）は、畳み込み処理及びアップサンプリング処理により、特徴量マップの大きさを大きく復元して出力する。学習モデル２２－２は、両方のパスにおいて、画像サイズが同じものを深い層から段階的に統合することによって、局所的特徴を保持したまま全***置情報の復元を行う。なお、本例示的実施形態の学習モデル２２－２は、公知のＵ-Ｎｅｔの構造を使用することができる。

上記学習モデル２２－２に梗塞領域Ａを検出する対象となるＣＴ画像Ｂｃ０全体ｘが入力された場合に、学習モデル２２－２からはＣＴ画像Ｂｃ０における梗塞領域Ａが定義された正解マスクＢｃ１が出力されるように学習が行われる。この正解マスクＢｃ１は、ＣＴ画像Ｂｃ０を構成する各画素について、梗塞領域に属する画素か、又は梗塞領域以外の領域に属する画素かの出力値を有している。例えば、ある注目する画素（以下、注目画素という）が梗塞領域に属する画素か、又は梗塞領域以外の領域に属する画素かの出力値を出力値Ｓｓ（ｘ）とする。ここで、下記表２に、学習モデル２２－２による出力値Ｓｓ（ｘ）と判別結果の一例を示す。

学習モデル２２－２の出力値Ｓｓ（ｘ）が０以上０．５未満の場合に梗塞領域以外の画素、０．５以上１以下の場合に梗塞領域の画素と判別される。すなわち、例えばＣＴ画像Ｂｃ０を学習モデル２２－２に入力した際に、学習モデル２２－２の注目画素の出力値Ｓｓ（ｘ）が０．６の場合には、この注目画素は梗塞領域に属する画素となる。また、ＣＴ画像Ｂｃ０を学習モデル２２－２に入力した際に、学習モデル２２－２の注目画素の出力値Ｓｓ（ｘ）が０．３の場合には、この注目画素は梗塞領域以外に属する画素となる。

変動学習用画像生成部２３は、ＣＴ画像Ｂｃ０を学習モデル２２－２に入力した場合に、学習モデル２２－２の注目領域の出力が目標値から離れる変動を、注目画素の画素値に加えることにより変動ＣＴ画像Ｂｃ２を生成する。例えば、変動前のＣＴ画像Ｂｃ０について、学習モデル２２－２の注目画素の出力値Ｓｓ（ｘ）が０．６の場合には、この注目画素は梗塞領域に属する画素と判別される。このため、この注目画素において最も梗塞領域に属する画素である可能性が高いと判別される出力値Ｓｓ（ｘ）である「１」が「目標値」となる。よって「目標値から離れる変動」は、学習モデル２２－２の注目画素の出力値Ｓｓ（ｘ）が「１」からより離れる（「１」よりも低下する）値であって、０．５以上０．６未満の値となるように画素値に加えられる変動である。一方、変動前のＣＴ画像Ｂｃ０について、学習モデル２２－２の注目画素の出力値Ｓｓ（ｘ）が０．３の場合には、この注目画素は梗塞領域以外に属する画素と判別される。このため、この注目画素において最も梗塞領域以外に属する画素である可能性が高いと判別される出力値Ｓｓ（ｘ）である「０」が「目標値」となる。よって「目標値から離れる変動」は、学習モデル２２－２の注目画素の出力値Ｓｓ（ｘ）が「０」からより離れる値であって、０．３よりも大きく０．５未満の値となるように画素値に加えられる変動である。

変動学習用画像生成部２３は、具体的には、まずＣＴ画像Ｂｃ０を学習モデル２２－２に入力した場合の、注目画素ｓに対する学習モデル２２－２の出力値Ｓｓ（ｘ）の勾配Ｍｓ（ｘ）を取得する。注目画素ｓに対する学習モデル２２－２の出力値Ｓｓ（ｘ）の勾配Ｍｓ（ｘ）は、下記式（３）により導出する。

Ｍｓ（ｘ）＝∂Ｓｓ（ｘ）／∂ｘ・・・（３）

なお、勾配Ｍｓ（ｘ）については、図５に示して説明した勾配Ｍ（ｘ）と同様の説明とすることができるため、ここでの詳細な説明は省略する。

次に、上記式（３）により導出された勾配Ｍｓ（ｘ）を使用して、下記式（４）によりＣＴ画像Ｂｃ０を構成する少なくとも１つの画素に変動を加えた変動ＣＴ画像Ｂｃ２を生成する。

ｘａ＝ｘ－ｋ×Ｍｓ（ｘ）・・・（４）
ただし、ｋ＞０の定数とする。

ここで、ｘはＣＴ画像Ｂｃ０全体、ｘａはＣＴ画像Ｂｃ０を変動させた後の変動ＣＴ画像Ｂｃ２全体を示す。また、ｋ×Ｍｓ（ｘ）は図５の右図と同様に勾配画像全体を表す。

変動学習用画像生成部２３は、ＣＴ画像Ｂｃ０全体ｘに対して、勾配画像全体ｋ×Ｍｓ（ｘ）を減算することにより、ＣＴ画像Ｂｃ０を構成する少なくとも１つの画素に変動を与えた変動ＣＴ画像Ｂｃ２を生成する。

次に変動学習用画像生成部２３による注目画素の決定方法について説明する。変動学習用画像生成部２３は、まず、正解マスクＢｃ１において定義された梗塞領域Ａの重心Ｇが属する画素を検出する。図１８は注目画素を説明するための図である。

変動学習用画像生成部２３は、図１８に示すように、梗塞領域Ａの重心Ｇを導出する。ここで、重心Ｇの導出は、公知の方法により行うことができる。変動学習用画像生成部２３は、梗塞領域Ａの重心Ｇが属する画素Ｐｇを検出する。次に、検出した画素ＰｇがＣＴ画像Ｂｃ０において対応する画素を注目画素Ｐｇｓとして決定する。図１９はＣＴ画像Ｂｃ０上の注目画素Ｐｇｓを説明するための図である。

変動学習用画像生成部２３は、図１９に示すように、正解マスクＢｃ１において検出された梗塞領域Ａの重心Ｇが属する画素Ｐｇに対応する、ＣＴ画像Ｂｃ０上の画素を注目画素Ｐｇｓとして決定する。そして、ＣＴ画像Ｂｃ０を学習モデル２２－２（図１７で示されるモデル）に入力した場合に、学習モデル２２－２の注目画素Ｐｇｓの出力が目標値から離れる変動を上記にて説明したように加える。これにより、変動学習用画像生成部２３は、ＣＴ画像Ｂｃ０上に変動を加えた変動ＣＴ画像Ｂｃ２を生成する。

次いで、本例示的実施形態における変動ＣＴ画像Ｂｃ２を生成する処理について説明する。図２０は変動ＣＴ画像Ｂｃ２を生成する処理を示すフローチャートである。先ず、教師データ取得部２１が、ＣＴ画像Ｂｃ０と正解マスクＢｃ１とを組にした第１教師データＤを取得する（ステップＳＴ２１）。次に、変動学習用画像生成部２３が、ＣＴ画像Ｂｃ０において、注目画素Ｐｇｓを決定する（ステップＳＴ２２）。次に、変動学習用画像生成部２３が、ＣＴ画像Ｂｃ０の注目画素Ｐｇｓに対する学習モデル２２－２の出力値Ｓｓ（ｘ）の勾配Ｍｓ（ｘ）を取得する（ステップＳＴ２３）。そして、変動学習用画像生成部２３が、上述したように、注目画素Ｐｇｓの出力が「目標値」から離れる変動をＣＴ画像Ｂｃ０に加えることにより変動ＣＴ画像Ｂｃ２を生成して（ステップＳＴ２４）、一連の処理を終了する。

画像取得部２０、教師データ取得部２１、及び変動学習用画像生成部２３で構成される本例示的実施形態の学習用画像生成装置、本例示的実施形態の学習用画像生成方法、並びに本例示的実施形態の学習用画像生成プログラムによれば、注目画素Ｐｇｓの出力が「目標値」から離れる変動をＣＴ画像Ｂｃ０に加えることにより、変動前のＣＴ画像Ｂｃ０と比較して学習モデル２２－２が梗塞領域を正しく認識し難い変動ＣＴ画像Ｂｃ２を生成することができる。これにより、限られたＣＴ画像Ｂｃ０以外のＣＴ画像である変動ＣＴ画像Ｂｃ２も学習用画像として使用することができるので、限られたＣＴ画像Ｂｃ０を用いて、ＣＴ画像Ｂｃ０以外の未知のＣＴ画像に対しても安定して動作できるように後述する学習モデル２２－２を学習させることができる。

なお、本例示的実施形態においては、注目画素Ｐｇｓを１つとしたが、本開示の技術はこれに限られず、複数の注目画素Ｐｇｓとしてもよい。この場合、正解マスクＢｃ１において検出する画素Ｐｇは、重心Ｇが属する画素に限られず、梗塞領域Ａに属する画素から任意に検出することができる。そして、検出した複数の画素Ｐｇに各々対応するＣＴ画像Ｂｃ０上の複数の注目画素Ｐｇｓ１，Ｐｇｓ２，...において、学習モデル２２－２の出力値Ｓｓ１（ｘ），Ｓｓ２（ｘ），...の勾配Ｍｓ１（ｘ），Ｍｓ２（ｘ），...を取得する。

そして、取得した勾配Ｍｓ１（ｘ），Ｍｓ２（ｘ），...を使用して、下記式（５）により変動を加えた変動ＣＴ画像Ｂｃ２を生成する。

ｘａ＝ｘ－ｋ×（Ｍｓ１（ｘ）＋Ｍｓ２（ｘ）＋ ...）・・・（５）
ただし、ｋ＞０の定数とする。

変動学習用画像生成部２３は、ＣＴ画像Ｂｃ０全体ｘに対して、勾配画像全体ｋ×（Ｍｓ１（ｘ）＋Ｍｓ２（ｘ）＋ ...）を減算することにより、ＣＴ画像Ｂｃ０を構成する複数の注目画素Ｐｇｓ１，Ｐｇｓ２，...の出力が「目標値」から離れる変動を与えた変動ＣＴ画像Ｂｃ２を生成する。このように、ＣＴ画像Ｂｃ０の複数の注目画素Ｐｇｓ１，Ｐｇｓ２，...の出力が「目標値」から離れる変動をＣＴ画像Ｂｃ０に加えることにより、変動前のＣＴ画像Ｂｃ０と比較して学習モデル２２が梗塞領域を正しく認識し難い変動ＣＴ画像Ｂｃ２を生成することができる。

なお、本例示的実施形態においては、正解マスクＢｃ１において検出する画素Ｐｇは、梗塞領域Ａに属する画素から検出したが、本開示の技術はこれに限られず、梗塞領域Ａに属する画素と梗塞領域Ａ以外の領域に属する画素との両方から検出してもよい。また、梗塞領域Ａ以外の領域に属する画素のみから検出してもよい。

次に、学習部２４は、教師データ取得部２１により取得された１以上の第１教師データＤ－２及び１以上の第２教師データＦ－２を用いて学習モデル２２－２を学習させる。図２１は変動ＣＴ画像と正解ＣＴ画像とを組にした第２教師データＦ－２を説明するための図である。第２教師データＦ－２は、図２１に示すように、変動ＣＴ画像Ｂｃ２と、変動ＣＴ画像Ｂｃ２の変動前のＣＴ画像Ｂｃ０において梗塞領域Ａが定義された正解マスクＢｃ１とを組にした教師データである。なお、本例示的実施形態において第２教師データＦ－２は、変動ＣＴ画像Ｂｃ２と変動前のＣＴ画像Ｂｃ０において梗塞領域Ａが定義された正解マスクＢｃ１とを組にしたが、変動ＣＴ画像Ｂｃ２と、変動ＣＴ画像Ｂｃ２において新たに梗塞領域Ａを定義した正解マスクＢｃ３とを組にしてもよい。ただし、変動ＣＴ画像Ｂｃ２は、変動前のＣＴ画像Ｂｃ０において、注目画素ｓに対する学習モデル２２－２の出力値Ｓｓ（ｘ）の値に基づく判別結果が変わらないように変動させているので、正解マスクＢｃ１と、変動ＣＴ画像Ｂｃ２において新たに梗塞領域Ａを定義した正解マスクＢｃ３とは同じ正解マスクとなる。

図２２は学習モデル２２－２の学習方法を説明するための図である。なお、本例示的実施形態において学習モデル２２－２は、本開示のモデルに対応する。学習部２４は、図２２に示すように、第１教師データＤ－２すなわちＣＴ画像Ｂｃ０及び正解マスクＢｃ１を学習モデル２２－２に入力することにより、学習モデル２２－２にＣＴ画像Ｂｃ０における梗塞領域Ａを学習させる。これにより、ＣＴ画像Ｂｃ０が入力された場合に、正解マスクＢｃ１と一致する領域が梗塞領域Ａとして出力されるように学習モデル２２－２を学習させる。また、学習部２４は、第２教師データＦ－２すなわち変動ＣＴ画像Ｂｃ２及び正解マスクＢｃ１を学習モデル２２－２に入力することにより、学習モデル２２－２に変動ＣＴ画像Ｂｃ２における梗塞領域Ａを学習させる。これにより、変動ＣＴ画像Ｂｃ２が入力された場合に、正解マスクＢｃ１と一致する領域が梗塞領域Ａとして出力されるように学習モデル２２－２を学習させる。

なお、本例示的実施形態の学習方法の一連の処理については、図１１で示したフローチャートと同様の処理であるため、ここでの詳細な説明は省略する。

なお、上述した例示的実施形態においては、学習モデル２２及び学習モデル２２－２は、出力部が１つの単クラスのモデルであるが、本開示の技術はこれに限られず、学習モデルは複数の出力部を有する多クラスのモデルであってもよい。図２３は多クラス分類の学習モデル２２－３の一例を示す図である。

図４に示す学習モデル２２の出力部Ｌ４が１つの出力層を有しているのに対して、本例示的実施形態の学習モデル２２－３は、図２３に示すように、出力部Ｌ４が３つの出力層を有している。３つの出力層から出力される出力値Ｓ１（ｘ）～Ｓ３（ｘ）は、図４に示す学習モデル２２と同様に、畳み込み層及びプーリング層の少なくとも一方を含む。

本例示的実施形態において、例えば、出力値Ｓ１（ｘ）は、ＣＴ画像Ｂｃ０上に梗塞領域Ａが有るか無いかの判別結果を示す値が出力される。出力値Ｓ２（ｘ）は、ＣＴ画像Ｂｃ０上において特定された梗塞の解剖学的な部位の判別結果を表す値が出力される。出力値Ｓ３（ｘ）は、ＣＴ画像Ｂｃ０上に出血領域が有るか無いかの判別結果を示す値が出力される。このように構成された学習モデル２２－３においては、入力するＣＴ画像Ｂｃ０の各出力値Ｓ１（ｘ）～Ｓ３（ｘ）に対して下記式（６）～（８）により勾配Ｍ１（ｘ）～Ｍ３（ｘ）を導出する。

Ｍ１（ｘ）＝∂Ｓ１（ｘ）／∂ｘ・・・（６）
Ｍ２（ｘ）＝∂Ｓ２（ｘ）／∂ｘ・・・（７）
Ｍ３（ｘ）＝∂Ｓ３（ｘ）／∂ｘ・・・（８）

上記式（６）～（８）により導出した勾配Ｍ１（ｘ）～Ｍ３（ｘ）を用いて、上述した例示的実施形態と同様に、変動ＣＴ画像Ｂｃ２を生成する。なお、勾配Ｍ１（ｘ）～Ｍ３（ｘ）を導出した後の処理は、第１の例示的実施形態と同様であるため、ここでの詳細な説明は省略する。

また、本開示の技術において、多クラス分類の学習モデルは、図２３に示す学習モデル２２－３に限られない。図２４は多クラス分類の学習モデル２２－４の一例を示す図である。学習モデル２２－４は、ＣＴ画像Ｂｃ０が入力された場合に、ＣＴ画像Ｂｃ０における梗塞領域Ａ１及び出血領域Ａ２が各々定義された正解マスクＢｃ１、Ｂｃ２を出力するように学習されたモデルである。本例示的実施形態においては、学習モデル２２－４は、Ｕ-Ｎｅｔ（U Networks)の構造を有する。

学習モデル２２－４においても、正解マスクＢｃ１、Ｂｃ２の各々を用いて、それぞれの注目画素Ｐｇ１０，Ｐｇ２０を算出して、上記式（６）（７）により勾配Ｍ１（ｘ），Ｍ２（ｘ）を導出する。上記式（６）（７）により導出した勾配Ｍ１（ｘ），Ｍ２（ｘ）を用いて、上述した例示的実施形態と同様に、変動ＣＴ画像Ｂｃ２を生成する。なお、勾配Ｍ１（ｘ），Ｍ２（ｘ）を導出した後の処理は、上述した例示的実施形態と同様であるため、ここでの詳細な説明は省略する。

なお、上記例示的実施形態においては、ＣＴ画像Ｂｃ０を学習モデルに入力した場合に、学習モデルの出力が目標値から離れる変動を、ＣＴ画像Ｂｃ０を構成する少なくとも１つの画素の画素値に加えるために、勾配Ｍ（ｘ）を使用したが、本開示の技術はこれに限られない。学習モデルの出力が目標値から離れる変動を、ＣＴ画像Ｂｃ０を構成する少なくとも１つの画素に加えられれば勾配Ｍ（ｘ）を使用しなくてもよい。

また、上記例示的実施形態においては、疾患を梗塞としたが、本開示の技術はこれに限られず、例えば疾患は出血等であってもよい。

また、上記例示的実施形態においては、本開示の学習用画像としてＣＴ画像を用いているが、本開示の技術はこれに限定されるものではなく、本開示の学習用画像は例えばＰＥＴ画像、超音波画像、及びＭＲＩ画像等の他の医用画像であってもよい。ＭＲＩ画像は、Ｔ１画像、Ｔ２画像、及び拡散強調画像の何れの画像であってもよい。

また、上記例示的実施形態においては、医用画像として脳画像を用いているが、これに限定されるものではない。例えば、人体の胸部、腹部、全身及び四肢等の医用画像に含まれる疾患領域及び関心領域等を判別する場合にも、本開示を適用することができる。

また、上記例示的実施形態においては、学習装置１は、学習用画像生成装置が内包されているが、本開示の技術はこれに限られず、学習用画像生成装置が内包されていなくてもよい。ただし、この場合、学習装置１は教師データ取得部２１を備えるものとし、教師データ取得部２１が、外部の学習用生成装置によって生成された変動学習用画像を含む第２教師データを取得するようにすればよい。

また、上記例示的実施形態においては、学習モデル２２－２，２２－４は、Ｕ-Ｎｅｔの構造を有するものとしたが、本開示の技術はこれに限定されるものではない。Ｕ-Ｎｅｔ以外の、全層畳み込みネットワーク（Fully Convolution Network；ＦＣＮ）を使用してもよい。なお、セグメンテーションの問題をＥｎｄ-ｔｏ-Ｅｎｄ深層学習により学習するモデルを利用する際に、Ｕ-Ｎｅｔ及びＦＣＮに限られず、広く応用することができる。

また、上述した例示的実施形態において、例えば、画像取得部２０、教師データ取得部２１、学習モデル２２、変動学習用画像生成部２３、学習部２４、及び表示制御部２５といった各種の処理を実行する処理部（Processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。

２０１９年７月２６日出願の日本国特許出願２０１９－１３８２３５号の開示は、その全体が参照により本明細書に取り込まれる。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (19)

1. 学習用画像を取得する画像取得部と、
   前記画像取得部により取得された前記学習用画像を学習モデルに入力した場合に、前記学習モデルの出力が目標値から離れるような変動を、前記学習用画像を構成する少なくとも１つの画素の画素値に加えることにより変動学習用画像を生成する変動学習用画像生成部と、
   を含む、学習用画像生成装置。
2. 前記変動学習用画像生成部は、前記学習用画像を構成する各画素の画素値に対する出力値の勾配を取得し、取得した前記勾配を使用して前記変動を加える、請求項１に記載の学習用画像生成装置。
3. 学習用画像と、前記学習用画像において定義された正解領域とを組にした教師データを取得する教師データ取得部を備え、
   前記変動学習用画像生成部は、前記教師データ取得部により取得された前記教師データのうちの前記正解領域を用いて注目画素を決定し、決定した注目画素の出力値の勾配を取得し、取得した前記勾配を使用して前記変動を加える、
   請求項１又は請求項２に記載の学習用画像生成装置。
4. 前記変動学習用画像生成部は、前記正解領域に属する画素に対応する前記学習用画像における画素を前記注目画素として決定する、請求項３に記載の学習用画像生成装置。
5. 前記変動学習用画像生成部は、前記正解領域以外に属する画素に対応する前記学習用画像における画素を前記注目画素として決定する、請求項３又は請求項４に記載の学習用画像生成装置。
6. 前記変動学習用画像生成部は、前記正解領域の重心に属する画素に対応する前記学習用画像における画素を前記注目画素として決定する、請求項３から請求項５のいずれか１項に記載の学習用画像生成装置。
7. 前記変動学習用画像生成部は、
   前記学習モデルが、入力された前記学習用画像を１以上の正解クラスを含む複数のクラスに分類する複数の出力部を有する学習モデルであって、
   前記正解クラスに分類する出力部から出力される出力値の勾配を取得する、
   請求項１から請求項６のいずれか１項に記載の学習用画像生成装置。
8. コンピュータが、
   学習用画像を取得し、
   取得された前記学習用画像を学習モデルに入力した場合に、前記学習モデルの出力が目標値から離れるような変動を、前記学習用画像を構成する少なくとも１つの画素の画素値に加えることにより変動学習用画像を生成する、
   学習用画像生成方法。
9. 学習用画像を取得する画像取得部と、
   前記画像取得部により取得された前記学習用画像を学習モデルに入力した場合に、前記学習モデルの出力が目標値から離れるような変動を、前記学習用画像を構成する少なくとも１つの画素の画素値に加えることにより変動学習用画像を生成する変動学習用画像生成部として、
   コンピュータを機能させる学習用画像生成プログラム。
10. コンピュータが、
    学習用画像と、前記学習用画像における正解情報とを組にした１以上の第１教師データ、及び、前記学習用画像を学習モデルに入力した場合に、前記学習モデルの出力が目標値から離れるような変動を、前記学習用画像を構成する少なくとも１つの画素の画素値に加えることにより生成した１以上の変動学習用画像と、１以上の前記変動学習用画像の各々において変動前の学習用画像における正解情報とを組にした１以上の第２教師データを用いて学習モデルを学習させる、
    学習方法。
11. 前記正解情報は、前記学習用画像において定義された正解領域である、請求項１０に記載の学習方法。
12. １回目の学習において、複数の前記第１教師データを用いて前記学習モデルを学習させ、２回目以降の学習において、複数の前記第１教師データのうちの少なくとも１つの前記第１教師データを前記第２教師データに換えて前記学習モデルを学習させる、請求項１０又は請求項１１に記載の学習方法。
13. １回目の学習において、複数の前記第１教師データを用いて前記学習モデルを学習させ、２回目以降の学習において、少なくとも１つの前記第２教師データを追加して前記学習モデルを学習させる、請求項１０又は請求項１１に記載の学習方法。
14. 前記２回目以降の学習において、前記学習の回毎に、使用する前記第２教師データ及び前記第２教師データの数の少なくとも一方をランダムに設定する、請求項１２又は請求項１３に記載の学習方法。
15. 前記２回目以降の学習において、使用する前記第２教師データ及び前記第２教師データの数の少なくとも一方を予め設定する、請求項１２又は請求項１３に記載の学習方法。
16. 前記２回目以降の学習において、少なくとも１回、複数の前記第１教師データのみを用いて前記学習モデルを学習させる、請求項１２から請求項１５のいずれか１項に記載の学習方法。
17. 学習用画像と、前記学習用画像における正解情報とを組にした１以上の第１教師データ、及び、前記学習用画像を学習モデルに入力した場合に、前記学習モデルの出力が目標値から離れるような変動を、前記学習用画像を構成する少なくとも１つの画素の画素値に加えることにより生成した１以上の変動学習用画像と、１以上の前記変動学習用画像の各々において変動前の学習用画像における正解情報とを組にした１以上の第２教師データとを取得する教師データ取得部と、
    前記教師データ取得部により取得された１以上の前記第１教師データ及び１以上の第２教師データを用いて学習モデルを学習させる学習部と、
    を含む学習装置。
18. 前記学習部は、請求項１０から請求項１６のいずれか１項に記載の学習方法によって前記学習モデルを学習させる請求項１７に記載の学習装置。
19. 学習用画像と、前記学習用画像における正解情報とを組にした１以上の第１教師データ、及び、前記学習用画像を学習モデルに入力した場合に、前記学習モデルの出力が目標値から離れるような変動を、前記学習用画像を構成する少なくとも１つの画素の画素値に加えることにより生成した１以上の変動学習用画像と、１以上の前記変動学習用画像の各々において変動前の学習用画像における正解情報とを組にした１以上の第２教師データとを取得する教師データ取得部と、
    前記教師データ取得部により取得された１以上の前記第１教師データ及び１以上の第２教師データを用いて学習モデルを学習させる学習部として、
    コンピュータを機能させる学習プログラム。