JP7325942B2 - Image processing device and program - Google Patents
Image processing device and program Download PDFInfo
- Publication number
- JP7325942B2 JP7325942B2 JP2018197742A JP2018197742A JP7325942B2 JP 7325942 B2 JP7325942 B2 JP 7325942B2 JP 2018197742 A JP2018197742 A JP 2018197742A JP 2018197742 A JP2018197742 A JP 2018197742A JP 7325942 B2 JP7325942 B2 JP 7325942B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- region
- lesion
- trained model
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 156
- 238000012549 training Methods 0.000 claims description 83
- 230000003902 lesion Effects 0.000 claims description 72
- 206010028980 Neoplasm Diseases 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 201000011510 cancer Diseases 0.000 claims description 14
- 210000004556 brain Anatomy 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 10
- 230000002068 genetic effect Effects 0.000 claims description 5
- 210000004027 cell Anatomy 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000001394 metastastic effect Effects 0.000 claims description 3
- 206010061289 metastatic neoplasm Diseases 0.000 claims description 3
- 210000002536 stromal cell Anatomy 0.000 claims description 3
- 210000004204 blood vessel Anatomy 0.000 claims description 2
- 230000002490 cerebral effect Effects 0.000 claims 1
- 230000001537 neural effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 114
- 238000011176 pooling Methods 0.000 description 25
- 238000002591 computed tomography Methods 0.000 description 19
- 238000013135 deep learning Methods 0.000 description 12
- 238000002595 magnetic resonance imaging Methods 0.000 description 12
- 230000005856 abnormality Effects 0.000 description 10
- 230000002159 abnormal effect Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 4
- 210000005036 nerve Anatomy 0.000 description 4
- 238000013170 computed tomography imaging Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000030214 innervation Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000003211 malignant effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000009206 nuclear medicine Methods 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001320 hippocampus Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000004614 tumor growth Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Landscapes
- Nuclear Medicine (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Description
本発明の実施形態は、画像処理装置、及びプログラムに関する。 An embodiment of the present invention relates to an image processing apparatus and a program.
コンピュータを用いて診断支援を行う、いわゆるＣｏｍｐｕｔｅｒ Ａｓｓｉｓｔｅｄ Ｄｅｔｅｃｔｉｏｎ／Ｄｉａｇｎｏｓｉｓなどの分野では、例えば、予めわかっている病変の特徴量を教師データとして、学習を行って、学習済モデルを生成する。また、近年では、深層学習（ディープラーニング）や強化学習によって、特徴量を人間が事前知識として与えなくとも、プログラムが自ら特徴量そのものを自己学習し、その特徴量に人間がラベル（記号）を与えることによって学習済モデルを生成する場合がある。 In fields such as so-called Computer Assisted Detection/Diagnosis, in which diagnosis is supported using a computer, learning is performed using, for example, previously known lesion feature values as teacher data to generate a learned model. In recent years, through deep learning and reinforcement learning, programs can self-learn the feature values themselves, and humans can assign labels (symbols) to the feature values, even if the feature values are not given as prior knowledge by humans. A trained model may be generated by giving
しかし、例えば深層学習（ディープラーニング）を用いて学習を行う場合、中間層の重み付けが適切でないと、学習された学習済モデルの判定精度が低下する場合がある。 However, when learning is performed using deep learning, for example, if the weighting of intermediate layers is not appropriate, the determination accuracy of the learned model may be lowered.
本発明が解決しようとする課題は、深層学習された学習済モデルの判定精度を高めることである。 The problem to be solved by the present invention is to improve the determination accuracy of a trained model that has undergone deep learning.
実施形態に係る画像処理装置は、学習部と、修正部とを備える。学習部は、病変の内部の領域である第１の領域に係る第１のデータと、第１の領域から影響を受ける領域である第２の領域に係る第２のデータとを訓練データとして用いて、ニューラルネットワークで構成される第１の学習済モデルを生成する。修正部は、第１のデータと第２のデータとの間にある相関関係を示す情報に基づいて第１の学習済モデルの中間層の重み付けを修正して、入力医用データについての判定を行う第２の学習済モデルを生成する。 An image processing apparatus according to an embodiment includes a learning section and a correction section. The learning unit uses, as training data, first data related to a first region that is a region inside the lesion and second data related to a second region that is a region affected by the first region. to generate a first trained model composed of a neural network. The correction unit corrects the weighting of the intermediate layer of the first trained model based on information indicating the correlation between the first data and the second data, and makes a judgment on the input medical data. Generate a second trained model.
以下、本発明の実施形態について図面を参照しながら説明する。ここで、互いに同じ構成には共通の符号を付して、重複する説明は省略する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings. Here, the same components are denoted by common reference numerals, and overlapping descriptions are omitted.
（実施形態）
図１は、実施形態に係る画像処理装置１００を示すブロック図である。
(embodiment)
FIG. 1 is a block diagram showing an image processing device 100 according to an embodiment.
医用画像診断装置５０は、被検体の撮影又は撮像を行い、医用データを生成する装置である。医用画像診断装置５０は、例えば、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置である。かかる場合、医用画像診断装置５０は、被検体に対してＸ線ＣＴ撮影を行い、Ｘ線ＣＴデータまたはＸ線ＣＴ画像を生成する。医用画像診断装置５０は、生成したＸ線ＣＴデータまたはＸ線ＣＴ画像を、学習済モデルが判定を行う対象となる入力医用データとして、または、学習済モデルを生成するための訓練用の医用データとして、画像処理装置１００に送信する。画像処理装置１００は、後述する、第１の処理回路１２０が有するインタフェース機能１２０ｘ又は第２の処理回路１３０が有するインタフェース機能１３０ｘにより、医用画像診断装置５０から、Ｘ線ＣＴデータまたはＸ線ＣＴ画像を取得する。
The medical image
なお、医用画像診断装置５０が、被検体に対してＸ線ＣＴ撮影を行うことにより得られたＸ線ＣＴデータに基づいてＸ線ＣＴ画像を生成してもよいし、画像処理装置１００が、医用画像診断装置５０から取得したＸ線ＣＴデータに基づいてＸ線ＣＴ画像を生成してもよい。
The medical image
また、別の例として、医用画像診断装置５０は、例えば、磁気共鳴イメージング装置である。かかる場合、医用画像診断装置５０は、被検体に対して磁気共鳴イメージング撮像を行い、磁気共鳴イメージングデータまたは磁気共鳴イメージング画像を生成する。
As another example, the medical image
また、医用画像診断装置５０は、超音波診断装置、陽電子放射断層撮影装置等の核医学診断装置、デジタルＸ線診断装置等の、その他の種類の医用機器であってもよい。
The medical image
画像処理装置１００は、医用画像診断装置５０に接続され、学習済モデルの生成、学習済モデルの実行、及び様々な画像処理を実行する。画像処理装置１００は、医用画像診断装置５０が生成する医用データを、学習済モデルが判定を行う対象となる入力医用データとして、または、学習済モデルを生成するための訓練用の医用データとして使用する。画像処理装置１００は、これらの入力医用データ及び訓練用の医用データを、例えばそれぞれ入力医用画像及び訓練用の医用画像の形で使用する。
The image processing apparatus 100 is connected to the medical image
画像処理装置１００は、メモリ１３２、入力装置１３４、ディスプレイ１３５、第１の処理回路１２０、第２の処理回路１３０を備える。第１の処理回路１２０は、訓練データ作成機能１２０ａ、学習機能１２０ｂ、修正機能１２０ｃ、インタフェース機能１２０ｘ、制御機能１２０ｙ、生成機能１２０ｚを備える。また、第２の処理回路１３０は、インタフェース機能１３０ｘ、制御機能１３０ｙ、生成機能１３０ｚを備える。
The image processing apparatus 100 includes a memory 132 , an input device 134 , a display 135 , a
実施形態では、訓練データ作成機能１２０ａ、学習機能１２０ｂ、修正機能１２０ｃ、インタフェース機能１２０ｘ、制御機能１２０ｙ、生成機能１２０ｚにて行われる各処理機能、及び学習済モデルは、コンピュータによって実行可能なプログラムの形態でメモリ１３２へ記憶されている。第１の処理回路１２０及び第２の処理回路１３０はプログラムをメモリ１３２から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の第１の処理回路１２０は、図１の第１の処理回路１２０内に示された各機能を有することになる。また、各プログラムを読み出した状態の第２の処理回路１３０は、図１の第２の処理回路１３０内に示された各機能を有することになる。また、学習済モデルに対応するプログラムを読み出した状態の第２の処理回路１３０が実行されると、当該学習済モデルに従った処理が行われる。なお、図１においては第１の処理回路１２０及び第２の処理回路１３０にて、それぞれ単一の処理回路により、これらの処理機能が実現されるものとして説明するが、複数の独立したプロセッサを組み合わせてそれぞれ第１の処理回路１２０及び第２の処理回路１３０を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。換言すると、上述のそれぞれの機能がプログラムとして構成され、１つの処理回路が各プログラムを実行する場合であってもよい。また、単一の処理回路により、第１の処理回路１２０及び第２の処理回路１３０の両方が実現されてもよい。別の例として、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。なお、図１において、訓練データ作成機能１２０ａ、学習機能１２０ｂ、修正機能１２０ｃ、判定機能１３０ａ、インタフェース機能１２０ｘ及び１３０ｘ、制御機能１２０ｙ及び１３０ｙ、生成機能１２０ｚ及び１３０ｚは、それぞれ作成部、学習部、修正部、判定部、受付部、制御部、画像生成部の一例である。
In the embodiment, each processing function performed by the training
上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）或いは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等の回路を意味する。プロセッサはメモリ１３２に保存されたプログラムを読み出し実行することで機能を実現する。 The term "processor" used in the above description includes, for example, a CPU (Central Processing Unit), a GPU (Graphical Processing Unit), an Application Specific Integrated Circuit (ASIC), a programmable logic device (for example, a simple Circuits such as Simple Programmable Logic Device (SPLD), Complex Programmable Logic Device (CPLD), and Field Programmable Gate Array (FPGA)). The processor implements its functions by reading and executing programs stored in the memory 132 .
また、メモリ１３２にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。従って、例えばメモリ１３２に学習済モデルが保存される代わりに、プロセッサの回路内に学習済モデルに係るプログラムが直接組み込まれていてもよい。 Also, instead of storing the program in the memory 132, the program may be configured to be directly embedded in the circuitry of the processor. In this case, the processor realizes its function by reading and executing the program embedded in the circuit. Therefore, for example, instead of storing the trained model in the memory 132, a program related to the trained model may be directly installed in the circuitry of the processor.
なお、第１の処理回路１２０は、主に訓練データの作成および、訓練データを用いた学習による学習済モデルの生成を主に担う処理回路であり、第２の処理回路１３０は、生成された学習済モデルを判別対象／鑑別対象のデータに適用して判別／鑑別を行う機能を主に担う処理回路である。
Note that the
第１の処理回路１２０は、訓練データ作成機能１２０ａにより、医用画像診断装置５０から取得した画像データに基づいて、後述の学習機能１２０ｂにより学習を行うための訓練データを生成する。訓練データは、例えば画像データである訓練画像データである。第１の処理回路１２０は、訓練データ作成機能１２０ａにより生成された訓練データに対して、学習機能１２０ｂを用いて学習を行い、学習済モデルを生成する。また、第２の処理回路１３０は、生成された学習済モデルに対して鑑別を行い、判定を行う。これら、訓練データ作成機能１２０ａ、学習機能１２０ｂ、修正機能１２０ｃ及び判定機能１３０ａについては、後述する。
The
また、第１の処理回路１２０は、インタフェース機能１２０ｘにより、訓練用の画像データの取得に係る医用画像診断装置５０の撮影の制御に係る情報を医用画像診断装置５０へ送信し、また、医用画像診断装置５０から、撮影により得られた訓練用の画像データを取得する。また、インタフェース機能１２０ｘを有する第１の処理回路１２０は、受信した訓練用の画像データをメモリ１３２に格納する。
In addition, the
同様に、第２の処理回路１３０は、インタフェース機能１３０ｘにより、鑑別対象の画像データの取得に係る医用画像診断装置５０の撮影の制御に係る情報を医用画像診断装置５０へ送信し、また、医用画像診断装置５０から、撮影により得られた鑑別対象の画像データを取得する。また、インタフェース機能１２０ｘを有する第１の処理回路１２０は、受信した鑑別対象の画像データをメモリ１３２に格納する。
Similarly, the second processing circuit 130 uses the interface function 130x to transmit to the medical image
第１の処理回路１２０は、制御機能１２０ｙにより、また第２の処理回路１３０は、制御機能１３０ｙにより、医用画像診断装置５０及び画像処理装置１００の全般的な制御を行い、撮像や画像の生成、画像の表示等を制御する。
The control function 120y of the
また、第１の処理回路１２０は、生成機能１２０ｚにより、訓練用の画像データに基づいて、訓練用の画像データを生成し、または生成された訓練用の医用データに対して、種々の画像処理を行う。同様に、第２の処理回路１３０は、生成機能１２０ｚにより、鑑別対象の画像データに基づいて、鑑別対象の医用データを生成し、または生成された鑑別対象の医用データに対して、種々の画像処理を行う。
In addition, the
メモリ１３２は、上述の訓練用の画像データ、訓練データ、鑑別対象の画像データ等、様々なデータを記憶する。メモリ１３２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。 The memory 132 stores various data such as the above-described training image data, training data, and discrimination target image data. The memory 132 is a RAM (Random Access Memory), a semiconductor memory device such as a flash memory, a hard disk, an optical disk, or the like.
入力装置１３４は、操作者からの各種指示や情報入力を受け付ける。入力装置１３４は、例えば、マウスやトラックボール等のポインティングデバイス、モード切替スイッチ等の選択デバイス、あるいはキーボード等の入力デバイスである。ディスプレイ１３５は、制御機能１３０ｙによる制御の下、撮像条件の入力を受け付けるためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）や、生成機能１２０ｚや１３０ｚによって生成された画像等を表示する。ディスプレイ１３５は、例えば、液晶表示器等の表示デバイスである。ディスプレイ１３５は、表示部の一例である。 The input device 134 receives various instructions and information input from the operator. The input device 134 is, for example, a pointing device such as a mouse or a trackball, a selection device such as a mode switch, or an input device such as a keyboard. The display 135 displays, under the control of the control function 130y, a GUI (Graphical User Interface) for accepting input of imaging conditions, images generated by the generation functions 120z and 130z, and the like. The display 135 is, for example, a display device such as a liquid crystal display. The display 135 is an example of a display section.
続いて、実施形態に係る背景について簡単に説明する。 Next, the background of the embodiment will be briefly described.
コンピュータを用いて診断支援を行う、いわゆるＣｏｍｐｕｔｅｒ Ａｓｓｉｓｔｅｄ Ｄｅｔｅｃｔｉｏｎ／Ｄｉａｇｎｏｓｉｓなどの分野では、例えば、予めわかっている病変の特徴量を教師データとして、学習を行って、学習済モデルを生成する。また、近年では、深層学習（ディープラーニング）や強化学習によって、特徴量を人間が事前知識として与えなくとも、プログラムが自ら特徴量そのものを自己学習して、その特徴量にラベル（記号）を人間が与えて、学習済モデルを生成する場合がある。 In fields such as so-called Computer Assisted Detection/Diagnosis, in which diagnosis is supported using a computer, learning is performed using, for example, previously known lesion feature values as teacher data to generate a learned model. In recent years, through deep learning and reinforcement learning, programs can self-learn the feature values themselves without humans providing them with prior knowledge, and labels (symbols) can be assigned to the feature values by humans. may be given to generate a trained model.
しかし、例えば、深層学習を行う場合など、十分な数の訓練データを用意できないことがある。この場合、例えば中間層の重み付けが適切でないと、深層学習された学習済モデルの判定精度が低下する場合がある。 However, in some cases, such as when performing deep learning, it may not be possible to prepare a sufficient number of training data. In this case, for example, if the weighting of the intermediate layer is not appropriate, the determination accuracy of the trained model that has undergone deep learning may decrease.
かかる背景に鑑みて、実施形態に係る画像処理装置１００は、第１の処理回路１２０を備える。第１の処理回路１２０は、学習機能１２０ｂにより、病変の内部の領域である第１の領域に係る第１のデータと、第１の領域から影響を受ける領域である第２の領域に係る第２のデータとを訓練データとして用いて、ニューラルネットワークで構成される第１の学習済モデルを生成する。ここで、訓練データは、例えば画像データである訓練画像データであり、第１のデータ及び第２のデータは、例えば画像データである。第１の処理回路１２０は、修正機能１２０ｃにより、第１のデータと第２のデータとの間にある相関関係を示す情報に基づいて第１の学習済モデルの中間層の重み付けを修正して、入力医用データについての判定を行う第２の学習済モデルを生成する。
In view of this background, the image processing apparatus 100 according to the embodiment includes the
このように、第１の処理回路１２０は、生成した第１の学習済モデルの中間層の重み付けを、事前知識に基づいて修正することで、判定精度の高い第２の学習済モデルを生成することができる。
In this way, the
以上のことを、図２～図５を用いてより詳細に説明する。 The above will be described in more detail with reference to FIGS. 2 to 5. FIG.
はじめに、図２を用いて、第１の処理回路１２０が学習機能１２０ｂ及び修正機能１２０ｃにより行う、学習済モデルの生成手順について説明する。
First, with reference to FIG. 2, a procedure for generating a learned model performed by the
はじめに、第１の処理回路１２０は、インタフェース機能１２０ｘにより、訓練用の医用データを、医用画像診断装置５０から取得する（ステップＳ１００）。例えば、医用画像診断装置５０がＸ線ＣＴ装置である場合、第１の処理回路１２０は、インタフェース機能１２０ｘにより、Ｘ線ＣＴデータまたはＸ線ＣＴ画像を、医用画像診断装置５０から取得する。なお、医用画像診断装置５０が、被検体に対してＸ線ＣＴ撮影を行うことにより得られたＸ線ＣＴデータに基づいてＸ線ＣＴ画像を生成してもよいし、画像処理装置１００が、医用画像診断装置５０から取得したＸ線ＣＴデータに基づいてＸ線ＣＴ画像を生成してもよい。
First, the
また、別の例として、医用画像診断装置５０は、例えば、磁気共鳴イメージング装置である。かかる場合、画像処理装置１００は、インタフェース機能１２０ｘにより、医用画像診断装置５０から、磁気共鳴イメージングデータまたは磁気共鳴イメージング画像を取得する。かかる場合、医用画像診断装置５０が、磁気共鳴イメージング撮像を行うことにより得られた磁気共鳴イメージングデータに基づいて磁気共鳴イメージング画像を生成してもよいし、画像処理装置１００が、医用画像診断装置５０から取得した磁気共鳴イメージングデータに基づいて、生成機能１２０ｚにより、磁気共鳴イメージング画像を生成してもよい。
As another example, the medical image
また、医用画像診断装置５０が、超音波診断装置、陽電子放射断層撮影装置等の核医学診断装置、デジタルＸ線診断装置等の、その他の種類の医用機器である場合、画像処理装置１００は、インタフェース機能１２０ｘにより、医用画像診断装置５０から、被検体の撮影又は撮像を行って生成したデータを、学習済モデルを生成するための訓練用の医用データとして、取得する。
In addition, when the medical image
また、訓練用の医用データ等に代表される医用データの形式は、ボリュームデータを基に再構成された画像データ、生データを基に再構成された画像データ、画像データに対してさらに加工が行われた画像データ、例えば画像データのエッジを強調したデータ等の加工済み画像データなど、様々な形式の画像データを含む。 In addition, the format of medical data represented by medical data for training, etc., includes image data reconstructed based on volume data, image data reconstructed based on raw data, and further processing of image data. It includes various forms of image data, such as processed image data, processed image data, such as data that enhances the edges of the image data.
また、実施形態は、画像処理装置１００が、医用画像診断装置５０から、直接、訓練用の医用データを取得する場合に限られない。例えば、医用画像診断装置５０が、別途存在する画像保存サーバなどの記憶装置に医用データを訓練用の医用データとして送信し、当該記憶装置に保存された医用データを、画像処理装置１００が取得してもよい。この場合、当該記憶装置に保存された医用データは、単一の医用画像診断装置５０により生成されたものに限られず、複数の医用画像診断装置５０により生成されてもよい。
Further, the embodiment is not limited to the case where the image processing apparatus 100 directly acquires training medical data from the medical image
続いて、第１の処理回路１２０は、訓練データ作成機能１２０ａにより、ステップＳ１００において取得した訓練用の医用データに基づいて、訓練データを生成する（ステップＳ１１０）。
Subsequently, the
ここで、第１の処理回路１２０は、訓練データ作成機能１２０ａにより、病変の内部の領域である第１の領域に係る第１のデータと、第１の領域から影響を受ける領域（影響領域）である第２の領域に係る第２のデータとを、訓練データとして生成する。
Here, the
すなわち、第１の処理回路１２０は、訓練データ作成機能１２０ａにより、病変の有無等について直接的に判定を行う対象である第１の領域に係る第１のデータと、第１の領域と関連性を有し、病変の有無等について判定を行うに当たって補助的に利用できる領域である第２の領域に係る第２のデータとを、訓練データとして生成する。
That is, the
ここで、「第１の領域から影響を受ける領域である第２の領域（影響領域）」とは、例えば以下のような例が挙げられる。 Here, the "second area (influence area) that is an area affected by the first area" includes the following examples.
例えば、病理画像の判定を行う場合、第１の領域の病変の細胞外の微小環境領域が、第２の領域の一例となる。すなわち、第１の処理回路１２０は、訓練データ作成機能１２０ａにより、病変の内部の領域である第１の領域に係る第１のデータと、当該病変の細胞外の微小環境領域に係る第２の領域に係る第２のデータとを、訓練データとして生成する。
For example, when determining a pathological image, the extracellular microenvironment region of the lesion in the first region is an example of the second region. That is, the
ここで、微小環境領域とは、腫瘍等の周囲に存在して、腫瘍等に栄養を送っている正常な細胞、分子、血管などのことである。腫瘍の存在によって腫瘍の増殖、拡大の速度が影響を受けることから、第１の処理回路１２０は、これらの領域に係るデータを、訓練データとして生成する。
Here, the microenvironment region refers to normal cells, molecules, blood vessels, etc. that exist around a tumor or the like and feed the tumor or the like. Since the presence of a tumor affects the rate of tumor growth and expansion, the
また、がん関連画像の判定を行う場合、すなわち、第１の領域が、がんの内部の領域である場合、がんの組織外の間質細胞領域や、当該がんの転移性が高い組織が、当該第２の領域の一例となる。すなわち、第１の処理回路１２０は、訓練データ作成機能１２０ａにより、がんの内部の領域である第１の領域に係る第１のデータと、当該がんの組織外の間質細胞領域、又は当該がんの転移性が高い組織のうち少なくとも一方の領域に係る第２のデータを、訓練データとして生成する。
Further, when determining a cancer-related image, that is, when the first region is a region inside the cancer, the stromal cell region outside the cancer tissue or the metastatic potential of the cancer is high. Tissue is an example of the second region. That is, the
このように、例えばがん細胞組織外の情報をも活用して補助的な判断材料とするために、第１の処理回路１２０は、訓練データ作成機能１２０ａにより、これらの領域に係るデータを、訓練データとして生成する。
In this way, for example, in order to utilize information outside the cancer cell tissue and use it as an auxiliary judgment material, the
また、図３を用いて、第１の領域が脳の機能領域である場合における第２の領域について説明する。図３は、実施形態に係る画像処理装置が行う処理について説明した図である。 Also, the second region in the case where the first region is the functional region of the brain will be described with reference to FIG. FIG. 3 is a diagram explaining processing performed by the image processing apparatus according to the embodiment.
図３は、脳の画像を示した一例であり、病変領域１０は、第１の領域を示している。第１の領域は、脳の機能領域に含まれる。また、神経機能関連領域１１は、病変領域１０となっている脳回単位やその機能集合領域と、神経機能連関のある領域を表している。神経機能関連領域１１は、第２の領域の一例となる。すなわち、第１の処理回路１２０は、訓練データ作成機能１２０ａにより、脳の機能領域における病変内部の領域である病変領域１０に係る第１のデータと、病変領域１０と神経機能連関がある領域である神経機能関連領域１１に係る第２のデータを、訓練データとして生成する。
FIG. 3 is an example showing a brain image, and a
また、神経支配領域１２は、脳以外の領域であって、病変領域１０に関連する神経支配領域、すなわち病変領域１０からの神経支配が及ぶ領域を示している。神経支配領域１２は、第２の領域の一例となる。すなわち、第１の処理回路１２０は、訓練データ作成機能１２０ａにより、脳の機能領域における病変内部の領域である病変領域１０に係る第１のデータと、脳以外の領域であって、病変領域１０に関連する神経支配領域１２に係る第２のデータを、訓練データとして生成する。
In addition, the
このように、例えば脳において病変領域と関連する領域の情報を活用して補助的な判断材料とするために、第１の処理回路１２０は、訓練データ作成機能１２０ａにより、これらの領域に係るデータを、訓練データとして生成する。
In this way, for example, in order to utilize the information of the regions related to the lesion region in the brain and use it as an auxiliary judgment material, the
なお、第１の処理回路１２０は、訓練データ作成機能１２０aにより、例えばＬｅｖｅｌｓｅｔ法等の輪郭抽出技術等を用いて、ステップＳ１００において取得した訓練用の医用データから、第１の領域や第２の領域を抽出し、抽出した第１の領域や第２に領域に基づいて、訓練データを生成する。
Note that the
ここで、第１の処理回路１２０が訓練データ作成機能１２０aにより生成する訓練データは、例えば第１の領域や第２の領域に係る画像と、判定結果の正解データとが紐付けられた教師データである。すなわち、第１の処理回路１２０が訓練データ作成機能１２０aにより生成する訓練データの例としては、第１の領域に係る画像及び第２の領域に係る画像のうち一方又は両方と、それに対する判定結果の正解データとが紐づけられた教師データである。先に述べたように、第１の領域は、病変の有無等について直接的に判定を行う対象であり、第２の領域は、第１の領域と関連性を有し、病変の有無等について判定を行うに当たって補助的に利用できる領域であるから、第１の処理回路１２０が訓練データ作成機能１２０aにより生成する訓練データの例としては、例えば、第１の領域に係る画像及び第２の領域に係る画像と、第１の領域に対する判定結果の正解データとが紐づけられた教師データである場合が挙げられる。ここで、判定結果の正解データの一例としては、例えば画像が病変に係る画像であれば「１」を与え、画像が病変に係る画像でなければ「０」を与えるデータが挙げられる。また、判定結果の正解データの一例としては、例えば画像が、良性腫瘍に係る画像であれば値「良性腫瘍」を与え、画像が悪性腫瘍に係る画像であれば値「悪性腫瘍」を与え、画像が腫瘍に係る画像でなければ値「腫瘍なし」を与えるデータが挙げられる。また、判定結果の正解データの一例としては、画像に係る特徴量の値を実数値として与えるデータが挙げられる。
Here, the training data generated by the training
なお、深層学習（ディープラーニング）においては、いわゆる自己符号化（オートエンコーダ）を用いた学習を、教師データを用いた学習の前に行うこともある。かかる学習においては、第１の領域や第２の領域に係る画像と、判定結果の正解データとが紐付けられた教師データは必ずしも必要にならない場合がある。かかる場合、第１の処理回路１２０は、例えば第１の領域や第２の領域に係る画像のデータそのものを訓練データとして用いて、自己符号化により学習を行う。かかる場合、例えば第１の領域や第２の領域に係る画像のデータそのものも、第１の処理回路１２０が訓練データ作成機能１２０aにより生成する訓練データの一例として位置付けられる。
In deep learning, learning using so-called self-encoding (autoencoder) may be performed before learning using teacher data. In such learning, it may not always be necessary to provide teacher data in which images relating to the first region and the second region are associated with correct data of determination results. In such a case, the
図２に戻り、続いて、第１の処理回路１２０は、学習機能１２０ｂにより、第１の領域（異常領域）と第２の領域（影響領域）について、ステップＳ１１０で生成した訓練データを用いて学習を行い、第１の学習済モデルを生成する（ステップＳ１２０）。
Returning to FIG. 2, subsequently, the
一例として、第１の処理回路１２０は、学習機能１２０ｂにより、第１の領域（異常領域）と第２の領域（影響領域）について、ステップＳ１１０で生成した訓練データを用いて学習を行い、ニューラルネットワークにより構成された、第１の学習済モデルを生成する。ここで、ニューラルネットワークの例としては、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）やＲＮＮ
（Ｒｅｃｕｒｒｅｎｔ ＮｅｕｒａｌＮｅｔｗｏｒｋ）等が挙げられる。ニューラルネットワークのうち、層が多層にわたるものは、ＤＮＮ（Ｄｅｅｐ ＮｅｕｒａｌＮｅｔｗｏｒｋ）とも呼ばれる。
As an example, the
(Recurrent Neural Network) and the like. A neural network with multiple layers is also called a DNN (Deep Neural Network).
第１の処理回路１２０は、学習機能１２０ｂにより、第１の領域（異常領域）と第２の領域（影響領域）について、ステップＳ１１０で生成した教師ありデータである訓練データに対して逆誤差伝搬法等などの方法により学習を行い、ニューラルネットワークにより構成された、第１の学習済モデルを生成する。ここで、学習を行う、あるいは学習済モデルを生成する、とは、より具体的には、当該ニューラルネットワークを構成するノード間の重み付けを決定することを言う。
The
なお、いわゆる深層学習を行う場合、第１の処理回路１２０は、学習機能１２０ｂにより、ステップＳ１１０で生成された訓練データを用いて、オートエンコーダにより、学習を行ってもよい。この場合、第１の処理回路１２０は、学習機能１２０ｂにより、オートエンコーダにより行われた学習の結果に基づいて、第１の学習済モデルを生成する。
When performing so-called deep learning, the
以下、図４を用いて、第１の処理回路１２０が、畳み込みニューラルネットワーク（ＣＮＮ）を用いて学習を行う場合について説明する。図４はＣＮＮの概略をあらわした図である。
A case where the
図４において、入力層１は、データが入力される層を表す。ＣＮＮの場合、入力層１に入力されるデータは、例えば各要素が実数の値を取り、例えばサイズが３２×３２の２次元配列で表されるデータである。畳み込み層２ａ、２ｂ、２ｃ、３ｄ及びプーリング層３ａ、３ｂ、３ｃ、３ｄは、それぞれ前層のデータに対してそれぞれ畳み込み及びプーリングと呼ばれる所定の演算を行い、演算の結果を出力する層である。ここで、通常、入力層１に入力される一つのデータに対して、例えば畳み込みのやり方を少しずつ異ならせて、複数のデータが、入力装置１の次の層である畳み込み層２ａで生成される。例えば、畳み込み層２ａで生成されるデータは、入力層に入力されるデータのサイズが３２×３２の場合、データのサイズが２８×２８のデータが２０個生成される。続いて、畳み込み層２ａで生成されるデータに対してプーリング演算が行われて、例えばデータのサイズが１４×１４のデータが２０個、プーリング層３ａで生成される。続いて、プーリング層３ａで生成されルデータに対して畳み込み演算が行われて、例えばデータのサイズが１０×１０のデータが２０個、畳み込み層３ｂで生成される。以下同様に、畳み込み層２ｃ、プーリング層３ｃ、畳み込み層２ｄ、プーリング層３ｄで生成されるデータは、例えばデータのサイズが縮小される。例えば、プーリング層３ｃで生成されるデータは、データのサイズが５×５であり、データ数が２０個となる。また、プーリング層３ｄで生成されるデータは、データのサイズが３×３であり、データ数が２０個となる。
In FIG. 4,
全結合層４ａ及び４ｂは、層の一つ前の全データを入力として、データを出力する層である。すなわち、全結合層の前のデータの全てが結合されて、データが出力される。例えば、全結合層４ａにおいては、例えばデータのサイズが１×１のデータが２０個生成されるが、各々の２０個の１×１のデータの出力は、プーリング層３ｄで生成される２０個のデータすべてのデータの値に依存する。同様に、全結合層４ｂにおいては、例えばデータのサイズが１×１のデータが２０個生成されるが、各々の２０個の１×１のデータの出力は、全結合層４ａで生成される２０個のデータすべてのデータの値に依存する。
The fully-connected
また、出力層５は、直前の層の出力結果に基づいて、最終的な出力結果が表示される層である。例えば、出力層５では、データのサイズが１×１のデータが６個生成される。これらのデータのそれぞれは、例えば、画像が病変であるか否かを０か１かで表したデータ、病変が良性が悪性であるかを０か１かで表したデータ、病変の悪性度を実数値で表したデータ等である。
Also, the
なお、入力層１と出力層５以外の層である中間層６は、隠れ層とも呼ばれる。
Note that the
なお、説明の簡単のため、中間層６で行う演算として、畳み込み演算を行う畳み込み層２ａ、２ｂ、２ｃ、３ｄとプーリング層３ａ、３ｂ、３ｃ、３ｄとを交互に配置した場合について説明したが、実施形態はこれに限られず、例えば畳み込み演算及びプーリング演算以外の演算を行う層が含まれていても良い。入力層１に入力されるデータは、病変の内部の領域である第１の領域に係る第１のデータと、第１の領域から影響を受ける領域である第２の領域に係る第２のデータとからなるため、例えば第１のデータ部分と第２のデータ部分とを混合するための全結合層が、プーリング層と畳み込み層との間に、必要に応じて適宜配置されてもよい。
For simplicity of explanation, the case where the
第１の処理回路１２０は、ステップＳ１１０で生成された、入力層１に入力されるデータと出力層５に出力されるデータとから構成される教師ありデータである訓練データを基に、学習機能１２０ｂにより、例えば逆誤差伝播法などにより、学習を行う。ここで、学習を行うという意味は、入力層１、中間層６及び出力層５からなるニューラルネットワークにおける重み付けを決定することを意味する。ここで、入力層１、中間層６及び出力層５からニューラルネットワークにおける重み付けを決定するとは、具体的には、入力層１と畳み込み層２ａとの間の結合を特徴付ける係数の組、畳み込み層２ａとプーリング層３ａとの間の結合を特徴付ける係数の組、プーリング層３ａと畳み込み層２ｂとの間の結合を特徴付ける係数の組等、各層の間の結合度合いを表す係数の組を決定することを意味する。第１の処理回路１２０は、このように、ステップＳ１１０で生成された、入力層１に入力されるデータと出力層５に出力されるデータとから構成される教師ありデータである訓練データを基に、学習機能１２０ｂにより、学習を行って、各層間の重み付けを決定し、ニューラルネットワークで構成され、その重み付けが決定された第１の学習済みモデルを生成する。ここで、かかる訓練データは、病変の内部の領域である第１の領域に係る第１のデータと、第１の領域から影響を受ける領域である第２の領域に係る第２のデータとからなる。
The
なお、深層学習においては、自己符号化（オートエンコーダ）を用いることができる。第１の処理回路１２０は、学習機能１２０ｂにより、ステップＳ１１０で生成された、病変の内部の領域である第１の領域に係る第１のデータと、第１の領域から影響を受ける領域である第２の領域に係る第２のデータとに基づいて、自己符号化を行ってもよい。なお、この学習において必要なデータは、教師有りデータである必要はなく、すなわちラベル付けされていないデータであってもよい。
Note that in deep learning, self-encoding (autoencoder) can be used. The
なお、ＣＮＮの特徴として、重み付けが決定された学習済モデルの中間層のデータを切り出すことにより、当該中間層のノードに対応する特徴量の抽出が可能となることが挙げられる。すなわち、第１の処理回路１２０は、学習機能１２０ｂにより、ステップＳ１２０で生成された第１の学習済モデルの中間層のデータを抽出しラベル付けを行うことで、当該中間層における特徴量を抽出する（ステップＳ１３０）。例えば、第１の処理回路１２０は、学習機能１２０ｂにより、ステップＳ１２０で生成された第１の学習済モデルにおけるプーリング層３ａのデータを切りだすことで、プーリング層３ａにおける特徴量を抽出する。また、例えば、第１の処理回路１２０は、学習機能１２０ｂにより、ステップＳ１２０で生成された第１の学習済モデルにおけるプーリング層３ｃのデータを抽出しラベル付けを行うこととで、プーリング層３ｃにおける特徴量を抽出する。
Note that, as a feature of the CNN, it is possible to extract feature amounts corresponding to the nodes of the intermediate layer by extracting data of the intermediate layer of the learned model whose weighting has been determined. That is, the
なお、例えばプーリング層３ａ及びプーリング層３ｃ等を比較すると、プーリング層３ａは比較的入力層に近いことから、プーリング層３ａで得られる特徴量は、現画像に表れる繰り返し構造など、低次のレベルの特徴量となる。これに対して、プーリング層３ｃはプーリング層３ａと比較して出力に近いことから、プーリング層３ｃで得られる特徴量は、病変の構造に係る、高次のレベルの特徴量となる。
For example, when the
なお、各中間層におけるデータは、一般に複数存在するので、第１の処理回路１２０は、当該中間層におけるデータの個数に対応して、複数の個数の特徴量を抽出することができる。例えば、上述の例では、プーリング層３ｃに係るデータは、データサイズが５×５のデータが２０個存在するので、第１の処理回路１２０は、これら２０個のデータに対応して、複数個の特徴量を抽出することができる。
Incidentally, since there are generally a plurality of pieces of data in each intermediate layer, the
続いて、第１の処理回路１２０は、修正機能１２０ｃにより、第１のデータと第２のデータとの間にある相関関係を示す情報に基づいて第１の学習済モデルの中間層の重み付けを変更し、入力医用データについての判定を行う第２の学習済モデルを生成する（ステップＳ１４０）。
Subsequently, the
まず、第１のデータと第２のデータとの間にある相関関係を示す情報について説明する。 First, information indicating the correlation between the first data and the second data will be described.
病変の内部の領域である第１の領域に係る第１のデータと、第１の領域から影響を受ける領域である第２の領域に係る第２のデータとの間にある相関関係を示す情報とは、例えば、第１の領域（異常領域）に病変があった場合に、第２の領域（影響領域）に異常が表れる確率を示す情報や、逆に、第２の領域（影響領域）に異常が表れた場合に、第１の領域（異常領域）に病変が表れる確率を示す情報である。すなわち、第１のデータと第２のデータとの間にある相関関係を示す情報としては、第２の領域（影響領域）が第１の領域（異常領域）から影響を受ける度合いに関する特徴量と、第２の領域（影響領域）が第１の領域（異常領域）に影響を与える度合いに関する特徴量との両方を含む。 Information indicating a correlation between first data relating to a first region, which is a region inside the lesion, and second data relating to a second region, which is a region affected by the first region For example, when there is a lesion in the first area (abnormal area), information indicating the probability that an abnormality appears in the second area (area of influence), or conversely, the second area (area of influence) This is information indicating the probability that a lesion appears in a first region (abnormal region) when an abnormality appears in . That is, as information indicating the correlation between the first data and the second data, the second area (influence area) is a feature amount related to the degree of influence from the first area (abnormal area) , and a feature amount relating to the degree of influence of the second area (influence area) on the first area (abnormal area).
続いて、第１の処理回路１２０は、修正機能１２０ｃにより、第１のデータと第２のデータとの間にある相関関係を示す情報に基づいて、第１の学習済モデルの中間層の重み付けを変更する。すなわち、第１の処理回路１２０は、第１の学習済モデルを生成する学習過程においてラベル付けすべき特徴量が生成される時点で、第１のデータと第２のデータとの間にある相関関係の大きさを表す指標に基づいて、特徴量が生成された中間層の下流又は上流の層の重み付けを修正する。
Subsequently, the
かかる点について、以下、説明する。 This point will be described below.
例えば、図３のように、脳の事例を考える。この場合、病変領域１０で病変候補が見つかった場合、機能的に関連する脳の機能領域である神経機能関連領域１１や、反対側の脳にも影響が生じることが、臨床的に知られている。例えば、認知症の場合等において、特定の病変領域１０で病変候補が見つかった場合、海馬において、影響が生じる。すなわち、第１の領域の病変がある場合に、第２の領域にも異常が表れており、このような場合、第１の領域の病変と、第２の領域の異常との間に正の相関関係がある。換言すると、ある特徴量が、第１の領域の病変と第２の領域の異常との間に正の相関関係がある場合に、そうでない場合と比較して特徴的な振る舞いを示す場合、当該特徴量は、第１の領域の病変と、第２の領域の異常との間に正の相関関係がある場合に対応する特徴量である。つまり、第１の領域の病変と第２の領域の異常との間に正の相関関係がある場合におけるある特徴量と、第１の領域の病変と第２の領域の異常との間に正の相関関係がない場合における当該特徴量とを比較することにより、当該特徴量が、第１の領域の病変と、第２の領域の異常との間に正の相関関係がある場合に対応する特徴量であるか否かを判別することができる。第１の処理回路１２０は、後述するように、当該特徴量が抽出されたノードの、例えば前段の層からの重み又は後段の層への重みを変更する。
For example, consider the case of the brain, as shown in FIG. In this case, it is clinically known that when a lesion candidate is found in the
ここで、ステップＳ１３０で抽出された特徴量が、第１の領域の病変と第２の領域の異常との間に正の相関関係がある場合に対応する特徴量である場合を考える。 Here, let us consider a case where the feature quantity extracted in step S130 is a feature quantity corresponding to the case where there is a positive correlation between the lesion in the first region and the abnormality in the second region.
この場合、第１の処理回路１２０は、修正機能１２０ｃにより、当該特徴量が抽出されたノードに関係する重みつけは、第１のデータと第２のデータとの間にある相関関係を示す情報と整合的であるとして、当該重みつけの強度を強くする。すなわち、第１の処理回路１２０は、修正機能１２０ｃにより、当該特徴量が抽出されたノードに係る前段の層からの重み、又は後段の層への重みを大きくする。
In this case, the
一方、ステップＳ１３０で抽出された特徴量が、第１の領域の病変と第２の領域の異常との間に負の相関関係がある場合に対応する特徴量である場合を考える。 On the other hand, let us consider a case where the feature quantity extracted in step S130 is a feature quantity corresponding to the case where there is a negative correlation between the lesion in the first region and the abnormality in the second region.
この場合、第１の処理回路１２０は、修正機能１２０ｃにより、当該特徴量が抽出されたノードに関する重み付けは、第１のデータと第２のデータとの間にある相関関係を示す情報と整合的でないとして、当該重み付けの強度を弱くする。すなわち、第１の処理回路１２０は、修正機能１２０ｃにより、当該特徴量が抽出されたノードに係る前段の層からの重み、又は後段の層への重みを小さくし、またはノードを切断する。
In this case, the
このように、第１の処理回路１２０は、修正機能１２０ｃにより、第１の学習済モデルの中間層の重み付けを変更し、第２の学習済モデルを生成する。
Thus, the
なお、第１の処理回路１２０は、第１のデータと第２のデータとの間にある相関関係として、既存の臨床知識を用い、例えば検証済みの病理学情報による知見から、臨床的に影響が示されている情報を、事前情報として用いる。また、別の例として、第１の処理回路１２０は、第１のデータと第２のデータとの間にある相関関係として、別途行われた学習の結果を用いて得られた情報を用いる。すなわち、第１の処理回路１２０は、第１のデータと第２のデータとの間にある相関関係として、第３の学習済モデルから得られた情報を用いる。なお、ここで第３の学習済モデルは、ニューラルネットワークに係るモデルに限られず、特徴量の抽出が可能であるが、取りだした特徴量に対してラベル付けまでは行わない識別手法、例えばSupport vector machineなどの機械学習を使って生成されたモデルであってもよい。
In addition, the
以上のように、第１の処理回路１２０は、深層学習により第１の学習済モデルを生成し、その後、例えば臨床学的知見から得られた知識等を利用して第１の学習済モデルの中間層の重み付けを修正して第２の学習積みモデルを生成する。このように、深層学習と事前知識を組み合わせることで、両者の長所を取り入れ、深層学習された学習済モデルの判定精度を高めることができる。例えば、訓練データの症例が少ない場合でも、病変の判定精度を上げることが可能となる。また、例えば、互いに関連している複合疾患などの場合において、複数の病変の判別能が向上する。
As described above, the
続いて、第１の処理回路１２０が学習機能１２０ｂに基づいて生成した第２の学習済モデルの実行について説明する。図７は、実施形態に係る画像処理装置が行う第２の学習済モデルの実行の流れについて説明したフローチャートである。
Next, execution of the second trained model generated by the
第２の処理回路１３０は、判定機能１３０ａにより、図３のステップＳ１４０で生成した第２の学習済モデルに基づいて、入力医用データについての判定（病変の鑑別）を行う（ステップＳ２００）。例えば、第２の処理回路１３０は、判定機能１３０ａにより、図３のステップＳ１４０で生成した第２の学習済モデルに基づいて、画像に対する病変の有無や、病変が良性か悪性かどうかの判定、病変領域の特定病変の尤度の算出を行う。 The second processing circuit 130 uses the determination function 130a to perform determination (lesion discrimination) on the input medical data based on the second trained model generated in step S140 of FIG. 3 (step S200). For example, the second processing circuit 130 uses the determination function 130a to determine whether there is a lesion in the image and whether the lesion is benign or malignant based on the second trained model generated in step S140 of FIG. The likelihood of a specific lesion in the lesion area is calculated.
続いて、第２の処理回路１３０は、制御機能１３０ｙにより、ステップＳ２００において判定機能１３０ａにより行われた判定結果をディスプレイ１３５に表示させる（ステップＳ２１０）。 Subsequently, the second processing circuit 130 causes the display 135 to display the result of determination made by the determination function 130a in step S200 by the control function 130y (step S210).
なお、ステップＳ２００において、入力医用データや、訓練用の医用データ等に代表される医用データの形式は、ボリュームデータを基に再構成された画像データ、生データを基に再構成された画像データ、画像データに対してさらに加工が行われた画像データ、例えば画像データのエッジを強調したデータ等の加工済み画像データなど、様々な形式の画像データを含む。 In step S200, the format of input medical data and medical data represented by training medical data is image data reconstructed based on volume data, and image data reconstructed based on raw data. , image data in which image data has been further processed, for example, processed image data such as edge-enhanced data of image data, and various other forms of image data.
また、入力医用データの取得について、例えば、画像処理装置１００は、医用画像診断装置５０から入力医用データを取得する。しかしながら、医用画像診断装置５０が、別途存在する画像保存サーバなどの記憶装置に医用データを訓練用の医用データまたは入力医用データとして送信し、当該記憶装置に保存された医用データを、画像処理装置１００が取得してもよい。この場合、当該記憶装置に保存された医用データは、単一の医用画像診断装置５０により生成されたものに限られず、複数の医用画像診断装置５０により生成されてもよい。
Regarding acquisition of input medical data, for example, the image processing apparatus 100 acquires input medical data from the medical image
また、判定対象や鑑別対象となる入力医用データは、医用画像診断装置５０により撮影された画像に限られず、例えば被検体細胞を採取して顕微鏡で撮影した病理画像などのデータであってもよい。
Further, the input medical data to be determined or differentiated is not limited to the image captured by the medical image
（その他の実施形態）
実施形態は、上述の例に限られない。
(Other embodiments)
Embodiments are not limited to the above examples.
実施形態では、第２のデータが、第１の領域から影響を受ける領域である第２の領域に係るデータである場合について説明したが、実施形態はこれに限られない。例えば、第２のデータが、特定の領域に係る情報に限られず、第１の領域と関連性を有する情報であってもよい。 In the embodiment, a case has been described where the second data is data related to the second area that is affected by the first area, but the embodiment is not limited to this. For example, the second data is not limited to information related to a specific area, and may be information related to the first area.
かかる場合、第１の処理回路１２０は、学習機能１２０ｂにより、病変内部の領域である第１の領域に係る第１のデータと、第１の領域と関連性を有する情報である第２のデータとを訓練データとして用いて、第１の学習済モデルを生成する。第１の処理回路１２０は、修正機能１２０ｃにより、第１のデータと第２のデータとの間にある相関関係を示す情報に基づいて第１の学習済モデルを修正して、入力医用データについての判定を行う第２の学習済モデルを生成する。
In such a case, the
例えば、第２のデータが、例えば被検体の遺伝子情報である場合を考える。 For example, consider a case where the second data is, for example, genetic information of a subject.
かかる場合、第１の処理回路１２０は、学習機能１２０ｂにより、病変内部の領域である第１の領域に係る第１のデータと、被検体の遺伝子情報とを訓練データとして用いて、第１の学習済モデルを生成する。第１の処理回路１２０は、修正機能１２０ｃにより、第１のデータと被検体の遺伝子情報との間にある相関関係を示す情報に基づいて第１の学習済モデルを修正して、入力医用データについての判定を行う第２の学習済モデルを生成する。
In this case, the
なお、第１のデータと被検体の遺伝子情報との間にある相関関係を示す情報とは、例えば、特定の遺伝子を持った被検体が第１の領域に特定の病変を有する確率について示した情報である。 The information indicating the correlation between the first data and the genetic information of the subject is, for example, the probability that the subject having a specific gene has a specific lesion in the first region. Information.
また、実施形態で、第１の処理回路１２０が修正機能１２０ｃにより第１の学習済モデルを修正するのは、中間の畳み込み層やプーリング層等に限られず、第１の学習済モデルの出力層や全結合層を修正して第２の学習済モデルを生成してもよい。
Further, in the embodiment, the
また、第１の領域の学習と第２の領域の学習とを別々の処理回路が担当し、それらの処理回路を統合する処理回路が、それら複数の処理回路の出力結果に対して重み付け調整をして最終的な出力結果を出力してもよい。かかる重み付け調整の段階で、第１のデータと第２のデータとの相関を示す情報が用いられても良い。 Separate processing circuits are in charge of learning the first area and learning the second area, and a processing circuit that integrates these processing circuits adjusts the weighting of the output results of the plurality of processing circuits. to output the final output result. Information indicating the correlation between the first data and the second data may be used in the weighting adjustment stage.
また、第２の処理回路１３０が判定機能１３０ａにより行った判定に対して、ユーザがフィードバックを与え、第１の処理回路１２０が、学習機能１２０ｂにより、ユーザから与えられたフィードバックを基に、学習済モデルの内部アルゴリズムを更新してもよい。すなわち、第１の処理回路１２０は、学習機能１２０ｂにより、ユーザからのフィードバックを基に学習済モデルを更新し続けることにより、自己学習を行っても良い。
Further, the user gives feedback to the judgment made by the second processing circuit 130 by the judgment function 130a, and the
なお、画像処理装置１００に組み込まれるプログラムは病変の内部の領域である第１の領域に係る第１のデータと、第１の領域から影響を受ける領域である第２の領域に係る第２のデータとを訓練データとして用いて、ニューラルネットワークで構成される第１の学習済モデルを生成し、第１のデータと第２のデータとの間にある相関関係を示す情報に基づいて第１の学習済モデルの中間層の重み付けを修正して、入力医用データについての判定を行う第２の学習済モデルを生成する各処理をコンピュータである画像処理装置１００に実行させる。 It should be noted that the program incorporated in the image processing apparatus 100 is the first data relating to the first region that is the region inside the lesion and the second data relating to the second region that is the region affected by the first region. data as training data to generate a first trained model composed of a neural network, and based on information indicating a correlation between the first data and the second data, the first The image processing apparatus 100, which is a computer, executes each process of correcting the weighting of the intermediate layers of the trained model and generating a second trained model for making decisions on input medical data.
以上述べた少なくとも一つの実施形態の画像処理装置によれば、学習の判定精度を高めることができる。 According to the image processing apparatus of at least one embodiment described above, it is possible to improve the learning determination accuracy.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 While several embodiments of the invention have been described, these embodiments have been presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. These embodiments and their modifications are included in the scope and spirit of the invention, as well as the scope of the invention described in the claims and equivalents thereof.
１２０ａ 訓練データ作成機能
１２０ｂ 学習機能
１３０ａ 判定機能
１００ 画像処理装置
１２０ 第１の処理回路
１３０ 第２の処理回路
120a training
Claims (8)
前記第２の領域が前記第１の領域から影響を受ける度合いに関する特徴量に基づいて前記第１の学習済モデルの中間層の重み付けを修正して、入力医用データについての判定を行う、前記第１のデータを入力、前記第１のデータにおける病変の有無についての判定結果を出力とする第２の学習済モデルを生成する修正部と
を備える、
画像処理装置。 First data relating to a first region that is a region inside a lesion, second data relating to a second region that is a region affected by the first region, and the lesion in the first data Input the first data and the second data composed of a neural network using the correct data of the determination result of the presence or absence of lesions as training data, and determine the presence or absence of a lesion in the first data a learning unit that generates a first trained model outputting a result;
modifying the weighting of the intermediate layer of the first trained model based on a feature quantity relating to the degree of influence of the first region on the second region, and making a determination on the input medical data; a correction unit that generates a second trained model that inputs data of 1 and outputs a determination result regarding the presence or absence of a lesion in the first data;
Image processing device.
前記第２の領域が前記第１の領域から影響を受ける度合いに関する特徴量に基づいて前記第１の学習済モデルの中間層の重み付けを修正して、入力医用データについての判定を行う、前記第１のデータを入力、前記第１のデータにおける病変の有無についての判定結果を出力とする第２の学習済モデルを生成する各処理をコンピュータに実行させる、プログラム。 First data relating to a first region that is a region inside a lesion, second data relating to a second region that is a region affected by the first region, and the presence or absence of a lesion in the first data A first learning in which the first data and the second data are input using the correct data of the determination result and the correct data of the determination result of as training data, and the determination result regarding the presence or absence of a lesion in the first data is output. generate the finished model,
modifying the weighting of the intermediate layer of the first trained model based on a feature quantity relating to the degree of influence of the first region on the second region, and making a determination on the input medical data; A program for causing a computer to execute each process of generating a second trained model having input of data No. 1 and output of determination results regarding the presence or absence of a lesion in the first data.
前記第１のデータと前記第２のデータとの間にある相関関係を示す情報に基づいて前記第１の学習済モデルを修正して、入力医用データについての判定を行う、前記第１のデータを入力、前記第１のデータにおける病変の有無についての判定結果を出力とする第２の学習済モデルを生成する修正部と
を備える、
画像処理装置。 Training data are first data related to a first region that is a region inside a lesion, second data that is genetic information of a subject, and correct data of determination results as to the presence or absence of a lesion in the first data. a learning unit that generates a first trained model that inputs the first data and the second data and outputs a determination result as to the presence or absence of a lesion in the first data;
the first data for determining input medical data by correcting the first trained model based on information indicating a correlation between the first data and the second data; and a correction unit that generates a second trained model that outputs a determination result as to the presence or absence of a lesion in the first data,
Image processing device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018197742A JP7325942B2 (en) | 2018-10-19 | 2018-10-19 | Image processing device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018197742A JP7325942B2 (en) | 2018-10-19 | 2018-10-19 | Image processing device and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020062340A JP2020062340A (en) | 2020-04-23 |
| JP7325942B2 true JP7325942B2 (en) | 2023-08-15 |
Family
ID=70387951
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018197742A Active JP7325942B2 (en) | 2018-10-19 | 2018-10-19 | Image processing device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7325942B2 (en) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002506666A (en) | 1998-03-20 | 2002-03-05 | バーバラ・アン・カーマノス・キャンサー・インスティテュート | Multidimensional detection and characterization of pathological tissues |
| JP2006043007A (en) | 2004-08-02 | 2006-02-16 | Fujitsu Ltd | Diagnosis support program and diagnosis support apparatus |
| JP2008157640A (en) | 2006-12-20 | 2008-07-10 | Fujifilm Ri Pharma Co Ltd | Analytical method for time-serial data as to brain image data, program, and recording medium |
| JP2008194456A (en) | 2007-01-16 | 2008-08-28 | Kobe Univ | Medical image processing apparatus, and medical image processing method |
| JP2012235796A (en) | 2009-09-17 | 2012-12-06 | Sharp Corp | Diagnosis processing device, system, method and program, and recording medium readable by computer and classification processing device |
| WO2016111014A1 (en) | 2015-01-09 | 2016-07-14 | 株式会社島津製作所 | X-ray imaging apparatus |
| JP2016143094A (en) | 2015-01-29 | 2016-08-08 | パナソニックＩｐマネジメント株式会社 | Transfer learning device, transfer learning system, transfer learning method and program |
| JP2017076193A (en) | 2015-10-13 | 2017-04-20 | 株式会社国際電気通信基礎技術研究所 | Brain activity analysis device, brain activity analysis method and brain activity analysis program |
| WO2017183527A1 (en) | 2016-04-19 | 2017-10-26 | コニカミノルタ株式会社 | Subject monitoring device and method, and subject monitoring system |
| WO2018070285A1 (en) | 2016-10-14 | 2018-04-19 | 株式会社日立製作所 | Image processing device and image processing method |
| JP2018113042A (en) | 2017-01-12 | 2018-07-19 | 株式会社ＡｎｃｉｅｎｔＴｒｅｅ | Device for predicting, recording and comparing inspection data |
| JP2018117883A (en) | 2017-01-25 | 2018-08-02 | 国立大学法人大阪大学 | Learning device, identification device, identification method and program |
-
2018
- 2018-10-19 JP JP2018197742A patent/JP7325942B2/en active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002506666A (en) | 1998-03-20 | 2002-03-05 | バーバラ・アン・カーマノス・キャンサー・インスティテュート | Multidimensional detection and characterization of pathological tissues |
| JP2010029679A (en) | 1998-03-20 | 2010-02-12 | Barbara Ann Karmanos Cancer Inst | Apparatus and method for multidimensional detection of pathologic tissue |
| JP2006043007A (en) | 2004-08-02 | 2006-02-16 | Fujitsu Ltd | Diagnosis support program and diagnosis support apparatus |
| JP2008157640A (en) | 2006-12-20 | 2008-07-10 | Fujifilm Ri Pharma Co Ltd | Analytical method for time-serial data as to brain image data, program, and recording medium |
| JP2008194456A (en) | 2007-01-16 | 2008-08-28 | Kobe Univ | Medical image processing apparatus, and medical image processing method |
| JP2012235796A (en) | 2009-09-17 | 2012-12-06 | Sharp Corp | Diagnosis processing device, system, method and program, and recording medium readable by computer and classification processing device |
| WO2016111014A1 (en) | 2015-01-09 | 2016-07-14 | 株式会社島津製作所 | X-ray imaging apparatus |
| JP2016143094A (en) | 2015-01-29 | 2016-08-08 | パナソニックＩｐマネジメント株式会社 | Transfer learning device, transfer learning system, transfer learning method and program |
| JP2017076193A (en) | 2015-10-13 | 2017-04-20 | 株式会社国際電気通信基礎技術研究所 | Brain activity analysis device, brain activity analysis method and brain activity analysis program |
| WO2017183527A1 (en) | 2016-04-19 | 2017-10-26 | コニカミノルタ株式会社 | Subject monitoring device and method, and subject monitoring system |
| WO2018070285A1 (en) | 2016-10-14 | 2018-04-19 | 株式会社日立製作所 | Image processing device and image processing method |
| JP2018113042A (en) | 2017-01-12 | 2018-07-19 | 株式会社ＡｎｃｉｅｎｔＴｒｅｅ | Device for predicting, recording and comparing inspection data |
| JP2018117883A (en) | 2017-01-25 | 2018-08-02 | 国立大学法人大阪大学 | Learning device, identification device, identification method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020062340A (en) | 2020-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Karimi et al. | Deep learning with noisy labels: Exploring techniques and remedies in medical image analysis | |
| Altaf et al. | Going deep in medical image analysis: concepts, methods, challenges, and future directions | |
| Liu et al. | A multi-model deep convolutional neural network for automatic hippocampus segmentation and classification in Alzheimer’s disease | |
| Venkatasubramanian et al. | Prediction of Alzheimer’s Disease Using DHO‐Based Pretrained CNN Model | |
| Hervella et al. | End-to-end multi-task learning for simultaneous optic disc and cup segmentation and glaucoma classification in eye fundus images | |
| Vankdothu et al. | Brain tumor segmentation of MR images using SVM and fuzzy classifier in machine learning | |
| Streba et al. | Contrast-enhanced ultrasonography parameters in neural network diagnosis of liver tumors | |
| Mohammed et al. | Trainable model for segmenting and identifying Nasopharyngeal carcinoma | |
| Afshar et al. | MIXCAPS: A capsule network-based mixture of experts for lung nodule malignancy prediction | |
| Rahim et al. | Prediction of Alzheimer's progression based on multimodal deep-learning-based fusion and visual explainability of time-series data | |
| JP7140630B2 (en) | Image processing device, data generation device and program | |
| Odeh et al. | Diabetic retinopathy detection using ensemble machine learning | |
| Zhao et al. | Diagnose like a radiologist: Hybrid neuro-probabilistic reasoning for attribute-based medical image diagnosis | |
| CN107688815A (en) | The analysis method and analysis system and storage medium of medical image | |
| Banik et al. | Mitigating data imbalance issues in medical image analysis | |
| CN116452851A (en) | Training method and device for disease classification model, terminal and readable storage medium | |
| WO2023150397A1 (en) | Neural network apparatus for identification, segmentation, and treatment outcome prediction for aneurysms | |
| Murugesan et al. | Calibrating segmentation networks with margin-based label smoothing | |
| Saravanan et al. | Performance analysis of glioma brain tumor segmentation using Ridgelet transform and co-active adaptive neuro fuzzy expert system methodology | |
| Zou et al. | EvidenceCap: towards trustworthy medical image segmentation via evidential identity cap | |
| US20210312615A1 (en) | Methods and systems for improved abnormality detection in medical imaging data | |
| Irfan et al. | StrokeNet: An automated approach for segmentation and rupture risk prediction of intracranial aneurysm | |
| Syed et al. | A diagnosis model for detection and classification of diabetic retinopathy using deep learning | |
| JP7325942B2 (en) | Image processing device and program | |
| Lu et al. | Collaborative multi-metadata fusion to improve the classification of lumbar disc herniation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210812 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220715 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221024 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230214 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230515 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230525 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230704 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230802 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7325942 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |