JP7325942B2 - Image processing device and program - Google Patents
Image processing device and program Download PDFInfo
- Publication number
- JP7325942B2 JP7325942B2 JP2018197742A JP2018197742A JP7325942B2 JP 7325942 B2 JP7325942 B2 JP 7325942B2 JP 2018197742 A JP2018197742 A JP 2018197742A JP 2018197742 A JP2018197742 A JP 2018197742A JP 7325942 B2 JP7325942 B2 JP 7325942B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- region
- lesion
- trained model
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 156
- 238000012549 training Methods 0.000 claims description 83
- 230000003902 lesion Effects 0.000 claims description 72
- 206010028980 Neoplasm Diseases 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 201000011510 cancer Diseases 0.000 claims description 14
- 210000004556 brain Anatomy 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 10
- 230000002068 genetic effect Effects 0.000 claims description 5
- 210000004027 cell Anatomy 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000001394 metastastic effect Effects 0.000 claims description 3
- 206010061289 metastatic neoplasm Diseases 0.000 claims description 3
- 210000002536 stromal cell Anatomy 0.000 claims description 3
- 210000004204 blood vessel Anatomy 0.000 claims description 2
- 230000002490 cerebral effect Effects 0.000 claims 1
- 230000001537 neural effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 114
- 238000011176 pooling Methods 0.000 description 25
- 238000002591 computed tomography Methods 0.000 description 19
- 238000013135 deep learning Methods 0.000 description 12
- 238000002595 magnetic resonance imaging Methods 0.000 description 12
- 230000005856 abnormality Effects 0.000 description 10
- 230000002159 abnormal effect Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 4
- 210000005036 nerve Anatomy 0.000 description 4
- 238000013170 computed tomography imaging Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000030214 innervation Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000003211 malignant effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000009206 nuclear medicine Methods 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001320 hippocampus Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000004614 tumor growth Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Landscapes
- Nuclear Medicine (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Description
本発明の実施形態は、画像処理装置、及びプログラムに関する。 An embodiment of the present invention relates to an image processing apparatus and a program.
コンピュータを用いて診断支援を行う、いわゆるComputer Assisted Detection/Diagnosisなどの分野では、例えば、予めわかっている病変の特徴量を教師データとして、学習を行って、学習済モデルを生成する。また、近年では、深層学習(ディープラーニング)や強化学習によって、特徴量を人間が事前知識として与えなくとも、プログラムが自ら特徴量そのものを自己学習し、その特徴量に人間がラベル(記号)を与えることによって学習済モデルを生成する場合がある。 In fields such as so-called Computer Assisted Detection/Diagnosis, in which diagnosis is supported using a computer, learning is performed using, for example, previously known lesion feature values as teacher data to generate a learned model. In recent years, through deep learning and reinforcement learning, programs can self-learn the feature values themselves, and humans can assign labels (symbols) to the feature values, even if the feature values are not given as prior knowledge by humans. A trained model may be generated by giving
しかし、例えば深層学習(ディープラーニング)を用いて学習を行う場合、中間層の重み付けが適切でないと、学習された学習済モデルの判定精度が低下する場合がある。 However, when learning is performed using deep learning, for example, if the weighting of intermediate layers is not appropriate, the determination accuracy of the learned model may be lowered.
本発明が解決しようとする課題は、深層学習された学習済モデルの判定精度を高めることである。 The problem to be solved by the present invention is to improve the determination accuracy of a trained model that has undergone deep learning.
実施形態に係る画像処理装置は、学習部と、修正部とを備える。学習部は、病変の内部の領域である第1の領域に係る第1のデータと、第1の領域から影響を受ける領域である第2の領域に係る第2のデータとを訓練データとして用いて、ニューラルネットワークで構成される第1の学習済モデルを生成する。修正部は、第1のデータと第2のデータとの間にある相関関係を示す情報に基づいて第1の学習済モデルの中間層の重み付けを修正して、入力医用データについての判定を行う第2の学習済モデルを生成する。 An image processing apparatus according to an embodiment includes a learning section and a correction section. The learning unit uses, as training data, first data related to a first region that is a region inside the lesion and second data related to a second region that is a region affected by the first region. to generate a first trained model composed of a neural network. The correction unit corrects the weighting of the intermediate layer of the first trained model based on information indicating the correlation between the first data and the second data, and makes a judgment on the input medical data. Generate a second trained model.
以下、本発明の実施形態について図面を参照しながら説明する。ここで、互いに同じ構成には共通の符号を付して、重複する説明は省略する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings. Here, the same components are denoted by common reference numerals, and overlapping descriptions are omitted.
(実施形態)
図1は、実施形態に係る画像処理装置100を示すブロック図である。
(embodiment)
FIG. 1 is a block diagram showing an image processing device 100 according to an embodiment.
医用画像診断装置50は、被検体の撮影又は撮像を行い、医用データを生成する装置である。医用画像診断装置50は、例えば、X線CT(Computed Tomography)装置である。かかる場合、医用画像診断装置50は、被検体に対してX線CT撮影を行い、X線CTデータまたはX線CT画像を生成する。医用画像診断装置50は、生成したX線CTデータまたはX線CT画像を、学習済モデルが判定を行う対象となる入力医用データとして、または、学習済モデルを生成するための訓練用の医用データとして、画像処理装置100に送信する。画像処理装置100は、後述する、第1の処理回路120が有するインタフェース機能120x又は第2の処理回路130が有するインタフェース機能130xにより、医用画像診断装置50から、X線CTデータまたはX線CT画像を取得する。
The medical image
なお、医用画像診断装置50が、被検体に対してX線CT撮影を行うことにより得られたX線CTデータに基づいてX線CT画像を生成してもよいし、画像処理装置100が、医用画像診断装置50から取得したX線CTデータに基づいてX線CT画像を生成してもよい。
The medical image
また、別の例として、医用画像診断装置50は、例えば、磁気共鳴イメージング装置である。かかる場合、医用画像診断装置50は、被検体に対して磁気共鳴イメージング撮像を行い、磁気共鳴イメージングデータまたは磁気共鳴イメージング画像を生成する。
As another example, the medical image
また、医用画像診断装置50は、超音波診断装置、陽電子放射断層撮影装置等の核医学診断装置、デジタルX線診断装置等の、その他の種類の医用機器であってもよい。
The medical image
画像処理装置100は、医用画像診断装置50に接続され、学習済モデルの生成、学習済モデルの実行、及び様々な画像処理を実行する。画像処理装置100は、医用画像診断装置50が生成する医用データを、学習済モデルが判定を行う対象となる入力医用データとして、または、学習済モデルを生成するための訓練用の医用データとして使用する。画像処理装置100は、これらの入力医用データ及び訓練用の医用データを、例えばそれぞれ入力医用画像及び訓練用の医用画像の形で使用する。
The image processing apparatus 100 is connected to the medical image
画像処理装置100は、メモリ132、入力装置134、ディスプレイ135、第1の処理回路120、第2の処理回路130を備える。第1の処理回路120は、訓練データ作成機能120a、学習機能120b、修正機能120c、インタフェース機能120x、制御機能120y、生成機能120zを備える。また、第2の処理回路130は、インタフェース機能130x、制御機能130y、生成機能130zを備える。
The image processing apparatus 100 includes a memory 132 , an input device 134 , a display 135 , a
実施形態では、訓練データ作成機能120a、学習機能120b、修正機能120c、インタフェース機能120x、制御機能120y、生成機能120zにて行われる各処理機能、及び学習済モデルは、コンピュータによって実行可能なプログラムの形態でメモリ132へ記憶されている。第1の処理回路120及び第2の処理回路130はプログラムをメモリ132から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の第1の処理回路120は、図1の第1の処理回路120内に示された各機能を有することになる。また、各プログラムを読み出した状態の第2の処理回路130は、図1の第2の処理回路130内に示された各機能を有することになる。また、学習済モデルに対応するプログラムを読み出した状態の第2の処理回路130が実行されると、当該学習済モデルに従った処理が行われる。なお、図1においては第1の処理回路120及び第2の処理回路130にて、それぞれ単一の処理回路により、これらの処理機能が実現されるものとして説明するが、複数の独立したプロセッサを組み合わせてそれぞれ第1の処理回路120及び第2の処理回路130を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。換言すると、上述のそれぞれの機能がプログラムとして構成され、1つの処理回路が各プログラムを実行する場合であってもよい。また、単一の処理回路により、第1の処理回路120及び第2の処理回路130の両方が実現されてもよい。別の例として、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。なお、図1において、訓練データ作成機能120a、学習機能120b、修正機能120c、判定機能130a、インタフェース機能120x及び130x、制御機能120y及び130y、生成機能120z及び130zは、それぞれ作成部、学習部、修正部、判定部、受付部、制御部、画像生成部の一例である。
In the embodiment, each processing function performed by the training
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphical Processing Unit)或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサはメモリ132に保存されたプログラムを読み出し実行することで機能を実現する。 The term "processor" used in the above description includes, for example, a CPU (Central Processing Unit), a GPU (Graphical Processing Unit), an Application Specific Integrated Circuit (ASIC), a programmable logic device (for example, a simple Circuits such as Simple Programmable Logic Device (SPLD), Complex Programmable Logic Device (CPLD), and Field Programmable Gate Array (FPGA)). The processor implements its functions by reading and executing programs stored in the memory 132 .
また、メモリ132にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。従って、例えばメモリ132に学習済モデルが保存される代わりに、プロセッサの回路内に学習済モデルに係るプログラムが直接組み込まれていてもよい。 Also, instead of storing the program in the memory 132, the program may be configured to be directly embedded in the circuitry of the processor. In this case, the processor realizes its function by reading and executing the program embedded in the circuit. Therefore, for example, instead of storing the trained model in the memory 132, a program related to the trained model may be directly installed in the circuitry of the processor.
なお、第1の処理回路120は、主に訓練データの作成および、訓練データを用いた学習による学習済モデルの生成を主に担う処理回路であり、第2の処理回路130は、生成された学習済モデルを判別対象/鑑別対象のデータに適用して判別/鑑別を行う機能を主に担う処理回路である。
Note that the
第1の処理回路120は、訓練データ作成機能120aにより、医用画像診断装置50から取得した画像データに基づいて、後述の学習機能120bにより学習を行うための訓練データを生成する。訓練データは、例えば画像データである訓練画像データである。第1の処理回路120は、訓練データ作成機能120aにより生成された訓練データに対して、学習機能120bを用いて学習を行い、学習済モデルを生成する。また、第2の処理回路130は、生成された学習済モデルに対して鑑別を行い、判定を行う。これら、訓練データ作成機能120a、学習機能120b、修正機能120c及び判定機能130aについては、後述する。
The
また、第1の処理回路120は、インタフェース機能120xにより、訓練用の画像データの取得に係る医用画像診断装置50の撮影の制御に係る情報を医用画像診断装置50へ送信し、また、医用画像診断装置50から、撮影により得られた訓練用の画像データを取得する。また、インタフェース機能120xを有する第1の処理回路120は、受信した訓練用の画像データをメモリ132に格納する。
In addition, the
同様に、第2の処理回路130は、インタフェース機能130xにより、鑑別対象の画像データの取得に係る医用画像診断装置50の撮影の制御に係る情報を医用画像診断装置50へ送信し、また、医用画像診断装置50から、撮影により得られた鑑別対象の画像データを取得する。また、インタフェース機能120xを有する第1の処理回路120は、受信した鑑別対象の画像データをメモリ132に格納する。
Similarly, the second processing circuit 130 uses the interface function 130x to transmit to the medical image
第1の処理回路120は、制御機能120yにより、また第2の処理回路130は、制御機能130yにより、医用画像診断装置50及び画像処理装置100の全般的な制御を行い、撮像や画像の生成、画像の表示等を制御する。
The control function 120y of the
また、第1の処理回路120は、生成機能120zにより、訓練用の画像データに基づいて、訓練用の画像データを生成し、または生成された訓練用の医用データに対して、種々の画像処理を行う。同様に、第2の処理回路130は、生成機能120zにより、鑑別対象の画像データに基づいて、鑑別対象の医用データを生成し、または生成された鑑別対象の医用データに対して、種々の画像処理を行う。
In addition, the
メモリ132は、上述の訓練用の画像データ、訓練データ、鑑別対象の画像データ等、様々なデータを記憶する。メモリ132は、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。 The memory 132 stores various data such as the above-described training image data, training data, and discrimination target image data. The memory 132 is a RAM (Random Access Memory), a semiconductor memory device such as a flash memory, a hard disk, an optical disk, or the like.
入力装置134は、操作者からの各種指示や情報入力を受け付ける。入力装置134は、例えば、マウスやトラックボール等のポインティングデバイス、モード切替スイッチ等の選択デバイス、あるいはキーボード等の入力デバイスである。ディスプレイ135は、制御機能130yによる制御の下、撮像条件の入力を受け付けるためのGUI(Graphical User Interface)や、生成機能120zや130zによって生成された画像等を表示する。ディスプレイ135は、例えば、液晶表示器等の表示デバイスである。ディスプレイ135は、表示部の一例である。 The input device 134 receives various instructions and information input from the operator. The input device 134 is, for example, a pointing device such as a mouse or a trackball, a selection device such as a mode switch, or an input device such as a keyboard. The display 135 displays, under the control of the control function 130y, a GUI (Graphical User Interface) for accepting input of imaging conditions, images generated by the generation functions 120z and 130z, and the like. The display 135 is, for example, a display device such as a liquid crystal display. The display 135 is an example of a display section.
続いて、実施形態に係る背景について簡単に説明する。 Next, the background of the embodiment will be briefly described.
コンピュータを用いて診断支援を行う、いわゆるComputer Assisted Detection/Diagnosisなどの分野では、例えば、予めわかっている病変の特徴量を教師データとして、学習を行って、学習済モデルを生成する。また、近年では、深層学習(ディープラーニング)や強化学習によって、特徴量を人間が事前知識として与えなくとも、プログラムが自ら特徴量そのものを自己学習して、その特徴量にラベル(記号)を人間が与えて、学習済モデルを生成する場合がある。 In fields such as so-called Computer Assisted Detection/Diagnosis, in which diagnosis is supported using a computer, learning is performed using, for example, previously known lesion feature values as teacher data to generate a learned model. In recent years, through deep learning and reinforcement learning, programs can self-learn the feature values themselves without humans providing them with prior knowledge, and labels (symbols) can be assigned to the feature values by humans. may be given to generate a trained model.
しかし、例えば、深層学習を行う場合など、十分な数の訓練データを用意できないことがある。この場合、例えば中間層の重み付けが適切でないと、深層学習された学習済モデルの判定精度が低下する場合がある。 However, in some cases, such as when performing deep learning, it may not be possible to prepare a sufficient number of training data. In this case, for example, if the weighting of the intermediate layer is not appropriate, the determination accuracy of the trained model that has undergone deep learning may decrease.
かかる背景に鑑みて、実施形態に係る画像処理装置100は、第1の処理回路120を備える。第1の処理回路120は、学習機能120bにより、病変の内部の領域である第1の領域に係る第1のデータと、第1の領域から影響を受ける領域である第2の領域に係る第2のデータとを訓練データとして用いて、ニューラルネットワークで構成される第1の学習済モデルを生成する。ここで、訓練データは、例えば画像データである訓練画像データであり、第1のデータ及び第2のデータは、例えば画像データである。第1の処理回路120は、修正機能120cにより、第1のデータと第2のデータとの間にある相関関係を示す情報に基づいて第1の学習済モデルの中間層の重み付けを修正して、入力医用データについての判定を行う第2の学習済モデルを生成する。
In view of this background, the image processing apparatus 100 according to the embodiment includes the
このように、第1の処理回路120は、生成した第1の学習済モデルの中間層の重み付けを、事前知識に基づいて修正することで、判定精度の高い第2の学習済モデルを生成することができる。
In this way, the
以上のことを、図2~図5を用いてより詳細に説明する。 The above will be described in more detail with reference to FIGS. 2 to 5. FIG.
はじめに、図2を用いて、第1の処理回路120が学習機能120b及び修正機能120cにより行う、学習済モデルの生成手順について説明する。
First, with reference to FIG. 2, a procedure for generating a learned model performed by the
はじめに、第1の処理回路120は、インタフェース機能120xにより、訓練用の医用データを、医用画像診断装置50から取得する(ステップS100)。例えば、医用画像診断装置50がX線CT装置である場合、第1の処理回路120は、インタフェース機能120xにより、X線CTデータまたはX線CT画像を、医用画像診断装置50から取得する。なお、医用画像診断装置50が、被検体に対してX線CT撮影を行うことにより得られたX線CTデータに基づいてX線CT画像を生成してもよいし、画像処理装置100が、医用画像診断装置50から取得したX線CTデータに基づいてX線CT画像を生成してもよい。
First, the
また、別の例として、医用画像診断装置50は、例えば、磁気共鳴イメージング装置である。かかる場合、画像処理装置100は、インタフェース機能120xにより、医用画像診断装置50から、磁気共鳴イメージングデータまたは磁気共鳴イメージング画像を取得する。かかる場合、医用画像診断装置50が、磁気共鳴イメージング撮像を行うことにより得られた磁気共鳴イメージングデータに基づいて磁気共鳴イメージング画像を生成してもよいし、画像処理装置100が、医用画像診断装置50から取得した磁気共鳴イメージングデータに基づいて、生成機能120zにより、磁気共鳴イメージング画像を生成してもよい。
As another example, the medical image
また、医用画像診断装置50が、超音波診断装置、陽電子放射断層撮影装置等の核医学診断装置、デジタルX線診断装置等の、その他の種類の医用機器である場合、画像処理装置100は、インタフェース機能120xにより、医用画像診断装置50から、被検体の撮影又は撮像を行って生成したデータを、学習済モデルを生成するための訓練用の医用データとして、取得する。
In addition, when the medical image
また、訓練用の医用データ等に代表される医用データの形式は、ボリュームデータを基に再構成された画像データ、生データを基に再構成された画像データ、画像データに対してさらに加工が行われた画像データ、例えば画像データのエッジを強調したデータ等の加工済み画像データなど、様々な形式の画像データを含む。 In addition, the format of medical data represented by medical data for training, etc., includes image data reconstructed based on volume data, image data reconstructed based on raw data, and further processing of image data. It includes various forms of image data, such as processed image data, processed image data, such as data that enhances the edges of the image data.
また、実施形態は、画像処理装置100が、医用画像診断装置50から、直接、訓練用の医用データを取得する場合に限られない。例えば、医用画像診断装置50が、別途存在する画像保存サーバなどの記憶装置に医用データを訓練用の医用データとして送信し、当該記憶装置に保存された医用データを、画像処理装置100が取得してもよい。この場合、当該記憶装置に保存された医用データは、単一の医用画像診断装置50により生成されたものに限られず、複数の医用画像診断装置50により生成されてもよい。
Further, the embodiment is not limited to the case where the image processing apparatus 100 directly acquires training medical data from the medical image
続いて、第1の処理回路120は、訓練データ作成機能120aにより、ステップS100において取得した訓練用の医用データに基づいて、訓練データを生成する(ステップS110)。
Subsequently, the
ここで、第1の処理回路120は、訓練データ作成機能120aにより、病変の内部の領域である第1の領域に係る第1のデータと、第1の領域から影響を受ける領域(影響領域)である第2の領域に係る第2のデータとを、訓練データとして生成する。
Here, the
すなわち、第1の処理回路120は、訓練データ作成機能120aにより、病変の有無等について直接的に判定を行う対象である第1の領域に係る第1のデータと、第1の領域と関連性を有し、病変の有無等について判定を行うに当たって補助的に利用できる領域である第2の領域に係る第2のデータとを、訓練データとして生成する。
That is, the
ここで、「第1の領域から影響を受ける領域である第2の領域(影響領域)」とは、例えば以下のような例が挙げられる。 Here, the "second area (influence area) that is an area affected by the first area" includes the following examples.
例えば、病理画像の判定を行う場合、第1の領域の病変の細胞外の微小環境領域が、第2の領域の一例となる。すなわち、第1の処理回路120は、訓練データ作成機能120aにより、病変の内部の領域である第1の領域に係る第1のデータと、当該病変の細胞外の微小環境領域に係る第2の領域に係る第2のデータとを、訓練データとして生成する。
For example, when determining a pathological image, the extracellular microenvironment region of the lesion in the first region is an example of the second region. That is, the
ここで、微小環境領域とは、腫瘍等の周囲に存在して、腫瘍等に栄養を送っている正常な細胞、分子、血管などのことである。腫瘍の存在によって腫瘍の増殖、拡大の速度が影響を受けることから、第1の処理回路120は、これらの領域に係るデータを、訓練データとして生成する。
Here, the microenvironment region refers to normal cells, molecules, blood vessels, etc. that exist around a tumor or the like and feed the tumor or the like. Since the presence of a tumor affects the rate of tumor growth and expansion, the
また、がん関連画像の判定を行う場合、すなわち、第1の領域が、がんの内部の領域である場合、がんの組織外の間質細胞領域や、当該がんの転移性が高い組織が、当該第2の領域の一例となる。すなわち、第1の処理回路120は、訓練データ作成機能120aにより、がんの内部の領域である第1の領域に係る第1のデータと、当該がんの組織外の間質細胞領域、又は当該がんの転移性が高い組織のうち少なくとも一方の領域に係る第2のデータを、訓練データとして生成する。
Further, when determining a cancer-related image, that is, when the first region is a region inside the cancer, the stromal cell region outside the cancer tissue or the metastatic potential of the cancer is high. Tissue is an example of the second region. That is, the
このように、例えばがん細胞組織外の情報をも活用して補助的な判断材料とするために、第1の処理回路120は、訓練データ作成機能120aにより、これらの領域に係るデータを、訓練データとして生成する。
In this way, for example, in order to utilize information outside the cancer cell tissue and use it as an auxiliary judgment material, the
また、図3を用いて、第1の領域が脳の機能領域である場合における第2の領域について説明する。図3は、実施形態に係る画像処理装置が行う処理について説明した図である。 Also, the second region in the case where the first region is the functional region of the brain will be described with reference to FIG. FIG. 3 is a diagram explaining processing performed by the image processing apparatus according to the embodiment.
図3は、脳の画像を示した一例であり、病変領域10は、第1の領域を示している。第1の領域は、脳の機能領域に含まれる。また、神経機能関連領域11は、病変領域10となっている脳回単位やその機能集合領域と、神経機能連関のある領域を表している。神経機能関連領域11は、第2の領域の一例となる。すなわち、第1の処理回路120は、訓練データ作成機能120aにより、脳の機能領域における病変内部の領域である病変領域10に係る第1のデータと、病変領域10と神経機能連関がある領域である神経機能関連領域11に係る第2のデータを、訓練データとして生成する。
FIG. 3 is an example showing a brain image, and a
また、神経支配領域12は、脳以外の領域であって、病変領域10に関連する神経支配領域、すなわち病変領域10からの神経支配が及ぶ領域を示している。神経支配領域12は、第2の領域の一例となる。すなわち、第1の処理回路120は、訓練データ作成機能120aにより、脳の機能領域における病変内部の領域である病変領域10に係る第1のデータと、脳以外の領域であって、病変領域10に関連する神経支配領域12に係る第2のデータを、訓練データとして生成する。
In addition, the
このように、例えば脳において病変領域と関連する領域の情報を活用して補助的な判断材料とするために、第1の処理回路120は、訓練データ作成機能120aにより、これらの領域に係るデータを、訓練データとして生成する。
In this way, for example, in order to utilize the information of the regions related to the lesion region in the brain and use it as an auxiliary judgment material, the
なお、第1の処理回路120は、訓練データ作成機能120aにより、例えばLevelset法等の輪郭抽出技術等を用いて、ステップS100において取得した訓練用の医用データから、第1の領域や第2の領域を抽出し、抽出した第1の領域や第2に領域に基づいて、訓練データを生成する。
Note that the
ここで、第1の処理回路120が訓練データ作成機能120aにより生成する訓練データは、例えば第1の領域や第2の領域に係る画像と、判定結果の正解データとが紐付けられた教師データである。すなわち、第1の処理回路120が訓練データ作成機能120aにより生成する訓練データの例としては、第1の領域に係る画像及び第2の領域に係る画像のうち一方又は両方と、それに対する判定結果の正解データとが紐づけられた教師データである。先に述べたように、第1の領域は、病変の有無等について直接的に判定を行う対象であり、第2の領域は、第1の領域と関連性を有し、病変の有無等について判定を行うに当たって補助的に利用できる領域であるから、第1の処理回路120が訓練データ作成機能120aにより生成する訓練データの例としては、例えば、第1の領域に係る画像及び第2の領域に係る画像と、第1の領域に対する判定結果の正解データとが紐づけられた教師データである場合が挙げられる。ここで、判定結果の正解データの一例としては、例えば画像が病変に係る画像であれば「1」を与え、画像が病変に係る画像でなければ「0」を与えるデータが挙げられる。また、判定結果の正解データの一例としては、例えば画像が、良性腫瘍に係る画像であれば値「良性腫瘍」を与え、画像が悪性腫瘍に係る画像であれば値「悪性腫瘍」を与え、画像が腫瘍に係る画像でなければ値「腫瘍なし」を与えるデータが挙げられる。また、判定結果の正解データの一例としては、画像に係る特徴量の値を実数値として与えるデータが挙げられる。
Here, the training data generated by the training
なお、深層学習(ディープラーニング)においては、いわゆる自己符号化(オートエンコーダ)を用いた学習を、教師データを用いた学習の前に行うこともある。かかる学習においては、第1の領域や第2の領域に係る画像と、判定結果の正解データとが紐付けられた教師データは必ずしも必要にならない場合がある。かかる場合、第1の処理回路120は、例えば第1の領域や第2の領域に係る画像のデータそのものを訓練データとして用いて、自己符号化により学習を行う。かかる場合、例えば第1の領域や第2の領域に係る画像のデータそのものも、第1の処理回路120が訓練データ作成機能120aにより生成する訓練データの一例として位置付けられる。
In deep learning, learning using so-called self-encoding (autoencoder) may be performed before learning using teacher data. In such learning, it may not always be necessary to provide teacher data in which images relating to the first region and the second region are associated with correct data of determination results. In such a case, the
図2に戻り、続いて、第1の処理回路120は、学習機能120bにより、第1の領域(異常領域)と第2の領域(影響領域)について、ステップS110で生成した訓練データを用いて学習を行い、第1の学習済モデルを生成する(ステップS120)。
Returning to FIG. 2, subsequently, the
一例として、第1の処理回路120は、学習機能120bにより、第1の領域(異常領域)と第2の領域(影響領域)について、ステップS110で生成した訓練データを用いて学習を行い、ニューラルネットワークにより構成された、第1の学習済モデルを生成する。ここで、ニューラルネットワークの例としては、例えば、畳み込みニューラルネットワーク(CNN:Convlutional Neural Network)やRNN
(Recurrent NeuralNetwork)等が挙げられる。ニューラルネットワークのうち、層が多層にわたるものは、DNN(Deep NeuralNetwork)とも呼ばれる。
As an example, the
(Recurrent Neural Network) and the like. A neural network with multiple layers is also called a DNN (Deep Neural Network).
第1の処理回路120は、学習機能120bにより、第1の領域(異常領域)と第2の領域(影響領域)について、ステップS110で生成した教師ありデータである訓練データに対して逆誤差伝搬法等などの方法により学習を行い、ニューラルネットワークにより構成された、第1の学習済モデルを生成する。ここで、学習を行う、あるいは学習済モデルを生成する、とは、より具体的には、当該ニューラルネットワークを構成するノード間の重み付けを決定することを言う。
The
なお、いわゆる深層学習を行う場合、第1の処理回路120は、学習機能120bにより、ステップS110で生成された訓練データを用いて、オートエンコーダにより、学習を行ってもよい。この場合、第1の処理回路120は、学習機能120bにより、オートエンコーダにより行われた学習の結果に基づいて、第1の学習済モデルを生成する。
When performing so-called deep learning, the
以下、図4を用いて、第1の処理回路120が、畳み込みニューラルネットワーク(CNN)を用いて学習を行う場合について説明する。図4はCNNの概略をあらわした図である。
A case where the
図4において、入力層1は、データが入力される層を表す。CNNの場合、入力層1に入力されるデータは、例えば各要素が実数の値を取り、例えばサイズが32×32の2次元配列で表されるデータである。畳み込み層2a、2b、2c、3d及びプーリング層3a、3b、3c、3dは、それぞれ前層のデータに対してそれぞれ畳み込み及びプーリングと呼ばれる所定の演算を行い、演算の結果を出力する層である。ここで、通常、入力層1に入力される一つのデータに対して、例えば畳み込みのやり方を少しずつ異ならせて、複数のデータが、入力装置1の次の層である畳み込み層2aで生成される。例えば、畳み込み層2aで生成されるデータは、入力層に入力されるデータのサイズが32×32の場合、データのサイズが28×28のデータが20個生成される。続いて、畳み込み層2aで生成されるデータに対してプーリング演算が行われて、例えばデータのサイズが14×14のデータが20個、プーリング層3aで生成される。続いて、プーリング層3aで生成されルデータに対して畳み込み演算が行われて、例えばデータのサイズが10×10のデータが20個、畳み込み層3bで生成される。以下同様に、畳み込み層2c、プーリング層3c、畳み込み層2d、プーリング層3dで生成されるデータは、例えばデータのサイズが縮小される。例えば、プーリング層3cで生成されるデータは、データのサイズが5×5であり、データ数が20個となる。また、プーリング層3dで生成されるデータは、データのサイズが3×3であり、データ数が20個となる。
In FIG. 4,
全結合層4a及び4bは、層の一つ前の全データを入力として、データを出力する層である。すなわち、全結合層の前のデータの全てが結合されて、データが出力される。例えば、全結合層4aにおいては、例えばデータのサイズが1×1のデータが20個生成されるが、各々の20個の1×1のデータの出力は、プーリング層3dで生成される20個のデータすべてのデータの値に依存する。同様に、全結合層4bにおいては、例えばデータのサイズが1×1のデータが20個生成されるが、各々の20個の1×1のデータの出力は、全結合層4aで生成される20個のデータすべてのデータの値に依存する。
The fully-connected
また、出力層5は、直前の層の出力結果に基づいて、最終的な出力結果が表示される層である。例えば、出力層5では、データのサイズが1×1のデータが6個生成される。これらのデータのそれぞれは、例えば、画像が病変であるか否かを0か1かで表したデータ、病変が良性が悪性であるかを0か1かで表したデータ、病変の悪性度を実数値で表したデータ等である。
Also, the
なお、入力層1と出力層5以外の層である中間層6は、隠れ層とも呼ばれる。
Note that the
なお、説明の簡単のため、中間層6で行う演算として、畳み込み演算を行う畳み込み層2a、2b、2c、3dとプーリング層3a、3b、3c、3dとを交互に配置した場合について説明したが、実施形態はこれに限られず、例えば畳み込み演算及びプーリング演算以外の演算を行う層が含まれていても良い。入力層1に入力されるデータは、病変の内部の領域である第1の領域に係る第1のデータと、第1の領域から影響を受ける領域である第2の領域に係る第2のデータとからなるため、例えば第1のデータ部分と第2のデータ部分とを混合するための全結合層が、プーリング層と畳み込み層との間に、必要に応じて適宜配置されてもよい。
For simplicity of explanation, the case where the
第1の処理回路120は、ステップS110で生成された、入力層1に入力されるデータと出力層5に出力されるデータとから構成される教師ありデータである訓練データを基に、学習機能120bにより、例えば逆誤差伝播法などにより、学習を行う。ここで、学習を行うという意味は、入力層1、中間層6及び出力層5からなるニューラルネットワークにおける重み付けを決定することを意味する。ここで、入力層1、中間層6及び出力層5からニューラルネットワークにおける重み付けを決定するとは、具体的には、入力層1と畳み込み層2aとの間の結合を特徴付ける係数の組、畳み込み層2aとプーリング層3aとの間の結合を特徴付ける係数の組、プーリング層3aと畳み込み層2bとの間の結合を特徴付ける係数の組等、各層の間の結合度合いを表す係数の組を決定することを意味する。第1の処理回路120は、このように、ステップS110で生成された、入力層1に入力されるデータと出力層5に出力されるデータとから構成される教師ありデータである訓練データを基に、学習機能120bにより、学習を行って、各層間の重み付けを決定し、ニューラルネットワークで構成され、その重み付けが決定された第1の学習済みモデルを生成する。ここで、かかる訓練データは、病変の内部の領域である第1の領域に係る第1のデータと、第1の領域から影響を受ける領域である第2の領域に係る第2のデータとからなる。
The
なお、深層学習においては、自己符号化(オートエンコーダ)を用いることができる。第1の処理回路120は、学習機能120bにより、ステップS110で生成された、病変の内部の領域である第1の領域に係る第1のデータと、第1の領域から影響を受ける領域である第2の領域に係る第2のデータとに基づいて、自己符号化を行ってもよい。なお、この学習において必要なデータは、教師有りデータである必要はなく、すなわちラベル付けされていないデータであってもよい。
Note that in deep learning, self-encoding (autoencoder) can be used. The
なお、CNNの特徴として、重み付けが決定された学習済モデルの中間層のデータを切り出すことにより、当該中間層のノードに対応する特徴量の抽出が可能となることが挙げられる。すなわち、第1の処理回路120は、学習機能120bにより、ステップS120で生成された第1の学習済モデルの中間層のデータを抽出しラベル付けを行うことで、当該中間層における特徴量を抽出する(ステップS130)。例えば、第1の処理回路120は、学習機能120bにより、ステップS120で生成された第1の学習済モデルにおけるプーリング層3aのデータを切りだすことで、プーリング層3aにおける特徴量を抽出する。また、例えば、第1の処理回路120は、学習機能120bにより、ステップS120で生成された第1の学習済モデルにおけるプーリング層3cのデータを抽出しラベル付けを行うこととで、プーリング層3cにおける特徴量を抽出する。
Note that, as a feature of the CNN, it is possible to extract feature amounts corresponding to the nodes of the intermediate layer by extracting data of the intermediate layer of the learned model whose weighting has been determined. That is, the
なお、例えばプーリング層3a及びプーリング層3c等を比較すると、プーリング層3aは比較的入力層に近いことから、プーリング層3aで得られる特徴量は、現画像に表れる繰り返し構造など、低次のレベルの特徴量となる。これに対して、プーリング層3cはプーリング層3aと比較して出力に近いことから、プーリング層3cで得られる特徴量は、病変の構造に係る、高次のレベルの特徴量となる。
For example, when the
なお、各中間層におけるデータは、一般に複数存在するので、第1の処理回路120は、当該中間層におけるデータの個数に対応して、複数の個数の特徴量を抽出することができる。例えば、上述の例では、プーリング層3cに係るデータは、データサイズが5×5のデータが20個存在するので、第1の処理回路120は、これら20個のデータに対応して、複数個の特徴量を抽出することができる。
Incidentally, since there are generally a plurality of pieces of data in each intermediate layer, the
続いて、第1の処理回路120は、修正機能120cにより、第1のデータと第2のデータとの間にある相関関係を示す情報に基づいて第1の学習済モデルの中間層の重み付けを変更し、入力医用データについての判定を行う第2の学習済モデルを生成する(ステップS140)。
Subsequently, the
まず、第1のデータと第2のデータとの間にある相関関係を示す情報について説明する。 First, information indicating the correlation between the first data and the second data will be described.
病変の内部の領域である第1の領域に係る第1のデータと、第1の領域から影響を受ける領域である第2の領域に係る第2のデータとの間にある相関関係を示す情報とは、例えば、第1の領域(異常領域)に病変があった場合に、第2の領域(影響領域)に異常が表れる確率を示す情報や、逆に、第2の領域(影響領域)に異常が表れた場合に、第1の領域(異常領域)に病変が表れる確率を示す情報である。すなわち、第1のデータと第2のデータとの間にある相関関係を示す情報としては、第2の領域(影響領域)が第1の領域(異常領域)から影響を受ける度合いに関する特徴量と、第2の領域(影響領域)が第1の領域(異常領域)に影響を与える度合いに関する特徴量との両方を含む。 Information indicating a correlation between first data relating to a first region, which is a region inside the lesion, and second data relating to a second region, which is a region affected by the first region For example, when there is a lesion in the first area (abnormal area), information indicating the probability that an abnormality appears in the second area (area of influence), or conversely, the second area (area of influence) This is information indicating the probability that a lesion appears in a first region (abnormal region) when an abnormality appears in . That is, as information indicating the correlation between the first data and the second data, the second area (influence area) is a feature amount related to the degree of influence from the first area (abnormal area) , and a feature amount relating to the degree of influence of the second area (influence area) on the first area (abnormal area).
続いて、第1の処理回路120は、修正機能120cにより、第1のデータと第2のデータとの間にある相関関係を示す情報に基づいて、第1の学習済モデルの中間層の重み付けを変更する。すなわち、第1の処理回路120は、第1の学習済モデルを生成する学習過程においてラベル付けすべき特徴量が生成される時点で、第1のデータと第2のデータとの間にある相関関係の大きさを表す指標に基づいて、特徴量が生成された中間層の下流又は上流の層の重み付けを修正する。
Subsequently, the
かかる点について、以下、説明する。 This point will be described below.
例えば、図3のように、脳の事例を考える。この場合、病変領域10で病変候補が見つかった場合、機能的に関連する脳の機能領域である神経機能関連領域11や、反対側の脳にも影響が生じることが、臨床的に知られている。例えば、認知症の場合等において、特定の病変領域10で病変候補が見つかった場合、海馬において、影響が生じる。すなわち、第1の領域の病変がある場合に、第2の領域にも異常が表れており、このような場合、第1の領域の病変と、第2の領域の異常との間に正の相関関係がある。換言すると、ある特徴量が、第1の領域の病変と第2の領域の異常との間に正の相関関係がある場合に、そうでない場合と比較して特徴的な振る舞いを示す場合、当該特徴量は、第1の領域の病変と、第2の領域の異常との間に正の相関関係がある場合に対応する特徴量である。つまり、第1の領域の病変と第2の領域の異常との間に正の相関関係がある場合におけるある特徴量と、第1の領域の病変と第2の領域の異常との間に正の相関関係がない場合における当該特徴量とを比較することにより、当該特徴量が、第1の領域の病変と、第2の領域の異常との間に正の相関関係がある場合に対応する特徴量であるか否かを判別することができる。第1の処理回路120は、後述するように、当該特徴量が抽出されたノードの、例えば前段の層からの重み又は後段の層への重みを変更する。
For example, consider the case of the brain, as shown in FIG. In this case, it is clinically known that when a lesion candidate is found in the
ここで、ステップS130で抽出された特徴量が、第1の領域の病変と第2の領域の異常との間に正の相関関係がある場合に対応する特徴量である場合を考える。 Here, let us consider a case where the feature quantity extracted in step S130 is a feature quantity corresponding to the case where there is a positive correlation between the lesion in the first region and the abnormality in the second region.
この場合、第1の処理回路120は、修正機能120cにより、当該特徴量が抽出されたノードに関係する重みつけは、第1のデータと第2のデータとの間にある相関関係を示す情報と整合的であるとして、当該重みつけの強度を強くする。すなわち、第1の処理回路120は、修正機能120cにより、当該特徴量が抽出されたノードに係る前段の層からの重み、又は後段の層への重みを大きくする。
In this case, the
一方、ステップS130で抽出された特徴量が、第1の領域の病変と第2の領域の異常との間に負の相関関係がある場合に対応する特徴量である場合を考える。 On the other hand, let us consider a case where the feature quantity extracted in step S130 is a feature quantity corresponding to the case where there is a negative correlation between the lesion in the first region and the abnormality in the second region.
この場合、第1の処理回路120は、修正機能120cにより、当該特徴量が抽出されたノードに関する重み付けは、第1のデータと第2のデータとの間にある相関関係を示す情報と整合的でないとして、当該重み付けの強度を弱くする。すなわち、第1の処理回路120は、修正機能120cにより、当該特徴量が抽出されたノードに係る前段の層からの重み、又は後段の層への重みを小さくし、またはノードを切断する。
In this case, the
このように、第1の処理回路120は、修正機能120cにより、第1の学習済モデルの中間層の重み付けを変更し、第2の学習済モデルを生成する。
Thus, the
なお、第1の処理回路120は、第1のデータと第2のデータとの間にある相関関係として、既存の臨床知識を用い、例えば検証済みの病理学情報による知見から、臨床的に影響が示されている情報を、事前情報として用いる。また、別の例として、第1の処理回路120は、第1のデータと第2のデータとの間にある相関関係として、別途行われた学習の結果を用いて得られた情報を用いる。すなわち、第1の処理回路120は、第1のデータと第2のデータとの間にある相関関係として、第3の学習済モデルから得られた情報を用いる。なお、ここで第3の学習済モデルは、ニューラルネットワークに係るモデルに限られず、特徴量の抽出が可能であるが、取りだした特徴量に対してラベル付けまでは行わない識別手法、例えばSupport vector machineなどの機械学習を使って生成されたモデルであってもよい。
In addition, the
以上のように、第1の処理回路120は、深層学習により第1の学習済モデルを生成し、その後、例えば臨床学的知見から得られた知識等を利用して第1の学習済モデルの中間層の重み付けを修正して第2の学習積みモデルを生成する。このように、深層学習と事前知識を組み合わせることで、両者の長所を取り入れ、深層学習された学習済モデルの判定精度を高めることができる。例えば、訓練データの症例が少ない場合でも、病変の判定精度を上げることが可能となる。また、例えば、互いに関連している複合疾患などの場合において、複数の病変の判別能が向上する。
As described above, the
続いて、第1の処理回路120が学習機能120bに基づいて生成した第2の学習済モデルの実行について説明する。図7は、実施形態に係る画像処理装置が行う第2の学習済モデルの実行の流れについて説明したフローチャートである。
Next, execution of the second trained model generated by the
第2の処理回路130は、判定機能130aにより、図3のステップS140で生成した第2の学習済モデルに基づいて、入力医用データについての判定(病変の鑑別)を行う(ステップS200)。例えば、第2の処理回路130は、判定機能130aにより、図3のステップS140で生成した第2の学習済モデルに基づいて、画像に対する病変の有無や、病変が良性か悪性かどうかの判定、病変領域の特定病変の尤度の算出を行う。 The second processing circuit 130 uses the determination function 130a to perform determination (lesion discrimination) on the input medical data based on the second trained model generated in step S140 of FIG. 3 (step S200). For example, the second processing circuit 130 uses the determination function 130a to determine whether there is a lesion in the image and whether the lesion is benign or malignant based on the second trained model generated in step S140 of FIG. The likelihood of a specific lesion in the lesion area is calculated.
続いて、第2の処理回路130は、制御機能130yにより、ステップS200において判定機能130aにより行われた判定結果をディスプレイ135に表示させる(ステップS210)。 Subsequently, the second processing circuit 130 causes the display 135 to display the result of determination made by the determination function 130a in step S200 by the control function 130y (step S210).
なお、ステップS200において、入力医用データや、訓練用の医用データ等に代表される医用データの形式は、ボリュームデータを基に再構成された画像データ、生データを基に再構成された画像データ、画像データに対してさらに加工が行われた画像データ、例えば画像データのエッジを強調したデータ等の加工済み画像データなど、様々な形式の画像データを含む。 In step S200, the format of input medical data and medical data represented by training medical data is image data reconstructed based on volume data, and image data reconstructed based on raw data. , image data in which image data has been further processed, for example, processed image data such as edge-enhanced data of image data, and various other forms of image data.
また、入力医用データの取得について、例えば、画像処理装置100は、医用画像診断装置50から入力医用データを取得する。しかしながら、医用画像診断装置50が、別途存在する画像保存サーバなどの記憶装置に医用データを訓練用の医用データまたは入力医用データとして送信し、当該記憶装置に保存された医用データを、画像処理装置100が取得してもよい。この場合、当該記憶装置に保存された医用データは、単一の医用画像診断装置50により生成されたものに限られず、複数の医用画像診断装置50により生成されてもよい。
Regarding acquisition of input medical data, for example, the image processing apparatus 100 acquires input medical data from the medical image
また、判定対象や鑑別対象となる入力医用データは、医用画像診断装置50により撮影された画像に限られず、例えば被検体細胞を採取して顕微鏡で撮影した病理画像などのデータであってもよい。
Further, the input medical data to be determined or differentiated is not limited to the image captured by the medical image
(その他の実施形態)
実施形態は、上述の例に限られない。
(Other embodiments)
Embodiments are not limited to the above examples.
実施形態では、第2のデータが、第1の領域から影響を受ける領域である第2の領域に係るデータである場合について説明したが、実施形態はこれに限られない。例えば、第2のデータが、特定の領域に係る情報に限られず、第1の領域と関連性を有する情報であってもよい。 In the embodiment, a case has been described where the second data is data related to the second area that is affected by the first area, but the embodiment is not limited to this. For example, the second data is not limited to information related to a specific area, and may be information related to the first area.
かかる場合、第1の処理回路120は、学習機能120bにより、病変内部の領域である第1の領域に係る第1のデータと、第1の領域と関連性を有する情報である第2のデータとを訓練データとして用いて、第1の学習済モデルを生成する。第1の処理回路120は、修正機能120cにより、第1のデータと第2のデータとの間にある相関関係を示す情報に基づいて第1の学習済モデルを修正して、入力医用データについての判定を行う第2の学習済モデルを生成する。
In such a case, the
例えば、第2のデータが、例えば被検体の遺伝子情報である場合を考える。 For example, consider a case where the second data is, for example, genetic information of a subject.
かかる場合、第1の処理回路120は、学習機能120bにより、病変内部の領域である第1の領域に係る第1のデータと、被検体の遺伝子情報とを訓練データとして用いて、第1の学習済モデルを生成する。第1の処理回路120は、修正機能120cにより、第1のデータと被検体の遺伝子情報との間にある相関関係を示す情報に基づいて第1の学習済モデルを修正して、入力医用データについての判定を行う第2の学習済モデルを生成する。
In this case, the
なお、第1のデータと被検体の遺伝子情報との間にある相関関係を示す情報とは、例えば、特定の遺伝子を持った被検体が第1の領域に特定の病変を有する確率について示した情報である。 The information indicating the correlation between the first data and the genetic information of the subject is, for example, the probability that the subject having a specific gene has a specific lesion in the first region. Information.
また、実施形態で、第1の処理回路120が修正機能120cにより第1の学習済モデルを修正するのは、中間の畳み込み層やプーリング層等に限られず、第1の学習済モデルの出力層や全結合層を修正して第2の学習済モデルを生成してもよい。
Further, in the embodiment, the
また、第1の領域の学習と第2の領域の学習とを別々の処理回路が担当し、それらの処理回路を統合する処理回路が、それら複数の処理回路の出力結果に対して重み付け調整をして最終的な出力結果を出力してもよい。かかる重み付け調整の段階で、第1のデータと第2のデータとの相関を示す情報が用いられても良い。 Separate processing circuits are in charge of learning the first area and learning the second area, and a processing circuit that integrates these processing circuits adjusts the weighting of the output results of the plurality of processing circuits. to output the final output result. Information indicating the correlation between the first data and the second data may be used in the weighting adjustment stage.
また、第2の処理回路130が判定機能130aにより行った判定に対して、ユーザがフィードバックを与え、第1の処理回路120が、学習機能120bにより、ユーザから与えられたフィードバックを基に、学習済モデルの内部アルゴリズムを更新してもよい。すなわち、第1の処理回路120は、学習機能120bにより、ユーザからのフィードバックを基に学習済モデルを更新し続けることにより、自己学習を行っても良い。
Further, the user gives feedback to the judgment made by the second processing circuit 130 by the judgment function 130a, and the
なお、画像処理装置100に組み込まれるプログラムは病変の内部の領域である第1の領域に係る第1のデータと、第1の領域から影響を受ける領域である第2の領域に係る第2のデータとを訓練データとして用いて、ニューラルネットワークで構成される第1の学習済モデルを生成し、第1のデータと第2のデータとの間にある相関関係を示す情報に基づいて第1の学習済モデルの中間層の重み付けを修正して、入力医用データについての判定を行う第2の学習済モデルを生成する各処理をコンピュータである画像処理装置100に実行させる。 It should be noted that the program incorporated in the image processing apparatus 100 is the first data relating to the first region that is the region inside the lesion and the second data relating to the second region that is the region affected by the first region. data as training data to generate a first trained model composed of a neural network, and based on information indicating a correlation between the first data and the second data, the first The image processing apparatus 100, which is a computer, executes each process of correcting the weighting of the intermediate layers of the trained model and generating a second trained model for making decisions on input medical data.
以上述べた少なくとも一つの実施形態の画像処理装置によれば、学習の判定精度を高めることができる。 According to the image processing apparatus of at least one embodiment described above, it is possible to improve the learning determination accuracy.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 While several embodiments of the invention have been described, these embodiments have been presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. These embodiments and their modifications are included in the scope and spirit of the invention, as well as the scope of the invention described in the claims and equivalents thereof.
120a 訓練データ作成機能
120b 学習機能
130a 判定機能
100 画像処理装置
120 第1の処理回路
130 第2の処理回路
120a training
Claims (8)
前記第2の領域が前記第1の領域から影響を受ける度合いに関する特徴量に基づいて前記第1の学習済モデルの中間層の重み付けを修正して、入力医用データについての判定を行う、前記第1のデータを入力、前記第1のデータにおける病変の有無についての判定結果を出力とする第2の学習済モデルを生成する修正部と
を備える、
画像処理装置。 First data relating to a first region that is a region inside a lesion, second data relating to a second region that is a region affected by the first region, and the lesion in the first data Input the first data and the second data composed of a neural network using the correct data of the determination result of the presence or absence of lesions as training data, and determine the presence or absence of a lesion in the first data a learning unit that generates a first trained model outputting a result;
modifying the weighting of the intermediate layer of the first trained model based on a feature quantity relating to the degree of influence of the first region on the second region, and making a determination on the input medical data; a correction unit that generates a second trained model that inputs data of 1 and outputs a determination result regarding the presence or absence of a lesion in the first data;
Image processing device.
前記第2の領域が前記第1の領域から影響を受ける度合いに関する特徴量に基づいて前記第1の学習済モデルの中間層の重み付けを修正して、入力医用データについての判定を行う、前記第1のデータを入力、前記第1のデータにおける病変の有無についての判定結果を出力とする第2の学習済モデルを生成する各処理をコンピュータに実行させる、プログラム。 First data relating to a first region that is a region inside a lesion, second data relating to a second region that is a region affected by the first region, and the presence or absence of a lesion in the first data A first learning in which the first data and the second data are input using the correct data of the determination result and the correct data of the determination result of as training data, and the determination result regarding the presence or absence of a lesion in the first data is output. generate the finished model,
modifying the weighting of the intermediate layer of the first trained model based on a feature quantity relating to the degree of influence of the first region on the second region, and making a determination on the input medical data; A program for causing a computer to execute each process of generating a second trained model having input of data No. 1 and output of determination results regarding the presence or absence of a lesion in the first data.
前記第1のデータと前記第2のデータとの間にある相関関係を示す情報に基づいて前記第1の学習済モデルを修正して、入力医用データについての判定を行う、前記第1のデータを入力、前記第1のデータにおける病変の有無についての判定結果を出力とする第2の学習済モデルを生成する修正部と
を備える、
画像処理装置。 Training data are first data related to a first region that is a region inside a lesion, second data that is genetic information of a subject, and correct data of determination results as to the presence or absence of a lesion in the first data. a learning unit that generates a first trained model that inputs the first data and the second data and outputs a determination result as to the presence or absence of a lesion in the first data;
the first data for determining input medical data by correcting the first trained model based on information indicating a correlation between the first data and the second data; and a correction unit that generates a second trained model that outputs a determination result as to the presence or absence of a lesion in the first data,
Image processing device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018197742A JP7325942B2 (en) | 2018-10-19 | 2018-10-19 | Image processing device and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018197742A JP7325942B2 (en) | 2018-10-19 | 2018-10-19 | Image processing device and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020062340A JP2020062340A (en) | 2020-04-23 |
JP7325942B2 true JP7325942B2 (en) | 2023-08-15 |
Family
ID=70387951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018197742A Active JP7325942B2 (en) | 2018-10-19 | 2018-10-19 | Image processing device and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7325942B2 (en) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002506666A (en) | 1998-03-20 | 2002-03-05 | バーバラ・アン・カーマノス・キャンサー・インスティテュート | Multidimensional detection and characterization of pathological tissues |
JP2006043007A (en) | 2004-08-02 | 2006-02-16 | Fujitsu Ltd | Diagnosis support program and diagnosis support apparatus |
JP2008157640A (en) | 2006-12-20 | 2008-07-10 | Fujifilm Ri Pharma Co Ltd | Analytical method for time-serial data as to brain image data, program, and recording medium |
JP2008194456A (en) | 2007-01-16 | 2008-08-28 | Kobe Univ | Medical image processing apparatus, and medical image processing method |
JP2012235796A (en) | 2009-09-17 | 2012-12-06 | Sharp Corp | Diagnosis processing device, system, method and program, and recording medium readable by computer and classification processing device |
WO2016111014A1 (en) | 2015-01-09 | 2016-07-14 | 株式会社島津製作所 | X-ray imaging apparatus |
JP2016143094A (en) | 2015-01-29 | 2016-08-08 | パナソニックIpマネジメント株式会社 | Transfer learning device, transfer learning system, transfer learning method and program |
JP2017076193A (en) | 2015-10-13 | 2017-04-20 | 株式会社国際電気通信基礎技術研究所 | Brain activity analysis device, brain activity analysis method and brain activity analysis program |
WO2017183527A1 (en) | 2016-04-19 | 2017-10-26 | コニカミノルタ株式会社 | Subject monitoring device and method, and subject monitoring system |
WO2018070285A1 (en) | 2016-10-14 | 2018-04-19 | 株式会社日立製作所 | Image processing device and image processing method |
JP2018113042A (en) | 2017-01-12 | 2018-07-19 | 株式会社AncientTree | Device for predicting, recording and comparing inspection data |
JP2018117883A (en) | 2017-01-25 | 2018-08-02 | 国立大学法人大阪大学 | Learning device, identification device, identification method and program |
-
2018
- 2018-10-19 JP JP2018197742A patent/JP7325942B2/en active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002506666A (en) | 1998-03-20 | 2002-03-05 | バーバラ・アン・カーマノス・キャンサー・インスティテュート | Multidimensional detection and characterization of pathological tissues |
JP2010029679A (en) | 1998-03-20 | 2010-02-12 | Barbara Ann Karmanos Cancer Inst | Apparatus and method for multidimensional detection of pathologic tissue |
JP2006043007A (en) | 2004-08-02 | 2006-02-16 | Fujitsu Ltd | Diagnosis support program and diagnosis support apparatus |
JP2008157640A (en) | 2006-12-20 | 2008-07-10 | Fujifilm Ri Pharma Co Ltd | Analytical method for time-serial data as to brain image data, program, and recording medium |
JP2008194456A (en) | 2007-01-16 | 2008-08-28 | Kobe Univ | Medical image processing apparatus, and medical image processing method |
JP2012235796A (en) | 2009-09-17 | 2012-12-06 | Sharp Corp | Diagnosis processing device, system, method and program, and recording medium readable by computer and classification processing device |
WO2016111014A1 (en) | 2015-01-09 | 2016-07-14 | 株式会社島津製作所 | X-ray imaging apparatus |
JP2016143094A (en) | 2015-01-29 | 2016-08-08 | パナソニックIpマネジメント株式会社 | Transfer learning device, transfer learning system, transfer learning method and program |
JP2017076193A (en) | 2015-10-13 | 2017-04-20 | 株式会社国際電気通信基礎技術研究所 | Brain activity analysis device, brain activity analysis method and brain activity analysis program |
WO2017183527A1 (en) | 2016-04-19 | 2017-10-26 | コニカミノルタ株式会社 | Subject monitoring device and method, and subject monitoring system |
WO2018070285A1 (en) | 2016-10-14 | 2018-04-19 | 株式会社日立製作所 | Image processing device and image processing method |
JP2018113042A (en) | 2017-01-12 | 2018-07-19 | 株式会社AncientTree | Device for predicting, recording and comparing inspection data |
JP2018117883A (en) | 2017-01-25 | 2018-08-02 | 国立大学法人大阪大学 | Learning device, identification device, identification method and program |
Also Published As
Publication number | Publication date |
---|---|
JP2020062340A (en) | 2020-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Karimi et al. | Deep learning with noisy labels: Exploring techniques and remedies in medical image analysis | |
Altaf et al. | Going deep in medical image analysis: concepts, methods, challenges, and future directions | |
Liu et al. | A multi-model deep convolutional neural network for automatic hippocampus segmentation and classification in Alzheimer’s disease | |
Venkatasubramanian et al. | Prediction of Alzheimer’s Disease Using DHO‐Based Pretrained CNN Model | |
Hervella et al. | End-to-end multi-task learning for simultaneous optic disc and cup segmentation and glaucoma classification in eye fundus images | |
Vankdothu et al. | Brain tumor segmentation of MR images using SVM and fuzzy classifier in machine learning | |
Streba et al. | Contrast-enhanced ultrasonography parameters in neural network diagnosis of liver tumors | |
Mohammed et al. | Trainable model for segmenting and identifying Nasopharyngeal carcinoma | |
Afshar et al. | MIXCAPS: A capsule network-based mixture of experts for lung nodule malignancy prediction | |
Rahim et al. | Prediction of Alzheimer's progression based on multimodal deep-learning-based fusion and visual explainability of time-series data | |
JP7140630B2 (en) | Image processing device, data generation device and program | |
Odeh et al. | Diabetic retinopathy detection using ensemble machine learning | |
Zhao et al. | Diagnose like a radiologist: Hybrid neuro-probabilistic reasoning for attribute-based medical image diagnosis | |
CN107688815A (en) | The analysis method and analysis system and storage medium of medical image | |
Banik et al. | Mitigating data imbalance issues in medical image analysis | |
CN116452851A (en) | Training method and device for disease classification model, terminal and readable storage medium | |
WO2023150397A1 (en) | Neural network apparatus for identification, segmentation, and treatment outcome prediction for aneurysms | |
Murugesan et al. | Calibrating segmentation networks with margin-based label smoothing | |
Saravanan et al. | Performance analysis of glioma brain tumor segmentation using Ridgelet transform and co-active adaptive neuro fuzzy expert system methodology | |
Zou et al. | EvidenceCap: towards trustworthy medical image segmentation via evidential identity cap | |
US20210312615A1 (en) | Methods and systems for improved abnormality detection in medical imaging data | |
Irfan et al. | StrokeNet: An automated approach for segmentation and rupture risk prediction of intracranial aneurysm | |
Syed et al. | A diagnosis model for detection and classification of diabetic retinopathy using deep learning | |
JP7325942B2 (en) | Image processing device and program | |
Lu et al. | Collaborative multi-metadata fusion to improve the classification of lumbar disc herniation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210812 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220715 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221024 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230515 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230525 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230802 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7325942 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |