JP7408325B2 - 情報処理装置、学習方法およびプログラム - Google Patents
情報処理装置、学習方法およびプログラム Download PDFInfo
- Publication number
- JP7408325B2 JP7408325B2 JP2019167149A JP2019167149A JP7408325B2 JP 7408325 B2 JP7408325 B2 JP 7408325B2 JP 2019167149 A JP2019167149 A JP 2019167149A JP 2019167149 A JP2019167149 A JP 2019167149A JP 7408325 B2 JP7408325 B2 JP 7408325B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- state
- classifier
- information processing
- setting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 51
- 230000010365 information processing Effects 0.000 title claims description 45
- 230000008859 change Effects 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 9
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 30
- 238000012795 verification Methods 0.000 description 30
- 230000007423 decrease Effects 0.000 description 26
- 238000003745 diagnosis Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000002591 computed tomography Methods 0.000 description 7
- 238000004195 computer-aided diagnosis Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 230000002685 pulmonary effect Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 206010027476 Metastases Diseases 0.000 description 4
- 230000009401 metastasis Effects 0.000 description 4
- 238000011976 chest X-ray Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003748 differential diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
医用データの分類を行う分類器の学習の状態を判定する判定手段と、
前記判定手段により判定した前記状態に基づき、前記分類器の構造を設定する設定手段と、
前記設定手段により設定された前記分類器の構造に基づき、前記分類器の学習を行う学習手段と、
を備え、
前記設定手段は、過学習の状態が継続した期間、または、学習不足の状態が継続した期間に基づき、前記構造の設定における変更度合いを設定する、
情報処理装置である。
本発明の第二態様は、
医用データの分類を行う分類器の学習の状態を判定する判定手段と、
前記判定手段により判定した前記状態に基づき、前記分類器の構造を設定する設定手段と、
前記設定手段により設定された前記分類器の構造に基づき、前記分類器の学習を行う学習手段と、
を備え、
前記設定手段は、過学習の状態から学習不足の状態に変化した場合、または、学習不足の状態から過学習の状態に変化した場合は、前記構造の設定における変更度合いを変更する、
情報処理装置である。
コンピュータが行う、医用データの分類を行う分類器を学習する学習方法であって、
前記分類器の学習の状態を判定する判定ステップと、
前記判定ステップにおいて判定した前記状態に基づき、前記分類器の構造を設定する設定ステップと、
前記設定ステップにおいて設定された前記構造に基づき、教師データを用いて前記分類器の学習を行う学習ステップと、
を含み、
前記設定ステップでは、過学習の状態が継続した期間、または、学習不足の状態が継続した期間に基づき、前記構造の設定における変更度合いを設定する、
学習方法である。
本発明の第四態様は、
コンピュータが行う、医用データの分類を行う分類器を学習する学習方法であって、
前記分類器の学習の状態を判定する判定ステップと、
前記判定ステップにおいて判定した前記状態に基づき、前記分類器の構造を設定する設定ステップと、
前記設定ステップにおいて設定された前記構造に基づき、教師データを用いて前記分類器の学習を行う学習ステップと、
を含み、
前記設定ステップでは、過学習の状態から学習不足の状態に変化した場合、または、学習不足の状態から過学習の状態に変化した場合は、前記構造の設定における変更度合いを変更する、
学習方法である。
は図示された構成に限定されるものではない。
実施形態1では、胸部X線CT(Computed Tomography)画像上の肺結節影に対する診断名の分類を行うCADシステムの分類器の機械学習を行う情報処理装置について説明する。本実施形態の情報処理装置は、分類器の学習の際に、分類器の学習の状態を判定し、判定した学習の状態に基づいて、分類器のモデル構造を設定する。
図1は、本実施形態の情報処理装置101を含む情報処理システム1のシステム構成図である。図1において、情報処理システム1は、医用画像データベース(以降、医用画像DBと呼ぶ)102、情報処理装置101、LAN(Local Area Network)103から構成される。
図4は、医用画像DB 102に記憶される医用データの構成を示す概念図である。
図2は、本実施形態の情報処理装置101のハードウェア構成図である。情報処理装置101は、LAN103、ディスプレイ207、キーボード209、およびマウス210に接続される。
を実行する際の演算処理を行う。RAM(Random Access Memory)204は、CPU203がプログラムを実行する際の情報を一時記憶する。LANインタフェース205は、IEEE(Institute of Electrical and Electronics Engineers)802.3ab等の規格に対応し、LAN 103を介して通信を行うためのインタフェースである。ディスプレイインタフェース206は、ディスプレイ207に表示する画面情報を信号に変換し出力するインタフェースである。入力インタフェース208はキーボード209及びマウス210からの信号を受信するためのインタフェースである。内部バス211は、各ブロックが通信を行うための通信路である。
図3は、本実施形態の情報処理装置101の機能ブロック図である。CPU203がプログラムを実行することにより、情報処理装置101は、図3に示すように、分類器301、学習部302、学習状態判定部303、モデル構造設定部304として機能する。
のではない。
cal Cross Entropy)であり、更新する学習パラメータはCNNを構成する各ノードのカーネル値と重みである。
図7は、学習状態判定部303が行う学習状態判定の概念図である。図7において、701-i(i=1,2,3)は、エポックと学習損失および検証損失との関係を表したグラフ(以降、学習曲線と呼ぶ)である。学習曲線701-i(i=1,2,3)において、702-i(i=1,2,3)は学習損失の曲線(以降、学習損失曲線と呼ぶ)、703-i(i=1,2,3)は検証損失の曲線(以降、検証損失曲線と呼ぶ)である。
ぞれの値またはこれらの値の差に基づいて学習状態を判定してもよい。例えば、学習状態判定部303は、学習損失と検証損失の差が大きい場合、すなわち第1閾値以上である場合に、過学習の状態であると判定してもよい。また、学習状態判定部303は、学習損失が大きい場合、すなわち第2閾値以上である場合に、未学習の状態であると判定してもよい。学習状態判定部303は、上記の第1閾値および第2閾値は、学習対象となる問題毎に予め指定する。上記以外の場合、すなわち、学習損失が小さく、かつ、学習損失と検証損失の差が小さい場合に、適正学習の状態であると判定してもよい。
図6は、本実施形態の分類器301の学習方法の流れを示すフロー図である。学習処理は、情報処理装置101の起動後に、ユーザからの指示に基づき実行される。ユーザは学習処理を指示する際に、学習に使用する学習用データセット410と検証用データセット420と分類器301の初期のモデル構造を指定する。具体的には、データセットはCSV(Comma-Separated Values)ファイルのURL(Uniform Resource Locator)により指定され、分類器301のモデル構造は畳み込み層の数、畳み込みフィルタの数により指定される。
gorical Cross Entoropyを算出し平均をとる。
らす。具体的には、CNNの畳み込み層の数と畳み込みフィルタの数とのいずれか一方をランダムに選択して所定数だけ減少させる。ここで、中間層の層数が最低でも1となるように制限を設ける。学習中のカーネル値や重みはそれまでに学習した値を引き継いで利用する。尚、減少させる対象は層数とフィルタ数の一方を固定的に選択しても、両者を選択しても、所定の順序に基づいて選択してもよい。また、削減する層やフィルタのモデル構造内での位置はランダムに選択しても、固定的に選択しても、所定の順序で選択してもよい。ステップS631の処理が終わるとステップS632に進む。
実施形態1の分類器301のモデル構造は畳み込み層を中間層として備えるCNNであったが、畳み込み層と次の層との間にドロップアウトと呼ばれる処理を施したモデル構造であってもよい。ドロップアウトとは、学習時に一定の割合でノードの出力をゼロにする処理である。モデル構造設定部304は、過学習の状態を判定した場合にドロップアウトの割合を増加させ、学習不足を判定した場合に減少させてもよい。
実施形態1は半教師あり学習でもよく、その場合は、層数やフィルタ数の変更に加えて
、ラベルつきデータに対する損失(以降、教師あり損失と呼ぶ)とラベルなしデータに対する損失(以降、教師なし損失と呼ぶ)の学習への寄与割合を変更してもよい。ここで寄与割合とは、教師あり損失と教師なし損失を加算した損失に基づいて学習パラメータを更新する際の、教師あり損失に対する重みである。モデル構造設定部304は、ステップS607で層数やフィルタ数の増減数δが所定の基準より小さくなった場合に、前記寄与割合を設定する。すなわちステップS621では、ラベルつきデータに対する寄与割合を増やし、ステップS631では、寄与割合を減らす。
実施形態2では、実施形態1と同様に、胸部X線CT画像上の肺結節影に関する診断推論を行うCADシステムである情報処理装置について説明する。
上記の実施形態では、分類器301は胸部X線CT画像から肺結節影の診断名を分類するものであったが、分類器301は、任意種類の医用画像から任意の疾患の診断名を分類するものであってよい。また、分類器301は、医用画像以外の画像を受け付けて、その分類結果を出力する分類器であっても構わない。また、分類器301への入力は、画像以外の任意のデータ形式の医用データであっても構わない。
303:学習状態判定部 304:モデル構造設定部
Claims (22)
- 医用データの分類を行う分類器の学習の状態を判定する判定手段と、
前記判定手段により判定した前記状態に基づき、前記分類器の構造を設定する設定手段と、
前記設定手段により設定された前記分類器の構造に基づき、前記分類器の学習を行う学習手段と、
を備え、
前記設定手段は、過学習の状態が継続した期間、または、学習不足の状態が継続した期間に基づき、前記構造の設定における変更度合いを設定する、
情報処理装置。 - 医用データの分類を行う分類器の学習の状態を判定する判定手段と、
前記判定手段により判定した前記状態に基づき、前記分類器の構造を設定する設定手段と、
前記設定手段により設定された前記分類器の構造に基づき、前記分類器の学習を行う学習手段と、
を備え、
前記設定手段は、過学習の状態から学習不足の状態に変化した場合、または、学習不足の状態から過学習の状態に変化した場合は、前記構造の設定における変更度合いを変更する、
情報処理装置。 - 前記判定手段が判定する前記状態は、過学習、学習不足、および適正学習、の少なくともいずれかを含む、
請求項1または2に記載の情報処理装置。 - 前記設定手段が設定する前記構造は、前記分類器の複雑さに関する構造である、
請求項1から3のいずれか1項に記載の情報処理装置。 - 前記設定手段は、前記状態が過学習の場合は前記複雑さを減少するよう前記構造を設定
する、
請求項4に記載の情報処理装置。 - 前記設定手段は、前記状態が学習不足の場合は前記複雑さを増加するよう前記構造を設定する、
請求項4または5に記載の情報処理装置。 - 前記分類器は深層学習に基づく分類器であり、
前記設定手段が設定する前記複雑さは、前記分類器の中間層の層数またはノード数である、
請求項4から6のいずれか1項に記載の情報処理装置。 - 前記分類器は深層学習に基づく分類器であり、
前記設定手段が設定する前記複雑さは、前記分類器の畳み込み層の層数または畳み込みフィルタのフィルタ数である、
請求項4から7のいずれか1項に記載の情報処理装置。 - 前記設定手段は、中間層または畳み込み層の層数と、ノード数またはフィルタ数とのいずれを設定するかをランダムに選択する、
請求項7または8に記載の情報処理装置。 - 前記設定手段は、中間層または畳み込み層の層数と、フィルタ数とのいずれを設定するかを、所定の順序で選択する、
請求項7または8に記載の情報処理装置。 - 前記判定手段は、前記分類器の状態として、勾配消失の発生を判定し、
前記設定手段は、前記分類器において勾配消失が発生している場合は、学習不足であっても、前記層数を増加させない、
請求項7から10のいずれか1項に記載の情報処理装置。 - 前記設定手段は、前記状態が適正学習の場合は前記構造を変更しない、
請求項4から11のいずれか1項に記載の情報処理装置。 - 前記設定手段は、過学習の状態が継続した期間、または、学習不足の状態が継続した期間が長いほど、前記構造の設定における変更度合いを大きくする、
請求項1から12のいずれか1項に記載の情報処理装置。 - 前記設定手段は、過学習の状態から学習不足の状態に変化した場合、または、学習不足の状態から過学習の状態に変化した場合は、前記構造の設定における変更度合いを、直近の設定における変更度合いよりも小さくする、
請求項1から13のいずれか1項に記載の情報処理装置。 - 前記学習手段は、前記状態が過学習であればドロップアウトの割合を増加させ、前記状態が学習不足であればドロップアウトの割合を減少させて、前記分類器の学習を行う、
請求項1から14のいずれか1項に記載の情報処理装置。 - 前記学習手段は、半教師あり学習により前記分類器の学習を行うものであり、
前記設定手段は、前記状態の変化に基づいて前記分類器の構造を設定する際の変更度合いを決定し、
前記学習手段は、前記変更度合いが所定の基準より小さい場合には、前記状態が過学習
であればラベルつきデータに対する損失の学習への寄与割合を減少させ、前記状態が学習不足であればラベルつきデータに対する損失の学習への寄与割合を増加させる、
請求項1から15のいずれか1項に記載の情報処理装置。 - 前記学習手段は、前記設定手段により前記分類器の構造を設定した後、それまでに学習した前記分類器のパラメータの値を引き継いで前記分類器の学習を行う、
請求項1から16のいずれか1項に記載の情報処理装置。 - 前記学習手段は、前記設定手段による前記分類器の構造の設定した後、少なくとも所定のエポック数の学習を行う、
請求項1から17のいずれか1項に記載の情報処理装置。 - コンピュータが行う、医用データの分類を行う分類器を学習する学習方法であって、
前記分類器の学習の状態を判定する判定ステップと、
前記判定ステップにおいて判定した前記状態に基づき、前記分類器の構造を設定する設定ステップと、
前記設定ステップにおいて設定された前記構造に基づき、教師データを用いて前記分類器の学習を行う学習ステップと、
を含み、
前記設定ステップでは、過学習の状態が継続した期間、または、学習不足の状態が継続した期間に基づき、前記構造の設定における変更度合いを設定する、
学習方法。 - コンピュータが行う、医用データの分類を行う分類器を学習する学習方法であって、
前記分類器の学習の状態を判定する判定ステップと、
前記判定ステップにおいて判定した前記状態に基づき、前記分類器の構造を設定する設定ステップと、
前記設定ステップにおいて設定された前記構造に基づき、教師データを用いて前記分類器の学習を行う学習ステップと、
を含み、
前記設定ステップでは、過学習の状態から学習不足の状態に変化した場合、または、学習不足の状態から過学習の状態に変化した場合は、前記構造の設定における変更度合いを変更する、
学習方法。 - コンピュータを、請求項1から18のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
- コンピュータに、請求項19または20に記載の学習方法の各ステップを実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019167149A JP7408325B2 (ja) | 2019-09-13 | 2019-09-13 | 情報処理装置、学習方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019167149A JP7408325B2 (ja) | 2019-09-13 | 2019-09-13 | 情報処理装置、学習方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021043862A JP2021043862A (ja) | 2021-03-18 |
JP7408325B2 true JP7408325B2 (ja) | 2024-01-05 |
Family
ID=74862367
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019167149A Active JP7408325B2 (ja) | 2019-09-13 | 2019-09-13 | 情報処理装置、学習方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7408325B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001175636A (ja) | 1999-12-15 | 2001-06-29 | Kddi Corp | 多層ニューラルネットワークユニット数最適化方法及び装置 |
JP2018010626A (ja) | 2016-06-30 | 2018-01-18 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
WO2018116851A1 (ja) | 2016-12-21 | 2018-06-28 | 株式会社ニコン | 情報処理装置、画像処理装置、顕微鏡、情報処理方法、及び情報処理プログラム |
WO2018140596A2 (en) | 2017-01-27 | 2018-08-02 | Arterys Inc. | Automated segmentation utilizing fully convolutional networks |
JP2019067078A (ja) | 2017-09-29 | 2019-04-25 | 国立大学法人 筑波大学 | 画像処理方法、及び画像処理プログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018066237A1 (ja) * | 2016-10-07 | 2018-04-12 | 日本電気株式会社 | モデル推定装置、モデル推定方法およびモデル推定プログラム |
JP6897266B2 (ja) * | 2017-04-17 | 2021-06-30 | 富士通株式会社 | 学習プログラム、学習方法および学習装置 |
JP7107797B2 (ja) * | 2018-01-29 | 2022-07-27 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報処理方法及び情報処理システム |
-
2019
- 2019-09-13 JP JP2019167149A patent/JP7408325B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001175636A (ja) | 1999-12-15 | 2001-06-29 | Kddi Corp | 多層ニューラルネットワークユニット数最適化方法及び装置 |
JP2018010626A (ja) | 2016-06-30 | 2018-01-18 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
WO2018116851A1 (ja) | 2016-12-21 | 2018-06-28 | 株式会社ニコン | 情報処理装置、画像処理装置、顕微鏡、情報処理方法、及び情報処理プログラム |
WO2018140596A2 (en) | 2017-01-27 | 2018-08-02 | Arterys Inc. | Automated segmentation utilizing fully convolutional networks |
JP2019067078A (ja) | 2017-09-29 | 2019-04-25 | 国立大学法人 筑波大学 | 画像処理方法、及び画像処理プログラム |
Non-Patent Citations (1)
Title |
---|
佐々木 駿也 ほか1名,動的多層化ニューラルネットワーク,電子情報通信学会論文誌D [online],日本,電子情報通信学会,2019年03月01日,第J102-D巻, 第3号,第226頁-第234頁 |
Also Published As
Publication number | Publication date |
---|---|
JP2021043862A (ja) | 2021-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Nichols et al. | Machine learning: applications of artificial intelligence to imaging and diagnosis | |
CN111126574B (zh) | 基于内镜图像对机器学习模型进行训练的方法、装置和存储介质 | |
WO2020224403A1 (zh) | 分类任务模型的训练方法、装置、设备及存储介质 | |
da Silva et al. | Lung nodules diagnosis based on evolutionary convolutional neural network | |
CN114787832A (zh) | 联邦机器学习的方法和服务器 | |
Ahmad et al. | Intelligent medical disease diagnosis using improved hybrid genetic algorithm-multilayer perceptron network | |
Tan et al. | Phased searching with NEAT in a time-scaled framework: experiments on a computer-aided detection system for lung nodules | |
Zemouri et al. | A new growing pruning deep learning neural network algorithm (GP-DLNN) | |
US11468290B2 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium | |
Ishibuchi et al. | Repeated double cross-validation for choosing a single solution in evolutionary multi-objective fuzzy classifier design | |
Abd Elaziz et al. | Medical Image Classification Utilizing Ensemble Learning and Levy Flight‐Based Honey Badger Algorithm on 6G‐Enabled Internet of Things | |
JP2021056995A (ja) | 医用情報処理装置、医用情報処理システム及び医用情報処理方法 | |
KR102460257B1 (ko) | 진단 결과를 제공하기 위한 방법 및 장치 | |
Zemouri et al. | Constructive deep neural network for breast cancer diagnosis | |
Zhao et al. | Diagnose like a radiologist: Hybrid neuro-probabilistic reasoning for attribute-based medical image diagnosis | |
US11830187B2 (en) | Automatic condition diagnosis using a segmentation-guided framework | |
Zeng et al. | Graph convolutional network with sample and feature weights for Alzheimer’s disease diagnosis | |
Seo et al. | Closing the gap between deep neural network modeling and biomedical decision-making metrics in segmentation via adaptive loss functions | |
JP2019045929A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP7408325B2 (ja) | 情報処理装置、学習方法およびプログラム | |
CN116569194A (zh) | 联合学习 | |
Sovatzidi et al. | IF3: An Interpretable Feature Fusion Framework for Lesion Risk Assessment Based on Auto-constructed Fuzzy Cognitive Maps | |
Sharifnia et al. | Instance-based cost-sensitive boosting | |
KR102554181B1 (ko) | 골 영상으로부터 골 연령을 판독하는 방법 | |
JP7301653B2 (ja) | 情報処理装置、情報処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220816 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230901 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231220 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7408325 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |