JP2020123096A - 学習装置、学習方法および学習プログラム - Google Patents
学習装置、学習方法および学習プログラム Download PDFInfo
- Publication number
- JP2020123096A JP2020123096A JP2019014035A JP2019014035A JP2020123096A JP 2020123096 A JP2020123096 A JP 2020123096A JP 2019014035 A JP2019014035 A JP 2019014035A JP 2019014035 A JP2019014035 A JP 2019014035A JP 2020123096 A JP2020123096 A JP 2020123096A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- discriminator
- generator
- data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 39
- 238000001514 detection method Methods 0.000 claims abstract description 62
- 230000005856 abnormality Effects 0.000 claims abstract description 42
- 230000007423 decrease Effects 0.000 claims abstract description 11
- 230000002159 abnormal effect Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 26
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
Description
図1は、実施例1にかかる異常検出装置10を説明する図である。図1に示すように、異常検出装置10は、学習フェーズにおいて、GANにより生成器と識別器とを学習し、予測フェーズにおいて、学習済みの識別器を用いて、予測対象の画像データに対して異常検知を実行する学習装置の一例である。
図6は、実施例1にかかる異常検出装置10の機能構成を示す機能ブロック図である。図6に示すように、異常検出装置10は、通信部11、記憶部12、制御部20を有する。
図8は、実施例1にかかる学習処理の流れを示すフローチャートである。図8に示すように、学習処理が指示されると、学習処理部30は、生成器と識別器を初期化する(S101)。
図9は、実施例1にかかる検出処理の流れを示すフローチャートである。図9に示すように、検出処理が指示されると、検出部50は、保存された識別器を読み込む(S201)。続いて、検出部50は、対象データを識別器に入力して、対象データの異常を判定(識別)する(S202)。
上述したように、異常検出装置10は、例えば医療における検出したい異常データが正常データの分布から大きく外れたところには出現しないことに着目し、学習途中の生成器を用いて識別器の再学習を実行する。この結果、異常検出装置10は、正常なデータの周辺に存在すると期待される異常データを網羅的に生成可能な生成器を用いて識別器を再学習することができるので、識別器の識別範囲を拡張することができる。
例えば、学習処理を終了するタイミングは、所定数以上の学習データを用いた学習が完了した時点や識別器の損失が閾値未満となった時点など、任意に設定することができる。また、医療用の画像データに限らず、不正侵入や危険物持ち込みなどを判定する各種分野に適用することができる。
上記実施例では、学習完了後に、識別器を再学習する例を説明したが、これに限定されるものではない。例えば、識別器は、通常のGANによる学習と、一時的に保存された学習途中の生成器を用いて学習とを並行して実行することもできる。つまり、保存した生成器がすでに生成可能な異常データを再び生成する生成器の保存を抑制するために、学習途中でも、識別器の学習に保存した生成器を用いる。このようにすることで、学習時間を短縮できるとともに、識別器の学習を補正しながら学習できるので、識別器の識別性能の向上を図ることもできる。
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
図16は、ハードウェア構成例を説明する図である。図16に示すように、異常検出装置10は、通信装置10a、HDD(Hard Disk Drive)10b、メモリ10c、プロセッサ10dを有する。また、図16に示した各部は、バス等で相互に接続される。
11 通信部
12 記憶部
13 正常データDB
14 途中情報DB
15 学習結果DB
20 制御部
30 学習処理部
31 生成器学習部
32 識別器学習部
33 一時保存部
40 再学習部
50 検出部
Claims (8)
- 画像データを生成する生成器と、
前記画像データの真偽を識別する識別器と、
前記生成器が前記識別器の識別誤差を最大化するように学習を実行するとともに、前記識別器が識別誤差を最小化するように学習を実行する学習部と、
前記学習の実行途中において、予め設定された条件で、学習途中の前記生成器の状態を保存する保存部と、
保存された前記学習途中の識別器の状態を用いて、前記識別器の再学習を実行する再学習部と
を有することを特徴とする学習装置。 - 前記保存部は、前記識別器の損失が閾値以上になった後、再び前記閾値未満となったときの前記生成器の状態を保存することを特徴とする請求項1に記載の学習装置。
- 前記識別器は、第1の識別器と、前記第1の識別器よりも学習速度が速い第2の識別器とを含み、
前記学習部は、前記第1の識別器の識別誤差を最大化するように前記生成器を学習し、前記第1の識別器の前記識別誤差が最小化するように前記第1の識別器を学習し、前記第2の識別器の前記識別誤差が最小化するように前記第2の識別器を学習し、
前記保存部は、前記第2の識別器の損失が増加した後に低下し始めるとともに、前記第1の識別器の損失が閾値以上のときの前記生成器の状態を保存することを特徴とする請求項1に記載の学習装置。 - 前記再学習部は、前記学習部による前記学習が完了した学習済みの識別器に対して、前記学習途中の識別器の状態を用いた再学習を実行することを特徴とする請求項1に記載の学習装置。
- 前記再学習部は、前記学習部による前記学習と並行して、前記学習途中の識別器の状態を用いた再学習を実行することを特徴とする請求項1に記載の学習装置。
- 前記再学習された識別器に、識別対象の画像データを複数領域に分割して入力して、前記再学習された識別器により異常が検出された場合に、前記再学習された識別器が異常と示す領域を提示する検出部をさらに有することを特徴とする請求項1に記載の学習装置。
- コンピュータが、
画像データを生成する生成器が、前記画像データの真偽を識別する識別器の識別誤差を最大化するように学習を実行するとともに、前記識別器が、識別誤差を最小化するように学習を実行し、
前記学習の実行途中において、予め設定された条件で、学習途中の前記生成器の状態を保存し、
保存された前記学習途中の識別器の状態を用いて、前記識別器の再学習を実行する
処理を実行することを特徴とする学習方法。 - コンピュータに、
画像データを生成する生成器が、前記画像データの真偽を識別する識別器の識別誤差を最大化するように学習を実行するとともに、前記識別器が、識別誤差を最小化するように学習を実行し、
前記学習の実行途中において、予め設定された条件で、学習途中の前記生成器の状態を保存し、
保存された前記学習途中の識別器の状態を用いて、前記識別器の再学習を実行する
処理を実行させることを特徴とする学習プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019014035A JP7268367B2 (ja) | 2019-01-30 | 2019-01-30 | 学習装置、学習方法および学習プログラム |
EP20152622.5A EP3690743A1 (en) | 2019-01-30 | 2020-01-20 | Training apparatus, training method, and training program |
CN202010071123.XA CN111507934B (zh) | 2019-01-30 | 2020-01-21 | 训练设备、训练方法和计算机可读记录介质 |
US16/774,100 US11250297B2 (en) | 2019-01-30 | 2020-01-28 | Training apparatus, training method, and non-transitory computer-readable recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019014035A JP7268367B2 (ja) | 2019-01-30 | 2019-01-30 | 学習装置、学習方法および学習プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020123096A true JP2020123096A (ja) | 2020-08-13 |
JP7268367B2 JP7268367B2 (ja) | 2023-05-08 |
Family
ID=69185374
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019014035A Active JP7268367B2 (ja) | 2019-01-30 | 2019-01-30 | 学習装置、学習方法および学習プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11250297B2 (ja) |
EP (1) | EP3690743A1 (ja) |
JP (1) | JP7268367B2 (ja) |
CN (1) | CN111507934B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111401138B (zh) * | 2020-02-24 | 2023-11-07 | 上海理工大学 | 生成对抗神经网络训练过程的对抗优化方法 |
WO2022088089A1 (zh) * | 2020-10-30 | 2022-05-05 | 京东方科技集团股份有限公司 | 图像处理方法、图像处理装置、电子设备及可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018192264A (ja) * | 2017-05-18 | 2018-12-06 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置 |
WO2019169594A1 (en) * | 2018-03-08 | 2019-09-12 | Intel Corporation | Methods and apparatus to generate three-dimensional (3d) model for 3d scene reconstruction |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10831577B2 (en) * | 2015-12-01 | 2020-11-10 | Preferred Networks, Inc. | Abnormality detection system, abnormality detection method, abnormality detection program, and method for generating learned model |
US10475174B2 (en) * | 2017-04-06 | 2019-11-12 | General Electric Company | Visual anomaly detection system |
US10937540B2 (en) * | 2017-12-21 | 2021-03-02 | International Business Machines Coporation | Medical image classification based on a generative adversarial network trained discriminator |
CN108769993A (zh) * | 2018-05-15 | 2018-11-06 | 南京邮电大学 | 基于生成对抗网络的通信网络异常用户检测方法 |
-
2019
- 2019-01-30 JP JP2019014035A patent/JP7268367B2/ja active Active
-
2020
- 2020-01-20 EP EP20152622.5A patent/EP3690743A1/en active Pending
- 2020-01-21 CN CN202010071123.XA patent/CN111507934B/zh active Active
- 2020-01-28 US US16/774,100 patent/US11250297B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018192264A (ja) * | 2017-05-18 | 2018-12-06 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置 |
WO2019169594A1 (en) * | 2018-03-08 | 2019-09-12 | Intel Corporation | Methods and apparatus to generate three-dimensional (3d) model for 3d scene reconstruction |
Non-Patent Citations (2)
Title |
---|
坂本 俊之, CHAINERで作る コンテンツ自動生成AIプログラミング入門, vol. 第1版, JPN6022039544, 22 December 2017 (2017-12-22), pages 68 - 85, ISSN: 0004876635 * |
栗原 慧至: "画像補完技術を用いた眼底画像の異常検出", 電気学会研究会資料, JPN6022039546, 26 September 2018 (2018-09-26), JP, pages 105 - 109, ISSN: 0004876636 * |
Also Published As
Publication number | Publication date |
---|---|
CN111507934A (zh) | 2020-08-07 |
CN111507934B (zh) | 2024-04-26 |
JP7268367B2 (ja) | 2023-05-08 |
EP3690743A1 (en) | 2020-08-05 |
US11250297B2 (en) | 2022-02-15 |
US20200242412A1 (en) | 2020-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108111489B (zh) | Url攻击检测方法、装置以及电子设备 | |
EP3651043A1 (en) | Url attack detection method and apparatus, and electronic device | |
CN107577945B (zh) | Url攻击检测方法、装置以及电子设备 | |
JP7268368B2 (ja) | 学習装置、学習方法および学習プログラム | |
CN106982230B (zh) | 一种流量检测方法及*** | |
US11790237B2 (en) | Methods and apparatus to defend against adversarial machine learning | |
JP7047498B2 (ja) | 学習プログラム、学習方法および学習装置 | |
AU2019399664A1 (en) | A network device classification apparatus and process | |
JPH1196010A (ja) | 分類装置 | |
CN110969200B (zh) | 基于一致性负样本的图像目标检测模型训练方法及装置 | |
EP3739524A1 (en) | Method and system for protecting a machine learning model against extraction | |
JPWO2019168167A1 (ja) | 検証方法、検証装置、コンピュータプログラム、及び、検証システム | |
WO2021084623A1 (ja) | 劣化抑制プログラム、劣化抑制方法および情報処理装置 | |
CN111174370A (zh) | 故障检测方法及装置、存储介质、电子装置 | |
US20190179906A1 (en) | Behavior inference model building apparatus and behavior inference model building method thereof | |
JP7268367B2 (ja) | 学習装置、学習方法および学習プログラム | |
EP4127984B1 (en) | Neural network watermarking | |
CN112989312A (zh) | 验证码的识别方法、装置、电子设备和存储介质 | |
CN113642017A (zh) | 一种基于自适应特征分类的加密流量识别方法、存储器和处理器 | |
CN115567224A (zh) | 一种用于检测区块链交易异常的方法及相关产品 | |
CN114943077A (zh) | 基于深度强化学习的恶意pdf文件对抗样本生成方法 | |
TWI647586B (zh) | 行為推論模型生成裝置及其行為推論模型生成方法 | |
Jin et al. | Are Ensemble Classifiers Powerful Enough for the Detection and Diagnosis of Intermediate-Severity Faults? | |
CN117054870A (zh) | 永磁同步电机异常检测方法和装置 | |
JP2024040006A (ja) | 訓練データ生成プログラム、訓練データ生成方法及び情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211007 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220920 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230404 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7268367 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |