JP7268368B2 - 学習装置、学習方法および学習プログラム - Google Patents
学習装置、学習方法および学習プログラム Download PDFInfo
- Publication number
- JP7268368B2 JP7268368B2 JP2019014036A JP2019014036A JP7268368B2 JP 7268368 B2 JP7268368 B2 JP 7268368B2 JP 2019014036 A JP2019014036 A JP 2019014036A JP 2019014036 A JP2019014036 A JP 2019014036A JP 7268368 B2 JP7268368 B2 JP 7268368B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- data
- image data
- discriminator
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 37
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000001514 detection method Methods 0.000 claims description 58
- 230000002159 abnormal effect Effects 0.000 claims description 34
- 230000005856 abnormality Effects 0.000 claims description 27
- 238000010586 diagram Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000002547 anomalous effect Effects 0.000 description 7
- 230000006866 deterioration Effects 0.000 description 4
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 3
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Image Analysis (AREA)
Description
図1は、実施例1にかかる異常検出装置10を説明する図である。図1に示すように、異常検出装置10は、学習フェーズにおいて、GANにより生成器と識別器とを学習し、予測フェーズにおいて、学習済みの識別器を用いて、予測対象の画像データに対して異常検知を実行する学習装置の一例である。
図6は、実施例1にかかる異常検出装置10の機能構成を示す機能ブロック図である。図6に示すように、異常検出装置10は、通信部11、記憶部12、制御部20を有する。
図9は、実施例1にかかる学習処理の流れを示すフローチャートである。図9に示すように、学習処理が指示されると、学習処理部30は、生成器と識別器を初期化する(S101)。
図10は、実施例1にかかる検出処理の流れを示すフローチャートである。図10に示すように、検出処理が指示されると、検出部40は、保存された識別器を読み込む(S201)。続いて、検出部40は、対象データを識別器に入力して、対象データの異常を判定(識別)する(S202)。
上述したように、異常検出装置10は、例えば医療における検出したい異常データが正常データの分布から大きく外れたところには出現しないことに着目し、通常のGANによる生成器の学習に加えて、通常の学習とは逆に、識別器が正常に異常と識別できるような学習を一定の割合で組み込む。例えば、識別器は、学習が進むにつれて損失が増加した後、生成器の学習に追従していくので、損失が低下していく。その一方で、一定の割合で生成器の損失を発生させることで、生成器が生成するデータの分布が、正常データの分布から離れることになる。つまり、生成器が、正常データの分布の近くにある異常データを一定の割合で生成することができるので、識別器の学習範囲を拡張することができる。この結果、識別器の異常検知の能力低下を抑制することができる。
例えば、学習処理を終了するタイミングは、所定数以上の学習データを用いた学習が完了した時点や識別器の損失が閾値未満となった時点など、任意に設定することができる。また、医療用の画像データに限らず、不正侵入や危険物持ち込みなどを判定する各種分野に適用することができる。
例えば、学習処理部30は、10回に1回や、100回などと学習回数が予め設定されている場合には学習回数の1割などのように、任意に設定変更することができる。また、学習処理部30は、識別器の損失が上がった後に下がったタイミングで、上記データ1およびデータ2の生成を行って各学習を行うことができる。
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
図14は、ハードウェア構成例を説明する図である。図14に示すように、異常検出装置10は、通信装置10a、HDD(Hard Disk Drive)10b、メモリ10c、プロセッサ10dを有する。また、図14に示した各部は、バス等で相互に接続される。
11 通信部
12 記憶部
13 正常データDB
14 元情報DB
15 学習結果DB
20 制御部
30 学習処理部
31 生成器学習部
32 識別器学習部
40 検出部
Claims (8)
- 画像データを生成する生成器と、
本物の画像データと生成された画像データとを識別する識別器と、
学習過程において、前記識別器が前記識別器の識別誤差を最小化するように学習するとともに前記生成器が前記識別誤差を最大化するように学習する第1の学習段階と、前記第1の学習段階より後の学習段階であって、前記識別器が前記識別誤差を最小化するように学習するとともに前記生成器が前記識別誤差を最小化するように学習する第2の学習段階と、を実行する学習部と、
を有することを特徴とする学習装置。 - 前記生成器は、前記識別器に正常データと識別させるための第1の画像データを生成し、一定の割合で、前記識別器に異常データと識別させるための第2の画像データを生成し、
前記識別器は、前記生成器から入力される前記第1の画像データ、または、前記第2の画像データが、予め保持される正常データであるか否かを識別し、
前記学習部は、前記第1の画像データが生成された場合は、前記第1の学習段階を実行し、前記第2の画像データが生成された場合は、前記第2の学習段階を実行することを特徴とする請求項1に記載の学習装置。 - 前記第1の学習段階は、前記第1の画像データを異常データと識別するように前記識別器の学習を実行するとともに、前記識別器が前記第1の画像データを正常データと識別するように前記生成器の学習を実行する学習段階であり、
前記第2の学習段階は、前記第2の画像データを異常データと識別するように前記識別器の学習を実行するとともに、前記識別器が前記第2の画像データを異常データと識別するように前記生成器の学習を実行する学習段階であることを特徴とする請求項2に記載の学習装置。 - 前記画像データの生成元である種の空間に関し、第1の種を含む第1の領域と、前記第1の種の近傍に存在するが前記第1の領域に含まれない第2の種を含む第2の領域とを設定する設定部をさらに有し、
前記生成器は、前記第1の種を用いて、前記第1の画像データを生成し、前記第2の種を用いて、前記第2の画像データを生成することを特徴とする請求項2に記載の学習装置。 - 前記画像データの生成元である種の空間に関し、第1の種を含む第1の領域と、前記第1の種の近傍に存在するが前記第1の領域に含まれない第2の種を含む第2の領域とを設定し、前記正常データを前記第1の種として前記第1の領域に登録する設定部をさらに有し、
前記生成器は、前記第1の領域に含まれる前記正常データを用いて、前記第1の画像データを生成し、前記第2の種を用いて、前記第2の画像データを生成することを特徴とする請求項2に記載の学習装置。 - 学習済みの前記識別器に、識別対象の画像データを複数領域に分割して入力して、前記学習済みの前記識別器により異常が検出された場合に、前記学習済みの前記識別器が異常と示す領域を提示する検出部をさらに有することを特徴とする請求項1に記載の学習装置。
- 学習過程において、本物の画像データと生成された画像データとを識別する識別器が前記識別器の識別誤差を最小化するように学習するとともに、画像データを生成する生成器が前記識別誤差を最大化するように学習する第1の学習段階と、前記第1の学習段階より後の学習段階であって、前記識別器が前記識別誤差を最小化するように学習するとともに、前記生成器が前記識別誤差を最小化するように学習する第2の学習段階と、を実行する
処理をコンピュータが実行することを特徴とする学習方法。 - 学習過程において、本物の画像データと生成された画像データとを識別する識別器が前記識別器の識別誤差を最小化するように学習するとともに、画像データを生成する生成器が前記識別誤差を最大化するように学習する第1の学習段階と、前記第1の学習段階より後の学習段階であって、前記識別器が前記識別誤差を最小化するように学習するとともに、前記生成器が前記識別誤差を最小化するように学習する第2の学習段階と、を実行する
処理をコンピュータに実行させることを特徴とする学習プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019014036A JP7268368B2 (ja) | 2019-01-30 | 2019-01-30 | 学習装置、学習方法および学習プログラム |
CN202010075042.7A CN111508588B (zh) | 2019-01-30 | 2020-01-22 | 训练装置、训练方法和计算机可读记录介质 |
US16/774,721 US11263479B2 (en) | 2019-01-30 | 2020-01-28 | Training apparatus, training method, and non-transitory computer-readable recording medium |
EP20154035.8A EP3690746A1 (en) | 2019-01-30 | 2020-01-28 | Training apparatus, training method, and training program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019014036A JP7268368B2 (ja) | 2019-01-30 | 2019-01-30 | 学習装置、学習方法および学習プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020123097A JP2020123097A (ja) | 2020-08-13 |
JP7268368B2 true JP7268368B2 (ja) | 2023-05-08 |
Family
ID=69374195
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019014036A Active JP7268368B2 (ja) | 2019-01-30 | 2019-01-30 | 学習装置、学習方法および学習プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11263479B2 (ja) |
EP (1) | EP3690746A1 (ja) |
JP (1) | JP7268368B2 (ja) |
CN (1) | CN111508588B (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11593639B1 (en) * | 2019-09-03 | 2023-02-28 | Amazon Technologies, Inc. | Scoring events using noise-contrastive estimation for anomaly detection |
JP7375403B2 (ja) * | 2019-09-19 | 2023-11-08 | コニカミノルタ株式会社 | 機械学習装置、機械学習方法及び機械学習プログラム |
CN112712524B (zh) * | 2021-03-29 | 2022-06-21 | 北京妃灵科技有限公司 | 基于深度学习模型的箱包品质检测方法、装置及存储介质 |
JP7379574B2 (ja) | 2022-03-30 | 2023-11-14 | 本田技研工業株式会社 | 疑似不良品データ生成装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018192264A (ja) | 2017-05-18 | 2018-12-06 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN207216600U (zh) * | 2014-12-18 | 2018-04-10 | 密码研究公司 | 自定时随机数生成器 |
JP6942488B2 (ja) * | 2017-03-03 | 2021-09-29 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法、及びプログラム |
US20180336439A1 (en) * | 2017-05-18 | 2018-11-22 | Intel Corporation | Novelty detection using discriminator of generative adversarial network |
CN108009628B (zh) * | 2017-10-30 | 2020-06-05 | 杭州电子科技大学 | 一种基于生成对抗网络的异常检测方法 |
CN108334904A (zh) * | 2018-02-07 | 2018-07-27 | 深圳市唯特视科技有限公司 | 一种基于统一生成对抗网络的多域图像转换技术 |
US10825219B2 (en) * | 2018-03-22 | 2020-11-03 | Northeastern University | Segmentation guided image generation with adversarial networks |
KR102035796B1 (ko) * | 2018-07-26 | 2019-10-24 | 주식회사 딥핑소스 | 데이터를 비식별 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
CN109255390B (zh) * | 2018-09-30 | 2021-01-29 | 京东方科技集团股份有限公司 | 训练图像的预处理方法及模块、鉴别器、可读存储介质 |
-
2019
- 2019-01-30 JP JP2019014036A patent/JP7268368B2/ja active Active
-
2020
- 2020-01-22 CN CN202010075042.7A patent/CN111508588B/zh active Active
- 2020-01-28 US US16/774,721 patent/US11263479B2/en active Active
- 2020-01-28 EP EP20154035.8A patent/EP3690746A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018192264A (ja) | 2017-05-18 | 2018-12-06 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置 |
Non-Patent Citations (1)
Title |
---|
栗原 慧至,画像補完技術を用いた眼底画像の異常検出,電気学会研究会資料,日本,一般社団法人電気学会,2018年09月26日,pp.105-109 |
Also Published As
Publication number | Publication date |
---|---|
JP2020123097A (ja) | 2020-08-13 |
CN111508588B (zh) | 2024-03-15 |
CN111508588A (zh) | 2020-08-07 |
EP3690746A1 (en) | 2020-08-05 |
US11263479B2 (en) | 2022-03-01 |
US20200242399A1 (en) | 2020-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7268368B2 (ja) | 学習装置、学習方法および学習プログラム | |
US11055632B2 (en) | Method and device for improving the robustness against “adversarial examples” | |
CN111031071B (zh) | 恶意流量的识别方法、装置、计算机设备及存储介质 | |
US20200202007A1 (en) | Open source vulnerability remediation tool | |
US11790237B2 (en) | Methods and apparatus to defend against adversarial machine learning | |
JP2021117968A (ja) | 異常検出を扱うデバイス及び方法 | |
US11562294B2 (en) | Apparatus and method for analyzing time-series data based on machine learning | |
JP6950504B2 (ja) | 異常候補抽出プログラム、異常候補抽出方法および異常候補抽出装置 | |
JP7268367B2 (ja) | 学習装置、学習方法および学習プログラム | |
EP3745317A1 (en) | Apparatus and method for analyzing time series data based on machine learning | |
Pauling et al. | A tutorial on adversarial learning attacks and countermeasures | |
JP2023139296A (ja) | 信号処理方法,信号処理装置および信号処理プログラム | |
JP2023154373A (ja) | 情報処理装置 | |
US20230259619A1 (en) | Inference apparatus, inference method and computer-readable storage medium | |
US11727109B2 (en) | Identifying adversarial attacks with advanced subset scanning | |
EP4127984B1 (en) | Neural network watermarking | |
KR102251898B1 (ko) | 태양 영상 노이즈 처리 장치 및 방법 | |
US20240070273A1 (en) | Systems, devices, and methods for generating cybersecurity threat intelligence | |
WO2023188354A1 (ja) | モデル訓練方法,モデル訓練プログラムおよび情報処理装置 | |
KR102631954B1 (ko) | Ood 탐지 기반 위변조 이미지 판정 방법 및 그 장치 | |
US11716350B2 (en) | Systems and methods of detecting anomalous websites | |
WO2021059822A1 (ja) | 学習装置、判別システム、学習方法及び非一時的なコンピュータ可読媒体 | |
WO2021245850A1 (ja) | 診断支援プログラム、装置、及び方法 | |
US20230037904A1 (en) | Model compression device, model compression method, and program recording medium | |
Nazari | Benevolent and Malevolent Adversaries: A Study of GANs and Face Verification Systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211007 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220920 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230404 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7268368 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |