JP2021174194A - 学習用データ処理装置、学習装置、学習用データ処理方法、およびプログラム - Google Patents
学習用データ処理装置、学習装置、学習用データ処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2021174194A JP2021174194A JP2020076673A JP2020076673A JP2021174194A JP 2021174194 A JP2021174194 A JP 2021174194A JP 2020076673 A JP2020076673 A JP 2020076673A JP 2020076673 A JP2020076673 A JP 2020076673A JP 2021174194 A JP2021174194 A JP 2021174194A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- image
- images
- data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 64
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 230000002950 deficient Effects 0.000 claims abstract description 92
- 238000004364 calculation method Methods 0.000 claims abstract description 66
- 230000005856 abnormality Effects 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims description 34
- 238000007689 inspection Methods 0.000 claims description 21
- 238000013450 outlier detection Methods 0.000 claims 1
- 230000010365 information processing Effects 0.000 abstract description 27
- 238000010801 machine learning Methods 0.000 abstract description 14
- 230000000694 effects Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 46
- 230000007547 defect Effects 0.000 description 40
- 238000001514 detection method Methods 0.000 description 31
- 238000003860 storage Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 9
- 238000002360 preparation method Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 102220218873 rs1060503403 Human genes 0.000 description 2
- 102200044937 rs121913396 Human genes 0.000 description 2
- 239000003814 drug Substances 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
【解決手段】情報処理装置において、学習用データ処理部30は、画像を再構成する第1画像再構成部、異常度算出部及びデータクレンジング部を有する。異常度算出部は、学習用画像と第1画像再構成部が再構成した第1再構成画像D31との差分画像D321を生成する第1差分画像生成部と、差分画像D321に基づいてスコアを算出するスコア算出部を含む。データクレンジング部は、全ての学習用画像のスコアに基づいて良品の範囲を示す閾値D33を算出する閾値算出部と、閾値D33に基づいて良品の範囲に含まれない学習用画像をデータセットD30から除去する不良品データ除去部とを含む。
【効果】機械学習のデータセット中の複数の良品画像に混入した不良品画像を効率良く除去する。
【選択図】図4
Description
<1−1.検査装置の構成>
図1は、第1実施形態の検査装置10を示す図である。検査装置10は、対象物90の画像を解析することによって、対象物90の欠陥を検出する。対象物90は、具体的には錠剤であるが、錠剤に限定されない。検査装置10は、カメラ110と、情報処理装置120とを備える。カメラ110は、情報処理装置120と電気的に接続されている。カメラ110は、イメージセンサを備えている。カメラ110は、イメージセンサを用いて対象物90を撮像することにより得られる画像信号を、情報処理装置120へ出力する。カメラ110に撮像される対象物90は、所定の位置に停止していてもよいし、ベルトコンベアなどの搬送機構により、所定の方向へ移動していてもよい。
第1学習部20が行う第1学習処理S10について、図5を参照しつつ説明する。図5は、本実施形態の第1学習処理S10の流れを示すフローチャートである。第1学習処理S10では、第1学習モデルM1を用いて、入力画像の再構成画像を出力するためのパラメータ等である第1学習済データD1を生成する。
次に、学習用データ処理部30が行うデータクレンジング処理S20について、図8を参照しつつ説明する。図8は、本実施形態のデータクレンジング処理S20の流れを示すフローチャートである。データクレンジング処理S20は、学習済第1学習モデルL1を用いて、学習用のデータセットD30に含まれる複数の学習用画像から不適切な画像を除去するデータ処理である。
Th1=S―3*σ
Th2=S+3*σ
第2学習部40が行う第2学習処理S30について、図13を参照しつつ説明する。図13は、本実施形態の第2学習処理S30の流れを示すフローチャートである。第2学習処理S30では、第2学習モデルM2を用いて、入力画像の再構成画像を出力するためのパラメータ等である第2学習済データD2を生成する。
最後に、欠陥検出部50における学習済第2学習モデルL2を用いた欠陥検出処理S40について、図14を参照しつつ説明する。この欠陥検出処理S40では、対象物90を撮像して得られた対象物画像D50に基づいて、対象物90の欠陥を検出する。図14は、本実施形態の欠陥検出部50における欠陥検出処理の流れを示すフローチャートである。
図15は、第2実施形態の情報処理装置120Aが備える機能的な構成を示す図である。図15に示す情報処理装置120Aは、第1実施形態と異なる構成である第1学習部20Aおよび学習用データ処理部30Aと、第1実施形態と同様の構成である第2学習部40および欠陥検出部50とを有する。なお、図15中、第1実施形態と同様の構成については、同じ符号を付している。
以上、実施形態について説明してきたが、本発明は上記のようなものに限定されるものではなく、様々な変形および組み合わせが可能である。
20,20A 第1学習部
31 第1画像再構成部
32,32A 異常度算出部
33,33A データクレンジング部
40 第2学習部
50 欠陥検出部
90 対象物
321 第1差分画像生成部
322 スコア算出部
331 閾値算出部
332 不良品データ除去部
D1,D1A 第1学習済データ
D2 第2学習済データ
D20 標本画像
D30 データセット
D31 第1再構成画像
D32,D32A スコアデータ
D321 第1差分画像
D33 閾値
D40,D40A 処理済データセット
L1,L1A 学習済第1学習モデル
L2 学習済第2学習モデル
M1,M1A 第1学習モデル
M2 第2学習モデル
P プログラム
Claims (11)
- 学習用のデータセットに含まれる複数の学習用画像から不適切な画像を除去する学習用データ処理装置であって、
前記学習用画像のそれぞれについて異常度を示すスコアを算出する異常度算出部と、
前記スコアに基づいて、前記データセットから不適切な前記学習用画像を除去するデータクレンジング部と、
を有する、学習用データ処理装置。 - 請求項1に記載の学習用データ処理装置であって、
入力された画像の再構成画像を出力する第1画像再構成部
をさらに有し、
前記異常度算出部は、
前記第1画像再構成部へ入力された前記学習用画像と前記第1画像再構成部から出力された前記再構成画像との差分画像を生成する第1差分画像生成部と、
前記第1差分画像生成部において生成された前記差分画像に基づいて、前記スコアを算出するスコア算出部と、
を含み、
前記データクレンジング部は、
全ての前記学習用画像について前記異常度算出部が算出した前記スコアに基づいて、良品の範囲を示す閾値を算出する閾値算出部と、
前記閾値算出部の算出した前記閾値に基づいて、前記データセットから、良品の範囲に含まれない前記学習用画像を除去する不良品データ除去部と、
を含む、学習用データ処理装置。 - 請求項2に記載の学習用データ処理装置であって、
画像を入力および出力とする第1学習モデルと、
複数の標本画像を前記第1学習モデルに入力し、入力された前記標本画像の再構成画像を出力するように学習させた第1学習済データと、
をさらに有し、
前記第1画像再構成部は、
入力画像を、前記第1学習済データを適用した前記第1学習モデルに入力して、前記入力画像の再構成画像を生成する、学習用データ処理装置。 - 請求項3に記載の学習用データ処理装置であって、
前記第1学習済データは、前記データセットに含まれる複数の学習用画像を前記標本画像として入力して学習させた学習済データである、学習用データ処理装置。 - 請求項3または請求項4に記載の学習用データ処理装置であって、
前記第1学習モデルに教師なし学習を行うことにより第1学習済データを生成する第1学習部
を有する、学習用データ処理装置。 - 請求項1に記載の学習用データ処理装置であって、
画像を入力とし、特徴量であるスコアを出力とする第1学習モデルと、
複数の標本画像を前記第1学習モデルに入力し、入力された前記標本画像の外れ値検知を行った結果を前記スコアとして出力するように学習させた第1学習済データと、
をさらに有し、
前記異常度算出部は、
入力画像を、前記第1学習済データを適用した前記第1学習モデルに入力して、前記スコアを取得する、学習用データ処理装置。 - 対象物を検査する検査装置を構築するための学習装置であって、
学習用のデータセットに含まれる複数の学習用画像から不適切な画像を除去する、請求項1ないし請求項6のいずれかに記載の学習用データ処理装置と、
前記学習用データ処理装置によって不適切な画像が除去された処理済データセットを用いて学習を行う第2学習部と、
を有し、
前記第2学習部は、前記処理済データセットに含まれる複数の前記学習用画像を、画像を入力および出力とする第2学習モデルに入力し、前記第2学習モデルが入力された前記学習用画像の再構成画像を出力するように学習させた第2学習済データを生成する、学習装置。 - 学習用のデータセットに含まれる複数の学習用画像から不適切な画像を除去する学習用データ処理方法であって、
a)前記学習用画像のそれぞれについて異常度を示すスコアを算出する異常度算出工程と、
b)前記スコアに基づいて、前記データセットから不適切な前記学習用画像を除去するデータクレンジング工程と、
を有する、学習用データ処理方法。 - 請求項8に記載の学習用データ処理方法であって、
前記工程a)は、
a1)前記学習用画像の再構成を行う画像再構成工程と、
a2)前記工程a1)において入力された前記学習用画像と前記工程a1)において出力された前記再構成画像との差分画像を生成する第1差分画像生成工程と、
a3)前記工程a2)において生成された前記差分画像に基づいて、前記スコアを算出するスコア算出工程と、
を含み、
前記工程b)は、
b1)全ての前記学習用画像について前記工程a)において算出された前記スコアに基づいて、良品の範囲を示す閾値を算出する閾値算出工程と、
b2)前記工程b1)において算出された前記閾値に基づいて、前記データセットから、良品の範囲に含まれない前記学習用画像を除去する不良品データ除去工程と、
を含む、学習用データ処理方法。 - コンピュータに、学習用のデータセットに含まれる複数の学習用画像から不適切な画像を除去する学習用データ処理を行わせるためのプログラムであって、
前記コンピュータに、
a)前記学習用画像のそれぞれについて異常度を示すスコアを算出する異常度算出工程と、
b)前記スコアに基づいて、前記データセットから不適切な前記学習用画像を除去するデータクレンジング工程と、
を実行させる、プログラム。 - 請求項10に記載のプログラムであって、
前記工程a)は、
a1)前記学習用画像の再構成を行う画像再構成工程と、
a2)前記工程a1)において入力された前記学習用画像と前記工程a1)において出力された前記再構成画像との差分画像を生成する第1差分画像生成工程と、
a3)前記工程a2)において生成された前記差分画像に基づいて、前記スコアを算出するスコア算出工程と、
を含み、
前記工程b)は、
b1)全ての前記学習用画像について前記工程a)において算出された前記スコアに基づいて、良品の範囲を示す閾値を算出する閾値算出工程と、
b2)前記工程b1)において算出された前記閾値に基づいて、前記データセットから、良品の範囲に含まれない前記学習用画像を除去する不良品データ除去工程と、
を含む、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020076673A JP7414629B2 (ja) | 2020-04-23 | 2020-04-23 | 学習用データ処理装置、学習装置、学習用データ処理方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020076673A JP7414629B2 (ja) | 2020-04-23 | 2020-04-23 | 学習用データ処理装置、学習装置、学習用データ処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021174194A true JP2021174194A (ja) | 2021-11-01 |
JP7414629B2 JP7414629B2 (ja) | 2024-01-16 |
Family
ID=78279639
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020076673A Active JP7414629B2 (ja) | 2020-04-23 | 2020-04-23 | 学習用データ処理装置、学習装置、学習用データ処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7414629B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4216079A1 (en) * | 2022-03-25 | 2023-07-26 | Beijing Baidu Netcom Science Technology Co., Ltd. | Product recognition method, model training method, device and electronic device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018005773A (ja) * | 2016-07-07 | 2018-01-11 | 株式会社リコー | 異常判定装置及び異常判定方法 |
JP2018112863A (ja) * | 2017-01-11 | 2018-07-19 | 株式会社東芝 | 異常検知装置、異常検知方法、および異常検知プログラム |
JP2020035097A (ja) * | 2018-08-28 | 2020-03-05 | 株式会社モルフォ | 画像識別装置、画像識別方法及び画像識別プログラム |
-
2020
- 2020-04-23 JP JP2020076673A patent/JP7414629B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018005773A (ja) * | 2016-07-07 | 2018-01-11 | 株式会社リコー | 異常判定装置及び異常判定方法 |
JP2018112863A (ja) * | 2017-01-11 | 2018-07-19 | 株式会社東芝 | 異常検知装置、異常検知方法、および異常検知プログラム |
JP2020035097A (ja) * | 2018-08-28 | 2020-03-05 | 株式会社モルフォ | 画像識別装置、画像識別方法及び画像識別プログラム |
Non-Patent Citations (1)
Title |
---|
工藤 郁弥 外3名: "畳み込みオートエンコーダを用いた工業製品の不良検査", 電子情報通信学会技術研究報告 VOL.118 NO.492 [ONLINE], vol. 第118巻 第492号, JPN6023043231, 4 March 2019 (2019-03-04), JP, pages 31 - 36, ISSN: 0005179596 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4216079A1 (en) * | 2022-03-25 | 2023-07-26 | Beijing Baidu Netcom Science Technology Co., Ltd. | Product recognition method, model training method, device and electronic device |
Also Published As
Publication number | Publication date |
---|---|
JP7414629B2 (ja) | 2024-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110428475B (zh) | 一种医学图像的分类方法、模型训练方法和服务器 | |
WO2023077404A1 (zh) | 缺陷检测方法、装置和*** | |
JP7004145B2 (ja) | 欠陥検査装置、欠陥検査方法、及びそのプログラム | |
JP7453813B2 (ja) | 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット | |
JP7435303B2 (ja) | 検査装置、ユニット選択装置、検査方法、及び検査プログラム | |
US11348349B2 (en) | Training data increment method, electronic apparatus and computer-readable medium | |
WO2021181749A1 (ja) | 学習装置、画像検査装置、学習済みパラメータ、学習方法、および画像検査方法 | |
US20220076404A1 (en) | Defect management apparatus, method and non-transitory computer readable medium | |
JP2021174194A (ja) | 学習用データ処理装置、学習装置、学習用データ処理方法、およびプログラム | |
CN113016023B (zh) | 信息处理方法以及计算机可读的非暂时性记录介质 | |
CN113763384B (zh) | 工业质检中的缺陷检测方法、缺陷检测装置 | |
US20240095983A1 (en) | Image augmentation techniques for automated visual inspection | |
US20240005477A1 (en) | Index selection device, information processing device, information processing system, inspection device, inspection system, index selection method, and index selection program | |
JP7460391B2 (ja) | 学習装置、画像検査装置、プログラム、および学習方法 | |
KR20230036650A (ko) | 영상 패치 기반의 불량 검출 시스템 및 방법 | |
US20230005120A1 (en) | Computer and Visual Inspection Method | |
WO2023100474A1 (ja) | システム、画像処理方法およびプログラム | |
US20230054119A1 (en) | Method and device with defect detection | |
JP7437610B2 (ja) | 画像検査装置、画像検査方法及び学習済みモデル生成装置 | |
JP2012181148A (ja) | 物体検出装置 | |
JP2023104488A (ja) | 機械学習装置、機械学習方法、機械学習プログラム、検査装置、検査方法、および検査プログラム | |
CN114820428A (zh) | 图像处理方法以及图像处理装置 | |
JP2023128940A (ja) | 外観分析システム、外観分析方法、及びプログラム | |
JP2022182702A (ja) | 評価プログラム、評価方法、及び情報処理装置 | |
JP2024061116A (ja) | 外観検査学習装置、方法、およびプログラム、ならびに外観検査装置、方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221219 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231024 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7414629 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |