JP2024504529A - 欠陥検出方法及びその装置、モデルトレーニング方法及びその装置、及び電子デバイス - Google Patents
欠陥検出方法及びその装置、モデルトレーニング方法及びその装置、及び電子デバイス Download PDFInfo
- Publication number
- JP2024504529A JP2024504529A JP2022571810A JP2022571810A JP2024504529A JP 2024504529 A JP2024504529 A JP 2024504529A JP 2022571810 A JP2022571810 A JP 2022571810A JP 2022571810 A JP2022571810 A JP 2022571810A JP 2024504529 A JP2024504529 A JP 2024504529A
- Authority
- JP
- Japan
- Prior art keywords
- training
- model
- rounds
- learning rate
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 422
- 230000007547 defect Effects 0.000 title claims abstract description 219
- 238000000034 method Methods 0.000 title claims abstract description 122
- 238000001514 detection method Methods 0.000 title claims abstract description 94
- 238000012360 testing method Methods 0.000 claims abstract description 120
- 230000002950 deficient Effects 0.000 claims abstract description 58
- 238000003062 neural network model Methods 0.000 claims abstract description 24
- 238000007726 management method Methods 0.000 claims description 64
- 230000000875 corresponding effect Effects 0.000 claims description 50
- 239000011159 matrix material Substances 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 40
- 230000007423 decrease Effects 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 24
- 230000008859 change Effects 0.000 claims description 21
- 230000004044 response Effects 0.000 claims description 16
- 230000002596 correlated effect Effects 0.000 claims description 10
- 230000003247 decreasing effect Effects 0.000 claims description 9
- 238000013523 data management Methods 0.000 claims description 8
- 239000003102 growth factor Substances 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 238000007792 addition Methods 0.000 claims description 2
- 238000012217 deletion Methods 0.000 claims description 2
- 230000037430 deletion Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 27
- 238000004519 manufacturing process Methods 0.000 description 23
- 238000013527 convolutional neural network Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 16
- 238000003860 storage Methods 0.000 description 15
- 238000013528 artificial neural network Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 7
- 230000000644 propagated effect Effects 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本開示は、欠陥検出の技術分野に関し、具体的に、欠陥検出方法及びその装置、モデルトレーニング方法及びその装置、及び電子デバイスに関し、方法は、欠陥製品データを含むサンプルデータセットを取得し、サンプルデータセットの特徴情報を識別し、特徴情報がサンプルデータセットのサンプル数を含むことと、初期モデルを取得し、初期モデルがニューラルネットワークモデルであることと、特徴情報に基づいてトレーニングパラメータを構成することと、サンプルデータセットを利用して、トレーニングパラメータに基づいて初期モデルをトレーニングして目標モデルを取得することと、サンプルデータセットに対応する製品の実データを目標モデルに入力して製品の欠陥情報を取得することとを含み、ここで、トレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも1つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。この技術的解決策は、人的資源を節約することができる。
Description
本開示は、欠陥検出の技術分野に関し、具体的に、欠陥検出方法及びその装置、モデルトレーニング方法及びその装置、コンピュータ読み取り可能な記録媒体、及び電子デバイスに関する。
スクリーン生産の分野では、デバイス、パラメータ、操作、環境干渉等の工程に問題があるため、産出された製品に不良が発生し、深層学習を代表する人工知能アルゴリズムの台頭により、深層アルゴリズム学習モデルを利用して欠陥検出を行う利用も広まっている。
しかし、先行技術では、深層アルゴリズム学習モデルにおけるパラメータ調整のために人工による調整が必要な場合が多く、人的資源を浪費し、人間の誤動作による損失を引き起こす可能性がある。
なお、上記の背景技術の項で開示された情報は、本開示の文脈の理解を深めることのみを目的としており、したがって、当業者にとって既知の先行技術に該当しない情報を含む場合がある。
本開示の他の特徴及び利点は、以下の詳細な説明から明らかになるか、又は本開示の実践によって部分的に学習される。
本開示の第1の態様は、欠陥検出方法を提供し、
欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別することと、
初期モデルを取得することと、
前記特徴情報に基づいてトレーニングパラメータを構成することと、
前記サンプルデータセットを利用し、前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得することと、
前記サンプルデータセットに対応する製品の実データを前記目標モデルに入力して前記製品の欠陥情報を取得することとを含み、
前記特徴情報が前記サンプルデータセットのサンプル数を含み、
前記初期モデルがニューラルネットワークモデルであり、
前記トレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも1つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。
欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別することと、
初期モデルを取得することと、
前記特徴情報に基づいてトレーニングパラメータを構成することと、
前記サンプルデータセットを利用し、前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得することと、
前記サンプルデータセットに対応する製品の実データを前記目標モデルに入力して前記製品の欠陥情報を取得することとを含み、
前記特徴情報が前記サンプルデータセットのサンプル数を含み、
前記初期モデルがニューラルネットワークモデルであり、
前記トレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも1つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。
本開示の第2の態様は、モデルトレーニング方法を提供し、
欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別することと、
初期モデルを取得することと、
前記特徴情報に基づいてトレーニングパラメータを構成することと、
前記サンプルデータセットを利用して前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得することとを含み、
前記特徴情報が前記サンプルデータセットのサンプル数を含み、
前記初期モデルがニューラルネットワークモデルであり、
前記目標モデルが前記サンプルデータセットに対応する製品の実データに対して欠陥検出を行うために使用され、
前記トレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも1つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。
欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別することと、
初期モデルを取得することと、
前記特徴情報に基づいてトレーニングパラメータを構成することと、
前記サンプルデータセットを利用して前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得することとを含み、
前記特徴情報が前記サンプルデータセットのサンプル数を含み、
前記初期モデルがニューラルネットワークモデルであり、
前記目標モデルが前記サンプルデータセットに対応する製品の実データに対して欠陥検出を行うために使用され、
前記トレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも1つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。
本開示の第3の態様は、モデルトレーニング方法を提供し、
ユーザがサンプルデータセットのパラメータに対する構成操作に応答し、欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別することと、
初期モデルを取得することと、
前記特徴情報に基づいてトレーニングパラメータを構成し、トレーニングパラメータの表示インターフェースを生成することと、
前記サンプルデータセットを利用して前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得することとを含み、
前記特徴情報が前記サンプルデータセットのサンプル数を含み、
前記初期モデルがニューラルネットワークモデルであり、
前記目標モデルが前記サンプルデータセットに対応する製品の実データに対して欠陥検出を行うために使用され、
前記トレーニングパラメータの表示インターフェースに表示されるトレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも1つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。
ユーザがサンプルデータセットのパラメータに対する構成操作に応答し、欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別することと、
初期モデルを取得することと、
前記特徴情報に基づいてトレーニングパラメータを構成し、トレーニングパラメータの表示インターフェースを生成することと、
前記サンプルデータセットを利用して前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得することとを含み、
前記特徴情報が前記サンプルデータセットのサンプル数を含み、
前記初期モデルがニューラルネットワークモデルであり、
前記目標モデルが前記サンプルデータセットに対応する製品の実データに対して欠陥検出を行うために使用され、
前記トレーニングパラメータの表示インターフェースに表示されるトレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも1つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。
本開示の第4の態様は、データ管理モジュールと、トレーニング管理モジュールと、モデル管理モジュールとを含む検出システムを提供し、ここで、
データ管理モジュールは、サンプルデータを記憶し管理するように構成され、
トレーニング管理モジュールは、上記のいずれかの欠陥検出方法、上記のいずれかのモデルトレーニング方法、又は上記のいずれかのモデルトレーニング方法を実行するように構成され、
モデル管理モジュールは、前記目標モデルを記憶し表示し管理するように構成される。
データ管理モジュールは、サンプルデータを記憶し管理するように構成され、
トレーニング管理モジュールは、上記のいずれかの欠陥検出方法、上記のいずれかのモデルトレーニング方法、又は上記のいずれかのモデルトレーニング方法を実行するように構成され、
モデル管理モジュールは、前記目標モデルを記憶し表示し管理するように構成される。
本開示の第5の態様は、コンピュータープログラムを記憶するコンピュータ読み取り可能な記録媒体を提供し、ここで、前記コンピュータープログラムがプロセッサにより実行されると、上記のいずれかの欠陥検出方法、上記のいずれかのモデルトレーニング方法、又は上記のいずれかのモデルトレーニング方法を実現する。
本開示の第6の態様は、プロセッサと、1つ又は複数のプログラムを記憶するメモリとを含む電子デバイスを提供し、ここで、
前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサによって実行されると、前記1つ又は複数のプロセッサに上記のいずれかの欠陥検出方法、上記のいずれかのモデルトレーニング方法、又は上記のいずれかのモデルトレーニング方法を実行させる。
前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサによって実行されると、前記1つ又は複数のプロセッサに上記のいずれかの欠陥検出方法、上記のいずれかのモデルトレーニング方法、又は上記のいずれかのモデルトレーニング方法を実行させる。
なお、前述の一般的な説明及び以下の詳細な説明は、例示及び説明のためだけのものであり、本開示を限定するものではない。
本明細書に組み込まれ、その一部を構成する添付の図面は、本開示と一致する実施形態を示し、説明と共に本開示の原理を説明するのに役立つ。明らかに、以下の説明における図面は、本開示のいくつかの実施形態にすぎず、当業者にとって、創造的な努力なしにこれらの図面から他の図面を取得することもできる。
ここで、例示的な実施形態を、添付の図面を参照してより完全に説明する。しかしながら、例示的な実施形態は、様々な形態で具現化することができ、本明細書に記載された例に限定されると解釈されるべきではなく、むしろ、これらの実施形態は、この開示が徹底的かつ完全になり、例示的な実施形態の概念を完全に当業者に伝えるように提供される。記載された特徴、構造、又は特性は、1つ又は複数の実施形態において任意の適切な方法で組み合わせることができる。
また、添付の図面は、本開示を模式的に示したものに過ぎず、必ずしも縮尺通りに描かれているわけではない。図面中の同一の付記は、同一又は類似の部品を示すので、それらの重複した説明は省略する。図面に示されたブロック図の一部は、機能的な実体であり、必ずしも物理的又は論理的に分離した実体に対応する必要はない。これらの機能エンティティは、ソフトウェアの形態で実装されてもよいし、1つ以上のハードウェアモジュール又は集積回路で実装されてもよいし、異なるネットワークデバイス及び/又はプロセッサデバイス及び/又はマイクロコントローラデバイスで実装されてもよい。
図1は本開示の実施例が応用される欠陥検出方法及び装置の応用環境のシステム構成の模式図である。
図1に示すように、システム構成100は、端末デバイス101、102、103のうちの1つ以上、ネットワーク104、及びサーバー105を含み得る。ネットワーク104は、端末デバイス101、102、103とサーバー105との間の通信リンクのための媒体を提供するために使用される。ネットワーク104は、特に、有線、無線通信リンク、又は光ファイバーケーブルなどの様々な接続タイプを含んでもよい。端末デバイス101、102、103は、デスクトップコンピュータ、ポータブルコンピュータ、スマートフォン、タブレット端末など、欠陥検出機能を有する様々な電子デバイスであってよいが、これらに限定されない。なお、図1における端末デバイス、ネットワーク、サーバーの数は、単なる模式図に過ぎない。端末デバイス、ネットワーク、サーバーは、実装の必要性に応じていくつでも存在し得る。例えば、サーバー105は、複数のサーバーからなるサーバークラスタ等であってもよい。
本開示の実施例における欠陥検出方法は、端末デバイス101、102、103により実行され、これに対応し、欠陥検出装置は、端末デバイス101、102、103中に設けられている。当業者とって、本開示の実施例における欠陥検出方法は、サーバー105により実行されてもよく、これに対応し、欠陥検出装置は、サーバー105に設けられ、この実施例に限定されない。例えば、一実施例では、ユーザが端末デバイス101、102、103を介して欠陥製品データを含むサンプルデータセットを取得し、サンプルデータセットの特徴情報を識別し、特徴情報がサンプルデータセットのサンプル数を含み、次に、生の深度データサンプルデータセットをサーバー105にアップロードし、サーバーが初期モデルを取得し、特徴情報に基づいてトレーニングパラメータを構成し、サンプルデータセットを利用し、トレーニングパラメータに基づいて初期モデルをトレーニングして目標モデルを取得し、サンプルデータセットに対応する欠陥製品の実データを目標モデルに入力して欠陥製品の欠陥情報を取得し、欠陥情報を端末デバイス101、102、103等に伝送する。
本開示の例示的な実施形態は、欠陥検出方法を実施するための電子デバイスを提供し、それは、図1の端末デバイス101、102、103又はサーバー105であってもよい。該電子デバイスは、少なくともプロセッサと、プロセッサの実行可能命令を記憶するためのメモリとを含み、プロセッサは、実行可能命令を実行することによって欠陥検出方法を実施する。
本開示の一実施形態では、上記システム構成は、分散型製品の欠陥分析システムであってもよく、これは、ネットワークを介して互いに接続されてメッセージの伝送及び通信し、次に、それらの動作を調整してシステムを形成する、コンピュータのグループであってよい。構成要素は互いにインタラクションし、共通の目標を達成する。ネットワークは、インターネット及び/又は通信ネットワークをベースとしたIoT(Internet of Things)であればよく、有線でも無線でもよく、例えば、LAN(Local Area Network)、MAN(Metropolitan Area Network)、WAN(Wide Area Network)、セルラーデータ通信ネットワーク、その他情報交換機能を有する電子ネットワークであればよい。分散コンピューティングシステムは、ソフトウェアオブジェクトなどのソフトウェアコンポーネント、又は分散オブジェクト、エージェント、アクター(actor)、仮想コンポーネントなどの他のタイプの個別にアドレス指定可能な分離されたエンティティを有することができる。通常、このようなコンポーネントは個々にアドレス指定が可能で、分散システム内で一意のID(整数、GUID、文字列、不透明なデータ構造など)を有する。地理的な分散を許容する分散システムにおいては、アプリケーションをクラスターに常駐させることができる。分散コンピューティング環境をサポートする様々なシステム、コンポーネント、ネットワーク構成が存在する。例えば、コンピューティングシステムは、有線又は無線システムで、ローカルネットワーク又は広域分散ネットワークで接続することができる。現在、多くのネットワークは、広く分散コンピューティングのためのインフラストラクチャを提供するインターネットに結合され、多くの異なるネットワークを含むが、例えば、様々な実施例で説明したシステムで発生しやすい通信には、任意のネットワークインフラを使用することができる。
分散型製品の欠陥分析システムは、コンピューティングデバイスやシステム間の通信交換を通じて、コンピュータリソースやサービスの共有を提供する。これらのリソースやサービスには、ファイルなどのオブジェクトの情報交換、キャッシュ記憶装置、ディスク記憶装置などの情報交換が含まれる。これらのリソースやサービスには、ロードバランシング、リソースのスケーリング、処理の特化などのために、複数のプロセッシングユニットで処理能力を共有することも含まれる。例えば、分散型製品の欠陥分析システムは、クライアントデバイス/サーバー、ピアツーピア、又はハイブリッドアーキテクチャなどのネットワークトポロジーとネットワークインフラを持つホストを含むことができる。
以下、電子デバイスの構成について、図2の移動端末200を例に挙げて例示的に説明する。図2の構造は、特に移動目的で使用される部品に加えて、固定タイプの機器にも適用できることは、当業者には理解されるはずである。他の実施形態では、移動端末200は、図示されているよりも多い又は少ない構成要素で構成されてもよいし、特定の構成要素の組み合わせ、又は特定の構成要素の分割、又は構成要素の異なる配置で構成されてもよい。図示した構成要素は、ハードウェア、ソフトウェア、又はソフトウェアとハードウェアの組み合わせとして実装することができる。構成要素間のインターフェース接続関係は模式的に示しただけであり、移動端末200の構造上の制限を構成するものではない。他の実施形態では、移動端末200は、図2とは異なるインターフェース接続で実装されてもよいし、インターフェース接続の組み合わせで実装されてもよい。
図2に示すように、移動端末200は、具体的には、プロセッサ210、内部メモリ221、外部メモリインターフェース222、ユニバーサルシリアルバス(Universal Serial Bus、USB)インターフェース230、充電管理モジュール240、電源管理モジュール241、電池242、アンテナ1、アンテナ2、移動通信モジュール250、無線通信モジュール260、音声モジュール270、スピーカ271、受信機272、マイク273、ヘッドホンインターフェース274、センサーモジュール280、ディスプレイ290、カメラモジュール291、指示器292、モータ293、キー294及びユーザ識別子(subscriber identification module、SIM)カードインターフェースを含んでいてよい。ここで、センサーモジュール280は、深度センサー2801、圧力センサー2802、ジャイロセンサー2803等から構成されてもよい。
プロセッサ210は、1つ以上の処理ユニットを含んでもよく、例えば、プロセッサ210は、アプリケーションプロセッサ(Application Processor、AP)、モデムプロセッサ、グラフィック処理ユニット(Graphics Processing Unit、GPU)、画像信号処理装置(Image Signal Processor、ISP)、コントローラ、ビデオコーデック、デジタル信号プロセッサ(digital Signal Processor、DSP)、ベースバンドプロセッサ及び/又はニューラル-ネットワーク処理ユニット(Neural-Network Processing Unit、NPU)を含んでいてもよい。ここで、異なる処理ユニットは、独立した装置であってもよいし、1つ又は複数のプロセッサに統合されていてもよい。
NPUはNN(Neural-Network)コンピューティングプロセッサーであり、人間の脳のニューロン間の伝達パターンなど、生物の神経ネットワークの構造を参考にすることで入力情報を高速に処理し、また継続的に自己学習することが可能である。NPUは、移動端末200において、画像認識、顔認識、音声認識、テキスト理解などのインテリジェントなコグニティブアプリケーションを可能にする。
プロセッサ210には、メモリが設けられている。メモリは、検出命令、接続命令、情報管理命令、解析命令、データ転送命令、通知命令の6つのモジュール機能を実現するための命令を格納でき、プロセッサ210により実行されて制御される。
充電管理モジュール240は、充電器から充電入力を受けるために使用される。電源管理モジュール241は、電池242、充電管理モジュール240及びプロセッサ210を接続するために使用される。電源管理モジュール241は、電池242及び/又は充電管理モジュール240から入力を受け、プロセッサ210、内部メモリ221、ディスプレイ290、カメラモジュール291及び無線通信モジュール260等に電力を供給する。
移動端末200の無線通信機能は、アンテナ1、アンテナ2、移動通信モジュール250、無線通信モジュール260、モデムプロセッサ及びベースバンドプロセッサによって実現することができる。ここで、アンテナ1及びアンテナ2は、電磁波信号を送受信するために用いられ、移動通信モジュール250は、移動端末200に適用される2G/3G/4G/5G等を含む無線通信のためのソリューションを提供してもよく、モデムプロセッサは、変調器及び復調器を含んでもよく、無線通信モジュール260は、移動端末200に適用されるWLAN(Wireless Local Area Networks)(例えば、Wi-Fi(Wireless Fidelity)ネットワーク)、Bluetooth(BT)、その他の無線通信ソリューションを提供する。いくつかの実施形態では、移動端末200のアンテナ1は移動通信モジュール250に結合され、アンテナ2は無線通信モジュール260に結合され、移動端末200は無線通信技術によってネットワークだけでなく他のデバイスと通信することが可能になる。
移動端末200は、GPU、ディスプレイ290、アプリケーションプロセッサ等を介して表示機能を実現する。GPUは、ディスプレイ290とアプリケーションプロセッサを接続する画像処理用のマイクロプロセッサである。GPUは、グラフィックスレンダリングのための数学計算や幾何計算を実行するために用いられる。プロセッサ210は、表示情報を生成又は変更するプログラム命令を実行する1つ又は複数のGPUで構成されてもよい。
移動端末200は、ISP、カメラモジュール291、ビデオコーデック、GPU、ディスプレイ290及びアプリケーションプロセッサを通じて撮影機能を実現することができる。ここで、ISPはカメラモジュール291からフィードバックされるデータを処理するために用いられ、カメラモジュール291は静止画又は動画を撮影するために用いられ、デジタル信号処理器はデジタル信号を処理するために用いられ、デジタル画像信号に加えて他のデジタル信号も処理でき、ビデオコーデックはデジタル動画を圧縮又は解凍するために用いられ、移動端末200は1つ以上のビデオコーデックをサポートすることも可能である。
外部メモリインターフェース222を利用して、MicroSDカードなどの外部メモリカードを接続することで、移動端末200の記憶容量の拡張を実現することができる。外部メモリカードは、外部メモリインターフェース222を介してプロセッサ210と通信し、データ記憶機能を実現する。例えば、音楽や動画などのファイルを外部メモリカードに保存する。
内部メモリ221は、コンピュータ実行可能なプログラムコードを格納するために使用されてもよく、実行可能なプログラムコードは、命令を含んでいる。内部メモリ221は、プログラム格納領域とデータ格納領域とで構成されてもよい。ここで、プログラム格納領域は、オペレーティングシステム、少なくとも一つの機能(例えば、音声再生機能、画像再生機能など)に必要なアプリケーションなどを格納することができる。データ格納領域は、移動端末200の使用中に作成されたデータ(例えば、音声データ、電話帳等)等を保存することができる。さらに、内部メモリ221は、高速ランダムアクセスメモリを含んでもよく、また、少なくとも1つのディスクメモリ装置、フラッシュメモリ装置、UFS(Universal Flash Storage)等の不揮発性メモリを含んでもよい。プロセッサ210は、内部メモリ221に格納された命令及び/又はプロセッサに設けられたメモリに格納された命令を実行することにより、移動端末200の各種機能アプリケーションを実行するとともに、データ処理も行う。
移動端末200は、音声モジュール270、スピーカ271、受話器272、マイク273、ヘッドホンインターフェース274、及びアプリケーションプロセッサを介してオーディオ機能を実装することができる。例えば、音楽再生、録音などである。
深度センサー2801は、シーンの深度情報を取得するために使用される。いくつかの実施形態では、深度センサーは、カメラモジュール291に設けられてもよい。
圧力センサー2802は、圧力信号を感知するために使用され、圧力信号を電気信号に変換することができる。いくつかの実施形態では、圧力センサー2802は、ディスプレイ290に設けることができる。圧力センサー2802には、抵抗性圧力センサー、誘導性圧力センサー、容量性圧力センサーなど、多くのタイプがある。
ジャイロセンサー2803は、移動端末200の運動姿勢を決定するために用いられてもよい。いくつかの実施形態では、3つの軸(すなわち、x、y及びz軸)の周りの移動端末200の角速度は、ジャイロセンサー2803によって決定され得る。ジャイロセンサー2803は、手ぶれ防止、ナビゲーション、物理ゲームシナリオなどの撮影に使用することができる。
さらに、実際のニーズに応じて、気圧センサー、磁気センサー、加速度センサー、距離センサー、近接光センサー、指紋センサー、温度センサー、タッチセンサー、環境光センサー、骨伝導センサーなど、他の機能センサーをセンサーモジュール280に設けることができる。
また、補助的な機能を提供する他の装置が移動端末200に含まれていてもよい。例えば、キー294は、電源オンキー、ボリュームキーなどを含み、ユーザは、キー入力を使用して、ユーザ設定及び移動端末200の機能制御に関連するキー信号入力を生成することができる。さらに例として、指示器292、モータ293、SIMカードインターフェース295などがある。
関連技術では、スクリーン製造の分野では、装置、パラメータ、操作、環境干渉などの工程に問題があるため、産出された製品に不良があり、各工程の後に光学(AOI)検出した後、より大量の画像データが発生し、専門オペレータがこれらの画像を不良品としてレベルを判定する必要があり、深層学習を代表する人工知能アルゴリズムの台頭により、不良画像のレベル判定工程にAIアルゴリズムが導入されて自動不良画像の検出システム(ADC)が作られる。
ADCシステムは、データマークシステム、GPUサーバー(アルゴリズムシステム)、TMSシステム、トレーニングシステムの4つのサブシステムで構成され、業務プロセスの簡略化とハードウェア資源の節約を図るため、これらのサブシステムのうち最初の3つを組み合わせて、AIアルゴリズム推論サービスによる生産ラインの不良画像の自動検出機能を実現し、すなわち、トレーニングシステムがなくても上記のシステムは通常動作することができる。しかし、これらのシステムは、アルゴリズムモデルをアップデートすることができず、AIモデルのアップデートが必要な場合は、アルゴリズム開発者が開発や展開する必要がある。トレーニングシステムの役割は、プロジェクト開発時にはアルゴリズムのトレーニングを容易にし、プロジェクト運用、保守期間のモデルの更新を容易にすることである。
工場では、生産工程やAOIデバイスの一定の調整を行い、深層学習アルゴリズムはデータ駆動型の技術であるため、生産工程やデバイスの一定の調整によりAOI画像が変化し、アルゴリズムモデルの精度が低下する。一方、新製品の生産開始の際には、新製品に対応する異なるAOI画像に対応するため、モデルの再調整も必要である。
ADCシステムのロバスト性を向上させるため、システムはAOI画像が変化した後でも新しいモデルをトレーニングでき、アルゴリズムの精度を確保する。深層学習アルゴリズムでトレーニングされるモデルは、通常、多数のトレーニングパラメータで構成されており、異なる画像に対して、人為的に調整する必要がある場合が多い。これにより、人的資源を浪費し、人為的な誤動作による損失が発生する可能性がある。
上記の欠点に対して、本開示は、まず、欠陥検出方法を提供し、図3に示すように、上記の欠陥検出方法は、以下のステップを含み、
ステップS310において、欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別し、前記特徴情報が前記サンプルデータセットのサンプル数を含み、
ステップS320において、初期モデルを取得し、前記初期モデルがニューラルネットワークモデルであり、
ステップS330において、前記特徴情報に基づいてトレーニングパラメータを構成し、
ステップS340において、前記サンプルデータセットを利用し、前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得し、
ステップS350において、前記サンプルデータセットに対応する製品の実データを前記目標モデルに入力して前記製品の欠陥情報を取得する。
ステップS310において、欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別し、前記特徴情報が前記サンプルデータセットのサンプル数を含み、
ステップS320において、初期モデルを取得し、前記初期モデルがニューラルネットワークモデルであり、
ステップS330において、前記特徴情報に基づいてトレーニングパラメータを構成し、
ステップS340において、前記サンプルデータセットを利用し、前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得し、
ステップS350において、前記サンプルデータセットに対応する製品の実データを前記目標モデルに入力して前記製品の欠陥情報を取得する。
ここで、前記トレーニングパラメータは、学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも1つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。
関連技術と比べ、この実施例における技術的解決策は、モデルのトレーニングパラメータがトレーニングデータから取得された特徴情報に基づいて決定され、特徴情報におけるサンプル数を利用して、トレーニングパラメータにおける学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーを決定し、人為的な操作ないため、人的資源を節約でき、人為的な誤動作による損失も回避できる。一方、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含み、学習率の降下回数及び降下時のラウンド数、テスト回数及びテスト時のラウンド数を構成し、学習率の降下ポリシーとテストポリシーが欠陥検出に対応する影響が大きいため、上記のトレーニングパラメータを構成することで、得られた目標モデルが欠陥検出に対する精度を大幅に向上させることができる。
ステップS310において、欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別し、前記特徴情報が前記サンプルデータセットのサンプル数を含む。
この実施形態では、まず、サンプルデータセットを取得し、サンプルデータセットの特徴情報を識別し、具体的に、サンプルデータセットにおけるサンプル数を取得し、サンプルデータセットに含まれる欠陥製品のピクチャのタイプ、サイズ等を取得し、この実施形態ではこれに限定されなく、ここで、サンプルデータセットに欠陥製品データが含まれてもよく、ここで、欠陥製品データに欠陥製品のピクチャ、又は欠陥製品の他の製品データが含まれてもいが、この実施形態ではこれに限定されない。
この実施形態では、ここで、上記のサンプルデータセットの特徴情報は、サンプルデータにおける欠陥製品のピクチャのタイプ、サイズ等を含んでもよく、上記のサンプルデータのサンプル数を含んでもよく、サンプル数は、10000、20000等であり、ユーザの要件に応じて定義されてもよいが、この実施形態ではこれに限定されない。
ステップS320において、初期モデルを取得し、前記初期モデルがニューラルネットワークモデルであり、
この実施形態では、初期モデルは、畳み込みニューラルネットワーク(CNN)モデル、目標検出畳み込みニューラルネットワーク(faster-RCNN)モデル、リカレントニューラルネットワーク(RNN)モデル、生成的敵対ネットワーク(GAN)モデルであってもよいが、これらに限定されなく、当業者が知っている他のニューラルネットワークモデルを利用してもよい。
この実施形態では、初期モデルは、畳み込みニューラルネットワーク(CNN)モデル、目標検出畳み込みニューラルネットワーク(faster-RCNN)モデル、リカレントニューラルネットワーク(RNN)モデル、生成的敵対ネットワーク(GAN)モデルであってもよいが、これらに限定されなく、当業者が知っている他のニューラルネットワークモデルを利用してもよい。
この実施形態では、上記の欠陥製品において欠陥ピクチャのタイプに基づいて上記の初期モデルを決定することができる。具体的に、この実施形態では、実際のサービス要件に応じて、工程又は製品タイプの画像に基づいて異なる又は同じ初期モデルを選択することができ、例えば、サンプルデータセットにおける画像が中間サイトの画像である場合、初期モデルが畳み込みニューラルネットワーク(CNN)モデルであり、サンプルデータセットにおける画像が最終サイトの画像である場合、初期モデルが畳み込みニューラルネットワーク(CNN)モデル、目標検出畳み込みニューラルネットワーク(faster-RCNN)モデルであり、この実施例では特に限定されない。
ステップS330において、前記特徴情報に基づいてトレーニングパラメータを構成し、
この実施例では、トレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーを含み、ここで、上記の特徴情報に基づいてトレーニングパラメータを構成することは、特徴情報におけるサンプル数に基づいて学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーを構成することであってもよい。ここで、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。
この実施例では、トレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーを含み、ここで、上記の特徴情報に基づいてトレーニングパラメータを構成することは、特徴情報におけるサンプル数に基づいて学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーを構成することであってもよい。ここで、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。
具体的に、ここで、上記のトレーニングの総ラウンド数が上記のサンプル数に正相関し、例えば、サンプル数が10000以下である場合、トレーニングの総ラウンド数を300000として構成し、サンプル数が10000よりも大きい場合、以下の総ラウンド数の決定式を利用してトレーニングの総ラウンド数を構成し、ここで、総ラウンド数の決定式は、Y=300000+INT(X/10000)×bであり、Yがトレーニングの総ラウンド数を示し、Xがサンプル数を示し、Xが10000以上であり、INTが丸め関数であり、bが成長因子で固定値であり、bが30000以上、70000以下である。この実施例では、bの値が50000であってもよいし、60000であってもいが、この実施形態ではこれに限定されない。この実施形態では、上記のサンプル数とトレーニングの総ラウンド数とのマッピング関係は、複数の試験により得られた最適化の結果であってもよいし、ユーザの要求に応じて定義されたものであってもよいが、この実施形態ではこれに限定されない。
この実施形態では、学習率の降下時のラウンド数は、トレーニングの総ラウンド数に正相関し、ここで、テスト時のラウンド数が第1の次学習率降下時のラウンド数の以上、トレーニング総ラウンド数以下であり、学習率の降下回数が複数回であり、2回目の学習率の降下ラウンド数の所定のラウンド数範囲において少なくとも2回のテストを行い、2回のテストを行ってもよく、3回以上のテストを行ってもよいが、この実施形態ではこれに限定されない。トレーニング時に複数回の学習率降下を行い、複数の降下後に結果が最適である降下回数を選定し、得られた目標モデルの精度を向上させ、さらに、欠陥検出に対する精度を向上させ、さらに、トレーニング過程においてモデルに対して複数のテストを行って、テスト結果が最適であるモデルを目標モデルとして選定し、さらに、欠陥検出に対する正確性を向上させる。
この実施形態では、上記の学習率の降下方式は、分割定数減衰、指数減衰、自然指数減衰、余弦減衰などであってもよいが、この実施形態ではこれに限定されない、ここで、上記の学習率の降下幅が上記の学習率の降下に関連し、且つ、構成された上記の学習率の降下方式における各パラメータに関連し、例えば、0.1、0.05等に直接設定してもよいが、この実施例では特に限定されない。
本開示の一実施形態では、上記の特徴情報は、サンプルデータセットにおける前記欠陥製品のピクチャのサイズ、タイプを含み、上記の特徴情報に基づいてトレーニングパラメータを構成することは、さらに、上記のピクチャのサイズ、タイプに基づいて初期モデルに入力される入力画像のサイズを構成することを含む。
具体的に、前記欠陥製品のピクチャのタイプがAOIカラー画像又はDM画像である場合、入力画像のサイズが欠陥製品のピクチャのサイズの第1のプリセット倍数であり、前記欠陥製品のピクチャのタイプがTDI画像である場合、入力画像のサイズが欠陥製品のピクチャのサイズの第2のプリセット倍数であり、前記第1のプリセット倍数が1以下であり、前記第2のプリセット倍数が1以上である。
この実施形態では、上記の第1のプリセット倍数が0.25以上、0.6以下であってもよく、前記第2のプリセット倍数が3以上、6以下であってもよく、例えば、入力画像のサイズの技術仕様は、主にデータセットの名称、即ちデータセットが属する画像タイプ及びサイトなどによって決定され、ここで、SD&Final&maskサイトのAOIカラー画像では、元のピクチャサイズが平均2000*2000なので、その入力ピクチャのサイズは500、688、864、1000、1200のいずれかである。tdiのグレースケール画像は、元のピクチャサイズが平均で64*64なので、その入力ピクチャのサイズは192、208、224、240、256のいずれかである。入力ピクチャのサイズの大きさも、ユーザのニーズに応じてカスタマイズ可能であり、この実施例では特に限定されない。
他の実施例では、例えば、入力ピクチャのサイズの技術仕様は、主にデータセットの名称、即ちデータセットが属する画像タイプ及びサイトなどによって決定され、ここで、SD&Final&maskサイトのAOIカラー画像では、元のピクチャサイズが平均2000*2000なので、その入力ピクチャのサイズは500、688、864、1000、1200のうちの複数である。tdiのグレースケール画像は、元のピクチャサイズが平均で64*64なので、その入力ピクチャのサイズは192、208、224、240、256のうちの複数である。入力画像の数が、元の画像の数よりも大きく、この時、サンプル数は、上記の入力画像の数であってもよい。
本開示の一実施形態では、特徴情報は、さらに、上記の欠陥製品の欠陥レベル及び各種の欠陥に対応するサンプル数を含み、トレーニングパラメータがさらに信頼度を含み、ここで、各種の欠陥に対応するサンプル数及び前記欠陥レベルに基づいてトレーニング過程における信頼度を構成することができる。
具体的に、まず、所定数を設定し、上記の各種の欠陥に対応するサンプル数と所定数の大きさを判断し、上記の欠陥に対応するサンプル数が所定数よりも大きい場合、前記欠陥レベルに基づいて信頼度を構成する。ここで、上記の欠陥レベルが第1の欠陥レベル及び第2の欠陥レベルを含み、上記の欠陥の欠陥レベルが第1の欠陥レベルである場合、前記信頼度を第1の信頼度として構成し、上記の欠陥の欠陥レベルが第2の欠陥レベルである場合、前記信頼度を第2の信頼度として構成し、ここで、上記の第2の信頼度が上記の第1の信頼度よりも大きい。
この実施形態では、上記の所定数は、50、100等であってもよく、ユーザの要求に応じて定義されてもよいが、この実施形態ではこれに限定されない。ここで、第1の信頼度は、0.6以上、0.7以下であり、前記第2の信頼度は、0.8以上、0.9以下である、上記の第1の信頼度和第2の信頼度の値は、ユーザの要求に応じて定義されるが、この実施形態ではこれに限定されない。
例えば、発生率が高く重要度の低い欠陥、すなわち欠陥レベルの低い欠陥については、信頼度を低く設定することができ、例えば、欠陥のないPI820や軽微な欠陥のPI800については、信頼度を0.6とし、すなわち、この図では、PI800又はPI820について確率の得点が0.6を超えていれば欠陥のあると判定することができる。発生率は低く、重要度の高い欠陥、つまり欠陥レベルが高い欠陥については、より高い信頼度を設定でき、たとえば、深刻な欠陥であるGT011及びSD011の場合、信頼度を0.85とし、即ち、この図では、GT011又はSD011の確率スコアが0.6を超えた場合のみ該欠陥と判断される。他の信頼度の低い図については、すべてunknow(AIが認識していない)と判定され、判定漏れを防ぐために手動処理を行う。
本開示の一実施形態では、上記の特徴情報に基づいて上記のトレーニングパラメータに対する構成を行った後、上記の方法は、さらに、1つのトレーニングパラメータの表示インターフェースを生成することを含み、且つ、トレーニングパラメータの表示インターフェースにパラメータ変更アイコンが設けられ、ユーザが上記のパラメータ変更アイコンをトリガーした後、変更可能なパラメータを表示し、ユーザは、変更インターフェースで上記に構成されたたトレーニングパラメータを変更することができる。
ステップS340において、前記サンプルデータセットを利用し、前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得し、
本開示の一実施形態では、上記のトレーニングパラメータに対する構成及び変更を行った後、上記のサンプルデータセットを利用して上記の取得された初期モデルをトレーニングして目標モデルを取得することができる。
本開示の一実施形態では、上記のトレーニングパラメータに対する構成及び変更を行った後、上記のサンプルデータセットを利用して上記の取得された初期モデルをトレーニングして目標モデルを取得することができる。
該目標モデルは、主に深層学習に基づくニューラルネットワークモデルである。例えば、目標モデルは、フィードフォワードニューラルネットワークに基づいている場合がある。フィードフォワードネットワークは、ノードが層に配置されたリングなし図として実装できる。通常、フィードフォワードネットワークトポロジには、少なくとも1つの隠れ層によって分離された入力層と出力層が含まれる。隠れ層は、入力層が受け取った入力を、出力層で出力を生成するのに役立つ表現に変換する。ネットワークノードは、エッジを介して隣接する層のノードに完全に接続されているが、各層内のノード間にエッジがない。フィードフォワードネットワークの入力層のノードで受信されたデータは、係り数(「重み」)に基づいてネットワークの各連続層のノードの状態を計算する活性化関数を介して、出力層のノードに伝播(つまり、「フィードフォワード」)され、前記係り数は、これらの層を接続する各エッジにそれぞれ関連付けられている。目標モデルの出力は、本開示によって限定されない様々な形態をとることができる。目標モデルは、さらに、他のニューラルネットワークモデルを含んでもよく、例えば、畳み込みニューラルネットワーク(CNN)モデル、リカレントニューラルネットワーク(RNN)モデル、生成的敵対ネットワーク(GAN)モデル、これらに限定されなく、当業者が知っている他のニューラルネットワークモデルを利用してもよい。
サンプルデータを用いた上記のトレーニングは、ネットワークトポロジーを選択するステップと、ネットワークによってモデル化される問題を表すトレーニングデータセットを用いるステップと、ネットワークモデルがトレーニングデータセットのすべてのインスタンスに対して最小限の誤差で動作するまで重みを調整するステップとを含むことができる。例えば、ニューラルネットワークの監督式の学習のトレーニング過程では、トレーニングデータセットのインスタンスを表す入力に応答してネットワークが生成した出力が、そのインスタンスの「正しい」とマークする出力と比較され、前記出力とマークされた出力との差を表す誤差信号が算出され、誤差信号を後方に伝搬させ前記ネットワークの層を通す時に、前記接続に関連する重みを調整し、前記誤差を最小にする。トレーニングデータセットのインスタンスから生成された各出力の誤差が最小になったとき、この初期モデルは「トレーニング済み」とみなされ、目標モデルと定義される。
この実施例では、初期モデルのトレーニング中に、上記欠陥検出方法は、上記トレーニング過程中の損失曲線を取得することをさらに含み、その後、上記損失曲線に従って上記トレーニングパラメータが調整されてもよい。具体的には、図4を参照して、損失曲線の横座標がトレーニングラウンド数、縦座標が損失値であり、モデルのトレーニング過程中、この損失曲線はトレーニング中の状態に応じてリアルタイムに更新され、ユーザは損失曲線を観察し、その状態に応じてトレーニングパラメータを調整することが可能である。具体的には、損失曲線が常に乱れ、降下傾向を示さない場合は、トレーニングパラメータが適切に構成されていないと判定され、トレーニングを中止し、学習率パラメータ及び学習率の降下ポリシーを再調整して再トレーニングする必要があり、損失曲線が徐々に降下する場合は、継続して観察し、トレーニングを中止するか、次のトレーニングで初期学習率を上げる必要があり、トレーニング終了後も損失曲線に降下傾向が見られる場合は(正常は最終に平滑化するはず)、トレーニングが終了した後、最大トレーニングラウンド数を増やし、再トレーニングを行う。
本開示の一実施形態では、テストポリシーに従って、トレーニングラウンド数に達しテスト時のラウンド数に達したモデルを参照モデルとして出力し、複数の参照モデルの正確率及びリコール率に基づいて、複数の参照モデルから目標モデルを選択し、さらに、各参照モデルの各欠陥に対応する正確率及びリコール率を取得し、各欠陥に対応する正確率及びリコール率に基づいて、各参照モデルの混同行列を取得し、上記の混同行列に基づいて上記の目標モデルを取得する。上記の目標モデルを決定する際には、各参照モデルのF1スコアを取得し、F1スコアと混同行列を参照して上記の目標モデルを取得することも可能であり、この実施例では特に限定されるものではない。
具体的に、上記の混同行列における複数の参照モデルの正確率、リコール率に基づいて最適の参照モデルを上記の目標モデルとして選定し、例えば、正確率及びリコール率が最大である参照モデルを上記の目標モデルとして選定するが、この実施形態ではこれに限定されない。
本開示の一実施態様において、上記方法は、混同行列に基づいて信頼度を修正することをさらに含んでもよく、具体的には、混同行列の各欠陥の正確率及びリコール率を詳細に分析し、モデルのオンライン後の信頼度を特定のサービス要件と関連付けて調整し、それにより特定の欠陥に対するライブモデルの正確度及びリコール率を調整してもよい。例えば、現在の混同行列におけるPI800のリコール率は0.90であり、該リコール率は信頼度0.8のデフォルトで生成され、PI800は重要ではない欠陥なので、適度な過判定は許容され、生産ラインにおけるこの欠陥のリコール率を改善するために、モデルのオンライン時にはPI800の信頼度0.6~0.7に設定し、これにより生産中のPI800のリコール率が0.91-0.92に向上され、それに伴い生産中のPI800の精度は0.01-0.02に低下し、リコール率の増加により図化担当者の作業負担を軽減することができる。そのため、ユーザは、混同行列と生産要件に応じて、モデルオンライン前に混同行列の詳細な分析を行うことで、各欠陥の信頼度をカスタマイズすることができる。
ステップS350において、前記サンプルデータセットに対応する欠陥製品の実データを前記目標モデルに入力して前記欠陥製品の欠陥情報を取得する。
この実施形態では、上記の目標モデルを得た後、サンプルデータに対応する製品の実データを上記の目標モデルに伝送し、上記の目標モデルを利用して上記の製品の欠陥情報を取得する。ここで、製品の実データは、サンプルデータセットにおける製品欠陥データに対応する検出される製品のデータを含む。
本開示は、また、モデルトレーニング方法を提供し、図5に示すように、以下のステップを含み、
ステップS510において、欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別し、前記特徴情報が前記サンプルデータセットのサンプル数を含み、
ステップS520において、初期モデルを取得し、前記初期モデルがニューラルネットワークモデルであり、
ステップS530において、前記特徴情報に基づいてトレーニングパラメータを構成し、
ステップS540において、前記サンプルデータセットを利用して前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得し、前記目標モデルが前記サンプルデータセットに対応する製品の実データに対して欠陥検出を行うために使用され、
前記トレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも1つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。
ステップS510において、欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別し、前記特徴情報が前記サンプルデータセットのサンプル数を含み、
ステップS520において、初期モデルを取得し、前記初期モデルがニューラルネットワークモデルであり、
ステップS530において、前記特徴情報に基づいてトレーニングパラメータを構成し、
ステップS540において、前記サンプルデータセットを利用して前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得し、前記目標モデルが前記サンプルデータセットに対応する製品の実データに対して欠陥検出を行うために使用され、
前記トレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも1つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。
ステップS510において、サンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別し、前記特徴情報が前記サンプルデータセットのサンプル数を含む。
本開示の一実施形態では、この実施形態では、ここで、上記のサンプルデータセットの特徴情報は、サンプルデータにおける欠陥製品のピクチャのタイプ、サイズ等を含み、又は、上記のサンプルデータのサンプル数を含み、サンプル数は、10000、20000等であってもよく、ユーザの要求に応じて定義されてもいが、この実施形態ではこれに限定されない。
ステップS520において、初期モデルを取得し、前記初期モデルがニューラルネットワークモデルであり、
この実施形態では、初期モデルは、畳み込みニューラルネットワーク(CNN)モデル、目標検出畳み込みニューラルネットワーク(faster-RCNN)モデル、リカレントニューラルネットワーク(RNN)モデル、生成的敵対ネットワーク(GAN)モデルであってもよいが、これらに限定されなく、当業者が知っている他のニューラルネットワークモデルを利用してもよい。
この実施形態では、初期モデルは、畳み込みニューラルネットワーク(CNN)モデル、目標検出畳み込みニューラルネットワーク(faster-RCNN)モデル、リカレントニューラルネットワーク(RNN)モデル、生成的敵対ネットワーク(GAN)モデルであってもよいが、これらに限定されなく、当業者が知っている他のニューラルネットワークモデルを利用してもよい。
この実施形態では、上記の欠陥製品において欠陥ピクチャのタイプに基づいて上記の初期モデルを決定することができる。具体的には、この実施例では、実際のサービス要件に応じて、最終サイト画像(SD_final site)、中間サイト画像(mask site)、tdiグレースケール画像の3タイプの画像が関与していてもよく、異なる画像に基づいて異なる初期モデルを選択してもよく、例えば、サンプルデータセットの画像が中間サイト画像である場合、初期モデルは、畳み込みニューラルネットワーク(CNN)モデルであり、サンプルデータセットの画像が最終サイト画像である場合、初期モデルは、畳み込みニューラルネットワーク(CNN)モデル、目標検出畳み込みニューラルネットワーク(faster-RCNN)モデルであってもよいが、この実施例において特に限定されない。
ステップS530において、前記特徴情報に基づいてトレーニングパラメータを構成する。
この実施例では、トレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーを含み、ここで、上記の特徴情報に基づいてトレーニングパラメータを構成することは、特徴情報におけるサンプル数に基づいて学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーを構成することであってもよい。ここで、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。
具体的に、ここで、上記のトレーニングの総ラウンド数が上記のサンプル数に正相関し、例えば、サンプル数が10000以下である場合、トレーニングの総ラウンド数を300000として構成し、サンプル数が10000よりも大きい場合、以下の総ラウンド数の決定式を利用してトレーニングの総ラウンド数を構成し、ここで、総ラウンド数の決定式は、Y=300000+INT(X/10000)×bであり、Yがトレーニングの総ラウンド数を示し、Xがサンプル数を示し、Xが10000以上であり、INTが丸め関数であり、bが成長因子で固定値であり、bが30000以上、70000以下である。この実施例では、bの値が50000であってもよいし、60000であってもいが、この実施形態ではこれに限定されない。この実施形態では、上記のサンプル数とトレーニングの総ラウンド数とのマッピング関係は、複数の試験により得られた最適化の結果であってもよいし、ユーザの要求に応じて定義されたものであってもよいが、この実施形態ではこれに限定されない。
この実施形態では、学習率の降下時のラウンド数は、トレーニングの総ラウンド数に正相関し、ここで、テスト時のラウンド数が第1の次学習率降下時のラウンド数の以上、トレーニング総ラウンド数以下であり、学習率の降下回数が複数回であり、2回目の学習率の降下ラウンド数の所定のラウンド数範囲において少なくとも2回のテストを行い、2回のテストを行ってもよく、3回以上のテストを行ってもよいが、この実施形態ではこれに限定されない。トレーニング時に複数回の学習率降下を行い、複数の降下後に結果が最適である降下回数を選定し、得られた目標モデルの精度を向上させ、さらに、欠陥検出に対する精度を向上させ、さらに、トレーニング過程においてモデルに対して複数のテストを行って、テスト結果が最適であるモデルを目標モデルとして選定し、さらに、欠陥検出に対する正確性を向上させる。
この実施形態では、上記の学習率の降下方式は、分割定数減衰、指数減衰、自然指数減衰、余弦減衰などであってもよく、この実施形態ではこれに限定されない、ここで、上記の学習率の降下幅が上記の学習率の降下に関連し、且つ、構成された上記の学習率の降下方式における各パラメータに関連し、例えば、0.1、0.05等に直接設定してもよいが、この実施例では特に限定されない。
具体的には、上記の欠陥検出方法における構成方法を参照し、ここで説明を省略する。
ステップS540において、前記サンプルデータセットを利用して前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得し、前記目標モデルが前記サンプルデータセットに対応する製品の実データに対して欠陥検出を行うために使用される。
本開示の一実施形態では、上記のトレーニングパラメータに対する構成及び変更を行った後、上記のサンプルデータセットを利用して上記の取得された初期モデルをトレーニングして目標モデルを取得することができる。
該目標モデルは、主に深層学習に基づくニューラルネットワークモデルである。例えば、目標モデルは、フィードフォワードニューラルネットワークに基づいている場合がある。フィードフォワードネットワークは、ノードが層に配置されたリングなし図として実装できる。通常、フィードフォワードネットワークトポロジには、少なくとも1つの隠れ層によって分離された入力層と出力層が含まれる。隠れ層は、入力層が受け取った入力を、出力層で出力を生成するのに役立つ表現に変換する。ネットワークノードは、エッジを介して隣接する層のノードに完全に接続されているが、各層内のノード間にエッジがない。フィードフォワードネットワークの入力層のノードで受信されたデータは、係り数(「重み」)に基づいてネットワークの各連続層のノードの状態を計算する活性化関数を介して、出力層のノードに伝播(つまり、「フィードフォワード」)され、前記係り数は、これらの層を接続する各エッジにそれぞれ関連付けられている。目標モデルの出力は、本開示によって限定されない様々な形態をとることができる。目標モデルは、さらに、他のニューラルネットワークモデルを含んでもよく、例えば、畳み込みニューラルネットワーク(CNN)モデル、リカレントニューラルネットワーク(RNN)モデル、生成的敵対ネットワーク(GAN)モデル、これらに限定されなく、当業者が知っている他のニューラルネットワークモデルを利用してもよい。
サンプルデータを用いた上記のトレーニングは、ネットワークトポロジーを選択するステップと、ネットワークによってモデル化される問題を表すトレーニングデータセットを用いるステップと、ネットワークモデルがトレーニングデータセットのすべてのインスタンスに対して最小限の誤差で動作するまで重みを調整するステップとを含むことができる。例えば、ニューラルネットワークの監督式の学習のトレーニング過程では、トレーニングデータセットのインスタンスを表す入力に応答してネットワークが生成した出力が、そのインスタンスの「正しい」とマークする出力と比較され、前記出力とマークされた出力との差を表す誤差信号が算出され、誤差信号を後方に伝搬させ前記ネットワークの層を通す時に、前記接続に関連する重みを調整し、前記誤差を最小にする。トレーニングデータセットのインスタンスから生成された各出力の誤差が最小になったとき、この初期モデルは「トレーニング済み」とみなされ、目標モデルと定義される。
この実施例では、初期モデルのトレーニング中に、上記欠陥検出方法は、上記トレーニング過程中の損失曲線を取得することをさらに含み、その後、上記損失曲線に従って上記トレーニングパラメータが調整されてもよい。具体的には、図4を参照して、損失曲線の横座標がトレーニングラウンド数、縦座標が損失値であり、モデルのトレーニング過程中、この損失曲線はトレーニング中の状態に応じてリアルタイムに更新され、ユーザは損失曲線を観察し、その状態に応じてトレーニングパラメータを調整することが可能である。具体的には、損失曲線が常に乱れ、降下傾向を示さない場合は、トレーニングパラメータが適切に構成されていないと判定され、トレーニングを中止し、学習率パラメータ及び学習率の降下ポリシーを再調整して再トレーニングする必要があり、損失曲線が徐々に降下する場合は、継続して観察し、トレーニングを中止するか、次のトレーニングで初期学習率を上げる必要があり、トレーニング終了後も損失曲線に降下傾向が見られる場合は(正常は最終に平滑化するはず)、トレーニングが終了した後、最大トレーニングラウンド数を増やし、再トレーニングを行う。
本開示の一実施形態では、テストポリシーに従って、トレーニングラウンド数に達しテスト時のラウンド数に達したモデルを参照モデルとして出力し、複数の参照モデルの正確率及びリコール率に基づいて、複数の参照モデルから目標モデルを選択し、さらに、各参照モデルの各欠陥に対応する正確率及びリコール率を取得し、各欠陥に対応する正確率及びリコール率に基づいて、各参照モデルの混同行列を取得し、上記の混同行列に基づいて上記の目標モデルを取得する。上記の目標モデルを決定する際には、各参照モデルのF1スコアを取得し、F1スコアと混同行列を参照して上記の目標モデルを取得することも可能であり、この実施例では特に限定されるものではない。
具体的に、上記の混同行列における複数の参照モデルの正確率、リコール率に基づいて最適の参照モデルを上記の目標モデルとして選定し、例えば、正確率及びリコール率が最大である参照モデルを上記の目標モデルとして選定するが、この実施形態ではこれに限定されない。初期モデルのトレーニングの詳細は、欠陥検出方法において初期モデルのトレーニングを参照することができ、ここで説明を省略する。
本開示は、また、モデルトレーニング方法を提供し、図6に示すように、該モデルトレーニング方法は、以下のステップを含み、
ステップS610において、ユーザがサンプルデータセットのパラメータに対する構成操作に応答し、欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別し、前記特徴情報が前記サンプルデータセットのサンプル数を含み、
ステップS620において、初期モデルを取得し、前記初期モデルがニューラルネットワークモデルであり、
ステップS630において、前記特徴情報に基づいてトレーニングパラメータを構成し、トレーニングパラメータの表示インターフェースを生成し、
ステップS640において、前記サンプルデータセットを利用して前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得し、前記目標モデルが前記サンプルデータセットに対応する製品の実データに対して欠陥検出を行うために使用される。
ステップS610において、ユーザがサンプルデータセットのパラメータに対する構成操作に応答し、欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別し、前記特徴情報が前記サンプルデータセットのサンプル数を含み、
ステップS620において、初期モデルを取得し、前記初期モデルがニューラルネットワークモデルであり、
ステップS630において、前記特徴情報に基づいてトレーニングパラメータを構成し、トレーニングパラメータの表示インターフェースを生成し、
ステップS640において、前記サンプルデータセットを利用して前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得し、前記目標モデルが前記サンプルデータセットに対応する製品の実データに対して欠陥検出を行うために使用される。
前記トレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも1つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。
以下、上記の各ステップを詳細に説明する。
ステップS610において、ユーザがサンプルデータセットのパラメータに対する構成操作に応答し、欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別し、前記特徴情報が前記サンプルデータセットのサンプル数を含む。
本開示の一実施形態では、ユーザがサンプルデータセットのパラメータに対する構成操作に応答し、サンプルデータを取得し、例えば、グラフィックスユーザーインターフェースで複数の欠陥に対応するサンプルデータ、及び該サンプルデータに対応して取得したアイコンを表示し、ユーザが上記の取得アイコンをトリガーする場合、上記のアイコンに対応するサンプルデータを取得する。
この実施形態では、図20に示すように、ユーザのタスク確立操作に応答し、トレーニングタスクを確立し、前記サンプルデータセットのパラメータ構成インターフェースを生成し、ここで、ユーザは、上記のパラメータ構成インターフェースでサンプルデータセットについてのパラメータを構成することができ、
ここで、サンプルデータセットのパラメータは、部門、セクション、サイト、ピクチャタイプ、製品、トレーニングタイプなどを含むことができ、ユーザのパラメータ構成操作に応答して、サンプルデータのパラメータに対応するサンプルデータセットを自動的に取得し、上記サンプルデータにおける特徴情報を識別することができる。他の実施例では、サンプルデータを取得した後、上記サンプルデータセットのパラメータに基づいて、サンプルデータセットに対応するトレーニングタスクを作成することができるが、この実施例では特に限定されない。
ここで、サンプルデータセットのパラメータは、部門、セクション、サイト、ピクチャタイプ、製品、トレーニングタイプなどを含むことができ、ユーザのパラメータ構成操作に応答して、サンプルデータのパラメータに対応するサンプルデータセットを自動的に取得し、上記サンプルデータにおける特徴情報を識別することができる。他の実施例では、サンプルデータを取得した後、上記サンプルデータセットのパラメータに基づいて、サンプルデータセットに対応するトレーニングタスクを作成することができるが、この実施例では特に限定されない。
上記のサンプルデータセットにおける特徴情報の取得は、上記の内容を参照し、ここで説明を省略する。
ステップS620において、初期モデルを取得し、前記初期モデルがニューラルネットワークモデルであり。
この実施形態では、初期モデルを取得することは、欠陥検出方法の説明を参照し、ここで説明を省略する。
ステップS630において、前記特徴情報に基づいてトレーニングパラメータを構成し、トレーニングパラメータの表示インターフェースを生成し、
本開示の一実施形態では、前記特徴情報に基づいてトレーニングパラメータを構成することは、上記の欠陥検出方法の内容を参照し、ここで説明を省略する。
本開示の一実施形態では、前記特徴情報に基づいてトレーニングパラメータを構成することは、上記の欠陥検出方法の内容を参照し、ここで説明を省略する。
本開示の一実施形態では、図20に示すように、上記のサンプル構成インターフェースにトレーニングパラメータ閲覧アイコンが含まれ、サーバーは、ユーザがトレーニングパラメータ閲覧アイコントに対するリガー操作に応答し、上記のトレーニングパラメータの表示インターフェースを生成する。他の実施例では、図7に示すように、上記のトレーニングパラメータの構成を行った後、トレーニングパラメータの表示インターフェースを直接に生成し、ここで、トレーニングパラメータの表示インターフェースに上記の各トレーニングパラメータの構成情報及びパラメータ変更アイコンが含まれる。
ここで、上記のトレーニングパラメータは、トレーニングの総ラウンド数、学習率の降下ポリシー、テストポリシー、信頼度、前記初期モデルに入力する画像のサイズを含み、他のパラメータを含むことができるが、この実施形態ではこれに限定されない。
この実施形態では、上記のトレーニングの総ラウンド数、学習率の降下ポリシー、テストポリシー、信頼度、前記初期モデルに入力する画像のサイズは、上記の欠陥検出方法の説明を参照し、ここで説明を省略する。
この実施形態では、図7を参照し、サーバーは、ユーザが上記のパラメータ変更アイコンに対するトリガー操作に応答し、上記のトレーニングパラメータを変更し、上記の変更アイコンをトリガーした後、各トレーニングパラメータを変更可能状態になり、決定アイコンを生成し、ユーザは、上記の決定アイコンをトリガーした後、上記のトレーニングパラメータに対する変更を終了する。トレーニングパラメータに対して、インタラクションインターフェースを介して変更し、コードを直接変更する必要がなく、プログラムを分からないシステムの運用保守要員による操作を容易にし、利便性を向上する。
本開示の一実施形態では、特徴情報は、さらに、上記の欠陥製品の欠陥レベル及び各種の欠陥に対応するサンプル数を含み、トレーニングパラメータがさらに信頼度を含み、ここで、各種の欠陥に対応するサンプル数及び前記欠陥レベルに基づいてトレーニング過程における信頼度を構成することができ、ここで、上記のパラメータの表示インターフェースに信頼度の構成アイコンがさらに含まれる。
この実施形態では、図8に示すように、ユーザが信頼度の構成アイコンに対するトリガー操作に応答し、信頼度の構成インターフェースを生成し、ここで、信頼度の構成インターフェースに各欠陥に対応するサンプル数及び各欠陥に対応する選定アイコンが含まれ、信頼度の構成インターフェースは、ユーザが選定アイコンに対する決定操作に応答するために使用され、選定操作に対応する欠陥の信頼度を構成し、具体的に、ユーザが上記の信頼度の構成インターフェースにおけるサンプル数が所定数の欠陥よりも大きい選定アイコンに対する決定操作に応答し、欠陥レベルに基づいて信頼度を構成する。ここで、上記の欠陥レベルが第1の欠陥レベル及び第2の欠陥レベルを含み、上記の欠陥の欠陥レベルが第1の欠陥レベルである場合、前記信頼度を第1の信頼度として構成し、上記の欠陥の欠陥レベルが第2の欠陥レベルである場合、前記信頼度を第2の信頼度として構成し、ここで、上記の第2の信頼度が上記の第1の信頼度よりも大きい。
この実施形態では、上記の所定数は、50、100等であり、ユーザの要求に応じて定義されてもよいが、この実施形態ではこれに限定されない。ここで、第1の信頼度は、0.6以上、0.7以下であり、前記第2の信頼度は、0.8以上、0.9以下であり、上記の第1の信頼度と第2の信頼度の値は、ユーザの要求に応じて定義されてもいが、この実施形態ではこれに限定されない。
例えば、発生率が高く重要度の低い欠陥、すなわち欠陥レベルの低い欠陥については、信頼度を低く設定することができ、例えば、欠陥のないPI820や軽微な欠陥のPI800については、信頼度を0.6とし、すなわち、この図では、PI800又はPI820について確率の得点が0.6を超えていれば欠陥のあると判定することができる。発生率は低く、重要度の高い欠陥、つまり欠陥レベルが高い欠陥については、より高い信頼度を設定でき、たとえば、深刻な欠陥であるGT011及びSD011の場合、信頼度を0.85とし、即ち、この図では、GT011又はSD011の確率スコアが0.6を超えた場合のみ該欠陥と判断される。他の信頼度の低い図については、すべてが認識していないと判定され、判定漏れを防ぐために手動処理を行う。
ステップS640において、前記サンプルデータセットを利用して前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得し、前記目標モデルが前記サンプルデータセットに対応する製品の実データに対して欠陥検出を行うために使用される。
この実施形態では、トレーニングの過程は、上記の欠陥検出方法の説明を参照し、ここで説明を省略する。
本開示の一実施形態では、図9に示すように、上記の初期モデルをトレーニング行う時に、トレーニングスケジュールを生成し表示し、ここで、上記のトレーニングスケジュールは、タスク詳細アイコン及びタスク取消アイコンを含み、ユーザが上記のタスク詳細アイコンをトリガーする時に、トレーニング過程における損失曲線を生成し表示し、次に、ユーザは、上記の損失曲線に従って上記のトレーニングパラメータを調整することができる。
損失曲線に従ってトレーニングパラメータを調整することは、上記の欠陥検出方法の説明を参照し、ここで説明を省略する。この実施形態では、ユーザが上記のタスク取消アイコンをトリガーする時、上記の初期モデルに対するトレーニングを停止する。
本開示の一実施形態では、図10に示すように、
本開示の一実施形態では、テストポリシーに従って、トレーニングラウンド数に達しテスト時のラウンド数に達したモデルを参照モデルとして出力し、複数の参照モデルの正確率及びリコール率に基づいて、複数の参照モデルから目標モデルを選択し、さらに、各参照モデルの各欠陥に対応する正確率及びリコール率を取得し、各欠陥に対応する正確率及びリコール率に基づいて、各参照モデルの混同行列を取得し、上記の混同行列に基づいて上記の目標モデルを取得し、混同行列の表示インターフェースを生成し、上記の混同行列に基づいて上記の目標モデルを取得する。上記の目標モデルを決定する際には、各参照モデルのF1スコアを取得し、F1スコアと混同行列を参照して上記の目標モデルを求めることも可能であり、この実施例では特に限定されるものではない。
本開示の一実施形態では、テストポリシーに従って、トレーニングラウンド数に達しテスト時のラウンド数に達したモデルを参照モデルとして出力し、複数の参照モデルの正確率及びリコール率に基づいて、複数の参照モデルから目標モデルを選択し、さらに、各参照モデルの各欠陥に対応する正確率及びリコール率を取得し、各欠陥に対応する正確率及びリコール率に基づいて、各参照モデルの混同行列を取得し、上記の混同行列に基づいて上記の目標モデルを取得し、混同行列の表示インターフェースを生成し、上記の混同行列に基づいて上記の目標モデルを取得する。上記の目標モデルを決定する際には、各参照モデルのF1スコアを取得し、F1スコアと混同行列を参照して上記の目標モデルを求めることも可能であり、この実施例では特に限定されるものではない。
具体的に、図11に示すように、上記の混同行列における複数の参照モデルの正確率、リコール率に基づいて最適の参照モデルを上記の目標モデルとして選定し、具体的に、ユーザが上記の複数の参照モデルに対する選定操作に応答し、選定操作に対応する参照モデルを上記の目標モデルとして選定し、例えば、正確率及びリコール率が最大である参照モデルを上記の目標モデルとして選定し、この実施形態ではこれに限定されない。ユーザは、選択後に決定アイコンをクリックして目標モデルの決定を行う。
本開示の一実施形態では、ユーザは、ユーザが上記の信頼度に対する変更操作に応答し、混同行列に基づいて信頼度を更新することができ、
具体的には、混同行列の各欠陥の正確率及びリコール率を詳細に分析し、モデルのオンライン後の信頼度を特定のサービス要件と関連付けて調整し、それにより特定の欠陥に対するライブモデルの正確度及びリコール率を調整してもよい。例えば、現在の混同行列におけるPI800のリコール率は0.90であり、該リコール率は信頼度0.8のデフォルトで生成され、PI800は重要ではない欠陥なので、適度な過判定は許容され、生産ラインにおけるこの欠陥のリコール率を改善するために、モデルのオンライン時にはPI800の信頼度0.6~0.7に設定し、これにより生産中のPI800のリコール率が0.91-0.92に向上され、それに伴い生産中のPI800の精度は0.01-0.02に低下し、リコール率の増加により図化担当者の作業負担を軽減することができる。そのため、ユーザは、混同行列と生産要件に応じて、モデルオンライン前に混同行列の詳細な分析を行うことで、各欠陥の信頼度をカスタマイズすることができる。
具体的には、混同行列の各欠陥の正確率及びリコール率を詳細に分析し、モデルのオンライン後の信頼度を特定のサービス要件と関連付けて調整し、それにより特定の欠陥に対するライブモデルの正確度及びリコール率を調整してもよい。例えば、現在の混同行列におけるPI800のリコール率は0.90であり、該リコール率は信頼度0.8のデフォルトで生成され、PI800は重要ではない欠陥なので、適度な過判定は許容され、生産ラインにおけるこの欠陥のリコール率を改善するために、モデルのオンライン時にはPI800の信頼度0.6~0.7に設定し、これにより生産中のPI800のリコール率が0.91-0.92に向上され、それに伴い生産中のPI800の精度は0.01-0.02に低下し、リコール率の増加により図化担当者の作業負担を軽減することができる。そのため、ユーザは、混同行列と生産要件に応じて、モデルオンライン前に混同行列の詳細な分析を行うことで、各欠陥の信頼度をカスタマイズすることができる。
さらに、本開示は、また、欠陥検出システムを提供し、図12に示すように、上記のシステムは、データ管理モジュール1202、モデル管理モジュール1204及びトレーニング管理モジュール1203を含み、ここで、データ管理モジュール1202は、サンプルデータを記憶し管理するように構成され、トレーニング管理モジュール1203は、上記の欠陥検出方法及びモデルトレーニング方法を実行するように構成され、モデル管理モジュール1204は、前記目標モデルを記憶し表示し管理するように構成される。
本開示の一実施形態では、上記の欠陥検出システムは、さらに、ユーザ管理モジュールを含み、ここで、ユーザ管理モジュール1201は、ユーザ情報に対して追加、削除、変更、閲覧、権限管理及び/又はパスワード管理を行うように構成される。
図13を参照して、まず、上記システムは、BS又はCSアーキテクチャを採用しており、バックエンドサーバー1306、フロントエンドサーバー1303、及び共有ストレージ1304で構成され、オペレータ側の工場PC1307を用いてブラウザで操作することが可能である。ADCシステムにおいてトレーニングに関するタスクを担当するサブシステムとして、トレーニングシステムは、ADCシステムのデータマークシステム、TMSシステム、GPUサーバー(アルゴリズムシステム)と通信を行う。トレーニングシステムは、データマークシステム及びTMSシステムに接続され、TMSシステム1305に更新された目標モデル及び他の関連サービスを提供することができる。
トレーニングシステムは、データベースと共有ストレージ1304(NASネットワークストレージ)を介してデータマークシステム1302とデータと画像のインタラクションを行い、トレーニングシステムは、TCP/IPプロトコルを介して通信するためにGPUサーバー(アルゴリズムシステム)1301とインタラクションし、したがって、GPUサーバー1301がモデルトレーニングと自動テストを行うように制御し、トレーニングシステムは、FTPプロトコルを介してTMSシステム1305とモデルのデータ転送を行い、データベースを介したモデル情報の相互作用を行う。トレーニングシステムは、HTTPプロトコルを使用して、フロントエンドとバックエンドのサービス及びウェブインターフェースのインタラクションを行う。
具体的には、ユーザ管理モジュールは、システムのユーザ管理及びシステム情報管理モジュールであり、ユーザ情報の追加、削除、変更及び確認、権限管理、パスワード管理、システムに適用される作業部門、部門、及びサイトの追加、削除、変更及び確認の機能に使用される。ユーザ管理モジュールには、ユーザ情報とシステム情報を含めることができ、ユーザはユーザ名とパスワードを入力してトレーニングシステムに入ることができ、次に、完了したトレーニングモジュールにデフォルトで入り、ユーザが既存のモデルのトレーニングステータスを直接表示できると便利である。現在管理されているすべてのユーザを確認することができ、また、ユーザを追加、変更、及び削除できるシステムで権限管理を設定することもできる。
本開示の例示的な実施態様において、データ管理モジュールは、サンプルデータを保存及び管理するように構成され、深層学習AIアルゴリズムはデータ駆動型アプローチであるので、工場における生産プロセスの違い及びAOIキャプチャデバイスの違いにより、データタイプ内の差分及びタイプ間の差分が大きくなり、すべての問題を解決するのに一つの汎用モデルを用いることは困難である。そのため、特定のデータに対して個別にモデルをトレーニングさせることで、工場生産におけるリアルタイム推論サービスを包括的にカバーすることができる。
このデータセット管理モジュールは、これらのデータセットを統一された基準で処理することができるため、モデルのトレーニングが容易になる。データセット管理は、トレーニングデータセット管理と準備データセット管理に分けられ、準備データセット管理のデータはデータラベリングシステムによってマークされた元のデータであり、ユーザによる統計的検証の後、トレーニングデータ管理にインポートでき、トレーニングデータセット管理のデータは、対応するトレーニングタスクに直接送信でき、モデルトレーニングを行う。
具体的には、図14に示すように、データからシステムによりマークされたデータをマークし、データセット管理の用意データセット管理に自動的に同期(手動同期も可能)され、データセット管理で元のデータセットの同期と統計表示機能が実行できる。データセット管理では、主に各データセットに対応する製品、欠陥タイプ数、ピクチャ数、ピクチャの最小欠陥数、更新時間などの詳細が表示される。
データセット管理は、同期アイコンをクリックしてデータマークシステムによりマークされたデータを直接同期させ、手動で同期させることなく、システムが毎日のタイミングでデータ同期を行うことができる。また、統計アイコンをクリックすると、各データセットに含まれる欠陥のタイプ、各タイプのピクチャ数、分布表など、各データセットの詳細情報を得ることができる。
トレーニングデータセットの管理では、図15を参照して、上記準備データセットデータを統計やチャックしてから、行の作成、変更、ピクチャ管理などの機能を行って、データセットに対して一連の操作を行い、モデルをトレーニングすることができるサンプルデータセットを生成できる。
サンプルデータセットとモデルの間には対応関係があり、各サンプルデータセットを異なるトレーニングパラメータでトレーニングして、異なるモデルをトレーニングすることができ、ユーザは関連する指標に従ってモデルを選択できる。したがって、準備モデルトレーニングの最初のステップは、このインターフェースでトレーニングするモデルに対応する新しいサンプルデータセットを作成することである。
なお、欠陥検出システムのサンプルデータセットの名称に特定のルールがある。つまり、サンプルデータセットの特徴情報に基づいて、システムがトレーニングするトレーニングパラメータを自動的に設定することができる。サンプルデータセットの名称ももちろんデータセットの特徴であるため、サンプルデータセット名称の命名は、特定のルールに従う必要があり、命名ルールとしては、SD/Finalサイトモデルの場合、Sub欠陥モデルの名前を「product_製品名」、Main欠陥モデルの名前を「main欠陥_製品名」(製品名が2つの文字又は数字)とすることが考えられ、例えば、akのsub欠陥データセットはproduct_akであり、akのmain欠陥データセットはmain-欠陥_akという名前になる。
この実施形態では、Maskサイトモデルに対して、Maskサイトのsub欠陥モデルは「mask_サイト名」(サイト名は4文字又は数字)であり、Maskサイトにはmain欠陥モデルがない。例えば、1500サイトのモデルデータセットはmask_1500と命名される。
この実施形態では、TDIモデルについては、現在、SD/Finalサイトに適用され、main欠陥モデルない。命名規則は「tdi_tdiX」(Xは数字)である。例えば、従来品に対応するモデル名がtdi_tdi1である。
図16に示すように、部門、セクション、サイトを選択した後、サンプルデータセットの名称を前述の命名規則に従ってユーザがシステムに手入力する必要があり、入力が完了すると新規データセットが完成する。以上の変更アイコンをクリックした後、新しいデータセット名を入力し、決定をクリックするとデータセット名の変更が完了し、対応するサンプルデータセットの後にある削除アイコンをクリックすると、サンプルデータセットの削除が完了し、ここの削除は、このモジュールにインポートされたデータを削除し、図17に示すように、上の詳細アイコンをクリックすると、サンプルデータセットの場所、内部組織構造、ピクチャのプレビューなど、各サンプルデータセット内の詳細情報を表示する。ここで、中央の列はサンプルデータセット内のピクチャのディレクトリ構造で、右端の列は選択した欠陥カテゴリフォルダー内のピクチャリストで、ピクチャのプレビューと削除が可能である。
モデル管理モジュールは、前記目標モデルを記憶、表示、管理するように構成され、具体的には、図18を参照しながら説明する。目標モデルの名前変更、削除、詳細表示を含め、ユーザが詳細アイコンをクリックすると、モデル名、モデルのバージョン番号、モデルがオンラインかどうか、トレーナー者、トレーニング完了時間、モデルの正確率、リコール率、モデルパス等というあるモデルのすべてのバージョン情報が表示される。削除アイコンをクリックして、あるトレーニング済みの目標モデルを削除する。
トレーニング管理モジュールでは、トレーニングタスクの提出、トレーニングパラメータの適応構成、トレーニングタスクの管理、自動トレーニングテスト結果の表示を実現し、ここで、トレーニングパラメータの適応構成と自動トレーニングテストは、従来のトレーニングシステムにはない機能であり、この2つの機能により、アルゴリズムモデルトレーニングの難易度を大幅に下げ、アルゴリズムユーザが開発時に行ったパラメータ調整の経験をシステムロジックに書き込み、適応的なパラメータ調整と自動テストを実現することで、アルゴリズム開発を行わない運用保守要員やユーザでも、このモジュールを使って生産ラインの精度を実現できるモデルをトレーニングすることができる。トレーニング管理モジュールは、トレーニング済み、トレーニング中、キャンセルという3つのサブモジュールに分かれている。
この実施形態では、図19を参照する。トレーニングタスクは、「トレーニング済み」「トレーニング中」「キャンセル」のいずれの画面でも、新規アイコンをクリックすることでトレーニングタスクを提出することができる。なお、トレーニングタスクは、対応するサンプルデータセットが作成されている場合、又は上記トレーニングタスクに関連するサンプルデータセットが上記トレーニングタスクに従ってシステムから直接取得された場合にのみ提出できることである。
モデルトレーニングを容易にするため、図20に示すように、欠陥検出システムが位置する複雑な生産シナリオ、タイプ内、タイプ間の差分が大きいというデータ特徴に対して、トレーニングシステムがデータセットの特性に基づいてトレーニングパラメータを自動設定する機能を備えている。「サイト」、「ピクチャタイプ」、「製品」(製品の命名規則は下表を参照)、「トレーニングタイプ」を選択した後、「トレーニングパラメータ」をクリックして変更を確認し、数秒待った後、モデルの関連する構成パラメータが自動的にポップアップ表示され、詳細については、図7に示されている内容を参照する。
製品名の命名規則は、表1を参照し、関連するデータセット、初期モデル(オプション)、入力モデル名(オプション)を選択し、トレーニングタイプが主にmain欠陥及びsub欠陥(トレーニングタイプとピクチャタイプの対応関係を表2に示す)、トレーニングパラメータを変更した後、決定をクリックする。
図7及び図8を参照すると、インターフェース上の欠陥構成アイコンをクリックする必要があり、ポップアップされたインターフェースにおいて、データセットのピクチャに応じてチェックを入れ、必要に応じて信頼度を変更する。具体的なチェックは、所定数以上のサンプルが選択され、ここで、所定数については、上記欠陥検出方法において詳細に説明されているので、ここで説明を省略する。
この実装形態では、図8に示すようなページがポップアップされると、システムは、アルゴリズムユーザの経験に基づいて、個々の欠陥信頼度のデフォルト値を与え、これらのデフォルト値は、サービスから提供された欠陥の重要性と発生率に基づき、複数のテストによって決定される。発生率が高く、重要度が低い特定の欠陥については、信頼度がある程度に緩める。
例えば、欠陥のないPI820や軽微な欠陥のPI800については、信頼度を0.6とし、すなわち、この図では、PI800又はPI820について確率の得点が0.6を超えていれば欠陥のあると判定することができる。発生率は低く、重要度の高い欠陥に対して、信頼度を厳しく処理し、たとえば、深刻な欠陥であるGT011及びSD011の場合、信頼度を0.85とし、即ち、この図では、GT011又はSD011の確率スコアが0.6を超えた場合のみ該欠陥と判断される。他の信頼度の低い図については、すべてunknow(AIが認識していない)と判定され、判定漏れを防ぐために手動処理を行う。
前述のように、ポップアップするすべての欠陥に対して、サービスの要件に基づいて、いくつかのテストを経て最適な信頼度がアルゴリズムユーザによって選択されてデフォルトの設定を行う。トレーニング過程では、上記の信頼度構成条件を自律的に展開することができる。
図9を参照すると、トレーニング管理モジュールでは、トレーニング中のタスクを確認することができ、トレーニングタスクのデータセット名、トレーニング者、トレーニングの理由、現在のトレーニングラウンド数、トレーニングラウンドの合計数などの情報を含む。操作には、キャンセルと詳細という2つの操作アイコンがある。キャンセルアイコンをクリックすると、現在のトレーニングタスクをキャンセルし、詳細アイコンをクリックすると、図4に示すように、現在のトレーニングタスクのトレーニング損失曲線を生成し表示し、モデルのトレーニング効果は、損失曲線の傾向である程度判断できる。
この実施形態では、損失曲線の横座標がトレーニングラウンド数、縦座標が損失値であり、モデルのトレーニング過程中、この損失曲線はトレーニング中の状態に応じてリアルタイムに更新され、ユーザは損失曲線を観察し、その状態に応じてトレーニングパラメータを調整することが可能である。具体的には、損失曲線が常に乱れ、降下傾向を示さない場合は、トレーニングパラメータが適切に構成されていないと判定され、トレーニングを中止し、学習率パラメータ及び学習率の降下ポリシーを再調整して再トレーニングする必要があり、損失曲線が徐々に降下する場合は、継続して観察し、トレーニングを中止するか、次のトレーニングで初期学習率を上げる必要があり、トレーニング終了後も損失曲線に降下傾向が見られる場合は(正常はいずれ平滑化するはず)、トレーニングが終了した後、最大トレーニングラウンド数を増やし、再トレーニングを行う。
信頼度設定の原則:トレーニングパラメータインターフェースの信頼度入力ボックスで、すべての欠陥に対するデフォルトの信頼度を設定することができる。トレーニング欠陥及び信頼度設定インターフェースの各欠陥の信頼度を選択して入力しない場合、前ページのデフォルト値がデフォルトで使用され、値が入力されている場合は、該インターフェースの信頼度が使用される。
図21を参照すると、トレーニング管理モジュールは、トレーニングされたモデルを表示し、トレーニング完了したモデルを表示し、各データセットに対して生成されたモデルの名前(モデルは、1つのデータセットが異なるトレーニングラウングラウンド数のモデルに対応し、1つのモデルではなく、トレーニングに提出する際にテストが選択したモデルをここに表示する)、トレーニングを完了した時間、及びトレーニングを行った理由を含む。
図19を参照すると,操作には結果確認と最適選択という2つのアイコンが含まれ、それぞれ結果確認と最適選択であり、結果確認をクリックすると、複数(トレーニングパラメータ構成の最初に設定したテストラウンド数に関連し、デフォルトは6つのモデルをテストする)のモデルの混同行列がポップアップする。この機能は、従来のトレーニングシステムを補完するもので、アルゴリズムに関連する指標を、より直感的なテーブルに変換してデータ表示し、運用保守要員やユーザが使い慣れたテーブル形式でデータを閲覧し、関心のある指標を基にモデルを選択できる。最適選択ボタンをクリックすると、各テストモデルのテスト結果が表示され、ここで、主な指標は、accuracy(正確率)とrecall(リコール率)とF1スコアで、accuracy(正確率)とrecall(リコール率)とF1スコアと前述の混同行列に基づいて、モデルのオンラインにするかどうかを選択する。
ユーザは、モデルのオンラインを導く役割に加え、混同行列の各欠陥の正確率とリコール率を詳細に分析し、特定のサービス要件を考慮して、モデルオンライン後の信頼度調整を行うことで、特定の欠陥に対するオンラインモデルの正確率とリコール率を調整する。例えば、現在の混同行列におけるPI800のリコール率は0.90であり、該リコール率は信頼度0.8のデフォルトで生成され、PI800は重要ではない欠陥なので、適度な過判定は許容され、生産ラインにおけるこの欠陥のリコール率を改善するために、モデルのオンライン時にはPI800の信頼度0.6~0.7に設定し、これにより生産中のPI800のリコール率が0.91-0.92に向上され、それに伴い生産中のPI800の精度は0.01-0.02に低下し、リコール率の増加により図化担当者の作業負担を軽減することができる。そのため、ユーザは、混同行列と生産要件に応じて、モデルオンライン前に混同行列の詳細な分析を行うことで、各欠陥の信頼度をカスタマイズすることができる。モデルのチェックを選択した後、TMSシステムのモデル管理インターフェースでこのモデルを確認し、生産ラインでの稼働を行う(モデル管理機能モジュールでも確認可能)。
なお、上記の添付図面は、本開示の例示的な実施形態による方法に含まれる工程を模式的に示したものに過ぎず、限定することを意図していない。上記添付図面に示された処理は、当該処理の時間的順序を示したり、限定したりするものではないことは容易に理解されよう。また、これらの処理は、例えば、複数のモジュールで、同期又は非同期に実行されてもよいことは容易に理解される。
この実施形態では、図22を参照すると、データマークシステム2201によって生成されたサンプルデータセットを使用し、本開示の欠陥検出システム2202を呼び出し、それを対応するモデルにトレーニングし、モデル推論サービスをオンラインにするためにTMSシステム2203にアップロードする。以下、具体的なプロセスを説明し、ユーザがデータマークシステムでトレーニングデータの整理とマークを行う。埋め込みAI監督アルゴリズムと従来の無監督アルゴリズムで、自動データマーク機能と半自動データマーク機能を実装し、データマークの作業負担を大幅に軽減する。このモジュールでマークされたデータは、トレーニング管理モジュールの関連ディレクトリに自動的に同期される。トレーニング管理モジュールでトレーニングサンプルデータセットをインポートする。トレーニングタスクに応じたサンプルデータセット名を新たに作成し、データマークシステムにインポートして完了データをマークし、関連情報をデータベースに書き込み、データをインポートした後、詳細確認、データ変更、削除等の操作を行うことができる。トレーニングタスクを提出する。トレーニングセットのインポート後、トレーニングタスク管理モジュールで対応するトレーニングタスクの提出を行う。トレーニングタスク提出の過程で、ユーザはサンプルデータセットの特徴に応じてサイト、ピクチャタイプ、トレーニングタイプなどの情報を選択する必要があり、関連情報を選択した後、トレーニング管理モジュールはトレーニングパラメータを適応的に調整し、構成されたトレーニングパラメータをユーザの参照用にインターフェースに表示され、ユーザはデフォルトパラメータの使用又は変更を選択することができる。完了したら、トレーニングタスクを提出することができる。モデルの自動トレーニングテストを行う。トレーニングタスクを提出した後、トレーニング管理モジュールのバックグラウンドは、トレーニングタスクと構成されたトレーニングパラメータをAIアルゴリズムシステムに送信する。そして、AIアルゴリズムシステムは、受け取ったタスクに従ってモデルを自動的にトレーニングさせ、トレーニング終了後にモデルを自動的にテストする。トレーニングの過程で変化する様々な指標は、システム上にアイコンとして表示され、ユーザはトレーニングの状況を把握することができる。トレーニングテストの結果処理を行う。トレーニングが完了すると、AIアルゴリズムシステムは、目標モデルを共有ストレージに格納し、関連するトレーニング結果をトレーニング管理モジュールに送信する。AIアルゴリズムシステムからのメッセージを受信した後、トレーニング管理モジュールは、トレーニング結果をトレーニング済みセクションに表示し、ユーザはモデルの自動的にテストされた後の指標、混同行列、及びいくつかの必要なトレーニング指標分析を閲覧することができる。モデルオンラインを行う。上記の指標に基づき、ユーザは最適なモデルを選択してオンラインし、該モデルをTMSシステム2203のモデル管理モジュールに同期させることができる。発売前のモデルは、トレーニング管理モジュールで簡単に閲覧や管理することができる。モデルオンラインを行う。発売前のモデルは、TMSシステム2203のモデル管理データベースに同期されており、ユーザは、TMSシステムでモデルをオフラインでテストしオンラインすることができる。
さらに、図23に示すように、この実施例は、欠陥検出装置2300を提供し、第1の取得モジュール2310、第1の構成モジュール2320、第1のトレーニングモジュール2330及び検出モジュール2340を含む。ここで、第1の取得モジュール2310は、欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別するように構成され、前記特徴情報が前記サンプルデータセットのサンプル数を含み、初期モデルを取得するように構成され、前記初期モデルがニューラルネットワークモデルであり、第1の構成モジュール2320は、前記特徴情報に基づいてパラメータをトレーニングするように構成され、第1のトレーニングモジュール2330は、前記サンプルデータセットを利用し、前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得するように構成され、検出モジュール2340は、前記サンプルデータセットに対応する製品の実データを前記目標モデルに入力して前記製品の欠陥情報を取得するように構成され、前記トレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも1つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。
さらに、図24に示すように、この実施例は、モデルトレーニング装置2400を提供し、第2の取得モジュール2410、第2の構成モジュール2420、及び第2のトレーニングモジュール2430を含む。ここで、第2の取得モジュール2410は、欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別するように構成され、前記特徴情報が前記サンプルデータセットのサンプル数を含み、初期モデルを取得するように構成され、前記初期モデルがニューラルネットワークモデルであり、第2の構成モジュール2420は、前記特徴情報に基づいてトレーニングパラメータを構成するように構成され、第2のトレーニングモジュール2430は、前記サンプルデータセットを利用して前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得するように構成され、前記目標モデルが前記サンプルデータセットに対応する製品の実データに対して欠陥検出を行うために使用され、前記トレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも1つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。
さらに、図25に示すように、この実施例は、モデルトレーニング装置2500を提供し、第3の取得モジュール2510、第3の構成モジュール2520、及び第3のトレーニングモジュール2530を含む。ここで、第3の取得モジュール2510は、ユーザがサンプルデータセットのパラメータに対する構成操作に応答し、欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別するように構成され、前記特徴情報が前記サンプルデータセットのサンプル数を含み、初期モデルを取得するように構成され、前記初期モデルがニューラルネットワークモデルであり、第3の構成モジュール2520は、前記特徴情報に基づいてトレーニングパラメータを構成し、トレーニングパラメータの表示インターフェースを生成するように構成され、第3のトレーニングモジュール2530は、前記サンプルデータセットを利用して前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得するように構成され、前記目標モデルが前記サンプルデータセットに対応する製品の実データに対して欠陥検出を行うために使用され、前記トレーニングパラメータの表示インターフェースに表示されるトレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも1つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。
上記装置におけるモジュールの具体的な内容は、方法部実施内容で詳述しており、開示されない内容は方法部実施内容で確認できるので、ここで説明を省略する。
当業者は、本開示の態様が、システム、方法又はプログラム製品として実施され得ることを理解するであろう。このように、本開示の態様は、完全にハードウェアの実装、完全にソフトウェアの実装(ファームウェア、マイクロコードなどを含む)、又はハードウェアとソフトウェアの態様の組み合わせの形態で具体的に実装されてよく、本明細書では、まとめて「回路」、「モジュール」又は「システム」と称される。
本開示の例示的な実施形態はまた、本明細書の上述の方法を実施することができるプログラム製品が格納されるコンピュータ可読記憶媒体を提供する。いくつかの可能な実装では、本開示の様々な態様は、プログラムコードを含むプログラム製品の形で実装することもでき、プログラム製品が端末デバイス上で実行されるとき、プログラムコードは端末デバイスを実行させるために使用される。本明細書における上述の手順本開示の様々な例示的な実施形態によるステップは、「方法の例」セクションに記載されている。
なお、本開示に示されるコンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体、あるいはこれらの任意の組み合わせであってよい。コンピュータ可読記憶媒体は、例えば、電気、磁気、光学、電磁気、赤外線、又は半導体のシステム、デバイス、装置、又はこれらの任意の組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例としては、1本以上のワイヤを有する電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラム可能読み取り専用メモリ(EPROM又はフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、光記憶装置、磁気メモリデバイス、又は上記の任意の適切な組み合わせであっても良い。
本開示において、コンピュータ可読記憶媒体は、命令実行システム、デバイス又は装置によって又はこれらと関連して使用され得るプログラムを含む又は格納する任意の有形媒体であり得る。そして、本開示の目的のために、コンピュータ可読信号媒体は、コンピュータ可読プログラムコードを運ぶベースバンド又は搬送波の一部として伝搬するデータ信号を含むことができる。このような伝搬データ信号は、電磁信号、光信号、又は前述の任意の適切な組み合わせを含むが、これらに限定されない様々な形態を取ることができる。また、コンピュータ可読信号媒体は、命令実行システム、装置又は機器によって使用するためのプログラムを送信、伝播又は伝送するコンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよい。コンピュータ可読媒体に含まれるプログラムコードは、無線、有線、光ファイバーケーブル、RFなど、又は前述の任意の適切な組み合わせなど、任意の適切な媒体を用いて伝送することができる。
さらに、本開示の動作を実行するためのプログラムコードは、オブジェクト指向プログラミング言語-Java、C++など-、また従来の手続き型プログラミング言語-「C」など-を含む1つ以上のプログラミング言語の任意の組み合わせで記述することができる。プログラムコードは、ユーザコンピューティング装置で完全に実行されてもよいし、ユーザ装置で部分的に、スタンドアロンパッケージとして実行されてもよいし、ユーザコンピューティング装置で部分的に、リモートコンピューティング装置で部分的に、又はリモートコンピューティング装置又はサーバーで全体的に実行されてもよい。リモートコンピューティング装置を含む場合、リモートコンピューティング装置は、ローカルエリアネットワーク(LAN)又はワイドエリアネットワーク(WAN)を含む任意の種類のネットワークを介してユーザコンピューティング装置に接続されてもよく、あるいは、(例えば、インターネットサービスプロバイダを使用してインターネットを介して接続する)外部のコンピューティング装置に接続されてもよい。
本開示の他の実施形態は、本明細書に開示された発明の明細書及び実施例を考慮すれば、当業者に容易に想到されるであろう。本出願は、本開示の一般原則に従った、本明細書に開示されていない当該技術分野において一般的に知られている又は慣習的な技術手段を含む、本開示のあらゆる変形、使用又は適応を対象とすることを意図している。本説明及び実施形態は例示に過ぎないと考えられ、本開示の真の範囲及び精神は特許請求の範囲によって示される。
本開示は、既に上述し、添付図面に図示した正確な構成に限定されるものではなく、その範囲を逸脱することなく、様々な修正及び変更を行うことができることを理解されたい。本開示の範囲は、添付の特許請求の範囲によってのみ限定される。
100 システム構成
101、102、103 端末デバイス
104 ネットワーク
105 サーバー
101、102、103 端末デバイス
104 ネットワーク
105 サーバー
Claims (51)
- 欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別することと、
初期モデルを取得することと、
前記特徴情報に基づいてトレーニングパラメータを構成することと、
前記サンプルデータセットを利用し、前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得することと、
前記サンプルデータセットに対応する製品の実データを前記目標モデルに入力して前記製品の欠陥情報を取得することとを含み、
前記特徴情報が前記サンプルデータセットのサンプル数を含み、
前記初期モデルがニューラルネットワークモデルであり、
前記トレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも1つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む
ことを特徴とする欠陥検出方法。 - 前記トレーニングの総ラウンド数は、前記サンプル数に正相関する
ことを特徴とする請求項1に記載の欠陥検出方法。 - 前記サンプル数に基づいて予め設定された規則に従ってトレーニングの総ラウンド数を構成することは、
前記サンプル数が10000以下である場合、前記トレーニングの総ラウンド数を300000として構成することと、
前記サンプル数が10000よりも大きい場合、以下の総ラウンド数の決定式で前記トレーニングの総ラウンド数を構成することとを含み、前記総ラウンド数の決定式は、
Y=300000+INT(X/10000)×bであり、
Yがトレーニングの総ラウンド数を示し、Xがサンプル数を示し、Xが10000以上であり、INTが丸め関数であり、bが成長因子で固定値であり、bが30000以上、70000以下である
ことを特徴とする請求項1又は2に記載の欠陥検出方法。 - 学習率の降下時のラウンド数は、トレーニングの総ラウンド数に正相関し、前記テスト時のラウンド数は、一回目の学習率の降下時のラウンド数以上、前記トレーニングの総ラウンド数以下である
ことを特徴とする請求項1に記載の欠陥検出方法。 - 学習率の降下回数が複数回であり、2回目の学習率の降下ラウンド数の所定のラウンド数範囲において少なくとも2回のテストを行う
ことを特徴とする請求項1に記載の欠陥検出方法。 - 学習率の降下回数が3回であり、2回目の学習率の降下ラウンド数の所定のラウンド数範囲において少なくとも3回のテストを行う
ことを特徴とする請求項5に記載の欠陥検出方法。 - 前記学習率の降下ポリシーは、学習率の降下方式及び学習率の降下の幅を含む
ことを特徴とする請求項1に記載の欠陥検出方法。 - 前記欠陥製品データが欠陥製品のピクチャを含み、前記特徴情報が前記サンプルデータセットにおける前記欠陥製品のピクチャのサイズ、タイプを含み、前記特徴情報に基づいてトレーニングパラメータを構成することは、さらに、
欠陥製品のピクチャのサイズ、タイプに従って、前記初期モデルの入力画像のサイズを調整することを含む
ことを特徴とする請求項1に記載の欠陥検出方法。 - 欠陥製品のピクチャのサイズ、タイプに従って前記初期モデルに入力する画像のサイズを調整することは、
前記欠陥製品のピクチャのタイプがAOIカラー画像又はDM画像である場合、入力画像のサイズが欠陥製品のピクチャのサイズの第1のプリセット倍数であることと、
前記欠陥製品のピクチャのタイプがTDI画像である場合、入力画像のサイズが欠陥製品のピクチャのサイズの第2のプリセット倍数であることとを含み、
前記第1のプリセット倍数が1以下であり、前記第2のプリセット倍数が1以上である
ことを特徴とする請求項8に記載の欠陥検出方法。 - 前記第1のプリセット倍数は、0.25以上、0.6以下であり、前記第2のプリセット倍数は、3以上、6以下である
ことを特徴とする請求項9に記載の欠陥検出方法。 - 前記入力画像は、欠陥製品の同じピクチャの複数のサイズの画像を含む
ことを特徴とする請求項9又は10に記載の欠陥検出方法。 - 前記特徴情報がさらに前記欠陥製品の欠陥レベルを含み、
前記特徴情報に基づいてトレーニングパラメータを構成することは、
前記各種の欠陥に対応する前記欠陥レベルに基づいて、トレーニング過程内の信頼度を構成することを含む
ことを特徴とする請求項8に記載の欠陥検出方法。 - 前記欠陥レベルが第1の欠陥レベル及び第2の欠陥レベルを含み、
前記各種の欠陥に対応する前記欠陥レベルに基づいて、トレーニング過程内の信頼度を構成することは、
前記欠陥レベルが第1の欠陥レベルである場合、前記信頼度を第1の信頼度として構成することと、
前記欠陥レベルが第2の欠陥レベルである場合、前記信頼度を第2の信頼度として構成することとを含み、
前記第2の信頼度が前記第1の信頼度よりも大きい
ことを特徴とする請求項12に記載の欠陥検出方法。 - 第1の信頼度は、0.6以上、0.7以下であり、前記第2の信頼度は、0.8以上、0.9以下である
ことを特徴とする請求項13に記載の欠陥検出方法。 - 前記方法は、さらに、
前記欠陥製品のピクチャのサイズ、タイプ及び工程を利用して、前記目標モデルのためにアイコンを設定することを含む
ことを特徴とする請求項8に記載の欠陥検出方法。 - 前記欠陥製品のピクチャのタイプに基づいて前記初期モデルを取得する
ことを特徴とする請求項1に記載の欠陥検出方法。 - 前記特徴情報に基づいてトレーニングパラメータを構成した後、前記方法は、さらに、
パラメータ変更アイコンを含むトレーニングパラメータの表示インターフェースを生成することと、
ユーザが前記パラメータ変更アイコンに対するトリガー操作に応答し、前記トレーニングパラメータを更新することとを含む
ことを特徴とする請求項1に記載の欠陥検出方法。 - 前記方法は、さらに、
トレーニング過程における損失曲線を取得することと、
前記損失曲線に従って前記トレーニングパラメータを更新することとを含む
ことを特徴とする請求項1に記載の欠陥検出方法。 - 前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得することは、
前記テストポリシーに基づいて複数の参照モデルを取得し、複数の前記参照モデルの正確率及びリコール率を取得することと、
各参照モデルの前記正確率及びリコール率に基づいて前記参照モデルから目標モデルを決定することとを含む
ことを特徴とする請求項1に記載の欠陥検出方法。 - 前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得することは、
前記テストポリシーに基づいて複数の参照モデルを取得し、各参照モデルの混同行列を決定することと、
前記混同行列に従って前記参照モデルから前記目標モデルを決定することとを含む
ことを特徴とする請求項1に記載の欠陥検出方法。 - 前記方法は、さらに、
前記混同行列に従って信頼度を更新することを含む
ことを特徴とする請求項20に記載の欠陥検出方法。 - 欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別することと、
初期モデルを取得することと、
前記特徴情報に基づいてトレーニングパラメータを構成することと、
前記サンプルデータセットを利用して前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得することとを含み、
前記特徴情報が前記サンプルデータセットのサンプル数を含み、
前記初期モデルがニューラルネットワークモデルであり、
前記目標モデルが前記サンプルデータセットに対応する製品の実データに対して欠陥検出を行うために使用され、
前記トレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも1つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む
ことを特徴とするモデルトレーニング方法。 - 前記トレーニングの総ラウンド数は、前記サンプル数に正相関する
ことを特徴とする請求項22に記載のモデルトレーニング方法。 - 前記サンプル数に基づいて予め設定された規則に従ってトレーニングの総ラウンド数を構成することは、
前記サンプル数が10000以下である場合、前記トレーニングの総ラウンド数を300000として構成することと、
前記サンプル数が10000よりも大きい場合、以下の総ラウンド数の決定式で前記トレーニングの総ラウンド数を構成することとを含み、前記総ラウンド数の決定式は、
Y=300000+INT(X/10000)×bであり、
Yがトレーニングの総ラウンド数を示し、Xがサンプル数を示し、Xが10000以上であり、INTが丸め関数であり、bが成長因子で固定値であり、bが30000以上、70000以下である
ことを特徴とする請求項22又は23に記載のモデルトレーニング方法。 - 学習率の降下時のラウンド数は、トレーニングの総ラウンド数に正相関し、前記テスト時のラウンド数は、一回目の学習率の降下時のラウンド数以上、前記トレーニングの総ラウンド数以下である
ことを特徴とする請求項22に記載のモデルトレーニング方法。 - 学習率の降下回数が複数回であり、2回目の学習率の降下ラウンド数の所定のラウンド数範囲において少なくとも2回のテストを行う
ことを特徴とする請求項22に記載のモデルトレーニング方法。 - 学習率の降下回数が3回であり、2回目の学習率の降下ラウンド数の所定のラウンド数範囲において少なくとも3回のテストを行う
ことを特徴とする請求項23に記載のモデルトレーニング方法。 - 前記学習率の降下ポリシーは、学習率の降下方式及び学習率の降下の幅を含む
ことを特徴とする請求項22に記載のモデルトレーニング方法。 - ユーザがサンプルデータセットのパラメータに対する構成操作に応答し、欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別することと、
初期モデルを取得することと、
前記特徴情報に基づいてトレーニングパラメータを構成し、トレーニングパラメータの表示インターフェースを生成することと、
前記サンプルデータセットを利用して前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得することとを含み、
前記特徴情報が前記サンプルデータセットのサンプル数を含み、
前記初期モデルがニューラルネットワークモデルであり、
前記目標モデルが前記サンプルデータセットに対応する製品の実データに対して欠陥検出を行うために使用され、
前記トレーニングパラメータの表示インターフェースに表示されるトレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも1つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む
ことを特徴とするモデルトレーニング方法。 - 前記方法は、さらに、
サンプルデータセットのパラメータに基づいて前記サンプルデータセットに対応するトレーニングタスクを確立することを含む
ことを特徴とする請求項29に記載のモデルトレーニング方法。 - ユーザがサンプルデータセットのパラメータに対する構成操作に応答し、欠陥製品データを含むサンプルデータセットを取得する前に、前記方法は、さらに、
ユーザのタスク確立操作に応答し、トレーニングタスクを確立し、前記サンプルデータセットのパラメータ構成インターフェースを生成することを含む
ことを特徴とする請求項29に記載のモデルトレーニング方法。 - 前記パラメータ構成インターフェースがトレーニングパラメータ閲覧アイコンをさらに含み、前記特徴情報に基づいてトレーニングパラメータを構成し、トレーニングパラメータの表示インターフェースを生成することは、
ユーザが前記トレーニングパラメータ閲覧アイコンに対するトリガー操作に応答し、トレーニングパラメータの表示インターフェースを生成することを含む
ことを特徴とする請求項31に記載のモデルトレーニング方法。 - 前記トレーニングパラメータの表示インターフェースがパラメータ変更アイコンを含み、前記方法は、さらに、
ユーザが前記パラメータ変更アイコンに対するトリガー操作に応答し、前記トレーニングパラメータを更新することを含む
ことを特徴とする請求項29に記載のモデルトレーニング方法。 - 前記トレーニングパラメータは、さらに、信頼度、前記初期モデルに入力する画像のサイズを含む
ことを特徴とする請求項29に記載のモデルトレーニング方法。 - 前記パラメータの表示インターフェースが信頼度の構成アイコンを含み、前記方法は、さらに、
ユーザが前記信頼度の構成アイコンに対するトリガー操作に応答し、信頼度の構成インターフェースを生成することを含む
ことを特徴とする請求項34に記載のモデルトレーニング方法。 - 前記信頼度の構成インターフェースが各欠陥に対応するサンプル数及び各欠陥に対応する選定アイコンを含み、前記信頼度の構成インターフェースは、ユーザが選定アイコンに対する決定操作に応答し、前記選定操作に対応する欠陥の信頼度を構成するために使用される
ことを特徴とする請求項35に記載のモデルトレーニング方法。 - 前記方法は、さらに、
モデルトレーニングスケジュールを生成して表示し、前記スケジュールがタスク取消アイコン及びタスク詳細アイコンを含むことと、
ユーザが前記タスク取消アイコンに対するトリガー操作に応答し、前記初期モデルに対するトレーニングを停止することとを含む
ことを特徴とする請求項29に記載のモデルトレーニング方法。 - 前記方法は、さらに、
ユーザが前記タスク詳細アイコンに対するトリガー操作に応答し、トレーニング過程の損失曲線を生成して表示することを含む
ことを特徴とする請求項37に記載のモデルトレーニング方法。 - 前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得することは、
各参照モデルの正確率及びリコール率に基づいて参照モデルから目標モデルを決定するように、前記テストポリシーに基づいて複数の前記参照モデルを取得し、複数の前記参照モデルの前記正確率及びリコール率を取得し、参照モデルリストを生成することを含む
ことを特徴とする請求項29に記載のモデルトレーニング方法。 - 前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得することは、
混同行列に従って参照モデルから前記目標モデルを決定するように、前記テストポリシーに基づいて複数の前記参照モデルを取得し、各参照モデルの前記混同行列を決定し、混同行列の表示インターフェースを生成することを含む
ことを特徴とする請求項29に記載のモデルトレーニング方法。 - 前記方法は、さらに、
ユーザの信頼度変更操作に応答し、前記混同行列に基づいて前記信頼度を更新することを含む
ことを特徴とする請求項40に記載のモデルトレーニング方法。 - 前記混同行列に従って前記参照モデルから前記目標モデルを決定することは、
ユーザが前記参照モデルに対する選定操作に応答し、前記選定操作に対応する参照モデルを目標モデルとして決定することを含む
ことを特徴とする請求項40に記載のモデルトレーニング方法。 - 前記トレーニングの総ラウンド数は、前記サンプル数に正相関する
ことを特徴とする請求項29に記載のモデルトレーニング方法。 - 前記サンプル数に基づいて予め設定された規則に従ってトレーニングの総ラウンド数を構成することは、
前記サンプル数が10000以下である場合、前記トレーニングの総ラウンド数を300000として構成することと、
前記サンプル数が10000よりも大きい場合、以下の総ラウンド数の決定式で前記トレーニングの総ラウンド数を構成することとを含み、前記総ラウンド数の決定式は、
Y=300000+INT(X/10000)×bであり、
Yがトレーニングの総ラウンド数を示し、Xがサンプル数を示し、Xが10000以上であり、INTが丸め関数であり、bが成長因子で固定値であり、bが30000以上、70000以下である
ことを特徴とする請求項29又は43に記載のモデルトレーニング方法。 - 学習率の降下時のラウンド数は、トレーニングの総ラウンド数に正相関し、前記テスト時のラウンド数は、一回目の学習率の降下時のラウンド数以上、前記トレーニングの総ラウンド数以下である
ことを特徴とする請求項29に記載のモデルトレーニング方法。 - 学習率の降下回数が複数回であり、2回目の学習率の降下ラウンド数の所定のラウンド数範囲において少なくとも2回のテストを行う
ことを特徴とする請求項45に記載のモデルトレーニング方法。 - 学習率の降下回数が3回であり、2回目の学習率の降下ラウンド数の所定のラウンド数範囲において少なくとも3回のテストを行う
ことを特徴とする請求項46に記載のモデルトレーニング方法。 - 前記学習率の降下ポリシーは、学習率の降下方式及び学習率の降下の幅を含む
ことを特徴とする請求項29に記載のモデルトレーニング方法。 - データ管理モジュールと、トレーニング管理モジュールと、モデル管理モジュールとを含む欠陥検出システムであって、
前記データ管理モジュールは、サンプルデータを記憶し管理するように構成され、
前記トレーニング管理モジュールは、請求項1~21のいずれか1項に記載の欠陥検出方法、請求項21~28のいずれか1項に記載のモデルトレーニング方法、又は請求項29~48のいずれか1項に記載のモデルトレーニング方法を実行するように構成され、
前記モデル管理モジュールは、前記目標モデルを記憶し表示し管理するように構成される
ことを特徴とする欠陥検出システム。 - ユーザ管理モジュールを含み、
前記ユーザ管理モジュールは、ユーザ情報に対して追加、削除、変更、閲覧、権限管理及び/又はパスワード管理を行うように構成される
ことを特徴とする請求項49に記載の欠陥検出システム。 - プロセッサと、1つ又は複数のプログラムを記憶するメモリとを含む電子デバイスであって、
前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサによって実行されると、前記1つ又は複数のプロセッサに請求項1~21のいずれか1項に記載の欠陥検出方法、請求項21~28のいずれか1項に記載のモデルトレーニング方法、又は請求項29~48のいずれか1項に記載のモデルトレーニング方法を実行させる
ことを特徴とする電子デバイス。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2021/074263 WO2022160222A1 (zh) | 2021-01-28 | 2021-01-28 | 缺陷检测方法及装置、模型训练方法及装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024504529A true JP2024504529A (ja) | 2024-02-01 |
Family
ID=82652857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022571810A Pending JP2024504529A (ja) | 2021-01-28 | 2021-01-28 | 欠陥検出方法及びその装置、モデルトレーニング方法及びその装置、及び電子デバイス |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230206420A1 (ja) |
EP (1) | EP4141786A4 (ja) |
JP (1) | JP2024504529A (ja) |
KR (1) | KR20230135038A (ja) |
CN (1) | CN115210752A (ja) |
WO (1) | WO2022160222A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230125983A1 (en) * | 2021-10-26 | 2023-04-27 | Capital One Services, Llc | Systems and methods for detecting and managing sensitive information |
CN115359307B (zh) * | 2022-10-24 | 2023-01-03 | 成都诺比侃科技有限公司 | 一种基于大数据的接触网验损缺陷数据管理方法及*** |
WO2024087000A1 (en) * | 2022-10-25 | 2024-05-02 | Huawei Technologies Co., Ltd. | Methods and apparatuses for articifical intelligence or machine learning training |
CN116990450B (zh) * | 2023-07-18 | 2024-04-26 | 欧几里德(苏州)医疗科技有限公司 | 一种角膜塑形镜的缺陷检测方法及*** |
CN117150298B (zh) * | 2023-09-01 | 2024-06-07 | 中国电建集团江西省水电工程局有限公司 | 基于深度学习的地铁fas火灾报警***的调试方法 |
CN118094106A (zh) * | 2024-04-02 | 2024-05-28 | 安徽农业大学 | 一种微调机制迁移学习的齿轮箱故障诊断方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018090355A1 (zh) * | 2016-11-21 | 2018-05-24 | 中国科学院自动化研究所 | 图像自动裁剪方法 |
CN106645180A (zh) * | 2017-02-06 | 2017-05-10 | 东旭科技集团有限公司 | 检查基板玻璃缺陷的方法、现场终端及服务器 |
CN108961238A (zh) * | 2018-07-02 | 2018-12-07 | 北京百度网讯科技有限公司 | 显示屏质量检测方法、装置、电子设备及存储介质 |
CN109559298A (zh) * | 2018-11-14 | 2019-04-02 | 电子科技大学中山学院 | 一种基于深度学习的乳液泵缺陷检测的方法 |
CN110675789B (zh) * | 2019-09-29 | 2021-09-14 | 联想(北京)有限公司 | 一种信息处理方法、***及计算机存储介质 |
-
2021
- 2021-01-28 WO PCT/CN2021/074263 patent/WO2022160222A1/zh active Application Filing
- 2021-01-28 CN CN202180000097.4A patent/CN115210752A/zh active Pending
- 2021-01-28 US US17/764,707 patent/US20230206420A1/en active Pending
- 2021-01-28 JP JP2022571810A patent/JP2024504529A/ja active Pending
- 2021-01-28 EP EP21921830.2A patent/EP4141786A4/en active Pending
- 2021-01-28 KR KR1020237003053A patent/KR20230135038A/ko unknown
Also Published As
Publication number | Publication date |
---|---|
US20230206420A1 (en) | 2023-06-29 |
KR20230135038A (ko) | 2023-09-22 |
EP4141786A4 (en) | 2023-08-09 |
EP4141786A1 (en) | 2023-03-01 |
WO2022160222A1 (zh) | 2022-08-04 |
CN115210752A (zh) | 2022-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2024504529A (ja) | 欠陥検出方法及びその装置、モデルトレーニング方法及びその装置、及び電子デバイス | |
CN112836064B (zh) | 知识图谱补全方法、装置、存储介质及电子设备 | |
JP2021170313A (ja) | ビデオを生成する方法および装置 | |
JP2021103574A (ja) | 顔融合モデルのトレーニング方法、装置及び電子機器 | |
WO2017141517A1 (ja) | 情報処理方法および情報処理装置 | |
US11392855B1 (en) | GUI for configuring machine-learning services | |
US11182697B1 (en) | GUI for interacting with analytics provided by machine-learning services | |
WO2022088082A1 (zh) | 基于缺陷检测的任务处理方法、装置及设备及存储介质 | |
CN109919244A (zh) | 用于生成场景识别模型的方法和装置 | |
CN108733508A (zh) | 用于控制数据备份的方法和*** | |
US20230080230A1 (en) | Method for generating federated learning model | |
CN111813910B (zh) | 客服问题的更新方法、***、终端设备及计算机存储介质 | |
CN110472558B (zh) | 图像处理方法和装置 | |
US11443647B2 (en) | Systems and methods for assessment item credit assignment based on predictive modelling | |
US20200394554A1 (en) | Techniques to generate network simulation scenarios | |
CN109961032A (zh) | 用于生成分类模型的方法和装置 | |
JP2018098767A (ja) | 自動学習ユニバーサルゲートウェイ | |
CN109800730A (zh) | 用于生成头像生成模型的方法和装置 | |
US11687785B2 (en) | Modification of neural network topology | |
JP2022091919A (ja) | バックボーンネットワーク生成方法、装置、電子機器、記憶媒体およびコンピュータプログラム | |
CN110276405A (zh) | 用于输出信息的方法和装置 | |
CN116229188B (zh) | 图像处理显示方法、分类模型的生成方法及其设备 | |
WO2018211602A1 (ja) | 学習装置、推定装置、学習方法及びプログラム | |
CN113610228B (zh) | 神经网络模型的构建方法及装置 | |
CN113486968B (zh) | 摄像机生命周期的监控方法、装置、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240126 |