JP2022050347A - 被覆加工表面の定性的または定量的特徴付け - Google Patents

被覆加工表面の定性的または定量的特徴付け Download PDF

Info

Publication number
JP2022050347A
JP2022050347A JP2021149876A JP2021149876A JP2022050347A JP 2022050347 A JP2022050347 A JP 2022050347A JP 2021149876 A JP2021149876 A JP 2021149876A JP 2021149876 A JP2021149876 A JP 2021149876A JP 2022050347 A JP2022050347 A JP 2022050347A
Authority
JP
Japan
Prior art keywords
defects
defect
coated surface
image
composition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021149876A
Other languages
English (en)
Inventor
イスケン、フィリップ
Isken Philipp
ビットーフ、サンドラ
Bittorf Sandra
クロール、オリヴァー
Kroehl Oliver
ブラムレイジ、クラウディア
Bramlage Claudia
ヴォーゲル、マルクス
Vogel Markus
シルバー、ステファン
Silber Stefan
ブランダ、ガエタノ
Blanda Gaetano
ルイス、オリビア
Lewis Olivia
ハーケ、ダニエル
Haake Daniel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Evonik Operations GmbH
Original Assignee
Evonik Operations GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Evonik Operations GmbH filed Critical Evonik Operations GmbH
Publication of JP2022050347A publication Critical patent/JP2022050347A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/8422—Investigating thin films, e.g. matrix isolation method
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C60/00—Computational materials science, i.e. ICT specially adapted for investigating the physical or chemical properties of materials or phenomena associated with their design, synthesis, processing, characterisation or utilisation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/8422—Investigating thin films, e.g. matrix isolation method
    • G01N2021/8427—Coatings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G01N2021/8864—Mapping zones of defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8874—Taking dimensions of defect into account
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37206—Inspection of surface
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37451—Plan sensor placement for optimal inspection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45013—Spraying, coating, painting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30156—Vehicle coating
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/30—Prediction of properties of chemical compounds, compositions or mixtures
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/70—Machine learning, data mining or chemometrics
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)

Abstract

【課題】被覆加工表面の欠陥を特徴付けるための、改善された方法を被覆加工組成物の製造に使用する。【解決手段】被覆加工表面の定性的および／または定量的特徴付けのための方法であって、・カメラが、所定の距離範囲および／または所定の画像収集角度範囲内にあるように、少なくとも１つのカメラの位置を調整する必要があるか否かに関するフィードバック信号を生成する工程、および／または・少なくとも１つのカメラの相対距離を自動的に調整する工程、および／または少なくとも１つのカメラの角度を自動的に調整する工程とを有するものである工程と、・カメラが所定の距離範囲および／または画像収集角度範囲内にある場合にのみ、提供された被覆加工表面のデジタル画像をカメラが収集できるようにする工程と、・被覆加工表面欠陥を識別するため、デジタル画像を処理する工程１０２と、・被覆加工表面の特徴付けを出力する工程１０４とを有する。【選択図】図１

Description

本発明は、被覆欠陥の特定、および被覆加工表面、特に塗料、ワニス、印刷インキ、研削用樹脂、色素濃縮物、または他のコーティング剤の被覆加工組成物に基づく、被覆加工表面の特徴付けに関する。
塗料およびワニスの被覆加工には、被覆加工された物体の外観および技術特性に負の影響を及ぼす種々の欠陥が存在する場合がある。被覆加工の欠陥には、例えば、泡、へこみ、濁り、均染問題、腐食、湿潤問題、色素の浮遊（浮遊）、たるみ、集塊、または気泡形成があり、いくつかの欠陥が同時に生じたり、相互に影響を及ぼし合ったりする場合もある。斯かる問題を調査し回避するため、試験物質は調剤開発中に調剤で被覆され、欠陥の検査が行われる。意図されるアプリケーション分野次第ではあるが、種々の物質、例えば、木材、プラスチック、紙／模造紙、ガラス、金属などが使用される。更に、様々な前処理も可能であり、斯かる前処理が問題を更に複雑にする場合もある。相互依存する多くのプロセスパラメーター、多数の被覆加工組成物、前処理方法、および物質のタイプの故に、特定の被覆加工組成物が特定の物質に適用される場合、好ましい品質の被覆加工が提供されるか否かに関して、予測するのは今のところ不可能である。従って、現在、被覆加工表面の品質は、後知恵で決定するしか方法がない。
現在、欠陥は、人間（例えば、従業員）によって視覚的に評価される。斯かる全くの視覚評価は、通常、非常にお粗末で、極めて主観的であり、再生可能性はほとんど存在しない。その結果、欠陥の識別および被覆加工表面の品質評価には、従業員側に多大な経験が必要であり、しかも従業員間でも大幅な違いがあるので、それが結果の比較を困難なものにしている。加えて、人間による被覆加工表面の評価は多くの時間を必要とし、従って高価なものとなる。
本発明は、独立請求項に明記されているように、被覆加工表面の欠陥を特徴付けるための、改善された方法および対応するシステムの提供、およびその結果得られるプログラムおよび情報を被覆加工組成物の製造に使用することを目的としている。実施形態は従属請求項に示されている。本発明の実施形態は、相互に排除し合うものでない限り、互いに自由に組み合わされてよい。
１つの態様において、本発明は、被覆加工表面の定性的および／または定量的な特徴付けの方法に関するものである。当該方法は、
・欠陥識別プログラムによって被覆加工表面のデジタル画像を処理する工程であって、欠陥識別プログラムは、例えばパターンを認識することにより、被覆加工表面のタイプを認識するように構成されており、各パターンは被覆加工表面の欠陥タイプのうちの１つを示すものである工程と、
・被覆加工表面の特徴付けを出力する工程であって、特徴付けは、欠陥識別プログラムによって識別された被覆加工表面の関数として計算されるものである工程と、を有するものである。
本発明の実施形態は、被覆加工表面の特徴付けが欠陥識別プログラムによって提供されており、従って、再生可能で、客観的で、迅速に提供されるという特長を有している。
例えば、被覆加工表面は欠陥タイプＤ１は含んでいないが、欠陥タイプＤ２およびＤ３の欠陥は含んでいると、出力特徴付けが指摘かもしれない。更に、被覆加工表面には欠陥が一切存在しないと、出力は指摘するかもしれない。他の例によれば、出力はもっと具体的に被覆加工欠陥の量および程度を、例えば、表面は僅かなタイプＤ２の欠陥および重大なタイプＤ３の欠陥を有していると指摘するかもしれない。他の例では、特徴付けは、欠陥の程度の特徴付けの数値、および／または特定のタイプの欠陥を示す、または特定の欠陥タイプの特定のインスタンスに属するデジタル画像の個々の画素の指摘を有していてもよい。
本発明の実施形態は、被覆加工表面における欠陥の発生および／または場所が、完全自動で検出され、画像分析手順で識別される１つ以上の欠陥のタイプおよび程度に基づいて、被覆加工表面の特徴付けを自動的に計算するのにそれが使用できる、と言う特長を有していてもよい。従って、膨大な数のデジタル画像が、完全自動で、各画像の被覆加工表面の計算による特徴付けで評価され、注釈が付されるものであってもよい。斯かる方法は、被覆加工組成物を試験および／または製造する大量処理設備において特に有益であろう。被覆加工表面の特徴付けの自動決定は、被覆加工表面の品質および他の特性の評価の透明性及び再生可能性を向上させるものである。
本発明の実施形態は、自動識別された被覆加工表面の欠陥およびそれから得られる被覆加工表面の特徴付けが、多くの異なる形式のデータ分析を実行するためのデータベースとして使用できる、と言う更なる特長を有していてもよい。特に、計算された特徴付けは、被覆加工表面の品質、被覆加工組成物の品質、被覆加工組成物製造プロセスの品質または適合性、および／または被覆加工組成物および被覆加工表面の製造に使用される、被覆加工アプリケーションプロセス（表面の前処理プロセス（必要に応じて）、基板タイプ、および／または適用機器を含む）のための、定性的および／または定量的な指標として使用できる。
定性的および／または定量的な被覆加工表面の特徴付けの自動計算により、大量のデータの自動分析が可能となり、異なる被覆加工組成物と関連付けられた表面品質の特徴付けの比較可能性、被覆加工製造プロセスパラメータ、および／または被覆加工アプリケーションプロセスパラメータが確実なものとなる。斯かる方法は、数多くの被覆加工組成物を製造および試験して、基板または使用事例シナリオにとって最適な被覆加工組成物を識別する場合、特に有益である。
各被覆加工表面の特性の再生可能で客観的な特徴付けは今まで提供されていないので、本発明の実施形態は、特に、塗料、ワニス、印刷インキ、研削用樹脂、色素濃縮物、または他のコーティング剤の製造において有利である。被覆加工表面品質の予測は、被覆加工表面の手動による主観的な記載、並びに膨大なコンポーネントの数およびそれらの相互作用の故に、今まで可能ではなかった。
例えば、泡は、被覆物および印刷インクの製造および適用中に頻繁に生じる現象である。泡の原因は、液体素材へのガスの導入である。これは、以下、すなわち、
・攪拌および混合による、製造中の空気の機械的な導入、
・色素および充填材の湿潤中に生じる、空気の置き換わり、
・回転、噴霧、印刷などの適用中に生じる、空気の機械的な導入、
・多孔性の基板の被覆加工中に生じる、空気の置き換わり、によって生じる。
乾燥した泡は、塗料膜に表面欠陥（例えば、気泡欠陥）を残す。泡は外観に影響を及ぼすだけでなく、被覆物の保護機能の減少の原因にもなる。被覆加工調剤の実質的に全てのコンポーネントが発泡作用に正または負の影響を及ぼし得る。基板および適用方法も発泡作用に影響を及ぼす、従って、一般的に、被覆加工組成物の調製において消泡剤は必要なコンポーネントである。
被覆加工組成物に及ぼす消泡剤の効果は被覆加工媒体の部分的非融和性に依存していることを、本出願者は観察している。斯かる処方により、過剰な非融和性によって膜欠陥または表面欠陥を引き起こすことなく、システム内において消泡剤の小滴が形成される。従って、全消泡剤の重要な特徴は、消泡対象の媒体との間における、的確で制御された非融和性である。融和性の強過ぎる消泡剤は、特定の泡膜に移動せず、被覆膜全体に存在するようになる。その結果、消泡効果は低過ぎるか、全く存在しないことになる。非融和性が強過ぎると、濁りやへこみなどの問題の多い被覆加工欠陥を引き起こす。従って、的確な消泡剤の選択は、融和性と非融和性との間の「バランス取り」のようなものである。従って、消泡はいつも効率と融和性との妥協の産物である。
膨大な数の様々な被覆加工システムにおいて、全ての調剤に最も適した「単一の」消泡剤は存在しない。何らかの目的に適した製品を確実に提供するには、消泡剤の範囲が必要になる。消泡効果は使用量を変えることにより正確に調整できる。一般的に、多くの消泡剤が使用されればされるほど、より優れた消泡効果が達成される。しかし、これは欠陥（例えば、へこみ）を増大させる、あるいはむしろ斯かる欠陥が目立つようにもなる。へこみ欠陥は、例えば、多過ぎる消泡剤および／または間違った消泡剤によって引き起こされるコンポーネントの非融和性に起因する。消泡剤の量を減らせば膜欠陥は防げるが、ある環境においては消泡効果は十分ではない。更に、特定の被覆加工組成物においては、消泡剤（複数も可）を特定の量以上に増やすことにより、消泡効果が実際には低下することを、本出願者は観察している。従って、欠陥を全くまたはほとんど有さない被覆加工表面を提供する１つ以上の消泡剤を識別するのは、極めて複雑な作業である。
本発明の実施形態によれば、被覆加工表面を生成するのに使用される被覆加工組成物は、消泡効率と組成物の他のコンポーネントとの融和性／混合可能性との間の妥協が達成されるようなタイプおよび量が選択された、２つ以上の異なる消泡剤の組み合わせを有している。
従って、被覆加工組成物において、１つ以上の消泡剤のタイプおよび量を選択するのは、極めて複雑な作業である。選択された消泡剤（複数も可）のタイプおよび量は、被覆加工組成物の他のコンポーネントのタイプおよび量、被覆加工製造プロセスパラメータ、および／または被覆加工アプリケーションプロセスパラメータと相互に関連していると言う事実により、事態は更に複雑である。斯かるパラメータの１つを僅かに変化させることにより、各被覆加工表面に観察される表面欠陥のタイプおよび程度に甚大な影響が及ぶ場合がある。被覆加工表面の品質の手動による特徴付けは、被覆加工表面の品質を改善する被覆加工組成物および関連するプロセスパラメータにおける変化の識別において、主な障害となっている。
気泡欠陥やへこみ欠陥などの特定の欠陥タイプの被覆加工欠陥の自動検出により、観察された各被覆加工欠陥に関連する種々の被覆加工組成物明細を有するデータに関して、被覆加工組成物の改善されたバージョンの明細を自動的に計算および出力（Ｍ３）したり、あるいは特定の（完全または不完全な）被覆加工組成物に予期される、被覆加工表面の特徴付け（例えば、被覆加工欠陥）を計算および出力（Ｍ２）したりするように、更なるマシンラーニングモデル（例えば、本発明のいくつかの実施形態に関して以下に記載されるモデルＭ２、Ｍ３）の訓練が可能になると言うこと、例えば、被覆加工表面の気泡は消泡剤の無効性を示しており、被覆加工表面のへこみ欠陥は消泡剤と被覆加工媒体との間の非融和性を示していることを、マシンラーニングモデルは訓練段階中に学習するようになると言うことを、本出願者は観察している。前者の場合、モデルは、現在使用されている消泡剤を、より効果の高い消泡剤で置き換えるように提案してもよい。後者の場合、モデルは、現在使用されている消泡剤を、被覆加工媒体にもっと融和性のあると予測される消泡剤で置き換えるまたは補足するように提案してもよい。被覆加工表面が、「効果的な」消泡剤ＤＦ１と「融和性のある」消泡剤ＤＦ２とを既に特定の比率（ｒ＝ＤＦ１：ＤＦ２）で有している場合、モデルは、前者の場合に、その比率を増大させるように提案してもよいし、後者の場合に、その比率を減少させるように提案してもよい。
従って、本発明の実施形態によれば、組成物明細予測モデルは、少なくとも２つの異なる消泡剤の比率、特に、高消泡効果および低被覆加工媒体融和性を有する第一消泡剤と、低消泡効果および高被覆加工媒体融和性を有する第二消泡剤との比率を予測するように使用される（その場合、気泡欠陥およびへこみ欠陥の発生の両方を最小化する比率が予測される）。
別のコンポーネントおよび／または製造プロセスパラメータによって、他の欠陥が引き起こされる場合がある。
いくつかの実施形態によれば、欠陥識別プログラムによって出力される被覆加工表面の特徴付けは、細粒度の定量的特徴付け、例えば、連続的尺度内、または少なくとも１０の所定の数値または数値範囲の組内の数値を有している。欠陥識別プログラムは、既存の粗粒度のデータセットと比較可能な、自動的に計算された特徴付けを生成するため、細粒度の定量的特徴付けを粗粒度の定量的特徴付けに変換する。例えば、既存の粗粒度のデータセットは手動で作成されてもよい。粗粒度の定量的特徴付けは、１０未満の所定の数値または数値範囲の組内の数値であってもよい。自動変換は、相互に比較可能な、手動でラベル付けされた被覆加工表面のデジタル画像と自動的にラベル付けされた被覆加工表面のデジタル画像との混合体を提供することにより、種々のデータ分析またはマシンラーニング目的のデータベースを増大させるであろう。
他の実施形態によれば、欠陥識別プログラムの出力は、最初から粗粒度であってもよい。例えば、出力は、「欠陥のない被覆加工表面」、「（僅かな）気泡欠陥を有する被覆加工表面」、「（僅かな）気泡欠陥および（重大な）へこみ欠陥を有する被覆加工表面」などの画像クラスラベルを有する単なる画像分類出力であってもよい。
実施形態によれば、当該方法は、被覆加工表面の定性的および／または定量的特徴付けを計算し、被覆加工表面の定性的および／または定量的特徴付けを出力するため、欠陥識別プログラムによって、認識された欠陥の測度を計算する工程を有する。
例えば、被覆加工表面は１つ以上の欠陥タイプおよび種々の程度の２以上の欠陥を有する場合がある。各欠陥の計算された定性的および／または定量的測度は、被覆加工表面の自動的に識別された欠陥の自動的に取得された測度を統合する、被覆加工表面の定性的および／または定量的特徴付けを取得するのに使用（例えば、集計）されてもよい。
個別欠陥の識別および個別欠陥の測度の自動決定は、被覆加工表面の個々の欠陥の数、タイプ、サイズ、および他の特性が客観化されると言う特長を有している。本発明の実施形態は、スタッフによる個々の欠陥および／または被覆加工表面の品質の手動／視覚評価に基づく従来技術の手法と比べて、はるかに主観性に乏しい。視覚評価は、定量的ではなく、粗粒度品質クラスまたは粗粒度等級分けシステム基づいて、結果を極めて粗雑に分類するに過ぎない。
実施形態によると、欠陥の測度は、（絶対的または画像に示される被覆加工表面のサイズに対する）欠陥の面積、画像において観察される気泡、窪み、または他の欠陥関連のパターンの数、画像で観察される気泡、窪みまたは欠陥を示す他のパターンの最大、最小、および／または平均サイズから成る群から選択される定量的測度である、またはそれを有する。
加えてまたはその代わりに、欠陥の測度は定量的測度である、またはそれを有している。定量的測度は、識別される欠陥のタイプであってもよい。例えば、欠陥タイプは、へこみ欠陥、摩耗欠陥、接着不良欠陥、ひび割れ欠陥、滲出性欠陥、表面のふくれ欠陥、曇り欠陥、橋状欠陥、泡立ち欠陥、陰極分離欠陥、炸裂欠陥、はじき性欠陥、クモの巣状欠陥、深割れ欠陥、ひび割れ欠陥、鉄菱状欠陥、層間剥離欠陥、色あせ欠陥、薄片状欠陥、グリニング欠陥、熱欠陥、インパクト欠陥、被覆間汚染欠陥、亀甲割れ欠陥、蜜柑肌欠陥、剥離欠陥、ピンホール欠陥、波状被覆欠陥、ほつれ状欠陥、さび色の吹き出物状欠陥、さび色の斑点状欠陥、さび色のしみ状欠陥、たるみ欠陥、沈降欠陥、剥がれ欠陥、溶媒持ち上げ欠陥、溶媒吹き出し欠陥、応力割れ性欠陥、アンダーカッティング欠陥、しわ状欠陥から成る群から選択されてもよい。
実施形態によると、当該方法は、更に、以下の工程、すなわち、
・識別対象の少なくとも１つの被覆加工表面の欠陥タイプを決定する工程、
・少なくとも１つの決定された欠陥タイプに関して、欠陥識別プログラムが、画像に示される被覆加工表面の特徴付けを計算するためのデジタル画像の収集を可能にする、１つ以上の照明角度および／または１つ以上の画像収集角度を自動的に決定する工程、
・被覆加工表面に対して決定された照明角度で、１つ以上の光源を配置する工程、および／または
・被覆加工表面に対して決定された１つ以上の画像収集角度で、１つ以上のカメラ（好ましくは、１つのカメラ）を配置する工程、および
・光源（複数も可）、カメラ（複数も可）、および被覆加工表面を相互に相対的に配置した後、被覆加工表面のデジタル画像（複数も可）を収集するため、カメラ（複数も可）を使用する工程、を有する。
欠陥識別プログラムは、光源を自動的に配置する工程に加えてまたはその代わりに、照明角度が、識別された所定の照明角度範囲内にあるように、１つ以上の光源および被覆加工表面の相対的配置の調整が適合できることを示す、および／またはどのように適合できるかを示す、フィードバックを生成するように構成されていてもよい。
表面欠陥を検出するのに適した照明角度および／または画像収集角度は、欠陥のタイプおよび／または使用される基板のタイプによって異なる。
例えば、気泡欠陥の検出にあたり、気泡が十分なコントラストを有する影形成を提供できるように、照明の傾斜角度は、例えば、ゼロ度超と７０度の間の角度、特に約４５度、および１１０度と１８０度未満の間の角度、特に約１３５度であるのが好ましい。
気泡欠陥を検出するための好ましい画像収集角度は、ゼロ度超～３６０度、好ましくはゼロ度～１８０度、更に好ましくは１０度～１７０度のいずれかであってよい。
反対に、被覆加工表面のへこみ欠陥は、基本的に、直角の画像収集角度および直角の（後景）照明角度を用いて、識別および特徴付けが行われる。例えば、へこみ欠陥の検出にあたり、７０度と１１０度の間の画像収集角度を使用するのが好ましい。透明の基板（例えば、ガラスまたは透明のプラスチック）に関しては、好ましい照明角度は２５０度と２９０度の間であり、１つ以上の光源は、光源から放射された光が、１つ以上のカメラによって捕捉される前に、透明な基板および被覆加工表面を基本的に直角に通過するように配置された背面光（透過光照明器（複数も可））である。基本的に直角の照明角度は、光の反射を減少させ、へこみの底部および側部における被覆物の厚さ、および／またはへこみの深さを決定できるようにする。不透明な基板に関しては、ゼロ度超と１８０度未満の間の他の照明角度、好ましくは直角照明角度、例えば７０度と１１０度の間の照明角度が使用される。
１つ以上のカメラ、１つ以上の光源、および被覆加工表面、並びに照明角度（複数も可）および画像収集角度（複数も可）の相対位置を制御する本発明の実施形態は、欠陥識別プログラムへの入力として提供されるデジタル画像が、比較可能で、画像の欠陥の識別および特徴付けを可能にする位置関係および照明条件の下に、確実に撮像されると言う特長を有していてもよい。欠陥識別プログラムがマシンラーニング手法に基づいて取得された場合には、相対位置、照明角度（複数も可）、および画像収集角度（複数も可）を制御する本発明の実施形態は、デジタル画像を収集するのに使用される条件が、欠陥識別プログラム作成の基となった訓練画像を取得するのに使用された条件と類似していることを確実なものにしてもよい。当該実施形態は、画像収集プロセスを厳格に制御することにより、収集されたデジタル画像が比較可能であり、欠陥識別プログラムによって再生可能および正確に処理できることを確実なものにしてもよい。
実施形態によれば、デジタル画像の処理は、更に、以下の工程、すなわち、
・画像内の表面欠陥のタイプおよび／または量、画像内の１つ以上の表面欠陥タイプに基づく画像のセマンティックセグメンテーション、および／または物体検出、および／または画像のインスタンスセグメンテーションに関して、欠陥識別プログラムを通して、デジタル画像の分類を実行する工程であって、それによってデジタル画像全体、画像領域、および／または個々の画素に１つ以上のラベルを自動的に割り当てるものであり、各ラベルはデジタル画像内に識別された欠陥のタイプを示すものである工程、および
・１つ以上の割り当てられたラベルを出力する工程、を有する。
いくつかの実施形態において、欠陥識別プログラム（Ｍａｓｋ Ｒ－ＣＮＮなどの公的に入手可能なプログラムに基づいていてもよく、加えて、例えば、ＧＵＩを生成するため、ネットワーク、データベース、および／またはＨＴＥとデータを交換するため、または更なる予測タスクを実行するために、１つ以上の追加プログラムモジュールまたは機能を有していてもよい）は、画像に示される表面欠陥のタイプおよび／または量に関して画像分類を実行するように、および／または画像に示される１つ以上の表面欠陥タイプに基づいて、画像のセマンティックセグメンテーションを実行するように、および／または画像の物体検出および／またはインスタンスセグメンテーションを実行するように構成されている。
異なる手法が、異なるタイプの欠陥および／または使用事例シナリオ用に、異なるタイプのラベルを作成するのに使用されてもよい。いくつかの例においては、異なるタイプの２つ以上のラベルの組み合わせが、画像、画像領域、または画素に割り当てられてもよい。
例えば、画像分類は、画像に示される被覆加工欠陥のタイプ（複数も可）に関してデジタル画像を分類するプロセスである。クラスラベルは、「欠陥の無い表面」、「気泡欠陥のある表面」、または「重大な気泡欠陥のある表面」などであってもよい。クラスラベルは、個々の検出インスタンスの位置および数を識別するものではない。
セマンティックセグメンテーションは、１つ以上の異なる欠陥タイプの被覆加工欠陥を画素レベルで識別するプロセスであり、従って、個々の欠陥インスタンスのアウトラインに関する情報は一切取得されない。すなわち、セマンティックセグメンテーションは異なる欠陥タイプのタイプおよび場所に関する情報を画素レベルで提供はするが、同じタイプのいくつかの欠陥インスタンスが重なり合う場合、分離した欠陥インスタンスとしては認識できない。被覆加工欠陥のセマンティックラベルは、「画素｛気泡欠陥を示すデジタル画像の全画素のｘｙ座標｝で識別される気泡欠陥（複数も可）」、または「画素｛へこみ欠陥を示すデジタル画像の全画素のｘｙ座標｝で識別されるへこみ欠陥（複数も可）」であってもよい。被覆加工欠陥のセマンティックラベルは、画像で識別される１つ以上の欠陥タイプの場所を画素レベルで識別し、従って、欠陥の程度の大雑把な定量を可能にするものである。欠陥タイプのセマンティックラベルは、１つ以上の異なる欠陥タイプの場所および程度を識別するための十分詳細な情報を提供すると言う利点を有してはいるが、個々の欠陥インスタンスの識別はできない。
斯かるコンテキストにおいて、「物体検出」は、デジタル画像内の１つ以上の欠陥タイプの被覆加工欠陥インスタンスおよびその大体の場所を識別するプロセスである。被覆加工欠陥物体ラベルは、「画素｛気泡欠陥インスタンス＃２３４を有する（通常長方形の）境界ボックスのｘｙ座標｝における気泡欠陥インスタンス＃２３４」または「画素｛気泡欠陥インスタンス＃５５４を有する（通常長方形の）境界ボックスのｘｙ座標｝における気泡欠陥インスタンス＃５５４」であってもよい。被覆加工欠陥物体ラベルは、画素レベルにおいてではなく、境界ボックスレベルで、画像で識別された１つ以上の欠陥タイプの個々のインスタンスを識別し、画像内の斯かる欠陥インスタンスの大体の位置を識別するものである。被覆加工欠陥物体ラベルは、識別された欠陥タイプインスタンスを有すると予測される境界ボックスを強調したデジタル画像形式で、図形的に表されてもよい。欠陥タイプ物体ラベルは、所定の欠陥タイプの定量および欠陥タイプインスタンスの計算を可能にする大量の詳細な情報を提供すると言う利点を有していてもよい。粗粒度境界ボックスに基づく位置情報は、斯かるラベルの記憶および処理を容易なものにするであろう。
欠陥インスタンスセグメンテーションは、デジタル画像内の１つ以上の欠陥タイプの被覆加工欠陥インスタンスおよびそれぞれの場所を、画素レベルで識別するプロセスである。被覆加工欠陥インスタンスラベルは、「画素｛気泡欠陥インスタンス＃２３４を示すブロブにおける１組の画素のｘｙ座標｝における気泡欠陥インスタンス＃２３４」または、「画素｛気泡欠陥インスタンス＃５５４を示すブロブにおける１組の画素のｘｙ座標｝における気泡欠陥インスタンス＃５５４」などであってもよい。被覆加工欠陥インスタンスラベルは、画像で識別された１つ以上の欠陥タイプの個々のインスタンスを識別し、更に画像内の斯かる欠陥インスタンスの画素位置を識別するものである。被覆加工欠陥インスタンスラベルは、識別された欠陥タイプインスタンスを示す画像セグメントを強調したデジタル画像形式で、図形的に表されてもよい。例えば、種々のセグメントが、欠陥のない被覆加工表面の色とは異なる特定の色を有するセグメントとして図形的に表されてもよい。いくつかの実施形態においては、同一タイプの欠陥のうち、異なるインスタンスを表す異なるセグメントは、異なる色を有している。加えてまたはその代わりに、異なる欠陥タイプのインスタンスを表す異なるセグメントは、異なる色を有していてもよい。欠陥タイプインスタンスラベルは、大量の詳細な情報を提供すると言う利点を有しているかもしれないが、斯かるラベルの記憶および処理には更なるリソースが必要になるかもしれない。
欠陥タイプおよび／または欠陥タイプインスタンスの大体の場所（境界ボックス）または詳細な（画素ベースの）場所の識別は、位置情報が、例えば、欠陥によって覆われている画像の画素の小部分を計算したり、楕円、円、針形状の線、輪郭、セグメントエッジなどを用いて、識別された欠陥を計算したり強調したりする目的で、欠陥識別プログラムによって、容易に追加処理できると言う利点を有している。一方、パターンインスタンスの図形表示は、識別された欠陥が人間によって容易に識別できると言う利点を有している。例えば、欠陥識別プログラムは、特定のタイプの被覆加工欠陥を表していると特定された画像セグメントを、各色またはハッチングで表示するように構成された、グラフィカルユーザインターフェース（ＧＵＩ）を生成できる。例えば、気泡または窪みを表していると特定された画像セグメントは、特定の色（例えば、黄色）で強調されてもよい。あるいは、セグメントの境界線だけが強調されてもよい。座標情報および図形表示の組み合わせの提供は、欠陥識別プログラムの出力が、ソフトウェアおよび人間の両方によって容易に処理できると言う利点を有している。
領域提案ネットワーク、例えば、Ｍａｓｋ Ｒ－ＣＮＮプログラムによって提供される領域提案ネットワークは、様々な被覆加工欠陥タイプを正確に識別および特徴付けできることを、本出願者は観察している。しかし、いくつかの実施形態によると、被覆加工欠陥を識別するのに、および／または斯かる欠陥を有する被覆加工表面を特徴付けるのに、Ｍａｓｋ Ｒ－ＣＮＮプログラムの代わりに、またはそれに加えて、他の画像分析方法、特にブロブ検出方法が使用される。
例えば、被覆加工欠陥を識別する目的でデジタル画像を分析するのに、ＹＯＬＯニューラルネットワーク（Ｊ． Ｒｅｄｍｏｎ ａｎｄ Ａ． Fａｒｈａｄｉ: "Ｙｏｌｏ３： Ａｎ ｉｎｃｒｅｍｅｎｔａｌ ｉｍｐｒｏｖｅｍｅｎｔ，" ａｒＸｉｖ， ２０１８）が利用できる。
更なる例によれば、以下のブロブ検出画像分析方法の１つ以上が、１つ以上の被覆加工欠陥タイプ、特に気泡欠陥および／またはへこみ欠陥を正確に識別したり、および／または特徴付けしたりできることを、本出願者は観察している。
・単純閾値：欠陥および背景の２値画像セグメンテーションを実行するため、硬画素色境界を設定する工程を有する方法。「色」は、モノクローム画像の強度値であってもよいし、多重チャネル画像の色チャネルの強度値であってもよい。
・Ｏｔｓｕ閾値：二峰性画像の強度ヒストグラムから、大域閾値を自動的に計算する工程を有する方法。
・適応または動的閾値：画像の小領域に関して別々に閾値を計算し、異なる領域に異なる閾値を提供する工程を有する方法。
他の実施形態によると、以下のブロブ検出方法の１つ以上が使用される。
・輪郭発見：特定の画像において、類似の強度を有する全ポイントである輪郭を検出する工程を有する方法。
・端線検出：背景とブロブを区別するため、不連続な局所特徴として記載し得る検出末端を使用する工程を有する方法。
・クラスタ化：Ｋ平均などのクラスタ化技法を用いて、画像を類似の画素セグメントに区分けする工程を有する方法。
・分水嶺変換：画像を地形学的な地図のように扱い（各点の輝度がその高さを表す）、峰の頂上に沿って走る線を見つける工程を有する方法。
実施形態によると、デジタル画像は、以後の画像処理工程の正確度を向上させるため、前処理が実行される。例えば、画像の前処理は、以下の１つ以上を有してもよい。
・塗りつぶし：ノイズを最小化し、ブロブ検出を改善するため、最初のシード点への類似性に基づいて、画像の隣接値を適合させる工程を有する方法。
・形態変換：基礎的な形態演算子Ｅｒｏｓｉｏｎ（収縮）およびＤｉｌａｔｉｏｎ（膨張）を実行し、画像の特徴（例えば、末端）によって使用される画素の量を減少または増大させる工程を有する方法。
・平滑化：ガウスフィルタなどを通してノイズを除去するため、画像の前処理を実行する工程を有する方法。
実施形態によると、本方法は、グラフィカルユーザインターフェース（ＧＵＩ）を有するデータ処理システムに欠陥識別プログラムをインストールおよび／またはインスタンス化する工程を更に有する。データ処理システムは、カメラを有していてもよいし、あるいはカメラに操作可能に接続されていてもよい。欠陥識別プログラムは、データ処理システムの画面を通してユーザへ表示されるＧＵＩを生成するように構成されていてもよい。ＧＵＩを通したユーザ操作に応答して、欠陥識別プログラムは、カメラを通して、被覆加工表面の画像を収集する。欠陥識別プログラムは、欠陥パターンを自動的に識別するため、欠陥パターンの測度を計算するため、および被覆加工表面の定性的および／または定量的特徴付けを計算するため、収集された画像を、欠陥識別プログラムによって処理される画像として使用する。次に、欠陥識別プログラムは、ＧＵＩまたはデータ処理システムの別の出力インターフェースを通して、計算された特徴付けを出力する。
実施形態によると、欠陥識別プログラムはカメラに操作可能に接続されており、以下の工程、すなわち、
・被覆加工表面に対して、所定の距離範囲および／または所定の画像収集角度範囲内にカメラが位置付けられているか否かを決定する工程であって、距離範囲および／または角度範囲は、欠陥識別プログラムの予測モデルを生成するため、訓練画像を収集するのに使用されたのと類似の相対位置から画像を収集できるように適合されていてもよく、加えてまたはその代わりに、所定の距離範囲は、少なくとも所定の最低解像度（画像の表面面積当たりの画素）を有する画像の収集を可能にするように適合されていてもよい工程と、
決定結果に基づいて、
・カメラ位置の調整が必要であるか否かについて、ユーザおよび／またはカメラ用にフィードバック信号を生成する工程、および／または
・カメラおよび被覆加工表面の相対位置を自動的に調整する工程、および／または
・カメラが所定の距離および／または画像収集角度範囲内にある場合、カメラが画像を選択的に収集できるようにする工程と、を実行するように構成されている。
斯かる方法は、正確かつ再生可能な欠陥識別および被覆加工表面の特徴付けプロセスを実行するため、欠陥識別プログラムが要求する条件下において、画像収集システムの現在の設定がデジタル画像の収集を認めないならば、被覆加工表面の画像の収集および分析は最初から禁止される、と言う特長を有するであろう。
例えば、所定の距離範囲および／または所定の画像収集角度範囲は、現在提供されている被覆加工表面のデジタル画像が収集される前に、明示的または黙示的に与えられている範囲であってもよい。
デジタル画像の解像度は、与えられたサイズの被覆加工表面の面積を表す、斯かる画像に使用される画素数を示すものである。例えば、解像度は、画像の被覆加工表面のｃｍ２当たりの画素数、あるいは平方インチ当たりの画素数として与えられてもよい。
いくつかの実施形態によれば、所定の最低解像度は、絶対解像度値の形式、例えば、画像表面の０．０５ｍｍ２当たり少なくとも５ｐｘ ｘ ５ｐｘで提供されてもよい（ここで、「ｐｘ」は画素を表す）。更に好ましくは、所定の最低解像度は、画像表面の０．０５ｍｍ２当たり少なくとも１０ｐｘ ｘ １０ｐｘ、あるいは画像表面の０．０５ｍｍ２当たり少なくとも１５ｐｘ ｘ １５ｐｘである。
他の例によれば、所定の最低解像度は絶対解像度範囲の形式で提供される。斯かる範囲の下の限界は、例えば、画像表面の０．０５ｍｍ２当たり少なくとも５ｐｘ ｘ ５ｐｘ、画像表面の０．０５ｍｍ２当たり少なくとも１０ｐｘ ｘ １０ｐｘ、あるいは画像表面の０．０５ｍｍ２当たり少なくとも１５ｐｘ ｘ １５ｐｘである。斯かる範囲の上の限界は、画像表面の０．０５ｍｍ２当たり１０，０００ ｘ １０，０００ｐｘである。
例えば、欠陥タイプ「微細気泡」では、最低解像度は画像表面の０．０５ｍｍ２当たり８ｐｘ ｘ ８ｐｘであってもよい。本明細書で使用される場合、「微細気泡」は、気泡の直径が０．５ｍｍ未満であると特徴付けられる気泡欠陥である。
加えてまたはその代わりに、欠陥タイプ「マクロ気泡」に関しては、最低解像度は画像表面の０．６ｍｍ２当たり５ｐｘ ｘ ５ｐｘであってもよい。本明細書で使用される場合、「マクロ気泡」は、気泡の直径が少なくとも０．５ｍｍであると特徴付けられる気泡欠陥である。
加えてまたはその代わりに、欠陥タイプ「へこみ」の場合は、最低解像度は画像表面の０．０５ｍｍ２当たり８ｐｘ ｘ ８ｐｘであってもよい。
いくつかの実施形態によれば、欠陥識別プログラムは、解像度が上限の解像度範囲を超えている場合、デジタル画像の解像度を計算的に減少させ、減少したデジタル画像の解像度を所定の解像度範囲に収めるように構成されている。減少した解像度範囲の画像が、予測モデルを訓練するのに使用された訓練画像の解像度と同一または十分類似した解像度を有するようになると言う利点を、斯かる方法は有している。少なくとも１つのカメラの解像度が訓練画像の解像度よりもはるかに高い場合（エラー源と観察された原因）でも、欠陥識別プログラムは、正確な予測を確実に実行できる。
実施形態によれば、所定の最低解像度および／または所定の解像度範囲は、欠陥タイプに固有である。例えば、１つ以上の欠陥タイプの各々について、それぞれの所定の最低解像度または解像度範囲が、斯かる欠陥タイプの欠陥タイプ識別子と関連付けて、記憶媒体に記憶させておくことができる。
被覆加工欠陥タイプのサイズは様々であることを、本出願者は観察している。更に、本出願者は、驚くべきことに、訓練中に学習対象の被覆加工欠陥タイプのサイズに解像度を適合させた訓練画像を使用すると、訓練中に必要な計算資源および生成される予測モデルの正確度の両方に、それが甚大な影響を及ぼすことも観察している。すなわち解像度が高過ぎると、訓練には大きいＣＰＵ容量、時間、およびメモリが必要となり、ある場合には、最適状態に及ばない結果しか得られない。解像度が低過ぎると、訓練モデルの正確度は低い。しかし、異なる欠陥タイプは異なるサイズおよび／または異なる程度の繊細模様を有していると言う事実により、訓練時および試験時に使用されるべき最低解像度および／または最適解像度範囲は、欠陥のタイプ次第であることが観察されている。
実施形態によれば、欠陥識別プログラムは、識別対象の１つ以上の欠陥タイプの選択を動的に受信し、選択された各欠陥タイプに関して、収集対象の画像が、データ記憶媒体に斯かる欠陥タイプの識別子と関連付けて記憶されている最低解像度に少なくとも等しい解像度を確実に有するように、少なくとも１つのカメラと斯かる表面との間の距離を動的に決定する。あるいは、欠陥識別プログラムは、選択された各欠陥タイプに関して、収集対象の画像が、斯かる欠陥タイプの最適解像度範囲を示す解像度であって、データ記憶媒体に斯かる欠陥タイプの識別子と関連付けて記憶されている解像度を確実に有するように、少なくとも１つのカメラと斯かる表面との間の距離を動的に決定する。次に、欠陥識別プログラムは、カメラが、少なくとも欠陥タイプに固有の最低の解像度、および／または斯かる欠陥タイプの最適解像度範囲内の解像度で画像を収集できるように、少なくとも１つのカメラおよび／または提供されている表面との間で相対移動をトリガする。複数の欠陥タイプが選択された場合、選択された欠陥タイプの各々について、相対距離の適合が反復される。加えてまたはその代わりに、欠陥識別プログラムは、ユーザが、相対位置を手動または半自動で調整できるようにするフィードバックを出力する。
所定の画像収集角度範囲は、例えば、訓練画像の収集に使用された少なくとも１つのカメラの画像収集角度に依存するものであり、現在提供されている被覆加工表面の画像の収集に使用される少なくとも１つのカメラの画像収集角度が、訓練画像の取得に使用された画像収集角度（複数も可）に十分類似するように選択されてよい。「類似」と言う用語は、訓練画像収集に使用される画像収集角度として、例えば、同一の画像収集角度＋／－５％未満、同一の画像収集角度＋／－１０％未満、同一の画像収集角度＋／－１５％未満、同一の画像収集角度＋／－２０％未満、または同一の画像収集角度＋／－４０％未満を意味する。
いくつかの例によれば、所定の距離範囲は、（現在提供されている被覆加工表面のデジタル画像の収集に使用される）少なくとも１つのカメラと、少なくとも最低解像度を有するデジタル画像収集のための、現在の被覆加工表面との間の距離の範囲であり、その場合、最低解像度は、特定の欠陥に関連付けられた欠陥タイプ固有の最低解像度であり、予測モデルは、少なくとも斯かる最低解像度を有する訓練画像に基づいて、斯かる欠陥タイプを認識するように訓練されたものである。
現在提供されている被覆加工表面のデジタル画像収集に使用される少なくとも１つのカメラのタイプおよび／構成は、訓練画像に使用されたカメラのタイプおよび／構成とは異なる場合があるので、カメラ／表面間距離の動的調整は有益であろう。少なくとも所定の最低解像度を有する、または所定の解像度範囲内にある解像度を有するデジタル画像の収集を可能にする距離を、少なくとも１つのカメラが表面領域との間で有しているか否かを自動的に決定することにより、予測モデルが少なくとも１つのタイプの被覆加工欠陥を識別できる場合にのみ、カメラはデジタル画像を確実に収集できるようになる。同様に、訓練画像収集に使用されたのと類似の角度からデジタル画像を収集できるようにする画像収集角度を、少なくとも１つのカメラが有しているか否かを自動的に決定することにより、収集角度が訓練画像の収集に使用された収集画像に類似している場合にのみ、カメラは、確実にデジタル画像を収集できるようになる。
実施形態によれば、所定の画像収集角度範囲は欠陥タイプに固有である。例えば、１つ以上の欠陥タイプの各々について、各欠陥タイプの識別子と関連付けて、所定の画像収集角度範囲を記憶媒体に記憶させてもよい。
いくつかの実施形態によれば、欠陥識別プログラムの予測モデル（複数も可）の訓練に使用される訓練画像は、被覆加工表面を示すだけでなく、既知サイズの参照物体も示すものである。例えば、参照物体は、被覆加工表面上またはその隣に配置されてもよい。参照物体は、例えば、硬貨、用紙、または既知のサイズを有する任意の物体であってよい。現在少なくとも１つのカメラに提供されている被覆加工表面上またはその隣に、同じタイプの参照物体が置かれる。いくつかの実施形態によれば、予測モデルの訓練段階において、参照物体を各訓練モデルで示すのに使用される画素数が、既知の参照物体のサイズおよび参照物体の画素の測定数の関数として、各訓練画像の解像度を計算するために、決定される。いくつかの例によれば、計算された解像度は、訓練データの一部として、例えば訓練画像毎に記憶される。いくつかの例では、訓練画像の取得に使用された（全訓練画像の取得または１つ以上の特定の欠陥タイプの画像だけの取得に使用された）最低解像度は、所定の解像度範囲の下の限界として使用される。
いくつかの実施形態によれば、欠陥識別プログラムは、現在提供されている被覆加工表面の画像を収集する前に、提供されている表面領域から少なくとも１つのカメラまでの現在の距離が与えられた場合に、および／または少なくとも１つのカメラの現在の構成が与えられた場合に、斯かる画像の予想解像度を決定するように構成されている。例えば、欠陥識別プログラムは、１つのカメラに通信可能に接続されており、現在の距離および／または構成が与えられた場合の予想解像度を、直接、少なくとも１つのカメラから要求してもよい。他の実施形態によれば、予想解像度は、構成ファイルまたは少なくとも１つのカメラの現在の設定を有する他のデータ源から読み込まれる、またはそれに基づいて計算される。
他の実施形態によれば、予想解像度は参照物体に基づいて決定される。既知サイズの参照物体は、現在少なくとも１つのカメラに提供されている被覆加工表面上またはその隣に配置される。少なくとも１つのカメラが、少なくとも参照物体を示すプレビュー画像を捉え、参照物体を示すプレビュー画像内の画素数を決定する。参照物体を示す決定されたプレビュー画像内の画素数は、現在の状態における少なくとも１つのカメラの予想解像度である。現在の予想解像度が所定の解像度範囲内にあるか否かを決定するため、予想解像度は所定の解像度範囲と比較される。例えば、少なくとも１つのカメラと当該表面との間の現在の距離が所定の最低解像度未満である（および／または、所定の距離範囲外にある）と決定されたならば、欠陥識別プログラムは、当該予想解像度によっては、被覆加工欠陥を正確に識別できないことをこれは示している。
予想解像度が最低解像度と同じかそれ以上であれば、ユーザは、少なくとも１つのカメラを通して、手動でデジタル画像を捉えることができる、あるいは少なくとも１つのカメラが、画像を自動で捉えることができる。
予想解像度が所定の最低解像度未満（および／または、所定の距離範囲外にある）ならば、少なくとも１つのカメラと現在提供されている被覆加工表面との間の距離が、所定の距離範囲内にあるように、従って、カメラの予想解像度が最低解像度と同一またはそれ以上（および／または所定の解像度範囲内）となるように、修正される。
実施形態によれば、画像収集角度が同様に調整される。例えば、構成ファイル、カメラのインターフェース、および／またはプレビュー画像に示される参照物体の形状の計算による識別（特定の角度範囲から見られた場合のみ生じる）が、少なくとも１つのカメラの現在の距離、位置、および方位が与えられた場合に、予想画像収集角度を決定するのに使用される。
フィードバック信号は、カメラを正確に配置する場合に、および／または画像収集システムの設定を修正して適切な画像収集条件を保証する場合に、ユーザーをサポートするものであってもよい。例えば、フィードバック信号は、被覆加工表面に対して適切な位置にカメラを配置するには、どの方向または角度にそれを移動または回転すべきかをユーザに示すものであってもよい。いくつかの例においては、フィードバックは、ＧＵＩを通して出力される。加えてまたはその代わりに、フィードバック信号は、音響的な警報を有するものであってもよい。
例えば、ユーザ、アプリケーションプログラム、または構成ファイルは、例えば、ＧＵＩを通して、または構成ファイルを通して、識別対象の欠陥タイプを選択または決定してもよい。従って、検査及び識別対象の欠陥タイプを選択または決定することにより、特定タイプの欠陥を識別するのに、どの画像収集角度および／または距離が許容できると考えられるかが決定されてもよい。欠陥のタイプにより、異なる照明および／または画像収集条件で最も良く識別可能であることが観察されているので、斯かるやり方は、欠陥識別の正確度を向上させるであろう。
他の実施形態によれば、対応するフィードバック信号は、生成され、被覆加工組成物を自動的に製造および試験するための設備の画像収集ユニットへ提供される。フィードバック信号は、画像収集ユニットが、適切な画像分析のために欠陥識別プログラムによって要求されている条件の下に、ユニットに現在含まれる被覆加工表面のデジタル画像を収集できる ように、画像収集ユニットに含まれるカメラおよび／または光源が被覆加工表面に対する相対位置、照明角度および／または画像収集角度を自動で変えられるようにする、制御コマンドを有していてもよい。
例えば、フィードバック信号は、人間のユーザーが、カメラの位置（距離および／または方位）を手動または半自動で修正できるようにする信号であってもよい。加えてまたはその代わりに、フィードバック信号は、コントローラユニットがカメラ位置を自動または半自動で修正できるようにするマシンコマンドを有していてもよい。
フィードバック信号は、例えば、少なくとも１つのカメラによって収集される被覆加工表面のプレビュー画像上に重ねられたオーバーレイ画像であってもよく、その場合、オーバーレイ画像は、少なくとも１つのカメラが、欠陥識別プログラムによって成功裏に処理可能な、画像収集に適した位置にあるか否かを示す１つ以上のＧＵＩ要素を有している。
実施形態によれば、欠陥識別プログラムは、以下、すなわち、
・アプリケーションプログラムであって、データ処理システムは、定常または携帯用のデータ処理システム、例えば、汎用データ処理装置、特に、携帯用の遠隔通信装置、例えば、ノートブック、スマートフォン、タブレットコンピュータ、または携帯用のデータ処理システムとして使用可能な他の汎用データ処理装置であり、カメラは装置内部の組込みカメラまたは外部のカメラ、例えば、デジタルカメラまたはカムコーダーであってもよく、会社のスタッフが、会社によって製造される被覆加工組成物および／または被覆加工表面の正確かつ再生可能な品質管理を実行するにあたり、追加の専用ハードウェアは一切要求されないと言う特長を、汎用データ処理システムの使用は有していてもよいアプリケーションプログラム、
・アプリケーションプログラムであって、データ処理システムは、被覆加工表面の品質管理用に専用に設計された携帯または定常用装置であり、例えば、専用に設計された品質管理装置は、追加のコンポーネント、例えば、被覆加工表面との相対位置が欠陥識別プログラムによって制御可能なカメラおよび／または照明源などを有していてもよく、斯かる装置は、再生可能かつ正確なやり方で、被覆加工表面および検査された被覆加工表面の品質を自動的に識別し、特徴付けできることを、本発明の実施形態が保証するものであってもよいアプリケーションプログラム、
・アプリケーションプログラムであって、データ処理システムは、被覆物の自動または半自動製造用の大量処理（ＨＴ）設備（大量処理装置（ＨＴＥ）とも呼ばれる）であり、特に大量処理設備は、本発明の実施形態用に本明細書に記載されているような自動画像収集ユニットを有する設備であってもよく、ＨＴ設備は、多くの異なる被覆加工組成部および被覆加工表面を自動的に製造および試験でき、それにより、望ましい被覆加工品質特徴付けを有する被覆加工組成物を識別および／または予測する目的で、マシンラーニングモデルを訓練するのに、再使用可能な大量のデータを作成できるので、ＨＴＥ設備における欠陥識別プログラムの使用は特に有利であり、ＨＴ設備において、定性的および／または定量的被覆加工特徴付けを自動的に生成および記憶することにより、種々の大規模データアプリケーション、特にマシンラーニングベースの予測において、被覆加工欠陥および被覆加工品質の特徴付けを考慮できるようになるが、それは、従来、手動で作成され、主観的で一貫性に乏しい品質ラベルに基づいては可能ではなかったアプリケーションプログラム、
・ネットワークを通して永続的または一時的にダウンロードおよび／またはインスタンス化されたウェブアプリケーションであって、例えば、サーバーは、インターネットを通して、欠陥識別プログラムを実施するＪａｖａ（登録商標）アプリケーションを提供できるウェブアプリケーション、
・ブラウザ内で実行されるプログラム、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）プログラム、および
・サーバーコンピュータでインスタンス化されるサーバープログラムであって、クライアントデータ処理システム（例えば、汎用コンピュータ、品質管理用に特別に設計された装置、またはスマートフォン）でインスタンス化されたクライアントプログラムに、ネットワーク接続を通して、操作可能に接続されており、例えば、被覆加工表面の１つ以上のデジタル画像を収集するための１つ以上のカメラを制御するように構成されたプログラムであり、収集されたデジタル画像は、画像処理に使用されるサーバープログラムであって、被覆加工表面の特徴付けを含む処理された結果を、ネットワークを通してクライアントプログラムへ出力するサーバープログラムへ、ネットワークを通して送信され、クライアントプログラムは、サーバープログラムによって提供される結果を表示するように更に構成されていてもよいサーバープログラム、から成る群から選択される。
「携帯用装置」は、例えば、スマートフォンのようにハンドヘルド装置であってもよいが、いくつかの例では、携帯用装置は、機械的手段の助けなしに、人間が少なくとも数メートル持ち運び可能な重さの大型装置であってもよい。斯かる装置の重量は、一般的に５０ｋｇ未満、特に４０ｋｇ未満である。
上述の実施形態の組み合わせは可能である。例えば、欠陥識別プログラムは、クライアントサーバーシステムとして実施するのも可能であり、その場合、クライアント側は、ウェブアプリケーションまたはブラウザアプリケーションとして実施され、データ処理システムでインスタンス化され、十分量および適切なコンテキストでデジタル画像を収集するのに責任を有し、サーバー側は、遠隔サーバーコンピュータでインスタンス化され、被覆加工欠陥を識別するために画像分析を実行し、被覆加工表面の特徴付けを提供するのに責任を有する。別の例では、クライアントプログラムおよびクライアントデータ処理システムは、被覆加工組成物を調製および／または試験するための設備の一部、例えばＨＴＥであってもよい。サーバープログラムは、例えば、斯かるＨＴＥの一部（遠隔）であってもよいし、複数の異なるＨＴＥに属する複数のクライアントプログラム用のサーバーとして使用されてもよいし、および／またはＨＴＥの一部でなくてもよい。サーバーコンピュータシステムは、モノリシックコンピュータシステムであってもよいし、分散型コンピュータシステム、例えば、クラウドコンピュータシステムであってもよい。
実施形態によれば、欠陥識別プログラムは、所定のパターン認識のため、マシンラーニングプログラムによって実行される訓練工程において、訓練データから学習された予測モデルを有している。特に、マシンラーニングプログラムは、ニューラルネットワークであってもよい。
実施形態によれば、訓練データは、複数の被覆加工表面に関する複数のラベル付け訓練画像を有する。例えば、訓練画像は、多くの被覆加工適用プロトコル（例えば、１度または複数回、異なる温度、基板に種々のタイプの前処理プロトコルを実行した後、噴霧、散布、塗装、または浸漬技術の使用など）に従って、多くの異なるタイプの基板（例えば、木材、プラスチック、金属、紙など）上に被覆加工組成物を適用することにより得られる被覆加工表面のデジタル画像を有していてもよい。加えてまたはその代わりに、訓練画像は、多くの異なる被覆加工組成物を適用することにより得られる被覆加工表面を示すデジタル画像を有していてもよく、その場合、異なる被覆加工組成物は、異なるタイプおよび／または量のコンポーネントを組み合わせることにより、および／または異なる製造プロセスパラメータ（例えば、混合時間、混合温度、混合速度など）および／または異なるアプリケーションプロセスパラメータに従って、コンポーネントを組み合わせることにより得られるものである。従って、訓練データは、種々の異なる基板、被覆加工組成物、被覆加工組成物の製造パラメータ、および被覆加工アプリケーションプロトコルパラメータをカバーする、大規模な多次元データ空間を有するものであってもよい。本方法は、訓練データをデータベースに記憶させる工程も更に有する。訓練データのラベルは、まず手動で付注される。後の訓練工程において、訓練データは、自動付注され、好ましくは人間の注釈者によって検査および修正された被覆加工表面の追加のデジタル画像によって拡張されてもよい。ラベルは、画素ベースによる被覆加工欠陥の境界の指摘、被覆加工欠陥のタイプ、および被覆加工表面の１つ以上の定量的および／および定性的特徴付け（ある場合には、各訓練画像に示される１つ以上の欠陥の測度と同一であってもよい）を有しているのが好ましい。
実施形態によれば、マシンラーニングプログラムは、ニューラルネットワーク、または領域提案ネットワークを有する１組のニューラルネットワークである。領域提案ネットワークは、入力画像にアンカーを作成するように構成されており、アンカーがオブジェクト（欠陥パターの１つ）を含む可能性があるか否かの提案をするものである。「アンカー」は、検出対象欠陥パターンのサイズをカバーしたアンカーサイズを有する、入力画像の亜領域と理解されたい。
例えば、気泡、泡窪みなどの特定タイプの欠陥の平均サイズは既に知られている。斯かる欠陥のサイズ範囲は、予期される欠陥パターンのサイズ範囲として使用できる。領域提案ネットワークは、欠陥（例えば、「気泡」、「へこみ」など）を検出するため、識別対象の１つ以上の欠陥タイプの予想サイズ範囲をカバーするサイズのアンカーを作成および使用するように構成されている。いくつかの実施形態によれば、複数の異なるアンカーサイズが、訓練中にユーザによって規定される（例えば、８ｘ８画素、３２ｘ３２画素、６４ｘ６４画素、１２８ｘ１２８画素などを有する１組のアンカーからのアンカーが使用できる）。
本明細書で使用される場合、「領域提案ネットワーク」（ＲＰＮ）は、亜領域におけるオブジェクトの発生について「提案」するように適合され、「アンカー」と呼ばれる入力画像の多くの亜領域で作動するように構成された、ニューラルネットワークである。
好ましい実施形態によれば、領域提案ネットワークは、例えば、「Ｍａｓｋ Ｒ－ＣＮＮ」， Ｋａｉｍｉｎｇ Ｈｅ ａｎｄ Ｇｅｏｒｇｉａ Ｇｋｉｏｘａｒｉ ａｎｄ Ｐｉｏｔr Ｄｏｌｌａｒ ａｎｄ Ｒｏｓｓ Ｇｉｒｓｈｉｃｋ， ２０１７， ｅｐｒｉｎｔ １７０３．０６８７０， ａｒＸｉｖ：１７０３．０６８７０に記載されるような「Ｍａｓｋ Ｒ－ＣＮＮ」に含まれる領域提案ネットワークである。「Ｍａｓｋ Ｒ－ＣＮＮ」は、画像のオブジェクトを効率的に検出し、それと同時に、各インスタンス用に高品質のセグメンテーションマスクを生成するように構成された、フレキシブルなニューラルネットワークベースのプログラムである。Ｍａｓｋ Ｒ－ＣＮＮは、境界ボックス予測用の既存のブランチと並行して、オブジェクトマスクを予測するためのブランチを追加することにより、Ｆａｓｔｅｒ Ｒ－ＣＮＮを拡張するものである。Ｍａｓｋ Ｒ－ＣＮＮは４つの主な出力を有している。すなわち、各候補オブジェクト（候補欠陥タイプインスタンス）に関して、クラスラベル、点数、および境界ボックスが提供される。加えて、オブジェクトマスクが提供されてもよい。Ｍａｓｋ Ｒ－ＣＮＮは、Ｆａｓｔｅｒ Ｒ－ＣＮＮに僅かな経費を追加するに過ぎない。Ｍａｓｋ Ｒ－ＣＮＮは、同一のフレームワークの多くの異なるタスク用に容易に一般化されるので、多くの異なるタイプの被覆加工表面の欠陥を識別するのに特に適していることを、本出願者は観察している。Ｍａｓｋ Ｒ－ＣＮＮは、ｈｔｔｐｓ／／ｇｉｔｈｕｂ．ｃｏｍ／／ｍａｔｔｅｒｐｏｒｔ／Ｍａｓｋ＿ＲＣＮＮを通してダウンロードできる。他のオブジェクトタイプのインスタンスセグメンテーション用のＭａｓｋ Ｒ－ＣＮＮの使用は、２０１８年３月２０日にＷａｌｅｅｄ Ａｂｄｕｌｌａによって記載され、ＵＲＬ（ｈｔｔｐｓ／／ｅｎｇｉｎｅｅｒｉｎｇ．ｍａｔｔｅｒｐｏｒｔ．ｃｏｍ／ｓｐｌａｓｈ－ｏｆ－ｃｏｌｏｒ－ｉｎｓｔａｎｃｅ－ｓｅｇｍｅｎｔａｔｉｏｎ－ｗｉｔｈ－ｍａｓｋ－ｒ－ｃｎｎ－ａｎｄ－ｔｅｎｓｏｒｆｌｏｗ－７ｃ７６１ｅ２３８ｂ4６）によってオンラインで利用可能な、オンライン論文「Ｓｐｌａｓｈ ｏｆ Ｃｏｌｏｒ： Ｉｎｓｔａｎｃｅ Ｓｅｇｍｅｎｔａｔｉｏｎ ｗｉｔｈ Ｍａｓｋ Ｒ－ＣＮＮ ａｎｄ ＴｅｎｓｏｒＦｌｏｗ」に記載されている。Ｆａｓｔｅｒ Ｒ－ＣＮＮ手法は、Ｓｈａｏｑｕｉｎｇ Ｒｅｎ、Ｋａｉｍｉｎｇ Ｈｅ、Ｒｏｓｓ Ｇｉｒｓｈｉｃｋ、およびＪｉａｎ Ｓｕｎによって、「Ｆａｓｔｅｒ Ｒ－ＣＮＮ： Ｔｏｗａｒｄｓ Ｒｅａｌ－Ｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋｓ」（ｈｔｔｐｓ／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ１５０６．０１４９７を通して利用可能な２０１５， ｅｐｒｉｎｔ １５０６．０１４９７）に記載されている。
１つの例によれば、ニューラルネットワークは、「中枢」網およびＲＰＮを有している。「中枢」網は、まず入力画像に適用され、特徴抽出器として機能する、標準の畳み込みニューラルネットワーク（通常、ＲｅｓＮｅｔ５０またはＲｅｓＮｅｔ１０１）である。「中枢」網の最初の層は低レベルの特徴（末端および角）を検出し、後の層は高レベルの画像特徴を連続的に検出する。ＲＰＮは、中枢ニューラルネットワーク提供の入力画像から導出される特徴ベクトルに基づいて、領域提案を生成するように訓練されているのが好ましい。
Ｍａｓｋ Ｒ－ＣＮＮの操作は、大まかに、以下のように要約されるであろう。
・画像は、特徴マップを生成するために「中枢網」を通して実行される。
・ＲＰＮは、軽量の二項分類器を用いて複数の注目画像領域（Ｒｏｌ）を生成する。画像にアンカーボックスを用いてそれを行う。「アンカー」または「アンカーボックス」は、検出対象の特定の欠陥タイプのスケールアスペクト比を捉えるための、特定のサイズ範囲をカバーする１組の境界ボックスと理解されたい。実施形態によれば、複数のアンカーが、ＣＰＵ（中央処理装置）またはＧＰＵ（図形処理装置）で並行に処理される。その結果、１つ以上の欠陥タイプの欠陥インスタンスの検出において、処理速度が大幅に向上する。アンカーボックスは、あらゆる可能性の位置で個別予測を計算するスライディングウインドウで画像をスキャンする必要なしに、複数のオブジェクト、異なる尺度のオブジェクト、および重なり合うオブジェクトを検出するのに役立つ。その結果、実時間によるオブジェクトの検出が可能となる。領域提案ネットワークは、各アンカーに関して、アンカーがオブジェクトを含んでいる（前景クラス）か、それとも含んでいない（後景クラス）かを予測する。加えて、全前景アンカーに関して、オブジェクト（被覆加工欠陥）がより良く適合するように、境界ボックスの改善が実行される。斯かる領域は、注目画像領域（Ｒｏｌ）とも呼ばれる。
・各Ｒｏｌに関して、提案が予測される。各提案は、特定のオブジェクトタイプを示すＲｏｌの確率の得点（例えば、気泡欠陥に関して９３％）およびオブジェクトのクラス／ラベル（例えば、「気泡欠陥」、「へこみ欠陥」、「後景」など）の組み合わせである。
・注目画像領域は、追加の境界ボックス改善工程を実行することにより、更に改善される。
加えて、正のアンカー（オブジェクトを含む注目画像領域）に関してセグメンテーションマスクが予測され、識別された欠陥インスタンスが画素レベルで示される。例えば、Ｍａｓｋ Ｒ－ＣＮＮは、泡欠陥を極めて正確に識別および特徴付けできることが観察されている。
上述の工程は、既存の欠陥識別プログラムおよび／または訓練された欠陥識別プログラムが、被覆加工欠陥の発生を示すラベル、タイプおよび程度を有さない新しい（試験）画像に、如何に適用できるかを記載するものである。以下に、欠陥識別プログラムの予測モデルを生成および訓練する方法の実施形態が記載される。試験段階および訓練段階は、同一のデータ処理システムで実行されてもよいし、あるいは異なるシステムで実行されてもよい。例えば、第一のデータ処理システムでモデルＭ１を訓練し、訓練されたモデルを、例えば、ユーザーおよび／または被覆物を製造または試験する設備と相互作用させるための、いくつかの追加機能またはモジュールを有する欠陥識別プログラムと統合し、斯かる欠陥識別プログラムを、第二のデータ処理システムへ送信してもよい。
（欠陥識別プログラムのモデル（Ｍ１）の訓練段階）
実施形態によれば、本方法は、訓練データに関して訓練工程を実行する工程を有しており、訓練データは、被覆加工表面に関する１組のラベル付きデジタル訓練画像を有しており、ラベルは、訓練画像の欠陥の場所／位置および／またはタイプを識別するものである。予測モデルは、バックプロパゲーションを用いて、ラベル付き訓練画像により、パターンを認識するように訓練される。
例えば、訓練画像は、画像が１つ以上の欠陥タイプ（被覆加工欠陥の場所および／または程度は示さない）を示しているか否かを指摘する、割り当てられたラベルをそれぞれ有している。好ましくは、訓練画像は欠陥のない種々の被覆加工表面の画像を有している、欠陥画像は単一の欠陥タイプの欠陥を種々の程度で有している、および／または欠陥画像は２つ以上のタイプの欠陥の混合体を有している。
訓練データのラベルは、画像に示される欠陥タイプ（複数も可）を指摘する画像クラスラベルを有していてもよいが、斯かる欠陥に関する位置情報は有さない。加えてまたはその代わりに、ラベルは、欠陥タイプまたは欠陥タイプインスタンスの場所に関する情報を画素レベルまたは境界ボックスレベルで提供する、セマンティックな欠陥タイプラベル、オブジェクト識別ラベル、および／または欠陥タイプインスタンスラベルを有していてもよい。
加えてまたはその代わりに、本発明の実施形態による訓練画像は、訓練画像に示される１つ以上の欠陥の定量的測度、例えば、欠陥のサイズおよび／または重大さ、気泡の数などを割り当てられている。斯かるパラメータ、各割り当てられたラベル、および定量測度は、予測モデルがパラメータを欠陥パターンおよび被覆表面の欠陥の測度と関連付けられるように、訓練工程で処理される。
実施形態によれば、欠陥識別プログラムは、いくつかの欠陥関連画像の注釈をデジタル画像の強度または色パターンと関連付けるように学習した、複数の予測モデルＭ１．１、Ｍ１．２、Ｍ１．３を有していてもよい。例えば、予測モデルＭ１．１は、注釈付き欠陥と画素パターンを関連付けるように学習した、Ｍａｓｋ Ｒ－ＣＮＮの領域提案ネットワークであってもよく、モデルＭ１．２は、各デジタル画像と関連付けて記憶されている欠陥測度および他のパラメータを注釈付き欠陥に関連付けるように学習した、別のニューラルネットワークであってもよい。欠陥識別プログラムは、複数の予測モデルＭ１．１、Ｍ１．２、Ｍ１．３を有し、斯かるモデル、および予測を実行するための結果を統合および／または総合するものである。
マシンラーニングプロセスによる欠陥識別プログラムの提供は、生成された予測モデルＭ１が、画像パターンと種々の欠陥タイプとの間の複数の極めて複雑な相互関係を既に学習している、と言う利点を有するであろう。複雑で、しかも主に隠されている斯かる相互関係を、人間が明示的に特定した１つ以上の規則によって予測モデルに統合するのは、極めて困難であり、ある場合には不可能でさえあることを、本出願者は観察している。
実施形態によれば、訓練画像の少なくともいくつかは、訓練画像に示される被覆加工表面を作成するのに使用される被覆加工組成物関連の、割り当てられたパラメータを更に有している。
予測モデルＭ１（または欠陥識別プログラムによって使用される複数の他の予測モデルのうちの１つであるＭ１．２）を訓練するのに使用される訓練画像に割り当てられた、斯かる追加の、任意のパラメータは、以下、すなわち、
・訓練画像に示される被覆加工表面を生成するのに使用される被覆加工組成物の１つ以上のコンポーネントの指摘、
・被覆加工組成物の１つ以上のコンポーネントの絶対量または相対量の指摘（例えば、パラメータは、画像に示される表面を生成するのに使用された被覆加工組成物に含まれる１つ以上の消泡剤のタイプおよび／または量に関する明細を有していてもよい）、および／または
・１つ以上の製造プロセスパラメータであって、被覆加工組成物を生成するプロセスを特徴付けるものであり、例えば、被覆加工組成物の混合速度、混合温度、および／または混合時間を有するものである製造プロセスパラメータ、および／または
・１つ以上のアプリケーションプロセスパラメータであって、被覆加工組成物を基板に適用するプロセスを特徴付けるものであり、被覆加工表面の面積当たりに適用される被覆加工組成物の量、基板のタイプ、および／またはアプリケーション機器のタイプ（例えば、マシン、装置など）を特に有しており、被覆加工組成物が適用される基板を前処理する方法（例えば、乾燥、加熱、洗浄、または他の基板の準備）を示すパラメータを有していてもよいアプリケーションプロセスパラメータ、および／または
・訓練画像の収集に使用される撮像システムのシステムパラメータであって、被覆加工表面を照明するのに使用される光源（複数も可）のタイプ、光源（複数も可）の輝度、照明角度、光源（複数も可）の波長、被覆加工表面のデジタル画像の収集に使用される１つ以上のカメラのタイプ、画像収集角度（複数も可）、および１つ以上のカメラの位置から成る群から選択されるものであるシステムパラメータ、のうちの１つ以上を有していてもよい。
上述のコンテキストのパラメータは全て、被覆加工表面に観察される欠陥の数およびタイプに影響を及ぼすこと、従って、被覆加工表面の品質にも影響を及ぼすことを本出願者は観察しているので、上述のコンテキストのデータに関して、予測モデルを欠陥識別プログラムに統合するように訓練するやり方は有利であろう。上述のコンテキストのデータおよび／または欠陥の定量的測度で訓練画像に注釈を付す（付注する）ことにより、訓練された予測モデルＭ１は、被覆加工欠陥のタイプおよび程度並びに被覆加工表面の品質の特徴付けに影響を及ぼし得るあらゆる要因を、確実に考慮できるようになる。
（更なる実施形態）
更なる実施形態において、本発明は、被覆加工組成物関連の予測プログラム、例えば、組成物品質予測プログラムおよび／または被覆加工組成物明細予測プログラムを提供するための、コンピュータ実施方法に関する。当該方法は、以下の工程、すなわち、
・各被覆加工表面を生成するのに使用される被覆加工組成物の１つ以上のコンポーネント、コンポーネントの１つ以上の相対的および／または絶対的量、被覆加工組成物の製造プロセスパラメータ、および／または被覆加工表面を生成するためのアプリケーションプロセスパラメータから成る群から選択される１つ以上のパラメータに関連付けられた、被覆加工表面の定性的および／または定量的特徴付けの集合体を有するデータベースを提供する工程と、
・１つ以上の被覆加工表面の定性的および／または定量的特徴付けを、各被覆加工表面の特徴付けと関連付けて記憶されているパラメータの１つ以上に関連付けて学習した予測モデル（例えば、「Ｍ２」または「Ｍ３」として本明細書で言及される予測モデル）を提供するため、データベースの１つ以上のパラメータで、被覆加工表面の特徴付けの集合体に関して、マシンラーニングモデルを訓練する工程と、
・予測モデル（Ｍ２）を有する組成物品質予測プログラムを提供する工程であって、組成物品質予測プログラムは、被覆加工表面を生成するのに使用される被覆加工組成物の１つ以上のコンポーネント、コンポーネントの１つ以上の相対的および／または絶対的量、被覆加工組成物を調製するのに使用される製造プロセスパラメータ、および／または被覆加工表面を生成するためのアプリケーションプロセスパラメータから成る群から選択される１つ以上のパラメータから生成される被覆加工表面の特性を予測するため、予測モデル（Ｍ２）を使用するように構成されている工程と、
・予測モデル（Ｍ３）を有する組成物明細予測プログラムを提供する工程であって、 組成物明細予測プログラムは、入力された表面の特徴付けを有する被覆加工表面の生成が予測される被覆加工組成物に関する１つ以上の出力パラメータを、少なくとも望ましい被覆加工表面の特徴付けを特定する入力に基づいて予測し出力するのに、予測モデル（Ｍ３）を使用するように構成されており、１つ以上の出力パラメータは、被覆加工組成物の１つ以上のコンポーネント、コンポーネントの１つ以上の相対的および／または絶対的量、被覆加工組成物を調製するのに使用される製造プロセスパラメータ、および／または被覆加工表面を生成するためのアプリケーションプロセスパラメータから成る群から選択されるものであり、任意に、組成物明細予測プログラムは、不完全な被覆加工組成物明細を受信し、明細を予測された出力パラメータの解空間を制限するのに使用するように構成されている工程と、を有するものである。
本発明の実施形態は、特定の被覆加工組成物の品質の特徴付けを、組成物のコンポーネントのタイプおよび／または量の関数として、および任意に、更なるパラメータの関数として自動的に予測可能な組成物品質予測プログラムが提供されるので、有利であろう。斯かる方法は、望ましい品質の特徴付けを有する被覆加工表面を提供できる被覆加工組成物の試験及び識別プロセスを大幅に加速させるものである。本発明の実施形態は、人間の経験、および実験台で製造および試験される大量の被覆加工組成物に基づく従来技術の手法とは反対に、特定の被覆加工組成物が、望ましい被覆加工表面の特徴付けを有するか否かに関する正確な予測を可能にするであろう。斯かる方法は、適切な被覆加工組成物の識別プロセスを大幅に加速させ、斯かる識別プロセスを実行するのに要する試薬、機器、および消耗品のコストを大きく削減するものである。
欠陥識別プログラムの予測モデルＭ１は、手動で付注された訓練画像に関してマシンラーニング工程を実行することにより取得され、画素パターンを、欠陥タイプ特徴付けの測度および被覆加工表面の特徴付けに関連付けるように学習するのが好ましいが、組成物品質予測プログラムの予測モデルＭ２は、デジタル画像を有してもよいが、有さない方が好ましい訓練データ上で訓練できる。予測モデルＭ２の目的は、被覆加工表面の特徴付け、特に品質関連の特徴付けを、１つ以上のコンポーネント、および更に任意に、被覆加工組成物のコンテキストパラメータの関数として予測することである。
実施形態によれば、本方法は、各々被覆加工表面を表す複数の画像を提供する工程を有する。画像に示される被覆加工表面は、複数の被覆加工組成物を各表面標本に適用することにより生成される。画像に示される被覆加工表面の少なくともいくつかは、１つ以上の異なる欠陥タイプの１つ以上の被覆加工欠陥を各々有している。本方法は、画像のパターンを認識し、識別されたパターンによって示される被覆加工欠陥の測度を取得し、画像に示される被覆加工表面の定性的および／または定量的特徴付けを計算するため、欠陥識別プログラムを画像に適用する工程を有する。本方法は、予測モデル（Ｍ２、Ｍ３）に訓練データを提供するため、被覆加工表面の定性的および／または定量的特徴付けを、斯かる欠陥を有する被覆加工表面を作成するのに使用された被覆加工組成物に関する１つ以上のパラメータに関連付けて、データベースに記憶させる工程を更に有する。例えば、斯かるパラメータは、上記被覆加工組成物の１つ以上のコンポーネント、斯かるコンポーネントの１つ以上の相対的および／または絶対的量、被覆加工組成物を調製するのに使用される製造プロセスパラメータ、および／または被覆加工表面を生成するためのアプリケーションプロセスパラメータから成る群から選択できる。
自動欠陥識別および被覆加工表面の特徴付けにより、再生可能かつ比較可能なやり方で、膨大な数の画像に注釈を付すのが可能となるので、斯かる方法は有利であろう。膨大な数の公平な訓練データセットにより、被覆加工組成物の特性、特に組成物を基板に適用することにより得られる被覆加工表面の品質の正確な予測が確実に可能となる。
実施形態によれば、欠陥識別プログラムは、本明細書記載の実施形態または例のいずれか一つに特定される欠陥識別プログラムである。
実施形態によれば、定性的および／または定量的測度は、組成物品質予測プログラムまたは組成物明細予測プログラムによって使用される予測モデル（Ｍ２、Ｍ３）を生成するために、マシンラーニング工程で考慮される、割り当てられたパラメータを有している。斯かるパラメータは、以下、すなわち、
・被覆加工組成物の１つ以上のコンポーネントの指摘（例えば、コンポーネントの指摘は、特定の化学化合物、例えば、特定の色素、特定の消泡剤、または物質クラス、例えば、「溶媒ベースの被覆加工媒体」を特定できる）、
・被覆加工組成物の１つ以上のコンポーネントの絶対量または相対量の指摘（例えば、斯かる指摘は、２つの消泡剤の相対量を指摘してもよい）、
・１つ以上の製造プロセスパラメータであって、被覆加工組成物を生成するプロセスを特徴付けるものであり、例えば、被覆加工組成物の混合速度および／または混合時間を有するものである製造プロセスパラメータ、および／または
・１つ以上のアプリケーションプロセスパラメーターであって、被覆加工組成物を基板に適用するプロセスを特徴付けるものであり、特に、被覆加工表面の面積当たりに適用される被覆加工組成物の量、基板のタイプ、および／またはアプリケーション機器のタイプを有するものであるアプリケーションプロセスパラメーター、を有するものである。
上述のパラメータを有するデータファイルまたはデータ記録は、被覆加工組成物の「明細」とも呼ばれる。各コンポーネントの性質および量が特定され、被覆加工組成物および対応する被覆加工表面を調製するために各アプリケーションコンテキストで必要とされる更なる情報の全てが特定される場合に、明細は完璧である。明細は、一般的に、例えば、コンポーネントの少なくともいくつかの性質および／または量が特定されていない場合、あるいはいくつかの被覆加工組成物製造プロセスパラメータおよび／または被覆加工組成物アプリケーションパラメータが特定されていない場合に、不完全である。
実施形態によれば、本方法は、被覆加工組成物の特性を予測するために、組成物品質予測プログラムを使用する工程を有する。被覆加工組成物は、塗料、ワニス、印刷インキ、研削用樹脂、色素濃縮物、または基板を被覆するための他の物質混合物であってもよい。
実施形態によれば、本方法は、入力として提供される望ましい被覆加工表面の特徴付けに基づいて、上述のパラメータ（被覆加工組成物の性質および／または量、製造プロセスパラメータ、アプリケーションプロセスパラメータ）の１つ以上を予測するため、組成物明細予測プログラムを使用する工程を有する。斯かるパラメータは、被覆加工組成物の明細を完成および／または最適化するのに使用できる。
好ましい実施形態によれば、被覆加工組成物明細を補足および／または最適化するのに、モデルＭ２、Ｍ３の組み合わせが使用される。例えば、予測モデルＭ２を用いる組成物品質予測プログラムが、いくつかの製造および／またはアプリケーションプロセスパラメータを更に有する被覆加工組成物明細を入力として受信する。受信した明細に基づいて、組成物品質予測プログラムが、被覆加工表面は多くの気泡欠陥を有していると予測する。次に、ユーザは、モデルＭ３を用いて、気泡欠陥を最小化する被覆加工組成物明細を予測するようにと、組成物明細予測プログラムに入力し、その結果、被覆加工組成物明細が、追加入力および予測用制約として、組成物明細予測プログラムに提供される。モデルＭ３は、２つの消泡剤の比率の修正により気泡欠陥の減少がもたらされると決定し、入力明細の修正バージョンを出力する（修正明細は、２つの消泡剤の修正比率を有している）。
被覆加工組成物は、原料の複雑な混合物である。被覆加工組成物の一般的な組成、処方、または調剤は、約２０の原料（以下、「コンポーネント」とも呼ばれる）を含んでいる。斯かる組成物は、例えば、固形物、例えば色素および／または充填剤、結合剤、溶媒、樹脂、硬化剤、および種々の添加剤、例えば増粘剤、分散剤、湿潤剤、接着促進剤、消泡剤、表面変性剤、均染剤、触媒的に活性な添加剤、例えば、乾燥剤および触媒、並びに特定作用の添加剤、例えば殺生物剤、光開始剤、および腐食阻害剤から選択される原料で構成される。
現在まで、特定の望ましい特性を有する新しい組成物、調剤、および再調合剤は、経験値に基づいて特定され、その後、調製および試験が行われてきた。化学的特性、物理的特性、光学的特性、触覚的特性、および他の測定可能な特性、特に組成物で基板の表面を被覆することにより得られる被覆加工表面の品質／有効性の面で、特定の期待を満足させる新しい組成物の組成は、相互作用の複雑性、マシンラーニング訓練工程での使用に適した高品質データの欠如の故に、専門家にとってさえ、ほとんど予測不可能である。原料とプロセスパラメータとの相互作用の多様性、および関連する多数の実験失敗の故に、斯かる手法は、時間的にもコスト的にも割に合わない。
従って、望ましい特性を有する組成物のコンポーネントに関する、人間並びにコンピュータ支援による評価および予測には、現在、厳しい限界が存在する。塗料、ワニス、印刷インキ、研削用樹脂、色素濃縮物、または他のコーティング剤などの被覆加工組成物の場合のように、多くの関連特性および多くのコンポーネントを有する複雑な組成物の場合には、コンポーネントが複雑なやり方で相互に作用し合い、それが対応する被覆加工組成物の特性を決定するので、特にそうである。気泡欠陥の生成を最小化できる１つ以上の消泡剤のうちの単独の消泡剤、またはそれらの組み合わせの特定は、特に困難であることが観察されている。
現在、新しい被覆加工組成物が必要な特性を有しているか否かを評価するには、新しい被覆加工表面が実際の実験室環境でまず生成され、次に、その特性が測定されなければならない。化学物質の特性の自動予測を行う手法は既に存在してはいるが、十分なサイズおよび品質の訓練データセットは、問題の組成物を直接製造および試験する場合よりも複雑な場合が多い。塗料、ワニス、印刷インキ、研削用樹脂、色素濃縮物、または他のコーティング剤の分野における新しい組成物の開発は、特に複雑であり、多くの時間を要するものである。
実施形態によれば、組成物品質予測プログラムの使用は、以下の工程、すなわち、
・複数の候補被覆加工組成物の各明細を、組成物品質予測プログラムへの入力として提供する工程と、
・候補被覆加工組成物の各々について、組成物品質予測プログラムにより、候補被覆加工組成物を基板に適用することにより生成される被覆加工表面の品質を予測する工程であって、予測が、候補被覆加工組成物の明細の関数として実行される工程と、
・各予測された測度に基づいて、候補被覆加工組成物の明細を選択する工程であって、例えば、選択は、予測された被覆加工表面の特徴付けが品質要求を最も良く満たす候補被覆加工組成物明細の１つが選択されるように、手動で実行することができ、他の実施形態によれば、品質基準として使用される１つ以上の望ましい表面特徴付けを示す１つ以上のパラメータが、入力として組成物品質予測プログラムに提供され、それにより、組成物品質予測プログラムは、入力された品質基準に基づいて、斯かる選択工程を実行できるようになる工程と、
・選択された明細を、最高品質を有すると予測される推薦被覆加工組成物として出力する工程と、
・選択された候補被覆加工組成物の明細を、被覆組成物用の組成物を製造および／または試験するための設備を制御するプロセッサへ入力する工程であって、プロセッサは、入力された被覆加工組成物を製造するため、設備を駆動するものである工程と、を有する。
例えば、予測は、被覆組成物用の組成物を製造および／または試験するための設備に接続されたコンピュータシステムによって生成される。設備はＨＴ設備であってもよい。
実施形態によれば、本方法は、更に以下の工程、すなわち、
・被覆加工組成物の不完全な明細を受信する工程と、
・候補被覆加工組成物の明細のセットを手動または自動で生成する工程であって、候補組成物のセットは、受信した不完全な被覆加工組成物の異なるバージョンであり、候補被覆加工組成物の明細は、以下の工程、すなわち、
ａ）不完全な被覆加工組成物の明細を、１つ以上の更なるコンポーネントで補足する工程、および/または
ｂ）不完全な被覆加工組成物の明細を、１つ以上の更なるコンポーネントの異なる絶対値または相対値で、および／または既に特定されたコンポーネントの異なる絶対値または相対値で補足する工程、および／または
ｃ）不完全な被覆加工組成物の明細を、候補被覆加工組成物の製造プロセスを特徴付ける、１つ以上の製造プロセスパラメータで補足する工程、および／または
ｄ）不完全な被覆加工組成物の明細を、候補被覆加工組成物を基板に適用するプロセスを特徴付ける、１つ以上のアプリケーションプロセスパラメータで補足する工程と、を有するものである。
例えば、製造対象の（望ましい）被覆加工組成物は、有機溶媒を有するべきである、またはそれに基づくべきであると、受信した不完全な明細は特定するかもしれないが、複数の利用可能な溶媒のいずれが使用されるべきかについては特定しない。候補組成物は、異なる有機溶媒（しかし、水ベースの溶媒ではない）が「溶媒」コンポーネントとして使用されるように、生成できるであろう。
別の例によれば、（望ましい）被覆加工組成物は２つの特定の消泡剤（例えば、ＴＥＧＯ Ｆｏａｍｅｘ８１０およびＴＥＧＯ Ｗｅｔ２８５、Ｃｏ． Ｅｖｏｎｉｋ）を含むべきであると、受信した不完全な明細は特定するかもしれないが、候補組成物は、その絶対値または相対値の特定はしない。候補組成物は、２つの消泡剤の異なる量の割合が使用されるように、生成できるであろう。
別の例によれば、不完全な明細は、特定の色素または色素の組み合わせが使用されるべきであると特定するかもしれないが、色素の量については何も特定しないか、色素（複数も可）の量の範囲を提供するだけである。候補組成物は、色素（複数も可）の量に関して互いに異なる被覆加工組成物であってもよい。
別の例によれば、不完全な明細は、被覆加工組成物の全コンポーネント、または少なくともほとんどのコンポーネント、およびそのそれぞれの量については特定するかもしれないが、コンテキストパラメータ、特に混合時間、混合温度などの混合製造プロセスパラメータ、および／または被覆加工アプリケーションプロセスパラメータ（散布、噴霧、塗装、浸漬、基板の前処理、温度、換気など）については何も特定しない。候補組成物は、上述のコンテキストパラメータの１つ以上のパラメータ値に関して、互いに異なる被覆加工組成物であってもよい。
実施形態によれば、各例ａ）、ｂ）、ｃ）、および／またはｄ）において候補被覆加工組成物の明細を補足するのに使用される更なるデータが、被覆加工組成物品質予測プログラムにより、予測を実行するための入力として使用される。
本発明の実施形態は、複数の理由により、被覆加工添加物の製造元および被覆加工組成物の製造元にとって有益であろう（例えば、被覆加工組成物の製造元は、斯かる被覆加工組成物を実際に製造したり試験したりすることなく、種々のコンテキストのパラメータ値と組み合わせて、複数の様々な候補組成物の特性を予測できるであろう）。
しかし、本発明の実施形態は、個々の被覆加工組成物のコンポーネント、例えば、溶媒、結合剤、色素、発泡剤、消泡剤、流動添加物、難燃剤、分散剤などの製造にも有益である。例えば、消泡剤の製造元は、被覆加工組成物の製造元から、木材用の被覆加工組成物に使用される消泡剤の注文を受けるかもしれない。受け取った明細は、被覆材は木材に適用され、溶媒は水をベースにしているが、被覆加工組成物の詳細な明細は企業秘密を理由に開示されない、と示しているかもしれない。それにも拘らず、消泡剤の製造元は、１つ以上の消泡剤のタイプおよび量、理想的には消泡剤混合物、および高品質の被覆加工表面を有する木材用被覆材を提供するのに最適な組み合わせとなる溶媒量を特定したいと考える。それを達成するため、添加物製造元の従業員またはソフトウェアは、消泡剤のタイプ、混合物、および／または量、および／または使用される消泡剤の割合の点で相互に異なる、複数の候補被覆加工組成物明細を生成する。各候補被覆加工組成物明細は、被覆物が木材を被覆するのに使用される旨の指摘を含んでいる。次に、組成物品質予測プログラムは、各候補被覆加工組成物の特徴付け、特に候補被覆加工組成物を木材製の基板に適用することにより生成される被覆加工表面の品質を示す特徴付けを予測するため、入力として、各候補被覆加工組成物の明細を使用する。組成物品質予測プログラムは、コンポーネントの複数のタイプおよび量、更に任意に、コンテキストパラメータを被覆加工表面の特徴付けと関連付けることを既に学習しているので、組成物品質予測プログラムは、消泡剤の適切な組み合わせを特定できる。消泡剤の製造元は、消泡剤の相対量または絶対量および溶媒に関する推薦と一緒に、および／または被覆加工組成物の生成、貯蔵、および／または適用に関するプロセスパラメータの推薦と一緒に、消泡剤の混合物を被覆加工組成物の製造元に提供できる。
組成物品質予測プログラムが、上述のパラメータタイプａ）～ｄ）の１つ以上を特定する、推薦被覆加工組成物明細を生成するように構成される実施形態は、組成物だけでなくプロセスパラメータも、被覆加工表面の特性および品質に甚大な影響を及ぼすことを本出願者は観察しているので、有利であろう。しかし、コンポーネントおよびプロセスパラメータの可能な組み合わせの膨大な数の故に、高品質の被覆加工表面に対応する全組み合わせを評価するのは、今まで可能ではなかった。
上述の実施形態は、複数の（仮定の）候補被覆加工組成物明細を提供する工程と、各被覆加工表面の品質を予測する工程と、予測された表面特性が最も望ましいと思える候補被覆加工組成物のうちの１つを選択する工程とに基づいている。しかし、代替の手法においては、被覆加工表面の特徴付けと、有望な被覆加工組成物を更に直接識別するために予測モデルＭ３に組み込まれた被覆加工組成物関連パラメータとの間の、学習済み相関関係が使用されてもよい。
実施形態によれば、被覆加工組成物明細予測プログラムは、以下の工程、すなわち、
・組成物明細予測プログラムへの入力として、少なくとも望ましい被覆加工表面の明細を提供する工程と、
・望ましい表面特徴付けを有する被覆加工表面を提供するように適合された被覆加工組成物の明細を、組成物明細予測プログラムによって予測する工程であって、明細は、１つ以上の被覆加工組成物コンポーネント、１つ以上の被覆加工組成物コンポーネントの絶対量または相対量、製造プロセスパラメータ、および／またはアプリケーションプロセスパラメータから成る群から選択されるパラメータを有するものである工程と、を有する。
好ましい実施形態によれば、本方法は、被覆加工組成物の予測明細を人間へ出力する工程、および／または選択された候補被覆加工組成物の明細を、被覆組成物用の組成物を製造および／または試験するための設備を制御するプロセッサへ入力する工程であって、プロセッサは、入力された被覆加工組成物を製造するため、設備を駆動するものである工程を更に有する。
望ましい表面特徴付けに加えて、追加の制約が入力として提供されてもよい。制約は、いくつかのコンポーネントまたはコンポーネント物質クラス、およびいくつかの絶対量または相対量を示す、不完全なおおよその被覆加工組成物から成っていてもよい。制約は、提案されている任意の代替コンポーネントは同一の物質クラスに属していなければならない、あるいは任意の代替量は制約に提供されている量から最大閾値を超える量以上逸脱してはならない、であってもよい。製造プロセスパラメータおよび／またはアプリケーションプロセスパラメータも、制約として提供されてもよい。
実施形態によれば、本方法は、自動表面被覆および画像収集ユニット（ＡＣＡＩＡユニット）に操作可能に接続されたコンピュータシステムで実行される。ＡＣＡＩＡユニットは、１つ以上のカメラ、および任意に１つ以上の光源を有している。ＡＣＡＩＡユニットは、被覆加工組成物を製造および／または試験するための設備のコンポーネント、あるいは、例えば、ＡＣＡＩＡユニットとの間で被覆加工された基板標本を自動的に運搬するための自動運搬手段によって、設備に操作可能に接続されている。本方法は、１つ以上の制御コマンドを設備に送信する工程を更に有している。制御コマンドにより、設備は、以下の工程、すなわち、
・製造された被覆加工組成物をＡＣＡＩＡユニットへ運搬し、運搬された被覆加工組成物を基板に適用する工程（あるいは、被覆加工プロセスが設備内の個別の被覆加工ユニットで実行され、設備は、既に被覆加工された基板標本をＡＣＡＩＡに運搬するように構成されている）と、
・被覆加工された表面およびカメラを、所定の距離および／または所定の角度範囲内に相対的に位置付ける工程（例えば、所定の距離および／または所定の角度範囲は、収集対象のデジタル画像に検出される１つ以上のタイプの表面欠陥に固有の距離および／または角度であってもよく、関心対象の欠陥タイプの指摘は、制御コマンドによって提供されてもよいし、あるいはＡＣＡＩＡユニットの構成で特定されるものであってもよい）と、
・位置付け後、ＡＣＡＩＡユニットのカメラに、被覆加工表面のデジタル画像を収集させる工程と、
・収集された画像をコンピュータシステムへ戻す工程と、を実行する。
自動製造設備、特にＨＴ設備で被覆加工組成物を予測、製造、および試験するための完全自動システムが提供されるわけであるから、斯かる方法は有利であろう。画像分析ベースの試験工程で得られるデータは、組成物品質予測プログラムおよび／または組成物明細予測プログラムの訓練データを拡張したり、改善バージョンであるモデルＭ２＋、Ｍ３＋を取得するため、組成物品質予測プログラムまたは組成物明細予測プログラムのモデル（Ｍ２、Ｍ３）を、拡張された訓練データで再訓練したりするのに使用されてもよい。
実施形態によれば、本方法は、以下の工程、すなわち、
・戻された画像に示される被覆加工表面の１つ以上の欠陥の測度を識別し、斯かる被覆加工表面の定性的および／または定量的特徴付けを計算するため、欠陥識別プログラムを戻された画像に適用する工程（例えば、欠陥識別プログラムは、まず、手動で付注された被覆加工表面の画像でマシンラーニングモデルを訓練することにより取得されてもよい）と、
・拡張データベースを提供するため、定性的および／または定量的特徴付けをデータベースに記憶させる工程と、
・改善バージョンの予測モデルを提供するため、拡張データベースの特徴付け集合体および被覆加工組成物関連パラメータ（コンポーネント、絶対および／または相対コンポーネント量、製造プロセスパラメータおよび／またはアプリケーションプロセスパラメータ）で、予測モデル（Ｍ２、Ｍ３）を再訓練する工程と、
・組成物品質予測プログラムの予測モデル（Ｍ２）および／または組成物明細予測プログラムの予測モデル（Ｍ３）を、改善バージョンの予測モデルで置き換える工程と、を有する。
従って、被覆加工組成物を製造および試験するための自動設備において、組成物品質予測プログラムは、多くの有望な候補組成物を予測するのに使用できるし、設備は、斯かる候補組成物の実際の特性（被覆加工表面の品質を含む）を製造および試験するのに使用できるし、取得された試験データは、組成物品質予測プログラムのモデルＭ２および／または組成物明細予測プログラムの予測モデルＭ３を改良するのに使用できる。
実施形態によれば、訓練プロセスはアクティブラーニングモジュールを含む。本方法は、更に、以下の工程、すなわち、
ａ．訓練された予測モデル（Ｍ２、Ｍ３）を提供するため、データベース内の測度および被覆加工コンポーネントの集合体に関して、予測モデルの訓練を実行する工程であって、損失関数は訓練用に最小化される工程と、
ｂ.予測モデル用に取得された損失関数の値が、特定された基準を満たすか否かを決定するため、試験が実行される工程であって、
その結果、選択的に、基準が満たされない場合、以下の工程、すなわち、
ｉ．アクティブラーニングモジュールによって、複数の候補被覆加工組成物明細から候補被覆加工組成物明細を選択する工程であって、選択された候補組成物明細は、定性的および／または定量的な被覆加工表面の特徴付けと、被覆加工組成物の被覆加工コンポーネント、コンポーネント量、製造プロセスパラメータ、および／またはアプリケーションプロセスパラメータから成る群から選択される１つ以上のパラメータとの間の相関関係に関して、予測モデル（Ｍ２、Ｍ３）の最高学習効果を提供すると決定された候補組成物の１つを特定する工程、
ｉｉ．選択された明細に従って、候補被覆加工組成物を自動的に製造するため、製造された候補組成物を基板に自動的に適用するため、および適用された被覆加工組成物を有する表面の画像を自動的に収集するため、コンピュータシステムによって設備を駆動する工程、
ｉｉｉ．当該画像に示される被覆加工表面の定性的および／または定量的特徴付けを計算し、それをデータベースに記憶させ、それにより当該データベースを拡張するため、工程ｉｉで収集された画像に欠陥識別プログラムを適用する工程、
ｉｖ．予測モデルの改善バージョンを提供するため、拡張データベースで予測モデル（Ｍ２、Ｍ３）を再訓練する工程、および
ｖ.予測モデルの改善バージョンを用いて、工程ｂを反復実行する工程が実行される工程と、
ｃ.組成物品質予測プログラムの予測モデル（Ｍ２）を予測モデルの改善バージョンで置き換える工程、および／または組成物明細予測プログラムの予測モデル（Ｍ３）を予測モデルの改善バージョンで置き換える工程と、を更に有する。
アクティブラーニングモジュールの使用は、訓練または再訓練中の学習効果が改善及び加速されるので、有利であろう。アクティブラーニングモジュールは、特性の試験および保存により予測モデルＭ２の品質が最も良く改善される候補被覆加工組成物を識別するように適合される。
アクティブラーニングモジュールの使用は、被覆加工組成物の取得、製造、および実証試験が高価な場合に有益であろう。斯かる場合、アクティブラーニングモジュールは、最も有望な候補組成物を積極的に識別し、斯かる識別された候補組成物の製造および試験を積極的に調査できる。アクティブラーニングモジュールは最も有望な候補組成物を選択するので、コンセプトを学習するために製造および試験される組成物の数は、通常の教師あり学習で要求される数よりもはるかに少なくて済む。
実施形態によれば、アクティブラーニングは、被覆加工表面のデジタル画像の被覆加工欠陥の識別に使用される予測モデルＭ１の訓練中に使用される。斯かる場合、アクティブラーニングモジュールは、ラベルを付されていない複数の被覆加工表面の試験画像のうち１つ以上のサブセット（その手動による注釈付けが最高の学習効果を提供する）を識別する。アクティブラーニングモジュールは、サブセットの各画像に手動で注釈を付す（ラベルを割り当てる）ようにユーザを促すが、その場合、ラベルは、画像に示されている被覆加工欠陥のタイプおよび場所を示すものである。斯かる１つ以上のラベルが付された画像は訓練画像に加えられ、その結果、訓練データが拡張される。予測モデルＭ１は、拡張された訓練データで再訓練され、それにより、改良されたより正確なバージョンの予測モデルＭ１が提供される。その後、欠陥識別プログラムの古くなった予測モデルは、改善バージョンのモデルで置き換えられる。
更なる態様において、本発明は、以下、すなわち、
・塗料、ワニス、印刷インキ、研削用樹脂、色素濃縮物、または他のコーティング剤の組成物を製造および試験するための設備であって、少なくとも２つのワークステーションを有し、当該２つのワークステーションは、組成物および／またはワークステーション間で製造された組成物のコンポーネントを運搬するように作動可能な自動推進式運搬手段上の運搬システムを通して、相互に接続されている設備と、
・本明細書記載の１つ以上の実施形態の方法を実行するように構成されたコンピュータシステムと、を有するシステムに関するものである。
更なる態様において、本発明は、本明細書記載の１つ以上の実施形態の方法を実行するように構成されたコンピュータプログラムに関するものである。
更なる態様において、本発明は、本明細書の実施形態に関連して本明細書に記載されているような、欠陥識別プログラムの提供および使用方法を実行することにより提供される、欠陥識別プログラムに関するものである。
更なる態様において、本発明は、モノリシックまたは分散型のデータ処理システムおよびカメラを有する、分散型データ処理システムに関するものである。分散型またはモノリシックデータ処理システムは、カメラが収集した被覆加工表面のデジタル画像の被覆加工欠陥を識別するように適合された、本明細書の実施形態に関連して本明細書に記載されているような、欠陥識別プログラムを有している。例えば、データ処理システムはモノリシックデータ処理システム、例えば、コンピュータやスマートフォンのような汎用データ処理システムであってもよいし、あるいは表面品質管理関連の専用装置であってもよい。あるいは、データ処理システムは、分散型データ処理システム、例えば、クラウドシステム、またはサーバーコンピュータおよび１つ以上のクライアントデータ処理システムを有するクライアントサーバーシステムであってもよい。
更なる態様において、本発明は、本明細書の実施形態に関連して本明細書に記載されているような、組成物品質予測プログラムの提供および使用方法を実行することにより提供される、組成物品質予測プログラムに関するものである。
更なる態様において、本発明は、本明細書の実施形態に関連して本明細書に記載されているような、組成物明細予測プログラムの提供および使用方法を実行することにより提供される、組成物明細予測プログラムに関するものである。
更なる態様において、本明細書記載の被覆加工組成物の明細を提供するため、実施形態のいずれかの方法が実行されるが、本発明は、それによって提供される組成物の明細に従って製造される被覆加工組成物に関するものである。特に、明細は、訓練されたモデル（Ｍ３）を用いて入力として提供される望ましい被覆加工表面の特徴付けに基づき、被覆加工組成物明細予測プログラムにより、本発明の実施形態に従って計算できるものである。
更なる態様において、本明細書記載の被覆加工組成物の明細を提供するため、実施形態のいずれかの方法が実行されるが、本発明は、それによって提供される組成物の明細に関するものである。
更なる態様において、本発明は、欠陥識別プログラム、組成物品質予測プログラム、および／または組成物明細予測プログラムを実行するコンピュータ解釈可能命令を有する、揮発性または不揮発性のデータ記憶媒体に関するものである。
更なる態様において、本発明は、上述の明細を有する揮発性または不揮発性のデータ記憶媒体に関するものであり、データ記憶媒体はインターフェースを通して設備に操作可能に接続されており、設備は、データ記憶媒体に記憶されている１つ以上の明細に従って、被覆加工組成物を製造するように構成されているものである。
本明細書で使用される場合、「被覆加工表面」は、被覆加工組成物で１回以上被覆加工された基板の表面である。例えば、被覆加工組成物は、被覆加工組成物を基板に散布、噴霧、または塗布することにより、基板の少なくとも１つの表面を被覆加工組成物に浸漬することにより、または他の被覆加工方法により適用できる。
本明細書で使用される場合、「被覆加工欠陥」または「被覆加工表面の欠陥」は、被覆加工表面の通常の外観または望ましい外観からの、光学的に検出可能な被覆加工表面の逸脱である。例えば、カメラの光学レンズ上のほこりに起因する画像欠陥は、被覆加工欠陥ではない。
本明細書で使用される場合、「プログラム」は、ソフトウェア、例えば、アプリケーションプログラム、またはアプリケーションプログラムのモジュールまたは関数、スクリプト、または１つ以上のプロセッサ、例えば、ＣＰＵまたはＧＰＵで実行可能な任意の他の種類のソフトウェアコードである。プログラムは、例えば、アプリケーションプログラムであってもよい。アプリケーションプログラム、特に携帯装置で実行するように設計されたプログラムは、「アプリ」形式で実行可能である。
本明細書で使用される場合、「欠陥識別プログラム」は、１つ以上の被覆加工欠陥を自動で識別するため、並びに被覆加工表面の特徴付けを、画像に示される表面の識別された被覆加工欠陥の関数として計算するため、デジタル画像を分析するように構成されたソフトウェアプログラムまたはソフトウェアモジュールである。
本明細書で使用される場合、「組成物品質予測プログラム」は、被覆加工組成物の（完全なまたは不完全な）明細を受信するように構成されたソフトウェアプログラムまたはソフトウェアモジュールであり、被覆加工組成物の１つ以上の特性を、明細に特定されるデータの関数として予測するように構成されている。被覆加工組成物の特性は、被覆加工組成物の品質の指摘、例えば、被覆加工組成物を基板に適用することにより得られる被覆加工表面の品質の指摘を含んでいてもよい。品質の指摘は、例えば、特定のタイプの被覆加工欠陥の生成可能性であってもよい。
本明細書で使用される場合、「組成物明細予測プログラム」は、望ましい被覆加工表面の特徴付けを入力パラメータ（複数も可）として受信するように構成されたソフトウェアプログラムまたはソフトウェアモジュールである。任意に、組成物明細予測プログラムは、１つ以上の更なる入力パラメータ、例えば、予測の解空間を制限するための、被覆加工組成物の不完全明細を受信するように構成されていてもよい。組成物明細予測プログラムは、以下の出力パラメータ、例えば、１つ以上のコンポーネント、１つ以上の絶対または相対コンポーネント量、１つ以上の製造プロセスパラメータ、および／または１つ以上のアプリケーションプロセスパラメータのうちの１つ以上を、受信した入力データの関数として予測するように構成されている。
本明細書で使用される場合、欠陥の「測度」は、被覆加工欠陥の特性を示す、任意の定性的または定量的パラメータ値または１組のパラメータ値である。定性的欠陥測度の例には、「気泡欠陥」、「層間剥離」、「泡欠陥」などの欠陥タイプのラベルが含まれる。被覆加工欠陥の定量的測度の例には、「欠陥によって覆われる被覆加工表面の％」、「画像の気泡数」、「欠陥面積当たりの気泡数」、「気泡の平均サイズ」などである。欠陥の測度は、単一のパラメータ値または１組のパラメータ値、例えば,個々の欠陥インスタンスの特性、または複数の欠陥タイプインスタンスの特性、例えば、気泡欠陥インスタンスの平均直径、または複数の欠陥インスタンス（例えば、気泡）のサイズ分散を示すヒストグラムであってもよい。欠陥の測度は、例えば、識別された欠陥の次元または他の特性を（例えば、周囲の境界ボックスに基づいて、および／または個々の画素に基づいて）分析することにより取得されてもよい。欠陥の測度は、例えば平均直径を得るために算術演算を行うことにより、複雑な統計学的計算により、例えば、被覆加工表面における気泡のサイズおよび位置的距離の分散を特徴付ける数式、ヒストグラムなどによって得られるパラメータ値または１組のパラメータ値であってもよい。
本明細書で使用される場合、「被覆加工表面の特徴付け」は、表面の被覆加工の品質を示す、任意の定性的または定量的パラメータ値または１組のパラメータ値である。被覆加工表面の品質は、被覆加工表面に含まれる１つ以上の欠陥の測度に基づく。例えば、被覆加工表面の特徴付けは、被覆加工表面に含まれる１つ以上の欠陥の定性的および／または定量的測度と同一であってもよい。他の例によれば、被覆加工表面の特徴付けは、被覆加工表面の複数の欠陥の測度を総計することにより得られる。例えば、被覆加工表面が３つの気泡欠陥ＢＤ１、ＢＤ２、ＢＤ３を有する場合、被覆加工表面の特徴付けの集計は、識別された気泡欠陥の合計によってカバーされる指摘表面の小部分、例えば、「５％気泡欠陥領域」である。集計関数は、例えば、（例えば平均気泡直径を計算するための）算術平均または幾何平均、合計、積、または更に複雑な算術および／または統計学的集計関数であってもよい。被覆加工表面の特徴付けは、２つ以上の定性的または定量的特徴付けの組み合わせであってもよい。例えば、特徴付けは、欠陥タイプの指摘と欠陥の程度との組み合わせ、例えば、「重大な気泡欠陥を有する被覆加工表面」、「中程度の気泡欠陥を有する被覆加工表面」、「僅かな気泡欠陥を有する被覆加工表面」などである。程度は、数値形式（例えば、欠陥で覆われる面積％）で提供されてもよいし、値範囲であってもよいし、ヒストグラムまたはその他であってもよい。被覆加工表面の特徴付けは、それぞれ、２つ以上の異なるタイプの欠陥の各々に関して得られる定性的および／または定量的な特徴付けの組み合わせを有していてもよい。
本明細書で使用される場合、「組成物」または「被覆加工組成物」と言う用語は、組成物を形成するための２つ以上の原料（「コンポーネント」）を有し、被覆加工表面を提供するために、基板に適用される組成物を意味する。本出願において、自動化設備による組成物の製造または試験について言及される場合、被覆加工組成物は、コンポーネントの性質および／または量に関する情報に従って製造されるものであることを理解されたい。
本明細書で使用される場合、「候補組成物」または「候補被覆加工組成物」と言う用語は、未だ調製および／または試験されておらず、従って、候補被覆加工組成物が特定された時点では、少なくとも部分的に未知である被覆加工組成物を意味する。例えば、候補組成物は、手動でまたは自動的に特定されてはいるが、調製も試験も未だ実施されていない組成物であってもよい。従って、斯かる組成物の特性は知られていない。
本明細書で使用される場合、「組成物の明細」は、被覆加工組成物に関するパラメータを有するデータセットである。例えば、パラメータは、被覆加工組成物を製造するため、組み合わせ対象のコンポーネントの一部または全ての特定、および／または物質分類を示すものであってもよい。任意に、明細は、追加のパラメータ、例えば、各コンポーネントの相対的または絶対的量または量範囲、被覆加工組成物の製造プロセスパラメータ、被覆加工アプリケーションプロセスパラメーターなどを有していてもよい。斯かるパラメータは、組成物を得るためにはコンポーネントをどのように処理および／または混合すべきか、および／または特定の被覆加工表面を得るためには組成物はどのように基板に適用されるべきかを特定するものであってもよい。組成物の明細は完全であっても不完全であってもよい。例えば、いくつかの明細は、コンポーネントのタイプ（例えば、有機溶媒ベースの溶媒化剤）を示すだけで、コンポーネントの正確な特性および／または量は示さないかもしれない。組成物の「明細」は、種々の形式、例えば、印刷物、ファイル、例えばＸＭＬファイル、オブジェクト指向プログラミング言語のオブジェクト、ＪＳＯＮファイルなどとして提供されてもよい。
本明細書で使用される場合、「被覆加工組成物の製造プロセスパラメータ」または「製造プロセスパラメータ」は、被覆加工組成物を形成するために、コンポーネントを処理および／または組み合わせるプロセスの特性を示すものである。例えば、混合時間、混合速度、混合温度、コンポーネントの混合順序、被覆加工組成物の混合または調製に使用される機器などである。
本明細書で使用される場合、「被覆加工組成物アプリケーションプロセスパラメータ」または「アプリケーションプロセスパラメータ」は、被覆加工組成物を基板に適用するプロセスの特性を示すパラメータである。例えば、適用技術の指示（噴霧、散布、塗布、浸漬など）、適用時間（例えば、浸漬時間）、適用の反復数、基板の前処理工程（乾燥、下塗り、洗浄、加熱など）、被覆加工組成物を適用するのに使用される機器、および／または基板の性質（木材、プラスチック、金属、模造紙など）である。
本明細書で使用される場合、「既知の組成物」は、ニューラルネットワークの訓練時に、特性（例えば、被覆加工表面の特徴付け、流動特性、弾力性、貯蔵寿命など）が、訓練を行う人にとって既知である組成物を意味する。例えば、既知の組成物は、顧客用に数か月または数年前に既に製造されたもので、その製品の特性は実証的に測定済みであってもよい。測定は、必ずしも予測組成物を決定する実験室の操作員によって実行されたものである必要はなく、他の実験室で実行され出版されたもの（その場合、特性は専門家の文献から得られる）であってもよい。上記定義に基づく組成物はサブセットとして調剤も含んでいるので、本発明の実施形態による「既知の組成物」は、「既知の調剤」を有していてもよいし、「既知の調剤」であってもよい。
「消泡」と言う用語は、組成物または被覆物からの気泡の除去を記述するのに使用される場合が多い。しかし、特定の場合には、「消泡」と言う用語と「脱泡」と言う用語は区別されるべきである。まず、気泡は表面に到達する必要がある。表面に存在する気泡の除去は（厳密な意味で）消泡と呼ばれる。（厳密な意味での）消泡剤は、表面においてのみ効果的であり、表面に存在する気泡を排除するものである。それと比較して、脱泡剤は、被覆加工フィルム全体で効果的である。本明細書の場合、「消泡剤」と言う用語は、広範囲に使用され、厳密な意味での消泡剤および脱泡剤の両方を含んでいる。
本明細書で使用される場合、「データベース」は、データ、特に構造化データが記憶される、任意の揮発性または非揮発性データ記憶媒体である。データベースは、１つ以上のテキストファイル、スプレッドシートファイル、ディレクトリツリーのディレクトリ、またはＭｙＳＱＬやＰｏｓｔｇｒｅＳＱＬなどの比較データベース管理システム（ＤＢＭＳ）のデータベースであってもよい。
本明細書で使用される場合、予測問題の「損失関数」は、予測モデル（例えば、ニューラルネットワークのモデル）を訓練および改善するのに、当該モデルをマシンラーニングプログラムによって訓練するのに使用される関数である。損失関数は値を出力するものであるが、その値の大きさが予測モデルの品質を示すものであり、大きい値は予測モデルの予測の不正確度を示すものなので、損失関数は訓練によって最小化される。
本明細書で使用される場合、組成物の製造および試験用の「設備」は、ワークフローを自動的または半自動的に実行するため、組織化されたやり方で、実験装置および運搬ユニットを共同で制御可能な、いくつかの実験装置および運搬ユニットを有する装置またはシステムを意味する。ワークフローは、例えば、被覆加工組成物の調製ワークフロー（例えば、組み合わせおよび混合ワークフロー）、分析ワークフロー、または斯かるワークフローの２つ以上の組み合わせである。ワークフローは、被覆加工組成物の自動調製、および／または１つ以上の基板への組成物の自動適用、および／または基板（複数も可）の被覆加工表面のデジタル画像の自動取得および処理を含んでもよい。設備は、例えば、「大量処理機器」とも呼ばれる、大量処理設備（ＨＴ設備）であってもよい。
自動製造および／または試験設備による被覆加工組成物の「試験」または「分析」は、１つ以上の分析モジュールにより、組成物の化学的、物理的、機械的、光学的、または他の実証的に測定可能な特性を分析するプロセスを意味する。例えば、試験は、基板への組成物の適用、被覆加工表面のデジタル画像の収集および分析、被覆加工表面のデジタル画像で検出される１つ以上の欠陥の関数としての、被覆加工の品質測定などを有してもよい。分析は、更なる物体特性、例えば、不透明性、弾力性、流動特性、色等を更に有するものであってもよい。
本明細書で使用される場合、「アクティブラーニングモジュール」は、１組の候補組成物から（比較的小さい）候補組成物のサブセットを選択するように設計されたソフトウェアプログラムまたはソフトウェアプログラムのモジュールであり、選択された候補組成物の特性の調製および実証的測定後に、予測モデルの訓練において斯かるデータを考慮することにより、特に強力な学習効果が生じるように選択されるものである。
本明細書で使用される場合、「モデル」または「予測モデル」は、入力データに基づいて予測を生成するように構成されたデータ構造、または実行可能なソフトウェアプログラムあるいはプログラムモジュールである。例えば、モデルは、手動および／または自動で付注訓練データについてモデルを訓練することにより、マシンラーニングプロセスで取得されるモデルであってもよい。本明細書記載の予測モデルは、２つ以上の機能的に統合されたモデルの集合体、例えば、アプリケーションプログラムで使用される、および／またはそれに含まれる１組のモデルを有していてもよい。予測モデルは、例えば、ニューラルネットワークモデル、サポートベクトルモデル、ランダムフォレスト、デシジョンツリーなどであってもよい。本発明の実施形態によると、デジタル画像データに基づいて、１つ以上の被覆加工欠陥の存在、場所、および／または程度に関して、被覆加工表面の特徴付けを計算するように適合された予測モデルは、「Ｍ１」モデルとも呼ばれる。被覆加工組成物の特性を予測するように適合された予測モデル、特に、斯かる組成物に基づき、例えば、斯かる組成物のコンポーネント、コンポーネント量、製造プロセスパラメータ、および／またはアプリケーションプロセスパラメータに基づいて生成される被覆加工表面の特徴付けを予測するように適合された予測モデルは「Ｍ２」モデルとも呼ばれる。被覆加工組成物の望ましい特性を特定する入力データ、特に斯かる組成物に基づいて生成される被覆加工表面の望ましい特徴付けを特定する入力データに基づいて、斯かる組成物のコンポーネント、コンポーネント量、製造プロセスパラメータ、および／またはアプリケーションプロセスパラメータなどに関する１つ以上のパラメータを予測するように適合された予測モデルは、「Ｍ３」とも呼ばれる。実施形態によれば、モデルＭ３は、追加の入力データとして、不完全な被覆加工組成物明細を考慮するように構成されており、その場合、不完全な被覆加工組成物は、モデルＭ３によって提供される予測の解空間を制限するのに使用されてもよい。
本明細書に含まれる図面を参照して、以下で、本発明の例示的実施形態のみが更に詳細に説明される。
図１は、被覆加工表面の自動特徴付け方法のフローチャートである。 図２は、被覆加工表面の自動特徴付け方法の、更に詳細なフローチャートである。 図３は、表面を被覆加工し、被覆加工した表面の画像を取得するための方法のフローチャートである。 図４は、自動被覆加工表面特徴付け用のデータ処理システムのブロック図である。 図５Ａは、ローカルインストールアプリケーションを有する、スマートフォン形式のデータ処理システムである。 図５Ｂは、ウェブアプリケーションを有する、スマートフォン形式のデータ処理システムである。 図５Ｃは、カスタマイズされた被覆加工表面品質管理装置形式のデータ処理システムである。 図５Ｄは、被覆加工組成物製造用の設備に連結されたコンピュータ形式のデータ処理システムである。 図６は、欠陥識別プログラムの生成および使用のための、訓練および試験段階の図である。 図７は、組成物品質予測プログラムの生成および使用のための、訓練および試験段階の図である。 図８Ａは、複数の被覆加工組成物である。 図８Ｂは、「引き伸ばし」被覆加工アプリケーションユニットである。 図８Ｃは、「噴霧」被覆加工アプリケーションユニットである。 図８Ｄは、ＨＴＥの被覆加工標本を運搬するための自動コンベヤーベルトである。 図９Ａは、欠陥の手動付注前の、被覆加工表面のデジタル画像である。 図９Ｂは、手動でラベル付け（付注）した欠陥を有する図９Ａのデジタル画像である。 図１０は、自動識別およびラベル付け欠陥を有する、被覆加工表面のデジタル画像である。 図１１は、ヒストグラム形式の表面領域の欠陥の測度および面積％値である。 図１２は、被覆加工組成物の品質を予測するのに使用されるニューラルネットワークの構造である。 図１３は、デジタル画像を収集するための、カメラ、光源、および被覆加工表面の相対位置を示す図である。 図１４は、組成物品質予測プログラムの予測モデルの質を改善するのに最適な、候補被覆加工組成物を識別する方法のフローチャートである。 図１５は、組成物品質予測プログラムの予測モデルの質を改善するのに使用される、分散データ処理および被覆加工製造システムのブロック図である。 図１６は、「アクティブラーニングモジュール」が特定のデータポイントを選択するのに使用される、最適消泡特性を有する消泡剤ＤＦ１と特定の被覆加工組成物に最適融和性を有する消泡剤ＤＦ２とを種々に組み合わせるための、多次元データルームの２Ｄセクションである。
図１は、被覆加工表面の自動特徴付け方法のフローチャートを示している。工程１０２において、欠陥識別プログラムは、被覆加工表面を示すデジタル画像を処理する。工程１０２において、欠陥識別プログラムは１つ以上の被覆加工欠陥を識別し、認識された結果の特徴付けを提供する。例えば、プログラムは、被覆加工表面が、約１００の気泡を有する第１気泡欠陥領域と、約４００の気泡を有する第２気泡欠陥領域とを有すると決定してもよい。認識された結果の特徴付けは、識別された欠陥のタイプ、場所、および程度を有してもよい。工程１０４で取得されるデータは、ユーザへ出力されてもよいし、および／または派生データ値、例えば、集計された被覆加工表面の特徴付けを計算するため、欠陥識別プログラムによって内部で使用されてもよい。
図２は、被覆加工表面の自動特徴付け方法の、更に詳細なフローチャートを示している。工程１０２および１０４の後、欠陥識別プログラムは、工程１０６において、個々の欠陥、例えば、サイズ、形状、空間的分布、サイズ分布などの測度を計算する。欠陥識別プログラムは、斯かる測度を工程１０８で使用し、被覆加工表面の定性的および／または定量的特徴付けを計算し、提供する。
図３は、基板を被覆加工し、基板の被覆加工表面の画像を取得するための方法のフローチャートを示している。工程１１０において、混合および製造プロトコルに従って複数のコンポーネントを混合することにより、複数の被覆加工組成物が生成される。工程１１２において、被覆物アプリケーションプロトコルに従って、被覆加工組成物が１つ以上の基板標本に適用される。標本は、自動または手動で、画像収集ユニットへ運搬される。工程１１４および１１８において、画像分析ソフトウェア１２４が画像を正確に分析できるように、カメラ、任意の光源、および被覆加工標本が、所定の方法で相対的に配置される。次に、工程１１８において、被覆加工標本の表面を示す１つ以上の画像が撮像される。
図４は、自動被覆加工表面特徴付け用のデータ処理システム１２０のブロック図を示している。データ処理システムは、１つ以上のプロセッサ１２６および揮発性または不揮発性のデータ記憶媒体１２２を有している。記憶媒体は、デジタル画像１２５、例えば、欠陥識別プログラム１２４のモデルＭ１を訓練するための訓練画像、または既に訓練された予測モデルＭ１に入力されるための試験画像を有していてもよい。加えてまたはその代わりに、記憶媒体は、組成物品質予測プログラムのモデルＭ２を訓練するための訓練データを有していてもよいし、および／または既に訓練された予測モデルＭ２を有する組成物品質予測プログラムを有していてもよい。
加えてまたはその代わりに、記憶媒体は、組成物明細予測プログラムのモデルＭ３の訓練されていないバージョンを有していてもよいし、および／または既に訓練された予測モデルＭ３を有する組成物明細予測プログラムを有していてもよい。
データ処理システム１２０は、多くの異なる方法で実施されてもよい。例えば、データ処理システムは、モノリシックのコンピュータシステム、例えば、デスクトップコンピュータシステム、携帯用遠隔通信装置、スマートフォン、特殊目的の被覆加工表面品質管理装置、または被覆加工組成物を自動的に製造および／または試験するための設備に操作可能に接続されている、あるいはその一体部分であるコンピュータシステムであってもよい。あるいは、データ処理システム１２０は、分散型コンピュータシステム、例えば、被覆加工組成物を自動的に製造および／または試験するための１つ以上の設備に任意に接続されているクライアント／サーバーコンピュータシステムであってもよい。分散型コンピュータシステムのコンポーネントは、ネットワーク接続、例えば、インターネットまたは組織のイントラネットを通して、相互に通信可能に接続されていてもよい。図５Ａ～５Ｄは、データ処理システム１２０の実施例をいくつか示している。
図５Ａは、スマートフォン１３０形式のデータ処理システムを示している。スマートフォンは、「アプリ」１２４とも呼ばれる、ローカルにインストールされたアプリケーションプログラム形式の欠陥識別プログラムを有していてもよい。
例えば、アプリは、ユーザがスマートフォンのカメラ１３４を制御し、被覆加工標本の表面の画像を被覆加工表面に対して適切な距離および位置で撮像できるようにする、グラフィカルユーザインターフェース１３２を有していてもよい。デジタル画像収集の成功により欠陥識別アプリ１２４が自動的にトリガされ、画像分析、および画像に示される１つ以上の被覆加工欠陥の識別が行われてもよい。アプリ１２４は、処理結果をユーザへ通知する更なるＧＵＩ１３６を生成するように構成されているのが好ましい。例えば、ＧＵＩ１３６は、識別された欠陥のタイプ（気泡欠陥）および欠陥の１つ以上の定量的測度（例えば、気泡の平均直径、気泡密度など）を示してもよい。加えて、ＧＵＩ１３６は、１つ以上の識別された被覆加工欠陥の特性の関数として計算される、被覆加工表面の特徴付けを有している。例えば、欠陥識別プログラムは、識別された気泡のサイズおよび数に基づいて、気泡が覆う表面面積の全サイズを計算するように構成されていてもよい。
被覆加工表面の画像収集および被覆加工欠陥の自動識別にスマートフォンアプリを使用するやり方は、被覆加工表面の客観的で再生可能な品質測度を取得するのに、会社の従業員は高価な特殊目的用装置を身に着ける必要がないので、有利であろう。アプリをダウンロードしインストールするだけで十分である。
図５Ｂは、ウェブアプリケーション形式の欠陥識別プログラム１２４を有する、スマートフォン１３０形式のデータ処理システムを示している。
１例として、欠陥識別プログラムは、スマートフォンのブラウザ１４０で実行され、特定のウェブサイト（サーバー１４４によって生成され、インターネットまたはイントラネットを通して提供される会社のウェブポータル）を閲覧するユーザによってダウンロードされるスクリプトとして実施される。例えば、プログラム１２４は、ＪａｖａＳｃｒｉｐｔとして実施されてもよい。
別の実施形態によると、欠陥識別プログラムは、ブラウザ１４０の外で実行されるプログラム（例えば、Ｊａｖａプログラム）として実施される。
欠陥識別プログラムは、２コンポーネントプログラム（共同操作可能で、ネットワーク接続１４２を通してデータ交換するように構成されたクライアント部分とサーバー部分とを有する）として実施できる。例えば、携帯用遠隔通信装置１３０（「クライアントアプリケーション」）にインストールされたプログラム部分は、画像収集プロセスを制御し、欠陥識別結果をユーザへ出力するように構成されていてもよい。サーバーにインストールされたプログラム部分（「サーバーアプリケーション」）は、ネットワークを通してクライアント部分からデジタル画像を受信し、被覆加工欠陥を検出するため、識別された欠陥の測度を決定するため、画像の被覆加工表面の定性的およびまたは定量的特徴付けを計算するため、デジタル画像を分析するように構成されていてもよい。サーバー部分は、特徴付け、および好ましくは、更に、測度、および識別された欠陥のタイプおよび程度の指摘を、クライアント部分へ戻す。
図５Ｃは、カスタマイズされた被覆加工表面品質管理装置形式のデータ処理システム１５０、すなわち、被覆加工表面の品質（被覆加工組成物および／または被覆加工プロセスの品質を暗に含む）を制御および具象化するように設計された専用ハードウェアを示している。斯かる装置は、欠陥識別プログラム１２４を有する記憶媒体、ユーザが試験プロセスの制御および試験結果の出力をできるようにするインターフェース１５２、および好ましくは被覆加工標本の表面特性を試験するのに使用されるいくつかのハードウェアコンポーネントを有している。例えば、斯かる装置は、ロボットアーム１５８を通して装置に接続されたカメラ（または当該カメラや被覆加工標本の相対位置を修正可能な他の接続要素を通して装置に接続されたカメラ）１３４を有していてもよい。当該装置は、やはり可動性および／または回転可能な接続要素（例えば、ロボットアーム１５６）を通して装置に接続されているのが好ましい１つ以上の光源１６０を有していてもよい。
品質管理装置１５０は、携帯装置または定常装置として実施されてもよい。例えば、当該装置は、被覆加工組成物を自動的に製造および／または試験するための設備の一体部分として実施されてもよい。当該設備は、複数の被覆加工標本１６２、１６４、１６６、１６８を制御装置１５０へ運搬し、それによって、多くの被覆加工表面の品質管理を、完全自動で、迅速かつ再生可能なやり方で可能にするコンベヤーベルト１５４を有している。
図５Ｄは、被覆加工組成物製造用の設備２４４に連結されたコンピュータ１７０形式のデータ処理システムを示している。
設備２４４は、被覆加工組成物の製造、種々の表面への被覆加工組成物の適用、および／または被覆加工表面または被覆加工組成物の試験（例えば、被覆加工組成物の流動パラメータ、化学パラメータ、物理パラメータ、または他のパラメータを決定するための試験）に関する種々の作業を制御、監視、および／または調整するための主制御コンピュータ２４６を有している。各作業は、設備２４４が有するいくつかの異なるユニットによって実行される。例えば、当該設備は、被覆加工組成物または被覆加工組成物で被覆された基板表面に関して、化学的、物理的、機械的、光学的、または他の形態の試験および分析を実行するための１つ以上の分析器２５７を有していてもよい。当該設備は、例えば、特定の製造および混合プロトコルに基づいて組成物のコンポーネントを混合することにより、種々の被覆加工組成物を製造するように構成された１つ以上の混合装置２５６を有していてもよい。当該設備は、表面標本を自動的に被覆するように構成された１つ以上の標本被覆加工ユニット２５４を有していてもよい。例えば、標本被覆加工ユニット２５４は、図８Ｃおよび８Ｂに示されるような「噴霧」被覆加工アプリケーションまたは「引き伸ばし」被覆加工アプリケーションを有していてもよい。いくつかの例示的実施においては、当該設備は、カメラ、光源、および標本、並びにカメラおよび／または光源を相対位置に配置する手段を備える画像収集ユニット２５２を更に有しているので、収集されるデジタル画像は欠陥識別プログラム１２４による入力として使用可能となる。１つ以上の運搬ユニット２５８、例えばコンベヤーベルトが、種々のユニットを接続し、コンポーネント、混合物、被覆加工組成物、および被覆加工標本を１つのユニットから他のユニットへ運搬する。
主制御コンピュータ２４６は、画像収集ユニット２５２で収集された被覆加工標本のデジタル画像をコンピュータシステム１７０の欠陥識別プログラム１２４へ送信するように構成された制御ユニット２４８を有している。いくつかの実施形態によると、追加パラメータが、欠陥識別プログラムへの画像データと一緒に提供される。当該パラメータは、標本を被覆加工するのに使用される被覆加工組成物の１つ以上のコンポーネントの特定、相対量および／または絶対量、および任意に製造プロセスパラメータおよび／またはアプリケーションプロセスパラメータを示すものであってもよい。当該パラメータは、被覆加工組成物および／または各製造またはアプリケーションプロセスパラメータの完全または不完全明細形式で提供されてもよい。
欠陥識別プログラムは、画像に示される被覆加工欠陥を自動的に識別するための入力、欠陥測度を計算するための入力、および被覆加工表面の特徴付けを欠陥測度の関数として計算するための入力として、受信画像、および任意に更にパラメータを使用するように構成されている。欠陥識別プログラムによって計算された結果は、ＧＵＩを通してユーザへ出力されてもよいし、および／またはデータベース２０４に記憶させてもよい。
分析器２５７、混合ユニット２５６、または標本被覆加工ユニット２５４などの他のユニットによって取得されたデータの一部は、特定の被覆加工組成物の識別子に関連付けて、および／または被覆加工標本の識別子と一緒に、データベースに直接記憶させるか、あるいはコンピュータシステム１７０へ送信し、コンピュータシステム１７０を通してデータをデータベースに記憶させるのが好ましい。
設備２４４を通して欠陥識別プログラムを使用するやり方は、被覆加工表面の画像が、撮像された後に検査対象の欠陥に関して自動的に分析できるので、特に有利であろう。得られた結果は、調剤データおよび／または分析データに接続され、組成物の最適化に用いられてもよい。
図６は、欠陥識別プログラムの生成および使用のための、訓練および試験段階の図を示している。
第一工程において、訓練データセット６０２が生成される。斯かる目的のため、複数の異なる被覆加工組成物が調製される。異なる被覆加工組成物は、コンポーネントの性質、各コンポーネントの量、および／または製造プロセスパラメータの点で異なっている。次に、複数の被覆加工表面を生成するため、複数の被覆加工組成物が基板に適用される。同じ被覆加工組成物が、多くの異なるタイプの被覆加工技術（噴霧、塗装、浸漬、散布など）によって、多くの異なるタイプの素材（木材、プラスチック、模造紙、金属など）に適用し得るので、被覆加工標本の数は、被覆加工組成物の数をはるかに超えていてもよい。次に、各被覆加工標本について、１つ以上のデジタル画像６０４、６０６が収集される。例えば、特定の被覆加工標本に関して、照明力、光源の相対位置、光の波長などを変化させることにより、デジタル画像が取得できる。
被覆加工組成物、標本の素材、被覆加工プロセスパラメータ、多くの他の要因次第ではあるが、画像に示される被覆加工表面は、異なるタイプの被覆加工欠陥を１つ以上有している場合がある。
次の工程において、収集されたデジタル画像に示される欠陥に手動でラベルが付される。例えば、図９Ｂを参照して記載されるようなラベル添付プロセスが実行されてもよい。
デジタル画像６０４は、当該画像６０４に示される各被覆加工欠陥の場所、タイプ、および好ましくは程度を示すラベル６１６で注釈が付される（付注される）。付注されたラベル６１６も、画像６０４の定性的および／または定量的特徴付け、例えば、「等級２の気泡欠陥および等級８の皺欠陥を有する全体品質レベル７」を有している。画像６０４は、追加データ６０８と関連付けて記憶させるのが好ましい。追加データ６０８は、当該被覆加工表面の生成に使用される被覆加工組成物のコンポーネントの完全または不完全明細を有していてもよく、その場合、明細は、更に、コンポーネント名および／または量、製造プロセスパラメータ、および／または組成物アプリケーションプロセスパラメータを有していてもよい。例えば、組成物の明細および上述のパラメータは、当該被覆加工表面の生成に使用された被覆加工組成物の識別子と関連付けて記憶されてもよい。画像６０４は、画像に示される被覆加工標本の識別子と関連付けて記憶される画像ＩＤを有していてもよく、その場合、被覆加工標本の識別子は、標本を被覆加工するのに使用される被覆加工組成物の識別子と関連付けて記憶される。
デジタル画像６０６は、同様にラベル６１８で付注され、追加データ６１０と関連付けて記憶されてもよい。
訓練対象の予測モデル６１２の訓練されていないバージョンを有するコンピュータシステム１２０．１が提供される。コンピュータシステムは、訓練データを有するデータベース２０４にアクセスする。訓練データ６０２は、訓練プロセス中に、入力として使用される。予測モデルＭ１は、訓練プロセス中、付注画像６０４、６０６の画像パターンと、被覆加工欠陥／被覆加工表面の特徴付けとの間の相関関係を学習する。
実施形態によると、訓練データは、パラメータ形式で追加データ６０８、６１０を有している。予測モデルＭ１（または欠陥識別プログラムに含まれる更なる予測モデルＭ１．２）も、画素パターン、被覆加工欠陥／被覆加工表面の特徴付け、および追加データ、例えば、組成物のコンポーネントの性質および／または量、製造プロセスパラメータ、および／またはアプリケーションプロセスパラメータ間の相関関係を学習する。
訓練されていないモデルは、ニューラルネットワーク形式で実施されてもよい。ニューラルネットワークは、領域提案ネットワーク、例えば、Ｍａｓｋ Ｒ－ＣＮＮプログラムによって提供される領域提案ネットワークであるのが好ましい。
訓練の結果、上述の相関関係を学習した予測モデルＭ１（１つ以上の更なる予測モデルＭ１．２を有していてもよい）６１２が提供される。訓練されたモデルは、欠陥識別プログラム１２４と統合され、デジタル画像に示される被覆加工欠陥を自動的に識別するのに使用されてよい。
プログラム１２４は、訓練および／または試験段階中に画像取得の面でユーザを援助するための、および／または例えば数値および／または区分された画像形式で予測結果をユーザへ表示するための追加機能、例えば、ＧＵＩ６１４を有していてもよい。
図６の下の部分は、既に訓練されたモデルＭ１の試験段階を示す。試験段階中、「試験画像」と呼ばれる被覆加工表面の複数のデジタル画像が提供される。例えば、試験画像６２４，試験画像６２６は、同じデータベース６２０に記憶させてもよいし、あるいは訓練画像を記憶させる異なるデータベースに記憶させてもよい。試験画像は最初はラベルを一切有していない。任意に、試験画像は、追加データ６２８、追加データ６３０，特に被覆加工組成物のコンポーネントの性質および／または量の完全または不完全明細、種々の製造プロトコルパラメータ、被覆加工組成物アプリケーションプロセスパラメータ、および／または収集システムパラメータと関連付けて記憶させてもよい。
加えて、欠陥識別プログラム１２４がインストールおよび／またはインスタンス化されているコンピュータシステム１２０．２が提供される。訓練に使用されるコンピュータシステム１２０．１は、訓練されたモデルを試験画像に適用するのに使用されるのと同じコンピュータシステム１２０．２であってもよいし、あるいは欠陥識別プログラムのコピーが提供された異なるコンピュータシステムであってもよい。
訓練された予測モデルＭ１ ６１２を有する欠陥識別プログラム１２４は、各試験画像に示される被覆加工表面の定性的および／または定量的特徴付け６３２、６３４を予測するための入力として使用される、１つ以上の試験画像６２４，６２６を受信する。例えば、欠陥識別プログラムは、画像に示される被覆加工欠陥の場所、タイプ、および程度を識別するため、画素毎の画像分析を実行してもよい。次に、当該プログラムは、画像に識別された各被覆加工欠陥の測度を計算するため、取得されたデータを分析してもよい。例えば、気泡欠陥を示す画素の小部分および層間剥離欠陥を示す同画像の画素の小部分が決定されてもよい。更なる工程において、斯かる測度は、被覆加工表面の集計特徴付け、例えば、「気泡欠陥等級３」などのラベルを、欠陥測度の関数として計算するのに使用される。
任意に、各試験画像に割り当てられる追加データ６２８，６３０が受信され、予測を実行するための追加入力として、欠陥識別プログラムによって使用される。
自動的に予測される測度および特徴付け６３２、６３４は、データベースの各試験画像６２８、６１３に関連付けて記憶させるのが好ましい。その結果、被覆加工表面の特徴付け、従って、特定の被覆加工組成物の被覆加工品質またはプロトコルを示すラベルを有するデータが提供される。斯かるデータは、モデルＭ１ ６０２用に訓練データを増大させ、拡張データベースに基づいて予測モデルを再訓練し、正確度を改善するのに使用されてもよい。加えてまたはその代わりに、当該データは、図７を参照して説明されるように、異なる予測範囲を有する別の予測モデルＭ２を訓練するのに使用されてもよい。
図７は、組成物品質予測プログラム７１４の生成および使用のための、訓練および試験段階の図を示している。組成物品質予測プログラム７１４は、欠陥識別プログラムとは反対に、入力としてデジタル画像を要求しない。組成物品質予測プログラムによって使用される予測モデルＭ２ ７１２は、入力として、むしろ複数のパラメータを使用する。斯かる入力パラメータは、コンポーネント、コンポーネント量、製造プロセスパラメータ、および／またはアプリケーションプロセスパラメータから成る群から選択される。被覆加工表面の品質関連特徴付けおよび任意に更なる被覆加工組成物品質指標が計算され、被覆加工組成物品質予測プログラムによって出力される。
欠陥識別プログラムおよび組成物品質予測プログラムの複合使用は、まず欠陥識別プログラムが被覆加工表面の品質特徴付けを十分な量、品質、および客観性で提供し、異なるマシンラーニングプログラム７１２を訓練し、異なる作業、例えば、被覆加工組成物の品質予測の解決（その場合、被覆加工表面の品質も考慮される）に、斯かるデータが使用できるので有益である。
モデルＭ２の訓練段階中、訓練データ７０２が提供される。訓練データ７０２は、複数のデータ記録を有しており（ここでは、２つのデータ記録が円形で示される）、各データ記録は被覆加工組成物を表している。各データ記録は、組成物のコンポーネントの性質および／または量の完全または不完全明細６２８，６３０、製造プロセスパラメータおよび／または被覆加工組成物のアプリケーションプロセスパラメータの明細を有していてもよい。加えて、各データ記録は、被覆加工表面の特徴付け６３２、６３４を有している（それは、ａ）各被覆加工組成物で標本を被覆する工程、ｂ）被覆加工表面の画像を収集する工程、および被覆加工表面の特徴付け６３２、６３４を計算するため、欠陥識別プログラムによって画像を分析する工程によって生成される）。加えて、各データ記録は、１つ以上の更なる特性７３２、特性７３４、特に流動特性、貯蔵寿命、密度などを有していてもよい。
訓練段階中、マシンラーニングモデル７１２は、被覆加工表面の特徴付け６３２、６３４、明細６２８，６３０に含まれるデータ、およびもし追加の特性が存在すれば、それらの特性７３２、７３４間の相関関係を学習する。
訓練された予測モデルＭ２は、訓練の結果、被覆加工組成物の品質７３２、７３４を、そのコンポーネントおよび関連するプロセスパラメータ７２８、プロセスパラメータ７３０（もし存在するならば）の関数として予測できる。例えば、被覆加工組成物の品質は、被覆加工表面の品質の特徴付け７３２、７３４の形式で、欠陥識別プログラムによる出力として予測および提供できる。別の実施形態では、被覆加工組成物の品質は、被覆加工表面の品質の特徴付けおよび他の特性値７２９、特性値７３１（例えば、貯蔵寿命、粘度など）の組み合わせ形式で、予測および提供されてもよい。
被覆加工明細予測プログラムによって使用される予測モデルＭ３の訓練は、モデルＭ２に関して記載されたのと同様にして実行でき、同じ相互関係が学習されるが、Ｍ２の入力データはＭ３の出力データとして学習され、Ｍ２の出力データはＭ３の入力データとして使用されるように学習される。任意に、Ｍ３は、モデルＭ３によって評価されなければならない解空間を制限するのに提供される追加データ（例えば、不完全被覆加工明細）を使用する。
図８Ａは、各被覆加工組成物明細に基づいてＨＴＥで自動的に製造された、複数の被覆加工組成物を示している。
図８Ｂは、「引き伸ばし」被覆加工アプリケーションユニットを示している。第一工程において、被覆加工組成物の特定量が標本の表面に適用される。次に、表面から所定距離離れた位置でローラーを移動させ、被覆物の量を均等に広げ、被覆を形成する。
図８Ｃは、「噴霧」被覆加工アプリケーションユニットを示している。
図８Ｄは、被覆加工組成物製造および／または試験用大量処理設備の自動コンベヤーベルトを示している。コンベヤーベルトは、被覆加工標本が設備の画像収集ユニットに自動的に運搬されるように適合されている。標本は画像収集ユニットに載せられ、カメラ、光源、および／または標本は、標本の表面で収集された画像が欠陥識別プログラムによる自動処理に適合するような形で移動され、相対的な位置に配置される。
図９Ａは、欠陥の手動付注（ラベル割り当て）前の、被覆加工表面のデジタル画像１２０２の亜領域を示している。例えば、被覆加工組成物を自動的に製造および／または試験するため、画像が、設備の画像収集ユニット内のカメラによって収集されていてもよい。あるいは、画像は、例えば、図４～図５Ｄを参照して記載されたデータ処理システムのカメラによって取得されたものであってもよい。
検査対象の欠陥が画像上で可能な限り鮮明に示されるように、画像収集条件（光、カメラ設定、画像収集角度、照明角度など）が選択される。実施形態によると、欠陥のタイプに従って、異なる画像収集条件が設定および使用される。例えば、表面の起伏に関連した欠陥は、欠陥が十分なサイズおよびコントラストを確実にもたらすように、小さい照明角度（すなわち、小さい光入射角度）を用いて得られる画像に基づいて分析されてもよい。他の欠陥（例えば、彩色欠陥）は、大きい照明角度（約８０～１００度）を用いて得られるデジタル画像に基づいて分析されてもよい。
デジタル画像１２０２は、泡欠陥を含む被覆加工表面を示している。被覆加工表面は、２つの大きい欠陥（穴）１２０４、１２０６およびいくつかの小さい欠陥（小さい穴）を有している。基板が横側から照明されているので、影が形成され、それによって欠陥が明瞭に認識できる。影の形成は、基板上の被覆物の起伏の識別および区別を可能にする。加えて、影の形成は、例えば、窪みの場合、縁が切り立っているか否か、あるいは被覆物の厚さが徐々に減少しているか否かの判断に使用できる。これは、気泡欠陥とへこみ欠陥の区別を可能にする。
欠陥に加えて、デジタル画像は、被覆加工欠陥ではないアーチファクト１２０８を有している。例えば、アーチファクトは、画像収集システムのレンズの１つまたは基板上の一片のほこりによってもたらされたものかもしれない。
十分なサイズの訓練データセットを生成するため、多くの異なるタイプの被覆加工欠陥を有する多くの異なる被覆加工表面のデジタル画像が収集される。泡欠陥に関しては、小さい光入射角度が選択される。他のタイプの欠陥の場合、他の画像収集設定および条件が選択されてもよい。互いに重なり合う種々のタイプの欠陥を識別できる欠陥認識プログラムが生成できるように、各被覆加工標本の表面は、多くの異なる条件下で照明され、それぞれのデジタル画像が収集されるのが好ましい。
異なる欠陥タイプおよび異なるタイプの被覆加工基板の数千の欠陥を示す数多くのデジタル画像を収集し、それに手動で付注（ラベル付け）するのが好ましい。
図９Ｂは、手動でラベル付け（付注）した欠陥を有する図９Ａのデジタル画像１２０２を示している。デジタル画像に付注する工程は、画像に示される被覆加工欠陥の位置およびタイプを示す情報と関連付けて、デジタル画像を記憶させる工程を有していてもよい。任意に、ラベルは、直径や円周などの定量的欠陥測度の決定を可能にする追加データ（例えば、画像解像度）を有していてもよい。
手動で多くの画像に付注する工程は、かなりの時間および努力を要とするものである。事態を簡便化するため、画像は小さい部分に切断された。斯かる部分のいくつかにおいて、泡欠陥がソフトウェアＶＩＡ－ＶＧＧ Ｉｍａｇｅ Ａｎｎｏｔａｔｏｒ（Ａｂｈｉｓｈｅｋ Ｄｕｔｔａ ａｎｄ Ａｎｄｒｅｗ Ｚｉｓｓｅｒｍａｎ， ２０１９， "Ｔｈｅ ＶＩＡ ａｎｎｏｔａｔｉｏｎ ｓｏｆｔｗａａｒｅ ｆｏｒ ｉｍａｇｅｓ， ａｕｄｉｏ ａｎｄ ｖｉｄｅｏ，" Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２７ｔｈ ＡＣＭ Iｎｔｅｒｎａｔｉｏｎａｌ Cｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｔｉｍｅｄｉａ （ＭＭ '１９）， Ｏｃｔｏｂｅｒ ２１－２５， ２０１９， Ｎｉｃｅ， Ｆｒａｎｃｅ． ＡＣＭ， Ｎｅｗ Ｙｏｒｋ， ＮＹ， ＵＳＡ， ４ ｐａｇｅｓ． ｈｔｔｐ：／／ｄｏｉ．ｏｒｇ／１０．１１４５／３３４３０３１．３３５０５３５．）で印を付された。
欠陥１２０６および１２０８は、ＶＩＡソフトウェアを用いて各欠陥の周りに手動で円１２１２を描くことにより印されている。次に、ＶＩＡソフトウェアは、画像または画像識別子と関連付けられた、構造化形式で印を付された情報をエクスポートするのに使用された。構造化形式は、例えば、ＸＭＬファイル、ＪＳＯＮファイル、コンマ区切りのファイル、比較データベースのデータ記録などであってもよい。
いくつかの実施形態によると、追加データは、画像または画像識別子と関連付けられて記憶されている。追加データは、被覆加工表面を生成するのに使用された被覆加工組成物の完全または不完全明細を有していてもよく、その場合、明細は、コンポーネントの特定および／または量の指摘、組成物を製造するプロセスの態様を示す製造プロセスパラメータ、組成物を基板に適用するプロセスの態様を特定するアプリケーションプロセスパラメータ、および／または画像収集システムパラメータを有していてもよい。その結果、予測モデルＭ１（または被覆加工品質予測プログラムによって使用される追加の予測モデルＭ１．２）は、欠陥タイプおよび被覆加工表面の特徴付けと、上述のパラメータの１つ以上との相関関係を学習できる。
欠陥識別プログラムによって使用される予測モデルＭ１の生成は、例えば、図６を参照して記載される方法で実行できる。
次に、訓練されたモデルＭ１は、訓練工程では使用されていない、ラベル付けのない新しい画像（「試験画像」と呼ばれる）において、泡欠陥（および訓練データによってカバーされる他のタイプの欠陥）を検出するのに使用できる。
図１０は、被覆加工表面のデジタル画像１３０２を示している。画像は、本発明の実施形態による欠陥識別プログラムによって自動的に作成されたラベル１３０４を有している。ラベルは、欠陥識別プログラム１２４によって自動的に検出された欠陥１３０６、欠陥１３０８を識別する。
欠陥識別プログラムは、（例えば、識別された欠陥の上に描かれた画像セグメント、この例の場合、識別された欠陥の周りの縁および円を通して）検出された欠陥を視覚的に表すのに加え、やはり構造化形式の識別された欠陥のタイプおよび場所を一時的または永続的に記憶するように構成されている。例えば、場所は、欠陥を表す画素の画素座標の形式で記憶されてもよい。構造化形式で欠陥の特定および場所を記憶させることにより、欠陥識別プログラムは、構造化データを処理し、被覆加工表面の総合的な特徴付けを計算できるようになる。
例えば、全表面の総合的特徴付けは、被覆加工表面の定量的特徴付け、例えば、品質基準を意味する尺度値５超（例えば、可能性として１０を超える尺度値）であってもよく、その場合、尺度は総体的な被覆加工表面の品質を表すものであってよい。表面の品質得点は、被覆加工表面において識別される欠陥のサイズおよび数と負の相関関係を有する。
被覆加工表面の定量的欠陥測定および／または定量的特徴付けの別の例は、図１１に示されるような、異なるサイズの欠陥のヒストグラムであってもよい。
図１１は、ヒストグラム１４０２形式の表面領域の欠陥の測度および面積％値を示している。ヒストグラムおよび／または％値は、被覆加工表面の定量的特徴付けとして使用されてもよいし、斯かる特徴付けを計算的に導出するのに使用されてもよい。
ヒストグラム１４０２は、異なるサイズの気泡の分布を示すものであり、気泡のサイズは画素で測定された気泡の面積として特定される。気泡のサイズは１０の異なる柱に分けられており、柱のサイズ範囲に該当するサイズを有する気泡の数がプロットされている。従って、ヒストグラムは、被覆加工組成物または被覆加工プロセスにおける問題の識別を可能にする、気泡のサイズ分布の概算値を提供するものである。
加えて、気泡欠陥によって覆われる表面の小部分が計算される（この場合、５．８８％）。斯かる値は、処理されたデジタル画像に示される被覆加工表面の品質特徴付けとして使用できる。欠陥の数およびサイズを評価することにより、客観的で再生可能なやり方で、被覆加工表面を所定の品質部類または等級に分類できるようになる。
図１２は、予測モデルＭ２を符号化し、被覆加工組成物の品質を予測するのに使用されるニューラルネットワーク４００の構造を示している。
ニューラルネットワーク４００は、入力ベクトル４０２を受信し、出力ベクトル４０６を入力ベクトルの関数として計算および出力するように構成されている。
例えば、入力ベクトルは、被覆加工組成物のコンポーネント（および任意に各コンポーネントの濃度または量）の完全または不完全明細を符号化するものであってもよい。任意に、入力ベクトルは、被覆加工製造プロセスおよび／または被覆加工アプリケーションプロセスのプロセスパラメータ値を更に有していてもよい。
出力ベクトル４０６は、組成物または基板を組成物で被覆することによって生成される表面の１つ以上の特性を特定する。斯かる特性は、被覆加工組成物の品質および／または被覆加工組成物によって形成される被覆加工表面の品質を表す１つ以上の特性を有しているのが好ましい。
ネットワークは、重み関数によって他の層のニューロンにリンクされるいくつかの層のニューロン４０４を有しており、従って、ネットワークは、対応する組成物および斯かる組成物から生成される被覆加工表面の特性および品質特徴付けを、入力ベクトルに符号化されている情報に基づいて計算（すなわち予測）し、予測された特性および品質特徴付けを出力ベクトル４０６の形式で出力することができる。
ニューラルネットワークのニューロンは、訓練前に、所定の重みまたはランダムな重みでまず初期化される。ネットワークは、訓練中、被覆加工組成物の明細（コンポーネントのタイプおよび任意に量、並びに任意に製造プロセスパラメータおよび／またはアプリケーションプロセスパラメータを有していてもよい）を、実証的に測定された斯かる組成物の特性（欠陥識別プログラム１２４によって計算および出力された欠陥測度および被覆加工表面の特徴付けを含む）と一緒に受信する。ネットワークは、斯かる組成物の予測された特性および品質測度を有する出力ベクトルを計算し、予測された特性および品質測度が実証的に決定された既知の特性および被覆加工表面の特徴付けから逸脱している場合、損失関数によってペナルティが科される。決定された予測エラーは、バックプロパゲーションと呼ばれるプロセスを通して、その原因となった各ニューロンへ送り返され、その結果、特定のニューロンの重みが、予測エラー（従って、損失関数の値）が減少するように変更される。これは、数学的に言って、損失関数の傾きを決定し、損失関数によって出力された値を最小化するように、ニューロンの重みを方向的に修正することにより達成できる。予測エラーまたは損失関数が所定の閾値未満になったら、訓練されたニューラルネットワークは十分正確であり、更なる訓練は必要ないと見なされる。
訓練が成功裏に完了した後、訓練された予測モデルＭ２が、未知の新しい被覆加工組成物の被覆加工表面の特性、特に品質特徴付けを予測するのに使用できる。正確な組成物および／または最適な製造プロセスパラメータおよび／または被覆加工プロセスパラメータが未知の場合、人間のユーザまたは付属のソフトウェアプログラムが、関心対象の新しい被覆加工組成物の別形を表示および特定する、いくつかの候補被覆加工組成物明細を生成する。新しい（候補）被覆加工組成物の各々に関して、訓練されたニューラルネットワークが自動的に特性を予測する。予測が複数の候補被覆加工組成物について実行される場合、各アプリケーションシナリオに関して最善の特性または品質特徴付けを有する１つ以上の候補被覆加工組成物が選択され、および／または設備で実際に製造および試験される。
各候補被覆加工組成物の予測特性が、ニューラルネットワークの出力ベクトル４０６として、手動評価のためにユーザへ出力される、および／または実証的に取得される組成物の特性値（後に取得されてもよい）の評価及びそれとの比較のために、データベースに記憶される。入力ベクトルは、例えば、被覆加工組成物の２０のコンポーネント、いくつかの製造プロセスパラメータ、およびいくつかのアプリケーションプロセスパラメータを含んでいてもよい。出力ベクトル４０６は、ネットワークに符号化された予測モデルＭ２を訓練するのに使用される訓練データに基づく種々の特性を有していてもよい。例えば、出力ベクトルは、被覆加工が基板に適用された場合に生じ易い被覆加工欠陥のタイプおよび程度の指摘を有していてもよい。
図１３は、デジタル画像を収集するための、カメラ１３４、光源１６０、および被覆加工表面１６４の相対位置の図を示している。例えば、相対的位置決めは、例えばカメラがスマートフォンカメラの場合、手動で実行されてもよい。他の実施形態においては、相対的位置決めは、例えば、被覆加工組成物の製造および／または試験用の設備２４４の画像収集ユニット内で、自動的に実行されてもよい。相対的位置決めを行うことにより、欠陥識別プログラム１２４による被覆加工欠陥の自動識別が被覆加工表面のデジタル画像によって可能になる、画像収集角度１５０４および照明角度１５０２が、確実に選択される。例えば、角度１５０２、１５０４は、一般的に、欠陥識別プログラムの予測モデルＭ１を訓練するのに使用されるデジタル画像の取得に使用される角度と同一であるべき、または類似しているべきである。例えば、角度Ｘに「類似の」角度は、Ｘ＋/－４０％の範囲の角度、特にＸ＋／－２０％の範囲の角度であってもよく、その結果、各被覆加工標本に関して、画像収集角度１５０４および／または照明角度１５０２が相互に異なるように、複数のデジタル画像が取得される。従って、多くの異なるタイプの欠陥に関して、収集された画像セットは、欠陥の正確な識別および特徴付けを可能にする１つ以上の画像を確実に有するようになる。
図１４は、組成物品質予測プログラムの予測モデルＭ２（またはＭ３）の質を改善するのに最適な、被覆加工組成物を識別する方法のフローチャートを示している。
当該プロセスは、例えば、図７に示されるようなコンピュータシステム１２０．２または図５Ｄに示されるようなコンピュータシステム１７０であってもよい。
第一工程８０２ａ）において、既知の組成物およびその特性並びに品質の特徴付け（組成物によって生成された被覆加工表面の特徴付けを含む）が、「最初の訓練データセット」として、モデルＭ２（またはＭ３）、例えば、ニューラルネットワーク、サポートベクトルマシン、デシジョンツリー、ランダムフォレストなどを訓練するのに使用される。訓練されたモデルＭ２／Ｍ３は、被覆加工組成物の特性、例えば、被覆加工組成物によって作成された被覆加工表面の品質を予測するように構成された組成物品質予測プログラム、または組成物明細予測プログラムに統合されてもよい。
次の工程８０４ｂ）において、損失関数の値が所定の基準を満たすか否かを決定する検査が実行される。基準が満たされると言うことは、訓練されたニューラルネットワークの予測正確度が十分であることを意味する。基準が満たされない場合には、選択的に、以下に記載される工程８０６～８１２が実行される。さもなくば、訓練は終了され（工程８１４）、訓練されたニューラルネットワークは戻される。
工程８０６において、アクティブラーニングモジュールが、手動で提供されたまたは自動的に計算された複数の候補被覆加工組成物明細から、候補被覆加工組成物明細を自動的に選択する。本発明の実施形態に従って使用可能な、いくつかの異なるアクティブラーニング手法が存在する。
１つの実施形態によると、アクティブラーニングモジュールは、「予期されるモデル変更」手法に従い、現在の予測モデルを最も良い方向へ変更すると思われる候補被覆加工組成物（ネットワークが再訓練される際に、斯かる候補被覆加工組成物および実際に測定されたその特性が考慮される）の明細を選択する。
実施の別形によると、アクティブラーニングモジュールは、「予期されるエラー削減」手法に従い、訓練されたニューラルネットワークの現在の予測モデルのエラーを最も良く削減すると思われる候補組成物を選択する。
実施の別形体によれば、アクティブラーニングモジュールは「最小限界超平面」手法に従い、訓練されたニューラルネットワークの現在の予測モデルにより、多次元データ空間における分離線または面に最も近い実験組成物を選択する。分離線または分離面とは、予測モデルが分類決定を行う多次元データ空間内のインターフェース、すなわち分離線または分離面の一方側にあるデータポイントを分離線の反対側にあるデータポイントとは異なるクラスまたはカテゴリに割り当てるインターフェースである。データポイントが分離線に近ければ、予測モデルは分類決定に関して不確実であり、モデルを更に訓練するため、実際に測定された斯かる分離線の近くからのデータセット（コンポーネントの組み合わせ、任意にその濃度、および斯かるコンポーネントの組み合わせに従って生成される被覆加工組成物の測定された特性で構成される）が追加測定されるならば、特に高レベルの恩恵がもたらされるであろうと解釈される。
工程８０８において、コンピュータシステムは、選択された候補被覆加工組成物の明細がデータベースから検索された後、組成物製造および試験設備２４４を制御し、検索された明細に従って、製品が自動的に製造および試験されるようにする。斯かる試験は、製品の１つ以上の特性、例えば、ｐＨ値、明度、粘度の測度の流動学的記録、組成物を用いて標本を被覆加工することにより生成される被覆加工表面の特徴付けの計算８０９、画像を取得し、それを欠陥識別プログラムによって分析する工程などであると理解されたい。
工程１０８で取得される実際に測定された特性、および工程８０９で取得される画像データから導出される計算値は、選択された候補被覆加工組成物を補足するのに使用されるので、完全な追加のデータポイント（既知の組成物および既知の特性で構成され、現在または以前の反復のａ）で使用される訓練データを拡張するのに役立つものである）が取得される。
工程８１０において、モデルＭ２／Ｍ３は、拡張された訓練データセットに基づいて再訓練される。実施の別形次第ではあるが、再訓練は、完全に拡張訓練データセットに基づいてもう一度訓練することにより実行されてもよいし、あるいは工程８１０の訓練を拡張させることにより、すなわちそれまで学習した内容を維持しつつ、新しく訓練されたデータポイントを考慮し、それを修正することにより実行されてもよい。
工程８１２において、訓練されたモデルＭ２／Ｍ３の予測品質の反復検査が開始され、 モデルが十分な予測品質を有するまで（それは、損失関数が基準を満たしている、例えば、損失関数によって計算された「エラー値」が所定の最大値を下回っていると言う事実によって示される）、工程８０４～８１２が繰り返される。
完全に訓練されたモデルは、被覆加工組成物の特性（斯かる被覆加工組成物から得られる被覆加工表面の品質特徴付けを含む）を極めて迅速かつ高信頼度で予測するのに使用できる。これを実行するため、再訓練されたモデルＭ２は、品質予測プログラムに統合され、それにより、古くて正確度に劣るバージョンのモデルと置き換えられる。
当該モデルは、被覆加工組成物に関する種々のパラメータ（特に、そのコンポーネント、絶対量または相対量、製造プロセスパラメータ、および／またはアプリケーションプロセスパラメータ）と、結果的に得られる製品の特性（組成物から生成される被覆加工表面の特徴付けを含む）との間の統計学的相関関係を学習したのであるから、訓練されたモデルＭ２は、実証的データを有さない組成物であっても、被覆加工組成物の明細を与えられている対応する被覆加工表面の特性および品質を予測できるものである。同様に、訓練されたモデルＭ３は、望ましい被覆加工表面の特徴付けを与えられている被覆加工組成物（および任意に不完全な被覆加工組成物）に関する上述のパラメータの１つ以上を予測できるものである。モデルＭ２およびモデルＭ３の両方が、実証的に測定可能または導出可能な被覆加工組成物の特性、例えば、被覆加工表面の特徴付けおよび被覆加工組成物に関する上述の種々のパラメータの学習された集合体に依存している。モデルＭ２およびＭ３の唯一の違いは、上記２つの態様のうちいずれが入力として期待され、いずれが出力として提供されるかである。
予測問題に関する「損失関数」（「目的関数」とも呼ばれる）は、例えば、最も単純な例においては、１組の予測の中から、正確に認識された予測のみを考慮するものである。正確な予測の割合が大きければ大きいほど、マシンラーニングプロセスで使用される予測モデル（例えば、ニューラルネットワークで実行されるモデル）の品質は高い。例えば、粘度などの流動特性および／または被覆加工表面の被覆加工欠陥のタイプおよび程度などの品質特性が所定の好ましい範囲内にあるか否かの疑問は、分類問題として理解できる。
しかし、訓練されたモデルの予測正確度を評価するための、数多くの他の損失関数および対応する基準も可能である。
図１５は、組成物品質予測プログラムの予測モデルの質を改善するのに使用される、分散データ処理および被覆加工製造システム９００のブロック図を示している。
当該システムは、既知の被覆加工組成物９０６および候補組成物９０８を有するデータベース９０４を含んでいる。既知の組成物９０６は、例えば、各々コンポーネントのタイプおよび／または量、製造プロセスパラメータ、および／または被覆加工組成物アプリケーションプロセスパラメータの完全または不完全明細を含む１組のデータ記録であってもよい。加えて、既知の被覆加工組成物の各データ記録は、被覆加工組成物およびそれから生成された被覆加工表面の、実証的に決定された物理的、化学的、触覚的、光学的、および／または他の流動学的に確認可能な特性を有しており、「実証的に決定された」ものには、実証データの関数として計算された測度および特徴付け、例えば、画像データの関数として計算された品質の特徴付けが含まれる。
一方、候補組成物９０８は、物理的、化学的、触覚的、光学的、および／または他の流動学的に確認可能な特性が未知である組成物である。
例えば、既知の組成物２０６は、ＨＴＥ設備によって既に製造および試験された被覆加工組成物の明細を有していてもよい。
被覆加工組成物明細９０８は、被覆加工コンポーネントの購入者によって提供される被覆加工組成物明細を有していてもよく、提供された単一の完全または不完全な被覆加工明細に基づいて、別形の被覆加工組成物明細を自動的に生成する計算工程で提供されてもよい。
例えば、被覆加工組成物別形の明細は、斯かる組成物の１つ以上のコンポーネントの量を１０％増大および／または減少されることにより生成されてもよい。１０％増大させた量のコンポーネントおよび１０％減少させた量のコンポーネントを用いて、斯かる１つのコンポーネントだけを一度に変化させるならば、コンポーネント当たり２つの別形が形成される。２０のコンポーネントならば、斯かる手順により、４０の候補組成物が作成される。自動的に生成された候補組成物の数は、２つ以上のコンポーネントの濃度を既知の組成物の濃度と比べて１０％同時に増大または減少させ、並びにプロセスパラメータを修正することにより、更に増加させるのが好ましい。
一般的に、自動的に計算される候補組成物の数は、実験室で実際に物理的に調製され、コストおよび利益性の面で試験される被覆加工組成物の数よりもはるかに膨大である。
分散システム９００には、ニューラルネットワークまたは他のタイプのマシンラーニングモデルおよびアクティブラーニングモジュール９２２を有するコンピュータシステム９２４が含まれる。アクティブラーニングモジュール９２２は、１つ以上の選択された候補組成物および各割り当てられたパラメータの明細、例えば、そのコンポーネントをデータベース９０４から読み込む、読み込みアクセスを少なくとも有している。いくつかの実施形態では、アクティブラーニングモジュールおよび／または選択された候補組成物明細に従って、組成物および任意にそれから生成された被覆加工表面を調製および分析する設備９４４は、選択された候補被覆加工組成物または各被覆加工表面に関して実証的に取得された特性をデータベース９０４に記憶させるため、データベース９０４への書き込みアクセスも有している。例えば、選択され新たに調製された候補組成物の被覆加工表面の特徴付けおよび／または被覆加工欠陥の測度を取得し、記憶させることにより、候補組成物は既知の組成物となり、従って、異なる場所に記憶されることになる、および／またはデータベース９０４内の異なるメタデータ（「フラグ」）がそれに提供される。
図１６は、訓練データセットを拡張し、組成物明細予測プログラムによって使用される予測モデルＭ３の正確度を改善するため、「アクティブラーニングモジュール」が特定のデータポイント１００８を選択するのに使用される、最適消泡特性を有する消泡剤ＤＦ１と特定の被覆加工組成物に最適融和性を有する消泡剤ＤＦ２とを種々に組み合わせるための、多次元データルームの２Ｄセクション１０００を示している。当該モデルの改善は、モデルＭ３に関して以下に記載されるが、同様に、被覆加工組成物品質予測プログラムによって使用されるモデルＭ２の改善にも使用されてよい。
ニューラルネットワークまたは他のタイプのマシンラーニングモデルとして実行できる予測モデルＭ３の訓練中に、当該予測モデルは、以下、すなわち、コンポーネントのタイプ、コンポーネントの絶対量および／または相対量、被覆加工組成物製造パラメータ、および／または被覆加工組成物アプリケーションプロセスパラメータのうちの１つ以上を含む出力ベクトルを計算するように学習する。入力データは、入力ベクトルとして提供され、１つ以上の望ましい表面特徴付け、例えば、入力として提供される品質特徴付けを有しているのが好ましい。任意に、入力は、１つ以上のコンポーネントの不完全明細、絶対または相対コンポーネント量、製造プロセスパラメータ、および／またはアプリケーションプロセスパラメータ、またはそれぞれの量またはパラメータの有効性範囲を有している。不完全明細は、解空間を予測被覆加工組成物に制限するのに、モデルによって使用されてもよい。例えば、不完全明細が水ベースの被覆加工媒体を示していれば、モデルが提案する予測組成物は有機の被覆加工媒体には基づかないであろう。不完全明細が、２つの消泡剤ＤＦ１およびＤＦ２が使用されるべきであることを示しているならば、斯かる消泡剤の相対量しかモデルによって予測されないであろう。入力として１つの消泡剤ＤＦ１だけが提供されているならば、モデルＭ３は、消泡剤ＤＦ１に融和性であると予測される更なる消泡剤ＤＦ２を提案するに過ぎないであろう。
モデルＭ３の入力ベクトルは、以下の特性、すなわち、被覆加工表面の品質測度、被覆加工欠陥タイプ（特に、気泡欠陥およびへこみ欠陥）、被覆加工欠陥の測度、貯蔵安定性、ｐＨ値、流動パラメータ、特に粘度、密度、相対質量、色彩、特に色の濃さ、および／または製造中のコスト削減のうちの１つ以上を特に有していてもよい。製造中のコスト削減は、例えば、組成物の調製中に、自動製造設備２４４によって自動的に記録されてもよく、例えば、所定の参照値に関係していてもよい。しかし、人間が手動でコストを記録するのも可能である。同様に、被覆加工欠陥および表面品質の測度は、設備２４４によって自動的に決定されてもよい。
図示されている例においては、モデルが受信する入力は、気泡欠陥の発生およびへこみの発生の両方が最小化されるべきであることを示していてもよい。入力は、被覆加工組成物の１つ以上のコンポーネントを更に特定し、特に、（不完全に）特定された被覆加工組成物において、最適消泡特性を有する消泡剤ＤＦ１および最適被覆加工媒体融和性を有する消泡剤ＤＦ２がコンポーネントして使用されるべきであるが、消泡剤の絶対量または相対量は提供されないことを特定してもよい。例えば、ＤＦ１は、ＥｖｏｎｉｋのＴｅｇｏ Ｆｏａｍｅｘ８１０で、ＤＦ２は、ＥｖｏｎｉｋのＴｅｇｏ Ｗｅｔ２８５であってもよい。
Ｍ３モデルは、消泡剤ＤＦ１とＤＦ２の混合体が、２つの消泡剤によって個別に生成される２つの泡体積の中間の泡体積を生成することを、入手可能なデータに基づいて学習している。泡体積および消泡剤の比率関係はほとんど直線を示しており、その場合、泡体積および関連する気泡欠陥は、ＤＦ１対ＤＦ２比の増大に伴って減少し、従って、気泡欠陥に関する表面品質は向上する。更に、２つの消泡剤と被覆加工媒体との混合体の融和性は、ＤＦ１対ＤＦ２比の増大に伴って減少する、すなわち、へこみ欠陥に関する表面品質は低下することを、モデルは学習している。
ニューラルネットワークのモデルＭ３は、最初のいくらかの訓練工程後、被覆加工組成物のコンポーネントまたはプロセスパラメータと、結果的に得られる被覆加工組成物または被覆加工表面のいくらかの特性との間の特定の関係を既に「学習」している。モデルＭ３に記憶されている知識に基づいて、モデルは、入力として提供された不完全特定の組成物のＤＦ１対ＤＦ２比が高過ぎる場合には、多くのへこみが生じ、ＤＦ１対ＤＦ２比が低過ぎる場合には、多くの気泡欠陥が生じることを予測できる。
斯かる学習された関係は、データルームを、特性「被覆加工の品質」に関して、好ましい被覆加工表面品質特性を有するデータルーム１１８と、好ましくない被覆加工表面品質特性を有するデータルーム１０２０とに分離する分離線１０１６によって、図１６に示されている。消泡剤の絶対量および相対量は関連性を有していることをプロットが示している。すなわち、両消泡剤の全量が少な過ぎる場合、気泡欠陥が生じる可能性がある。ＤＦ１対ＤＦ２比が高過ぎる場合、へこみ欠陥が生じる。その比率が低過ぎる場合、気泡欠陥が生じる。両消泡剤の全量が多過ぎる場合、他の表面欠陥が生じるかもしれず、あるいは製造コスト（図示されない）が好ましくないレベルまで高いと予測されるかもしれない。
プロットは２つの次元（「濃度ＤＦ１」および「濃度ＤＦ２」）しか示していないので、図１６はデータルームの態様を部分的にしか表していないが、他の被覆加工組成物やその絶対量および／または相対量も被覆加工表面の品質に影響を及ぼすものである。被覆加工組成物は１０を超えるコンポーネントを有している場合が多く、通常は約２０のコンポーネントを有しており、製造プロセスパラメータおよび被覆加工アプリケーションプロセスパラメータもそれぞれの次元を表しているので、データ空間１０００は、図１６に示される次元よりもはるかに多い次元を有している。斯かる２０の次元によって形成される多くの亜空間はそれ自身の分離線、および好ましいまたは好ましくない被覆加工表面品質を含んでいる。訓練中にモデルＭ３が学習する多次元空間の分離線１０１６の全体は、分離面（「超平面」）とも呼ばれる。
図１６に円で示されるデータポイントは、特性が実証的に未だ決定されていない候補被覆加工組成物を各々表している。例えばデータポイント１００８、１００９で示される被覆加工組成物は好ましい被覆加工品質の領域１０１８内にあり、データポイント１００４、１０１２、１０１０で示される被覆加工組成物は好ましくない被覆加工品質を有していることを、モデルＭ３は確信しているであろう。しかし、モデルは、データポイント１００２によって示される表面品質に関しては確信を持っていないであろう。従って、データポイント１００２で示される被覆加工組成物を調製し、被覆加工組成物の種々の特性（被覆加工表面欠陥を含む）を実証的に決定し、取得された実証データを訓練データセットの拡張のために使用し、当該拡張された訓練データセットでモデルＭ３を再訓練すれば、最高の学習効果がモデルに提供されるであろうことを、モデルは推測できる。
例えば、訓練データを更なる実証データで拡張するのに使用されるデータポイント１００２は、例えば、いわゆる「最小限界超平面」手法に従って選択できる。例えば、アクティブラーニングモジュールは、予測モデルがデータポイントサブセットから既に学習している知識に基づいて、１つ以上の特性に関して、全データポイントがカバーするデータ空間を亜空間に分割できるサポートベクトルマシン、または別のアルゴリズムとして設計されてもよい。従って、モデルＭ３の最初の訓練中に既に獲得された現在の「知識」は、分離線または分離面１０１６によって示されている。分離線に最も近い距離を有するデータポイント１００２は、斯かる分離線１０１６によって示される既に学習した予測モデルが最も不確実であり、従って、実際の特性、例えば、被覆加工表面の特徴付けおよび／または粘度を実証的に決定するため、斯かるデータポイントに属する実験的組成物は、選択、調製、および分析されるべきであると、「最小限界超平面」手法は推測する。従って、本明細書で提示される例においては、アクティブラーニングモジュールは、データポイント１００２で示される候補被覆加工組成物を選択し、特性「被覆加工表面の品質」のみを考慮し、組成物１００２のコンポーネントの明細、実証的に測定された被覆加工組成物の特性、および対応する被覆加工表面を用いて訓練データを拡張するため、斯かる組成物を設備２４４に調製および分析させるであろう。次に、Ｍ３は、拡張訓練データセットで再訓練されるであろう。
１つの例として、データポイント１００２が示す組成物の実証的測度は、予測される被覆加工表面の品質が好ましくない被覆加工品質領域１０２０にあることを示している。従って、拡張訓練データセットの再訓練の結果により、分離線１０１６によって図で可視化されているニューラルネットワークの予測モデルは、データポイント１００２によって示される組成物の今後の予測において、被覆加工表面の品質が１０２０の領域になるように適合されるであろう。従って、拡張された訓練データセットの再訓練により、当該線／面１０１６は、それが「持ち上げられる」ように修正され、その結果、改善されたモデルは、ポイント１００２が好ましくない被覆加工品質範囲１０２０に存在すると認識および予測するようになるであろう。実際には、対応する実験組成物のデータポイントを選択する場合、例えば、完全な多次元データ空間の全分離線／分離面への最小の平均距離を有するデータポイントを選択し、そうすることにより、いくつかの特性の分離線への対応データポイントの距離を考慮するのが好ましい。
被覆加工組成物の品質予測に使用できるようにモデルＭ２の改善を行うのも、被覆加工組成物の完全または不完全な明細、および／または関連するプロセスパラメータに基づいて同様に実行できるが、唯一の違いは、モデルの入力または出力としてそれぞれ使用される情報が入れ替わることである。
更なる態様において、被覆加工表面の定性的および／または定量的特徴付けのための、コンピュータ実施方法および対応するシステムが、本明細書には開示されている。斯かる方法およびシステムは、以下の節に記されている工程および特徴を有する。
節１．被覆加工表面の定性的および／または定量的な特徴付けの方法であって、当該方法は、
・欠陥識別プログラム（１２４）によって、被覆加工表面（１６２～１６８）のデジタル画像（６０４、６０６、１２０２）を処理する工程（１０２）であって、欠陥識別プログラムは、パターンを識別するように構成されており、各パターンは被覆加工表面の欠陥（１２０４、１２０６、１３０６、１３０８）のタイプを表している工程と、
・欠陥識別プログラムによって被覆加工表面の特徴付けを出力する工程（１０４）であって、特徴付けは、処理中に欠陥識別プログラムによって認識された被覆加工表面の欠陥の関数として計算されるものである工程とを有するものである。
２．節１記載の方法において、当該方法は、認識された欠陥の測度（６３２、６３４，１４０２）を欠陥識別プログラムによって計算する工程（１０６）を有しており、その場合、被覆加工表面の特徴付けは、測度の定性的および／または定量的な特徴付けとして計算されるものである。
３．節２記載の方法において、
・測度は、欠陥の面積、デジタル画像（６０４、６０６、１２０２）において観察される気泡または窪みの数、デジタル画像（６０４、６０６、１２０２）における気泡または窪みの最大、最小、および／または平均サイズから成る群から選択される定量的測度であり、および／または
・測度は定性的測度であり、定性的測度は、特に、へこみ欠陥、摩耗欠陥、接着不良欠陥、ひび割れ欠陥、滲出性欠陥、表面のふくれ欠陥、曇り欠陥、橋状欠陥、泡立ち欠陥、陰極分離欠陥、炸裂欠陥、はじき性欠陥、クモの巣状欠陥、深割れ欠陥、ひび割れ欠陥、鉄菱状欠陥、層間剥離欠陥、色あせ欠陥、薄片状欠陥、グリニング欠陥、熱欠陥、インパクト欠陥、被膜間汚染欠陥、亀甲割れ欠陥、蜜柑肌欠陥、剥離欠陥、ピンホール欠陥、波状被覆欠陥、ほつれ状欠陥、さび色の吹き出物状欠陥、さび色の斑点状欠陥、さび色のしみ状欠陥、たるみ欠陥、沈降欠陥、剥がれ欠陥、溶媒持ち上げ欠陥、溶媒吹き出し欠陥、応力割れ性欠陥、アンダーカッティング欠陥、しわ状欠陥から成る群から選択されるタイプの欠陥である。
４．前出の節のいずれか１つ記載の方法において、当該方法は、
・認識対象の少なくとも１つの被覆加工表面の欠陥タイプを決定する工程と、
・少なくとも１つの決定された欠陥タイプに関して、画像に示される被覆加工表面の特徴付けを欠陥識別プログラムが計算できるような、デジタル画像の収集を可能にする、１つ以上の照明角度および／または１つ以上の画像収集角度を自動的に決定する工程と、
・被覆加工表面に対して、決定された１つ以上の照明角度（１５０２）で、１つ以上の光源（１６０）を位置付けする工程と、
・被覆加工表面に対して、決定された１つ以上の画像収集角度（１５０４）で、１つ以上のカメラ、好ましくは１つのカメラ（１３４）を位置付けする工程と、
・光源（複数も可）、カメラ（複数も可）、および／または被覆加工表面を互いに相対的に位置付けした後、被覆加工表面のデジタル画像を収集するためのカメラ（複数も可）を使用する工程とを更に有している。
５．前出の節のいずれか１つ記載の方法において、デジタル画像の処理は、
・画像内の表面欠陥のタイプおよび／または量、画像内の１つ以上の表面欠陥タイプに基づく画像のセマンティックセグメンテーション、および／または画像内の欠陥インスタンスの物体検出、および／または画像のインスタンスセグメンテーションに関して、欠陥識別プログラムを通して、デジタル画像の分類を実行する工程であって、それによってデジタル画像全体、画像領域、および／または個々の画素に１つ以上のラベルを自動的に割り当てるものであり、各ラベルはデジタル画像内に識別された欠陥のタイプを示すものである工程と、
・１つ以上の割り当てられたラベルを出力する工程とを更に有するものである。
６．前出の節のいずれか１つ記載の方法において、
・欠陥識別プログラムは操作可能にカメラに接続されており、
・欠陥識別プログラムの予測モデルを生成するため、訓練画像を収集するのに使用されたのと類似の相対位置から画像を収集できるように適合された被覆加工表面に対して、所定の距離範囲および／または所定の画像収集角度範囲内にカメラが位置付けられているか否かを決定する工程と、
・決定結果に基づいて、
・カメラ位置の調整が必要であるか否かについて、ユーザおよび／またはカメラ用にフィードバック信号を生成する工程、および／または
・カメラおよび被覆加工表面の相対位置を自動的に調整する工程、および／または
・カメラが所定の距離および／または画像収集角度範囲内にある場合、カメラが画像を選択的に収集できるようにする工程とを実行するように構成されている。
７．前出の節のいずれか１つ記載の方法において、欠陥識別プログラムは、以下、すなわち、
・携帯データ処理システム（１３０）、特に携帯遠隔通信装置（例えば、スマートフォン）に設置されるアプリケーション、
・被覆加工表面の品質管理用に特別に設計された、携帯または定常装置（１５０）に設置されるアプリケーションプログラム、
・被覆物の自動または半自動製造および／または試験用の大量処理設備（２４４）に設置されるアプリケーションプログラム、
・ネットワークを通してダウンロードおよび／またはインスタンス生成されるウェブアプリケーション、
・ブラウザ（例えば、ＪａｖａＳｃｒｉｐｔプログラム）内で実行されるプログラム、および
・サーバーコンピュータによってインスタン生成されるサーバープログラムであって、前記サーバープログラムは、クライアントデータ処理システムにインスタンス生成されるクライアントプログラムに、ネットワーク接続を通して操作可能に接続されており、前記クライアントプログラムは、特に、前記デジタル画像を収集し、前記画像を前記ネットワークを通して前記サーバープログラムに提供し、および／または前記サーバープログラムによって提供される結果を表示するように構成されているサーバープログラムから成る群から選択されるものである。
８．前出の節のいずれか１つ記載の方法において、欠陥識別プログラムは、所定のパターンを認識するため、マシンラーニングプログラムによって実行される訓練工程において、訓練データ（６０２）から学習した予測モデル（Ｍ１）を有しており、その場合、マシンラーニングプログラムは特にニューラルネットワークである。
９．節８記載の方法において、マシンラーニングプログラムは、ニューラルネットワークまたは１組の領域提案ネットワークを有するものであり、領域提案ネットワークは、入力データのアンカーをスキャンし、そのアンカーが欠陥パターンの１つを含んでいるようであるか否かの提案をするように構成されており、その場合、アンカーは、欠陥パターンの予期されるサイズに一致するアンカーサイズを有する入力画像の亜領域である。
１０．節８～９記載のいずれかの方法において、当該方法は、訓練データ（６０２）で訓練工程を実行し、訓練データは、被覆加工表面に関する１組のラベル付きデジタル訓練画像（６０４、６０６）を有しており、ラベル（６１６、６１８）は訓練画像内の欠陥の場所／位置および／または欠陥のタイプを識別し、予測モデルは、バックプロパゲーションを使用し、ラベル付き訓練画像によって、パターンを認識するように訓練されている。
１１．節１０記載の方法において、訓練画像の各々は、訓練工程で処理される追加データ（６０８、６１０）が割り当てられており、予測モデル（Ｍ１）が追加データを欠陥パターンに関連付けられるようになっており、
・追加データは、訓練画像に示される１つ以上の欠陥の定量的測度、例えば、欠陥のサイズおよび／または深刻度または気泡の数と、
・任意に、以下のパラメータ、すなわち、
・訓練画像に示される被覆加工表面を生成するのに使用される１つ以上のコンポーネン トの指摘、
・被覆加工組成物の１つ以上のコンポーネントの絶対量または相対量の指摘、
・１つ以上の製造プロセスパラメータであって、被覆加工組成物を生成するプロセスを特徴付けるものであり、例えば、被覆加工組成物の混合速度および／または混合時間を有するものである製造プロセスパラメータ、
・１つ以上のアプリケーションプロセスパラメーターであって、被覆加工組成物を基板に適用するプロセスを特徴付けるものであり、特に、被覆加工表面の面積当たりに適用される被覆加工組成物の量、基板のタイプ、および／またはアプリケーション装置のタイプを有するものであるアプリケーションプロセスパラメーター、および／または
・訓練画像を収集するのに使用される画像システムのシステムパラメータであって、被覆加工表面を照明するのに使用される光源（複数も可）のタイプ、光源（複数も可）の明るさ、照明角度、前記光源（複数も可）の波長、被覆加工表面の前記デジタル画像を収集するのに使用される１つ以上のカメラのタイプ、画像収集角度（複数も可）、１つ以上のカメラの位置から成る群から選択されるシステムパラメータ、から成る群から選択されるパラメータとを有するものである。
更なる態様において、被覆加工組成物関連の予測プログラムを提供するための、コンピュータ実施方法および対応するシステムが、本明細書には開示されている。斯かる方法およびシステムは、以下の節に記されている工程および特徴を有する。
１２．被覆加工組成物関連の予測プログラムを提供するためのコンピュータ実施方法であって、当該方法は、
・各被覆加工表面を生成するのに使用される被覆加工組成物の１つ以上のコンポーネント、当該１つ以上のコンポーネントの相対量および／または絶対量、被覆加工組成物の製造プロセスパラメータ、および／または被覆加工表面を生成するのに使用されるアプリケーションプロセスパラメータから成る群から選択される１つ以上のパラメータと関連付けられた、被覆加工表面の定性的および／または定量的特徴付け集合体を有するデータベース（２０４、９０４）を提供する工程、
・１つ以上の被覆加工表面の定性的および／または定量的特徴付けを、各被覆加工表面の特徴と関連付けて記憶されている１つ以上のパラメータに関連付けるように学習した予測モデル（Ｍ２、Ｍ３）を提供するため、データベースに１つ以上のパラメータを有する被覆加工表面の特徴付けの集合体に関して、マシンラーニングモデルを訓練する工程、および
・予測モデル（Ｍ２）を有する組成物品質予測プログラムを提供する工程であって、組成物品質予測プログラムは、被覆加工表面を生成するのに使用される被覆加工組成物の１つ以上のコンポーネント、当該１つ以上のコンポーネントの相対量および／または絶対量、被覆加工組成物を調製するのに使用される製造プロセスパラメータ、および／または被覆加工表面を生成するのに使用されるアプリケーションプロセスパラメータから成る群から選択される１つ以上の入力パラメータから、製造対象の被覆加工表面の特性を予測するため、予測モデル（Ｍ２）を用いるように構成されている工程、および／または
・予測モデル（Ｍ３）を有する組成物明細予測プログラムを提供する工程であって、組成物明細予測プログラムは、入力された表面の特徴付けを有する被覆加工表面の生成が予測される被覆加工組成物に関する１つ以上の出力パラメータを、少なくとも望ましい被覆加工表面の特徴付けを特定する入力に基づいて予測し出力するのに、予測モデル（Ｍ３）を使用するように構成されており、１つ以上の出力パラメータは、当該被覆加工組成物の１つ以上のコンポーネント、当該１つ以上のコンポーネントの相対量および／または絶対量、被覆加工組成物を調製するのに使用される製造プロセスパラメータ、および／または被覆加工表面を生成するのに使用されるアプリケーションプロセスパラメータから成る群から選択されるものであり、組成物明細予測プログラムは、任意に、不完全な被覆加工組成物明細を受信し、予測出力パラメータの解空間を制限するのに当該明細を使用するように構成されている工程を有するものである。
１３．節１２記載の方法において、当該方法は、
・複数の異なる被覆加工組成物から成る被覆加工表面を示す複数の画像を提供する工程であって、被覆加工表面の少なくともいくつかは、各々、１つ以上の異なる欠陥タイプの１つ以上の被覆加工欠陥を有する工程と、
・ 画像のパターンを認識するため、画像の識別パターンによって示される被覆加工欠陥の測度を取得するため、および画像に示される被覆加工表面の定性的および／または定量的特徴付けを計算するために、画像に欠陥識別プログラムを適用する工程であって、欠陥識別プログラムは、節１～１１のいずれか１つで特定された欠陥識別プログラムであるのが好ましい工程と、
・斯かる欠陥を有する被覆加工表面を作成するため、使用される被覆加工組成物に関する１つ以上のパラメータに関連付けられた、被覆加工表面の定性的および／または定量的特徴付けを、データベースに記憶させる工程とを有するものである。
１４．前出の節１２～１３のいずれか１つ記載の方法において、望ましい被覆加工表面の特徴付けを満たす被覆加工組成物明細を予測するため、組成物明細予測プログラムを使用する工程を更に有し、当該使用工程は、
・組成物明細予測プログラムへの入力として、少なくとも望ましい被覆加工表面の特徴付けの明細を提供する工程と、
・望ましい被覆加工表面の特徴付けを有する被覆加工表面を提供するように適合された被覆加工組成物の明細を、組成物明細予測プログラムによって提供する工程であって、当該明細は、１つ以上の被覆加工組成物コンポーネント、１つ以上の被覆加工組成物コンポーネントの絶対量および／または相対量、製造プロセスパラメータ、および／またはアプリケーションプロセスパラメータから成る群から選択されるものである工程と、
・好ましくは、更に、被覆加工組成物を製造および／または試験するため、被覆加工組成物被覆加工組成物の予測明細を人間へ出力する工程、および／または選択された候補被覆加工組成物の明細を、設備（２４４）を制御するプロセッサへ入力する工程を更に有する工程であって、プロセッサは入力された被覆加工組成物を製造する設備を駆動するものである工程とを有するものである。
１５．前出の節１２～１４のいずれか１つ記載の方法において、訓練プロセスはアクティブラーニングモジュールを有するものであり、当該方法は、
ａ．予測モデル（Ｍ２、Ｍ３）を提供するため、データベース内の測度および被覆加工コンポーネントの集合体に関して、マシンラーニングモデル、好ましくはニューラルネットワークの訓練を実行する工程であって、損失関数は訓練用に最小化される工程と、
ｂ.予測モデル用に取得された損失関数の値が、特定された基準を満たすか否かを決定するため、試験が実行される工程であって、
その結果、選択的に、基準が満たされない場合（すなわち、そういう場合にのみ）、以下の工程ｉ～ｖ、すなわち、
ｉ．アクティブラーニングモジュールによって、複数の候補被覆加工組成物明細から候補被覆加工組成物明細（１００２）を選択する工程であって、選択された候補組成物明細は、定性的および／または定量的な被覆加工表面の特徴付けと、被覆加工組成物の被覆加工コンポーネント、コンポーネント量、製造プロセスパラメータ、および／またはアプリケーションプロセスパラメータから成る群から選択される１つ以上のパラメータとの間の相関関係に関して、予測モデル（Ｍ２、Ｍ３）の最高学習効果を提供すると決定された候補組成物の１つを特定する工程、
ｉｉ．選択された明細に従って、候補被覆加工組成物を自動的に製造するため、製造された候補組成物を基板に自動的に適用するため、および適用された被覆加工組成物を有する表面の画像を自動的に収集するため、設備をコンピュータシステムによって駆動する工程、
ｉｉｉ．当該画像に示される被覆加工表面の定性的および／または定量的特徴付けを計算し、それをデータベースに記憶させ、それにより当該データベースを拡張するため、工程ｉｉで収集された画像に欠陥識別プログラムを適用する工程、
ｉｖ．予測モデルの改善バージョンを提供するため、拡張データベースで予測モデル（Ｍ２、Ｍ３）を再訓練する工程、および
ｖ.予測モデルの改善バージョンを用いて、工程ｂを反復実行する工程が実行される工程と、
ｃ.組成物品質予測プログラムの予測モデル（Ｍ２）を予測モデルの改善バージョンで置き換える工程、および／または組成物明細予測プログラムの予測モデル（Ｍ３）を予測モデルの改善バージョンで置き換える工程とを更に有するものである。
１６．前出の節１２～１４のいずれか１つ記載の方法において、訓練プロセスはアクティブラーニングモジュールを含んでおり、当該方法は、
・被覆加工組成物によって生成される表面被覆加工の品質に関して複数の予測を実行するため、組成物品質予測プログラムの予測モデル（Ｍ２）を双方向的に調査するのに、アクティブラーニングモジュールを使用する工程であって、各予測は、被覆加工組成物の１つ以上のコンポーネントを有する候補組成物の明細、当該１つ以上のコンポーネントの相対量および／または絶対量、および／または被覆加工組成物を調製するのに使用される製造プロセスパラメータ、および／または被覆加工表面を生成するのに使用されるアプリケーションプロセスパラメータに基づくものである工程と、
・各予測の不確実性の度合いをアクティブラーニングモジュール（例えば、最小限界超平面法、損失関数など）によって決定する工程と、
・不確実性の度合いが所定の不確実性の閾値を超える予測結果を提供する、１つ以上の候補組成物明細を識別する工程と、
・識別された候補被覆加工明細に従って、候補被覆加工組成物（しかし、他の候補被覆加工組成物、すなわち予測が十分な度合いの確実性を有する、すなわち不確実性のレベルが閾値未満の組成物は該当しない）を選択的に生成し、それにより新しい被覆加工組成物を自動的に生成する工程と、
・新しい被覆加工表面を取得するため、新しい被覆加工組成物を適用する工程と、
・新しい被覆加工表面を収集する工程と、
・新しい被覆加工表面の欠陥を識別および／または特徴付けるための画像分析を、収集された画像に関して実行する工程と、
・組成物品質予測プログラムの正確度を改善するため、組成物品質予測プログラムを再訓練し、それにより識別された候補被覆加工の明細および各取得された表面被覆物の欠点の特徴を考慮に入れる工程とを更に有するものである。
例えば、新しい被覆加工組成物の生成、任意に被覆加工表面の生成、および任意に画像収集および分析は、コンピュータシステムが設備（２４４）を駆動し、それによって、設備が、識別された候補被覆加工明細に基づく候補被覆加工組成物（しかし、他の候補被覆加工組成物、すなわち予測が十分な度合いの確実性を有する、すなわち不確実性のレベルが閾値未満の組成物は該当しない）を自動的に生成することにより達成できる。当該設備は、生成された候補被覆加工組成物（複数も可）を自動的に各基板に適用する。設備は、画像収集システムを有していてもよいし、それに操作可能に接続されていてもよい。画像収集システムは、適用された被覆加工組成物を有する表面の画像を収集するのに使用される。画像収集システムは、本発明の実施形態に関して本明細書に記載されているように、生成／適用され、識別された、候補被覆加工組成物の表面被覆物の収集画像に、欠陥識別プログラムを適用してもよい。その結果、各画像に示される新しい候補被覆加工表面の定性的または定量的特性が取得される。斯かる特性は、予測モデル（Ｍ２）を再訓練および改善するのに使用できる。極めて高いレベルの不確実性を有する予測結果は、候補被覆加工組成物の明細が予測モデルにほとんど馴染みのない被覆加工組成物を示しており、従って、予測モデルは、斯かる候補被覆加工組成物に関して得られる、実際の、実証的な、従って信頼できるデータを達成できることを示していると、アクティブラーニングモジュールによって解釈される。組成物明細予測プログラムの予測モデル（Ｍ３）は、アクティブラーニングモジュールを用いて同様に改善できる。唯一の違いは、組成物明細予測プログラムの予測モデル（Ｍ３）の入力が組成物品質予測プログラムの予測モデル（Ｍ２）に対応することであり（逆もまた同じ）、従って、２つのモデルは、異なる候補入力データに基づいて挑戦される。モデル（Ｍ３）の場合、候補入力データは、被覆加工組成物の望ましい物理的または化学的特性の明細、特に斯かる被覆加工組成物から生成される表面被覆物の定性的および／または定量的特性の明細である。他の工程および態様は同一である。
１７．システムであって、当該システムは、
・塗料、ワニス、印刷インキ、研削用樹脂、色素濃縮物、または他のコーティング剤の組成物を製造および試験する設備（２４４）であって、設備は少なくとも２つのワークステーションを有しており、少なくとも２つのワークステーションは、自動推進式の運搬手段が、組成物のコンポーネントおよび／またはワークステーション間で製造される組成物のコンポーネントを運搬するのに作動可能な運搬システムを通して、相互に接続されている設備と、
・節１～１６のいずれか１つ記載の方法を実行するように構成されたコンピュータシステム（２２４）とを有するものである。
上述の節に関して本明細書で記載される方法およびシステムの特徴は、相互に排除し合うものでない限り、本発明の実施形態および例と自由に組み合わせることができる。
１０２～１１８：工程
１２０：データ処理システム
１２２：データ記憶媒体
１２４：欠陥識別プログラム
１２５：デジタル画像
１２６：プロセッサ（複数も可）
１３０：携帯遠隔通信装置（スマートフォン）
１３２：欠陥識別プログラムのＧＵＩ（グラフィカルユーザインターフェース）
１３４：カメラ
１３６：欠陥識別プログラムのＧＵＩ（ＧＵＩ）
１４０：ブラウザ
１４２：ネットワーク接続
１４４：サーバーコンピュータ（サーバー）
１５０：被覆加工品質管理装置（データ処理システム）
１５２：制御パネル（インターフェース）
１５４：キャリヤー／運搬ベルト（コンベヤーベルト）
１５６：ロボットアーム
１５８：ロボットアーム
１６０：光源
１６２～１６８：被覆加工された標本
１７０：コンピュータシステム
２０４：データベース
２４４：被覆加工組成物を製造および／または試験する設備（設備）
２４６：主制御コンピュータ
２４８：制御ユニット
２５２：画像収集ユニット
２５４：標本被覆加工ユニット
２５６：混合ユニット
２５７：分析器
２５８：運搬ユニット
４００：ニューラルネットワーク
４０２：入力データ（ベクトル）
４０４：ニューラルネットワークの層（ニューロン）
４０６：予測モデルの出力（出力ベクトル）
６０２：予測モデルＭ１の訓練データ（訓練データ）
６０４，６０６：予測モデルＭ１の訓練画像（デジタル画像）
６０８，６１０：コンテキストパラメータ付きラベル（追加データ）
６１２：予測モデルＭ１
６１４：欠陥識別プログラムのＧＵＩ（ＧＵＩ）
６１６，６１８：欠陥測定および品質特徴付けを有するマニュアルラベル（ラベル）
６２０：データベース（画像収集システム）
６２４，６２６：予測モデルＭ１用の試験画像（試験画像）
６２８，６３０：コンテキストパラメータ付きラベル（追加データ）
６３２，６３４：特徴付け（欠陥測定および品質特徴付けを有する算出ラベル）
７１４：組成物品質予測プログラム
９２２：アクティブラーニングモジュール
７２８，７３０：コンテキストパラメータ（プロセスパラメータ）
７２９，７３１：算出流動特性（特性値）
７３２，７３４：算出被覆加工品質（特性）
８０２～８１６：工程
９００：システム
９０４：データベース
９０６：既知の組成物
９０８：候補組成物
９４４：設備
１０００：超空間のプロット（データ空間）
１００２～１００９：データポイント
１０１６：分離線
１０１８：好ましい被覆加工品質の領域
１０２０：好ましくない被覆加工品質領域（好ましくない被覆加工品質範囲）
１２０２：被覆加工表面のデジタル画像
１２０４，１２０６：大きい欠陥（穴）
１２０８：ごみ（アーチファクト）
１２１２：手動添付ラベル（円）
１３０２：被覆加工表面のデジタル画像
１３０６，１３０８：泡空洞（欠陥）
１３０４：計算で識別された空洞欠陥の自動生成ラベル／セグメント境界（ラベル）
１４０２：気泡欠陥の定量測定（ヒストグラム）
１５０２：照明角度
１５０４：画像収集角度

Claims (16)

  1. 被覆加工表面の定性的および／または定量的特徴付けのための方法であって、
    ・被覆加工表面の欠陥タイプを認識するように構成された欠陥識別プログラムを提供する工程であって、前記欠陥識別プログラムは、所定の距離範囲内および／または訓練画像に示される被覆加工表面に対する所定の画像収集角度内で収集される前記訓練画像で訓練された予測モデルを有する工程と、
    ・前記欠陥識別プログラムに操作可能に接続されている少なくとも１つのカメラが、前記所定の距離範囲内および／または現在提供されている被覆加工表面に対して前記所定の画像収集角度範囲内に位置付けられているか否かを、前記欠陥識別プログラムによって決定する工程であって、
    前記決定の結果に依存して、
    ・前記カメラが、前記所定の距離範囲内および／または前記所定の画像収集角度範囲内にあるように、前記少なくとも１つのカメラの位置を調整する必要があるか否かに関するフィードバック信号を生成する工程、および／または
    ・前記カメラの位置が前記被覆加工表面の所定位置範囲内にあるように、前記少なくとも１つのカメラと前記被覆加工表面との間の相対距離を自動的に調整する工程、および／または前記カメラの位置が前記所定の画像収集角度範囲内にあるように、前記少なくとも１つのカメラの角度を自動的に調整する工程とを有するものである工程と、
    ・前記カメラが前記所定の距離範囲および／または画像収集角度範囲内にある場合にのみ、前記提供された被覆加工表面のデジタル画像を前記カメラが収集できるようにする工程と、
    ・被覆加工表面欠陥を識別するため、前記欠陥識別プログラムによって、前記被覆加工表面のデジタル画像を処理する工程と、
    ・前記欠陥識別プログラムによって前記被覆加工表面の特徴付けを出力する工程であって、前記特徴付けは、前記識別された被覆加工表面欠陥の関数として計算されるものである工程とを有するものである
    方法。
  2. 請求項１に記載の方法において、前記認識された欠陥の測度を前記欠陥識別プログラムによって計算する工程であって、前記被覆加工表面の特徴付けは、前記測度の定性的および／または定量的特徴付けの関数として計算されるものである方法。
  3. 請求項２に記載の方法において、
    ・前記測度は、前記欠陥の面積、前記デジタル画像に観察される気泡または窪み、前記デジタル画像における前記気泡または窪みの最大、最小、および／または平均サイズから成る群から選択される定量的測度であり、および／または
    ・前記測度は定性的測度であり、前記定性的測度は、特に、へこみ欠陥、摩耗欠陥、接着不良欠陥、ひび割れ欠陥、滲出性欠陥、表面のふくれ欠陥、曇り欠陥、橋状欠陥、泡立ち欠陥、陰極分離欠陥、炸裂欠陥、はじき性欠陥、クモの巣状欠陥、深割れ欠陥、ひび割れ欠陥、鉄菱状欠陥、層間剥離欠陥、色あせ欠陥、薄片状欠陥、グリニング欠陥、熱欠陥、インパクト欠陥、被覆間汚染欠陥、亀甲割れ欠陥、蜜柑肌欠陥、剥離欠陥、ピンホール欠陥、波状被覆欠陥、ほつれ状欠陥、さび色の吹き出物状欠陥、さび色の斑点状欠陥、さび色のしみ状欠陥、たるみ欠陥、沈降欠陥、剥がれ欠陥、溶媒持ち上げ欠陥、溶媒吹き出し欠陥、応力割れ性欠陥、アンダーカッティング欠陥、しわ状欠陥から成る群から選択されるタイプの欠陥である方法。
  4. 請求項１～３のいずれか一項に記載の方法において、前記所定の距離範囲は、少なくとも所定の最低解像度を有する画像を前記カメラが収集できるようにする、提供された被覆加工表面と前記少なくとも１つのカメラとの間の距離範囲であり、前記所定の最低解像度は特に被覆加工欠陥タイプ特有の最低解像度である方法。
  5. 請求項１～４のいずれか一項に記載の方法において、
    ・１つ以上の被覆加工表面欠陥タイプの各々が、少なくとも１つのカメラと被覆加工表面との間の所定距離に関連付けて記憶されている、および／または１つ以上の所定の画像収集角度に関連付けて記憶されているデータ記憶媒体を提供する工程であって、特定の欠陥タイプに関連付けて記憶された前記所定の画像収集角度および／または距離は、前記欠陥識別プログラムが、被覆加工表面のデジタル画像において前記欠陥タイプを識別できるような、被覆加工表面のデジタル画像の収集を可能にする角度および／または距離である工程と、
    ・識別対象の少なくとも１つの被覆加工表面欠陥タイプを決定する工程と、
    前記少なくとも１つの、決定された、識別対象の被覆加工表面欠陥タイプの各々に関して、
    ・前記決定された欠陥タイプに関連付けて記憶されている、前記所定の距離範囲のうちの１つおよび／または前記１つ以上の所定の画像収集角度のうちの１つを自動的に識別する工程と、
    ・前記カメラが前記所定の距離範囲または画像収集角度範囲内に位置付けられているか否かを決定するため、前記欠陥識別プログラムを通して、前記識別された所定の距離範囲および／または前記識別された所定の画像収集角度範囲を使用する工程とを更に有するものである方法。
  6. 請求項５に記載の方法において、
    ・前記少なくとも１つのカメラと前記被覆加工表面との間の相対距離の自動調整は、前記少なくとも１つのカメラおよび前記被覆加工表面が前記所定の距離範囲内に位置するように、前記少なくとも１つのカメラの位置を自動調節することにより、および／または前記被覆加工表面を有する標本のキャリヤーの位置を自動調節することにより実施されるものである方法、および／または
    ・前記被覆加工表面に対する前記画像収集角度範囲の前記自動調整は、前記少なくとも１つのカメラが、前記所定の画像収集角度範囲内にある画像収集角度において前記被覆加工表面方向に位置付けられるように、カメラの方向を自動調節する工程を有するものである方法。
  7. 請求項５または６に記載の方法において、
    ・前記１つ以上の被覆加工表面欠陥タイプの少なくとも１つが所定の照明角度の範囲に関連付けて記憶されており、特定の欠陥タイプに関連付けて記憶された前記所定の画像照明角度の範囲は、前記欠陥識別プログラムが、被覆加工表面のデジタル画像において前記欠陥タイプを識別できるような、被覆加工表面のデジタル画像の収集を可能にする、被覆加工表面に対する光源の照明角度の範囲であり、
    前記少なくとも１つの、決定された、識別対象の被覆加工表面欠陥タイプの各々に関して、
    ・前記決定された欠陥タイプに関連付けて記憶されている前記所定の照明角度の範囲のうちの１つを自動識別する工程と、
    ・前記照明角度が前記識別された所定の照明角度の範囲内に位置するように、１つ以上の光源が前記被覆加工表面に対して位置付けられているか否かを決定するため、前記欠陥識別プログラムを通して、前記識別された所定の照明角度の範囲を使用する工程と、
    ・前記１つ以上の光源の照明角度が前記識別された所定の照明角度範囲の外にある場合、
    ・前記照明角度が前記識別された所定の照明角度の範囲内に位置するように、前記１つ以上の光源および前記被覆加工表面を相対的に位置付ける工程、および／または
    ・前記照明角度が前記識別された所定の照明角度の範囲内に位置するように、前記１つ以上の光源および前記被覆加工表面の相対的位置付けの調整が適合可能であることを示すフィードバック信号、および／または如何に適合可能であるかを示すフィードバック信号を生成する工程を有するものである方法。
  8. 請求項５～７のいずれか一項に記載の方法において、前記被覆加工表面、前記少なくとも１つのカメラ、および／または前記１つ以上の光源を相互に相対的に位置付けた後、前記被覆加工表面のデジタル画像を収集するため、前記少なくとも１つのカメラを使用する工程を更に有するものである方法。
  9. 請求項１～８のいずれか一項記載の方法において、前記デジタル画像の処理は、
    ・前記デジタル画像内の表面欠陥のタイプおよび／または量、および／または画像内の１つ以上の表面欠陥タイプに基づく前記デジタル画像のセマンティックセグメンテーション、および／または前記デジタル画像内の欠陥インスタンスの物体検出、および／または前記デジタル画像のインスタンスセグメンテーションに関して、欠陥識別プログラムを通して、デジタル画像の分類を実行する工程であって、それによってデジタル画像全体、画像領域、および／または個々の画素に１つ以上のラベルを自動的に割り当てるものであり、各ラベルは前記デジタル画像内に識別された欠陥のタイプを示すものである工程と
    ・前記１つ以上の割り当てられたラベルを出力する工程とを更に有するものである方法。
  10. 請求項１～９のいずれか一項に記載の方法において、前記欠陥識別プログラムは、以下、すなわち、
    ・定常または携帯データ処理システム、特に携帯遠隔通信装置に設置されるアプリケーションプログラム、
    ・被覆加工表面の品質管理用に特別に設計された、携帯または定常装置に設置されるアプリケーションプログラム、
    ・被覆物の自動または半自動製造および／または試験用の大量処理設備に設置されるアプリケーションプログラム、
    ・ネットワークを通してダウンロードおよび／またはインスタンス生成されるウェブアプリケーション、
    ・ブラウザ（例えば、ＪａｖａＳｃｒｉｐｔプログラム）内で実行されるプログラム、および
    ・サーバーコンピュータによってインスタン生成されるサーバープログラムであって、前記サーバープログラムは、クライアントデータ処理システムにインスタンス生成されるクライアントプログラムに、ネットワーク接続を通して操作可能に接続されており、前記クライアントプログラムは、特に、前記デジタル画像を収集し、前記デジタル画像を前記ネットワーク接続を通して前記サーバープログラムに提供し、および／または前記サーバープログラムによって提供される結果を表示するように構成されているサーバープログラムから成る群から選択されるものである方法。
  11. 請求項１～１０のいずれか一項に記載の方法において、前記予測モデルは、デジタル画像のパターンを認識するように構成されたマシンラーニングプログラムによって実行される訓練工程において、前記訓練画像を有する訓練データから学習されたものであり、前記マシンラーニングプログラムは特にニューラルネットワークである方法。
  12. 請求項１～１１のいずれか一項に記載の方法において、前記訓練画像を有する訓練データで訓練工程を実行することにより前記予測モデルを生成する工程であって、前記訓練データはラベルを有しており、前記ラベルは前記訓練画像に示される前記被覆加工表面の欠陥の場所／位置および／またはタイプを識別し、前記予測モデルは、バックプロパゲーションを使用し、ラベルの付された前記訓練画像によって、前記欠陥タイプを認識するように訓練されている工程を更に有するものである方法。
  13. 請求項１２に記載の方法において、前記訓練画像の各々は、前記訓練工程で処理される追加データが割り当てられており、前記予測モデルが前記追加データを前記欠陥タイプに関連付けられるようになっており、
    ・前記追加データは、前記訓練画像に示される１つ以上の欠陥の定量的測度、例えば、前記欠陥のサイズおよび／または深刻度または気泡の数と、
    ・任意に、以下のパラメータ、すなわち、
    ・前記訓練画像に示される前記被覆加工表面を生成するのに使用される１つ以上のコンポーネントの指摘、
    ・被覆加工組成物の１つ以上のコンポーネントの絶対量または相対量の指摘、
    ・１つ以上の製造プロセスパラメータであって、被覆加工組成物を生成するプロセスを特徴付けるものであり、例えば、前記被覆加工組成物の混合速度および／または混合時間を有するものである製造プロセスパラメータ、
    ・１つ以上のアプリケーションプロセスパラメーターであって、被覆加工組成物を基板に適用するプロセスを特徴付けるものであり、特に、前記被覆加工表面の面積当たりに適用される被覆加工組成物の量、基板のタイプ、および／またはアプリケーション装置のタイプを有するものであるアプリケーションプロセスパラメーター、および／または
    ・前記訓練画像を収集するのに使用される画像システムのシステムパラメータであって、前記被覆加工表面を照明するのに使用される光源（複数も可）のタイプ、光源（複数も可）の明るさ、照明角度、前記光源（複数も可）の波長、前記被覆加工表面のデジタル画像を収集するのに使用される１つ以上のカメラのタイプ、画像収集角度（複数も可）、１つ以上のカメラの位置から成る群から選択されるシステムパラメータ、から成る群から選択されるパラメータとを有するものである方法。
  14. 請求項１３に記載の方法において、前記システムパラメータは、少なくとも、前記照明角度、前記少なくとも１つのカメラの画像収集角度、および／または前記少なくとも１つのカメラと前記被覆加工表面との間の相対距離を有するものである方法。
  15. 被覆加工表面の定性的および／または定量的特徴付けのためのコンピュータシステムであって、
    ・欠陥識別プログラムを有しており、前記欠陥識別プログラムは、少なくとも１つのカメラに操作可能に連結され、被覆加工表面の欠陥タイプを認識するように構成されており、所定の距離範囲内および／または訓練画像に示される被覆加工表面に対する所定の画像収集角度内で収集される前記訓練画像で訓練された予測モデルを有しており、
    前記欠陥識別プログラムは、以下の工程、すなわち、
    ・前記少なくとも１つのカメラが、前記所定の距離範囲内および／または現在提供されている被覆加工表面に対して前記所定の画像収集角度範囲内に位置付けられているか否かを決定する工程と、
    前記決定の結果に依存して、
    ・前記カメラが、前記所定の距離範囲内および／または前記所定の画像収集角度範囲内にあるように、前記少なくとも１つのカメラの位置を調整する必要があるか否かに関するフィードバック信号を生成する工程、および／または
    ・前記カメラの位置が前記被覆加工表面の所定位置範囲内にあるように、前記少なくとも１つのカメラと前記被覆加工表面との間の相対距離を自動的に調整する工程、および／または前記カメラの位置が前記所定の画像収集角度範囲内にあるように、前記少なくとも１つのカメラの角度を自動的に調整する工程とを有するものである工程と、
    ・前記カメラが前記所定の距離範囲および／または画像収集角度範囲内にある場合にのみ、提供された前記被覆加工表面のデジタル画像を前記カメラが収集できるようにする工程と、
    ・前記１つ以上の欠陥タイプを認識するため、実行可能となった少なくとも１つの前記カメラから収集された前記デジタル画像を処理する工程と、
    ・前記被覆加工表面の特徴付けを出力する工程であって、前記特徴付けは、前記処理中に前記欠陥識別プログラムによって認識された被覆加工表面欠陥の関数として計算されるものである工程とを実行するように構成されている
    コンピュータシステム。
  16. システムであって、
    ・請求項１５に記載のコンピュータシステムと、
    ・少なくとも１つのカメラと、
    ・塗料、ワニス、印刷インキ、研削用樹脂、色素濃縮物、または他のコーティング剤の被覆加工組成物を試験するための設備であって、
    ・複数の物体の少なくとも１つの表面に１つ以上の被覆加工組成物を適用するように構成された少なくとも１つのワークステーション、および
    ・被覆加工された前記複数の物体を前記デジタル画像の収集／分析システムへ運搬するための自動運搬システムを有する設備とを有しており、
    前記システムは、前記複数の物体の被覆加工表面の画像を自動的に収集し、前記被覆加工表面の特徴付けを出力するため、前記デジタル画像の収集／分析システムを使用するように構成されているものである
    システム。
JP2021149876A 2020-09-17 2021-09-15 被覆加工表面の定性的または定量的特徴付け Pending JP2022050347A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20196660.3A EP3971556A1 (en) 2020-09-17 2020-09-17 Qualitative or quantitative characterization of a coating surface
EP20196660 2020-09-17

Publications (1)

Publication Number Publication Date
JP2022050347A true JP2022050347A (ja) 2022-03-30

Family

ID=72603312

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021149879A Pending JP2022050348A (ja) 2020-09-17 2021-09-15 被覆加工表面の定性的または定量的特徴付け
JP2021149876A Pending JP2022050347A (ja) 2020-09-17 2021-09-15 被覆加工表面の定性的または定量的特徴付け

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021149879A Pending JP2022050348A (ja) 2020-09-17 2021-09-15 被覆加工表面の定性的または定量的特徴付け

Country Status (5)

Country Link
US (2) US20220082508A1 (ja)
EP (3) EP3971556A1 (ja)
JP (2) JP2022050348A (ja)
KR (2) KR20220037392A (ja)
CN (2) CN114283112A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024142946A1 (ja) * 2022-12-27 2024-07-04 株式会社レゾナック 評価システム、評価方法、および評価プログラム
WO2024143401A1 (ja) * 2022-12-27 2024-07-04 株式会社レゾナック 画像解析システム、画像解析方法、および画像解析プログラム

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015089659A1 (en) * 2013-12-16 2015-06-25 Inbubbles Inc. Space time region based communications
US11493453B2 (en) * 2019-06-28 2022-11-08 Kyocera Document Solutions Inc. Belt inspection system, belt inspection method, and recording medium for belt inspection program
EP4015583A1 (de) 2020-12-15 2022-06-22 Evonik Operations GmbH Verwendung von rhamnolipiden und/oder sophorolipiden zur erhöhung der ergiebigkeit und/oder zur erhaltung der applikationseigenschaften bei lagerung von beschichtungszusammensetzungen
US20220189005A1 (en) * 2020-12-16 2022-06-16 Baker Hughes Holdings Llc Automatic inspection using artificial intelligence models
TW202316535A (zh) * 2021-04-05 2023-04-16 美商科磊股份有限公司 基於半導體應用之語義圖像分割
CN116547713A (zh) * 2021-12-03 2023-08-04 宁德时代新能源科技股份有限公司 一种用于缺陷检测的方法和***
EP4249899A1 (en) * 2022-03-22 2023-09-27 Evonik Operations GmbH Method for inspecting a coated surface for coating defects
EP4257326A1 (en) * 2022-04-08 2023-10-11 Evonik Operations GmbH Optical determination of a control signal in response to detection of macroscopic polyurethane foam defects
CN114539586B (zh) * 2022-04-27 2022-07-19 河南银金达新材料股份有限公司 一种聚合物膜的表面处理生产和检测工艺
CN114535033B (zh) * 2022-04-27 2022-07-19 河南银金达新材料股份有限公司 一种表面具有涂层的聚酯膜加工方法
CN114897816B (zh) * 2022-05-09 2024-06-14 安徽工业大学 基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法
WO2024015832A1 (en) * 2022-07-15 2024-01-18 Ppg Industries Ohio, Inc. Systems, methods, and interfaces for predicting coating weathering
WO2024051905A1 (en) * 2022-09-06 2024-03-14 Frontier Innovation Aps Characterizing a surface comprising a cured coat
CN115239725B (zh) * 2022-09-22 2022-12-02 张家港大裕橡胶制品有限公司 一种橡胶手套胶浸涂层视觉监测方法及***
CN116630242B (zh) * 2023-04-28 2024-01-12 广东励图空间信息技术有限公司 一种基于实例分割的管道缺陷评估方法及装置
US11907841B1 (en) * 2023-05-01 2024-02-20 Ian Truitner Machine learning based consumer product identification system and method therefor
CN116229126B (zh) * 2023-05-09 2023-07-25 日照皓诚电子科技有限公司 一种石英晶体镀膜智能检测方法、***、设备及介质
CN116309564B (zh) * 2023-05-17 2023-08-11 厦门微图软件科技有限公司 基于人工智能图像识别的电芯外观缺陷检测方法及***
CN116660099B (zh) * 2023-07-24 2023-10-31 绵阳新启科技有限公司 一种水性涂料流动性检测***及方法
KR102640549B1 (ko) * 2023-08-17 2024-02-27 (주)쎄미콤 3d스캐너를 이용한 프로파일 온도센서의 불량검사방법
CN116973373B (zh) * 2023-09-25 2023-12-08 昆山泰瑞克智能科技有限公司 一种电极涂层的检测方法及***
CN117198443B (zh) * 2023-11-08 2024-01-26 烟台核电智能技术研究院有限公司 一种连结层强化钛合金耐磨涂层的生产工艺
CN117517325B (zh) * 2024-01-04 2024-04-02 江苏海德曼新材料股份有限公司 一种基于机器视觉的铝单板喷涂质量检测分析***

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6462813B1 (en) * 1996-04-12 2002-10-08 Perceptron, Inc. Surface defect inspection system and method
JP2007093340A (ja) * 2005-09-28 2007-04-12 Toyota Motor Corp 塗装検査装置及び塗装検査方法
EP2602763B1 (en) * 2011-12-09 2014-01-22 C.R.F. Società Consortile per Azioni Method for monitoring the quality of the primer layer applied on a motor-vehicle body before painting
FI20155171A (fi) * 2015-03-13 2016-09-14 Conexbird Oy Kontin tarkastusjärjestely, -menetelmä, -laitteisto ja -ohjelmisto
US20170069075A1 (en) * 2015-09-04 2017-03-09 Canon Kabushiki Kaisha Classifier generation apparatus, defective/non-defective determination method, and program
US20170148101A1 (en) * 2015-11-23 2017-05-25 CSI Holdings I LLC Damage assessment and repair based on objective surface data
US20180017501A1 (en) * 2016-07-13 2018-01-18 Sightline Innovation Inc. System and method for surface inspection
BR102016028266A2 (pt) * 2016-12-01 2018-06-19 Autaza Tecnologia Ltda - Epp Método e sistema para a inspeção automática de qualidade de materiais
EP3586287A2 (en) * 2017-02-24 2020-01-01 Newell R. Washburn Designing a formulation of a material with complex data processing
WO2019026714A1 (ja) * 2017-08-04 2019-02-07 ソニー株式会社 情報処理装置、および情報処理方法、プログラム、並びに移動体
US20190080446A1 (en) * 2017-09-11 2019-03-14 All Axis Robotics, LLC System and method for automated defect detection
KR102021944B1 (ko) * 2017-09-20 2019-09-17 주식회사 에이치엔에스휴먼시스템 제철소 철강제품 품질관리를 위한 지능형 결함 제어 방법 및 시스템
WO2019171498A1 (ja) * 2018-03-07 2019-09-12 日立化成株式会社 塗布制御システム、塗布制御方法、および塗布制御プログラム
JP6996413B2 (ja) * 2018-04-27 2022-01-17 トヨタ自動車株式会社 解析装置および解析プログラム
US20200166909A1 (en) * 2018-11-20 2020-05-28 Relativity Space, Inc. Real-time adaptive control of manufacturing processes using machine learning
US10726543B2 (en) * 2018-11-27 2020-07-28 General Electric Company Fluorescent penetrant inspection system and method
US11915105B2 (en) * 2019-02-05 2024-02-27 Imagars Llc Machine learning to accelerate alloy design
ES2974917T3 (es) * 2019-02-05 2024-07-02 Ppg Ind Ohio Inc Transportador basado en luz y su uso para la detección del color asociado con recubrimientos físicos
MX2022003020A (es) * 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
CN111444617A (zh) * 2020-03-27 2020-07-24 贵州中医药大学第一附属医院 涂层质量在线预测方法、***以及计算机可读存储介质
WO2022029675A1 (en) * 2020-08-06 2022-02-10 Smartex Unipessoal Lda. Systems and methods for defect detection and quality control

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024142946A1 (ja) * 2022-12-27 2024-07-04 株式会社レゾナック 評価システム、評価方法、および評価プログラム
WO2024143401A1 (ja) * 2022-12-27 2024-07-04 株式会社レゾナック 画像解析システム、画像解析方法、および画像解析プログラム

Also Published As

Publication number Publication date
US20220084181A1 (en) 2022-03-17
US20220082508A1 (en) 2022-03-17
CN114283111A (zh) 2022-04-05
EP3971557A1 (en) 2022-03-23
CN114283112A (zh) 2022-04-05
KR20220037395A (ko) 2022-03-24
KR20220037392A (ko) 2022-03-24
EP3971904A1 (en) 2022-03-23
JP2022050348A (ja) 2022-03-30
EP3971556A1 (en) 2022-03-23

Similar Documents

Publication Publication Date Title
JP2022050347A (ja) 被覆加工表面の定性的または定量的特徴付け
US12032469B2 (en) Explainable artificial intelligence modeling and simulation system and method
Tušar et al. A study of overfitting in optimization of a manufacturing quality control procedure
CN108074243B (zh) 一种细胞定位方法以及细胞分割方法
CN106462746A (zh) 分析数字全息显微术数据以用于血液学应用
CN106447688A (zh) 一种高光谱溢油图像的有效分割方法
JP7517655B2 (ja) 塗料、ワニス、印刷インキ、研削用樹脂、色素濃縮物、または他のコーティング剤の組成物の生成方法、コンピュータシステム、コンピュータプログラム、及びシステム
CN110264457A (zh) 基于旋转区域候选网络的焊缝自主识别方法
US11988643B2 (en) Characterization of a phase separation of a coating composition
CN115136209A (zh) 缺陷检测***
Chaudhari Steel surface defect detection using glcm, gabor wavelet, hog, and random forest classifier
JP2015508501A (ja) 顕微鏡画像に含まれている細胞を分類するための教師付き分類方法
CN114902297A (zh) 使用区域级注释的自举的基于图像处理的对象分类
US20230304941A1 (en) System and method for assessing a coated surface with respect to surface defects
Landgraf et al. Computer vision for industrial defect detection
Divakaruni et al. Shim Bond Coverage Analysis Using Artificial Intelligence
CN116523912B (zh) 一种基于图像识别的清洁度检测***及方法
CN117333492B (zh) 基于图像处理的光学薄膜质量检测方法及相关装置
Schmidt From data and algorithms to value creation in the Industry 4.0
US20140214339A1 (en) Identification of outliers among chemical assays
Kumar et al. Video Analytics using Deep Learning in Cloud Services to Detect Corrosion-A Comprehensive Survey
Tan et al. Automated Metal Surface Defect Detection
Liu et al. Marker Identification of Disc Workpiece Based on HOG‐SVM Classifier
Sköld Automatic quality assessment of formed fiber products via Computer Vision and Artificial Intelligence
Ferdousi et al. A Reusable AI-Enabled Defect Detection System for Railway Using Ensembled CNN