WO2022160170A1 - 一种金属表面缺陷检测方法及装置 - Google Patents
一种金属表面缺陷检测方法及装置 Download PDFInfo
- Publication number
- WO2022160170A1 WO2022160170A1 PCT/CN2021/074114 CN2021074114W WO2022160170A1 WO 2022160170 A1 WO2022160170 A1 WO 2022160170A1 CN 2021074114 W CN2021074114 W CN 2021074114W WO 2022160170 A1 WO2022160170 A1 WO 2022160170A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- branch
- module
- detection model
- loss function
- ith
- Prior art date
Links
- 230000007547 defect Effects 0.000 title claims abstract description 125
- 239000002184 metal Substances 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 186
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000013526 transfer learning Methods 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims description 79
- 238000013508 migration Methods 0.000 claims description 20
- 230000005012 migration Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 239000000047 product Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000005299 abrasion Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 206010027146 Melanoderma Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002994 raw material Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Definitions
- the present application relates to the technical field of surface defect detection, and in particular, to a method and device for detection of metal surface defects.
- commutators are important components of motors.
- the product quality requirements of industries such as vehicle manufacturing, shipbuilding, and aerospace equipment manufacturing are increasing year by year.
- the quality of the surface of the commutator directly determines the quality of its product, and because the commutator is made of metal, it is very susceptible to external influences during production and processing, resulting in various problems, such as raw materials.
- Different processing methods, different production equipment, etc. will cause a series of surface defects in the commutator, mainly scratches, abrasions, cracks, oil stains, black spots, etc.
- defects affect the appearance to a certain extent, and there may also be huge safety hazards in terms of quality. For example, defects will reduce a series of physical properties of mechanical parts, such as corrosion resistance, wear resistance and fatigue strength, etc. These properties The reduction will cause serious problems with the quality of the final product.
- deep learning is used to detect product defects, but the premise of deep learning is the need for massive data support and sufficient model training; however, most product surface defect data is basically collected by the production workshop. Collected by manual shooting, the differences between samples are small and there are many repeated data, and the actual amount of data collected usually cannot reach the huge amount of data required by the deep learning target detection model.
- the present application provides a metal surface defect detection method and device.
- the present application provides a method for detecting metal surface defects, the method comprising:
- the metal surface is detected using the second detection model.
- the first detection model includes a migration network module, an area recommendation module, and an initial detection module; the trained Resnet network is migrated into the first detection model to obtain a second detection model, including:
- the migration network module extracts the features of the trained Resnet network to obtain multiple feature maps
- the region recommendation module inputs the convolution feature map into the initial detection module to obtain the second detection model.
- the network loss function of the first detection model is:
- L(M) is the loss function of the region recommendation module
- L(M') is the loss function of the initial detection module
- n represents the nth branch, n ⁇ [1,4];
- ⁇ n represents the loss weight of the nth branch;
- S n represents the nth branch training sample set, Indicates the probability that the i-th anchor of the n-th branch is the foreground; Represents the coordinate vector of the i-th anchor of the n-th branch;
- t i is a vector representing the predicted i-th candidate frame coordinate
- k represents the kth branch of the initial detection module, k ⁇ [1,4]
- ⁇ k represents the loss weight of the kth branch
- Sk represents the training sample set of the kth branch.
- the loss function of each branch of the regional recommendation module is:
- L cls represents the classification loss function
- L reg represents the bounding box regression loss function
- i represents the ith candidate box index in the mini-batch processing
- Indicates that when Anchor[i] is a positive sample, When Anchor[i] is a negative sample, t i is a vector, representing the predicted candidate frame coordinates; t i ⁇ t x , t y , t w , t h ⁇ is a vector representing the predicted parameterized candidate frame coordinates; Represents the coordinate vector of the ith real candidate box boundary; ⁇ represents the weight balance parameter;
- pi represents the probability that the ith candidate frame is a defect
- R represents the smooth L1 function.
- the loss function of each branch of the initial detection module is:
- the present application provides a metal surface defect detection device, comprising:
- the acquisition module is used to collect the surface defect images of the metal to obtain the metal surface defect data set
- a building module for building a first detection model using the metal surface defect data set
- the training module is used to train the Resnet network using the ImageNet dataset
- a migration module configured to migrate the trained Resnet network to the first detection model to obtain a second detection model, wherein the second detection model is a detection model of metal surface defects based on deep migration learning;
- a metal surface detection module for using the second detection model to detect the metal surface test.
- the first detection model includes a migration network module, an area recommendation module and an initial detection module;
- the migration network module is used to perform the following operations:
- the region recommendation module inputs the convolution feature map into the initial detection module to obtain the second detection model.
- the network loss function of the first detection model is:
- L(M) is the loss function of the region recommendation module
- L(M') is the loss function of the initial detection module
- n represents the nth branch, n ⁇ [1,4];
- ⁇ n represents the loss weight of the nth branch;
- S n represents the nth branch training sample set, Indicates the probability that the i-th anchor of the n-th branch is the foreground; Represents the coordinate vector of the i-th anchor of the n-th branch;
- t i is a vector representing the predicted i-th candidate frame coordinate
- k represents the kth branch of the initial detection module, k ⁇ [1,4]
- ⁇ k represents the loss weight of the kth branch
- Sk represents the training sample set of the kth branch.
- the loss function of each branch of the regional recommendation module is:
- L cls represents the classification loss function
- L reg represents the bounding box regression loss function
- i represents the ith candidate box index in the mini-batch processing
- Indicates that when Anchor[i] is a positive sample, When Anchor[i] is a negative sample, t i is a vector, representing the predicted candidate frame coordinates; t i ⁇ t x , t y , t w , t h ⁇ is a vector representing the predicted parameterized candidate frame coordinates; Represents the coordinate vector of the ith real candidate box boundary; ⁇ represents the weight balance parameter;
- pi represents the probability that the ith candidate frame is a defect
- R represents the smooth L1 function.
- the loss function of each branch of the initial detection module is:
- the invention applies the target detection algorithm Faster R-CNN based on deep learning to the detection and identification method of metal surface defects of the commutator, and overcomes the problem that the detection method in the prior art cannot adapt to the changeable practical application environment;
- the ResNet network based on ImageNet training is transferred to the metal surface defect detection model proposed by the present invention, and through the transfer learning, the metal surface defect detection model obtains a more powerful feature expression ability;
- the present invention proposes a multi-scale candidate region recommendation network MS-RPN which is more suitable for Resnet network;
- the present invention tests the images in the commutator surface defect data set.
- the target detection algorithm based on deep learning of the present invention has a significant improvement in detection results.
- the detection algorithm is more suitable for the detection and identification of commutator metal surface defects.
- FIG. 1 is a schematic flowchart of a metal surface defect detection method provided by an embodiment of the present application.
- FIG. 2 is a schematic diagram of a network structure of a first detection model provided by an embodiment of the present application
- FIG. 3 is a schematic structural diagram of an RPN network in the prior art
- FIG. 4 is a schematic structural diagram of a regional recommendation network provided by an embodiment of the present application.
- FIG. 5 is a schematic diagram of an interface for labeling a commutator surface with an image labeling tool on a dataset provided by an embodiment of the present application;
- FIG. 6 is a schematic interface diagram of a marked data set provided by an embodiment of the present application.
- FIG. 7 is a schematic diagram of the performance comparison of building a commutator surface defect detection model based on the ResNet network to perform transfer learning and not performing transfer learning provided by the embodiment of the present application;
- FIG. 8 is a schematic diagram of a comparison of the recall rate curve using the MS-RPN network and the RPN in the prior art provided by the embodiment of the present application;
- FIG. 9 is a schematic structural diagram of a metal surface defect detection device according to an embodiment of the present application.
- Metal surface detection is of great significance to ensure machine performance, etc.
- the machine learning and deep learning methods in the prior art have high requirements on the amount of data, and direct application to metal surface defect detection methods may easily lead to insufficient training of metal surface defect detection models.
- the core idea of the embodiment is to transfer model features to reduce the complexity of model training.
- FIG. 1 is a schematic flowchart of a method for detecting metal surface defects according to Embodiment 1 of the present application. Referring to FIG. 1 , the method includes the following steps:
- S100 collect a surface defect image of the metal to obtain a metal surface defect data set
- S400 Migrate the trained Resnet network to the first detection model to obtain a second detection model, where the second detection model is a detection model for metal surface defects based on deep transfer learning;
- S500 Use the second detection model to detect the metal surface.
- This embodiment uses the ImageNet data set to train the Resnet network to reduce the complexity of model training; and uses the feature migration based on the homogeneous space to extract the features from the Resnet model pre-trained on the ImageNet data set that is also image data. Layers (including convolution and pooling layers) are migrated to the metal surface defect dataset, in which the feature extraction capabilities of the first detection model (such as edge feature extraction capabilities, texture feature extraction capabilities, and shape and other high-level abstract feature extraction capabilities) are migrated. , the second detection model obtains more powerful feature expression ability and improves the generalization ability of the second detection model.
- the feature extraction capabilities of the first detection model such as edge feature extraction capabilities, texture feature extraction capabilities, and shape and other high-level abstract feature extraction capabilities
- the constructed first detection model may include a migration network module 21, an area recommendation module 22 and an initial detection module 23 (including 4 initial detection modules A, B, C and D), see FIG. 2, 11 is the number of steps is a convolutional layer of 1, 12 is a convolutional layer with a stride of 2; Res1, Res2, Res3, Res4, Res5 are residual blocks, 13 is a candidate region, and 14 is a convolution feature map (including F1, F2, F3 and F4 four convolutional feature maps);
- Migrating the trained Resnet network to the first detection model to obtain the second detection model includes:
- the migration network module 21 extracts the features of the trained Resnet network to obtain multiple feature maps; combines the multiple feature maps to obtain a feature pyramid; inputs the feature pyramid into the region recommendation module 22, Obtain the convolution feature map 14;
- the region recommendation module 22 inputs the convolution feature map 14 into the initial detection module 23 to obtain the second detection model.
- Table 1 shows the specific structure of the migration network module 21 .
- the structure of the migration network module 21 sequentially includes a first branch, a second branch, a third branch, a fourth branch, a fifth branch and a sixth branch;
- the first branch includes a first convolution layer, the size of the first convolution layer is 7*7, the number of channels is 64, the number of steps is 2, and the size of the feature map output by the first branch is 112* 112;
- the second branch is the maximum pooling layer, the size of the maximum pooling layer is 3*3, the number of channels is 64, the number of steps is 2, and the size of the feature map output by the maximum pooling layer is 56*56 ;
- the third branch includes three convolution layers, which are the second convolution layer, the third convolution layer and the fourth convolution layer;
- the size of the second convolutional layer is 1*1
- the step size is 3
- the number of channels is 64
- the number of steps is 1
- the size of the feature map output by the second convolutional layer is 56*56;
- the size of the third convolutional layer is 3*3, the step size is 3, the number of channels is 64, the number of steps is 1, and the size of the feature map output by the third convolutional layer is 56*56;
- the size of the fourth convolution layer is 1*1, the step size is 3, the number of channels is 256, the number of steps is 1, and the size of the feature map output by the fourth convolution is 56*56;
- the fourth branch includes 3 convolutional layers, which are the fifth convolutional layer, the sixth convolutional layer and the seventh convolutional layer;
- the size of the fifth convolutional layer is 1*1
- the step size is 4, the number of channels is 128, the number of steps is 1, and the size of the feature map output by the fifth convolutional layer is 28*28;
- the size of the sixth convolutional layer is 3*3, the step size is 4, the number of channels is 128, the number of steps is 1, and the size of the feature map output by the sixth convolutional layer is 28*28;
- the size of the seventh convolution layer is 1*1, the step size is 4, the number of channels is 256, the number of steps is 1, and the size of the feature map output by the seventh convolution is 28*28;
- the fifth branch includes three convolution layers, which are the eighth convolution layer, the ninth convolution layer and the tenth convolution layer;
- the size of the eighth convolutional layer is 1*1, the step size is 23, the number of channels is 256, the number of steps is 1, and the size of the feature map output by the eighth convolutional layer is 14*14;
- the size of the ninth convolutional layer is 3*3, the step size is 23, the number of channels is 256, the number of steps is 1, and the size of the feature map output by the ninth convolutional layer is 14*14;
- the size of the tenth convolution layer is 1*1, the step size is 23, the number of channels is 1024, the number of steps is 1, and the size of the feature map output by the tenth convolution is 14*14;
- the sixth branch includes three convolution layers, which are the eleventh convolution layer, the twelfth convolution layer and the thirteenth convolution layer;
- the size of the eleventh convolutional layer is 1*1, the stride is 3, the number of channels is 512, the number of steps is 1, and the size of the feature map output by the eleventh convolutional layer is 7*7 ;
- the size of the twelfth convolutional layer is 3*3, the step size is 3, the number of channels is 512, the number of steps is 1, and the size of the feature map output by the twelfth convolutional layer is 7*7;
- the size of the thirteenth convolutional layer is 1*1, the stride is 3, the number of channels is 2048, the number of steps is 1, and the size of the feature map output by the thirteenth convolution is 7*7.
- the Region Recommendation Network (RPN) 22 is proposed in the Faster R-CNN network, which takes an image (of any size) as input and outputs a set of rectangular recommendation regions, each with a score .
- the region recommendation module 22 is obtained based on the RPN network, and the scale and aspect ratio of each sub-RPN network is M:N, where M ⁇ N; for example, each sub-RPN network may include 1 scale and 3 aspect ratio;
- Each sub-RPN network produces K anchors at the position of each sliding window, thus a convolutional feature map of size W ⁇ H, with a total of W ⁇ H ⁇ K anchors.
- the regional recommendation module 22 connects the sliding window of each feature map of the feature pyramid, wherein the sliding window is mapped to a preset vector, and the preset vector is fed into the frame regression layer and the frame classification layer;
- the box classification layer outputs 2K scores to estimate the probability of each recommended area or non-recommended area
- the regional recommendation network 22 in this embodiment is an MS-RPN (Multiscale-Region Proposal Network) network, and the existing RPN network can be decomposed into four parts.
- MS-RPN Multiscale-Region Proposal Network
- the method and process of generating a regional network are not changed. , continue to slide on feature maps of different scales to form a small network.
- the MS-RPN network is fully connected to n ⁇ n sliding windows of input transformed feature maps, each sliding window is mapped to a low-dimensional vector, which is fed into two sibling fully connected layers, the box Regression layer (reg) and box classification layer (cls).
- the network loss function of the first detection model is:
- L(M) is the loss function of the region recommendation module 22, and L(M') is the loss function of the initial detection module 23;
- n represents the loss function of each branch of the regional recommendation module 22
- n represents the nth branch, n ⁇ [1,4]
- ⁇ n represents the loss weight of the nth branch
- S n represents the nth branch
- the training sample set of Indicates the probability that the i-th anchor of the n-th branch is the foreground; Represents the coordinate vector of the i-th anchor of the n-th branch;
- t i is a vector representing the predicted i-th candidate frame coordinate
- k represents the kth branch of the initial detection module 23, k ⁇ [1,4]
- ⁇ k represents the loss weight of the kth branch
- S k represents the training sample set of the kth branch.
- the loss function of each branch of the regional recommendation module 22 is:
- L cls represents the classification loss function
- L reg represents the bounding box regression loss function
- i represents the ith candidate box index in the mini-batch processing
- Indicates that when Anchor[i] is a positive sample, When Anchor[i] is a negative sample, t i is a vector, representing the predicted candidate frame coordinates; t i ⁇ t x , t y , t w , t h ⁇ is a vector representing the predicted parameterized candidate frame coordinates; Indicates the coordinate vector of the boundary of the ith real candidate frame;
- pi represents the probability that the ith candidate frame is a defect
- R represents the smooth L1 function.
- L1 is a norm loss function, also known as Least Absolute Deviation (LAD) and Least Absolute Error (LAE).
- LAD Least Absolute Deviation
- LAE Least Absolute Error
- the loss function of each branch of the initial detection module 23 is:
- FIG. 5 is a schematic diagram of an interface for labeling a commutator surface with an image labeling tool provided by an embodiment of the present application.
- a plurality of commutator surface defect images are collected to obtain a commutator surface defect data set; Among them, including some photos of the commutator surface containing scratches, abrasions, cracks, oil stains, black spot defects, etc. taken by the commutator production workshop, 6600 pictures of the commutator with scratch defects and scratch defects were obtained respectively. 6800 pictures of commutator, 6900 pictures of commutator with crack defect, 9500 pictures of commutator with oil defect, 8400 pictures of commutator with black spot defect;
- a data expansion method is used to expand the data set of surface defects of the commutator to obtain an expanded data set; for example, data set expansion methods such as horizontal flipping, rotating photo sets, etc. set for data augmentation;
- FIG. 6 is a schematic interface diagram of a marked data set provided by an embodiment of the present application.
- This embodiment evaluates the accuracy rate, recall rate, F1 value and average guessing time of the second detection model for detecting the surface of the commutator.
- TP is the correct part of the detection
- TP+FP is the total detection and recognition result
- TP+FN is the total detection sample.
- the detection method of this embodiment is compared with the Faster R-CNN algorithm on the commutator surface defect data set.
- the detection is successful only when the IOU between the detected defect area and the real labeled defect area is greater than 70%. Then calculate the recall rate and precision rate to get the F1 value.
- Each experiment was repeated 3 times for comparison, and the average value of 3 F1 values was taken as the evaluation result, and the experimental data were counted to obtain Table 2.
- Table 2 shows that the Proposed Method algorithm of this embodiment and Faster R-CNN are used in the commutator surface defect Comparison table of detection results on the dataset.
- the MS-RPN MultiSale-Region Proposal Network
- the MS-RPN greatly enhances the overall scale change adaptability of the network, especially for some small-scale defects such as small target black spots, scratches, etc., with higher detection accuracy.
- this embodiment sets up a set of comparative actual experiments, and trains the target detection model of commutator surface defects with transfer learning and the target detection model without transfer learning.
- This embodiment selects the RPN network as a reference for comparing the performance of the MS-RPN network in this embodiment.
- the IOU of the prediction area and the GroundTruth is greater than 0.7
- the detection is successful, only the number of area proposals is changed, and other settings are kept unchanged.
- the relationship between the number of region proposals and the recall rate curves of MS-RPN and RPN is shown in Figure 8.
- the Recall of both region recommendation networks increases with the increase of the recommended region. It can be found from Figure 8 that in MS-RPN, This embodiment can achieve the recall rate of using 500 recommended areas in the RPN by only applying 200 recommended areas. Therefore, the reduction in the number of area proposals in this embodiment helps to improve the efficiency of algorithm detection.
- the metal surface defect detection device of this embodiment includes:
- the collection module 10 is used for collecting the surface defect images of the metal to obtain the metal surface defect data set;
- a building module 20 configured to build a first detection model by using the metal surface defect data set
- the training module 30 is used to train the Resnet network by using the ImageNet data set
- the migration module 40 is configured to migrate the trained Resnet network to the first detection model to obtain a second detection model, wherein the second detection model is a detection model of metal surface defects based on deep transfer learning;
- the metal surface detection module 50 is configured to use the second detection model to detect the metal surface.
- the first detection model includes a migration network module 21, an area recommendation module 22 and an initial detection module 23;
- the migration network module 21 is used to perform the following operations:
- the region recommendation module 22 inputs the convolution feature map into the initial detection module 23 to obtain the second detection model.
- the network loss function of the first detection model is:
- L(M) is the loss function of the region recommendation module 22, and L(M') is the loss function of the initial detection module 23;
- n represents the loss function of each branch of the regional recommendation module 22
- n represents the nth branch, n ⁇ [1,4]
- ⁇ n represents the loss weight of the nth branch
- S n represents the nth branch
- the training sample set of Indicates the probability that the i-th anchor of the n-th branch is the foreground; Represents the coordinate vector of the i-th anchor of the n-th branch;
- t i is a vector representing the predicted i-th candidate frame coordinate
- k represents the kth branch of the initial detection module 23, k ⁇ [1,4]
- ⁇ k represents the loss weight of the kth branch
- S k represents the training sample set of the kth branch.
- the loss function of each branch of the regional recommendation module 22 is:
- L cls represents the classification loss function
- L reg represents the bounding box regression loss function
- i represents the ith candidate box index in the mini-batch processing
- Indicates that when Anchor[i] is a positive sample, When Anchor[i] is a negative sample, t i is a vector, representing the predicted candidate frame coordinates; t i ⁇ t x , t y , t w , t h ⁇ is a vector representing the predicted parameterized candidate frame coordinates; Represents the coordinate vector of the ith real candidate box boundary; ⁇ represents the weight balance parameter;
- pi represents the probability that the ith candidate frame is a defect
- R represents the smooth L1 function.
- the loss function of each branch of the initial detection module 23 is:
- the process of the detection apparatus in this embodiment is basically the same as that of the detection method in Embodiment 1, and details are not described herein again.
- the invention applies the deep learning-based target detection algorithm Faster R-CNN to the metal surface defect detection and identification method, and overcomes the problem that the detection method in the prior art cannot adapt to the changeable practical application environment;
- the ResNet network based on ImageNet training is transferred to the metal surface defect detection model proposed by the present invention, and through the transfer learning, the metal surface defect detection model obtains a more powerful feature expression ability;
- the present invention proposes a multi-scale candidate region recommendation network MS-RPN which is more suitable for Resnet network;
- the target detection algorithm based on deep learning of the present invention has significantly improved detection results compared to the Faster R-CNN algorithm. Therefore, the target detection algorithm based on deep learning proposed by the present invention Compared with the prior art Faster R-CNN algorithm, the detection algorithm is more suitable for the detection and identification of metal surface defects.
- the disclosed apparatus and method may be implemented in other manners.
- the apparatus embodiments described above are only illustrative.
- the division of the units is only a logical function division. In actual implementation, there may be other division methods.
- multiple units or components may be combined or Can be integrated into another system, or some features can be ignored, or not implemented.
- the shown or discussed mutual coupling or direct coupling or communication connection may be through some interfaces, indirect coupling or communication connection of devices or units, and may be in electrical, mechanical or other forms.
- the units described as separate components may or may not be physically separated, and components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution in this embodiment.
- each functional unit in each embodiment of the present invention may be integrated into one processing unit, or each unit may exist physically alone, or two or more units may be integrated into one unit.
- the functions, if implemented in the form of software functional units and sold or used as independent products, may be stored in a computer-readable storage medium.
- the technical solution of the present invention can be embodied in the form of a software product in essence, or the part that contributes to the prior art or the part of the technical solution.
- the computer software product is stored in a storage medium, including Several instructions are used to cause a computer device (which may be a personal computer, a server, or a network device, etc.) to execute all or part of the steps of the methods described in the various embodiments of the present invention.
- the aforementioned storage medium includes: a U disk, a removable hard disk, a ROM, a RAM, a magnetic disk, or an optical disk, and other media that can store program codes.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种金属表面缺陷检测方法，包括：采集金属的表面缺陷图像得到金属表面缺陷数据集；利用所述金属表面缺陷数据集构建第一检测模型；利用ImageNet数据集训练Resnet网络；将训练后的Resnet网络迁移至所述第一检测模型中，得到第二检测模型，其中，所述第二检测模型为基于深度迁移学习的金属表面缺陷的检测模型；利用所述第二检测模型对金属表面进行检测。本申请还涉及一种金属表面缺陷检测装置。本申请将基于ImageNet下训练的ResNet网络迁移至本发明所构建的金属表面缺陷检测模型，通过迁移学习，该金属表面缺陷检测模型获得了更强大的特征表达能力。
Description
本申请涉及表面缺陷检测技术领域，尤其涉及一种金属表面缺陷检测方法及装置。
随着社会的不断发展，越来越多的高新产业逐步进入人们的视野，其中众多行业对原材料的数量与质量要求越来越高，例如换向器作为电机重要的部件，在制造业尤其是车辆制造、船舶制造、航空航天器材制造等行业的产品品质要求逐年攀升。换向器表面质量的好坏直接决定着其产品品质，而由于换向器由金属制成，在生产加工的过程当中非常容易受到外界的影响而导致产生各式各样的问题，例如，原材料不同、加工方式不同、制作设备不一等都会导致换向器产生一系列表面缺陷，主要是划伤、擦伤、裂纹、油污、黑点等。这些缺陷在一定程度上影响了美观，而且质量上还可能存在着巨大的安全隐患，例如缺陷会降低机械零件的一系列物理性能，像抗腐蚀性、耐磨性还有疲劳强度等，这些性能降低后会让最终产品质量产生严重问题。
如何在生产过程当中及时发现并确定缺陷出现的位置成为了生产产业(例如换向器产业)一个亟待解决的问题。
随着计算机视觉技术发展迅速，基于计算机视觉技术的成熟应用***例如，人脸检测、车辆检测、语音识别、文字识别已广泛应用于各行各业。而基于计算机视觉的换向器表面缺陷检测技术也得到了迅猛的发展，计算机视觉通过非接触式的检测和光学的自动采集获得产品的表面图像，然后使用不同的算法提取表面图像的具体特征，进一步实现检测。
现有技术中利用深度学习的方法对产品缺陷进行缺陷检测的方法，但是深度学习的前提条件是需要海量的数据支撑以及充分的模型 训练；但是多数产品表面缺陷的数据基本上是由生产车间的人工拍摄所采集的，样本之间差异较小、重复数据较多，并且实际采集到的数据量通常是达不到深度学习目标检测模型所要求的庞大数据量。
发明内容
为了克服背景技术所提出的问题，本申请提供了一种金属表面缺陷检测方法及装置。
第一方面，本申请提供了一种金属表面缺陷检测方法，该方法包括：
采集金属的表面缺陷图像得到金属表面缺陷数据集；
利用所述金属表面缺陷数据集构建第一检测模型；
利用ImageNet数据集训练Resnet网络；
将训练后的Resnet网络迁移至所述第一检测模型中，得到第二检测模型，其中，所述第二检测模型为基于深度迁移学习的金属表面缺陷的检测模型；
利用所述第二检测模型对金属表面进行检测。
可选地，所述第一检测模型包括迁移网络模块、区域推荐模块和初始检测模块；所述将训练后的Resnet网络迁移至所述第一检测模型中，得到第二检测模型，包括：
所述迁移网络模块提取所述训练后的Resnet网络的特征，得到多个特征图；
将所述多个特征图进行组合得到特征金字塔；
将所述特征金字塔输入所述区域推荐模块中，得到卷积特征图；
所述区域推荐模块将所述卷积特征图输入所述初始检测模块，得到所述第二检测模型。
可选地，所述第一检测模型的网络损失函数为：
L(M,M′)＝L(M)+L(M′)
其中，L(M)为区域推荐模块的损失函数，L(M')为初始检测模块的 损失函数；
其中，
表示区域推荐模块的每条支路的损失函数；n表示第n条支路,n∈[1,4]；η
n表示第n条支路的损失权重；S
n表示第n条支路的训练样本集，
表示第n条支路的第i个anchor是前景的概率；
表示第n条支路的第i个anchor的坐标向量；
其中，
表示初始检测模块的每条支路的损失函数；
表示第k条支路的第i个真实候选框为缺陷的概率，
为0或1；t
i是一个向量，表示预测的第i个候选框坐标；
表示第k条支路的第i个真实候选框边界的坐标向量；k表示初始检测模块的第k条支路，k∈[1,4]；γ
k表示第k条支路的损失权重；S
k表示第k条支路的训练样本集。
可选地，所述区域推荐模块的每条支路的损失函数为：
其中，L
cls表示分类损失函数；L
reg表示边界框回归损失函数；i表示小批次处理中的第i个候选框索引；
表示第n条支路的第i个anchor是前景的概率；
表示Anchor[i]是正样本时,
Anchor[i]是负样本时，
t
i是一个向量，表示预测的候选框坐标；t
i＝{t
x,t
y,t
w,t
h}是一个向量，表示预测的参数化的候选框坐标；
表示第i个真实候选框边界的坐标向量；λ表示权重平衡参数；
其中，p
i表示第i个候选框为缺陷的概率；
表示第i个候选框 对应的二值真实标签；
表示两个类别(目标p
i和非目标
)的对数损失，若i为候选缺陷，则
为1，否则为0；R表示smooth
L1函数。
可选地，所述初始检测模块的每条支路的损失函数为：
其中，
表示第k条支路的第i个真实候选框的缺陷的概率，
为0或1；
表示第k条支路的第i个的表示真实候选框边界的坐标向量；L
cls表示分类损失函数；L
reg表示边界框回归损失函数；i表示小批次处理中的第i个候选框索引；t
i表示是一个向量，表示预测的第i个候选框坐标；
表示第i个真实候选框边界的坐标向量；k表示初始检测模块的第k条支路，k∈[1,4]；λ表示权重平衡参数；p
i表示第i个候选框为缺陷的概率；
表示第i个候选框对应的二值真实标签。
第二方面，本申请提供了一种金属表面缺陷检测装置，包括：
采集模块，用于采集金属的表面缺陷图像得到金属表面缺陷数据集；
构建模块，用于利用所述金属表面缺陷数据集构建第一检测模型；
训练模块，用于利用ImageNet数据集训练Resnet网络；
迁移模块，用于将训练后的Resnet网络迁移至所述第一检测模型中，得到第二检测模型，其中，所述第二检测模型为基于深度迁移学习的金属表面缺陷的检测模型；
金属表面检测模块，用于利用所述第二检测模型对金属表
进行检测。
可选地，所述第一检测模型包括迁移网络模块、区域推荐模块和初始检测模块；
所述迁移网络模块用于执行以下操作：
提取所述训练后的Resnet网络的特征，得到多个特征图；将所述多个特征图进行组合得到特征金字塔；将所述特征金字塔输入所述区域推荐模块中，得到卷积特征图；
所述区域推荐模块将所述卷积特征图输入所述初始检测模块，得 到所述第二检测模型。
可选地，所述第一检测模型的网络损失函数为：
L(M,M′)＝L(M)+L(M′)
其中，L(M)为区域推荐模块的损失函数，L(M')为初始检测模块的损失函数；
其中，
表示区域推荐模块的每条支路的损失函数；n表示第n条支路,n∈[1,4]；η
n表示第n条支路的损失权重；S
n表示第n条支路的训练样本集，
表示第n条支路的第i个anchor是前景的概率；
表示第n条支路的第i个anchor的坐标向量；
其中，
表示初始检测模块的每条支路的损失函数；
表示第k条支路的第i个真实候选框是缺陷的概率，
为0或1；t
i是一个向量，表示预测的第i个候选框坐标；
表示第k条支路的第i个真实候选框边界的坐标向量；k表示初始检测模块的第k条支路，k∈[1,4]；γ
k表示第k条支路的损失权重；S
k表示第k条支路的训练样本集。
可选地，所述区域推荐模块的每条支路的损失函数为：
其中，L
cls表示分类损失函数；L
reg表示边界框回归损失函数；i表示小批次处理中的第i个候选框索引；
表示第n条支路的第i个anchor是前景的概率；
表示Anchor[i]是正样本时,
Anchor[i]是负样本时，
t
i是一个向量，表示预测的候选框坐标；t
i＝{t
x,t
y,t
w,t
h}是一个向量，表示预测的参数化的候选框坐标；
表示第i个真实候选框边界的坐标向量；λ表示权重平衡参数；
其中，p
i表示第i个候选框为缺陷的概率；
表示第i个候选框对应的二值真实标签；
表示两个类别(目标p
i和非目标
)的对数损失，若i为候选缺陷，则
为1，否则为0；R表示smooth
L1函数。
可选地，所述初始检测模块的每条支路的损失函数为：
其中，
表示第k条支路的第i个真实候选框的缺陷概率，
为0或1；
表示第k条支路的第i个的真实候选框边界的坐标向量；L
cls表示分类损失函数；L
reg表示边界框回归损失函数；i表示小批次处理中的第i个候选框索引；t
i表示一个向量，表示预测的第i个候选框坐标；
表示第i个真实候选框边界的坐标向量；k表示初始检测模块的第k条支路，k∈[1,4]；λ表示权重平衡参数；p
i表示第i个候选框为缺陷的概率；
表示第i个候选框对应的二值真实标签。
本申请提供的上述技术方案与现有技术相比具有如下优点：
本发明将基于深度学习的目标检测算法Faster R-CNN应用至换向器金属表面缺陷检测识别方法当中，克服了现有技术的检测方法无法适应多变的实际应用环境的问题；
并且依据迁移学习理论，将基于ImageNet下训练的ResNet网络迁移至本发明所提出的金属表面缺陷检测模型，通过迁移学习，该金属表面缺陷检测模型获得了更强大的特征表达能力；
并且为了应对检测中出现的尺度不一的缺陷，本发明提出了一种更适合于Resnet网络的多尺度候选区域推荐网络MS-RPN；
本发明通过对换向器表面缺陷数据集中的图像进行测试，本发明的基于深度学习的目标检测算法相较于Faster R-CNN算法的检测结果提升显著，因此本发明提出的基于深度学习的目标检测算法相比现有技术的Faster R-CNN算法更适合用于换向器金属表面缺陷的检测识别领 域。
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种金属表面缺陷检测方法的流程示意图；
图2为本申请实施例提供的第一检测模型的网络结构示意图；
图3为现有技术的RPN网络的结构示意图；
图4为本申请实施例提供的区域推荐网络的结构示意图；
图5为本申请实施例提供的利用图像标注工具对数据集对换向器表面进行标注的界面示意图；
图6为本申请实施例提供的已经标注好的数据集的界面示意图；
图7为本申请实施例提供的基于ResNet网络构建换向器表面缺陷检测模型进行迁移学习和不进行迁移学习的性能对比示意图；
图8为本申请实施例提供的利用MS-RPN网络与现有技术中利用RPN的召回率曲线对比示意图；
图9为本申请实施例提供的一种金属表面缺陷检测装置的结构示意图。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请 保护的范围。
金属表面检测对于保证机器性能等具有重要的意义，现有技术中的机器学习、深度学习方法对数据量要求较高，直接应用于金属表面缺陷检测方法容易导致金属表面缺陷检测模型训练不充分。
由于在特征层面上存在一些不变的普适性特征，这些特征无论是对于ImageNet数据集，还是金属表面缺陷数据集均是存在的共性特征，因此可以进行基于同构空间下的特征迁移，本实施例的核心思想是模型特征迁移以减少模型训练的复杂度。
实施例一
图1为本申请实施例一提供的一种金属表面缺陷检测方法的流程示意图，参见图1，该方法包括以下步骤：
S100：采集金属的表面缺陷图像得到金属表面缺陷数据集；
S200：利用所述金属表面缺陷数据集构建第一检测模型；
S300：利用ImageNet数据集训练Resnet网络；
S400：将训练后的Resnet网络迁移至所述第一检测模型中，得到第二检测模型，其中，所述第二检测模型为基于深度迁移学习的金属表面缺陷的检测模型；
S500：利用所述第二检测模型对金属表面进行检测。
本实施例利用ImageNet数据集训练Resnet网络降低了模型训练的复杂度；并且使用基于同构空间下的特征迁移，将在同为图像数据的ImageNet数据集上预训练好的Resnet模型中的特征提取层(包括卷积和池化层)迁移到金属表面缺陷数据集中，其中迁移的是第一检测模型的特征提取能力(例如边缘特征提取能力、纹理特征提取能力、形状等高层抽象特征提取能力)，该第二检测模型获得了更强大的特征表达能力，提高了第二检测模型的泛化能力。
迁移学习只是将ImageNet数据集训练后的部分Resnet网络应用至换向器表面检测的特征提取层进行迁移，不能网络整体迁移过来，因此本实施例需要利用所述金属表面缺陷数据集构建第一检测模型， 构建出的第一检测模型可包括迁移网络模块21、区域推荐模块22和初始检测模块23(包括A、B、C和D这4个初始检测模块)，参见图2，11为步数为1的卷积层，12为步数为2的卷积层；Res1、Res2、Res3、Res4、Res5为残差块，13为候选区域，14为卷积特征图(包括F1、F2、F3和F4四个卷积特征图)；
所述将训练后的Resnet网络迁移至所述第一检测模型中，得到第二检测模型包括：
所述迁移网络模块21提取所述训练后的Resnet网络的特征，得到多个特征图；将所述多个特征图进行组合得到特征金字塔；将所述特征金字塔输入所述区域推荐模块22中，得到卷积特征图14；
所述区域推荐模块22将所述卷积特征图14输入所述初始检测模块23，得到所述第二检测模型。
在现有技术的Faster RCNN网络中，只是将卷积特征图的最后一层传入检测模块，这样造成大量细节特征丢失；而本实施例中，引入特征金字塔可以将Faster RCNN网络获得不同尺度的卷积特征图14，并将所述卷积特征图14传入之后的初始检测模块23，以更好地适应大小、尺度差异较大的金属表面缺陷。
参见下表1，表1示出了迁移网络模块21的具体结构。
表1
可选地，所述迁移网络模块21的结构依次包括第一分支、第二分支、第三分支、第四分支、第五分支和第六分支；
所述第一分支包括第一卷积层，所述第一卷积层的尺寸为7*7，通道数64，步数为2，经所述第一分支输出的特征图的尺寸为112*112；
所述第二分支为最大池化层，所述最大池化层的尺寸为3*3，通道数64，步数为2，经所述最大池化层输出的特征图的尺寸为56*56；
所述第三分支包括3层卷积层，分别为第二卷积层、第三卷积层和第四卷积层；
其中，所述第二卷积层的尺寸为1*1，步长为3，通道数64，步数为1，经所述第二卷积层输出的特征图的尺寸为56*56；
所述第三卷积层的尺寸为3*3，步长为3，通道数64，步数为1，经所述第三卷积层输出的特征图的尺寸为56*56；
所述第四卷积层的尺寸为1*1，步长为3，通道数256，步数为1，经所述第四卷积输出的特征图的尺寸为56*56；
所述第四分支包括3层卷积层，分别为第五卷积层、第六卷积层和第七卷积层；
其中，所述第五卷积层的尺寸为1*1，步长为4，通道数128，步数为1，经所述第五卷积层输出的特征图的尺寸为28*28；
所述第六卷积层的尺寸为3*3，步长为4，通道数128，步数为1， 经所述第六卷积层输出的特征图的尺寸为28*28；
所述第七卷积层的尺寸为1*1，步长为4，通道数256，步数为1，经所述第七卷积输出的特征图的尺寸为28*28；
所述第五分支包括3层卷积层，分别为第八卷积层、第九卷积层和第十卷积层；
其中，所述第八卷积层的尺寸为1*1，步长为23，通道数256，步数为1，经所述第八卷积层输出的特征图的尺寸为14*14；
所述第九卷积层的尺寸为3*3，步长为23，通道数256，步数为1，经所述第九卷积层输出的特征图的尺寸为14*14；
所述第十卷积层的尺寸为1*1，步长为23，通道数1024，步数为1，经所述第十卷积输出的特征图的尺寸为14*14；
所述第六分支包括3层卷积层，分别为第十一卷积层、第十二卷积层和第十三卷积层；
其中，所述第十一卷积层的尺寸为1*1，步长为3，通道数512，步数为1，经所述第十一卷积层输出的特征图的尺寸为7*7；
所述第十二卷积层的尺寸为3*3，步长为3，通道数512，步数为1，经所述第十二卷积层输出的特征图的尺寸为7*7；
所述第十三卷积层的尺寸为1*1，步长为3，通道数2048，步数为1，经所述第十三卷积输出的特征图的尺寸为7*7。
参见图3，区域推荐网络(RPN)22是在Faster R-CNN网络中提出的，它以图像(任意大小)作为输入，并输出一组矩形的推荐区域，每个推荐区域都有一个分值。
参见图4，所述区域推荐模块22是基于RPN网络得到的，每一个子RPN网络的比例尺和纵横比为M：N,其中，M<N；例如每个子RPN网络可包括1个比例尺和3纵横比；
每个子RPN网络在每个滑动窗口的位置产生K个锚，因此大小为W×H的卷积特征图，总共有W×H×K个Anchor。
所述区域推荐模块22连接所述特征金字塔的各个特征图的滑动窗 口，其中，所述滑动窗口映射到预设向量，所述预设向量被馈入框回归层和框分类层；
在每个所述滑动窗口上，预测K个推荐区域，则所述框回归层具有4K个输出；
所述框分类层输出2K个分值，以估计每个推荐区域或非推荐区域的概率；
本实施例中的区域推荐网络22为MS-RPN(Multiscale-RegionProposal Network)网络，可以将现有的RPN网络分解成4份，在每一个子RPN网络当中，并没有改变生成区域网络的方法过程，继续在不同尺度的特征图上滑动形成一个小型网络。该MS-RPN网络完全连接至输入转换特征图的n×n滑动窗口，每个滑动窗口都映射到一个低维向量，该低维向量被馈入两个同级的全连接层中，即框回归层(reg)和框分类层(cls)。
可选地，所述第一检测模型的网络损失函数为：
L(M,M′)＝L(M)+L(M′)
其中，L(M)为区域推荐模块22的损失函数，L(M')为初始检测模块23的损失函数；
其中，
表示区域推荐模块22的每条支路的损失函数；n表示第n条支路,n∈[1,4]；η
n表示第n条支路的损失权重；S
n表示第n条支路的训练样本集，
表示第n条支路的第i个anchor是前景的概率；
表示第n条支路的第i个anchor的坐标向量；
其中，
表示初始检测模块23的每条支路的损失函数；
表示第k条支路的第i个真实候选框为缺陷的概率，
为0或1；t
i是 一个向量，表示预测的第i个候选框坐标；
表示第k条支路的第i个真实候选框边界的坐标向量；k表示初始检测模块23的第k条支路，k∈[1,4]；γ
k表示第k条支路的损失权重；S
k表示第k条支路的训练样本集。
可选地，所述区域推荐模块22的每条支路的损失函数为：
其中，L
cls表示分类损失函数；L
reg表示边界框回归损失函数；i表示小批次处理中的第i个候选框索引；
表示第n条支路的第i个anchor是前景的概率；
表示Anchor[i]是正样本时,
Anchor[i]是负样本时，
t
i是一个向量，表示预测的候选框坐标；t
i＝{t
x,t
y,t
w,t
h}是一个向量，表示预测的参数化的候选框坐标；
表示第i个真实候选框边界的坐标向量；λ表示权重平衡参数；在本实施例中，可以设置λ＝10，但在实际实验显示，最终的缺陷检测结果对λ变化不敏感，λ取值可以为1～100，对最终的缺陷检测结果的影响在1％以内；
其中，p
i表示第i个候选框为缺陷的概率；
表示第i个候选框对应的二值真实标签；
表示两个类别(目标p
i和非目标
)的对数损失，若i为候选缺陷，则
为1，否则为0；R表示smooth
L1函数。
上述的smooth
L1函数是Faster RCNN提出来的计算距离的损失函数，其中，L1为范数损失函数，也被称为最小绝对值偏差(LAD)，最小绝对值误差(LAE)。
可选地，所述初始检测模块23的每条支路的损失函数为：
其中，
表示第k条支路的第i个真实候选框的缺陷的概率，
为0或1；
表示第k条支路的第i个的表示真实候选框边界的坐标向量；L
cls表示分类损失函数；L
reg表示边界框回归损失函数；i表示小批次处 理中的第i个候选框索引；t
i表示是一个向量，表示预测的第i个候选框坐标；
表示第i个真实候选框边界的坐标向量；k表示初始检测模块23的第k条支路，k∈[1,4]；λ表示权重平衡参数；p
i表示第i个候选框为缺陷的概率；
表示第i个候选框对应的二值真实标签。
参见图5，图5为本申请实施例提供的利用图像标注工具对数据集对换向器表面进行标注的界面示意图，首先采集多张换向器表面缺陷图像得到换向器表面缺陷数据集；其中，包括换向器生产车间所拍摄的含有划伤、擦伤、裂纹、油污、黑点缺陷等换向器表面的部分照片，分别得到含有划伤缺陷换向器图片6600张、擦伤缺陷换向器图片6800张、裂纹缺陷换向器图片6900张、油污缺陷换向器图片9500张、黑点缺陷换向器图片8400张；
然后，采用数据扩充方法对所述换向器表面缺陷数据集进行扩充，得到扩充后的数据集；例如，可以采用水平翻转、旋转照片集等数据集扩充方法对所述换向器表面缺陷数据集进行数据扩充；
接着，采用数据集标注工具对扩充后的数据集中的图像进行标注；例如，可以采用数据集标注工具(Labelimg)对扩充后的数据集中的图像进行ground truth标注；
再次，将标注后的图像转换为XML格式的文件，该XML格式的文件包含图像的编号以及换向器表面缺陷的中心坐标、图像的宽和图像的高，其中图5中的方框1或2内部标注的是ground Truth；图5的界面最右侧是将标注后的图像转换为XML格式的文件。
参见图6，图6为本申请实施例提供的已经标注好的数据集的界面示意图。
本实施例对第二检测模型检测换向器表面的准确率、召回率、F1值和平均推测时间进行评估。
其中，准确率的表示公示为：
召回率的表示公示为：
F1值的表示公示为：
其中，TP为检测正确的部分；TP+FP为总检测识别结果；TP+FN为总检测样本。
本实施例的检测方法与Faster R-CNN算法在换向器表面缺陷数据集上进行对比实验。在实验中，设定只有检测缺陷区域与真实标注缺陷区域的IOU大于70％时才认为检测成功。进而计算召回率和准确率得到F1值。每个实验重复3次对比试验，取3个F1值的均值作为评价结果，对实验数据进行统计得到表2，表2为本实施例的Proposed Method算法与Faster R-CNN在换向器表面缺陷数据集上的检测结果对比表格。
表2
由表2可知，本实施例中的Proposed Method方法在划伤、擦伤、裂纹、油污、黑点五种缺陷下的精度分别达到84.14％、88.81％、88.35％、92.86％、与92.53％，而从综合结果来看，相较于原Faster R-CNN提高了近14个百分比。由于在本实施例中，首先使用迁移学习将ResNet网络迁移到换向器表面缺陷检测模型中，得到换向器表面缺陷检测网络，该换向器表面缺陷检测相比现有技术的Faster R-CNN的骨干网络ZF或VGG-16都具有更强大的特征表达能力，可以更充分地提取有益信息以检测出缺陷；并且ResNet中可以输出多尺度的特征图，本实施例在此基础上改进的MS-RPN(MultiSale-Region Proposal Network)网络大大地增强了网络整体的尺度变化适应能力，尤其应对一些小尺度缺陷例如小型目标黑点、擦伤等具有更高的检测精度。
由于本实施例中的换向器表面缺陷检测模型中的特征提取网络是由ImageNet大数据集中训练的Resnet迁移而来，在此，为了验证加入迁移学习是否有助于换向器表面缺陷检测识别，本实施例设置了一组对比实际实验，对加入迁移学习的换向器表面缺陷目标检测模型与不加入迁移学习的目标检测模型分别训练，图7为本申请实施例提供的基于ResNet网络构建换向器表面缺陷检测模型进行迁移学习和不进行迁移学习的性能对比示意图，如图7显示，在加入迁移学习方式的换向器表面缺陷检测模型中，在ECOCH相同的情况下，损失函数更小，因此加入迁移学习方式的换向器表面缺陷检测模型网络性能更加优秀。
本实施例选取RPN网络作为比较本实施例中的MS-RPN网络性能的参考。在本实施例中，认定预测区域和GroundTruth的IOU大于0.7时为检测成功，只改变区域提议的数量，其他设置均保持设置不变。区域提议的数量与MS-RPN和RPN的召回率曲线关系如图8所示，两种区域推荐网络的Recall都随着推荐区域的增加而增加，由图8可以发现，在MS-RPN中，本实施例仅适用200的推荐区域就可以达到RPN中使用500推荐区域的召回率，因此本实施例的区域提议数量的减少有助于提高算法检测的效率。
实施例二
如图9所示，本实施例的金属表面缺陷检测装置，包括：
采集模块10，用于采集金属的表面缺陷图像得到金属表面缺陷数据集；
构建模块20，用于利用所述金属表面缺陷数据集构建第一检测模型；
训练模块30，用于利用ImageNet数据集训练Resnet网络；
迁移模块40，用于将训练后的Resnet网络迁移至所述第一检测模型中，得到第二检测模型，其中，所述第二检测模型为基于深度迁移学习的金属表面缺陷的检测模型；
金属表面检测模块50，用于利用所述第二检测模型对金属表面进行检测。
可选地，所述第一检测模型包括迁移网络模块21、区域推荐模块22和初始检测模块23；
所述迁移网络模块21用于执行以下操作：
提取所述训练后的Resnet网络的特征，得到多个特征图；将所述多个特征图进行组合得到特征金字塔；将所述特征金字塔输入所述区域推荐模块22中，得到卷积特征图；
所述区域推荐模块22将所述卷积特征图输入所述初始检测模块23，得到所述第二检测模型。
可选地，所述第一检测模型的网络损失函数为：
L(M,M′)＝L(M)+L(M′)
其中，L(M)为区域推荐模块22的损失函数，L(M')为初始检测模块23的损失函数；
其中，
表示区域推荐模块22的每条支路的损失函数；n表示第n条支路,n∈[1,4]；η
n表示第n条支路的损失权重；S
n表示第n条支路的训练样本集，
表示第n条支路的第i个anchor是前景的概率；
表示第n条支路的第i个anchor的坐标向量；
其中，
表示初始检测模块23的每条支路的损失函数；
表示第k条支路的第i个真实候选框是缺陷的概率，
为0或1；t
i是一个向量，表示预测的第i个候选框坐标；
表示第k条支路的第i个真实候选框边界的坐标向量；k表示初始检测模块23的第k条支路，k∈[1,4]；γ
k表示第k条支路的损失权重；S
k表示第k条支路的训练样本集。
可选地，所述区域推荐模块22的每条支路的损失函数为：
其中，L
cls表示分类损失函数；L
reg表示边界框回归损失函数；i表示小批次处理中的第i个候选框索引；
表示第n条支路的第i个anchor是前景的概率；
表示Anchor[i]是正样本时,
Anchor[i]是负样本时，
t
i是一个向量，表示预测的候选框坐标；t
i＝{t
x,t
y,t
w,t
h}是一个向量，表示预测的参数化的候选框坐标；
表示第i个 真实候选框边界的坐标向量；λ表示权重平衡参数；
其中，p
i表示第i个候选框为缺陷的概率；
表示第i个候选框对应的二值真实标签；
表示两个类别(目标p
i和非目标
)的对数损失，若i为候选缺陷，则
为1，否则为0；R表示smooth
L1函数。
可选地，所述初始检测模块23的每条支路的损失函数为：
其中，
表示第k条支路的第i个真实候选框的缺陷概率，
为0或1；
表示第k条支路的第i个的真实候选框边界的坐标向量；L
cls表示分类损失函数；L
reg表示边界框回归损失函数；i表示小批次处理中的第i个候选框索引；t
i表示一个向量，表示预测的第i个候选框坐标；
表示第i个真实候选框边界的坐标向量；k表示初始检测模块23的第k条支路，k∈[1,4]；λ表示权重平衡参数；p
i表示第i个候选框为缺陷的概率；
表示第i个候选框对应的二值真实标签。
本实施例的检测装置和实施例一的检测方法的过程基本一致，在此，不再具体赘述。
本发明的有益效果：
本发明将基于深度学习的目标检测算法Faster R-CNN应用至金属表面缺陷检测识别方法当中，克服了现有技术的检测方法无法适应多变的实际应用环境的问题；
并且依据迁移学习理论，将基于ImageNet下训练的ResNet网络迁移至本发明所提出的金属表面缺陷检测模型，通过迁移学习，该金属表面缺陷检测模型获得了更强大的特征表达能力；
并且为了应对检测中出现的尺度不一的缺陷，本发明提出了一种更适合于Resnet网络的多尺度候选区域推荐网络MS-RPN；
本发明通过对换向器表面缺陷数据集中的图像进行测试，本发明的基于深度学习的目标检测算法相较于Faster R-CNN算法的检测结果提升显著，因此本发明提出的基于深度学习的目标检测算法相比现有技术的Faster R-CNN算法更适合用于金属表面缺陷的检测识别领域。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域普通技术人员可以意识到，结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
- 一种金属表面缺陷检测方法，其特征在于，该方法包括：采集金属的表面缺陷图像得到金属表面缺陷数据集；利用所述金属表面缺陷数据集构建第一检测模型；利用ImageNet数据集训练Resnet网络；将训练后的Resnet网络迁移至所述第一检测模型中，得到第二检测模型，其中，所述第二检测模型为基于深度迁移学习的金属表面缺陷的检测模型；利用所述第二检测模型对金属表面进行检测。
- 根据权利要求1所述的方法，其特征在于，所述第一检测模型包括迁移网络模块、区域推荐模块和初始检测模块；所述将训练后的Resnet网络迁移至所述第一检测模型中，得到第二检测模型，包括：所述迁移网络模块提取所述训练后的Resnet网络的特征，得到多个特征图；将所述多个特征图进行组合得到特征金字塔；将所述特征金字塔输入所述区域推荐模块中，得到卷积特征图；所述区域推荐模块将所述卷积特征图输入所述初始检测模块，得到所述第二检测模型。
- 根据权利要求1所述的方法，其特征在于，所述第一检测模型的网络损失函数为：L(M,M′)＝L(M)+L(M′)其中，L(M)为区域推荐模块的损失函数，L(M')为初始检测模块的损失函数；
其中，表示区域推荐模块的每条支路的损失函数；n表示第n条支路,n∈[1,4]；η n表示第n条支路的损失权重；S n表示第n条支路的训练样本集，
表示第n条支路的第i个anchor是前景的概率；
表示第n条支路的第i个anchor的坐标向量；
其中，表示初始检测模块的每条支路的损失函数；
表示第k条支路的第i个真实候选框为缺陷的概率，
为0或1；t i是一个向量，表示预测的第i个候选框坐标；
表示第k条支路的第i个真实候选框边界的坐标向量；k表示初始检测模块的第k条支路，k∈[1,4]；γ k表示第k条支路的损失权重；S k表示第k条支路的训练样本集。
- 根据权利要求3所述的方法，其特征在于，所述区域推荐模块的每条支路的损失函数为：
其中，L cls表示分类损失函数；L reg表示边界框回归损失函数；i表示小批次处理中的第i个候选框索引；表示第n条支路的第i个anchor是前景的概率；
表示Anchor[i]是正样本时,
Anchor[i]是负样本时，
t i是一个向量，表示预测的候选框坐标；t i＝{t x,t y,t w,t h}是一个向量，表示预测的参数化的候选框坐标；
表示第i个真实候选框边界的坐标向量；λ表示权重平衡参数；
其中，p i表示第i个候选框为缺陷的概率；表示第i个候选框对应的二值真实标签；
表示两个类别(目标p i和非目标
)的对数损失，若i为候选缺陷，则
为1，否则为0；R表示smooth L1函数。
- 根据权利要求3所述的方法，其特征在于，所述初始检测模块的每条支路的损失函数为：
其中，表示第k条支路的第i个真实候选框的缺陷的概率，
为 0或1；
表示第k条支路的第i个的表示真实候选框边界的坐标向量；L cls表示分类损失函数；L reg表示边界框回归损失函数；i表示小批次处理中的第i个候选框索引；t i是一个向量，表示预测的第i个候选框坐标；
表示第i个真实候选框边界的坐标向量；k表示初始检测模块的第k条支路，k∈[1,4]；λ表示权重平衡参数；p i表示第i个候选框为缺陷的概率；
表示第i个候选框对应的二值真实标签。
- 一种金属表面缺陷检测装置，其特征在于，包括：采集模块，用于采集金属的表面缺陷图像得到金属表面缺陷数据集；构建模块，用于利用所述金属表面缺陷数据集构建第一检测模型；训练模块，用于利用ImageNet数据集训练Resnet网络；迁移模块，用于将训练后的Resnet网络迁移至所述第一检测模型中，得到第二检测模型，其中，所述第二检测模型为基于深度迁移学习的金属表面缺陷的检测模型；金属表面检测模块，用于利用所述第二检测模型对金属表面进行检测。
- 根据权利要求6所述的装置，其特征在于，所述第一检测模型包括迁移网络模块、区域推荐模块和初始检测模块；所述迁移网络模块用于执行以下操作：提取所述训练后的Resnet网络的特征，得到多个特征图；将所述多个特征图进行组合得到特征金字塔；将所述特征金字塔输入所述区域推荐模块中，得到卷积特征图；所述区域推荐模块将所述卷积特征图输入所述初始检测模块，得到所述第二检测模型。
- 根据权利要求6所述的装置，其特征在于，所述第一检测模型的网络损失函数为：L(M,M′)＝L(M)+L(M′)其中，L(M)为区域推荐模块的损失函数，L(M')为初始检测模块的损失函数；
其中，表示区域推荐模块的每条支路的损失函数；n表示第n条支路,n∈[1,4]；η n表示第n条支路的损失权重；S n表示第n条支路的训练样本集，
表示第n条支路的第i个anchor是前景的概率；
表示第n条支路的第i个anchor的坐标向量；
其中，表示初始检测模块的每条支路的损失函数；
表示第k条支路的第i个真实候选框是缺陷的概率，
为0或1；t i是一个向量，表示预测的第i个候选框坐标；
表示第k条支路的第i个真实候选框边界的坐标向量；k表示初始检测模块的第k条支路，k∈[1,4]；γ k表示第k条支路的损失权重；S k表示第k条支路的训练样本集。
- 根据权利要求7所述的装置，其特征在于，所述区域推荐模块的每条支路的损失函数为：
其中，L cls表示分类损失函数；L reg表示边界框回归损失函数；i表示小批次处理中的第i个候选框索引；表示第n条支路的第i个anchor是前景的概率；
表示Anchor[i]是正样本时,
Anchor[i]是负样本时，
t i是一个向量，表示预测的候选框坐标；t i＝{t x,t y,t w,t h}是一个向量，表示预测的参数化的候选框坐标；
表示第i个真实候选框边界的坐标向量；λ表示权重平衡参数；
其中，p i表示第i个候选框为缺陷的概率；表示第i个候选框对应的二值真实标签；
表示两个类别(目标p i和非目标
)的对数损失，若i为候选缺陷，则
为1，否则为0；R表示smooth L1函数。
- 根据权利要求7所述的装置，其特征在于，所述初始检测模块的每条支路的损失函数为：
其中，表示第k条支路的第i个真实候选框的缺陷概率，
为0或1；
表示第k条支路的第i个的真实候选框边界的坐标向量；L cls表示分类损失函数；L reg表示边界框回归损失函数；i表示小批次处理中的第i个候选框索引；t i是一个向量，表示预测的第i个候选框坐标；
表示第i个真实候选框边界的坐标向量；k表示初始检测模块的第k条支路，k∈[1,4]；λ表示权重平衡参数；p i表示第i个候选框为缺陷的概率；
表示第i个候选框对应的二值真实标签。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2021/074114 WO2022160170A1 (zh) | 2021-01-28 | 2021-01-28 | 一种金属表面缺陷检测方法及装置 |
| CN202180023654.4A CN115362471A (zh) | 2021-01-28 | 2021-01-28 | 一种金属表面缺陷检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2021/074114 WO2022160170A1 (zh) | 2021-01-28 | 2021-01-28 | 一种金属表面缺陷检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022160170A1 true WO2022160170A1 (zh) | 2022-08-04 |
Family
ID=82654083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2021/074114 WO2022160170A1 (zh) | 2021-01-28 | 2021-01-28 | 一种金属表面缺陷检测方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115362471A (zh) |
| WO (1) | WO2022160170A1 (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115457042A (zh) * | 2022-11-14 | 2022-12-09 | 四川路桥华东建设有限责任公司 | 一种基于蒸馏学习的螺纹套丝表面缺陷检测的方法及*** |
| CN115631193A (zh) * | 2022-12-06 | 2023-01-20 | 北京矩视智能科技有限公司 | 基于注意力机制的工件缺陷检测方法、装置及存储介质 |
| CN115965915A (zh) * | 2022-11-01 | 2023-04-14 | 哈尔滨市科佳通用机电股份有限公司 | 基于深度学习的铁路货车连接拉杆折断故障识别方法及识别*** |
| CN116385953A (zh) * | 2023-01-11 | 2023-07-04 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车敞车车门折页折断故障图像识别方法 |
| CN116429910A (zh) * | 2023-03-16 | 2023-07-14 | 江南大学 | 液晶面板ito电路缺陷检测方法、***和装置 |
| CN116523916A (zh) * | 2023-07-03 | 2023-08-01 | 北京理工大学 | 产品表面缺陷检测方法、装置、电子设备及存储介质 |
| CN116721104A (zh) * | 2023-08-10 | 2023-09-08 | 武汉大学 | 实景三维模型缺陷检测方法、装置、电子设备及存储介质 |
| CN116863274A (zh) * | 2023-07-17 | 2023-10-10 | 燕山大学 | 一种基于半监督学习的钢板表面缺陷检测方法及*** |
| CN116883391A (zh) * | 2023-09-05 | 2023-10-13 | 中国科学技术大学 | 一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法 |
| CN116958086A (zh) * | 2023-07-21 | 2023-10-27 | 盐城工学院 | 具有增强特征融合能力的金属表面缺陷检测方法及*** |
| CN117036348A (zh) * | 2023-10-08 | 2023-11-10 | 中国石油大学(华东) | 基于图像处理和裂纹识别模型的金属疲劳裂纹检测方法 |
| CN117876798A (zh) * | 2024-03-11 | 2024-04-12 | 华南理工大学 | 一种发动机打刻面缺陷检测方法、***、设备及存储介质 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117574962B (zh) * | 2023-10-11 | 2024-06-25 | 苏州天准科技股份有限公司 | 基于迁移学习的半导体芯片检测方法、装置及存储介质 |
| CN117237930A (zh) * | 2023-11-13 | 2023-12-15 | 成都大学 | 基于ResNet与迁移学习的腐蚀金具SEM图像识别方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109447018A (zh) * | 2018-11-08 | 2019-03-08 | 天津理工大学 | 一种基于改进Faster R-CNN的道路环境视觉感知方法 |
| CN109767427A (zh) * | 2018-12-25 | 2019-05-17 | 北京交通大学 | 列车轨道扣件缺陷的检测方法 |
| US20200175352A1 (en) * | 2017-03-14 | 2020-06-04 | University Of Manitoba | Structure defect detection using machine learning algorithms |
| CN111523540A (zh) * | 2020-04-17 | 2020-08-11 | 中南大学 | 基于深度学习的金属表面缺陷检测方法 |
| CN112150407A (zh) * | 2019-10-30 | 2020-12-29 | 重庆大学 | 针对小样本的航天复合材料夹杂缺陷的深度学习检测方法及*** |
| CN112184619A (zh) * | 2020-08-25 | 2021-01-05 | 华北电力大学（保定） | 一种基于深度学习的金属部件表面缺陷检测方法 |
-
2021
- 2021-01-28 CN CN202180023654.4A patent/CN115362471A/zh active Pending
- 2021-01-28 WO PCT/CN2021/074114 patent/WO2022160170A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200175352A1 (en) * | 2017-03-14 | 2020-06-04 | University Of Manitoba | Structure defect detection using machine learning algorithms |
| CN109447018A (zh) * | 2018-11-08 | 2019-03-08 | 天津理工大学 | 一种基于改进Faster R-CNN的道路环境视觉感知方法 |
| CN109767427A (zh) * | 2018-12-25 | 2019-05-17 | 北京交通大学 | 列车轨道扣件缺陷的检测方法 |
| CN112150407A (zh) * | 2019-10-30 | 2020-12-29 | 重庆大学 | 针对小样本的航天复合材料夹杂缺陷的深度学习检测方法及*** |
| CN111523540A (zh) * | 2020-04-17 | 2020-08-11 | 中南大学 | 基于深度学习的金属表面缺陷检测方法 |
| CN112184619A (zh) * | 2020-08-25 | 2021-01-05 | 华北电力大学（保定） | 一种基于深度学习的金属部件表面缺陷检测方法 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115965915B (zh) * | 2022-11-01 | 2023-09-08 | 哈尔滨市科佳通用机电股份有限公司 | 基于深度学习的铁路货车连接拉杆折断故障识别方法及识别*** |
| CN115965915A (zh) * | 2022-11-01 | 2023-04-14 | 哈尔滨市科佳通用机电股份有限公司 | 基于深度学习的铁路货车连接拉杆折断故障识别方法及识别*** |
| CN115457042B (zh) * | 2022-11-14 | 2023-03-24 | 四川路桥华东建设有限责任公司 | 一种基于蒸馏学习的螺纹套丝表面缺陷检测的方法及*** |
| CN115457042A (zh) * | 2022-11-14 | 2022-12-09 | 四川路桥华东建设有限责任公司 | 一种基于蒸馏学习的螺纹套丝表面缺陷检测的方法及*** |
| CN115631193A (zh) * | 2022-12-06 | 2023-01-20 | 北京矩视智能科技有限公司 | 基于注意力机制的工件缺陷检测方法、装置及存储介质 |
| CN116385953A (zh) * | 2023-01-11 | 2023-07-04 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车敞车车门折页折断故障图像识别方法 |
| CN116385953B (zh) * | 2023-01-11 | 2023-12-15 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车敞车车门折页折断故障图像识别方法 |
| CN116429910A (zh) * | 2023-03-16 | 2023-07-14 | 江南大学 | 液晶面板ito电路缺陷检测方法、***和装置 |
| CN116523916B (zh) * | 2023-07-03 | 2023-09-22 | 北京理工大学 | 产品表面缺陷检测方法、装置、电子设备及存储介质 |
| CN116523916A (zh) * | 2023-07-03 | 2023-08-01 | 北京理工大学 | 产品表面缺陷检测方法、装置、电子设备及存储介质 |
| CN116863274A (zh) * | 2023-07-17 | 2023-10-10 | 燕山大学 | 一种基于半监督学习的钢板表面缺陷检测方法及*** |
| CN116958086A (zh) * | 2023-07-21 | 2023-10-27 | 盐城工学院 | 具有增强特征融合能力的金属表面缺陷检测方法及*** |
| CN116958086B (zh) * | 2023-07-21 | 2024-04-19 | 盐城工学院 | 具有增强特征融合能力的金属表面缺陷检测方法及*** |
| CN116721104A (zh) * | 2023-08-10 | 2023-09-08 | 武汉大学 | 实景三维模型缺陷检测方法、装置、电子设备及存储介质 |
| CN116721104B (zh) * | 2023-08-10 | 2023-11-07 | 武汉大学 | 实景三维模型缺陷检测方法、装置、电子设备及存储介质 |
| CN116883391A (zh) * | 2023-09-05 | 2023-10-13 | 中国科学技术大学 | 一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法 |
| CN116883391B (zh) * | 2023-09-05 | 2023-12-19 | 中国科学技术大学 | 一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法 |
| CN117036348A (zh) * | 2023-10-08 | 2023-11-10 | 中国石油大学(华东) | 基于图像处理和裂纹识别模型的金属疲劳裂纹检测方法 |
| CN117036348B (zh) * | 2023-10-08 | 2024-01-09 | 中国石油大学(华东) | 基于图像处理和裂纹识别模型的金属疲劳裂纹检测方法 |
| CN117876798A (zh) * | 2024-03-11 | 2024-04-12 | 华南理工大学 | 一种发动机打刻面缺陷检测方法、***、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115362471A (zh) | 2022-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022160170A1 (zh) | 一种金属表面缺陷检测方法及装置 | |
| CN108074231B (zh) | 一种基于卷积神经网络的磁片表面缺陷检测方法 | |
| CN108918536B (zh) | 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质 | |
| CN106504248B (zh) | 基于计算机视觉的车辆损伤判别方法 | |
| CN105975916B (zh) | 基于多输出卷积神经网络和有序回归的年龄估计方法 | |
| CN107492098B (zh) | 一种基于pca和cnn的高温锻件表面缺陷在位检测方法 | |
| CN107886133A (zh) | 一种基于深度学习的地下管道缺陷自动识别方法 | |
| CN111652273B (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
| CN109284779A (zh) | 基于深度全卷积网络的物体检测方法 | |
| CN114581782B (zh) | 一种基于由粗到精检测策略的细微缺陷检测方法 | |
| CN111462120A (zh) | 一种基于语义分割模型缺陷检测方法、装置、介质及设备 | |
| CN113554654B (zh) | 基于图神经网络的点云特征提取***及分类分割方法 | |
| CN111222519B (zh) | 一种层次化彩绘文物线稿提取模型构建、方法及装置 | |
| CN105205449A (zh) | 基于深度学习的手语识别方法 | |
| CN108595558B (zh) | 一种数据均衡策略和多特征融合的图像标注方法 | |
| CN113378792B (zh) | 融合全局和局部信息的弱监督宫颈细胞图像分析方法 | |
| CN113393438B (zh) | 一种基于卷积神经网络的树脂镜片缺陷检测方法 | |
| CN113643268A (zh) | 基于深度学习的工业制品缺陷质检方法、装置及存储介质 | |
| CN110610482A (zh) | 一种基于resnet的工件瑕疵检测方法 | |
| CN113222982A (zh) | 基于改进的yolo网络的晶圆表面缺陷检测方法及*** | |
| CN111914902A (zh) | 一种基于深度神经网络的中药识别与表面缺陷检测方法 | |
| CN111986145B (zh) | 一种基于Faster-RCNN的轴承滚子瑕疵检测方法 | |
| CN115439694A (zh) | 一种基于深度学习的高精度点云补全方法及装置 | |
| CN115147380A (zh) | 一种基于YOLOv5的小型透明塑料制品缺陷检测方法 | |
| CN107578448B (zh) | 基于cnn的无标定曲面所包含拼接曲面个数识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21921789 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 21921789 Country of ref document: EP Kind code of ref document: A1 |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 21921789 Country of ref document: EP Kind code of ref document: A1 |