CN113743525B - 一种基于光度立体的面料材质识别***及方法 - Google Patents
一种基于光度立体的面料材质识别***及方法 Download PDFInfo
- Publication number
- CN113743525B CN113743525B CN202111074359.XA CN202111074359A CN113743525B CN 113743525 B CN113743525 B CN 113743525B CN 202111074359 A CN202111074359 A CN 202111074359A CN 113743525 B CN113743525 B CN 113743525B
- Authority
- CN
- China
- Prior art keywords
- fabric
- module
- dimensional
- image
- support vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000004744 fabric Substances 0.000 title claims abstract description 82
- 239000000463 material Substances 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000002310 reflectometry Methods 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 7
- 239000000284 extract Substances 0.000 claims abstract description 3
- 238000012706 support-vector machine Methods 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 14
- 238000007789 sealing Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 description 3
- 229920000742 Cotton Polymers 0.000 description 1
- 239000004677 Nylon Substances 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229920001778 nylon Polymers 0.000 description 1
- 229920000728 polyester Polymers 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000002268 wool Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于光度立体的面料材质识别***及方法。该***包括采集模块、图像处理模块、特征提取模块以及识别模块。其中采集装置在不透光的密封箱中设置了不同方向的光源与摄像机。摄像机通过底端的拍摄窗口采集不同材质面料在不同光源下的图像。图像处理模块根据图像与对应的光线信息，通过光度立体法计算图像的反射率图和法线贴图，输入特征提取模块中通过卷积神经网络进行特征提取，最后使用识别模块对面料的材质进行分类。一种基于光度立体的面料材质识别方法包括图像采集与处理、特征提取与分类识别，该方法利用面料表面凹凸形状信息快速准确地获取面料材质，节省时间与人力。
Description
技术领域
本发明属于数据处理技术领域，涉及人工智能深度学习数据处理方法，特别涉及一种基于光度立体的面料材质识别***及方法。
背景技术
面料材质的识别与分类技术在生产和生活中具有广泛的应用场景，包括机器人设计及工业检测领域。该技术可以提供一种分析面料材质属性的手段，为面料材质的识别与分类提供帮助，提升决策效率。
因为面料图片会受到形状、反射特性、光照以及观察角度等多种因素的影响，从图片中识别面料材质是一件充满挑战性的任务。现有的对面料材质进行识别的方法需要使用多摄像头获取多角度图像，这使得设备较为复杂，使用过程繁琐，由不同摄像头采集的图像还涉及到对应问题，难以实现对多张面料的快速识别。同时，因为面料的材质不止表现在其颜色上，更多表现在其表面的凹凸形状上，面料表面的微观几何形状也包含了对面料识别与分类有用的信息，而目前的识别方法缺乏对这类信息的获取与使用。
发明内容
针对现有技术的不足，本发明提出了一种基于光度立体的面料材质识别***及方法，使用采集模块拍摄多张不同光源下的面料图像，使用识别模块对面料表面的微观几何形状信息进行分析，识别面料材质。
一种基于光度立体的面料材质识别***，包括采集模块、图像处理模块、特征提取模块以及识别模块。
所述采集模块包括不透光的密封箱、摄像机和发光阵列。密封箱的底部开有拍摄口，摄像机和发光阵列固定在密封箱内部。摄像机的拍摄方向对准拍摄口。发光阵列用于提供不同方向的光线。将采集模块紧盖在待识别的面料表面，针对一种面料拍摄多张不同角度光线下的图片，并标注光线方向后，传输给图像处理模块。
作为优选，发光阵列固定在摄像机的摄像头与拍摄口之间，包括多个朝向不同的发光二极管。
作为优选，所述采集模块还包括固定在密封箱内部的微处理器，微处理用于控制发光阵列与摄像机，并将得到的图片与对应的光线方向无线传输到图像处理模块。
所述图像处理模块通过光度立体法，根据同一面料的多张图像与对应的光线方向信息，计算图像内每个像素点的反射率与法线方向，将法线方向汇总后，得到三维形状的反射率图和法线贴图。
所述特征提取模块将图像处理模块得到的反射率图和法线贴图输入卷积神经网络，提取能够反映面料表面三维微观结构的特征向量。识别模块对特征提取模块得到的特征向量进行识别，完成面料的材质分类。
作为优选，所述卷积神经网络为使用公开的预训练参数初始化后的VGG-M模型，VGG-M模型的输入为反射率图和法线贴图，输出为特征向量。
作为优选，所述识别模块包括K个支持向量机，使用一对多的支持向量机方法实现面料的材质分类。其中K为待识别面料的材质种类。
一种基于光度立体的面料材质识别方法，该方法包括以下步骤：
步骤一、图像采集
采集大量的面料图像，将同一面料在同一角度、不同光线方向下的多张图像作为一个样本。根据面料的材质标注样本的标签作为训练集。
作为优选，对同一面料至少采集3张不同光线方向下的图像。
步骤二、图像处理
使用光度立体法，根据训练集中样本的光线方向信息，计算图像内每个像素点的反射率与法线方向，将法线方向汇总后，得到样本三维形状的反射率图和法线贴图。
步骤三、特征提取
将步骤二得到的反射率图和法线贴图输入到VGG-M模型中，VGG-M模型输出对应样本的特征向量。
步骤四、分类训练
针对K种不同标签的样本，使用K个支持向量机进行分类训练。定义1个支持向量机的正类为一种标签，其余标签均为该支持向量机的负类，且K个支持向量机的正类标签不重复。将步骤三得到的特征向量分别输入到K个支持向量机中，将其中分类值最大的支持向量机对应的类别作为样本的分类结果。
步骤五、面料识别
采集无标签、待识别的面料图像，根据步骤二进行处理后输入到VGG-M模型中进行特征提取，再输入到步骤四训练好的K个支持向量机中，得到该面料对应的标签，完成识别。
本发明具有以下有益效果：
本方法中的采集模块，自带光源的密封箱，配合单目摄像头进行拍摄，可以简单快速地获取到待识别面料的多光源图像，为后续的处理模块进行面料材质的识别提供原始图像。相比现有的同类装置，该模块具有造价低、小巧轻便且易于使用的优点，通过简单地将装置抬起并移动，就可以实现装置在待识别面料间的切换；同时密封箱使用不透光的材料，在使用不受外部光源的影响，对使用环境要求也较低，避免了复杂的输入图片要求带来的复杂的装置结构。
附图说明
图1为实施例中采集模块的结构示意图；
图2为实施例中采集模块的拍摄口示意图；
图3为面料材质识别方法流程图。
具体实施方式
以下结合附图对本发明作进一步的解释说明；
一种基于光度立体的面料材质识别***，包括采集模块、图像处理模块、特征提取模块以及识别模块。
如图1所示，所述采集模块包括密封箱、摄像机2、微处理器电路板3和发光阵列5。密封箱由顶端封闭且不透光的方块形外壳1和矩阵底座4组成。方块形外壳1固定在矩形底座4上。摄像机2、微处理3和发光阵列5固定在方块形外壳1内部。如图2所述，矩形底座4的中央设置有拍摄口。摄像机2的拍摄方向正对矩形底座4中央的拍摄窗口。发光阵列5位于摄像机2与拍摄窗口之间。发光阵列5包括四组朝向不同的发光二极管。通过微处理器电路板3控制发光二极管切换亮灭状态，可以为采集模块提供不同方向的光线。将面料平铺在桌面上，将矩形底座4平稳得放置在面料表面，微处理器电路板3控制摄像机3在不同发光二极管亮起时拍摄同一种面料的图片，标注光线方向后，再通过通用总线串行接口将图片传输到计算中，进行后续的图像处理与识别。
光度立体法是计算机视觉领域的一种方法，它使用来自同一视角下的三张或更多张光源不同的图片，来估算图像内每个像素点的反射率与法线方向。所述图像处理模块通过光度立体法，根据采集模块采集的图片与光线信息，计算面料的反射率与法线方向，将法线方向汇总后，得到三维形状的反射率图和法线贴图，反射率图和法线贴图可以反映出面料表面具有的微观集合形状。
所述特征提取模块将图像处理模块得到的反射率图和法线贴图输入卷积神经网络，对面料的三维微观结构进行分析。所述卷积神经网络为VGG-M模型，包括5个卷积层与3个全连接层，模型内部的初始化参数使用公开的VGG-M的预训练参数。模型输出可以表示三维微观结构的特征向量。
识别模块使用一对多的支持向量机方法实现面料的材质分类，包括K个支持向量机，其中K为待识别面料的材质种类。一对多的支持向量机方法在对K个类别进行分类时，会训练K个支持向量机，对于每个支持向量机，正例只有一个类别，其余的K-1个类别均作为负类。K个支持向量机的正类与K个类别一一对应，在使用支持向量机进行预测时，将待预测样本分别输入K个支持向量机，并使用其中分类值最大的支持向量机对应的类别作为样本的分类结果。识别模块对特征提取模块得到的特征向量进行识别，完成面料的材质分类。
如图3所示，一种基于光度立体的面料材质识别方法包括以下步骤：
步骤一、图像采集
采集不同材质面料的图像，将同一面料在同一角度、不同光线方向下的4张图像作为一个样本。根据面料成分标签上的材质标注样本的标签，包括“棉布”、“尼龙”、“羊毛”、“丝绸”和“聚酯纤维”5种。使用不放回的随机抽样法，按3:1的比例将采集的图像分为训练集和测试集。
步骤二、图像处理
使用光度立体法，根据训练集中样本的光线方向信息，计图像内每个像素点的反射率与法线方向，将法线方向汇总后，得到样本三维形状的反射率图和法线贴图。
步骤三、特征提取
将步骤二得到的反射率图和法线贴图输入到VGG-M模型中，VGG-M模型输出对应样本的特征向量。
步骤四、分类训练
针对训练集中5种不同标签的样本，使用5个支持向量机进行分类训练。定义1个支持向量机的正类为一种标签，其余4种标签均为该支持向量机的负类，且5个支持向量机的正类标签不重复。将步骤三得到的特征向量分别输入到5个支持向量机中，将其中分类值最大的支持向量机对应的类别作为样本的分类结果。
步骤五、面料识别
将测试集中的样本，根据步骤二进行处理后输入到VGG-M模型中进行特征提取，再输入到步骤四训练好的K个支持向量机中，得到该面料对应的标签，测试支持向量机的分类性能。
Claims (6)
1.一种基于光度立体的面料材质识别***，其特征在于：包括采集模块、图像处理模块、特征提取模块以及识别模块；
所述采集模块包括不透光的密封箱、摄像机和发光阵列；密封箱的底部设有拍摄口，摄像机和发光阵列固定在密封箱内部；摄像机的拍摄方向对准拍摄口；发光阵列用于提供不同方向的光线；将密封箱的底部紧密、平稳得放置在待识别面料的表面，针对一种面料拍摄多张不同角度光线下的图片，并标注光线方向后，传输给图像处理模块；
所述图像处理模块通过光度立体法，根据同一面料的多张图像与对应的光线方向信息，计算图像内每个像素点的反射率与法线方向，将法线方向汇总后，得到三维形状的反射率图和法线贴图；
所述特征提取模块将图像处理模块得到的反射率图和法线贴图输入卷积神经网络，提取能够反映面料表面三维微观结构的特征向量；识别模块对特征提取模块得到的特征向量进行识别，完成面料的材质分类；
所述采集模块还包括固定在密封箱内部的微处理器，微处理器控制摄像机在发光阵列亮起时拍摄图片，并将得到的图片与对应的光线方向传输到图像处理模块。
2.如权利要求1所述一种基于光度立体的面料材质识别***，其特征在于：发光阵列固定在摄像机的摄像头与拍摄口之间，包括多个朝向不同的发光二极管。
3.如权利要求1所述一种基于光度立体的面料材质识别***，其特征在于：所述卷积神经网络为使用公开的预训练参数初始化后的VGG-M模型；VGG-M模型包括5个卷积层与3个全连接层，输入为反射率图和法线贴图，输出为特征向量。
4.如权利要求1所述一种基于光度立体的面料材质识别***，其特征在于：识别模块使用一对多的方法进行K个支持向量机的训练，以实现面料的材质分类；其中K为待识别面料的材质种类。
5.一种基于光度立体的面料材质识别方法，其特征在于：该方法使用权利要求1～4任一项所述的识别***，包括以下步骤：
步骤一、图像采集
采集大量的面料图像，将同一面料在同一角度、不同光线方向下的多张图像作为一个样本；根据面料的材质标注样本的标签，将样本与标签一一对应后作为训练集；
步骤二、图像处理
使用光度立体法，根据训练集中样本的光线方向信息，计算图像内每个像素点的反射率与法线方向，将法线方向汇总后，得到样本三维形状的反射率图和法线贴图；
步骤三、特征提取
将步骤二得到的反射率图和法线贴图输入到VGG-M模型中，VGG-M模型输出对应样本的特征向量；
步骤四、分类训练
针对K种不同标签的样本，使用K个支持向量机进行分类训练；定义1个支持向量机的正类为一种标签，其余标签均为该支持向量机的负类，且K个支持向量机的正类标签不重复；将步骤三得到的特征向量分别输入到K个支持向量机中，将其中分类值最大的支持向量机对应的类别作为样本的分类结果；
步骤五、面料识别
采集无标签、待识别的面料图像，根据步骤二进行处理后输入到VGG-M模型中进行特征提取，再输入到步骤四训练好的K个支持向量机中，得到该面料对应的标签，完成识别。
6.如权利要求5所述一种基于光度立体的面料材质识别方法，其特征在于：对同一面料至少采集3张不同光线方向下的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111074359.XA CN113743525B (zh) | 2021-09-14 | 2021-09-14 | 一种基于光度立体的面料材质识别***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111074359.XA CN113743525B (zh) | 2021-09-14 | 2021-09-14 | 一种基于光度立体的面料材质识别***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113743525A CN113743525A (zh) | 2021-12-03 |
| CN113743525B true CN113743525B (zh) | 2024-02-13 |
Family
ID=78738692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111074359.XA Active CN113743525B (zh) | 2021-09-14 | 2021-09-14 | 一种基于光度立体的面料材质识别***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113743525B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115130367A (zh) * | 2021-03-12 | 2022-09-30 | 台湾通用纺织科技股份有限公司 | 布片信息数字化***及其方法 |
| CN116740581B (zh) * | 2023-08-16 | 2023-10-27 | 深圳市欢创科技有限公司 | 确定材质识别模型的方法、回到基站的方法及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101069417A (zh) * | 2004-11-30 | 2007-11-07 | 松下电器产业株式会社 | 图像处理方法、图像处理装置、图像处理程序以及图像文件格式 |
| CN102095731A (zh) * | 2010-12-02 | 2011-06-15 | 山东轻工业学院 | 在纸张缺陷视觉检测中识别不同缺陷类型的***及方法 |
| WO2021169209A1 (zh) * | 2020-02-27 | 2021-09-02 | 平安科技（深圳）有限公司 | 一种基于语音及图像特征的异常行为识别方法、装置及设备 |
-
2021
- 2021-09-14 CN CN202111074359.XA patent/CN113743525B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101069417A (zh) * | 2004-11-30 | 2007-11-07 | 松下电器产业株式会社 | 图像处理方法、图像处理装置、图像处理程序以及图像文件格式 |
| CN102095731A (zh) * | 2010-12-02 | 2011-06-15 | 山东轻工业学院 | 在纸张缺陷视觉检测中识别不同缺陷类型的***及方法 |
| WO2021169209A1 (zh) * | 2020-02-27 | 2021-09-02 | 平安科技（深圳）有限公司 | 一种基于语音及图像特征的异常行为识别方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113743525A (zh) | 2021-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113743525B (zh) | 一种基于光度立体的面料材质识别***及方法 | |
| CN111126325B (zh) | 一种基于视频的智能人员安防识别统计方法 | |
| CN105682310B (zh) | 基于图像质量控制的组合照明装置及方法 | |
| US10558844B2 (en) | Lightweight 3D vision camera with intelligent segmentation engine for machine vision and auto identification | |
| WO2021155308A1 (en) | Systems and methods for pose detection and measurement | |
| CN111340798A (zh) | 深度学习在产品外观瑕疵检测中的应用 | |
| US8700498B2 (en) | Feature analyzing apparatus for a surface of an object | |
| CN109284738A (zh) | 不规则人脸矫正方法和*** | |
| WO2021154459A1 (en) | Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images | |
| CN109597337A (zh) | 一种机器视觉智能采集与控制*** | |
| CN112949452B (zh) | 一种基于多任务共享网络的机器人弱光环境抓取检测方法 | |
| US11676366B1 (en) | Methods to detect image features from variably-illuminated images | |
| KR20220164124A (ko) | 딥 러닝 모델에 기반하여 제품의 결함 여부를 유형별로 검사하기 위한 시스템 | |
| WO2023278550A1 (en) | Systems and methods for picking objects using 3-d geometry and segmentation | |
| CN106331454A (zh) | 一种显微镜精密拍照***和拍照方法 | |
| CN111656247B (zh) | 一种细胞图像处理***、方法、自动读片装置与存储介质 | |
| CN115035082A (zh) | 一种基于YOLOv4改进算法的航空器透明件缺陷检测方法 | |
| Du et al. | An automated optical inspection (AOI) platform for three-dimensional (3D) defects detection on glass micro-optical components (GMOC) | |
| Zhao et al. | Edge-cloud collaborative fabric defect detection based on industrial internet architecture | |
| CN117197789A (zh) | 基于多尺度边界特征融合的幕墙框识别方法及*** | |
| Pereira et al. | An Experimental Study of the Accuracy vs Inference Speed of RGB-D Object Recognition in Mobile Robotics | |
| CN114355083A (zh) | 基于人工智能算法的巡检机器人故障识别方法、*** | |
| KR20200103585A (ko) | 딥러닝을 기반으로 한 압흔 검사시스템 및 압흔 검사시스템의 제어 방법 | |
| CN111189836A (zh) | 基于Labview的产品缺陷检测方法 | |
| Batra et al. | A cognitive framework on object recognition and localization for robotic vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |