CN114663712B - 一种基于区域热点事件的服装流行趋势预测方法与*** - Google Patents
一种基于区域热点事件的服装流行趋势预测方法与*** Download PDFInfo
- Publication number
- CN114663712B CN114663712B CN202210537133.7A CN202210537133A CN114663712B CN 114663712 B CN114663712 B CN 114663712B CN 202210537133 A CN202210537133 A CN 202210537133A CN 114663712 B CN114663712 B CN 114663712B
- Authority
- CN
- China
- Prior art keywords
- image
- text information
- clothing
- text
- branch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
- G06Q30/0202—Market predictions or forecasting for commercial activities
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Probability & Statistics with Applications (AREA)
- Game Theory and Decision Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明公开了一种基于区域热点事件的服装流行趋势预测方法与***,所述***包括数据收集单元,数据处理单元,服装分类单元,服装流行趋势预测单元,数据收集单元用于收集文本信息和图像信息,并同时将对应的图像与文本信息进行匹配;数据处理单元用于对收集到的文本信息和相关的图像进行预处理,将没有文本信息的图像送至对应的服装分类单元的A分支,将文本信息的图像送至B分支;服装分类单元用于对收集到的图像进行特征提取,对于相应的元素类别进行分类;服装流行趋势预测单元用于对特定区域热点事件的服装流行趋势进行预测。本发明对特定区域的服装流行趋势进行预测,极大提高了预测的准确率及复杂性,同时可促进智能服装技术领域的发展。
Description
技术领域
本发明属于智能服装技术领域,具体涉及一种基于区域热点事件的服装流行趋势预测方法与***。
背景技术
现代服装发展的一个明显趋势是服装的新旧款式之间的更替越来越快,服装变化的周期也越来越短。追求衣着的流行化已经成为了现代人的显著特征。流行服装反映了大多数人的意愿,它集中表现了某一时期人们的整体精神面貌。人们在特定的时间内对款式、色彩、着装方式的喜爱,以及相互之间的模仿使服装流行成为一种社会现象。研究服装流行趋势,对于引导服装企业的生产、帮助企业降低市场风险、避免生产的盲目性及对减少资源浪费具有积极意义。
近年来,出现了各式各样的服装流行趋势预测***,公开号为“CN108960499A”的中国专利“基于一种融合视觉和非视觉特征的服装流行趋势预测***”是通过服装图像作为模型的输入得到标注,利用流行度评价的***及方法得到当前的流行趋势。该发明能够有效提高服装图像标注的准确性与效率,促进时尚领域服装流行趋势预测的智能化。但是其利用流行度的评价去预测流行趋势的数据不具有很大的真实性,流行预测准确率有待商榷。
因此,现有的技术问题是数据利用率低,预测准确率低,且真实性薄弱。
发明内容
为解决上述问题,本发明提供了一种基于区域热点事件的服装流行趋势预测方法与***。通过收集时间、季节、城市、热点事件、服装流行元素等相关文本信息。区域热点事件中区域表示为全国不同地区的不同城市,热点事件表示为时间信息对应的节日或者特殊事件,例如,2022年2月4号-2月20号是冬奥会事件时间。并通过这些文本信息与图像数据结合,对所有图像进行分类,将分类图像放置在不同的文件夹,构建出对应的服装图像数据集,输入最新的图像和文本数据至流行趋势预测网络,预测出下一个时间段的流行元素信息。
本发明提供的一种基于区域热点事件的服装流行趋势预测方法,包括如下步骤;
Step1,收集关于区域热点事件中相关的文本数据和图像数据,并同时将对应的图像和文本信息进行匹配;
Step2,对收集到的文本信息和图像数据进行预处理,预处理后输入至服装分类网络,没有对应文本信息匹配的图像送至服装分类网络中的A分支,将图像与对应匹配的文本信息送至服装分类网络的B分支;
所述A分支通过对没有文本信息辅助的纯图像数据进行多类别分类,B分支通过对具有文本信息的图像进行多类别分类;
A分支通过图像自助标记***对服装进行分类,利用图像数据训练卷积神经网络模型,通过训练好的网络模型进行服装元素类别分类;
B分支利用基于多模态特征融合与图像注意力机制的多标注分类模型的框架进行多类别分类,具体包括以下子步骤;
S1,对获取到的文本信息进行注意力机制处理;
S2,通过卷积神经网络对图像进行特征提取得到图像特征,并进一步通过通道注意力机制和空间注意力机制处理得到新的图像特征;
S3,基于多模态特征融合将自注意力机制处理后的文本信息和新的图像特征进行融合后,再将多模态融合结果再次与新的图像特征相加,辅助图像进行多类别分类;
将A、B分支得到的分类结果汇总在一起按照时间内容进行排序,作为Step3的信息数据库,并通过目录文件记录图像与文本信息关系,方便Step3对信息数据库的检索;
Step3,将最新的图像和文本数据,以及从Step2中信息数据库中得到的文本信息和图像数据输入至流行趋势预测部分,利用流行趋势预测神经网络对特定区域热点事件的服装流行趋势进行预测。
进一步的,步骤Step1中通过网络爬虫、人工收集、商家提供数据的方式对各大社交媒体网站与购物网站的文本信息和图像信息进行收集,所述相关的文本数据和图像数据包括与时间、季节、城市、热点事件、服装流行元素相关的文本数据和图像数据,运用收集到的文本信息对图像数据进行多类别标注,多类别标注包括时间、季节、城市、热点事件、服装流行元素。
进一步的,A分支的处理过程如下;
首先通过卷积核对一段时间内所收集到的图像进行特征提取,将得到的特征图,先分别进行全局最大池化和平均池化得到只有通道维度的神经元,然后再分别将他们送入2层全连接网络对其降维再升维,再将得到的两个特征相加后通过Sigmoid函数计算每一个维度所占权重得到权重系数,最后,将权重系数与输入的特征相乘得到缩放后的新特征,其中权重系数表达计算式如下所示:
Mc(G)=σ(pMLP(AvgPool(G))+(1-p)MLP(MaxPool(G)))
其中,G为输入的特征图,最后得到的注意力特征图为Mc,MLP表示全连接网络,σ表示Sigmoid操作,AvgPool表示平均池化,MaxPool表示最大池化,p表示概率因子;
再使用激活函数对提取到的特征图进行修正,最后通过分类器对服装进行分类,并将该图像整理到对应的文件存放处。
进一步的,B分支中对获取到的文本信息进行注意力机制处理过程包括文本预处理、编码、注意力三个部分,其步骤如下:
S11:文本预处理部分实现字符串的匹配,去除非文字符号;
S12:编码部分通过编码得到文本信息的特征向量;
S13:注意力部分通过对S12中输出的句子特征进行点积计算得到权重,然后通过Softmax函数对这些权重进行归一化并计算权重系数,最后,将权重系数与句子特征相乘得到新特征,获得文本信息中文本所关注的区域。
进一步的,B分支中通过卷积神经网络对图像进行特征提取,通过通道注意力机制和空间注意力机制得到新的图像特征,其具体实现步骤如下:
S21:将特征先通过通道注意力机制:先分别进行全局最大池化和平均池化得到只有通道维度的神经元,然后再分别将他们送入2层全连接网络对其降维再升维,再将得到的两个特征相加后通过Sigmoid函数计算每一个维度所占权重得到权重系数,最后,将权重系数与输入的特征相乘得到缩放后的新特征;
S22:对得到的新特征添加空间注意力机制:先分别进行全局最大池化和平均池化得到只有通道维度的神经元,再将得到的两个神经元按照通道拼接在一起后通过Softmax函数计算得到权重系数,最后,将权重系数与输入的特征相乘得到缩放后的新的图像特征。
进一步的,B分支中,将自注意力机制处理后的文本信息和新的图像特征输入至Hadamard(哈达玛)积低秩双线性模型中使文本特征与图像特征结合,实现多模态融合;
低秩双线性模型用来降低双线性权重矩阵W i 的秩,将双线性权重矩阵W i 替换为两
个较小的矩阵U i V i T 的乘积,其中,其中M,N表示矩阵的行和
列,且W i 的秩d≤min(N,M),f i 表示为标量输出,计算公式为:
其中z表示单通道输入,z T 表示z的转置,s表示为所有通道,1∈R d 是一个全为1的向量,∘是Hadamard积;其中U T 是U的转置,而对于低秩双线性矢量输出向量f,引入一个池化矩阵P,实现低秩双线模型的池化,计算公式如下:
对于特征图的每个通道用s i 来表示,则对于一个多通道的输入S则是由多个s i 组成的,使用单一的注意力网络将多个通道融合为单个通道,计算公式如下:
其中α代表一个注意力分布,α的定义如下:
其中,softmax为概率函数,为了减少输入通道,引入了多重双线性注意图Ag,公式定义如下:
通过注意力机制与文本特征和图像特征的矩阵乘法,得到文本与图像的特征联合表示向量,公式如下:
将多模态融合的结果与新的图像特征相加,辅助图像进行多标注分类,即将经过注意力机制得到的新的图像特征与通过多模态融合结果进行连接,计算公式如下:
进一步的,Step3的具体实现过程如下;
将最新的图像和文本数据,以及从Step2中信息数据库中得到的文本信息和图像数据输入至服装流行趋势预测神经网络,输入部分表达式为:
其中,服装流行趋势预测神经网络的输入由两部分组成,T 热表示信息数据库中的
文本信息,表示最近时期所收集的与热点事件相关的文本信息,表示最近时期所收
集的与服装流行元素相关的文本信息,I 文本表示输入的文本数据;G 热表示信息数据库中的图
像信息,表示最近时期所收集的与热点事件相关的图像信息,表示最近时期所收集
的与服装流行元素相关的图像信息,I 图像表示输入的图像数据;
将输入数据输入至流行趋势预测神经网络进行预测,流行趋势预测神经网络通过对输入的文本数据进行切词与去除停用词处理后,对其进行特征降维,得到结构化数据后,计算文本特征,最后通过聚类算法输出聚类结果;进一步地,流行趋势预测神经网络通过识别聚类结果,将信息数据库中对应标注内的服装图像与最近时期收集的相关图像输入至网络中,进行相似度比较,将相似度高的图像对应服装标注保留至下一层;最后,通过收集到的与服装流行元素相关的文本信息对来自上一层的服装标注进行加权计算,得到最终的输出结果。
本发明还提供一种基于区域热点事件的服装流行趋势预测***,其特征在于,包括如下单元:
数据收集单元,用于收集各大社交媒体网站和购物网站关于时间、季节、城市、热点事件、服装流行元素相关的文本数据和图像数据,并同时将对应的图像与文本信息进行匹配;
数据处理单元,用于对收集到的文本信息和图像进行预处理,没有对应文本信息匹配的图像送至服装分类单元的A分支,将图像与对应匹配的文本信息送至B分支;
服装分类单元对收集到的图像与文本信息进行特征提取,对相应的元素类别进行分类;
包括A分支和B分支,所述A分支通过对没有文本信息辅助的纯图像数据进行多标注分类,B分支通过对具有文本信息的图像进行多标注分类;
其中,A分支通过图像自助标记***对服装进行分类,利用图像数据训练卷积神经网络模型,通过训练好的网络模型进行服装元素分类;
其中,B分支利用基于多模态特征融合与图像注意力机制的多标注分类模型的框架进行多标注分类,具体包括以下子步骤;
S1,对获取到的文本信息进行注意力机制处理;
S2,通过卷积神经网络对图像进行特征提取得到图像特征,并进一步通过通道注意力机制和空间注意力机制处理得到新的图像特征;
S3,基于多模态特征融合将注意力机制处理后的文本信息和新的图像特征进行融合后,再将多模态融合结果再次与新的图像特征相加,辅助图像进行多标注分类;
将A、B分支得到的分类结果汇总在一起按照时间内容进行排序,作为服装流行预测单元的信息数据库,并通过目录文件记录图像与文本信息关系,方便服装流行预测单元对信息数据库的检索;
服装流行预测单元,用于将最新的图像和文本数据,以及从信息数据库中得到的文本信息和图像数据输入至流行趋势预测部分,利用流行趋势预测神经网络对特定区域热点事件的服装流行趋势进行预测。
相比现有技术,本发明的有益效果:
(1)本发明的服装流行趋势预测网络模型的输入数据采用文本和图像,借助文本信息结合图像数据提高了流行预测的准确率。
(2)本发明使用基于注意力机制提取图像特征,使得网络模型聚焦到有意义的图像特征并充分利用了文本信息,使得分类网络更快更准确。
(3)本发明的服装流行趋势预测网络模型,通过不断地训练网络模型,对模型参数进行修正,提高了流行预测的准确率以及效率。
(4)本发明的***及方法通过将文本信息与图像信息结合,使其达到识别节日、季节、事件等区域热点事件对于服装流行趋势的影响,实现了特定区域热点事件的服装流行趋势预测,真实性强、实时性好。
附图说明
图1为本发明提供的一种基于区域热点事件的服装流行趋势预测方法的流程图;
图2为本发明提供的一种基于区域热点事件的服装流行趋势预测***的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施案例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示,本发明提供的一种基于区域热点事件的服装流行趋势预测方法,包括步骤如下:
Step1,收集关于区域热点事件中相关的文本数据和图像数据,并同时将对应的图像和文本信息进行匹配,对图像数据进行数据清洗、去背景处理;
Step2,对收集到的文本信息和图像数据进行预处理,预处理后输入至服装分类网络,没有对应文本信息匹配的图像送至服装分类网络中的A分支,将图像与对应匹配的文本信息送至服装分类网络中的B分支;
所述A分支通过对没有文本信息辅助的纯图像数据进行类别分类,B分支通过对具有文本信息的图像进行多类别分类。
A分支通过图像自助标记***对服装进行分类,利用图像数据训练卷积神经网络模型,通过训练好的网络模型进行服装元素类别分类;
训练过程中首先通过卷积核对一段时间内所收集到的图像进行特征提取。进一步的通过对上一层得到的特征图,先分别进行全局最大池化和平均池化得到只有通道维度的神经元,然后再分别将他们送入2层全连接网络对其降维再升维,再将得到的两个特征相加后通过Sigmoid函数计算每一个维度所占权重得到权重系数,最后,将权重系数与输入的特征相乘得到缩放后的新特征;其中权重系数计算式如下所示:
Mc(G)=σ(pMLP(AvgPool(G))+(1-p)MLP(MaxPool(G)))
其中,G为输入的特征图,最后得到的注意力特征图为Mc,MLP表示全连接网络,σ表示Sigmoid操作,AvgPool表示平均池化,MaxPool表示最大池化,p表示概率因子;
再使用RELU激活函数对提取到的特征图进行修正,将修正后的特征图送至胶囊网络进一步的对图像特征进行提取,最后对服装进行分类,并将该图像整理到对应的文件存放处。
B分支利用基于多模态特征融合与图像注意力机制的多标注分类模型的框架进行多类别分类,具体包括以下子步骤;
S1,对获取到的文本信息进行注意力机制处理;
S2,通过卷积神经网络对图像进行特征提取,并进一步通过通道注意力机制和空间注意力机制处理得到新的图像特征;
S3,基于多模态融合将自注意力机制处理后的文本信息和新的图像特征进行融合后,再将多模态融合结果再次与新的图像特征相加,辅助图像进行多类别分类;具体过程如下:
所述对获取到的文本信息进行注意力机制处理过程包括文本预处理、编码(文本特征处理)、注意力三个部分,其步骤如下:
S11:文本预处理部分按照事先建立好的分词词典和分词规则库,实现字符串的匹配,从而去除掉标记符号与标点符号等非文字类信息;
S12:编码部分通过滑窗操作将相邻的两个词作为一组进行处理,将文本信息映射到连续的向量;
S13:注意力部分通过对S12中输出的句子特征进行点积计算得到权重,然后通过Softmax函数对这些权重进行归一化并计算权重系数,最后,将权重系数与句子特征相乘得到新特征,获得文本信息中文本所关注的区域。
进一步的,图像通过卷积神经网络进行特征提取,通过卷积核对图像进行特征提取得到特征图,将得到的特征图添加通道注意力机制和空间注意力机制,其步骤如下:
S21:将图像特征先通过通道注意力机制:先分别进行全局最大池化和平均池化得到只有通道维度的神经元,然后再分别将他们送入2层全连接网络对其降维再升维,再将得到的两个特征相加后通过Sigmoid函数计算每一个维度所占权重得到权重系数,最后,将权重系数与输入的特征相乘得到缩放后的新特征。
S22:对新特征添加空间注意力机制:先分别进行全局最大池化和平均池化得到只有通道维度的神经元,再将得到的两个神经元按照通道拼接在一起后通过Softmax函数计算得到权重系数,最后,将权重系数与输入的特征相乘得到缩放后的新的图像特征。
进一步地,再将自注意力机制处理后的文本信息和新的图像特征输入至Hadamard(哈达玛)积低秩双线性模型中使文本特征与图像特征结合,实现多模态融合。
低秩双线性模型用来降低双线性权重矩阵W i 的秩,将双线性权重矩阵W i 替换为两
个较小的矩阵U i V i T 的乘积,其中,其中M,N表示矩阵的行和
列,且W i 的秩d≤min(N,M),f i 表示为标量输出,计算公式为:
其中z表示单通道输入,z T 表示z的转置,s表示为所有通道,1∈R d 是一个全为1的向量,∘是Hadamard积;其中U T 是U的转置,而对于低秩双线性矢量输出向量f,引入一个池化矩阵P,实现低秩双线模型的池化,计算公式如下:
对于特征图的每个通道用s i 来表示,则对于一个多通道的输入S则是由多个s i 组成的,使用单一的注意力网络将多个通道融合为单个通道,计算公式如下:
其中α代表一个注意力分布,α的定义如下:
其中,此处的softmax表示为概率函数,为了减少输入通道,引入了多重双线性注意图Ag,公式定义如下:
通过注意力机制与文本特征和图像特征的矩阵乘法,得到文本与图像的特征联合表示向量,公式如下:
然后将多模态融合的结果与新的图像特征相加,辅助图像进行多标注分类,将经过注意力机制得到的图像特征与通过多模态注意力网络模型输出的特征进行连接。计算公式如下:
将A、B分支得到的分类结果汇总在一起按照时间内容进行排序,作为Step3的信息数据库,并通过目录文件记录图像与文本信息关系,方便Step3对信息数据库的检索;
Step3,将最新的图像和文本数据,以及从Step2中信息数据库中得到的文本信息和图像数据输入至流行趋势预测部分,利用流行趋势预测神经网络对特定区域热点事件的服装流行趋势进行预测。
将最新的图像和文本数据,以及从Step2中信息数据库中得到的文本信息和图像数据输入至服装流行趋势预测神经网络,输入部分表达式为:
其中,服装流行趋势预测神经网络的输入由两部分组成,T 热表示信息数据库中的
文本信息,表示最近时期所收集的与热点事件相关的文本信息,表示最近时期所收
集的与服装流行元素相关的文本信息,I 文本表示输入的文本数据;G 热表示信息数据库中的图
像信息,表示最近时期所收集的与热点事件相关的图像信息,表示最近时期所收集
的与服装流行元素相关的图像信息,I 图像表示输入的图像数据;
将输入数据输入至流行趋势预测神经网络进行预测,流行趋势预测神经网络通过对输入的文本数据进行切词与去除停用词处理后,对其进行特征降维,得到结构化数据后,计算文本特征,最后通过聚类算法输出聚类结果;进一步地,流行趋势预测神经网络通过识别聚类结果,将信息数据库中对应标注内的服装图像与最近时期收集的相关图像输入至网络中,进行相似度比较,将相似度高的图像对应服装标注保留至下一层;最后,通过收集到的与服装流行元素相关的文本信息对来自上一层的服装标注进行加权计算,得到最终的输出结果。
本发明还提供一种基于区域热点事件的服装流行趋势预测***,包括如下单元:
数据收集单元,用于收集各大社交媒体网站和购物网站关于时间、季节、城市、热点事件、服装流行元素相关的文本数据和图像数据,并同时将对应的图像与文本信息进行匹配;
数据处理单元,用于对收集到的文本信息和图像进行预处理,没有对应文本信息匹配的图像送至服装分类单元的A分支,将图像与对应匹配的文本信息送至B分支;
服装分类单元对收集到的图像与文本信息进行特征提取,对相应的元素类别进行分类;
包括A分支和B分支,所述A分支通过对没有文本信息辅助的纯图像数据进行多标注分类,B分支通过对具有文本信息的图像进行多标注分类;
其中,A分支通过图像自助标记***对服装进行分类,利用图像数据训练卷积神经网络模型,通过训练好的网络模型进行服装元素分类;
其中,B分支利用基于多模态特征融合与图像注意力机制的多标注分类模型的框架进行多标注分类,具体包括以下子步骤;
S1,对获取到的文本信息进行注意力机制处理;
S2,通过卷积神经网络对图像进行特征提取得到图像特征,并进一步通过通道注意力机制和空间注意力机制处理得到新的图像特征;
S3,基于多模态特征融合将注意力机制处理后的文本信息和新的图像特征进行融合后,再将多模态融合结果再次与新的图像特征相加,辅助图像进行多标注分类;
将A、B分支得到的分类结果汇总在一起按照时间内容进行排序,作为服装流行预测单元的信息数据库,并通过目录文件记录图像与文本信息关系,方便服装流行预测单元对信息数据库的检索;
服装流行预测单元,用于将最新的图像和文本数据,以及从信息数据库中得到的文本信息和图像数据输入至流行趋势预测部分,利用流行趋势预测神经网络对特定区域热点事件的服装流行趋势进行预测。
优选的方案中,数据收集单元通过网络爬虫、人工收集等方式对各大社交媒体网站与购物网站的文本信息和图像信息进行收集,所述相关的文本数据和图像数据包括时间、季节、城市、热点事件、服装流行元素相关的文本数据和图像数据,其中社交媒体网站包括博客、Facebook、微博、小红书,购物网站包括亚马逊-网上购物商城(amazon.com)、淘宝网(taobao.com)、唯品会(vip.com)以及京东商城(jd.com),流行信息获取来源包括:国际流行委员会、时装周、各预测平台。
优选的方案中,数据处理单元通过运用收集到的文本信息对图像数据进行标注,包括:时间、季节、城市、热点事件、服装流行元素等,时间例如:国庆节、建军节、儿童节、妇女节等节日;季节例如:春、夏、秋、冬;城市例如:合肥、武汉、北京等;服装流行元素标注例如:款式(斗篷外套、雪纺衬衣、羊毛衫等)、颜色(红、橙、黄等)、风格(职业风、迷彩风、运动风等);热点事件例如冬奥会、残奥会等重要事件。
可选地,所述服装分类单元中,A分支利用卷积神经网络例如VGG、GoogLeNet、ResNet50,DenseNet、EfficientNet等用于特征提取,经过卷积、池化操作,运用激活函数对其输出进行修正,用分类器进行分类。
优选的方案中,所述服装分类单元B分支中对获取到的文本信息进行注意力机制处理,其中编码部分通过将文本信息映射为向量,可选地方法有one-hot编码、tf-idf、n-gram模型。
可选地,A分支和B分支中所用的激活函数例如Relu、Sigmoid、Tanh等。
可选地,A分支和B分支中所用的分类器包括SVM分类器、贝叶斯分类器、softmax等,B分支中将表示待分类的组合特征输入到分类器中即可得到分类结果。
如图2所示,数据收集单元通过网络爬虫、人工收集、商家提供数据等方式对各大社交媒体网站与购物网站的文本信息和图像信息进行收集,通过“网络爬虫”技术对图像进行爬取的同时,自动生成服装信息目录文件,该服装信息目录包括了服装图像的时间、季节、城市、热点事件、服装流行信息等信息,图像处理模块对于“网络爬虫”没有收集到的标注进行手动标注,并将其送入服装信息目录文件,相关的文本数据和图像数据包括时间、季节、城市、热点事件、服装流行信息的文本数据和图像数据,其中社交媒体网站包括博客、Facebook、微博、小红书,购物网站包括亚马逊-网上购物商城(amazon.com)、淘宝网(taobao.com)、唯品会(vip.com)以及京东商城(jd.com)。爬取的具体文本信息包括时间例如:国庆节、建军节、儿童节、妇女节等;季节例如:春、夏、秋、冬;城市例如:合肥、武汉、北京等;服装流程元素标注例如:款式(斗篷外套、雪纺衬衣、羊毛衫等)、颜色(红、橙、黄等)、风格(职业风、迷彩风、运动风等);热点事件例如冬奥会、残奥会等重要事件。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于区域热点事件的服装流行趋势预测方法,其特征在于,包括如下步骤;
Step1,收集关于区域热点事件中相关的文本数据和图像数据,并同时将对应的图像和文本信息进行匹配;
Step2,对收集到的文本信息和图像数据进行预处理,预处理后输入至服装分类网络,没有对应文本信息匹配的图像送至服装分类网络中的A分支,将图像与对应匹配的文本信息送至服装分类网络的B分支;
所述A分支通过对没有文本信息辅助的纯图像数据进行多类别分类,B分支通过对具有文本信息的图像进行多类别分类;
A分支通过图像自助标记***对服装进行分类,利用图像数据训练卷积神经网络模型,通过训练好的网络模型进行服装元素类别分类;
B分支利用基于多模态特征融合与图像注意力机制的多标注分类模型的框架进行多类别分类,具体包括以下子步骤;
S1,对获取到的文本信息进行注意力机制处理;
S2,通过卷积神经网络对图像进行特征提取得到图像特征,并进一步通过通道注意力机制和空间注意力机制处理得到新的图像特征;
S3,基于多模态特征融合将自注意力机制处理后的文本信息和新的图像特征进行融合后,再将多模态融合结果再次与新的图像特征相加,辅助图像进行多类别分类;
将A、B分支得到的分类结果汇总在一起按照时间内容进行排序,作为Step3的信息数据库,并通过目录文件记录图像与文本信息关系,方便Step3对信息数据库的检索;
Step3,将最新的图像和文本数据,以及从Step2中信息数据库中得到的文本信息和图像数据输入至流行趋势预测部分,利用流行趋势预测神经网络对特定区域热点事件的服装流行趋势进行预测。
2.如权利要求1所述的一种基于区域热点事件的服装流行趋势预测方法,其特征在于:步骤Step1中通过网络爬虫、人工收集、商家提供数据的方式对各大社交媒体网站与购物网站的文本信息和图像信息进行收集,所述相关的文本数据和图像数据包括与时间、季节、城市、热点事件、服装流行元素相关的文本数据和图像数据,运用收集到的文本信息对图像数据进行多类别标注,多类别标注包括时间、季节、城市、热点事件、服装流行元素。
3.如权利要求1所述的一种基于区域热点事件的服装流行趋势预测方法,其特征在于:A分支的处理过程如下;
首先通过卷积核对一段时间内所收集到的图像进行特征提取,将得到的特征图,先分别进行全局最大池化和平均池化得到只有通道维度的神经元,然后再分别将他们送入2层全连接网络对其降维再升维,再将得到的两个特征相加后通过Sigmoid函数计算每一个维度所占权重得到权重系数,最后,将权重系数与输入的特征相乘得到缩放后的新特征,其中权重系数表达计算式如下所示:
Mc(G)=σ(pMLP(AvgPool(G))+(1-p)MLP(MaxPool(G)))
其中,G为输入的特征图,最后得到的注意力特征图为Mc,MLP表示全连接网络,σ表示Sigmoid操作,AvgPool表示平均池化,MaxPool表示最大池化,p表示概率因子;
再使用激活函数对提取到的特征图进行修正,最后通过分类器对服装进行分类,并将该图像整理到对应的文件存放处。
4.如权利要求1所述的一种基于区域热点事件的服装流行趋势预测方法,其特征在于:B分支中对获取到的文本信息进行注意力机制处理过程包括文本预处理、编码、注意力三个部分,其步骤如下:
S11:文本预处理部分实现字符串的匹配,去除非文字符号;
S12:编码部分通过编码得到文本信息的特征向量;
S13:注意力部分通过对S12中输出的句子特征进行点积计算得到权重,然后通过Softmax函数对这些权重进行归一化并计算权重系数,最后,将权重系数与句子特征相乘得到新特征,获得文本信息中文本所关注的区域。
5.如权利要求1所述的一种基于区域热点事件的服装流行趋势预测方法,其特征在于:B分支中通过卷积神经网络对图像进行特征提取,通过通道注意力机制和空间注意力机制得到新的图像特征,其具体实现步骤如下:
S21:将特征先通过通道注意力机制:先分别进行全局最大池化和平均池化得到只有通道维度的神经元,然后再分别将他们送入2层全连接网络对其降维再升维,再将得到的两个特征相加后通过Sigmoid函数计算每一个维度所占权重得到权重系数,最后,将权重系数与输入的特征相乘得到缩放后的新特征;
S22:对得到的新特征添加空间注意力机制:先分别进行全局最大池化和平均池化得到只有通道维度的神经元,再将得到的两个神经元按照通道拼接在一起后通过Softmax函数计算得到权重系数,最后,将权重系数与输入的特征相乘得到缩放后的新的图像特征。
6.如权利要求1所述的一种基于区域热点事件的服装流行趋势预测方法,其特征在于:B分支中,将自注意力机制处理后的文本信息和新的图像特征输入至Hadamard积低秩双线性模型中使文本特征与图像特征结合,实现多模态融合;
低秩双线性模型用来降低双线性权重矩阵W i 的秩,将双线性权重矩阵W i 替换为两个较
小的矩阵U i V i T 的乘积,其中,其中M,N表示矩阵
的行和列,且W i 的秩d≤min(N,M),f i 表示为标量输出,计算公式为:
其中z表示单通道输入,z T 表示z的转置,s表示为所有通道,1∈R d 是一个全为1的向量,∘是Hadamard积;其中U T 是U的转置,而对于低秩双线性矢量输出向量f,引入一个池化矩阵P,实现低秩双线模型的池化,计算公式如下:
对于特征图的每个通道用s i 来表示,则对于一个多通道的输入S则是由多个s i 组成的,使用单一的注意力网络将多个通道融合为单个通道,计算公式如下:
其中α代表一个注意力分布,α的定义如下:
其中,softmax为概率函数,为了减少输入通道,引入了多重双线性注意图Ag,公式定义如下:
通过注意力机制与文本特征和图像特征的矩阵乘法,得到文本与图像的特征联合表示向量,公式如下:
将多模态融合的结果与新的图像特征相加,辅助图像进行多标注分类,即将经过注意力机制得到的新的图像特征与通过多模态融合结果进行连接,计算公式如下:
7.如权利要求1所述的一种基于区域热点事件的服装流行趋势预测方法,其特征在于:Step3的具体实现过程如下;
将最新的图像和文本数据,以及从Step2中信息数据库中得到的文本信息和图像数据输入至服装流行趋势预测神经网络,输入部分表达式为:
其中,服装流行趋势预测神经网络的输入由两部分组成,T 热表示信息数据库中的文本
信息,表示最近时期所收集的与热点事件相关的文本信息,表示最近时期所收集
的与服装流行元素相关的文本信息,I 文本表示输入的文本数据;G 热表示信息数据库中的图像
信息,表示最近时期所收集的与热点事件相关的图像信息,表示最近时期所收集
的与服装流行元素相关的图像信息,I 图像表示输入的图像数据;
将输入数据输入至流行趋势预测神经网络进行预测,流行趋势预测神经网络通过对输入的文本数据进行切词与去除停用词处理后,对其进行特征降维,得到结构化数据后,计算文本特征,最后通过聚类算法输出聚类结果;进一步地,流行趋势预测神经网络通过识别聚类结果,将信息数据库中对应标注内的服装图像与最近时期收集的相关图像输入至网络中,进行相似度比较,将相似度高的图像对应服装标注保留至下一层;最后,通过收集到的与服装流行元素相关的文本信息对来自上一层的服装标注进行加权计算,得到最终的输出结果。
8.一种基于区域热点事件的服装流行趋势预测***,其特征在于,包括如下单元:
数据收集单元,用于收集各大社交媒体网站和购物网站关于时间、季节、城市、热点事件、服装流行元素相关的文本数据和图像数据,并同时将对应的图像与文本信息进行匹配;
数据处理单元,用于对收集到的文本信息和图像进行预处理,没有对应文本信息匹配的图像送至服装分类单元的A分支,将图像与对应匹配的文本信息送至B分支;
服装分类单元对收集到的图像与文本信息进行特征提取,对相应的元素类别进行分类;
包括A分支和B分支,所述A分支通过对没有文本信息辅助的纯图像数据进行多标注分类,B分支通过对具有文本信息的图像进行多标注分类;
其中,A分支通过图像自助标记***对服装进行分类,利用图像数据训练卷积神经网络模型,通过训练好的网络模型进行服装元素分类;
其中,B分支利用基于多模态特征融合与图像注意力机制的多标注分类模型的框架进行多标注分类,具体包括以下子步骤;
S1,对获取到的文本信息进行注意力机制处理;
S2,通过卷积神经网络对图像进行特征提取得到图像特征,并进一步通过通道注意力机制和空间注意力机制处理得到新的图像特征;
S3,基于多模态特征融合将注意力机制处理后的文本信息和新的图像特征进行融合后,再将多模态融合结果再次与新的图像特征相加,辅助图像进行多标注分类;
将A、B分支得到的分类结果汇总在一起按照时间内容进行排序,作为服装流行预测单元的信息数据库,并通过目录文件记录图像与文本信息关系,方便服装流行预测单元对信息数据库的检索;
服装流行预测单元,用于将最新的图像和文本数据,以及从信息数据库中得到的文本信息和图像数据输入至流行趋势预测部分,利用流行趋势预测神经网络对特定区域热点事件的服装流行趋势进行预测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210537133.7A CN114663712B (zh) | 2022-05-18 | 2022-05-18 | 一种基于区域热点事件的服装流行趋势预测方法与*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210537133.7A CN114663712B (zh) | 2022-05-18 | 2022-05-18 | 一种基于区域热点事件的服装流行趋势预测方法与*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114663712A CN114663712A (zh) | 2022-06-24 |
CN114663712B true CN114663712B (zh) | 2022-08-16 |
Family
ID=82037979
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210537133.7A Active CN114663712B (zh) | 2022-05-18 | 2022-05-18 | 一种基于区域热点事件的服装流行趋势预测方法与*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114663712B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108960499A (zh) * | 2018-06-27 | 2018-12-07 | 东华大学 | 一种融合视觉和非视觉特征的服装流行趋势预测*** |
CN110472002A (zh) * | 2019-08-14 | 2019-11-19 | 腾讯科技(深圳)有限公司 | 一种文本相似度获取方法和装置 |
CN110705755A (zh) * | 2019-09-07 | 2020-01-17 | 创新奇智(广州)科技有限公司 | 一种基于深度学习的服装流行趋势预测方法与装置 |
CN113298616A (zh) * | 2021-05-19 | 2021-08-24 | 浙江外国语学院 | 一种基于特征融合的成对服装兼容性预测方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011152844A1 (en) * | 2010-06-01 | 2011-12-08 | Hewlett-Packard Development Company, L.P. | Image clustering using a personal clothing model |
US11544510B2 (en) * | 2019-07-11 | 2023-01-03 | Comscore, Inc. | System and method for multi-modal image classification |
-
2022
- 2022-05-18 CN CN202210537133.7A patent/CN114663712B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108960499A (zh) * | 2018-06-27 | 2018-12-07 | 东华大学 | 一种融合视觉和非视觉特征的服装流行趋势预测*** |
CN110472002A (zh) * | 2019-08-14 | 2019-11-19 | 腾讯科技(深圳)有限公司 | 一种文本相似度获取方法和装置 |
CN110705755A (zh) * | 2019-09-07 | 2020-01-17 | 创新奇智(广州)科技有限公司 | 一种基于深度学习的服装流行趋势预测方法与装置 |
CN113298616A (zh) * | 2021-05-19 | 2021-08-24 | 浙江外国语学院 | 一种基于特征融合的成对服装兼容性预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114663712A (zh) | 2022-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Interactive attention transfer network for cross-domain sentiment classification | |
CN110852368B (zh) | 全局与局部特征嵌入及图文融合的情感分析方法与*** | |
Wen et al. | Ensemble of deep neural networks with probability-based fusion for facial expression recognition | |
Chen et al. | A deep learning framework for time series classification using Relative Position Matrix and Convolutional Neural Network | |
CN109766524B (zh) | 一种并购重组类公告信息抽取方法及*** | |
CN111639544B (zh) | 基于多分支跨连接卷积神经网络的表情识别方法 | |
Zhao et al. | Multilevel triplet deep learning model for person re-identification | |
CN108427670A (zh) | 一种基于语境词向量和深度学习的情感分析方法 | |
CN107391483A (zh) | 一种基于卷积神经网络的商品评论数据情感分类方法 | |
Zeng et al. | Multi-task learning via co-attentive sharing for pedestrian attribute recognition | |
Wang et al. | Deep cascaded cross-modal correlation learning for fine-grained sketch-based image retrieval | |
CN110287952A (zh) | 一种维语图片字符的识别方法及*** | |
Li et al. | Weaklier supervised semantic segmentation with only one image level annotation per category | |
Islam et al. | A CNN based approach for garments texture design classification | |
CN107862322A (zh) | 结合图片和文本进行图片属性分类的方法、装置及*** | |
CN110110724A (zh) | 基于指数型挤压函数驱动胶囊神经网络的文本验证码识别方法 | |
Thom et al. | Facial attribute recognition: A survey | |
Qiao et al. | Mutual-enhanced incongruity learning network for multi-modal sarcasm detection | |
Zhao et al. | An end-to-end framework for clothing collocation based on semantic feature fusion | |
Basri et al. | Bangla handwritten digit recognition using deep convolutional neural network | |
CN115439884A (zh) | 一种基于双分支自注意力网络的行人属性识别方法 | |
Chun et al. | A novel clothing attribute representation network-based self-attention mechanism | |
CN115187910A (zh) | 视频分类模型训练方法、装置、电子设备及存储介质 | |
Intasuwan et al. | Text and object detection on billboards | |
CN109582946A (zh) | 文字区域排版方向的确定方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |