CN113642679B - 多种类数据识别方法 - Google Patents
多种类数据识别方法 Download PDFInfo
- Publication number
- CN113642679B CN113642679B CN202111190736.6A CN202111190736A CN113642679B CN 113642679 B CN113642679 B CN 113642679B CN 202111190736 A CN202111190736 A CN 202111190736A CN 113642679 B CN113642679 B CN 113642679B
- Authority
- CN
- China
- Prior art keywords
- data
- identification
- types
- identifiers
- identifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000008569 process Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000006798 recombination Effects 0.000 claims description 10
- 238000005215 recombination Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000005070 sampling Methods 0.000 description 10
- 238000003062 neural network model Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及数据识别技术领域,具体涉及一种多种类数据识别方法,通过设置多个不同种类的数据类别池以及建立多个不同种类的数据识别器,来对数据进行判断和识别,以实现对多种类的数据混合组成的待识别数据的识别,相较于传统技术,其不通过单一的神经网络训练和识别模型来进行识别,而是基于多识别器的组合来进行识别,提升了识别的准确率,同时在识别过程中,有两个识别过程,粗识别首先找出数据中混合有多种类数据的部分,再使用组合的识别器进行细识别,保证了识别的效率,提升了识别的准确率。
Description
技术领域
本发明属于数据识别技术领域,具体涉及多种类数据识别方法。
背景技术
随着科技的进步和大数据时代的到来,人们可以访问获取的数据和信息资源呈现出***式的增长,互联网上每天都诞生海量的文字、图像、音视频等数据和信息。为了有效地组织、查询和浏览如此大规模的数据和信息,需要对这些数据和信息进行分类,进而进行管理。为此,数据识别技术应运而生。
数据识别技术的自动化已经通过神经网络模型实现。其中,在经过大量训练之后的处理器实现的神经网络模型,可提供在输入模式与输出模式之间直观的映射。产生这种映射的训练能力被称为神经网络的学习能力。由于通过专门训练,神经网络会具有泛化能力,该能力会使可能尚未被针对训练的输入模式生成相对准确的输出。然而,因为这样的操作或应用在执行时,是通过专门的计算架构、并且以在非计算机实现或非自动化方法中被执行方式不同的自动化方式来执行,所以也产生了问题或缺陷,所述问题或缺陷一般在实现自动化和构建专用计算架构方式中发生。
专利号为CN110799995A的专利公开了数据识别器训练方法、数据识别器训练装置、程序及训练方法,其实现了在GAN中的识别器的训练的稳定化学习。数据识别器训练方法训练数据识别器,该数据识别器具备识别正确答案数据和伪数据的神经网络模型,其中,具备如下步骤:将前述正确答案数据输入前述数据识别器,取得第一预测结果;将前述伪数据输入前述数据识别器,取得第二预测结果;基于取得的前述第一预测结果以及取得的前述第二预测结果算出误差;基于前述误差和前述神经网络模型的各层权重矩阵的奇异值更新前述权重矩阵。
其依然通神经网络训练数据识别器来进行数据识别,但由于该识别方法在进行多种类数据识别时,往往会由于本身的缺陷,导致数据识别准确率降低。同时,由于多种类数据识别过程中,使用单一的模型判断器,往往会产生针对某一种类数据无法识别的问题。
发明内容
有鉴于此,本发明的主要目的在于提供多种类数据识别方法,相较于传统技术,其不通过单一的神经网络训练和识别模型来进行识别,而是基于多识别器的组合来进行识别,提升了识别的准确率,同时在识别过程中,有两个识别过程,粗识别首先找出数据中混合有多种类数据的部分,再使用组合的识别器进行细识别,保证了识别的效率,提升了识别的准确率。
为达到上述目的,本发明的技术方案是这样实现的:
多种类数据识别方法,所述方法执行以下步骤:
步骤1:设置多个不同种类的数据类别池,所述数据类别池的数量与数据种类相等;建立多个不同种类的数据识别器,所述数据识别器的数量与数据种类相等;
步骤2:进行数据粗识别,具体包括:分别使用每个数据识别器对待识别数据进行数据识别,在识别过程中,将包含有与当前数据识别器所对应的种类相同的数据筛选出来,并填充进入所对应的相同种类的数据类别池中;当所有的数据识别器都完成数据识别后,将有数据填充的数据池进行池交叉对比;
步骤3:进行数据池交叉对比,具体包括:将所有有数据填充的数据池均分别视为一个集合,然后进行集合的交集运算,找到每个数据池中与其他数据池的交集部分;
步骤4:进行数据识别器的调整,具体包括:基于交集部分所对应的数据池的种类,将数据识别器进行组合或调整,以生成对交集部分进行数据识别的细数据识别器;
步骤5:进行数据细识别,完成数据细识别,具体包括:将数据池交叉对比后,将得到的所有的交集部分提取出来,再分别使用每个细数据识别器进行识别,将交集部分的数据划分为多个数据分组,每个数据分组中只包含一个种类的数据;
步骤6:进行数据重新组合,完成数据识别,具体包括:将数据细识别得到的多个数据分组分别与对应种类的数据进行数据重新组合,完成数据识别。
进一步的,所述数据类别池的种类至少包括:图像数据类别池、文字数据类别池和声音数据类别池;所述数据识别器的种类至少包括:图像数据识别器、文字数据识别器和声音数据识别器。
进一步的,所述图像数据识别器使用如下公式表示:;
其中,为待识别数据的数据头标识,取值为1~3;为待识别数据的个数;为计算得到
的图像数据识别值;为待识别数据中某个数据出现的概率;为待识别数据中某个数据
的位数;为待识别数据中某个数据对应的数据矩阵的某个点的纵坐标值;为待识别
数据中某个数据对应的数据矩阵的某个点的横坐标值;为梯度函数;当计算得到的图像
数据识别值在设定的图像识别阈值范围内时,则判断图像数据识别器识别的数据为图像数
据。
进一步的,所述文字数据识别器使用如下公式表示:;
其中,为调整系数,取值范围为:20~50;为计算得到的文字数据识别值,当计算得到的
文字数据识别值在设定的文字识别阈值范围内时,则判断文字数据识别器识别的数据为文
字数据。
进一步的,所述声音数据识别器使用如下公式表示:;
其中,为调整系数,取值范围为:1~5;为计算得到的声音数据识别值,当计算得到的声
音数据识别值在设定的声音识别阈值范围内时,则判断声音数据识别器识别的数据为声音
数据。
进一步的,所述步骤4中基于交集部分所对应的数据池的种类,将数据识别器进行组合或调整,以生成对交集部分进行数据识别的细数据识别器的方法包括:当交集部分对应的数据池的种类的数量等于数据识别器的种类的数量时,则将所有的数据识别器进行组合,得到细数据识别器;当交集部分对应的数据池的种类的数量小于数据识别器的种类的数量时,则将从所有的数据识别器中筛选出与交集部分所对应的数据池的种类的数量相等的数据识别器进行组合,得到细数据识别器,同时筛选出的数据识别器的种类与交集部分对应的数据池的种类一一对应。
进一步的,所述步骤6中进行数据重新组合,完成数据识别的方法包括:提取数据的数据头,在数据头中找到数据的时间标识,基于找到的时间标识,按照时间先后顺序,将数据进行组合。
进一步的,所述当交集部分对应的数据池的种类的数量等于数据识别器的种类的数量时,则将所有的数据识别器进行组合,得到细数据识别器的方法包括:将所有的数据识别器进行并联,在对数据进行识别时,所有的数据识别器并行工作。
进一步的,所述当交集部分对应的数据池的种类的数量小于数据识别器的种类的数量时,则将从所有的数据识别器中筛选出与交集部分所对应的数据池的种类的数量相等的数据识别器进行组合,得到细数据识别器的方法包括:将筛选出的数据识别器进行并联,在对数据进行识别时,所有的数据识别器并行工作。
一种多种类数据识别装置。
本发明的多种类数据识别方法,相较于传统技术,其不通过单一的神经网络训练和识别模型来进行识别,而是基于多识别器的组合来进行识别,提升了识别的准确率,同时在识别过程中,有两个识别过程,粗识别首先找出数据中混合有多种类数据的部分,再使用组合的识别器进行细识别,保证了识别的效率,提升了识别的准确率。主要通过以下过程实现:
1.多种类数据的识别:本发明在对数据进行识别时,不仅能识别单一种类的数据,还能对多种类数据的混合数据进行识别,采用多个不同种类的数据识别器,实现了数据识别的多样化,提升了数据识别的适用广度;
2.粗识别以提升效率:本发明在进行数据识别时,先使用粗识别来找到混合数据中的混合部分,所谓混合部分即存在多种类数据的部分,这些部分的数据识别往往难度较大,相较于单一数据的部分,其识别所需要的资源也更多,因此单独筛选出来进行识别,可以减少***资源的浪费,因为如果对整个数据都使用多种类的数据识别器进行识别,势必降低数据识别的效率,而对整个数据都使用单一的数据识别器,又无法达到效果,倘若加入一个判断器,在识别过程中,一边识别一边判断是否使用多种类识别器,也需要耗费大量***资源,因此本发明加入粗识别过程,以提升识别的效率;
3.细识别以提升准确率:本发明在进行数据识别时,针对混合部分使用细识别方法,将建立的多个数据识别器组合后进行识别,这样可以提升识别的准确率;同时本发明在提升准确率方面还加入了数据识别器的针对性,对不同的数据使用不同的识别器,而使用的算法和现有技术都完全不同,这些算法都基于数据矩阵且加入了数据头的影响,相较于现有技术,虽然单一的数据识别器的准确率降低了,但本发明将多个数据识别器进行联用又避免了这个问题,进一步在提升效率的基础上,保证了准确率。
附图说明
图1为本发明实施例提供的多种类数据识别方法的方法流程示意图;
图2为本发明实施例提供的多种类数据识别方法的数据分解的原理示意图;
图3为本发明实施例提供的多种类数据识别方法的数据重新组合的原理示意图;
图4为本发明实施例提供的多种类数据识别方法的识别误差率随着实验次数变化的曲线示意图与现有技术的对比实验效果示意图。
具体实施方式
下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。
实施例1
如图1所示,多种类数据识别方法,所述方法执行以下步骤:
步骤1:设置多个不同种类的数据类别池,所述数据类别池的数量与数据种类相等;建立多个不同种类的数据识别器,所述数据识别器的数量与数据种类相等;
步骤2:进行数据粗识别,具体包括:分别使用每个数据识别器对待识别数据进行数据识别,在识别过程中,将包含有与当前数据识别器所对应的种类相同的数据筛选出来,并填充进入所对应的相同种类的数据类别池中;当所有的数据识别器都完成数据识别后,将有数据填充的数据池进行池交叉对比;
步骤3:进行数据池交叉对比,具体包括:将所有有数据填充的数据池均分别视为一个集合,然后进行集合的交集运算,找到每个数据池中与其他数据池的交集部分;
步骤4:进行数据识别器的调整,具体包括:基于交集部分所对应的数据池的种类,将数据识别器进行组合或调整,以生成对交集部分进行数据识别的细数据识别器;
步骤5:进行数据细识别,完成数据细识别,具体包括:将数据池交叉对比后,将得到的所有的交集部分提取出来,再分别使用每个细数据识别器进行识别,将交集部分的数据划分为多个数据分组,每个数据分组中只包含一个种类的数据;
步骤6:进行数据重新组合,完成数据识别,具体包括:将数据细识别得到的多个数据分组分别与对应种类的数据进行数据重新组合,完成数据识别。
采用上述技术方案,相较于传统技术,其不通过单一的神经网络训练和识别模型来进行识别,而是基于多识别器的组合来进行识别,提升了识别的准确率,同时在识别过程中,有两个识别过程,粗识别首先找出数据中混合有多种类数据的部分,再使用组合的识别器进行细识别,保证了识别的效率,提升了识别的准确率。主要通过以下过程实现:
1.多种类数据的识别:本发明在对数据进行识别时,不仅能识别单一种类的数据,还能对多种类数据的混合数据进行识别,采用多个不同种类的数据识别器,实现了数据识别的多样化,提升了数据识别的适用广度;
2.粗识别以提升效率:本发明在进行数据识别时,先使用粗识别来找到混合数据中的混合部分,所谓混合部分即存在多种类数据的部分,这些部分的数据识别往往难度较大,相较于单一数据的部分,其识别所需要的资源也更多,因此单独筛选出来进行识别,可以减少***资源的浪费,因为如果对整个数据都使用多种类的数据识别器进行识别,势必降低数据识别的效率,而对整个数据都使用单一的数据识别器,又无法达到效果,倘若加入一个判断器,在识别过程中,一边识别一边判断是否使用多种类识别器,也需要耗费大量***资源,因此本发明加入粗识别过程,以提升识别的效率;
3.细识别以提升准确率:本发明在进行数据识别时,针对混合部分使用细识别方法,将建立的多个数据识别器组合后进行识别,这样可以提升识别的准确率;同时本发明在提升准确率方面还加入了数据识别器的针对性,对不同的数据使用不同的识别器,而使用的算法和现有技术都完全不同,这些算法都基于数据矩阵且加入了数据头的影响,相较于现有技术,虽然单一的数据识别器的准确率降低了,但本发明将多个数据识别器进行联用又避免了这个问题,进一步在提升效率的基础上,保证了准确率。
具体的,本发明中的数据识别器均使用基于深度学习的神经网络架构构建的数据识别器来实现。
更进一步的,在深度学习中,包括但不限于使用以下两种方法来训练神经网络。
深度信任网络模型,即贝叶斯概率生成模型,由多层随机隐变量组成,上面的两层具有无向对称连接,下面的层得到来自上一层的自顶向下的有向连接,最底层单元的状态为可见输入数据向量。由若2F结构单元堆栈组成,结构单元通常为RBM(RestIlctedBoltzmann Machine,受限玻尔兹曼机)。堆栈中每个RBM单元的可视层神经元数量等于前一RBM单元的隐层神经元数量。根据深度学习机制,采用输入样例训练第一层RBM单元,并利用其输出训练第二层RBM模型,将RBM模型进行堆栈通过增加层来改善模型性能。在无监督预训练过程中,DBN编码输入到顶层RBM后,解码顶层的状态到最底层的单元,实现输入的重构。RBM作为DBN的结构单元,与每一层DBN共享参数。
受视觉***的结构启发而产生的卷积神经网络模型。其基于神经元之间的局部连接和分层组织图像转换,将有相同参数的神经元应用于前一层神经网络的不同位置,得到一种平移不变神经网络结构形式。同时,用误差梯度设计并训练卷积神经网络,将能显著本发明的准确率。
同时,数据识别器在进行识别时,往往需要经过检测和识别两个阶段。在本发明中的检测阶段,使用现有技术中的目标检测算法可以实现,例如:SSD,YOLO V1,YOLO V2,YOLOV3,Fast RCNN,Faster RCNN,RCNN。
实施例2
在上一实施例的基础上,所述数据类别池的种类至少包括:图像数据类别池、文字数据类别池和声音数据类别池;所述数据识别器的种类至少包括:图像数据识别器、文字数据识别器和声音数据识别器。
具体的,数据分类调研分析的基础是数据,而数据的类型可以分为连续性的变量和分类变量。数据分类就是把具有某种共同属性或特征的数据归并在一起,通过其类别的属性或特征来对数据进行区别。换句话说,就是相同内容、相同性质的信息以及要求统一管理的信息集合在一起,而把相异的和需要分别管理的信息区分开来,然后确定各个集合之间的关系,形成一个有条理的分类***。
为了实现数据共享和提高处理效率,必须遵循约定的分类原则和方法,按照信息的内涵、性质及管理的要求,将***内所有信息按一定的结构体系分为不同的集合,从而使得每个信息在相应的分类体系中都有一个对应位置。换句话说,就是相同内容、相同性质的信息以及要求统一管理的信息集合在一起,而把相异的和需要分别管理的信息区分开来,然后确定各个集合之间的关系,形成一个有条理的分类***。
实施例3
在上一实施例的基础上,所述图像数据识别器使用如下公式表示:;其中,为待识别数据的数据头标识,取值为1
~3;为待识别数据的个数;为计算得到的图像数据识别值;为待识别数据中某个数
据出现的概率;为待识别数据中某个数据的位数;为待识别数据中某个数据对应的
数据矩阵的某个点的纵坐标值;为待识别数据中某个数据对应的数据矩阵的某个点的
横坐标值;为梯度函数;当计算得到的图像数据识别值在设定的图像识别阈值范围内
时,则判断图像数据识别器识别的数据为图像数据。
具体的,图像数据(Image Data)是指用数值表示的各像素(pixel)的灰度值的集合。
对真实世界的图像一般由图像上每一点光的强弱和频谱(颜色)来表示,把图像信息转换成数据信息时,须将图像分解为很多小区域,这些小区域称为像素,可以用一个数值来表示它的灰度,对于彩色图像常用红、绿、蓝三原色(trichromatic)分量表示。顺序地抽取每一个像素的信息,就可以用一个离散的阵列来代表一幅连续的图像。在地理信息***中一般指栅格数据。
实施例4
在上一实施例的基础上,所述文字数据识别器使用如下公式表示:;其中,为调整系数,取值范围为:20~50;为
计算得到的文字数据识别值,当计算得到的文字数据识别值在设定的文字识别阈值范围内
时,则判断文字数据识别器识别的数据为文字数据。
实施例5
在上一实施例的基础上,所述声音数据识别器使用如下公式表示:;其中,为调整系数,取值范围为:1~5;为计算得到
的声音数据识别值,当计算得到的声音数据识别值在设定的声音识别阈值范围内时,则判
断声音数据识别器识别的数据为声音数据。
具体的,数字化的声音数据就是音频数据。
数字化声音的过程实际上就是以一定的频率对来自microphone等设备的连续的模拟音频信号进行模数转换(ADC)得到音频数据的过程;数字化声音的播放就是将音频数据进行数模转换(DAC)变成模拟音频信号输出。在数字化声音时有两个重要的指标,即采样频率(Sampling Rate)和采样大小(Sampling Size)。
采样频率即单位时间内的采样次数,采样频率越大采样点之间的间隔越小,数字化得到的声音就越逼真,但相应的数据量增大,处理起来就越困难;采样大小即记录每次样本值大小的数值的位数,它决定采样的动态变化范围,位数越多所能记录声音的变化程度就越细腻,所得的数据量也越大。
实施例6
在上一实施例的基础上,所述步骤4中基于交集部分所对应的数据池的种类,将数据识别器进行组合或调整,以生成对交集部分进行数据识别的细数据识别器的方法包括:当交集部分对应的数据池的种类的数量等于数据识别器的种类的数量时,则将所有的数据识别器进行组合,得到细数据识别器;当交集部分对应的数据池的种类的数量小于数据识别器的种类的数量时,则将从所有的数据识别器中筛选出与交集部分所对应的数据池的种类的数量相等的数据识别器进行组合,得到细数据识别器,同时筛选出的数据识别器的种类与交集部分对应的数据池的种类一一对应。
实施例7
在上一实施例的基础上,所述步骤6中进行数据重新组合,完成数据识别的方法包括:提取数据的数据头,在数据头中找到数据的时间标识,基于找到的时间标识,按照时间先后顺序,将数据进行组合。
实施例8
在上一实施例的基础上,所述当交集部分对应的数据池的种类的数量等于数据识别器的种类的数量时,则将所有的数据识别器进行组合,得到细数据识别器的方法包括:将所有的数据识别器进行并联,在对数据进行识别时,所有的数据识别器并行工作。
具体的,相关技术中,人工对样本信息中的样本数据标注样本数据标识,从而获得样本信息模板,根据样本信息模板对目标信息中的数据进行识别。其中,样本数据标识是标识样本数据类别的标识。例如,样本信息“闲时流量合计500MB,已使用200MB,剩余300MB”,人工标注获得样本信息模板:“闲时流量合计<LEISURE_TOTAL>,已使用<LEISURE_USED>,剩余<LEISURE_REMAINED>”。但由于信息多样化,人工需要标注的模板比较多,耗费大量的人力资源,标注效率低。
实施例9
在上一实施例的基础上,所述当交集部分对应的数据池的种类的数量小于数据识别器的种类的数量时,则将从所有的数据识别器中筛选出与交集部分所对应的数据池的种类的数量相等的数据识别器进行组合,得到细数据识别器的方法包括:将筛选出的数据识别器进行并联,在对数据进行识别时,所有的数据识别器并行工作。
术语“第一”、“另一部分”等是配置用于区别类似的对象,而不是配置用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者单元/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者单元/装置所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术标记作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述,仅为本发明的较佳实施例而已,并非配置用于限定本发明的保护范围。
Claims (7)
1.一种多种类数据识别方法,其特征在于,所述方法执行以下步骤:
步骤1:设置多个不同种类的数据类别池,所述数据类别池的数量与数据种类相等;建立多个不同种类的数据识别器,所述数据识别器的数量与数据种类相等;
步骤2:进行数据粗识别,具体包括:分别使用每个数据识别器对待识别数据进行数据识别,在识别过程中,将包含有与当前数据识别器所对应的种类相同的数据筛选出来,并填充进入所对应的相同种类的数据类别池中;当所有的数据识别器都完成数据识别后,将有数据填充的数据池进行池交叉对比;
步骤3:进行数据池交叉对比,具体包括:将所有数据填充的数据池均分别视为一个集合,然后进行集合的交集运算,找到每个数据池中与其他数据池的交集部分;
步骤4:进行数据识别器的调整,具体包括:基于交集部分所对应的数据池的种类,将数据识别器进行组合或调整,以生成对交集部分进行数据识别的细数据识别器;
步骤5:进行数据细识别,完成数据细识别,具体包括:将数据池交叉对比后,将得到的所有的交集部分提取出来,再分别使用每个细数据识别器进行识别,将交集部分的数据划分为多个数据分组,每个数据分组中只包含一个种类的数据;
步骤6:进行数据重新组合,完成数据识别,具体包括:将数据细识别得到的多个数据分组分别与对应种类的数据进行数据重新组合,完成数据识别;
所述数据类别池的种类至少包括:图像数据类别池、文字数据类别池和声音数据类别池;所述数据识别器的种类至少包括:图像数据识别器、文字数据识别器和声音数据识别器;
4.如权利要求1所述的多种类数据识别方法,其特征在于,所述步骤4中基于交集部分所对应的数据池的种类,将数据识别器进行组合或调整,以生成对交集部分进行数据识别的细数据识别器的方法包括:当交集部分对应的数据池的种类的数量等于数据识别器的种类的数量时,则将所有的数据识别器进行组合,得到细数据识别器;当交集部分对应的数据池的种类的数量小于数据识别器的种类的数量时,则将从所有的数据识别器中筛选出与交集部分所对应的数据池的种类的数量相等的数据识别器进行组合,得到细数据识别器,同时筛选出的数据识别器的种类与交集部分对应的数据池的种类一一对应。
5.如权利要求4所述的多种类数据识别方法,其特征在于,所述步骤6中进行数据重新组合,完成数据识别的方法包括:提取数据的数据头,在数据头中找到数据的时间标识,基于找到的时间标识,按照时间先后顺序,将数据进行组合。
6.如权利要求5所述的多种类数据识别方法,其特征在于,所述当交集部分对应的数据池的种类的数量等于数据识别器的种类的数量时,则将所有的数据识别器进行组合,得到细数据识别器的方法包括:将所有的数据识别器进行并联,在对数据进行识别时,所有的数据识别器并行工作。
7.如权利要求6所述的多种类数据识别方法,其特征在于,所述当交集部分对应的数据池的种类的数量小于数据识别器的种类的数量时,则将从所有的数据识别器中筛选出与交集部分所对应的数据池的种类的数量相等的数据识别器进行组合,得到细数据识别器的方法包括:将筛选出的数据识别器进行并联,在对数据进行识别时,所有的数据识别器并行工作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111190736.6A CN113642679B (zh) | 2021-10-13 | 2021-10-13 | 多种类数据识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111190736.6A CN113642679B (zh) | 2021-10-13 | 2021-10-13 | 多种类数据识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113642679A CN113642679A (zh) | 2021-11-12 |
CN113642679B true CN113642679B (zh) | 2021-12-28 |
Family
ID=78426528
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111190736.6A Active CN113642679B (zh) | 2021-10-13 | 2021-10-13 | 多种类数据识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113642679B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116226755A (zh) * | 2023-05-10 | 2023-06-06 | 广东维信智联科技有限公司 | 一种基于大数据的实时数据识别方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1471042A (zh) * | 2002-07-25 | 2004-01-28 | 摩托罗拉公司 | 用于中文手写汉字识别的预分类方法及*** |
CN103605964A (zh) * | 2013-11-25 | 2014-02-26 | 上海骏聿数码科技有限公司 | 基于图像在线学习的人脸检测方法及*** |
CN105938558A (zh) * | 2015-03-06 | 2016-09-14 | 松下知识产权经营株式会社 | 学习方法 |
CN109784352A (zh) * | 2017-11-14 | 2019-05-21 | 北京京东尚科信息技术有限公司 | 一种评估分类模型的方法和装置 |
CN113190154A (zh) * | 2021-04-29 | 2021-07-30 | 北京百度网讯科技有限公司 | 模型训练、词条分类方法、装置、设备、存储介质及程序 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7983913B2 (en) * | 2007-07-31 | 2011-07-19 | Microsoft Corporation | Understanding spoken location information based on intersections |
US9858681B2 (en) * | 2014-10-27 | 2018-01-02 | Digimarc Corporation | Signal detection, recognition and tracking with feature vector transforms |
CN109671053A (zh) * | 2018-11-15 | 2019-04-23 | 首都医科大学附属北京友谊医院 | 一种胃癌图像识别***、装置及其应用 |
CN110827333B (zh) * | 2019-10-31 | 2022-05-03 | 国网河北省电力有限公司电力科学研究院 | 一种继电保护的压板拼接识别方法、***及介质 |
-
2021
- 2021-10-13 CN CN202111190736.6A patent/CN113642679B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1471042A (zh) * | 2002-07-25 | 2004-01-28 | 摩托罗拉公司 | 用于中文手写汉字识别的预分类方法及*** |
CN103605964A (zh) * | 2013-11-25 | 2014-02-26 | 上海骏聿数码科技有限公司 | 基于图像在线学习的人脸检测方法及*** |
CN105938558A (zh) * | 2015-03-06 | 2016-09-14 | 松下知识产权经营株式会社 | 学习方法 |
CN109784352A (zh) * | 2017-11-14 | 2019-05-21 | 北京京东尚科信息技术有限公司 | 一种评估分类模型的方法和装置 |
CN113190154A (zh) * | 2021-04-29 | 2021-07-30 | 北京百度网讯科技有限公司 | 模型训练、词条分类方法、装置、设备、存储介质及程序 |
Non-Patent Citations (2)
Title |
---|
Convolutional Network Model using Hierarchical Prediction and its Application in Clothing Image Classification;Yuanjun Liu etal.;《2019 3rd International Conference on Data Science and Business Analytics (ICDSBA)》;20201130;全文 * |
基于粗略到精细分类的面部表情识别方法;崔浩等;《计算机工程》;20070331;第33卷(第5期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113642679A (zh) | 2021-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111046133A (zh) | 基于图谱化知识库的问答方法、设备、存储介质及装置 | |
CN108805188A (zh) | 一种基于特征重标定生成对抗网络的图像分类方法 | |
CN112633010A (zh) | 基于多头注意力和图卷积网络的方面级情感分析方法及*** | |
CN110287770B (zh) | 一种基于卷积神经网络的水中个体目标匹配识别方法 | |
CN113239954A (zh) | 基于注意力机制的图像语义分割特征融合方法 | |
CN107491729B (zh) | 基于余弦相似度激活的卷积神经网络的手写数字识别方法 | |
CN112347284A (zh) | 一种组合商标图像检索方法 | |
CN111178543B (zh) | 一种基于元学习的概率域泛化学习方法 | |
CN113642679B (zh) | 多种类数据识别方法 | |
CN112507800A (zh) | 一种基于通道注意力机制和轻型卷积神经网络的行人多属性协同识别方法 | |
CN112163490A (zh) | 一种基于场景图片的目标检测方法 | |
CN113971735A (zh) | 一种深度图像聚类方法、***、设备、介质及终端 | |
Zhiyan et al. | Speech emotion recognition based on deep learning and kernel nonlinear PSVM | |
CN116452862A (zh) | 基于领域泛化学习的图像分类方法 | |
CN117516937A (zh) | 基于多模态特征融合增强的滚动轴承未知故障检测方法 | |
CN117634459B (zh) | 目标内容生成及模型训练方法、装置、***、设备及介质 | |
CN115129884A (zh) | 基于语义交互匹配网络的知识图谱补全方法及*** | |
CN111191033A (zh) | 一种基于分类效用的开集分类方法 | |
CN114387454A (zh) | 一种基于区域筛选模块和多层次对比的自监督预训练方法 | |
CN116545944A (zh) | 一种网络流量分类方法及*** | |
CN116665039A (zh) | 基于两阶段因果干预的小样本目标识别方法 | |
CN112182287B (zh) | 一种基于时空视觉词组和分层匹配的视频拷贝检测方法 | |
CN114445662A (zh) | 一种基于标签嵌入的鲁棒图像分类方法及*** | |
CN114529908A (zh) | 一种离线手写化学反应式图像识别技术 | |
CN117727053B (zh) | 一种多类别汉字单样本字体识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |