CN112906806A - 一种基于神经网络的数据优化方法及装置 - Google Patents
一种基于神经网络的数据优化方法及装置 Download PDFInfo
- Publication number
- CN112906806A CN112906806A CN202110235273.4A CN202110235273A CN112906806A CN 112906806 A CN112906806 A CN 112906806A CN 202110235273 A CN202110235273 A CN 202110235273A CN 112906806 A CN112906806 A CN 112906806A
- Authority
- CN
- China
- Prior art keywords
- data set
- optimized
- neural network
- optimized data
- optimization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于神经网络的数据优化方法及装置。其中,该方法包括:获取原始数据集;将所述原始数据集通过数据优化神经网络模型进行优化处理,得到第一优化数据集;将所述第一优化数据集通过预设规则进行处理,得到第二优化数据集;将所述第二优化数据集进行输出。本发明解决了现有技术中直接对原始数据进行优化处理,效率低下,精度准不高的技术问题。
Description
技术领域
本发明涉及数据处理领域,具体而言,涉及一种基于神经网络的数据优化方法及装置。
背景技术
随着智能化、信息化的不断发展,神经网络模型的训练和使用已经广泛地应用于各个领域,例如在机器人传感器采集数据处理过程中,往往通过机器人采集到的数据进行预设规则或预设算法的数据处理和数据优化步骤,并将处理结果作为后续数据分析的重要原数据。
目前,在机器人数据优化的过程中,往往采用直接算法对机器人的传感器所采集到的传感数据,例如红外光感数据、传动轴压力数据等,直接进行数据优化,在优化处理过程中往往采用既定算法或规则进行数据计算,但是这样仅仅通过既定算法进行计算,导致机器人每次数据处理的时候都需要进行大量的计算工作,且每次数据优化过程和操作不会根据历史移动情况进行调整和学习,降低了机器人数据处理和数据计算分析的效率和精准度。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种基于神经网络的数据优化方法及装置,以至少解决现有技术中直接对原始数据进行优化处理,效率低下,精度准不高的技术问题。
根据本发明实施例的一个方面,提供了一种基于神经网络的数据优化方法,包括:获取原始数据集;将所述原始数据集通过数据优化神经网络模型进行优化处理,得到第一优化数据集;将所述第一优化数据集通过预设规则进行处理,得到第二优化数据集;将所述第二优化数据集进行输出。
可选的,在所述获取原始数据集之后,所述方法还包括:将所述原始数据集作为输入参数,训练所述数据优化神经网络模型。
可选的,在所述将所述第一优化数据集通过预设规则进行处理,得到第二优化数据集之前,所述方法还包括:将所述第一优化数据集与所述原本数据集进行校验。
可选的,所述将所述第二优化数据集进行输出包括:获取展示信息,其中,所述展示信息包括:展示方式、展示终端;将所述第二优化数据集根据所述展示信息传输至相应的所述展示终端。
根据本发明实施例的另一方面,还提供了一种基于神经网络的数据优化装置,包括:获取模块,用于获取原始数据集;优化模块,用于将所述原始数据集通过数据优化神经网络模型进行优化处理,得到第一优化数据集;整理模块,用于将所述第一优化数据集通过预设规则进行处理,得到第二优化数据集;输出模块,用于将所述第二优化数据集进行输出。
可选的,所述装置还包括:训练模块,用于将所述原始数据集作为输入参数,训练所述数据优化神经网络模型。
可选的,所述装置还包括:校验模块,用于将所述第一优化数据集与所述原本数据集进行校验。
可选的,所述输出模块包括:获取单元,用于获取展示信息,其中,所述展示信息包括:展示方式、展示终端;传输单元,用于将所述第二优化数据集根据所述展示信息传输至相应的所述展示终端。
根据本发明实施例的另一方面,还提供了一种包括指令的计算机程序产品,当所述指令在计算机上运行时,使得所述计算机执行一种基于神经网络的数据优化方法。
根据本发明实施例的另一方面,还提供了一种非易失性存储介质,所述非易失性存储介质包括存储的程序,其中,所述程序运行时控制非易失性存储介质所在的设备执行一种基于神经网络的数据优化方法。
在本发明实施例中,采用获取原始数据集;将所述原始数据集通过数据优化神经网络模型进行优化处理,得到第一优化数据集;将所述第一优化数据集通过预设规则进行处理,得到第二优化数据集;将所述第二优化数据集进行输出的方式,解决了现有技术中直接对原始数据进行优化处理,效率低下,精度准不高的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种基于神经网络的数据优化方法的流程图;
图2是根据本发明实施例的一种基于神经网络的数据优化装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例,提供了一种基于神经网络的数据优化方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
图1是根据本发明实施例的一种基于神经网络的数据优化方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,获取原始数据集。
具体的,本发明实施例为了将获取到的原始数据进行数据处理和优化,首先需要获取原始数据,该原始数据可以是从传感器或其他数据存储设备实时获取的待处理数据,并根据获取到的原始数据进行传输,以备后续数据处理之用。
可选的,在所述获取原始数据集之后,所述方法还包括:将所述原始数据集作为输入参数,训练所述数据优化神经网络模型。
具体的,在得到原始数据集之后,为了进行数据优化操作,需要根据原始数据集进行神经网络模型的训练,以便训练出可以用于数据优化的神经网络模型。
本发明实施例所利用的神经网络模型需要根据若干待处理数据作为特征向量进行数据,来训练为成熟的神经网络模型,因此,该神经网络模型是针对若干待优化数据场景的数据优化模型。
步骤S104,将所述原始数据集通过数据优化神经网络模型进行优化处理,得到第一优化数据集。
具体的,在建立了用于数据优化的神经网络模型之后,可以将原始数据作为特征输入向量进行输入,并根据神经网络模型对于原始数据的优化计算之后,得到第一优化数据集,其中,第一优化数据集是未经整理的数据集,可以作为后续输出优化后数据的源数据集。
步骤S106,将所述第一优化数据集通过预设规则进行处理,得到第二优化数据集。
具体的,为了将上述本发明实施例所得到的第一优化数据集进行进一步的整理,需要获取预设规则,该预设规则是根据优化场景和输出需求而确定的数据整理规则,上述第一优化数据集中的数据在通过预设规则进行整理之后,生成了第二优化数据集,即第二优化数据集是一个可以输出和展示的,优化完毕的数据集合。
可选的,在所述将所述第一优化数据集通过预设规则进行处理,得到第二优化数据集之前,所述方法还包括:将所述第一优化数据集与所述原本数据集进行校验。
具体的,为了在第一优化数据集进行整理的时候,数据完整性的有效性是一致的,在进行第一优化数据集整理之前,需要根据校验参数将第一优化数据集进行校验,以便生成校验结果,该校验结果直接作为是否进行预设规则整理生成第二优化数据集的依据。
步骤S108,将所述第二优化数据集进行输出。
可选的,所述将所述第二优化数据集进行输出包括:获取展示信息,其中,所述展示信息包括:展示方式、展示终端;将所述第二优化数据集根据所述展示信息传输至相应的所述展示终端。
具体的,在本发明实施例获得了第二优化数据集之后,需要获取展示信息,其中,所述展示信息包括:展示方式、展示终端;将所述第二优化数据集根据所述展示信息传输至相应的所述展示终端。
需要说明的是,展示终端可以是使用者需要展示的屏幕等设备,也可以是需要利用优化数据进行进一步计算的计算终端设备,具体采用哪种终端,本发明实施例在此处不进行具体的限定。
通过上述实施例,解决了现有技术中直接对原始数据进行优化处理,效率低下,精度准不高的技术问题。
实施例二
图2是根据本发明实施例的一种基于神经网络的数据优化装置的结构框图,如图2所示,该装置包括:
获取模块20,用于获取原始数据集。
具体的,本发明实施例为了将获取到的原始数据进行数据处理和优化,首先需要获取原始数据,该原始数据可以是从传感器或其他数据存储设备实时获取的待处理数据,并根据获取到的原始数据进行传输,以备后续数据处理之用。
可选的,所述装置还包括:训练模块,用于将所述原始数据集作为输入参数,训练所述数据优化神经网络模型。
具体的,在得到原始数据集之后,为了进行数据优化操作,需要根据原始数据集进行神经网络模型的训练,以便训练出可以用于数据优化的神经网络模型。
本发明实施例所利用的神经网络模型需要根据若干待处理数据作为特征向量进行数据,来训练为成熟的神经网络模型,因此,该神经网络模型是针对若干待优化数据场景的数据优化模型。
优化模块22,用于将所述原始数据集通过数据优化神经网络模型进行优化处理,得到第一优化数据集。
具体的,在建立了用于数据优化的神经网络模型之后,可以将原始数据作为特征输入向量进行输入,并根据神经网络模型对于原始数据的优化计算之后,得到第一优化数据集,其中,第一优化数据集是未经整理的数据集,可以作为后续输出优化后数据的源数据集。
整理模块24,用于将所述第一优化数据集通过预设规则进行处理,得到第二优化数据集。
具体的,为了将上述本发明实施例所得到的第一优化数据集进行进一步的整理,需要获取预设规则,该预设规则是根据优化场景和输出需求而确定的数据整理规则,上述第一优化数据集中的数据在通过预设规则进行整理之后,生成了第二优化数据集,即第二优化数据集是一个可以输出和展示的,优化完毕的数据集合。
可选的,所述装置还包括:校验模块,用于将所述第一优化数据集与所述原本数据集进行校验。
具体的,为了在第一优化数据集进行整理的时候,数据完整性的有效性是一致的,在进行第一优化数据集整理之前,需要根据校验参数将第一优化数据集进行校验,以便生成校验结果,该校验结果直接作为是否进行预设规则整理生成第二优化数据集的依据。
输出模块26,用于将所述第二优化数据集进行输出。
可选的,所述输出模块包括:获取单元,用于获取展示信息,其中,所述展示信息包括:展示方式、展示终端;传输单元,用于将所述第二优化数据集根据所述展示信息传输至相应的所述展示终端。
具体的,在本发明实施例获得了第二优化数据集之后,需要获取展示信息,其中,所述展示信息包括:展示方式、展示终端;将所述第二优化数据集根据所述展示信息传输至相应的所述展示终端。
需要说明的是,展示终端可以是使用者需要展示的屏幕等设备,也可以是需要利用优化数据进行进一步计算的计算终端设备,具体采用哪种终端,本发明实施例在此处不进行具体的限定。
根据本发明实施例的另一方面,还提供了一种包括指令的计算机程序产品,当所述指令在计算机上运行时,使得所述计算机执行一种基于神经网络的数据优化方法。
具体的,上述一种基于神经网络的数据优化方法包括:获取原始数据集;将所述原始数据集通过数据优化神经网络模型进行优化处理,得到第一优化数据集;将所述第一优化数据集通过预设规则进行处理,得到第二优化数据集;将所述第二优化数据集进行输出。
根据本发明实施例的另一方面,还提供了一种非易失性存储介质,所述非易失性存储介质包括存储的程序,其中,所述程序运行时控制非易失性存储介质所在的设备执行一种基于神经网络的数据优化方法。
具体的,上述一种基于神经网络的数据优化方法包括:获取原始数据集;将所述原始数据集通过数据优化神经网络模型进行优化处理,得到第一优化数据集;将所述第一优化数据集通过预设规则进行处理,得到第二优化数据集;将所述第二优化数据集进行输出。
通过上述实施例,解决了现有技术中直接对原始数据进行优化处理,效率低下,精度准不高的技术问题。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于神经网络的数据优化方法,其特征在于,包括:
获取原始数据集;
将所述原始数据集通过数据优化神经网络模型进行优化处理,得到第一优化数据集;
将所述第一优化数据集通过预设规则进行处理,得到第二优化数据集;
将所述第二优化数据集进行输出。
2.根据权利要求1所述的方法,其特征在于,在所述获取原始数据集之后,所述方法还包括:
将所述原始数据集作为输入参数,训练所述数据优化神经网络模型。
3.根据权利要求1所述的方法,其特征在于,在所述将所述第一优化数据集通过预设规则进行处理,得到第二优化数据集之前,所述方法还包括:
将所述第一优化数据集与所述原本数据集进行校验。
4.根据权利要求1所述的方法,其特征在于,所述将所述第二优化数据集进行输出包括:
获取展示信息,其中,所述展示信息包括:展示方式、展示终端;
将所述第二优化数据集根据所述展示信息传输至相应的所述展示终端。
5.一种基于神经网络的数据优化装置,其特征在于,包括:
获取模块,用于获取原始数据集;
优化模块,用于将所述原始数据集通过数据优化神经网络模型进行优化处理,得到第一优化数据集;
整理模块,用于将所述第一优化数据集通过预设规则进行处理,得到第二优化数据集;
输出模块,用于将所述第二优化数据集进行输出。
6.根据权利要求5所述的装置,其特征在于,所述装置还包括:
训练模块,用于将所述原始数据集作为输入参数,训练所述数据优化神经网络模型。
7.根据权利要求5所述的装置,其特征在于,所述装置还包括:
校验模块,用于将所述第一优化数据集与所述原本数据集进行校验。
8.根据权利要求5所述的装置,其特征在于,所述输出模块包括:
获取单元,用于获取展示信息,其中,所述展示信息包括:展示方式、展示终端;
传输单元,用于将所述第二优化数据集根据所述展示信息传输至相应的所述展示终端。
9.一种包括指令的计算机程序产品,其特征在于,当所述指令在计算机上运行时,使得所述计算机执行权利要求1至4中任意一项所述的方法。
10.一种非易失性存储介质,其特征在于,所述非易失性存储介质包括存储的程序,其中,所述程序运行时控制非易失性存储介质所在的设备执行权利要求1至4中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110235273.4A CN112906806A (zh) | 2021-03-03 | 2021-03-03 | 一种基于神经网络的数据优化方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110235273.4A CN112906806A (zh) | 2021-03-03 | 2021-03-03 | 一种基于神经网络的数据优化方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112906806A true CN112906806A (zh) | 2021-06-04 |
Family
ID=76107561
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110235273.4A Withdrawn CN112906806A (zh) | 2021-03-03 | 2021-03-03 | 一种基于神经网络的数据优化方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112906806A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113312422A (zh) * | 2021-06-23 | 2021-08-27 | 北京鼎泰智源科技有限公司 | 一种基于深度学习的新闻媒体数据智能结构化方法及装置 |
CN113360723A (zh) * | 2021-07-08 | 2021-09-07 | 北京智思迪科技有限公司 | 一种数据采集方法及装置 |
CN115422419A (zh) * | 2022-09-14 | 2022-12-02 | 北京优特捷信息技术有限公司 | 一种数据展示方法、装置、电子设备及可读存储介质 |
-
2021
- 2021-03-03 CN CN202110235273.4A patent/CN112906806A/zh not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113312422A (zh) * | 2021-06-23 | 2021-08-27 | 北京鼎泰智源科技有限公司 | 一种基于深度学习的新闻媒体数据智能结构化方法及装置 |
CN113360723A (zh) * | 2021-07-08 | 2021-09-07 | 北京智思迪科技有限公司 | 一种数据采集方法及装置 |
CN115422419A (zh) * | 2022-09-14 | 2022-12-02 | 北京优特捷信息技术有限公司 | 一种数据展示方法、装置、电子设备及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112906806A (zh) | 一种基于神经网络的数据优化方法及装置 | |
CN110383274B (zh) | 识别设备的方法、装置、***、存储介质、处理器和终端 | |
CN111858869B (zh) | 一种数据匹配方法、装置、电子设备和存储介质 | |
CN108197532A (zh) | 人脸识别的方法、装置及计算机装置 | |
CN108319888B (zh) | 视频类型的识别方法及装置、计算机终端 | |
CN110598019B (zh) | 重复图像识别方法及装置 | |
CN109086742A (zh) | 场景识别方法、场景识别装置及移动终端 | |
CN112836807A (zh) | 一种基于神经网络的数据处理方法及装置 | |
CN114722091A (zh) | 数据处理方法、装置、存储介质以及处理器 | |
CN111931679A (zh) | 动作识别方法、装置、设备及存储介质 | |
CN117292020B (zh) | 图像生成方法、装置、电子设备及存储介质 | |
CN113705792A (zh) | 基于深度学习模型的个性化推荐方法、装置、设备及介质 | |
CN115952398B (zh) | 基于物联网的数据上传统计计算方法、***和存储介质 | |
CN113312902A (zh) | 一种对合同文本的智能审核校验方法及装置 | |
CN114090797A (zh) | 一种基于智能推荐的组件检索方法及装置 | |
CN113139102A (zh) | 数据处理方法、装置、非易失性存储介质及处理器 | |
CN113313653A (zh) | 一种基于生成式对抗网络的图像去噪声方法及装置 | |
CN113761272A (zh) | 一种数据处理方法、设备以及计算机可读存储介质 | |
CN112749711A (zh) | 视频获取方法和装置及存储介质 | |
CN111401317A (zh) | 视频分类方法、装置、设备及存储介质 | |
CN117541883B (zh) | 图像生成模型训练、图像生成方法、***以及电子设备 | |
CN113506359A (zh) | 一种动画元素采集方法及装置 | |
CN113806223A (zh) | 一种软件评价方法及装置 | |
CN116798052B (zh) | 文本识别模型的训练方法和装置、存储介质及电子设备 | |
CN113312422A (zh) | 一种基于深度学习的新闻媒体数据智能结构化方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210604 |