CN111461253A - 一种自动化特征提取***及方法 - Google Patents

一种自动化特征提取***及方法 Download PDF

Info

Publication number
CN111461253A
CN111461253A CN202010302592.8A CN202010302592A CN111461253A CN 111461253 A CN111461253 A CN 111461253A CN 202010302592 A CN202010302592 A CN 202010302592A CN 111461253 A CN111461253 A CN 111461253A
Authority
CN
China
Prior art keywords
feature extraction
module
features
characteristic
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010302592.8A
Other languages
English (en)
Inventor
王磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Baiying Technology Co Ltd
Original Assignee
Zhejiang Baiying Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Baiying Technology Co Ltd filed Critical Zhejiang Baiying Technology Co Ltd
Priority to CN202010302592.8A priority Critical patent/CN111461253A/zh
Publication of CN111461253A publication Critical patent/CN111461253A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Stored Programmes (AREA)

Abstract

本发明涉及一种自动化特征提取框架***及方法，包括：信号输入模块：用于输入字段信息；配置读取模块：用于定义字段类型和对应的映射业务，配置对应的字段和特征方法；预处理模块：用于对输入字段进行特征预处理；特征抽取模块：用于对预处理后的数据进行特征抽取；信号输出模块：用于联合抽取出的特征并统一输出给模型；本发明提供一种基于工厂模式的自动化特征提取方法，在整个实现的过程中提供了一种多人协作共建特征提取类和相互交互复用的方法；本发明采用工厂模式和相关特征类的反射机制抽象了特征提取的各个模块和方法，完全自动化特征提取，可以方便的通过配置进行特征的选择和迭代。

Description

一种自动化特征提取***及方法
技术领域
本发明涉及互联网技术领域，具体涉及一种自动化特征提取框架***及方法。
背景技术
随着大数据和机器计算力的飞速发展，机器学习和深度学习越来越多的运用到解决实际问题的各个方面。
在专利公布号为CN108986168的发明专利中公开了一种，本发明公开一种基于深度度量学习结合词袋树模型的机器人回环检测方法和装置。该方法为：1 )输入长时间的环境外观变化的场景视频流；2 )采用深度度量学习框架训练并学习得到特征提取网络；3 )利用特征提取网络从训练视频流图像中抽取特征；4 )对得到的特征进行迭代聚类，建立词袋树模型；5 )在实际机器人定位和导航过程中，输入机器人实时获取的视频流中的当前关键帧；6 )利用特征提取网络提取当前关键帧的特征；7 )将当前关键帧的特征添加到词袋树模型；8 )利用词袋树模型搜索和匹配图像特征相近的图像帧，并进行相似性度量，判断机器人是否遇到回环。本发明能够实现机器人在动态环境中长时间定位和导航过程中的高效的回环检测。
在上述现有技术中，没有提供一个完全自动化的实时特征提取框架，且基本各个环节都或多或少的需要人的参与，不能满足多个人完全自然的积累特征抽取类，提供相关的实现方法，且每次迭代在特征抽取方法和具体的参数上不能复用。
发明内容
为了解决上述问题，本发明提供一种自动化特征提取框架***及方法，采用工厂模式和相关特征类的反射机制抽象了特征提取的各个模块和方法，完全自动化特征提取，可以方便的通过配置进行特征的选择和迭代，算法多次迭代选择特征训练测试模型时，可以通过配置修改一键完成，避免出现多次选择特征复用不够的情况。
本发明的技术方案如下所示：
一种自动化特征提取框架***，包括：
信号输入模块：用于输入字段信息；
配置读取模块：用于定义字段类型和对应的映射业务，配置对应的字段和特征方法；
预处理模块：用于对输入字段进行特征预处理；
特征抽取模块：用于对预处理后的数据进行特征抽取；
信号输出模块：用于联合抽取出的特征并统一输出给模型。
优选的，所述配置读取模块中抽象出的配置文件具体为fealib.conf和feature_list.conf。
优选的，所述配置文件fealib.conf用于定义上游日志中相关的字段类型和对应的映射业务；所述配置文件feature_list.conf用于配置对应的字段和特征方法。
优选的，经所述预处理模块中处理过的特征，通过java反射的方式定义到具体的特征工程类。
优选的，所述特征抽取模块中定义了对应好特征的slot槽位，能够支持同一个字段提取多个特征或多个字段联合生成同一个特征。
优选的，经所述特征抽取模块抽取后的特征通过输出接口联合成统一的样本instance输出给模型。
本发明还提供一种自动化特征提取框架方法，包括以下步骤：
S1：通过信号输入接口输入字段信息；
S2：通过配置找到对应的特征预处理方法；
S3：然再经具体的特征抽取类，抽取出对应的特征，进行相关的分桶加密；
S4：加密后的多个特征通过信号输出接口联合成统一的样本instance输出给模型。
更优选的，所述字段信息能够同时经过多个特征预处理方法的处理。
本发明的有益效果为：本发明提出一种基于工厂模式的自动化特征提取方法，在整个实现的过程中提供了一种多人协作共建特征提取类和相互交互复用的方法；本发明采用工厂模式和相关特征类的反射机制抽象了特征提取的各个模块和方法，完全自动化特征提取，可以方便的通过配置进行特征的选择和迭代；本发明抽象出了特征提取类的工厂，多个人操作时可以增加自己的特征提取类到工厂中，也可以方便的使用工厂中已经有的特征类；本发明中在算法多次迭代选择特征训练测试模型时，可通过配置修改一键完成，避免出现多次选择特征复用不够的情况。
附图说明
图1为本发明实施例中特征提取的流程图。
具体实施方式
下面将结合附图来对本发明的实施例作出详细说明。
如图1所示，一种自动化特征提取框架方法，包括以下步骤：
S1：通过信号输入接口输入字段信息；
S2：通过格式匹配以及配置文件找到对应的特征预处理方法；（支持同时经过多个特征预处理方法）
S3：然再经具体的特征抽取类和配置文件，抽取出对应的特征，进行相关的分桶加密；
S4：加密后的多个特征通过信号输出接口联合成统一的样本instance输出给模型。
为实现上述方法，本发明提供了一种自动化特征提取框架***，包括用于输入字段信息的信号输入模块；用于定义字段类型和对应的映射业务，配置对应的字段和特征方法的配置读取模块；用于对输入字段进行特征预处理的预处理模块；用于对预处理后的数据进行特征抽取的特征抽取模块；以及用于联合抽取出的特征并统一输出给模型的信号输出模块。
其中配置读取模块中抽象出的配置文件具体为fealib.conf和feature_list.conf，所述配置文件fealib.conf用于定义上游日志中相关的字段类型和对应的映射业务；所述配置文件feature_list.conf用于配置对应的字段和特征方法，经所述预处理模块中处理过的特征，通过java反射的方式定义到具体的特征工程类。
所述特征抽取模块中定义了对应好特征的slot槽位，能够支持同一个字段提取多个特征或多个字段联合生成同一个特征。
经所述特征抽取模块抽取后的特征通过输出接口联合成统一的样本instance输出给模型。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种自动化特征提取框架***，其特征在于，包括：
信号输入模块：用于输入字段信息；
配置读取模块：用于定义字段类型和对应的映射业务，配置对应的字段和特征方法；
预处理模块：用于对输入字段进行特征预处理；
特征抽取模块：用于对预处理后的数据进行特征抽取；
信号输出模块：用于联合抽取出的特征并统一输出给模型。
2.根据权利要求1所述的自动化特征提取框架***，其特征在于，所述配置读取模块中抽象出的配置文件具体为fealib.conf和feature_list.conf。
3.根据权利要求2所述的自动化特征提取框架***，其特征在于，所述配置文件fealib.conf用于定义上游日志中相关的字段类型和对应的映射业务；所述配置文件feature_list.conf用于配置对应的字段和特征方法。
4.根据权利要求3所述的自动化特征提取框架***，其特征在于，经所述预处理模块中处理过的特征，通过java反射的方式定义到具体的特征工程类。
5.根据权利要求1所述的自动化特征提取框架***，其特征在于，所述特征抽取模块中定义了对应好特征的slot槽位，能够支持同一个字段提取多个特征或多个字段联合生成同一个特征。
6.根据权利要求1所述的自动化特征提取框架***，其特征在于，经所述特征抽取模块抽取后的特征通过输出接口联合成统一的样本instance输出给模型。
7.一种自动化特征提取框架方法，其特征在于，包括以下步骤：
S1：通过信号输入接口输入字段信息；
S2：通过配置找到对应的特征预处理方法；
S3：然再经具体的特征抽取类，抽取出对应的特征，进行相关的分桶加密；
S4：加密后的多个特征通过信号输出接口联合成统一的样本instance输出给模型。
8.根据权利要求7所述的自动化特征提取框架方法，其特征在于，所述字段信息能够同时经过多个特征预处理方法的处理。
CN202010302592.8A 2020-04-17 2020-04-17 一种自动化特征提取***及方法 Pending CN111461253A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010302592.8A CN111461253A (zh) 2020-04-17 2020-04-17 一种自动化特征提取***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010302592.8A CN111461253A (zh) 2020-04-17 2020-04-17 一种自动化特征提取***及方法

Publications (1)

Publication Number Publication Date
CN111461253A true CN111461253A (zh) 2020-07-28

Family

ID=71685944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010302592.8A Pending CN111461253A (zh) 2020-04-17 2020-04-17 一种自动化特征提取***及方法

Country Status (1)

Country Link
CN (1) CN111461253A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967611A (zh) * 2020-08-20 2020-11-20 贝壳技术有限公司 特征生成方法和装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025233A (zh) * 2016-01-29 2017-08-08 苏宁云商集团股份有限公司 一种数据特征的处理方法及装置
CN108986168A (zh) * 2018-06-13 2018-12-11 深圳市感动智能科技有限公司 一种基于深度度量学习结合词袋树模型的机器人回环检测方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025233A (zh) * 2016-01-29 2017-08-08 苏宁云商集团股份有限公司 一种数据特征的处理方法及装置
CN108986168A (zh) * 2018-06-13 2018-12-11 深圳市感动智能科技有限公司 一种基于深度度量学习结合词袋树模型的机器人回环检测方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王磊: "《移动机器人混合视觉伺服控制方法研究》", 《中国硕士论文全文库》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967611A (zh) * 2020-08-20 2020-11-20 贝壳技术有限公司 特征生成方法和装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN110581898B (zh) 基于5g和边缘计算的物联网数据终端***
CN109165573B (zh) 用于提取视频特征向量的方法和装置
CN109740018B (zh) 用于生成视频标签模型的方法和装置
CN110443222B (zh) 用于训练脸部关键点检测模型的方法和装置
CN113365147B (zh) 基于音乐卡点的视频剪辑方法、装置、设备及存储介质
CN110363220B (zh) 行为类别检测方法、装置、电子设备和计算机可读介质
CN109189544B (zh) 用于生成表盘的方法和装置
CN109389096B (zh) 检测方法和装置
CN111931809A (zh) 数据的处理方法、装置、存储介质及电子设备
CN111275784A (zh) 生成图像的方法和装置
CN107729928A (zh) 信息获取方法和装置
CN114898466A (zh) 一种面向智慧工厂的视频动作识别方法及***
CN114419363A (zh) 基于无标注样本数据的目标分类模型训练方法及装置
CN107633058B (zh) 一种基于深度学习的数据动态过滤***及其方法
CN109816023B (zh) 用于生成图片标签模型的方法和装置
CN111461253A (zh) 一种自动化特征提取***及方法
CN114065720A (zh) 会议纪要生成方法、装置、存储介质及电子设备
CN111597361B (zh) 多媒体数据处理方法、装置、存储介质及设备
CN107402878A (zh) 测试方法和装置
CN117611272A (zh) 商品推荐方法、装置及电子设备
CN112633100A (zh) 行为识别方法、装置、电子设备和存储介质
CN115345600B (zh) 一种rpa流程的生成方法和装置
US11762939B2 (en) Measure GUI response time
CN111459774A (zh) 一种应用程序的流量的获取方法、装置、设备及存储介质
CN113033282B (zh) 基于小物体检测的图像识别方法、装置以及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination