CN114282586A - 一种数据标注方法、***和电子设备 - Google Patents
一种数据标注方法、***和电子设备 Download PDFInfo
- Publication number
- CN114282586A CN114282586A CN202011031077.7A CN202011031077A CN114282586A CN 114282586 A CN114282586 A CN 114282586A CN 202011031077 A CN202011031077 A CN 202011031077A CN 114282586 A CN114282586 A CN 114282586A
- Authority
- CN
- China
- Prior art keywords
- data
- training
- automl
- test set
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 66
- 238000012360 testing method Methods 0.000 claims abstract description 51
- 238000007689 inspection Methods 0.000 claims abstract description 31
- 238000002372 labelling Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 2
- 238000003908 quality control method Methods 0.000 claims 1
- 238000010801 machine learning Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004801 process automation Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书实施例公开了一种数据标注方法，包括以下步骤：创建训练集和测试集，将待标注数据归入测试集；提取测试集数据进行标注并放入训练集；设定训练参数，根据训练集数据启动AutoML模型训练；将AutoML训练模型应用于所述测试集，输出满足质检要求的标注数据。本发明还提供一种数据标注***，能够用AutoML辅以人工迭代式提升标注质量，快速提升模型对剩余数据的精度，规避了AutoML可能精度不高的问题，使得需要人工标注的数据量大幅降低，极大减少了人力成本。
Description
技术领域
本说明书涉及信息技术技术领域，尤其涉及一种自动化数据标注方法、***和电子设备。
背景技术
随着5G新基建的高速发展，通信网络越来越复杂，网络运维也逐渐从人工运维向着半自动化甚至全自动化的方向发展。这其中机器学习算法的作用越来越大。通常而言，有监督的机器学习算法效果更好，因此，需要大量的标注数据来训练、改进机器学习算法的性能。
当前进行网络运维数据的标注的方式普遍都比较原始，即以手工的方式进行标注。这主要是因为：不像图像、音视频领域的研究比较集中，沉淀了诸多的算法和工具，网络优化提效的课题多种多样，虽然在某些领域，例如异常检测，会有一些通用的界面化工具或者无监督算法辅助标注，但更多的情况下是需要研究人员根据情况手工标注或开发定制程序辅助。课题很多，人工标注工作量巨大，每次写特定程序来辅助也很麻烦。面对动辄几万至几百万记录的待标注数据量，给机器学习算法的探索带来了极大的困难和挑战，亟需一种方式或工具对数据标注进行提效。
另一方面，AutoML（Auto Machine Learning自动机器学习）是近年来兴起的将机器学习应用于实际问题的端到端流程自动化构建的方法，它组合了特征工程、模型选择和优化算法选择这三个构建机器学习所需的步骤，并自动对各部分进行优化，使得领域专家可以不依赖数据科学家，靠自己构建机器学习流程，具有较广泛的通用性。但同时因为通用，不会针对特定问题进行优化，往往无法得到最佳效果。
发明内容
本说明书实施例的目的是提供一种数据标注方法、***和电子设备，以使用AutoML自动适配多样的课题场景，辅以人工迭代式提升标注质量，从而使得在大多数标注场景均可获得自动化程序的辅助，极大减少了人力成本。
为解决上述技术问题，本说明书实施例是这样实现的：
第一方面，提出了一种数据标注方法，包括以下步骤：
创建训练集和测试集，将待标注数据归入测试集；
提取测试集数据进行标注并放入训练集；
设定训练参数，根据训练集数据启动AutoML模型训练；
将AutoML训练模型应用于所述测试集，输出满足质检要求的标注数据。
第二方面，提出了一种数据标注***，包括用户处理模块、数据选取模块、质检模块、AutoML引擎以及可扩展模型库，其中：
所述用户处理模块，用于提供用户可视化交互界面，方便用户处理和理解数据；
所述数据选取模块，用于根据指定策略从全量大数据里选取部分数据，策略包括随机抽取和按预测概率排序抽取；
所述质检模块，用于提供用户抽检数据的置信度支持；
所述可扩展模型库，用于提供AutoML可搜索的模型，可插件式扩展，增强AutoML引擎的能力。
第三方面，提出了一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行第一方面所述操作。
第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行第一方面所述操作。
由以上本说明书实施例提供的技术方案可见，利用AutoML适用场景广的特点，可以在大多数场景协助人工进行数据标注。同时让模型处理大部分数据，人工关注模型测不准的或模型预测有问题的少部分数据，规避了AutoML可能精度不高的问题。扬长避短使得需要人工标注的数据量大幅降低，极大减少了人的工作量。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本说明书的一个实施例提供的本说明书实施例提供的一种数据标注***结构示意图。
图2是本说明书的一个实施例提供的数据标注方法的步骤示意图。
图3是本说明书的一个实施例提供的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
下面，结合图1所示，介绍本说明书实施例提供的一种数据标注***，该数据标注***可以包括：用户处理模块10、数据选取模块20、质检模块30、AutoML引擎40以及可扩展模型库50。其实，数据标注***并不限于包括上述模块，还可以包括其它辅助实现数据标注的功能模块，在此不做一一描述。
<用户处理模块>
所述用户处理模块10，用于提供用户可视化交互界面，方便用户处理和理解数据。
<数据选取模块>
所述数据选取模块20用于从全量大数据里按指定策略选取部分数据，策略包括随机抽取和按预测概率排序抽取。
<质检模块>
质检模块30用于提供用户抽检数据的置信度支持。
<可扩展模型库>
可扩展模型库40用于给AutoML提供可搜索的模型，可插件式扩展，以增强AutoML引擎的能力。
< AutoML引擎>
AutoML引擎50用于接收训练数据自动化训练出机器学习模型，以及接收测试数据用指定模型给出推理结果。
通过上述技术方案，可用AutoML辅以人工迭代式提升标注质量；AutoML各个步骤都可以自动化，较为通用，每次迭代人工处理模型预测最差的数据，快速提升模型对剩余数据的精度；质检模块实时给出用户抽检的多个置信度区间，支撑用户的下一步动作。这样，利用AutoML适用场景广的特点，可以在大多数场景协助人工进行数据标注。同时让模型处理大部分数据，人工关注模型测不准的或模型预测有问题的少部分数据，规避了AutoML可能精度不高的问题。扬长避短使得需要人工标注的数据量大幅降低，极大减少了人的工作量。
参照图2所示，为本说明书实施例提供的数据标注方法的步骤示意图，该方法可以包括以下步骤：
步骤101 ：训练集为空，所有数据放入测试集。
可选地，训练集为空，所有数据放入测试集，具体包括以下操作之一或组合：
接收信息操作：接收给定的一份待标注结构化数据及字段信息；
创建集合操作：***自动创建一个测试集，一个训练集，初始训练集为空，所有待标注数据默认归入测试集。
步骤102：对测试集进行质检。
可选地，步骤202在对测试集进行质检时，具体执行为：***随机抽取用户指定数量的数据，由用户检查标注的正确性，并根据抽查结果给出不同置信度水平下的错误率指标。
在步骤103，判断质检结果是否满足要求。
可选地，步骤103在判断质检结果是否满足要求时，具体执行为：由用户判定是否接受抽查结果。用户接受则进入步骤108，否则进入步骤104。用户也可以继续增加抽检数据以提高期望指标的置信度。
应理解，对预测结果进行抽样检测，当满足预定正确率指标时，流程继续，否则跳转至步骤108。
在步骤104，从测试集提取n条数据进行人工标注，并放入训练集。
可选地，步骤104在从测试集提取n条数据进行人工标注，并放入训练集时，具体执行为：***从测试集中抽取n条数据（n可由用户设置）在界面呈现，由用户手工标注。第一次时***判断预测概率为空，则随机选取n条；预测概率不为空时，按预测概率排序，选取概率最小的top n。
进一步，可具体采用以下两种方式从测试集中提取数据：
方式一：
第一次选取数据时，从测试集中随机选取n条数据进行人工标注（n规模较小），标注完成后放入训练集。
方式二：
在迭代中经过模型的预测，根据预测概率进行排序，选取概率最小的top n，即模型最拿不准的n条数据进行人工修正重新标注，将修正后的标注数据放入训练集，使后续模型对剩余测试数据快速收敛。
在步骤105，设定训练参数。
可选地，步骤105在设定训练参数时，具体执行为：用户设定训练参数，后面迭代可以沿用。
应理解，为加快训练速度，用户可以仅指定跟标注结果有关的列作为输入，以及用户可以指定AutoML的模型搜索空间，例如设定仅尝试GBT、随机森林和LinearSVC三种模型。
在步骤106，用训练集训练模型。
可选地，在步骤106用训练集训练模型时，具体执行为：使用训练集启动AutoML引擎训练模型。
在步骤107，将模型应用于测试集，执行步骤102。
可选地，在步骤107将模型应用于测试集时，具体执行为：训练结束后，将模型应用于测试集，得到测试集数据的预测结果，执行步骤102。
在步骤108，合并训练集和测试集，输出结果。
可选地，在步骤108合并训练集和测试集，输出结果时，具体执行为：（5）合并训练集和经过预测的测试集，输出完成的标注数据。
其中，图2所示各步骤的具体实现可参照实施例一所提供的数据标注***方案，在此不做赘述。
通过上述技术方案，可用AutoML辅以人工迭代式提升标注质量；AutoML各个步骤都可以自动化，较为通用，每次迭代人工处理模型预测最差的数据，快速提升模型对剩余数据的精度；质检模块实时给出用户抽检的多个置信度区间，支撑用户的下一步动作。这样，利用AutoML适用场景广的特点，可以在大多数场景协助人工进行数据标注。同时让模型处理大部分数据，人工关注模型测不准的或模型预测有问题的少部分数据，规避了AutoML可能精度不高的问题。扬长避短使得需要人工标注的数据量大幅降低，极大减少了人的工作量。
图3是本说明书的一个实施例电子设备的结构示意图。请参考图3，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器（non-volatile memory），例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是 ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture， 扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于 表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成共享资源访问控制装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
创建训练集和测试集，将待标注数据归入测试集；
提取测试集数据进行标注并放入训练集；
设定训练参数，根据训练集数据启动AutoML模型训练；
将AutoML训练模型应用于所述测试集，输出满足质检要求的标注数据。
上述如本说明书图中所示实施例揭示的数据标注***执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital SignalProcessor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行附图中的方法，并实现数据标注***在附图所示实施例的功能，本说明书实施例在此不再赘述。
当然，除了软件实现方式之外，本说明书实施例的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
通过上述技术方案，可用AutoML辅以人工迭代式提升标注质量；AutoML各个步骤都可以自动化，较为通用，每次迭代人工处理模型预测最差的数据，快速提升模型对剩余数据的精度；质检模块实时给出用户抽检的多个置信度区间，支撑用户的下一步动作。这样，利用AutoML适用场景广的特点，可以在大多数场景协助人工进行数据标注。同时让模型处理大部分数据，人工关注模型测不准的或模型预测有问题的少部分数据，规避了AutoML可能精度不高的问题。扬长避短使得需要人工标注的数据量大幅降低，极大减少了人的工作量。
本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行附图中所示实施例的方法，并具体用于执行以下方法：
创建训练集和测试集，将待标注数据归入测试集；
提取测试集数据进行标注并放入训练集；
设定训练参数，根据训练集数据启动AutoML模型训练；
将AutoML训练模型应用于所述测试集，输出满足质检要求的标注数据。
通过上述技术方案，可用AutoML辅以人工迭代式提升标注质量；AutoML各个步骤都可以自动化，较为通用，每次迭代人工处理模型预测最差的数据，快速提升模型对剩余数据的精度；质检模块实时给出用户抽检的多个置信度区间，支撑用户的下一步动作。这样，利用AutoML适用场景广的特点，可以在大多数场景协助人工进行数据标注。同时让模型处理大部分数据，人工关注模型测不准的或模型预测有问题的少部分数据，规避了AutoML可能精度不高的问题。扬长避短使得需要人工标注的数据量大幅降低，极大减少了人的工作量。
总之，以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书的保护范围之内。
上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
Claims (9)
1.一种数据标注方法，其特征在于，包括以下步骤：
创建训练集和测试集，将待标注数据归入测试集；
提取测试集数据进行标注并放入训练集；
设定训练参数，根据训练集数据启动AutoML模型训练；
将AutoML训练模型应用于所述测试集，输出满足质检要求的标注数据。
2.如权利要求1所述的数据标注方法，其特征在于，所述创建训练集和测试集，将待标注数据归入测试集的步骤，进一步包括，
根据待标注结构化数据和字段信息，创建测试集和训练集；
初始训练集为空，所有数据放入测试集。
3.如权利要求1所述的数据标注方法，其特征在于，所述提取测试集数据进行标注并放入训练集的步骤，进一步包括，
初次选取数据时，将从测试集中随机选取的数据进行人工标注后放入训练集；
根据迭代中AutoML模型的预测概率进行排序，选取概率最小的数据进行人工标注，将修正后的数据放入训练集中。
4.如权利要求1所述的数据标注方法，其特征在于，所述设定训练参数，根据训练集数据启动AutoML模型训练的步骤，进一步包括，指定标注结果有关的列和AutoML的模型搜索空间作为训练参数。
5.如权利要求1所述的数据标注方法，其特征在于，所述将AutoML训练模型应用于所述测试集，输出满足质检要求的标注数据的步骤，进一步包括，
获取AutoML训练模型应用于测试集的数据预测结果；
判断预测结果是否满足质检要求；
将满足质检要求的测试集和训练集合并，输出标注结果；
将不满足质检要求的测试集重新提取测试集数据进行标注并放入训练集，进行模型训练。
6.如权利要求5所述的数据标注方法，其特征在于，所述判断预测结果是否满足质检要求的步骤，进一步包括，设置不同置信度下的正确率指标，对预测结果进行抽样检测，判断检测结果是否满足预设正确率指标。
7.一种数据标注***，其特征在于，包括用户处理模块、数据选取模块、质检模块、AutoML引擎以及可扩展模型库：
所述用户处理模块，用于提供用户可视化交互界面，方便用户处理和理解数据；
所述数据选取模块，用于根据指定策略从全量大数据里选取部分数据，策略包括随机抽取和按预测概率排序抽取；
所述质检模块，用于提供用户抽检数据的置信度支持；
所述可扩展模型库，用于提供AutoML可搜索的模型，可插件式扩展，增强AutoML引擎的能力。
8.一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行权利要求1-6任一项所述数据标注方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行权利要求1-6任一项所述数据标注方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011031077.7A CN114282586A (zh) | 2020-09-27 | 2020-09-27 | 一种数据标注方法、***和电子设备 |
| PCT/CN2021/120710 WO2022063274A1 (zh) | 2020-09-27 | 2021-09-26 | 一种数据标注方法、***和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011031077.7A CN114282586A (zh) | 2020-09-27 | 2020-09-27 | 一种数据标注方法、***和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114282586A true CN114282586A (zh) | 2022-04-05 |
Family
ID=80844961
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011031077.7A Pending CN114282586A (zh) | 2020-09-27 | 2020-09-27 | 一种数据标注方法、***和电子设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114282586A (zh) |
| WO (1) | WO2022063274A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115001791B (zh) * | 2022-05-27 | 2024-02-06 | 北京天融信网络安全技术有限公司 | 攻击资源标注方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150006442A1 (en) * | 2013-06-28 | 2015-01-01 | Linkedln Corporation | Facilitating machine learning in an online social network |
| CN110263934A (zh) * | 2019-05-31 | 2019-09-20 | 中国信息通信研究院 | 一种人工智能数据标注方法和装置 |
| CN110555206A (zh) * | 2018-06-01 | 2019-12-10 | 中兴通讯股份有限公司 | 一种命名实体识别方法、装置、设备及存储介质 |
| CN111008706A (zh) * | 2019-12-09 | 2020-04-14 | 长春嘉诚信息技术股份有限公司 | 一种自动标注、训练、预测海量数据的处理方法 |
| US20200126253A1 (en) * | 2018-10-17 | 2020-04-23 | NEXCOM Intelligent Systems CO., LTD. | Method of building object-recognizing model automatically |
| CN111177136A (zh) * | 2019-12-27 | 2020-05-19 | 上海依图网络科技有限公司 | 标注数据清洗装置和方法 |
| US20200210717A1 (en) * | 2018-12-27 | 2020-07-02 | Didi Research America, Llc | System for automated lane marking |
| CN111611239A (zh) * | 2020-04-17 | 2020-09-01 | 第四范式（北京）技术有限公司 | 实现自动机器学习的方法、装置、设备及存储介质 |
| CN111680793A (zh) * | 2020-04-21 | 2020-09-18 | 广州中科易德科技有限公司 | 一种基于深度学习模型训练的区块链共识方法和*** |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3836037A4 (en) * | 2018-07-10 | 2022-09-21 | The Fourth Paradigm (Beijing) Tech Co Ltd | METHOD AND SYSTEM FOR PERFORMING A MACHINE LEARNING PROCESS |
| US11074456B2 (en) * | 2018-11-14 | 2021-07-27 | Disney Enterprises, Inc. | Guided training for automation of content annotation |
| CN110287324B (zh) * | 2019-06-27 | 2023-08-08 | 成都冰鉴信息科技有限公司 | 一种针对粗粒度文本分类的数据动态标注方法及装置 |
| CN110458238A (zh) * | 2019-08-02 | 2019-11-15 | 南通使爱智能科技有限公司 | 一种证件圆弧点检测和定位的方法及*** |
| CN111008707A (zh) * | 2019-12-09 | 2020-04-14 | 第四范式（北京）技术有限公司 | 自动化建模方法、装置及电子设备 |
| CN111611240A (zh) * | 2020-04-17 | 2020-09-01 | 第四范式（北京）技术有限公司 | 执行自动机器学习过程的方法、装置及设备 |
-
2020
- 2020-09-27 CN CN202011031077.7A patent/CN114282586A/zh active Pending
-
2021
- 2021-09-26 WO PCT/CN2021/120710 patent/WO2022063274A1/zh active Application Filing
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150006442A1 (en) * | 2013-06-28 | 2015-01-01 | Linkedln Corporation | Facilitating machine learning in an online social network |
| CN110555206A (zh) * | 2018-06-01 | 2019-12-10 | 中兴通讯股份有限公司 | 一种命名实体识别方法、装置、设备及存储介质 |
| US20200126253A1 (en) * | 2018-10-17 | 2020-04-23 | NEXCOM Intelligent Systems CO., LTD. | Method of building object-recognizing model automatically |
| US20200210717A1 (en) * | 2018-12-27 | 2020-07-02 | Didi Research America, Llc | System for automated lane marking |
| CN110263934A (zh) * | 2019-05-31 | 2019-09-20 | 中国信息通信研究院 | 一种人工智能数据标注方法和装置 |
| CN111008706A (zh) * | 2019-12-09 | 2020-04-14 | 长春嘉诚信息技术股份有限公司 | 一种自动标注、训练、预测海量数据的处理方法 |
| CN111177136A (zh) * | 2019-12-27 | 2020-05-19 | 上海依图网络科技有限公司 | 标注数据清洗装置和方法 |
| CN111611239A (zh) * | 2020-04-17 | 2020-09-01 | 第四范式（北京）技术有限公司 | 实现自动机器学习的方法、装置、设备及存储介质 |
| CN111680793A (zh) * | 2020-04-21 | 2020-09-18 | 广州中科易德科技有限公司 | 一种基于深度学习模型训练的区块链共识方法和*** |
Non-Patent Citations (3)
| Title |
|---|
| 刘桂雄 等, 《激光杂志》面向语义分割机器视觉的AUTOML 方法, vol. 40, no. 6, 31 December 2019 (2019-12-31), pages 1 - 9 * |
| 百度NLP: "只需三步，百度EasyDL专业版帮你解决文本数据标注难题", pages 2, Retrieved from the Internet <URL:https://www.bilibili.com/read/cv6372457/> * |
| 董惠芝: "《AI自动化测试》", 31 May 2020, 机械工业出版社, pages: 211 - 212 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022063274A1 (zh) | 2022-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11322153B2 (en) | Conversation interaction method, apparatus and computer readable storage medium | |
| CN110321537B (zh) | 一种文案生成方法和装置 | |
| CN110705214A (zh) | 一种自动编码方法及装置 | |
| CN110866930B (zh) | 语义分割辅助标注方法与装置 | |
| US11651014B2 (en) | Source code retrieval | |
| US11462018B2 (en) | Representative image generation | |
| CN109978044B (zh) | 训练数据生成方法和装置、以及模型的训练方法和装置 | |
| CN113535817A (zh) | 特征宽表生成及业务处理模型的训练方法和装置 | |
| CN110569429A (zh) | 一种内容选择模型的生成方法、装置和设备 | |
| CN110888756A (zh) | 一种诊断日志生成方法及装置 | |
| CN111258905B (zh) | 缺陷定位方法、装置和电子设备及计算机可读存储介质 | |
| CN115455166A (zh) | 一种智能对话***异常检测的方法、装置、介质及设备 | |
| CN109271453B (zh) | 一种数据库容量的确定方法和装置 | |
| CN114282586A (zh) | 一种数据标注方法、***和电子设备 | |
| CN113220854A (zh) | 机器阅读理解的智能对话方法及装置 | |
| CN110796178B (zh) | 决策模型训练方法及样本特征选择方法、装置和电子设备 | |
| CN117407507A (zh) | 基于大语言模型的事件处理方法、装置、设备及介质 | |
| CN115759048A (zh) | 一种剧本文本处理方法及装置 | |
| CN115019295A (zh) | 模型训练方法、文本行确定方法及装置 | |
| CN115168575A (zh) | 应用于审计领域的主语补全方法及相关设备 | |
| CN114840762A (zh) | 推荐内容确定方法、装置和电子设备 | |
| CN114817707A (zh) | 一种节点和问题的创建方法、装置、电子设备及存储介质 | |
| CN114782720A (zh) | 文案的配图确定方法、装置、电子设备、介质及程序产品 | |
| CN110059272B (zh) | 一种页面特征识别方法和装置 | |
| CN114254090A (zh) | 问答知识库的扩充方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |