CN110674295A - 一种基于深度学习的数据标注*** - Google Patents
一种基于深度学习的数据标注*** Download PDFInfo
- Publication number
- CN110674295A CN110674295A CN201910859494.1A CN201910859494A CN110674295A CN 110674295 A CN110674295 A CN 110674295A CN 201910859494 A CN201910859494 A CN 201910859494A CN 110674295 A CN110674295 A CN 110674295A
- Authority
- CN
- China
- Prior art keywords
- deep learning
- data
- algorithm
- model
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/355—Class or cluster creation or modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于深度学习的数据标注***，包括：标注模块，用于创建和分配数据标注任务，标注数据，操作数据库，更新深度学习算法模型；数据库，用于存储***数据以及为***提供数据，标注模块标注的数据来源于数据库，标注后的数据存储在数据库，算法模块的训练数据来源于数据库中的已标注数据；算法模块，用于训练深度学习算法，集成若干深度学习算法，支持自定义深度学习算法模型；算法服务模块，用于对所有待标注的数据进行预标注，在算法训练完成后自动加载模型，并形成相应的算法服务；本***解决了现有标注***在数据源、标注速度和标注质量方面存在的问题。
Description
技术领域
本发明涉及自然语言智能处理领域，具体地，涉及一种基于深度学习的数据标注***。
背景技术
随着行业信息化建设不断深入，各个领域如金融，医疗，法律，电商等都积累了大量数据，将这些数据转换成真正的价值是人工智能企业的核心价值点。对人工智能企业来说，优质的数据不可或缺。
各大人工智能企业在数据需求方面面对数据来源和数据标注两方面问题：
数据来源：企业在进入新领域拓展业务和提供服务时极其缺乏数据。小企业的数据来源主要依靠客户提供。
数据标注：目前行业内的标注方式主要采用内部标注和外包两种形式。内部标注主要以excel为工具进行人工标注，少部分公司有自有标注***，但都是执行单一化任务，针对新的任务类型需要重新开发新的标注***，且没有标准的管理流程；外包标注只能将一些非核心数据交由外包团队标注，以量计费，标注成本高。
标注***需要解决以上两个问题：一方面，***本身应该包含各个领域的数据，满足人工智能企业用户快速进入新领域的数据要求；另一方面，能够适用于各种标注任务，有规范的标注流程，能有效提高标注速度和标注质量。
发明内容
本发明提供了一种基于深度学习的数据标注***，目的是解决现有标注***在数据源、标注速度和标注质量方面存在的问题。
本发明***适用于自然语言处理领域的各类标注任务，***包括四部分：标注模块、数据库、算法模块以及算法服务模块。能够在标注模块建立各种自然语言处理的标注任务，并且有完整规范的标注流程以及质检方法。数据库拥有各行各业的基础数据包(包含法律，医疗，电商，金融等多个领域)，方便用户直接获取数据，同时支持用户导入数据，建立特定的任务。算法模块用于训练深度学习算法模型，集成了主流的自然语言相关的深度学习算法模型，对应自然语言处理的各项任务，同时算法模块还支持用户在标注模块通过拖拉拽的方式自定义模型结构。算法服务模块，自动加载训练好的模型，预标注任务样本，同时选出最具标注价值的样本给标注人员复核，提高标注的质量和速度。
为了满足人工智能企业用户快速进入新领域的数据要求，解决现有标注***不能够标注多种类型的任务、没有规范标注流程的问题，本发明提供了一种基于深度学习的数据标注***，所述***包括：
标注模块，用于创建和分配数据标注任务、标注数据、操作数据库和更新深度学习算法模型；
数据库，用于存储***数据以及为***提供数据。标注模块标注的数据来源于数据库，标注后的数据存储于数据库，算法模块训练数据来源于数据库中的已标注数据；
算法模块，用于训练深度学习算法模型，集成了若干深度学习算法模型，支持自定义深度学习算法模型；
算法服务模块，用于对所有待标注的数据进行预标注，在深度学习算法模型训练完成后自动加载深度学习算法模型，并形成相应的深度学习算法服务。
优选的，所述算法模块支持训练多种类型的深度学习算法模型，包括：文本分类、实体识别、关系抽取、阅读理解和自动问答相关的深度学习算法；
所述算法模块集成了多种训练好的词向量，包括：Bert词向量、基于wiki的词向量、以及算法模块训练的词向量；
所述算法模块支持多种预训练深度学习算法模型，能够直接调用预训练深度学习算法模型；
算法服务模块形成的深度学习算法服务能够单独提出来作为独立的服务。
优选的，***任务新建及分配包括：***以账号和密码登录，账号分为主管账号和标注员账号，主管账号具有数据导入、新建任务、分配任务、查看标注情况、更新深度学习算法模型权限；标注员账号和主管账号都具有标注权限；一个主管账号可以关联多个标注员账号，一个标注员账号只对应一个主管账号。主管账号指定任务内容，确定数据来源，将任务分成若干个子任务并分配给指定的标注员账户，同时导入标注标准文档供标注员参考。
优选的，本***数据标注方式为：标注人员标注数据时，每条数据都已有一个预标注结果，标注人员能够审核和修改预标注结果，在数据标注页面设有标注标准文档供标注人员参考。
优选的，本***训练深度学习算法模型包括：
选择深度学习算法模型：既可以选择算法模块内置的深度学习算法模型，也可以新建深度学习算法模型；
训练深度学习算法模型：训练分为主动更新模型和被动更新模型。主动更新模型为管理员确定当前模型的预标注效果不满足预设要求时，调用算法模块重新训练深度学习算法模型以及更新加载深度学习算法模型；被动更新模型为在标注模块设置被动更新触发条件，当满足被动更新触发条件时，***自动更新深度学习算法模型。
优选的，标注模块执行标注任务时，首先由主管账号创建任务、选取数据并分配任务；由标注人员标注数据行，在标注过程中每条数据都先由算法服务模块预标注，标注人员复核和修改预标注数据；当标注数据达到一定数量或者需要主动更新深度学习算法模型时，主管账号通过标注模块发出重新训练深度学习算法模型以及更新算法服务模块的命令。
优选的，算法模块包括三层：底层的embedding层、中间的算法结构层和顶层的应用层；embedding层包括word embedding和sentence embedding，分别包括各种开源预训练深度学习算法模型产生的词向量和句向量，同时还包括用各个领域数据训练的词向量和句向量；算法结构层分为内置模型和自定义模型两类，自定义模型包括encoder层和decoder层，自定义模型时模型结构能够多次叠加；最上层的应用层对接各种类型的任务。
优选的，算法模块训练深度学习算法模型包括：模块对外提供深度学习算法模型训练接口，训练流程包括：首先解析配置文件；确定任务类型；通过数据库获取相应的数据；判断是否采用内置深度学习算法模型，如果是，则采用相应的深度学习算法结构；如果不是，则读取相应的深度学习算法结构配置文件，生成相应的深度学习算法结构；训练深度学习算法模型，训练完成后加载深度学习算法模型。
优选的，算法服务模块的任务为在深度学习算法模型训练完成后，自动加载深度学习算法模型，形成相应的服务接口提供预标注服务；根据不同的任务类型，形成相应的服务；根据不同任务的具体需求选择最具标注价值的样本；同时算法服务模块还支持同时输出深度学习算法模型以及算法服务，实现完成数据标注的同时转换成可使用的服务。
本申请提供的一个或多个技术方案，至少具有如下技术效果或优点：
通过在***中新建自然语言处理的标注任务，基于数据库数据包的支持，大大降低数据获取的难度，使得用户能够快速进入新领域拓展业务。
标注模块的标注流程及质检流程保证了数据标注的质量和效率。通过训练相应任务的模型，完成数据的预标注和样本挑选，极大减轻了数据标注人员的负担，提高标注样本的质量。
算法服务模块支持算法模型及服务的打包输出，实现了数据标注完成的同时转换成可使用的服务，缩短了用户的开发周期，降低用户的开发成本。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，并不构成对本发明实施例的限定；
图1是本发明中一种基于深度学习的数据标注***框架示意图；
图2是本发明中数据标注流程示意图；
图3是本发明中算法模块架构示意图；
图4是本发明中模型训练流程示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
请参考图1，本发明提供了一种基于深度学***台中集成了多种训练好的词向量，如Bert词向量，基于wiki的词向量，以及算法模块训练的词向量；算法模块支持多种预训练模型，可以直接调用。算法服务模块，算法训练完成时自动加载算法模型，并形成相应的算法服务，算法服务会对所有待标注的数据进行预标注，并且算法服务模块构建的服务能够单独提出来作为独立的服务。四个模块组成的***将每个标注任务都形成一个闭环，帮助提高数据标注的质量和速度。***架构图如图1所示。
标注模块的功能包括：
展现形式：标注模块以前端网页形式呈现。
账号：***以账号密码登录，账号分为主管账号和标注员账号，主管账号具有数据导入、新建任务、分配任务、查看标注情况、更新模型等管理权限，标注员账号和主管账号都具有标注权限。一个主管账号可以关联多个标注员账号，一个标注员账号只能对应一个主管账号。
任务类型：***支持多种类型的自然语言处理任务，包含但不限于以下任务：文本分类、实体识别、关系抽取、阅读理解、自动问答等多项nlp任务。
新建及分配任务：主管账号具有新建任务的权限，首先指定任务的内容(如文本分类，实体识别等)，然后确定数据来源(既可以选择数据库中的数据包作为数据来源，也可以选择导入数据作为数据来源)，最后将任务分成若干个子任务分配给指定标注员。导入标注标准文档(此文档作为标注员进行标注的参考文档)。
标注：标注人员在标注时，每条数据都已有一个预标注结果，标注人员只需要审核和修改预标注结果即可。在标注页面设有标注标准文档供标注人员参考。
模型训练：模型选择，既可以选择算法模块内置的模型(平台会默认选择内置模型)，也可以选择新建模型(支持搭积木式的配置模型结构，生成相应的配置文件)。模型训练分为主动更新模型和被动更新模型，主动更新模型为管理员确定当前模型的预标注效果不满足预设要求时，调用算法模块重新训练模型以及更新加载模型。被动更新模型，在标注模块设置一些被动更新触发条件，例如新标注数量达到一定值后会自动更新模型，当满足被动更新触发条件时，***自动更新模型。
标注模块执行标注任务时，首先由主管账号创建任务，选取数据并分配任务；然后由标注人员标注数据，在标注过程中每条数据都先由算法服务模块预标注，标注人员只需要复核和修改预标注数据即可；当标注数据达到一定数量或者需要主动更新模型时，主管账号通过标注模块发出重新训练模型以及更新算法服务的命令。具体流程如图2所示。
数据库功能：
数据库存储标注模块导入的数据。同时数据库包含各行各业的基础数据包。数据库存储的已标注数据可作为算法模块的数据输入，也可通过标注模块导出已标注数据。
算法模块功能：
算法模块作为整个标注***的核心组成部分，集成了多种任务解决方案来应对不同的标注任务，集成了多种深度学习算法，同时考虑到某些任务的特殊性还提供自定义模型功能。算法模块整体结构如图3所示，整个算法模块包括三层：底层的embedding层，中间的算法结构层，最上层的应用层。底层embedding层包括word embedding和sentenceembedding，分别包括各种开源预训练模型生成的词向量和句向量，同时也包含采用各个领域数据训练的词向量和句向量。算法结构层分为内置模型和自定义模型两类，算法模块内置了几十种主流的深度学习算法，涵盖了解决各种任务的算法；自定义模型分为encoder层和decoder层，自定义模型时模型结构可以多次叠加组合。最上层的应用层对接各种类型的任务。
模型训练功能：算法模块对外提供模型训练接口，模型训练的基本流程如图4所示。解析配置文件；确定任务类型；通过数据库获取相应的数据；判断是否采用内置模型，如果是则采用相应的算法结构，如果不是则读取相应的算法结构配置文件，生成相应的算法结构；训练模型，训练完成后加载上线模型。
算法服务模块：
算法服务模块的主要任务为在模型训练完成后自动加载模型，形成相应的服务接口，提供预标注服务。同时根据不同任务的具体需求选择最具标注价值的样本。算法服务模块还支持算法以及服务的打包输出，实现了完成数据标注的同时转换成可使用的服务，缩短用户的开发周期，降低用户的开发成本。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于深度学习的数据标注***，其特征在于，所述***包括：
标注模块，用于创建和分配数据标注任务、标注数据、操作数据库和更新深度学习算法；
数据库，用于存储***数据以及***提供数据，标注模块标注的数据来源于数据库，标注后的数据存储于数据库，算法模块的训练数据来源于数据库中的已标注数据；
算法模块，用于训练深度学习算法，集成若干深度学习算法，支持自定义深度学习算法；
算法服务模块，用于对所有待标注的数据进行预标注，在深度学习算法训练完成后自动加载深度学习算法模型，并形成相应的深度学习算法服务。
2.根据权利要求1所述的一种基于深度学习的数据标注***，其特征在于，所述算法模块支持训练多种类型的深度学习算法模型，包括：文本分类、实体识别、关系抽取、阅读理解和自动问答相关的深度学习算法模型；
所述算法模块集成了多种训练好的词向量，包括：Bert词向量、基于wiki的词向量以及算法模块训练的词向量；
所述算法模块支持多种预训练深度学习算法，能够直接调用预训练深度学习算法。
3.根据权利要求1所述的一种基于深度学习的数据标注***，其特征在于，算法服务模块形成的深度学习算法服务能够单独提出来作为独立的服务。
4.根据权利要求1所述的一种基于深度学习的数据标注***，其特征在于，本***中标注任务新建及分配方式为：***以账号和密码登录，账号分为主管账号和标注员账号，主管账号有数据导入、新建任务、分配任务、查看标注情况、更新深度学习算法模型权限；标注员账号和主管账号都有标注权限；一个主管账号可关联多个标注员账号，一个标注员账号只对应一个主管账号；主管账号指定任务内容，确定数据来源，将任务分成若干个子任务并分配给指定的标注员账户，同时导入标注标准文档供标注员参考。
5.根据权利要求1所述的一种基于深度学习的数据标注***，其特征在于，本***数据标注方式为：标注人员标注数据时，每条数据都已有一个预标注结果，标注人员能够审核和修改预标注结果，在数据标注页面设有标注标准文档供标注人员参考。
6.根据权利要求1所述的一种基于深度学习的数据标注***，其特征在于，本***训练深度学习算法模型包括：
选择深度学习算法模型：既能够选择算法模块内置的深度学习算法模型，也能够新建深度学习算法模型；
训练深度学习算法模型：训练分为主动更新模型和被动更新模型，主动更新模型为管理员确定当前模型的预标注效果不满足预设要求时，调用算法模块重新训练深度学习算法模型以及更新加载深度学习算法模型；被动更新模型为在标注***上设置被动更新触发条件，当满足被动更新触发条件时，***自动更新深度学习算法模型。
7.根据权利要求1所述的一种基于深度学习的数据标注***，其特征在于，标注模块执行标注任务时，首先由主管账号创建任务、选取数据并分配任务；然后由标注人员标注数据，在标注过程中每条数据都先由算法服务模块预标注，标注人员复核和修改预标注数据；当标注数据达到一定数量或者需要主动更新深度学习算法模型时，主管账号通过标注模块发出重新训练深度学习算法模型以及更新算法服务模块的命令。
8.根据权利要求1所述的一种基于深度学习的数据标注***，其特征在于，算法模块包括三层：底层的embedding层、中间的算法结构层和顶层的应用层；embedding层包括wordembedding和sentence embedding，分别包括各种开源预训练深度学习算法模型产生的词向量和句向量，同时还包括用各个领域数据训练的词向量和句向量；算法结构层包括内置模型和自定义模型两类，自定义模型包括encoder层和decoder层，自定义模型时模型结构能够多次叠加；最上层的应用层对接各种类型的任务。
9.根据权利要求1所述的一种基于深度学习的数据标注***，其特征在于，算法模块训练深度学习算法模型包括：模块对外提供深度学习算法模型训练接口，训练流程包括：首先解析配置文件；确定任务类型；通过数据库获取相应的数据；判断是否采用内置深度学习算法模型，如果是，则采用相应的深度学习算法结构；如果不是，则读取相应的深度学习算法结构配置文件，生成相应的深度学习算法结构；然后训练深度学习算法模型，训练完成后加载上线深度学习算法模型。
10.根据权利要求1所述的一种基于深度学习的数据标注***，其特征在于，算法服务模块的任务为在深度学习算法模型训练完成后，自动加载深度学习算法模型，形成相应的服务接口提供预标注服务；根据不同的任务类型，形成相应的服务；根据不同任务的具体需求选择最具标注价值的样本；同时算法服务模块还支持同时输出深度学习算法模型以及算法服务，实现完成数据标注的同时转换成可使用的服务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910859494.1A CN110674295A (zh) | 2019-09-11 | 2019-09-11 | 一种基于深度学习的数据标注*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910859494.1A CN110674295A (zh) | 2019-09-11 | 2019-09-11 | 一种基于深度学习的数据标注*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110674295A true CN110674295A (zh) | 2020-01-10 |
Family
ID=69077831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910859494.1A Pending CN110674295A (zh) | 2019-09-11 | 2019-09-11 | 一种基于深度学习的数据标注*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110674295A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111401571A (zh) * | 2020-04-24 | 2020-07-10 | 南京莱科智能工程研究院有限公司 | 基于交互式数据标注的自学习*** |
| CN111553161A (zh) * | 2020-04-28 | 2020-08-18 | 郑州大学 | 一种面向医疗文本的实体及关系标注*** |
| CN111582388A (zh) * | 2020-05-11 | 2020-08-25 | 广州中科智巡科技有限公司 | 一种图像数据快速标注的方法及*** |
| CN111612161A (zh) * | 2020-05-26 | 2020-09-01 | 罗普特科技集团股份有限公司 | 一种自动更新深度学习模型的方法、装置及存储介质 |
| CN111651270A (zh) * | 2020-05-19 | 2020-09-11 | 南京擎盾信息科技有限公司 | 对法律数据完成多任务语义标注的可视化方法和装置 |
| CN111695613A (zh) * | 2020-05-28 | 2020-09-22 | 平安科技（深圳）有限公司 | 数据标注***、计算机可读存储介质及电子设备 |
| CN111783391A (zh) * | 2020-05-28 | 2020-10-16 | 孙炜 | 一种在线人工文本标记***及方法 |
| CN112115197A (zh) * | 2020-08-31 | 2020-12-22 | 南京理工大学 | 基于分布式的数据标注和环境感知算法运行的***及方法 |
| CN112632350A (zh) * | 2020-12-07 | 2021-04-09 | 肇庆学院 | 一种基于在线教育大数据的深度学习样本标注方法及*** |
| CN112740230A (zh) * | 2020-04-30 | 2021-04-30 | 华为技术有限公司 | 数据标注***、方法和数据标注管理器 |
| WO2021143230A1 (zh) * | 2020-01-15 | 2021-07-22 | 初速度（苏州）科技有限公司 | 一种连续帧数据的标注***、方法和装置 |
| CN113706099A (zh) * | 2021-08-23 | 2021-11-26 | 中国电子科技集团公司第二十八研究所 | 一种数据标注、深度学习模型训练和服务发布*** |
| CN114611714A (zh) * | 2022-05-11 | 2022-06-10 | 成都数之联科技股份有限公司 | 模型处理方法、装置、***、电子设备及存储介质 |
| CN115114495A (zh) * | 2022-08-31 | 2022-09-27 | 青岛民航凯亚***集成有限公司 | 基于深度学习的适航数据治理辅助方法及其*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108830466A (zh) * | 2018-05-31 | 2018-11-16 | 长春博立电子科技有限公司 | 一种基于云平台的图像内容语义标注***和方法 |
| CN108881446A (zh) * | 2018-06-22 | 2018-11-23 | 深源恒际科技有限公司 | 一种基于深度学***台*** |
| CN108985293A (zh) * | 2018-06-22 | 2018-12-11 | 深源恒际科技有限公司 | 一种基于深度学习的图像自动化标注方法及*** |
| CN109299296A (zh) * | 2018-11-01 | 2019-02-01 | 郑州云海信息技术有限公司 | 一种交互式图像文本标注方法与*** |
| US10296848B1 (en) * | 2018-03-05 | 2019-05-21 | Clinc, Inc. | Systems and method for automatically configuring machine learning models |
| CN110096480A (zh) * | 2019-03-28 | 2019-08-06 | 厦门快商通信息咨询有限公司 | 一种文本标注***、方法及存储介质 |
-
2019
- 2019-09-11 CN CN201910859494.1A patent/CN110674295A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10296848B1 (en) * | 2018-03-05 | 2019-05-21 | Clinc, Inc. | Systems and method for automatically configuring machine learning models |
| CN108830466A (zh) * | 2018-05-31 | 2018-11-16 | 长春博立电子科技有限公司 | 一种基于云平台的图像内容语义标注***和方法 |
| CN108881446A (zh) * | 2018-06-22 | 2018-11-23 | 深源恒际科技有限公司 | 一种基于深度学***台*** |
| CN108985293A (zh) * | 2018-06-22 | 2018-12-11 | 深源恒际科技有限公司 | 一种基于深度学习的图像自动化标注方法及*** |
| CN109299296A (zh) * | 2018-11-01 | 2019-02-01 | 郑州云海信息技术有限公司 | 一种交互式图像文本标注方法与*** |
| CN110096480A (zh) * | 2019-03-28 | 2019-08-06 | 厦门快商通信息咨询有限公司 | 一种文本标注***、方法及存储介质 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021143230A1 (zh) * | 2020-01-15 | 2021-07-22 | 初速度（苏州）科技有限公司 | 一种连续帧数据的标注***、方法和装置 |
| CN111401571A (zh) * | 2020-04-24 | 2020-07-10 | 南京莱科智能工程研究院有限公司 | 基于交互式数据标注的自学习*** |
| CN111553161A (zh) * | 2020-04-28 | 2020-08-18 | 郑州大学 | 一种面向医疗文本的实体及关系标注*** |
| CN111553161B (zh) * | 2020-04-28 | 2022-11-18 | 郑州大学 | 一种面向医疗文本的实体及关系标注*** |
| CN112740230A (zh) * | 2020-04-30 | 2021-04-30 | 华为技术有限公司 | 数据标注***、方法和数据标注管理器 |
| CN112740230B (zh) * | 2020-04-30 | 2022-06-10 | 华为技术有限公司 | 数据标注***、方法和数据标注管理器 |
| CN111582388A (zh) * | 2020-05-11 | 2020-08-25 | 广州中科智巡科技有限公司 | 一种图像数据快速标注的方法及*** |
| CN111651270A (zh) * | 2020-05-19 | 2020-09-11 | 南京擎盾信息科技有限公司 | 对法律数据完成多任务语义标注的可视化方法和装置 |
| CN111612161A (zh) * | 2020-05-26 | 2020-09-01 | 罗普特科技集团股份有限公司 | 一种自动更新深度学习模型的方法、装置及存储介质 |
| CN111695613A (zh) * | 2020-05-28 | 2020-09-22 | 平安科技（深圳）有限公司 | 数据标注***、计算机可读存储介质及电子设备 |
| CN111783391A (zh) * | 2020-05-28 | 2020-10-16 | 孙炜 | 一种在线人工文本标记***及方法 |
| CN111695613B (zh) * | 2020-05-28 | 2023-01-24 | 平安科技（深圳）有限公司 | 数据标注***、计算机可读存储介质及电子设备 |
| CN111783391B (zh) * | 2020-05-28 | 2024-06-07 | 孙炜 | 一种在线人工文本标记***及方法 |
| CN112115197A (zh) * | 2020-08-31 | 2020-12-22 | 南京理工大学 | 基于分布式的数据标注和环境感知算法运行的***及方法 |
| CN112632350A (zh) * | 2020-12-07 | 2021-04-09 | 肇庆学院 | 一种基于在线教育大数据的深度学习样本标注方法及*** |
| CN112632350B (zh) * | 2020-12-07 | 2023-12-05 | 肇庆学院 | 一种基于在线教育大数据的深度学习样本标注方法及*** |
| CN113706099A (zh) * | 2021-08-23 | 2021-11-26 | 中国电子科技集团公司第二十八研究所 | 一种数据标注、深度学习模型训练和服务发布*** |
| CN114611714A (zh) * | 2022-05-11 | 2022-06-10 | 成都数之联科技股份有限公司 | 模型处理方法、装置、***、电子设备及存储介质 |
| CN114611714B (zh) * | 2022-05-11 | 2022-09-02 | 成都数之联科技股份有限公司 | 模型处理方法、装置、***、电子设备及存储介质 |
| CN115114495A (zh) * | 2022-08-31 | 2022-09-27 | 青岛民航凯亚***集成有限公司 | 基于深度学习的适航数据治理辅助方法及其*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110674295A (zh) | 一种基于深度学习的数据标注*** | |
| CN108881446B (zh) | 一种基于深度学***台*** | |
| CN112199086B (zh) | 自动编程控制***、方法、装置、电子设备及存储介质 | |
| US20230162051A1 (en) | Method, device and apparatus for execution of automated machine learning process | |
| CN101539855A (zh) | 一种业务基础软件平台 | |
| CN109344223A (zh) | 一种基于云计算技术的建筑信息模型管理***及方法 | |
| CN103810150A (zh) | 关系可嵌套的问卷自动生成方法和装置 | |
| CN107562859A (zh) | 一种分类模型训练***及其实现方法 | |
| CN110489749B (zh) | 一种智能办公自动化***的业务流程优化方法 | |
| CN112527791A (zh) | 一种城市大脑智能大数据*** | |
| CN108536718A (zh) | 一种基于输入输出语义化实现的管理信息化的方法和*** | |
| CN109101519A (zh) | 信息采集***和异构信息融合*** | |
| CN106096842A (zh) | 一种企业管理信息***及其构建方法 | |
| CN110516714A (zh) | 一种特征预测方法、***及引擎 | |
| CN115294308A (zh) | 基于深度学习的增强现实辅助装配作业引导*** | |
| CN109800776A (zh) | 素材标注方法、装置、终端和计算机可读存储介质 | |
| CN108228762A (zh) | 用于配置主数据库通用模板的方法和*** | |
| Vidoni et al. | Towards a Reference Architecture for Advanced Planning Systems. | |
| CN113902394A (zh) | 一种实现人工智能产业生态化的服务平台 | |
| CN103970900B (zh) | 基于工业现场的多维交叉数据柔性管理方法及*** | |
| KR102355787B1 (ko) | 화면 요구사항 수집 및 절차 관리 방법 | |
| US8875119B2 (en) | System and method for generating a source code for a computer program | |
| US8752004B2 (en) | System and a method for generating a domain-specific software solution | |
| Dumitriu | Modelling and simulation software solutions as a premise for enhancing processes’ quality and business overall value | |
| CN107451283A (zh) | 数据的分析方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 610000 No. 270, floor 2, No. 8, Jinxiu street, Wuhou District, Chengdu, Sichuan Applicant after: Chengdu shuzhilian Technology Co.,Ltd. Address before: 610000 No.2, 4th floor, building 1, Jule Road intersection, West 1st section of 1st ring road, Wuhou District, Chengdu City, Sichuan Province Applicant before: CHENGDU SHUZHILIAN TECHNOLOGY Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200110 |