CN115562753A - 数据处理方法及装置 - Google Patents

数据处理方法及装置 Download PDF

Info

Publication number
CN115562753A
CN115562753A CN202211242021.5A CN202211242021A CN115562753A CN 115562753 A CN115562753 A CN 115562753A CN 202211242021 A CN202211242021 A CN 202211242021A CN 115562753 A CN115562753 A CN 115562753A
Authority
CN
China
Prior art keywords
data
configuration
page
annotation
target resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211242021.5A
Other languages
English (en)
Inventor
喻聪
刘源旭
陈嘉蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bilibili Technology Co Ltd
Original Assignee
Shanghai Bilibili Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bilibili Technology Co Ltd filed Critical Shanghai Bilibili Technology Co Ltd
Priority to CN202211242021.5A priority Critical patent/CN115562753A/zh
Publication of CN115562753A publication Critical patent/CN115562753A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/445Program loading or initiating
    • G06F9/44505Configuring for program initiating, e.g. using registry, configuration files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/34Graphical or visual programming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Document Processing Apparatus (AREA)

Abstract

本申请提供数据处理方法及装置,其中所述数据处理方法应用于数据配置平台,包括:响应于目标资源数据的数据标注配置请求,获取配置用户的配置操作指令;解析所述配置用户的配置操作指令,确定所述目标资源数据的页面配置描述信息,其中,所述页面配置描述信息包括目标标注类型、目标标注参数中的至少一项;基于所述页面配置描述信息,构建所述目标资源数据的标注页面数据,其中,所述标注页面数据用于在数据标注客户端中生成并展示标注页面;通过对不同的资源数据,构建一套通用的可视化标注***,不仅节约了开发不同标注***带来的成本问题,还让不同标注场景的展示使用逻辑保持一致,降低标注人员理解使用平台的成本。

Description

数据处理方法及装置
技术领域
本申请涉及计算机技术领域,特别涉及数据处理方法。本申请同时涉及数据处理***,数据处理装置,一种计算设备,以及一种计算机可读存储介质。
背景技术
随着大数据时代的到来,机器学习与人工智能被应用于越来越多的领域。在有监督学习中,首先要解决的就是高质量训练数据的获取问题,有了已标注的数据才能进行接下来的模型训练与预测。在某些业务领域,为了获取训练数据,不得不采用人工标注的方法,对训练数据进行打标。
目前,对于不同的标注场景,都会针对性地开发一套适用于该场景的人工标注***,比如,对文本内容的人工标注,标注人员则使用专门对文本进行人工标注的***;对图片内容的人工标注,标注人员则使用专门对图片进行人工标注的***等。因此,这种为不同的标注内容开发不同的标注***,让标注人员使用的过程,将会导致开发成本急剧提高,同时,不同的标注***具有的不同逻辑,也会增大标注人员使用***的难度。
发明内容
有鉴于此,本申请实施例提供了数据处理方法。本申请同时涉及数据处理***、数据处理装置,一种计算设备,以及一种计算机可读存储介质,以解决现有技术中存在的不同待标注数据个性化开发标注平台带来的成本过高的问题。
根据本申请实施例的第一方面,提供了一种数据处理方法,应用于数据配置平台,包括:
响应于目标资源数据的数据标注配置请求,获取配置用户的配置操作指令;
解析所述配置用户的配置操作指令,确定所述目标资源数据的页面配置描述信息,其中,所述页面配置描述信息包括目标标注类型、目标标注参数中的至少一项;
基于所述页面配置描述信息,构建所述目标资源数据的标注页面数据,其中,所述标注页面数据用于在数据标注客户端中生成并展示标注页面。
根据本申请实施例的第二方面,提供了一种数据处理方法,应用于数据配置客户端,包括:
接收配置用户基于展示界面触发的数据标注配置指令;
响应于所述数据标注配置指令,展示数据标注配置页面;
接收所述配置用户在所述数据标注配置页面中针对目标资源数据的配置操作指令;
基于所述配置操作指令,生成所述目标资源数据的数据标注配置请求,并将所述数据标注配置请求发送至数据配置平台。
根据本申请实施例的第三方面,提供了一种数据处理***,所述数据处理***包括数据配置客户端、数据配置平台以及数据标注客户端;
所述数据配置客户端,被配置为响应于配置用户在数据标注配置页面中针对目标资源数据的配置操作指令,生成所述目标资源数据的数据标注配置请求;
所述数据配置平台,被配置为响应于所述数据标注配置请求,获取所述配置用户的配置操作指令;解析所述配置用户的配置操作指令,确定所述目标资源数据的页面配置描述信息,其中,所述页面配置描述信息包括目标标注类型、目标标注参数中的至少一项;基于所述页面配置描述信息,构建所述目标资源数据的标注页面数据;
所述数据标注客户端,被配置为读取所述目标资源数据的标注页面数据,对所述标注页面数据进行渲染,生成所述目标资源数据的标注页面,并将所述标注页面进行展示。
根据本申请实施例的第四方面,提供了一种数据处理装置,应用于数据配置平台,包括:
指令获取模块,被配置为响应于目标资源数据的数据标注配置请求,获取配置用户的配置操作指令;
信息确定模块,被配置为解析所述配置用户的配置操作指令,确定所述目标资源数据的页面配置描述信息,其中,所述页面配置描述信息包括目标标注类型、目标标注参数中的至少一项;
数据构建模块,被配置为基于所述页面配置描述信息,构建所述目标资源数据的标注页面数据,其中,所述标注页面数据用于在数据标注客户端中生成并展示标注页面。
根据本申请实施例的第五方面,提供了一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述计算机指令时实现所述数据处理方法的步骤。
根据本申请实施例的第六方面,提供了一种计算机可读存储介质,其存储有计算机指令,该计算机指令被处理器执行时实现所述数据处理方法的步骤。
本申请提供的数据处理方法,应用于数据配置平台,包括:响应于目标资源数据的数据标注配置请求,获取配置用户的配置操作指令;解析所述配置用户的配置操作指令,确定所述目标资源数据的页面配置描述信息,其中,所述页面配置描述信息包括目标标注类型、目标标注参数中的至少一项;基于所述页面配置描述信息,构建所述目标资源数据的标注页面数据,其中,所述标注页面数据用于在数据标注客户端中生成并展示标注页面。
本申请一实施例提供的数据处理方法,通过数据配置平台,对不同标注场景中不同的资源数据,确定配置用户需求的页面配置描述信息,同时,构建不同资源数据对应不同的标注页面数据,以便于标注页面数据在数据标注客户端中生成并展示给标注人员;该方案通过对不同的资源数据,构建一套通用的可视化标注***,一方面,节约了不同资源数据开发不同标注***带来的成本问题,另一方面,所有的资源数据均采用同一种页面配置方式,让不同标注场景的展示使用逻辑保持一致,降低标注人员理解使用平台的成本。
附图说明
图1是本申请一实施例提供的一种数据处理***的***结构示意图;
图2是本申请一实施例提供的一种数据处理***中的数据标注客户端展示的标注页面示意图;
图3是本申请一实施例提供的一种数据处理方法的流程图;
图4是本申请一实施例提供的另一种数据处理方法的流程图;
图5是本申请一实施例提供的一种数据处理方法的数据配置平台展示的数据标注配置页面示意图;
图6是本申请一实施例提供的一种数据处理方法应用于数据标注模型的处理过程流程图;
图7是本申请一实施例提供的一种数据处理装置的结构示意图;
图8是本申请一实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本申请一个或多个实施例中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本申请一个或多个实施例涉及的名词术语进行解释。
数据标注:是对未经处理的初级数据,包括语音、图片、文本、视频等进行加工处理并转换为机器可识别信息的过程。
标注平台:人工对内容资源进行审核、分类、注解等操作的后台***。
随着人工智能技术的发展,对结构化数据的要求越来越高,在当前机器模式识别能力还不足以和人工匹配的情况下,人工标注仍然是获取结构化数据的核心手段;不同的场景、不同的原始数据类型要求的结构化数据是不一样的,那么,如何让人工标注出人工智能***容易进一步处理的数据,是标注***关注的核心问题。
针对不同的标注场景,当前主要的手段是针对性的进行开发。但是定制化开发一方面成本较高,另一方面每次新的开发对标注人员、***接入人员来说,都是比较大的负担。因此,本申请考虑抽象出一套通用的可视化的基础***,针对不同的标注场景,可以通过拼搭、拖拽组合的方式,生成想要的标注场景对应的标注页面,供标注人员使用,一方面节约了标注平台的开发成本,另一方面让不同标注场景的展示使用逻辑保持一致,降低标注人员理解使用平台的成本。
在本申请中,提供了数据处理方法,本申请同时涉及数据处理***、数据处理装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
图1示出了根据本申请一实施例提供的一种数据处理***的***结构示意图。
图1为数据处理***100的结构示意图,包括数据配置客户端102、数据配置平台104、数据标注客户端106、配置用户以及标注用户;其中,数据配置客户端可以理解为开发人员能够对标注页面进行页面配置的客户端,能够支持开发人员的各种配置操作;数据标注客户端可以理解为标注人员进行数据标注的客户端,能够支持标注人员对待标注数据进行标注处理的操作;数据配置平台可以理解为支持数据配置客户端生成不同场景的标注页面配置的平台,可以为配置解析器、也可以为配置服务器,本实施例对此不作任何限定;需要说明的是,配置用户可以为开发标注平台的开发业务接入人员,标注用户可以为对待标注数据进行人工标注的人员。
具体实施时,本实施例提供的数据处理***包括数据配置客户端102、数据配置平台104以及数据标注客户端106;
所述数据配置客户端102,被配置为响应于配置用户在数据标注配置页面中针对目标资源数据的配置操作指令,生成所述目标资源数据的数据标注配置请求;
所述数据配置平台104,被配置为响应于所述数据标注配置请求,获取所述配置用户的配置操作指令;解析所述配置用户的配置操作指令,确定所述目标资源数据的页面配置描述信息,其中,所述页面配置描述信息包括目标标注类型、目标标注参数中的至少一项;基于所述页面配置描述信息,构建所述目标资源数据的标注页面数据;
所述数据标注客户端106,被配置为读取所述目标资源数据的标注页面数据,对所述标注页面数据进行渲染,生成所述目标资源数据的标注页面,并将所述标注页面进行展示。
其中,目标资源数据可以理解为人工标注场景下的各种待标注的资源数据,包括但不限定于文本数据、图像数据、音视频数据等等。
配置操作指令可以理解为配置用户在页面配置界面,对想要标注的场景设置对应的标注形式的操作指令,比如在页面配置界面的拖拽组件指令、控件点击指令等。
需要说明的是,正是由于待标注数据的数据类型不同,配置用户即开发人员,会根据不同类型的待标注数据开发不同的标注界面,例如,对文本数据的标注工作,标注界面中可以设置对该文本数据进行评价的标注,比如有是或否这样的单项选择的标注功能;对于视频数据的标注工作,标注界面可能会展示两段视频,让标注人员判断两段视频中是否有一致的视频内容,那么标注界面中不仅可以设置对该视频数据判断是否有相同片段这样的单项选择,还可以设置相同的视频片段的标签输入位置,让标注人员进行人工输入等等功能。
基于此,为了降低开发人员开发不同资源类型的标注页面的开发成本,本实施例通过配置用户在数据配置客户端102中,根据不同的资源数据,配置用户在图1中的配置页面中执行不同的配置操作指令,并生成针对该目标资源数据的数据标注配置请求;进一步地,数据配置平台104响应于该数据标注配置请求,获取到配置用户的配置操作指令,并对该配置操作指令进行解析,以确定该目标资源数据的页面配置描述信息,并根据该页面配置描述信息,构建目标资源数据的标注页面数据;需要说明的是,该页面配置描述信息可以理解为对不同的待标注的资源数据在标注页面中所设置的不同页面配置的信息,比如标注类型信息、标注参数信息、控件类型信息等等,这些页面配置描述信息是用来构建与目标资源数据类型相符合的标注页面。
进一步地,数据标注客户端106读取到该目标资源数据对应的标注页面数据,并对该标注页面数据进行渲染,生成该目标资源数据对应的标注页面,即图1中的标注页面,再将该标注页面展示于数据标注客户端106中,这样标注人员就可通过数据标注客户端106对目标资源数据进行人工标注处理。
本申请实施例提供的数据处理***,对不同的目标资源数据,利用配置用户的配置操作指令构建目标资源数据对应的标注页面数据,一方面不仅能够满足不同资源数据人工标注的标注需求,另一方面,所有的资源数据均采用这一种通用的标注配置***,构建的可视化标注页面也便于标注人员使用,使得不同标注场景的展示使用逻辑保持一致,降低标注人员理解使用平台的成本。
另外,标注人员可利用数据标注客户端展示的标注页面完成对目标资源数据的数据标注工作;具体的,所述数据标注客户端,进一步被配置为接收标注用户针对所述标注页面的标注交互指令;响应于所述标注交互指令,生成所述目标资源数据的标注结果。
其中,标注交互指令可以理解为标注人员在标注页面中,对目标资源数据进行人工标注的操作指令,比如文本框操作指令、标签输入指令、控件拖拽点击指令等等。
实际应用中,数据标注客户端可接收到标注用户在展示的标注页面的标注交互指令,该标注交互指令主要是对标注用户对目标资源数据进行人工标注的交互操作指令,然后,数据标注客户端可响应于该标注交互指令,生成该目标资源数据的标注结果。
例如,标注用户对图像数据进行标注,通过在标注页面中点选文本框工具,在该图像数据中,将关键图像区域进行文本框的框选操作,进而,在标注页面中输入文本框框选内容对应的标签等过程,进而,数据标注客户端便可获取到该图像数据对应的人工标注结果。
本申请实施例提供的数据处理***中,数据标注客户端通过标注用户在标注页面中的标注操作,可以确定目标资源数据对应的数据标注结果,便于后续利用数据标注结果,对目标资源数据的进一步利用。
进一步地,所述数据标注客户端,进一步被配置为解析所述目标资源数据的标注结果,获得所述目标资源数据的资源标识以及资源标注信息,并将所述资源标识以及所述资源标注信息进行存储。
实际应用中,在人工智能训练模型、对标注结果进行质检或者导出其他使用平台的场景中,都需要获取到目标资源数据的标注结果,以准确地确定出从目标资源数据提取的数据核心内容,进而,数据标注客户端即可对目标资源数据的标注结果进行解析,并将结果持久化存储至本地。具体实施时,数据标注客户端可对目标资源数据的标注结果进行解析,并存储至数据库或磁盘中,后续供人工智能***或其他应用场景提供服务等;需要说明的是,对于目标资源数据的标注结果进行解析工作,还可以利用标注结果解析服务器完成,即将标注结果提交到后端的标注结果解析服务器,完成对标注结果的解析工作后,即确定了目标资源数据的资源标识以及资源标注信息,就可将该资源标识以及资源标注信息存储至数据库或者磁盘中,本实施例中对于标注结果解析操作的执行主体,不作任何限定。
本申请实施例提供的数据处理***,通过对标注用户对目标资源数据的标注结果进行存储,便于后续随时可以读取到目标资源数据的标注结果,以确定为待训练数据以及对应的数据标签、或者是便于后续导出标注平台,放置于运营平台完成数据分析工作等。
参见图2,图2示出了一种数据处理***中的数据标注客户端展示的标注页面示意图。
图2示出了在数据标注客户端的展示界面展示的标注页面,其中,左半部分为资源展示区域,该资源展示区域用于展示各种不同类型的资源数据,比如文本、图像、视频等资源数据;右半部分为对左半部分的资源数据选择以什么样的标注类型进行标注的部分,其中,图2中所示标注类型可分为“多级标签”、“单项选择”、“文本框”、“......”等类型,进一步地,标注页面中还有“标注”、“取消”的控件,以实现对目标资源数据进行标注的工作。
需要说明的是,数据标注客户端所展示的标注页面具体的展示部分,在本实施例中并不做任何限定,可以其他展示方式进行展示,其展示的页面配置是根据配置用户在数据配置客户端进行配置操作指令确定的,相应地标注页面数据也从数据配置平台读取,并经过渲染展示在数据标注客户端的标注页面中。
图3示出了根据本申请一实施例提供的一种数据处理方法的流程图,具体包括以下步骤:
需要说明的是,本实施例提供的数据处理方法,应用于数据配置平台,是能够实现对不同资源数据配置通用的标注平台,构建一个可视化、便捷操作的标注页面配置***。
步骤302:响应于目标资源数据的数据标注配置请求,获取配置用户的配置操作指令。
其中,目标资源数据可以理解为待标注的资源数据,括文本数据、图像数据、视频数据、音频数据中的至少一项。
配置操作指令可以理解为配置用户在数据配置客户端中触发的界面操作指令,该配置操作指令可携带有配置操作指向的控件类型含义、控件操作含义等。
实际应用中,数据配置平台响应于目标资源数据的数据标注配置请求,并从该数据标注配置请求中获取到配置用户的配置操作指令;需要说明的是,数据标注配置请求为数据配置客户端生成的,且根据配置用户的操作指令触发的,表示对目标资源数据对应的标注页面进行自定义配置。
步骤304:解析所述配置用户的配置操作指令,确定所述目标资源数据的页面配置描述信息,其中,所述页面配置描述信息包括目标标注类型、目标标注参数中的至少一项。
其中,页面配置描述信息可以理解为标注页面的各个模块的配置描述信息,即描述标注页面中包括在进行数据标注时,需要设置的标注类型、标注参数等页面配置信息。
实际应用中,数据配置平台在获取到配置用户的配置操作指令之后,对该配置操作指令进行解析,以获取到配置用户对于该目标资源数据的页面配置描述信息,即可以理解为确定配置用户想要对该目标资源数据的标注页面设置为什么样的操作页面,并且该页面配置包括标注类型、标注参数中的至少一项,其中,标注类型为对资源数据进行标注的形式,包括但不限定于单项选择标注类型、文本框标注类型、多级标签标注类型、文本分词标注类型、音频标注类型等;标注参数为标注类型对应的定制化参数,比如,单项选择标注类型对应的标注参数就包括标注的主题、选项内容(选项1、选项2)等参数。
步骤306:基于所述页面配置描述信息,构建所述目标资源数据的标注页面数据,其中,所述标注页面数据用于在数据标注客户端中生成并展示标注页面。
其中,标注页面数据可以理解为后台存储的构成标注页面的数据,对该标注页面数据进行渲染,即可获得对应的标注页面。
进一步地,数据配置平台可根据页面配置描述信息,构建出目标资源数据的标注页面数据,即该标注页面数据为目标资源数据的标注页面对应的页面数据,便于将标注页面数据在数据标注客户端中进行渲染,以生成能够展示在客户端中的标注页面。
具体实施时,不同的资源数据可采用不同的页面设计模板,以构建对该资源数据进行标注的标注页面;具体的,所述基于所述页面配置描述信息,构建所述目标资源数据的标注页面数据,包括:
确定所述目标资源数据的标注页面模板;
基于所述页面配置描述信息以及所述标注页面模板,构建所述目标资源数据的标注页面数据。
其中,标注页面模板可以理解为构建前端标注页面的基础模板,在该基础模板中添加数据标注的标注类型、标注参数等页面控件或区域等,即能够组成标注页面数据。
实际应用中,数据配置平台可先确定出目标资源数据对应的标注页面模板,不同的资源类型所展示的页面布局均会有所不同,因此,不同的资源数据对应着不同的标注页面模板,比如,图像资源在页面布局时,需要划分出一个图像展示区域进行展示;视频资源在页面布局时,可能会划分出多个视频展示区域,同时进行展示等。
进一步地,数据配置平台确定了目标资源数据对应的标注页面模板之后,可根据页面配置描述信息以及标注页面模板,构建该目标资源数据对应的标注页面数据,该标注页面数据即为该目标资源数据配置的满足配置用户需求的页面数据。
例如,目标资源数据为图像数据,可确定图像数据的标注页面模板中,包括图像展示区域,该图像展示区域可同时展示一张图像或多张图像,对此不作具体限定,另外,标注页面模板中还设置对图像进行标注的文本框工具,多级标签输入框等元素所展示的区域位置;最后,根据图像数据的标注页面模板以及图像数据的页面配置描述信息,构建图像数据的标注页面数据。
本申请实施例提供的数据处理方法,通过确定不同资源数据对应的标注页面模板,进而构建资源数据对应的标注页面数据,以便于生成能够在数据标注客户端进行展示的资源数据对应的标注页面。
更进一步地,标注页面中各个展示部分所展示的位置,也可事先通过对页面配置描述信息的展示位置的确定,以构建标注页面数据;具体的,所述基于所述页面配置描述信息以及所述标注页面模板,构建所述目标资源数据的标注页面数据,包括:
确定所述页面配置描述信息在所述标注页面模板中的信息展示位置;
基于所述信息展示位置,构建所述目标资源数据的标注页面数据。
其中,信息展示位置可以理解为页面配置描述信息在标注页面模板的页面布局中的展示位置。
实际应用中,数据配置平台可确定页面配置描述信息在标注页面模板中的信息展示位置,具体的,确定页面配置描述信息中的标注类型所展示的页面位置,确定页面配置描述信息中的标注参数所展示的页面位置等,最后,数据配置平台根据各个页面配置描述信息所展示的位置,构建该目标资源数据对应的标注页面数据。
需要说明的是,页面配置描述信息可包括不同种类的描述信息,对于描述信息的数量本实施例中不作任何限定,是根据不同的应用场景确定有不同数量的描述信息,进而,对每个描述信息均确定对应的信息展示位置。
本申请实施例提供的数据处理方法,通过确定页面配置描述信息的信息展示位置,以构建带有描述信息局部区域的标注页面数据,便于生成满足配置用户需求的标注页面,有利于标注人员进行数据标注。
此外,本申请实施例提供的数据处理方法,数据配置平台中还可对标注页面数据进行持久化存储在数据库或磁盘中;具体的,所述基于所述页面配置描述信息,构建所述目标资源数据的标注页面数据之后,还包括:
将所述目标资源数据的标注页面数据进行存储。
实际应用中,数据配置平台还可将提交的配置内容,即确定的目标资源数据的标注页面数据进行持久化存储至数据库或者磁盘中。
综上,本申请实施例提供的数据处理方法,通过在数据配置平台对不同的资源数据进行通用配置,以确定构建标注页面的标注页面数据,一方面不仅能够满足不同资源数据人工标注的标注需求,另一方面,所有的资源数据均采用这一种通用的标注配置***,构建的可视化标注页面也便于标注人员使用,使得不同标注场景的展示使用逻辑保持一致,降低标注人员理解使用平台的成本。
图4示出了根据本申请一实施例提供的另一种数据处理方法的流程图,具体包括以下步骤:
需要说明的是,本实施例提供的数据处理方法,应用于数据配置客户端,该数据配置客户端是面向于配置用户进行配置操作的客户端,即可展示一种可视化、拖拽等操作的标注页面配置***。
步骤402:接收配置用户基于展示界面触发的数据标注配置指令。
其中,数据标注配置指令可以理解为配置用户需要进行标注页面配置的控制指令。
实际应用中,配置用户在数据配置客户端中,可通过触发数据标注配置控件,以生成数据标注配置指令,需要说明的是,数据标注配置控件可在客户端的展示界面中的任意位置,本实施例对此不作具体限定。
步骤404:响应于所述数据标注配置指令,展示数据标注配置页面。
实际应用中,数据配置客户端响应于该数据标注配置指令,即可将数据标注配置页面展示在展示界面中,供配置用户在该配置界面中进行配置操作,完成对标注页面的通用配置。
步骤406:接收所述配置用户在所述数据标注配置页面中针对目标资源数据的配置操作指令。
其中,配置操作指令可以理解为配置用户在配置页面中的拖拽、点击、输入等操作指令,且该操作指令中携带有操作指向的数据内容,即拖拽操作指令,包括被拖拽的标注类型信息、标注参数信息等。
实际应用中,数据配置客户端可接收到配置用户在数据标注配置页面中的配置操作指令,该配置操作指令根据不同的资源数据,可执行不同的操作指令,这就取决于不同业务场景,配置用户的不同操作行为,本实施例对此不作任何限定。
步骤408:基于所述配置操作指令,生成所述目标资源数据的数据标注配置请求,并将所述数据标注配置请求发送至数据配置平台。
进一步地,数据配置客户端根据该配置操作指令,生成针对该目标资源数据的数据标注配置请求,并将该数据标注配置请求发送至数据配置平台,以便于数据配置平台生成能够进行展示的标注页面数据。
此外,所述配置操作指令包括控件交互指令和/或数据输入指令;
相应地,所述接收所述配置用户在所述数据标注配置页面中针对目标资源数据的配置操作指令,包括:
接收所述配置用户在所述数据标注配置页面中,针对所述目标资源数据的标注类型的控件交互指令;和/或
接收所述配置用户在所述数据标注配置页面中,针对所述目标资源数据的标注参数的数据输入指令。
其中,控件交互指令可以理解为配置用户针对各个配置控件的交互指令,比如点击指令、拖拽指令等;数据输入指令可以理解为配置用户对文本框控件的文本输入指令,具体的文本输入内容可根据不同的配置场景确定,在此不做过多限定。
实际应用中,在数据配置客户端中,配置用户对于目标资源数据的标注类型,可通过控件交互指令进行选择,对于目标资源数据的标注参数等,可通过数据输入指令进行输入操作,以完成对目标资源数据的配置操作指令;进而,确定针对该目标资源数据对应的数据标注配置请求,并发送至数据配置平台,完成对目标资源数据进行页面配置的过程。
综上,本申请实施例提供的数据处理方法,通过配置用户在数据配置客户端中的拖拽、点击等操作,对不同的标注元素进行拼搭的方式,生成想要的标注场景供标注人员后续使用,这种建立通用的配置页面的方式,使得不同的标注场景的展示使用逻辑保持一致,另外,配置用户的开发过程也较为简单快捷。
参见图5,图5示出了一种数据处理方法的数据配置平台展示的数据标注配置页面示意图。
图5示出了数据配置客户端的展示界面展示的配置页面,其中,左半部分为待选组件,包括基础组件和高级组件,基础组件中还包括单项选择、多项选择以及文本框,高级组件中还包括多级标签、标注物以及音频标注;中间部分为能够进行拖拽组合的中间页面,配置用户可从待选组件中进行拖拽,比如将单项选择的控件拖拽至中间页面,即表示对于当前配置的标注页面以单项选择的方式进行数据标注,另外,中间页面中的文本框和多级标签,也同样重复上述操作展示在中间页面中;最后,右半部分为参数定制化区域,即对数据标注的方式具体参数的定制化设置,比如,单项选择中,需要输入单项选择标题、选项内容包括选项1以及选项2等。
需要说明的是,图5的数据标注配置页面仅为配置用户使用的展示界面的示意,除了图5中示意的组件以外,还可包括其他需要配置的组件、参数等元素,在此不做过多限制。
参见图6,图6示出了一种数据处理方法应用于数据标注模型的处理过程流程图,具体包括以下步骤:
步骤602:业务接入人员在数据配置客户端的配置页面中,配置自己想要的数据标注场景,通过拖拽操作在中间页面中组合自己想要打标的形式,并对确定的打标形式进行参数定制化。
步骤604:业务配置页面配置完成之后,会提交一个数据标注配置请求发送至配置解析器。
步骤606:配置解析器可将提交的核心配置内容会持久化存储至数据库或者磁盘中。
步骤608:页面配置完成之后,标注人员在使用标注平台时,平台页面会从配置解析器或者数据库中读取页面配置进行渲染,并生成标注页面展示在数据标注客户端中。
步骤610:标注人员进行了数据标注之后,可提交标注结果到后端标注结果解析服务器中,将标注结果进行解析后,会将解析结果持久化存储至数据库或者磁盘中,后续供人工智能等服务使用。
综上,本申请实施例提供的数据处理方法,针对不同的标注场景,构建一套通用的可视化***,通过拖拽组合的方式,低成本的构建供标注人员使用的标注页面,一方面节约了标注平台的开发成本,另一方面让不同标注场景的展示使用逻辑保持一致,降低标注人员理解使用平台的成本。
与上述方法实施例相对应,本申请还提供了数据处理装置实施例,图7示出了本申请一实施例提供的一种数据处理装置的结构示意图。如图7所示,该装置应用于数据配置平台,包括:
指令获取模块702,被配置为响应于目标资源数据的数据标注配置请求,获取配置用户的配置操作指令;
信息确定模块704,被配置为解析所述配置用户的配置操作指令,确定所述目标资源数据的页面配置描述信息,其中,所述页面配置描述信息包括目标标注类型、目标标注参数中的至少一项;
数据构建模块706,被配置为基于所述页面配置描述信息,构建所述目标资源数据的标注页面数据,其中,所述标注页面数据用于在数据标注客户端中生成并展示标注页面。
可选地,所述数据构建模块706,进一步被配置为:
确定所述目标资源数据的标注页面模板;
基于所述页面配置描述信息以及所述标注页面模板,构建所述目标资源数据的标注页面数据。
可选地,所述数据构建模块706,进一步被配置为:
确定所述页面配置描述信息在所述标注页面模板中的信息展示位置;
基于所述信息展示位置,构建所述目标资源数据的标注页面数据。
可选地,所述装置,还包括:
数据存储模块,被配置为将所述目标资源数据的标注页面数据进行存储。
可选地,所述目标资源数据包括文本数据、图像数据、视频数据、音频数据中的至少一项。
本申请实施例提供的数据处理装置,通过数据配置平台,对不同标注场景中不同的资源数据,确定配置用户需求的页面配置描述信息,同时,构建不同资源数据对应不同的标注页面数据,以便于标注页面数据在数据标注客户端中生成并展示给标注人员;该方案通过对不同的资源数据,构建一套通用的可视化标注***,一方面,节约了不同资源数据开发不同标注***带来的成本问题,另一方面,所有的资源数据均采用同一种页面配置方式,让不同标注场景的展示使用逻辑保持一致,降低标注人员理解使用平台的成本。
上述为本实施例的一种数据处理装置的示意性方案。需要说明的是,该数据处理装置的技术方案与上述的数据处理方法的技术方案属于同一构思,数据处理装置的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。
图8示出了根据本申请一实施例提供的一种计算设备800的结构框图。该计算设备800的部件包括但不限于存储器810和处理器820。处理器820与存储器810通过总线830相连接,数据库850用于保存数据。
计算设备800还包括接入设备840,接入设备840使得计算设备800能够经由一个或多个网络860通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备840可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本申请的一个实施例中,计算设备800的上述部件以及图8中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图8所示的计算设备结构框图仅仅是出于示例的目的,而不是对本申请范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备800可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备800还可以是移动式或静止式的服务器。
其中,处理器820执行所述计算机指令时实现所述的数据处理方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的数据处理方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。
本申请一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该计算机指令被处理器执行时实现如前所述数据处理方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的数据处理方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本申请的内容,可作很多的修改和变化。本申请选取并具体描述这些实施例,是为了更好地解释本申请的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (13)

1.一种数据处理方法,其特征在于,应用于数据配置平台,包括:
响应于目标资源数据的数据标注配置请求,获取配置用户的配置操作指令;
解析所述配置用户的配置操作指令,确定所述目标资源数据的页面配置描述信息,其中,所述页面配置描述信息包括目标标注类型、目标标注参数中的至少一项;
基于所述页面配置描述信息,构建所述目标资源数据的标注页面数据,其中,所述标注页面数据用于在数据标注客户端中生成并展示标注页面。
2.根据权利要求1所述的方法,其特征在于,所述基于所述页面配置描述信息,构建所述目标资源数据的标注页面数据,包括:
确定所述目标资源数据的标注页面模板;
基于所述页面配置描述信息以及所述标注页面模板,构建所述目标资源数据的标注页面数据。
3.根据权利要求2所述的方法,其特征在于,所述基于所述页面配置描述信息以及所述标注页面模板,构建所述目标资源数据的标注页面数据,包括:
确定所述页面配置描述信息在所述标注页面模板中的信息展示位置;
基于所述信息展示位置,构建所述目标资源数据的标注页面数据。
4.根据权利要求1所述的方法,其特征在于,所述基于所述页面配置描述信息,构建所述目标资源数据的标注页面数据之后,还包括:
将所述目标资源数据的标注页面数据进行存储。
5.根据权利要求1-4任意一项所述的方法,其特征在于,所述目标资源数据包括文本数据、图像数据、视频数据、音频数据中的至少一项。
6.一种数据处理方法,其特征在于,应用于数据配置客户端,包括:
接收配置用户基于展示界面触发的数据标注配置指令;
响应于所述数据标注配置指令,展示数据标注配置页面;
接收所述配置用户在所述数据标注配置页面中针对目标资源数据的配置操作指令;
基于所述配置操作指令,生成所述目标资源数据的数据标注配置请求,并将所述数据标注配置请求发送至数据配置平台。
7.根据权利要求6所述的方法,其特征在于,所述配置操作指令包括控件交互指令和/或数据输入指令;
相应地,所述接收所述配置用户在所述数据标注配置页面中针对目标资源数据的配置操作指令,包括:
接收所述配置用户在所述数据标注配置页面中,针对所述目标资源数据的标注类型的控件交互指令;和/或
接收所述配置用户在所述数据标注配置页面中,针对所述目标资源数据的标注参数的数据输入指令。
8.一种数据处理***,其特征在于,所述数据处理***包括数据配置客户端、数据配置平台以及数据标注客户端;
所述数据配置客户端,被配置为响应于配置用户在数据标注配置页面中针对目标资源数据的配置操作指令,生成所述目标资源数据的数据标注配置请求;
所述数据配置平台,被配置为响应于所述数据标注配置请求,获取所述配置用户的配置操作指令;解析所述配置用户的配置操作指令,确定所述目标资源数据的页面配置描述信息,其中,所述页面配置描述信息包括目标标注类型、目标标注参数中的至少一项;基于所述页面配置描述信息,构建所述目标资源数据的标注页面数据;
所述数据标注客户端,被配置为读取所述目标资源数据的标注页面数据,对所述标注页面数据进行渲染,生成所述目标资源数据的标注页面,并将所述标注页面进行展示。
9.根据权利要求8所述的***,其特征在于,所述数据标注客户端,进一步被配置为接收标注用户针对所述标注页面的标注交互指令;响应于所述标注交互指令,生成所述目标资源数据的标注结果。
10.根据权利要求9所述的***,其特征在于,所述数据标注客户端,进一步被配置为解析所述目标资源数据的标注结果,获得所述目标资源数据的资源标识以及资源标注信息,并将所述资源标识以及所述资源标注信息进行存储。
11.一种数据处理装置,其特征在于,应用于数据配置平台,包括:
指令获取模块,被配置为响应于目标资源数据的数据标注配置请求,获取配置用户的配置操作指令;
信息确定模块,被配置为解析所述配置用户的配置操作指令,确定所述目标资源数据的页面配置描述信息,其中,所述页面配置描述信息包括目标标注类型、目标标注参数中的至少一项;
数据构建模块,被配置为基于所述页面配置描述信息,构建所述目标资源数据的标注页面数据,其中,所述标注页面数据用于在数据标注客户端中生成并展示标注页面。
12.一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,其特征在于,所述处理器执行所述计算机指令时实现权利要求1-5或者6-7任意一项所述方法的步骤。
13.一种计算机可读存储介质,其存储有计算机指令,其特征在于,该计算机指令被处理器执行时实现权利要求1-5或者6-7任意一项所述方法的步骤。
CN202211242021.5A 2022-10-11 2022-10-11 数据处理方法及装置 Pending CN115562753A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211242021.5A CN115562753A (zh) 2022-10-11 2022-10-11 数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211242021.5A CN115562753A (zh) 2022-10-11 2022-10-11 数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN115562753A true CN115562753A (zh) 2023-01-03

Family

ID=84744762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211242021.5A Pending CN115562753A (zh) 2022-10-11 2022-10-11 数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN115562753A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116056240A (zh) * 2023-04-03 2023-05-02 阿里巴巴(中国)有限公司 资源配置***、方法及设备
CN117311799A (zh) * 2023-11-30 2023-12-29 钱塘科技创新中心 一种软件项目页面的配置方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116056240A (zh) * 2023-04-03 2023-05-02 阿里巴巴(中国)有限公司 资源配置***、方法及设备
CN116056240B (zh) * 2023-04-03 2023-06-23 阿里巴巴(中国)有限公司 资源配置***、方法及设备
CN117311799A (zh) * 2023-11-30 2023-12-29 钱塘科技创新中心 一种软件项目页面的配置方法
CN117311799B (zh) * 2023-11-30 2024-03-19 钱塘科技创新中心 一种软件项目页面的配置方法

Similar Documents

Publication Publication Date Title
US20210042662A1 (en) Interactive Information Capture and Retrieval with User-Defined and/or Machine Intelligence Augmented Prompts and Prompt Processing
CN115562753A (zh) 数据处理方法及装置
US9135234B1 (en) Collaborative generation of digital content with interactive reports
US20200050906A1 (en) Dynamic contextual data capture
Potnis et al. Identifying key steps for developing mobile applications & mobile websites for libraries
KR20200034660A (ko) 쉬워진 사용자 반응
CN116954450A (zh) 针对前端网页的截图方法以及装置、存储介质、终端
KR20230065339A (ko) 모델 데이터 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 매체
CN116701811B (zh) 一种网页处理方法、装置、设备及计算机可读存储介质
CN113468066A (zh) 用户界面测试方法及装置
CN111026849B (zh) 数据处理方法和装置
CN117221656A (zh) 题目讲解视频的生成方法、装置、电子设备及存储介质
CN107704171A (zh) 电子书显示方法、终端和计算机可读存储介质
CN111400581A (zh) 用于标注样本的***、方法和装置
JP7193595B2 (ja) 情報共有支援装置、情報共有支援方法、およびプログラム
CN113590124B (zh) 目标对象处理方法及装置
CN114863435A (zh) 文本提取方法及装置
CN111176624B (zh) 一种流式计算指标的生成方法及装置
CN114443022A (zh) 生成页面搭建区块的方法及电子设备
CN115310582A (zh) 用于训练神经网络模型的方法和装置
CN109559313B (zh) 图像处理方法、介质、装置和计算设备
CN113282863A (zh) 业务页面生成方法及装置
KR20180067880A (ko) 웹 페이지의 분할 전송 제어 가능한 전자문서 제공장치
US20200151241A1 (en) Webpage component replication system and method
KR20180050825A (ko) 마크업언어를 이용한 이러닝 컨텐츠 저작 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination