CN110750206A - 数据处理方法、装置及*** - Google Patents

数据处理方法、装置及*** Download PDF

Info

Publication number
CN110750206A
CN110750206A CN201810821368.2A CN201810821368A CN110750206A CN 110750206 A CN110750206 A CN 110750206A CN 201810821368 A CN201810821368 A CN 201810821368A CN 110750206 A CN110750206 A CN 110750206A
Authority
CN
China
Prior art keywords
data
server
processed
storage space
management server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810821368.2A
Other languages
English (en)
Other versions
CN110750206B (zh
Inventor
罗庆超
许呙兢
徐伟杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201810821368.2A priority Critical patent/CN110750206B/zh
Publication of CN110750206A publication Critical patent/CN110750206A/zh
Application granted granted Critical
Publication of CN110750206B publication Critical patent/CN110750206B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608Saving storage space on storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/0644Management of space entities, e.g. partitions, extents, pools
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开了一种数据处理方法、装置及***。其中,该方法包括:接收来自于终端设备的数据处理请求,其中,上述数据处理请求用于请求对待处理数据进行处理;响应于上述数据处理请求,向数据服务器发送空间分配请求,以便上述数据服务器基于上述空间分配请求来为上述待处理数据分配存储空间;接收上述数据服务器返回的存储空间地址;将上述存储空间地址发送至上述终端设备,以便上述终端设备将上述待处理数据发送至上述数据服务器,并存储至上述存储空间。本申请解决了现有技术中终端设备和数据服务器之间无法实现直接进行数据交互处理的技术问题。

Description

数据处理方法、装置及***
技术领域
本申请涉及计算机技术领域,具体而言,涉及一种数据处理方法、装置及***。
背景技术
随着人工智能技术的不断更新和发展,人工智能技术已成为科技领域最前沿的技术。在现有的终端设备与云服务端之间的协作方式下,由于终端设备(例如,摄像设备、智能手机)的计算能力有限,只有将所有的数据上传到云服务器端,然后利用云服务器端上强大的计算能力提供云服务端上的AI能力。
现有的协作方式存在以下缺点:需要大量的网络带宽和数据存储区域,以及很高的人工智能AI分析成本。因此,需提供新的协作方式,即在终端设备上集成人工智能的功能,得到智能设备,可以在智能设备上进行人脸识别、物品识别等,无须将所有的数据传送至云服务端。
但是,在上述现有技术中,存在如何对多个终端设备进行管理,以及实现终端设备和数据服务器之间接进行数据交互处理的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种数据处理方法、装置及***,以至少解决现有技术中终端设备和数据服务器之间无法实现直接进行数据交互处理的技术问题。
根据本申请实施例的一个方面,提供了一种数据处理方法,包括:接收来自于终端设备的数据处理请求,其中,上述数据处理请求用于请求对待处理数据进行处理;响应于上述数据处理请求,向数据服务器发送空间分配请求,以便上述数据服务器基于上述空间分配请求来为上述待处理数据分配存储空间;接收上述数据服务器返回的存储空间地址;将上述存储空间地址发送至上述终端设备,以便上述终端设备将上述待处理数据发送至上述数据服务器,并存储至上述存储空间。
根据本申请实施例的一个方面,还提供了一种数据处理方法,包括:向管理服务器发送数据处理请求,以便上述管理服务器向数据服务器请求分配存储空间,其中,上述数据处理请求用于请求对待处理数据进行处理,上述存储空间用于存储上述待处理数据;接收上述管理服务器转发的由上述数据服务器返回的存储空间地址;将上述待处理数据发送至上述数据服务器,并存储至上述存储空间。
根据本申请实施例的一个方面,还提供了一种数据处理方法,包括:接收来自于管理服务器的空间分配请求;响应于上述空间分配请求,为终端设备的待处理数据分配存储空间;向上述管理服务器返回存储空间地址,以便上述管理服务器将上述存储空间地址发送至上述终端设备;接收上述终端设备发送的上述待处理数据,并将上述待处理数据存储至上述存储空间。
根据本申请实施例的另一方面,还提供了一种数据处理装置,包括:第一接收模块,用于接收来自于终端设备的数据处理请求,其中,上述数据处理请求用于请求对待处理数据进行处理;第一响应模块,用于响应于上述数据处理请求,向数据服务器发送空间分配请求,以便上述数据服务器基于上述空间分配请求来为上述待处理数据分配存储空间;第二接收模块,用于接收上述数据服务器返回的存储空间地址;第一发送模块,用于将上述存储空间地址发送至上述终端设备,以便上述终端设备将上述待处理数据发送至上述数据服务器,并存储至上述存储空间。
根据本申请实施例的另一方面,还提供了一种数据处理装置,包括:第二发送模块,用于向管理服务器发送数据处理请求,以便上述管理服务器向数据服务器请求分配存储空间,其中,上述数据处理请求用于请求对待处理数据进行处理,上述存储空间用于存储上述待处理数据;第三接收模块,用于接收上述管理服务器转发的由上述数据服务器返回的存储空间地址;第三发送模块,用于将上述待处理数据发送至上述数据服务器,并存储至上述存储空间。
根据本申请实施例的另一方面,还提供了一种数据处理装置,包括:第四接收模块,用于接收来自于管理服务器的空间分配请求;第二响应模块,用于响应于上述空间分配请求,为终端设备的待处理数据分配存储空间;返回模块,用于向上述管理服务器返回存储空间地址,以便上述管理服务器将上述存储空间地址发送至上述终端设备;第五接收模块,用于接收上述终端设备发送的上述待处理数据,并将上述待处理数据存储至上述存储空间。
根据本申请实施例的另一方面,还提供了一种数据处理***,包括:管理服务器,与终端设备连接,用于响应于终端设备发起的数据处理请求,向数据服务器发送空间分配请求,并接收上述数据服务器返回的存储空间地址,将上述存储空间地址发送至上述终端设备,以便上述终端设备将上述待处理数据发送至上述数据服务器,并存储至存储空间;数据服务器,与上述管理服务器连接,用于基于上述空间分配请求来为上述待处理数据分配上述存储空间,并返回上述存储空间地址至上述管理服务器。
根据本申请实施例的另一方面,还提供了一种存储介质,上述存储介质包括存储的程序,其中,在上述程序运行时控制上述存储介质所在设备执行以下功能:接收来自于终端设备的数据处理请求,其中,上述数据处理请求用于请求对待处理数据进行处理;响应于上述数据处理请求,向数据服务器发送空间分配请求,以便上述数据服务器基于上述空间分配请求来为上述待处理数据分配存储空间;接收上述数据服务器返回的存储空间地址;将上述存储空间地址发送至上述终端设备,以便上述终端设备将上述待处理数据发送至上述数据服务器,并存储至上述存储空间。
根据本申请实施例的另一方面,还提供了一种处理器,上述处理器用于运行程序,其中,上述程序运行时执行以下功能:接收来自于终端设备的数据处理请求,其中,上述数据处理请求用于请求对待处理数据进行处理;响应于上述数据处理请求,向数据服务器发送空间分配请求,以便上述数据服务器基于上述空间分配请求来为上述待处理数据分配存储空间;接收上述数据服务器返回的存储空间地址;将上述存储空间地址发送至上述终端设备,以便上述终端设备将上述待处理数据发送至上述数据服务器,并存储至上述存储空间。
在本申请实施例中,通过接收来自于终端设备的数据处理请求,其中,上述数据处理请求用于请求对待处理数据进行处理;响应于上述数据处理请求,向数据服务器发送空间分配请求,以便上述数据服务器基于上述空间分配请求来为上述待处理数据分配存储空间;接收上述数据服务器返回的存储空间地址;将上述存储空间地址发送至上述终端设备,以便上述终端设备将上述待处理数据发送至上述数据服务器,并存储至上述存储空间。
由此,本申请达到了终端设备和数据服务器之间直接进行数据交互处理的目的,从而实现了有效减少网络带宽和数据存储区域,降低人工智能AI分析成本的技术效果,进而解决了现有技术中终端设备和数据服务器之间无法实现直接进行数据交互处理的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种数据处理***的结构示意图;
图2是根据本申请实施例的一种可选的数据处理***的结构示意图;
图3是根据本申请实施例的一种用于实现数据处理方法的计算机终端(或移动设备)的硬件结构框图;
图4是根据本申请实施例的一种数据处理方法的流程图;
图5是根据本申请实施例的一种可选的数据处理方法的流程图;
图6是根据本申请实施例的一种可选的数据处理方法的流程图;
图7是根据本申请实施例的一种可选的数据处理方法的交互流程图;
图8是根据本申请实施例的一种可选的数据处理方法的交互流程图;
图9是根据本申请实施例的另一种数据处理方法的流程图;
图10是根据本申请实施例的又一种数据处理方法的流程图;
图11是根据本申请实施例的一种数据处理装置的结构示意图;
图12是根据本申请实施例的另一种数据处理装置的结构示意图;以及
图13是根据本申请实施例的另一种数据处理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
人工智能(Artificial Intelligence,AI),是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用***的一门新的技术科学。作为计算机科学的一个分支,人工智能是指由人工制造出来的机器所表现出来的智能,即通过普通计算机程序的手段实现的类人智能技术。
元数据,还可称为中介数据、中继数据,是指关于数据的组织、数据域及其关系的信息,简言之,即一种描述数据的数据,主要是描述数据属性的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。
实施例1
在描述本申请的各实施例的进一步细节之前,将参考图1来描述可用于实现本申请原理的一个合适的数据处理***。
图1是根据本申请实施例的一种数据处理***的结构示意图,出于描述的目的,所绘结构仅为合适环境的一个示例,并非对本申请的使用范围或功能提出任何局限。也不应将该数据处理***,解释为对图1所示的任一组件或其组合具有任何依赖或需求。
本申请实施例1所提供的***实施例可以广泛应用在互联网上,例如,人工智能技术领域。由于,现有的协作方式存在以下缺点:需要大量的网络带宽和数据存储区域,以及很高的人工智能AI分析成本。并且,通过AI技术在云服务端上的锤炼,AI逐步小型化、芯片化,目前已可以在终端设备集成人工智能的功能,得到智能设备,可以在智能设备上进行人脸识别、文字识别、语音识别、NLP(Natural Language Processing,自然语言处理)等,无须将所有的数据传送至云服务端,采用新的协作方式可以有效减少网络带宽和数据存储区域,还可以有效降低人工智能AI分析成本。
但是,在上述现有技术中,存在如何对多个终端设备进行管理,以及实现终端设备和数据服务器之间接进行数据交互处理的问题,目前尚未提出有效的解决方案。
为解决上述问题,根据本申请实施例,提供了一种数据处理***的实施例,可以达到终端设备和数据服务器之间直接进行数据交互处理的目的,从而实现了有效减少网络带宽和数据存储区域,降低人工智能AI分析成本的技术效果,进而解决了现有技术中终端设备和数据服务器之间无法实现直接进行数据交互处理的技术问题。
需要说明的是,本申请实施例中所提供的数据处理***实施例,可以但不限于应用于新零售、视频监控等场景中,可以达到大大降低网络成本的目的。
如图1所示,上述数据处理***包括:终端设备101、管理服务器103、数据服务器105,其中:
管理服务器103,与上述终端设备101连接,用于响应于终端设备发起的数据处理请求,向数据服务器发送空间分配请求,并接收上述数据服务器返回的存储空间地址,将上述存储空间地址发送至上述终端设备,以便上述终端设备将上述待处理数据发送至上述数据服务器,并存储至存储空间;上述数据服务器105,与上述管理服务器103连接,用于基于上述空间分配请求来为上述待处理数据分配上述存储空间,并返回上述存储空间地址至上述管理服务器。
作为一种可选的实施例,终端设备101,用于发送数据处理请求,其中,上述数据处理请求用于请求对待处理数据进行处理;其中,上述终端设备101可以为任意一种人工智能AI设备,例如,AI摄像设备、AI智能手机、AI可穿戴设备等。
需要说明的是,上述AI设备具备人工智能AI处理能力,例如,上述AI设备中可以集成有人工智能AI芯片,可以实现人脸识别、文字识别、语音识别、NLP等功能,且无需将所有的数据(例如,音频数据、图像数据、视频数据等)上传至数据服务器进行处理,而是在AI设备本地对上述的数据进行处理。
在一种可选的实施例中,上述管理服务器103可以为用于管理终端设备与数据服务器之间进行数据协同的管理服务器,该管理服务器具备但不限于终端设备注册功能和数据服务器的存储空间的分配功能,还可以管理多个终端设备,以及实现终端设备和数据服务器之间的数据交互。
在另一种可选的实施例中,上述数据服务器是指可以直接和终端设备进行数据交互的云服务器端,例如,可以为任意一种云数据服务器,该数据服务器可以但不限于能够理解终端设备的AI处理能力信息和元数据格式信息。
需要说明的是,上述管理服务器与数据服务器采用不同的软件模块实现,可以使用不同的服务器进行部署,从而可以更好的保证各自的性能和隔离,并且,管理服务器与数据服务器也可以部署在同一台服务器上。
在一种可选的实施例中,终端设备可以预先在管理服务器上进行注册,在完成注册后,终端设备可以与数据服务器进行数据协同。
作为一种可选的实施例,若需要实现终端设备与数据服务器之间的数据协同,需要建立终端设备和数据服务器的连接,终端设备向管理服务器发起数据处理请求,该数据处理请求中携带有终端设备的设备ID、数据特征信息(例如AI处理能力信息和元数据格式信息)等。管理服务器响应于上述数据处理请求,并向数据服务器发送空间分配请求,数据服务器为待存储数据分配存储空间,将存储空间地址返回给管理服务器,管理服务器再将存储空间的地址返回给终端设备;进而上述终端设备根据接收到的存储空间的地址将待处理数据上传至上述数据服务器,并存储至相应的存储空间。
在一种可选的实施例中,上述数据服务器响应于管理服务器发送的空间分配请求,为本次数据协同的终端设备分配一块存储空间,在分配存储空间时,可以是从现有的存储空间中选一个,或者是新建一块存储空间。
在上述可选的实施例中,上述空间分配请求中携带有管理服务器访问数据服务器的云账号,管理服务器中存储有终端设备的设备ID与云账号之间的关联关系,上述管理服务器根据上述数据处理请求中的设备ID确定云账号,并使用与上述云账号向上述数据服务器请求分配存储空间。
需要说明的是,上述终端设备101、管理服务器103、数据服务器105之间,可以通过接入无线局域网(WLAN)、互联网、蓝牙、RFID、Zigbee、NFC等,进行通信连接,以便于进行数据交互和数据处理。
仍需要说明的是,在控制层面,上述管理服务器可以但不限于实现终端设备的注册,可以管理百万级的设备;通过管理服务器,实现为终端设备在数据服务器上分配数据访问通道的能力。在数据层面,上述管理服务器还可以实现终端设备直传数据服务器,其中,元数据和数据共用传输通道,可以有效提高终端设备和数据服务器之间进行数据交互的效率。
作为另一种可选的实施例,上述管理服务器在采用上述云账号向数据服务器申请供上述终端设备访问的存储空间的同时,还可以将上述终端设备的数据特征信息(例如,AI处理能力信息和元数据格式信息)发送至上述数据服务器,以便在上述终端设备将上述待处理数据发送至上述数据服务器之后,由上述数据服务器根据上述数据特征信息对上述待处理数据进行验证。
在一种可选的实施例中,上述管理服务器在将上述存储空间的地址信息返回至上述终端设备之后,还可以从上述数据服务器获取云服务访问统计信息,其中,上述云服务访问统计信息用于记录上述终端设备与上述存储空间的地址信息交互过程。
在一种可选的实施例中,在上述终端设备向管理服务器发送数据处理请求之前,上述终端设备还可以向上述管理服务器发送注册请求,上述注册请求包括:终端设备标识;在管理服务器接收到上述注册请求之后,管理服务器为终端设备分配数据服务器,并存储终端设备标识和数据服务器标识之间的关联关系,可以在管理服务器后续向数据服务器发送空间分配请求之前,根据所存储的关联关系确定与终端设备对应的数据服务器。
在另一种可选的实施例中,在上述终端设备向管理服务器发送数据处理请求之前,上述终端设备还可以向上述管理服务器发送注册请求,上述注册请求包括:终端设备标识和数据服务器标识;则在管理服务器接收到上述注册请求之后,管理服务器无需为终端设备分配数据服务器,直接存储终端设备标识和数据服务器标识之间的关联关系,可以在管理服务器后续向数据服务器发送空间分配请求之前,根据所存储的关联关系确定与终端设备对应的数据服务器。
在另一种可选的实施例中,在上述终端设备将上述待处理数据发送至上述数据服务器,并存储至上述存储空间之后,上述管理服务器还用于接收上述数据服务器发送的反馈信息,其中,上述反馈信息包括:是否成功存储和存储过程信息。
图2是根据本申请实施例的一种可选的数据处理***的结构示意图,如图2所示,上述可选的数据处理***包括:终端设备101、管理服务器103、数据服务器105、策略控制模块1051、第一存储区域1053、第二存储区域1055。
在一种可选的实施例中,上述待处理数据包括用户数据以及与上述用户数据相关联的元数据,上述数据服务器105包括:策略控制模块1051、第一存储区域1053、第二存储区域1055,其中:
上述策略控制模块1051用于存储数据特征信息,上述数据特征信息可以用于验证用户数据和用户数据的元数据(即,待处理数据的元数据)的合法性;第一存储区域1053用于存储上述用户数据;第二存储区域1055用于存储上述元数据。
需要说明的是,上述策略是指用户数据、元数据的格式定义,策略控制是指数据服务器需要检测终端设备上传的用户数据、元数据是否符合对应的格式定义,如果出现不匹配的字段,则表示错误,从而可以检测终端设备上传数据是否出错,以及检测是否遭到恶意软件的攻击。
作为一种可选的实施例,上述数据服务器接收来自于上述终端设备的数据处理请求,上述数据处理请求中包括:存储空间地址、AI处理能力、待写入的用户数据和元数据;数据服务器验证该数据处理请求中的存储空间地址、AI处理能力、元数据的格式信息是否与分配存储空间时对应的存储空间地址、AI处理能力、元数据的格式信息一致,若完全一致则数据服务器存储上述用户数据,否则拒绝存储上述用户数据,并且在上述数据服务器存储上述用户数据成功之后,分别向终端设备和管理服务器发送反馈消息。
在上述可选的实施例中,数据服务器从上述数据处理请求中分别提取用户数据和上述元数据,采用上述数据特征信息验证上述用户数据的合法性,并在上述用户数据通过验证的情况下将上述用户数据存储至上述第一存储区域;采用上述数据特征信息验证上述元数据的合法性,并在上述元数据通过验证的情况下将上述元数据存储至上述第二存储区域。
在一种可选的实施例中,以上述终端设备为AI摄像设备为例,AI摄像设备可以抓拍视频中存在人脸的图片,该图片即为用户数据,同时可以通过AI摄像设备的智能摄像头分析图片得到图片中的人脸信息,例如,人脸在图片中的位置信息,人脸对应的年龄信息、性别信息等,这些人脸信息即为元数据。进而AI摄像设备可以将上述用户数据(人脸图片)和元数据(图片中的人脸信息)直传至数据服务器。
根据一种可选的实施例,可以预先定义该AI摄像设备的元数据格式信息,元数据格式信息例如可以是采用JSON格式或XML格式定义的、用于表示AI摄像设备的AI处理能力以及在该AI处理能力下所处理得出的数据字段格式的信息。例如,可以定义AI摄像设备的元数据格式信息如下:
在上述元数据格式信息中,Data字段的数据类型为Object,用于存储图片内容描述(例如同学聚会照片);AIType字段的数据类型为String,用于表示该AI设备所提供的AI处理能力(例如人脸识别);AIMeta字段定义的是在上述AI处理能力下所处理得出的数据字段的格式,其中,Age字段的数据类型为Int,用于表示识别出来的人脸对应的年龄(例如22岁),Confidence字段的数据类型为Float,用于表示上述年龄识别结果的置信度(例如98.8%)。
上述定义的元数据格式信息可以作为该AI摄像设备的数据特征信息。在AI摄像设备向管理服务器发送数据处理请求时,数据处理请求一并携带上述数据特征信息。管理服务器将上述数据特征信息发送至数据服务器,以便该AI摄像设备在向数据服务器上传用户数据和元数据时,数据服务器根据上述数据特征信息来验证AI摄像设备上传的数据是否合法,若AI设备上传的元数据的格式与数据特征信息一致,则认为上传的用户数据和元数据合法;否则,则认为上传的用户数据和元数据不合法。
可选的,第一存储区域、第二存储区域为数据服务器向上云申请的运营支撑***OSS云存储空间。在另一种可选的实施例中,上述数据服务器将用户数据存储至第一存储区域,上述数据服务器将元数据存储至第二存储区域,即上述数据服务器分别将用户数据、元数据,存储至不同或相同的OSS云存储空间。
在本申请实施例中,管理服务器可以按照终端设备的AI处理能力和元数据,实现对多个终端设备的管理,还可以利用注册机制实现与数据服务器资源对接,进而可以实现管理百万级的终端设备。
此外,本申请所提供的可选实施例,通过终端设备和数据服务器之间直传协议,可以让终端设备控制数据的传送过程,例如,传送时携带元数据信息,从而可以有效提高网络带宽的利用率,而且在数据服务器上,可以实现多个终端设备的数据和元数据的搜索管理,进而可以实现以较低的网络带宽,应用于新零售、视频监控等场景,大大降低网络成本。
实施例2
根据本申请实施例,提供了一种数据处理方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图3示出了一种用于实现数据处理方法的计算机终端(或移动设备)的硬件结构框图。如图3所示,计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b,……,102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图3所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图3中所示更多或者更少的组件,或者具有与图3所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块,如本申请实施例中的数据处理方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的应用程序的数据处理方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
在上述运行环境下,本申请提供了如图4所示的一种数据处理方法。需要说明的是,本申请实施例中所提供的数据处理方法实施例,应用场景和技术场景可以但不限于与上述实施例1中所描述的内容相同,例如,可以但不限于应用于新零售、视频监控等场景,可以达到大大降低网络成本的目的。
图4是根据本申请实施例的一种数据处理方法的流程图,如图4所示,该方法还包括如下方法步骤:
步骤S102,接收来自于终端设备的数据处理请求,其中,上述数据处理请求用于请求对待处理数据进行处理。
具体的,本申请实施例中步骤S102至步骤S108的执行主体可以但不限于为管理服务器,例如,可以为上述实施例1中的任意一种可选的或优选的管理服务器。
作为一种可选的实施例,上述终端设备可以为任意一种人工智能AI设备,例如,AI摄像设备、AI智能手机、AI可穿戴设备等。
需要说明的是,上述终端设备具备人工智能AI处理能力,例如,上述终端设备中可以集成有人工智能AI芯片,可以实现人脸识别、文字识别、语音识别、NLP等功能,且无需将所有的数据(例如,音频数据、图像数据、视频数据等)上传至数据服务器进行处理,而是在终端设备本地对上述的数据进行处理。
在一种可选的实施例中,上述管理服务器可以为用于管理终端设备与数据服务器之间进行数据协同的管理服务器,该管理服务器具备但不限于终端设备注册功能和数据服务器的存储空间的分配功能,还可以管理多个终端设备,以及实现终端设备和数据服务器之间的数据协同。
步骤S104,响应于上述数据处理请求,向数据服务器发送空间分配请求,以便上述数据服务器基于上述空间分配请求来为上述待处理数据分配存储空间。
在另一种可选的实施例中,上述数据服务器是指可以直接和终端设备之间进行数据交互的云服务器端,例如,可以为任意一种云数据服务器,该数据服务器可以但不限于能够理解终端设备的AI处理能力信息和元数据格式信息。
需要说明的是,上述管理服务器与数据服务器采用不同的软件模块实现,可以使用不同的服务器进行部署,从而可以更好的保证各自的性能和隔离,并且,管理服务器与数据服务器也可以部署在同一台服务器上。
步骤S106,接收上述数据服务器返回的存储空间地址。
步骤S108,将上述存储空间地址发送至上述终端设备,以便上述终端设备将上述待处理数据发送至上述数据服务器,并存储至上述存储空间。
在一种可选的实施例中,终端设备可以预先在管理服务器上进行注册,在完成注册后,终端设备可以与数据服务器进行数据协同。
作为一种可选的实施例,若需要实现终端设备与数据服务器之间的数据协同,需要建立终端设备和数据服务器的连接,终端设备向管理服务器发起数据处理请求,该数据处理请求中携带有终端设备的设备ID、数据特征信息(例如AI处理能力信息和元数据格式信息等)等。管理服务器响应于上述数据处理请求,并向数据服务器发送空间分配请求,数据服务器为待存储数据分配存储空间,将存储空间地址返回给管理服务器,管理服务器再将存储空间的地址返回给终端设备;进而上述终端设备根据接收到的存储空间的地址将待处理数据上传至上述数据服务器,并存储至相应的存储空间。
在一种可选的实施例中,上述数据服务器响应于管理服务器发送的空间分配请求,为本次数据协同的终端设备分配一块存储空间,在分配存储空间时,可以是从现有的存储空间中选一个,或者是新建一块存储空间。
在上述可选的实施例中,上述空间分配请求中携带有管理服务器访问数据服务器的云账号,管理服务器中存储有终端设备的设备ID与云账号之间的关联关系,上述管理服务器根据上述数据处理请求中的设备ID确定云账号,并使用与上述云账号向上述数据服务器请求分配存储空间。
需要说明的是,上述终端设备、管理服务器、数据服务器之间,可以通过接入无线局域网(WLAN)、互联网、蓝牙、RFID、Zigbee、NFC等,进行通信连接,以便于进行数据交互和数据处理。
仍需要说明的是,在控制层面,上述管理服务器可以但不限于实现终端设备的注册,可以管理百万级的设备;通过管理服务器,实现为终端设备在数据服务器上分配数据访问通道的能力。在数据层面,上述管理服务器还可以实现终端设备直传数据服务器,其中,元数据和数据共用传输通道,可以有效提高终端设备和数据服务器之间进行数据交互的效率。
基于上述步骤S102至步骤S106所限定的方案可以获知,通过管理服务器接收来自于终端设备的数据处理请求,其中,上述数据处理请求用于请求对待处理数据进行处理;响应于上述数据处理请求,向数据服务器发送空间分配请求,以便上述数据服务器基于上述空间分配请求来为上述待处理数据分配存储空间;接收上述数据服务器返回的存储空间地址;将上述存储空间地址发送至上述终端设备,以便上述终端设备将上述待处理数据发送至上述数据服务器,并存储至上述存储空间。
通过本申请上述实施例所提供的方案,可以达到了终端设备和数据服务器之间直接进行数据交互处理的目的,从而实现了有效减少网络带宽和数据存储区域,降低人工智能AI分析成本的技术效果,进而解决了现有技术中终端设备和数据服务器之间无法实现直接进行数据交互处理的技术问题。
在一种可选的实施例中,上述数据处理请求包括:数据特征信息;上述方法还包括如下方法步骤:
步骤S202,响应于上述数据处理请求,向上述数据服务器发送上述数据特征信息,以便在上述终端设备将上述待处理数据发送至上述数据服务器之后,由上述数据服务器根据上述数据特征信息对上述待处理数据进行验证。
可选的,上述数据特征信息可以但不限于为:终端设备的AI处理能力信息和元数据格式信息等。
在上述可选的实施例中,上述管理服务器还可以但不限于在采用上述云账号向数据服务器申请供上述终端设备访问的存储空间的同时,将上述终端设备的数据特征信息发送至上述数据服务器。
一种可选的实施例中,上述数据服务器根据上述数据特征信息对上述待处理数据进行验证的过程,可以但不限于为验证上述待处理数据的合法性,例如,上述数据服务器可以采用数据特征信息验证上述待处理数据的合法性,并在上述待处理数据的合法性通过验证的情况,存储上述待处理数据至存储空间。
作为一种可选的实施例,在上述终端设备将上述待处理数据发送至上述数据服务器,并存储至上述存储空间之后,上述管理服务器还可以接收上述数据服务器发送的反馈信息,其中,上述反馈信息包括:是否成功存储和存储过程信息。即,上述数据服务器在接收到上述待处理数据之后,向管理服务器返回反馈信息,以实时向管理服务器反馈是否成功存储上述终端设备的待处理数据,以及存储上述待处理数据的存储过程。
在一种可选的实施例中,图5是根据本申请实施例的一种可选的数据处理方法的流程图,如图5所示,在接收来自于上述终端设备的上述数据处理请求之前,还包括:
步骤S302,接收来自于上述终端设备的注册请求,其中,上述注册请求包括:终端设备标识;
步骤S304,响应于上述注册请求,为上述终端设备分配上述数据服务器;
步骤S306,存储上述终端设备标识与数据服务器标识之间的关联关系。
需要说明的是,终端设备通过在管理服务器上进行注册并激活,管理服务器可以对上述终端设备进行管理,例如,分配数据服务器的存储空间给终端设备,实现终端设备和数据服务器之间的数据协同。
基于上述步骤S302至步骤S306所提供的可选实施例,上述终端设备可以通过向上述管理服务器发送注册请求,在管理服务器上进行注册,管理服务器可以对接收到的注册请求进行响应,例如,可以返回以下响应信息:确认接收到注册请求,并对该终端设备进行注册并激活。
并且,由于上述终端设备发送的注册请求中包括终端设备标识,在管理服务器接收到上述注册请求之后,管理服务器为终端设备分配数据服务器,并存储终端设备标识和数据服务器标识之间的关联关系,可以在管理服务器后续向数据服务器发送空间分配请求之前,根据所存储的关联关系确定与终端设备对应的数据服务器。
在另一种可选的实施例中,图6是根据本申请实施例的一种可选的数据处理方法的流程图,如图6所示,在接收来自于上述终端设备的上述数据处理请求之前,还包括:
步骤S402,接收来自于上述终端设备的注册请求,其中,上述注册请求包括:终端设备标识和数据服务器标识;
步骤S404,存储上述终端设备标识与上述数据服务器标识之间的关联关系。
不同于上述步骤S302至步骤S306所提供的可选实施例,在上述步骤S402至步骤S404所提供的可选实施例中,上述终端设备发送的注册请求中还可以包括终端设备标识和数据服务器标识,在管理服务器接收到上述注册请求之后,管理服务器无需为终端设备分配数据服务器,直接存储终端设备标识和数据服务器标识之间的关联关系,可以在管理服务器后续向数据服务器发送空间分配请求之前,根据所存储的关联关系确定与终端设备对应的数据服务器。
作为一种可选的实施例,图7是根据本申请实施例的一种可选的数据处理方法的交互流程图,如图7所示,该方法还包括如下方法步骤:
步骤S501,终端设备发送注册请求至管理服务器。
在上述步骤S501中,上述终端设备可以为任意一种人工智能AI设备,例如,AI摄像设备、AI智能手机、AI可穿戴设备等。
在一种可选的实施例中,上述管理服务器为用于管理终端设备与数据服务器之间进行协作的管理端,例如,可以为管理服务器,该管理服务器具备但不限于设备注册功能和数据服务器的存储空间的分配功能,可以管理多个终端设备,以及实现终端设备和数据服务器之间的数据协同。
步骤S502,管理服务器返回响应信息至终端设备。
作为一种可选的实施例,上述终端设备可以通过发送注册请求,在管理服务器上进行注册,管理服务器可以对接收到的注册请求信息进行响应,例如,可以返回响应信息,确认接收到注册请求信息,并对该终端设备进行注册并激活。
需要说明的是,终端设备通过在管理服务器进行注册并激活,管理服务器可以对上述终端设备进行管理,例如,分配数据服务器的存储空间至终端设备。
步骤S503,终端设备向管理服务器发送数据处理请求,上述数据处理请求用于请求对待处理数据进行处理。
步骤S504,管理服务器响应于上述数据处理请求,向数据服务器发送空间分配请求,以便上述数据服务器基于上述空间分配请求来为上述待处理数据分配存储空间。
步骤S505,管理服务器接收上述数据服务器返回的存储空间地址。
步骤S506,管理服务器将上述存储空间地址发送至上述终端设备。
步骤S507,终端设备将上述待处理数据发送至上述数据服务器,并存储至上述存储空间。
作为一种可选的实施例,上述管理服务器响应于上述数据处理请求,并向数据服务器发送空间分配请求,数据服务器为待存储数据分配存储空间,将存储空间地址返回给管理服务器,管理服务器再将存储空间的地址返回给终端设备。
作为一种可选的实施例,上述数据处理请求包括:数据特征信息;管理服务器还可以但不限于响应于上述数据处理请求,向上述数据服务器发送上述数据特征信息,以便在上述终端设备将上述待处理数据发送至上述数据服务器之后,由上述数据服务器根据上述数据特征信息对上述待处理数据进行验证。
步骤S508,管理服务器接收上述数据服务器发送的反馈信息。
在上述步骤S508中,上述反馈信息包括:是否成功存储和存储过程信息。
需要说明的是,上述步骤S501至步骤S508所提供的可选实施例,主要但不限于涉及控制层面,上述管理服务器可以但不限于实现智能设备的注册,管理百万级的设备;通过本申请实施例所提供的管理服务器,可以实现为智能设备在数据服务器上分配数据访问通道的技术效果。
作为另一种可选的实施例,图8是根据本申请实施例的一种可选的数据处理方法的交互流程图,如图8所示,该方法还包括如下方法步骤:
步骤S601,数据服务器接收来自上述终端设备的数据处理请求。
可选的,在上述步骤S601中,数据服务器可以经由为上述终端设备分配的存储空间,接收上述数据处理请求,例如,数据存储请求;上述待处理数据包括用户数据以及与上述用户数据相关联的元数据,上述数据处理请求中至少携带有待存储的用户数据以及与上述用户数据关联的元数据。
在一种可选的实施例中,在接收上述管理服务器返回的存储空间地址之后,上述智能设备还可以对上述用户数据进行智能分析,提取上述元数据;并将上述用户数据与上述元数据进行打包处理并封装在上述数据处理请求中,再向数据服务器发送数据处理请求。
可选的,上述打包处理可以但不限于采用数据交互格式Protocol Buffer技术,进行打包处理。
作为一种可选的实施例,上述终端设备可以发送上述数据处理请求,进而数据服务器可以接收上述数据处理请求。
步骤S602,数据服务器验证上述数据处理请求的合法性。
在上述步骤S602中,由于管理服务器已经为对应的终端设备分配数据服务器的存储空间,因此,在终端设备访问数据服务器的情况下,数据服务器可以验证终端设备的数据处理请求的合法性,例如,通过验证是否通过对应的存储空间进行数据处理请求,终端设备的数据处理请求的合法性。
需要说明的是,合法的数据处理请求中可以携带有用户信息,可以通过验证数据处理请求中携带的用户信息,确定终端设备的数据处理请求的合法性;另外,还可以通过验证数据处理请求中携带的签名,确定终端设备的数据处理请求的合法性。
步骤S603,在验证通过的情况下,数据服务器从数据处理请求中分别提取用户数据和元数据;
步骤S604,数据服务器采用数据特征信息验证用户数据和元数据的合法性;
步骤S605,在用户数据通过验证的情况下,数据服务器将用户数据存储至第一存储区域。
基于上述可选的实施例,上述数据服务器在提取用户数据之后,可以采用上述数据特征信息验证上述用户数据的合法性,并在上述用户数据通过验证的情况下将上述用户数据存储至上述第一存储区域。
步骤S606,数据服务器返回用户数据写入成功信息至终端设备。
步骤S607,在元数据通过验证的情况下,数据服务器将元数据存储至第二存储区域。
基于上述可选的实施例,上述数据服务器在提取元数据之后,可以采用上述数据特征信息验证上述元数据的合法性,并在上述元数据通过验证的情况下将上述元数据存储至上述第二存储区域。
在一种可选的实施例中,以上述终端设备为AI摄像设备为例,AI摄像设备可以抓拍视频中存在人脸的图片,该图片即为用户数据,同时可以通过AI摄像设备的智能摄像头分析图片得到图片中的人脸信息,例如,人脸在图片中的位置信息,人脸对应的年龄信息、性别信息等,这些人脸信息即为元数据。进而终端设备可以将上述用户数据(人脸图片)和元数据(图片中的人脸信息)直传至数据服务器。
可选的,第一存储区域、第二存储区域为数据服务器向上云申请的运营支撑***OSS云存储空间。在另一种可选的实施例中,上述数据服务器将用户数据存储至第一存储区域,上述数据服务器将元数据存储至第二存储区域,即上述数据服务器分别将用户数据、元数据,存储至不同或相同的OSS云存储空间。
步骤S608,数据服务器返回元数据写入成功信息至终端设备。
步骤S609,数据服务器返回数据处理请求成功信息至终端设备。
基于上述可选的实施例,在上述用户数据和元数据均通过验证,且数据服务器返回用户数据和元数据写入成功信息至终端设备之后,数据服务器返回数据处理请求成功信息至终端设备。
步骤S610,管理服务器从数据服务器获取云服务访问统计信息。
在上述步骤S610中,上述云服务访问统计信息用于记录上述终端设备与上述存储空间的信息交互过程。
作为一种可选的实施例,上述数据服务器在与终端设备之间进行数据交互的过程中,可以将上述终端设备与上述存储空间的信息交互过程进行记录,得到上述云服务访问统计信息,并将该云服务访问统计信息存储于数据服务器本地。
在管理服务器将上述存储空间的地址信息返回至上述终端设备之后,还可以从上述数据服务器获取云服务访问统计信息,以便于对管理百万级的设备的管理,实现为智能设备在数据服务器上分配数据访问通道的能力,提高智能设备和数据服务器之间进行数据交互的效率。
需要说明的是,上述步骤S601至步骤S610所提供的可选实施例,主要但不限于涉及数据层面,上述管理服务器还可以实现智能设备直传数据服务器,其中,元数据和数据共用传输通道,可以有效提高智能设备和数据服务器之间进行数据交互的效率。
需要说明的是,本实施例的优选实施方式可以参见实施例1中的相关描述,此处不再赘述。
实施例3
根据本申请实施例,还提供了另一种数据处理方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在与上述实施例2相同或相似的运行环境下,本申请提供了如图9所示的一种数据处理方法。图9是根据本申请实施例的另一种数据处理方法的流程图,如图9所示,该方法还包括如下方法步骤:
步骤S902,向管理服务器发送数据处理请求,以便上述管理服务器向数据服务器请求分配存储空间,其中,上述数据处理请求用于请求对待处理数据进行处理,上述存储空间用于存储上述待处理数据。
具体的,本申请实施例中的步骤S902至步骤S906的执行主体可以但不限于为终端设备,例如,可以为上述实施例1中的任意一种可选的或优选的终端设备。
作为一种可选的实施例,上述终端设备可以为任意一种人工智能AI设备,例如,AI摄像设备、AI智能手机、AI可穿戴设备等。
在一种可选的实施例中,上述管理服务器可以为用于管理终端设备与数据服务器之间进行数据协同的管理服务器,该管理服务器具备但不限于终端设备注册功能和数据服务器的存储空间的分配功能,还可以管理多个终端设备,以及实现终端设备和数据服务器之间的数据协同。
在另一种可选的实施例中,上述数据服务器是指可以直接和终端设备之间进行数据交互的云服务器端,例如,可以为任意一种云数据服务器,该数据服务器可以但不限于能够理解终端设备的AI处理能力信息和元数据格式信息。
需要说明的是,上述管理服务器与数据服务器采用不同的软件模块实现,可以使用不同的服务器进行部署,从而可以更好的保证各自的性能和隔离,并且,管理服务器与数据服务器也可以部署在同一台服务器上。
作为一种可选的实施例,终端设备可以预先在管理服务器上进行注册,在完成注册后,终端设备可以与数据服务器进行数据协同。
步骤S904,接收上述管理服务器转发的由上述数据服务器返回的存储空间地址。
步骤S906,将上述待处理数据发送至上述数据服务器,并存储至上述存储空间。
一种可选的实施例,终端设备向管理服务器发起数据处理请求之后,该数据处理请求中携带有终端设备的设备ID、数据特征信息(例如AI处理能力信息和元数据格式信息等)等;管理服务器响应于上述数据处理请求,并向数据服务器发送空间分配请求,数据服务器为待存储数据分配存储空间,将存储空间地址返回给管理服务器,管理服务器再将存储空间的地址返回给终端设备;进而上述终端设备根据接收到的存储空间的地址将待处理数据上传至上述数据服务器,并存储至相应的存储空间。
在一种可选的实施例中,上述数据服务器响应于管理服务器发送的空间分配请求,为本次数据协同的终端设备分配一块存储空间,在分配存储空间时,可以是从现有的存储空间中选一个,或者是新建一块存储空间。
在上述可选的实施例中,上述空间分配请求中携带有管理服务器访问数据服务器的云账号,管理服务器中存储有终端设备的设备ID与云账号之间的关联关系,上述管理服务器根据上述数据处理请求中的设备ID确定云账号,并使用与上述云账号向上述数据服务器请求分配存储空间。
需要说明的是,上述终端设备、管理服务器、数据服务器之间,可以通过接入无线局域网(WLAN)、互联网、蓝牙、RFID、Zigbee、NFC等,进行通信连接,以便于进行数据交互和数据处理。
仍需要说明的是,在控制层面,上述管理服务器可以但不限于实现终端设备的注册,可以管理百万级的设备;通过管理服务器,实现为终端设备在数据服务器上分配数据访问通道的能力。在数据层面,上述管理服务器还可以实现终端设备直传数据服务器,其中,元数据和数据共用传输通道,可以有效提高终端设备和数据服务器之间进行数据交互的效率。
基于上述步骤S902至步骤S906所限定的方案可以获知,通过终端设备向管理服务器发送数据处理请求,以便上述管理服务器向数据服务器请求分配存储空间,其中,上述数据处理请求用于请求对待处理数据进行处理,上述存储空间用于存储上述待处理数据;接收上述管理服务器转发的由上述数据服务器返回的存储空间地址;将上述待处理数据发送至上述数据服务器,并存储至上述存储空间。
通过本申请上述实施例所提供的方案,可以达到了终端设备和数据服务器之间直接进行数据交互处理的目的,从而实现了有效减少网络带宽和数据存储区域,降低人工智能AI分析成本的技术效果,进而解决了现有技术中终端设备和数据服务器之间无法实现直接进行数据交互处理的技术问题。
在一种可选的实施例中,上述数据处理请求包括:数据特征信息,上述数据特征信息用于在将上述待处理数据发送至上述数据服务器之后,由上述数据服务器根据上述数据特征信息对上述待处理数据进行验证。
可选的,上述数据特征信息可以但不限于为:终端设备的AI处理能力信息和元数据格式信息等。
在上述可选的实施例中,上述管理服务器还可以但不限于在采用上述云账号向数据服务器申请供上述终端设备访问的存储空间的同时,将上述终端设备的数据特征信息发送至上述数据服务器。
一种可选的实施例中,上述数据服务器根据上述数据特征信息对上述待处理数据进行验证的过程,可以但不限于为验证上述待处理数据的合法性,例如,上述数据服务器可以采用数据特征信息验证上述待处理数据的合法性,并在上述待处理数据的合法性通过验证的情况,存储上述待处理数据至存储空间。
作为一种可选的实施例,在向上述管理服务器发送上述数据处理请求之前,还包括:
步骤S1000,向上述管理服务器发送注册请求,以便上述管理服务器为终端设备分配上述数据服务器,其中,上述注册请求包括:终端设备标识。
需要说明的是,终端设备通过在管理服务器上进行注册并激活,管理服务器可以对上述终端设备进行管理,例如,分配数据服务器的存储空间给终端设备,实现终端设备和数据服务器之间的数据协同。
在上述可选实施例中,上述终端设备可以通过向上述管理服务器发送注册请求,在管理服务器上进行注册,管理服务器可以对接收到的注册请求进行响应,例如,可以返回以下响应信息:确认接收到注册请求,并对该终端设备进行注册并激活。
并且,由于上述终端设备发送的注册请求中包括终端设备标识,在管理服务器接收到上述注册请求之后,管理服务器为终端设备分配数据服务器,并存储终端设备标识和数据服务器标识之间的关联关系,可以在管理服务器后续向数据服务器发送空间分配请求之前,根据所存储的关联关系确定与终端设备对应的数据服务器。
作为另一种可选的实施例,在向上述管理服务器发送上述数据处理请求之前,还包括:
步骤S1002,向上述管理服务器发送注册请求,以便上述管理服务器从上述注册请求中获取终端设备标识和数据服务器标识,并存储上述终端设备标识与上述数据服务器标识之间的关联关系。
步骤S1004,接收来自于管理服务器的数据处理请求,其中,上述数据处理请求中至少携带有云端标识,上述云端标识与人工智能终端设备的设备标识相对应。
不同于上述步骤S1000所提供的可选实施例,在上述步骤S1002至步骤S1004所提供的可选实施例中,上述终端设备发送的注册请求中还可以包括终端设备标识和数据服务器标识,在管理服务器接收到上述注册请求之后,管理服务器无需为终端设备分配数据服务器,直接存储终端设备标识和数据服务器标识之间的关联关系,可以在管理服务器后续向数据服务器发送空间分配请求之前,根据所存储的关联关系确定与终端设备对应的数据服务器。
需要说明的是,在控制层面,上述管理服务器可以但不限于实现终端设备的注册,管理百万级的设备;通过管理服务器,实现为终端设备在数据服务器上分配数据访问通道的能力。
仍需要说明的是,在数据层面,上述管理服务器还可以实现终端设备直传数据服务器,其中,元数据和数据共用传输通道,可以有效提高终端设备和数据服务器之间进行数据交互的效率。
在一种可选的实施例,在接收上述管理服务器发送的存储空间地址之后,还包括:
步骤S1102,向上述数据服务器发送数据处理请求。
在一种可选的实施例中,上述数据处理请求中至少携带有待处理的用户数据以及与上述用户数据关联的元数据。
在另一种可选的实施例中,上述终端设备可以发送上述数据处理请求,进而数据服务器可以接收上述数据处理请求。
步骤S1104,接收上述数据服务器返回的访问响应消息。
作为一种可选的实施例,上述访问响应消息用于表示上述用户数据和上述元数据均已成功存储至上述数据服务器。
一种可选的实施例中,上述数据服务器接收来自于上述终端设备的数据处理请求,上述数据处理请求中包括:存储空间地址、AI处理能力、待写入的用户数据和元数据;数据服务器验证该数据处理请求中的存储空间地址、AI处理能力、元数据的格式信息是否与分配存储空间时对应的存储空间地址、AI处理能力、元数据的格式信息一致,若完全一致则数据服务器存储上述用户数据,否则拒绝存储上述用户数据,并且在上述数据服务器存储上述用户数据成功之后,分别向终端设备和管理服务器发送反馈消息。
在上述可选的实施例中,数据服务器从上述数据处理请求中分别提取用户数据和上述元数据,采用上述数据特征信息验证上述用户数据的合法性,并在上述用户数据通过验证的情况下将上述用户数据存储至上述第一存储区域;采用上述数据特征信息验证上述元数据的合法性,并在上述元数据通过验证的情况下将上述元数据存储至上述第二存储区域。
可选的,策略是指用户数据、元数据的格式定义,策略控制是指数据服务器需要检测终端设备上传的用户数据、元数据是否符合对应的格式定义,如果出现不匹配的字段,则表示错误,从而可以检测终端设备上传数据是否出错,以及检测是否遭到恶意软件的攻击。
在一种可选的实施例中,以上述终端设备为AI摄像设备为例,AI摄像设备可以抓拍视频中存在人脸的图片,该图片即为用户数据,同时可以通过AI摄像设备的智能摄像头分析图片得到图片中的人脸信息,例如,人脸在图片中的位置信息,人脸对应的年龄信息、性别信息等,这些人脸信息即为元数据。进而终端设备可以将上述用户数据(人脸图片)和元数据(图片中的人脸信息)直传至数据服务器。
可选的,第一存储区域、第二存储区域为数据服务器向上云申请的运营支撑***OSS云存储空间。在另一种可选的实施例中,上述数据服务器将用户数据存储至第一存储区域,上述数据服务器将元数据存储至第二存储区域,即上述数据服务器分别将用户数据、元数据,存储至不同或相同的OSS云存储空间。
在一种可选的实施例,在向上述数据服务器发送上述数据处理请求之前,还包括:
步骤S1202,对上述用户数据进行智能分析,提取上述元数据;
步骤S1204,将上述用户数据与上述元数据进行打包处理并封装在上述数据处理请求中。
在一种可选的实施例中,在接收上述管理服务器返回的上述存储空间的地址信息之后,在向上述数据服务器发送上述数据处理请求之前,上述终端设备还可以对上述用户数据进行智能分析,提取上述元数据;并将上述用户数据与上述元数据进行打包处理并封装在上述数据处理请求中,再向数据服务器发送数据处理请求。
可选的,上述打包处理可以但不限于采用数据交互格式Protocol Buffer技术,进行打包处理。
需要说明的是,实施例3中的“数据处理请求”与上述实施例2中的“数据处理请求”,可以相同或不同。本申请实施例及附图中的术语“第一”、“第二”等是用于区别类似的对象,并不作为具体限定。
仍需要说明的是,本实施例的优选实施方式可以参见实施例1和2中的相关描述,此处不再赘述。
实施例4
根据本申请实施例,还提供了又一种数据处理方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在与上述实施例2相同或相似的运行环境下,本申请提供了如图10所示的一种数据处理方法。图10是根据本申请实施例的又一种数据处理方法的流程图,如图10所示,该方法还包括如下方法步骤:
步骤S1302,接收来自于管理服务器的空间分配请求。
具体的,步骤S1302至步骤S1308的执行主体可以但不限于为数据服务器,例如,可以为上述实施例1中的任意一种可选的或优选的数据服务器。
在上述可选的实施例中,上述空间分配请求中携带有管理服务器访问数据服务器的云账号,管理服务器中存储有终端设备的设备ID与云账号之间的关联关系,上述管理服务器根据上述数据处理请求中的设备ID确定云账号,并使用与上述云账号向上述数据服务器请求分配存储空间。
步骤S1304,响应于上述空间分配请求,为终端设备的待处理数据分配存储空间。
作为一种可选的实施例,上述终端设备可以为任意一种人工智能AI设备,例如,AI摄像设备、AI智能手机、AI可穿戴设备等。
需要说明的是,上述终端设备具备人工智能AI处理能力,例如,上述终端设备中可以集成有人工智能AI芯片,可以实现人脸识别、文字识别、语音识别、NLP等功能,且无需将所有的数据(例如,音频数据、图像数据、视频数据等)上传至数据服务器进行处理,而是在终端设备本地对上述的数据进行处理。
在一种可选的实施例中,上述管理服务器可以为用于管理终端设备与数据服务器之间进行数据协同的管理服务器,该管理服务器具备但不限于终端设备注册功能和数据服务器的存储空间的分配功能,还可以管理多个终端设备,以及实现终端设备和数据服务器之间的数据协同。
步骤S1306,向上述管理服务器返回存储空间地址,以便上述管理服务器将上述存储空间地址发送至上述终端设备。
步骤S1308,接收上述终端设备发送的上述待处理数据,并将上述待处理数据存储至上述存储空间。
在另一种可选的实施例中,上述数据服务器是指可以直接和终端设备之间进行数据交互的云服务器端,例如,可以为任意一种云数据服务器,该数据服务器可以但不限于能够理解终端设备的AI处理能力信息和元数据格式信息。
需要说明的是,上述管理服务器与数据服务器采用不同的软件模块实现,可以使用不同的服务器进行部署,从而可以更好的保证各自的性能和隔离,并且,管理服务器与数据服务器也可以部署在同一台服务器上。
在一种可选的实施例中,终端设备可以预先在管理服务器上进行注册,在完成注册后,终端设备可以与数据服务器进行数据协同。
作为一种可选的实施例,若需要实现终端设备与数据服务器之间的数据协同,需要建立终端设备和数据服务器的连接,终端设备向管理服务器发起数据处理请求,该数据处理请求中携带有终端设备的设备ID、数据特征信息等,其中,数据特征信息可以包括AI处理能力信息和元数据格式信息等。
管理服务器响应于上述数据处理请求,并向数据服务器发送空间分配请求,数据服务器为待存储数据分配存储空间,将存储空间地址返回给管理服务器,管理服务器再将存储空间的地址返回给终端设备;进而上述终端设备根据接收到的存储空间的地址将待处理数据上传至上述数据服务器,并存储至相应的存储空间。
需要说明的是,上述终端设备、管理服务器、数据服务器之间,可以通过接入无线局域网(WLAN)、互联网、蓝牙、RFID、Zigbee、NFC等,进行通信连接,以便于进行数据交互和数据处理。
仍需要说明的是,在控制层面,上述管理服务器可以但不限于实现终端设备的注册,可以管理百万级的设备;通过管理服务器,实现为终端设备在数据服务器上分配数据访问通道的能力。在数据层面,上述管理服务器还可以实现终端设备直传数据服务器,其中,元数据和数据共用传输通道,可以有效提高终端设备和数据服务器之间进行数据交互的效率。
基于上述步骤S1302至步骤S1308所限定的方案可以获知,通过数据服务器接收来自于管理服务器的空间分配请求;响应于上述空间分配请求,为终端设备的待处理数据分配存储空间;向上述管理服务器返回存储空间地址,以便上述管理服务器将上述存储空间地址发送至上述终端设备;接收上述终端设备发送的上述待处理数据,并将上述待处理数据存储至上述存储空间。
通过本申请上述实施例所提供的方案,可以达到了终端设备和数据服务器之间直接进行数据交互处理的目的,从而实现了有效减少网络带宽和数据存储区域,降低人工智能AI分析成本的技术效果,进而解决了现有技术中终端设备和数据服务器之间无法实现直接进行数据交互处理的技术问题。
在一种可选的实施例,上述方法还包括如下方法步骤:
步骤S1402,接收上述管理服务器发送的数据特征信息;
步骤S1404,根据上述数据特征信息对上述待处理数据进行验证。
可选的,上述数据特征信息可以但不限于为:终端设备的AI处理能力信息和元数据格式信息等。
在上述可选的实施例中,上述管理服务器还可以但不限于在采用上述云账号向数据服务器申请供上述终端设备访问的存储空间的同时,将上述终端设备的数据特征信息发送至上述数据服务器。
在一种可选的实施例中,上述待处理数据包括用户数据以及与上述用户数据相关联的元数据,上述根据上述数据特征信息对上述待处理数据进行验证的步骤,可以通过如下方法步骤实现:判断上述元数据的格式是否与上述数据特征信息一致;若是,则验证通过,将上述待处理数据存储至上述存储空间;若否,则验证失败,拒绝存储上述待处理数据。
一种可选的实施例中,上述数据服务器根据上述数据特征信息对上述待处理数据进行验证的过程,可以但不限于为验证上述待处理数据的合法性,例如,上述数据服务器可以采用判断上述元数据的格式是否与上述数据特征信息一致,并判断结果为是的情况下,确定验证通过,将上述待处理数据存储至上述存储空间。
在一种可选的实施例,在接收上述终端设备发送的上述待处理数据,并将上述待处理数据存储至上述存储空间之后,还包括:
步骤S1502,向上述管理服务器返回反馈信息,其中,上述反馈信息包括:是否成功存储和存储过程信息。
在上述步骤S1502中,上述数据服务器在接收到上述待处理数据之后,向管理服务器返回反馈信息,以实时向管理服务器反馈是否成功存储上述终端设备的待处理数据,以及存储上述待处理数据的存储过程。
需要说明的是,实施例4中的“数据处理请求”与上述实施例2、3中的“数据处理请求”,可以相同或不同。本申请实施例及附图中的术语“第一”、“第二”等是用于区别类似的对象,并不作为具体限定。
仍需要说明的是,本实施例的优选实施方式可以参见实施例1、2和3中的相关描述,此处不再赘述。
实施例5
根据本申请实施例,还提供了一种用于实施上述数据处理方法的数据处理装置的实施例,图11是根据本申请实施例的一种数据处理装置的结构示意图,如图11所示,该装置包括:第一接收模块110、第一响应模块112、第二接收模块114和第一发送模块116,其中:
第一接收模块110,用于接收来自于终端设备的数据处理请求,其中,上述数据处理请求用于请求对待处理数据进行处理;第一响应模块112,用于响应于上述数据处理请求,向数据服务器发送空间分配请求,以便上述数据服务器基于上述空间分配请求来为上述待处理数据分配存储空间;第二接收模块114,用于接收上述数据服务器返回的存储空间地址;第一发送模块116,用于将上述存储空间地址发送至上述终端设备,以便上述终端设备将上述待处理数据发送至上述数据服务器,并存储至上述存储空间。
此处需要说明的是,上述第一接收模块110、第一响应模块112、第二接收模块114和第一发送模块116对应于实施例2中的步骤S102至步骤S108,四个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例2所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例提供的计算机终端10中。
仍需要说明的是,本实施例的优选实施方式可以参见实施例2中的相关描述,此处不再赘述。
实施例6
根据本申请实施例,还提供了另一种用于实施上述数据处理方法的数据处理装置的实施例,图12是根据本申请实施例的一种数据处理装置的结构示意图,如图12所示,该装置包括:第二发送模块120、第三接收模块122和第三发送模块124,其中:
第二发送模块120,用于向管理服务器发送数据处理请求,以便上述管理服务器向数据服务器请求分配存储空间,其中,上述数据处理请求用于请求对待处理数据进行处理,上述存储空间用于存储上述待处理数据;第三接收模块122,用于接收上述管理服务器转发的由上述数据服务器返回的存储空间地址;第三发送模块124,用于将上述待处理数据发送至上述数据服务器,并存储至上述存储空间。
此处需要说明的是,上述第二发送模块120、第三接收模块122和第三发送模块124对应于实施例3中的步骤S902至步骤S906,三个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例3所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例提供的计算机终端10中。
仍需要说明的是,本实施例的优选实施方式可以参见实施例3中的相关描述,此处不再赘述。
实施例7
根据本申请实施例,还提供了又一种用于实施上述数据处理方法的数据处理装置的实施例,图13是根据本申请实施例的一种数据处理装置的结构示意图,如图13所示,该装置包括:第四接收模块130、第二响应模块132、返回模块134和第五接收模块136,其中:
第四接收模块130,用于接收来自于管理服务器的空间分配请求;第二响应模块132,用于响应于上述空间分配请求,为终端设备的待处理数据分配存储空间;返回模块134,用于向上述管理服务器返回存储空间地址,以便上述管理服务器将上述存储空间地址发送至上述终端设备;第五接收模块136,用于接收上述终端设备发送的上述待处理数据,并将上述待处理数据存储至上述存储空间。
此处需要说明的是,上述第四接收模块130、第二响应模块132、返回模块134和第五接收模块136对应于实施例4中的步骤S1302至步骤S1308,四个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例4所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例提供的计算机终端10中。
仍需要说明的是,本实施例的优选实施方式可以参见实施例4中的相关描述,此处不再赘述。
实施例8
本申请的实施例可以提供一种计算机终端,该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地,在本实施例中,上述计算机终端也可以替换为移动终端等终端设备。
可选地,在本实施例中,上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。如图3所示,计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b,……,102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。
处理器102可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:接收来自于终端设备的数据处理请求,其中,上述数据处理请求用于请求对待处理数据进行处理;响应于上述数据处理请求,向数据服务器发送空间分配请求,以便上述数据服务器基于上述空间分配请求来为上述待处理数据分配存储空间;接收上述数据服务器返回的存储空间地址;将上述存储空间地址发送至上述终端设备,以便上述终端设备将上述待处理数据发送至上述数据服务器,并存储至上述存储空间。
存储器104可用于存储应用软件的软件程序以及模块,如本申请实施例中的数据处理方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的数据处理方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端10的用户界面进行交互。
此处需要说明的是,在一些可选实施例中,上述图8所示的计算机终端10可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是,图8仅为特定具体实例的一个实例,并且旨在示出可存在于上述计算机终端10中的部件的类型。
在本实施例中,上述计算机终端可以执行应用程序的数据处理方法中以下步骤的程序代码:接收来自于终端设备的数据处理请求,其中,上述数据处理请求用于请求对待处理数据进行处理;响应于上述数据处理请求,向数据服务器发送空间分配请求,以便上述数据服务器基于上述空间分配请求来为上述待处理数据分配存储空间;接收上述数据服务器返回的存储空间地址;将上述存储空间地址发送至上述终端设备,以便上述终端设备将上述待处理数据发送至上述数据服务器,并存储至上述存储空间。
可选的,上述处理器还可以执行如下步骤的程序代码:接收来自于终端设备的数据处理请求,其中,上述数据处理请求用于请求对待处理数据进行处理;响应于上述数据处理请求,向数据服务器发送空间分配请求,以便上述数据服务器基于上述空间分配请求来为上述待处理数据分配存储空间;接收上述数据服务器返回的存储空间地址;将上述存储空间地址发送至上述终端设备,以便上述终端设备将上述待处理数据发送至上述数据服务器,并存储至上述存储空间。
可选的,上述处理器还可以执行如下步骤的程序代码:响应于上述数据处理请求,向上述数据服务器发送上述数据特征信息,以便在上述终端设备将上述待处理数据发送至上述数据服务器之后,由上述数据服务器根据上述数据特征信息对上述待处理数据进行验证。
可选的,上述处理器还可以执行如下步骤的程序代码:接收上述数据服务器发送的反馈信息,其中,上述反馈信息包括:是否成功存储和存储过程信息。
可选的,上述处理器还可以执行如下步骤的程序代码:接收来自于上述终端设备的注册请求,其中,上述注册请求包括:终端设备标识;响应于上述注册请求,为上述终端设备分配上述数据服务器;存储上述终端设备标识与数据服务器标识之间的关联关系。
可选的,上述处理器还可以执行如下步骤的程序代码:接收来自于上述终端设备的注册请求,其中,上述注册请求包括:终端设备标识和数据服务器标识;存储上述终端设备标识与上述数据服务器标识之间的关联关系。
可选的,上述处理器还可以执行如下步骤的程序代码:根据上述关联关系确定上述数据服务器。
可选的,上述处理器还可以执行如下步骤的程序代码:向管理服务器发送数据处理请求,以便上述管理服务器向数据服务器请求分配存储空间,其中,上述数据处理请求用于请求对待处理数据进行处理,上述存储空间用于存储上述待处理数据;接收上述管理服务器转发的由上述数据服务器返回的存储空间地址;将上述待处理数据发送至上述数据服务器,并存储至上述存储空间。
可选的,上述处理器还可以执行如下步骤的程序代码:向上述管理服务器发送注册请求,以便上述管理服务器为终端设备分配上述数据服务器,其中,上述注册请求包括:终端设备标识。
可选的,上述处理器还可以执行如下步骤的程序代码:向上述管理服务器发送注册请求,以便上述管理服务器从上述注册请求中获取终端设备标识和数据服务器标识,并存储上述终端设备标识与上述数据服务器标识之间的关联关系。
可选的,上述处理器还可以执行如下步骤的程序代码:接收来自于管理服务器的空间分配请求;响应于上述空间分配请求,为终端设备的待处理数据分配存储空间;向上述管理服务器返回存储空间地址,以便上述管理服务器将上述存储空间地址发送至上述终端设备;接收上述终端设备发送的上述待处理数据,并将上述待处理数据存储至上述存储空间。
可选的,上述处理器还可以执行如下步骤的程序代码:接收上述管理服务器发送的数据特征信息;根据上述数据特征信息对上述待处理数据进行验证。
可选的,上述处理器还可以执行如下步骤的程序代码:向上述管理服务器返回反馈信息,其中,上述反馈信息包括:是否成功存储和存储过程信息。
采用本申请实施例,提供了一种数据处理的方案。通过接收来自于人工智能AI设备的数据处理请求,其中,上述数据处理请求中至少携带有上述AI设备的设备标识;根据上述设备标识确定云端标识,并采用上述云端标识向数据服务器申请供上述AI设备访问的存储空间;将上述存储空间的地址信息返回至上述AI设备,从而达到了实现智能设备和数据服务器之间进行数据交互的目的,进而解决了现有技术中终端设备和数据服务器之间无法实现直接进行数据交互处理的技术问题。
本领域普通技术人员可以理解,图3所示的结构仅为示意,计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices,MID)、PAD等终端设备。图3其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图3中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图3所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
实施例9
本申请的实施例还提供了一种存储介质的实施例。可选地,在本实施例中,上述存储介质可以用于保存上述实施例所提供的数据处理方法所执行的程序代码。
可选地,在本实施例中,上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:接收来自于终端设备的数据处理请求,其中,上述数据处理请求用于请求对待处理数据进行处理;响应于上述数据处理请求,向数据服务器发送空间分配请求,以便上述数据服务器基于上述空间分配请求来为上述待处理数据分配存储空间;接收上述数据服务器返回的存储空间地址;将上述存储空间地址发送至上述终端设备,以便上述终端设备将上述待处理数据发送至上述数据服务器,并存储至上述存储空间。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:响应于上述数据处理请求,向上述数据服务器发送上述数据特征信息,以便在上述终端设备将上述待处理数据发送至上述数据服务器之后,由上述数据服务器根据上述数据特征信息对上述待处理数据进行验证。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:接收上述数据服务器发送的反馈信息,其中,上述反馈信息包括:是否成功存储和存储过程信息。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:接收来自于上述终端设备的注册请求,其中,上述注册请求包括:终端设备标识;响应于上述注册请求,为上述终端设备分配上述数据服务器;存储上述终端设备标识与数据服务器标识之间的关联关系。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:接收来自于上述终端设备的注册请求,其中,上述注册请求包括:终端设备标识和数据服务器标识;存储上述终端设备标识与上述数据服务器标识之间的关联关系。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:根据上述关联关系确定上述数据服务器。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:向管理服务器发送数据处理请求,以便上述管理服务器向数据服务器请求分配存储空间,其中,上述数据处理请求用于请求对待处理数据进行处理,上述存储空间用于存储上述待处理数据;接收上述管理服务器转发的由上述数据服务器返回的存储空间地址;将上述待处理数据发送至上述数据服务器,并存储至上述存储空间。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:向上述管理服务器发送注册请求,以便上述管理服务器为终端设备分配上述数据服务器,其中,上述注册请求包括:终端设备标识。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:向上述管理服务器发送注册请求,以便上述管理服务器从上述注册请求中获取终端设备标识和数据服务器标识,并存储上述终端设备标识与上述数据服务器标识之间的关联关系。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:接收来自于管理服务器的空间分配请求;响应于上述空间分配请求,为终端设备的待处理数据分配存储空间;向上述管理服务器返回存储空间地址,以便上述管理服务器将上述存储空间地址发送至上述终端设备;接收上述终端设备发送的上述待处理数据,并将上述待处理数据存储至上述存储空间。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:接收上述管理服务器发送的数据特征信息;根据上述数据特征信息对上述待处理数据进行验证。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:向上述管理服务器返回反馈信息,其中,上述反馈信息包括:是否成功存储和存储过程信息。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (20)

1.一种数据处理方法,包括:
接收来自于终端设备的数据处理请求,其中,所述数据处理请求用于请求对待处理数据进行处理;
响应于所述数据处理请求,向数据服务器发送空间分配请求,以便所述数据服务器基于所述空间分配请求来为所述待处理数据分配存储空间;
接收所述数据服务器返回的存储空间地址;
将所述存储空间地址发送至所述终端设备,以便所述终端设备将所述待处理数据发送至所述数据服务器,并存储至所述存储空间。
2.根据权利要求1所述的方法,其中,所述数据处理请求包括:数据特征信息;所述方法还包括:
响应于所述数据处理请求,向所述数据服务器发送所述数据特征信息,以便在所述终端设备将所述待处理数据发送至所述数据服务器之后,由所述数据服务器根据所述数据特征信息对所述待处理数据进行验证。
3.根据权利要求1所述的方法,其中,在所述终端设备将所述待处理数据发送至所述数据服务器,并存储至所述存储空间之后,还包括:
接收所述数据服务器发送的反馈信息,其中,所述反馈信息包括:是否成功存储和存储过程信息。
4.根据权利要求1所述的方法,其中,在接收来自于所述终端设备的所述数据处理请求之前,还包括:
接收来自于所述终端设备的注册请求,其中,所述注册请求包括:终端设备标识;
响应于所述注册请求,为所述终端设备分配所述数据服务器;
存储所述终端设备标识与数据服务器标识之间的关联关系。
5.根据权利要求1所述的方法,其中,在接收来自于所述终端设备的所述数据处理请求之前,还包括:
接收来自于所述终端设备的注册请求,其中,所述注册请求包括:终端设备标识和数据服务器标识;
存储所述终端设备标识与所述数据服务器标识之间的关联关系。
6.根据权利要求4或5所述的方法,其中,在向所述数据服务器发送所述空间分配请求之前,还包括:
根据所述关联关系确定所述数据服务器。
7.一种数据处理方法,包括:
向管理服务器发送数据处理请求,以便所述管理服务器向数据服务器请求分配存储空间,其中,所述数据处理请求用于请求对待处理数据进行处理,所述存储空间用于存储所述待处理数据;
接收所述管理服务器转发的由所述数据服务器返回的存储空间地址;
将所述待处理数据发送至所述数据服务器,并存储至所述存储空间。
8.根据权利要求7所述的方法,其中,所述数据处理请求包括:数据特征信息,所述数据特征信息用于在将所述待处理数据发送至所述数据服务器之后,由所述数据服务器根据所述数据特征信息对所述待处理数据进行验证。
9.根据权利要求7所述的方法,其中,在向所述管理服务器发送所述数据处理请求之前,还包括:
向所述管理服务器发送注册请求,以便所述管理服务器为终端设备分配所述数据服务器,其中,所述注册请求包括:终端设备标识。
10.根据权利要求7所述的方法,其中,在向所述管理服务器发送所述数据处理请求之前,还包括:
向所述管理服务器发送注册请求,以便所述管理服务器从所述注册请求中获取终端设备标识和数据服务器标识,并存储所述终端设备标识与所述数据服务器标识之间的关联关系。
11.一种数据处理方法,包括:
接收来自于管理服务器的空间分配请求;
响应于所述空间分配请求,为终端设备的待处理数据分配存储空间;
向所述管理服务器返回存储空间地址,以便所述管理服务器将所述存储空间地址发送至所述终端设备;
接收所述终端设备发送的所述待处理数据,并将所述待处理数据存储至所述存储空间。
12.根据权利要求11所述的方法,其中,所述方法还包括:
接收所述管理服务器发送的数据特征信息;
根据所述数据特征信息对所述待处理数据进行验证。
13.根据权利要求12所述的方法,其中,所述待处理数据包括用户数据以及与所述用户数据相关联的元数据,所述根据所述数据特征信息对所述待处理数据进行验证的步骤,包括:
判断所述元数据的格式是否与所述数据特征信息一致;
若是,则验证通过,将所述待处理数据存储至所述存储空间;
若否,则验证失败,拒绝存储所述待处理数据。
14.根据权利要求11所述的方法,其中,在接收所述终端设备发送的所述待处理数据,并将所述待处理数据存储至所述存储空间之后,还包括:
向所述管理服务器返回反馈信息,其中,所述反馈信息包括:是否成功存储和存储过程信息。
15.一种数据处理装置,包括:
第一接收模块,用于接收来自于终端设备的数据处理请求,其中,所述数据处理请求用于请求对待处理数据进行处理;
第一响应模块,用于响应于所述数据处理请求,向数据服务器发送空间分配请求,以便所述数据服务器基于所述空间分配请求来为所述待处理数据分配存储空间;
第二接收模块,用于接收所述数据服务器返回的存储空间地址;
第一发送模块,用于将所述存储空间地址发送至所述终端设备,以便所述终端设备将所述待处理数据发送至所述数据服务器,并存储至所述存储空间。
16.一种数据处理装置,包括:
第二发送模块,用于向管理服务器发送数据处理请求,以便所述管理服务器向数据服务器请求分配存储空间,其中,所述数据处理请求用于请求对待处理数据进行处理,所述存储空间用于存储所述待处理数据;
第三接收模块,用于接收所述管理服务器转发的由所述数据服务器返回的存储空间地址;
第三发送模块,用于将所述待处理数据发送至所述数据服务器,并存储至所述存储空间。
17.一种数据处理装置,包括:
第四接收模块,用于接收来自于管理服务器的空间分配请求;
第二响应模块,用于响应于所述空间分配请求,为终端设备的待处理数据分配存储空间;
返回模块,用于向所述管理服务器返回存储空间地址,以便所述管理服务器将所述存储空间地址发送至所述终端设备;
第五接收模块,用于接收所述终端设备发送的所述待处理数据,并将所述待处理数据存储至所述存储空间。
18.一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行如权利要求1-6中任一项所述的数据处理方法,或执行如权利要求7-10中任一项所述的数据处理方法,或执行如权利要求11-14中任一项所述的数据处理方法。
19.一种计算设备,包括:存储有程序指令的存储器以及至少一个处理器,其中,所述处理器用于运行所述程序指令,所述程序指令运行时使得所述计算设备执行如权利要求1-6中任一项所述的数据处理方法,或执行如权利要求7-10中任一项所述的数据处理方法,或执行如权利要求11-14中任一项所述的数据处理方法。
20.一种数据处理***,包括:
管理服务器和数据服务器,所述管理服务器与所述数据服务器连接,其中,所述管理服务器适于执行如权利要求1-6中任一项所述的数据处理方法,所述数据服务器适于执行如权利要求11-14中任一项所述的数据处理方法。
CN201810821368.2A 2018-07-24 2018-07-24 数据处理方法、装置及*** Active CN110750206B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810821368.2A CN110750206B (zh) 2018-07-24 2018-07-24 数据处理方法、装置及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810821368.2A CN110750206B (zh) 2018-07-24 2018-07-24 数据处理方法、装置及***

Publications (2)

Publication Number Publication Date
CN110750206A true CN110750206A (zh) 2020-02-04
CN110750206B CN110750206B (zh) 2023-05-02

Family

ID=69275563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810821368.2A Active CN110750206B (zh) 2018-07-24 2018-07-24 数据处理方法、装置及***

Country Status (1)

Country Link
CN (1) CN110750206B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111930346A (zh) * 2020-07-15 2020-11-13 北京百度网讯科技有限公司 人工智能信息的处理方法、装置、电子设备和存储介质
WO2021258370A1 (zh) * 2020-06-24 2021-12-30 北京小米移动软件有限公司 一种通信处理方法、通信处理装置及存储介质
WO2023245512A1 (zh) * 2022-06-22 2023-12-28 北京小米移动软件有限公司 空口处理方法及装置、存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101047610A (zh) * 2007-04-30 2007-10-03 华为技术有限公司 数据存储、读取、传输方法和管理服务器及网络节点
US20090157694A1 (en) * 2007-12-14 2009-06-18 Electronics And Telecommunications Research Institute Method and system for managing file metadata transparent about address changes of data servers and movements of their disks
CN102047642A (zh) * 2008-06-02 2011-05-04 阿尔卡特朗讯 用于存储在线数据的方法和设备
CN102255888A (zh) * 2010-05-21 2011-11-23 英特尔公司 从远程服务器对数据存储设备进行安全扫描的方法和装置
CN105554431A (zh) * 2016-02-17 2016-05-04 努比亚技术有限公司 一种视频通话录像方法、装置及***
CN107181825A (zh) * 2017-07-07 2017-09-19 广东中星电子有限公司 终端设备数据的在线处理方法
WO2017219852A1 (zh) * 2016-06-24 2017-12-28 中兴通讯股份有限公司 数据信息的共享方法及装置、终端
CN107707644A (zh) * 2017-09-27 2018-02-16 北京趣拿软件科技有限公司 请求消息的处理方法、装置、存储介质、处理器及终端
CN107749862A (zh) * 2017-11-23 2018-03-02 爱国者安全科技(北京)有限公司 一种数据加密集中存储方法、服务器、用户终端及***
WO2018041078A1 (zh) * 2016-08-29 2018-03-08 腾讯科技(深圳)有限公司 一种认证方法、***及代理服务器、计算机存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101047610A (zh) * 2007-04-30 2007-10-03 华为技术有限公司 数据存储、读取、传输方法和管理服务器及网络节点
US20090157694A1 (en) * 2007-12-14 2009-06-18 Electronics And Telecommunications Research Institute Method and system for managing file metadata transparent about address changes of data servers and movements of their disks
CN102047642A (zh) * 2008-06-02 2011-05-04 阿尔卡特朗讯 用于存储在线数据的方法和设备
CN102255888A (zh) * 2010-05-21 2011-11-23 英特尔公司 从远程服务器对数据存储设备进行安全扫描的方法和装置
CN105554431A (zh) * 2016-02-17 2016-05-04 努比亚技术有限公司 一种视频通话录像方法、装置及***
WO2017219852A1 (zh) * 2016-06-24 2017-12-28 中兴通讯股份有限公司 数据信息的共享方法及装置、终端
WO2018041078A1 (zh) * 2016-08-29 2018-03-08 腾讯科技(深圳)有限公司 一种认证方法、***及代理服务器、计算机存储介质
CN107181825A (zh) * 2017-07-07 2017-09-19 广东中星电子有限公司 终端设备数据的在线处理方法
CN107707644A (zh) * 2017-09-27 2018-02-16 北京趣拿软件科技有限公司 请求消息的处理方法、装置、存储介质、处理器及终端
CN107749862A (zh) * 2017-11-23 2018-03-02 爱国者安全科技(北京)有限公司 一种数据加密集中存储方法、服务器、用户终端及***

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HAKAN FERHATOSMANOGLU等: "Data space mapping for efficient I/O in large multi-dimensional databases" *
张震伟;马雁云;: "基于超元数据缓存的高速数据访问***" *
郑小燕;: "分布式文件***中元数据管理策略" *
韦理;周悦芝;夏楠;: "用于网络存储***的存储空间动态分配方法" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021258370A1 (zh) * 2020-06-24 2021-12-30 北京小米移动软件有限公司 一种通信处理方法、通信处理装置及存储介质
CN111930346A (zh) * 2020-07-15 2020-11-13 北京百度网讯科技有限公司 人工智能信息的处理方法、装置、电子设备和存储介质
CN111930346B (zh) * 2020-07-15 2023-04-25 北京百度网讯科技有限公司 人工智能信息的处理方法、装置、电子设备和存储介质
CN116679907A (zh) * 2020-07-15 2023-09-01 北京百度网讯科技有限公司 人工智能信息的处理方法、装置、电子设备和存储介质
CN116679907B (zh) * 2020-07-15 2024-02-27 北京百度网讯科技有限公司 人工智能信息的处理方法、装置、电子设备和存储介质
WO2023245512A1 (zh) * 2022-06-22 2023-12-28 北京小米移动软件有限公司 空口处理方法及装置、存储介质

Also Published As

Publication number Publication date
CN110750206B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN109068179B (zh) 一种多平台直播方法、计算机装置及计算机可读存储介质
US20140355519A1 (en) Sharing wireless traffic
CN108881228A (zh) 云端注册激活方法、装置、设备和存储介质
CN110750206B (zh) 数据处理方法、装置及***
CN110493028A (zh) 一种集群部署方法、***、装置及计算机可读存储介质
CN109101335A (zh) 扩展主机设备的功能
CN111367562A (zh) 数据采集方法、装置、存储介质及处理器
CN106302123A (zh) 一种数据提取、粘贴处理的方法、装置及其***
CN106549989A (zh) 一种数据传输方法及其***、用户终端、应用服务器
CN105592019A (zh) 双执行环境之间双向访问应用的方法
CN104901937A (zh) 一种数据处理方法及其***、终端、服务器
KR20210043529A (ko) 블록체인과 해쉬 암호화 기술을 기반으로 한 영상 인증 시스템 및 그 방법
KR20210000957A (ko) 블록체인과 해쉬 암호화 기술을 기반으로 한 영상 인증 시스템 및 그 방법
CN107231275B (zh) 用于用户设备与家居设备连接配置的方法
CN109196460A (zh) 数据的传输方法、服务器、存储***、终端设备及***
CN114389868B (zh) 一种云资源的分配方法、***、装置及存储介质
CN104038791A (zh) Iptv业务的放装实现方法及装置
CN110557750B (zh) 信息传输方法、网关设备、核心网设备以及存储介质
CN110881064B (zh) 一种域名配置方法及设备
CN115469961A (zh) 容器组的创建方法和装置、电子设备和存储介质
US20140315600A1 (en) Communication interface method for se equipped on mobile terminal and se using the same
CN109361730A (zh) 基于面部的名片信息获取方法、***及云服务器
CN108990039A (zh) 数据传输方法及相关装置
CN109361729A (zh) 基于指纹的名片信息获取方法、***及云服务器
CN102801813B (zh) 一种从终端设备自动上传影音文件的装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant