CN113011238A - 数据处理方法、装置、服务器、终端和存储介质 - Google Patents

数据处理方法、装置、服务器、终端和存储介质 Download PDF

Info

Publication number
CN113011238A
CN113011238A CN202011329524.7A CN202011329524A CN113011238A CN 113011238 A CN113011238 A CN 113011238A CN 202011329524 A CN202011329524 A CN 202011329524A CN 113011238 A CN113011238 A CN 113011238A
Authority
CN
China
Prior art keywords
image
recognized
terminal
reference projection
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011329524.7A
Other languages
English (en)
Inventor
洪哲鸣
赵伟
王军
王少鸣
郭润增
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011329524.7A priority Critical patent/CN113011238A/zh
Publication of CN113011238A publication Critical patent/CN113011238A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种数据处理方法、装置、服务器、终端和存储介质；本发明实施例可获取预设的映射关系集合，该映射关系集合包括终端与参考投射图像之间的映射关系；接收到目标终端的深度数据生成指令时，根据映射关系集合确定目标终端对应的目标参考投射图像，该深度数据生成指令包括目标终端采集的待识别人脸图像；基于目标参考投射图像和待识别人脸图像进行视觉对比处理，得到目标参考图像和待识别人脸图像之间的视差信息；基于视差信息确定待识别人脸图像的深度数据；将待识别人脸图像的深度数据发送给目标终端。本发明实施例可对各终端采集的图像集中地进行深度数据快速计算，再将深度数据返回给终端。本方案可提升数据处理方法的效率。

Description

数据处理方法、装置、服务器、终端和存储介质
技术领域
本发明涉及计算机领域，具体涉及一种数据处理方法、装置、服务器、终端和存储介质。
背景技术
普通相机拍摄到只能采集场景中物体的二维图像，但是其所记录的数据不包含这些物体与相机之间距离，这些二维图像无法确切地指出哪些物体离镜头较远，哪些离镜头比较近。而深度相机则恰恰解决了该问题，深度相机(又叫3D相机)，指的是可以测量物体与相机之间距离(深度)的相机，通过深度相机获取到的深度图像，我们能准确知道图像中每个点离镜头之间距离。
然而目前的深度相机得到的深度图像无论在精度上还是效率上都有待提提高，因此，目前深度相机的数据处理方法效率低下。
发明内容
本发明实施例提供一种数据处理方法、装置、服务器、终端和存储介质，可以提升数据处理方法的效率。
本发明实施例提供一种数据处理方法，适用于服务器，包括：
获取预设的映射关系集合，所述映射关系集合包括终端与参考投射图像之间的映射关系；
当接收到目标终端的深度数据生成指令时，根据所述映射关系集合确定所述目标终端对应的目标参考投射图像，所述深度数据生成指令包括所述目标终端采集的待识别人脸图像；
基于所述目标参考投射图像和所述待识别人脸图像进行视觉对比处理，得到所述目标参考图像和所述待识别人脸图像之间的视差信息；
基于所述视差信息确定所述待识别人脸图像的深度数据；
将所述待识别人脸图像的深度数据发送给所述目标终端，以便所述目标终端根据所述深度数据进行人脸识别。
本发明实施例提供一种数据处理方法，适用于终端，包括：
当获取到人脸深度图像采集指令时，获取参考投射图像；
基于所述参考投射图像向拍照场景中人脸的表面投射光信号；
采集所述光信号投射在所述拍照场景中人脸表面所形成的图像，得到待识别人脸图像；
向服务器发送所述深度数据生成指令，以便所述服务器根据所述深度数据生成指令确定所述待识别人脸图像的深度数据，所述深度数据生成指令包括所述待识别人脸图像；
从服务器接收所述待识别人脸图像的深度数据；
基于所述待识别人脸图像的深度数据进行人脸识别。
本发明实施例还提供一种数据处理装置，适用于服务器，包括：
集合单元，用于获取预设的映射关系集合，所述映射关系集合包括终端与参考投射图像之间的映射关系；
接收指令单元，用于当接收到目标终端的深度数据生成指令时，根据所述映射关系集合确定所述目标终端对应的目标参考投射图像，所述深度数据生成指令包括所述目标终端采集的待识别人脸图像；
视差单元，用于基于所述目标参考投射图像和所述待识别人脸图像进行视觉对比处理，得到所述目标参考图像和所述待识别人脸图像之间的视差信息；
深度单元，用于基于所述视差信息确定所述待识别人脸图像的深度数据；
发送数据单元，用于将所述待识别人脸图像的深度数据发送给所述目标终端，以便所述目标终端根据所述深度数据进行人脸识别。
在一些实施例中，视差单元，包括：
匹配子单元，用于对所述目标参考投射图像和待识别人脸图像进行图像内容匹配处理，得到所述图像内容在所述目标参考投射图像中的位置信息，以及所述图像内容在所述待识别人脸图像中的位置信息；
视差子单元，用于基于所述图像内容在所述目标参考投射图像中的位置信息，以及所述图像内容在所述待识别人脸图像中的位置信息，计算所述图像内容在所述目标参考图像和所述待识别人脸图像之间的视差信息。
在一些实施例中，所述图像内容包括多个像素，所述匹配子单元，包括：
二值化子模块，用于对所述目标参考投射图像和待识别人脸图像进行二值化处理，得到目标参考投影二值图像和待识别人脸二值图像；
像素子模块，用于确定所述目标参考投影二值图像中的目标像素，以及所述目标像素在所述目标参考投影二值图像中的位置信息；
第一片段子模块，用于基于预设窗口在所述目标参考投影二值图像中截取第一图像片段，所述预设窗口为以所述目标像素为中心的预设大小的窗口；
第二片段子模块，用于在所述待识别人脸二值图像中确定与所述第一图像片段最相似的第二图像片段；
位置子模块，用于将位于所述第二图像片段的中心点的像素确定为所述第二图像片段中的目标像素，以及确定所述目标像素在所述待识别人脸二值图像中的位置信息。
在一些实施例中，所述二值化子模块，用于：
将所述目标参考投射图像中所有像素的亮度均值确定为第一阈值；
根据所述待识别人脸图像中所有像素的亮度均值确定为第二阈值；
将所述目标参考投射图像中亮度高于所述第一阈值的像素赋值为1，以及将所述目标参考投射图像中亮度不高于所述第一阈值的像素赋值为0，得到目标参考投影二值图像；
将所述待识别人脸图像中亮度高于所述第二阈值的像素赋值为1，以及将所述待识别人脸图像中亮度不高于所述第二阈值的像素赋值为0，得到待识别人脸二值图像。
在一些实施例中，所述目标参考投影二值图像包括目标参考投影二值图像片段，所述待识别人脸二值图像包括待识别人脸二值图像片段；所述二值化子模块，用于：
对所述目标参考投射图像进行分片处理，得到所述目标参考投射图像的多个目标参考投射图像片段；
对所述待识别人脸图像进行分片处理，得到所述待识别人脸图像的多个待识别人脸图像片段；
将所述目标参考投射图像片段中所有像素的亮度均值确定为第一片段阈值；
根据所述待识别人脸图像片段中所有像素的亮度均值确定为第二片段阈值；
将所述目标参考投射图像片段中亮度高于所述第一片段阈值的像素赋值为1，以及将所述目标参考投射图像片段中亮度不高于所述第一片段阈值的像素赋值为0，得到目标参考投影二值图像片段；
将所述待识别人脸图像片段中亮度高于所述第二片段阈值的像素赋值为1，以及将所述待识别人脸图像片段中亮度不高于所述第二片段阈值的像素赋值为0，得到待识别人脸二值图像片段。
在一些实施例中，所述映射关系集合还包括终端与的焦距参数、基线距离参数以及所述参考投射图像的深度数据之间的映射关系，所述接收指令单元，还用于：
根据所述映射关系集合确定所述目标终端对应的目标焦距参数、目标基线距离参数以及所述目标参考投射图像的目标深度数据；
在一些实施例中，所述深度单元，用于：
基于所述目标焦距参数、目标基线距离参数以及所述目标参考投射图像的目标深度数据，计算所述待识别人脸图像的深度数据。
在一些实施例中，所述集合单元在用于获取预设的映射关系集合之前，还用于：
获取终端的终端标识，以及所述终端的参考投射图像；
生成所述终端的终端标识与所述终端的参考投射图像之间的映射关系；
将所述终端的终端标识与所述终端的参考投射图像之间的映射关系保存在预设的映射关系集合中。
在一些实施例中，所述方法，还包括：
当接收到终端的参考投影指令时，生成所述终端对应的参考投射图像，所述参考投影指令包括所述终端的终端标识；
生成所述终端的终端标识与所述终端的参考投射图像之间的映射关系；
将所述终端与所述终端的参考投射图像之间的映射关系保存在预设的映射关系集合中；
将所述终端对应的参考投射图像发送给所述终端。
本发明实施例还提供一种数据处理装置，适用于终端，包括：
参考单元，用于当获取到人脸深度图像采集指令时，获取参考投射图像；
投射单元，用于基于所述参考投射图像向拍照场景中人脸的表面投射光信号；
采集单元，用于采集所述光信号投射在所述拍照场景中人脸表面所形成的图像，得到待识别人脸图像；
发送指令单元，用于向服务器发送所述深度数据生成指令，以便所述服务器根据所述深度数据生成指令确定所述待识别人脸图像的深度数据，所述深度数据生成指令包括所述待识别人脸图像；
接收数据单元，用于从服务器接收所述待识别人脸图像的深度数据，基于所述待识别人脸图像的深度数据进行人脸识别。
在一些实施例中，所述参考单元，用于：
获取自身的终端标识；
根据所述终端标识，生成参考投影指令；
向服务器发送参考投影指令，以通知服务器为终端分配参考投射图像；
从服务器获取参考投射图像。
本发明实施例还提供一种服务器，包括存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行本发明实施例所提供的任一种数据处理方法中的步骤。
本发明实施例还提供一种终端，包括处理器、存储器和激光器和摄像头，其中：
所述激光器用于向拍照场景中人脸的表面投射光信号；
所述摄像头用于采集图像；
所述存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行以下步骤：
当获取到人脸深度图像采集指令时，获取参考投射图像；
基于所述参考投射图像向拍照场景中人脸的表面投射光信号；
采集所述光信号投射在所述拍照场景中人脸表面所形成的图像，得到待识别人脸图像；
向服务器发送所述深度数据生成指令，以便所述服务器根据所述深度数据生成指令确定所述待识别人脸图像的深度数据，所述深度数据生成指令包括所述待识别人脸图像
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种数据处理方法中的步骤。
本发明实施例可以获取预设的映射关系集合，映射关系集合包括终端与参考投射图像之间的映射关系；当接收到目标终端的深度数据生成指令时，根据映射关系集合确定目标终端对应的目标参考投射图像，深度数据生成指令包括目标终端采集的待识别人脸图像；基于目标参考投射图像和待识别人脸图像进行视觉对比处理，得到目标参考图像和待识别人脸图像之间的视差信息；基于视差信息确定待识别人脸图像的深度数据；将待识别人脸图像的深度数据发送给目标终端，以便目标终端根据深度数据进行人脸识别。
在本发明中，通过将深度数据的计算迁移至云端服务器，终端无需进行本地的深度数据计算，因此，终端甚至无需再搭载高算力的芯片就可以实现海量深度数据的计算。尤其针对于需要处理海量的待识别人脸图像的终端，本方案可有效降低对计算资源的消耗、提升深度数据的计算精度，以及节约了终端搭载高算力芯片所需的成本。本发明可以有效降低终端的计算量，由此，本发明可以提升数据处理的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的数据处理方法的场景示意图；
图1b是本发明实施例提供的基于区块链的数据处理方法的***示意图；
图1c是本发明实施例提供的数据处理方法的区块链结构示意图；
图1d是本发明实施例提供的数据处理方法的服务器流程示意图；
图1e是本发明实施例提供的数据处理方法的块匹配示意图；
图1f是本发明实施例提供的数据处理方法的深度数据计算示意图；
图2是本发明实施例提供的数据处理方法的终端流程示意图；
图3是本发明实施例提供的数据处理装置的第一种结构示意图；
图4是本发明实施例提供的数据处理装置的第二种结构示意图；
图5是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种数据处理方法、装置、服务器、终端和存储介质。
其中，该数据处理装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。
在一些实施例中，服务器也可以以终端的形式来实现。
其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
其中，终端可以是智能手机、智能相机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
例如，参考图1a，图1a是一种数据处理***，该***中可以包括服务器和多个终端，该服务器可以是云服务器，该终端可以是智能相机、智能手机等搭载有激光器和摄像头的电子设备。
其中，参考图1a，服务器可以获取预设的映射关系集合，映射关系集合包括终端与参考投射图像之间的映射关系；当服务器接收到终端2的深度数据生成指令时，服务器可以根据映射关系集合确定目标终端对应的目标参考投射图像，其中，深度数据生成指令包括目标终端采集的待识别人脸图像；然后，服务器基于目标参考投射图像和待识别人脸图像进行视觉对比处理，得到目标参考图像和待识别人脸图像之间的视差信息；基于视差信息确定待识别人脸图像的深度数据；最后，服务器将待识别人脸图像的深度数据发送给终端2，以便终端2根据待识别人脸图像的深度数据进行人脸识别。
其中，参考图1a，当终端2获取到人脸深度图像采集指令时，终端2可以获取参考投射图像；然后终端2可以基于参考投射图像采用激光器向拍照场景中物体的表面投射光信号，该物体可以是人的脸部；再采用摄像头采集光信号投射在拍照场景中物体表面所形成的图像，得到待识别人脸图像；然后向服务器发送深度数据生成指令，以便服务器根据深度数据生成指令确定待识别人脸图像的深度数据，其中，深度数据生成指令可以包括待识别人脸图像；最后从服务器接收待识别人脸图像的深度数据，并基于待识别人脸图像的深度数据进行人脸识别。
此外，在一些实施例中，本发明实施例涉及的数据处理***还可以是由云服务器和多个节点(接入网络中的任意形式的终端、服务器等电子设备)通过网络通信的形式连接形成的分布式***。
以分布式***为区块链***为例，参见图1b，图1b是本发明实施例提供的分布式***100应用于区块链***的一个可选的结构示意图，由多个节点(接入网络中的任意形式的计算设备，如服务器、终端等)和云服务器形成，节点之间形成组成的点对点(P2P，PeerTo Peer)网络，P2P协议是一个运行在传输控制协议(TCP，Transmission ControlProtocol)协议之上的应用层协议。在分布式***中，任何机器如服务器、终端都可以加入而成为节点，节点包括硬件层、中间层、操作***层和应用层。
参见图1b示出的区块链***中各节点的功能，涉及的功能可以包括：
1)路由，节点具有的基本功能，用于支持节点之间的通信。
节点除具有路由功能外，还可以具有以下功能：
2)应用，用于部署在区块链中，根据实际业务需求而实现特定业务，记录实现功能相关的数据形成记录数据，在记录数据中携带数字签名以表示任务数据的来源，将记录数据发送到区块链***中的其他节点，供其他节点在验证记录数据来源以及完整性成功时，将记录数据添加到临时区块中。
例如，应用实现的业务包括共享图像，用于提供图像数据的存储、查询和修改等操作的功能，将对图像数据的操作的记录数据发送到区块链***中的其他节点，其他节点验证有效后，作为承认图像数据有效的响应，将记录数据存入临时区块中，还可以向发起操作的节点发送确认。
3)区块链，包括一系列按照产生的先后时间顺序相互接续的区块(Block)，新区块一旦加入到区块链中就不会再被移除，区块中记录了区块链***中节点提交的记录数据。
参见图1c，图1c是本发明实施例提供的区块结构(Block Structure)一个可选的示意图，每个区块中包括本区块存储交易记录的哈希值(本区块的哈希值)、以及前一区块的哈希值，各区块通过哈希值连接形成区块链。另外，区块中还可以包括有区块生成时的时间戳等信息。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了相关的信息，用于验证其信息的有效性(防伪)和生成下一个区块。
以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。
云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。
数据库(Database)，简而言之可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作。数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。数据库可以通过数据库管理***(Database Management System，DBMS)来进行数据的存储、截取、安全保障、备份等基础功能。
在本实施例中，提供了一种基于云技术的数据处理方法，适用于服务器，如图1d所示，该数据处理方法的具体流程可以如下：
101、获取预设的映射关系集合，映射关系集合可以包括终端与参考投射图像之间的映射关系。
参考投射图像是一种在结构光深度算法中用于与结构光图像匹配来计算该结构光图像的深度数据的参考图像；其中，深度数据是指含有深度信息的数据，可以是深度图像，其中，深度图像为3D计算机图形和计算机视觉中的一种图像或图像通道，包含与场景中被待测物表面到镜头之间的垂直距离(即深度)的信息。
以下将介绍结构光与结构光深度算法：
结构光是指具有一定结构特征的光信号，包括点结构光、线结构光以及面结构光，以及被光学编码后具有复杂图案的结构光等等。
结构光深度算法是由激光器向待测物表面投射参考投射图像的结构光，再由专门的摄像头进行采集。这种具备一定结构的光线，会因待测物表面的不同深度区域，使得摄像头采集的图像出现畸变，该摄像头采集的图像和该参考投射图像之间视觉的变化差异(即视差)可以换算成该待测物表面的深度数据，进而复原出整个三维空间。
例如，以条纹投影技术为例，条纹投影技术是通过向待测物表面投影一面含有多个条纹的结构光来计算该待测物表面的深度数据。其主要原理是通过计算机编程产生正弦条纹，将该正弦条纹通过激光器投影至被测物表面，利用摄像头拍摄条纹在该被测物表面的弯曲程度，通过该弯曲程度即可确定被测物表面的高度。
参考投射图像即为被光学编码后投向待测物表面的光信号的图案。
在一些实施例中，该参考投射图像可以在终端出厂之前预先设置并保存在该终端的本地内存中，使得每个终端都可以内置一个固定的参考投射图像。
因此，服务器可获取该终端的参考投射图像，并在该终端与该参考投射图像之间建立映射关系，将该映射关系保存在服务器的映射关系集合中，以用于之后该终端的深度数据计算。
比如，在一些实施例中，在步骤101之前，还可以包括如下步骤：
获取终端的终端标识，以及终端的参考投射图像；
生成终端的终端标识与终端的参考投射图像之间的映射关系；
将终端的终端标识与终端的参考投射图像之间的映射关系保存在预设的映射关系集合中。
其中，终端标识是用于表征每个终端唯一身份的标识，该终端标识可以以文字、数字、符号、图像等方式表达；比如，终端标识可以是二维码、序列号等等；例如，终端标识可以是产品序列号(Serial Number，SN码)，产品序列号是为了验证产品的合法身份而引入的一个概念，一般来说，一套正版的产品只对应一组产品序列号。
其中，映射关系可以是一一映射关系，也可以是一对多映射关系、多对一映射关系、多对多映射关系，等等。
例如，在一些实施例中，终端标识与终端的参考投射图像之间的映射关系为一一映射关系，即终端标识A只与参考投射图像a映射，终端标识B只与参考投射图像b映射，终端标识C只与参考投射图像c映射，等等。
例如，在一些实施例中，终端标识与终端的参考投射图像之间的映射关系为多对一映射关系，即终端标识A、B、C同时与参考投射图像a映射，等等。
例如，在一些实施例中，终端标识与终端的参考投射图像之间的映射关系为一对多映射关系，即终端标识A同时与参考投射图像a、b、c映射，等等。
例如，在一些实施例中，终端标识与终端的参考投射图像之间的映射关系为多对多映射关系，即终端标识A同时与参考投射图像a、b映射，终端标识B也同时与参考投射图像a、b映射，等等。
每当生成一个新的映射关系，服务器就可将该新的映射关系加入映射关系集合中，使得旧有的映射关系集合更新。
102、当接收到目标终端的深度数据生成指令时，根据映射关系集合确定目标终端对应的目标参考投射图像，深度数据生成指令可以包括目标终端采集的待识别人脸图像。
服务器可接收目标终端生成的深度数据生成指令，该深度数据生成指令可用于指示服务器生成待识别人脸图像的深度数据。
该深度数据生成指令可以包括目标终端采集的待识别人脸图像，服务器即可检测待识别人脸图像中待测物体表面(例如，人的脸部)与摄像头镜头之间的距离(即深度数据)。
在一些实施例中，由于终端在出厂之前预先设置并保存了一个固定的参考投射图像，服务器也将该终端的参考投射图像以及该终端与该参考投射图像之间的映射关系保存在服务器本地内存中，因此，在步骤102中，每当接收到一个终端的深度数据生成指令，就可以在服务器本地内存中查询该终端对应的参考投射图像，以用于之后该终端的深度数据计算。
103、基于目标参考投射图像和待识别人脸图像进行视觉对比处理，得到目标参考图像和待识别人脸图像之间的视差信息。
当在步骤102获取得到了目标参考投射图像和待识别人脸图像后，需要对目标参考投射图像和待识别人脸图像进行一系列的处理，使得服务器可以对比目标参考投射图像和待识别人脸图像之间的视差，即视觉差异，从而通过该视差在步骤104计算深度信息。
更进一步地，视差(Parallax)准确地来说是从有一定距离的两个点上观察同一个目标对象所产生的方向差异。目标对象与该两点之间的夹角为视差角，两点之间连线的为基线，两点之间连线的长度为基线距离。根据光学三角测量原理，当视差角和基线距离已知时，则目标和基线之间的垂直距离则可根据视差角和基线距离计算得到。
例如，当人伸出一个手指放在眼前时，先闭上右眼，用左眼看它，再闭上左眼，用右眼看它，由于人的左右眼之间存在距离，则人会发现手指相对远方的物体的位置有了视觉变化，从而使得人感受到立体空间感，该视觉变化就是从不同角度去看同一点的视差。
在结构光深度算法中，由于光的投射，则激光器可以看作一个点，摄像头可看作另一个点，当激光器向待测物表面投射结构光时，待测物表面可作为目标对象，根据终端中激光器和摄像头之间的基线距离，以及激光器和摄像头与待测物表面之间的视差角，则计算得出待测物表面与终端之间的距离。
其中，对比目标参考投射图像和待识别人脸图像之间的视差的方法具有多种，例如，可以通过块匹配(Block Matching)算法计算视差，块匹配算法是通过添加滑动窗口来计算窗口内的相似度，来匹配目标参考投射图像和待识别人脸图像之间的图像内容，从而将目标参考投射图像中和待识别人脸图像之间最相似的部分进行视觉差异对比。
例如，在一幅目标参考投射图像中，以其中的一个像素为中心，以预设尺寸的窗口截取一个第一图像片段，再在待识别人脸图像中添加一个预设尺寸的窗口，通过滑动该窗口在待识别人脸图像中截取多个第二图像片段来寻找与第一图像片段最相似的第二图像片段，从而将该最相似第二图像片段中央的像素与第一图像片段中央的像素配对，将该两个像素视为同一图像内容。
因此，在一些实施例中，步骤103可以包括如下步骤：
(1)对目标参考投射图像和待识别人脸图像进行图像内容匹配处理，得到图像内容在目标参考投射图像中的位置信息，以及图像内容在待识别人脸图像中的位置信息；
(2)基于图像内容在目标参考投射图像中的位置信息，以及图像内容在待识别人脸图像中的位置信息，计算图像内容在目标参考图像和待识别人脸图像之间的视差信息。
该图像内容是指目标参考投射图像和待识别人脸图像中的同一对象的图像内容。
视差信息可以为图像内容在待识别人脸图像和目标参考投射图像中的位置差异。
在一些实施例中，图像内容可以包括多个像素，可以通过二值化来降低图像的数据量、凸显出图像内容的轮廓，因此，步骤“(1)对目标参考投射图像和待识别人脸图像进行图像内容匹配处理，得到图像内容在目标参考投射图像中的位置信息，以及图像内容在待识别人脸图像中的位置信息”可以包括如下步骤：
A.对目标参考投射图像和待识别人脸图像进行二值化处理，得到目标参考投影二值图像和待识别人脸二值图像；
B.确定目标参考投影二值图像中的目标像素，以及目标像素在目标参考投影二值图像中的位置信息；
C.基于预设窗口在目标参考投影二值图像中截取第一图像片段，预设窗口为以目标像素为中心的预设大小的窗口；
D.在待识别人脸二值图像中确定与第一图像片段最相似的第二图像片段；
E.将位于第二图像片段的中心点的像素确定为第二图像片段中的目标像素，以及确定目标像素在待识别人脸二值图像中的位置信息。
比如，在一些实施例中，视差信息可以包括目标像素在待识别人脸图像和目标参考投射图像中的位置差异。
例如，视差信息可以包括目标像素i在待识别人脸图像中位置(xi，yi)与目标参考投射图像中位置(Xi，Yi)之间的差异(Xi-xi，Yi-yi)。
在一些实施例中，通可以过计算第一图像片段的图像特征和第二图像片段的图像特征，来根据特征相似度确定与第一图像片段最相似的第二图像片段。
例如，参考图1e，可以根据窗口中心的像素i，与其他像素j之间的特征w(i，j)来确定该窗口对应的图像片段总的图像特征W。根据第一图像片段总的特征相似度W1可以查找出与W1最相近的第二图像片段总的特征相似度W2，该第二图像片段的中心点的像素即可确定为第二图像片段中的目标像素。
其中，图像二值化的方法具有多种，例如，可以通过全局阈值、局部阈值、动态阈值、迭代、熵方法、最大类间方差法等算法，来将图像中像素的灰度设置成0或1。
在一些实施例中，可以采用全局阈值进行图像二值化。
其中，全局阈值是通过取整个图像中所有像素的亮度平均值为阈值，将大于该阈值的像素的灰度值设为1，小于该阈值的灰度值设为0。
例如，步骤“A.对目标参考投射图像和待识别人脸图像进行二值化处理，得到目标参考投影二值图像和待识别人脸二值图像”可以包括如下步骤：
将目标参考投射图像中所有像素的亮度均值确定为第一阈值；
根据待识别人脸图像中所有像素的亮度均值确定为第二阈值；
将目标参考投射图像中亮度高于第一阈值的像素赋值为1，以及将目标参考投射图像中亮度不高于第一阈值的像素赋值为0，得到目标参考投影二值图像；
将待识别人脸图像中亮度高于第二阈值的像素赋值为1，以及将待识别人脸图像中亮度不高于第二阈值的像素赋值为0，得到待识别人脸二值图像。
在一些实施例中，可以采用局部阈值进行图像二值化。
其中，局部阈值是通过在图像添加滑动窗口，将该窗口中部分图像的亮度平均值为设为阈值，将该窗口中大于该阈值的像素的灰度值设为1，小于该阈值的灰度值设为0，然后移动该窗口，来对图中另一部分的图像进行局部二值化。
比如，对于分辨率为1920*800的图像，可对该图像设一大小为100*100、步长为100的滑动窗口，每次滑动之后，对该窗口内的部分图像进行亮度平均值统计，再该部分图像中将大于该亮度平均值的像素点的灰度值设为1，小于该亮度平均值的像素点的灰度值设为0。
例如，目标参考投影二值图像可以包括目标参考投影二值图像片段，待识别人脸二值图像可以包括待识别人脸二值图像片段，步骤“A.对目标参考投射图像和待识别人脸图像进行二值化处理，得到目标参考投影二值图像和待识别人脸二值图像”可以包括如下步骤：
对目标参考投射图像进行分片处理，得到目标参考投射图像的多个目标参考投射图像片段；
对待识别人脸图像进行分片处理，得到待识别人脸图像的多个待识别人脸图像片段；
将目标参考投射图像片段中所有像素的亮度均值确定为第一片段阈值；
根据待识别人脸图像片段中所有像素的亮度均值确定为第二片段阈值；
将目标参考投射图像片段中亮度高于第一片段阈值的像素赋值为1，以及将目标参考投射图像片段中亮度不高于第一片段阈值的像素赋值为0，得到目标参考投影二值图像片段；
将待识别人脸图像片段中亮度高于第二片段阈值的像素赋值为1，以及将待识别人脸图像片段中亮度不高于第二片段阈值的像素赋值为0，得到待识别人脸二值图像片段。
其中，分片处理即可看作通过在图像上添加滑动窗口，并将窗口内的部分图像截取出来。
104、基于视差信息确定待识别人脸图像的深度数据。
由于光学三角测量原理，当参考投射图像的深度数据、视差角、基线距离等信息已知时，才可计算出待识别人脸图像的深度数据。
例如，参考图1f，x1表征摄像头的视点，x2为表征激光器的发射点，f为摄像头视点与成像面之间的距离，灰色细虚线表征终端出厂前标定所产生的光线投射，R为此次投射中物体表面与摄像头视点之间的距离(即深度数据)；黑色粗实线表征实际使用时所产生的光线投射。x、y为终端的激光器将其参考投射图像的光信号投射在物体表面上的点，d1为视差，d3为激光器与摄像头之间的基线距离。
因此，根据相似三角形原理可知，在图1f中存在：
d2/d1＝R/f
d2/d3＝H-R/H
其中，H为待求的深度数据。
根据上述公式，可知H＝R/(1-Rd1/fd3)。
其中，f与该摄像头的焦距参数有关。
因此，在一些实施例中，映射关系集合还可以包括终端与的焦距参数、基线距离参数以及参考投射图像的深度数据之间的映射关系，步骤102，还可以包括如下步骤：
根据映射关系集合确定目标终端对应的目标焦距参数、目标基线距离参数以及目标参考投射图像的目标深度数据。
因此，在一些实施例中，步骤104可以包括如下步骤：
基于目标焦距参数、目标基线距离参数以及目标参考投射图像的目标深度数据，计算待识别人脸图像的深度数据。
105、将待识别人脸图像的深度数据发送给目标终端，以便目标终端根据深度数据进行人脸识别。
最后，可以通过网络，将待识别人脸图像的深度数据发送给目标终端。
目标终端在不需要进行深度计算的前提下，就可以根据待识别人脸图像的深度数据进行人脸识别。
需要注意的是，在一些实施例中，终端中可以不预先设有一固定的参考投射图像，而是可通过与服务器通信来获取参考投射图像，例如，本申请提出的数据处理方法，还可以包括如下步骤：
当接收到终端的参考投影指令时，生成终端对应的参考投射图像，参考投影指令可以包括终端的终端标识；
生成终端的终端标识与终端的参考投射图像之间的映射关系；
将终端与终端的参考投射图像之间的映射关系保存在预设的映射关系集合中；
将终端对应的参考投射图像发送给终端。
其中，参考投影指令是用于指示服务器生成参考投影图像并将该参考投影图像发送给终端的指令。
由上可知，本发明实施例可以获取预设的映射关系集合，映射关系集合可以包括终端与参考投射图像之间的映射关系；当接收到目标终端的深度数据生成指令时，根据映射关系集合确定目标终端对应的目标参考投射图像，深度数据生成指令可以包括目标终端采集的待识别人脸图像；基于目标参考投射图像和待识别人脸图像进行视觉对比处理，得到目标参考图像和待识别人脸图像之间的视差信息；基于视差信息确定待识别人脸图像的深度数据；将待识别人脸图像的深度数据发送给目标终端，以便目标终端根据待识别人脸图像的深度数据进行人脸识别。
由此，本方案可以通过将深度数据的计算迁移到云服务器，来减少终端的计算量，同时，搭载了高算力芯片的云服务器可以高效地计算出精度更高的深度数据，从而提升数据处理的效率。
在本实施例中，提供了一种基于云技术的数据处理方法，适用于终端，如图2所示，该数据处理方法的具体流程可以如下：
201、当获取到人脸深度图像采集指令时，获取参考投射图像。
其中，人脸深度图像采集指令是用于指示终端采集人脸面部的深度图像的指令。
其中，获取参考投射图像的方法具有多种，比如，可以通过网络从服务器获取；再比如，可以预先获取并保存在本地内存中。
例如，在一些实施例中，在步骤201中，“获取参考投射图像”可以包括如下步骤：
获取自身的终端标识；
根据终端标识，生成参考投影指令；
向服务器发送参考投影指令，以通知服务器为终端分配参考投射图像；
从服务器获取参考投射图像。
比如，在一些实施例中，可以在终端出厂前预先通过标定的方式获取并保存在本地内存中。
例如，在出厂前预先对终端的激光器、摄像头等传感器进行标定，测定出传感器的焦距参数、激光器与摄像头之间的基线距离等校准信息，以及，将提取生成的参考投射图像与这些校准信息存储在终端的内存中；然后，将该参考投射图像和校准信息等发送给服务器，以通知服务器建立终端与参考投射图像、校准信息之间的映射关系。
其中，在出厂前预先对终端的激光器、摄像头等传感器进行标定的具体步骤如下：
(1)在空间中放置灰度为60％的标定平面，该标定平面的水平面与终端平行，与终端的视角垂直，与终端相距60cm；
(2)终端的激光器向标定平面投射散斑红外光信号；
(3)终端的摄像头拍摄标定平面生成的参考投射图像，其中，摄像头的曝光时间与激光器的投射时间完全同步；
(5)终端将获取的参考投射图像进行二制化并存储；
(6)终端使用参考投射图像进行深度数据的计算，并检验深度数据的精度是否达标；
(7)若检验不达标，则重复步骤(1)～(6)，直至达标；
(8)将参考投射图像和该终端的SN号上传至云服务器，以通知服务器建立终端与参考投射图像之间的映射关系。
202、基于参考投射图像向拍照场景中人脸的表面投射光信号。
比如，终端的激光器可以向物体表面投射散斑红外光，在此不做赘述。
203、采集光信号投射在拍照场景中人脸表面所形成的图像，得到待识别人脸图像。
204、向服务器发送深度数据生成指令，以便服务器根据深度数据生成指令确定待识别人脸图像的深度数据，深度数据生成指令可以包括待识别人脸图像。
深度数据生成指令用于指示服务器根据深度数据生成指令确定待识别人脸图像的深度数据。
205、从服务器接收待识别人脸图像的深度数据，基于待识别人脸图像的深度数据进行人脸识别。
由上可知，本发明实施例可以当获取到人脸深度图像采集指令时，获取参考投射图像；基于参考投射图像向拍照场景中物体的表面投射光信号；采集光信号投射在拍照场景中物体表面所形成的图像，得到待识别人脸图像；向服务器发送深度数据生成指令，以便服务器根据深度数据生成指令确定待识别人脸图像的深度数据，深度数据生成指令可以包括待识别人脸图像；从服务器接收待识别人脸图像的深度数据，并基于待识别人脸图像的深度数据进行人脸识别。
由此，本方案可以提升数据处理的效率。
本发明实施例提供的数据处理方案可以应用在各种光学测量、制造领域以及日常生活等应用场景中。比如，以搭载了广场相机和投影仪的智能手机的深度图像云计算场景为例，智能手机可以控制投影仪向空间中的目标物发射结构光光束，然后获取光场相机采集结构光光束照射目标物所形成的结构光图像，再将该结构光图像发送给云服务器，由云服务器根据该结构光图像与该智能手机的参考结构光图像生成深度图像。
本方案可以解放终端的本地算力，终端只需完成结构光红外图的采集和上传，极大降低了终端的功耗，终端甚至不需要配置高性能深度计算芯片，减少了芯片所占用终端的内部空间；此外，在云服务器可搭载高性能服务器芯片进行高阶深度图算法计算，使得深度图像的计算精度更高，由于终端并非一直在被使用，故采用本方案可以极大低降低了成本。
例如，10万台终端并非会同时进行深度图像的生成，假设10万台终端中最多3000台同时进行深度图像生成，则采用本方案可以节省10万台终端所搭载高算力深度计算芯片的成本，只需付出支持3000台终端同时云计算的云服务器成本。
由此，本方案可以提升数据处理的效率。
为了更好地实施以上方法，本发明实施例还提供一种数据处理装置，该数据处理装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。
比如，在本实施例中，将以数据处理装置具体集成在服务器中为例，对本发明实施例的方法进行详细说明。
例如，如图3所示，该数据处理装置可以包括集合单元301、接收指令单元302、视差单元303、深度单元304以及发送数据单元305，如下：
(一)集合单元301。
集合单元301可以用于获取预设的映射关系集合，映射关系集合可以包括终端与参考投射图像之间的映射关系。
在一些实施例中，集合单元301在可以用于获取预设的映射关系集合之前还可以用于：
获取终端的终端标识，以及终端的参考投射图像；
生成终端的终端标识与终端的参考投射图像之间的映射关系；
将终端的终端标识与终端的参考投射图像之间的映射关系保存在预设的映射关系集合中。
(二)接收指令单元302。
接收指令单元302可以用于当接收到目标终端的深度数据生成指令时，根据映射关系集合确定目标终端对应的目标参考投射图像，深度数据生成指令可以包括目标终端采集的待识别人脸图像。
在一些实施例中，映射关系集合还可以包括终端与的焦距参数、基线距离参数以及参考投射图像的深度数据之间的映射关系，接收指令单元302，还可以用于：
根据映射关系集合确定目标终端对应的目标焦距参数、目标基线距离参数以及目标参考投射图像的目标深度数据。
(三)视差单元303。
视差单元303可以用于基于目标参考投射图像和待识别人脸图像进行视觉对比处理，得到目标参考图像和待识别人脸图像之间的视差信息。
在一些实施例中，视差单元303可以包括匹配子单元以及视差子单元，如下：
(1)匹配子单元。
匹配子单元可以用于对目标参考投射图像和待识别人脸图像进行图像内容匹配处理，得到图像内容在目标参考投射图像中的位置信息，以及图像内容在待识别人脸图像中的位置信息。
(2)视差子单元。
视差子单元可以用于基于图像内容在目标参考投射图像中的位置信息，以及图像内容在待识别人脸图像中的位置信息，计算图像内容在目标参考图像和待识别人脸图像之间的视差信息。
在一些实施例中，图像内容可以包括多个像素，匹配子单元可以包括二值化子模块、像素子模块、第一片段子模块、第二片段子模块以及位置子模块，如下：
A.二值化子模块。
二值化子模块可以用于对目标参考投射图像和待识别人脸图像进行二值化处理，得到目标参考投影二值图像和待识别人脸二值图像。
在一些实施例中，二值化子模块可以用于：
将目标参考投射图像中所有像素的亮度均值确定为第一阈值；
根据待识别人脸图像中所有像素的亮度均值确定为第二阈值；
将目标参考投射图像中亮度高于第一阈值的像素赋值为1，以及将目标参考投射图像中亮度不高于第一阈值的像素赋值为0，得到目标参考投影二值图像；
将待识别人脸图像中亮度高于第二阈值的像素赋值为1，以及将待识别人脸图像中亮度不高于第二阈值的像素赋值为0，得到待识别人脸二值图像。
在一些实施例中，目标参考投影二值图像可以包括目标参考投影二值图像片段，待识别人脸二值图像可以包括待识别人脸二值图像片段，二值化子模块可以用于：
对目标参考投射图像进行分片处理，得到目标参考投射图像的多个目标参考投射图像片段；
对待识别人脸图像进行分片处理，得到待识别人脸图像的多个待识别人脸图像片段；
将目标参考投射图像片段中所有像素的亮度均值确定为第一片段阈值；
根据待识别人脸图像片段中所有像素的亮度均值确定为第二片段阈值；
将目标参考投射图像片段中亮度高于第一片段阈值的像素赋值为1，以及将目标参考投射图像片段中亮度不高于第一片段阈值的像素赋值为0，得到目标参考投影二值图像片段；
将待识别人脸图像片段中亮度高于第二片段阈值的像素赋值为1，以及将待识别人脸图像片段中亮度不高于第二片段阈值的像素赋值为0，得到待识别人脸二值图像片段。
B.像素子模块。
像素子模块可以用于确定目标参考投影二值图像中的目标像素，以及目标像素在目标参考投影二值图像中的位置信息。
C.第一片段子模块。
第一片段子模块可以用于基于预设窗口在目标参考投影二值图像中截取第一图像片段，预设窗口为以目标像素为中心的预设大小的窗口。
D.第二片段子模块。
第二片段子模块可以用于在待识别人脸二值图像中确定与第一图像片段最相似的第二图像片段。
E.位置子模块。
位置子模块可以用于将位于第二图像片段的中心点的像素确定为第二图像片段中的目标像素，以及确定目标像素在待识别人脸二值图像中的位置信息。
(四)深度单元304。
深度单元304可以用于基于视差信息确定待识别人脸图像的深度数据。
在一些实施例中，深度单元304可以用于基于目标焦距参数、目标基线距离参数以及目标参考投射图像的目标深度数据，计算待识别人脸图像的深度数据。
(五)发送数据单元305。
发送数据单元305可以用于将待识别人脸图像的深度数据发送给目标终端，以便目标终端根据待识别人脸图像的深度数据进行人脸识别。
在一些实施例中，所述数据处理方法，还可以用于：
当接收到终端的参考投影指令时，生成终端对应的参考投射图像，参考投影指令可以包括终端的终端标识；
生成终端的终端标识与终端的参考投射图像之间的映射关系；
将终端与终端的参考投射图像之间的映射关系保存在预设的映射关系集合中；
将终端对应的参考投射图像发送给终端。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本实施例的数据处理装置由集合单元获取预设的映射关系集合，映射关系集合可以包括终端与参考投射图像之间的映射关系；由接收指令单元当接收到目标终端的深度数据生成指令时，根据映射关系集合确定目标终端对应的目标参考投射图像，深度数据生成指令可以包括目标终端采集的待识别人脸图像；由视差单元基于目标参考投射图像和待识别人脸图像进行视觉对比处理，得到目标参考图像和待识别人脸图像之间的视差信息；由深度单元基于视差信息确定待识别人脸图像的深度数据；由发送数据单元将待识别人脸图像的深度数据发送给目标终端，以便目标终端根据待识别人脸图像的深度数据进行人脸识别。
由此，本发明实施例可以提升数据处理方法的效率。
为了更好地实施以上方法，本发明实施例还提供一种数据处理装置，该数据处理装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。
比如，在本实施例中，将以数据处理装置具体集成在终端中为例，对本发明实施例的方法进行详细说明。
例如，如图4所示，该数据处理装置可以包括参考单元401、投射单元402、采集单元403、发送指令单元404以及接收数据单元405，如下：
(一)参考单元401。
参考单元401可以用于当获取到人脸深度图像采集指令时，获取参考投射图像。
在一些实施例中，参考单元401可以用于：
获取自身的终端标识；
根据终端标识，生成参考投影指令；
向服务器发送参考投影指令，以通知服务器为终端分配参考投射图像；
从服务器获取参考投射图像。
(二)投射单元402。
投射单元402可以用于基于参考投射图像向拍照场景中物体的表面投射光信号。
(三)采集单元403。
采集单元403可以用于采集光信号投射在拍照场景中物体表面所形成的图像，得到待识别人脸图像；
(四)发送指令单元404。
发送指令单元404可以用于向服务器发送深度数据生成指令，以便服务器根据深度数据生成指令确定待识别人脸图像的深度数据，深度数据生成指令可以包括待识别人脸图像。
(五)接收数据单元405。
接收数据单元405可以用于从服务器接收待识别人脸图像的深度数据，并基于待识别人脸图像的深度数据进行人脸识别。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本实施例的数据处理装置由集合单元获取预设的映射关系集合，映射关系集合可以包括终端与参考投射图像之间的映射关系；由接收指令单元当接收到目标终端的深度数据生成指令时，根据映射关系集合确定目标终端对应的目标参考投射图像，深度数据生成指令可以包括目标终端采集的待识别人脸图像；由视差单元基于目标参考投射图像和待识别人脸图像进行视觉对比处理，得到目标参考图像和待识别人脸图像之间的视差信息；由深度单元基于视差信息确定待识别人脸图像的深度数据；由发送数据单元将待识别人脸图像的深度数据发送给目标终端，以便目标终端根据待识别人脸图像的深度数据进行人脸识别。
由此，本发明实施例可以提升数据处理方法的效率。
本发明实施例还提供一种电子设备，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑，等等；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，等等。
在一些实施例中，该数据处理装置还可以集成在多个电子设备中，比如，数据处理装置可以集成在多个服务器中，由多个服务器来实现本发明的数据处理方法。
在本实施例中，将以本实施例的电子设备是电子设备为例进行详细描述，比如，如图5所示，其示出了本发明实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、电源503、输入模块504以及通信模块505等部件。
例如，在一些实施例中，该电子设备可以是服务器，该服务器可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、电源503、输入模块504以及通信模块505等部件。
例如，在一些实施例中，该电子设备可以是终端，该终端可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、电源503、输入模块504、通信模块505以及传感模块等部件。
本领域技术人员可以理解，图5中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器501是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。在一些实施例中，处理器501可包括一个或多个处理核心；在一些实施例中，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。
存储器502可用于存储软件程序以及模块，处理器501通过运行存储在存储器502的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器502还可以包括存储器控制器，以提供处理器501对存储器502的访问。
电子设备还包括给各个部件供电的电源503，在一些实施例中，电源503可以通过电源管理***与处理器501逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源503还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入模块504，该输入模块504可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
该电子设备还可包括通信模块505，在一些实施例中，通信模块505可以包括无线模块，电子设备可以通过该通信模块505的无线模块进行短距离无线传输，从而为用户提供了无线的宽带互联网访问。比如，该通信模块505可以用于帮助用户收发电子邮件、浏览网页和访问流式媒体等。
该电子设备还可包括传感模块，在一些实施例中，传感模块可以包括光信号发射模块和图像采集子模块，其中，光信号发射子模块可以用于向拍照场景中物体的表面投射光信号，比如，光信号发射模块可以用于发射红外光、激光，等等；图像采集子模块可以用于采集静态或动态的图像，等等。
例如，在一些实施例中，光信号发射模块可以是激光器，该激光器可以发射红外激光。
例如，在一些实施例中，图像采集子模块可以是摄像头，该摄像头可以具有视频摄像、传播和静态图像捕捉等基本功能，它是借由镜头采集图像后，由摄像头内的感光组件电路及控制组件对图像进行处理并转换成电脑所能识别的数字信号。
尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。
具体在本实施例中，电子设备中的处理器501会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中，并由处理器501来运行存储在存储器502中的应用程序，从而实现各种功能。
例如，在一些实施例中，电子设备可以为服务器，服务器中的处理器501会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中，并由处理器501来运行存储在存储器502中的应用程序，从而实现各种功能，如下：
获取预设的映射关系集合，映射关系集合包括终端与参考投射图像之间的映射关系；
当接收到目标终端的深度数据生成指令时，根据映射关系集合确定目标终端对应的目标参考投射图像，深度数据生成指令包括目标终端采集的待识别人脸图像；
基于目标参考投射图像和待识别人脸图像进行视觉对比处理，得到目标参考图像和待识别人脸图像之间的视差信息；
基于视差信息确定待识别人脸图像的深度数据；
将待识别人脸图像的深度数据发送给目标终端，以便目标终端根据待识别人脸图像的深度数据进行人脸识别。
例如，在一些实施例中，电子设备可以为终端，服务器中的处理器501会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中，并由处理器501来运行存储在存储器502中的应用程序，从而实现各种功能，如下：
存储器存储有多条指令；处理器从存储器中加载指令，以执行以下步骤：
当获取到人脸深度图像采集指令时，获取参考投射图像；
激光器基于参考投射图像向拍照场景中物体的表面投射光信号；
摄像头采集光信号投射在拍照场景中物体表面所形成的图像，得到待识别人脸图像；
向服务器发送深度数据生成指令，以便服务器根据深度数据生成指令确定待识别人脸图像的深度数据，深度数据生成指令包括待识别人脸图像。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本发明可提升数据处理的效率。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种数据处理方法中的步骤。
例如，在一些实施例中，该指令可以执行如下步骤：
获取预设的映射关系集合，映射关系集合包括终端与参考投射图像之间的映射关系；
当接收到目标终端的深度数据生成指令时，根据映射关系集合确定目标终端对应的目标参考投射图像，深度数据生成指令包括目标终端采集的待识别人脸图像；
基于目标参考投射图像和待识别人脸图像进行视觉对比处理，得到目标参考图像和待识别人脸图像之间的视差信息；
基于视差信息确定待识别人脸图像的深度数据；
将待识别人脸图像的深度数据发送给目标终端，以便目标终端根据待识别人脸图像的深度数据进行人脸识别。
例如，在一些实施例中，该指令可以执行如下步骤：
当获取到人脸深度图像采集指令时，获取参考投射图像；
基于参考投射图像向拍照场景中物体的表面投射光信号；
采集光信号投射在拍照场景中物体表面所形成的图像，得到待识别人脸图像；
向服务器发送深度数据生成指令，以便服务器根据深度数据生成指令确定待识别人脸图像的深度数据，深度数据生成指令包括待识别人脸图像；
从服务器接收待识别人脸图像的深度数据，并基于待识别人脸图像的深度数据进行人脸识别。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中提供的深度图像生成方面或者深度信息生成方面的各种可选实现方式中提供的方法。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种数据处理方法中的步骤，因此，可以实现本发明实施例所提供的任一种数据处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种数据处理方法、装置、电子设备和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种数据处理方法，其特征在于，适用于服务器，包括：
获取预设的映射关系集合，所述映射关系集合包括终端与参考投射图像之间的映射关系；
当接收到目标终端的深度数据生成指令时，根据所述映射关系集合确定所述目标终端对应的目标参考投射图像，所述深度数据生成指令包括所述目标终端采集的待识别人脸图像；
基于所述目标参考投射图像和所述待识别人脸图像进行视觉对比处理，得到所述目标参考图像和所述待识别人脸图像之间的视差信息；
基于所述视差信息确定所述待识别人脸图像的深度数据；
将所述待识别人脸图像的深度数据发送给所述目标终端，以便所述目标终端根据所述深度数据进行人脸识别。
2.如权利要求1所述的数据处理方法，其特征在于，基于所述目标参考投射图像和所述待识别人脸图像进行视觉对比处理，得到所述目标参考图像和所述待识别人脸图像之间的视差信息，包括：
对所述目标参考投射图像和待识别人脸图像进行图像内容匹配处理，得到所述图像内容在所述目标参考投射图像中的位置信息，以及所述图像内容在所述待识别人脸图像中的位置信息；
基于所述图像内容在所述目标参考投射图像中的位置信息，以及所述图像内容在所述待识别人脸图像中的位置信息，计算所述图像内容在所述目标参考图像和所述待识别人脸图像之间的视差信息。
3.如权利要求2所述的数据处理方法，其特征在于，所述图像内容包括多个像素，所述对所述目标参考投射图像和待识别人脸图像进行图像内容匹配处理，得到所述图像内容在所述目标参考投射图像中的位置信息，以及所述图像内容在所述待识别人脸图像中的位置信息，包括：
对所述目标参考投射图像和待识别人脸图像进行二值化处理，得到目标参考投影二值图像和待识别人脸二值图像；
确定所述目标参考投影二值图像中的目标像素，以及所述目标像素在所述目标参考投影二值图像中的位置信息；
基于预设窗口在所述目标参考投影二值图像中截取第一图像片段，所述预设窗口为以所述目标像素为中心的预设大小的窗口；
在所述待识别人脸二值图像中确定与所述第一图像片段最相似的第二图像片段；
将位于所述第二图像片段的中心点的像素确定为所述第二图像片段中的目标像素，以及确定所述目标像素在所述待识别人脸二值图像中的位置信息。
4.如权利要求3所述的数据处理方法，其特征在于，所述对所述目标参考投射图像和待识别人脸图像进行二值化处理，得到目标参考投影二值图像和待识别人脸二值图像，包括：
将所述目标参考投射图像中所有像素的亮度均值确定为第一阈值；
根据所述待识别人脸图像中所有像素的亮度均值确定为第二阈值；
将所述目标参考投射图像中亮度高于所述第一阈值的像素赋值为1，以及将所述目标参考投射图像中亮度不高于所述第一阈值的像素赋值为0，得到目标参考投影二值图像；
将所述待识别人脸图像中亮度高于所述第二阈值的像素赋值为1，以及将所述待识别人脸图像中亮度不高于所述第二阈值的像素赋值为0，得到待识别人脸二值图像。
5.如权利要求3所述的数据处理方法，其特征在于，所述目标参考投影二值图像包括目标参考投影二值图像片段，所述待识别人脸二值图像包括待识别人脸二值图像片段；
所述对所述目标参考投射图像和待识别人脸图像进行二值化处理，得到目标参考投影二值图像和待识别人脸二值图像，包括：
对所述目标参考投射图像进行分片处理，得到所述目标参考投射图像的多个目标参考投射图像片段；
对所述待识别人脸图像进行分片处理，得到所述待识别人脸图像的多个待识别人脸图像片段；
将所述目标参考投射图像片段中所有像素的亮度均值确定为第一片段阈值；
根据所述待识别人脸图像片段中所有像素的亮度均值确定为第二片段阈值；
将所述目标参考投射图像片段中亮度高于所述第一片段阈值的像素赋值为1，以及将所述目标参考投射图像片段中亮度不高于所述第一片段阈值的像素赋值为0，得到目标参考投影二值图像片段；
将所述待识别人脸图像片段中亮度高于所述第二片段阈值的像素赋值为1，以及将所述待识别人脸图像片段中亮度不高于所述第二片段阈值的像素赋值为0，得到待识别人脸二值图像片段。
6.如权利要求1所述的数据处理方法，其特征在于，所述映射关系集合还包括终端的焦距参数、基线距离参数以及所述参考投射图像的深度数据之间的映射关系，所述根据所述映射关系集合确定所述目标终端对应的目标参考投射图像，还包括：
根据所述映射关系集合确定所述目标终端对应的目标焦距参数、目标基线距离参数以及所述目标参考投射图像的目标深度数据；
所述基于所述视差信息确定所述待识别人脸图像的深度数据，包括：
基于所述目标焦距参数、目标基线距离参数以及所述目标参考投射图像的目标深度数据，计算所述待识别人脸图像的深度数据。
7.如权利要求1所述的数据处理方法，其特征在于，所述获取预设的映射关系集合之前，还包括：
获取终端的终端标识，以及所述终端的参考投射图像；
生成所述终端的终端标识与所述终端的参考投射图像之间的映射关系；
将所述终端的终端标识与所述终端的参考投射图像之间的映射关系保存在预设的映射关系集合中。
8.如权利要求1所述的数据处理方法，其特征在于，所述方法，还包括：
当接收到终端的参考投影指令时，生成所述终端对应的参考投射图像，所述参考投影指令包括所述终端的终端标识；
生成所述终端的终端标识与所述终端的参考投射图像之间的映射关系；
将所述终端与所述终端的参考投射图像之间的映射关系保存在预设的映射关系集合中；
将所述终端对应的参考投射图像发送给所述终端。
9.一种数据处理方法，其特征在于，适用于终端，包括：
当获取到人脸深度图像采集指令时，获取参考投射图像；
基于所述参考投射图像向拍照场景中人脸的表面投射光信号；
采集所述光信号投射在所述拍照场景中人脸表面所形成的图像，得到待识别人脸图像；
向服务器发送所述深度数据生成指令，以便所述服务器根据所述深度数据生成指令确定所述待识别人脸图像的深度数据，所述深度数据生成指令包括所述待识别人脸图像；
从服务器接收所述待识别人脸图像的深度数据；
基于所述待识别人脸图像的深度数据进行人脸识别。
10.如权利要求9所述的数据处理方法，其特征在于，所述获取参考投射图像，包括：
获取自身的终端标识；
根据所述终端标识，生成参考投影指令；
向服务器发送参考投影指令，以通知服务器为终端分配参考投射图像；
从服务器获取参考投射图像。
11.一种数据处理装置，其特征在于，适用于服务器，包括：
集合单元，用于获取预设的映射关系集合，所述映射关系集合包括终端与参考投射图像之间的映射关系；
接收指令单元，用于当接收到目标终端的深度数据生成指令时，根据所述映射关系集合确定所述目标终端对应的目标参考投射图像，所述深度数据生成指令包括所述目标终端采集的待识别人脸图像；
视差单元，用于基于所述目标参考投射图像和所述待识别人脸图像进行视觉对比处理，得到所述目标参考图像和所述待识别人脸图像之间的视差信息；
深度单元，用于基于所述视差信息确定所述待识别人脸图像的深度数据；
发送数据单元，用于将所述待识别人脸图像的深度数据发送给所述目标终端，以便所述目标终端根据所述深度数据进行人脸识别。
12.一种数据处理装置，其特征在于，适用于终端，包括：
参考单元，用于当获取到人脸深度图像采集指令时，获取参考投射图像；
投射单元，用于基于所述参考投射图像向拍照场景中人脸的表面投射光信号；
采集单元，用于采集所述光信号投射在所述拍照场景中人脸表面所形成的图像，得到待识别人脸图像；
发送指令单元，用于向服务器发送所述深度数据生成指令，以便所述服务器根据所述深度数据生成指令确定所述待识别人脸图像的深度数据，所述深度数据生成指令包括所述待识别人脸图像；
接收数据单元，用于从服务器接收所述待识别人脸图像的深度数据并基于所述深度数据进行人脸识别。
13.一种服务器，其特征在于，包括处理器和存储器，所述存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行如权利要求1～8任一项所述的数据处理方法中的步骤。
14.一种终端，其特征在于，包括处理器、存储器和激光器和摄像头，其中：
所述激光器用于向拍照场景中人脸的表面投射光信号；
所述摄像头用于采集图像；
所述存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行以下步骤：
当获取到人脸深度图像采集指令时，获取参考投射图像；
基于所述参考投射图像向拍照场景中人脸的表面投射光信号；
采集所述光信号投射在所述拍照场景中人脸表面所形成的图像，得到待识别人脸图像；
向服务器发送所述深度数据生成指令，以便所述服务器根据所述深度数据生成指令确定所述待识别人脸图像的深度数据，所述深度数据生成指令包括所述待识别人脸图像。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1～10任一项所述的数据处理方法中的步骤。
CN202011329524.7A 2020-11-24 2020-11-24 数据处理方法、装置、服务器、终端和存储介质 Pending CN113011238A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011329524.7A CN113011238A (zh) 2020-11-24 2020-11-24 数据处理方法、装置、服务器、终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011329524.7A CN113011238A (zh) 2020-11-24 2020-11-24 数据处理方法、装置、服务器、终端和存储介质

Publications (1)

Publication Number Publication Date
CN113011238A true CN113011238A (zh) 2021-06-22

Family

ID=76383218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011329524.7A Pending CN113011238A (zh) 2020-11-24 2020-11-24 数据处理方法、装置、服务器、终端和存储介质

Country Status (1)

Country Link
CN (1) CN113011238A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549867A (zh) * 2018-04-12 2018-09-18 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN108830141A (zh) * 2018-04-28 2018-11-16 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN109413152A (zh) * 2018-09-25 2019-03-01 上海瑾盛通信科技有限公司 图像处理方法、装置、存储介质及电子设备
CN109993781A (zh) * 2019-03-28 2019-07-09 北京清微智能科技有限公司 基于双目立体视觉匹配的视差图像生成方法及***
CN110941490A (zh) * 2019-10-31 2020-03-31 湖北畅云时讯软件技术有限公司 一种基于云计算的医学图像处理的方法
CN111131412A (zh) * 2019-12-10 2020-05-08 天翼电子商务有限公司 5g移动端计算节点方法、***、移动端及云端服务器
WO2020206666A1 (zh) * 2019-04-12 2020-10-15 深圳市汇顶科技股份有限公司 基于散斑图像的深度估计方法及装置、人脸识别***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549867A (zh) * 2018-04-12 2018-09-18 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN108830141A (zh) * 2018-04-28 2018-11-16 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN109413152A (zh) * 2018-09-25 2019-03-01 上海瑾盛通信科技有限公司 图像处理方法、装置、存储介质及电子设备
CN109993781A (zh) * 2019-03-28 2019-07-09 北京清微智能科技有限公司 基于双目立体视觉匹配的视差图像生成方法及***
WO2020206666A1 (zh) * 2019-04-12 2020-10-15 深圳市汇顶科技股份有限公司 基于散斑图像的深度估计方法及装置、人脸识别***
CN110941490A (zh) * 2019-10-31 2020-03-31 湖北畅云时讯软件技术有限公司 一种基于云计算的医学图像处理的方法
CN111131412A (zh) * 2019-12-10 2020-05-08 天翼电子商务有限公司 5g移动端计算节点方法、***、移动端及云端服务器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宋丽梅 等: "机器视觉与机器学习：算法原理、框架应用与代码实现", 31 May 2020, 北京：机械工业出版社, pages: 16 *

Similar Documents

Publication Publication Date Title
Chen et al. Crowd map: Accurate reconstruction of indoor floor plans from crowdsourced sensor-rich videos
CN110349213B (zh) 基于深度信息的位姿确定方法、装置、介质与电子设备
Chen et al. Rise of the indoor crowd: Reconstruction of building interior view via mobile crowdsourcing
CN107392958B (zh) 一种基于双目立体摄像机确定物体体积的方法及装置
TWI528196B (zh) Similar image recognition method and apparatus
US11328479B2 (en) Reconstruction method, reconstruction device, and generation device
CN112150528A (zh) 一种深度图像获取方法及终端、计算机可读存储介质
CN113450579B (zh) 速度信息的获取方法、装置、设备及介质
WO2021136386A1 (zh) 数据处理方法、终端和服务器
CN113160420A (zh) 一种三维点云重建的方法、装置、电子设备及存储介质
KR102362470B1 (ko) 족부 정보 처리 방법 및 장치
Gadasin et al. Reconstruction of a Three-Dimensional Scene from its Projections in Computer Vision Systems
CN113052880B (zh) 一种sfm稀疏重建方法、***及应用
CN104798128A (zh) 注解方法和装置
WO2023142352A1 (zh) 一种深度图像的获取方法、装置、终端、成像***和介质
WO2023284358A1 (zh) 相机标定方法、装置、电子设备及存储介质
Ahmadabadian et al. Image selection in photogrammetric multi-view stereo methods for metric and complete 3D reconstruction
CN112396831A (zh) 一种交通标识的三维信息生成方法和装置
CN112749610A (zh) 深度图像、参考结构光图像生成方法、装置及电子设备
Fehrman et al. Depth mapping using a low-cost camera array
CN113011238A (zh) 数据处理方法、装置、服务器、终端和存储介质
CN111833441A (zh) 一种基于多相机***的人脸三维重建方法和装置
US11501406B2 (en) Disparity cache
CN115442519B (zh) 视频处理方法、装置及计算机可读存储介质
Cao et al. Stable image matching for 3D reconstruction in outdoor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40046408

Country of ref document: HK