CN111652110A - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents

一种图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111652110A
CN111652110A CN202010470551.XA CN202010470551A CN111652110A CN 111652110 A CN111652110 A CN 111652110A CN 202010470551 A CN202010470551 A CN 202010470551A CN 111652110 A CN111652110 A CN 111652110A
Authority
CN
China
Prior art keywords
depth
hand
depth image
image
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010470551.XA
Other languages
English (en)
Inventor
谢符宝
刘文韬
钱晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202010470551.XA priority Critical patent/CN111652110A/zh
Publication of CN111652110A publication Critical patent/CN111652110A/zh
Priority to PCT/CN2020/135937 priority patent/WO2021238163A1/zh
Priority to TW110111667A priority patent/TW202145065A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例公开了一种图像处理方法、装置、电子设备及存储介质。所述方法包括：获得多帧深度图像中的第一深度图像的手部的检测框；所述第一深度图像为所述多帧深度图像中的任一帧深度图像；对所述检测框内的深度图像进行特征提取，基于提取出的特征得到所述手部的关键点的三维坐标数据。

Description

一种图像处理方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机视觉技术领域，具体涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
目前，对于图像中的手部的检测及追踪方案大多采用单目摄像头或双目摄像头的红外图像或彩色图像，但红外图像或彩色图像都无法确定图像中的手部的准确的三维信息，从而无法做到更快速、准确的手部检测及追踪。
发明内容
本公开实施例提供一种图像处理方法、装置、电子设备及存储介质。
本公开实施例提供了一种图像处理方法，所述方法包括：获得多帧深度图像中的第一深度图像的手部的检测框；所述第一深度图像为所述多帧深度图像中的任一帧深度图像；对所述检测框内的深度图像进行特征提取，基于提取出的特征得到所述手部的关键点的三维坐标数据。
在本公开的一些可选实施例中，所述获得多帧深度图像中的第一深度图像的手部的检测框，包括：响应于所述第一深度图像为所述多帧深度图像中的首帧深度图像的情况，对所述第一深度图像进行手部检测处理，获得所述第一深度图像的手部的检测框；响应于所述第一深度图像为所述多帧深度图像中的非首帧深度图像的情况，基于第二深度图像中的手部的检测框，获得所述第一深度图像中的手部的检测框；所述第二深度图像为所述第一深度图像之前的一帧图像。
在本公开的一些可选实施例中，所述基于第二深度图像中的手部的检测框，获得所述第一深度图像中的手部的检测框，包括：基于所述第二深度图像中的手部的检测框所在区域确定第一区域；所述第一区域大于所述检测框所在区域；根据所述第一区域确定所述第一深度图像中与所述第一区域的位置范围对应的手部的检测框。
在本公开的一些可选实施例中，所述对所述检测框内的深度图像进行特征提取之前，所述方法还包括：确定所述检测框内的手部的中心深度，基于所述中心深度对所述检测框内的深度图像进行居中化处理，得到居中化处理后的深度图像；所述对所述检测框内的深度图像进行特征提取，包括：对所述居中化处理后的深度图像进行特征提取。
在本公开的一些可选实施例中，所述确定所述检测框内的手部的中心深度，包括：基于所述第一深度图像中的手部的检测框内至少部分深度图像的深度值，确定所述手部的中心深度；所述基于所述中心深度对所述检测框内的深度图像进行居中化处理，得到居中化处理后的深度图像，包括：利用所述手部的中心深度，调整所述手部的检测框内的深度图像的深度值，得到居中化处理后的深度图像。
在本公开的一些可选实施例中，所述基于提取出的特征得到手部的关键点的三维坐标数据，包括：基于提取出的特征得到手部的关键点的二维图像坐标数据和深度数据；所述二维图像坐标数据为图像坐标系下的数据；获得采集所述多帧深度图像的图像采集设备的内部参数；基于所述二维图像坐标数据、深度数据和所述内部参数得到手部的关键点的三维坐标数据；所述三维坐标数据为相机坐标系下的数据。
在本公开的一些可选实施例中，所述方法还包括：基于手部的所述三维坐标数据确定所述手部的姿态；基于所述手部的姿态确定交互指令。
本公开实施例还提供了一种图像处理装置，所述装置包括：第一处理单元和第二处理单元；其中，
所述第一处理单元，用于获得多帧深度图像中的第一深度图像的手部的检测框；所述第一深度图像为所述多帧深度图像中的任一帧深度图像；
所述第二处理单元，用于对所述检测框内的深度图像进行特征提取，基于提取出的特征得到所述手部的关键点的三维坐标数据。
在本公开的一些可选实施例中，所述第一处理单元，用于响应于所述第一深度图像为所述多帧深度图像中的首帧深度图像的情况，对所述第一深度图像进行手部检测处理，获得所述第一深度图像的手部的检测框；响应于所述第一深度图像为所述多帧深度图像中的非首帧深度图像的情况，基于第二深度图像中的手部的检测框，获得所述第一深度图像中的手部的检测框；所述第二深度图像为所述第一深度图像之前的一帧图像。
在本公开的一些可选实施例中，所述第一处理单元，用于基于所述第二深度图像中的手部的检测框所在区域确定第一区域；所述第一区域大于所述检测框所在区域；根据所述第一区域确定所述第一深度图像中与所述第一区域的位置范围对应的手部的检测框。
在本公开的一些可选实施例中，所述装置还包括第三处理单元，用于确定所述检测框内的手部的中心深度，基于所述中心深度对所述检测框内的深度图像进行居中化处理，得到居中化处理后的深度图像；
所述第二处理单元，用于对所述居中化处理后的深度图像进行特征提取。
在本公开的一些可选实施例中，所述第三处理单元，用于基于所述第一深度图像中的手部的检测框内至少部分深度图像的深度值，确定所述手部的中心深度；利用所述手部的中心深度，调整所述手部的检测框内的深度图像的深度值，得到居中化处理后的深度图像。
在本公开的一些可选实施例中，所述第二处理单元，用于基于提取出的特征得到手部的关键点的二维图像坐标数据和深度数据；所述二维图像坐标数据为图像坐标系下的数据；获得采集所述多帧深度图像的图像采集设备的内部参数；基于所述二维图像坐标数据、深度数据和所述内部参数得到手部的关键点的三维坐标数据；所述三维坐标数据为相机坐标系下的数据。
在本公开的一些可选实施例中，所述装置还包括第四处理单元，用于基于手部的所述三维坐标数据确定所述手部的姿态；基于所述手部的姿态确定交互指令。
本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开实施例所述方法的步骤。
本公开实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本公开实施例所述方法的步骤。
本公开实施例提供的图像处理方法、装置、电子设备及存储介质，利用深度图像检测得到手部的检测框，再基于手部的检测框内的深度图像得到手部的准确的三维坐标数据，实现了手部的三维坐标的准确检测。
此外，本公开实施例，通过对首帧深度图像进行手部检测处理得到手部的检测框，基于在先得到的深度图像中的手部的检测框，得到在后的深度图像中的手部的检测框，实现了利用深度图像的手部的追踪。
附图说明
图1为本公开实施例的图像处理方法的流程示意图一；
图2为本公开实施例的图像处理方法中的手部的关键点示意图；
图3为本公开实施例的图像处理方法中关键点检测网络的结构示意图图；
图4为本公开实施例的图像处理方法的流程示意图二；
图5为本公开实施例的图像处理装置的组成结构示意图一；
图6为本公开实施例的图像处理装置的组成结构示意图二；
图7为本公开实施例的电子设备的硬件组成结构示意图。
具体实施方式
下面结合附图及具体实施例对本公开作进一步详细的说明。
本公开实施例提供了一种图像处理方法。图1为本公开实施例的图像处理方法的流程示意图一；如图1所示，方法包括：
步骤101：获得多帧深度图像中的第一深度图像的手部的检测框；第一深度图像为多帧深度图像中的任一帧深度图像；
步骤102：对检测框内的深度图像进行特征提取，基于提取出的特征得到手部的关键点的三维坐标数据。
本实施例的图像处理方法应用于图像处理装置中；图像处理装置可位于任何具有图像处理能力的电子设备中。在一些示例中，电子设备可以是电脑、手机、虚拟现实(VR，Virtual Reality)设备、增强现实(AR，Augmented Reality)设备等用户设备；在另一些示例中，电子设备也可以是服务器等设备。本申请各实施例中均以电子设备作为执行主体为例进行说明。
本实施例中的多帧深度图像可通过内置或外接的图像采集设备采集，图像采集设备具体可以是深度图像采集设备。示例性的，深度图像采集设备具体可以是深度摄像头、3D结构光摄像组件、飞行时间(TOF，Time Of Flight)摄像组件、激光雷达组件中的至少一种组件实现。在一些可选实施例中，电子设备可通过内置或者外接的图像采集设备获得多帧深度图像。在另一些可选实施例中，电子设备也可通过通信组件获得其他电子设备传输的多帧深度图像；上述多帧深度图像由其他电子设备内置或外接的图像采集设备采集。
在本申请的一些可选实施例中，深度图像可包括二维图像数据和深度数据；二维图像数据表征采集的目标场景的平面图像；可选地，二维图像可以是红绿蓝(RGB)图像，还可以是灰度图像。深度数据表示图像采集设备与采集的目标场景中的各对象之间的距离。
本实施例中，通过检测各个深度图像中的手部的检测框，进而通过手部的检测框实现对多帧深度图像中的手部的检测及追踪。其中，深度图像中的手部可以是真实人物或虚拟人物的手部。
在一些实施方式中，可通过目标检测网络对第一深度图像进行手部检测，得到第一深度图像的手部的检测框。其中，目标检测网络可通过样本图像训练得到，样本图像中标注有手部的检测框，检测框的标注范围包括手部所在区域。
示例性的，可通过目标检测网络对第一深度图像进行特征提取，其中，以第一深度图像中包括的二维图像数据为RGB数据为例，则第一深度图像可包括对应于RGB数据的R数据、G数据、B数据以及深度数据四个维度的数据，将四个维度的数据作为目标检测网络的输入数据；通过目标检测网络对输入数据进行特征提取，基于提取到的特征确定第一深度数据中的手部的中心点以及对应于手部的检测框的高度和宽度；基于手部的中心点以及对应于手部的检测框的高度和宽度确定手部的检测框。
一些可能的实施方式中，可通过目标检测网络对多帧深度图像中的每一帧深度图像进行特征提取，从而基于提取出的特征得到每一帧深度图像中的手部的检测框。
其中，目标检测网络可通过卷积神经网络(CNN，Convolutional NeuralNetworks)实现。例如，目标检测网络可以是更快的区域卷积神经网络(faster-RCNN)。
如此，本公开实施例利用深度图像检测得到手部的检测框，再基于手部的检测框内的深度图像得到手部的关键点的准确的三维坐标数据，实现了手部的三维坐标的准确检测；进一步可基于目标检测网络对各个深度图像中的手部进行检测，得到各个深度图像中的手部的检测框，从而基于手部的检测框内的手部的检测框内的深度图像得到手部的关键点的准确的三维坐标数据，实现了利用深度图像的手部检测及追踪。
另一些可能的实施方式中，获得多帧深度图像中的第一深度图像的手部的检测框，包括：响应于第一深度图像为多帧深度图像中的首帧深度图像的情况，对第一深度图像进行手部检测处理，获得第一深度图像的手部的检测框；响应于第一深度图像为多帧深度图像中的非首帧深度图像的情况，基于第二深度图像中的手部的检测框，获得第一深度图像中的手部的检测框；第二深度图像为第一深度图像之前的一帧图像。
本实施方式中，对于多帧深度图像中的首帧深度图像(即响应于第一深度图像为多帧深度图像中的首帧深度图像的情况)，通过目标检测网络对首帧深度图像进行手部检测，得到首帧深度图像的手部的检测框；其中，对首帧深度图像的手部检测过程可参照前述通过目标检测网络确定手部的检测框的实施方式，这里不再赘述。对于首帧深度图像后的一帧深度图像(即响应于第一深度图像为多帧深度图像中的非首帧深度图像的情况)，基于待进行目标检测的第一深度图像之前的一帧深度图像(即，第二深度图像)中的手部的检测框，确定待进行目标检测的第一深度图像中的手部的检测框。
可以理解，本实施方式中，可通过目标检测网络对多帧深度图像中的首帧深度图像进行特征提取，从而基于提取出的特征得到首帧深度图像中的手部的检测框；再基于首帧深度图像中的手部的检测框，或者首帧深度图像中的手部的三维坐标数据，追踪得到下一帧待处理的深度图像中的手部的检测框。
如此，本公开实施例利用深度图像检测得到手部的检测框，再基于手部的检测框内的深度图像得到手部的关键点的准确的三维坐标数据，实现了手部的三维坐标的准确检测；进一步可基于目标检测网络对首帧深度图像中的手部进行检测，得到首帧深度图像中的手部的检测框，基于首帧深度图像中的手部的检测框得到在后的深度图像中的手部的检测框，无需对每一帧深度图像的完整图像数据均进行目标检测，仅需对在后的深度图像中的某个区域内的深度图像进行目标检测，得到各个深度图像中的手部的检测框，从而基于手部的检测框内的深度图像得到手部的关键点的准确的三维坐标数据，在大大减少了数据处理量的基础上，实现了利用深度图像的手部的检测及追踪。
在本申请的一些可选实施例中，基于第二深度图像中的手部的检测框，获得第一深度图像中的手部的检测框，包括：基于第二深度图像中的手部的检测框所在区域确定第一区域；第一区域大于检测框所在区域；根据第一区域确定第一深度图像中与第一区域的位置范围对应的手部的检测框。
本实施例中，以首帧深度图像的手部的检测框确定在后的一帧深度图像(如第一深度图像)的手部的检测框为例，则可以对首帧深度图像中的手部检测框进行放大，得到第一区域。示例性的，若首帧深度图像的手部的检测框为矩形为例，假设上述检测框的高度为H，宽度为W，则可以该检测框所在区域的中心点为中心、以该检测框所在区域的四边朝向远离中心点的方向延伸；例如在高度方向上，分别向远离中心点的方向延伸H/4，在宽度方向上，分别向远离中心点的方向延伸W/4，则上述第一区域可通过首帧深度图像中、以上述中心点为中心，高度为3H/2、宽度为3W/2的矩形区域表示。进一步可基于上述第一区域在首帧深度图像中的位置范围，确定在后的一帧深度图像(即第一深度图像)中、与上述位置范围对应的手部的检测框。
在一些可选实施例中，根据第一区域确定第一深度图像中与第一区域的位置范围对应的手部的检测框，可包括：对第二深度图像中的第一区域对应的深度图像进行肢体关键点检测处理，得到第一关键点信息；获得的第一关键点信息表征手部的预测关键点；确定第一关键点信息在第二深度图像中的第一位置范围，确定第一深度图像中、与上述第一位置范围对应的第二位置范围，上述第二位置范围作为手部的预测检测框；对第一深度图像中第二位置范围内的深度图像进行目标检测处理，得到第一深度图像中的手部的检测框。
在一些可选实施例中，根据第一区域确定第一深度图像中与第一区域的位置范围对应的手部的检测框，可包括：确定上述第一区域在第二深度图像中的第一位置范围；确定第一深度图像中与第一位置范围对应的第二位置范围；对第一深度图像中第二位置范围内的深度图像进行目标检测处理，得到第一深度图像中的手部的检测框。
在一些实施方式中，响应于第一深度图像为多帧深度图像中的非首帧深度图像的情况，上述基于第二深度图像中的手部的检测框，获得第一深度图像中的手部的检测框，还可包括：基于标注有手部的检测框的第二深度图像和目标追踪网络，确定第一深度图像中的手部的检测框，第二深度图像为第一深度图像之前的一帧图像。
本实施方式中，可利用上一帧图像(即第二深度图像)以及图像中标注的手部的检测框、通过预先训练好的目标追踪网络确定下一帧图像(即第一深度图像)中手部的检测框。示例性的，可将包含有手部的检测框的第二深度图像输入至目标追踪网络，得到第一深度图像中的手部的检测框。其中，上述目标跟踪网络可采用任意一种能够实现目标跟踪的网络结构，本实施例中对此不做限定。
本实施例中，目标追踪网络可采用标注有手部的位置(例如包含手部的检测框)的多帧样本图像训练获得。示例性的，以多帧样本图像中至少包括第一样本图像和第二样本图像为例，可利用目标追踪网络对第一样本图像进行处理，第一样本图像中标注有手部的检测框，处理结果为手部在第二样本图像中的预测位置；则可根据上述预测位置和第二样本图像中手部的标注位置确定损失，基于损失调整目标追踪网络的网络参数。
如此，对于第一深度图像为非首帧深度图像的情况下，实现了各个深度图像中的手部的检测框的追踪，进而基于追踪到的检测框内的深度图像进行手部关键点检测，在对手部的关键点检测过程中大大减少了待处理的数据，在一定程度上减少了数据处理量，实现了利用深度图像的手部的检测及追踪。
在另一些可选实施例中，响应于第一深度图像为多帧深度图像中的非首帧深度图像的情况，基于第二深度图像中的手部的检测框所在区域确定第一区域；第一区域大于检测框所在区域；第二深度图像为第一深度图像之前的一帧图像；确定上述第一区域在第二深度图像中的第一位置范围；确定第一深度图像中与第一位置范围对应的第二位置范围；对第一深度图像中第二位置范围内的深度图像进行特征提取，基于提取出的特征得到所述手部的关键点的三维坐标数据。
本实施方式中，以第二深度图像为首帧深度图像为例，则可通过目标检测网络确定首帧深度图像中的手部的检测框，对手部的检测框进行放大，得到第一区域，将第一区域在首帧深度图像中的区域范围(即第一位置范围)作为在后的第一深度图像中手部所在区域的预测范围(即第二位置范围)。则针对第一深度图像中第二位置范围内的深度图像直接进行关键点检测处理，得到第一深度图像中手部的关键点的三维坐标数据。
如此，采用本实施方式，通过针对首帧深度图像进行目标检测而无需对非首帧深度图像进行目标检测，简化了数据处理的步骤，在一定程度上减少了数据处理量，实现了利用深度图像的手部的检测及追踪，且实现了手部的三维坐标的准确检测。
在本申请的一些可选实施例中，基于提取出的特征得到手部的关键点的三维坐标数据，包括：基于提取出的特征得到手部的关键点的二维图像坐标数据和深度数据；二维图像坐标数据为图像坐标系下的数据；获得采集多帧深度图像的图像采集设备的内部参数；基于二维图像坐标数据、深度数据和内部参数得到手部的关键点的三维坐标数据；三维坐标数据为相机坐标系下的数据。
本实施例中，可基于关键点检测网络对检测框内的深度图像进行特征提取，基于提取出的特征得到手部的关键点的三维坐标数据。在一些可选实施例中，可参照图2所示，手部的关键点可包括以下至少之一：手腕(Wrist)关键点、手指的关节关键点、手指的指尖(TIP)关键点等等；其中，手指的关节关键点至少可包括以下至少之一：掌指关节(MCP，Metacarpophalangeal Point)关键点、近侧指间关节(PIP，Proximal InterphalangealPoint)关键点、远侧指间关节(DIP，Distal Interphalangeal Point)关键点。手指可至少包括以下至少之一：拇指(Thumb)、食指(Index)、中指(Middle)、无名指(Ring)、小指(Little)；如图2所示，手腕关键点可包括关键点P1；拇指(Thumb)关键点可包括P2、P3、P4中的至少一个关键点；食指(Index)关键点可包括P5、P6、P7、P8中的至少一个关键点；中指(Middle)关键点可包括P9、P10、P11、P12中的至少一个关键点；无名指(Ring)关键点可包括P13、P14、P15、P16中的至少一个关键点；小指(Little)关键点可包括P17、P18、P19、P20中的至少一个关键点。
本实施例中，可参照图3所示，关键点检测网络可包括骨干网络、对应于预测手部的二维图像坐标数据的2D分支网络、以及对应于预测手部的深度数据的深度分支网络。其中，骨干网络可包括多层卷积层，通过多层卷积层对检测框内的深度图像进行卷积处理，得到深度图像对应的特征图；示例性的，通过骨干网络对检测框内的深度图像进行处理得到的特征图可以是热力图；进一步分别将得到的特征图输入至2D分支网络和深度分支网络。
本实施例中，一方面，可通过2D分支网络对特征图进行处理，得到手部中例如图2所示的手部的关键点的二维图像坐标数据，上述二维图像坐标数据表示在图像坐标系下的二维坐标。其中，图像坐标系是在成像平面上、以二维图像的左上角为坐标原点、以水平方向和垂直方向分别为X轴和Y轴建立的二维直角坐标系。示例性的，图像坐标系可以是以像素为单位的直角坐标系，像素的横坐标u与纵坐标v分别表示在图像中所在的列数与所在行数。另一方面，可通过深度分支网络对特征图进行处理，得到例如图2所示的手部的关键点的深度数据。在一些可选实施例中，深度分支网络可以是全连接网络，通过全连接网络的处理得到上述手部的关键点的深度数据。
本实施例中，由于通过关键点检测网络得到的二维图像坐标数据为图像坐标系下的数据，表征手部的关键点在图像中的位置，因此需要对上述坐标数据进行转换，得到手部的关键点在相机坐标系下的三维坐标数据。其中，相机坐标系是以相机(即图像采集设备)的聚焦中心(或光心)为坐标原点、X轴和Y轴均与像平面平行、以光轴为Z轴建立的三维直角坐标系。
在一些可选实施例中，可通过：获得采集多帧深度图像的图像采集设备的内部参数，基于内部参数确定转换矩阵，通过转换矩阵对二维图像坐标数据和深度数据进行转换处理，得到手部的关键点在相机坐标系下的三维坐标数据。示例性的，图像采集设备的内部参数可包括但不限于图像采集设备的聚焦中心(或光心)在图像坐标系中的位置以及图像采集设备的像素焦距值中的至少一种；其中，图像采集设备的聚焦中心(或光心)在图像坐标系中的位置也可以理解为相机坐标系的坐标原点在图像坐标系中的坐标。示例性的，以二维图像数据的尺寸为：高度h、宽度w为例，则上述图像采集设备的聚焦中心(或光心)在图像坐标系中的位置可以记为(w/2，h/2)。
示例性的，手部的关键点在相机坐标系下的三维坐标数据可参照以下公式(1)得到：
Figure BDA0002514151330000111
其中，
Figure BDA0002514151330000112
表示手部的关键点在相机坐标系下的三维坐标数据；其中，(x，y)表示相机坐标系下的X轴和Y轴所在平面的坐标；z'表示相机坐标系下的Z轴的数据；(u，v)表示手部的关键点在图像坐标系下的2D坐标，z表示深度数据；(u0，v0)表示图像采集设备的聚焦中心(或光心)在图像坐标系下的坐标，fx和fy表示图像采集设备的横轴方向和纵轴方向的像素焦距值。
如此，本公开实施例利用深度图像检测得到手部的检测框，再基于手部的检测框内的深度图像得到手部的关键点的准确的三维坐标数据，具体通过图像采集设备的内部参数(例如图像采集设备的聚焦中心(或光心)在图像坐标系中的位置以及图像采集设备的像素焦距值等)确定图像坐标系-相机坐标系之间的转换矩阵，基于该转换矩阵得到手部的关键点的在相机坐标系下的准确的三维坐标数据，实现了手部的三维坐标的准确检测，从而能够提供更准确的人手关键点的三维坐标。
基于前述实施例，本公开实施例还提供了一种图像处理方法。图4为本公开实施例的图像处理方法的流程示意图二；如图4所示，方法包括：
步骤201：对多帧深度图像中的首帧深度图像进行手部检测处理，获得首帧深度图像的手部的检测框；
步骤202：基于首帧深度图像中的手部的检测框，获得第一深度图像中的手部的检测框；第一深度图像为多帧深度图像中的非首帧深度图像；
步骤203：确定第一深度图像中的检测框内的手部的中心深度，基于中心深度对检测框内的深度图像进行居中化处理，得到居中化处理后的深度图像；
步骤204：对居中化处理后的深度图像进行特征提取，基于提取出的特征得到手部的关键点的二维图像坐标数据和深度数据；二维图像坐标数据为图像坐标系下的数据；
步骤205：获得采集多帧深度图像的图像采集设备的内部参数；
步骤206：基于二维图像坐标数据、深度数据和内部参数得到手部的关键点的三维坐标数据；三维坐标数据为相机坐标系下的数据。
本实施例中，步骤201至步骤206的执行顺序不限于上述所述。示例性的，在步骤206之前的任意步骤，可以获得采集多帧深度图像的图像采集设备的内部参数。
本实施例中的第一深度图像为多帧深度图像中的非首帧深度图像，可以是首帧深度图像后的一帧深度图像，例如可以是多帧深度图像中的第二帧深度图像、第三帧深度图像等等。需要说明的是，第一深度图像是首帧深度图像之后的第二帧需要检测手部的检测框的深度图像，即基于首帧深度图像中检测到的手部的检测框，检测得到第一深度图像中的手部的检测框。
本实施例中的针对首帧深度图像以及第一深度图像中的手部的检测框具体实现方式可参照前述实施例的具体描述，这里不再赘述。
本实施例中，在得到第一深度图像中的手部的检测框后，对检测框内的深度图像进行居中化处理。在一些可选实施例中，步骤203可包括：确定所述检测框内的手部的中心深度，基于所述中心深度对所述检测框内的深度图像进行居中化处理，得到居中化处理后的深度图像，包括：基于所述第一深度图像中的手部的检测框内至少部分深度图像的深度值，确定所述手部的中心深度；利用所述手部的中心深度，调整所述手部的检测框内的深度图像的深度值，得到居中化处理后的深度图像。
本实施例中，在一些实施方式中，可确定检测框内的深度图像的深度值的中位数，将该中位数作为手部的中心深度；再将检测框内的深度图像中的每个像素对应的深度值减去该中心深度，得到居中化处理后的深度图像。在另一些可选实施例中，可确定检测框内的深度图像中的手部区域的深度值的中位数，将该中位数作为手部的中心深度；再将检测框内的深度图像中的每个像素对应的深度值减去该中心深度，得到居中化处理后的深度图像。
在其他实施方式中，也可以确定检测框内的深度图像的深度值的均值，将该均值作为手部的中心深度；再将检测框内的深度图像中的每个像素对应的深度值减去该中心深度，得到居中化处理后的深度图像；或者，可确定检测框内的深度图像中的手部区域的深度值的均值，将该均值作为手部的中心深度；再将检测框内的深度图像中的每个像素对应的深度值减去该中心深度，得到居中化处理后的深度图像。
如此，通过居中化处理，能够为后续的数据处理提供便利，降低数据处理的难度和复杂度。
本实施例中的步骤204至步骤206的详细过程具体可参照前述实施例中，区别在于，本实施例中可基于关键点检测网络对居中化处理后的深度图像进行特征提取，基于提取出的特征得到手部的关键点的二维图像坐标数据和深度数据。
基于前述实施例，本申请实施例的方法还可以包括：基于手部的上述三维坐标数据确定手部的姿态；基于手部的姿态确定交互指令。
本实施例可通过追踪到的手部、进而基于手部的三维坐标数据确定手部的姿态，并基于手部的姿态确定对应的交互指令，进而可对各姿态对应的交互指令进行响应。
本实施例适用于动作交互的场景，例如可通过电子设备采集到包含有手部的深度图像，根据手部的姿态确定对应的交互指令，响应上述交互指令，例如可执行电子设备自身的某些功能，或者将上述指令发送给其他电子设备，由电子设备执行某些功能。
本实施例还适用于例如虚拟现实、增强现实或者体感游戏等各种应用场景。电子设备例如可以是VR眼镜、AR眼镜等等。通过电子设备采集到包含有手部的深度图像，根据手部的姿态确定对应的交互指令，响应上述交互指令，例如可执行针对AR场景、VR场景或体感游戏场景中的各种虚拟对象执行相应的动作。
本公开实施例还提供了一种图像处理装置。图5为本公开实施例的图像处理装置的组成结构示意图一；如图5所示，装置包括：第一处理单元31和第二处理单元32；其中，
上述第一处理单元31，用于获得多帧深度图像中的第一深度图像的手部的检测框；上述第一深度图像为上述多帧深度图像中的任一帧深度图像；
上述第二处理单元32，用于对上述检测框内的深度图像进行特征提取，基于提取出的特征得到手部的关键点的三维坐标数据。
在本公开的一些可选实施例中，上述第一处理单元31，用于响应于上述第一深度图像为上述多帧深度图像中的首帧深度图像的情况，对上述第一深度图像进行手部检测处理，获得上述第一深度图像的手部的检测框；响应于上述第一深度图像为上述多帧深度图像中的非首帧深度图像的情况，基于第二深度图像中的手部的检测框，获得上述第一深度图像中的手部的检测框；上述第二深度图像为上述第一深度图像之前的一帧图像。
在本公开的一些可选实施例中，上述第一处理单元31，用于基于上述第二深度图像中的手部的检测框所在区域确定第一区域；上述第一区域大于上述检测框所在区域；根据上述第一区域确定上述第一深度图像中与上述第一区域的位置范围对应的手部的检测框。
在本公开的一些可选实施例中，如图6所示，上述装置还包括第三处理单元33，用于确定上述检测框内的手部的中心深度，基于上述中心深度对上述检测框内的深度图像进行居中化处理，得到居中化处理后的深度图像；
上述第二处理单元32，用于对上述居中化处理后的深度图像进行特征提取。
在本公开的一些可选实施例中，所述第三处理单元33，用于基于所述第一深度图像中的手部的检测框内至少部分深度图像的深度值，确定所述手部的中心深度；利用所述手部的中心深度，调整所述手部的检测框内的深度图像的深度值，得到居中化处理后的深度图像。
在本公开的一些可选实施例中，上述第二处理单元32，用于基于提取出的特征得到手部的关键点的二维图像坐标数据和深度数据；上述二维图像坐标数据为图像坐标系下的数据；获得采集上述多帧深度图像的图像采集设备的内部参数；基于上述二维图像坐标数据、深度数据和上述内部参数得到手部的关键点的三维坐标数据；上述三维坐标数据为相机坐标系下的数据。
在本公开的一些可选实施例中，上述装置还包括第四处理单元，用于基于手部的上述三维坐标数据确定上述手部的姿态；基于上述手部的姿态确定交互指令。
本公开实施例中，上述图像处理装置中的第一处理单元31、第二处理单元32、第三处理单元33和第四处理单元，在实际应用中均可由中央处理器(CPU，Central ProcessingUnit)、数字信号处理器(DSP，Digital Signal Processor)、微控制单元(MCU，Microcontroller Unit)或可编程门阵列(FPGA，Field－Programmable Gate Array)实现。
需要说明的是：上述实施例提供的图像处理装置在进行图像处理时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本公开实施例还提供了一种电子设备。图7为本公开实施例的电子设备的硬件组成结构示意图，如图7所示，电子设备包括存储器42、处理器41及存储在存储器42上并可在处理器41上运行的计算机程序，上述处理器41执行所述程序时实现本公开实施例的图像处理方法的步骤。
本实施例中，电子设备中的各个组件通过总线***43耦合在一起。可理解，总线***43用于实现这些组件之间的连接通信。总线***43除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图7中将各种总线都标为总线***43。
可以理解，存储器42可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本公开实施例描述的存储器42旨在包括但不限于这些和任意其它适合类型的存储器。
上述本公开实施例揭示的方法可以应用于处理器41中，或者由处理器41实现。处理器41可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器41中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器41可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器41可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本公开实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器42，处理器41读取存储器42中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，电子设备可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述方法。
在示例性实施例中，本公开实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器42，上述计算机程序可由电子设备的处理器41执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开实施例所述的图像处理方法的步骤。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本公开各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本公开上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种图像处理方法，其特征在于，所述方法包括：
获得多帧深度图像中的第一深度图像的手部的检测框；所述第一深度图像为所述多帧深度图像中的任一帧深度图像；
对所述检测框内的深度图像进行特征提取，基于提取出的特征得到所述手部的关键点的三维坐标数据。
2.根据权利要求1所述的方法，其特征在于，所述获得多帧深度图像中的第一深度图像的手部的检测框，包括：
响应于所述第一深度图像为所述多帧深度图像中的首帧深度图像的情况，对所述第一深度图像进行手部检测处理，获得所述第一深度图像的手部的检测框；
响应于所述第一深度图像为所述多帧深度图像中的非首帧深度图像的情况，基于第二深度图像中的手部的检测框，获得所述第一深度图像中的手部的检测框；所述第二深度图像为所述第一深度图像之前的一帧图像。
3.根据权利要求2所述的方法，其特征在于，所述基于第二深度图像中的手部的检测框，获得所述第一深度图像中的手部的检测框，包括：
基于所述第二深度图像中的手部的检测框所在区域确定第一区域；所述第一区域大于所述检测框所在区域；
根据所述第一区域确定所述第一深度图像中与所述第一区域的位置范围对应的手部的检测框。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述对所述检测框内的深度图像进行特征提取之前，所述方法还包括：
确定所述检测框内的手部的中心深度，基于所述中心深度对所述检测框内的深度图像进行居中化处理，得到居中化处理后的深度图像；
所述对所述检测框内的深度图像进行特征提取，包括：
对所述居中化处理后的深度图像进行特征提取。
5.根据权利要求4所述的方法，其特征在于，所述确定所述检测框内的手部的中心深度，包括：
基于所述第一深度图像中的手部的检测框内至少部分深度图像的深度值，确定所述手部的中心深度；
所述基于所述中心深度对所述检测框内的深度图像进行居中化处理，得到居中化处理后的深度图像，包括：
利用所述手部的中心深度，调整所述手部的检测框内的深度图像的深度值，得到居中化处理后的深度图像。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述基于提取出的特征得到手部的关键点的三维坐标数据，包括：
基于提取出的特征得到手部的关键点的二维图像坐标数据和深度数据；所述二维图像坐标数据为图像坐标系下的数据；
获得采集所述多帧深度图像的图像采集设备的内部参数；
基于所述二维图像坐标数据、深度数据和所述内部参数得到手部的关键点的三维坐标数据；所述三维坐标数据为相机坐标系下的数据。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：
基于手部的所述三维坐标数据确定所述手部的姿态；
基于所述手部的姿态确定交互指令。
8.一种图像处理装置，其特征在于，所述装置包括：第一处理单元和第二处理单元；其中，
所述第一处理单元，用于获得多帧深度图像中的第一深度图像的手部的检测框；所述第一深度图像为所述多帧深度图像中的任一帧深度图像；
所述第二处理单元，用于对所述检测框内的深度图像进行特征提取，基于提取出的特征得到所述手部的关键点的三维坐标数据。
9.根据权利要求8所述的装置，其特征在于，所述第一处理单元，用于响应于所述第一深度图像为所述多帧深度图像中的首帧深度图像的情况，对所述第一深度图像进行手部检测处理，获得所述第一深度图像的手部的检测框；响应于所述第一深度图像为所述多帧深度图像中的非首帧深度图像的情况，基于第二深度图像中的手部的检测框，获得所述第一深度图像中的手部的检测框；所述第二深度图像为所述第一深度图像之前的一帧图像。
10.根据权利要求9所述的装置，其特征在于，所述第一处理单元，用于基于所述第二深度图像中的手部的检测框所在区域确定第一区域；所述第一区域大于所述检测框所在区域；根据所述第一区域确定所述第一深度图像中与所述第一区域的位置范围对应的手部的检测框。
11.根据权利要求8至10任一项所述的装置，其特征在于，所述装置还包括第三处理单元，用于确定所述检测框内的手部的中心深度，基于所述中心深度对所述检测框内的深度图像进行居中化处理，得到居中化处理后的深度图像；
所述第二处理单元，用于对所述居中化处理后的深度图像进行特征提取。
12.根据权利要求11所述的装置，其特征在于，所述第三处理单元，用于基于所述第一深度图像中的手部的检测框内至少部分深度图像的深度值，确定所述手部的中心深度；利用所述手部的中心深度，调整所述手部的检测框内的深度图像的深度值，得到居中化处理后的深度图像。
13.根据权利要求8至12任一项所述的装置，其特征在于，所述第二处理单元，用于基于提取出的特征得到手部的关键点的二维图像坐标数据和深度数据；所述二维图像坐标数据为图像坐标系下的数据；获得采集所述多帧深度图像的图像采集设备的内部参数；基于所述二维图像坐标数据、深度数据和所述内部参数得到手部的关键点的三维坐标数据；所述三维坐标数据为相机坐标系下的数据。
14.根据权利要求8至13任一项所述的装置，其特征在于，所述装置还包括第四处理单元，用于基于手部的所述三维坐标数据确定所述手部的姿态；基于所述手部的姿态确定交互指令。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
16.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述方法的步骤。
CN202010470551.XA 2020-05-28 2020-05-28 一种图像处理方法、装置、电子设备及存储介质 Withdrawn CN111652110A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010470551.XA CN111652110A (zh) 2020-05-28 2020-05-28 一种图像处理方法、装置、电子设备及存储介质
PCT/CN2020/135937 WO2021238163A1 (zh) 2020-05-28 2020-12-11 一种图像处理方法、装置、电子设备及存储介质
TW110111667A TW202145065A (zh) 2020-05-28 2021-03-30 一種圖像處理方法、電子設備及電腦可讀儲存介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010470551.XA CN111652110A (zh) 2020-05-28 2020-05-28 一种图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111652110A true CN111652110A (zh) 2020-09-11

Family

ID=72344008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010470551.XA Withdrawn CN111652110A (zh) 2020-05-28 2020-05-28 一种图像处理方法、装置、电子设备及存储介质

Country Status (3)

Country Link
CN (1) CN111652110A (zh)
TW (1) TW202145065A (zh)
WO (1) WO2021238163A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465890A (zh) * 2020-11-24 2021-03-09 深圳市商汤科技有限公司 深度检测方法、装置、电子设备和计算机可读存储介质
WO2021238163A1 (zh) * 2020-05-28 2021-12-02 北京市商汤科技开发有限公司 一种图像处理方法、装置、电子设备及存储介质
CN114419738A (zh) * 2022-03-29 2022-04-29 北京市商汤科技开发有限公司 一种姿态检测方法、装置、电子设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130336524A1 (en) * 2012-06-18 2013-12-19 Microsoft Corporation Dynamic Hand Gesture Recognition Using Depth Data
CN108171133A (zh) * 2017-12-20 2018-06-15 华南理工大学 一种基于特征协方差矩阵的动态手势识别方法
CN108594997A (zh) * 2018-04-16 2018-09-28 腾讯科技（深圳）有限公司 手势骨架构建方法、装置、设备及存储介质
CN110796018A (zh) * 2019-09-30 2020-02-14 武汉科技大学 一种基于深度图像和彩色图像的手部运动识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7372977B2 (en) * 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
CN107749069B (zh) * 2017-09-28 2020-05-26 联想(北京)有限公司 图像处理方法、电子设备和图像处理***
CN111652110A (zh) * 2020-05-28 2020-09-11 北京市商汤科技开发有限公司 一种图像处理方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130336524A1 (en) * 2012-06-18 2013-12-19 Microsoft Corporation Dynamic Hand Gesture Recognition Using Depth Data
CN108171133A (zh) * 2017-12-20 2018-06-15 华南理工大学 一种基于特征协方差矩阵的动态手势识别方法
CN108594997A (zh) * 2018-04-16 2018-09-28 腾讯科技（深圳）有限公司 手势骨架构建方法、装置、设备及存储介质
CN110796018A (zh) * 2019-09-30 2020-02-14 武汉科技大学 一种基于深度图像和彩色图像的手部运动识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021238163A1 (zh) * 2020-05-28 2021-12-02 北京市商汤科技开发有限公司 一种图像处理方法、装置、电子设备及存储介质
CN112465890A (zh) * 2020-11-24 2021-03-09 深圳市商汤科技有限公司 深度检测方法、装置、电子设备和计算机可读存储介质
CN114419738A (zh) * 2022-03-29 2022-04-29 北京市商汤科技开发有限公司 一种姿态检测方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
TW202145065A (zh) 2021-12-01
WO2021238163A1 (zh) 2021-12-02

Similar Documents

Publication Publication Date Title
KR101840563B1 (ko) 신경망을 이용한 3차원 얼굴 복원 방법 및 장치
WO2020156143A1 (zh) 三维人体姿态信息检测方法及装置、电子设备、存储介质
WO2021238163A1 (zh) 一种图像处理方法、装置、电子设备及存储介质
CN113706699B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN109453517B (zh) 虚拟角色控制方法和装置、存储介质、移动终端
CN110866977B (zh) 增强现实处理方法及装置、***、存储介质和电子设备
WO2023024697A1 (zh) 图像拼接方法和电子设备
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及***
CN110213491B (zh) 一种对焦方法、装置及存储介质
EP3035242B1 (en) Method and electronic device for object tracking in a light-field capture
CN111199169A (zh) 图像处理方法和装置
Shen et al. Distortion-tolerant monocular depth estimation on omnidirectional images using dual-cubemap
CN113228105A (zh) 一种图像处理方法、装置和电子设备
CN115035546A (zh) 三维人体姿态检测方法、装置及电子设备
CN111079470A (zh) 人脸活体检测的方法和装置
WO2021098554A1 (zh) 一种特征提取方法、装置、设备及存储介质
CN114093024A (zh) 人体动作的识别方法、装置、设备及存储介质
CN115049819A (zh) 注视区域识别方法及装置
CN116778533A (zh) 一种掌纹全感兴趣区域图像提取方法、装置、设备及介质
CN112106347A (zh) 一种图像生成方法、设备、可移动平台及存储介质
CN116012875A (zh) 一种人体姿态估计方法及相关装置
CN112750157B (zh) 一种深度图像生成方法及装置
CN111258413A (zh) 虚拟对象的控制方法和装置
CN115623313A (zh) 图像处理方法、图像处理装置、电子设备、存储介质
CN115393962A (zh) 动作识别方法、头戴显示设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40027848

Country of ref document: HK

WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200911