CN116310010B - 图像识别方法、装置、电子设备及存储介质 - Google Patents
图像识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116310010B CN116310010B CN202310571910.4A CN202310571910A CN116310010B CN 116310010 B CN116310010 B CN 116310010B CN 202310571910 A CN202310571910 A CN 202310571910A CN 116310010 B CN116310010 B CN 116310010B
- Authority
- CN
- China
- Prior art keywords
- node
- node data
- data
- image
- object model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种图像识别方法、装置、电子设备及存储介质，包括：获取第一图像数据和第二图像数据，第一图像数据与第二图像数据为目标对象相邻帧次的整体图像。通过开源人体姿态识别算法对第一图像数据和第二图像数据进行节点识别，以获取第一节点数据和第二节点数据，第一节点数据为第一图像数据中目标对象最低点对应的节点信息，第二节点数据为第二图像数据中目标对象最低点对应的节点信息。构建第一对象模型，第一对象模型为与目标对象相对应的虚拟对象模型，用于匹配第一节点数据和第二节点数据。获取第一节点数据与第二节点数据之间的差值，并在差值不超过第一阈值时，将第一节点数据和第二节点数据与第一对象模型所在虚拟空间零高度绑定。
Description
技术领域
本申请涉及人体姿态识别技术领域，特别是涉及一种图像识别方法、装置、电子设备及存储介质。
背景技术
人体姿态识别技术伴随着计算机视觉的发展和生活实践中的广泛应用，基于各种算法的行为检测和动作识别项目在实践中得到了越来越多的应用，并在相关领域得到了广泛的研究。在行为监测方面，不仅仅有通过图形、温湿度、声音等信息进行蜂群行为的监测，同时更多的应用是集中在人类行为的监测上。而人体姿态识别作为行为监测重要参考依据在视频捕捉、计算机图形学等领域得到了广泛应用。
目前，传统的人体评估姿态识别方法有RMPE（Regional Multi-Person PoseEstimation，区域多人姿态估计）模型和Mask R-CNN（图像实例分割）模型，它们都是采用自顶向下的检测方法，而openpose（人体姿态识别算法）作为姿态识别的经典项目是采用自底向上的检测方法，主要应用于行为监测、姿态纠正、动作分类等领域，另外，在智能家居、自动驾驶、智能监控等领域同样具有重要的研究意义和应用价值。目前基于图像识别的二维骨骼人物在三维空间的脚部地面的匹配方法常采用识别整体参数坐标作为三维空间的初始化位置参数，程序启动后不再进行优化，人物如果只是在画面中平行移动，人物整体偏差不大，合成效果还能接收，但是，如果真实人物跳动或前后走动时，人物驱动的虚拟人物模型会出现悬空、飘移、抖动等问题，导致最终的合成画面会显得较为怪异和不真实。
因此，传统的图像识别方法在脚部地面匹配中真实人物在画面中非平行移动时，真实人物与虚拟人物模型在虚拟三维空间中的合成效果较差。
发明内容
基于此，有必要针对上述技术问题，提供一种真实人物与虚拟人物模型在虚拟三维空间中的合成效果较好的图像识别方法、装置、电子设备及存储介质。
第一方面，本申请提供一种图像识别方法，所述方法包括：
获取第一图像数据和第二图像数据，所述第一图像数据与第二图像数据为目标对象相邻帧次的整体图像；
通过开源人体姿态识别算法对所述第一图像数据和第二图像数据进行节点识别，以获取第一节点数据和第二节点数据，所述第一节点数据为所述第一图像数据中目标对象最低点对应的节点信息，所述第二节点数据为所述第二图像数据中目标对象最低点对应的节点信息；
构建第一对象模型，所述第一对象模型为与所述目标对象相对应的虚拟对象模型，用于匹配所述第一节点数据和第二节点数据；
获取所述第一节点数据与所述第二节点数据之间的差值，并在所述差值不超过第一阈值时，将所述第一节点数据和第二节点数据与所述第一对象模型所在虚拟空间的零高度进行匹配绑定。
在其中一个实施例中，所述通过开源人体姿态识别算法对所述第一图像数据和第二图像数据进行节点识别，包括：
通过摄像机获取所述目标对象的整体图像；
通过所述开源人体姿态识别算法对所述目标对象进行人体节点识别，以获取所述目标对象的整体人物节点信息、人物整体线框位置与大小参数、人物脚部节点位置信息。
在其中一个实施例中，所述获取所述第一节点数据与所述第二节点数据之间的差值，并在所述差值不超过第一阈值时，将所述第一节点数据和第二节点数据与所述第一对象模型所在虚拟空间的零高度进行匹配绑定，包括：
以所述目标对象的最低点对应的节点为坐标原点建立三维坐标系；
获取第一位置坐标和第二位置坐标，所述第一位置坐标为所述第一节点数据对应的三维坐标，所述第二位置坐标为第二节点数据对应的三维坐标。
在其中一个实施例中，所述获取所述第一节点数据与所述第二节点数据之间的差值，并在所述差值不超过第一阈值时，将所述第一节点数据和第二节点数据与所述第一对象模型所在虚拟空间的零高度进行匹配绑定，还包括：
获取所述第一位置坐标和第二位置坐标之间的距离差值；
判断所述距离差值是否超过所述第二阈值，并在所述距离差值不超过所述第二阈值时将所述第一节点数据和第二节点数据与所述第一对象模型所在虚拟空间的零高度进行匹配绑定。
在其中一个实施例中，所述获取所述第一节点数据与所述第二节点数据之间的差值，并在所述差值不超过第一阈值时，将所述第一节点数据和第二节点数据与所述第一对象模型所在虚拟空间的零高度进行匹配绑定，还包括：
将所述第一节点数据和第二节点数据输出至渲染服务器进行渲染；
将渲染后的第一节点数据和第二节点数据与第一对象模型所在虚拟空间的零高度匹配绑定，以获得第二对象模型和第三对象模型；
其中，所述第二对象模型为匹配有所述第一节点数据的第一对象模型，所述第三对象模型为匹配有所述第二节点数据的第一对象模型。
在其中一个实施例中，所述方法还包括：
当所述目标对象的最低点在相邻帧次中的位置发生改变时，获取相邻帧次最低点之间的高度差；
判断所述高度差是否超过第三阈值，并在所述高度差不超过第三阈值时将所述第一节点数据和第二节点数据与所述第一对象模型所在虚拟空间的零高度进行匹配绑定。
在其中一个实施例中，所述方法还包括：
获取所述目标对象的动作平滑延时帧数；
判断所述动作平滑延时帧数是否超过第四阈值，并在所述动作平滑延时帧数不超过所述第四阈值时将所述第一节点数据和第二节点数据与所述第一对象模型所在虚拟空间的零高度进行匹配绑定。
第二方面，本申请提供一种图像识别装置，所述装置包括：
图像获取模块，用于获取第一图像数据和第二图像数据，所述第一图像数据与第二图像数据为目标对象相邻帧次的整体图像；
节点识别模块，用于通过开源人体姿态识别算法对所述第一图像数据和第二图像数据进行节点识别，以获取第一节点数据和第二节点数据，所述第一节点数据为所述第一图像数据中目标对象最低点对应的节点信息，所述第二节点数据为所述第二图像数据中目标对象最低点对应的节点信息；
模型构建模块，用于构建第一对象模型，所述第一对象模型为与所述目标对象相对应的虚拟对象模型，用于匹配所述第一节点数据和第二节点数据；
匹配绑定模块，用于获取所述第一节点数据与所述第二节点数据之间的差值，并在所述差值不超过第一阈值时，将所述第一节点数据和第二节点数据与所述第一对象模型所在虚拟空间的零高度进行匹配绑定。
第三方面，本申请提供一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取第一图像数据和第二图像数据，所述第一图像数据与第二图像数据为目标对象相邻帧次的整体图像；
通过开源人体姿态识别算法对所述第一图像数据和第二图像数据进行节点识别，以获取第一节点数据和第二节点数据，所述第一节点数据为所述第一图像数据中目标对象最低点对应的节点信息，所述第二节点数据为所述第二图像数据中目标对象最低点对应的节点信息；
构建第一对象模型，所述第一对象模型为与所述目标对象相对应的虚拟对象模型，用于匹配所述第一节点数据和第二节点数据；
获取所述第一节点数据与所述第二节点数据之间的差值，并在所述差值不超过第一阈值时，将所述第一节点数据和第二节点数据与所述第一对象模型所在虚拟空间的零高度进行匹配绑定。
第四方面，本申请提供一种计算机存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤:
获取第一图像数据和第二图像数据，所述第一图像数据与第二图像数据为目标对象相邻帧次的整体图像；
通过开源人体姿态识别算法对所述第一图像数据和第二图像数据进行节点识别，以获取第一节点数据和第二节点数据，所述第一节点数据为所述第一图像数据中目标对象最低点对应的节点信息，所述第二节点数据为所述第二图像数据中目标对象最低点对应的节点信息；
构建第一对象模型，所述第一对象模型为与所述目标对象相对应的虚拟对象模型，用于匹配所述第一节点数据和第二节点数据；
获取所述第一节点数据与所述第二节点数据之间的差值，并在所述差值不超过第一阈值时，将所述第一节点数据和第二节点数据与所述第一对象模型所在虚拟空间的零高度进行匹配绑定。
上述图像识别方法、装置、电子设备及存储介质，通过获取目标对象动作时相邻帧次的图像数据，并通过开源人体姿态识别算法对该相邻帧次的图像数据进行节点识别，以获取该相邻帧次的图像数据分别对应最低点的节点信息。随后获取该相邻帧次的图像数据最低点节点之间的差值，并将得到的差值与预先设定的阈值进行比较，并在该相邻帧次的图像数据最低点节点之间的差值不超过设定阈值时，将允许差值范围内的目标对象最低节点与预先构建好的与目标对象相对应的虚拟对象模型所在虚拟空间的零高度进行匹配绑定，以达到目标对象最低节点与虚拟对象模型之间的修正，进而实现在目标对象非平行移动时真实对象与虚拟空间对象模型的精准匹配，在一定程度上了优化了真实对象驱动的虚拟对象模型在虚拟空间中的合成效果。
附图说明
图1为本申请的图像识别方法流程图之一；
图2为本申请的图像识别方法流程图之二；
图3为本申请的图像识别方法流程图之三；
图4为本申请的图像识别方法流程图之四；
图5为本申请的图像识别方法流程图之五；
图6为本申请中一个实施例的图像识别方案的***总体结构示意图；
图7为本实施例中图像识别方案的工作流程示意图；
图8为本申请的图像识别装置结构示意图；
图9为本申请中一个实施例的计算机设备的内部结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
首先，对本申请涉及到的缩略语、英文和关键术语进行解释说明：
SDI：SDI接口是一种“数字分量串行接口”，而HD-SDI接口是一种广播级的高清数字输入和输出端口，其中HD表示高清信号。由于SDI接口不能直接传送压缩数字信号，数字录像机、硬盘等设备记录的压缩信号重放后，必须经解压并经SDI接口输出才能进入SDI***。如果反复解压和压缩，必将引起图像质量下降和延时增加，为此各种不同格式的数字录像机和非线性编辑***，规定了自己的用于直接传输压缩数字信号的接口。
OpenPose：OpenPose人体姿态识别项目是美国***梅隆大学（CMU）基于卷积神经网络和监督学习并以Caffe为框架开发的开源库。可以实现人体动作、面部表情、手指运动等姿态估计。适用于单人和多人，具有极好的鲁棒性。是世界上首个基于深度学习的实时多人二维姿态估计应用，基于它的实例如雨后春笋般涌现。
UDP 是User Datagram Protocol的简称， 中文名是用户数据报协议，是OSI(OpenSystem Interconnection，开放式***互联) 参考模型中一种无连接的传输层协议，提供面向事务的简单不可靠信息传送服务，IETF RFC 768是UDP的正式规范。
如图1所示，在一个实施例中，一种图像识别方法，包括以下步骤：
步骤S110，获取第一图像数据和第二图像数据，第一图像数据与第二图像数据为目标对象相邻帧次的整体图像。
具体地，服务端获取目标对象动作过程中相邻帧次的整体图像数据。
步骤S120，通过开源人体姿态识别算法对第一图像数据和第二图像数据进行节点识别，以获取第一节点数据和第二节点数据，第一节点数据为第一图像数据中目标对象最低点对应的节点信息，第二节点数据为第二图像数据中目标对象最低点对应的节点信息。
具体地，服务端通过开源人体姿态识别算法对步骤S120中获取到的目标图像动作过程中相邻帧次的图像数据进行节点识别，以获取目标对象动作前后相应最低点对应的节点信息。
步骤S130，构建第一对象模型，第一对象模型为与目标对象相对应的虚拟对象模型，用于匹配第一节点数据和第二节点数据。
具体地，服务端构建与目标对象相对应的虚拟对象模型，该虚拟对象模型用于匹配目标对象动作过程中相邻帧次图像数据的节点信息。
步骤S140，获取第一节点数据与第二节点数据之间的差值，并在差值不超过第一阈值时，将第一节点数据和第二节点数据与第一对象模型所在虚拟空间的零高度进行匹配绑定。
具体地，服务端获取目标对象动作过程中相邻帧次节点信息之间的移动偏差，并在移动偏差不超过预先设定的允许移动偏差范围时，将目标对象动作过程中相邻帧次最低节点数据与虚拟对象模型所在虚拟空间的零高度进行匹配绑定，使得虚拟对象模型能够根据节点数据实现与真实目标对象的精准匹配，优化真实对象驱动的虚拟对象模型在虚拟空间中的合成效果。
需要说明的是，开源人体姿态识别算法在对目标对象进行节点识别时可获取目标对象的所有节点信息，在目标对象最低点对应的节点与虚拟空间零高度匹配绑定后，其余目标对象所确定的节点信息会相应的与虚拟空间中的虚拟对象进行对应的匹配绑定，使得目标对象在其最低点对应节点与虚拟对象模型匹配绑定后实现目标对象整体与虚拟对象模型之间的精准匹配，优化目标对象驱动的虚拟对象模型在虚拟空间的合成效果。
上述图像识别方法，通过获取目标对象动作时相邻帧次的图像数据，并通过开源人体姿态识别算法对该相邻帧次的图像数据进行节点识别，以获取该相邻帧次的图像数据分别对应最低点的节点信息。随后获取该相邻帧次的图像数据最低点节点之间的差值，并将得到的差值与预先设定的阈值进行比较，并在该相邻帧次的图像数据最低点节点之间的差值不超过设定阈值时，将允许差值范围内的目标对象最低节点与预先构建好的与目标对象相对应的虚拟对象模型所在虚拟空间的零高度进行匹配绑定，以达到目标对象最低节点与虚拟对象模型之间的修正，进而实现在目标对象非平行移动时真实对象与虚拟空间对象模型的精准匹配，在一定程度上了优化了真实对象驱动的虚拟对象模型在虚拟空间中的合成效果。
如图2所示，在一个实施例中，本申请的图像识别方法，其通过开源人体姿态识别算法对第一图像数据和第二图像数据进行节点识别，包括以下步骤：
步骤S121，通过摄像机获取目标对象的整体图像。
具体地，服务端通过摄像机获取目标对象的整体图像。
步骤S122，通过开源人体姿态识别算法对目标对象进行人体节点识别，以获取目标对象的整体人物节点信息、人物整体线框位置与大小参数、人物脚部节点位置信息。
具体地，通过开源人体姿态识别算法对目标对象进行人体节点识别，以获取目标对象的整体人物节点信息、人物整体线框位置与大小参数、人物脚部节点位置信息。
如图3所示，在一个实施例中，本申请的图像识别方法，其获取第一节点数据与第二节点数据之间的差值，并在差值不超过第一阈值时，将第一节点数据和第二节点数据与第一对象模型所在虚拟空间的零高度进行匹配绑定，包括以下步骤：
步骤S141，以目标对象的最低点对应的节点为坐标原点建立三维坐标系。
具体地，服务端在虚拟空间中以目标对象最低点所对应的节点为坐标原点建立虚拟空间三维坐标系。
步骤S142，获取第一位置坐标和第二位置坐标，第一位置坐标为第一节点数据对应的三维坐标，第二位置坐标为第二节点数据对应的三维坐标。
具体地，服务端获取目标对象动作时相邻帧次节点对应的虚拟空间三维位置坐标。
步骤S143，获取第一位置坐标和第二位置坐标之间的距离差值。
具体地，根据步骤S142中获取的目标对象动作时相邻帧次节点对应的虚拟空间三维位置坐标，通过坐标的平移转换获取目标对象动作时相邻帧次对应的三维位置坐标之间的距离差值。
步骤S144，判断距离差值是否超过第二阈值，并在距离差值不超过第二阈值时将第一节点数据和第二节点数据与第一对象模型所在虚拟空间的零高度进行匹配绑定。
具体地，服务端会自动判断步骤S143中获取到的目标对象相邻帧次三维位置坐标之间的距离差值是否超过设定的允许距离差最大值，并在距离差值在允许距离差范围内时将目标对象相邻帧次对应的节点数据与虚拟对象模型所在虚拟空间的零高度进行匹配绑定。
步骤S145，将第一节点数据和第二节点数据输出至渲染服务器进行渲染，并将渲染后的第一节点数据和第二节点数据与第一对象模型所在虚拟空间的零高度匹配绑定，以获得第二对象模型和第三对象模型。
具体地，服务端将目标对象动作时相邻帧次对应的节点数据输出至渲染服务器进行渲染，渲染后的节点数据与虚拟空间对象模型所在虚拟空间的零高度进行匹配绑定，得到匹配有前一帧节点数据的虚拟对象模型和匹配有后一帧节点数据的虚拟对象模型。
如图4所示，在一个实施例中，本申请的图像识别方法，还包括以下步骤：
步骤S410，当目标对象的最低点在相邻帧次中的位置发生改变时，获取相邻帧次最低点之间的高度差。
具体地，当目标对象的最低点在相邻帧次中的位置发生改变，服务端会通过虚拟空间三维坐标系的方式获取相邻帧次目标对象最低点对应节点之间的高度差。
步骤S420，判断高度差是否超过第三阈值，并在高度差不超过第三阈值时将第一节点数据和第二节点数据与第一对象模型所在虚拟空间的零高度进行匹配绑定。
具体地，服务端会自动判断步骤S410中获取到的高度差是否超过设定的允许高度差最大值，并在实际高度差处于高度差允许范围内时将目标对象相邻帧次的节点数据匹配绑定至虚拟对象模型所在虚拟空间的零高度。
如图5所示，在一个实施例中，本申请的图像识别方法，还包括以下步骤：
步骤S510，获取目标对象的动作平滑延时帧数。
具体地，服务端实时获取目标对象的动作平滑延时帧数。
步骤S520，判断动作平滑延时帧数是否超过第四阈值，并在动作平滑延时帧数不超过第四阈值时将第一节点数据和第二节点数据与第一对象模型所在虚拟空间的零高度进行匹配绑定。
具体地，服务端会自动判断步骤S510中获取到的动作平滑延时帧数是否超过设定的最大帧数，并在实际的动作平滑延时帧数不超过最大帧数时将目标对象相邻帧次对应的数据节点匹配绑定至虚拟对象模型所在虚拟空间的零高度。
如图6和图7所示，在一个实施例中，一种图像识别方案，拍摄摄像机使用的是索尼FS9，快门调至50/1秒，图像计算服务器为HPZ4，渲染服务器为HPZ4，网络交换机为华为S5735S，图像计算服务器装有视频采集卡BMD4K12G。
首先，打开图像计算服务器，打开摄像机快门设置为50/1秒。图像信号通过SDI线从摄像机连到图像计算服务器，渲染服务器使用DP线连接电脑显示器，图像计算服务器与渲染服务器使网线与交换机边接。启动图像计算服务器的图像识别软件，获取人物图像，摄像机使用4K（3840×60）分辨率摄像机水平放置，快门设置为50帧每秒。真实人物站在距摄像机5米远的地方，拍摄真实人物的全身图像，通过SDI线把摄像机图像信号通过SDI板卡端口输入到图像识别的计算机。
计算机内置的图像识别软件使用开源的人体姿态识别算法（openpose）进行人体的节点识别工作，分别获取图像中的整体人物节点信息、人物整体线框位置与大小参数、人物左右脚节点位置信息，再把识别的人物节点数据通过网络通讯把数据输出到另外一台渲染服务器与虚幻引擎的虚拟人三维模型进行绑定。在图像识别的计算机配合一块0.5×0.5米已知参数的正方体标定板，在正对摄像机的一条直线上，分别平放在真实地面的5米、6米、7米、8米、9米、10米六个位置，人物站在标定板后面。已知标定板真实大小，拍摄像素大小，已知人物拍摄大小，可以反求出人物在真实空间的高度。
通过图像算法取得标定板与人物在拍摄屏幕的像素大小与位置关系，可以根据右手坐标系定出三维空间的x，y，z轴向。人物站在5米处，获取双脚的最低点定位虚拟空间的原点，坐标（0，0，0）。设置空间整体阈值为20cm（人物在空间中每一帧之间的距离差值不超过20cm时，通过人物在相邻帧次动作前后的虚拟三维坐标判断整体图像的抖动状态，若超出20cm则不使用上述openpose算法进行图像识别）。设置人物整体阈值为20cm（人物每一帧之间的距离差值不超过20cm时，通过人物在相邻帧次动作前后的虚拟三维坐标判断整体图像的移动状态，若超出20cm则不使用上述openpose算法进行图像识别）。设置双脚离地高度阈值为40cm（当双脚离地高度值不超过40cm时，通过人物在相邻帧次动作前后的虚拟三维坐标判断双脚在整体图像中的离地状态，若超过40cm，则不使用上述openpose算法进行图像识别）。动作平滑延时设置为20帧，是为了消除数据抖动产生的离地状态，若超过20帧，则不使用上述openpose算法进行图像识别。
上述图像识别方案，基于图像识别的二维骨骼人物在三维空间的脚部地面匹配方法，可以通过图像识别的二维骨骼人物在三维空间中的脚部匹配地面，消除人物模型悬空、飘移、抖动等问题，使最终的合成画面更加真实和稳定。该方案从空间、时间、位置、数据抖动四个方面数据进行人物模型与地面的匹配绑定，保证了使用二维人物图像识别的节点驱动的虚拟三维模型在三维虚拟空间的合成效果。
如图8所示，在一个实施例中，一种图像识别装置，包括图像获取模块810、节点识别模块820、模型构建模块830和匹配绑定模块840。
图像获取模块810用于获取第一图像数据和第二图像数据，第一图像数据与第二图像数据为目标对象相邻帧次的整体图像。
节点识别模块820用于通过开源人体姿态识别算法对第一图像数据和第二图像数据进行节点识别，以获取第一节点数据和第二节点数据，第一节点数据为第一图像数据中目标对象最低点对应的节点信息，第二节点数据为第二图像数据中目标对象最低点对应的节点信息。
模型构建模块830用于构建第一对象模型，第一对象模型为与目标对象相对应的虚拟对象模型，用于匹配第一节点数据和第二节点数据。
匹配绑定模块840用于获取第一节点数据与第二节点数据之间的差值，并在差值不超过第一阈值时，将第一节点数据和第二节点数据与第一对象模型所在虚拟空间的零高度进行匹配绑定。
在一个实施例中，节点识别模块820具体用于：
通过摄像机获取目标对象的整体图像。
通过开源人体姿态识别算法对目标对象进行人体节点识别，以获取目标对象的整体人物节点信息、人物整体线框位置与大小参数、人物脚部节点位置信息。
在一个实施例中，匹配绑定模块840具体用于：
以目标对象的最低点对应的节点为坐标原点建立三维坐标系。
获取第一位置坐标和第二位置坐标，第一位置坐标为第一节点数据对应的三维坐标，第二位置坐标为第二节点数据对应的三维坐标。
获取第一位置坐标和第二位置坐标之间的距离差值。
判断距离差值是否超过第二阈值，并在距离差值不超过第二阈值时将第一节点数据和第二节点数据与第一对象模型所在虚拟空间的零高度进行匹配绑定。
将第一节点数据和第二节点数据输出至渲染服务器进行渲染，并将渲染后的第一节点数据和第二节点数据与第一对象模型所在虚拟空间的零高度匹配绑定，以获得第二对象模型和第三对象模型。
在一个实施例中，本申请的图像识别装置，还包括第一获取模块、第一判断模块、第二获取模块和第二判断模块。
第一获取模块用于当目标对象的最低点在相邻帧次中的位置发生改变时，获取相邻帧次最低点之间的高度差。
第一判断模块用于判断高度差是否超过第三阈值，并在高度差不超过第三阈值时将第一节点数据和第二节点数据与第一对象模型所在虚拟空间的零高度进行匹配绑定。
第二获取模块用于获取目标对象的动作平滑延时帧数。
第二判断模块用于判断动作平滑延时帧数是否超过第四阈值，并在动作平滑延时帧数不超过第四阈值时将第一节点数据和第二节点数据与第一对象模型所在虚拟空间的零高度进行匹配绑定。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是智能终端，其内部结构图可以如图9所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像识别方法。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，一种电子设备，包括存储器和处理器，存储器存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，一种计算机存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像识别方法，其特征在于，所述方法包括：
获取第一图像数据和第二图像数据，所述第一图像数据与第二图像数据为目标对象相邻帧次的整体图像；
通过开源人体姿态识别算法对所述第一图像数据和第二图像数据进行节点识别，以获取第一节点数据和第二节点数据，所述第一节点数据为所述第一图像数据中目标对象最低点对应的节点信息，所述第二节点数据为所述第二图像数据中目标对象最低点对应的节点信息；
构建第一对象模型，所述第一对象模型为与所述目标对象相对应的虚拟对象模型，用于匹配所述第一节点数据和第二节点数据；
获取所述第一节点数据与所述第二节点数据之间的差值，并在所述差值不超过第一阈值时，将所述第一节点数据和第二节点数据与所述第一对象模型所在虚拟空间的零高度进行匹配绑定。
2.根据权利要求1所述的图像识别方法，其特征在于，所述通过开源人体姿态识别算法对所述第一图像数据和第二图像数据进行节点识别，包括：
通过摄像机获取所述目标对象的整体图像；
通过所述开源人体姿态识别算法对所述目标对象进行人体节点识别，以获取所述目标对象的整体人物节点信息、人物整体线框位置与大小参数、人物脚部节点位置信息。
3.根据权利要求1所述的图像识别方法，其特征在于，所述获取所述第一节点数据与所述第二节点数据之间的差值，并在所述差值不超过第一阈值时，将所述第一节点数据和第二节点数据与所述第一对象模型所在虚拟空间的零高度进行匹配绑定，包括：
以所述目标对象的最低点对应的节点为坐标原点建立三维坐标系；
获取第一位置坐标和第二位置坐标，所述第一位置坐标为所述第一节点数据对应的三维坐标，所述第二位置坐标为第二节点数据对应的三维坐标。
4.根据权利要求3所述的图像识别方法，其特征在于，所述获取所述第一节点数据与所述第二节点数据之间的差值，并在所述差值不超过第一阈值时，将所述第一节点数据和第二节点数据与所述第一对象模型所在虚拟空间的零高度进行匹配绑定，还包括：
获取所述第一位置坐标和第二位置坐标之间的距离差值；
判断所述距离差值是否超过第二阈值，并在所述距离差值不超过所述第二阈值时将所述第一节点数据和第二节点数据与所述第一对象模型所在虚拟空间的零高度进行匹配绑定。
5.根据权利要求4所述的图像识别方法，其特征在于，所述获取所述第一节点数据与所述第二节点数据之间的差值，并在所述差值不超过第一阈值时，将所述第一节点数据和第二节点数据与所述第一对象模型所在虚拟空间的零高度进行匹配绑定，还包括：
将所述第一节点数据和第二节点数据输出至渲染服务器进行渲染；
将渲染后的第一节点数据和第二节点数据与第一对象模型所在虚拟空间的零高度匹配绑定，以获得第二对象模型和第三对象模型；
其中，所述第二对象模型为匹配有所述第一节点数据的第一对象模型，所述第三对象模型为匹配有所述第二节点数据的第一对象模型。
6.根据权利要求1所述的图像识别方法，其特征在于，所述方法还包括：
当所述目标对象的最低点在相邻帧次中的位置发生改变时，获取相邻帧次最低点之间的高度差；
判断所述高度差是否超过第三阈值，并在所述高度差不超过第三阈值时将所述第一节点数据和第二节点数据与所述第一对象模型所在虚拟空间的零高度进行匹配绑定。
7.根据权利要求1所述的图像识别方法，其特征在于，所述方法还包括：
获取所述目标对象的动作平滑延时帧数；
判断所述动作平滑延时帧数是否超过第四阈值，并在所述动作平滑延时帧数不超过所述第四阈值时将所述第一节点数据和第二节点数据与所述第一对象模型所在虚拟空间的零高度进行匹配绑定。
8.一种图像识别装置，其特征在于，所述装置包括：
图像获取模块，用于获取第一图像数据和第二图像数据，所述第一图像数据为目标对象动作前的整体图像，所述第二图像数据为所述目标对象动作后的整体图像，且所述第一图像数据与第二图像数据为相邻帧次的图像数据；
节点识别模块，用于通过开源人体姿态识别算法对所述第一图像数据和第二图像数据进行节点识别，以获取第一节点数据和第二节点数据，所述第一节点数据为所述第一图像数据中目标对象最低点对应的节点信息，所述第二节点数据为所述第二图像数据中目标对象最低点对应的节点信息；
模型构建模块，用于构建第一对象模型，所述第一对象模型为与所述目标对象相对应的虚拟对象模型，用于匹配所述第一节点数据和第二节点数据；
匹配绑定模块，用于获取所述第一节点数据与所述第二节点数据之间的差值，并在所述差值不超过第一阈值时，将所述第一节点数据和第二节点数据与所述第一对象模型所在虚拟空间的零高度进行匹配绑定。
9.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310571910.4A CN116310010B (zh) | 2023-05-19 | 2023-05-19 | 图像识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310571910.4A CN116310010B (zh) | 2023-05-19 | 2023-05-19 | 图像识别方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116310010A CN116310010A (zh) | 2023-06-23 |
| CN116310010B true CN116310010B (zh) | 2023-07-21 |
Family
ID=86781953
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310571910.4A Active CN116310010B (zh) | 2023-05-19 | 2023-05-19 | 图像识别方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116310010B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116524217B (zh) * | 2023-07-03 | 2023-08-25 | 北京七维视觉传媒科技有限公司 | 人体姿态图像匹配方法、装置、电子设备及存储介质 |
| CN116881515B (zh) * | 2023-09-07 | 2023-12-19 | 杭州行芯科技有限公司 | 对不同算法求解的电容结果进行比较的方法及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019236588A1 (en) * | 2018-06-04 | 2019-12-12 | The Research Foundation For The State University Of New York | System and method associated with expedient determination of location of one or more object(s) within a bounded perimeter of 3d space based on mapping and navigation to a precise poi destination using a smart laser pointer device |
| CN112711335A (zh) * | 2021-01-19 | 2021-04-27 | 腾讯科技（深圳）有限公司 | 虚拟环境画面的显示方法、装置、设备及存储介质 |
| CN112870704A (zh) * | 2021-03-18 | 2021-06-01 | 腾讯科技（深圳）有限公司 | 一种游戏数据处理方法、装置及存储介质 |
-
2023
- 2023-05-19 CN CN202310571910.4A patent/CN116310010B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019236588A1 (en) * | 2018-06-04 | 2019-12-12 | The Research Foundation For The State University Of New York | System and method associated with expedient determination of location of one or more object(s) within a bounded perimeter of 3d space based on mapping and navigation to a precise poi destination using a smart laser pointer device |
| CN112711335A (zh) * | 2021-01-19 | 2021-04-27 | 腾讯科技（深圳）有限公司 | 虚拟环境画面的显示方法、装置、设备及存储介质 |
| CN112870704A (zh) * | 2021-03-18 | 2021-06-01 | 腾讯科技（深圳）有限公司 | 一种游戏数据处理方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116310010A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116310010B (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN113196289B (zh) | 人体动作识别方法、人体动作识别***及设备 | |
| CN109727303B (zh) | 视频展示方法、***、计算机设备、存储介质和终端 | |
| US9361510B2 (en) | Efficient facial landmark tracking using online shape regression method | |
| CN111126304A (zh) | 一种基于室内自然场景图像深度学习的增强现实导航方法 | |
| CN107831902B (zh) | 一种运动控制方法及其设备、存储介质、终端 | |
| CN110264509A (zh) | 确定图像捕捉设备的位姿的方法、装置及其存储介质 | |
| WO2023071964A1 (zh) | 数据处理方法, 装置, 电子设备及计算机可读存储介质 | |
| Barandiaran et al. | Real-time optical markerless tracking for augmented reality applications | |
| CN109920055A (zh) | 三维视觉地图的构建方法、装置与电子设备 | |
| WO2021190321A1 (zh) | 图像处理方法和装置 | |
| WO2019035155A1 (ja) | 画像処理システム、画像処理方法、及びプログラム | |
| Liu et al. | Collabar: Edge-assisted collaborative image recognition for mobile augmented reality | |
| KR20220008843A (ko) | 행위 예측 방법 및 장치, 걸음걸이 인식 방법 및 장치, 전자 장비 및 컴퓨터 판독 가능 저장 매체 | |
| CN112528902B (zh) | 一种基于3d人脸模型的视频监控动态人脸识别方法及装置 | |
| CN108510520B (zh) | 一种图像处理方法、装置及ar设备 | |
| US9747695B2 (en) | System and method of tracking an object | |
| WO2022052782A1 (zh) | 图像的处理方法及相关设备 | |
| KR102404867B1 (ko) | 3차원 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법 | |
| CN110909691B (zh) | 动作检测方法、装置、计算机可读存储介质和计算机设备 | |
| US20240161254A1 (en) | Information processing apparatus, information processing method, and program | |
| CN115131407B (zh) | 面向数字仿真环境的机器人目标跟踪方法、装置和设备 | |
| CN116524217B (zh) | 人体姿态图像匹配方法、装置、电子设备及存储介质 | |
| CN115665361A (zh) | 虚拟环境中的视频融合方法和在线视频会议通信方法 | |
| CN115344113A (zh) | 多视角人体运动捕捉方法、装置、***、介质及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |