CN111126157A - 一种数据标注方法及装置 - Google Patents

一种数据标注方法及装置 Download PDF

Info

Publication number
CN111126157A
CN111126157A CN201911181234.XA CN201911181234A CN111126157A CN 111126157 A CN111126157 A CN 111126157A CN 201911181234 A CN201911181234 A CN 201911181234A CN 111126157 A CN111126157 A CN 111126157A
Authority
CN
China
Prior art keywords
joint point
image
joint
target
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911181234.XA
Other languages
English (en)
Other versions
CN111126157B (zh
Inventor
李亚林
李骊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing HJIMI Technology Co Ltd
Original Assignee
Beijing HJIMI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing HJIMI Technology Co Ltd filed Critical Beijing HJIMI Technology Co Ltd
Priority to CN201911181234.XA priority Critical patent/CN111126157B/zh
Publication of CN111126157A publication Critical patent/CN111126157A/zh
Application granted granted Critical
Publication of CN111126157B publication Critical patent/CN111126157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种数据标注方法及装置,首先获取已经进行了初始关节点标注的待处理图像,然后确定出所述待处理图像中的初始关节点代表的关节点信息,基于该关节点信息,调整待处理图像,从而可以正确识别出待处理图像中的关节点,进而获取准确的骨架节点位置,使得深度学习算法的训练数据更准确,进而使用训练数据进行深度学习训练得到的用于识别骨架姿态的模型的识别准确度提高。

Description

一种数据标注方法及装置
技术领域
本发明涉及骨架标注领域,更具体的说,涉及一种数据标注方法及装置。
背景技术
使用大量的包括人体骨架的图像进行深度学习,可以识别出图像中的人物的骨架姿态,在对涉及人体骨架的图像进行深度学习时,如果能够对该图像中的人体骨架的关节点进行正确识别,则可以使得后期进行深度学习时,骨架姿态识别准确率提高。
发明内容
有鉴于此,本发明提供一种数据标注方法及装置,以解决亟需对该图像中的人体骨架的关节点进行正确识别的问题。
为解决上述技术问题,本发明采用了如下技术方案:
一种数据标注方法,包括:
获取已标注出图像中的骨架的初始关节点中的待处理图像;
确定出所述初始关节点所表征的关节点信息;
基于所述关节点信息,对所述待处理图像进行调整。
可选地,确定出所述初始关节点所表征的关节点信息,包括:
获取关节点基准图像;所述关节点基准图像包括基准关节点;
建立所述关节点基准图像中的基准关节点与所述待处理图像中的相应的初始关节点的对应关系;其中,对应后的基准关节点与初始关节点的颜色为同一颜色、且不同的对应后的基准关节点和初始关节点的颜色不同;所述对应后的基准关节点与初始关节点的颜色用于使用户确定与所述基准关节点对应的初始关节点在所述骨架中的位置是否正确;
依据所述对应关系,确定所述初始关节点所表征的关节点信息。
可选地,基于所述关节点信息,对所述待处理图像进行调整,包括:
获取通过点击操作产生的用于选定所述待处理图像中的目标骨架的第一指令;
响应所述第一指令,选定所述待处理图像中的目标骨架;并对所述待处理图像中的目标骨架进行调整。
可选地,对所述待处理图像中的目标骨架进行调整,包括:
获取在所述关节点基准图像上的点击操作对应的点击位置;
确定与所述点击位置距离最近的基准关节点,并作为目标基准关节点;
基于所述对应关系,从所述目标骨架中确定出与所述目标基准关节点对应的初始关节点,并作为目标关节点;
获取通过点击操作输入的所述目标关节点的目标位置,并将所述目标关节点从所述目标关节点的当前位置调整到所述目标位置;或,接收通过点击操作产生的删除所述目标关节点的第二指令,并响应所述第二指令,删除所述目标关节点。
可选地,对所述待处理图像中的目标骨架进行调整,包括:
获取通过点击操作产生的用于对所述目标骨架的所有初始关节点进行删除的第三指令,响应所述第三指令,并对所述目标骨架的所有初始关节点进行删除;
和/或:
获取通过点击操作产生的用于对所述目标骨架的关节点进行添加的第四指令,并获取通过点击操作产生的用于从所述关节点基准图像中确定出待添加的基准关节点,获取通过点击操作产生的用于从所述目标骨架中确定出待添加的关节点的添加位置,并在所述添加位置添加与所述待添加的基准关节点对应的关节点。
一种数据标注装置,包括:
图像获取模块,用于获取已标注出图像中的骨架的初始关节点中的待处理图像;
信息确定模块,用于确定出所述初始关节点所表征的关节点信息;
图像调整模块,用于基于所述关节点信息,对所述待处理图像进行调整。
可选地,所述信息确定模块包括:
图像获取子模块,用于获取关节点基准图像;所述关节点基准图像包括基准关节点;
关系建立子模块,用于建立所述关节点基准图像中的基准关节点与所述待处理图像中的相应的初始关节点的对应关系;其中,对应后的基准关节点与初始关节点的颜色为同一颜色、且不同的对应后的基准关节点和初始关节点的颜色不同;所述对应后的基准关节点与初始关节点的颜色用于使用户确定与所述基准关节点对应的初始关节点在所述骨架中的位置是否正确;
信息确定子模块,用于依据所述对应关系,确定所述初始关节点所表征的关节点信息。
可选地,所述图像调整模块包括:
指令获取子模块,用于获取通过点击操作指令产生的用于选定所述待处理图像中的目标骨架的第一指令;
调整子模块,用于响应所述第一指令,选定所述待处理图像中的目标骨架;并对所述待处理图像中的目标骨架进行调整。
可选地,所述调整子模块包括:
位置获取子模块,用于获取在所述关节点基准图像上的点击操作对应的点击位置;
第一节点确定子模块,用于确定与所述点击位置距离最近的基准关节点,并作为目标基准关节点;
第二节点确定子模块,用于基于所述对应关系,从所述目标骨架中确定出与所述目标基准关节点对应的初始关节点,并作为目标关节点;
节点处理子模块,用于获取通过点击操作输入的所述目标关节点的目标位置,并将所述目标关节点从所述目标关节点的当前位置调整到所述目标位置;或,接收通过点击操作产生的删除所述目标关节点的第二指令,并响应所述第二指令,删除所述目标关节点。
可选地,所述调整子模块用于对所述待处理图像中的目标骨架进行调整时,具体用于:
获取通过点击操作产生的用于对所述目标骨架的所有初始关节点进行删除的第三指令,响应所述第三指令,并对所述目标骨架的所有初始关节点进行删除;
和/或:
获取通过点击操作产生的用于对所述目标骨架的关节点进行添加的第四指令,并获取通过点击操作产生的用于从所述关节点基准图像中确定出待添加的基准关节点;获取通过点击操作产生的用于从所述目标骨架中确定出待添加的关节点的添加位置,并在所述添加位置添加与所述待添加的基准关节点对应的关节点。
相较于现有技术,本发明具有以下有益效果:
本发明提供了一种数据标注方法及装置,首先获取已经进行了初始关节点标注的待处理图像,然后确定出所述待处理图像中的初始关节点代表的关节点信息,基于该关节点信息,调整待处理图像,从而可以正确识别出待处理图像中的关节点,进而获取准确的骨架节点位置,使得深度学习算法的训练数据更准确,进而使用训练数据进行深度学习训练得到的用于识别骨架姿态的模型的识别准确度提高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种数据标注方法的方法流程图;
图2为本发明实施例提供的一种数据标注方法的场景示意图;
图3为本发明实施例提供的另一种数据标注方法的方法流程图;
图4为本发明实施例提供的再一种数据标注方法的方法流程图;
图5为本发明实施例提供的一种数据标注装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了提高通过深度学习方法识别出图像中的人体姿态的准确率,需要识别出深度学习的训练数据(即大量的图像)中的人体的关节点,为此,本领域发明人发现,可以通过包括但不限于Open Pose算法等能够识别到骨架关节点的算法识别出图像中的人体的关节点,但是该算法识别出的关节点的准确度虽然已经很高,但是仍然存在不能够准确识别出关节点的正确位置的情况出现,因此,发明人对此又做了进一步的改进,发现可以在该算法识别出的关节点(称为初始关节点)的基础上,构建一个关节点基准图像,该关节点基准图像用于指示Open Pose算法识别出的关节点的关节点信息(如是鼻子、脖子、右肩、右手肘等中的哪一个),然后人工可以依据该关节点信息确定Open Pose算法识别出的关节点是否正确,若正确,则不需要调整,若不正确,则进行调整,此外,还可以将Open Pose算法识别出的错误的非人体的关节点信息删除,将未识别出的人体的关节点信息补充,进而使得图像中的关节点能够被正确识别。为此,本发明的发明人开了一款关节标注软件,用于实现上述的修改、删除、补充等操作。另外,该关节标注软件不仅可以识别出人体关节,还可以识别出动物关节。具体的,参照图1,本发明提供的数据标注方法可以包括:
S11、获取已标注出图像中的骨架的初始关节点中的待处理图像。
在获取到一图像之后,使用上述的Open Pose算法识别出图像中的关节点,此处为了与后边的关节点区分,称为初始关节点,识别出初始关节点的图像称为待处理图像。OpenPose算法不仅可以识别出初始关节点,还可以按照人体或动物的关节点应有的连接顺序(如脖子关节点连接左肩关节点和右肩关节点、右眼关节点连接鼻子关节点等等)来确定出各个初始关节点的连接顺序。参照图2,图2中一个窗口显示两个画布,图2中的左侧(待处理图像,也为待修改画布)即为使用Open Pose算法识别出的人体的初始关节点以及初始关节点的连接顺序,此外,还可以从图2中看出,Open Pose算法未识别出图像中的右下角的人体的关节点,且将地面上的非人体的物体识别出了初始关节点,因此,需要进一步对OpenPose算法识别出的关节点进行修正。
此外,还可以不进行Open Pose算法识别出的关节点,直接执行后续的关节点标注工作,使用Open Pose算法识别出的关节点是为了减少后续关节点标注的工作量。
S12、确定出所述初始关节点所表征的关节点信息。
仍以图2为例,Open Pose算法虽然识别出了人体的初始关节点,以及初始关节点的连接关系,但是图像中的每一关节点代表什么含义,如是脖子、还是鼻子、右眼等等,这一信息是不能够明确从图像中识别出来,若图像中的人体处于正常直立站姿,则用户可以通过定位的初始关节点明确的识别出该初始关节点表示的是哪一关节点,但是若图像中的人体以一种非直立站姿,如趴着、俯身等姿态,此时虽然识别出了初始关节点,但是用户不能直观确定出初始关节点对应的具体关节点是鼻子、右眼等中的哪一个。
发明人为了解决该问题,提出了一种关节点基准图像,参照图2中的右上角的图像(基准画布),该关节点基准图像是以正常直立标准站姿确定的关节点图像,该关节点基准图像中包括:.18个关节点,分别称为基准关节点,18个基准关节点按照节点ID进行区分,分贝为:
节点ID顺序:{'0':'鼻子','1':'脖子','2':'右肩','3':'右手肘','4':'右手腕','5':'左肩','6':'左手肘','7':'左手腕','8':'右胯','9':'右膝','10':'右脚踝','11':'左胯','12':'左膝','13':'左脚踝','14':'右眼','15':'左眼','16':'右耳','17':'左耳'}。
在得到关节点基准图像之后,就可以基于关节点基准图像进行关节点信息的确定,具体的,参照图3,步骤S12可以包括:
S21、获取关节点基准图像。
所述关节点基准图像包括基准关节点以及基准关节点的连接关系。关节点基准图像可以参照图2。
S22、建立所述关节点基准图像中的基准关节点与所述待处理图像中的相应的初始关节点的对应关系。
参照图2,左边是通过Open Pose算法识别出的人体的初始关节点以及初始关节点的连接顺序,右边是建立的关节点基准图像,不管是初始关节点还是基准关节点,每一关节点代表的含义,即对应实际骨架哪一关节点是确定的,进而将对应同一骨架的关节点的基准关节点和初始关节点进行对应,如将均对应鼻子的基准关节点和初始关节点进行对应,将均对应脖子的基准关节点和初始关节点进行对应,这样就可以建立基准关节点和初始关节点的对应关系,此外,对应关系中的基准关节点和初始关节点可以称为一对关节点,一对关节点中的基准关节点和初始关节点的颜色相同,不同对关节点的颜色不同,如对应脖子的基准关节点和初始关节点的颜色均为绿色,对应右肩的基准关节点和初始关节点的颜色均为黄色,也就是说,图2中的左图和右图中表征同一骨架的关节点的基准关节点和初始关节点,进而用户就可以按照颜色,依据关节点基准图像确定待处理图像中的每一初始关节点在骨架中的位置是否正确。
S23、依据所述对应关系,确定所述初始关节点所表征的关节点信息。
上述步骤S22介绍了建立关节点基准图像中的基准关节点与所述待处理图像中的相应的初始关节点的对应关系,由于关节点基准图像中的基准关节点代表哪一关节点是已知的,进而可以依据对应关系确定出待处理图像中的每一初始关节点所表征的关节点信息,即代表骨架中的哪一关节点。
需要说明的是,除了使用基准画布显示基准关节点之外,还可以将18个基准关节点分成18个按钮,通过按钮选择相应的基准关节点。
S13、基于所述关节点信息,对所述待处理图像进行调整。
在实际应用中,对待处理图像的调整包括修改已有的初始关节点的位置、删除错误的初始关节点、以及补充未识别的初始关节点。
本实施例中,首先获取已经进行了初始关节点标注的待处理图像,然后确定出所述待处理图像中的初始关节点代表的关节点信息,基于该关节点信息,调整待处理图像,从而可以正确识别出待处理图像中的关节点,进而获取准确的骨架节点位置,使得深度学习算法的训练数据更准确,进而使用训练数据进行深度学习训练得到的用于识别骨架姿态的模型的识别准确度提高。
上述介绍了“基于所述关节点信息,对所述待处理图像进行调整”,现对其具体实现过程进行介绍,具体的,若待处理图像中包括至少两个骨架时,需要首先确定出需要处理的目标骨架,则步骤S13具体可以包括:
获取通过点击操作产生的用于选定所述待处理图像中的目标骨架的第一指令,响应所述第一指令,选定所述待处理图像中的目标骨架,并对所述待处理图像中的目标骨架进行调整。
在实际应用中,已经预先为待处理图像中的每一骨架设置了标识,即ID,如图2中的位于骨架上的0、1、2、3。该标识用于确定需要对哪一骨架上的关节点进行调整。
本实施例中的关节标注软件具有写入、返回、ID、填补、清除整个人、修改和删除这几项功能,其中,写入是指保存修改后的结果数据,返回是对上一帧图片重新修改。ID键中包括下拉菜单,通过点击下拉菜单中的ID号,就可以确定对哪一目标骨架进行修改,如选择ID是0(此时为用户通过鼠标点击操作选择出的需要进行修改的目标骨架),则对图2中的0号骨架进行修改,此时的0号骨架即为上述提及的目标骨架,选择出目标骨架之后,目标骨架的表征初始关节点的连接关系的连线的颜色会发生变化,如由黄色变成黑色,以使用户可以明确从图中看出修改的是哪一骨架。
填补是指填补待处理图像中未识别出的骨架的关节点,清除整个人是指对不是人体或动物骨架的关节点进行删除,修改是指修改初始关节点的位置,支持鼠标左键点击修改,删除是指删除某一个初始关节点,支持鼠标右键点击删除。
1、对目标骨架中的初始关节点位置的调整(修改和删除)进行具体解释说明:
参照图4,对所述待处理图像中的目标骨架进行调整,可以包括:
S31、获取在所述关节点基准图像上的点击操作对应的点击位置。
具体的,待处理图像中的每一初始关节点已经用不同的颜色标识出来,进而用户或技术人员就可以参考关节点基准图像中的基准关节点的颜色和位置确定待处理图像中的每一初始关节点的位置是否正确,若发现某些初始关节点的位置不正确,则可以对其位置进行修正,举例来说,以左肩的初始关节点的位置不正确,此时可以通过鼠标点击关节点基准图像中的表征左肩的基准关节点,即会产生一个点击位置。
S32、确定与所述点击位置距离最近的基准关节点,并作为目标基准关节点。
在实际应用中,通过鼠标点击会存在点击位置不精准的现象,此时需要依据用户的点击位置,计算每一基准关节点的位置与点击位置的2D距离,选取出距离最小的基准关节点,并作为目标基准关节点,此时可以以提示框,如文本提示框的形式提示选取的目标基准关节点是哪一关节点,如是左膝盖点。此时人工可以确认是否是要左膝盖点,如果是,则执行后续修改操作,如果不是,则重新通过鼠标点击选择要修改的关节点,即重新执行步骤S31。
S33、基于所述对应关系,从所述目标骨架中确定出与所述目标基准关节点对应的初始关节点,并作为目标关节点。
由于已经预先有关节点基准图像中的基准关节点与所述待处理图像中的相应的初始关节点的对应关系,此时通过对应关系,确定图2中的待修改图像中的需要修改的关节点,此时要修改的初始关节点的颜色可以采用高亮等方式进行重点显示,以使用户了解需要修改的初始关节点的位置。此时需要修改的初始关节点称为目标关节点。
S34、获取通过点击操作输入的所述目标关节点的目标位置,并将所述目标关节点从所述目标关节点的当前位置调整到所述目标位置。
若用户想要修改该初始关节点的位置,则在待处理图像中通过鼠标左键点击选择出正确的位置,即目标位置,然后就可以自动将所述目标关节点从所述目标关节点的当前位置调整到所述目标位置。此时该目标关节点会有个新的位置,即有新坐标点,连接该新坐标点的线段会发生颜色变化,以重点提示用户此处修改了,如从黑色变成红色。
用户修改了该初始关节点之后,还可以依次修改其他的初始关节点的位置。
S35、接收通过点击操作产生的删除所述目标关节点的第二指令,并响应所述第二指令,删除所述目标关节点。
若用户想要删除该初始关节点,则点击鼠标右键删除即可。此时,会在提示框中提示删除该初始关节点,若用户确认删除,则不仅删除了该初始关节点,与该初始关节点的连线也会相应删除。
需要说明的是,步骤S34和步骤S35,一个是初始关节点的位置修改操作,一个是删除操作,在实际应用中,依据用户需求进行相应步骤的选择。
2、对删除某一目标骨架的初始关节点进行具体解释说明:
具体的,对所述待处理图像中的目标骨架进行调整,可以包括:
获取通过点击操作产生的用于对所述目标骨架的所有初始关节点进行删除的第三指令,响应所述第三指令,并对所述目标骨架的所有初始关节点进行删除。
参照图2,图2中的ID号为2好的骨架是为非人体或动物骨架,此时应该删除,可以通过点击ID键,选择2号,然后点击“清除整个人”的按键,即此时可以获取到获取通过点击操作产生的用于对所述目标骨架的所有初始关节点进行删除的第三指令,响应所述第三指令,并对所述目标骨架(即2号骨架)的所有初始关节点进行删除。
3、对添加一骨架中的关节点进行具体解释说明:
具体的,对所述待处理图像中的目标骨架进行调整,可以包括:
1)获取通过点击操作产生的用于对所述目标骨架的关节点进行添加的第四指令,并获取通过点击操作产生的用于从所述关节点基准图像中确定出待添加的基准关节点。
具体的,图2中的左下角的人体骨架未识别出关节点,此时应该填加盖人体骨架的关键点,首先,用户通过鼠标点击该填补按钮以添加新的ID以及该ID对应的人体骨架的第四指令,然后从关节点基准图像中点击需要添加的基准关节点,如需要添加一个右肩,则点击右肩对应的基准关节点。此时可以在提示框中显示添加右肩信息。
2)获取通过点击操作产生的用于从所述目标骨架中确定出待添加的关节点的添加位置,并在所述添加位置添加与所述待添加的基准关节点对应的关节点。
用户点击需要添加关节点的骨架的右肩位置,即可以在该位置添加右肩对应的关节点,然后用户依次添加该骨架的其他关节点即可。添加完成后,点击写入按键,保存即可。
本实施例中,通过预先设定的一个基准画布,根据其设定及选择相应的对有数据的画布进行修改,这一想法化繁为简,使标注工作简单,易操作,更加人性化以及提高标注准确率。
可选地,在上述数据标注方法的实施例的基础上,本发明的另一实施例提供了一种数据标注装置,参照图5,可以包括:
图像获取模块11,用于获取已标注出图像中的骨架的初始关节点中的待处理图像;
信息确定模块12,用于确定出所述初始关节点所表征的关节点信息;
图像调整模块13,用于基于所述关节点信息,对所述待处理图像进行调整。
进一步,所述信息确定模块包括:
图像获取子模块,用于获取关节点基准图像;所述关节点基准图像包括基准关节点;
关系建立子模块,用于建立所述关节点基准图像中的基准关节点与所述待处理图像中的相应的初始关节点的对应关系;其中,对应后的基准关节点与初始关节点的颜色为同一颜色、且不同的对应后的基准关节点和初始关节点的颜色不同;所述对应后的基准关节点与初始关节点的颜色用于使用户确定与所述基准关节点对应的初始关节点在所述骨架中的位置是否正确;
信息确定子模块,用于依据所述对应关系,确定所述初始关节点所表征的关节点信息。
本实施例中,首先获取已经进行了初始关节点标注的待处理图像,然后确定出所述待处理图像中的初始关节点代表的关节点信息,基于该关节点信息,调整待处理图像,从而可以正确识别出待处理图像中的关节点,进而获取准确的骨架节点位置,使得深度学习算法的训练数据更准确,进而使用训练数据进行深度学习训练得到的用于识别骨架姿态的模型的识别准确度提高。
需要说明的是,本实施例中的各个模块和子模块的工作过程,请参照上述实施例中的相应说明,在此不再赘述。
可选地,在上述数据标注装置的实施例的基础上,所述图像调整模块包括:
指令获取子模块,用于获取通过点击操作产生的用于选定所述待处理图像中的目标骨架的第一指令;
调整子模块,用于响应所述第一指令,选定所述待处理图像中的目标骨架;并对所述待处理图像中的目标骨架进行调整。
进一步,所述调整子模块包括:
位置获取子模块,用于获取在所述关节点基准图像上的点击操作对应的点击位置;
第一节点确定子模块,用于确定与所述点击位置距离最近的基准关节点,并作为目标基准关节点;
第二节点确定子模块,用于基于所述对应关系,从所述目标骨架中确定出与所述目标基准关节点对应的初始关节点,并作为目标关节点;
节点处理子模块,用于获取通过点击操作输入的所述目标关节点的目标位置,并将所述目标关节点从所述目标关节点的当前位置调整到所述目标位置;或,接收通过点击操作产生的删除所述目标关节点的第二指令,并响应所述第二指令,删除所述目标关节点。
进一步,所述调整子模块用于对所述待处理图像中的目标骨架进行调整时,具体用于:
获取通过点击操作产生的用于对所述目标骨架的所有初始关节点进行删除的第三指令,响应所述第三指令,并对所述目标骨架的所有初始关节点进行删除;
和/或:
获取通过点击操作产生的用于对所述目标骨架的关节点进行添加的第四指令,并获取通过点击操作产生的用于从所述关节点基准图像中确定出待添加的基准关节点;获取通过点击操作产生的用于从所述目标骨架中确定出待添加的关节点的添加位置,并在所述添加位置添加与所述待添加的基准关节点对应的关节点。
本实施例中,通过预先设定的一个基准画布,根据其设定及选择相应的对有数据的画布进行修改,这一想法化繁为简,使标注工作简单,易操作,更加人性化以及提高标注准确率。
需要说明的是,本实施例中的各个模块和子模块的工作过程,请参照上述实施例中的相应说明,在此不再赘述。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据标注方法,其特征在于,包括:
获取已标注出图像中的骨架的初始关节点中的待处理图像;
确定出所述初始关节点所表征的关节点信息;
基于所述关节点信息,对所述待处理图像进行调整。
2.根据权利要求1所述的数据标注方法,其特征在于,确定出所述初始关节点所表征的关节点信息,包括:
获取关节点基准图像;所述关节点基准图像包括基准关节点;
建立所述关节点基准图像中的基准关节点与所述待处理图像中的相应的初始关节点的对应关系;其中,对应后的基准关节点与初始关节点的颜色为同一颜色、且不同的对应后的基准关节点和初始关节点的颜色不同;所述对应后的基准关节点与初始关节点的颜色用于使用户确定与所述基准关节点对应的初始关节点在所述骨架中的位置是否正确;
依据所述对应关系,确定所述初始关节点所表征的关节点信息。
3.根据权利要求1所述的数据标注方法,其特征在于,基于所述关节点信息,对所述待处理图像进行调整,包括:
获取通过点击操作产生的用于选定所述待处理图像中的目标骨架的第一指令;
响应所述第一指令,选定所述待处理图像中的目标骨架;并对所述待处理图像中的目标骨架进行调整。
4.根据权利要求3所述的数据标注方法,其特征在于,对所述待处理图像中的目标骨架进行调整,包括:
获取在所述关节点基准图像上的点击操作对应的点击位置;
确定与所述点击位置距离最近的基准关节点,并作为目标基准关节点;
基于所述对应关系,从所述目标骨架中确定出与所述目标基准关节点对应的初始关节点,并作为目标关节点;
获取通过点击操作输入的所述目标关节点的目标位置,并将所述目标关节点从所述目标关节点的当前位置调整到所述目标位置;或,接收通过点击操作产生的删除所述目标关节点的第二指令,并响应所述第二指令,删除所述目标关节点。
5.根据权利要求3所述的数据标注方法,其特征在于,对所述待处理图像中的目标骨架进行调整,包括:
获取通过点击操作产生的用于对所述目标骨架的所有初始关节点进行删除的第三指令,响应所述第三指令,并对所述目标骨架的所有初始关节点进行删除;
和/或:
获取通过点击操作产生的用于对所述目标骨架的关节点进行添加的第四指令,并获取通过点击操作产生的用于从所述关节点基准图像中确定出待添加的基准关节点,获取通过点击操作产生的用于从所述目标骨架中确定出待添加的关节点的添加位置,并在所述添加位置添加与所述待添加的基准关节点对应的关节点。
6.一种数据标注装置,其特征在于,包括:
图像获取模块,用于获取已标注出图像中的骨架的初始关节点中的待处理图像;
信息确定模块,用于确定出所述初始关节点所表征的关节点信息;
图像调整模块,用于基于所述关节点信息,对所述待处理图像进行调整。
7.根据权利要求6所述的数据标注装置,其特征在于,所述信息确定模块包括:
图像获取子模块,用于获取关节点基准图像;所述关节点基准图像包括基准关节点;
关系建立子模块,用于建立所述关节点基准图像中的基准关节点与所述待处理图像中的相应的初始关节点的对应关系;其中,对应后的基准关节点与初始关节点的颜色为同一颜色、且不同的对应后的基准关节点和初始关节点的颜色不同;所述对应后的基准关节点与初始关节点的颜色用于使用户确定与所述基准关节点对应的初始关节点在所述骨架中的位置是否正确;
信息确定子模块,用于依据所述对应关系,确定所述初始关节点所表征的关节点信息。
8.根据权利要求6所述的数据标注装置,其特征在于,所述图像调整模块包括:
指令获取子模块,用于获取通过点击操作指令产生的用于选定所述待处理图像中的目标骨架的第一指令;
调整子模块,用于响应所述第一指令,选定所述待处理图像中的目标骨架;并对所述待处理图像中的目标骨架进行调整。
9.根据权利要求8所述的数据标注装置,其特征在于,所述调整子模块包括:
位置获取子模块,用于获取在所述关节点基准图像上的点击操作对应的点击位置;
第一节点确定子模块,用于确定与所述点击位置距离最近的基准关节点,并作为目标基准关节点;
第二节点确定子模块,用于基于所述对应关系,从所述目标骨架中确定出与所述目标基准关节点对应的初始关节点,并作为目标关节点;
节点处理子模块,用于获取通过点击操作输入的所述目标关节点的目标位置,并将所述目标关节点从所述目标关节点的当前位置调整到所述目标位置;或,接收通过点击操作产生的删除所述目标关节点的第二指令,并响应所述第二指令,删除所述目标关节点。
10.根据权利要求8所述的数据标注装置,其特征在于,所述调整子模块用于对所述待处理图像中的目标骨架进行调整时,具体用于:
获取通过点击操作产生的用于对所述目标骨架的所有初始关节点进行删除的第三指令,响应所述第三指令,并对所述目标骨架的所有初始关节点进行删除;
和/或:
获取通过点击操作产生的用于对所述目标骨架的关节点进行添加的第四指令,并获取通过点击操作产生的用于从所述关节点基准图像中确定出待添加的基准关节点;获取通过点击操作产生的用于从所述目标骨架中确定出待添加的关节点的添加位置,并在所述添加位置添加与所述待添加的基准关节点对应的关节点。
CN201911181234.XA 2019-11-27 2019-11-27 一种数据标注方法及装置 Active CN111126157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911181234.XA CN111126157B (zh) 2019-11-27 2019-11-27 一种数据标注方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911181234.XA CN111126157B (zh) 2019-11-27 2019-11-27 一种数据标注方法及装置

Publications (2)

Publication Number Publication Date
CN111126157A true CN111126157A (zh) 2020-05-08
CN111126157B CN111126157B (zh) 2023-08-25

Family

ID=70496837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911181234.XA Active CN111126157B (zh) 2019-11-27 2019-11-27 一种数据标注方法及装置

Country Status (1)

Country Link
CN (1) CN111126157B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818803A (zh) * 2021-01-26 2021-05-18 广州虎牙科技有限公司 图片的标注方法以及相关装置、设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069423A (zh) * 2015-07-29 2015-11-18 北京格灵深瞳信息技术有限公司 一种人体姿态检测方法及装置
US20160078289A1 (en) * 2014-09-16 2016-03-17 Foundation for Research and Technology - Hellas (FORTH) (acting through its Institute of Computer Gesture Recognition Apparatuses, Methods and Systems for Human-Machine Interaction
CN108805058A (zh) * 2018-05-29 2018-11-13 北京字节跳动网络技术有限公司 目标对象变化姿态识别方法、装置及计算机设备
CN108830215A (zh) * 2018-06-14 2018-11-16 南京理工大学 基于人员骨架信息的危险行为识别方法
CN108875523A (zh) * 2017-12-28 2018-11-23 北京旷视科技有限公司 人体关节点检测方法、装置、***和存储介质
CN109299659A (zh) * 2018-08-21 2019-02-01 中国农业大学 一种基于rgb相机和深度学习的人体姿态识别方法与***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078289A1 (en) * 2014-09-16 2016-03-17 Foundation for Research and Technology - Hellas (FORTH) (acting through its Institute of Computer Gesture Recognition Apparatuses, Methods and Systems for Human-Machine Interaction
CN105069423A (zh) * 2015-07-29 2015-11-18 北京格灵深瞳信息技术有限公司 一种人体姿态检测方法及装置
CN108875523A (zh) * 2017-12-28 2018-11-23 北京旷视科技有限公司 人体关节点检测方法、装置、***和存储介质
CN108805058A (zh) * 2018-05-29 2018-11-13 北京字节跳动网络技术有限公司 目标对象变化姿态识别方法、装置及计算机设备
CN108830215A (zh) * 2018-06-14 2018-11-16 南京理工大学 基于人员骨架信息的危险行为识别方法
CN109299659A (zh) * 2018-08-21 2019-02-01 中国农业大学 一种基于rgb相机和深度学习的人体姿态识别方法与***

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
THI-LAN LE等: "Human posture recognition using human skeleton provided by Kinect", 《网页在线公开:HTTPS://IEEEXPLORE.IEEE.ORG/STAMP/STAMP.JSP?TP=&ARNUMBER=6482417》 *
吕青等: "基于分块变化检测的人体肢体运动跟踪", 《大连民族学院学报》 *
曾志超等: "三维人体模型姿态与形状重构", 《计算机辅助设计与图形学学报》 *
蔡鹏等: "基于肢体调整的人体姿态估计", 《***仿真学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818803A (zh) * 2021-01-26 2021-05-18 广州虎牙科技有限公司 图片的标注方法以及相关装置、设备

Also Published As

Publication number Publication date
CN111126157B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
JP7197971B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
US20040228528A1 (en) Image editing apparatus, image editing method and program
WO2017005014A1 (zh) 搜索匹配商品的方法及装置
US11238273B2 (en) Data processing method and apparatus, electronic device and storage medium
US20140085330A1 (en) Image processing device, image processing method, computer readable medium
JP2017187882A (ja) 画像処理に用いられるコンピュータープログラム
JP2007052575A (ja) メタデータ付与装置およびメタデータ付与方法
CN113239220A (zh) 图像推荐方法、装置、终端及可读存储介质
CN115244578A (zh) 推测装置、学习装置、教学数据制作装置、推测方法、学习方法、教学数据制作方法以及程序
CN111126157B (zh) 一种数据标注方法及装置
JP5293636B2 (ja) モデル画像作成装置、およびモデル画像作成装置のモデル画像作成プログラム
AU2018456044B2 (en) Anthropometric data portable acquisition device and method of collecting anthropometric data
CN110826487A (zh) 一种人脸表情数据采集方法
CN110391017A (zh) 信息处理装置以及信息处理方法
CN111291746A (zh) 影像处理***及影像处理方法
CN109255687A (zh) 商品虚拟试装***及试装方法
CN113487670A (zh) 一种化妆镜及状态调整方法
CN116628250A (zh) 图像生成方法、装置、电子设备及计算机可读取存储介质
JP2020123105A (ja) 学習装置、学習方法、学習プログラム、及び対象物認識装置
CN116320711A (zh) 图像拍摄方法及装置
CN113313050A (zh) 一种基于视频流的皮肤智能检测***
KR20220120731A (ko) 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법 및 장치
CN113676721A (zh) 一种ar眼镜的图像获取方法及***
RU2789286C2 (ru) Портативное устройство получения антропометрических данных и способ сбора антропометрических данных
CN114596582B (zh) 一种带视觉和力反馈的增强现实交互方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant