CN116129524B - 一种基于红外图像的姿态自动识别***和方法 - Google Patents
一种基于红外图像的姿态自动识别***和方法 Download PDFInfo
- Publication number
- CN116129524B CN116129524B CN202310007858.XA CN202310007858A CN116129524B CN 116129524 B CN116129524 B CN 116129524B CN 202310007858 A CN202310007858 A CN 202310007858A CN 116129524 B CN116129524 B CN 116129524B
- Authority
- CN
- China
- Prior art keywords
- image
- infrared
- target behavior
- gesture
- infrared image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000006399 behavior Effects 0.000 claims description 78
- 230000000875 corresponding effect Effects 0.000 claims description 62
- 238000012549 training Methods 0.000 claims description 14
- 230000036544 posture Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 3
- 230000003542 behavioural effect Effects 0.000 claims description 2
- 238000002372 labelling Methods 0.000 description 9
- 210000003128 head Anatomy 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 238000001467 acupuncture Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明提供了一种基于红外图像的姿态自动识别***和方法,能够在检测到位于拍摄空间内的用户处于预设的身体状态并且站立在拍摄位置标识时,自动采集用户按照不同姿态做出的动作,并对做出的动作准确性进行判断,能够使得用户在没有外人的情况下按照不同姿态轻松做动作,不会产生心理压力。此外,由于不需要专业人员的参与,能够降低拍摄成本,并且能够确保拍摄的图像更加准确。
Description
技术领域
本发明涉及图像处理领域,特别是涉及一种基于红外图像的姿态自动识别***和方法。
背景技术
当前,红外成像技术在医学领域得到了广泛应用。在一些应用场景中,通过获取用户在不同姿态下的红外图像,对感兴趣区域进行分析,以知晓用户的身体机能情况。当前,该应用场景的红外图像的获取方式为:用户裸露身体置于拍摄空间中,按照指定的基准姿态做出对应的姿态,专业人员通过红外摄像头实时观测用户做出的姿态,凭借专业经验判断该姿态是否满足要求,如果满足要求,则采集该姿态下的红外图像,如果不满足,通过语音或者人工提示方式提示用户纠正当前姿态,直到满足要求。然而,这种获取方式会存在以下问题:(1)虽然是红外摄像头拍摄的图像不会过多的涉及隐私部位,但或多或少会涉及一些,而且在知晓有人实时通过监控图像观测裸露身体的姿态时,用户心理上会产生压力,难免会紧张,进而导致姿态做不到位,在需要拍摄多张不同姿态的图像时,会导致拍摄时间长,拍摄效率低,用户体验差。(2)由于需要专业人员现场判断用户的姿态是否满足要求,这需要专门对人员进行培训,会增加拍摄成本。并且,这种通过人为判断的方式也会存在主观因素,会导致拍摄的图像与目标图像存在误差,进而会影响分析结果的准确性。
发明内容
针对上述技术问题,本发明采用的技术方案为:
本发明一实施例提供一种基于红外图像的姿态自动识别***,包括:通信连接的处理器、红外拍摄装置、存储器和显示装置,所述红外拍摄装置和所述显示装置设置在拍摄空间内,所述拍摄空间的地面上设置有拍摄位置标识;所述存储器中存储有m个目标行为姿态图像和对应的信息表,所述信息表的第i行包括(Ci,Ri),Ci为形成第i个目标行为姿态的关键点集合,Ci=(Ci1,Ci2,…,Cij,…,Cif(i)),Cij为形成第i个目标行为姿态的第j个关键点的ID,j的取值为1到f(i),f(i)为Ci中的关键点数量,Ri为Ci中的关键点在第i个目标行为姿态上的位置关系描述列表,Ri的第j行包括{(C1 ij,R1 ij,),(C2 ij,R2 ij),…,(Ck ij,Rk ij),…,(Ch (i,j) ij,Rh(i,j) ij)},Ck ij为与Cij关联的第k个关联关键点的ID,Rk ij为第j个关键点Cij和Ck ij在第i个目标行为姿态上的位置关系,k的位置为1到h(i,j),h(i,j)为与Cij关联的关键点的数量;i的取值为1到m;
其中,所述处理器用于执行计算机程序以实现如下步骤:
S100,在检测到位于拍摄空间内的用户处于预设的身体状态并且站立在所述拍摄位置标识时,初始化r=1并执行S200;
S200,将当前需要拍摄的第r个目标行为姿态图像以动画的方式在所述显示装置上进行显示,以指示所述用户按照显示的目标行为姿态图像做出对应的动作;执行S300;
S300,按照设定采样间隔获取所述红外拍摄装置拍摄的用户图像;
S400,基于设定的红外图像识别模型从当前获取的图像帧中提取与当前目标行为姿态图像r对应的关键点,形成关键点集C=(C1,C2,…,Cs,…,Cf(r)),Cs为从当前获取的图像帧中提取的第s个关键点,s的取值为1到f(r),f(r)为当前目标行为姿态图像r对应的关键点数量;
S500,遍历C,如果当前获取的图像帧的任一Cs和对应的关联关键点之间的位置关系符合当前目标行为姿态图像r对应的位置关系描述列表,则将当前获取的图像帧作为当前目标行为姿态图像r对应的目标图像,并执行S600;否则,输出指示用户矫正当前姿态的提示信息,并执行S200;
S600,设置r=r+1,如果r≤m,执行S200;否则,退出控制程序。
本发明另一实施例提供一种基于红外图像的姿态自动识别方法,包括以下步骤:
S1,在检测到位于拍摄空间内的用户处于预设的身体状态并且站立在所述拍摄位置标识时,初始化r=1并执行S2;
S2,将当前需要拍摄的第r个目标行为姿态图像以动画的方式在所述显示装置上进行显示,以指示所述用户按照显示的目标行为姿态图像做出对应的动作;执行S3;
S3,按照设定采样间隔获取所述红外拍摄装置拍摄的用户图像;
S4,基于设定的红外图像识别模型从当前获取的图像帧中提取与当前目标行为姿态图像r对应的关键点,形成关键点集C=(C1,C2,…,Cs,…,Cf(r)),Cs为从当前获取的图像帧中提取的第s个关键点,s的取值为1到f(r),f(r)为当前目标行为姿态图像r对应的关键点数量;
S5,遍历C,如果当前获取的图像帧的任一Cs和对应的关联关键点之间的位置关系符合当前目标行为姿态图像r对应的位置关系描述列表,则将当前获取的图像帧作为当前目标行为姿态图像r对应的目标图像,并执行S6;否则,输出指示用户矫正当前姿态的提示信息,并执行S2;
S6,设置r=r+1,如果r≤m,执行S2;否则,退出控制程序。
本发明至少具有以下有益效果:
本发明实施例提供的基于红外图像的姿态自动识别***和方法,能够自动采集用户按照不同姿态做出的动作,并对做出的动作准确性进行判断,能够使得用户在没有外人的情况下按照不同姿态轻松做动作,不会产生心理压力。此外,由于不需要专业人员的参与,能够降低拍摄成本,并且能够确保拍摄的图像更加准确。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于红外图像的姿态自动识别***的结构框图。
图2为本发明一实施例提供的基于红外图像的姿态自动识别***执行计算机程序时实现的方法流程图。
图3为目标行为姿态的形成结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种基于红外图像的姿态自动识别***,如图1所示,可包括:通信连接的处理器1、红外拍摄装置2、存储器3和显示装置4。其中,所述红外拍摄装置2和所述显示装置4设置在拍摄空间5内,所述拍摄空间5的地面上设置有拍摄位置标识6。
在本发明实施例中,红外拍摄装置2可为现有结构。拍摄空间5为封闭区域,拍摄位置标识6可为引导用户站立的标识,例如,两只脚印等。
所述存储器中存储有m个目标行为姿态图像和对应的信息表,所述信息表的第i行包括(Ci,Ri),Ci为形成第i个目标行为姿态的关键点集合,Ci=(Ci1,Ci2,…,Cij,…,Cif(i)),Cij为形成第i个目标行为姿态的第j个关键点的ID,j的取值为1到f(i),f(i)为Ci中的关键点数量,Ri为Ci中的关键点在第i个目标行为姿态上的位置关系描述列表,Ri的第j行包括{(C1 ij,R1 ij,),(C2 ij,R2 ij),…,(Ck ij,Rk ij),…,(Ch(i,j) ij,Rh(i,j) ij)},Ck ij为与Cij关联的第k个关联关键点的ID,Rk ij为第j个关键点Cij和Ck ij在第i个目标行为姿态上的位置关系,k的位置为1到h(i,j),h(i,j)为与Cij关联的关键点的数量;i的取值为1到m。
在本发明实施例中,m个目标行为姿态为基于实际需要确定的姿态,在一个应用场景中,m个目标行为姿态可被设置为通过设置的目标行为姿态能够知晓身体上的所有感兴趣区域,这些感兴趣区域用于分析身体的机能状态。例如,在一个具体应用场景中,可包括如下目标行为姿态:整体前位、整体后位、胸部前位、胸部后位、举手前位、举手后位、整体左侧位、整体右侧位、抱头正位、抱头左位、抱头右位、侧脸左位和侧脸右位等。
在本发明实施例中,每个目标行为姿态可通过对应的关键点连接形成,即通过对应的关键点连接形成的网络。目标行为姿态位于人体的四肢上的关键点可为关节,位于躯干上的关键点可为穴位。在一个示意性实施例中,如图3所示,整体前位对应的关键点可包括:额头11、下巴12、脖子13、左肩14、左肘15、左手腕16、左胯17、左膝18、左脚踝19、右脚踝20、右膝21、右胯22、右手腕23、右肘24和右肩25。
本领域技术人员知晓,不同的目标行为姿态可基于现有方式获取。
在本发明实施例中,关键点的关联关键点是指在目标行为姿态所形成的连接网络上存在连接关系的关键点,即相连接的关键点。关键点和关联关键点之间的位置关系可指关键点和关联关键点之间的连线在所属图像上的斜率。本领域技术人员知晓,关键点和关联关键点之间的连线在所属图像上的斜率的获取可为现有技术。
进一步地,在本发明实施例中,所述处理器用于执行计算机程序以实现如下步骤:
S100,在检测到位于拍摄空间内的用户处于预设的身体状态并且站立在所述拍摄位置标识时,初始化r=1并执行S200。
在本发明实施例中,当检测到用户进入拍摄空间时,处理器1会在显示装置4上显示提示用户处于预设的身体状态和站立在拍摄位置标识6的提示画面。在本发明实施例中,预设的身体状态是指用户裸露身体的状态。在用户进入拍摄空间后,红外摄像装置会实时采集用户的图像,当处理器基于红外摄像装置采集的图像获取到用户处于预设的身体状态并且站立在所述拍摄位置标识时,会进入姿态图像获取阶段。
S200,将当前需要拍摄的第r个目标行为姿态图像以动画的方式在所述显示装置上进行显示,以指示所述用户按照显示的目标行为姿态图像做出对应的动作;执行S300。
处理器1会按照设定顺序将目标行为姿态图像依次在显示装置4上以动画方式进行显示,以引导用户做出对应的动作。
S300,按照设定采样间隔获取所述红外拍摄装置拍摄的用户图像。
在本发明实施例中,设定采样间隔可基于实际需要进行设置。在一个示例中,可对红外拍摄装置采集的每帧图像进行处理。优选,可对红外拍摄装置采集的每帧图像进行去重处理,例如,当1~5帧图像重复时,保留第1帧图像并删除与第1帧重复的第2~5帧图像,以节约计算量。优选,可对红外拍摄装置采集的每帧图像进行间隔处理,例如,每隔5~10帧图像进行处理,以节约计算量。
S400,基于设定的红外图像识别模型从当前获取的图像帧中提取与当前目标行为姿态图像r对应的关键点,形成关键点集C=(C1,C2,…,Cs,…,Cf(r)),Cs为从当前获取的图像帧中提取的第s个关键点,s的取值为1到f(r),f(r)为当前目标行为姿态图像r对应的关键点数量。
在本发明一示意性实施例中,所述设定的红外图像识别模型可通过如下步骤获取:
S10,获取m个红外图像样本组,每个红外图像样本组包括基于对应的目标行为姿态图像获取的k个红外图像。
具体地,可让多个不同用户分别按照m个目标行为姿态做出相应的动作,然后每个用户在每个目标行为姿态下可获取多张红外图像,得到m个红外图像样本组。k的取值可基于实际情况确定,例如,可为数千级别。
S12,对每个红外图像对应的关键点进行标注,得到标注后的m个红外图像样本组。
在该实施例中,标注可为手动标注。
S14,基于标注后的m个红外图像样本组对构建的红外图像识别模型进行训练,将训练后的红外图像识别模型作为设定的红外图像识别模型。
在本发明实施例中,红外图像识别模型可为神经网络模型,具体可为深度神经网络模型。本领域技术人员知晓,任何基于标注后的m个红外图像样本组对构建的红外图像识别模型进行训练,将训练后的红外图像识别模型作为设定的红外图像识别模型的方法均属于本申请的保护范围。
在本发明另一示意性实施例中,所述设定的红外图像识别模型可通过如下步骤获取:
S20,获取m个红外图像样本组,每个红外图像样本组包括基于对应的目标行为姿态图像获取的k个红外图像,并且,每个红外图像样本组包括多个对象的红外图像。
S22,对属于同一对象的多个图像中的关键帧图像对应的关键点进行标注,并基于标注的关键帧图像对非关键帧图像对应的关键点进行自动标注,得到标注后的m个红外图像样本组。
在该实施例中,同一对象的关键帧图像的标注可为手动标注,非关键帧图像的标注可基于目标追踪算法进行确定,也可基于线性插值算法或型变网络对非关键帧中的关键点进行标注。
S24,基于标注后的m个红外图像样本组对构建的红外图像识别模型进行训练,将训练后的红外图像识别模型作为设定的红外图像识别模型。
本实施例的红外图像识别模型的获取方式与前述实施例基本相同,不同之处在于,样本的标注方式不同,本实施例的标注方式能够减少标注的工作量。
在本发明另一示意性实施例中,所述设定的红外图像识别模型可通过如下步骤获取:
S30,获取m个红外图像样本组,每个红外图像样本组包括基于对应的目标行为姿态图像获取的k个红外图像。
S32,将m个红外图像样本组输入到已训练的可见光图像识别模型中进行训练,得到标注有关键点的m个输出图像组。
已训练的可见光图像识别模型可为现有的可见光图像识别模型。
S34,基于所述信息表,对所述标注有关键点的m个输出图像组进行修正,得到修正后的m个红外图像组。
S36,基于修正后的m个红外图像组对构建的红外图像识别模型进行训练,将训练后的红外图像识别模型作为设定的红外图像识别模型。
本实施例的红外图像识别模型的获取方式与前述实施例基本相同,不同之处在于,样本的标注方式不同,与前述实施例相比,由于将经过已训练的可见光图像识别模型中训练得到标注有关键点的m个输出图像组进行修正标注,相比于前述实施例,能够进一步地减少标注的工作量。
在本发明另一实施例中,S36可被替换为:
S38,基于修正后的m个红外图像组对已训练的可见光图像识别模型进行训练,将训练后的可见光图像识别模型作为设定的红外图像识别模型。
S38的技术效果在于,利用现有的可见光图像识别模型进行训练,能够提高模型训练效率,节约模型训练时间。
S500,遍历C,如果当前获取的图像帧的任一Cs和对应的关联关键点之间的位置关系符合当前目标行为姿态图像r对应的位置关系描述列表,即当前图像帧中的关键点连成的网络结构与对应的网络结构相同,则将当前获取的图像帧作为当前目标行为姿态图像r对应的目标图像,并执行S600;否则,输出指示用户矫正当前姿态的提示信息,并执行S200。
在本发明实施例中,目标图像会存储至存储器的设定位置处。
在本发明实施例中,输出的提示信息可根据实际需要进行设置,例如可为“关节点Cs的位置不准确,请抬高或者降低X度”的信息。所述提示信息可通过文字、语音、图像和视频至少一种方式进行输出。
S600,设置r=r+1,如果r≤m,执行S200;否则,退出控制程序。
本发明实施例提供的基于红外图像的姿态自动识别***,能够自动采集用户按照不同姿态做出的动作,并对做出的动作准确性进行判断,能够使得用户在没有外人的情况下按照不同姿态轻松做动作,不会产生心理压力。此外,由于不需要专业人员的参与,能够降低拍摄成本,并且能够确保拍摄的图像更加准确。
进一步地,在本发明另一实施例中,S200可替换为:
S210,将当前需要拍摄的第r个目标行为姿态图像以动画的方式在所述显示装置上进行显示,以指示所述用户按照显示的目标行为姿态图像做出对应的动作;如果没有检测到跳过拍摄第r个目标行为姿态图像的指令,执行S300,否则,执行S600。
在本发明一示意性实施例中,在显示每个目标行为姿态图像的同时会显示“跳过当前姿态采集”的按钮,如果用户由于身体原因或者环境受限等无法完成该姿态所对应的动作时,可以通过点击该按钮跳过当前姿态图像的采集。
进一步地,在本发明实施例中,S600被替换为:
S610,判断当前图像帧的图像质量是否满足设定要求,如果满足,执行S700;否则,执行S800。
在本发明实施例中,图像质量可指图像的清晰度,可基于现有的图像质量判断方法确定。
S700,设置r=r+1,如果r≤m,执行S200,否则,退出控制程序;
S800,指示所述红外拍摄装置调整拍摄姿态,执行S300。
本领域技术人员知晓,基于图像质量可获取红外拍摄装置需要调整的参数,例如对焦度等。
进一步地,在该实施例中,S800被替换为:
S810,如果检测到用户位于所述拍摄位置标识上,则指示所述红外拍摄装置调整拍摄姿态,执行S300;否则,执行S820。
S820,输出指示所述用户站立在所述拍摄位置标识上的提示信息;执行S300。
S610至S820的技术效果在于,由于还考虑了图像质量,能够使得获取的图像更加准确。
进一步地,在本发明实施例中,所述处理器还用于执行计算机程序,以实现如下步骤:
基于获取的目标图像,得到所述用户的机体检测状态,并进行显示。
处理器可基于设定的判断逻辑,例如可基于目标图像中的各个关键点的温度关系,得到用户的机体检测状态。
基于同样的发明构思,本发明实施例还提供一种基于红外图像的姿态自动识别方法,包括以下步骤:
S1,在检测到位于拍摄空间内的用户处于预设的身体状态并且站立在所述拍摄位置标识时,初始化r=1并执行S2;
S2,将当前需要拍摄的第r个目标行为姿态图像以动画的方式在所述显示装置上进行显示,以指示所述用户按照显示的目标行为姿态图像做出对应的动作;执行S3;
S3,按照设定采样间隔获取所述红外拍摄装置拍摄的用户图像;
S4,基于设定的红外图像识别模型从当前获取的图像帧中提取与当前目标行为姿态图像r对应的关键点,形成关键点集C=(C1,C2,…,Cs,…,Cf(r)),Cs为从当前获取的图像帧中提取的第s个关键点,s的取值为1到f(r),f(r)为当前目标行为姿态图像r对应的关键点数量;
S5,遍历C,如果当前获取的图像帧的任一Cs和对应的关联关键点之间的位置关系符合当前目标行为姿态图像r对应的位置关系描述列表,则将当前获取的图像帧作为当前目标行为姿态图像r对应的目标图像,并执行S6;否则,输出指示用户矫正当前姿态的提示信息,并执行S2;
S6,设置r=r+1,如果r≤m,执行S2;否则,退出控制程序。
进一步地,S2被替换为:
S21,将当前需要拍摄的第r个目标行为姿态图像以动画的方式在所述显示装置上进行显示,以指示所述用户按照显示的目标行为姿态图像做出对应的动作;如果没有检测到跳过拍摄第r个目标行为姿态图像的指令,执行S3,否则,执行S6。
进一步地,S6被替换为:
S61,判断当前图像帧的图像质量是否满足设定要求,如果满足,执行S7;否则,执行S8;
S7,设置r=r+1,如果r≤m,执行S2,否则,退出控制程序;
S8,指示所述红外拍摄装置调整拍摄姿态,执行S3。
进一步地,S8被替换为:
S81,如果检测到用户位于所述拍摄位置标识上,则指示所述红外拍摄装置调整拍摄姿态,执行S3;否则,执行S82;
S82,输出指示所述用户站立在所述拍摄位置标识上的提示信息;执行S3。
本实施例中的方法的各步骤可由前述实施例的处理器执行,为避免赘述,省略对它们的详细描述。
本发明的实施例还提供了一种非瞬时性计算机可读存储介质,该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种方法相关的至少一条指令或至少一段程序,该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。
本发明的实施例还提供了一种电子设备,包括处理器和前述的非瞬时性计算机可读存储介质。
本发明的实施例还提供一种计算机程序产品,其包括程序代码,当所述程序产品在电子设备上运行时,所述程序代码用于使该电子设备执行本说明书上述描述的根据本发明各种示例性实施方式的方法中的步骤。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本发明的范围。本领域的技术人员还应理解,可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明公开的范围由所附权利要求来限定。
Claims (10)
1.一种基于红外图像的姿态自动识别***,其特征在于,包括:通信连接的处理器、红外拍摄装置、存储器和显示装置,所述红外拍摄装置和所述显示装置设置在拍摄空间内,所述拍摄空间的地面上设置有拍摄位置标识;所述存储器中存储有m个目标行为姿态图像和对应的信息表,所述信息表的第i行包括(Ci,Ri),Ci为形成第i个目标行为姿态的关键点集合,Ci=(Ci1,Ci2,…,Cij,…,Cif(i)),Cij为形成第i个目标行为姿态的第j个关键点的ID,j的取值为1到f(i),f(i)为Ci中的关键点数量,Ri为Ci中的关键点在第i个目标行为姿态上的位置关系描述列表,Ri的第j行包括{(C1 ij,R1 ij,),(C2 ij,R2 ij),…,(Ck ij,Rk ij),…,(Ch(i,j) ij,Rh (i,j) ij)},Ck ij为与Cij关联的第k个关联关键点的ID,Rk ij为第j个关键点Cij和Ck ij在第i个目标行为姿态上的位置关系,k的位置为1到h(i,j),h(i,j)为与Cij关联的关键点的数量;i的取值为1到m;
其中,所述处理器用于执行计算机程序以实现如下步骤:
S100,在检测到位于拍摄空间内的用户处于预设的身体状态并且站立在所述拍摄位置标识时,初始化r=1并执行S200;
S200,将当前需要拍摄的第r个目标行为姿态图像以动画的方式在所述显示装置上进行显示,以指示所述用户按照显示的目标行为姿态图像做出对应的动作;执行S300;
S300,按照设定采样间隔获取所述红外拍摄装置拍摄的用户图像;
S400,基于设定的红外图像识别模型从当前获取的图像帧中提取与当前目标行为姿态图像r对应的关键点,形成关键点集C=(C1,C2,…,Cs,…,Cf(r)),Cs为从当前获取的图像帧中提取的第s个关键点,s的取值为1到f(r),f(r)为当前目标行为姿态图像r对应的关键点数量;
S500,遍历C,如果当前获取的图像帧的任一Cs和对应的关联关键点之间的位置关系符合当前目标行为姿态图像r对应的位置关系描述列表,则将当前获取的图像帧作为当前目标行为姿态图像r对应的目标图像,并执行S600;否则,输出指示用户矫正当前姿态的提示信息,并执行S200;
S600,设置r=r+1,如果r≤m,执行S200;否则,退出控制程序。
2.根据权利要求1所述的***,其特征在于,所述提示信息通过文字、语音、图像和视频至少一种方式进行输出。
3.根据权利要求1所述的***,其特征在于,S200被替换为:
S210,将当前需要拍摄的第r个目标行为姿态图像以动画的方式在所述显示装置上进行显示,以指示所述用户按照显示的目标行为姿态图像做出对应的动作;如果没有检测到跳过拍摄第r个目标行为姿态图像的指令,执行S300,否则,执行S600。
4.根据权利要求1所述的***,其特征在于,S600被替换为:
S610,判断当前图像帧的图像质量是否满足设定要求,如果满足,执行S700;否则,执行S800;
S700,设置r=r+1,如果r≤m,执行S200,否则,退出控制程序;
S800,指示所述红外拍摄装置调整拍摄姿态,执行S300。
5.根据权利要求4所述的***,其特征在于,S800被替换为:
S810,如果检测到用户位于所述拍摄位置标识上,则指示所述红外拍摄装置调整拍摄姿态,执行S300;否则,执行S820;
S820,输出指示所述用户站立在所述拍摄位置标识上的提示信息;执行S300。
6.根据权利要求1所述的***,其特征在于,所述设定的红外图像识别模型通过如下步骤获取:
S10,获取m个红外图像样本组,每个红外图像样本组包括基于对应的目标行为姿态图像获取的k个红外图像;
S12,对每个红外图像对应的关键点进行标注,得到标注后的m个红外图像样本组;
S14,基于标注后的m个红外图像样本组对构建的红外图像识别模型进行训练,将训练后的红外图像识别模型作为设定的红外图像识别模型。
7.根据权利要求1所述的***,其特征在于,所述设定的红外图像识别模型通过如下步骤获取:
S20,获取m个红外图像样本组,每个红外图像样本组包括基于对应的目标行为姿态图像获取的k个红外图像,并且,每个红外图像样本组包括多个对象的红外图像;
S22,对属于同一对象的多个图像中的关键帧图像对应的关键点进行标注,并基于标注的关键帧图像对非关键帧图像对应的关键点进行自动标注,得到标注后的m个红外图像样本组;
S24,基于标注后的m个红外图像样本组对构建的红外图像识别模型进行训练,将训练后的红外图像识别模型作为设定的红外图像识别模型。
8.根据权利要求1所述的***,其特征在于,所述设定的红外图像识别模型通过如下步骤获取:
S30,获取m个红外图像样本组,每个红外图像样本组包括基于对应的目标行为姿态图像获取的k个红外图像;
S32,将m个红外图像样本组输入到已训练的可见光图像识别模型中进行训练,得到标注有关键点的m个输出图像组;
S34,基于所述信息表,对所述标注有关键点的m个输出图像组进行修正,得到修正后的m个红外图像组;
S36,基于修正后的m个红外图像组对构建的红外图像识别模型进行训练,将训练后的红外图像识别模型作为设定的红外图像识别模型。
9.根据权利要求1所述的***,其特征在于,目标行为姿态位于人体的四肢上的关键点为关节,位于躯干上的关键点为穴位。
10.一种基于红外图像的姿态自动识别方法,其特征在于,包括以下步骤:
S1,在检测到位于拍摄空间内的用户处于预设的身体状态并且站立在拍摄位置标识时,初始化r=1并执行S2;
S2,将当前需要拍摄的第r个目标行为姿态图像以动画的方式在显示装置上进行显示,以指示所述用户按照显示的目标行为姿态图像做出对应的动作;执行S3;
S3,按照设定采样间隔获取红外拍摄装置拍摄的用户图像;
S4,基于设定的红外图像识别模型从当前获取的图像帧中提取与当前目标行为姿态图像r对应的关键点,形成关键点集C=(C1,C2,…,Cs,…,Cf(r)),Cs为从当前获取的图像帧中提取的第s个关键点,s的取值为1到f(r),f(r)为当前目标行为姿态图像r对应的关键点数量;
S5,遍历C,如果当前获取的图像帧的任一Cs和对应的关联关键点之间的位置关系符合当前目标行为姿态图像r对应的位置关系描述列表,则将当前获取的图像帧作为当前目标行为姿态图像r对应的目标图像,并执行S6;否则,输出指示用户矫正当前姿态的提示信息,并执行S2;
S6,设置r=r+1,如果r≤m,执行S2;否则,退出控制程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310007858.XA CN116129524B (zh) | 2023-01-04 | 2023-01-04 | 一种基于红外图像的姿态自动识别***和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310007858.XA CN116129524B (zh) | 2023-01-04 | 2023-01-04 | 一种基于红外图像的姿态自动识别***和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116129524A CN116129524A (zh) | 2023-05-16 |
CN116129524B true CN116129524B (zh) | 2024-06-14 |
Family
ID=86309581
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310007858.XA Active CN116129524B (zh) | 2023-01-04 | 2023-01-04 | 一种基于红外图像的姿态自动识别***和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116129524B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116884083B (zh) * | 2023-06-21 | 2024-05-28 | 圣奥科技股份有限公司 | 一种基于人体关键点的坐姿检测方法、介质及设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110659594A (zh) * | 2019-09-09 | 2020-01-07 | 南京邮电大学 | 一种基于AlphaPose的热舒适姿态估计方法 |
CN111898571A (zh) * | 2020-08-05 | 2020-11-06 | 北京华捷艾米科技有限公司 | 动作识别***及方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113495490B (zh) * | 2020-04-07 | 2024-06-28 | 深圳爱根斯通科技有限公司 | 设备控制方法、装置、电子设备及存储介质 |
WO2022100262A1 (zh) * | 2020-11-12 | 2022-05-19 | 海信视像科技股份有限公司 | 显示设备、人体姿态检测方法及应用 |
CN112668531A (zh) * | 2021-01-05 | 2021-04-16 | 重庆大学 | 一种基于动作识别的运动姿态矫正方法 |
CN114067358B (zh) * | 2021-11-02 | 2024-08-13 | 南京熊猫电子股份有限公司 | 一种基于关键点检测技术的人体姿态识别方法及*** |
CN114170439A (zh) * | 2021-12-02 | 2022-03-11 | 北京地平线信息技术有限公司 | 姿态识别方法、装置、存储介质和电子设备 |
CN115240247A (zh) * | 2022-07-05 | 2022-10-25 | 杭州程天科技发展有限公司 | 一种用于进行动作和姿态检测的识别方法及*** |
CN115240223A (zh) * | 2022-07-21 | 2022-10-25 | 中国平安人寿保险股份有限公司 | 一种用户拍摄姿态矫正提示方法、装置、设备和介质 |
-
2023
- 2023-01-04 CN CN202310007858.XA patent/CN116129524B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110659594A (zh) * | 2019-09-09 | 2020-01-07 | 南京邮电大学 | 一种基于AlphaPose的热舒适姿态估计方法 |
CN111898571A (zh) * | 2020-08-05 | 2020-11-06 | 北京华捷艾米科技有限公司 | 动作识别***及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116129524A (zh) | 2023-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108256433B (zh) | 一种运动姿态评估方法及*** | |
US11069144B2 (en) | Systems and methods for augmented reality body movement guidance and measurement | |
CN112184705B (zh) | 一种基于计算机视觉技术的人体穴位识别、定位及应用*** | |
CN110321754B (zh) | 一种基于计算机视觉的人体运动姿态纠正方法及*** | |
WO2019114726A1 (zh) | 图像识别方法、装置、电子设备以及可读存储介质 | |
CN109815776B (zh) | 动作提示方法和装置、存储介质及电子装置 | |
Chaudhari et al. | Yog-guru: Real-time yoga pose correction system using deep learning methods | |
CN107480651B (zh) | 异常步态检测方法及异常步态检测*** | |
CN116129524B (zh) | 一种基于红外图像的姿态自动识别***和方法 | |
CN113658211B (zh) | 一种用户姿态的评估方法、装置以及处理设备 | |
CN114022512A (zh) | 运动辅助方法、装置及介质 | |
CN112568898A (zh) | 一种基于视觉图像对人体运动动作自动进行伤病风险评估及动作矫正的方法、装置及设备 | |
CN111401340B (zh) | 目标对象的运动检测方法和装置 | |
CN114140722A (zh) | 引体向上运动的评估方法、装置、服务器及存储介质 | |
KR102030131B1 (ko) | 적외선 영상을 이용한 연속적인 피부 상태 측정 방법 | |
CN115497123A (zh) | 感兴趣区域状态参数获取方法 | |
CN114973048A (zh) | 康复动作的纠正方法、装置、电子设备及可读介质 | |
CN110910449A (zh) | 识别物体三维位置的方法和*** | |
KR20220058790A (ko) | 듀얼 열화상 카메라를 이용한 운동 자세 분석 방법 및 이를 이용한 자세 교정 가이드 방법, 이를 구현한 컴퓨터 프로그램 | |
Tarek et al. | Yoga Trainer for Beginners Via Machine Learning | |
CN114140721A (zh) | 射箭姿态评估方法、装置、边缘计算服务器及存储介质 | |
CN105956551B (zh) | 目标检测方法及装置 | |
CN116704603A (zh) | 一种基于肢体关键点分析的动作评估纠正方法及*** | |
CN117137435A (zh) | 一种基于多模态信息融合的康复动作识别方法和*** | |
CN110458076A (zh) | 一种基于计算机视觉的教学方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |