CN114795192B - 一种关节活动度智能检测方法及*** - Google Patents
一种关节活动度智能检测方法及*** Download PDFInfo
- Publication number
- CN114795192B CN114795192B CN202210762975.2A CN202210762975A CN114795192B CN 114795192 B CN114795192 B CN 114795192B CN 202210762975 A CN202210762975 A CN 202210762975A CN 114795192 B CN114795192 B CN 114795192B
- Authority
- CN
- China
- Prior art keywords
- spec
- image
- sequence
- value
- time domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1118—Determining activity level
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种关节活动度智能检测方法及***，在连续的多个不同时刻，使用若干摄像机，对用户进行全方位拍摄，得到图像序列，并对图像序列中的每个图像，使用关键点检测算法，分别在各图像中标出关键点，根据图像序列计算得到关节活动时域值，再根据关节活动时域值判断是否在正常范围内，由此实现了动态的压缩了多个不同时刻的图像矩阵的数据量、大量节省了计算成本并提高了时间的效率的有益效果。
Description
技术领域
本发明属于数据处理领域，具体涉及一种关节活动度智能检测方法及***。
背景技术
关节相邻的移动臂在转动过程中经过的初始位置和终点位置之间夹角的大小即关节活动度对于研究用户的活动情况具有重要的意义，可以反映出人体关节活动范围的变化是否正常。在关节中通过识别（动点、定点、轴心）标记关键点，可以将关节的物理变化转化为电信号，计算出特定点在空间中的轨迹。离体测量***是通过摄像机拍摄人体的运动，然后对拍摄的视频进行后处理分为多个图像矩阵的时间序列，得到人体的运动参数，最后根据这些参数分析运动轨迹。在体测量***是通过在人体的特殊地方安置标记点，然后在各个观测点布置摄像机捕捉标记点的运动，通过检测到的标记点的空间坐标数据计算关节运动的姿态。在申请号为CN202010283719.6的专利文献中公开了一种人体关节活动度检测***以及检测方法，尽管可以对待测关节相关的肌肉部位的肌肉信号进行检测获取待测关节相关的肌肉部位的肌肉活动情况，然而其对集成芯片的技术要求高、计算成本大，还不足以从拍摄的图像中检测出关节活动度是否正常。
发明内容
本发明的目的在于提出一种关节活动度智能检测方法及***，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
本发明提供了一种关节活动度智能检测方法及***，在连续的多个不同时刻，使用若干摄像机，对用户进行全方位拍摄，得到图像序列，并对图像序列中的每个图像，使用关键点检测算法，分别在各图像中标出关键点，根据图像序列计算得到关节活动时域值，再根据关节活动时域值判断用户的活动是否在正常范围内。
为了实现上述目的，根据本发明的一方面，提供一种关节活动度智能检测方法，所述方法包括以下步骤：
S100，在连续的多个不同时刻，使用若干摄像机，对用户进行全方位拍摄，得到图像序列；
S200，对图像序列中的每个图像，使用关键点检测算法，分别在各图像中标出关键点；
S300，根据图像序列，计算得到关节活动时域值；
S400，根据关节活动时域值，判断关节活动时域值是否在正常范围内；如果否，则推送报警信息到移动设备或者数据库。
进一步地，在S100中，在连续的多个不同时刻，使用若干摄像机，对用户进行全方位拍摄，得到图像序列的方法为：选取连续的多个不同时刻，使用三个摄像机分别拍摄用户的主视图、俯视图和侧视图，摄像机拍摄得到的图像矩阵大小相同，在各个时刻用所述三个摄像机拍摄用户的主视图、俯视图和侧视图，将得到的各个时刻的主视图、俯视图和侧视图组合成一个序列作为图像序列，图像序列中元素的数量与时刻的数量相同，图像序列中元素的序号与时刻的序号相同，图像序列中每一个元素由相同序号的时刻下主视图、俯视图和侧视图这三个图像的图像矩阵构成。
进一步地，在S200中，对图像序列中的每个图像，使用关键点检测算法，分别在各图像中标出关键点的方法为：使用关键点检测算法，分别在图像序列中的各图像中标出关键点，将图像矩阵中关键点的位置的像素值设置为1其余的位置则为0，以此将图像序列中的每个图像的像素值转化为0或1的取值。
进一步地，在S300中，根据图像序列，计算得到关节活动时域值的方法为：
记所述连续的多个不同时刻中各个时刻的序号为t，记所述连续的多个不同时刻中时刻的数量为T，即图像序列中元素的序号也是t，图像序列中元素的数量也是T，t∈[1,T]；
记图像序列为序列Rouseq，Rouseq中序号为t的元素为Rouseq(t)，Rouseq(t)中的主视图为fv(t)，Rouseq(t)中的侧视图为sv(t)，Rouseq(t)中的俯视图为tv(t)，Rouseq(t)=[fv(t),sv(t),tv(t)]；
由于摄像机拍摄得到的图像的图像矩阵大小相同，将图像矩阵的大小统一为n行m列，图像矩阵中行的序号为i，i∈[1,n]，图像矩阵中列的序号为j，j∈[1,m]；
记fv(t)中行序号为i列序号为j的元素为fv(t)[i,j]，sv(t)中行序号为i列序号为j的元素为sv(t)[i,j]，tv(t)中行序号为i列序号为j的元素为tv(t)[i,j]；
定义函数Cap()，函数Cap()的输入为统一的像素值为1或0的大小为n×m的图像矩阵，（函数Cap()中所述图像矩阵的大小可以与在S200中所述图像矩阵的大小对应），其中函数Cap()的运算过程为：获取输入的图像矩阵中像素值为1的点的集合作为集合oneset，获取集合oneset中元素的数量为size，记集合oneset中元素的序号为q，q∈[1,size]，集合oneset中序号为q的元素在图像矩阵中的行序号i1的数值与列序号j1 的数值所组成的二元数组记为数组q[i1,j1]，其中，i1表示行序号，j1表示列序号，以q[i1]表示oneset中序号为q的元素在图像矩阵中的行序号的数值，以q[j1]表示oneset中序号为q的元素在图像矩阵中的列序号的数值，记函数Cap()的输出为result，result的计算公式为：
上标的2表示取2次方，exp()表示以自然常数e为底的对数函数，将得到的result输出；
对序列Rouseq中各元素Rouseq(t)包含的fv(t), sv(t)和tv(t)分别输入函数Cap()，fv(t)输入函数Cap()得到Cap(fv(t))，sv(t)输入函数Cap()得到Cap(sv(t))，tv(t)输入函数Cap()得到Cap(tv(t))；
定义Rouseq(t)的关节活动时域值为Spec(t)，Spec(t)=[ Cap(fv(t)), Cap(sv(t)), Cap(tv(t))]，进而，记Spec(t)中的第1个元素为Spec(t)1，Spec(t)中的第2个元素为Spec(t)2，Spec(t)中的第3个元素为Spec(t)3；
关节活动时域值序列为各元素Rouseq(t)分别对应的关节活动时域值Spec(t)组成的序列，记作Spec，Spec中元素的序号与Rouseq中元素的序号保持一致；
计算关节活动时域值的有益效果为：目前传统的关节活动度识别方法会产生大量的冗余数据且时间复杂度大，计算关节活动时域值能够用于更好地测量关键点的运动轨迹随时刻的变化的趋势，根据关节活动时域值序列变化的趋势可以更好地压缩了多个不同时刻的图像矩阵的数据量，从而减少数据的冗余并提高速度和精确度。
进一步地，在S400中，根据关节活动时域值，判断关节活动时域值是否在正常范围内的方法为：
设置集合Errset，Errset为用来收集具有异常的关节活动时域值的样本的集合，Errset为非互异性集合，令Errset的初始值为空集合；
设置变量state，state为用来计算用户的活动是否在正常范围内的变量，令state的初始值为0；
判断用户的活动是否在正常范围内的步骤具体为：
S601，在序列Spec内，按序号t从1到T的顺序，令t 的初始值为1；
S602，判断t的数值是否小于等于1，若是转到S606，若否则获取Spec中序号为t的元素Spec(t)并转到S603；
S603，获取序号t的前一个序号即t-1，获取Spec中序号为t-1的元素Spec(t-1)；从Spec(t)中获取Spec(t)1、Spec(t)2和Spec(t)3；从Spec(t-1)中获取其中的第1个元素Spec(t-1)1、第2个元素Spec(t-1)2和第3个元素Spec(t-1)3；转到S604；
S604，对state进行赋值，其中，进行赋值的方法为：计算Spec(t)1减去Spec(t-1)1的差值作为gr1，计算Spec(t)2减去Spec(t-1)2的差值作为gr2，计算Spec(t)3减去Spec(t-1)3的差值作为gr3，计算Spec(t)1、Spec(t)2和Spec(t)3的算术平均值为avg(t)，计算Spec(t-1)1、Spec(t-1)2和Spec(t-1)3的算术平均值为avg(t-1)，以state1表示用来对state进行赋值的变量，state1当前的数值的计算公式为：
将state1的数值赋值予state；转到S605；
S605，根据state的数值计算cos(π*state)，判断cos(π*state) 的数值是否小于等于0，若是则将当前的Spec(t)加入Errset，如此则Errset中元素的数量增加了1，转到S606；
S606，判断当前t的数值是否大于等于T的数值，若是则转到S607，若否则将当t的数值增加1再转到S602；
S607，获取当前集合Errset中元素的数量为en，计算en/T；判断en/T是否小于等于1/(en+1)，若是则为关节活动时域值在正常范围内，若否则为关节活动时域值不在正常范围内，将关节活动时域值是否在正常范围内的判断结果保存并输出，再推送报警信息到移动设备或者数据库；
可优选地，若关节活动时域值不在正常范围内推送报警信息到移动设备或者数据库时，则可以表示用户的关节活动不在正常范围内，因为关节活动时域值可以灵敏地体现出关节活动的幅度，则当其发生异常时，关节活动时域值有利于分析出关节的潜在风险和用户关节的康复的程度；
计算state的具体数值以及按当前集合Errset中元素的数量进行判断的方法实现的有益效果为：现行的基于大规模神经网络模型的图像识别***的计算成本过高并且运行时间长，而在根据关节活动时域值判断用户的活动是否在正常范围内的计算过程中，由于关节活动时域值序列中各个元素对应各个时刻，以此可以快速统计各个时刻对应的图像数据的变化情况，根据统计的结果快速判断在正常范围内的概率，对比现有的依据基于大规模神经网络模型的图像识别***而言大量节省了计算成本并提高了时间的效率。
其中，所述一种关节活动度智能检测方法中涉及的计算经过无量纲化处理。
本发明还提供了一种关节活动度智能检测***，所述一种关节活动度智能检测***包括：处理器、存储器及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述一种关节活动度智能检测方法中的步骤，所述一种关节活动度智能检测***可以运行于桌上型计算机、笔记本电脑、掌上电脑及云端数据中心等计算设备中，可运行的***可包括，但不仅限于，处理器、存储器、服务器集群，所述处理器执行所述计算机程序运行在以下***的单元中：
图像序列获取单元，用于在连续的多个不同时刻，使用若干摄像机，对用户进行全方位拍摄，得到图像序列，并对图像序列中的每个图像，使用关键点检测算法，分别在各图像中标出关键点；
关节活动时域值计算单元，用于根据图像序列，计算得到关节活动时域值；
关节活动时域值判断单元，用于根据关节活动时域值，判断关节活动时域值是否在正常范围内。
本发明的有益效果为：本发明提供了一种关节活动度智能检测方法及***，在连续的多个不同时刻，使用若干摄像机，对用户进行全方位拍摄，得到图像序列，并对图像序列中的每个图像，使用关键点检测算法，分别在各图像中标出关键点，根据图像序列计算得到关节活动时域值，再根据关节活动时域值判断用户的活动是否在正常范围内，由此实现了动态的压缩了多个不同时刻的图像矩阵的数据量、大量节省了计算成本并提高了时间的效率的有益效果。
附图说明
通过对结合附图所示出的实施方式进行详细说明，本发明的上述以及其他特征将更加明显，本发明附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
图1所示为一种关节活动度智能检测方法的流程图；
图2所示为一种关节活动度智能检测***的***结构图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
如图1所示为根据本发明的一种关节活动度智能检测方法的流程图，下面结合图1来阐述根据本发明的实施方式的一种关节活动度智能检测方法及***。
本发明提出一种关节活动度智能检测方法，所述方法具体包括以下步骤：
S100，在连续的多个不同时刻，使用若干摄像机，对用户进行全方位拍摄，得到图像序列；
S200，对图像序列中的每个图像，使用关键点检测算法，分别在各图像中标出关键点；
S300，根据图像序列，计算得到关节活动时域值；
S400，根据关节活动时域值，判断关节活动时域值是否在正常范围内；如果否，则推送报警信息到移动设备或者数据库。
进一步地，在S100中，在连续的多个不同时刻，使用若干摄像机，对用户进行全方位拍摄，得到图像序列的方法为：选取连续的多个不同时刻，使用三个摄像机或者普通摄像机分别拍摄用户的主视图、俯视图和侧视图，所述摄像机既能拍摄普通的图像又能拍摄红外图像，拍摄得到的图像矩阵大小相同，在各个时刻用所述三个摄像机拍摄用户的主视图、俯视图和侧视图，主视图、俯视图和侧视图可为普通的图像也可为红外图像，将得到的各个时刻的主视图、俯视图和侧视图组合成一个序列作为图像序列，图像序列中元素的数量与时刻的数量相同，图像序列中元素的序号与时刻的序号相同，图像序列中每一个元素由相同序号的时刻下主视图、俯视图和侧视图这三个图像的图像矩阵构成。
进一步地，在S200中，对图像序列中的每个图像，使用关键点检测算法，分别在各图像中标出关键点的方法为：使用关键点检测算法，可优选地，关键点检测算法可使用OpenPose基于OpenCV-DNN的手部关键点检测方法，分别在图像序列中的各图像中标出关键点，将图像矩阵中关键点的位置的像素值设置为1其余的位置则为0，以此将图像序列中的每个图像的像素值转化为0或1的取值（可参考文献：[1]高炳像. 红外图像目标识别中的关键技术研究[D]. 杭州电子科技大学.；[2]徐世文, 王姮, 张华,等. 一种基于关键点的红外图像人体摔倒检测方法[J]. 红外技术, 2021, 43(10):5.；[3] Zhe C , Simon T ,Wei S E , et al. Realtime Multi-person 2D Pose Estimation Using Part AffinityFields[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). IEEE, 2017.）。
进一步地，在S300中，根据图像序列，计算得到关节活动时域值的方法为：
记所述连续的多个不同时刻中各个时刻的序号为t，记所述连续的多个不同时刻中时刻的数量为T，t∈[1,T]；
记图像序列为序列Rouseq，Rouseq中序号为t的元素为Rouseq(t)，Rouseq(t)中的主视图为fv(t)，Rouseq(t)中的侧视图为sv(t)，Rouseq(t)中的俯视图为tv(t)，Rouseq(t)=[fv(t), sv(t), tv(t)]；
由于摄像机拍摄得到的图像的图像矩阵大小相同，将图像矩阵的大小统一为n行m列，图像矩阵中行的序号为i，i∈[1,n]，图像矩阵中列的序号为j，j∈[1,m]；
记fv(t)中行序号为i列序号为j的元素为fv(t)[i,j]，sv(t)中行序号为i列序号为j的元素为sv(t)[i,j]，tv(t)中行序号为i列序号为j的元素为tv(t)[i,j]；
定义函数Cap()，函数Cap()的输入为统一的像素值为1或0的大小为n×m的图像矩阵，其中函数Cap()的运算过程为：获取输入的图像矩阵中像素值为1的点的集合作为集合oneset，获取集合oneset中元素的数量为size，记集合oneset中元素的序号为q，q∈[1,size]，集合oneset中序号为q的元素在图像矩阵中的行序号与列序号记为q[i1,j1]，其中，以q[i1]表示oneset中序号为q的元素在图像矩阵中的行序号的数值，以q[j1]表示oneset中序号为q的元素在图像矩阵中的列序号的数值，记函数Cap()的输出为result，result的计算公式为：
上标的2表示取2次方，exp()表示以自然常数e为底的对数函数，将得到的result输出；
对序列Rouseq中各元素Rouseq(t)包含的fv(t), sv(t)和tv(t)分别输入函数Cap()，fv(t)输入函数Cap()得到Cap(fv(t))，sv(t)输入函数Cap()得到Cap(sv(t))，tv(t)输入函数Cap()得到Cap(tv(t))；
定义Rouseq(t)的关节活动时域值为Spec(t)，Spec(t)=[ Cap(fv(t)), Cap(sv(t)), Cap(tv(t))]，进而，记Spec(t)中的第1个元素为Spec(t)1，Spec(t)中的第2个元素为Spec(t)2，Spec(t)中的第3个元素为Spec(t)3；
关节活动时域值序列为各元素Rouseq(t)分别对应的关节活动时域值Spec(t)组成的序列，记作Spec，Spec中元素的序号与Rouseq中元素的序号保持一致。
进一步地，在S400中，根据关节活动时域值，判断用户的活动是否在正常范围内的方法为：
设置集合Errset，Errset为用来收集具有异常的关节活动时域值的样本的集合，Errset为非互异性集合，令Errset的初始值为空集合；
设置变量state，state为用来计算用户的活动是否在正常范围内的变量，令state的初始值为0；
判断用户的活动是否在正常范围内的步骤具体为：
S601，在序列Spec内，按序号t从1到T的顺序，令t 的初始值为1；
S602，判断t的数值是否小于等于1，若是转到S606，若否则获取Spec中序号为t的元素Spec(t)并转到S603；
S603，获取序号t的前一个序号即t-1，获取Spec中序号为t-1的元素Spec(t-1)；从Spec(t)中获取Spec(t)1、Spec(t)2和Spec(t)3；从Spec(t-1)中获取其中的第1个元素Spec(t-1)1、第2个元素Spec(t-1)2和第3个元素Spec(t-1)3；转到S604；
S604，对state进行赋值，其中，进行赋值的方法为：计算Spec(t)1减去Spec(t-1)1的差值作为gr1，计算Spec(t)2减去Spec(t-1)2的差值作为gr2，计算Spec(t)3减去Spec(t-1)3的差值作为gr3，计算Spec(t)1、Spec(t)2和Spec(t)3的算术平均值为avg(t)，计算Spec(t-1)1、Spec(t-1)2和Spec(t-1)3的算术平均值为avg(t-1)，以state1表示用来对state进行赋值的变量，state1当前的数值的计算公式为：
将state1的数值赋值予state；转到S605；
S605，根据state的数值计算cos(π*state)，判断cos(π*state) 的数值是否小于等于0，若是则将当前的Spec(t)加入Errset，转到S606；
S606，判断当前t的数值是否大于等于T的数值，若是则转到S607，若否则将当t的数值增加1再转到S602；
S607，获取当前集合Errset中元素的数量为en，计算en/T；判断en/T是否小于等于1/(en+1)，若是则为用户的活动在正常范围内，若否则为用户的活动不在正常范围内，再将用户的活动是否在正常范围内的判断结果保存并输出。
所述一种关节活动度智能检测***包括：处理器、存储器及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种关节活动度智能检测方法实施例中的步骤，所述一种关节活动度智能检测***可以运行于桌上型计算机、笔记本电脑、掌上电脑及云端数据中心等计算设备中，可运行的***可包括，但不仅限于，处理器、存储器、服务器集群。
本发明的实施例提供的一种关节活动度智能检测***，如图2所示，该实施例的一种关节活动度智能检测***包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种关节活动度智能检测方法实施例中的步骤，所述处理器执行所述计算机程序运行在以下***的单元中：
图像序列获取单元，用于在连续的多个不同时刻，使用若干摄像机，对用户进行全方位拍摄，得到图像序列，并对图像序列中的每个图像，使用关键点检测算法，分别在各图像中标出关键点；
关节活动时域值计算单元，用于根据图像序列，计算得到关节活动时域值；
关节活动时域值判断单元，用于根据关节活动时域值，判断关节活动时域值是否在正常范围内。
所述一种关节活动度智能检测***可以运行于桌上型计算机、笔记本电脑、掌上电脑及云端数据中心等计算设备中。所述一种关节活动度智能检测***包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种关节活动度智能检测方法及***的示例，并不构成对一种关节活动度智能检测方法及***的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种关节活动度智能检测***还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立元器件门电路或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种关节活动度智能检测***的控制中心，利用各种接口和线路连接整个一种关节活动度智能检测***的各个分区域。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种关节活动度智能检测方法及***的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（SecureDigital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明提供了一种关节活动度智能检测方法及***，在连续的多个不同时刻，使用若干摄像机，对用户进行全方位拍摄，得到图像序列，并对图像序列中的每个图像，使用关键点检测算法，分别在各图像中标出关键点，根据图像序列计算得到关节活动时域值，再根据关节活动时域值判断用户的活动是否在正常范围内，由此实现了动态的压缩了多个不同时刻的图像矩阵的数据量、大量节省了计算成本并提高了时间的效率的有益效果。
尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。
Claims (4)
1.一种关节活动度智能检测方法，其特征在于，所述方法包括以下步骤：
S100，在连续的多个不同时刻，使用若干摄像机，对用户进行全方位拍摄，得到图像序列；
S200，对图像序列中的每个图像，使用关键点检测算法，分别在各图像中标出关键点；
S300，根据图像序列，计算得到关节活动时域值；
S400，根据关节活动时域值，判断关节活动时域值是否在正常范围内；如果否，则推送报警信息到移动设备或者数据库；
其中，在S200中，对图像序列中的每个图像，使用关键点检测算法，分别在各图像中标出关键点的方法为：使用关键点检测算法，分别在图像序列中的各图像中标出关键点，将图像矩阵中关键点的位置的像素值设置为1其余的位置则为0，以此将图像序列中的每个图像的像素值转化为0或1的取值；
在S300中，根据图像序列，计算得到关节活动时域值的方法为：
记所述连续的多个不同时刻中各个时刻的序号为t，记所述连续的多个不同时刻中时刻的数量为T，t∈[1,T]；
记图像序列为序列Rouseq，Rouseq中序号为t的元素为Rouseq(t)，Rouseq(t)中的主视图为fv(t)，Rouseq(t)中的侧视图为sv(t)，Rouseq(t)中的俯视图为tv(t)，Rouseq(t)=[fv(t), sv(t), tv(t)]；
记fv(t)中行序号为i列序号为j的元素为fv(t)[i,j]，sv(t)中行序号为i列序号为j的元素为sv(t)[i,j]，tv(t)中行序号为i列序号为j的元素为tv(t)[i,j]；
定义函数Cap()，函数Cap()的输入为图像矩阵，其中函数Cap()的运算过程为：获取输入的图像矩阵中像素值为1的点的集合作为集合oneset，获取集合oneset中元素的数量为size，记集合oneset中元素的序号为q，q∈[1,size]，集合oneset中序号为q的元素在图像矩阵中的行序号i1的数值与列序号j1 的数值所组成的二元数组记为数组q[i1,j1]，其中，i1表示行序号，j1表示列序号，以q[i1]表示oneset中序号为q的元素在图像矩阵中的行序号，以q[j1]表示oneset中序号为q的元素在图像矩阵中的列序号，记函数Cap()的输出为result，result的计算公式为：
将得到的result输出；
对序列Rouseq中各元素Rouseq(t)包含的fv(t), sv(t)和tv(t)分别输入函数Cap()，fv(t)输入函数Cap()得到Cap(fv(t))，sv(t)输入函数Cap()得到Cap(sv(t))，tv(t)输入函数Cap()得到Cap(tv(t))；
定义Rouseq(t)的关节活动时域值为Spec(t)，Spec(t)=[Cap(fv(t)), Cap(sv(t)),Cap(tv(t))]，进而，记Spec(t)中的第1个元素为Spec(t)1，Spec(t)中的第2个元素为Spec(t)2，Spec(t)中的第3个元素为Spec(t)3；
关节活动时域值序列为各元素Rouseq(t)分别对应的关节活动时域值Spec(t)组成的序列，记作Spec，Spec中元素的序号与Rouseq中元素的序号保持一致；
在S400中，根据关节活动时域值，判断关节活动时域值是否在正常范围内的方法为：
设置集合Errset，Errset为用来收集具有异常的关节活动时域值的样本的集合，Errset为非互异性集合，令Errset的初始值为空集合；
设置变量state，state为用来计算用户的活动是否在正常范围内的变量，令state的初始值为0；
判断用户的活动是否在正常范围内的步骤具体为：
S601，在序列Spec内，按序号t从1到T的顺序，令t 的初始值为1；
S602，判断t的数值是否小于等于1，若是转到S606，若否则获取Spec中序号为t的元素Spec(t)并转到S603；
S603，获取序号t的前一个序号即t-1，获取Spec中序号为t-1的元素Spec(t-1)；从Spec(t)中获取Spec(t)1、Spec(t)2和Spec(t)3；从Spec(t-1)中获取其中的第1个元素Spec(t-1)1、第2个元素Spec(t-1)2和第3个元素Spec(t-1)3；转到S604；
S604，对state进行赋值，其中，进行赋值的方法为：计算Spec(t)1减去Spec(t-1)1的差值作为gr1，计算Spec(t)2减去Spec(t-1)2的差值作为gr2，计算Spec(t)3减去Spec(t-1)3的差值作为gr3，计算Spec(t)1、Spec(t)2和Spec(t)3的算术平均值为avg(t)，计算Spec(t-1)1、Spec(t-1)2和Spec(t-1)3的算术平均值为avg(t-1)，以state1表示用来对state进行赋值的变量，state1当前的数值的计算公式为：
将state1的数值赋值予state；转到S605；
S605，根据state的数值计算cos(π*state)，判断cos(π*state) 的数值是否小于等于0，若是则将当前的Spec(t)加入Errset，转到S606；
S606，判断当前t的数值是否大于等于T的数值，若是则转到S607，若否则将当t的数值增加1再转到S602；
S607，获取当前集合Errset中元素的数量为en，计算en/T；判断en/T是否小于等于1/(en+1)，若是则为关节活动时域值在正常范围内，若否则为关节活动时域值不在正常范围内，将关节活动时域值是否在正常范围内的判断结果保存并输出，再推送报警信息到移动设备或者数据库。
2.根据权利要求1所述的一种关节活动度智能检测方法，其特征在于，在S100中，在连续的多个不同时刻，使用若干摄像机，对用户进行全方位拍摄，得到图像序列的方法为：选取连续的多个不同时刻，使用三个摄像机分别拍摄用户的主视图、俯视图和侧视图，得到的图像矩阵大小相同，在各个时刻用所述三个摄像机拍摄用户的主视图、俯视图和侧视图，将得到的各个时刻的主视图、俯视图和侧视图组合成一个序列作为图像序列，图像序列中元素的数量与时刻的数量相同，图像序列中元素的序号与时刻的序号相同，图像序列中每一个元素由相同序号的时刻下主视图、俯视图和侧视图这三个图像的图像矩阵构成。
3.一种关节活动度智能检测***，其特征在于，所述一种关节活动度智能检测***包括：处理器、存储器及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至2中任一项所述的一种关节活动度智能检测方法中的步骤，所述一种关节活动度智能检测***运行于桌上型计算机、笔记本电脑、掌上电脑或云端数据中心的计算设备中。
4.根据权利要求3所述的一种关节活动度智能检测***，其特征在于，所述处理器执行所述计算机程序运行在以下***的单元中：
图像序列获取单元，用于在连续的多个不同时刻，使用若干摄像机，对用户进行全方位拍摄，得到图像序列，并对图像序列中的每个图像，使用关键点检测算法，分别在各图像中标出关键点；
关节活动时域值计算单元，用于根据图像序列，计算得到关节活动时域值；
关节活动时域值判断单元，用于根据关节活动时域值，判断关节活动时域值是否在正常范围内。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210762975.2A CN114795192B (zh) | 2022-07-01 | 2022-07-01 | 一种关节活动度智能检测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210762975.2A CN114795192B (zh) | 2022-07-01 | 2022-07-01 | 一种关节活动度智能检测方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114795192A CN114795192A (zh) | 2022-07-29 |
| CN114795192B true CN114795192B (zh) | 2022-09-16 |
Family
ID=82522390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210762975.2A Active CN114795192B (zh) | 2022-07-01 | 2022-07-01 | 一种关节活动度智能检测方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114795192B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115316984B (zh) * | 2022-10-13 | 2022-12-27 | 佛山科学技术学院 | 一种手关节活动度测量轴心位点定位方法及*** |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102824176A (zh) * | 2012-09-24 | 2012-12-19 | 南通大学 | 一种基于Kinect传感器的上肢关节活动度测量方法 |
| CN104035557A (zh) * | 2014-05-22 | 2014-09-10 | 华南理工大学 | 一种基于关节活跃度的Kinect动作识别方法 |
| CN104887238A (zh) * | 2015-06-10 | 2015-09-09 | 上海大学 | 基于动作捕捉的手康复训练评估***和方法 |
| CN107320108A (zh) * | 2017-08-14 | 2017-11-07 | 佛山科学技术学院 | 一种关节活动度测量方法 |
| CN108154912A (zh) * | 2017-12-15 | 2018-06-12 | 江苏承康医用设备有限公司 | 一种应用于康复医疗去代偿安全关节活动度评定训练*** |
| CN111481208A (zh) * | 2020-04-01 | 2020-08-04 | 中南大学湘雅医院 | 一种应用于关节康复的辅助***、方法及存储介质 |
| CN111568428A (zh) * | 2020-04-13 | 2020-08-25 | 汕头大学医学院 | 一种人体关节活动度检测***以及检测方法 |
| CN111938658A (zh) * | 2020-08-10 | 2020-11-17 | 陈雪丽 | 一种用于手部、腕部与前臂的关节活动度监测***及方法 |
| CN112370048A (zh) * | 2020-11-10 | 2021-02-19 | 南京紫金体育产业股份有限公司 | 基于关节关键点的运动姿态伤害预防方法、***和存储介质 |
| WO2021060040A1 (ja) * | 2019-09-27 | 2021-04-01 | 国立研究開発法人理化学研究所 | 判定装置、判定方法、プログラム、ならびに、情報記録媒体 |
| CN113368487A (zh) * | 2021-06-10 | 2021-09-10 | 福州大学 | 基于OpenPose的3D私人健身***及其工作方法 |
| CN113647939A (zh) * | 2021-08-26 | 2021-11-16 | 复旦大学 | 一种针对脊柱退行性疾病的人工智能康复评估与训练*** |
| CN113662533A (zh) * | 2021-07-15 | 2021-11-19 | 华中科技大学 | 一种关节康复运动监测管理***及使用方法 |
| CN113780253A (zh) * | 2021-11-12 | 2021-12-10 | 佛山科学技术学院 | 一种人体关节运动关键点识别方法及*** |
| CN215128651U (zh) * | 2021-03-22 | 2021-12-14 | 嘉兴市第二医院 | 一种测量关节活动度的多功能警报器 |
| CN114387678A (zh) * | 2022-01-11 | 2022-04-22 | 凌云美嘉(西安)智能科技有限公司 | 利用非词语性身体符号评价语言阅读能力的方法及设备 |
| CN114663463A (zh) * | 2022-04-07 | 2022-06-24 | 上海电气集团股份有限公司 | 关节活动度的测量方法、***、设备、电子设备和存储介质 |
-
2022
- 2022-07-01 CN CN202210762975.2A patent/CN114795192B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102824176A (zh) * | 2012-09-24 | 2012-12-19 | 南通大学 | 一种基于Kinect传感器的上肢关节活动度测量方法 |
| CN104035557A (zh) * | 2014-05-22 | 2014-09-10 | 华南理工大学 | 一种基于关节活跃度的Kinect动作识别方法 |
| CN104887238A (zh) * | 2015-06-10 | 2015-09-09 | 上海大学 | 基于动作捕捉的手康复训练评估***和方法 |
| CN107320108A (zh) * | 2017-08-14 | 2017-11-07 | 佛山科学技术学院 | 一种关节活动度测量方法 |
| CN108154912A (zh) * | 2017-12-15 | 2018-06-12 | 江苏承康医用设备有限公司 | 一种应用于康复医疗去代偿安全关节活动度评定训练*** |
| WO2021060040A1 (ja) * | 2019-09-27 | 2021-04-01 | 国立研究開発法人理化学研究所 | 判定装置、判定方法、プログラム、ならびに、情報記録媒体 |
| CN111481208A (zh) * | 2020-04-01 | 2020-08-04 | 中南大学湘雅医院 | 一种应用于关节康复的辅助***、方法及存储介质 |
| CN111568428A (zh) * | 2020-04-13 | 2020-08-25 | 汕头大学医学院 | 一种人体关节活动度检测***以及检测方法 |
| CN111938658A (zh) * | 2020-08-10 | 2020-11-17 | 陈雪丽 | 一种用于手部、腕部与前臂的关节活动度监测***及方法 |
| CN112370048A (zh) * | 2020-11-10 | 2021-02-19 | 南京紫金体育产业股份有限公司 | 基于关节关键点的运动姿态伤害预防方法、***和存储介质 |
| CN215128651U (zh) * | 2021-03-22 | 2021-12-14 | 嘉兴市第二医院 | 一种测量关节活动度的多功能警报器 |
| CN113368487A (zh) * | 2021-06-10 | 2021-09-10 | 福州大学 | 基于OpenPose的3D私人健身***及其工作方法 |
| CN113662533A (zh) * | 2021-07-15 | 2021-11-19 | 华中科技大学 | 一种关节康复运动监测管理***及使用方法 |
| CN113647939A (zh) * | 2021-08-26 | 2021-11-16 | 复旦大学 | 一种针对脊柱退行性疾病的人工智能康复评估与训练*** |
| CN113780253A (zh) * | 2021-11-12 | 2021-12-10 | 佛山科学技术学院 | 一种人体关节运动关键点识别方法及*** |
| CN114387678A (zh) * | 2022-01-11 | 2022-04-22 | 凌云美嘉(西安)智能科技有限公司 | 利用非词语性身体符号评价语言阅读能力的方法及设备 |
| CN114663463A (zh) * | 2022-04-07 | 2022-06-24 | 上海电气集团股份有限公司 | 关节活动度的测量方法、***、设备、电子设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 一种基于关键点的红外图像人体摔倒检测方法;徐世文等;《红外技术》;20211031;第43卷(第10期);第1003-1007页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114795192A (zh) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ramesh et al. | Dart: distribution aware retinal transform for event-based cameras | |
| JP6511149B2 (ja) | 指紋重複領域の面積算出方法、それを行う電子機器、コンピュータプログラム、及び、記録媒体 | |
| Li et al. | Depthwise nonlocal module for fast salient object detection using a single thread | |
| Jayaraman et al. | An efficient minutiae based geometric hashing for fingerprint database | |
| CN114795192B (zh) | 一种关节活动度智能检测方法及*** | |
| CN111079536B (zh) | 基于人体关键点时序的行为分析方法、存储介质及设备 | |
| CN111079519B (zh) | 多姿态人体检测方法、计算机存储介质及电子设备 | |
| Serrano et al. | Spatio-temporal elastic cuboid trajectories for efficient fight recognition using Hough forests | |
| CN111340213B (zh) | 神经网络的训练方法、电子设备、存储介质 | |
| CN112801235A (zh) | 模型训练方法、预测方法、装置、重识别模型及电子设备 | |
| CN112529939A (zh) | 一种目标轨迹匹配方法、装置、机器可读介质及设备 | |
| KR20210088436A (ko) | 이미지 처리 방법, 장치 및 전자 기기 | |
| Taylor et al. | Pose-sensitive embedding by nonlinear nca regression | |
| CN112560002A (zh) | 基于步态行为的身份认证方法、装置、设备及存储介质 | |
| CN110598732B (zh) | 一种基于图像识别的植物健康检测方法及装置 | |
| CN116959097A (zh) | 动作识别方法、装置、设备及存储介质 | |
| Gad et al. | Crowd density estimation using multiple features categories and multiple regression models | |
| CN115439938A (zh) | 一种防***的人脸档案数据归并处理方法及*** | |
| Clark et al. | Perspective correction for improved visual registration using natural features. | |
| CN114463835A (zh) | 行为识别方法、电子设备及计算机可读存储介质 | |
| CN109614854B (zh) | 视频数据处理方法及装置、计算机装置及可读存储介质 | |
| CN112989938A (zh) | 一种行人实时跟踪识别方法、装置、介质及设备 | |
| JP2022534314A (ja) | ピクチャに基づいた多次元情報の統合方法及び関連機器 | |
| CN113449714B (zh) | 一种用于儿童游乐场地的识别方法及*** | |
| CN109558830A (zh) | 手写识别方法、装置与设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |