CN110163489A - 一种戒毒运动锻炼成效评价方法 - Google Patents
一种戒毒运动锻炼成效评价方法 Download PDFInfo
- Publication number
- CN110163489A CN110163489A CN201910348918.8A CN201910348918A CN110163489A CN 110163489 A CN110163489 A CN 110163489A CN 201910348918 A CN201910348918 A CN 201910348918A CN 110163489 A CN110163489 A CN 110163489A
- Authority
- CN
- China
- Prior art keywords
- capsule
- image
- loss
- formula
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 118
- 239000003814 drug Substances 0.000 title claims abstract description 80
- 229940079593 drug Drugs 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000000694 effects Effects 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 37
- 230000009471 action Effects 0.000 claims abstract description 12
- 230000000875 corresponding effect Effects 0.000 claims abstract description 12
- 230000037147 athletic performance Effects 0.000 claims abstract description 8
- 239000002775 capsule Substances 0.000 claims description 111
- 230000008569 process Effects 0.000 claims description 37
- 230000037237 body shape Effects 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 32
- 239000013598 vector Substances 0.000 claims description 21
- 230000011218 segmentation Effects 0.000 claims description 17
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 9
- 239000000203 mixture Substances 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000009432 framing Methods 0.000 claims description 6
- 239000002699 waste material Substances 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000000137 annealing Methods 0.000 claims description 3
- 230000033228 biological regulation Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 3
- 238000003475 lamination Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000003292 glue Substances 0.000 claims 1
- 230000009467 reduction Effects 0.000 claims 1
- 208000011117 substance-related disease Diseases 0.000 description 6
- 206010013663 drug dependence Diseases 0.000 description 4
- 206010012335 Dependence Diseases 0.000 description 2
- 206010013654 Drug abuse Diseases 0.000 description 2
- 238000001784 detoxification Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 206010010144 Completed suicide Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000012152 algorithmic method Methods 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000002651 drug therapy Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Educational Administration (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Primary Health Care (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种戒毒运动锻炼成效评价方法，属于成效评价领域，从吸毒者运动锻炼***中获取相应的吸毒者的运动锻炼方案数据；通过摄像头采集吸毒者实际运动视频数据；从实际运动视频数据进行截取帧图片；对运动图片数据进行动作识别，描出运动动作框；根据原图的时间对识别后的运动动作框进行整合，并在坐标轴上描出运动轨迹；获取运动轨迹的最坐标点数据；把获取运动轨迹的坐标点数据与运动训练相应动作的坐标点数据进行比较；根据对比数据计算动作完成率，完成成效评价。
Description
【技术领域】
本发明涉及评价技术领域，具体涉及一种戒毒运动锻炼成效评价方法。
【背景技术】
戒毒者一般通过药物治疗或自然戒断进行戒毒。药物治疗方式，脱毒周期长，难解戒毒 者心里依赖，易出现复吸现象。自然戒断方式，戒毒者需承受较大痛苦，导致反抗性大，易 发生自残、***等行为，难除心瘾，复吸率高。每年因吸毒死亡的人数中绝大多数是因为复 吸导致死亡。目前如何降低复吸，提高戒毒工作的效率，已成为全社会关注的焦点。因此对 戒毒者的心瘾发作情况的监测非常重要。
因此，需要根据吸毒人员的身体情况和吸毒情况进行通过相应的运动或者动作等进行减 缓毒瘾，可以有效的解决吸毒者毒瘾发作时把心思放在自身的感觉上，因此，需要根据不同 的吸毒人员进行匹配合适的运动训练的方案，可以有效的缓解毒瘾发作，可以慢慢的帮助吸 毒人员把毒瘾戒掉。但是现有没有能够对运动训练的进行评价，具体的实际动作已经达到了 什么样的成效，因此需要设计一种能够评价成效的方法。
【发明内容】
本发明旨在公开一种戒毒运动锻炼成效评价方法，解决现有没能对吸毒者运动训练的效 果进行评价，使得吸毒者运动应付式完成锻炼，但是效果没能达到预期效果的技术问题。
本发明采取的技术方案为：
一种戒毒运动锻炼成效评价方法，所述评价方法包括如下步骤，
步骤1：从吸毒者运动锻炼***中获取相应的吸毒者的运动锻炼方案数据；
步骤2：通过摄像头采集吸毒者实际运动视频数据；
步骤3：从实际运动视频数据进行截取帧图片；
步骤4：对运动图片数据进行动作识别，描出运动动作框；
步骤5：根据原图的时间对识别后的运动动作框进行整合，并在坐标轴上描出运动轨迹；
步骤6：获取运动轨迹的最坐标点数据；
步骤7：把获取运动轨迹的坐标点数据与运动训练相应动作的坐标点数据进行比较；
步骤8：根据对比数据计算动作完成率，完成成效评价。
进一步地，所述步骤1中获取吸毒者的运动锻炼方案数据的具体过程为：
通过串口接入吸毒者的运动锻炼方案***，把吸毒者的运动锻炼方案***内的相应吸毒 者的运动训练方案传输出来，虚吸毒者的运动锻炼方案***内预先存储有吸毒者运动训练的 具体方案，包括每个运动的具体数据坐标点和运动轨迹。
进一步地，所述步骤2中采集吸毒者实际运动视频数据的具体过程为：
通过摄像头拍摄吸毒者在运动过程整体的视频数据，所述摄像头的个数为两个，一个设 置在吸毒者运动的前方或者后方，另一个设置在吸毒者的左侧或者右侧。
进一步地，所述步骤3中把两个摄像头的视频图像均进行分解，并把拍摄的时间作为分 解的标签，把同一时间的图片进行组合成为一张图片，得到若干张的吸毒者运动双向图，组 合的具体过程为把图片拼接为一张图，不改变图像和像素内容。
进一步地，所述步骤4中识别的具体过程为：
步骤4.1：拍摄和收集复杂背景下的运动锻炼图像，对所有图像的身体形态轮廓进行人工 标注并生成标签图，再将原图和标签图进行图像增强处理；
步骤4.2：用经过图像增强后的图像对U型残差胶囊网络进行训练，把复杂背景下的运动 锻炼图像输入训练好后的U型残差胶囊网络分割出二值化运动锻炼图像；
步骤4.3：将步骤4.2中分割出来的二值化运动锻炼图像经过图像定位得到矩形包围框， 把包围框所对应的原图和分割图相乘最终得到分割出来的身体形态图像；
步骤4.4：利用不同运动形状的身体形态图像训练改进矩阵胶囊网络，输出训练好的改进 矩阵胶囊网络模型，将步骤4.3分割出的身体形态图像输入改进矩阵胶囊网络模型，使用改 进矩阵胶囊网络模型分类出每种不同的身体形态，实现身体形态图像的识别。
进一步地，所述步骤4.1-步骤4.4的详细过程为：
U型残差胶囊网络由胶囊卷积层和胶囊残差块组成，U型残差胶囊网络的左侧部分使用胶 囊卷积层和胶囊残差块对图像进行提取深层特征，U型残差胶囊网络的下面使用两个胶囊残 差块作为中间层，U型残差胶囊网络的右侧部分使用胶囊反卷积层进行上采样放大图像，并 把U型残差胶囊网络的左侧提取的特征拼接到右侧再进行提取特征，最终输出端还原回原图 像大小的身体形态分割图；
所述胶囊卷积层的原理算式为：
式中输入胶囊ui进乘以姿态调节向量wij得
动态路由公式为：
其中，cij为动态路由耦合系数(即概率向量)，bij初始化为0，sj是所有 预测向量和概率向量的加权之和；
将公式(1)带入动态路由公式(2-5)循环训练15次；
所述胶囊残差块由两块胶囊卷积层组成，先把输入进行批标准化，再输入到两个胶囊卷 积层，第二层胶囊卷积层输出后再进行批标准化，两路输出相加再输出结果；
图像定位的具体过程为先进行图像模糊去噪，用9*9内核的低通滤波器平滑图像，每个像 素替换为该像素周围像素的均值，去除分割图的噪声，然后对图像进行腐蚀去斑处理去除大 点的白色斑块，算出腐蚀剩下目标的轮廓区域，根据轮廓区域求得最大边框，根据最大边框 裁剪出原图和二值化图，最终将这两图合并得到彩色身体形态图像；
矩阵胶囊网络由普通卷基层、主胶囊层、胶囊卷积层和胶囊分类层组成，矩阵胶囊网络 则是把每个神经元向量做成一个n*n大小的姿态矩阵，矩阵胶囊网络最后两层的卷积胶囊层 用于实现卷积、姿态变换以及以EM动态路由三个步骤，使用EM算法实现了聚类过程，E步 具体算式为：
其中，xi为输入的投票向量，aj代表为第j类的高斯混合系数，代表数据xi在第j类的高斯分布，分母代表k个混合高斯分布之和，最终求得后验概率p(j|xi)；
M步的公式为：
由公式(7-8)实现了按样本加权平均来估计第j类的均值，由公式(7-9)求得方差值，并 由一下公式求得熵cos tj，
若熵值越小则属于第j类，使用sigmoid函数将值压缩到0到1之间作为激活函数，即高斯 混合系数：
aj＝sigmoid(λ(βa-costj)) (11)
式中选择加入λ是退火策略，该值作为温度值的倒数，随着训练次数的增加，温度下降 让λ慢慢增大，使得激活函数也增大；
每层胶囊层都分配有公式(10-11)中的参数βa和βμ，该参数通过反向传播进行训练，公 式(6-11)选择3次迭代次数，实现动态路由处理；
训练时，将训练网络输出的预测值和真实输入到Loss函数中，Loss函数为：
Loss＝log(Dice_loss)+α*Focal_loss (12)
(12)式中的Loss由Dice loss和Focal loss组合而成，实现有效组合这两个loss，将两者缩放到一致的数量级才能训练，使用-log放大Dice loss，同时加入放缩因子α缩小Focal loss的大小；
Dice_loss＝1-dice_coef＝1-2|A∩B|/(|A|+|B|) (13)
(13)式中Dice loss中的A和B分别为标签图和网络输出的预测图，该loss计算了A和B的相似度，当无限逼近相似时，dice_coef的值为1；
(14)式中的Focal loss专注于难以分类的样本，由于训练图像的背景占比很大，而身 体形态占比很小，会导致负样本loss占据主导，γ值,取值为2，β取0.25，从而能够调节正 负样本的平衡；
经过不断训练迭代更新胶囊分割网络的权重，直到Loss函数收敛，输出胶囊分割网络模 型，利用胶囊分割模型进行身体形态图像的分割；
训练改进矩阵胶囊网络的具体过程为：将训练改进矩阵胶囊网络激活向量输入到margin loss函数中，loss如下式所示：
(15)式中的k指的是第k分类，margin loss把每个分类的loss都加起来再取平均值， 式中的λ是比例系数，调节两者的权重，式中的m+、m-分别取值0.9和0.1，则LK若要为0，那么当第k分类为正样本时，即TK为1，||vk||的长度必须要超过0.9才不会有loss误差，当第k分类为负样本时，即TK为0，||vk||的长度必须小于0.1要且才不会有loss误差，把预测的结果和真实值输入loss函数，然后进行权值更新。
进一步地，所述步骤5-步骤6的具体过程为，把各个识别后的身体形态框安装时间顺序 进行拼接，形成肢体运动轨迹，并把轨迹的坐标数据进行采集，然后选取轨迹的极值点的坐 标数据。
进一步地，所述步骤7中把每个识别后的帧图像的坐标数据与训练方案的坐标数据进行 横坐标和中坐标分别进行比较大小。
进一步地，所述比较的过程为，同一时刻的动作的极值点进行做除法比较，得到完成率， 具体为：
card(P)为训练方案的动作极值点，card(S)为吸毒者实际运动的动作极值点，a为完成 率。
进一步地，所述步骤7中的具体过程为:
计算动作成效浪费率：
其中，浪费基数与极值点的绝对值成正比，范围为0.7-0.98；
f(a,b)＝a2+(1-b)2
f(a,b)为运动成效评价数值。采用本发明技术方案具有以下优势：
本发明通过把原先的构建的运动训练***的训练运动方案进行获取，并用采集的吸毒者 实际运动过程的实际锻炼动作进行一一的对比，从而更好的评价训练运动的成效，同时通过 外部***的自动采集的计算，可以解决现有虚拟现实场景锻炼没能很好的看到自己的动作， 自身不知道动作的完成量，通过视频的采集，然后通过视频帧分解处理，图片识别，自动的 完成对吸毒者自身运动的每个动作情况，从而更好的对吸毒者的动作进行客观的评价，从而 吸毒者更具评价进行修正，使得运动的动作更加的标准，更好的符合运动的需求，同时可以 收到更好的运动成效；同时在识别算法上使用了多尺度和恒等映射的矩阵胶囊结构，用于提 高人体形态识别率；实验结果表明：将多尺度通道的普通卷积层的输出对PrimaryCapsules 进行恒等映射，能提升人体形态图像识别率、降低loss值和加速训练。改进矩阵胶囊网络的 有益效果是：比原有矩阵胶囊网络算法方法更能有效提高人体形态识别率，在识别不同角度 的人体形态图像时，比经典CNN方法的人体形态识别效果更好，且能加速模型训练loss值的 收敛。
【附图说明】
图1是本发明流程图。
图2是本发明图像处理流程图。
如下具体实施方式将结合上述附图进一步说明本发明。
【具体实施方式】
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描 述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明 中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例， 都属于本发明保护的范围。
需要说明的是，在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非 旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述” 和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用 的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变 形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品 或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选 地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
需要说明的是，下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中 自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过 参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发 明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不 在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了 简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。
请参阅图1，是本发明实施例提供的一种戒毒运动锻炼成效评价方法流程图，如图1所 示，所述评价方法包括如下步骤，
步骤1：从吸毒者运动锻炼***中获取相应的吸毒者的运动锻炼方案数据；
步骤2：通过摄像头采集吸毒者实际运动视频数据；
步骤3：从实际运动视频数据进行截取帧图片；
步骤4：对运动图片数据进行动作识别，描出运动动作框；
步骤5：根据原图的时间对识别后的运动动作框进行整合，并在坐标轴上描出运动轨迹；
步骤6：获取运动轨迹的最坐标点数据；
步骤7：把获取运动轨迹的坐标点数据与运动训练相应动作的坐标点数据进行比较；
步骤8：根据对比数据计算动作完成率，完成成效评价。
本发明实施例中，所述步骤1中获取吸毒者的运动锻炼方案数据的具体过程为：
通过串口接入吸毒者的运动锻炼方案***，把吸毒者的运动锻炼方案***内的相应吸毒 者的运动训练方案传输出来，虚吸毒者的运动锻炼方案***内预先存储有吸毒者运动训练的 具体方案，包括每个运动的具体数据坐标点和运动轨迹。
本发明实施例中，所述步骤2中采集吸毒者实际运动视频数据的具体过程为：
通过摄像头拍摄吸毒者在运动过程整体的视频数据，所述摄像头的个数为两个，一个设 置在吸毒者运动的前方或者后方，另一个设置在吸毒者的左侧或者右侧。
本发明实施例中，所述步骤3中把两个摄像头的视频图像均进行分解，并把拍摄的时间 作为分解的标签，把同一时间的图片进行组合成为一张图片，得到若干张的吸毒者运动双向 图，组合的具体过程为把图片拼接为一张图，不改变图像和像素内容。
本发明实施例中，所述步骤4中识别的具体过程为：
步骤4.1：拍摄和收集复杂背景下的运动锻炼图像，对所有图像的身体形态轮廓进行人工 标注并生成标签图，再将原图和标签图进行图像增强处理；
步骤4.2：用经过图像增强后的图像对U型残差胶囊网络进行训练，把复杂背景下的运动 锻炼图像输入训练好后的U型残差胶囊网络分割出二值化运动锻炼图像；
步骤4.3：将步骤4.2中分割出来的二值化运动锻炼图像经过图像定位得到矩形包围框， 把包围框所对应的原图和分割图相乘最终得到分割出来的身体形态图像；
步骤4.4：利用不同运动形状的身体形态图像训练改进矩阵胶囊网络，输出训练好的改进 矩阵胶囊网络模型，将步骤4.3分割出的身体形态图像输入改进矩阵胶囊网络模型，使用改 进矩阵胶囊网络模型分类出每种不同的身体形态，实现身体形态图像的识别。
本发明实施例中，所述步骤4.1-步骤4.4的详细过程为：
U型残差胶囊网络由胶囊卷积层和胶囊残差块组成，U型残差胶囊网络的左侧部分使用胶 囊卷积层和胶囊残差块对图像进行提取深层特征，U型残差胶囊网络的下面使用两个胶囊残 差块作为中间层，U型残差胶囊网络的右侧部分使用胶囊反卷积层进行上采样放大图像，并 把U型残差胶囊网络的左侧提取的特征拼接到右侧再进行提取特征，最终输出端还原回原图 像大小的身体形态分割图；
所述胶囊卷积层的原理算式为：
式中输入胶囊ui进乘以姿态调节向量wij得
动态路由公式为：
其中，cij为动态路由耦合系数(即概率向量)，bij初始化为0，sj是所有
预测向量和概率向量的加权之和；
将公式(1)带入动态路由公式(2-5)循环训练15次；
所述胶囊残差块由两块胶囊卷积层组成，先把输入进行批标准化，再输入到两个胶囊卷 积层，第二层胶囊卷积层输出后再进行批标准化，两路输出相加再输出结果；
图像定位的具体过程为先进行图像模糊去噪，用9*9内核的低通滤波器平滑图像，每个像 素替换为该像素周围像素的均值，去除分割图的噪声，然后对图像进行腐蚀去斑处理去除大 点的白色斑块，算出腐蚀剩下目标的轮廓区域，根据轮廓区域求得最大边框，根据最大边框 裁剪出原图和二值化图，最终将这两图合并得到彩色身体形态图像；
矩阵胶囊网络由普通卷基层、主胶囊层、胶囊卷积层和胶囊分类层组成，矩阵胶囊网络 则是把每个神经元向量做成一个n*n大小的姿态矩阵，矩阵胶囊网络最后两层的卷积胶囊层 用于实现卷积、姿态变换以及以EM动态路由三个步骤，使用EM算法实现了聚类过程，E步 具体算式为：
其中，xi为输入的投票向量，aj代表为第j类的高斯混合系数，代表数据xi在第j类的高斯分布，分母代表k个混合高斯分布之和，最终求得后验概率p(j|xi)；
M步的公式为：
由公式(7-8)实现了按样本加权平均来估计第j类的均值，由公式(7-9)求得方差值，并 由一下公式求得熵cos tj，
若熵值越小则属于第j类，使用sigmoid函数将值压缩到0到1之间作为激活函数，即高斯 混合系数：
aj＝sigmoid(λ(βa-costj)) (11)
式中选择加入λ是退火策略，该值作为温度值的倒数，随着训练次数的增加，温度下降 让λ慢慢增大，使得激活函数也增大；
每层胶囊层都分配有公式(10-11)中的参数βa和βμ，该参数通过反向传播进行训练，公 式(6-11)选择3次迭代次数，实现动态路由处理；
训练时，将训练网络输出的预测值和真实输入到Loss函数中，Loss函数为：
Loss＝log(Dice_loss)+α*Focal_loss (12)
(12)式中的Loss由Dice loss和Focal loss组合而成，实现有效组合这两个loss，将两者缩放到一致的数量级才能训练，使用-log放大Dice loss，同时加入放缩因子α缩小Focal loss的大小；
Dice_loss＝1-dice_coef＝1-2|A∩B|/(|A|+|B|) (13)
(13)式中Dice loss中的A和B分别为标签图和网络输出的预测图，该loss计算了A和B的相似度，当无限逼近相似时，dice_coef的值为1；
(14)式中的Focal loss专注于难以分类的样本，由于训练图像的背景占比很大，而身 体形态占比很小，会导致负样本loss占据主导，γ值,取值为2，β取0.25，从而能够调节正 负样本的平衡；
经过不断训练迭代更新胶囊分割网络的权重，直到Loss函数收敛，输出胶囊分割网络模 型，利用胶囊分割模型进行身体形态图像的分割；
训练改进矩阵胶囊网络的具体过程为：将训练改进矩阵胶囊网络激活向量输入到margin loss函数中，loss如下式所示：
(15)式中的k指的是第k分类，margin loss把每个分类的loss都加起来再取平均值， 式中的λ是比例系数，调节两者的权重，式中的m+、m-分别取值0.9和0.1，则LK若要为0，那么当第k分类为正样本时，即TK为1，||vk||的长度必须要超过0.9才不会有loss误差，当第k分类为负样本时，即TK为0，||vk||的长度必须小于0.1要且才不会有loss误差，把预测的结果和真实值输入loss函数，然后进行权值更新。
本发明实施例中，所述步骤5-步骤6的具体过程为，把各个识别后的身体形态框安装时 间顺序进行拼接，形成肢体运动轨迹，并把轨迹的坐标数据进行采集，然后选取轨迹的极值 点的坐标数据。
本发明实施例中，所述步骤7中把每个识别后的帧图像的坐标数据与训练方案的坐标数 据进行横坐标和中坐标分别进行比较大小。
本发明实施例中，所述比较的过程为，同一时刻的动作的极值点进行做除法比较，得到 完成率，具体为：
card(P)为训练方案的动作极值点，card(S)为吸毒者实际运动的动作极值点，a为完成 率。
本发明实施例中，所述步骤7中的具体过程为:
计算动作成效浪费率：
其中，浪费基数与极值点的绝对值成正比，范围为0.7-0.98；
f(a,b)＝a2+(1-b)2
f(a,b)为运动成效评价数值。
Claims (10)
1.一种戒毒运动锻炼成效评价方法，其特征在于：所述评价方法包括如下步骤，
步骤1：从吸毒者运动锻炼***中获取相应的吸毒者的运动锻炼方案数据；
步骤2：通过摄像头采集吸毒者实际运动视频数据；
步骤3：从实际运动视频数据进行截取帧图片；
步骤4：对运动图片数据进行动作识别，描出运动动作框；
步骤5：根据原图的时间对识别后的运动动作框进行整合，并在坐标轴上描出运动轨迹；
步骤6：获取运动轨迹的最坐标点数据；
步骤7：把获取运动轨迹的坐标点数据与运动训练相应动作的坐标点数据进行比较；
步骤8：根据对比数据计算动作完成率，完成成效评价。
2.根据权利要求1所述的一种戒毒运动锻炼成效评价方法，其特征在于：所述步骤1中获取吸毒者的运动锻炼方案数据的具体过程为：
通过串口接入吸毒者的运动锻炼方案***，把吸毒者的运动锻炼方案***内的相应吸毒者的运动训练方案传输出来，虚吸毒者的运动锻炼方案***内预先存储有吸毒者运动训练的具体方案，包括每个运动的具体数据坐标点和运动轨迹。
3.根据权利要求1所述的一种戒毒运动锻炼成效评价方法，其特征在于：所述步骤2中采集吸毒者实际运动视频数据的具体过程为：
通过摄像头拍摄吸毒者在运动过程整体的视频数据，所述摄像头的个数为两个，一个设置在吸毒者运动的前方或者后方，另一个设置在吸毒者的左侧或者右侧。
4.根据权利要求3所述的一种戒毒运动锻炼成效评价方法，其特征在于：所述步骤3中把两个摄像头的视频图像均进行分解，并把拍摄的时间作为分解的标签，把同一时间的图片进行组合成为一张图片，得到若干张的吸毒者运动双向图，组合的具体过程为把图片拼接为一张图，不改变图像和像素内容。
5.根据权利要求4所述的一种戒毒运动锻炼成效评价方法，其特征在于：所述步骤4中识别的具体过程为：
步骤4.1：拍摄和收集复杂背景下的运动锻炼图像，对所有图像的身体形态轮廓进行人工标注并生成标签图，再将原图和标签图进行图像增强处理；
步骤4.2：用经过图像增强后的图像对U型残差胶囊网络进行训练，把复杂背景下的运动锻炼图像输入训练好后的U型残差胶囊网络分割出二值化运动锻炼图像；
步骤4.3：将步骤4.2中分割出来的二值化运动锻炼图像经过图像定位得到矩形包围框，把包围框所对应的原图和分割图相乘最终得到分割出来的身体形态图像；
步骤4.4：利用不同运动形状的身体形态图像训练改进矩阵胶囊网络，输出训练好的改进矩阵胶囊网络模型，将步骤4.3分割出的身体形态图像输入改进矩阵胶囊网络模型，使用改进矩阵胶囊网络模型分类出每种不同的身体形态，实现身体形态图像的识别。
6.根据权利要求5所述的一种戒毒运动锻炼成效评价方法，其特征在于：所述步骤4.1-步骤4.4的详细过程为：
U型残差胶囊网络由胶囊卷积层和胶囊残差块组成，U型残差胶囊网络的左侧部分使用胶囊卷积层和胶囊残差块对图像进行提取深层特征，U型残差胶囊网络的下面使用两个胶囊残差块作为中间层，U型残差胶囊网络的右侧部分使用胶囊反卷积层进行上采样放大图像，并把U型残差胶囊网络的左侧提取的特征拼接到右侧再进行提取特征，最终输出端还原回原图像大小的身体形态分割图；
所述胶囊卷积层的原理算式为：
式中输入胶囊ui进乘以姿态调节向量wi j得
动态路由公式为：
其中，cij为动态路由耦合系数(即概率向量)，bij初始化为0，sj是所有
预测向量和概率向量的加权之和；
将公式(1)带入动态路由公式(2-5)循环训练15次；
所述胶囊残差块由两块胶囊卷积层组成，先把输入进行批标准化，再输入到两个胶囊卷积层，第二层胶囊卷积层输出后再进行批标准化，两路输出相加再输出结果；
图像定位的具体过程为先进行图像模糊去噪，用9*9内核的低通滤波器平滑图像，每个像素替换为该像素周围像素的均值，去除分割图的噪声，然后对图像进行腐蚀去斑处理去除大点的白色斑块，算出腐蚀剩下目标的轮廓区域，根据轮廓区域求得最大边框，根据最大边框裁剪出原图和二值化图，最终将这两图合并得到彩色身体形态图像；
矩阵胶囊网络由普通卷基层、主胶囊层、胶囊卷积层和胶囊分类层组成，矩阵胶囊网络则是把每个神经元向量做成一个n*n大小的姿态矩阵，矩阵胶囊网络最后两层的卷积胶囊层用于实现卷积、姿态变换以及以EM动态路由三个步骤，使用EM算法实现了聚类过程，E步具体算式为：
其中，xi为输入的投票向量，aj代表为第j类的高斯混合系数，代表数据xi在第j类的高斯分布，分母代表k个混合高斯分布之和，最终求得后验概率p(j|xi)；
M步的公式为：
由公式(7-8)实现了按样本加权平均来估计第j类的均值，由公式(7-9)求得方差值，并由一下公式求得熵costj，
若熵值越小则属于第j类，使用sigmoid函数将值压缩到0到1之间作为激活函数，即高斯混合系数：
aj＝sigmoid(λ(βa-costj)) (11)
式中选择加入λ是退火策略，该值作为温度值的倒数，随着训练次数的增加，温度下降让λ慢慢增大，使得激活函数也增大；
每层胶囊层都分配有公式(10-11)中的参数βa和βμ，该参数通过反向传播进行训练，公式(6-11)选择3次迭代次数，实现动态路由处理；
训练时，将训练网络输出的预测值和真实输入到Loss函数中，Loss函数为：
Loss＝log(Dice_loss)+α*Focal_loss (12)
(12)式中的Loss由Dice loss和Focal loss组合而成，实现有效组合这两个loss，将两者缩放到一致的数量级才能训练，使用-log放大Dice loss，同时加入放缩因子α缩小Focalloss的大小；
Dice_loss＝1-dice_coef＝1-2|A∩B|/(|A|+|B|) (13)
(13)式中Dice loss中的A和B分别为标签图和网络输出的预测图，该loss计算了A和B的相似度，当无限逼近相似时，dice_coef的值为1；
(14)式中的Focal loss专注于难以分类的样本，由于训练图像的背景占比很大，而身体形态占比很小，会导致负样本loss占据主导，γ值,取值为2，β取0.25，从而能够调节正负样本的平衡；
经过不断训练迭代更新胶囊分割网络的权重，直到Loss函数收敛，输出胶囊分割网络模型，利用胶囊分割模型进行身体形态图像的分割；
训练改进矩阵胶囊网络的具体过程为：将训练改进矩阵胶囊网络激活向量输入到marginloss函数中，loss如下式所示：
(15)式中的k指的是第k分类，margin loss把每个分类的loss都加起来再取平均值，式中的λ是比例系数，调节两者的权重，式中的m+、m-分别取值0.9和0.1，则LK若要为0，那么当第k分类为正样本时，即TK为1，||vk||的长度必须要超过0.9才不会有loss误差，当第k分类为负样本时，即TK为0，||vk||的长度必须小于0.1要且才不会有loss误差，把预测的结果和真实值输入loss函数，然后进行权值更新。
7.根据权利要求6所述的一种戒毒运动锻炼成效评价方法，其特征在于：所述步骤5-步骤6的具体过程为，把各个识别后的身体形态框安装时间顺序进行拼接，形成肢体运动轨迹，并把轨迹的坐标数据进行采集，然后选取轨迹的极值点的坐标数据。
8.根据权利要求7所述的一种戒毒运动锻炼成效评价方法，其特征在于：所述步骤7中把每个识别后的帧图像的坐标数据与训练方案的坐标数据进行横坐标和中坐标分别进行比较大小。
9.根据权利要求8所述的一种戒毒运动锻炼成效评价方法，其特征在于：所述比较的过程为，同一时刻的动作的极值点进行做除法比较，得到完成率，具体为：
card(P)为训练方案的动作极值点，card(S)为吸毒者实际运动的动作极值点，a为完成率。
10.根据权利要求9所述的一种戒毒运动锻炼成效评价方法，其特征在于：所述步骤7中的具体过程为:
计算动作成效浪费率：
其中，浪费基数与极值点的绝对值成正比，范围为0.7-0.98；
f(a,b)＝a2+(1-b)2
f(a,b)为运动成效评价数值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910348918.8A CN110163489B (zh) | 2019-04-28 | 2019-04-28 | 一种戒毒运动锻炼成效评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910348918.8A CN110163489B (zh) | 2019-04-28 | 2019-04-28 | 一种戒毒运动锻炼成效评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110163489A true CN110163489A (zh) | 2019-08-23 |
| CN110163489B CN110163489B (zh) | 2023-07-14 |
Family
ID=67640149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910348918.8A Active CN110163489B (zh) | 2019-04-28 | 2019-04-28 | 一种戒毒运动锻炼成效评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110163489B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111012360A (zh) * | 2019-12-30 | 2020-04-17 | 中国科学院合肥物质科学研究院 | 一种用于戒毒人员神经***数据采集的装置及方法 |
| TWI828174B (zh) * | 2021-06-04 | 2024-01-01 | 虹映科技股份有限公司 | 動態訓練動作與靜態訓練動作的偵測方法及裝置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090297052A1 (en) * | 2008-05-27 | 2009-12-03 | Samsung Electronics Co., Ltd. | System and method for estimating the centers of moving objects in a video sequence |
| CN105536205A (zh) * | 2015-12-08 | 2016-05-04 | 天津大学 | 一种基于单目视频人体动作感知的上肢训练*** |
| CN105561567A (zh) * | 2015-12-29 | 2016-05-11 | 中国科学技术大学 | 一种计步及运动状态评估装置 |
| CN205516260U (zh) * | 2016-03-31 | 2016-08-31 | 湖南师范大学 | 一种戒毒用的夹胸运动装置 |
| CN107335192A (zh) * | 2017-05-26 | 2017-11-10 | 深圳奥比中光科技有限公司 | 运动辅助训练方法、装置及存储装置 |
| CN108830243A (zh) * | 2018-06-22 | 2018-11-16 | 西安电子科技大学 | 基于胶囊网络的高光谱图像分类方法 |
| CN108985316A (zh) * | 2018-05-24 | 2018-12-11 | 西南大学 | 一种改进重构网络的胶囊网络图像分类识别方法 |
| CN109241871A (zh) * | 2018-08-16 | 2019-01-18 | 北京此时此地信息科技有限公司 | 一种基于视频数据的公共区域人流跟踪方法 |
-
2019
- 2019-04-28 CN CN201910348918.8A patent/CN110163489B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090297052A1 (en) * | 2008-05-27 | 2009-12-03 | Samsung Electronics Co., Ltd. | System and method for estimating the centers of moving objects in a video sequence |
| CN105536205A (zh) * | 2015-12-08 | 2016-05-04 | 天津大学 | 一种基于单目视频人体动作感知的上肢训练*** |
| CN105561567A (zh) * | 2015-12-29 | 2016-05-11 | 中国科学技术大学 | 一种计步及运动状态评估装置 |
| CN205516260U (zh) * | 2016-03-31 | 2016-08-31 | 湖南师范大学 | 一种戒毒用的夹胸运动装置 |
| CN107335192A (zh) * | 2017-05-26 | 2017-11-10 | 深圳奥比中光科技有限公司 | 运动辅助训练方法、装置及存储装置 |
| CN108985316A (zh) * | 2018-05-24 | 2018-12-11 | 西南大学 | 一种改进重构网络的胶囊网络图像分类识别方法 |
| CN108830243A (zh) * | 2018-06-22 | 2018-11-16 | 西安电子科技大学 | 基于胶囊网络的高光谱图像分类方法 |
| CN109241871A (zh) * | 2018-08-16 | 2019-01-18 | 北京此时此地信息科技有限公司 | 一种基于视频数据的公共区域人流跟踪方法 |
Non-Patent Citations (2)
| Title |
|---|
| 南秋红: "体育训练过程中的运动视频分析与识别研究", 《现代电子技术》 * |
| 王松等: "基于关节点运动轨迹的人体动作识别", 《宁夏大学学报(自然科学版)》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111012360A (zh) * | 2019-12-30 | 2020-04-17 | 中国科学院合肥物质科学研究院 | 一种用于戒毒人员神经***数据采集的装置及方法 |
| CN111012360B (zh) * | 2019-12-30 | 2023-06-09 | 中国科学院合肥物质科学研究院 | 一种用于戒毒人员神经***数据采集的装置及方法 |
| TWI828174B (zh) * | 2021-06-04 | 2024-01-01 | 虹映科技股份有限公司 | 動態訓練動作與靜態訓練動作的偵測方法及裝置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110163489B (zh) | 2023-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110135375B (zh) | 基于全局信息整合的多人姿态估计方法 | |
| CN111414839B (zh) | 基于姿态的情感识别方法及装置 | |
| CN112784764A (zh) | 一种基于局部与全局注意力机制的表情识别方法及*** | |
| CN111027464B (zh) | 对卷积神经网络和序特征编码联合优化的虹膜识别方法 | |
| US20090116747A1 (en) | Artificial intelligence systems for identifying objects | |
| CN109214366A (zh) | 局部目标重识别方法、装置及*** | |
| CN109961005A (zh) | 一种基于二维卷积网络的动态手势识别方法及*** | |
| CN108875586B (zh) | 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法 | |
| CN110929687B (zh) | 一种基于关键点检测的多人行为识别***及工作方法 | |
| CN109902623B (zh) | 一种基于感知压缩的步态识别方法 | |
| CN108681700A (zh) | 一种复杂行为识别方法 | |
| CN105005798B (zh) | 一种基于局部相似结构统计匹配的目标识别方法 | |
| CN110490109A (zh) | 一种基于单目视觉的在线人体康复动作识别方法 | |
| CN110363770A (zh) | 一种边缘引导式红外语义分割模型的训练方法及装置 | |
| WO2020107847A1 (zh) | 基于骨骼点的跌倒检测方法及其跌倒检测装置 | |
| Han et al. | Rehabilitation posture correction using deep neural network | |
| CN115462783A (zh) | 一种基于骨骼关键点检测的婴幼儿爬行姿态分析*** | |
| CN110163489A (zh) | 一种戒毒运动锻炼成效评价方法 | |
| CN109101866A (zh) | 基于分割剪影的行人再识别方法及*** | |
| CN107351080A (zh) | 一种基于相机单元阵列的混合智能研究***及控制方法 | |
| CN110084267B (zh) | 人像聚类方法、装置、电子设备及可读存储介质 | |
| CN109784295B (zh) | 视频流特征识别方法、装置、设备及存储介质 | |
| Wysoski et al. | Adaptive learning procedure for a network of spiking neurons and visual pattern recognition | |
| Dey et al. | Workoutnet: A deep learning model for the recognition of workout actions from still images | |
| Uddin et al. | Human activity recognition using robust spatiotemporal features and convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |