CN118135614A - 基于多模态数据融合的婴幼儿睡姿识别方法、装置及设备 - Google Patents
基于多模态数据融合的婴幼儿睡姿识别方法、装置及设备 Download PDFInfo
- Publication number
- CN118135614A CN118135614A CN202410572655.XA CN202410572655A CN118135614A CN 118135614 A CN118135614 A CN 118135614A CN 202410572655 A CN202410572655 A CN 202410572655A CN 118135614 A CN118135614 A CN 118135614A
- Authority
- CN
- China
- Prior art keywords
- infant
- real
- sleeping
- time
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000004927 fusion Effects 0.000 title claims abstract description 26
- 230000036544 posture Effects 0.000 claims abstract description 150
- 238000001514 detection method Methods 0.000 claims abstract description 44
- 238000013507 mapping Methods 0.000 claims abstract description 24
- 230000007958 sleep Effects 0.000 claims description 50
- 238000011156 evaluation Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 230000000474 nursing effect Effects 0.000 abstract description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 5
- 238000012544 monitoring process Methods 0.000 description 18
- 230000036578 sleeping time Effects 0.000 description 11
- 230000036541 health Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 208000034972 Sudden Infant Death Diseases 0.000 description 7
- 206010042440 Sudden infant death syndrome Diseases 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 238000010191 image analysis Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 208000000884 Airway Obstruction Diseases 0.000 description 5
- 206010008589 Choking Diseases 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 208000000059 Dyspnea Diseases 0.000 description 2
- 206010013975 Dyspnoeas Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000000241 respiratory effect Effects 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000003860 sleep quality Effects 0.000 description 2
- RZVAJINKPMORJF-UHFFFAOYSA-N Acetaminophen Chemical compound CC(=O)NC1=CC=C(O)C=C1 RZVAJINKPMORJF-UHFFFAOYSA-N 0.000 description 1
- 206010062519 Poor quality sleep Diseases 0.000 description 1
- 208000010340 Sleep Deprivation Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 206010039722 scoliosis Diseases 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及婴幼儿看护技术领域，解决了现有技术中无法准确地识别婴幼儿的各种睡姿的问题，提供了一种基于多模态数据融合的婴幼儿睡姿识别方法、装置及设备。该方法包括：获取婴幼儿看护场景下的热红外实时图像和可见光实时图像；对所述可见光实时图像进行目标检测，输出婴幼儿头部的第一位置信息；依据热红外实时图像与可见光实时图像之间预设的映射关系，结合所述第一位置信息，确定婴幼儿头部在热红外实时图像中的第二位置信息；依据所述第二位置信息，对热红外实时图像中婴幼儿头部区域内的热红外数据进行分析，识别婴幼儿实时睡姿。本发明提高了婴幼儿睡姿识别的准确度，有助于保障婴幼儿的睡眠安全。
Description
技术领域
本发明涉及婴幼儿看护技术领域，尤其涉及一种基于多模态数据融合的婴幼儿睡姿识别方法、装置及设备。
背景技术
如今，在针对婴幼儿的看护场景中，检测婴幼儿的睡姿，特别是区分正睡、侧睡、侧睡程度以及趴睡状态，对于保障婴幼儿的安全和促进其健康发展是十分必要的，当婴幼儿趴睡时，其面部可能会被埋入床垫或其他遮挡物中，这会导致呼吸受阻，增加窒息的风险；此外，趴睡还可能导致婴幼儿体内的二氧化碳重新吸入，引起呼吸问题；虽然侧睡相对安全一些，但婴幼儿在侧睡时容易翻倒，从而面临与趴睡相似的风险；同时，研究表明，让婴幼儿正睡能够显著减少婴幼儿猝死综合征，即SIDS的风险，这是因为仰睡位置允许婴幼儿的呼吸道保持开放，减少了因呼吸受阻而导致的风险。通过监测婴幼儿的睡姿确保他们在最安全的仰睡姿势中度过大部分睡眠时间，从而减少SIDS的风险；另一方面，长时间的侧睡或趴睡可能导致婴幼儿头型变形，如扁头综合征，通过监测和调整睡姿，可以确保婴幼儿的头部受到均匀的压力，促进头型正常发育，因此，监测和调整婴幼儿的睡姿，确保他们在最安全和对发育最有益的姿势中睡觉，是十分重要的。监测婴幼儿睡姿的技术在过去几年取得了显著进展，包括嵌入婴儿床的传感器、可穿戴设备、智能摄像头以及使用人工智能进行实时分析的***等，尽管如此，仍存在一些不足之处，现有技术无法准确识别所有睡姿变化，尤其是在光线不足或有遮挡的情况下，会容易误报或漏报。
现有中国专利CN115171033A公开了一种异类图像源结合智能监测婴幼儿睡姿的方法、装置及设备，所述方法包括：实时采集围栏区域内各热源区域的实时位置信息，以便及时调整第一热源区域和第二热源区域的位置，当第一热源区域发生改变后，第二热源区域也必然跟随第一热源区域发生变化，如：婴幼儿第一时刻在围栏区域内的A区域，则A区域记为第一热源区域，A的周围区域记为第二热源区域，在第二时刻时，婴幼儿从A区域移动至B区域，B区域为A的部分周围区域，此时B区域为第一热源区域，B的周围区域为第二热源区域，由于第二时刻和第一时刻对应的第一热源区域、第二热源区域的初始温度不同，以及最后能够达到的最高温度也不一定相同；因此对不同时刻的各热源区域分别配置对应的温度变化阈值；当任一热源区域存在温度变化超出温度变化阈值时，则对该变化时段对应的睡眠视频进行图像分析，确定婴幼儿睡姿是否改变，以及是否存在异常睡姿现象，上述专利虽然也结合了可见光图像和热红外图像来确定婴幼儿睡姿，同时公开了先通过热源区域的温度变化来决定是否进行图像分析，再通过图像分析来确定婴幼儿睡姿的技术方案，然而，视频图像分析存在一定的局限性，例如，光线不足、婴幼儿动作频繁等因素都会影响图像分析的效果，使得睡姿的识别不够准确；同时，某些睡姿异常可能不会导致明显的可见光图像特征变化，例如，轻微的头部倾斜或身体侧向的改变，这些细微的变化难以被视频图像分析***准确捕捉和识别，从而无法及时发现婴幼儿的睡姿问题；综上所述，虽然上述专利采用了先进的技术手段进行婴幼儿睡姿识别，但在实际应用中仍存在诸多挑战和局限性，需要进一步完善和优化，以提高睡姿识别的准确性和全面性。
为此，如何准确地识别婴幼儿的各种睡姿是亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种基于多模态数据融合的婴幼儿睡姿识别方法、装置及设备，用以解决现有技术中无法准确地识别婴幼儿的各种睡姿的问题。
本发明采用的技术方案是：
第一方面，本发明提供了一种基于多模态数据融合的婴幼儿睡姿识别方法，所述方法包括：
获取婴幼儿看护场景下的热红外实时图像和可见光实时图像；
对所述可见光实时图像进行目标检测，输出婴幼儿头部的第一位置信息；
依据热红外实时图像与可见光实时图像之间预设的映射关系，结合所述第一位置信息，确定婴幼儿头部在热红外实时图像中的第二位置信息；
依据所述第二位置信息，对热红外实时图像中婴幼儿头部区域内的热红外数据进行分析，识别婴幼儿实时睡姿。
优选地，所述对所述可见光实时图像进行目标检测，输出婴幼儿头部的第一位置信息包括：
将所述可见光实时图像输入预训练的目标检测模型中，输出婴幼儿头部初始位置信息；
依据所述婴幼儿头部初始位置信息，利用目标跟踪算法，对婴幼儿头部进行实时跟踪，输出所述婴幼儿头部的第一位置信息。
优选地，在所述依据热红外实时图像与可见光实时图像之间预设的映射关系，结合所述第一位置信息，确定婴幼儿头部在热红外实时图像中的第二位置信息之前包括：
获取婴幼儿看护场景下的热红外样本图像和可见光样本图像；
对所述可见光样本图像进行阈值分割和角点检测，获取预设参照物的第一顶点位置信息；
对所述热红外样本图像进行阈值分割和直线检测，获取预设参照物的第二顶点位置信息；
依据所述第一顶点位置和所述第二顶点位置信息，确定所述映射关系。
优选地，所述依据所述第二位置信息，对热红外实时图像中婴幼儿头部区域内的热红外数据进行分析，识别婴幼儿实时睡姿包括：
依据所述第二位置信息，获取婴幼儿头部区域内像素点的温度值；
依据所述温度值，确定与婴幼儿头部区域内热度分布对应的实时统计特征信息；
对所述实时统计特征信息进行分析，识别婴幼儿实时睡姿，其中，所述实时睡姿至少包括正睡、侧睡和趴睡。
优选地，所述对所述实时统计特征信息进行分析，识别婴幼儿实时睡姿，其中，所述实时睡姿至少包括正睡、侧睡和趴睡包括：
对所述实时统计特征信息进行计算，获取热度分布的均匀性指标和偏斜系数；
若所述均匀性指标小于预设的与正睡睡姿对应的均匀性阈值，则识别婴幼儿正睡睡姿；
依据所述偏斜系数和预设的与侧睡睡姿对应的第一阈值、第二阈值和第三阈值，识别婴幼儿侧睡睡姿，其中，侧睡睡姿包括轻度侧睡、中度侧睡或重度侧睡，其中，第一阈值小于第二阈值，第二阈值小于第三阈值；
获取正脸睡姿下婴幼儿头部区域内热度分布对应的统计特征模板信息和婴幼儿脸部区域面积；
获取实时的婴幼儿头部区域面积，依据统计特征模板信息、婴幼儿脸部区域面积、婴幼儿头部区域面积和实时统计特征信息，识别婴幼儿趴睡睡姿。
优选地，所述依据所述偏斜系数和预设的与侧睡睡姿对应的第一阈值、第二阈值和第三阈值，识别婴幼儿侧睡睡姿包括：
若所述偏斜系数大于所述第一阈值且小于所述第二阈值，则识别婴幼儿为轻度侧睡；
若所述偏斜系数大于等于所述第二阈值且小于所述第三阈值，则识别婴幼儿为中度侧睡；
若所述偏斜系数大于等于所述第三阈值，则识别婴幼儿为重度侧睡。
优选地，所述获取实时的婴幼儿头部区域面积，依据统计特征模板信息、婴幼儿脸部区域面积、婴幼儿头部区域面积和实时统计特征信息，识别婴幼儿趴睡睡姿包括：
依据所述婴幼儿头部区域面积和婴幼儿脸部区域面积，确定第一评估值；
依据实时统计特征信息中的实时均值和统计特征模板信息中的目标均值，确定第二评估值；
获取实时统计特征信息中的实时标准差，依据所述第一评估值、第二评估值和实时标准差，识别婴幼儿趴睡睡姿。
第二方面，本发明提供了一种基于多模态数据融合的婴幼儿睡姿识别装置，所述装置包括：
图像获取模块，用于获取婴幼儿看护场景下的热红外实时图像和可见光实时图像；
目标检测模块，用于对所述可见光实时图像进行目标检测，输出婴幼儿头部的第一位置信息；
映射模块，用于依据热红外实时图像与可见光实时图像之间预设的映射关系，结合所述第一位置信息，确定婴幼儿头部在热红外实时图像中的第二位置信息；
睡姿识别模块，用于依据所述第二位置信息，对热红外实时图像中婴幼儿头部区域内的热红外数据进行分析，识别婴幼儿实时睡姿。
第三方面，本发明实施例还提供了一种电子设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
第四方面，本发明实施例还提供了一种存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
综上所述，本发明的有益效果如下：
本发明提供的基于多模态数据融合的婴幼儿睡姿识别方法、装置及设备，所述方法包括:获取婴幼儿看护场景下的热红外实时图像和可见光实时图像；对所述可见光实时图像进行目标检测，输出婴幼儿头部的第一位置信息；依据热红外实时图像与可见光实时图像之间预设的映射关系，结合所述第一位置信息，确定婴幼儿头部在热红外实时图像中的第二位置信息；依据所述第二位置信息，对热红外实时图像中婴幼儿头部区域内的热红外数据进行分析，识别婴幼儿实时睡姿。本发明结合了热红外实时图像和可见光实时图像两种不同的信息源，可见光图像提供了对婴幼儿头部位置的准确检测，而热红外图像则提供了婴幼儿头部区域内的热红外数据，通过融合这两种信息，可以更全面地分析睡姿情况；通过可见光图像进行目标检测，准确地定位婴幼儿的头部位置，为后续的热红外图像分析提供了准确的参考点；利用热红外实时图像中的婴幼儿头部位置信息和热红外数据，对婴幼儿的实时睡姿进行更深入的分析，热红外数据能够反映婴幼儿头部区域的温度分布情况，从而准确识别不同的睡姿，如侧卧、仰卧、趴睡等。综上所述，本发明通过融合多种信息源，并结合精准的位置定位和热红外数据分析，提高了睡姿识别的准确性和全面性，有助于保障婴幼儿的睡眠安全。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，这些均在本发明的保护范围内。
图1为本发明实施例1中基于多模态数据融合的婴幼儿睡姿识别方法的整体工作的流程示意图；
图2为本发明实施例1中对所述可见光实时图像进行目标检测的流程示意图；
图3为本发明实施例1中获取映射关系的流程示意图；
图4为本发明实施例1中对热红外实时图像中婴幼儿头部区域内的热红外数据进行分析，识别婴幼儿实时睡姿的流程示意图；
图5为本发明实施例1中对所述实时统计特征信息进行分析的流程示意图；
图6为本发明实施例1中识别婴幼儿侧睡睡姿的流程示意图；
图7为本发明实施例1中识别婴幼儿趴睡睡姿的流程示意图；
图8为本发明实施例3中基于多模态数据融合的婴幼儿睡姿识别装置的结构框图；
图9为本发明实施例4中电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。
实施例1
请参见图1，本发明实施例1公开了一种基于多模态数据融合的婴幼儿睡姿识别方法，所述方法包括：
获取婴幼儿看护场景下的热红外实时图像和可见光实时图像；
具体地，在婴幼儿看护场景下，获取热红外摄像头采集的热红外实时图像和彩色摄像头采集的可见光实时图像，热红外实时图像能够提供对婴幼儿体温分布的实时监测，通过热红外摄像头采集的图像，可以清晰地观察到婴幼儿体表的温度分布情况，从而及时发现异常情况，比如体温过高或过低，有助于预防和处理疾病；其次，可见光实时图像则提供了更直观的视觉监控，通过1080P彩色摄像头采集的图像，以高清晰度显示婴幼儿的实时动态，包括睡眠状态、行为活动；夜间，利用940nm红外补光灯采集的灰度图像能够在低光环境下提供清晰的监控画面，保证即使在黑暗中也能够及时发现和处理问题。综合考虑热红外实时图像和可见光实时图像的信息，可以全面了解婴幼儿的状态和行为，及时采取必要的措施，确保其安全与健康；同时，将热红外摄像头安装在可见光摄像头正下方，可以实现两种图像的空间对齐，方便用户在监控过程中进行对比和分析，提高监护效果和效率。
对所述可见光实时图像进行目标检测，输出婴幼儿头部的第一位置信息；
具体地，对可见光实时图像进行目标检测是指利用计算机视觉技术，通过对图像进行处理和分析，识别出可见光实时图像中的婴幼儿头部，并获取其对应的位置信息作为婴幼儿头部的第一位置信息，在婴幼儿看护场景下，首先需要使用适当的目标检测算法，包括卷积神经网络（CNN）、YoloV8s，对图像中的婴幼儿头部进行检测，检测到头部后，通过计算头部在图像中的位置坐标，输出婴幼儿头部的第一位置信息，婴幼儿头部的第一位置信息通常以像素坐标或者归一化坐标的形式给出，用于指示头部在图像中的相对位置，从而帮助监护人员实时观察和定位婴幼儿的位置，确保其安全。
在一实施例中，请参见图2，所述对所述可见光实时图像进行目标检测，输出婴幼儿头部的第一位置信息包括：
将所述可见光实时图像输入预训练的目标检测模型中，输出婴幼儿头部初始位置信息；
具体地，首先，将可见光实时图像输入预训练的目标检测模型中，将YoloV8s模型作为目标检测器，其中，YoloV8s是一种高效的目标检测模型，能够在保持较高检测准确率的同时实现实时处理；输入可见光实时图像至YoloV8s模型中，目标检测模型将对图像进行处理并检测其中的婴幼儿头部目标，YoloV8s模型输出的检测结果包括目标的位置坐标和类别信息；筛选出类别为婴幼儿头部的检测结果，并提取其位置信息，即婴幼儿头部初始位置信息。
依据所述婴幼儿头部初始位置信息，利用目标跟踪算法，对婴幼儿头部进行实时跟踪，输出所述婴幼儿头部的第一位置信息。
具体地，使用DeepSort算法对婴幼儿头部进行跟踪，其中，DeepSort是一种基于深度学习的目标跟踪算法，能够对目标进行准确的实时跟踪，利用YoloV8s模型输出的婴幼儿头部初始位置信息作为跟踪目标的起始状态，在后续的视频帧中，使用DeepSort算法对每一帧中的婴幼儿头部目标进行跟踪，通过匹配目标特征和运动信息，更新目标的状态，并预测其在下一帧中的位置；DeepSort算法输出的结果即为婴幼儿头部的实时跟踪信息，包括其位置、速度等状态信息。通过以上过程，实现了对可见光实时图像中婴幼儿头部的检测和跟踪，得到了婴幼儿头部的第一位置信息，实现对婴幼儿行为的实时监控和定位，为保证婴幼儿的安全提供了有效的技术支持。
依据热红外实时图像与可见光实时图像之间预设的映射关系，结合所述第一位置信息，确定婴幼儿头部在热红外实时图像中的第二位置信息；
具体地，根据预设的映射关系，将在可见光实时图像中获取的婴幼儿头部的第一位置信息，通过映射关系将其转换到对应的热红外实时图像中，所述映射关系描述了可见光图像和热红外图像之间的空间关系，以确保在两种不同光谱下的图像中定位到同一目标，输出的婴幼儿头部的第二位置信息表示了在热红外图像中对应于第一位置信息的头部位置，能够在热红外图像中实现对婴幼儿头部的定位跟踪，进一步提升监护***的全面性和准确性。
在一实施例中，请参见图3，在所述依据热红外实时图像与可见光实时图像之间预设的映射关系，结合所述第一位置信息，确定婴幼儿头部在热红外实时图像中的第二位置信息之前包括：
获取婴幼儿看护场景下的热红外样本图像和可见光样本图像；
具体地，在热红外摄像头和彩色摄像头的视场中放置相同的两个方形热源黑色标志物作为预设参照物，确保它们在两种光谱图像中都能被清晰拍摄到，然后获取婴幼儿看护场景下此时两个摄像头采集的热红外样本图像和可见光样本图像。
对所述可见光样本图像进行阈值分割和角点检测，获取预设参照物的第一顶点位置信息；
具体地，首先，通过阈值分割技术从可见光图像中提取出方形标志物的轮廓，使得标志物的边缘能够清晰地被检测出来；其中，阈值分割技术是一种常用的图像分割方法，用于将图像中的不同区域分割成具有特定特征或特性的部分，其基本思想是将可见光样本图像中的像素灰度值与预先设定的一个或多个灰度阈值进行比较，根据比较结果将像素分为不同的类别或区域；接着，利用Harris角点检测算法在提取出的区域轮廓中寻找角点，这些角点对应着两个方形标志物的顶点位置，通过角点检测算法获得的8个顶点，即Point1(p1,p2,...p8)，从而确定预设参照物的第一顶点位置信息。
对所述热红外样本图像进行阈值分割和直线检测，获取预设参照物的第二顶点位置信息；
具体地，在热红外样本图像中，利用高温区域分割方法找到代表热源的区域，即两个方形标志物的位置，然后，通过Hough直线检测算法提取这两个方形标志物的线段，因为在热红外样本图像中方形标志物会呈现出不同的热量分布，通过检测到的线段相交的方法，确定这两个方形标志物的8个交点Point2(p1,p2,...p8)，从而确定预设参照物的第二顶点位置信息。
依据所述第一顶点位置和所述第二顶点位置信息，确定所述映射关系。
具体地，可见光样本图像提供了可见光谱下的图像信息，利用轮廓和角点检测方法获取了方形标志物的第一顶点位置信息；而热红外样本图像提供了热量分布信息，通过高温区域分割和直线检测获取了方形标志物的交点位置作为第二顶点位置信息。设定热红外摄像头和可见光摄像头的仿射变换矩阵为F，得到如下方程：Point2=F*Point1，仿射变换矩阵F共有4个参数(旋转角度，缩放倍数，平移参数2个）；采用最小二乘方法求解上述方程，即可得到仿射变换矩阵F。通过上述步骤，实现了将可见光图像中的标志物与热红外图像中的标志物进行关联，并建立了两者之间的空间映射关系，从而可以在不同光谱下的图像中实现相同目标的定位。
依据所述第二位置信息，对热红外实时图像中婴幼儿头部区域内的热红外数据进行分析，识别婴幼儿实时睡姿。
具体地，从热红外实时图像中，根据婴幼儿头部的第二位置信息，确定婴幼儿头部区域的位置和大小，然后，提取头部区域内的热红外数据，从热红外数据中提取与婴幼儿睡姿相关的特征信息，所述特征信息至少包括温度分布特征、头部区域的形状特征，利用提取的特征信息，将不同的睡姿进行分类，识别婴幼儿实时睡姿，其中，所述实时睡姿至少包括正睡、侧睡和趴睡。
在一实施例中，请参见图4，所述依据所述第二位置信息，对热红外实时图像中婴幼儿头部区域内的热红外数据进行分析，识别婴幼儿实时睡姿包括：
依据所述第二位置信息，获取婴幼儿头部区域内像素点的温度值；
具体地，根据所述婴幼儿头部的第二位置信息，在热红外实时图像中定位到婴幼儿的头部区域，并获取该区域内每个像素点的温度值，将头部区域内每个像素点的温度值表示为T(x,y)，其中(x, y)表示该像素在图像坐标系中的位置，即像素的行和列，这样定义的热度值T(x,y)可以用来描述头部区域内不同位置的温度分布情况，为进一步的分析和应用提供了基础。
依据所述温度值，确定与婴幼儿头部区域内热度分布对应的实时统计特征信息；
具体地，依据所述温度值，针对婴幼儿头部区域内的热度分布确定实时统计特征信息，如平均温度、最高温度、最低温度、温度分布的标准差，所述实时统计特征信息能够帮助分析婴幼儿头部区域的整体热量情况，了解头部区域内温度的变化趋势和范围，为健康监测和异常检测提供依据，同时也为看护人员提供了重要参考，以便及时采取必要的措施。
对所述实时统计特征信息进行分析，识别婴幼儿实时睡姿，其中，所述实时睡姿至少包括正睡、侧睡和趴睡。
具体地，通过对实时统计特征信息的分析，识别婴幼儿的实时睡姿，其中包括正睡、侧睡和趴睡等常见的睡姿，也就是说，通过监测头部区域内的热度分布情况，结合不同睡姿下婴幼儿头部区域的特征温度分布，例如正睡时头部温度分布较均匀，侧睡时头部温度分布可能呈现偏向一侧的特征，趴睡时则可能表现出较高的局部温度，利用这些特征，可以实现对婴幼儿实时睡姿的识别，为监护人员提供及时的睡眠状态监测和健康管理。
在一实施例中，请参见图5，所述对所述实时统计特征信息进行分析，识别婴幼儿实时睡姿，其中，所述实时睡姿至少包括正睡、侧睡和趴睡包括：
对所述实时统计特征信息进行计算，获取热度分布的均匀性指标和偏斜系数；
具体地，对所述实时统计特征信息进行计算，首先，计算头部区域内每个像素的热度值，并求取这些值的均值μT和标准差σT，其计算公式分别为：
其中，N是头部区域内的像素总数，Ti是第i个像素的温度值；均值μT反映了头部区域整体的平均温度，而标准差σT则反映了热度分布的离散程度，即温度值的变化程度，接着，通过将标准差σT与均值μT相除，得到均匀性指标UT，这个指标用于描述头部区域内温度分布的均匀程度，当UT越小，表示热度分布越均匀，即头部区域内的温度变化不大，更接近于正睡姿态，接着，计算偏斜系数ST，其公式为：
若所述均匀性指标小于预设的与正睡睡姿对应的均匀性阈值，则识别婴幼儿正睡睡姿；
具体地，获取预先设定的正睡睡姿对应的均匀性阈值为0.2，当均匀性指标UT小于0.2时，即认为头部处于正睡姿态，这个阈值的设定是基于对正睡姿态下头部温度分布的一般特征进行了分析和考量的结果。通过对头部区域内的热度分布进行统计和分析，提取了均值和标准差的统计特征，以及定义了均匀性指标UT作为描述温度分布均匀程度的量化指标，通过与预设的正睡姿阈值进行比较，实现对婴幼儿头部睡姿状态的实时识别，这种基于温度分布统计特征的方法，可以为婴幼儿睡眠监测提供一种简单有效的手段，为监护人员提供睡眠状态的实时监测和评估。
依据所述偏斜系数和预设的与侧睡睡姿对应的第一阈值、第二阈值和第三阈值，识别婴幼儿侧睡睡姿，其中，侧睡睡姿包括轻度侧睡、中度侧睡或重度侧睡，其中，第一阈值小于第二阈值，第二阈值小于第三阈值；
具体地，根据所述偏斜系数以及预设的与侧睡睡姿对应的第二、第三和第三阈值，识别婴幼儿的侧睡睡姿，将侧睡睡姿细分为轻度侧睡、中度侧睡或重度侧睡，其中第一阈值小于第二阈值，第二阈值小于第三阈值。通过对偏斜系数进行比较和判断，可以将婴幼儿的侧睡姿态分为不同程度，并据此为监护人员提供关于婴幼儿睡姿偏好和睡眠质量的详细信息，以支持更加细致的监护和关注，通过进一步细分侧睡睡姿，能够提供更加详细和准确的睡眠信息，帮助监护人员更好地了解婴幼儿的睡眠***。
在一实施例中，请参见图6，所述依据所述偏斜系数和预设的与侧睡睡姿对应的第一阈值、第二阈值和第三阈值，识别婴幼儿侧睡睡姿包括：
若所述偏斜系数大于所述第一阈值且小于所述第二阈值，则识别婴幼儿为轻度侧睡；
具体地，若所述偏斜系数大于所述第一阈值且小于所述第二阈值，例如，第一阈值设置为0.1，第二阈值设置为0.5，则可以识别婴幼儿为轻度侧睡。这表明婴幼儿在睡眠过程中有一定程度的侧卧倾向，但姿势可能不十分明显，属于较轻微的侧睡情况。
若所述偏斜系数大于等于所述第二阈值且小于所述第三阈值，则识别婴幼儿为中度侧睡；
具体地，若所述偏斜系数大于等于所述第二阈值且小于所述第三阈值，例如，设置第三阈值为1.0，则可以识别婴幼儿为中度侧睡。这表示婴幼儿在睡眠中呈现出明显的侧卧姿势，但还未达到极端的程度。中度侧睡可能会给婴幼儿带来一定的舒适感，但也需要注意观察其睡眠状态是否正常，因此需要向用户发出提醒，确保其头部和颈部的舒适和支撑。
若所述偏斜系数大于等于所述第三阈值，则识别婴幼儿为重度侧睡。
具体地，若所述偏斜系数大于等于所述第三阈值，则可以识别婴幼儿为重度侧睡。这表明婴幼儿的侧卧姿势非常明显且倾向性强烈，重度侧睡可能会对婴幼儿的身体造成一定程度的压力，特别是头部和颈部，因此需要提醒用户特别注意其睡姿是否会导致不适或不良后果，及时调整睡姿以确保其健康和安全。
获取正脸睡姿下婴幼儿头部区域内热度分布对应的统计特征模板信息和婴幼儿脸部区域面积；
具体地，首先，在正脸睡姿下，通过对婴幼儿头部区域内热度分布对应的统计特征模板信息进行分析，获取该区域的平均温度值μTface，并计算头部区域的面积S1，在正脸状态下，头部区域通常是婴幼儿脸部的正对部位，即S1对应于婴幼儿脸部区域。
获取实时的婴幼儿头部区域面积，依据统计特征模板信息、婴幼儿脸部区域面积、婴幼儿头部区域面积和实时统计特征信息，识别婴幼儿趴睡睡姿。
具体地，首先，获取实时的婴幼儿头部区域的面积数据，其次，针对所获取的头部区域面积数据，结合预先设定的统计特征模板信息，以及婴幼儿脸部区域面积和头部区域面积的实时统计特征信息进行综合分析，以确保对婴幼儿姿势的准确识别，最终的目标是识别出婴幼儿是否处于趴睡睡姿，这对于监护人员来说至关重要，因为趴睡姿势可能会增加窒息和呼吸困难的风险。因此，通过这种实时监测和识别的方法，可以帮助监护人员及时采取措施，保障婴幼儿的健康和安全。
在一实施例中，请参见图7，所述获取实时的婴幼儿头部区域面积，依据统计特征模板信息、婴幼儿脸部区域面积、婴幼儿头部区域面积和实时统计特征信息，识别婴幼儿趴睡睡姿包括：
依据所述婴幼儿头部区域面积和婴幼儿脸部区域面积，确定第一评估值；
依据实时统计特征信息中的实时均值和统计特征模板信息中的目标均值，确定第二评估值；
获取实时统计特征信息中的实时标准差，依据所述第一评估值、第二评估值和实时标准差，识别婴幼儿趴睡睡姿。
具体地，当婴儿完全趴睡，头背部的体温相较脸部有明显的降低，并且头背部的温差也较小，头背部和脸部两者面积相似，在婴幼儿的实时睡眠状态下，通过热红外实时图像获取头部区域的温度分布情况，计算当前状态下头部区域的平均温度数值μTback和标准差σback，并获取婴幼儿头部区域的面积S2；最后，根据以下条件进行趴睡状态的判断：判断当前状态下的头部区域面积与正脸状态下的头部区域面积的差异，确定第一评估值，若差异小于正脸状态下的头部区域面积的20%，即|S2-S1|/S1<0.2，则认为头部位置保持相对稳定，可能处于趴睡状态；接着，判断当前状态下的头部区域温度的变化情况，若标准差σback<1，表示温度分布相对稳定，可能处于趴睡状态；最后，计算正脸状态下的平均温度数值μTface与当前状态下的平均温度数值μTback之间的差值ΔT，确定第二评估值，若ΔT大于正脸状态下的平均温度数值的20%，即0.2*μTface），则认为头部温度显著降低，可能处于趴睡状态；若以上三个条件同时满足，则可以认为婴幼儿处于趴睡状态。趴睡是婴幼儿睡眠中的一种不良姿势，可能增加窒息和呼吸困难的风险。通过该方案，能够及时发现婴幼儿处于趴睡状态，有助于监护人员及时采取措施，避免不良后果的发生。通过综合考虑头部区域的面积、温度分布的稳定性以及温度的变化情况等多个方面的因素，使得趴睡状态的判断更加全面和准确，因此，能够减少误识别和漏识别的情况，提高识别的准确性；同时，上述趴睡识别方案基于热红外图像等非侵入性的监测方式，不需要直接接触婴幼儿，避免了干扰其睡眠的情况，这对于保持婴幼儿的睡眠状态和舒适度非常重要。通过实时监测趴睡状态，监护人员可以更好地了解婴幼儿的睡眠习惯和姿势偏好，有助于制定个性化的睡眠管理方案。例如，根据识别结果调整婴幼儿的睡姿或睡眠环境，以提高睡眠质量和安全性。
实施例2
在实施例1的基础之上，已经识别出看护对象的实时睡姿，其中，实时睡姿包括：正睡、轻度侧睡、中度侧睡、重度侧睡和趴睡，为了改善睡眠质量，本实施例2通过监测不同的睡姿和持续时长来制定睡姿校正方案。在依据所述第二位置信息，对热红外实时图像中婴幼儿头部区域内的热红外数据进行分析，识别婴幼儿实时睡姿之后还包括：
依据婴幼儿的睡眠总时长和各实时睡姿对应的各目标睡眠时长，确定各实时睡姿占睡眠总时长的比例；
具体地，获取各种实时睡姿的开始时间戳和结束时间戳，通过开始时间戳和结束时间戳，计算出各实时睡姿对应的各目标睡眠时长，再依据婴幼儿的睡眠总时长，进而确定每种睡姿在整个睡眠周期中所占的时间比例，这一计算结果有助于监护人和医疗专家了解婴幼儿的睡眠模式，并评估是否存在潜在的风险；
例如，如果监测到婴幼儿处于趴睡睡姿，由于趴睡被认为增加了婴儿猝死综合症的风险，***则会立即通过连接的设备（如智能手机或其他移动设备）发出警报，提示监护人调整婴幼儿的睡姿。此外，如果某一睡姿如重度侧睡占比异常高，可能会对婴幼儿的脊椎健康产生负面影响，同样会建议进行调整，这种实时反馈机制不仅增强了婴幼儿睡眠的安全性，还为父母提供了宝贵的指导，帮助他们采取正确的护理措施，确保婴幼儿的整体健康与发展。
依据各实时睡姿占睡眠总时长的比例和预设的比例阈值，发出多种安全提醒。
在一实施例中，所述依据各实时睡姿占睡眠总时长的比例和预设的比例阈值，发出多种安全提醒包括：
若正睡睡姿占睡眠总时长的比例大于预设的第一比例阈值，或，轻度侧睡睡姿占睡眠总时长的比例大于预设的第一比例阈值，则不发出安全提醒；
具体地，当婴幼儿的正睡或轻度侧睡姿态占睡眠总时长的比例达到一个安全且健康的水平，例如各占50%，这通常被视为健康的睡姿分布，如果这些比例高于预设的第一比例阈值，如各自超过60%，则认为婴幼儿的睡姿是正常的，不需要发出安全提醒。这表明婴幼儿在睡眠中经历了足够的正睡和健康的侧睡，有利于促进身体的均衡发展和减少SIDS婴儿猝死综合症的风险。
若中度侧睡睡姿占睡眠总时长的比例大于预设的第二比例阈值，则发出第一安全提醒；
具体地，若中度侧睡的比例超过了预设的第二比例阈值，如超过30%，则***会发出第一安全提醒，中度侧睡会导致身体某一侧承受较大压力，影响脊柱的健康，在此情况下，第一安全提醒会建议监护人轻轻调整婴幼儿的姿势，以避免长时间的偏侧压迫。
若重度侧睡睡姿占睡眠总时长的比例大于预设的第三比例阈值，则发出第二安全提醒；
具体地，当重度侧睡姿态占比超过第三比例阈值，如超过20%，将发出第二安全提醒，重度侧睡会使婴幼儿的身体过度弯曲，增加脊椎侧弯的风险，需要及时干预，第二安全提醒会提示监护人调整婴幼儿的姿势，还会建议使用特定的支撑材料（如枕头）来帮助维持更安全的睡姿。
若识别婴幼儿的实时睡姿为趴睡睡姿，则发出第三安全提醒；其中，第一比例阈值大于第二比例阈值，第二比例阈值大于第三比例阈值。
具体地，趴睡是特别需要注意的姿势，因为它与增加婴儿猝死综合症的风险相关，一旦检测到婴幼儿处于趴睡状态，无论其持续时间长短，都会立即发出第三安全提醒，这种提醒是紧急的，目的是让监护人迅速采取行动调整婴幼儿的睡姿，以确保其呼吸通畅和安全。
实施例3
请参见图8，本发明实施例3还提供了一种基于多模态数据融合的婴幼儿睡姿识别装置，所述装置包括：
图像获取模块，用于获取婴幼儿看护场景下的热红外实时图像和可见光实时图像；
目标检测模块，用于对所述可见光实时图像进行目标检测，输出婴幼儿头部的第一位置信息；
映射模块，用于依据热红外实时图像与可见光实时图像之间预设的映射关系，结合所述第一位置信息，确定婴幼儿头部在热红外实时图像中的第二位置信息；
睡姿识别模块，用于依据所述第二位置信息，对热红外实时图像中婴幼儿头部区域内的热红外数据进行分析，识别婴幼儿实时睡姿。
具体地，采用本发明实施例提供的基于多模态数据融合的婴幼儿睡姿识别装置，所述装置包括：图像获取模块，用于获取婴幼儿看护场景下的热红外实时图像和可见光实时图像；目标检测模块，用于对所述可见光实时图像进行目标检测，输出婴幼儿头部的第一位置信息；映射模块，用于依据热红外实时图像与可见光实时图像之间预设的映射关系，结合所述第一位置信息，确定婴幼儿头部在热红外实时图像中的第二位置信息；睡姿识别模块，用于依据所述第二位置信息，对热红外实时图像中婴幼儿头部区域内的热红外数据进行分析，识别婴幼儿实时睡姿。本装置结合了热红外实时图像和可见光实时图像两种不同的信息源，可见光图像提供了对婴幼儿头部位置的准确检测，而热红外图像则提供了婴幼儿头部区域内的热红外数据，通过融合这两种信息，可以更全面地分析睡姿情况；通过可见光图像进行目标检测，准确地定位婴幼儿的头部位置，为后续的热红外图像分析提供了准确的参考点；利用热红外实时图像中的婴幼儿头部位置信息和热红外数据，对婴幼儿的实时睡姿进行更深入的分析，热红外数据能够反映婴幼儿头部区域的温度分布情况，从而准确识别不同的睡姿，如侧卧、仰卧、趴睡等。综上所述，本装置通过融合多种信息源，并结合精准的位置定位和热红外数据分析，提高了睡姿识别的准确性和全面性，有助于保障婴幼儿的睡眠安全。
实施例4
另外，结合图1描述的本发明实施例1的基于多模态数据融合的婴幼儿睡姿识别方法可以由电子设备来实现。图9示出了本发明实施例4提供的电子设备的硬件结构示意图。
电子设备可以包括处理器以及存储有计算机程序指令的存储器。
具体地，上述处理器可以包括中央处理器（CPU），或者特定集成电路（ApplicationSpecific Integrated Circuit，ASIC），或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器（Hard Disk Drive，HDD）、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线（Universal Serial Bus，USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性固态存储器。在特定实施例中，存储器包括只读存储器（ROM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（PROM）、可擦除PROM（EPROM）、电可擦除PROM（EEPROM）、电可改写ROM（EAROM）或闪存或者两个或更多个以上这些的组合。
处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例中的任意一种基于多模态数据融合的婴幼儿睡姿识别方法。
在一个示例中，电子设备还可包括通信接口和总线。其中，如图9所示，处理器、存储器、通信接口通过总线连接并完成相互间的通信。
通信接口，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线包括硬件、软件或两者，将所述设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口（AGP）或其他图形总线、增强工业标准架构（EISA）总线、前端总线（FSB）、超传输（HT）互连、工业标准架构（ISA）总线、无限带宽互连、低引脚数（LPC）总线、存储器总线、微信道架构（MCA）总线、***组件互连（PCI）总线、PCI-Express（PCI-X）总线、串行高级技术附件（SATA）总线、视频电子标准协会局部（VLB）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
实施例5
另外，结合上述实施例1中的基于多模态数据融合的婴幼儿睡姿识别方法，本发明实施例5还可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于多模态数据融合的婴幼儿睡姿识别方法。
综上所述，本发明实施例提供了一种基于多模态数据融合的婴幼儿睡姿识别方法、装置及设备。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路（ASIC）、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM（EROM）、软盘、CD-ROM、光盘、硬盘、光纤介质、射频（RF）链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或***。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的***、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于多模态数据融合的婴幼儿睡姿识别方法，其特征在于，所述方法包括：
获取婴幼儿看护场景下的热红外实时图像和可见光实时图像；
对所述可见光实时图像进行目标检测，输出婴幼儿头部的第一位置信息；
依据热红外实时图像与可见光实时图像之间预设的映射关系，结合所述第一位置信息，确定婴幼儿头部在热红外实时图像中的第二位置信息；
依据所述第二位置信息，对热红外实时图像中婴幼儿头部区域内的热红外数据进行分析，识别婴幼儿实时睡姿。
2.根据权利要求1所述的基于多模态数据融合的婴幼儿睡姿识别方法，其特征在于，所述对所述可见光实时图像进行目标检测，输出婴幼儿头部的第一位置信息包括：
将所述可见光实时图像输入预训练的目标检测模型中，输出婴幼儿头部初始位置信息；
依据所述婴幼儿头部初始位置信息，利用目标跟踪算法，对婴幼儿头部进行实时跟踪，输出所述第一位置信息。
3.根据权利要求1所述的基于多模态数据融合的婴幼儿睡姿识别方法，其特征在于，在所述依据热红外实时图像与可见光实时图像之间预设的映射关系，结合所述第一位置信息，确定婴幼儿头部在热红外实时图像中的第二位置信息之前包括：
获取婴幼儿看护场景下的热红外样本图像和可见光样本图像；
对所述可见光样本图像进行阈值分割和角点检测，获取预设参照物的第一顶点位置信息；
对所述热红外样本图像进行阈值分割和直线检测，获取预设参照物的第二顶点位置信息；
依据所述第一顶点位置和所述第二顶点位置信息，确定所述映射关系。
4.根据权利要求1至3任一项所述的基于多模态数据融合的婴幼儿睡姿识别方法，其特征在于，所述依据所述第二位置信息，对热红外实时图像中婴幼儿头部区域内的热红外数据进行分析，识别婴幼儿实时睡姿包括：
依据所述第二位置信息，获取婴幼儿头部区域内像素点的温度值；
依据所述温度值，确定与婴幼儿头部区域内热度分布对应的实时统计特征信息；
对所述实时统计特征信息进行分析，识别婴幼儿实时睡姿，其中，所述实时睡姿至少包括正睡、侧睡和趴睡。
5.根据权利要求4所述的基于多模态数据融合的婴幼儿睡姿识别方法，其特征在于，所述对所述实时统计特征信息进行分析，识别婴幼儿实时睡姿，其中，所述实时睡姿至少包括正睡、侧睡和趴睡包括：
对所述实时统计特征信息进行计算，获取热度分布的均匀性指标和偏斜系数；
若所述均匀性指标小于预设的与正睡睡姿对应的均匀性阈值，则识别婴幼儿正睡睡姿；
依据所述偏斜系数和预设的与侧睡睡姿对应的第一阈值、第二阈值和第三阈值，识别婴幼儿侧睡睡姿，其中，侧睡睡姿包括轻度侧睡、中度侧睡或重度侧睡，其中，第一阈值小于第二阈值，第二阈值小于第三阈值；
获取正脸睡姿下婴幼儿头部区域内热度分布对应的统计特征模板信息和婴幼儿脸部区域面积；
获取实时的婴幼儿头部区域面积，依据统计特征模板信息、婴幼儿脸部区域面积、婴幼儿头部区域面积和实时统计特征信息，识别婴幼儿趴睡睡姿。
6.根据权利要求5所述的基于多模态数据融合的婴幼儿睡姿识别方法，其特征在于，所述依据所述偏斜系数和预设的与侧睡睡姿对应的第一阈值、第二阈值和第三阈值，识别婴幼儿侧睡睡姿包括：
若所述偏斜系数大于所述第一阈值且小于所述第二阈值，则识别婴幼儿为轻度侧睡；
若所述偏斜系数大于等于所述第二阈值且小于所述第三阈值，则识别婴幼儿为中度侧睡；
若所述偏斜系数大于等于所述第三阈值，则识别婴幼儿为重度侧睡。
7.根据权利要求5所述的基于多模态数据融合的婴幼儿睡姿识别方法，其特征在于，所述获取实时的婴幼儿头部区域面积，依据统计特征模板信息、婴幼儿脸部区域面积、婴幼儿头部区域面积和实时统计特征信息，识别婴幼儿趴睡睡姿包括：
依据所述婴幼儿头部区域面积和婴幼儿脸部区域面积，确定第一评估值；
依据实时统计特征信息中的实时均值和统计特征模板信息中的目标均值，确定第二评估值；
获取实时统计特征信息中的实时标准差，依据所述第一评估值、第二评估值和实时标准差，识别婴幼儿趴睡睡姿。
8.一种基于多模态数据融合的婴幼儿睡姿识别装置，其特征在于，所述装置包括：
图像获取模块，用于获取婴幼儿看护场景下的热红外实时图像和可见光实时图像；
目标检测模块，用于对所述可见光实时图像进行目标检测，输出婴幼儿头部的第一位置信息；
映射模块，用于依据热红外实时图像与可见光实时图像之间预设的映射关系，结合所述第一位置信息，确定婴幼儿头部在热红外实时图像中的第二位置信息；
睡姿识别模块，用于依据所述第二位置信息，对热红外实时图像中婴幼儿头部区域内的热红外数据进行分析，识别婴幼儿实时睡姿。
9.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-7中任一项所述的方法。
10.一种存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410572655.XA CN118135614A (zh) | 2024-05-10 | 2024-05-10 | 基于多模态数据融合的婴幼儿睡姿识别方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410572655.XA CN118135614A (zh) | 2024-05-10 | 2024-05-10 | 基于多模态数据融合的婴幼儿睡姿识别方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118135614A true CN118135614A (zh) | 2024-06-04 |
Family
ID=91242122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410572655.XA Pending CN118135614A (zh) | 2024-05-10 | 2024-05-10 | 基于多模态数据融合的婴幼儿睡姿识别方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118135614A (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140313309A1 (en) * | 2012-10-05 | 2014-10-23 | Panasonic Corporation | Drowsiness estimation device, drowsiness estimation method, and computer-readable non-transient recording medium |
| US20170172308A1 (en) * | 2010-12-21 | 2017-06-22 | Family Concepts Ii, Llc | Suspended Back Pillow for Maintaining a Side Sleeping Position |
| CN110060272A (zh) * | 2018-01-18 | 2019-07-26 | 杭州海康威视数字技术股份有限公司 | 人脸区域的确定方法、装置、电子设备及存储介质 |
| CN112712020A (zh) * | 2020-12-29 | 2021-04-27 | 文思海辉智科科技有限公司 | 睡眠监测方法、装置及*** |
| CN113298062A (zh) * | 2021-07-28 | 2021-08-24 | 宁波星巡智能科技有限公司 | 婴幼儿睡眠活动状态检测方法、装置、设备及介质 |
| CN113384386A (zh) * | 2021-08-18 | 2021-09-14 | 宁波星巡智能科技有限公司 | 婴幼儿踢被智能检测方法、装置、电子设备及介质 |
| CN215376330U (zh) * | 2021-05-24 | 2021-12-31 | 深圳市爱深盈通信息技术有限公司 | 踢被子识别装置与电子设备 |
| CN115171033A (zh) * | 2022-05-26 | 2022-10-11 | 武汉星巡智能科技有限公司 | 异类图像源结合智能监测婴幼儿睡姿的方法、装置及设备 |
| CN115862115A (zh) * | 2022-12-23 | 2023-03-28 | 宁波星巡智能科技有限公司 | 基于视觉的婴幼儿呼吸检测区域定位方法、装置及设备 |
| CN116152703A (zh) * | 2022-12-21 | 2023-05-23 | 珠海格力电器股份有限公司 | 睡姿识别方法、模组、设备及计算机可读介质 |
| CN117011835A (zh) * | 2023-07-14 | 2023-11-07 | 东风柳州汽车有限公司 | 辅助儿童睡眠方法、装置、设备及存储介质 |
| CN117268559A (zh) * | 2023-10-25 | 2023-12-22 | 武汉星巡智能科技有限公司 | 多模态婴幼儿异常体温检测方法、装置、设备及介质 |
| CN117690159A (zh) * | 2023-12-07 | 2024-03-12 | 武汉星巡智能科技有限公司 | 基于多模态数据融合的婴幼儿趴睡监测方法、装置及设备 |
-
2024
- 2024-05-10 CN CN202410572655.XA patent/CN118135614A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170172308A1 (en) * | 2010-12-21 | 2017-06-22 | Family Concepts Ii, Llc | Suspended Back Pillow for Maintaining a Side Sleeping Position |
| US20140313309A1 (en) * | 2012-10-05 | 2014-10-23 | Panasonic Corporation | Drowsiness estimation device, drowsiness estimation method, and computer-readable non-transient recording medium |
| CN110060272A (zh) * | 2018-01-18 | 2019-07-26 | 杭州海康威视数字技术股份有限公司 | 人脸区域的确定方法、装置、电子设备及存储介质 |
| CN112712020A (zh) * | 2020-12-29 | 2021-04-27 | 文思海辉智科科技有限公司 | 睡眠监测方法、装置及*** |
| CN215376330U (zh) * | 2021-05-24 | 2021-12-31 | 深圳市爱深盈通信息技术有限公司 | 踢被子识别装置与电子设备 |
| CN113298062A (zh) * | 2021-07-28 | 2021-08-24 | 宁波星巡智能科技有限公司 | 婴幼儿睡眠活动状态检测方法、装置、设备及介质 |
| CN113384386A (zh) * | 2021-08-18 | 2021-09-14 | 宁波星巡智能科技有限公司 | 婴幼儿踢被智能检测方法、装置、电子设备及介质 |
| CN115171033A (zh) * | 2022-05-26 | 2022-10-11 | 武汉星巡智能科技有限公司 | 异类图像源结合智能监测婴幼儿睡姿的方法、装置及设备 |
| CN116152703A (zh) * | 2022-12-21 | 2023-05-23 | 珠海格力电器股份有限公司 | 睡姿识别方法、模组、设备及计算机可读介质 |
| CN115862115A (zh) * | 2022-12-23 | 2023-03-28 | 宁波星巡智能科技有限公司 | 基于视觉的婴幼儿呼吸检测区域定位方法、装置及设备 |
| CN117011835A (zh) * | 2023-07-14 | 2023-11-07 | 东风柳州汽车有限公司 | 辅助儿童睡眠方法、装置、设备及存储介质 |
| CN117268559A (zh) * | 2023-10-25 | 2023-12-22 | 武汉星巡智能科技有限公司 | 多模态婴幼儿异常体温检测方法、装置、设备及介质 |
| CN117690159A (zh) * | 2023-12-07 | 2024-03-12 | 武汉星巡智能科技有限公司 | 基于多模态数据融合的婴幼儿趴睡监测方法、装置及设备 |
Non-Patent Citations (3)
| Title |
|---|
| WANG Y: "Sleep detection system for detecting sleep state of person to be detected in sleeping area, has identification module that determines sleep state information of to-be-detected person according to result of head detection of optical tag", 《DERWENT INNOVATIONS INDEX》, 10 July 2019 (2019-07-10) * |
| 叶荫球;姜太平;张蕾;: "基于水平集方法和神经网络的人体睡姿识别", 工业控制计算机, no. 05, 25 May 2013 (2013-05-25) * |
| 邢雅琼;王晓丹;刘健;毕凯;: "基于NSST域的红外和彩色可见光图像融合", ***工程理论与实践, no. 02, 25 February 2016 (2016-02-25) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117690159B (zh) | 基于多模态数据融合的婴幼儿趴睡监测方法、装置及设备 | |
| CN104200192B (zh) | 驾驶员注视检测*** | |
| US11776146B2 (en) | Edge handling methods for associated depth sensing camera devices, systems, and methods | |
| JP6822328B2 (ja) | 見守り支援システム及びその制御方法 | |
| CN111248890A (zh) | 一种基于面部视频的非接触式新生儿心率监测方法及*** | |
| CN113662530B (zh) | 一种猪只生理生长状态监测预警方法 | |
| CN110472614B (zh) | 一种晕倒行为的识别方法 | |
| CN115862115B (zh) | 基于视觉的婴幼儿呼吸检测区域定位方法、装置及设备 | |
| CN107958572A (zh) | 一种婴儿监控*** | |
| CN114216564A (zh) | 一种基于头部多区域定位的婴幼儿智能体温检测方法 | |
| CN117173784B (zh) | 婴幼儿翻身动作检测方法、装置、设备及存储介质 | |
| CN117268559B (zh) | 多模态婴幼儿异常体温检测方法、装置、设备及介质 | |
| US20210275089A1 (en) | Deriving information about a person's sleep and wake states from a sequence of video frames | |
| CN112924035B (zh) | 基于热成像传感器的体温和呼吸率提取方法及应用 | |
| CN118135614A (zh) | 基于多模态数据融合的婴幼儿睡姿识别方法、装置及设备 | |
| CN112396600B (zh) | 基于热成像和深度图的脱敏状态下面部神经麻痹检测*** | |
| US11768368B2 (en) | Spectacles and method for determining the pupil center | |
| CN110115796B (zh) | 基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒*** | |
| CN208092911U (zh) | 一种婴儿监控*** | |
| CN112088795B (zh) | 基于激光定位的限位栏猪只姿态识别方法和*** | |
| CN115620354A (zh) | 用于预测和预防患者离开床的***和方法 | |
| CN115311714A (zh) | 生理状态的检测方法、装置、设备、***及存储介质 | |
| Sumi et al. | Framework of cow calving monitoring system using video images | |
| KR20180015792A (ko) | 공포 심리 분석 시스템 및 방법 | |
| US20220167880A1 (en) | Patient position monitoring methods and systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |