CN111904429A - 一种人体跌倒检测方法、装置、电子设备及存储介质 - Google Patents
一种人体跌倒检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111904429A CN111904429A CN202010753012.7A CN202010753012A CN111904429A CN 111904429 A CN111904429 A CN 111904429A CN 202010753012 A CN202010753012 A CN 202010753012A CN 111904429 A CN111904429 A CN 111904429A
- Authority
- CN
- China
- Prior art keywords
- audio
- video data
- detection
- data
- falling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 177
- 238000012545 processing Methods 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000000926 separation method Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 23
- 230000005236 sound signal Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 4
- 230000009471 action Effects 0.000 abstract description 4
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000006399 behavior Effects 0.000 description 126
- 230000015654 memory Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000009193 crawling Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009469 supplementation Effects 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
- A61B5/1117—Fall detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
Abstract
本发明公开了一种人体跌倒检测方法、装置、电子设备及存储介质。该方法包括获取待检测的音视频数据，对所述音视频数据进行数据分离，得到所述音视频数据中的视频数据和音频数据；基于第一检测模型对所述视频数据进行跌倒检测，并确定检测结果；基于第二检测模型对所述音频数据进行跌倒检测，并确定检测结果；基于所述第一时间信息和第二时间信息，将预设时间间隔内关联的第一跌倒行为和所述第二跌倒行为分别对应的第一置信度信息和第二置信度信息进行联合处理，基于处理结果确定所述音视频数据中是否存在跌倒行为。解决了传统传感器装置检测跌倒的不便捷性以及单靠视觉监控检测的易漏检误检等问题，提高了跌倒行为检测的精度。
Description
技术领域
本发明实施例涉及人体检测技术领域，尤其涉及一种人体跌倒检测方法、装置、电子设备及存储介质。
背景技术
随着社会老龄化趋势的日益严重，人们越来越关注老人的日常生活安全。例如，希望可以及时检测老人独自在家时是否发生跌倒等意外。因此，现实生活中，如何有效、准确地检测是否发生跌倒，以便及时地对老人进行救助成为一个重要的问题。
目前为了检测跌倒，现有的方法大多是事先在人体活动区域内布设多个摄像头，以采集视频流数据，再通过计算机视觉技术检测人体跌倒行为。或者是佩戴传感装置，通过获取传感器信号检测人体跌倒行为。上述方法具体实施时，单靠计算机视觉技术来检测人体跌倒行为由于受现场环境影响，如光照、遮挡、运动模糊等因素，有如下缺点：1、检出率偏低，容易漏报警；2、准确率偏低，容易误告警。
传统的传感装置检测人体跌倒行为具有以下几个缺点：1、用户须要佩戴传感装置，便捷可用性大大降低；2、传感装置往往价格昂贵，所有用户全部佩戴该设备成本较高；3、传感装置与服务器通信有一定局限性，目前市场上产品大多通过蓝牙或者wifi传输，对用户活动范围有较大限制；4、传感器须要耗电，用户须要定期充电，增大了不便捷性。
发明内容
本发明实施例提供了一种人体跌倒检测方法、装置、电子设备及存储介质，解决了传统传感器装置检测跌倒的不便捷性以及单靠视觉监控检测的易漏检误检等问题，使用户在无感知的情况下，提高了跌倒行为检测的精度。
第一方面，本发明实施例提供了一种人体跌倒检测方法，包括：
获取待检测的音视频数据，对所述音视频数据进行数据分离，得到所述音视频数据中的视频数据和音频数据；
基于第一检测模型对所述视频数据进行跌倒检测，确定所述视频数据中第一跌倒行为的第一时间信息和第一置信度信息；
基于第二检测模型对所述音频数据进行跌倒检测，确定所述音频数据中第二跌倒行为的第二时间信息和第二置信度信息；
基于所述第一时间信息和第二时间信息，将预设时间间隔内关联的第一跌倒行为和所述第二跌倒行为分别对应的第一置信度信息和第二置信度信息进行联合处理，基于处理结果确定所述音视频数据中是否存在跌倒行为。
第二方面，本发明实施例还提供了一种人体跌倒检测装置，包括：
数据获取模块，用于获取待检测的音视频数据，对所述音视频数据进行数据分离，得到所述音视频数据中的视频数据和音频数据；
视频数据处理模块，用于基于第一检测模型对所述视频数据进行跌倒检测，确定所述视频数据中第一跌倒行为的第一时间信息和第一置信度信息；
音频数据处理模块，用于基于第二检测模型对所述音频数据进行跌倒检测，确定所述音频数据中第二跌倒行为的第二时间信息和第二置信度信息；
跌倒行为确定模块，用于基于所述第一时间信息和第二时间信息，将预设时间间隔内关联的第一跌倒行为和所述第二跌倒行为分别对应的第一置信度信息和第二置信度信息进行联合处理，基于处理结果确定所述音视频数据中是否存在跌倒行为。
第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例提供的人体跌倒检测方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例提供的人体跌倒检测方法。
本发明实施例提供的人体跌倒检测方法，通过获取待检测的音视频数据，对所述音视频数据进行数据分离，得到所述音视频数据中的视频数据和音频数据；基于第一检测模型对所述视频数据进行跌倒检测，确定所述视频数据中第一跌倒行为的第一时间信息和第一置信度信息；基于第二检测模型对所述音频数据进行跌倒检测，确定所述音频数据中第二跌倒行为的第二时间信息和第二置信度信息；基于所述第一时间信息和第二时间信息，将预设时间间隔内关联的第一跌倒行为和所述第二跌倒行为分别对应的第一置信度信息和第二置信度信息进行联合处理，基于处理结果确定所述音视频数据中是否存在跌倒行为。通过采用计算机视觉技术与听觉技术相结合的方案，将视频图像与音频事件关联起来，起到相互补充的作用，解决了传统传感器装置检测跌倒的不便捷性以及单靠视觉监控检测的易漏检误检等问题，使用户在无感知的情况下，提高了跌倒行为检测的精度。
附图说明
图1为本发明实施例一提供的人体跌倒检测方法的流程图；
图2为本发明实施例二提供的人体跌倒检测方法的流程图；
图3为本发明实施例三提供的人体跌倒检测方法的流程图；
图4为本发明实施例四提供的人体跌倒检测装置的结构示意图；
图5为本发明实施例五提供的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一中的人体跌倒检测方法的流程图，本实施例可以适用于检测人体是否有跌倒的情况，该方法可以由人体跌倒检测的装置执行，该人体跌倒检测装置可以采用软件和/或硬件的方式实现。如图1所示，该方法具体包括：
S110、获取待检测的音视频数据，对所述音视频数据进行数据分离，得到所述音视频数据中的视频数据和音频数据。
在本发明实施例中，音视频数据可以是摄像机直接采集到的数据包。其中，数据包中包含有相对应的视频数据和音频数据。可选的，采用音视频编码技术将原始视频数据和原始音频数据进行编码获取音视频数据。具体的，视频编码主要采取块运动估计和运动补偿技术有效的去除图像帧间冗余度，来完成图像的压缩；通过抽样、量化、编码三个步骤将原始音频数据中连续变化的模拟信号转换为数字信号。示例性的，可以采用PCM编码将语音、图像等模拟信号每隔一段时间进行取样，使其离散化，同时将抽样值按分层单位四舍五入取整量化，并将抽样值按一组二进制码来表示抽样脉冲的幅值，依照此方法将原始视频数据和原始音频数据编码处理，得到音视频数据。
在一些实施例中，可以是实时获取音视频数据，并对实时采集的音视频数据进行跌倒行为的检测，以及时发现用户的跌倒行为。还可以是基于预设时间间隔，将该预设时间间隔采集的音视频数据进行跌倒行为的检测，该预设时间间隔可以根据用户需求设置，例如可以是10分钟或30分钟等。
当然，上述实施例中获取音视频数据的方式只是作为可选实施例，也可以根据音视频数据的信号流量采用H.264格式或者WMV格式进行编码获取音视频数据；可选的，还可以根据实际情况进行具体设置，本实施例对上述数据的获取方式不加以限制。
将获取到的音视频数据进行数据分离为各个基本流，以得到单独的视频数据和音频数据。可选的，通过分离得到的视频流数据格式包括但不限于：AVI(Audio VideoInterleaved，音频视频交错格式)、MKV(MKV file format，Matroska多媒体容器格式)、FLV(Flash Video，流媒体格式)、VOB(VideoObject，视频媒体格式)等格式。可选的，分离得到的音频流数据格式包括但不限于：AAC(Advanced Audio Coding，高级音频编码格式)和FLAC(Free LosslessAudio Codec，无损压缩编码格式)等格式。
可选的，可以采用音视频分离器Media Extractor从当前的音视频数据中读取音视频相关信息(音视频的编码格式等)，逐帧读取文件中的音视频数据，并分离视频流的音频流。示例性的，首先初始化音视频分离器Media Extracto，并添加音视频数据的路径；然后获取轨道的数量，并为每一个轨道设置索引。具体的，轨道包括视频轨道和音频轨道。遍历所有轨道，获取视频轨道索引和音频轨道索引。分别进行视频流和音频流的分离，得到单独的视频数据和音频数据。
当然，上述实施例中分离音视频数据的方式只是作为可选实施例，也可以根据实际情况进行具体设置，本实施例对音视频数据的分离方式不加以限制。
S120、基于第一检测模型对所述视频数据进行跌倒检测，确定所述视频数据中第一跌倒行为的第一时间信息和第一置信度信息。
在本发明实施例中，基于视频数据进行跌倒检测主要是通过将获取到的视频数据分解成多个视频图像帧，基于第一检测模型对视频图像帧进行跌倒行为检测，输出跌倒行为检测结果。可选的，跌倒检测流程包括：在输入的视频图像帧中提取目标候选区域，对候选区域提取图像帧中的目标人物的行为特征，根据所提取的行为特征进行跌倒行为检测，得到的检测结果即第一跌倒行为的第一时间信息和第一置信度信息。
具体的，第一检测模型为基于计算机视觉的目标检测模型。可选的，基于计算机视觉的目标检测模模型包括但不限于：R-CNN(Region-basedConvolutional NeuralNetwork，基于区域的卷积神经网络)模型、Fast-CNN(Region-Convolutional NeuralNetwork，快速卷积神经网络)模型、R-FCN模型、FPN(Feature Pyramid Networks，特征金字塔网络)模型等检测模型。具体的，第一时间信息是基于视频数据进行跌倒检测模型检测出的第一跌倒行为产生的时间信息；第一置信度信息是检测产生第一跌倒行为的置信度信息。在本实施例中第一置信度可以理解为基于视频判断产生跌倒行为的概率。
其中，第一检测模块可以是基于跌倒样本图像和非跌倒样本图像训练得到。跌倒样本图像和非跌倒样本图像可以是从网络爬取得到的，或者对跌倒行为和非跌倒行为拍摄得到的，并对获取的跌倒样本图像和非跌倒样本图像设置标签。相应的，第一检测模块的训练过程可以是分别将跌倒样本图像或非跌倒样本图像输入至待训练的第一检测模块中，得到对输入图像的跌倒预测，当该跌倒预测与输入图像的标签不同时，生成损失函数，对待训练的第一检测模块中的网络参数进行调节，循环上述训练过程，直到满足迭代训练次数，或者满足训练精度确定第一检测模块训练完成，得到具有对视频图片进行跌倒识别功能的第一检测模块。
S130、基于第二检测模型对所述音频数据进行跌倒检测，确定所述音频数据中第二跌倒行为的第二时间信息和第二置信度信息。
在本发明实施例中，第二检测模型为基于深度学习的音频检测模型。可选的，检测模型包括但不限于：DBN(Deep Belief Networks，深度置信网络)模型、DNN(Deep NeuralNetwork，深度神经网络)模型、RNN(Recurrent NeuralNetwork，循环神经网络)模型和LSTM(Long Short Term Memory，长短期记忆网络)模型等检测模型。具体的，基于音频数据进行跌倒检测主要是将获取到的音频数据进行处理得到不同长度的音频段，检测各音频段中是否存在跌倒行为，并输出检测结果。可选的，检测流程为：对时域上的音频数据进行预处理并提取数据体征，基于第二检测模型对处理后的音频特征进行检测，并输出检测结果。
具体的，基于音频数据进行跌倒行为检测的检测结果为第二跌倒行为对应的第二时间信息和第二置信度信息。第二时间信息是基于音频数据进行跌倒检测模型检测出的第二跌倒行为产生的时间信息；第二置信度信息是检测产生第二跌倒行为的置信度信息。其中，第二检测模块可以是基于跌倒样本音频和非跌倒样本音频训练得到。跌倒样本音频和非跌倒样本音频可以是从网络爬取得到的，或者对跌倒行为和非跌倒行为拾音得到的，并对获取的样本音频中存在跌倒行为的音频信号位置设置标签。相应的，第二检测模块的训练过程可以是分别将样本音频输入至待训练的第二检测模块中，得到对输入图像的跌倒预测，当该跌倒预测的位置与样本音频中的标签位置不同时，生成损失函数，对待训练的第二检测模块中的网络参数进行调节，循环上述训练过程，直到满足迭代训练次数，或者满足训练精度确定第二检测模块训练完成，得到具有对音频进行跌倒识别功能的第二检测模块。S140、基于所述第一时间信息和第二时间信息，将预设时间间隔内关联的第一跌倒行为和第二跌倒行为分别对应的第一置信度信息和第二置信度信息进行联合处理，基于处理结果确定所述音视频数据中是否存在跌倒行为。
在本发明实施例中，可选的，判断产生第一跌倒行为的第一时间信息和产生第二跌倒行为的第二时间信息之间的第一时间间隔是否小于预设时间间隔，当第一时间间隔大于预设时间间隔时，忽略此次检测，不对第一置信度信息和第二置信度信息进行处理；当第一时间间隔小于或等于预设时间间隔时，将第一时间信息对应的第一置信度信息和第二时间信息对应的第二置信度信息进行联合处理。具体的，联合处理算法可以采用加权算法得到基于音视频的跌倒行为结果，并根据结果判断是当前音视频中是否存在跌倒行为。可选的，分别对第一置信度信息和第二置信度信息设置权重，并进行加权处理，得到音视频的跌倒行为结果，当该音视频的跌倒行为结果满足跌倒阈值时，确定存在跌倒行为，相应的，当该音视频的跌倒行为结果不满足跌倒阈值时，确定不存在跌倒行为。其中，第一置信度信息和第二置信度信息设置权重可以是基于用户需求确定。
在一些实施例中，还可以在确定产生第一跌倒行为的第一时间信息和第一置信度信息之后，依据第一置信度信息判断当前音视频中是否存在跌倒行为。可选的，当包含有第一置信度信息的第一跌倒行为结果满足第二跌倒阈值时，不进行第二跌倒行为的检测，则此时的第一跌倒行为结果为音视频的跌倒行为结果。
需要说明的是，上述判断音视频中是否存在跌倒行为的方式只是作为可选实施例，可以根据实际情况进行具体的设置，本实施例对判断的方式不加以限制。
本发明实施例提供了一种人体跌倒检测方法，通过获取待检测的音视频数据，对音视频数据进行数据分离，得到音视频数据中的视频数据和音频数据；基于第一检测模型对视频数据进行跌倒检测，确定视频数据中第一跌倒行为的第一时间信息和第一置信度信息；基于第二检测模型对音频数据进行跌倒检测，确定音频数据中第二跌倒行为的第二时间信息和第二置信度信息；基于第一时间信息和第二时间信息，将预设时间间隔内关联的第一跌倒行为和第二跌倒行为分别对应的第一置信度信息和第二置信度信息进行联合处理，基于处理结果确定音视频数据中是否存在跌倒行为。通过采用计算机视觉技术与听觉技术相结合的方案，将视频图像与音频事件关联起来，起到相互补充的作用，解决了传统传感器装置检测跌倒的不便捷性以及单靠视觉监控检测的易漏检误检等问题，使用户在无感知的情况下，提高了跌倒行为检测的精度。
实施例二
图2为本发明实施例二中的人体跌倒检测方法的流程图，本实施例在上述实施例的基础上进行进一步地优化。如图2所示，所述方法包括：
S210、获取待检测的音视频数据，对所述音视频数据进行数据分离，得到所述音视频数据中的视频数据和音频数据。
S220、对所述视频信号进行视频解码，得到多张视频图像帧；以及，对所述音频信号进行音频解码，得到多个音频段。
在本发明实施例中，将分离得到的视频数据和音频数据分别传送给视频解码器和音频解码器进行解码，得到各自对应的视频图像帧和音频段。
具体的，采用视频解码器对视频数据中的视频流进行解码，得到所有的图像帧，其中图像帧为视频的最小单元。采用关键帧提取算法提取当前视频所有帧中的关键帧，并将关键帧保存为图片。其中，关键帧通常是指角色或者物体运动或变化中的关键动作所处的那一帧，本实施例中的关键帧是指相对于之前的帧画面变化超过预设阈值比例，即有目标或物体发生移动的帧。基于第一检测模型对所有图像帧中的关键图像帧进行跌倒检测。可选的，可以采用OpenCV进行图像帧的获取；也可以采用FFmpeg将视频流解码为视频的图像帧。当然上述获取图像帧的方式只是作为可选实施例，还可以根据实际情况进行具体的设置，本实施例对图像帧的获取不加以限制。
具体的，将当前的音频数据采用音频解码器进行解码，得到相同时长或不同时长的音频段。其中，音频段中的音频信号包括所有可以检测到信号。由于音频信号是一种非平稳的时变信号，因此，无法直接提取语音内容中的语音特征。但是音频信号在非常短的时间段内能够近似稳定，因此，可以根据预设帧长，将音频数据分成长短不同的音频段。可选的，也可以根据音频数据中的信号强度进行分段，同时将没有信号的音频段进行剔除，只保留有音频信号的音频段，减少对无效音频段的检测，提高检测针对性以及检测效率。基于第一检测模型对所述每一具有音频信号的音频段进行跌倒检测，以减少无效音频段的跌倒行为检测，在保证检测精度的基础上，降低检测工作量。
当然，上述实施例中获取音频段的方式只是作为可选实施例，也可以根据实际情况进行具体设置，本实施例对音频段的获取方式不加以限制。
S230、基于第一检测模型对所述视频数据进行跌倒检测，确定所述视频数据中第一跌倒行为的第一时间信息和第一置信度信息。
S240、基于第二检测模型对所述音频数据进行跌倒检测，确定所述音频数据中第二跌倒行为的第二时间信息和第二置信度信息。
S250、基于所述第一时间信息和第二时间信息，将预设时间间隔内关联的第一跌倒行为和所述第二跌倒行为分别对应的第一置信度信息和第二置信度信息进行联合处理，基于处理结果确定所述音视频数据中是否存在跌倒行为。
在本发明实施例中基于用户需求确定设置第一置信度信息和第二置信度信息的权重并进行加权平均计算，得到处理结果为基于音视频数据的第三置信度信息，其中，第一置信度信息和第二置信度信息的权重可以相同或不同。当第三置信度信息大于或等于第一预设阈值时，确定音视频数据中存在跌倒行为；当第三置信度信息小于所述第一预设阈值时，确定音视频数据中不存在跌倒行为。示例性的，当基于视频数据得到第一跌倒行为的第一时间信息为2020/07/06/16:25：53、第一置信度信息为95.8％；基于音频数据得到的第二跌倒行为的第二时间信息为2020/07/06/16:26:24、第二置信度信息为93.6％，依据第一时间信息和第二事件信息可以获得第一时间间隔信息为0:31，将第一时间间隔与预设时间间隔(在本实施例，将时间间隔设置为一分钟)进行对比，可以发现第一时间间隔小于预设时间间隔，将第一时间信息和第二时间信息分别对应的第一置信度信息和第二置信度信息进行加权平均计算，得到第三置信度信息为94.7％，将第三置信度信息和第一预设阈值(在本实施例，将第一预设阈值设置为90％)进行对比，发现第三置信度信息大于或等于第一预设阈值，则确定音视频数据中存在跌倒行为。
在一些实施例中，在步骤S250之前，还包括：当确定产生第一跌倒行为的第一时间信息和第一置信度信息，依据极大值策略确定音视频数据中是否存在跌倒行为。具体的，将第一置信度信息与第二预设阈值(在本实施例，将第二预设阈值设置为99％)进行对比，当第一置信度信息大于第二预设阈值时，不进行第二跌倒行为的检测，直接判断当前音视频数据中存在跌倒行为，此时的第一置信度信息最终基于音视频的置信度信息。当第一置信度信息小于第二预设阈值时，执行步骤S250。
需要说明的是，在上述实施例中，第一时间间隔、第一预设阈值和第二预设阈值的设置只是作为可选实施例，也可以根据实际情况进行具体设置，本实施例对此不加以限制。
本发明实施例提供了一种人体跌倒检测方法，通过获取待检测的音视频数据，对音视频数据进行数据分离、解码等处理，得到关键帧和有效音频段；基于第一检测模型对关键帧进行跌倒检测，确定视频数据中第一跌倒行为的第一时间信息和第一置信度信息；基于第二检测模型对有效音频段进行跌倒检测，确定音频数据中第二跌倒行为的第二时间信息和第二置信度信息；基于第一时间信息和第二时间信息，将预设时间间隔内关联的第一跌倒行为和第二跌倒行为分别对应的第一置信度信息和第二置信度信息进行联合处理，基于处理结果确定音视频数据中是否存在跌倒行为。采用计算机视觉技术与听觉技术相结合的方案，将视频图像与音频事件关联起来，起到相互补充的作用，使用户在无感知的情况下，提高了跌倒行为检测的精度。
实施例三
图3为本发明实施例三中的交通数据处理方法的流程图，本实施例以上述实施例为基础进行进一步的优化。如图3所示，所述方法包括：
S310、获取样本音视频数据，对所述样本音视频数据进行数据分离，得到所述样本音视频数据中的样本视频数据和样本音频数据。
S320、对所述样本视频数据中跌倒行为标记，并基于所述样本视频数据对待训练的第一检测模型进行训练。
在本实施例中，获取到的样本视频数据中的关键帧保存为图像，并对图像进行预处理。具体的，图像预处理包括缩放、降噪等方法。可选的，采集多组样本视频数据，并进行处理得到大量处理后的图像作为视频跌倒检测模型的训练数据集。对获取的图像进行跌倒行为数据标记，可选的，可以采用打标签及画坐标框的方式进行跌倒行为数据标注。具体的，对获取到的当前图像中的跌倒图像进行坐标框的标注，并将当前的图像设置标签为1；当获取到的当前的图像中没有跌倒行为时，则将当前图像设置标签为0。最后将已经标记的数据输入至视频跌倒行为检测模型进行训练，从而得到基于视频的第一跌倒检测结果。
S330、对所述样本音频数据中跌倒行为标记，并基于所述样本音频数据对待训练的第二检测模型进行训练。
在本实施例中，对获取到样本音频数据中有音频信号的音频段进行预处理，具体的，音频预处理包括重采样、预加重、分帧、加窗等方法。并对预处理后的音频段进行音频特征提取，提取的特征一般分为时域特征、频域特征和空间相关特征。可选的，时域特征有过零率；频域特征有梅尔频率倒谱MFCC等；空间相关特征有到达时间差特征等。可选的，还可以对提取的特征进行组合、选择、降维等处理，以寻求更好的检测效果。采集多个音频段并对每个音频段进行预处理和音频特征提取，以作为神经网络的训练特征集。将提取到的音频特征与预设的疑似音频跌倒音频库中的音频特征进行对比，当当前的音频段中的音频特征与预设音频库中的音频特征信号匹配一致时，对当前音频特征进行标记1表示为疑似音频跌倒的声音；当当前的音频段中的音频特征与预设音频库中的音频特征信号匹配不一致时，对当前音频特征进行标记0表示为疑似音频跌倒的声音。依照此方法标记所有的音频段中的音频特征。可选的，疑似音频跌倒音频库中的音频特征信号包括但不限于：包括跌倒信号、尖叫信号、器物落地信号和器物破碎信号等音频信号。将已标记的音频段作为输入数据输入基于音频数据的神经网络分类器进行训练，并得到输出结果为第二跌倒行为的检测结果。
S340、获取待检测的音视频数据，对所述音视频数据进行数据分离，得到所述音视频数据中的视频数据和音频数据。
S350、基于第一检测模型对所述视频数据进行跌倒检测，确定所述视频数据中第一跌倒行为的第一时间信息和第一置信度信息。
S360、基于第二检测模型对所述音频数据进行跌倒检测，确定所述音频数据中第二跌倒行为的第二时间信息和第二置信度信息。
S370、基于所述第一时间信息和第二时间信息，将预设时间间隔内关联的第一跌倒行为和所述第二跌倒行为分别对应的第一置信度信息和第二置信度信息进行联合处理，基于处理结果确定所述音视频数据中是否存在跌倒行为。
本发明实施例提供了一种人体跌倒检测方法，通过获取待检测的音视频数据，对音视频数据进行数据分离，得到音视频数据中的视频数据和音频数据；对视频数据和音频数据进行跌倒行为标记，基于已标记的数据分别进行跌倒行为检测模型的训练；得到训练好的基于视频数据检测的第一检测模型和基于音频数据检测的第二检测模型。基于第一检测模型对视频数据进行跌倒检测，确定视频数据中第一跌倒行为的第一时间信息和第一置信度信息；基于第二检测模型对音频数据进行跌倒检测，确定音频数据中第二跌倒行为的第二时间信息和第二置信度信息；基于第一时间信息和第二时间信息，将预设时间间隔内关联的第一跌倒行为和第二跌倒行为分别对应的第一置信度信息和第二置信度信息进行联合处理，基于处理结果确定音视频数据中是否存在跌倒行为。通过采用计算机视觉技术与听觉技术相结合的方案，将视频图像与音频事件关联起来，起到相互补充的作用，使用户在无感知的情况下，提高了跌倒行为检测的精度。
实施例四
图4是本发明实施例四中的人体跌倒检测装置的结构示意图。如图4所示，所述装置包括：
数据获取模块410，用于获取待检测的音视频数据，对所述音视频数据进行数据分离，得到所述音视频数据中的视频数据和音频数据。
视频数据处理模块420，用于基于第一检测模型对所述视频数据进行跌倒检测，确定所述视频数据中第一跌倒行为的第一时间信息和第一置信度信息。
音频数据处理模块430，用于基于第二检测模型对所述音频数据进行跌倒检测，确定所述音频数据中第二跌倒行为的第二时间信息和第二置信度信息。
跌倒行为确定模块440，用于基于所述第一时间信息和第二时间信息，将预设时间间隔内关联的第一跌倒行为和所述第二跌倒行为分别对应的第一置信度信息和第二置信度信息进行联合处理，基于处理结果确定所述音视频数据中是否存在跌倒行为。
可选的，数据获取模块410包括：
视频解码单元，用于对所述视频信号进行视频解码，得到多张视频图像帧；
音频解码单元，用于对所述音频信号进行音频解码，得到多个音频段；
第二跌倒行为检测单元，用于基于第二检测模型对具有音频信号的音频段进行跌倒检测；
第一跌倒行为检测单元，用于基于第一检测模型对所有图像帧中的关键图像帧进行跌倒检测。
可选的，跌倒行为确定模块440包括：
时间信息确定单元，用于确定位于所述第二时间信息前/后的预设时间间隔内的关联第一时间信息；
第三置信度确定单元，用于将所述第二时间信息的第二跌倒行为和所述关联第一时间信息的第一跌倒行为分别对应的第一置信度信息和第二置信度信息进行预设规则的处理，确定第三置信度信息；
第一跌倒行为判断单元：用于当所述第三置信度信息大于或等于第一预设阈值时，确定所述音视频数据中存在跌倒行为；
第二跌倒行为判断单元：用于当所述第三置信度信息小于所述第一预设阈值时，确定所述音视频数据中不存在跌倒行为；
第三跌倒行为判断单元：用于当所述第一置信度信息大于第二预设阈值时，确定所述音视频数据中存在跌倒行为。
可选的，所述样本音视频数据包括样本音频数据和样本视频数据，所述样本音频数据中包括对样本跌倒音频信号的标记，所述样本跌倒音频信号包括跌倒信号、尖叫信号、器物落地信号和器物破碎信号，所述样本视频数据中包括跌倒图像的标记；
可选的，所述装置还包括：
第一模型训练模块，用于基于所述样本音频数据对待训练的第二检测模型进行训练。
第二模型训练模块，用于基于所述样本视频数据对待训练的第一检测模型进行训练。
实施例五
图5是本发明实施例五中的服务器的结构示意图。图5示出了适于用来实现本发明实施方式的示例***器512的框图。图5显示的服务器512仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，服务器512以通用计算设备的形式表现。服务器512的组件可以包括但不限于：一个或者多个处理器或者处理单元516，***存储器528，连接不同***组件(包括***存储器528和处理单元516)的总线518。
总线518表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
服务器512典型地包括多种计算机***可读介质。这些介质可以是任何能够被服务器512访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
***存储器528可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)530和/或高速缓存存储器532。服务器512可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***534可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线518相连。存储器528可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块542的程序/实用工具540，可以存储在例如存储器528中，这样的程序模块542包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块542通常执行本发明所描述的实施例中的功能和/或方法。
服务器512也可以与一个或多个外部设备514(例如键盘、指向设备、显示器524等)通信，还可与一个或者多个使得用户能与该服务器512交互的设备通信，和/或与使得该服务器512能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口522进行。并且，服务器512还可以通过网络适配器520与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器520通过总线518与服务器512的其它模块通信。应当明白，尽管图5中未示出，可以结合服务器512使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理单元516通过运行存储在***存储器528中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的交通数据处理方法，该方法包括：
获取当前交通工具的状态信息，并接收距离所述当前交通工具预设范围内其他交通工具的广播数据，其中，所述广播数据中包括所述其他交通工具的状态信息、危险信号中的至少一项；
基于所述广播数据和/或所述当前交通工具的状态信息，对所述当前交通工具进行行驶预测；
将所述当前交通工具的状态信息、所述当前交通工具的行驶预测结果中的危险信号、所述其他交通工具广播的危险信号进行广播。
实施例六
本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的交通数据处理方法，该方法包括：
获取当前交通工具的状态信息，并接收距离所述当前交通工具预设范围内其他交通工具的广播数据，其中，所述广播数据中包括所述其他交通工具的状态信息、危险信号中的至少一项；
基于所述广播数据和/或所述当前交通工具的状态信息，对所述当前交通工具进行行驶预测；
将所述当前交通工具的状态信息、所述当前交通工具的行驶预测结果中的危险信号、所述其他交通工具广播的危险信号进行广播。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (11)
1.一种人体跌倒检测方法，其特征在于，包括：
获取待检测的音视频数据，对所述音视频数据进行数据分离，得到所述音视频数据中的视频数据和音频数据；
基于第一检测模型对所述视频数据进行跌倒检测，确定所述视频数据中第一跌倒行为的第一时间信息和第一置信度信息；
基于第二检测模型对所述音频数据进行跌倒检测，确定所述音频数据中第二跌倒行为的第二时间信息和第二置信度信息；
基于所述第一时间信息和第二时间信息，将预设时间间隔内关联的第一跌倒行为和所述第二跌倒行为分别对应的第一置信度信息和第二置信度信息进行联合处理，基于处理结果确定所述音视频数据中是否存在跌倒行为。
2.根据权利要求1所述的方法，其特征在于，所述对所述音视频数据进行数据分离，得到所述音视频数据中的视频数据和音频数据之后，还包括：
对所述视频信号进行视频解码，得到多张视频图像帧；以及，
对所述音频信号进行音频解码，得到多个音频段。
3.根据权利要求2所述的方法，其特征在于，所述基于第二检测模型对所述音频数据进行跌倒检测，包括：
基于第二检测模型对具有音频信号的音频段进行跌倒检测。
4.根据权利要求2所述的方法，其特征在于，所述基于第一检测模型对所述视频数据进行跌倒检测，包括：
基于第一检测模型对所有图像帧中的关键图像帧进行跌倒检测。
5.根据权利要求1所述的方法，其特征在于，所述基于所述第一时间信息和第二时间信息，将预设时间间隔内关联的第一跌倒行为和所述第二跌倒行为分别对应的第一置信度信息和第二置信度信息进行联合处理，包括：
确定位于所述第二时间信息前/后的预设时间间隔内的关联第一时间信息；
将所述第二时间信息的第二跌倒行为和所述关联第一时间信息的第一跌倒行为分别对应的第一置信度信息和第二置信度信息进行预设规则的处理，确定第三置信度信息。
6.根据权利要求5所述的方法，其特征在于，基于处理结果确定所述音视频数据中是否存在跌倒行为，包括：
当所述第三置信度信息大于或等于第一预设阈值时，确定所述音视频数据中存在跌倒行为；
当所述第三置信度信息小于所述第一预设阈值时，确定所述音视频数据中不存在跌倒行为。
7.根据权利要求1所述的方法，其特征在于，在确定所述视频数据中第一跌倒行为的第一时间信息和第一置信度信息之后，还包括：
当所述第一置信度信息大于第二预设阈值时，确定所述音视频数据中存在跌倒行为。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取样本音视频数据，所述样本音视频数据包括样本音频数据和样本视频数据，所述样本音频数据中包括对样本跌倒音频信号的标记，所述样本跌倒音频信号包括跌倒信号、尖叫信号、器物落地信号和器物破碎信号中至少一项，所述样本视频数据中包括跌倒图像的标记；
基于所述样本音频数据对待训练的第二检测模型进行训练；
基于所述样本视频数据对待训练的第一检测模型进行训练。
9.一种人体跌倒检测装置，其特征在于，包括：
数据获取模块，用于获取待检测的音视频数据，对所述音视频数据进行数据分离，得到所述音视频数据中的视频数据和音频数据；
视频数据处理模块，用于基于第一检测模型对所述视频数据进行跌倒检测，确定所述视频数据中第一跌倒行为的第一时间信息和第一置信度信息；
音频数据处理模块，用于基于第二检测模型对所述音频数据进行跌倒检测，确定所述音频数据中第二跌倒行为的第二时间信息和第二置信度信息；
跌倒行为确定模块，用于基于所述第一时间信息和第二时间信息，将预设时间间隔内关联的第一跌倒行为和所述第二跌倒行为分别对应的第一置信度信息和第二置信度信息进行联合处理，基于处理结果确定所述音视频数据中是否存在跌倒行为。
10.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的人体跌倒检测方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的人体跌倒检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010753012.7A CN111904429A (zh) | 2020-07-30 | 2020-07-30 | 一种人体跌倒检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010753012.7A CN111904429A (zh) | 2020-07-30 | 2020-07-30 | 一种人体跌倒检测方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111904429A true CN111904429A (zh) | 2020-11-10 |
Family
ID=73286472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010753012.7A Pending CN111904429A (zh) | 2020-07-30 | 2020-07-30 | 一种人体跌倒检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111904429A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113552889A (zh) * | 2021-07-29 | 2021-10-26 | 苏州森合知库机器人科技有限公司 | 一种巷道场景下巡检机器人及其导航方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102117533A (zh) * | 2011-03-11 | 2011-07-06 | 北京航空航天大学 | 人体跌倒检测保护与报警装置 |
| CN103198605A (zh) * | 2013-03-11 | 2013-07-10 | 成都百威讯科技有限责任公司 | 室内突发异常事件报警*** |
| CN104637242A (zh) * | 2013-11-12 | 2015-05-20 | 广州华久信息科技有限公司 | 一种基于多分类器集成的老人跌倒检测方法及*** |
| US20160183847A1 (en) * | 2014-12-29 | 2016-06-30 | Lg Cns Co., Ltd. | Apparatus and method for detecting a fall |
| US20170109991A1 (en) * | 2011-07-12 | 2017-04-20 | Cerner Innovation, Inc. | Method and process for determining whether an individual suffers a fall requiring assistance |
| CN107945458A (zh) * | 2017-12-11 | 2018-04-20 | 北京奇虎科技有限公司 | 摄像头场景下的跌倒检测方法、装置及计算设备 |
-
2020
- 2020-07-30 CN CN202010753012.7A patent/CN111904429A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102117533A (zh) * | 2011-03-11 | 2011-07-06 | 北京航空航天大学 | 人体跌倒检测保护与报警装置 |
| US20170109991A1 (en) * | 2011-07-12 | 2017-04-20 | Cerner Innovation, Inc. | Method and process for determining whether an individual suffers a fall requiring assistance |
| CN103198605A (zh) * | 2013-03-11 | 2013-07-10 | 成都百威讯科技有限责任公司 | 室内突发异常事件报警*** |
| CN104637242A (zh) * | 2013-11-12 | 2015-05-20 | 广州华久信息科技有限公司 | 一种基于多分类器集成的老人跌倒检测方法及*** |
| US20160183847A1 (en) * | 2014-12-29 | 2016-06-30 | Lg Cns Co., Ltd. | Apparatus and method for detecting a fall |
| CN107945458A (zh) * | 2017-12-11 | 2018-04-20 | 北京奇虎科技有限公司 | 摄像头场景下的跌倒检测方法、装置及计算设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113552889A (zh) * | 2021-07-29 | 2021-10-26 | 苏州森合知库机器人科技有限公司 | 一种巷道场景下巡检机器人及其导航方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101942808B1 (ko) | 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 | |
| CN109874029B (zh) | 视频描述生成方法、装置、设备及存储介质 | |
| US10825470B2 (en) | Method and apparatus for detecting starting point and finishing point of speech, computer device and storage medium | |
| CN112511821B (zh) | 视频卡顿检测方法、装置和存储介质 | |
| WO2024000867A1 (zh) | 情绪识别方法、装置、设备及存储介质 | |
| CN111027419B (zh) | 一种视频无关内容检测的方法、装置、设备和介质 | |
| CN115481283A (zh) | 音视频特征提取方法、装置、电子设备及计算机可读存储介质 | |
| CN111107284B (zh) | 一种视频字幕实时生成***及生成方法 | |
| CN114333896A (zh) | 语音分离方法、电子设备、芯片及计算机可读存储介质 | |
| CN111904429A (zh) | 一种人体跌倒检测方法、装置、电子设备及存储介质 | |
| CN113114986B (zh) | 基于画面和声音同步的预警方法及相关设备 | |
| CN111385576B (zh) | 视频编码方法、装置、移动终端及存储介质 | |
| Dong et al. | At the speed of sound: Efficient audio scene classification | |
| CN113689527B (zh) | 一种人脸转换模型的训练方法、人脸图像转换方法 | |
| JP4201204B2 (ja) | オーディオ情報分類装置 | |
| CN112382277A (zh) | 智能设备唤醒方法、智能设备和计算机可读存储介质 | |
| CN112579744A (zh) | 一种在线心理咨询中风险控制的方法 | |
| CN113099283B (zh) | 监控画面和声音同步的方法及相关设备 | |
| JP2008186033A (ja) | オーディオ情報分類装置 | |
| CN114283493A (zh) | 基于人工智能的识别*** | |
| CN113762056A (zh) | 演唱视频识别方法、装置、设备及存储介质 | |
| CN112926623A (zh) | 识别合成视频的方法、装置、介质及电子设备 | |
| CN116800976B (zh) | 伴睡婴幼儿时音视频压缩和还原方法、装置及设备 | |
| CN112542157A (zh) | 语音处理方法、装置、电子设备及计算机可读存储介质 | |
| CN113299318B (zh) | 一种音频节拍的检测方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220914 Address after: 25 Financial Street, Xicheng District, Beijing 100033 Applicant after: CHINA CONSTRUCTION BANK Corp. Address before: 25 Financial Street, Xicheng District, Beijing 100033 Applicant before: CHINA CONSTRUCTION BANK Corp. Applicant before: Jianxin Financial Science and Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right |