CN115223331A - 一种跌倒报警方法及装置、设备 - Google Patents

一种跌倒报警方法及装置、设备 Download PDF

Info

Publication number
CN115223331A
CN115223331A CN202210557378.6A CN202210557378A CN115223331A CN 115223331 A CN115223331 A CN 115223331A CN 202210557378 A CN202210557378 A CN 202210557378A CN 115223331 A CN115223331 A CN 115223331A
Authority
CN
China
Prior art keywords
panoramic
frame image
event frame
falling
alarm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210557378.6A
Other languages
English (en)
Inventor
陈家安
邱翌
***
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Lian Science And Technology Co ltd
Original Assignee
Ningbo Lian Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Lian Science And Technology Co ltd filed Critical Ningbo Lian Science And Technology Co ltd
Priority to CN202210557378.6A priority Critical patent/CN115223331A/zh
Publication of CN115223331A publication Critical patent/CN115223331A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了一种跌倒报警方法及装置、设备，涉及计算机视觉技术和语音交互技术领域。包括：获取全景摄像头下动态视觉传感器采集的实时事件流；将所述实时事件流中每E个事件累计成一张全景事件帧图像；将所述全景事件帧图像存入时间窗口队列中；通过已训练的动作识别神经网络对所述时间窗口队列进行动作识别；若识别到意外跌倒动作，则捕获麦克风阵列识别到的声源方向，判断声源方向和全景事件帧图像中所判定跌倒画面的位置是否匹配；若匹配，则发送询问语音到扬声器，接收所述麦克风阵列采集的语音信息；根据所述语音信息，发送报警信息。

Description

一种跌倒报警方法及装置、设备
技术领域
本申请涉及计算机视觉技术和语音交互技术领域，尤其涉及一种跌倒报警方法及装置、设备。
背景技术
中国独居或空巢老人超过1亿人，独居老人因跌倒导致昏迷或失去行动能力容易错失抢救机会，及时发现独居老人的意外摔倒以及与报警***联动可以及时救护受伤老人。
一些解决方案中依靠老人所佩戴的传感器来感知老人是否跌倒，需要老人佩戴多种传感设备，不便于老人活动。还有方法在房间中布置覆盖活动区域的红外装置，并结合床位上的传感器来感知老人离床后的活动情况，此类方法所需硬件条件复杂。
随着计算机视觉技术的发展，在房间内安装摄像头，然后通过计算机视觉技术相关的跌倒检测算法，可以较准确且方便地对意外摔倒进行识别。
在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：
单一的传统的摄像头无法获取到完整室内画面，存在画面死角，需要多个摄像头配合。在意外摔倒发生时，记录传输的彩色图像不利于隐私保护；此外在夜间光照不足的情况下，摄像头获取到的图像画面质量较差，不利于跌倒检测算法的识别。
发明内容
本申请实施例的目的是提供一种跌倒报警方法及装置、设备，以解决相关技术中存在的设备布置复杂，存在画面死角，对光照适应能力差，记录的图像画面不利于隐私保护的技术问题。
根据本申请实施例的第一方面，提供一种跌倒报警方法，包括：
获取全景摄像头下动态视觉传感器采集的实时事件流；
将所述实时事件流中每E个事件累计成一张全景事件帧图像；
将所述全景事件帧图像存入时间窗口队列中；
通过已训练的动作识别神经网络对所述时间窗口队列进行动作识别；
若识别到意外跌倒动作，则捕获麦克风阵列识别到的声源方向，判断声源方向和全景事件帧图像中所判定跌倒画面的位置是否匹配；
若匹配，则发送询问语音到扬声器，接收所述麦克风阵列采集的语音信息；
根据所述语音信息，发送报警信息。
可选的，已训练的动作识别神经网络的构建方法包括：
获取所述全景摄像头下动态视觉传感器采集的正常动作全景事件流、意外跌倒全景事件流和跌倒后起身全景事件流；
分别在以上三类全景事件流中以每E个事件累计成一张全景事件帧图像，生成视频数据集，所述视频数据集包含正常动作类全景事件帧视频、意外跌倒类全景事件帧视频和跌倒后起身类全景事件帧视频；
使用所述视频数据集训练动作识别神经网络，得到所述已训练的动作识别神经网络。
可选的，还包括：
若未识别到意外跌倒动作，则继续获取下一全景事件帧图像；
通过已训练的动作识别神经网络对所述下一全景事件帧图像进行动作识别。
可选的，还包括：
若不匹配，则继续获取下一全景事件帧图像；
通过已训练的动作识别神经网络对所述下一全景事件帧图像进行动作识别。
可选的，根据所述语音信息，发送报警信息，包括：
若所述语音信息示出需要报警，则发送报警信息至预先设置的紧急联系人客户端；
若所述语音信息示出不需报警，则通过所述已训练的动作识别神经网络在预设第一时间内识别是否有跌倒后起身动作，如有起身动作则继续获取下一全景事件帧图像及识别；否则再次发送询问语音到所述扬声器，仍不需报警，则继续获取下一全景事件帧图像及识别，否则发送报警信息；如所述询问在预设第二时间内无回复，则发送报警信息。
可选的，还包括：
将发生意外跌倒时刻的全景事件帧图像和报警信息发送给预先设置的紧急联系人。
根据本申请实施例的第二方面，提供一种跌倒报警装置，包括：
获取模块，用于获取全景摄像头下动态视觉传感器采集的实时事件流；
累计模块，用于将所述实时事件流中每E个事件累计成一张全景事件帧图像；
存储模块，用于将所述全景事件帧图像存入时间窗口队列中；
识别模块，用于通过已训练的动作识别神经网络对所述时间窗口队列进行动作识别；
判断模块，用于若识别到意外跌倒动作，则捕获麦克风阵列识别到的声源方向，判断声源方向和全景事件帧图像中所判定跌倒画面的位置是否匹配；
发送接收模块，用于若匹配，则发送询问语音到扬声器，接收所述麦克风阵列采集的语音信息；
报警模块，用于根据所述语音信息，发送报警信息。
根据本申请实施例的第三方面，提供一种跌倒报警设备，包括：
全景摄像头，用于360°感知室内状况；
动态视觉传感器，用于采集全景摄像头下的实时事件流；
麦克风阵列，用于识别声源方向和采集语音信息；
扬声器，用于播报询问语音；
处理器，用于将所述实时事件流中每E个事件累计成一张全景事件帧图像，将所述全景事件帧图像存入时间窗口队列中，通过已训练的动作识别神经网络对所述时间窗口队列进行动作识别，若识别到意外跌倒动作，则捕获麦克风阵列识别到的声源方向，判断声源方向和全景事件帧图像中所判定跌倒画面的位置是否匹配，若匹配，则发送询问语音到所述扬声器，接收麦克风阵列采集的语音信息，根据所述语音信息，发送报警信息。
根据本申请实施例的第四方面，提供一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。
根据本申请实施例的第五方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果：
根据以上技术方案，本申请采用全景摄像头进行捕获，单一全景摄像头便可以对一个房间进行360°无死角感知老人行动情况，不存在视角盲区，简化硬件安装；
采用了动态视觉传感器，对光照适应能力强，夜间光照不足时仍能正常工作有效识别，只在画面中有运动物体时产生响应，功耗低；
采用全景事件帧图像记录意外跌倒时的屋内画面，只有存在运动信息的跌倒位置有事件记录，并且没有彩色及纹理信息，在发送报警信息时有利于隐私保护；
采用语音交互问询，在设备检测出意外跌倒后对老人进行语音问询并等待答复，以及进行起身动作识别，可以更好地完成报警通知。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种跌倒报警方法的流程图。
图2是根据一示例性实施例示出的一种跌倒报警装置的框图。
图3是根据一示例性实施例示出的一种跌倒报警设备的结构示意图。
图4是根据一示例性实施例示出的一种跌倒报警设备的使用示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1是根据一示例性实施例示出的一种跌倒报警方法的流程图，如图1所示，该方法应用于处理器，包括：
步骤S11，获取全景摄像头下动态视觉传感器采集的实时事件流；
步骤S12，将所述实时事件流中每E个事件累计成一张全景事件帧图像；
步骤S13，将所述全景事件帧图像存入时间窗口队列中
步骤S14，通过已训练的动作识别神经网络对所述时间窗口队列进行动作识别；
步骤S15，若识别到意外跌倒动作，则捕获麦克风阵列识别到的声源方向，判断声源方向和全景事件帧图像中所判定跌倒画面的位置是否匹配；
步骤S16，若匹配，则发送询问语音到扬声器，接收所述麦克风阵列采集的语音信息；
步骤S17，根据所述语音信息，发送报警信息。
由上述实施例可知，本申请采用全景摄像头捕获360°的室内状态，可以无死角地感知室内人员的活动；使用动态视觉传感器可以很好地适应光照，从而在夜间光照不足时也有很好的感知效果；采用基于全景动态视觉的动作识别算法，可以较准确地识别出意外跌倒以及跌倒后起身的动作，此外通过麦克风阵列捕获声源位置，可以对检测识别结果进行二次验证，从而使检测结果更可靠；采用语音交互问询的方式，可以更好地得知当前人员的情况，以及便于了解实际需求，从而完成报警；在报警时传递全景事件帧图像，所述全景事件帧图像只有存在运动信息的跌倒位置有事件记录，并且没有彩色及纹理信息，有利于隐私保护。
在步骤S11的具体实施中，获取全景摄像头下动态视觉传感器采集的实时事件流；
具体地，单独一个小型化全景摄像头设备便可以360°地感知室内的状态，硬件结构简单，成像效果稳定，可以适用于室内进行无死角捕获；动态视觉传感器是一种新型的光学传感器，其只对画面中产生运动的部分输出事件，具有低功耗，高动态范围的特点，对光照适应能力强，夜间光照不足时仍能正常工作有效识别，所述实时事件流中包含了运动信息，便于用动作识别算法进行识别。
在步骤S12的具体实施中，将所述实时事件流中每E个事件累计成一张全景事件帧图像；
具体地，在实时事件流中统计事件的个数，每E个事件累计成一张全景事件帧图像，所述全景事件帧图像记录下了当前时刻发生运动的信息，图像简单，利于动作识别算法的识别。
在步骤S13的具体实施中，将所述全景事件帧图像存入时间窗口队列中；
具体地，设置一个长度为L的时间窗口队列，初始值全部置为0；将所述全景事件帧图像实时存入所述时间窗口队列，实时地得到存满全景事件帧图像的时间窗口队列。完整的所述时间窗口队列保存有时序信息和全景空间信息，可以有效被已训练的动作识别神经网络进行处理预测，从而进行实时识别。
在步骤S14的具体实施中，通过已训练的动作识别神经网络对所述事件窗口队列进行动作识别；
具体地，将存满全景事件帧图像的所述时间窗口队列输入已训练的动作识别神经网络，所述已训练的动作识别神经网络将输出动作识别结果，从而判断当前发生的动作是正常动作还是意外跌倒或者跌倒后起身。
已训练的动作识别神经网络的构建方法包括：
获取所述全景摄像头下动态视觉传感器采集的正常动作全景事件流、意外跌倒全景事件流和跌倒后起身全景事件流；
分别在以上三类全景事件流中以每E个事件累计成一张全景事件帧图像，生成包含视频数据集，所述视频数据集包含正常动作类全景事件帧视频，意外跌倒类全景事件帧视频和跌倒后起身类全景事件帧视频；
使用所述视频数据集训练动作识别神经网络，以达到所需的相应准确率，得到所述已训练的动作识别神经网络。
在步骤S15的具体实施中，若识别到意外跌倒动作，则捕获麦克风阵列识别到的声源方向，判断声源方向和全景事件帧图像中所判定跌倒画面的位置是否匹配；
具体地，所述麦克风阵列是环形阵列，用于感知跌倒发生时的声源方向，其检测到的声源方向可以和全景事件帧图像中所判定的跌倒画面位置进行互验，若匹配则认为检测结果正确，若不匹配则认为此次检测结果为干扰误报，从而可以使检测结果更加可靠。
在步骤S16的具体实施中，若匹配，则发送询问语音到所述扬声器，接收麦克风阵列采集的语音信息；
具体地，若检测到有异常跌倒，则发送询问语音到所述扬声器，询问老人是否需要向紧急联系人报警，并等待所述麦克风阵列所接收到的答复，语音交互问询可以更好地得知当前人员的情况，以及便于了解实际需求，从而完成报警。
在步骤S17的具体实施中，根据所述语音信息，发送报警信息。
具体地，对所述麦克风阵列采集的语音信息进行判别。
该步骤可以包括以下子步骤：
步骤S171，若所述语音信息示出需要报警，发送报警信息至预先设置的紧急联系人客户端；
步骤S172，若所述语音信息示出不需报警，则通过所述已训练的动作识别神经网络在预设第一时间(T分钟)内识别是否有起身动作，如有起身动作则继续获取下一全景事件帧图像及识别；否则再次发送询问语音到所述扬声器，仍不需报警，则继续获取下一全景事件帧图像及识别，否则发送报警信息；如所述询问在预设第二时间(t秒)内无回复，则发送报警信息。
在步骤S15之后，还包括：
若未识别到意外跌倒动作，则继续获取下一全景事件帧图像；通过已训练的动作识别神经网络对所述下一全景事件帧图像进行动作识别。这里不再继续赘述该步骤。
在步骤S16之后，还包括：
若不匹配，则继续获取下一全景事件帧图像；通过已训练的动作识别神经网络对所述下一全景事件帧图像进行动作识别。这里不再继续赘述该步骤。
在步骤S17之后，还包括：
将发生意外跌倒时刻的全景事件帧图像和报警信息发送给预先设置的紧急联系人。
与前述的一种跌倒报警方法的实施例相对应，本申请还提供了一种跌倒报警装置的实施例。
图2是根据一示例性实施例示出的一种跌倒报警装置框图。参照图2，该装置应用于处理器，包括获取模块、累计模块、存储模块、识别模块、判断模块、发送接收模块、报警模块。
获取模块21，用于获取全景摄像头下动态视觉传感器采集的实时事件流；
累计模块22，用于将所述实时事件流中每E个事件累计成一张全景事件帧图像；
存储模块23，用于将所述全景事件帧图像存入时间窗口队列中；
识别模块24，用于通过已训练的动作识别神经网络对所述时间窗口队列进行动作识别；
判断模块25，用于若识别到意外跌倒动作，则捕获麦克风阵列识别到的声源方向，判断声源方向和全景事件帧图像中所判定跌倒画面的位置是否匹配；
发送接收模块26，用于若匹配，则发送询问语音到所述扬声器，接收麦克风阵列采集的语音信息；
报警模块27，用于根据所述语音信息，发送报警信息。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本实施例还提供一种跌倒报警设备，应用于处理器，如图3所示，包括：全景摄像头1、动态视觉传感器、麦克风阵列、扬声器和处理器，动态视觉传感器和处理器可以设置在一个第一外壳2上，麦克风阵列和扬声器也可以设置在一个第二外壳3上，全景摄像头1布置在中间，第二外壳3围绕全景摄像头1的圆周进行布置。
单独的一个所述全景摄像头1可以360°无死角地捕获当前房间内的场所画面。
所述动态视觉传感器用于采集全景摄像头下的实时事件流；所述动态视觉传感器是一种新型的光学传感器，其只对画面中产生运动的部分输出事件，具有低功耗，高动态范围的特点，对光照适应能力强，夜间光照不足时仍能正常工作有效识别。
所述麦克风阵列是一个环形阵列，可以定位360°方位上的声源位置，用于识别声源方向和采集语音信息；
所述扬声器是一个声音播放器件，可以根据接收到的指令以合适的音量播放语音，用于播报询问语音；
所述处理器是一种嵌入式处理器，集成网络连接和信号处理等多个模块，可以运行指令以及进行计算处理等，用于将所述实时事件流中每E个事件累计成一张全景事件帧图像，将所述全景事件帧图像存入时间窗口队列中，通过已训练的动作识别神经网络对所述全景事件帧图像进行动作识别，若识别到意外跌倒动作，则捕获麦克风阵列识别到的声源方向，判断声源方向和全景事件帧图像中所判定跌倒画面的位置是否匹配，若匹配，则发送询问语音到所述扬声器，接收麦克风阵列采集的语音信息，根据所述语音信息，发送报警信息。
本实施例中，参考图4，示出两个跌倒报警设备，可以各自安装于卧室和客厅两个房间内的棚顶位置，所述两个跌倒报警装置连接到同一个无线局域网，可以借助互联网传递信息给预先设置的紧急联系人客户端。
本申请采用小型化全景摄像头对活动空间进行360°无死角感知，从而使硬件布置简单，单一全景摄像头便可捕获整个房间的信息；采用动态视觉传感器，可以对光照有很好的适应，克服了传统相机在夜间光照不足时成像质量较差，检测算法识别失效的问题，从而几乎可以全天候工作；采用麦克风阵列对声源进行定位，在得到跌倒检测算法识别到的结果基础上，结合声源定位结果，两者的信息形成互验，以排除可能存在的干扰造成误报，使结果更稳定；采用语音交互问询，以及进行起身动作识别，可以更好地确认老人当前的状态，进一步完成报警通知；在确认有意外跌倒发生时装置记录及发送的画面是全景事件帧图像，只有存在运动信息的跌倒位置有事件记录，并且没有彩色及纹理信息，从而避免了传统彩色图像留有过多隐私信息的问题，更有利于隐私保护。
相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的跌倒报警方法。
相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如上述的跌倒报警方法。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种跌倒报警方法，其特征在于，包括：
获取全景摄像头下动态视觉传感器采集的实时事件流；
将所述实时事件流中每E个事件累计成一张全景事件帧图像；
将所述全景事件帧图像存入时间窗口队列中；
通过已训练的动作识别神经网络对所述时间窗口队列进行动作识别；
若识别到意外跌倒动作，则捕获麦克风阵列识别到的声源方向，判断声源方向和全景事件帧图像中所判定跌倒画面的位置是否匹配；
若匹配，则发送询问语音到扬声器，接收所述麦克风阵列采集的语音信息；
根据所述语音信息，发送报警信息。
2.根据权利要求1所述的一种跌倒报警方法，其特征在于，已训练的动作识别神经网络的构建方法包括：
获取所述全景摄像头下动态视觉传感器采集的正常动作全景事件流、意外跌倒全景事件流和跌倒后起身全景事件流；
分别在以上三类全景事件流中以每E个事件累计成一张全景事件帧图像，生成视频数据集，所述视频数据集包含正常动作类全景事件帧视频、意外跌倒类全景事件帧视频和跌倒后起身类全景事件帧视频；
使用所述视频数据集训练动作识别神经网络，得到所述已训练的动作识别神经网络。
3.根据权利要求1所述的一种跌倒报警方法，其特征在于，还包括：
若未识别到意外跌倒动作，则继续获取下一全景事件帧图像；
通过已训练的动作识别神经网络对所述下一全景事件帧图像进行动作识别。
4.根据权利要求1所述的一种跌倒报警方法，其特征在于，还包括：
若不匹配，则继续获取下一全景事件帧图像；
通过已训练的动作识别神经网络对所述下一全景事件帧图像进行动作识别。
5.根据权利要求1所述的一种跌倒报警方法，其特征在于，根据所述语音信息，发送报警信息，包括：
若所述语音信息示出需要报警，则发送报警信息至预先设置的紧急联系人客户端；
若所述语音信息示出不需报警，则通过所述已训练的动作识别神经网络在预设第一时间内识别是否有跌倒后起身动作，如有起身动作则继续获取下一全景事件帧图像及识别；否则再次发送询问语音到所述扬声器，仍不需报警，则继续获取下一全景事件帧图像及识别，否则发送报警信息；如所述询问在预设第二时间内无回复，则发送报警信息。
6.根据权利要求1所述的一种跌倒报警方法，其特征在于，还包括：
将发生意外跌倒时刻的全景事件帧图像和报警信息发送给预先设置的紧急联系人。
7.一种跌倒报警装置，其特征在于，包括：
获取模块，用于获取全景摄像头下动态视觉传感器采集的实时事件流；
累计模块，用于将所述实时事件流中每E个事件累计成一张全景事件帧图像；
存储模块，用于将所述全景事件帧图像存入时间窗口队列中；
识别模块，用于通过已训练的动作识别神经网络对所述时间窗口队列进行动作识别；
判断模块，用于若识别到意外跌倒动作，则捕获麦克风阵列识别到的声源方向，判断声源方向和全景事件帧图像中所判定跌倒画面的位置是否匹配；
发送接收模块，用于若匹配，则发送询问语音到扬声器，接收所述麦克风阵列采集的语音信息；
报警模块，用于根据所述语音信息，发送报警信息。
8.一种跌倒报警设备，其特征在于，包括：
全景摄像头，用于360°感知室内状况；
动态视觉传感器，用于采集全景摄像头下的实时事件流；
麦克风阵列，用于识别声源方向和采集语音信息；
扬声器，用于播报询问语音；
处理器，用于将所述实时事件流中每E个事件累计成一张全景事件帧图像，将所述全景事件帧图像存入时间窗口队列中，通过已训练的动作识别神经网络对所述时间窗口队列进行动作识别，若识别到意外跌倒动作，则捕获麦克风阵列识别到的声源方向，判断声源方向和全景事件帧图像中所判定跌倒画面的位置是否匹配，若匹配，则发送询问语音到所述扬声器，接收麦克风阵列采集的语音信息，根据所述语音信息，发送报警信息。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-6中任一项所述方法的步骤。
CN202210557378.6A 2022-05-20 2022-05-20 一种跌倒报警方法及装置、设备 Pending CN115223331A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210557378.6A CN115223331A (zh) 2022-05-20 2022-05-20 一种跌倒报警方法及装置、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210557378.6A CN115223331A (zh) 2022-05-20 2022-05-20 一种跌倒报警方法及装置、设备

Publications (1)

Publication Number Publication Date
CN115223331A true CN115223331A (zh) 2022-10-21

Family

ID=83607800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210557378.6A Pending CN115223331A (zh) 2022-05-20 2022-05-20 一种跌倒报警方法及装置、设备

Country Status (1)

Country Link
CN (1) CN115223331A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163573A (ja) * 2008-01-08 2009-07-23 Systec:Kk 人の倒れ又は横臥状態検出装置
CN108986404A (zh) * 2018-07-10 2018-12-11 深圳市赛亿科技开发有限公司 热水器及其人体跌倒监控方法、电子设备、存储介质
CN109147277A (zh) * 2018-09-30 2019-01-04 桂林海威科技股份有限公司 一种老人看护***及方法
CN112071022A (zh) * 2019-05-25 2020-12-11 昆明医科大学 一种基于视觉传感和语音反馈的跌倒监测方法
CN113660455A (zh) * 2021-07-08 2021-11-16 深圳宇晰科技有限公司 一种基于dvs数据的跌倒检测方法、***、终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163573A (ja) * 2008-01-08 2009-07-23 Systec:Kk 人の倒れ又は横臥状態検出装置
CN108986404A (zh) * 2018-07-10 2018-12-11 深圳市赛亿科技开发有限公司 热水器及其人体跌倒监控方法、电子设备、存储介质
CN109147277A (zh) * 2018-09-30 2019-01-04 桂林海威科技股份有限公司 一种老人看护***及方法
CN112071022A (zh) * 2019-05-25 2020-12-11 昆明医科大学 一种基于视觉传感和语音反馈的跌倒监测方法
CN113660455A (zh) * 2021-07-08 2021-11-16 深圳宇晰科技有限公司 一种基于dvs数据的跌倒检测方法、***、终端

Similar Documents

Publication Publication Date Title
WO2020057355A1 (zh) 一种三维建模的方法及其装置
CN109040709B (zh) 视频监控方法及装置、监控服务器及视频监控***
CN101123722B (zh) 全景视频智能监控方法和***
JP3872014B2 (ja) Ｃｃｔｖベースの住宅向けセキュリティ・モニタリングのために遠隔なステーションに送信する最適なビデオフレームを選択する方法及び装置
CN109376601B (zh) 基于高速球的物体跟踪方法、监控服务器、视频监控***
CN102831750B (zh) 用于人体跌倒检测的智能视频监控***及检测方法
Shoaib et al. View-invariant fall detection for elderly in real home environment
KR20150034023A (ko) 노인 관리용 무선 카메라 장치 및 이를 통한 노인 관리 시스템
JP5771039B2 (ja) 放置人物検出装置
WO2010024281A1 (ja) 監視システム
JP2016178363A (ja) 処理装置、制御装置、ロビーインターホン装置、及びインターホンシステム
KR101075550B1 (ko) 이미지 센싱 에이전트 및 ｕｓｎ 복합형 보안 시스템
JP2022189835A (ja) 撮像装置
KR20150041939A (ko) 실시간 이벤트 감지를 통한 도어 감시시스템 및 그 방법
US20080211908A1 (en) Monitoring Method and Device
KR101615824B1 (ko) 위급상황 cctv 모니터링 시스템
CN108197614A (zh) 一种基于人脸识别技术的考场监控摄像机及***
JP5701657B2 (ja) 異常検知装置
CN108986407B (zh) 一种用于独居老人的安全侦测***及方法
JP5669302B2 (ja) 行動情報収集システム
CN115223331A (zh) 一种跌倒报警方法及装置、设备
JP4792986B2 (ja) 監視システム
JP6754451B2 (ja) 監視システム、監視方法及びプログラム
AU2021103548A4 (en) Smart home surveillance system using iot application with warning of intruder activities
JP2001126173A (ja) ホームセキュリティ情報通知システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 315524 No. 289, Huisheng Road, economic development zone, Fenghua District, Ningbo City, Zhejiang Province

Applicant after: Ningbo Lian Science and Technology Co.,Ltd.

Address before: No. 289, Huisheng Road, Economic Development Zone, Fenghua District, Hangzhou, Zhejiang 315524

Applicant before: Ningbo Lian Science and Technology Co.,Ltd.