CN110895671B - 跌倒检测方法以及使用此方法的电子*** - Google Patents

跌倒检测方法以及使用此方法的电子*** Download PDF

Info

Publication number
CN110895671B
CN110895671B CN201811266256.1A CN201811266256A CN110895671B CN 110895671 B CN110895671 B CN 110895671B CN 201811266256 A CN201811266256 A CN 201811266256A CN 110895671 B CN110895671 B CN 110895671B
Authority
CN
China
Prior art keywords
fall
image
person
human body
optical flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811266256.1A
Other languages
English (en)
Other versions
CN110895671A (zh
Inventor
陈裕彦
赵益生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN110895671A publication Critical patent/CN110895671A/zh
Application granted granted Critical
Publication of CN110895671B publication Critical patent/CN110895671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/08—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种跌倒检测方法与使用此方法的电子***。所述跌倒检测方法包括：取得图像串流，并且对图像串流中的图像的人物进行识别以得到人体特征；基于人体特征计算取得跌倒相关特征；利用光流算法计算人物在图像串流中于多个方向上的运动趋势；将跌倒相关特征以及运动趋势输入跌倒分类器，以使跌倒分类器输出人物是否有跌倒事件的输出结果；以及根据输出结果发出警讯。

Description

跌倒检测方法以及使用此方法的电子***
技术领域
本发明是有关于一种检测方法与使用此方法的电子***，特别是有关于可检测特定场域内的人是否有跌倒事件发生的一种跌倒检测方法以及使用此方法的电子***。
背景技术
跌倒往往会造成老人严重的伤害，常见的伤害包括脑损伤、髋骨、椎骨和骨盆骨折等等。大多数的老人在跌倒之后，身旁没有其他人可以帮忙，所以无法得到立即的帮助，进而造成更严重的伤害甚至是死亡。为了及时检测老人跌倒，并传送紧急信息给家属或医疗人员，跌倒检测***成为近年来医疗照护的重点项目之一。
目前常见的跌倒检测***以穿戴式装置搭配三轴加速度计为主。此类型跌倒检测***的原理是收集三轴加速度计的数值变化，经由数值分析以及定义跌倒加速度的阈值，来判断跌倒事件的发生。然而，这样的***必须要求用户随时穿戴着穿戴式装置，且跌倒检测的准确度会随着穿戴式装置的位置不同而起伏不定。除了准确度的问题之外，***的检测时间也会受到电池电量的限制。因此，目前的跌倒检测***在使用上并不方便。
发明内容
本发明提供一种跌倒检测方法以及使用此方法的电子***，具有高度的便利性，且能够在降低成本的同时维持高准确度。
本发明的跌倒检测方法的一实施例包括以下步骤：取得图像串流，并且对图像串流中的图像的人物进行识别以得到至少一人体特征；基于所述人体特征计算取得至少一个跌倒相关特征；利用光流算法计算人物在图像串流中于多个方向上的至少一个运动趋势；将所述跌倒相关特征以及所述运动趋势输入跌倒分类器，以使跌倒分类器输出人物是否有跌倒事件的输出结果；以及根据输出结果发出警讯。
本发明的电子***的一实施例包括图像捕获装置、处理器以及警示装置。图像捕获装置用以取得图像串流。处理器耦接于图像捕获装置，用以：对图像串流中的图像的人物进行识别以得到至少一个人体特征；基于所述人体特征计算取得至少一个跌倒相关特征；利用光流算法计算人物在图像串流中于多个方向上的至少一个运动趋势；以及将所述跌倒相关特征以及所述运动趋势输入跌倒分类器，以使跌倒分类器输出人物有是否跌倒事件的输出结果。警示装置耦接于处理器，用以根据输出结果发出警讯。
本发明的电子***的一实施例包括图像捕获装置、对象追踪模块、光流判断模块以及跌倒分类器。图像捕获装置用以取得图像串流。对象追踪模块用以对图像串流中的图像的人物进行识别以得到至少一个人体特征，基于所述人体特征计算取得至少一个跌倒相关特征。光流判断模块用以计算人物在图像串流中于多个方向上的至少一个运动趋势。跌倒分类器接收所述跌倒相关特征以及所述运动趋势的输入，并输出人物是否有跌倒事件的输出结果。
基于上述，本发明实施例所提出的跌倒检测方法与电子***，能够利用图像分析的方式来判断图像串流中是否有人物发生跌倒，具有高度的便利性，且能够在降低成本。特别是，本发明实施例利用机器学习的方式，同时将多个跌倒相关特征以及图像串流中光流向量的统计信息作为跌倒分类器的输入，能够提升判断的准确度。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
附图说明
图1图示本发明一实施例的跌倒检测方法的示意图。
图2图示本发明一实施例的电子***的方块图。
图3图示本发明一实施例的跌倒检测方法的流程图。
图4图示本发明一实施例的对象检测的示意图。
图5图示本发明一实施例的对象检测的示意图。
图6图示本发明一实施例的骨架检测的示意图。
图7图示本发明一实施例的光流轨迹的示意图。
图8图示本发明一实施例的多个方向的示意图。
图9图示本发明一实施例的多个方向的运动趋势的示意图。
图10图示本发明一实施例的图像串流中人物跌倒的图像示意图。
具体实施方式
图1图示本发明一实施例的跌倒检测方法的示意图。
请参照图1，在一些实施例中，将至少一个图像捕获装置110装设在室内，由外部主机120来取得图像捕获装置110所拍摄的图像串流并且对其进行分析，以从图像串流中判断此室内是否有人跌倒。据此，跌倒检测便能够不受穿戴式装置的限制，任何在此室内的人发生跌倒都能够被检测到。在一些实施例中，外部主机120可例如为服务器、个人计算机、笔记本电脑、平板计算机、智能型手机或类似的装置，本发明并不在此限。
图2图示本发明一实施例的电子***的方块图。
请参照图2，电子***100包括图像捕获装置110、处理器121以及警示装置123，其中图像捕获装置110以及警示装置123皆电性耦接于处理器121。在本发明一实施例中，电子***100中的图像捕获装置110、处理器121以及警示装置123可以是作为一个整体来实施，例如是实施为笔记本电脑等。在本发明另一实施例中(例如，图1实施例)，电子***100可例如包括图像捕获装置110与外部主机120两个独立的装置，且外部主机120中包括处理器121以及警示装置123。在本发明其它实施例中，电子***100中的图像捕获装置110、处理器121以及警示装置123可例如是分别以三个独立的装置来实施。然而，本发明并不限于此。
图像捕获装置110是用以取得包含多张图像的图像串流。在一些实施例中，图像捕获装置110可例如为红外线摄影机、黑白摄影机或彩色摄影机等装置，本发明并不在此限制。图像捕获装置110可以是2D二维图像摄影机，也可以是能产生深度信息的3D三维摄影机，本发明亦不在此限制。
处理器121用以从图像捕获装置110取得图像串流，通过人物识别模块131识别是否有人物存在，再经由对象追踪模块133与光流判断模块135所各自检测产生的数据送入跌倒分类器137后进行分析以判断是否有人发生跌倒。在一些实施例中，处理器121可例如是双核心、四核心或八核心等各类型的中央处理器(central processing unit，CPU)、***芯片(system-on-chip，SOC)、应用处理器(application processor)、媒体处理器(mediaprocessor)、微处理器(microprocessor)、数字信号处理器(digital signal processor)或其他类似者，本发明不在此限制实施时所使用的处理器类型。此外，本发明前述的人物识别模块131、对象追踪模块133、光流判断模块135以及跌倒分类器137例如是计算机程序代码，可由处理器121加载并执行。在一些实施例中，上述的人物识别模块131、对象追踪模块133、光流判断模块135以及跌倒分类器137可例如是储存在外部主机120的储存装置(未示出)中。在另一些实施例中，上述的人物识别模块131、对象追踪模块133、光流判断模块135以及跌倒分类器137可依实际硬件效能、建置成本与布署设计的需求而选择性的将其一或多个模块设置在外部主机120之外的远程云端装置上，例如将具有机器学习功能的跌倒分类器137设置在远程的云端装置上。
警示装置123用以根据处理器121的指令来发出警讯。在一些实施例中，警示装置123例如是扬声器、显示器、震动器、灯光或其它任何能让人感知的装置。例如其中扬声器能够以声音或声响来发出提示信息提示用户；显示器能够以图形或字样来发出提示信息提示用户；震动器能够以震波或压力的方式来发出提示信息提示用户；灯光能以特定颜色或特定闪烁速率的方式来发出提示信息提示用户。所属领域具备通常知识者当可依其需求来根据本发明实施例进行设计或修改，以实施出能够发出警讯提示用户的警示装置123，本发明并不在此限制警示装置123的具体实施方式，亦不限制是以有线、无线或是网络方式传递警讯给警示装置123提出警示。
图3图示本发明一实施例的跌倒检测方法的流程图。
图3实施例适用于图2实施例中的电子***100，故以下将搭配电子***100对跌倒检测方法进行说明。然而必须理解的是，本发明的跌倒检测方法并不限于使用电子***100来实施。
请参照图3，在步骤S110中，处理器121会通过图像捕获装置110取得图像串流，并且利用人物识别模块131对图像串流中的图像进行对象检测，以检测图像串流中的人物。在步骤S120中，处理器121会根据人物识别模块131的检测结果判断是否在图像中检测到人物。具体来说，人物识别模块131可以采用公知的人物检测算法(例如，R-CNN、Fast R-CNN、Faster R-CNN、Mask R-CNN、YOLO等)来检测图像中的人物。
在本发明的一实施例中，如图4所示，人物识别模块131除了识别出图像IMG中的人物之外，还会依据识别结果定义出一些人体特征，例如人物的矩形边界框BDR。然而，本发明并不限于此。
若处理器121没有在图像中检测到人物，则回到步骤S110以持续监控图像串流中是否有人物。反之，若处理器121在图像中检测到人物，则进入步骤S130、S140。
在步骤S130中，对象追踪模块133会基于人物识别模块131的检测结果计算取得多个跌倒相关特征以供进一步判断是否有跌倒事件发生。详细来说，跌倒相关特征是能够从图像中分析出来的变量，而当人物跌倒时这些变量可能具有特定的性质。换句话说，跌倒相关特征是与跌倒动作相关联的人体特征，能够辅助判断图像中的人物是否跌倒。
在本发明的一实施例中，跌倒相关特征可以从人物识别模块131所得的人体特征来计算取得。如图5所示，跌倒相关特征例如包括人物的边界框BDR的长宽比L/W、主轴AX1与短轴AX2、人体方位角θ、质心CM高度、质心CM速度以及质心CM垂直轴位移量的其中之一或其组合。其中，质心CM可例如取边界框BDR的中心点，而质心CM速度以及质心CM垂直轴位移量例如可以从连续三张图像(例如，图像串流中目前正在处理的当前图像与前两张图像)来计算，本发明并不在此限制。
举例来说，当人物跌倒时，可能会发生长宽比L/W缩小，主轴AX1缩小而短轴放大，人体方位角θ缩小，质心CM高度降低，质心CM速度大于特定速度阈值以及质心CM垂直轴位移量大于位移量阈值等现象，这些跌倒相关特征与跌倒动作相关联，因此能够辅助判断图像中的人物是否跌倒。
在本发明另一实施例中，步骤S130又包括步骤S131至S135。
在步骤S131中，对象追踪模块133会对图像串流中的人物进行骨架检测，以检测多个人体特征位置。具体来说，对象追踪模块133会采用骨架检测算法(例如，OpenPose、DeepPose等)来检测人物的多个人体特征(例如，眼睛、鼻子、耳朵、脖子、肩膀、手肘、手腕、臀部、膝盖以及脚踝的至少其中之一)的位置。
在本发明一实施例中，如图6所示，对象追踪模块133会利用骨架检测算法来找出边界框BDR中的人物的多个人体特征P1、P2、P3…Pi，而这些人体特征例如位于人物的眼睛、鼻子、耳朵、脖子、肩膀、手肘、手腕、臀部、膝盖以及脚踝处等等，本发明并不在此限。
在步骤S133中，对象追踪模块133会利用特征追踪来追踪图像串流中的人物。具体来说，对象追踪模块133会采用特征追踪算法(例如，卡尔曼滤波器等)来追踪已经在图像IMG中检测到的人物。如此一来，即使此人物在图像串流中的后续图像中改变位置，对象追踪模块133也无须重复进行对象检测等运算负担较大的运算。
在步骤S135中，对象追踪模块133会从人体特征计算与取得多个跌倒相关特征。除了前述段落所介绍的可以从人物识别模块131所得的人体特征来计算出跌倒相关特征外，对象追踪模块133也可以替代性地或是进一步地还可以利用骨架检测所找出的人体特征计算出其他的跌倒相关特征，例如判断眼睛、鼻子、耳朵、脖子与肩膀分别与地面的距离等等。亦即当人物跌倒时，眼睛、鼻子、耳朵、脖子与肩膀分别与地面的距离都可能会缩小。因此这些跌倒相关特征与跌倒动作也有相关联，能够辅助判断图像中的人物是否跌倒。
在步骤S140中，光流判断模块135会利用光流算法计算人物在图像串流中于多个方向的多个运动趋势。具体来说，人物的身体包括多个部分，而每一个身体部分可能会朝不同的方向运动。因此，人物在多个方向的多个运动趋势例如是统计人物朝向每个方向运动的身体部分数量。举例来说，当人物的身体有较多部分是朝下方与朝右方运动，则视为人物在下方与右方的运动趋势较大，而在上方与左方的运动趋势较小。举例来说，当人物跌倒时，朝向下方运动的身体部分可能相对较多，因此人物在多个方向的多个运动趋势也能够辅助判断图像中的人物是否跌倒。
在本发明一实施例中，步骤S140又包括步骤S141至S145。
在步骤S141中，光流判断模块135会定义人物的多个光流点。随后，在步骤S143中，光流判断模块135会基于图像串流，在预定时间内计算多个光流点的多个光流向量。举例来说，光流判断模块135例如使用OpenCV的Lucas-Kanade optical flow算法，先在图像中找出光流点(例如，边界点或角点等)，然后根据图像串流在预定时间内的多张图像中的光流点的位置变化差异计算出每个光流点的位移向量，位于图像中不同位置的这些位移向量即代表光流。所属技术领域具备通常知识者当可由相关文献获得足够计算光流信息以及寻找特征点的算法(例如，Canny边缘检测算法、Harris角检测算法等等)，本发明并不在此限。
在本发明一实施例中，光流判断模块135会在图像IMG中的人物身上定义出多个光流点，并且计算2秒内(例如，从图像IMG到图像IMG’的60张图像)所有光流点的位移向量，而2秒内的这些位移向量例如会形成如图7所示的光流轨迹。光流判断模块135例如会计算所有光流点在此两秒内的位移向量和，以作为光流向量。详细来说，光流判断模块135例如会以光流点在图像IMG中的位置作为起点，并且以光流点在2秒后的图像IMG’中的位置作为终点，来计算每一个光流点的光流向量。值得一提的是，本发明并不在此限制预定时间的长度，所属技术领域具备通常知识者当可依其需求来进行设定。
在步骤S145中，光流判断模块135会根据光流点的光流向量来统计朝向各个方向移动的光流点数量，以作为各个方向的运动趋势。具体来说，光流判断模块135会先定义出多个方向，然后根据每个光流点的光流向量来统计朝向各个方向移动的光流点数量，以作为各个方向的运动趋势。
在本发明一实施例中，如图8所示，处理器121会定义出九个方向D0至D8。详细来说，方向D0表示零向量，D1至D8用以定义出8个不同方向范围。举例来说，当某一特定向量的指向落入D1的方向范围时，则将其视为指向方向D1；当某一特定向量的指向落入D2的方向范围时，则将其视为指向方向D2；当某一特定向量的指向落入D3的方向范围时，则将其视为指向方向D3，以此类推。接着，如图9中的运动趋势图所示，光流判断模块135例如会根据方向D0到D8来统计出其所定义的多个光流点在两秒内的移动方向，以作为人物在多个方向的多个运动趋势。举例来说，朝向方向D1移动的光流点数量约为92个，朝向方向D2移动的光流点数量约为85个，朝向方向D5移动的光流点数量约为15个，因此表示人物朝向方向D1的运动趋势大于朝向方向D2与D5的运动趋势，而人物朝向方向D2的运动趋势大于朝向方向D5的运动趋势，以此类推。
在步骤S150中，处理器121会将从对象追踪模块133所取得的跌倒相关特征以及从光流判断模块135判断人物在多个方向的多个运动趋势输入跌倒分类器137，以使其输出人物是否有跌倒事件的输出结果。具体来说，传统单纯只运用二维的图像串流来判断图像中的人物是否跌倒时，仅根据某些特定变量来进行判断可能会发生误判。举例来说，当图像串流中的人物朝向图像捕获装置的方向移动时，朝向下方运动的身体部分会较多，但人物并未跌倒。因此，利用机器学习的方式，将多种与跌倒动作相关联的不同参数输入跌倒分类器，能够得到较准确的输出结果。
在本发明一实施例中，处理器121例如会预先对跌倒分类器137进行训练，例如先建立具有「跌倒」或「未跌倒」事件等跌倒标记的多张训练图像，然后将此些具有跌倒标记的训练图像输入跌倒分类器来对其进行训练，但本发明不限于此。
因此，当处理器121在步骤S150中将从对象追踪模块133取得的跌倒相关特征以及从光流判断模块135判断人物在多个方向的多个运动趋势输入跌倒分类器137后，跌倒分类器137可例如使用最近邻居法(k-nearest neighbors algorithm，KNN)等方式来将所输入的信息分类到「跌倒」与「未跌倒」两个事件类别的其中之一当中，并且将分类结果作为输出结果来进行输出。然而，本发明并不限于此。
举例来说，训练跌倒分类器137例如会输入多个样本向量，其中每个样本向量包括多个跌倒相关特征以及多个运动趋势作为分量，并且对应于一个事件，即「跌倒」事件或「未跌倒」事件。因此，训练后的跌倒分类器137会记录多个样本向量及其分类。当处理器121将对象追踪模块133取得的跌倒相关特征以及从光流判断模块135取得的运动趋势输入训练后的跌倒分类器137，跌倒分类器137会计算输入的跌倒相关特征以及运动趋势对应的特征向量，并且以如下公式计算特征向量与每一个样本向量的夹角，或称为余弦相似性(CosineSimilarity)：
Figure GDA0003840083290000081
其中S表示
Figure GDA0003840083290000082
两个向量的夹角或余弦相似性，Ai表示
Figure GDA0003840083290000083
的多个分量，而Bi表示
Figure GDA0003840083290000084
的多个分量，n为向量的维度。随后，跌倒分类器137会找出K个与特征向量的余弦相似性最高的样本向量，并且判断此K个样本向量中较多是属于哪一个事件，以决定特征向量的分类。例如，当K为51，若51个与特征向量的余弦相似性最高的样本向量中，有40个样本向量属于「跌倒」事件，有11个样本向量属于「未跌倒」事件，则跌倒分类器137会将特征向量分类为「跌倒」事件而输出「跌倒」事件的输出结果。必须一提的是，K的数值可由所属领域具备通常知识者依其需求来进行设定，本发明并不在此限制。
在本发明一实施例中，除了「跌倒」与「未跌倒」的两个事件之外，跌倒分类器137也可以被训练成具有更多的事件。举例来说，跌倒分类器137可以被训练为具有「站立」、「走路」、「跌倒」三个事件，但本发明并不限于此。
下面表一则是示范性地说明输入跌倒分类器137的几个跌倒相关特征与运动趋势图及其对应输出结果的范例。如表1所示，处理器121输入至跌倒分类器137的跌倒相关特征例如包括质心CM的垂直轴运动量F1、肩膀以上人体特征与地面的最小距离F2(例如，眼睛、鼻子、耳朵、脖子与肩膀分别与地面距离中的最小者)、边界框BDR的长宽比F3(L/W)、质心CM的高度F4、人体的方位角F5(θ)，而多个运动趋势例如是如图9所示的运动趋势图D_trend。
表一
Figure GDA0003840083290000091
举例来说，当处理器121输入至跌倒分类器137的质心CM的垂直轴运动量F1为2像素/秒、肩膀以上人体特征与地面的最小距离F2为200像素、边界框BDR的长宽比F3为4.5、质心CM的高度F4为100像素、人体的方位角F5为90°，且输入至跌倒分类器137的多个运动趋势是根据方向D0的运动趋势最高的运动趋势图时，跌倒分类器137会输出「站立」事件或「未跌倒」事件的输出结果。
在步骤S160中，处理器121会根据跌倒分类器137的输出结果判断图像串流中的人物是否有跌倒事件。若是，则进入步骤S170。反之，则回到步骤S110来持续监控图像串流中是否有人物发生跌倒事件。举例来说，当跌倒分类器137的输出结果为「站立」事件、「走路」事件或「未跌倒」事件时，表示图像串流中的人物没有跌倒事件，因此回到步骤S110。另一方面，当跌倒分类器137的输出结果为「跌倒」事件时，表示图像串流中的人物有跌倒事件，因此进入步骤S170。
在步骤S170中，处理器121会根据跌倒分类器137的输出结果来通过警示装置123发出警讯。具体来说，处理器121会在输出结果为「跌倒」事件时，通过警示装置123发出警讯。
在本发明一实施例中，警示装置123例如通过扬声器来发出声音作为警讯。在本发明另一实施例中，警示装置123例如通过显示器来以图形或字样发出警讯。在本发明其它实施例中，警示装置123例如通过震动或灯光来发出警讯。
在本发明一实施例中，如图10所示，处理器121例如会在跌倒分类器137输出「跌倒」事件的输出结果时，除发出上述的警示外，还会将图像串流中的当前图像IMG”通过电子邮件或手机简讯等方式来发送给特定用户(例如，图像串流中的人物的家属或医疗人员等)持有的电子装置，以让该特定使用者可检视实际的跌倒状况，以紧急进行必要的协助或处理。
值得一提的是，在一些实施例中，电子***100可还包括接收装置(未示出)，耦接于处理器121。接收装置例如可用以接收对应输出结果的反馈信号。举例来说，在跌倒分类器137输出输出结果后，使用者例如可以发送反馈信号至接收装置来告知处理器121跌倒分类器的输出结果是否正确。据此，处理器121便能够基于图像串流、输出结果以及用户的反馈信号来再次训练跌倒分类器。如此一来，电子***100对于人物跌倒的判断准确度会随着使用时间而提升。
综上所述，本发明实施例所提出的跌倒检测方法与电子***，能够利用图像分析的方式来判断图像串流中是否有人物发生跌倒，具有高度的便利性，且能够在降低成本。特别是，本发明实施例利用机器学习的方式，同时将多个跌倒相关特征以及图像串流中光流向量的统计信息作为跌倒分类器的输入，能够提升判断的准确度。
虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视后附的权利要求所界定者为准。
【符号说明】
100：电子***
110：图像捕获装置
120：外部主机
121：处理器
123：警示装置
131：人物识别模块
133：对象追踪模块
135：光流判断模块
137：跌倒分类器
AX1：主轴
AX2：短轴
BDR：边界框
CM：质心
D0、D1、D2、D3、D4、D5、D6、D7、D8：方向
IMG、IMG’、IMG”：图像
L：边界框的长
P1、P2、P3、Pi：人体特征
S110～S170：跌倒检测方法的步骤
W：边界框的宽
θ：方位角

Claims (18)

1.一种跌倒检测方法，包括：
取得一图像串流；
对该图像串流中的至少一图像的一人物进行识别以得到至少一人体特征，其中该人体特征包括该人物的一边界框；
基于该至少一人体特征计算取得至少一跌倒相关特征，其中该至少一跌倒相关特征包括该人物的该边界框的长宽比、主轴与短轴、人体方位角、质心高度、质心速度以及质心垂直轴位移量的其中之一或其组合；
利用一光流算法计算该人物在该图像串流中于多个方向上的至少一运动趋势；
将该至少一跌倒相关特征以及该至少一运动趋势输入一跌倒分类器，以使该跌倒分类器输出该人物是否有跌倒事件的一输出结果；以及
根据该输出结果发出一警讯。
2.如权利要求1所述的跌倒检测方法，其中对该图像串流中的该至少一图像的该人物进行识别以得到该至少一人体特征的步骤还包含：
对该图像串流中的该至少一图像识别是否有人物存在；
响应于有人物存在的识别结果，进行该至少一人体特征的识别。
3.如权利要求1所述的跌倒检测方法，还包括：
对该图像串流中的该人物进行一骨架检测以检测该至少一人体特征的位置，其中该至少一人体特征包括眼睛、鼻子、耳朵、脖子、肩膀、手肘、手腕、臀部、膝盖以及脚踝的其中之一或其组合。
4.如权利要求3所述的跌倒检测方法，其中该至少一跌倒相关特征还包括该眼睛、该鼻子、该耳朵、该脖子与该肩膀分别与地面的距离。
5.如权利要求1所述的跌倒检测方法，其中利用该光流算法计算该人物在该图像串流中于所述多个方向上的该至少一运动趋势的步骤包括：
定义该人物的多个光流点；
基于该图像串流，在预定时间内计算所述光流点的多个光流向量；以及
根据所述光流点的所述光流向量统计朝向所述多个方向中的每一个方向移动的光流点数量，以作为所述多个方向中的每一个方向的该至少一运动趋势。
6.如权利要求1所述的跌倒检测方法，还包括：
建立包括跌倒标记的多张训练图像；以及
利用所述训练图像来训练该跌倒分类器。
7.如权利要求6所述的跌倒检测方法，还包括：
接收对应该输出结果的反馈信号；以及
基于该图像串流、该输出结果以及该反馈信号来训练该跌倒分类器。
8.如权利要求1所述的跌倒检测方法，还包括：
利用特征追踪方法来追踪该图像串流中的该人物。
9.如权利要求1所述的跌倒检测方法，其中根据该输出结果发出该警讯的步骤包括：
根据该输出结果发送该警讯至指定电子装置。
10.如权利要求1所述的跌倒检测方法，其中该警讯包括文字信息、图像信息、声音信息、震动信息以及灯光信息的其中之一或其组合。
11.一种电子***，包括：
一图像捕获装置，用以取得一图像串流；
一处理器，耦接于该图像捕获装置，用以：
对该图像串流中的至少一图像的一人物进行识别以得到至少一人体特征，其中该人体特征包括该人物的一边界框；
基于该至少一人体特征计算取得多个跌倒相关特征，其中该跌倒相关特征包括该人物的该边界框的长宽比、主轴与短轴、人体方位角、质心高度、质心速度以及质心垂直轴位移量的其中之一或其组合；
利用一光流算法计算该人物在该图像串流中于多个方向上的至少一运动趋势；以及
将至少一跌倒相关特征以及该至少一运动趋势输入一跌倒分类器，以使该跌倒分类器输出该人物是否有跌倒事件的一输出结果；以及
警示装置，耦接于该处理器，用以根据该输出结果发出一警讯。
12.如权利要求11所述的电子***，其中该处理器还用以：
对该图像串流中的该人物进行一骨架检测以检测该至少一人体特征的位置，其中该至少一人体特征包括眼睛、鼻子、耳朵、脖子、肩膀、手肘、手腕、臀部、膝盖以及脚踝的其中之一或其组合。
13.如权利要求12所述的电子***，其中该至少一跌倒相关特征还包括该眼睛、该鼻子、该耳朵、该脖子与该肩膀分别与地面的距离。
14.如权利要求11所述的电子***，其中该处理器利用该光流算法计算该人物在该图像串流中于所述多个方向上的该至少一运动趋势时，包括：
定义该人物的多个光流点；
基于该图像串流，在预定时间内计算所述光流点的多个光流向量；以及
根据所述光流点的所述光流向量统计朝向所述多个方向中的每一个方向移动的光流点数量，以作为所述多个方向中的每一个方向的该至少一运动趋势。
15.如权利要求11所述的电子***，其中该警示装置根据该输出结果发出该警讯时，包括：
根据该输出结果发送该警讯至指定电子装置。
16.如权利要求15所述的电子***，其中该警讯包括文字信息、图像信息、声音信息、震动信息以及灯光信息的其中之一或其组合。
17.一种电子***，包括：
一图像捕获装置，用以取得一图像串流；
一对象追踪模块，用以对该图像串流中的至少一图像的一人物进行识别以得到至少一人体特征，基于该至少一人体特征计算取得至少一跌倒相关特征，其中该人体特征包括该人物的一边界框，其中该至少一跌倒相关特征包括该人物的该边界框的长宽比、主轴与短轴、人体方位角、质心高度、质心速度以及质心垂直轴位移量的其中之一或其组合；
一光流判断模块，用以计算该人物在该图像串流中于多个方向上的至少一运动趋势；以及
一跌倒分类器，接收该至少一跌倒相关特征以及该至少一运动趋势的输入，并输出该人物是否有跌倒事件的一输出结果。
18.如权利要求17所述的电子***，还包括：
一人物识别模块，用以对该图像串流中的该至少一图像识别是否有人物存在，并响应于有人物存在的识别结果，进行该至少一人体特征的识别。
CN201811266256.1A 2018-09-13 2018-10-29 跌倒检测方法以及使用此方法的电子*** Active CN110895671B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107132301A TWI662514B (zh) 2018-09-13 2018-09-13 跌倒偵測方法以及使用此方法的電子系統
TW107132301 2018-09-13

Publications (2)

Publication Number Publication Date
CN110895671A CN110895671A (zh) 2020-03-20
CN110895671B true CN110895671B (zh) 2022-11-08

Family

ID=67764481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811266256.1A Active CN110895671B (zh) 2018-09-13 2018-10-29 跌倒检测方法以及使用此方法的电子***

Country Status (3)

Country Link
US (1) US10783765B2 (zh)
CN (1) CN110895671B (zh)
TW (1) TWI662514B (zh)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US11019161B2 (en) 2005-10-26 2021-05-25 Cortica, Ltd. System and method for profiling users interest based on multimedia content analysis
US11032017B2 (en) 2005-10-26 2021-06-08 Cortica, Ltd. System and method for identifying the context of multimedia content elements
US9646005B2 (en) 2005-10-26 2017-05-09 Cortica, Ltd. System and method for creating a database of multimedia content elements assigned to users
US20160321253A1 (en) 2005-10-26 2016-11-03 Cortica, Ltd. System and method for providing recommendations based on user profiles
US11620327B2 (en) 2005-10-26 2023-04-04 Cortica Ltd System and method for determining a contextual insight and generating an interface with recommendations based thereon
US10949773B2 (en) 2005-10-26 2021-03-16 Cortica, Ltd. System and methods thereof for recommending tags for multimedia content elements based on context
US11216498B2 (en) 2005-10-26 2022-01-04 Cortica, Ltd. System and method for generating signatures to three-dimensional multimedia data elements
US11604847B2 (en) 2005-10-26 2023-03-14 Cortica Ltd. System and method for overlaying content on a multimedia content element based on user interest
US11386139B2 (en) 2005-10-26 2022-07-12 Cortica Ltd. System and method for generating analytics for entities depicted in multimedia content
US11361014B2 (en) 2005-10-26 2022-06-14 Cortica Ltd. System and method for completing a user profile
US20140156901A1 (en) 2005-10-26 2014-06-05 Cortica Ltd. Computing device, a system and a method for parallel processing of data streams
US10848590B2 (en) 2005-10-26 2020-11-24 Cortica Ltd System and method for determining a contextual insight and providing recommendations based thereon
US20160085733A1 (en) 2005-10-26 2016-03-24 Cortica, Ltd. System and method thereof for dynamically associating a link to an information resource with a multimedia content displayed in a web-page
US11403336B2 (en) 2005-10-26 2022-08-02 Cortica Ltd. System and method for removing contextually identical multimedia content elements
US10742340B2 (en) 2005-10-26 2020-08-11 Cortica Ltd. System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
US11537636B2 (en) 2007-08-21 2022-12-27 Cortica, Ltd. System and method for using multimedia content as search queries
US11195043B2 (en) 2015-12-15 2021-12-07 Cortica, Ltd. System and method for determining common patterns in multimedia content elements based on key points
US11037015B2 (en) 2015-12-15 2021-06-15 Cortica Ltd. Identification of key points in multimedia data elements
WO2019008581A1 (en) 2017-07-05 2019-01-10 Cortica Ltd. DETERMINATION OF DRIVING POLICIES
US11899707B2 (en) 2017-07-09 2024-02-13 Cortica Ltd. Driving policies determination
US11284041B1 (en) * 2017-12-13 2022-03-22 Amazon Technologies, Inc. Associating items with actors based on digital imagery
US11468698B1 (en) 2018-06-28 2022-10-11 Amazon Technologies, Inc. Associating events with actors using digital imagery and machine learning
US11482045B1 (en) 2018-06-28 2022-10-25 Amazon Technologies, Inc. Associating events with actors using digital imagery and machine learning
US11468681B1 (en) 2018-06-28 2022-10-11 Amazon Technologies, Inc. Associating events with actors using digital imagery and machine learning
US10846544B2 (en) 2018-07-16 2020-11-24 Cartica Ai Ltd. Transportation prediction system and method
US11613261B2 (en) 2018-09-05 2023-03-28 Autobrains Technologies Ltd Generating a database and alerting about improperly driven vehicles
US10839694B2 (en) 2018-10-18 2020-11-17 Cartica Ai Ltd Blind spot alert
US20200133308A1 (en) * 2018-10-18 2020-04-30 Cartica Ai Ltd Vehicle to vehicle (v2v) communication less truck platooning
US10748038B1 (en) 2019-03-31 2020-08-18 Cortica Ltd. Efficient calculation of a robust signature of a media unit
US11904863B2 (en) 2018-10-26 2024-02-20 AutoBrains Technologies Ltd. Passing a curve
US11392738B2 (en) 2018-10-26 2022-07-19 Autobrains Technologies Ltd Generating a simulation scenario
US11700356B2 (en) 2018-10-26 2023-07-11 AutoBrains Technologies Ltd. Control transfer of a vehicle
US10789535B2 (en) 2018-11-26 2020-09-29 Cartica Ai Ltd Detection of road elements
US11170647B2 (en) 2019-02-07 2021-11-09 Cartica Ai Ltd. Detection of vacant parking spaces
US11643005B2 (en) 2019-02-27 2023-05-09 Autobrains Technologies Ltd Adjusting adjustable headlights of a vehicle
US11285963B2 (en) 2019-03-10 2022-03-29 Cartica Ai Ltd. Driver-based prediction of dangerous events
US11694088B2 (en) 2019-03-13 2023-07-04 Cortica Ltd. Method for object detection using knowledge distillation
US11132548B2 (en) 2019-03-20 2021-09-28 Cortica Ltd. Determining object information that does not explicitly appear in a media unit signature
US10776669B1 (en) 2019-03-31 2020-09-15 Cortica Ltd. Signature generation and object detection that refer to rare scenes
US11908242B2 (en) 2019-03-31 2024-02-20 Cortica Ltd. Efficient calculation of a robust signature of a media unit
US11222069B2 (en) 2019-03-31 2022-01-11 Cortica Ltd. Low-power calculation of a signature of a media unit
US11704292B2 (en) 2019-09-26 2023-07-18 Cortica Ltd. System and method for enriching a concept database
WO2021118570A1 (en) * 2019-12-12 2021-06-17 Google Llc Radar-based monitoring of a fall by a person
US11593662B2 (en) 2019-12-12 2023-02-28 Autobrains Technologies Ltd Unsupervised cluster generation
US11590988B2 (en) 2020-03-19 2023-02-28 Autobrains Technologies Ltd Predictive turning assistant
US11827215B2 (en) 2020-03-31 2023-11-28 AutoBrains Technologies Ltd. Method for training a driving related object detector
US11443516B1 (en) 2020-04-06 2022-09-13 Amazon Technologies, Inc. Locally and globally locating actors by digital cameras and machine learning
US11398094B1 (en) 2020-04-06 2022-07-26 Amazon Technologies, Inc. Locally and globally locating actors by digital cameras and machine learning
CN111582158A (zh) * 2020-05-07 2020-08-25 济南浪潮高新科技投资发展有限公司 一种基于人体姿态估计的摔倒检测方法
CN111611895B (zh) * 2020-05-15 2023-12-19 北京联合大学 一种基于OpenPose的多视角人体骨架自动标注方法
US11587423B2 (en) * 2020-08-03 2023-02-21 Healthcare Integrated Technologies, Inc. Fall validation with privacy-aware monitoring
CN112001347B (zh) * 2020-08-31 2023-07-21 重庆科技学院 一种基于人体骨架形态与检测目标的动作识别方法
CN112380946B (zh) * 2020-11-09 2022-12-16 苏州爱可尔智能科技有限公司 一种基于端侧ai芯片的跌倒检测方法及装置
CN112488019A (zh) * 2020-12-07 2021-03-12 新疆爱华盈通信息技术有限公司 基于姿态识别的跌倒检测方法、装置、电子设备及存储介质
CN112541424A (zh) * 2020-12-07 2021-03-23 南京工程学院 复杂环境下行人跌倒的实时检测方法
US11688264B2 (en) * 2020-12-09 2023-06-27 MS Technologies System and method for patient movement detection and fall monitoring
TWI766501B (zh) * 2020-12-24 2022-06-01 南臺學校財團法人南臺科技大學 跌倒偵測裝置系統及其偵測跌倒事件的方法
CN112906535B (zh) * 2021-02-09 2022-03-18 哈尔滨理工大学 一种基于神经网络的适用于多尺度多目标的摔倒检测方法
CN113269034A (zh) * 2021-04-12 2021-08-17 南京瀚元科技有限公司 一种基于内容识别的配电站所场景联动***及方法
CN113505735B (zh) * 2021-05-26 2023-05-02 电子科技大学 一种基于分级滤波的人体关键点稳定方法
CN113408390A (zh) * 2021-06-11 2021-09-17 广东工业大学 一种人体行为实时识别方法、***、装置及存储介质
CN113408485A (zh) * 2021-07-14 2021-09-17 深圳思悦创新有限公司 基于fpga和深度学习的老人室内跌倒检测方法及装置
BR112022016306A2 (pt) * 2021-08-11 2024-02-27 Shenzhen Shokz Co Ltd Sistemas e métodos para controle de terminal
CN114587937A (zh) * 2022-03-22 2022-06-07 张家港市中医医院 一种骨质疏松患者康复装置及其工作方法
CN114842397B (zh) * 2022-05-19 2023-04-07 华南农业大学 一种基于异常检测的实时老人跌倒检测方法
TWI820784B (zh) * 2022-07-04 2023-11-01 百一電子股份有限公司 一種具安全照護及高隱私處理的跌倒及姿態辨識方法
CN115273243B (zh) * 2022-09-27 2023-03-28 深圳比特微电子科技有限公司 跌倒检测方法、装置、电子设备和计算机可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006228025A (ja) * 2005-02-18 2006-08-31 Nippon Telegr & Teleph Corp <Ntt> 転倒転落検知装置、転倒転落検知システム、及びプログラム
CN104637242A (zh) * 2013-11-12 2015-05-20 广州华久信息科技有限公司 一种基于多分类器集成的老人跌倒检测方法及***
CN104794463A (zh) * 2015-05-11 2015-07-22 华东理工大学 基于Kinect实现室内人体跌倒检测的***及方法
CN105279483A (zh) * 2015-09-28 2016-01-27 华中科技大学 一种基于深度图像的跌倒行为实时检测方法
CN105930786A (zh) * 2016-04-18 2016-09-07 西北工业大学 一种银行自助厅异常行为检测方法
CN106725495A (zh) * 2017-01-13 2017-05-31 深圳先进技术研究院 一种跌倒检测方法、装置及***
CN107506706A (zh) * 2017-08-14 2017-12-22 南京邮电大学 一种基于三维摄像头的人体跌倒检测方法
CN107657244A (zh) * 2017-10-13 2018-02-02 河海大学 一种基于多摄像机的人体跌倒行为检测***及其检测方法
CN107729876A (zh) * 2017-11-09 2018-02-23 重庆医科大学 基于计算机视觉的老人室内跌倒检测方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711217B2 (en) * 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
TWI275045B (en) * 2005-09-29 2007-03-01 Univ Nat Cheng Kung Method for detecting event of falling
TWI335181B (en) 2006-12-13 2010-12-21 Univ Chung Yuan Christian Human behavior event detection system, method and device
TWI355615B (en) * 2007-05-11 2012-01-01 Ind Tech Res Inst Moving object detection apparatus and method by us
TWI391881B (zh) 2008-12-26 2013-04-01 Univ Chang Gung Dodge image processing capacity of the fall detection and care system
TW201145183A (en) * 2010-06-01 2011-12-16 Nat Univ Tsing Hua Instant inspection method for abnormal operation event
TWI474291B (zh) 2012-01-10 2015-02-21 Yi Hsing Chiu 體感偵測跌倒方法
CN102722721A (zh) 2012-05-25 2012-10-10 山东大学 一种基于机器视觉的人体跌倒检测方法
FR3001074B1 (fr) 2013-01-17 2015-01-30 Cash Systems Security Procede et dispositif de detection de chute par analyse d'images
TWI493510B (zh) 2013-02-06 2015-07-21 由田新技股份有限公司 跌倒偵測方法
CN103996051A (zh) 2014-05-12 2014-08-20 上海大学 基于运动特征变化的视频运动对象异常行为自动检测方法
CN105719429A (zh) 2014-07-29 2016-06-29 吴诗蕊 一种基于Kinect的跌倒检测及报警***及其操作方法
CA2934102A1 (en) * 2015-06-25 2016-12-25 Appropolis Inc. A system and a method for tracking mobile objects using cameras and tag devices
TWI541769B (zh) 2015-06-30 2016-07-11 國立高雄應用科技大學 跌倒偵測系統及方法
CN105868711B (zh) 2016-03-28 2020-04-17 电子科技大学 一种基于稀疏低秩的人体行为识别方法
CN106203274B (zh) * 2016-06-29 2020-03-31 长沙慧联智能科技有限公司 一种视频监控中行人实时检测***及方法
TWI585716B (zh) 2016-08-10 2017-06-01 亞洲大學 跌倒偵測裝置及其方法
TWM537281U (zh) * 2016-10-18 2017-02-21 Hungkuang Univ 跌倒偵測系統
CN106571014A (zh) 2016-10-24 2017-04-19 上海伟赛智能科技有限公司 一种在视频中识别异常动作的方法和***
CN106909887A (zh) 2017-01-19 2017-06-30 南京邮电大学盐城大数据研究院有限公司 一种基于cnn和svm的动作识别方法
CN107220604A (zh) 2017-05-18 2017-09-29 清华大学深圳研究生院 一种基于视频的跌倒检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006228025A (ja) * 2005-02-18 2006-08-31 Nippon Telegr & Teleph Corp <Ntt> 転倒転落検知装置、転倒転落検知システム、及びプログラム
CN104637242A (zh) * 2013-11-12 2015-05-20 广州华久信息科技有限公司 一种基于多分类器集成的老人跌倒检测方法及***
CN104794463A (zh) * 2015-05-11 2015-07-22 华东理工大学 基于Kinect实现室内人体跌倒检测的***及方法
CN105279483A (zh) * 2015-09-28 2016-01-27 华中科技大学 一种基于深度图像的跌倒行为实时检测方法
CN105930786A (zh) * 2016-04-18 2016-09-07 西北工业大学 一种银行自助厅异常行为检测方法
CN106725495A (zh) * 2017-01-13 2017-05-31 深圳先进技术研究院 一种跌倒检测方法、装置及***
CN107506706A (zh) * 2017-08-14 2017-12-22 南京邮电大学 一种基于三维摄像头的人体跌倒检测方法
CN107657244A (zh) * 2017-10-13 2018-02-02 河海大学 一种基于多摄像机的人体跌倒行为检测***及其检测方法
CN107729876A (zh) * 2017-11-09 2018-02-23 重庆医科大学 基于计算机视觉的老人室内跌倒检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Video Analytic for Fall Detection from Shape Features and Motion Gradients;Muhammad Jamil Khan et al.;《Proceeding of the World Congress on Engineering and Computer Science》;20091231;第（2009）02卷;1311-1316 *
基于轨迹词包模型的老人跌倒检测;闻帆 等;《自动化技术与应用》;20150225;第34卷(第02期);60-66 *
视频监控中行人异常行为分析研究;高翔;《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》;20180815(第（2018）08期);I136-343 *

Also Published As

Publication number Publication date
US10783765B2 (en) 2020-09-22
CN110895671A (zh) 2020-03-20
US20200090484A1 (en) 2020-03-19
TW202011351A (zh) 2020-03-16
TWI662514B (zh) 2019-06-11

Similar Documents

Publication Publication Date Title
CN110895671B (zh) 跌倒检测方法以及使用此方法的电子***
Chen et al. Improving human action recognition using fusion of depth camera and inertial sensors
Harville et al. Fast, integrated person tracking and activity recognition with plan-view templates from a single stereo camera
KR101839827B1 (ko) 원거리 동적 객체에 대한 얼굴 특징정보(연령, 성별, 착용된 도구, 얼굴안면식별)의 인식 기법이 적용된 지능형 감시시스템
Nam et al. Physical activity recognition using multiple sensors embedded in a wearable device
Sáez et al. Aerial obstacle detection with 3-D mobile devices
Jansi et al. Detection of fall for the elderly in an indoor environment using a tri-axial accelerometer and Kinect depth data
Singh et al. Human fall detection using machine learning methods: A survey
CN111144174A (zh) 利用神经网络与传统算法识别视频中老人跌倒行为的***
Liu et al. Automatic fall risk detection based on imbalanced data
CN111507361B (zh) 基于微波雷达的动作识别装置、方法及***
KR101542206B1 (ko) 코아스-파인 기법을 이용한 객체 추출과 추적 장치 및 방법
WO2021250808A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7501622B2 (ja) 画像選択装置、画像選択方法、およびプログラム
US11166649B2 (en) Feigned injury detection systems and methods
US11527090B2 (en) Information processing apparatus, control method, and non-transitory storage medium
Sudha et al. An efficient spatio-temporal gait representation for gender classification
JP6543546B2 (ja) 特定動作検出装置及び特定動作検出方法
Zhao et al. Fall detection algorithm based on human posture recognition
JP7302741B2 (ja) 画像選択装置、画像選択方法、およびプログラム
US20240242378A1 (en) In-cabin monitoring method and related pose pattern categorization method
WO2023058155A1 (ja) 運転手監視装置、運転手監視方法及びプログラム
WO2022249278A1 (ja) 画像処理装置、画像処理方法、およびプログラム
US20220138458A1 (en) Estimation device, estimation system, estimation method and program
WO2021250809A1 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant