CN101632107A - 普适感测 - Google Patents

普适感测 Download PDF

Info

Publication number
CN101632107A
CN101632107A CN200780046533A CN200780046533A CN101632107A CN 101632107 A CN101632107 A CN 101632107A CN 200780046533 A CN200780046533 A CN 200780046533A CN 200780046533 A CN200780046533 A CN 200780046533A CN 101632107 A CN101632107 A CN 101632107A
Authority
CN
China
Prior art keywords
subject
signal
sensor
zone
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200780046533A
Other languages
English (en)
Inventor
杨广中
卢秉礼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ip2ipo Innovations Ltd
Original Assignee
Imperial Innovations Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Imperial Innovations Ltd filed Critical Imperial Innovations Ltd
Publication of CN101632107A publication Critical patent/CN101632107A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0492—Sensor dual technology, i.e. two or more technologies collaborate to extract unsafe condition, e.g. video tracking and RFID tracking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/0423—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting deviation from an expected pattern of behaviour or schedule
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0446—Sensor means for detecting worn on the body to detect changes of posture, e.g. a fall, inclination, acceleration, gait
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0453—Sensor means for detecting worn on the body to detect health condition by physiological monitoring, e.g. electrocardiogram, temperature, breathing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychology (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Alarm Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Accommodation For Nursing Or Treatment Tables (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

一种例如在家庭护理环境中电子监控受验对象以根据时间确定受验对象在环境的区域中的出现的方法，包括融合来自图像传感器和可佩戴传感器的数据。也提供了用于显示在区域中的出现的网格显示。

Description

普适感测
本发明涉及用于例如在家庭护理环境中普适感测(pervasivesensing)、或更一般地在例如医院、护理院、建筑物、火车或地下月台、操场或危险环境的环境中跟踪人或受验对象的***和方法。
由半导体工业引起的小型化和成本降低使产生集成的感测和无线通信设备成为可能，这些设备足够小和廉价而普遍存在。在尺寸上不大于几毫米、具有机载(onboard)处理和无线数据传输能力的集成微传感器是已现有的这样的网络的基本部件。迄今，已为无线传感器网络的使用而提出一系列应用，且它们可能改变我们日常生活的很多方面。这样的应用的一个例子是在为家庭护理环境使用传感器网络方面。对于老年人，居家的卫生保健鼓励保持身体健康、社会活动和认知参与，以在其自己家里独立地活动。它也可为护理专业人员提供其管理如何的更准确的衡量，允许有限的护理人员资源更好地指派给需要护理的那些人。对个人的可能好处是，他们可通过留在其自己家里更长时间而享受提高的生活质量，如果那是他们的首选。
然而，传感器网络在家庭环境中的部署需要谨慎地考虑用户顺应性和隐私问题。传感器节点需要足够小以谨慎地放置在适当的位置，且它们需要容易安装并在延续较长的时间段内有很少或没有外部干扰地操作。为了此目的，当前的方法集中于在门、家具、床和椅子上的接触传感器、接近传感器和压力传感器的使用，以检测居住者(occupant)的活动。已提出了设计成感测设备使用、水流和电力使用的其它传感器。参见例如[Barnes，N.M.；Edwards，N.H.；Rose，D.A.D.；Garner，P.，″Lifestylemonitoring-technology for supported independence，″Computing&ControlEngineering Journal，vol.9，no.4，pp.169-174，Aug 1998]，其因此在这里通过引用被并入。所述设备提供了可用于建立居住者的健康状态的整体轮廓的基本信息，但是是在间接意义上。然而使用这些环境传感器，可推断非常有限的信息，且非常大量的感测信息常常使其解释变复杂。
使用简单传感器的环境感测的主要限制是，很难推断活动的详细变化和与疾病的进展有关的那些生理变化。事实上，即使对于简单活动例如离家和回家的检测，所涉及的分析步骤也可能是复杂的，即便通过某些限制的明确使用。众所周知，有慢性病的老年人或患者的行为中的甚至是微妙变化也可提供疾病的发作或进展的起警告作用的征兆。例如，研究表明，步态的变化可能与神经异常的早期征兆相关，这些神经异常与一些类型的非阿兹海默氏型老年痴呆有联系[Verghese J，Lipton R.B.，Hall C.B.，Kuslansky G，Katz M.J.，Buschke H.Abnormality of gait as a predictor ofnon-Alzheimer′s dementia.N Engl J Med，vol.347，pp 1761-8，2002]。不稳定的步态可能是促成跌倒的主要因素，且其中一些可能是致命的。对于患者，后果可能包括骨折、焦虑和抑郁、信心的丧失，所有这些都可导致较大的失能。
在下面称为Pansiot等人文献的且因此在这里通过引用被并入的[Pansiot J.，Stoyanov D.，Lo B.P.和Yang G.Z.，″Towards Image-BasedModeling for Ambient Sensing″，在IEEE Proceedings of the InternationalWorkshop on Wearable and Implantable Body Sensor Networks 2006中，pp.195-198，2006年4月]中描述了视频传感器，特别是下面称为blob传感器类型的传感器，其可用于根据使用抽象化图像blob来得到个人度量数据(personal metrics)，并执行行为剖析来为家庭护理环境形成传感器网络。简而言之，blob传感器将捕获的图像立即变成在设备水平封装受验对象的形状轮廓和运动矢量的blob。blob可仅为适合于图像轮廓的椭圆形(见[Jeffrey Wang，Benny Lo和Guang Zhong Yang，″UbiquitousSensing for Posture/Behavior Analysis″，IEE Proceedings of the 2ndInternational Workshop on Body Sensor Networks(BSN 2005)，pp.112-115，2005年4月]，其在下面称为Wang等人文献并因此在这里通过引用被并入)，或可使用更复杂的形状。没有视觉图像在处理的任何阶段被储存或传输。而且，不可能将此抽象化信息重建成图像，从而确保了隐私。
研制了可佩戴传感器，特别是用在家庭护理环境中的传感器，其可用于关于佩戴者活动或姿势的推断，并在[Farringdon J.，Moore AJ.，TilburyN.，Church J.，Biemond P.D.，Wearable Sensor Badge and Sensor Jacket forContext Awareness，″在IEEE Proceedings of the Third InternationalSymposium on Wearable Computers中，pp.107-113，1999年]、[SurapaThiemjarus，Benny Lo和Guang-Zhong Yang，″A Spatio-TemporalArchitecture for Context-Aware Sensing″，在IEEE Proceedings of theInternational Workshop on Wearable and Implantable Body Sensor Networks2006中，pp.191-194，2006年4月](在下面称为Thiemjarus等人文献)和共同未决的专利申请GB0602127.3中被描述，所有这些因此在这里通过引用被并入。
在独立权利要求中陈述了本发明。进一步地，在从属权利要求中描述了本发明的实施方式的可选方面。
有利地，通过合并图像和可佩戴传感器的信号，佩戴可佩戴传感器的受验对象可被关联到由图像传感器检测的候选受验对象。因此，当受验对象在环境中移动时，其可被跟踪，且受验对象在环境的给定区域中的出现可方便地显示在区域-时间网格中。使用时间序列分析工具可分析相应的状态矢量表示。
现在仅作为例子并参考附图描述本发明的实施方式，其中：
图1描绘普适感测环境的示意图；
图2描绘表示活动矩阵的图形显示，该活动矩阵指示在感测环境中的活动；
图3描绘由blob传感器感测的3个示例性图像；
图4a和b描绘从两个blob传感器得到的活动信号；
图5描绘从与图4a的活动信号相关的可佩戴传感器中得到的加速度信号；
图6描绘传感器融合(fusion)的示意性表示；
图7描绘活动指数(index)；以及
图8a-c描绘示例性活动矩阵。
在下列详细描述中，阐述了很多具体的细节以提供要求权利的主题的彻底理解。然而，本领域技术人员应理解，可在没有这些具体细节的情况下实践要求权利的主题。在其它实例中，未详细描述公知的方法、程序、部件和/或电路。
关于对储存在计算***内例如在计算机和/或计算***存储器内的数据比特和/或二进制数字信号的运算的算法和/或符号表示，介绍了接下来的详细描述的一些部分。这些算法描述和/或表示是数据处理领域中普通技术人员使用的技术，用于将其工作的实质传达给本领域中其他技术人员。算法在这里一般被认为是导致期望结果的有条理的一系列运算和/或类似处理。这些运算和/或处理可包括物理量的物理操作。一般，虽然不是必要的，这些量可采取能够被储存、传输、合并、比较和/或其它操作的电和/或磁信号的形式。主要为了常见用法，有时将这些信号称为比特、数据、值、元素、符号、字符、术语、数量、数字和/或类似物已证明是方便的。然而应理解，所有这些和类似的术语都与适当的物理量相关，且仅仅是方便的标记。除非另外特别指出，如从下面的讨论中明显的，应认识到，在整个说明书讨论中，利用术语如“处理”、“用计算机计算”、“计算”、“确定”和/或类似术语是指计算平台例如计算机或类似的电子计算设备的作用和/或过程，这些作用或过程在计算平台的处理器、存储器、寄存器和/或其它信息存储、传输和/或显示设备内操作和/或转换被表示为电和/或磁物理量和/或其它物理量的数据。
总之，下面描述的实施方式提供了集成的可佩戴的和基于视频的普适感测环境的传感器，用于例如跟踪例如在图像序列中的人类blob，其可被分析以提供待监控的特定信息。该信息称为个人度量数据。
例如在家庭护理感测环境中，个人度量数据可在传感器之间传输，所以可使用多个传感器节点的内在资源以分布式方式执行行为剖析，或该度量数据可传输到中央处理设施(或两者的组合)。所传输的信息可用于在各人日常活动期间测量来自各人的个人度量数据变量，并尽可能早地观察例如生理参数步态、活动和姿势的偏差，以利于在紧急情况下的及时治疗或自动报警。如在下面更详细地描述的，通过融合来自可佩戴在体上的传感器和环境视频blob传感器的信息，可得到个人活动度量数据，其可提供关于受验对象的日常活动和健康状态的简明信息。使用该度量数据可识别活动或健康状态的变化。
参考图1，其示意性描绘了普适地感测环境的合并的blob可佩戴传感器的***，体上或可佩戴传感器2由房间或区域6内(例如在家里)的受验对象4佩戴在例如耳后。传感器2可与家庭网关10无线通信。使用任何适当的协议例如AigBee、WiFi、WiMAX、UWB、3G或4G可建立无线通信。一个或多个blob传感器12位于房间6内，以便对房间的区域成像。blob传感器12也可与网关10无线通信。也可设想进一步使用诸如接触或压力传感器的环境传感器。
所捕获的数据通过网关10和通信网络14传输到提供中央服务器16的护理中心24或中央处理设施。中心24还提供容纳数据库18的存储器和为护理专业人员22提供用户界面的工作站20。护理中心24的组成部分例如通过LAN26互连。例如使用无线设备可在房间6内设置另外的用户界面8。
除了或代替处理和中央处理设施，数据可使用可佩戴传感器和blob传感器12之间的无线连接由传感器本身以分布方式处理，以散布数据处理。blob传感器可使用无线通信来链接到可佩戴传感器，并可使用传感器节点和网关站点之间的有线或无线链接。同样，一些处理可通过另外的用户界面8执行。
家庭网关10可实现为将所感测的数据按规定路由发送到护理中心的家庭宽带路由器。除了按规定路由发送数据以外，数据加密和安全强制可在家庭网关10内实现，以保护用户的隐私。为了提供必要的数据处理，家庭网关10可与另外的用户界面8集成。家庭网关可使用任何现有的连接技术，包括标准电话线或无线3G、GPRS等。
当从家庭网关接收到感测信息时，中央服务器16可将数据储存到数据库18，并且还可执行长期趋势分析。通过从所感测的数据得到模式和趋势，中央服务器可预测受验对象的状态，以便减小可能威胁生命的异常的风险。为了实现趋势分析，数据库18可用于存储来自一个或多个受验对象的所有感测的数据，以便照顾者22可使用工作站20执行对受验对象的数据的查询。工作站20可包括便携式手持设备(例如移动电话或电子邮件客户端)、个人计算机或任何其它形式的用户界面，以允许照顾者分析受验对象。也可检索并重放受验对象的实时传感器信息以及历史数据，以帮助诊断和/或监控。
无线的、可佩戴在体上的传感器2可用于监控受验对象4的活动和生理参数。例如，可佩戴传感器2可包括由受验对象佩戴的耳件(earpiece)，其包括用于感测3个加速方向的装置，例如三轴加速计。
根据受验对象的身体状态，可使用不同的传感器来监控受验对象的不同参数。例如，基于MEMS的加速计和/或陀螺仪可用于测量受验对象的活动和姿势。ECG传感器可用于监控心节律干扰和生理应激。受验对象可佩戴多于一个的可佩戴传感器。所有的体上传感器2都具有与一个或多个blob(或其它可佩戴)传感器、另外的用户界面和家庭网关的无线通信链接。
在一个特定的实现中，可佩戴传感器包括容纳下列项的耳件：具有60KB+256B闪存、2KB RAM、12比特ADC和6个模拟信道(连接多达6个传感器)的得克萨斯州仪器(TI)MSP430 16位超低功率RISC处理器。加速传感器是3-D加速计(Analog Devices，Inc：ADXL 102JE双轴)。无线模块具有范围超过50m的256kbp的吞吐量。此外，合并512KB串联式闪存，用于数据存储或缓冲。耳件运行U.C.Berkeley的TinyOS，TinyOS是小的开源和能量有效的传感器板操作***。它提供了一组模块化软件建立块，其中设计员可选择他们需要的部件。这些文件的尺寸一般小至200字节，因而总尺寸保持到最小值。操作***管理硬件和无线网络，进行传感器测量，制定路由决策并控制功率消耗。
可佩戴传感器可用于传感器上的数据处理或筛选，例如在因此在这里通过引用被并入的共同未决的申请PCT/GB2006/000948中描述的，其描述了根据来自可佩戴传感器的加速数据对行为的分类，这可使用传感器的硬件以嵌入式方式完成。
在上面和Pansiot等人文献中描述了blob传感器12的一个实施方式，但只是简要的，它是只捕获房间内存在的受验对象的剪影(silhouette)或轮廓的图像传感器。这样的传感器可用于检测房间居住情况以及例如整体运动、姿势和步态的基本活动指数，如在[Ng，J.W.P.；Lo，B.P.L.；Wells，O.；Sloman，M.；Toumazou，C；Peters，N.；Darzi，A.；以及Yang，G.Z.″Ubiquitous monitoring environment for wearable and implantable sensors″(UbiMon).在Sixth International Conference on Ubiquitous Computing(Ubicomp).2004中]中描述的，其因此在这里通过引用被并入。
由传感器检测的blob的形状(或轮廓)取决于受验对象和传感器的相对位置。通过融合在不同的已知位置的相应的传感器所捕获的一组blob，可产生不受视角影响的模型，其可用于产生更详细的活动特征。为了容易校准和配置传感器，多维标度算法可用于自我校准这些传感器的相对位置。这些技术在Pansiot等人文献以及也在[Doros Agathangelou，BennyP.L.Lo和Guang Zhong Yang，″Self-Configuring Video-Sensor Networks″，Adjunct Proceedings of the 3rd International Conference on PervasiveComputing(PERVASIVE 2005)，pp.29-32，2005年5月]中被描述，因此其在这里通过引用被并入。
图像轮廓或blob可如何从视频信号得到的进一步的细节可在[JeffreyWang，Benny Lo和Guang Zhong Yang，″Ubiquitous Sensing forPosture/Behavior Analysis″，IEE Proceedings of the 2nd InternationalWorkshop on Body Sensor Networks(BSN 2005)，pp.112-115，2005年4月]中找到，因此其在这里通过引用被并入。在使用多于一个的图像传感器的情况下，来自多个传感器的信号的合并在[Q.Caiand J.K.Aggarwal，″Tracking Human Motion Using Multiple Cameras″，Proc.13thIntl.Conf.onPattern Recognition，68-72，1996]和[Khan，S.；Javed，O.；Rasheed，Z.；Shah，M.，″*Human tracking in multiple cameras″，Proceedings of the Eighth IEEEInternational Conference on Computer Vision 2001(ICCV2001)，VoI，1，pp.331-336，2001年7月]中被描述，因此其在这里通过引用被并入。
通过在每个区域或房间中使用三个或多个blob传感器，可估计在该区域或房间中的受验对象的三维位置。对于该功能，需要校准传感器网络，使得内部传感器特征和设备之间的相对空间布置是已知的[RichardHartley和Andrew Zisserman，Multiple View Geometry in Computer Vision，Cambridge University Press，2004]，因此其在这里通过引用被并入。
接着使用在每个传感器计算的blob信息，可能找到在3D空间中最可能被受验对象占据的位置。在使用单个视线时，该过程需要多视角三角测量，或者，在利用完整的blob轮廓时，该过程需要构造可见外壳[DannyB.Yang，Gonzalez-Banos Gonzalez-Banos，Leonidas J.Guibas，″CountingPeople in Crowds with a Real-Time Network of Simple Image Sensors″，IEEEInternational Conference on Computer Vision(ICCV′03)，vol.1，pp.122-130，2003]，因此其在这里通过引用被并入。也见用于根据多个摄像机计算位置的[Anurag Mittal和Larry Davis，″Unified Multi-Camera Detection andTracking Using Region-Matching″，IEEE Workshop on Multi-Object Tracking，2001]。
为了便于解释信息，活动矩阵可通过合并来自体上传感器的信息和来自blob传感器的信息来得到。不是如在其它家庭护理***(见例如[E.Munguia Tapia，S.S.Intille和K.Larson，″Activity recognition in the homesetting using simple and ubiquitous sensors，″Proc.PERVASIVE 2004，A.Ferscha和F.Mattern，Ed.Berlin，Heidelberg，Germany，vol.LNCS 3001，2004，pp.158-175.])中的显示详细的感测信息，活动矩阵对在受验对象家里的活动提供空间说明。从活动矩阵中，可推断日常活动例程，且它还提供测量受验对象的社交活动的方式。此外，如果需要，详细的感测信息也可使用显示活动矩阵的图形用户界面获得，例如在另外的用户界面8或工作站20上。
参考图2，例如通过链接可佩戴传感器和基于视频的blob传感器，获得的活动矩阵显示被感测的受验对象的行为和交互作用的图形表示，虽然也设想了只基于blob传感器或只基于可佩戴传感器的、使用无线电遥测来估计位置的分析。矩阵的水平轴表示对每个单元具有预定间隔的时间。垂直轴显示由blob传感器覆盖的区域(例如房间)，其为视频或图像感测区。六边形标记显示被监控的受验对象，而其它不同形状或颜色的标记表示来访者或其它居住者。如果检测到比可显示在矩阵的单元中的受验对象更多的受验对象，则可使用不同的标记表示，例如通过被显示的数值来指示受验对象到场的数量。如果使用可佩戴传感器跟踪多于一个的受验对象，则不同的几何符号可用于不同的受验对象。区域可相应于家的房间或可具有较高水平的粒度，例如在房间内的区域，如“扶手椅子”、“搁架”、“门”等。此较高水平的细节可被提供为当交互地选择高水平区域(例如“卧室”)时显示的第二层，从而提供多分辨率显示。
图形界面显示了在整个时间上、在患者房屋内每个区域或房间的用户的数量。屏幕例如每几秒被自动更新，并可在整个时间内滚动。该界面提供了居住者与其他人的交互作用的总结。例如，图2所示的例子可表示，两个护理者到达患者家里，且其后一个护理者在卧室中照顾患者，而另一个在厨房工作。
应理解，每当必须显示受验对象在给定空间区内和在给定的时间间隔内出现时，可更一般地使用上述显示界面。
通过融合来自blob传感器和可佩戴传感器的信息来实现居住者的位置的确定。算法允许在单个和多个占用情形下使用***。由于使用可佩戴传感器，也可同时识别和跟踪由其可佩戴传感器识别的多个特定的受验对象。由blob传感器检测的、未佩戴体上传感器的受验对象可在每个房间中被检测到，但未被识别。
为了使参考图2所讨论的跟踪进行，在有任何blob情况下，确定blob传感器所检测的blob中的哪一个属于佩戴可佩戴传感器2的受验对象4很重要。为了此目的，如下面更详细地描述的，使用来自两种类型的传感器的信号的关联或某种其它形式的比较。在多于一个的受验对象佩戴可佩戴传感器时，确定哪个blob属于这些受验对象中的哪个也是这种情况。因为在***的可佩戴传感器和其余部分之间使用无线通信网络，不在视线中、但在图像传感器的区域中的无线通信***的无线传输范围内的可佩戴传感器对于该区域来说是可被检测到的。因此，即使只有佩戴可佩戴传感器的单个受验对象，在存在其他受验对象(未佩戴传感器)时识别和跟踪该受验对象也需要来自blob和可佩戴传感器的信号之间的比较。
参考图3，blob传感器原始信号的示例性序列包括受验对象的blob或轮廓的序列，从其可得到位置数据，如上所述。从blob传感器得到的三维位置信号在图4a中描绘出(对照样本，取样率50Hz)。图4a中变暗的(shaded)时间窗相应于图3所示的三个轮廓，图5描绘来自相应于图4a中序列的可佩戴传感器的加速数据(对照样本，取样率50Hz)。
如可从图4a、b和5中看到的，图5中的加速数据与图4a中的位置数据同时经历主要变化，而从不同的blob得到的在图4b中的位置数据在不同的时间变化。因此来自一个和同一受验对象的数据将倾向于大约同时经历主要变化，且这形成加强的相似性测量的基础，以确定相应于给定可佩戴传感器的blob。
例如，被采样的数据可例如通过1秒窗口被加窗，且在每个窗口内为信号的三个空间分量中的每个分量计算的平均信号水平。当加窗平均值从一个窗口到下一个变化大于阈值例如40％时，在变化矢量中相应的条目(条目相应于时间窗并被初始化为零)可用非零值例如1标记。来自blob传感器和可佩戴传感器的信号之间的相似性可接着通过确定在给定时间间隔(例如1分钟)内记录的相应的变化矢量的相似性来确定，例如使用两个矢量之间的相关性或点积来确定相似性。当然，也可应用计算两个矢量之间的相似性的任何其它措施。也设想每个受验对象出现变化的时间之间的直接逻辑比较，以建立相似性。
根据比较，当受验对象从一个区移到另一个区时，每个可佩戴传感器(其与受验对象相关)与blob连续匹配。例如，从blob传感器收集的位置和来自可佩戴传感器的加速数据可在上面描述的相似性分析中使用，以找到与受验对象匹配的blob。也可使用可从传感器得到的其它活动信号。类似地，也可使用用于融合来自blob和可佩戴传感器的信号的任何其它适当的技术，例如Bayesian Networks或Spatio-Temporal SOM′s(见Thiemjarus等人文献)。
活动信号也可具有更抽象的性质，例如它可以是根据传感器信号分类为分立的行为例如“躺倒”、“站立”、“行走”等的结果。对图像传感器在Wang等人文献中，且对多个体上加速传感器在Thiemj arus等人文献以及也在由此在这里通过引用被并入的[Surapa Thiemj arus和GuangZhong Yang，″Context-Aware Sensing″，Chap.9，在Body Sensor Networks中，London：Springer-Verlag，2006年]中描述了这样的更抽象的信号(指示在样本时间点的行为类别)的得出的例子。这些活动信号可接着例如使用相关性被比较，以确定使用分别来自图像传感器和体上传感器的数据得到的信号之间的相似性。
参考图6，从可佩戴传感器2得到的活动相关的信号(例如，加速)102通过数据融合装置108与来自用于每个blob的blob传感器12的活动相关的信号(例如位置)104以及表示blob位置的信号106融合。这可以简单地是安装了传感器的房间，或更具体的位置可根据所得到的blob位置来确定。在特定的实施方式中，融合装置108比较如上所述的两个活动信号并给相关活动信号被发现与从可佩戴传感器得到的活动信号最相似的blob做标记。从被标记的blob的位置，可得到在每个样本时间的状态矢量，其指示佩戴给定的可佩戴传感器的受验对象出现在哪个区。这些状态矢量的序列可接着图形化地显示为如图2所示和上面描述的。未标记的blob也可按相同的方式显示，并给出受验对象的社交活动的指示。
上面参考图2描述的图形界面可提供多分辨率格式，即，通过点击显示的单元，可揭示在每个单元的视频感测区和时间间隔内的受验对象的活动的进一步的细节。而且，显示也可切换到如根据视频blob的运动或根据来自加速计的信号计算的详细的活动指数。例如，这可包括显示活动水平的指数，其被计算为来自可佩戴传感器的三维加速度信号的平均(在维度上)方差。指数在0(对于睡眠，无运动)到显示较高的活动水平(例如跑步)的较高值之间变化。正常活动在中间。图6中示出相应于图4(b)的活动指数。如上所述，显示也可切换到较高的空间和/或时间分辨率。
图2所示的活动矩阵(或更准确地，作为状态矢量的序列的其数字表示，其具有指示被监控的受验对象的存在的例如1的条目)提供了在不同周期期间行为的容易的分析和比较。作为例子，图7a-c显示了示例性序列，展示正被监控的受验对象的活动的不同模式。通过比较图7c中的最后的周期，可容易分辨出，受验对象比图7a和b中的其它两个周期更频繁地和在更长的时间段内使用卫生间。这可警告卫生保健专业人员22受验对象的消化问题的出现。
将图形界面的时间窗(列)定义为状态矢量的序列(例如，通过将预定的数值例如1指定到其中被监控的受验对象被检测为存在的每个单元)，可计算转移矩阵(transition matrix)。这些转移矩阵概括了在房屋内的人的一般运动，并表示从一个房间到另一个房间的转移的概率。它们也反映房屋的连通性，因为一些房间之间的直接转移是不可能的。以本领域技术人员已知的方式可计算转移矩阵。通过检测在不同的时间段内(例如在不同的日子)计算的这些矩阵的转移概率的差异，可检测和分类异常的行为(在上面的例子中，对指示消化问题的卫生间区的增加的自身转移概率和进入的转移概率)。该差异的一个可能的测量是相对于基线(baseline)矩阵(表示正常的行为)标准化转移矩阵，并可能对每个转移的因而形成的结果计算与1的绝对差异。
另一可应用的相似性测量是推土机距离(Earth Mover Distance，EMD)，其测量两组序列之间或一个序列相对于基线序列之间的相似性。在此工作中，这些序列表示被观察的人的一系列位置。本领域技术人员应熟悉该测量，其在[L.Dempere-Marco，X.-P.Hu，S.Ellis，D.M.Hansell，G.Z.Yang，″Analysis of Visual Search Patterns with EMD Metric inNormalized Anatomical Space，″IEEE Transactions on Medical Imaging，vol.25，no.8，pp.1011-1021，2006年]或[Y.Rubner，C.Tomasi，L.J.Guibas，AMetric for Distributions with Applications to Image Databases，Proceedings ofthe Sixth International Conference on Computer Vision，p.59，1998年，1月4号到7号]中被描述，这两者因此都在这里通过引用被并入。在上面的例子中，EMD(b，a)＝18且EMD(c，a)＝32，指示图8(b)所示的序列比图8(c)所示的序列更相似于图8(a)所示的序列。虽然序列实际上相当不同，但该测量找到测量相似性的方法。应理解，也可应用用于从活动矩阵推断出行为结论的任何适当的分析技术。
异常行为可接着被检测为与基线的偏差或相异，且可发出相应的警报。
当然，应理解，虽然只描述了具体的实施方式，要求权利的主题在范围上并没有限制到特定的实施方式或实现。例如，一个实施方式可以是硬件形式，例如实现为在设备或设备的组合上操作，而另一实施方式可以是软件形式。同样，实施方式可以用固件形式或例如作为硬件、软件和/或固件的任何组合实现。同样，虽然要求权利的主题在范围上没有被限制在这方面，但一个实施方式可包括一个或多个物品，例如一个存储介质或多个存储介质。存储介质例如一个或多个CD-ROM和/或磁盘可在其上储存指令，这些指令在被***例如计算机***、计算平台或其它***执行时，可根据被执行的要求权利的主题产生方法的实施方式，例如前面描述的实施方式之一。作为一个可能的例子，计算平台可包括一个或多个处理单元或处理器、一个或多个输入/输出设备例如显示器、键盘和/或鼠标、和/或一个或多个存储器例如静态随机存取存储器、动态随机存取存储器、闪存和/或硬盘驱动器。
上面的描述是关于被监控的受验对象，特别是在保健护理背景下。然而，应理解，本发明并不限于这方面，以及如这里使用的术语“受验对象”包括人类和非人类的动物，且进一步包括任何无生命的物体，例如显示可如上所述被分析的活动的模式的那些物体，例如机器人。
在前面的描述中，描述了要求权利的主题的不同方面。为了解释的目的，提出特定的数量、***和/或配置来提供要求权利的主题的彻底理解。然而，对受益于本公开的本领域技术人员应明显，可在没有特定细节的情况下实践要求权利的主题。在其它实例中，公知的部件被省略和/或简化，以便不使要求权利的主题模糊。虽然这里示出和/或描述了某些特征，现在本领域技术人员会想到很多更改、替换、变化和/或等效形式。因此，应理解，所附权利要求意味着覆盖落在要求权利的主题的真正主旨内的所有这样的更改和/或变化。

Claims (30)

1.一种方法，其用于电子监控在空间上限定的区域中的特定受验对象，所述方法包括：
a)使用图像传感器来检测在所述区域内候选受验对象在给定时间的出现；
b)融合使用来自所述图像传感器的数据获得的并与所述候选受验对象有关的第一信号和使用来自可佩戴传感器的数据获得的与所述特定受验对象相关的第二信号，以确定所述候选受验对象是否是所述特定受验对象；以及
c)储存根据所述确定指示所述特定受验对象在所述区域内在所述给定时间的出现或未出现的数字记录。
2.如权利要求1所述的方法，其中所述第一信号和所述第二信号是分别表示所述候选受验对象和所述特定受验对象的活动的时间信号。
3.如权利要求2所述的方法，其中融合信号的所述步骤包括比较所述信号。
4.如权利要求3所述的方法，其中所述比较步骤包括计算表示所述第一信号和所述第二信号中的变化的相应的第一变化信号和第二变化信号，并确定所述第一变化信号和所述第二变化信号之间的相似性的度量。
5.如权利要求4所述的方法，其中计算变化信号的所述步骤包括将所述第一信号和所述第二信号加窗到时间窗中，定义给所述时间窗编索引的变化矢量，且如果来自相应的时间窗和相邻的时间窗的平均值的变化超过阈值，就将所述矢量的元素设定为特定的值。
6.如前述权利要求中任一项所述的方法，包括在包含多个区域的环境中对多个给定的时间重复步骤a)到c)，并储存指示在每个时间点所述特定受验对象出现在哪个区域的数字记录的集合。
7.如权利要求6所述的方法，包括通过比较所述数字记录的集合与基线集合来分析所述数字记录的集合以及包括检测集合之间的差异。
8.如权利要求7所述的方法，包括对每个集合计算区域之间的转移矩阵并比较所述转移矩阵。
9.如权利要求7所述的方法，包括对每个记录应用推土机距离算法。
10.如权利要求5到8中任一项所述的方法，包括将所述集合显示在图形用户界面中，所述图形用户界面包括沿着表示所述给定时间或其子集的第一轴以及表示所述区域或其子集的第二轴布置的多个单元，每个单元通过在相应的单元中显示第一标记来指示所述特定受验对象在给定区域中在给定时间的出现。
11.如权利要求10所述的方法，包括通过在相应于给定区域和给定时间的单元中显示第二不同的标记，来显示不同于所述特定受验对象的候选受验对象在所述给定区域在所述给定时间的出现。
12.如前述权利要求中任一项所述的方法，其中所述第一信号表示受验对象位置，而所述第二信号表示受验对象加速度。
13.如前述权利要求中任一项所述的方法，其中所述区域是家庭护理环境的部分，而所述受验对象是人。
14.如前述权利要求中任一项所述的方法，其中所述受验对象的图像是剪影。
15.一种监控***，其用于电子监控在空间上限定的区域中的特定受验对象，所述监控***包括：
图像传感器；
中央处理设施；
网关，其用于从所述特定受验对象佩戴的可佩戴传感器和所述图像传感器接收数据，并将所述数据传输到所述中央处理设施；
其中，所述中央处理设施适合于实现如权利要求1到14中任一项所述的方法。
16.如权利要求15所述的***，其中所述图像传感器布置成只将所述受验对象的剪影传输到所述网关。
17.如权利要求15所述的***，所述图像传感器和所述网关安装在家庭护理环境中。
18.一种显示界面，其用于显示在包括多个区域的环境中的特定区域中的被监控的受验对象的位置，所述显示界面包括多个单元，所述多个单元沿着表示相应于所述单元的时间间隔的第一轴和表示所述多个区域的第二轴布置，其中，所述受验对象在给定区域在给定时间的出现是通过在相应于所述给定区域和所述给定时间的单元内显示第一标记来表示的。
19.如权利要求17所述的显示界面，其中所述单元可交互式地选择来显示关于所述单元的进一步的信息。
20.如权利要求19所述的显示，其中所述进一步的信息被表示为具有更精细的空间或时间分辨率或两者的进一步的显示。
21.如权利要求19所述的显示，其中当显示所述第一标记的单元被选择时，所述进一步的信息包括从所述特定受验对象佩戴的可佩戴传感器得到的信息。
22.如权利要求21所述的显示，其中所述进一步的信息包括对所述特定受验对象的生理测量结果。
23.如权利要求21所述的显示，其中所述进一步的信息包括被定义为所述可佩戴传感器的被测量的加速度的方差的活动指数。
24.如权利要求18到23中任一项所述的显示，其中不同于所述特定受验对象的受验对象的出现使用不同的第二标记显示在相应的单元中。
25.一种方法，其用于监控在包括多个区域的环境中的被监控的受验对象的健康状态，所述方法包括：
储存数字记录的序列，所述数字记录指示所述受验对象在定义所述序列的多个样本时间出现在哪个区域；
比较所储存的序列与表示健康行为的基线序列；
如果检测到所储存的序列与所述基线序列的偏差就发出警报。
26.如权利要求25所述的方法，其中所述比较步骤包括计算推土机距离。
27.如权利要求24所述的方法，其中所述比较步骤包括计算表示所述区域之间的运动的转移矩阵。
28.一种计算机可读介质或物理载波编码计算机代码指令，其用于实现如权利要求1到14或18到27任一项所述的方法或显示。
29.一种计算机***，其布置成实现如权利要求1到14或18到27任一项所述的方法或显示。
30.一种***，其用于监控在家庭护理环境中的受验对象，所述***包括布置成感测所述受验对象的剪影的一个或多个图像传感器以及布置成由所述受验对象佩戴并感测来自所述受验对象的运动或生理数据的可佩戴传感器；所述***进一步包括用于合并和储存从所述图像传感器和可佩戴传感器接收的数据的中央处理设施。
CN200780046533A 2006-10-17 2007-10-11 普适感测 Pending CN101632107A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB0620620.5 2006-10-17
GBGB0620620.5A GB0620620D0 (en) 2006-10-17 2006-10-17 Pervasive sensing

Publications (1)

Publication Number Publication Date
CN101632107A true CN101632107A (zh) 2010-01-20

Family

ID=37507900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780046533A Pending CN101632107A (zh) 2006-10-17 2007-10-11 普适感测

Country Status (6)

Country Link
US (1) US20100316253A1 (zh)
EP (1) EP2078295A1 (zh)
JP (1) JP2010508569A (zh)
CN (1) CN101632107A (zh)
GB (1) GB0620620D0 (zh)
WO (1) WO2008047078A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102238604A (zh) * 2011-08-18 2011-11-09 无锡儒安科技有限公司 无线传感器网络故障诊断方法
CN106815545A (zh) * 2015-11-27 2017-06-09 罗伯特·博世有限公司 行为分析***和行为分析方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5658037B2 (ja) 2007-11-09 2015-01-21 グーグル・インコーポレーテッド 加速度計データに基づくアプリケーションのアクティブ化
TW200933538A (en) * 2008-01-31 2009-08-01 Univ Nat Chiao Tung Nursing system
US8696458B2 (en) * 2008-02-15 2014-04-15 Thales Visionix, Inc. Motion tracking system and method using camera and non-camera sensors
US8306265B2 (en) * 2009-01-12 2012-11-06 Eastman Kodak Company Detection of animate or inanimate objects
JP5511503B2 (ja) * 2010-05-21 2014-06-04 キヤノン株式会社 生体情報計測処理装置及び生体情報計測処理方法
WO2012029058A1 (en) * 2010-08-30 2012-03-08 Bk-Imaging Ltd. Method and system for extracting three-dimensional information
EP2681722B1 (de) * 2011-03-04 2017-12-20 Deutsche Telekom AG Verfahren und system zur sturzerkennung und weitergabe eines alarms
FR2978974B1 (fr) * 2011-08-12 2013-08-02 Claude Desgorces Revetement de sol
US9939888B2 (en) * 2011-09-15 2018-04-10 Microsoft Technology Licensing Llc Correlating movement information received from different sources
US8614630B2 (en) * 2011-11-14 2013-12-24 Vital Connect, Inc. Fall detection using sensor fusion
US9588135B1 (en) 2011-11-14 2017-03-07 Vital Connect, Inc. Method and system for fall detection of a user
US9818281B2 (en) 2011-11-14 2017-11-14 Vital Connect, Inc. Method and system for fall detection of a user
WO2014024209A1 (en) 2012-08-09 2014-02-13 Tata Consultancy Services Limited A system and method for measuring the crowdedness of people at a place
EP2720210A1 (en) * 2012-10-12 2014-04-16 ABB Technology AG Workspace-monitoring system and method for automatic surveillance of safety-critical workspaces
EP3319058A4 (en) * 2015-06-30 2018-06-27 Fujitsu Limited Anomaly detection method, anomaly detection program, and information processing device
US11000078B2 (en) * 2015-12-28 2021-05-11 Xin Jin Personal airbag device for preventing bodily injury
EP3559922B1 (de) 2016-12-21 2024-07-17 Service-Konzepte MM AG Set aus sitz- oder liegemöbel und einem autonomen haushaltsgerät
EP3372162A1 (en) * 2017-03-10 2018-09-12 Koninklijke Philips N.V. A method, apparatus and system for monitoring a subject in an environment of interest
US20190197863A1 (en) * 2017-12-21 2019-06-27 Frank Kao WareAbouts: Proactive Care System through Enhanced Awareness
FR3131048B1 (fr) * 2021-12-22 2024-05-03 Orange Procédé de surveillance d’un utilisateur, dispositif de surveillance et programme d’ordinateur correspondants

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60016842T2 (de) * 1999-07-23 2005-05-25 Matsushita Electric Industrial Co., Ltd., Kadoma Hausgebundenes Überwachungssystem für den Gesundheitszustand
US7202791B2 (en) * 2001-09-27 2007-04-10 Koninklijke Philips N.V. Method and apparatus for modeling behavior using a probability distrubution function
US7106190B1 (en) * 2004-02-23 2006-09-12 Owens Larry D Child position monitoring system
DE102004018016A1 (de) * 2004-04-14 2005-11-10 Sick Ag Verfahren zur Überwachung eines Überwachungsbereichs
US7929017B2 (en) * 2004-07-28 2011-04-19 Sri International Method and apparatus for stereo, multi-camera tracking and RF and video track fusion
US7949186B2 (en) * 2006-03-15 2011-05-24 Massachusetts Institute Of Technology Pyramid match kernel and related techniques

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102238604A (zh) * 2011-08-18 2011-11-09 无锡儒安科技有限公司 无线传感器网络故障诊断方法
CN102238604B (zh) * 2011-08-18 2014-01-15 无锡儒安科技有限公司 无线传感器网络故障诊断方法
CN106815545A (zh) * 2015-11-27 2017-06-09 罗伯特·博世有限公司 行为分析***和行为分析方法
CN106815545B (zh) * 2015-11-27 2023-12-26 罗伯特·博世有限公司 行为分析***和行为分析方法

Also Published As

Publication number Publication date
GB0620620D0 (en) 2006-11-29
US20100316253A1 (en) 2010-12-16
EP2078295A1 (en) 2009-07-15
WO2008047078A1 (en) 2008-04-24
JP2010508569A (ja) 2010-03-18

Similar Documents

Publication Publication Date Title
CN101632107A (zh) 普适感测
Deep et al. A survey on anomalous behavior detection for elderly care using dense-sensing networks
Ramachandran et al. A survey on recent advances in wearable fall detection systems
US9710761B2 (en) Method and apparatus for detection and prediction of events based on changes in behavior
Kaluža et al. An agent-based approach to care in independent living
Salem et al. Anomaly detection in medical wireless sensor networks
Suryadevara et al. Intelligent sensing systems for measuring wellness indices of the daily activities for the elderly
WO2015077829A1 (en) System for monitoring subject movement
CN106652346A (zh) 一种老年人居家养老监护***
CN110197732B (zh) 一种基于多传感器的远程健康监控***、方法与设备
CN109561855A (zh) 用于跌倒检测的设备、***和方法
Kaluža et al. A multi-agent care system to support independent living
Belapurkar et al. Building data-aware and energy-efficient smart spaces
Vuong et al. mHealth sensors, techniques, and applications for managing wandering behavior of people with dementia: A review
US8395512B2 (en) Signature analysis systems and methods
Torres et al. How feasible is WiFi fingerprint-based indoor positioning for in-home monitoring?
Tan et al. Online activity recognition and daily habit modeling for solitary elderly through indoor position-based stigmergy
WO2023196392A1 (en) Environment sensing for care systems
Kröse et al. Activity monitoring systems in health care
TWM503630U (zh) 日常活動監測系統
Fern'ndez-Caballero et al. HOLDS: Efficient fall detection through accelerometers and computer vision
Madhubala et al. A survey on technical approaches in fall detection system
Hsu et al. Abnormal behavior detection with fuzzy clustering for elderly care
Anand et al. Wireless Sensor‐based IoT System with Distributed Optimization for Healthcare
Aung et al. Evaluation and analysis of multimodal sensors for developing in and around the bed patient monitoring system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20100120