CN102985007B

CN102985007B - 健康装置监视装置

Info

Publication number: CN102985007B
Application number: CN201180032734.2A
Authority: CN
Inventors: 高木俊明; 关根佑辅
Original assignee: Terumo Corp
Current assignee: Terumo Corp
Priority date: 2010-06-30
Filing date: 2011-06-13
Publication date: 2015-07-29
Anticipated expiration: 2031-06-13
Also published as: WO2012001890A1; JP2012010955A; CN102985007A

Abstract

本发明提供一种健康状态监视装置。该健康状态监视装置包括：摄像部；提取部，其从利用摄像部得到的包含被检者的图像中提取与该被检者的面部图像中的特定部位相对应的特征点；检测部，其使用提取出的特征点检测与被检者所进行的规定动作相对应的特征点的移动量；存储部，其将由检测部检测到的移动量与日期信息关联并存储；以及判定部，其根据由存储部存储的移动量随时间的变化判定被检者的健康状态。

Description

健康装置监视装置

技术领域

本发明涉及基于人的外观或动作来监视健康状态的状态监视装置。

背景技术

一般，在日间服务等中，进行通过测定体温、血压、脉搏等把握身体状况的变化的生命检查。在这种生命检查中，看护者等对被检者进行上述测定，并与被检者谈话、诊察被检者的表情，由此把握被检者的健康状态。

近年来，作为用于测定人的健康状态的设备的体温计或血压计(包括脉搏测量)的数字化在进步，尝试存储来自这样的设备的测定结果来帮助健康状态的监视。此外，在专利文献1中记载了检测体温、血压、脉搏、面部的浮肿等并发送到外部的健康诊断中心的健康诊断***。

专利文献1：日本特开2005-065812号公报

发明内容

但是，在一般的健康状态监视装置中，只取得体温、血压、脉搏、面部的浮肿等静态的信息，并不监视被检者动态的状态、即表情的变化或动作等。现状是一般根据那样的动态状态进行的健康状态的判断依赖于看护者的观察。

由于近来的小家庭化和高龄化的进展，老年人的独居不断增加。因此，没有日常地从动作(反应)的变化等判断健康状态的人的老年人不断增加，有可能延误发现这样的老年人的病情。

本发明就是鉴于上述课题而完成的，提供一种能够根据其典型的一个实施方式，基于被检者所进行的规定动作随时间的变化来监视被检者的健康状态的健康状态监视装置。

基于用于实现上述目的的本发明一个方式的健康状态监视装置具有以下结构。即，包括：

摄像机构；

提取机构，其从利用所述摄像机构得到的包含被检者的图像中提取与该被检者的面部图像中的特定部位相对应的特征点；

检测机构，其检测与所述被检者所进行的规定动作相对应的所述特征点的移动量；

存储机构，其将由所述检测机构检测到的移动量与日期信息关联并存储；以及

判定机构，其根据由所述存储机构所存储的移动量随时间的变化判定所述被检者的健康状态。

根据本发明，提供一种能够根据被检者所进行的规定动作随时间的变化监视被检者的健康状态的健康状态监测装置。

本发明其他的特征及优点从参照附图的以下说明可知。此外，在附图中，对同一或相同的结构标注同一附图标记。

附图说明

附图包含在说明书内，构成说明书的一部分，表示本发明实施方式，用于和其叙述一起说明本发明的原理。

[图1]是表示基于实施方式的健康状态监视装置的外观的位置例的图。

[图2]是表示基于实施方式的健康状态监视装置的功能结构例的框图。

[图3]是说明基于实施方式的收集信息的存储状态的图。

[图4]是说明基于实施方式的健康状态监视装置的动作的流程图。

具体实施方式

以下，参照附图来说明本发明优选的实施方式的一个例子。

图1是表示基于本实施方式的健康状态监视装置的外观的图。在本实施方式中采用以下结构：在镜子1的框架中埋入作为摄像机构的数码相机2、作为声音输入机构的麦克风3、以及作为报告机构的扬声器4。此外，数码相机2、麦克风3、扬声器4不需要分别组装入镜子的框架部分，只要可以分别对被检者的面部进行拍摄、对被检者的声音进行录音、对被检者进行规定的通知即可。此外，镜子不是特别必须的，但通过使用镜子，被检者可以一边观察自身的面部一边进行利用装置的健康状态的监视。而且，镜子1也可以构成洗脸台的一部分。

此外，在本实施方式中使用了镜子，但并不限于此。也可以使用如在显示器的框架中具有照相机的笔记本计算机的结构。在该情况下，通过在笔记本计算机的显示器中实时地显示由照相机拍摄的图像来代替镜子。

图2是表示基于本实施方式的健康监视装置的结构例的框图。控制部200从由数码相机2或麦克风3取得的各种信息中收集与被检者的动作关联的信息，判定被检者的健康状态。

在控制部200中，面部提取部21通过周知的技术从由数码相机2拍摄的图像中提取面部图像。特征提取部22对面部提取部21所提取的面部图像实施标准化以使面部的大小一致，并提取被检者的面部图像中的特定部位(眼或口等)的特征点。移动量检测部23从通过数码相机2依次进行拍摄而得到的多个图像中检测由面部提取部21和特征提取部22提取的面部的特征点的移动量，并将该移动量存储于收集信息存储部41。面部认证部24通过判断由面部提取部21提取的面部图像是否为已登记的被检者来进行个人认证。

声音识别部31通过周知的声音识别技术从由麦克风3收集的语音信息中识别被检者所发声的“a”、“i”、“u”等规定的声音。发声部分提取部32从由麦克风3收集的声响信息中分离声音识别部31识别为规定的发声的部分的声响信息，并将其作为声音信息。特征量算出部33从发声部分提取部32所提取的声音信息(声音的信号)计算声音特征量，并将该声音特征量存储于收集信息存储部41。声波纹认证部34从由麦克风3取得的声响信息所包含的声音的信息中取得声波纹，并与已登记的被检者的声波纹进行比较，由此进行个人认证。

此外，移动量检测部23对于包括由声音识别部31检测到规定发声的期间在内的规定期间，检测特征点的移动。通过这样的处理，例如，检测与被检者进行“a”的发声的动作关联的面部的活动(即规定动作中的面部的活动)。

计时部42具有时钟功能，向收集信息存储部41提供日期信息(包括时刻)。健康状态判定部43基于存储在收集信息存储部41中的收集信息随时间的变化、由收集信息显示的异常的有无来判定被检者的健康状态。通知部44报告由健康状态判定部43判定的健康状态。通知部44例如通过扬声器4将判定的健康状态通知被检者。或者，通知部44通过电话线路或因特网等网络将健康状态向外部设施(医院等)通知。动作指示部45经由通知部44进行使被检者进行规定动作的指示。例如，从扬声器4借助声音进行“请发出声音‘a’”的发声内容的指示，或“请上下地移动眼睛”的动作指示。此外，动作指示可以借助显示器(未图示)用文章对被检者进行指示。此外，对于移动眼睛的指示，例如可以在镜子1的框架的上下左右设置LED等发光部，并使发光部依次亮灯，使被检者的视线追随亮灯的顺序。

图3是表示收集信息存储部41中的收集信息的数据构成例的图。如图3的3A所示，按照由面部认证部24或声波纹认证部34而认证的被检者，并且按照取得收集信息的日期、时刻来存储收集信息。此外，日期、时刻的信息是从计时部42取得的日期信息。图3的3B更加详细地表示收集信息的内容。每天的收集信息在各个动作内容中包括：特征量算出部33算出的声音特征量、特征提取部22提取的特征点的位置(面部特征)、以及移动量检测部23提取的特征点的移动量(面部特征移动量)。此外，收集信息包括基于健康状态判定部43的健康状态的判定结果(状态判定)，状态判定可以按各动作内容存储判定结果，也可以代替这种方法或在此基础上存储综合的状态判定。如上所述，收集信息存储部41中，作为被检者的动作检测到的面部各部分的移动量或声音的特征量与日期信息关联，并按个人地进行存储。

健康状态判定部43使用上述收集信息，例如根据最近数个月的声音特征量或面部特征移动量来设定关于该被检者的正常值的范围，判定新取得的声音特征量或面部特征移动量是否在正常范围内。而且，在相对于前一天收集的声音特征量或面部特征移动量发生极端地剧烈变动的情况下，判断为异常。

如上所述的控制部200的结构也能够借助通用的计算机实现。因此，本实施方式的健康状态监视装置可以是在个人计算机上连接数码相机或麦克风3的结构。

图4是说明基于具有上述结构的本实施方式的健康状态监视装置的工作的流程图。

在步骤S401中，若控制部200借助面部认证部24和声波纹认证部34认证是特定的被检者，则开始健康状态的检查。即开始与健康状态的监视关联的信息(在本例中为关于面部和声音的信息)的收集处理。此外，也可以使用面部认证和声音认证中的任一种进行认证。此外，使用面部认证和声音认证两者的情况可以只在双方的认证结果一致的情况下判断为认证成功，也可以在至少任意一方认证成功的情况下判断为认证成功。

此外，检查的开始并不限于如上所述的认证，可以通过被检者操作特定的开关而开始。而且，认证并不限于面部认证或声波纹认证，也可以使用密码的输入或静脉认证等。此外，若在操作上述特定开关的被检者限定于特定的被检者的环境下，则也可以省略认证处理及与此关联的功能(面部认证部24、声波纹认证部34)。

若检查开始，则在步骤S402中，控制部200开始基于数码相机2的检查用的拍摄和基于麦克风3的检查用的录音处理。

接着，在步骤S403中，动作指示部45借助通知部44进行对被检者的动作指示。例如，使用扬声器4，发出“请发出声音‘a’”“请上下、左右地移动眼睛”的指示。

接着，在步骤S404中，控制部200判断被检者是否进行了与指示对应的动作。例如，若在“请发出声音‘a’”的指示之后，声音识别部31识别“a”的发声，则认为确认了指示动作，将处理向步骤S405推进。或者，若在步骤S403中进行“请使眼睛上下、左右地移动”的指示，则根据来自移动量检测部23的信息检测眼球是否已上下左右地移动。然后，若确认眼球已上下左右地移动，则处理向步骤S405推进。这里，在进行动作的指示后在规定时间内没有取得对应动作的确认的情况下，催促被检者再次动作，或者，也可以认为被检者发生了异常并向医院等外部设施进行通知。

在步骤S405中，控制部200存储与动作指示对应的声音及/或图像。例如，进行“a”的发声期间，例如声音认证部31能够从检测到的声音波形中取得“a”的发声，在步骤S405中存储该期间的声音信息及图像信息。此外，在使被检者的眼球向上下左右移动的情况下，存储确认了眼球的上下左右移动的期间的图像信息。

此外，在本实施方式中，从图像或声音确认实际上进行了与指示对应的动作，但并不限于此。例如，可以将进行动作的指示后规定时间内的图像或声音作为与回应该动作的指示的动作相对应的图像信息或声音信息而存储。

在步骤S406中，控制部200根据步骤S405中存储的图像信息或声音信息算出所需的特征量，并将算出的特征量存储在收集信息存储部41中，例如，面部提取部21从存储的图像信息中提取面部局部的图像，并将其标准化。此外，标准化的目的是为了能够在时间体系中实现积存的数据间的比较，而使图像中的面部的大小和朝向在规定的尺寸及规定的方向(例如正面)上一致。接着，特征提取部22从面部提取部21提取并标准化的面部图像中检测与眼、口、鼻等相对应的特征点，取得它们的位置。移动量检测部23从进行指示的动作期间的多个图像中检测各特征点的变化。例如，从进行“a”的发声期间的图像中检测各特征点的变化(例如最大移动量及其方向等)。然后，作为发出“a”中的面部特征移动量存储在收集信息存储部41中。此外，毫无疑问，若在上述的指示动作确认中存在结束移动量检测部23之前的处理的信息，则也可以利用该信息。

此外，关于声音信息，由发声部分提取部32提取的声音信息通过步骤S405的处理被存储。特征量算出部33从该存储的声音信息中提取特征量，并将特征量作为发出“a”中的声音特征量存储在收集信息存储部41中。

在步骤S407中，若还有未处理的动作指示，则处理回到步骤S403，重复上述步骤S403以后的处理。在结束了对于所有的动作指示的数据收集的情况下，处理推进到步骤S408。

在步骤S408中，健康状态判定部43基于存储在收集信息存储部41中的过去规定时间(例如最近的一个月)的声音特征量或特征点移动量制定该被检者的判定基准值(表示正常范围的阈值)。然后，健康状态判定部43通过比较制定的判定基准值和此次得到的声音特征量或特征点移动量，由此判断被检者是否发生了异常。健康状态判定部43进而将该判定结果提供到通知部44，通知部44例如经由扬声器4通知判定结果。由此被检者或其看护者等能够了解基于健康状态判定部43的判定结果。此外，在被检者的健康状态中发现异常的情况下，通知部44将其要点经由电话线路或因特网等通知到医院等外部设施。

此外，上述判定基准的制定例如可以举出设定成以最近规定期间的数据的平均值为中心，以规定大小的范围为阈值范围。在该情况下，通过声音特征量或面部的特征点的移动量是否进入该阈值范围来判断健康状态。

此外，上述处理顺序是一个例子，基于本发明的处理顺序并不限于上述步骤。例如，在上述实施方式中进行了动作指示，但也可以省略动作指示。在该情况下，例如，被检者自主地发出声音“a、i、u、e、o”、自主地使眼球左右上下地移动。控制部200借助声音识别部31检测“a、i、u、e、o”的发声，自动地提取所需的图像信息或声音信息。或者，控制部200借助移动量检测部23检测眼球的左右上下的移动，并自动地提取所需的图像信息。

此外，可以使由特征提取部22从指示的动作的期间中的图像中提取的各特征点的位置作为面部特征存储在收集信息存储部41中。这样的话，能够从面部特征的信息检测如眼睛的睁开情况比通常差的、与指示的动作没有直接关系的部位的变化。

此外，在上述实施方式中使用图像信息和声音信息两者监视健康状态，但也可以使用任意一方来监视健康状态。另外，可以在此基础上，借助红外线传感器测量并记录被检者的体温(面部的温度)。通过这样的体温的记录，能够监视发烧等。另外，也可以设置血压计从而能够进行血压测量，或在被检者面向镜子1时的站立位置配置体重计，从而能够监视体重的变化。

这里进一步详细说明判定中的异常。根据本实施方式，能够实现各种病症等的早期发现。例如，虽然对被检者发出了发声的指示，但存在没有响应的情况、失语症的可能性。作为失语症的原发疾病，认为是脑血管障碍或脑外伤、脑炎、以及癫痫或老年痴呆症等。此外，作为中风的前兆，表现为一半面部麻痹、发音不清、不能说话、响应需要时间的症状。在该情况下，面部麻痹能够从面部特征移动量判定，关于语言，能够通过观察对声音识别部31、被检者对于动作或发声的指示的响应时间来判定。此外，通过观察作为动作之一的吞咽状态，不仅能够发现吞咽障碍本身，也能够发现舌咽神经、迷走神经、舌下神经的***可能性，或重症肌无力症等肌肉疾病、多发脑梗塞等脑疾病的可能性。作为吞咽障碍的症状，认为有发音不清、鼻音、饮食或饮水时呛到等情况，因此，优选指示发声或吃东西的动作。

如上所述，根据本实施方式，若被检者面对镜子1进行包括发声等在内的多个动作，则进行与预先存储的健康状态时的动作的比较/判别，判定该被检者的健康状态。例如，若此次检测到的被检者的动作相对于健康状态时的动作存在超过规定阈值的变化，则判定被检者的健康状态发生异常。该判定结果被通知给该被检者或看护者、或者医院等外部设施。因此，能够容易且日常地进行老年人的简易诊断(生命检查)，能够早期地发现健康状态中的异常的发生。

此外，根据上述实施方式，关于健康状态时的动作，基于最近的规定期间(例如最近的一个月～数个月)的动作设定判定的基准值(阈值)，因此能够考虑伴随年纪增加的动作的变动，减少健康状态的误判断。

此外，收集信息存储部41可以在上述信息的基础上存储数日量的拍摄图像或录音声音。这样的话，在异常发生时，医生等能够确认数日间的面部(表情)或声音的变化。

另外，可以设置健康状态输入部(未图示)，医生或看护者等医疗工作者对于基于装置的动作指示的被检者的动作，能够使是健康的状态还是生病的状态的信息存储在装置中。能够存储基于此时的被检者动作的特征点的移动量，作为健康状态判定部43所使用的信息。此外本发明并不限于上述实施方式。

本发明并不限于上述实施方式，在不脱离本发明的精神及范围的情况下，可以进行各种变更及变形。因此，为了公开本发明的范围，附加以上权利要求。

本申请以2010年6月30日提出的日本专利申请特愿2010-150183为基础要求优先权，这里引用其全部记载内容。

Claims

1.一种健康状态监视装置，其特征在于，包括：

摄像机构；

存储机构，其将由所述检测机构检测到的移动量与日期信息关联并存储；

判定机构，其根据由所述存储机构所存储的移动量随时间的变化判定所述被检者的健康状态；

声音输入机构，其输入所述被检者的声音；以及

计算机构，其计算通过使所述被检者发出规定的发声内容而从所述声音输入机构得到的声音信号的特征量，

所述存储机构将由所述计算机构计算出的特征量与日期信息关联并存储，

所述检测机构检测所述被检者发出所述规定的发声内容时的所述特征点的移动量，

所述判定机构根据所述被检者发出所述规定的发声内容时的所述特征点的移动量随时间的变化判定所述被检者的健康状态，所述判定机构根据规定期间的声音特征量、面部特征移动量来设定关于所述被检者的正常值的范围，在新取得的声音特征量、面部特征移动量相对于正常值范围发生极端地剧烈变动的情况下，判断为异常。

2.根据权利要求1所述的健康状态监视装置，其特征在于，

还包括认证机构，其从所述提取机构所提取的面部图像进行个人认证，

所述存储机构按由所述认证机构认证出的被检者来存储由所述检测机构检测到的移动量。

3.根据权利要求1所述的健康状态监视装置，其特征在于，

还包括指示机构，其通过声音或显示进行用于使所述被检者发出所述规定的发声内容的指示。

4.根据权利要求1至3中任一项所述的健康状态监视装置，其特征在于，

还包括通知机构，其经由网络将基于所述判定机构的判定结果通知到外部装置。