CN113366529A - 护理记录装置、护理记录***、护理记录程序及护理记录方法 - Google Patents

护理记录装置、护理记录***、护理记录程序及护理记录方法 Download PDF

Info

Publication number
CN113366529A
CN113366529A CN202080008632.6A CN202080008632A CN113366529A CN 113366529 A CN113366529 A CN 113366529A CN 202080008632 A CN202080008632 A CN 202080008632A CN 113366529 A CN113366529 A CN 113366529A
Authority
CN
China
Prior art keywords
care
state
data
receiver
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080008632.6A
Other languages
English (en)
Inventor
森正人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sankler Co ltd
Original Assignee
Sankler Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sankler Co ltd filed Critical Sankler Co ltd
Publication of CN113366529A publication Critical patent/CN113366529A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Alarm Systems (AREA)
  • Accommodation For Nursing Or Treatment Tables (AREA)

Abstract

本发明提供低价且简单的***结构并且通过同时且简单地进行与被护理者的生活的状态相关的记录和与护理者的援助行为相关的记录而能够谋求护理业务的高效化的护理记录装置、护理记录***、护理记录程序及护理记录方法。具有：拍摄数据获取部（341），从拍摄被护理者的摄像头获取拍摄数据；人物判定部（342），检测映出的人物，并且，判定该人物是被护理者还是护理者；被护理者状态判定部（343），判定被护理者的状态类别，将使日期时间与该状态类别相对应的护理历史信息存储于护理历史存储部（337）；以及援助行为判定部（344），在包含护理者的情况下，判定该护理者的援助行为的类别，将该援助行为的类别与护理历史信息相对应地存储于护理历史存储部（337）。

Description

护理记录装置、护理记录***、护理记录程序及护理记录方法
技术领域
本发明涉及用于进行与护理相关的记录的护理记录装置、护理记录***、护理记录程序及护理记录方法。
背景技术
近年来，随着高龄化社会带来的需要护理者的增加和劳动年龄人口的减少，在护理业界陷入慢性的人工不足，每一个护理者的业务量增加。因此，开发了用于稍微减轻护理者的业务负担的技术。
例如，为了减轻巡视业务承担的负担，对被护理者进行适当的照顾，而开发了在被护理者生活的各房间设置监视摄像头，通过动态图像等对被护理者的生活动作进行监视并记录的监护***。但是，在利用了这种监视摄像头的监护***中，监视摄像头的影像按原样被记录，因此，存在无法保护被护理者的隐私的问题。另外，由监视摄像头拍摄的影像实时地显示于监视监控器等，由此，能够监视被护理者是否存在危险。但是，通常，护理者忙于护理业务而难以通过监控器进行监视，还存在不能及时注意到被护理者的危险的状态这样的问题。
因此，迄今为止，代替上述监视摄像头，开发了利用了各种传感器的监护***。例如，在日本特开2017-174012号公报中公开有一种信息处理装置，从睡眠传感器、人体传感器、卫生间传感器等获取记录了被护理者的睡眠及活动等状态的时间序列数据并进行显示（专利文献1）。
另外，为了实现护理者间的信息共享及向家族的信息提供等，护理者自行记录对被护理者进行的援助行为等。但是，对于护理者来说，除了援助行为等日常繁忙的业务之外，还必须进行记录行为，成为沉重的负担。因此，迄今为止开发了用于由护理者辅助援助行为等记录业务的技术。例如，日本特开2016－85673号公报中公开了一种用于护理记录用便携终端的程序，该护理记录用便携终端由进行护理对象者的护理的护理人员携带，将护理人员对该护理对象者进行的护理表现记录成规定格式（专利文献2）。
现有技术文献
专利文献
专利文献1：日本特开2017－174012号公报；
专利文献2：日本特开2016－85673号公报。
发明内容
发明所要解决的课题
但是，在使用专利文献1所记载的各种传感器的监护***中，即使能够记录被护理者的生活动作并且在之后进行确认，也不能记录对被护理者进行的用餐援助、卫生间援助、洗澡援助等援助行为。假设在利用上述那样的各种传感器记录援助行为的情况下，需要针对援助行为的每个类别设置专用的传感器，作为***存在极其复杂且成本高这样的问题。
另外，使用专利文献2所记载的护理记录用便携终端的护理记录方法中存在如下问题，即，护理者每次进行援助行为时，必须操作护理记录用便携终端所显示的画面来进行规定的输入，非常麻烦。另外，还存在如下问题，即，在护理者不习惯护理记录用便携终端的操作的情况下，操作复杂且成为新的负担。
本发明是为了解决这种问题点而研发的，其目的在于，提供低价且为简单的***结构并且通过同时且简单地进行与被护理者的生活状态相关的记录和与护理者的援助行为相关的记录而能够谋求护理业务的高效化的护理记录装置、护理记录***、护理记录程序及护理记录方法。
用于解决课题的方案
为了解决低价且为简单的***结构并且通过同时且简单地进行与被护理者的生活相关的记录和与护理者的援助行为相关的记录而谋求护理业务的高效化这样的课题，本发明提供一种护理记录装置，用于记录被护理者的状态和护理者对所述被护理者进行的援助行为，其中，所述护理记录装置具有：拍摄数据获取部，从拍摄所述被护理者的摄像头获取拍摄数据；人物判定部，基于所述拍摄数据检测映出的人物，并且，判定该人物是所述被护理者还是所述护理者；被护理者状态判定部，基于所述拍摄数据判定所述被护理者的状态类别，将使日期时间与该状态类别相对应的护理历史信息存储于护理历史存储部；以及援助行为判定部，在由所述人物判定部判定的所述人物中包含所述护理者的情况下，基于所述拍摄数据判定该护理者的所述援助行为的类别，将该援助行为的类别与所述护理历史信息相对应地存储于所述护理历史存储部。
另外，作为本发明的一个方式，为了解决根据拍摄到被护理者的拍摄数据判定被护理者的状态类别，谋求被护理者的生活状态的记录的高效化这样的课题，所述被护理者状态判定部也可以具有：姿势判定模式，根据所述拍摄数据检测表示所述被护理者的姿势的身体部位的各坐标，并且，基于所述身体部位的各坐标判定所述被护理者的所述状态类别。
进而，作为本发明的一个方式，为了解决根据拍摄到被护理者的拍摄数据判定被护理者的状态类别，谋求被护理者的生活状态的记录的高效化这样的技术问题，所述被护理者状态判定部也可以具有：状态学习判定模式，基于通过学习针对所述被护理者的每个状态预先拍摄的所述拍摄数据而得到的状态学习完成数据和所获取的所述拍摄数据，判定所述状态类别。
另外，作为本发明的一个方式，为了解决根据拍摄到被护理者的拍摄数据判定被护理者的状态类别，谋求被护理者的生活状态的记录的高效化及被护理者的危险的状态发现的迅速化这样的课题，也可以是，具有：区域设定部，在所述拍摄数据的拍摄范围内设定比该拍摄范围小的区域；以及身体部位设定部，与由该区域设定部设定的区域对应地设定所述被护理者的身体部位，所述被护理者状态判定部具有：身体部位区域判定模式，根据所述拍摄数据检测表示所述被护理者的各身体部位的拍摄范围内的位置，并且，基于这些各身体部位的位置中由所述身体部位设定部设定的身体部位的位置是否位于由所述区域设定部设定的区域内，判定所述被护理者的所述状态类别。
另外，作为本发明的一个方式，为了解决减轻进行援助行为的记录的护理者承担的负担这样的课题，所述援助行为判定部也可以具有：手势判定模式，根据所述拍摄数据检测所述护理者是否进行了规定的手势，在检测到所述手势的情况下，判定与该手势相对应的所述援助行为的类别。
另外，作为本发明的一个方式，为了解决减轻进行援助行为的记录的护理者承担的负担这样的课题，所述援助行为判定部也可以具有：手指判定模式，根据所述拍摄数据检测所述护理者是否进行了竖立手指的动作，在检测到竖立手指的动作的情况下，判定与竖立的手指的个数相对应的所述援助行为的类别。
另外，作为本发明的一个方式，为了解决通过自动地记录援助行为的类别而进一步减轻护理者承担的负担，并且，抑制忘记记录所造成的记录遗漏的发生这样的课题，所述援助行为判定部也可以具有：援助行为学习判定模式，基于通过学习针对所述援助行为的每个类别预先拍摄的所述拍摄数据而得到的援助行为学习完成数据和所获取的所述拍摄数据，判定所述援助行为的类别。
进而，作为本发明的一个方式，为了解决简单且有效地显示被护理者的一天的生活的状态这样的课题，也可以具有：护理记录图像生成部，使用存储于所述护理历史存储部的所述护理历史信息，生成用于将所述被护理者的状态类别及所述援助行为的类别一并记载于同一画面并针对每个所述被护理者进行显示的护理记录图像。
另外，作为本发明的一个方式，为了解决基于针对每个被护理者制定的身体评价等级来检测所述被护理者的异常且通知其异常状态这样的课题，也可以具有：身体评价等级存储部，存储针对每个所述被护理者制定的身体评价等级；异常状态判别部，判别成为由所述被护理者状态判定部判定的对象的被护理者的状态类别是否为与该被护理者的所述身体评价等级对应的异常状态；以及异常状态通知部，在判别为所述被护理者为异常状态的情况下，通知该情况。
为了解决为低价且简单的***结构并且通过同时且简单地进行与被护理者的生活相关的记录和与护理者的援助行为相关的记录而谋求护理业务的高效化这样的课题，本发明提供一种护理记录***，具有：所述护理记录装置；以及护理记录用摄像头，设置于所述被护理者的起居室，对所述起居室内进行拍摄并将其拍摄数据向所述护理记录装置发送。
为了解决为低价且简单的***结构并且通过同时且简单地进行与被护理者的生活相关的记录和与护理者的援助行为相关的记录而谋求护理业务的高效化这样的课题，本发明提供一种护理记录程序，用于记录被护理者的状态和护理者对所述被护理者进行的援助行为，其中，所述护理记录程序使计算机作为如下部件发挥作用：拍摄数据获取部，从拍摄所述被护理者的摄像头获取拍摄数据；人物判定部，基于所述拍摄数据检测映出的人物，并且，判定该人物是所述被护理者还是所述护理者；被护理者状态判定部，基于所述拍摄数据判定所述被护理者的状态类别，将使日期时间与该状态类别相对应的护理历史信息存储于护理历史存储部；以及援助行为判定部，在由所述人物判定部判定的所述人物中包含所述护理者的情况下，基于所述拍摄数据判定该护理者的所述援助行为的类别，将该援助行为的类别与所述护理历史信息相对应地存储于所述护理历史存储部。
为了解决为低价且简单的***结构并且通过同时且简单地进行与被护理者的生活相关的记录和与护理者的援助行为相关的记录而谋求护理业务的高效化这样的课题，本发明提供一种护理记录方法，用于记录被护理者的状态和护理者对所述被护理者进行的援助行为，其中，所述护理记录方法具有：从拍摄所述被护理者的摄像头获取拍摄数据的拍摄数据获取步骤；基于所述拍摄数据检测映出的人物，并且，判定该人物是所述被护理者还是所述护理者的人物判定步骤；基于所述拍摄数据判定所述被护理者的状态类别，将使日期时间与该状态类别相对应的护理历史信息存储于护理历史存储部的被护理者状态判定步骤；以及在由所述人物判定步骤判定的所述人物中包含所述护理者的情况下，基于所述拍摄数据判定该护理者的所述援助行为的类别，将该援助行为的类别与所述护理历史信息相对应地存储于所述护理历史存储部的援助行为判定步骤。
发明效果
根据本发明，为低价且简单的***结构，并且，通过同时且简单地进行与被护理者的生活相关的记录和与护理者的援助行为相关的记录，从而能够谋求护理业务的高效化。
附图说明
图1是示出本发明的护理记录***的一个实施方式的框图。
图2是示出本实施方式的被护理者的状态类别中的姿势状态的一例的图。
图3是示出由本实施方式的区域设定部在拍摄数据的拍摄范围内设定的区域的图。
图4是示出简单设定本实施方式的身体评价等级的情况的一例的图。
图5是示出存储于本实施方式的护理历史存储部的护理历史表的一例的图。
图6是示出本实施方式的被护理者状态判定部的姿势判定模式下根据拍摄数据检测各身体部位的各坐标的结果的图。
图7是示出根据在本实施方式的被护理者状态判定部的身体部位区域判定模式下进行了区域设定的拍摄数据检测各身体部位的各坐标的结果的图。
图8是示出本实施方式的护理记录图像生成部生成的护理记录图像的一例的图。
图9是示出本实施方式的护理记录图像生成部生成的异常记录图像的一例的图。
图10是示出由本实施方式的异常状态通知部通知的异常信息的显示例的图。
图11是示出本实施方式的护理记录***的作用的流程图。
图12是示出本实施方式的被护理者状态判定部的姿势判定模式的作用的流程图。
图13是示出本实施方式的被护理者状态判定部的状态学习判定模式的作用的流程图。
图14是示出本实施方式的被护理者状态判定部的身体部位区域判定模式的作用的流程图。
图15是示出本实施方式的援助行为判定部的手势判定模式的作用的流程图。
图16是示出本实施方式的援助行为判定部的手指判定模式的作用的流程图。
图17是示出本实施方式的援助行为判定部的援助行为学习判定模式的作用的流程图。
具体实施方式
以下，使用附图对本发明的护理记录装置、护理记录***、护理记录程序及护理记录方法的一个实施方式进行说明。
本实施方式的护理记录***1用于记录被护理者的生活的状态和护理者对被护理者进行的援助行为，在本实施方式中，具有对被护理者的起居室内进行拍摄的护理记录用摄像头2、基于从该护理记录用摄像头2发送的拍摄数据来记录护理历史的护理记录装置3。以下，对各结构进行说明。
护理记录用摄像头2设置于被护理者的起居室、走廊、电梯前等，拍摄上述起居室内等的静态图像或动态图像。本实施方式的护理记录用摄像头2被构成为能够通过有线/无线LAN、WiFi、Bluetooth（注册商标）等与护理记录装置3的通信单元31进行通信连接，将拍摄到的图像作为拍摄数据实时发送至护理记录装置3。起居室内的护理记录用摄像头2的设置场所及设置个数等基于被护理者在起居室内的主要的姿势等来决定。例如，如果被护理者为卧床不起的状态，则设置于能够从容易识别从卧床不起的状态发生变化的角度拍摄的场所。
护理记录装置3用于记录被护理者的状态（状态类别）和护理者对被护理者进行的援助行为。在本实施方式中，状态类别是被护理者的生活中的各种状态，关于包含被护理者的睡眠的生活状态，包含能够记录的各种状态。具体而言，如图2所示那样，示例出躺下（就寝）、翻身（动作）中、起身（动作）中、（端坐）坐位、立起（动作）中、站立、跌倒/滚落等基于被护理者的姿势的状态、基于后述的被护理者的身体上的评价的需要注意的状态、危险的状态等。另外，援助行为是与对被护理者进行的身体上的总体援助相关的行为，示例出针对护士铃的赶到、起床援助、用餐援助、卫生间援助、尿布更换、洗澡援助、更衣援助、就寝援助等。
本实施方式的护理记录装置3由数据库服务器等计算机构成，如图1所示那样，主要具有：在与护理记录用摄像头2或外部通信终端4等之间进行通信的通信单元31；显示各种显示画面并且输入各种数据的显示输入单元32；存储各种数据并且作为运算处理单元34进行运算处理时的工作区域发挥作用的存储单元33；通过执行安装于存储单元33的护理记录程序3a，执行各种运算处理并作为后述的各构成部发挥作用的运算处理单元34。
通信单元31由通信模块等构成，用于向护理记录装置3安装通信功能。本实施方式的通信单元31从护理记录用摄像头2接收拍摄数据，或向外部便携终端4等发送图8至图10所示那样的护理记录图像及异常记录图像、异常通知等。通信方式没有特别限定，示例出有线/无线LAN、WiFi、Bluetooth（注册商标）等。
显示输入单元32是具有输入功能和显示功能的用户接口。本实施方式的显示输入单元32由具备触摸面板功能的显示屏构成，主要被用作显示各种信息的监控器及作为后述的区域设定部321及身体部位设定部322发挥作用的输入单元。此外，显示输入单元32的结构不限定于利用触摸面板式的显示屏的结构，也可以分别单独具有仅具备显示功能的显示单元及键盘等仅具备输入功能的输入单元。
存储单元33由硬盘、ROM（Read Only Memory：只读存储器）、RAM（Random AccessMemory：随机存取存储器）、闪存等构成，如图1所示那样，具有：存储护理记录程序3a的程序存储部331、存储人物数据的人物数据存储部332、存储被使用于被护理者的状态判定的状态判定用数据的状态判定用数据存储部333、存储被使用于护理者的援助行为判定的援助行为判定用数据的援助行为判定用数据存储部334、存储每个被护理者的身体评价等级的身体评价等级存储部335、存储被使用于被护理者的异常状态判定的异常状态判定用数据的异常状态判定用数据存储部336、按照时间序列存储被护理者的状态类别及护理者的援助行为类别的护理历史存储部337。
在程序存储部331安装有用于控制本实施方式的护理记录装置3的护理记录程序3a。而且，运算处理单元34执行该护理记录程序3a，由此，使计算机作为护理记录装置3中的各构成部发挥作用。
此外，护理记录程序3a的利用形式不限于上述结构。例如，也可以如CD－ROM及USB存储器等那样在计算机可读取的非暂时性记录介质中存储护理记录程序3a，从该记录介质直接读出而执行。另外，也可以从外部服务器等以云计算方式或ASP（Application ServiceProvider：应用服务提供商）方式等进行利用。
人物数据存储部332是存储被使用于人物判定的人物数据的数据库。在本实施方式中，存储有拍摄了被用于人物判定部342进行的人脸认证处理的对象人物的脸的人脸认证用数据、上述人物是被护理者或护理者等个人信息及对这些进行识别的ID编号等。此外，人物数据不限定于人脸图像数据等，也可以从通过与拍摄数据进行对比而能够进行人物判定处理的数据中适当选择。
状态判定用数据存储部333存储被使用于被护理者的状态判定的状态判定用数据。本实施方式的状态判定用数据存储部333存储与在后述的姿势判定模式343a进行的被护理者的状态类别的判定中被使用的身体部位的坐标对应的判别用坐标数据、在后述的状态学习判定模式343b进行的被护理者的状态类别的判定中被使用的状态学习完成数据、在后述的身体部位区域判定模式343c进行的被护理者的状态类别的判定中被使用的身体部位区域判定数据。
判别用坐标数据示例出每个身体部位的坐标值及各身体部位彼此的相对的坐标值等。身体部位由头部、躯干、手臂部、腿部、连接各身体部位的关节等构成，在本实施方式中，存储有能够判别被护理者的坐姿、站姿等的与身体部位对应的坐标数据。作为判别用坐标数据而存储的坐标数据是对从拍摄到坐姿等的图像中使用后述的姿势判定模式343a中所使用的姿势推定算法等提取的各身体部位的坐标进行学习而得到的坐标数据。此时，学习的图像优选考虑后述的被护理者的身体评价等级及设置于起居室内的护理记录用摄像头2的设置位置等进行拍摄。此外，在拍摄数据仅使用从一个方向拍摄的图像的情况下，坐标值基于由拍摄数据得到的二维坐标。另外，在使用从多个方向拍摄的图像的情况下，不仅使用二维坐标，还能够使用三维坐标。
状态学习完成数据是通过学习在被护理者的每个状态下预先拍摄得到的上述拍摄数据而得到的数据。在本实施方式中，存储有学习了拍摄了被护理者的坐姿、站姿等的拍摄数据的状态学习完成数据。
身体部位区域判定数据由在身体部位区域判定模式343c进行的判定时所使用的由区域设定部321设定的区域数据和由身体部位设定部322设定的身体部位数据构成。
区域设定部321主要根据被护理者的身体评价等级等在拍摄数据的拍摄范围内设定区域，在本实施方式中，通过使显示输入单元32作为输入单元发挥作用而构成。如图3所示那样，设定的区域具有比上述拍摄范围窄的面积，在本实施方式中，作为示出拍摄数据的拍摄范围内的特定的范围的坐标数据进行存储。另外，本实施方式的区域设定部321能够对一个拍摄范围设定多个区域。具体而言，能够适当选择并设定为了判定是否为需要注意的状态而设定的注意区域和为了判定是否为危险的状态而设定的危险区域。由此，能够针对每个区域划分判定结果。
身体部位设定部322与由区域设定部321设定的区域对应地设定被护理者的身体部位，在本实施方式中，通过使显示输入单元32作为输入单元发挥作用而构成。设定的身体部位由头部、躯干、手臂部、腿部、连接各身体部位的关节等构成，将由显示输入单元32键盘输入的身体部位名称或从显示的多个身体部位名称中选择输入的身体部位名称利用文本数据等进行存储。
援助行为判定用数据存储部334存储被使用于由护理者对被护理者进行的援助行为的判定的援助行为判定用数据。本实施方式的援助行为判定用数据存储部334存储由后述的手势判定模式344a进行的护理者的援助行为类别的判定中被使用的手势数据、由后述的手指判定模式344b进行的护理者的援助行为类别的判定中被使用的手指数据、由后述的援助行为学习判定模式344c进行的护理者的援助行为类别的判定中被使用的援助行为学习完成数据。
手势数据是使护理者进行的手势与援助行为相对应的数据。上述手势是护理者的特征的部位的动作或形状，示例出：利用手的前端或手臂等描绘的伴随三角形、四边形、星形等几何图形等的动作的动态手势；不伴随石头、剪刀、布这样的动作的静态手势。在手势数据中，将针对护士铃的赶到、起床援助、用餐援助、卫生间援助、尿布更换、洗澡援助、更衣援助、就寝援助等援助行为的类别与这些手势中的每一个相对应地存储。
手指数据是使护理者举起的手中突出的手指的个数与援助行为相对应的数据。例如，如在手指的个数为一个的情况下是针对护士铃的赶到、在两个情况下是起床援助那样，将手指的个数与各援助行为的类别相对应地存储。
援助行为学习完成数据是通过对针对护理者的援助行为的每个类别预先拍摄而得到的上述拍摄数据进行学习所获得的数据。在本实施方式中，存储有学习了拍摄到援助行为的每个类别的状态的拍摄数据的援助行为学习完成数据。例如，如图1所示那样，学习拍摄到进行了用餐援助的状态的拍摄数据，由此，生成与用餐援助对应的援助行为学习完成数据，并存储该数据。
身体评价等级存储部335是存储有每个被护理者的身体评价等级的数据库。本实施方式的身体评价等级是基于每个被护理者的日常生活的动作及徒手肌力测定结果制定的等级。在本实施方式中，用于根据由姿势判定模式343a及状态学习判定模式343b判定的被护理者的姿势来判定正常及异常，如图4所示那样，在坐姿及站姿中分别制定有允许、需要援助、不允许。具体而言，在坐姿中，允许被制定为总是同意坐姿的等级，需要援助被制定为在与援助者等看护人或辅助器具一起等条件下同意坐姿的等级，不允许被制定为不同意坐姿的等级。或者，在站姿中，允许被制定为总是同意站姿的等级，需要援助被制定为在与援助者等看护人或辅助器具一起等条件下同意站姿，不允许被制定为不同意站姿的等级。图4所示的评价等级示出了虽然能够自由地进行坐姿但在站姿的情况下需要援助的等级。
另外，作为身体评价等级，示例出使用日常生活动作（ADL）的国际上的评价方法即FIM（Functional Independence Measure：功能独立性测度）或在评价全身的肌力时在临床上主要使用的徒手肌力测定MMT（manual lmuscle test）等的方法。
FIM是主要基于功能等级的评价方法，以“0. 完全自立”、“1. 在特殊环境下自立”、“2. 轻度援助”、“3. 中度援助”、“4. 重度援助”、“5. 全面援助”这6个阶段进行评价。
另外，在MMT中，将即使施加强有力的阻力也能够完全活动的肌力等级设为“5. 正常”、将即使施加很大的阻力也能够完全活动的肌力等级设为“4. 良好”、将克服重力而完全活动的肌力等级设为“3. 可”、将如果除去重力则完全活动的肌力等级设为“2. 差”、将关节不活动的仅肌肉收缩的肌力等级设为“1. 微缩”、将完全看不到肌肉收缩的肌力等级设为“0. 零”而以6个阶段进行评价。
除此之外，还能够使用基于用餐、卫生间、调整姿势的认知能力进行“0.完美”、“1.局部”、“2.轻微”、“3.无”这样的4个阶段的评价或作为运动的最佳响应的“0. 遵循命令”、“1. 移动至痛部位”、“3. 逃避四肢弯曲”、“4. 四肢弯曲异常”、“4. 四肢伸展”、“5. 完全没有移动”这样的评价。
而且，在身体评价等级存储部335中，对每个被护理者存储有利用至少任一种评价方法评价的等级。
异常状态判定用数据存储部336基于身体评价等级或被护理者的状态类别将被护理者的正常/异常进行数据库化。在本实施方式中，按身体评价等级和被护理者的姿势的每个组合存储是正常还是异常。
例如，如图4所示那样，在虽然能够自由地进行坐姿但在站姿的情况下需要援助的等级的情况下，在状态类别为“坐姿”的情况下作为“正常”进行存储，在要从坐姿单独立起的情况下或已经立起的情况下存储为“异常”。同样地，在基于MMT的身体评价等级为能够使肌肉没有问题地活动的“5. 正常”等级的情况下，在状态类别为“坐姿”的情况下作为“正常”进行存储。另一方面，在基于MMT的身体评价等级为完全不能使肌肉活动的“0. 零”等级的情况下，即使状态类别为相同的“坐姿”，该被护理者也不好采取坐姿，因此，作为“异常”进行存储。这样，针对状态类别的正常/异常根据身体评价等级不同而不同。因此，在异常状态判定用数据存储部336中，存储有针对每个身体评价等级的状态类别的正常或异常。此外，正常及异常的区分没有特别限定，但是，对于正常、稍微异常、异常、非常异常等异常，也可以设定与该异常等级对应的区分。在此，也可以适当选择上述异常等级的区分数或对应的名称等。
护理历史存储部337对每个被护理者（每个被护理者ID）以时间序列积累该被护理者的状态及援助行为的信息并存储护理历史信息。如图5所示那样，本实施方式的护理历史存储部337以规定的时间间隔存储有将日期时间与由后述的被护理者状态判定部343判定的状态类别例如由姿势判定模式343a或状态学习判定模式343b判定的姿势的状态或由身体部位区域判定模式343c判定的需要注意的状态及危险的状态相对应的护理历史信息，并且，能够将由援助行为判定部344判定的援助行为的类别及进行了该援助行为的人物的护理者ID相对应地进行存储。另外，在本实施方式中，在由身体部位区域判定模式343c所得到的判定结果为需要注意的状态及危险的状态的情况下，能够存储此时拍摄的拍摄数据。
此外，存储于护理历史存储部337的护理历史信息的项目不限定于图5所示的项目，也可以根据需要进行增减。另外，关于针对被护理者的状态的护理者的援助行为等，如果能够进行相互的对应，则也可以由其它的存储部管理被护理者的护理历史信息和护理者的护理历史信息。另外，也可以作为与正常或异常、需要注意的状态、危险的状态等状态类别不同的项目进行存储。
接着，对运算处理单元34进行说明。运算处理单元34由CPU（Central ProcessingUnit：中央处理器）等构成，通过执行安装于存储单元33的护理记录程序3a，如图1所示那样，作为拍摄数据获取部341、人物判定部342、被护理者状态判定部343、援助行为判定部344、援助记录图像生成部345、异常状态判别部346及异常状态通知部347发挥作用。
拍摄数据获取部341获取从护理记录用摄像头2发送的拍摄数据。在本实施方式中，拍摄数据获取部341以规定的时间间隔获取经由通信单元31从护理记录用摄像头2发送的拍摄数据。
人物判定部342检测由拍摄数据获取部341获取的拍摄数据中映出的人物，并且，判定该人物是被护理者还是护理者。具体而言，使用一般的人物检测算法，判定在拍摄数据内是否提取到人物区域。在提取到人物区域的情况下，从人物数据存储部332读出人脸认证用数据，将作为人脸认证用数据而存储的人脸图像和所提取的人物区域中的人脸区域进行对照，由此，判定该人物是被护理者或是护理者。
此外，在本实施方式中，利用人脸认证判定是被护理者还是护理者，但判定是被护理者还是护理者的方法不限于利用人脸认证的方法，例如，也可以在检测出的人物的位置为床位区域的内侧的情况下，判定为该人物是被护理者，在是床位区域的外侧的规定的位置的情况下，判定为该人物是护理者。
被护理者状态判定部343判定被护理者的状态类别。在本实施方式中，具有：姿势判定模式343a，基于身体部位的各坐标判定上述被护理者的上述状态类别；状态学习判定模式343b，基于状态学习完成数据及获取的上述拍摄数据判定上述状态类别；身体部位区域判定模式343c，基于在设定的区域内是否存在特定的身体部位，判定是需要注意的状态或是危险的状态。
姿势判定模式343a使用姿势推定算法，如图6所示那样，根据由拍摄数据获取部341获取的拍摄数据检测被护理者的关节点及人脸的各身体部位（眼睛、耳朵、鼻子等）的各坐标，将该检测出的各坐标和存储于状态判定用数据存储部333的判别用坐标数据进行比较，得到与判别用坐标数据的相似度及表示姿势的特征量，由此，判定被护理者的坐姿及站姿等类别。姿势推定算法能够适当选择，示例出使用了DeepLearning的OpenPose（tf-pose-estimation等）或PoseNet、BodyPix等。该姿势推定算法可以由护理记录装置3的运算处理单元34进行执行处理，也可以利用具备图像处理单元的其它装置或使用了Google作为开源而公开的机器学习库TensorFlow等的Web浏览器进行执行处理。
此外，姿势判定模式343a中的坐标是特别指定拍摄数据的拍摄范围内的位置的坐标，如上述那样，能够根据图像的拍摄方向及拍摄方向的数量从二维坐标或三维坐标中适当选择。
状态学习判定模式343b基于状态学习完成数据和拍摄数据判定状态的类别。具体而言，根据拍摄数据算出表示被护理者的图像区域的图像特征量。而且，读出存储于状态判定用数据存储部333的状态学习完成数据，计算算出的图像特征量与各状态学习完成数据的相似度。在状态学习完成数据中存在算出的相似度为规定的阈值以上的数据的情况下，将该状态学习完成数据的类别判定为被护理者的状态的类别。在相似度为规定的阈值以上的数据存在多个的情况下将相似度大的数据判定为被护理者的状态类别也可以。
身体部位区域判定模式343c在拍摄数据的拍摄范围内设定区域，基于设定于该区域内的被护理者的身体部位的有无，判定状态的类别，在本实施方式中，基于作为身体部位区域判定数据而存储于状态判定用数据存储部333的由区域设定部321设定的区域及由身体部位设定部322设定的身体部位，判定是正常的状态、还是需要注意的状态、或是危险的状态。
在本实施方式的身体部位区域判定模式343c中，使用与姿势判定模式343a同样的姿势推定算法，如图7所示那样，根据由拍摄数据获取部341获取的拍摄数据检测被护理者的关节点及人脸的各身体部位（眼睛、耳朵、鼻子等）的坐标，根据该检测出的坐标的配置等特别指定被护理者的身体部位。而且，判别该身体部位中与由身体部位设定部322设定的身体部位一致的身体部位的位置（坐标）是由区域设定部321设定的区域内还是区域外。在本实施方式中，在判别为设定的身体部位在上述区域外的情况下，判定为正常的状态，在判别为设定的身体部位在上述区域内的情况下，判定为是需要注意的状态或危险的状态。此外，其判定基准也可以与本实施例相反地设定成在判别为身体部位在区域外的情况下判定为是需要注意的状态或危险的状态的基准。
此外，根据拍摄数据检测表示上述被护理者的各身体部位的拍摄范围内的位置不限定于基于通过姿势推定算法得到的坐标的方法，例如，也可以如状态学习判定模式343b那样将学习了各身体部位的图像的状态学习完成数据和拍摄数据进行比较，根据其相似度进行检测。
在本实施方式的被护理者状态判定部343中，在姿势判定模式343a、状态学习判定模式343b及身体部位区域判定模式343c的哪个模式下，在由人物判定部342未检测到人物的情况下及在检测到的人物为被护理者以外的情况下，都设为在起居室内没有被护理者，将被护理者的状态类别判定为“活动（下床）”。
而且，如图5所示那样，被护理者状态判定部343将判定的状态类别作为对每个被护理者以时间序列排列而制成的护理历史信息存储于护理历史存储部337。
援助行为判定部344判定援助行为的类别，判定在由人物判定部342判别的拍摄数据内的人物中是否包含护理者，在其中包含护理者的情况下，基于上述拍摄数据判定上述护理者进行的援助行为的类别。本实施方式的援助行为判定部344具有基于护理者进行的手势判别援助行为的类别的手势判定模式344a、基于护理者竖立的手指的个数判别援助行为的类别的手指判定模式344b、基于援助行为学习完成数据及获取的拍摄数据判定援助行为的类别的援助行为学习判定模式344c。
在手势判定模式344a中，根据拍摄数据检测护理者是否进行了规定的手势，在检测到手势的情况下，判定与该手势相对应的援助行为的类别。具体而言，首先，从拍摄数据中提取护理者的手区域或手臂区域等的特征性的部位。然后，从援助行为判定用数据存储部334中读出手势数据，对提取出的特征性的部位的动作或形状和手势数据进行比较，分别算出各图案的相似度，判定是否存在相似度为规定的阈值以上的手势。在存在规定的阈值以上的手势的情况下，将与该手势图案相对应的援助行为的类别判定为护理者进行的援助行为的类别。在相似度为规定的阈值以上的手势存在多个的情况下将相似度大的手势判定为援助行为的类别也可以。
在手指判定模式344b中，根据拍摄数据检测护理者是否进行了竖立手指的动作，在检测到竖立手指的动作的情况下，提取竖立的手指的个数，将与该个数相对应的援助行为判定为护理者的援助行为的类别。例如，根据拍摄数据二值化为护理者的手区域和其它区域。检测在手区域中突出的部位的数量。然后，将检测出的数量设为护理者的竖立的手指的个数。然后，从存储于援助行为判定用数据存储部334的手指数据提取与手指的个数相对应的援助行为，将该援助行为判定为护理者进行的援助行为的类别。
此外，竖立的手指的个数的检测方法不限定于将护理者的手区域和其它区域二值化来执行的方法，也可以从能够提取竖立的手指的个数的其它的算法等中适当选择。
在援助行为学习判定模式344c中，基于援助行为学习完成数据和拍摄数据判定援助行为的类别。具体而言，根据拍摄数据算出图像特征量。此时，算出的图像的特征量可以是护理者、被护理者或其双方。而且，读出存储于援助行为判定用数据存储部334的援助行为学习完成数据，计算算出的图像特征量与各援助行为学习完成数据的相似度。在援助行为学习完成数据中存在算出的相似度为规定的阈值以上的数据的情况下，将该援助行为学习完成数据的类别判定为护理者的援助行为。在相似度为规定的阈值以上的数据存在多个的情况下将相似度大的数据判定为护理者的援助行为的类别也可以。
另外，在援助行为学习判定模式344c中，也能够使用机器学习算法进行判定。即，在援助行为判定用数据存储部334中，作为在机器学习算法中设定的学习参数而存储有援助行为学习完成数据，将该援助行为学习完成数据设定于学习完成模型中，判定通过对该学习完成模型输入拍摄数据而得到的输出结果是否为规定的阈值以上也可以。在该情况下，在输出结果为规定的阈值以上的情况下，判定成为该输出结果的援助行为的类别。
另外，在本实施方式中，为了也与由多个护理者进行援助行为的情况对应，不仅使用由单独的护理者进行援助行为的拍摄数据，而且也可以使用由多个护理者进行援助行为的拍摄数据进行学习。此外，机器学习算法与姿势推定算法同样地，可以由护理记录装置3的运算处理单元34进行执行处理，也可以利用具备图像处理单元的其它装置或Web浏览器进行执行处理。
而且，援助行为判定部344将援助行为的类别与被护理者的护理历史信息相对应地存储于护理历史存储部337。在本实施方式中，如图5所示那样，将进行了该援助行为的护理者的护理者ID与援助行为的类别一同进行存储。在由多位护理者进行了援助行为的情况下，存储各个护理者ID。
护理记录图像生成部345用于生成用于显示护理记录的护理记录图像、用于显示被护理者的异常状态和所记录的信息的异常记录图像。本实施方式的护理记录图像生成部345在从显示输入单元32或外部通信终端4指示了护理记录的显示的情况下，从护理历史存储部337读出护理历史信息，生成护理记录图像并发送到显示输入单元32。在该护理记录图像中，将被护理者的状态类别及援助行为的类别一并记载于同一画面并针对每个被护理者进行显示。
例如，如图8所示那样，为了能够一眼辨识被护理者的一天的生活的状态，对于将24小时以各时间划分的横轴，设置有将与各状态类别（“睡眠”、“活动”、“活动（下床）”）对应的项目按照纵向配置的状态类别显示栏。在该状态类别显示栏中，与各状态类别的时间范围相对应地按照每个项目着色成带状进行显示。进而，在状态类别显示栏的下侧，与进行了援助行为的时间对应地设置有显示援助行为的类别的援助行为显示栏。
另外，在从显示输入单元32或外部通信终端4指示了异常状态的显示的情况下，从护理历史存储部337中读出护理历史信息，生成由作为异常状态的显示所需要的信息的一览表构成的异常记录图像。具体而言，如图9所示那样，生成由需要注意的状态或危险的状态等异常状态的判定结果、异常判定的日期时间、及此时拍摄的拍摄数据构成的异常记录图像。而且，将生成的异常记录图像发送到显示输入单元32。
此外，显示护理记录图像的不限定于显示输入单元32，如图1所示那样，也可以向以能够经由通信单元进行通信的方式连接的外部通信终端4发送上述图像并使其显示。
异常状态判别部346基于被护理者的身体评价等级和根据拍摄数据而判别的被护理者的状态的类别，判别上述被护理者是正常还是异常。具体而言，伴随着获取由被护理者状态判定部343中的姿势判定模式343a及状态学习判定模式343b判定的被护理者的状态的类别（姿势状态），从身体评价等级存储部335中读出对被护理者赋予的身体评价等级。然后，从存储于异常状态判定用数据存储部336的数据库中提取由被护理者的身体评价等级和状态的类别的组合制定的正常及异常、或者稍微异常、异常、非常异常等的异常等级，基于此判别被护理者的正常及异常。
另外，异常状态判别部346在由身体部位区域判定模式343c判别为与由身体部位设定部322设定的身体部位一致的身体部位的位置位于由区域设定部321设定的区域内的情况下，从状态判定用数据存储部333中获取该区域是注意区域还是危险区域的信息。然后，在该区域为注意区域的情况下，判别为被护理者为需要注意的状态，在该区域为危险区域的情况下，判别为被护理者为危险的状态。
异常状态通知部347在由异常状态判别部346判别为被护理者的状态为异常状态的情况及由身体部位区域判定模式343c判别为与由身体部位设定部322设定的身体部位一致的身体部位的位置位于由区域设定部321设定的区域内的情况下，通知该情况。在本实施方式中，经由通信单元31将异常状态及异常时的被护理者的拍摄数据向显示输入单元32或外部通信终端4发送。由此，如图10所示那样，能够在显示输入单元32或外部通信终端4的显示画面上显示通知被护理者的拍摄数据及异常状态的弹出窗口，或从扬声器（未图示的）发出通知声音。此外，向护理者等通知异常状态的设备没有特别限定，例如，也可以从能够根据异常状态的判别结果进行点亮、闪烁、熄灭及变色的应急灯（灯）等中适当选择。
接着，对本实施方式的护理记录装置3、护理记录***1、护理记录程序3a的各结构的作用及护理记录方法进行说明。
在本实施方式中，护理记录用摄像头2对被护理者的起居室内进行拍摄。而且，如图11所示那样，护理记录装置3的拍摄数据获取部341经由通信单元31获取由上述护理记录用摄像头2拍摄的被护理者的起居室内的拍摄数据（拍摄数据获取步骤：S1）。
人物判定部342检测映入拍摄数据的人物，并且，判定该人物是被护理者还是护理者（人物判定步骤：S2）。由此，能够区别被护理者和护理者并对各自执行适当的判定处理。
接着，被护理者状态判定部343基于拍摄数据判定被护理者的状态类别（被护理者状态判定步骤：S3）。在本实施方式中，利用从姿势判定模式343a、状态学习判定模式343b及身体部位区域判定模式343c适当选择的一个模式进行判定。此外，选择的模式不限定于一个，也可以选择多个模式进行判定。
在选择了姿势判定模式343a的情况下，如图12所示那样，首先，判定在由人物判定部342判定的拍摄数据内的人物中是否包含被护理者（S11）。在包含被护理者的情况下（S11：是），根据由拍摄数据获取部341获取的拍摄数据检测被护理者的关节点及人脸的各身体部位（眼睛、耳朵、鼻子等）的各坐标并存储于存储单元33（S12）。另外，从状态判定用数据存储部333中读出判别用坐标数据（S13）。然后，比较检测出的各坐标和读出的判别用坐标数据，判定被护理者的状态类别（S14）。
另一方面，在由人物判定部342判定的拍摄数据内的人物中不包含被护理者的情况下（S11：否），设为处于起居室外，判定为是活动状态（“活动（下床）”）（S15）。
而且，被护理状态判定部343将判定出的被护理者的状态类别如图5所示那样按照时间序列汇总并存储于护理历史存储部337（S16）。
另外，在选择了状态学习判定模式343b的情况下，如图13所示那样，判定在由人物判定部342判定的拍摄数据内的人物中是否包含被护理者（S21），在包含被护理者的情况下（S21：是），根据拍摄数据算出表示被护理者的图像区域的图像特征量（S22）。另外，读出存储于状态判定用数据存储部333的状态学习完成数据（S23）。接着，计算算出的图像特征量与各状态学习完成数据的相似度（S24）。然后，判别在状态学习完成数据中是否存在算出的相似度为规定的阈值以上的数据（S25）。在此，在存在规定的阈值以上的数据的情况下（S25：是），将该状态学习完成数据的类别判定为被护理者的状态的类别（S26）。在不存在规定的阈值以上的数据的情况下（S25：否），返回S1，基于其它的拍摄数据尝试被护理者的状态类别的判定。
另一方面，在由人物判定部342判定的拍摄数据内的人物中不包含被护理者的情况下（S21：否），设为处于起居室外，判定为是活动状态（“活动（下床）”）（S27）。
而且，将判定的被护理者的状态类别如图5所示那样按照时间序列汇总并存储于护理历史存储部337（S28）。
进而，在选择了身体部位区域判定模式343c的情况下，如图14所示那样，判定在由人物判定部342判定的拍摄数据内的人物中是否包含被护理者（S31）。在包含被护理者的情况下（S31：是），根据由拍摄数据获取部341获取的拍摄数据检测被护理者的关节点及人脸的各身体部位（眼睛、耳朵、鼻子等）的各坐标，根据该检测出的坐标的配置等特别指定被护理者的身体部位（S32）。接着，从状态判定用数据存储部333中获取作为身体部位区域判定数据而存储的区域数据和身体部位数据（S33）。而且，基于在S32中特别指定的被护理者的身体部位，获取作为身体部位数据而存储的所设定的身体部位的坐标（S34）。接着，判别该身体部位的坐标位置是否在区域数据的坐标范围外（S35）。在此，在设定的身体部位的坐标在区域数据的坐标范围外的情况下（S35：是），判定为不是需要注意的状态或危险的状态的正常的状态（S36）。另一方面，在设定的身体部位的坐标不在区域数据的坐标范围外（位于范围内）的情况下（S35：否），异常状态判别部346判别该区域是注意区域还是危险区域（S37）。在此，在设定成注意区域的情况下（S37：注意区域），将被护理者的状态类别判定为“需要注意的状态”（S38）。另一方面，在设定成危险区域的情况下（S37：危险区域），将被护理者的状态类别判定为“危险的状态”（S39）。
另一方面，在由人物判定部342判定的拍摄数据内的人物中不包含被护理者的情况下（S31：否），设为处于起居室外，判定为是活动状态（“活动（下床）”）（S40）。
而且，将判定的被护理者的状态类别如图5所示那样按照时间序列汇总并存储于护理历史存储部337（S41）。
这样，被护理者状态判定部343将使日期时间与状态类别相对应的护理历史信息存储于护理历史存储部337。由此，不需要存储拍摄数据本身，因此，能够保护被护理者的隐私且能够记录护理历史。
接着，援助行为判定部344进行由护理者进行的援助行为的判定（援助行使判定步骤：S4）。在本实施方式中，利用从手势判定模式344a、手指判定模式344b或援助行为学习判定模式344c适当选择的一个模式进行判定。此外，选择的模式不限定于一个，也可以选择多个模式进行判定。
在选择了手势判定模式344a的情况下，如图15所示那样，首先，判定在由人物判定部342判定的拍摄数据内的人物中是否包含护理者（S51）。而且，援助行为判定部344在拍摄数据内的人物中包含护理者的情况下（S51：是），从拍摄数据提取护理者的手区域或手臂区域等特征性的部位的动作或形状（S52）。另外，从援助行为判定用数据存储部334中读出手势数据（S53）。接着，对上述特征性的部位的动作或形状和手势数据进行比较，分别算出各图案的类似度（S54）。而且，判定是否存在类似度为规定的阈值以上的手势（S55）。由此，检测在拍摄数据中是否包含护理者所作的规定手势。在此，在存在规定的阈值以上的手势的情况下（S55：是），将与该手势图案相对应的援助行为的类别判定为护理者进行的援助行为的类别（S56）。而且，如图5所示那样，将判定的护理者的援助行为的类别与被护理者的状态类别匹配地存储于护理历史存储部337（S57）。然后，结束援助行为的判定。
另一方面，在不存在规定的阈值以上的手势的情况下（S55：否）及在拍摄数据内的人物中不包含护理者的情况下（S51：否），设为护理者未进行援助行为，结束援助行为的判定。
在选择了手指判定模式344b的情况下，如图16所示那样，判定在由人物判定部342判定的拍摄数据内的人物中是否包含护理者（S61），在包含护理者的情况下（S61：是S），从拍摄数据提取护理者的手区域（S62）。而且，根据提取的手的区域判定竖立的手指的个数（S63）。例如，在本实施方式中，二值化为手区域和其它的区域，检测在手区域中突出的部位的数量，将该数量判定为护理者的竖立的手指的个数。接着，读出存储于援助行为判定用数据存储部334的手指数据（S64）。然后，从手指数据中提取与在S63中判定的手指的个数相对应的援助行为，将该援助行为判定为护理者进行的援助行为的类别（S65）。然后，如图5所示那样，将判定的护理者的援助行为的类别与被护理者的状态类别匹配地存储于护理历史存储部337（S66），结束援助行为的判定。
在选择了援助行为学习判定模式344c的情况下，如图17所示那样，判定在由人物判定部342判定的拍摄数据内的人物中是否包含护理者（S71），在包含护理者的情况下（S71：是），根据拍摄数据算出图像特征量（S72）。接着，从援助行为判定用数据存储部334中读出援助行为学习完成数据（S73）。而且，基于算出的图像特征量和各援助行为学习完成数据算出相似度（S74）。另外，判定算出的相似度是否为规定的阈值以上（S75）。在此，在相似度为规定的阈值以上的情况下（S75：是），将该援助行为学习完成数据的类别判定为护理者的援助行为（S76）。而且，如图5所示那样，将判定的护理者的援助行为的类别与被护理者的状态类别匹配地存储于护理历史存储部337（S77），结束援助行为的判定。
这样，在援助行为学习判定模式344c中，不需要护理者的手势及竖立手指的行为。因此，能够降低护理者忘记记录所造成的记录遗漏的发生。
接着，异常状态判别部346基于被护理者的身体评价等级和根据拍摄数据判别的被护理者的状态的类别，判别上述被护理者是正常还是异常（异常状态判别步骤：S5）。在本实施方式中，在由姿势判定模式343a及状态学习判定模式343b判定了被护理者的状态的情况下，判别与在异常状态判定用数据存储部336中存储的根据身体评价等级和被护理者的状态类别的组合预先确定的正常或异常中的哪一个相符合。另外，在由身体部位区域判定模式343c判别为与由身体部位设定部322设定的身体部位一致的身体部位的位置位于由区域设定部321设定的区域内的情况下，从状态判定用数据存储部333中获取该区域是注意区域还是危险区域的信息，在该区域为注意区域的情况下，判定为被护理者是需要注意的状态，在该区域为危险区域的情况下，判别为被护理者是危险的状态。
而且，在判别为被护理者的状态为异常状态的情况下或者在身体部位区域判定模式343c的判定结果为“需要注意的状态”及“危险的状态”时，异常状态通知部347经由通信单元31向显示输入单元32或外部通信终端4发送异常（异常状态通知步骤：S6）。在本实施方式中，发送异常的信息、或者需要注意的状态及危险的状态的信息、异常时的被护理者的拍摄数据。在接收到这些信息的显示输入单元32或外部通信终端4中，如图10所示那样，将接收的异常状态及异常时的被护理者的拍摄数据显示于显示画面上，并且，从扬声器发出通知声音。由此，能够向在显示输入单元32的附近作业的护理者或携带外部通信终端4的护理者迅速通知被护理者的异常状态。
在记录护理历史的期间重复处理以上的S1～S6。
另外，护理记录图像生成部345在从显示输入单元32或外部通信终端4指示了护理记录的显示的情况下，如图8所示那样，使用护理历史信息生成护理记录图像，并将其显示于显示输入单元32或经由通信单元31向外部通信终端4发送。在上述护理记录图像中，将被护理者的状态类别及援助行为的类别一并记载于同一画面中，因此，能够容易一眼知晓地显示被护理者的一天的生活的状态。另外，将状态类别和援助行为的类别在护理历史表中进行统一管理，因此，不需要读出多个数据库并进行综合的麻烦，能够简单且有效地进行显示。另外，在指示了异常记录的显示的情况下，如图9所示那样，使用护理历史信息生成异常记录图像，并将其显示于显示输入单元32或经由通信单元31向外部通信终端4发送。在异常记录图像中，将此时的拍摄数据与成为异常的状态的日期时间一同显示，因此，能够确认实际上成为怎样的状态（姿势）。
根据以上那样的本实施方式的护理记录装置3、护理记录***1、护理记录程序3a及护理记录方法，实现以下这样的效果。
1.护理记录用摄像头2兼备输入被护理者的状态的功能和输入护理者的援助行为的功能，因此，不需要设置多个传感器或终端装置等，能够由低价且简单的***结构记录护理历史。
2.不是记录由护理记录用摄像头2拍摄的拍摄数据（图像或动态图像），而是将状态的类别作为护理记录进行记录，因此，能够保护被护理者的隐私。
3.护理者的援助行为不需要操作终端等进行的直接的输入操作，因此，能够减轻记录业务的负担。
4.能够生成将护理者的状态类别和援助行为的类别一并记载于同一画面的护理记录图像，因此，能够容易一眼知晓被护理者的一天的生活的状态，此外，能够一目了然地确认护理者是否进行了援助行为。
5.能够判别与被护理者的身体评价等级对应的正常/异常，因此，能够对每个被护理者进行迅速且精细的援助行为。
此外，本发明的护理记录装置、护理记录***、护理记录程序及护理记录方法不限定于上述的本实施方式，能够适当变更。例如，在上述的本实施方式中，护理记录装置3具有护理记录图像生成部345，但未必需要设置。另外，护理历史信息存储部337也可以向外部的数据服务器等发送并存储。另外，也可以将人物数据和身体评价等级综合存储于相同的存储部。
符号说明
1 护理记录***
2 护理记录用摄像头
3 护理记录装置
3a 护理记录程序
4 外部通信终端
31 通信单元
32 显示输入单元
33 存储单元
34 运算处理单元
321 区域设定部
322 身体部位设定部
331 程序存储部
332 人物数据存储部
333 状态判定用数据存储部
334 援助行为判定用数据存储部
335 身体评价等级存储部
336 异常状态判定用数据存储部
337 护理历史存储部
341 拍摄数据获取部
342 人物判定部
343 被护理者状态判定部
343a 姿势判定模式
343b 状态学习判定模式
343c 身体部位区域判定模式
344 援助行为判定部
344a 手势判定模式
344b 手指判定模式
344c 援助行为学习判定模式
345 护理记录图像生成部
346 异常状态判别部
347 异常状态通知部。

Claims (12)

1.一种护理记录装置，用于记录被护理者的状态和护理者对所述被护理者进行的援助行为，其中，所述护理记录装置具有：
拍摄数据获取部，从拍摄所述被护理者的摄像头获取拍摄数据；
人物判定部，基于所述拍摄数据检测映出的人物，并且，判定该人物是所述被护理者还是所述护理者；
被护理者状态判定部，基于所述拍摄数据判定所述被护理者的状态类别，将使日期时间与该状态类别相对应的护理历史信息存储于护理历史存储部；以及
援助行为判定部，在由所述人物判定部判定的所述人物中包含所述护理者的情况下，基于所述拍摄数据判定该护理者的所述援助行为的类别，将该援助行为的类别与所述护理历史信息相对应地存储于所述护理历史存储部。
2.根据权利要求1所述的护理记录装置，其中，
所述被护理者状态判定部具有：姿势判定模式，根据所述拍摄数据检测表示所述被护理者的姿势的身体部位的各坐标，并且，基于所述身体部位的各坐标判定所述被护理者的所述状态类别。
3.根据权利要求1或权利要求2所述的护理记录装置，其中，
所述被护理者状态判定部具有：状态学习判定模式，基于通过学习针对所述被护理者的每个状态预先拍摄的所述拍摄数据而得到的状态学习完成数据和所获取的所述拍摄数据，判定所述状态类别。
4.根据权利要求1至权利要求3中的任一项所述的护理记录装置，其中，具有：
区域设定部，在所述拍摄数据的拍摄范围内设定比该拍摄范围小的区域；以及
身体部位设定部，与由该区域设定部设定的区域对应地设定所述被护理者的身体部位，
所述被护理者状态判定部具有：身体部位区域判定模式，根据所述拍摄数据检测表示所述被护理者的各身体部位的拍摄范围内的位置，并且，基于这些各身体部位的位置中由所述身体部位设定部设定的身体部位的位置是否位于由所述区域设定部设定的区域内，判定所述被护理者的所述状态类别。
5.根据权利要求1至权利要求4中的任一项所述的护理记录装置，其中，
所述援助行为判定部具有：手势判定模式，根据所述拍摄数据检测所述护理者是否进行了规定的手势，在检测到所述手势的情况下，判定与该手势相对应的所述援助行为的类别。
6.根据权利要求1至权利要求5中的任一项所述的护理记录装置，其中，
所述援助行为判定部具有：手指判定模式，根据所述拍摄数据检测所述护理者是否进行了竖立手指的动作，在检测到竖立手指的动作的情况下，判定与竖立的手指的个数相对应的所述援助行为的类别。
7.根据权利要求1至权利要求6中的任一项所述的护理记录装置，其中，
所述援助行为判定部具有：援助行为学习判定模式，基于通过学习针对所述援助行为的每个类别预先拍摄的所述拍摄数据而得到的援助行为学习完成数据和所获取的所述拍摄数据，判定所述援助行为的类别。
8.根据权利要求1至权利要求7中的任一项所述的护理记录装置，其中，
具有：护理记录图像生成部，使用存储于所述护理历史存储部的所述护理历史信息，生成用于将所述被护理者的状态类别及所述援助行为的类别一并记载于同一画面并针对每个所述被护理者进行显示的护理记录图像。
9.根据权利要求1至权利要求8中的任一项所述的护理记录装置，其中，具有：
身体评价等级存储部，存储针对每个所述被护理者制定的身体评价等级；
异常状态判别部，判别成为由所述被护理者状态判定部判定的对象的被护理者的状态类别是否为与该被护理者的所述身体评价等级对应的异常状态；以及
异常状态通知部，在判别为所述被护理者为异常状态的情况下，通知该情况。
10.一种护理记录***，具有：
权利要求1至权利要求9中的任一项所述的护理记录装置；以及
护理记录用摄像头，设置于所述被护理者的起居室，对所述起居室内进行拍摄并将其拍摄数据向所述护理记录装置发送。
11.一种护理记录程序，用于记录被护理者的状态和护理者对所述被护理者进行的援助行为，其中，
所述护理记录程序使计算机作为如下部件发挥作用：
拍摄数据获取部，从拍摄所述被护理者的摄像头获取拍摄数据；
人物判定部，基于所述拍摄数据检测映出的人物，并且，判定该人物是所述被护理者还是所述护理者；
被护理者状态判定部，基于所述拍摄数据判定所述被护理者的状态类别，将使日期时间与该状态类别相对应的护理历史信息存储于护理历史存储部；以及
援助行为判定部，在由所述人物判定部判定的所述人物中包含所述护理者的情况下，基于所述拍摄数据判定该护理者的所述援助行为的类别，将该援助行为的类别与所述护理历史信息相对应地存储于所述护理历史存储部。
12.一种护理记录方法，用于记录被护理者的状态和护理者对所述被护理者进行的援助行为，其中，所述护理记录方法具有：
从拍摄所述被护理者的摄像头获取拍摄数据的拍摄数据获取步骤；
基于所述拍摄数据检测映出的人物，并且，判定该人物是所述被护理者还是所述护理者的人物判定步骤；
基于所述拍摄数据判定所述被护理者的状态类别，将使日期时间与该状态类别相对应的护理历史信息存储于护理历史存储部的被护理者状态判定步骤；以及
在由所述人物判定步骤判定的所述人物中包含所述护理者的情况下，基于所述拍摄数据判定该护理者的所述援助行为的类别，将该援助行为的类别与所述护理历史信息相对应地存储于所述护理历史存储部的援助行为判定步骤。
CN202080008632.6A 2019-01-11 2020-01-10 护理记录装置、护理记录***、护理记录程序及护理记录方法 Pending CN113366529A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019003873 2019-01-11
JP2019-003873 2019-01-11
PCT/JP2020/000636 WO2020145380A1 (ja) 2019-01-11 2020-01-10 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法

Publications (1)

Publication Number Publication Date
CN113366529A true CN113366529A (zh) 2021-09-07

Family

ID=71520986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080008632.6A Pending CN113366529A (zh) 2019-01-11 2020-01-10 护理记录装置、护理记录***、护理记录程序及护理记录方法

Country Status (4)

Country Link
US (1) US20220084657A1 (zh)
JP (1) JP7403132B2 (zh)
CN (1) CN113366529A (zh)
WO (1) WO2020145380A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7237382B1 (ja) 2021-12-24 2023-03-13 知能技術株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN116959694B (zh) * 2023-05-30 2024-04-30 厦门大学附属中山医院 一种便携式移动护理记录***
CN117542498B (zh) * 2024-01-08 2024-04-16 安徽医科大学第一附属医院 一种基于大数据分析的妇科护理管理***及方法
CN118197559B (zh) * 2024-05-17 2024-07-23 绵阳市第三人民医院 一种用于心理障碍患者的护理信息管理方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1276572A (zh) * 1999-06-08 2000-12-13 松下电器产业株式会社 手形手势识别装置、识别方法及含该方法程序的记录媒体
JP2001188859A (ja) * 2000-05-19 2001-07-10 Nissetsu Engineering Co Ltd 要介護度認定方法、要介護度認定システム、記録媒体及び、携帯端末制御機器
JP2001325363A (ja) * 2000-05-15 2001-11-22 Hitachi Plant Eng & Constr Co Ltd 介護業務支援装置及び携帯通信端末
JP2015097004A (ja) * 2013-11-15 2015-05-21 株式会社東芝 診察支援装置及び診察支援方法
US20160183864A1 (en) * 2014-12-26 2016-06-30 Cerner Innovation, Inc. Method and system for determining whether a caregiver takes appropriate measures to prevent patient bedsores
CN107533764A (zh) * 2015-05-21 2018-01-02 柯尼卡美能达株式会社 图像处理***、图像处理装置、图像处理方法以及图像处理程序
US20180011973A1 (en) * 2015-01-28 2018-01-11 Os - New Horizons Personal Computing Solutions Ltd. An integrated mobile personal electronic device and a system to securely store, measure and manage users health data
WO2018096805A1 (ja) * 2016-11-24 2018-05-31 コニカミノルタ株式会社 被監視者監視装置用設定装置および該方法ならびに被監視者監視システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160210429A1 (en) * 2015-01-05 2016-07-21 Luis M. Ortiz Systems and methods for medical patient treatment tracking, provider-patient association, and record integration
WO2017158160A1 (en) * 2016-03-17 2017-09-21 Koninklijke Philips N.V. Home visit assessment and decision support system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1276572A (zh) * 1999-06-08 2000-12-13 松下电器产业株式会社 手形手势识别装置、识别方法及含该方法程序的记录媒体
JP2001325363A (ja) * 2000-05-15 2001-11-22 Hitachi Plant Eng & Constr Co Ltd 介護業務支援装置及び携帯通信端末
JP2001188859A (ja) * 2000-05-19 2001-07-10 Nissetsu Engineering Co Ltd 要介護度認定方法、要介護度認定システム、記録媒体及び、携帯端末制御機器
JP2015097004A (ja) * 2013-11-15 2015-05-21 株式会社東芝 診察支援装置及び診察支援方法
US20160183864A1 (en) * 2014-12-26 2016-06-30 Cerner Innovation, Inc. Method and system for determining whether a caregiver takes appropriate measures to prevent patient bedsores
US20180011973A1 (en) * 2015-01-28 2018-01-11 Os - New Horizons Personal Computing Solutions Ltd. An integrated mobile personal electronic device and a system to securely store, measure and manage users health data
CN107533764A (zh) * 2015-05-21 2018-01-02 柯尼卡美能达株式会社 图像处理***、图像处理装置、图像处理方法以及图像处理程序
WO2018096805A1 (ja) * 2016-11-24 2018-05-31 コニカミノルタ株式会社 被監視者監視装置用設定装置および該方法ならびに被監視者監視システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马宝庆: "基于全方位计算机视觉的独居老人监护***", 《中国优秀硕士学位论文全文数据库（信息科技辑）》）, no. 3, 15 March 2015 (2015-03-15), pages 138 - 2161 *

Also Published As

Publication number Publication date
JP7403132B2 (ja) 2023-12-22
WO2020145380A1 (ja) 2020-07-16
JPWO2020145380A1 (zh) 2020-07-16
US20220084657A1 (en) 2022-03-17

Similar Documents

Publication Publication Date Title
CN113366529A (zh) 护理记录装置、护理记录***、护理记录程序及护理记录方法
JP6137425B2 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
US20210158965A1 (en) Automated mobility assessment
JP6086468B2 (ja) 被写体見守りシステム
JP2020086819A (ja) 画像処理プログラムおよび画像処理装置
JP2019020993A (ja) 見守り支援システム及びその制御方法
JP6822328B2 (ja) 見守り支援システム及びその制御方法
KR102205964B1 (ko) 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템 및 낙상 예방 방법
JP2009279076A (ja) 監視システム
WO2016186160A1 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
US20210219873A1 (en) Machine vision to predict clinical patient parameters
JP6292283B2 (ja) 行動検知装置および行動検知方法ならびに被監視者監視装置
JP3767898B2 (ja) 人物行動理解システム
JP2019197263A (ja) システム、およびシステムの制御方法
JP7090327B2 (ja) 情報処理装置、情報処理方法、プログラム
JP2019008515A (ja) 見守り支援システム及びその制御方法
WO2021033453A1 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP2020190889A (ja) 要介護者見守りシステム
JP2022010581A (ja) 検知装置、検知方法、画像処理方法、およびプログラム
WO2020008995A1 (ja) 画像認識プログラム、画像認識装置、学習プログラム、および学習装置
JP2021176036A (ja) 情報処理装置および情報処理プログラム
JP2020091628A (ja) 要介護者見守りシステム
JP2021033379A (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP2023025761A (ja) 見守りシステム、見守り装置、見守り方法、および見守りプログラム
WO2021033597A1 (ja) 画像処理システム、画像処理プログラム、および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination