CN109963501A - 看护辅助***及其控制方法、以及程序 - Google Patents

看护辅助***及其控制方法、以及程序 Download PDF

Info

Publication number
CN109963501A
CN109963501A CN201780070872.7A CN201780070872A CN109963501A CN 109963501 A CN109963501 A CN 109963501A CN 201780070872 A CN201780070872 A CN 201780070872A CN 109963501 A CN109963501 A CN 109963501A
Authority
CN
China
Prior art keywords
bed
image
region
region setting
nurse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780070872.7A
Other languages
English (en)
Inventor
田中清明
松永纯平
高桥信二
村上达哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN109963501A publication Critical patent/CN109963501A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

在用于辅助床上的对象的看护的看护辅助***中，区域设定部进行如下处理：获取由拍摄装置拍摄的区域设定用的图像，从所述区域设定用的图像中通过物体检测来确定床的大致位置，并通过从包含所述大致位置的局部范围中提取床的轮廓来确定床的区域。

Description

看护辅助***及其控制方法、以及程序
技术领域
本发明涉及用于辅助床上的对象的看护的技术。
背景技术
为了预先防止从床上跌落的事故等，已知有医院及看护机构等中的辅助患者的看护的***。专利文献1中提出有一种***，使用设置于床的斜上方的摄像机的图像来检测患者的起床及离床的动作。这种***中，以床的区域为基准判定患者的起床/离床。因此，需要预先在***中设定(教示)用于定义图像内的床的区域的信息。但是，在大型医院那样床数较多的情况下，通过手动输入来设定床区域负担较大，成为***的导入/设置的阻碍因素。而且，医院及看护机构等中的床的设置位置不限于固定，有时也进行移动，因此，在移动时通过手动输入设定床区域是非常麻烦的。因此，专利文献2中，提出了根据图像自动检测床区域的方法。
现有技术文献
专利文献
专利文献1：日本特开2012-071003号公报
专利文献2：日本特开2016-112040号公报
发明内容
发明所要解决的课题
专利文献2提出的方法中，从图像中提取线型边缘，基于各线型边缘的长度及线型边缘彼此的交叉角度，锁定被认为是构成床的轮廓的线型边缘的组合。该方法对于床的轮廓清晰地出现，且床的轮廓以外的线型边缘较少的图像，能够期待精度良好的检测。但是，在被子被子覆盖床的轮廓的一部分那样的情况下，不能够提取构成床的轮廓的线型边缘的候选，而不能够精确地检测床区域。另外，在床罩或被子的花纹是直线型的纹理或在床的周围存在桌子或医疗器械等情况下，由于在床的轮廓以外还提取到多个线型边缘，因此床区域的检测精度可能显著降低。
本发明是鉴于所述实际情况而完成的，其目的在于，提供一种技术，用于根据图像而高精度地检测床区域。
用于解决课题的手段
为了达成上述目的，本发明中采用如下方法，在从图像中通过物体检测而确定床的大致位置之后，从局部范围中确定床区域。
具体而言，本发明的第一方式提供一种看护辅助***，辅助床上的对象的看护，其特征在于，具有：图像取得部，其取得由拍摄装置拍摄的图像；区域设定部，其以床的区域为基准在图像内设定一个以上的判定区域；检测部，其从由所述图像取得部取得的所述图像中检测所述对象；判定部，其基于所述判定区域与检测到所述对象的位置的关系，判定所述对象的状态；输出部，其进行与所述判定部的判定结果相应的通知，所述区域设定部从所述图像取得部获取区域设定用的图像，从所述区域设定用的图像中通过物体检测而确定床的大致位置，并通过从包含所述大致位置的局部范围中提取床的轮廓来确定床的区域。
根据该结构，能够自动进行床区域的检测及判定区域的设定，因此，***的导入/设置作业变得简单，并且在移动了床或拍摄装置的情况下的设定变更也变得容易，***的便利性提高。另外，作为床区域的检测算法，采用如下方法，在通过物体检测确定了床的大致位置之后，从局部范围中提取床的轮廓来确定床的区域，因此，与现有方法相比，能够提高床区域的检测精度以及成功率。
优选所述区域设定部通过使用了对床的图像进行了机器学习的识别器的物体检测来确定床的大致位置。这是由于检测精度和鲁棒性优异。
所述区域设定用的图像也可以是从床的斜上方俯视床的整体的图像。此时，也可以是所述识别器检测床的整体，所述区域设定部从包含由所述识别器检测的床整体的局部范围中检测梯形状的轮廓。或者，也可以是所述识别器检测床的拐角，所述区域设定部从包含由所述识别器检测的拐角的局部范围中，将以所述拐角为起点的线段作为床的轮廓进行检测。
此外，本发明能够作为具有上述结构或功能的至少一部分的看护辅助***或看护辅助***中的床区域检测装置进行掌握。另外，本发明也能够作为包含上述处理的至少一部分的看护辅助方法、看护辅助***的控制方法、或床区域检测方法、及用于使计算机执行这些方法的程序、或非临时性地记录这种程序的计算机可读取的记录介质进行掌握。上述结构及处理各自只要不产生技术上的矛盾，就能够相互组合并构成本发明。
发明效果
根据本发明，能够根据图像而高精度地检测床区域。
附图说明
图1是示意性地表示看护辅助***的硬件结构及功能结构的框图；
图2是表示拍摄装置的设置例的图；
图3是第一实施方式的区域设定处理的流程图；
图4A～图4D是区域设定处理的图像及判定区域的例子；
图5是看护处理的流程图；
图6是第二实施方式的区域设定处理的流程图；
图7A～图7D是区域设定处理的图像及判定区域的例子。
具体实施方式
本发明涉及用于辅助床上的对象的看护的技术。该技术能够适用于在医院及看护机构等中自动检测患者或被护理者等的离床/起床行动，且在产生危险的状态的情况下等进行必要的通知的***。该***能够优选用于例如老年人、痴呆症患者、孩子等的看护辅助。
以下，参照附图说明用于实施本发明的优选的形式的一例。但是，以下的实施方式所记载的装置的结构及动作是一例，并不意味着将本发明的范围限定于此。
＜第一实施方式＞
(***结构)
参照图1和图2，说明本发明的第一实施方式的看护辅助***的结构。图1是示意性地表示看护辅助***1的硬件结构及功能结构的框图，图2是表示拍摄装置的设置例的图。
看护辅助***1具有拍摄装置10和信息处理装置11作为主要的硬件结构。拍摄装置10与信息处理装置11之间通过有线或无线连接。图1中，仅表示有一个拍摄装置10，但也可以将多台拍摄装置10与信息处理装置11连接。
拍摄装置10是用于拍摄床上的对象并输入图像数据的设备。作为拍摄装置10，能够使用黑白或彩色的可见光摄像机、红外线摄像机等。本实施方式中，为了即使在夜间(即使在房间内较暗的情况下)也能够看护对象，采用由红外线LED照明100和近红外线摄像机101构成的拍摄装置10。如图2所示，拍摄装置10以从床20的头侧上方朝向腿侧而俯视床20的整体的方式设置。拍摄装置10以规定的时间间隔(例如，10fps)进行拍摄，其图像数据依次输入于信息处理装置11。
信息处理装置11是具备实时分析从拍摄装置10输入的图像数据，自动检测床20上的对象21的起床动作及离床动作，并在必要的情况下进行通知的功能的装置。作为具体的功能，信息处理装置11具有：图像取得部110、检测部111、判定部112、输出部113、区域设定部114、存储部115。本实施方式的信息处理装置11由具备CPU(处理器)、内存、存储器(HDD、SSD等)、输入设备(键盘、鼠标、触摸面板等)、输出设备(显示器、扬声器等)、通信接口等的通用计算机构成，上述的信息处理装置11的各功能通过CPU执行储存于存储器或内存的程序而实现。但是，信息处理装置11的结构不限于该例。例如，也可以利用多台计算机进行分布式计算，也可以通过云服务器执行上述功能的一部分，也可以利用ASIC或FPGA那样的电路执行上述功能的一部分。
图像取得部110是取得由拍摄装置10拍摄的图像的功能。由图像取得部110输入的图像数据被临时存储于内存或存储器，并被提供给检测部111及判定部112的处理。
检测部111是分析由图像取得部110取得的图像，并从该图像中检测看护对象21的规定部位(例如，头部、脸、上半身等)的功能。可以使用任何方法作为从图像中检测规定部位的方法。例如，能够优选采用使用了传统的Haar-like特征量或HoG特征量的识别器的方法及使用了近年来的FasterR-CNN的方法的物体检测算法。本实施方式的检测部111通过使用了Haar-like特征量的识别器来检测对象21的头部(脖子之上的部分)22，并输出头部22的位置(x，y)及尺寸(纵横的像素数)作为检测结果。头部22的位置(x，y)例如以包围头部22的矩形框的中心点的图像坐标来表示。此外，本实施方式的检测部111以图像坐标系的位置/尺寸来输出检测结果，但检测部111也可以将图像坐标系换算成空间坐标系，并输出对象21的空间坐标系中的三维位置及三维的尺寸。
判定部112是使用检测部111的检测结果来进行对象21的起床判定、离床判定等的功能。具体而言，判定部112基于头部22的检测位置而判定对象21是否起床或是否离床等。稍后详细地说明判定部112的判定算法。
输出部113是在利用判定部112探测到对象21的起床动作或离床动作的情况下，进行必要的通知的功能。输出部113能够根据对象21的动作的危险程度，切换通知的要否(例如，仅在危险的状态的情况下进行通知)、通知的内容(例如消息的内容)、通知方式(例如声音、邮件、警报、警示灯)、通知对象(例如护士、医生)、通知的频率等。
区域设定部114是用于对由拍摄装置10拍摄的图像设定判定区域的功能。看护辅助***1以床20上的对象21的状态监视为目的，因此，基于图像内的床20的区域设定判定区域。本实施方式的看护辅助***1具有由区域设定部114自动地进行床区域的检测及判定区域的设定的功能，提高了用户的便利性。具体的检测算法在后面叙述。
存储部115是存储看护辅助***1用于处理的各种数据的功能。存储部115中至少设置用于存储起床判定或离床判定中使用的各种参数(阈值等)、判定区域的设定信息、过去多帧的图像数据或检测结果(用于计算移动速度或移动方向)的存储区域。
(床区域的检测及判定区域的设定)
参照图3和图4A～图4D对床区域的检测处理及判定区域的设定处理的一例进行说明。图3是由信息处理装置11执行的第一实施方式的区域设定处理的流程图，图4A～图4D是图像及判定区域的例子。该处理在判定区域未设定的情况(例如，看护辅助***1的设置时等)或者随着床或拍摄装置10的移动需要更新判定区域的情况下执行。
步骤S30中，图像取得部110从拍摄装置10获取区域设定用的图像(图4A)。作为区域设定用的图像，优选为在床20上没有任何人或物的状态的图像及床20的床垫整体露出的图像，但也可以未必是这种理想状态的图像。也可以将与在后述的看护判定处理中被输入的图像条件相同的图像(例如人在睡觉或铺了被子的状态下的图像)用于区域设定。
步骤S31中，区域设定部114从区域设定用的图像中检测床。具体而言，如图4B所示，通过一边改变检测窗口40的位置及尺寸一边重复评价检测窗口40内的部分图像的与床的相似性的处理，从而检测存在于区域设定用的图像内的任意位置的任意尺寸的床20。该步骤S31的处理相当于从区域设定用的图像中确定床20的大致位置的处理。
对于床的检测也可以使用任意的物体检测算法，但从检测精度和鲁棒性这一点出发，优选使用对床的图像进行了机器学习的识别器的算法。例如，能够使用采用了传统的的Haar-like特征量或HoG特征量的识别器或使用了以近年来的Faster R-CNN为代表的深度学习(Deep Learning)的识别器等。
在步骤S31中床的检测成功了的情况下(步骤S32；“是”)，进入步骤S33，在床的检测失败了的情况下(步骤S32；“否”)，中断处理。
在步骤S33中，区域设定部114相当于对包含床20整体的局部范围41进行边缘提取处理。边缘提取中能够使用例如差分滤波器或拉普拉斯滤波器等公知的边缘提取方法。接着，在步骤S34中，区域设定部114从边缘提取图像中检测梯形状的床20的轮廓。轮廓检测中能够使用例如霍夫变换等公知的算法。如图4C所示，在此将检测出的由梯形状的轮廓(以虚线表示)包围的区域设定为床区域42。
步骤S35中，如图4D所示，区域设定部114以床区域42为基准设定判定区域A1～A3。判定区域A1是设定于床20的头侧的区域，与就寝时(对象21在床20上睡觉时)对象21的头部22会处于的范围对应(以下，称为就寝区域A1)。判定区域A2是设定于床20的腿侧的区域，与起床时(对象21处于上半身起身的姿势时)对象21的头部22会处于的范围对应(以下，称为起床区域A2)。在本实施方式中，设为预先决定各区域A1、A2对于床区域42的相对位置/尺寸，如果确定了床区域42，则各区域A1、A2的范围通过计算决定。判定区域A3是区域A1、A2以外的区域。离床时(对象21离开床的状态时)，对象21的头部22处于于区域A3内(以下，称为离床区域A3)。
然后，在步骤S36中，区域设定部114将床区域42的信息(床区域42的四角的坐标、轮廓等)和各区域A1～A3的信息(各区域的顶点的坐标等)存储于存储部115，并结束设定处理。
(看护处理)
参照图5说明看护处理的一例。图5是由信息处理装置11执行的看护处理的流程图。每当从拍摄装置10输入1帧的图像的时候执行图5的处理流程。
步骤S50中，图像取得部110从拍摄装置10输入1帧的图像。所取得的图像临时存储于存储部115。接着，检测部111根据在步骤S50中取得的图像检测对象的头部(步骤S51)。检测到的头部的位置(xy坐标)的信息与该图像的时刻信息或者帧编号相关联地地存储于存储部115。
判定部112判定头部的检测位置属于区域A1～A3中的哪一个，并将对象的状态进行分类(步骤S52)。在此，将在就寝区域A1内检测到头部的情况称为“就寝状态”，将在起床区域A2内检测到头部的情况称为“起床状态”，将在离床区域A3内检测到头部的情况称为“离床状态”。对象的状态的信息与该图像的时刻信息或帧编号相关联地存储于存储部115。
接着，判定部112将在步骤S52中判定的对象的状态和存储于存储部115的在前帧中的对象的状态进行比较，调查状态是否存在变化(步骤S53)。如果是检测到就寝状态→起床状态的变化或起床状态→离床状态的变化的情况，则利用输出部113进行通知(步骤S54)。然后，返回步骤S50并继续监视。
根据以上叙述的本实施方式的***，能够自动进行床区域的检测及判定区域的设定，因此，***的导入/设置的作业变得简单，并且移动了床或拍摄装置的情况下的设定变更也变得容易，***的便利性提高。另外，作为床区域的检测算法，采用如下方法，在从图像中通过物体检测而确定了床的大致位置之后，从局部范围中确定床区域(床的轮廓)，因此，与现有方法相比，能够提高床区域的检测精度以及成功率。
＜第二实施方式＞
接着，说明本发明的第二实施方式。与第一实施方式的床区域检测中检测床的整体相比，在第二实施方式中，在检测床的拐角这一点上不同。除此以外的结构及处理与第一实施方式相同。以下，对第二实施方式中特有的结构及处理进行说明。
参照图6和图7A～图7D，说明床区域的检测处理及判定区域的设定处理的一例。图6是由信息处理装置11执行的第二实施方式的区域设定处理的流程图，图7A～图7D是图像及判定区域的例子。该处理在未设定判定区域的情况(例如，看护辅助***1的设置时等)或者随着床或拍摄装置10的移动需要更新判定区域的情况下执行。
在步骤S60中，图像取得部110从拍摄装置10获取区域设定用的图像。如图7A所示，区域设定用的图像也可以与第一实施方式中使用的图像相同。
步骤S61中，区域设定部114从区域设定用的图像中检测床的拐角。具体而言，如图7B所示，通过一边改变检测窗口70的位置及尺寸一边重复评价检测窗口70内的部分图像的与拐角的相似性的处理，从而检测存在于区域设定用的图像内的任意位置的任意尺寸的床20的拐角71。作为拐角的检测方法，能够应用与第一实施方式中叙述的床的检测方法相同的技术(但是，与用于机械学习的图像在第一实施方式中是床整体的图像相比，第二实施方式中，仅在是床的拐角部的图像这一点上不同。)。在本实施方式中，如图7B所示，使用两种识别器，检测床20的腿侧的左右两个拐角71、72。该步骤S61的处理相当于从区域设定用的图像中确定床20的大致位置的处理。
在步骤S61中，在两个拐角71、72的检测成功的情况下(步骤S62；“是”)，进入步骤S63，在拐角的检测失败的情况下(步骤S62；“否”)，中断处理。
在步骤S63中，区域设定部114设定分别包含拐角71、72的局部范围73、74，并对各局部范围73、74进行边缘提取处理。在边缘提取中也能够使用例如差分滤波器或拉普拉斯滤波器等公知的边缘提取方法。接着，在步骤S64中，区域设定部114从边缘提取图像中检测以拐角71、72为起点向图像的下方向延伸的线段75、76(以虚线表示)。在线段检测中能够使用例如霍夫变换等公知的算法。然后，将被由两个拐角71、72和两条线段75、76所限定的梯形状的轮廓所包围的区域设定为床区域77。之后的处理(步骤S65～S66)与第一实施方式的步骤S35～S36相同，因此省略说明。
在以上叙述的本实施方式的***中，也能够得到与第一实施方式相同的作用效果。
＜其它＞
上述的各实施方式的说明仅示例性地说明本发明。本发明不限定于上述的具体的形式，可在其技术思想的范围内进行各种变形。例如，上述实施方式中，检测了床整体或者拐角部，但也可以通过检测床的其它的特征部分(例如，床的侧端部、腿侧或头侧的端部等)来确定床的大致位置。另外，判定区域的数量及形状能够任意设置。另外，上述实施方式中以头部为检测对象，但也可以将头部以外的部位(例如脸、脸的一部分(面部器官)、上半身等)设为检测对象。
符号说明
1：看护辅助***，10：拍摄装置，11：信息处理装置，110：图像取得部，111：检测部，112：判定部，113：输出部，114：区域设定部，115：存储部
100：照明，101：近红外线摄像机，20：床，21：对象，22：头部
40：检测窗口，41：局部区域，42：床区域，A1：就寝区域，A2：起床区域，A3：离床区域
70：检测窗口，71、72：拐角，73、74：局部区域，75、76：线段，77：床区域。

Claims (6)

1.一种看护辅助***，辅助床上的对象的看护，其特征在于，
具有：
图像取得部，其取得由拍摄装置拍摄的图像；
区域设定部，其以床的区域为基准在图像内设定一个以上的判定区域；
检测部，其从由所述图像取得部取得的所述图像中检测所述对象；
判定部，其基于所述判定区域与检测到所述对象的位置的关系，判定所述对象的状态；以及
输出部，其进行与所述判定部的判定结果相应的通知，
所述区域设定部从所述图像取得部获取区域设定用的图像，
所述区域设定部从所述区域设定用的图像中通过物体检测来确定床的大致位置，
所述区域设定部通过从包含所述大致位置的局部范围中提取床的轮廓，从而确定床的区域。
2.根据权利要求1所述的看护辅助***，其特征在于，
所述区域设定部通过使用了对床的图像进行了机器学习的识别器的物体检测来确定床的大致位置。
3.根据权利要求2所述的看护辅助***，其特征在于，
所述区域设定用的图像是从床的斜上方俯视床的整体的图像，
所述识别器检测床的整体，
所述区域设定部从包含由所述识别器检测到的床整体的局部范围中检测梯形状的轮廓。
4.根据权利要求2所述的看护辅助***，其特征在于，
所述区域设定用的图像是从床的斜上方俯视床的整体的图像，
所述识别器检测床的拐角，
所述区域设定部从包含由所述识别器检测到的拐角的局部范围中，将以所述拐角为起点的线段检测为床的轮廓。
5.一种看护辅助***的控制方法，辅助床上的对象的看护，其特征在于，
具有：
取得由拍摄装置拍摄的图像的步骤；
以床的区域为基准在图像内设定一个以上的判定区域的步骤；
从所述取得的所述图像中检测所述对象的步骤；
基于所述判定区域与检测到所述对象的位置的关系，判定所述对象的状态的步骤；以及
进行与所述对象的状态的判定结果相应的通知的步骤，
设定所述判定区域的步骤包含：
从所述图像取得部获取区域设定用的图像的步骤；
从所述区域设定用的图像中通过物体检测来确定床的大致位置的步骤；以及
通过从包含所述大致位置的局部范围中提取床的轮廓，从而确定床的区域的步骤。
6.一种程序，其用于使计算机执行权利要求5所述的看护辅助***的控制方法的各步骤。
CN201780070872.7A 2017-03-02 2017-11-28 看护辅助***及其控制方法、以及程序 Pending CN109963501A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-039319 2017-03-02
JP2017039319A JP6635074B2 (ja) 2017-03-02 2017-03-02 見守り支援システム及びその制御方法
PCT/JP2017/042584 WO2018159040A1 (ja) 2017-03-02 2017-11-28 見守り支援システム及びその制御方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN109963501A true CN109963501A (zh) 2019-07-02

Family

ID=63370714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780070872.7A Pending CN109963501A (zh) 2017-03-02 2017-11-28 看护辅助***及其控制方法、以及程序

Country Status (5)

Country Link
US (1) US10853679B2 (zh)
JP (1) JP6635074B2 (zh)
CN (1) CN109963501A (zh)
DE (1) DE112017007156T5 (zh)
WO (1) WO2018159040A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520850A (zh) * 2009-04-17 2009-09-02 中国科学院计算技术研究所 物体检测分类器的构造方法和物体检测方法与相应***
CN103118588A (zh) * 2010-09-29 2013-05-22 欧姆龙健康医疗事业株式会社 安全看护***及安全看护***的控制方法
CN104637044A (zh) * 2013-11-07 2015-05-20 中国科学院深圳先进技术研究院 钙化斑块及其声影的超声图像提取***
CN105426901A (zh) * 2014-09-23 2016-03-23 通用汽车环球科技运作有限责任公司 用于对摄像头视野中的已知物体进行分类的方法
CN105917356A (zh) * 2014-01-14 2016-08-31 微软技术许可有限责任公司 对象的基于轮廓的分类
CN105940428A (zh) * 2014-03-20 2016-09-14 诺日士精密株式会社 信息处理装置、信息处理方法及程序
US20160307312A1 (en) * 2015-04-15 2016-10-20 Ingrain, Inc. Method For Determining Fabric And Upscaled Properties Of Geological Sample
JP2017038777A (ja) * 2015-08-19 2017-02-23 アイホン株式会社 動作認識装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1199140A (ja) 1997-09-26 1999-04-13 Toshiba Corp 就寝状態異常検知装置
JP2006133941A (ja) 2004-11-04 2006-05-25 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理方法、画像処理プログラム及び携帯型端末
JP5682203B2 (ja) 2010-09-29 2015-03-11 オムロンヘルスケア株式会社 安全看護システム、および、安全看護システムの制御方法
WO2012111150A1 (ja) 2011-02-18 2012-08-23 パイオニア株式会社 近接場光デバイス及びエネルギー移動の制御方法
JP6182917B2 (ja) * 2013-03-15 2017-08-23 ノーリツプレシジョン株式会社 監視装置
JP6115335B2 (ja) * 2013-06-10 2017-04-19 ノーリツプレシジョン株式会社 情報処理装置、情報処理方法、及び、プログラム
JP6375920B2 (ja) 2014-12-11 2018-08-22 富士通株式会社 ベッド領域抽出方法、ベッド領域抽出装置及びベッド領域抽出プログラム
JP6455234B2 (ja) 2015-03-03 2019-01-23 富士通株式会社 行動検出方法及び行動検出装置
US20180300538A1 (en) * 2015-06-10 2018-10-18 Konica Minolta, Inc. Image processing system, image processing apparatus, image processing method, and image processing program
WO2017026283A1 (ja) * 2015-08-10 2017-02-16 コニカミノルタ株式会社 被監視者監視システムの表示装置および表示方法ならびに被監視者監視システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520850A (zh) * 2009-04-17 2009-09-02 中国科学院计算技术研究所 物体检测分类器的构造方法和物体检测方法与相应***
CN103118588A (zh) * 2010-09-29 2013-05-22 欧姆龙健康医疗事业株式会社 安全看护***及安全看护***的控制方法
CN104637044A (zh) * 2013-11-07 2015-05-20 中国科学院深圳先进技术研究院 钙化斑块及其声影的超声图像提取***
CN105917356A (zh) * 2014-01-14 2016-08-31 微软技术许可有限责任公司 对象的基于轮廓的分类
CN105940428A (zh) * 2014-03-20 2016-09-14 诺日士精密株式会社 信息处理装置、信息处理方法及程序
CN105426901A (zh) * 2014-09-23 2016-03-23 通用汽车环球科技运作有限责任公司 用于对摄像头视野中的已知物体进行分类的方法
US20160307312A1 (en) * 2015-04-15 2016-10-20 Ingrain, Inc. Method For Determining Fabric And Upscaled Properties Of Geological Sample
JP2017038777A (ja) * 2015-08-19 2017-02-23 アイホン株式会社 動作認識装置

Also Published As

Publication number Publication date
WO2018159040A1 (ja) 2018-09-07
US20200065600A1 (en) 2020-02-27
DE112017007156T5 (de) 2019-11-21
US10853679B2 (en) 2020-12-01
JP6635074B2 (ja) 2020-01-22
JP2018143333A (ja) 2018-09-20

Similar Documents

Publication Publication Date Title
US10600204B1 (en) Medical environment bedsore detection and prevention system
CN109963539A (zh) 看护辅助***及其控制方法、以及程序
US20180300538A1 (en) Image processing system, image processing apparatus, image processing method, and image processing program
US10456072B2 (en) Image interpretation support apparatus and method
JP6822328B2 (ja) 見守り支援システム及びその制御方法
JPWO2016143641A1 (ja) 姿勢検知装置および姿勢検知方法
CN106157297A (zh) 图像处理装置和图像处理方法
JP6432592B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
US10229491B1 (en) Medical environment monitoring system
JP6489117B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
US10475206B1 (en) Medical environment event parsing system
Rasouli D et al. A novel depth image analysis for sleep posture estimation
JP6775680B2 (ja) 光学的画像データを取得して患者台装置の側部仕切り部の姿勢を特定するための装置、方法およびコンピュータプログラム
WO2020145380A1 (ja) 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法
CN115546436A (zh) 用于确定个体的相应中段尺寸的三维（3d）图像建模***和方法
CN109964248A (zh) 看护辅助***及其控制方法、以及程序
JP2021180904A (ja) 測定装置
JP6938940B2 (ja) 動態解析システム
Rus et al. Evaluating the recognition of bed postures using mutual capacitance sensing
Martinez et al. “BAM!” depth-based body analysis in critical care
CN109963501A (zh) 看护辅助***及其控制方法、以及程序
JP2022116277A (ja) 端末装置、出力方法及びコンピュータプログラム
JP2022010581A (ja) 検知装置、検知方法、画像処理方法、およびプログラム
WO2023036243A1 (en) Medical devices, methods and systems for monitoring the medical devices
CN103908293B (zh) 用于测量医学图像的医学成像***和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190702