CN105940428A - 信息处理装置、信息处理方法及程序 - Google Patents

信息处理装置、信息处理方法及程序 Download PDF

Info

Publication number
CN105940428A
CN105940428A CN201580006833.1A CN201580006833A CN105940428A CN 105940428 A CN105940428 A CN 105940428A CN 201580006833 A CN201580006833 A CN 201580006833A CN 105940428 A CN105940428 A CN 105940428A
Authority
CN
China
Prior art keywords
bed
scope
shooting image
specified
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580006833.1A
Other languages
English (en)
Inventor
松本修
松本修一
村井猛
上辻雅义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noritsu Precision Co Ltd
Original Assignee
Noritsu Precision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Noritsu Precision Co Ltd filed Critical Noritsu Precision Co Ltd
Publication of CN105940428A publication Critical patent/CN105940428A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1115Monitoring leaving of a patient support, e.g. a bed or a wheelchair
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/002Monitoring the patient using a local or closed circuit, e.g. in a room or building
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7435Displaying user selection data, e.g. icons in a graphical user interface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438Sensor means for detecting
    • G08B21/0476Cameras to detect unsafe condition, e.g. video cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • A61B5/1117Fall detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Emergency Management (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Psychology (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Invalid Beds And Related Equipment (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)

Abstract

一种信息处理装置,其将在拍摄图像(3)内指定的范围设定为床基准面的范围。同时,根据预定的评价条件评价上述指定的范围作为床基准面的范围是否恰当,并向使用者提示该评价结果。由此,能够容易地进行关于作为检测监护对象者的行为的基准的床的位置的设定。

Description

信息处理装置、信息处理方法及程序
技术领域
本发明涉及信息处理装置、信息处理方法以及程序。
背景技术
存在一种下述技术:通过从室内斜上方向室内下方拍摄到的图像的边界边来检测从地面区域向床区域的人体移动,从而判断上床情况,并且,通过检测从床区域向地面区域的人体移动,从而判断下床情况(专利文献1)。
另外,存在一种下述技术:将用于判断躺在床上的患者进行起床举动的监护区域设定为包含在床上就寝的患者的床的正上方区域,在表示从床的横向上被认为是患者的图像区域占包含监护区域的拍摄图像的监护区域的大小的变动值小于表示被认为是患者的图像区域占在患者躺在床上的状态下从摄像机得到的拍摄图像的监护区域的大小的初始值的情况下,判断患者正在进行起床举动(专利文献2)。
现有技术文献
专利文献
专利文献1:日本特开2002-230533号公报
专利文献2:日本特开2011-005171号公报
发明内容
发明要解决的技术问题
近年来,住院病人、福利机构入住者、要看护者等监护对象者从床上跌倒、滚落的事故、以及由痴呆症患者的来回走动所造成的事故处于逐年增加的趋势。作为防止这样的事故的方法,例如,已开发出像专利文献1及2中所例示那样的、通过用设置于室内的拍摄装置(摄像机)拍摄监护对象者并分析拍摄到的图像来检测起来、端坐、下床等监护对象者的行为的监护***。
在通过这样的监护***来监护监护对象者在床上的行为的情况下,监护***例如根据监护对象者与床的相对位置关系来检测监护对象者的各行为。为此,如果由于进行监护的环境(以下,也称为“监护环境”)变化而导致拍摄装置与床的位置关系改变时,则监护***有可能无法恰当地检测监护对象者的行为。
作为处理该问题的一个方法,存在通过监护***内的设定而根据监护环境指定床的位置的方法。即使拍摄装置与床的位置关系改变,通过根据该监护环境而恰当地设定床的位置,监护***也可以恰当地确定床的位置。为此,通过接收对应于监护环境的床的位置的设定,从而监护***能够确定监护对象者与床的相对位置关系,进而能够恰当地检测监护对象者的行为。然而,现有技术中,这样的床的位置的设定一直由***的管理者进行,缺乏有关监护***的知识的使用者并不能够容易地进行床的位置的设定。
本发明在一方面上考虑这样的问题点而做出的,其目的在于,提供一种使得能够容易地进行关于作为检测监护对象者的行为的基准的床的位置的设定的技术。
用于解决技术问题的方案
本发明为解决上述技术问题而采用以下的构成:
即,本发明的一方面所涉及的信息处理装置包括:图像取得部,取得通过拍摄装置拍摄到的拍摄图像,所述拍摄装置是为了监护监护对象者在床上的行为而设置的,所述拍摄图像包括表示该拍摄图像内的各像素的深度的深度信息;显示控制部,将取得的所述拍摄图像显示于显示装置;设定部,在所显示的所述拍摄图像内,从使用者接收成为所述床的基准的床基准面的范围的指定,并将该指定的范围设定为所述床基准面的范围;评价部,在所述设定部接收所述床基准面的指定的期间,根据预定的评价条件评价所述使用者所指定的范围作为床基准面的范围是否恰当;以及行为检测部根据由所述深度信息表示的所述拍摄图像内的各像素的深度,判断被设定的所述床基准面与所述监护对象者在真实空间内的位置关系是否满足预定的检测条件,从而检测所述监护对象者的与所述床关联的行为。而且,在所述设定部接收所述床基准面的范围的指定的期间,所述显示控制部向所述使用者提示所述评价部针对所述使用者指定的范围的评价结果。
根据上述构成,通过拍摄监护对象者在床上的行为的拍摄装置取得的拍摄图像包括表示各像素的深度的深度信息。各像素的深度表示拍到该各像素中的对象的深度。因此,能通过利用该深度信息而推断监护对象者与床在真实空间内的位置关系,进而检测该监护对象者的行为。
因此,上述构成所涉及的信息处理装置根据拍摄图像内的各像素的深度而判断床的基准面与监护对象者在真实空间内的位置关系是否满足预定的检测条件。然后,上述构成所涉及的信息处理装置根据该判断的结果而推断监护对象者与床在真实空间内的位置关系,并检测监护对象者的与床关联的行为。
在此,在上述构成中,为了确定真实空间内的床的位置,作为关于床的位置的设定,进行作为床的基准的床基准面的范围的设定。在进行该床基准面的范围的设定的期间,上述构成所涉及的信息处理装置根据预定的评价条件评价使用者指定的范围作为床基准面的范围是否恰当,并向使用者提示该评价结果。因此,该信息处理装置的使用者能够边确认在拍摄图像上指定的范围作为床基准面是否恰当,边设定床基准面的范围。因此,根据上述构成,即使是缺乏有关监护***的知识的使用者,也能容易地进行关于作为检测监护对象者的行为的基准的床的位置的设定。
需要说明的是,监护对象者是通过本发明而被监护在床上的行为的对象者,例如为住院病人、福利机构入住者、要看护者等。另外,与床关联的行为是监护对象者在包括床的空间中进行的行为,例如为起来、端坐、越过护栏、下床等。在此,端坐是指监护对象者坐在床头的状态。越过护栏是指监护对象者从床的护栏上探出身的状态。
而且,预定的检测条件是设定成根据显现于拍摄图像内的床与监护对象者在真实空间内的位置关系能够确定监护对象者的行为的条件,可以根据实施方式适当设定。另外,预定的评价条件是设定成能够判断使用者指定的范围作为床基准面是否恰当的条件,可以根据实施方式适当设定。
另外,作为上述一方面所涉及的信息处理装置的另外的方式,上述信息处理装置可以还包括范围推断部,所述范围推断部根据预定的指定条件反复指定床基准面的范围,根据所述评价条件评价该反复指定的范围,从而将从该反复指定的范围之中最适合于该评价条件的范围推断为所述床基准面的范围。而且,所述显示控制部控制通过所述显示装置进行的所述拍摄图像的显示,以使得在所述拍摄图像上明示由所述范围推断部推断的范围。
根据该构成,通过从按照预定的指定条件反复指定的范围之中确定最适合于评价条件的范围,从而不论使用者的指定如何,都能够推断床基准面的范围。因此,能够省略使用者指定床基准面的范围的操作,更容易进行床基准面的设定。此外,预定的指定条件是用于在床可存在的区域内反复设定作为判断是否适合作为床基准面的对象的范围的条件,可以根据实施的方式而适当设定。
另外,作为上述一方面所涉及的信息处理装置的另外的方式,在所述拍摄图像上明示由所述范围推断部推断的范围之后,所述设定部可以从使用者接收所述床基准面的范围的指定,并将该指定的范围设定为所述床基准面的范围。根据该构成,使用者可以在由信息处理装置进行的床基准面的自动检测的结果被示出的状态下指定床基准面的范围。具体而言,在自动检测的结果有误的情况下,使用者将该范围微调来设定床基准面的范围。另一方面,在自动检测的结果正确的情况下,使用者将该范围直接设定为床基准范围。因此,根据该构成,使用者通过利用床基准面的自动检测的结果能够恰当且容易地进行床基准面的设定。
另外,作为上述一方面所涉及的信息处理装置的另外的方式,所述评价部可以通过利用多个所述评价条件而以三级以上的等级来评价所述使用者所指定的范围,该三级以上的等级在表示所述指定的范围最适合于床基准面的范围的等级与表示所述指定的范围最不适合于床上表面的范围的等级之间包含至少一级以上的等级。而且,所述显示控制部可以向所述使用者提示对于所述使用者所指定的范围的评价结果,其中,所述评价结果以所述三级以上的等级来表示。根据该构成,使用三级以上的等级表示对于使用者指定的范围的评价结果。因此,使用者能够按级别确认指定的范围的恰当情况,由此,能够容易确定床基准面的恰当的范围。
另外,作为上述一方面所涉及的信息处理装置的另外的方式,可以还包括前景提取部,所述前景提取部根据被设定作为所述拍摄图像的背景的背景图像与所述拍摄图像的差分而提取所述拍摄图像的前景区域。而且,所述行为检测部可以将根据所述前景区域内的各像素的深度而确定的显现在所述前景区域中的对象在真实空间内的位置用作所述监护对象者的位置,并通过判断所述床基准面与所述监护对象者在真实空间内的位置关系是否满足所述检测条件来检测所述监护对象者的与所述床关联的行为。
根据该构成,通过提取背景图像与拍摄图像的差分而确定拍摄图像的前景区域。该前景区域是从背景图像上发生了变化的区域。因此,在前景区域中,作为与监护对象者关联的图像,包括由于监护对象者移动而发生了变化的区域、换言之、存在监护对象者的身体部位中的正在移动的部位(以下,也称为“动作部位”)的区域。因此,通过参照由深度信息表示的前景区域内的各像素的深度而能够确定监护对象者的动作部位在真实空间内的位置。
因此,上述构成所涉及的信息处理装置将根据前景区域内的各像素的深度而确定的拍到前景区域的对象在真实空间内的位置用作监护对象者的位置,并判断床的基准面与监护对象者在真实空间内的位置关系是否满足预定的检测条件。在此,该前景区域能够以背景图像与拍摄图像的差分提取,因此即使不利用高级的图像处理也能确定。因此,根据上述构成,能够以简单的方法来检测监护对象者的行为。需要说明的是,在这种情况下,用于检测监护对象者的行为的预定条件假设为前景区域与监护对象者的行为关联而被设定。
另外,作为上述一方面所涉及的信息处理装置的另外的方式,所述设定部可以接收床上表面的范围的指定来作为所述床基准面的范围。而且,所述行为检测部可以通过判断在真实空间内的所述床上表面与所述监护对象者的位置关系是否满足所述检测条件来检测所述监护对象者的与所述床关联的行为。在通过拍摄装置来拍摄监护对象者在床上的行为上,床的上表面是容易拍入拍摄图像内的地方。因此,在拍摄图像内的床显现的区域中床上表面所占的比例易于变高。由于将这样的地方作为床的基准面,因此根据该构成,床的基准面的设定变得容易。需要说明的是,床上表面为床的垂直方向上侧的面,例如为床垫的上表面。
另外,作为上述一方面所涉及的信息处理装置的另外的方式,所述设定部可以接收所述床上表面的高度的指定,并将该被指定的高度设定为所述床上表面的高度。而且,在所述设定部接收所述床上表面的高度的指定的期间,所述显示控制部可以根据由所述深度信息表示的所述拍摄图像内的各像素的深度来控制所述显示装置进行的所述拍摄图像的显示,以使得在所述拍摄图像上明示显现有位于被指定为所述床上表面的高度的高度上的对象的区域。
根据该构成,在进行该床基准面的高度的设定的期间,显示于显示装置上的拍摄图像上明示显现有位于由使用者指定的高度上的对象的区域。因此,该信息处理装置的使用者能够边在显示装置上所显示的拍摄图像上确认指定为床的基准面的区域的高度,边设定床的基准面的高度。因此,根据上述构成,即使是缺乏有关监护***的知识的使用者,也能容易地进行关于作为检测监护对象者的行为的基准的床的位置的设定。
另外,作为上述一方面所涉及的信息处理装置的另外的方式,所述设定部可以在设定所述床上表面的高度时或设定之后,为了确定所述床上表面的范围,在所述拍摄图像内接收在所述床上表面内设定的基准点的位置和所述床的朝向的指定,并将根据被指定的所述基准点的位置及所述床的朝向确定的范围设定为所述床上表面在真实空间内的范围。根据该构成,在床基准面的设定中,能够通过容易的操作指定范围。
另外,作为上述一方面所涉及的信息处理装置的另外的方式,所述设定部可以在设定所述床上表面的高度时或设定之后,在所述拍摄图像内接收用于规定床上表面的范围的四个角中的两个角的位置的指定,并将根据所指定的该两个角的位置确定的范围设定为所述床上表面在真实空间内的范围。根据该构成,在床基准面的设定中,能够通过容易的操作指定范围。
另外,作为上述一方面所涉及的信息处理装置的另外的方式,所述预定的评价条件包括用于判断在所述使用者所指定的范围内未包含高度比所述床上表面低的对象的显现像素的条件。而且,在判断为在所述使用者所指定的范围内未包含高度比所述床上表面低的对象的显现像素时,所述评价部评价为所述使用者所指定的范围作为所述床上表面的范围恰当。根据该构成,能够根据拍到使用者指定的范围内的对象进行指定范围的评价。需要说明的是,例如在通过由使用者指定的范围规定的指定面的至少一部分从床上表面偏离的方式拍摄地面时,在使用者指定的范围内包括高度比床上表面低的对象显现的像素。即,在这样的情况下,将使用者指定的范围评价为作为床上表面的范围不恰当。
另外,作为上述一方面所涉及的信息处理装置的另外的方式,所述预定的评价条件可以包括用于判断在所述真实空间内是否显现有相对于所述床上表面的相对位置被预先确定的标识的条件。而且,在判断为所述拍摄图像中显现有所述标识时,所述评价部评价为所述使用者所指定的范围作为所述床上表面的范围恰当。根据该构成,能够根据拍于拍摄图像内的标识而进行使用者指定的范围的评价。此外,标识既可以是为了进行使用者指定的范围的评价而特别设置的物体,也可以是护栏、床头板等一般床所具备的物体。
另外,作为上述一方面所涉及的信息处理装置的另外的方式,在所述标识中可以包括设置于所述床上的一对护栏及床头板中的至少任一个。根据该构成,由于将床一般所具备的物体作为标识,因此可以无需为了进行使用者指定的范围的评价而准备新的标识,能够抑制监护***的成本。
另外,作为上述一方面所涉及的信息处理装置的另外的方式,在所述标识中可以包括设置于所述床上的一对护栏及床头板。而且,所述评价部可以对于所述一对护栏及床头板中的至少任一个的标识,判断是否在彼此分开的多个区域上显现有该标识。根据该构成,由于判断一个对象物在多个区域上的匹配,因此能够提高对指定的范围的评价的精度。
另外,作为上述一方面所涉及的信息处理装置的另外的方式,作为所述床上表面的范围,可以通过作为所述床上表面的范围而由所述使用者指定的范围,在所述真实空间上规定指定面。另外,所述预定的评价条件包括用于判断存在于所述指定面的上方且存在于离该指定面高出预定的高度以上的位置上的对象的显现像素是否包含在所述拍摄图像中的条件。而且,在判断为存在于离所述指定面高出预定的高度以上的位置上的对象的显现像素未包含在所述拍摄图像中时,所述评价部评价为所述使用者所指定的范围作为所述床上表面的范围恰当。例如,在使用者指定的范围穿透墙壁等的情况下,在指定面的上部空间显现在床上表面的上空未显现的对象物。根据该构成,在这样的情况下,能够评价为使用者指定的范围作为床上表面的范围不恰当。此外,作为评价条件的基准的预定的高度可以根据实施方式而适当设定,例如,可以按如下方式设定:在监护对象者存在于床上表面的情况下将使用者指定的范围评价为作为床上表面的范围不恰当。
另外,作为上述一方面所涉及的信息处理装置的另外的方式,上述信息处理装置可以还包括危险预兆通知部,所述危险预兆通知部在针对所述监护对象者检测到的行为为表示危险迫近所述监护对象者的预兆的行为的情况下,进行用于告知该预兆的通知。根据该构成,能够使监护者知道存在危险迫近监护对象者的预兆。
需要说明的是,这样的通知例如面向对监护对象者监护的监护者进行。监护者是对监护对象者的行为进行监护的人,在监护对象者为住院病人、福利机构入住者、要看护者等的情况下,监护者例如为护士、福利机构职员、看护者等。用于告知具有危险迫近监护对象者的预兆的通知也可以与护士呼叫器等设置于福利机构中的设备协作地进行。此外,根据通知的方法,可以也让监护对象者自己知道具有危险迫近的预兆。
另外,作为上述一方面所涉及的信息处理装置的另外的方式,上述信息处理装置可以还包括未完成通知部,所述未完成通知部在通过所述设定部进行的设定在预定时间内未完成的情况下,进行用于告知通过所述设定部进行的设定尚未完成的通知。根据该构成,能够防止在关于床的位置的设定的中途搁置监护***。
另外,本发明的一方面所涉及的信息处理装置包括:图像取得部,取得通过拍摄装置拍摄到的拍摄图像,所述拍摄装置是为了监护监护对象者在床上的行为而设置的,所述拍摄图像包括表示该拍摄图像内的各像素的深度的深度信息;范围推断部,根据预定的指定条件反复指定床基准面的范围,并根据预定的评价条件评价将该反复指定的范围作为该床基准面的范围是否恰当,从而作为该床基准面的范围从该反复指定的范围之中推断出最适合于该评价条件的范围;设定部,将所推断出的范围设定为所述床的基准面的范围;以及行为检测部,根据由所述深度信息表示的所述拍摄图像内的各像素的深度,判断被设定的所述床基准面与所述监护对象者在真实空间内的位置关系是否满足预定的检测条件,从而检测所述监护对象者的与所述床关联的行为。根据该构成,通过从按照预定的指定条件被反复指定的范围之中确定最适合于评价条件的范围,从而不论使用者的指定如何,都能够推断床基准面的范围。因此,能够省略使用者指定床基准面的范围的操作,床基准面的设定变得更容易。
此外,作为上述各方式所涉及的信息处理装置的另外的方式,可以为实现以上的各构成的信息处理***,也可以为信息处理方法,也可以为程序,也可以为记录了这样的程序的能被计算机及其它装置、机器等读取的存储介质。在此,计算机等可读取的记录介质是通过电、磁、光学、机械或者化学作用而累积程序等信息的介质。另外,信息处理***可以通过一个或多个信息处理装置来实现。
例如,本发明的一方面所涉及的信息处理方法是一种计算机执行如下步骤的信息处理方法:取得步骤,取得通过拍摄装置拍摄到的拍摄图像,所述拍摄装置是为了监护监护对象者在床上的行为而设置的,所述拍摄图像包括表示该拍摄图像内的各像素的深度的深度信息;接收步骤,在取得的所述拍摄图像内,从使用者接收成为所述床的基准的床基准面的范围的指定;评价步骤,在所述接收步骤中接收所述床基准面的指定的期间,根据预定的评价条件评价所述使用者所指定的范围作为床基准面的范围是否恰当;提示步骤,在所述接收步骤中接收所述床基准面的指定的期间,向所述使用者提示对于在所述评价步骤中所述使用者所指定的范围的评价结果;设定步骤,将在由所述使用者进行的范围的指定完成时被指定的范围设定为所述床基准面的范围;以及检测步骤,根据由所述深度信息表示的所述拍摄图像内的各像素的深度,判断被设定的所述床基准面与所述监护对象者在真实空间内的位置关系是否满足预定的检测条件,从而检测所述监护对象者的与所述床关联的行为。
另外,例如,本发明的一方面所涉及的程序是一种用于使计算机执行如下步骤的程序:取得步骤,取得通过拍摄装置拍摄到的拍摄图像,所述拍摄装置是为了监护监护对象者在床上的行为而设置的,所述拍摄图像包括表示该拍摄图像内的各像素的深度的深度信息;接收步骤,在取得的所述拍摄图像内,从使用者接收成为所述床的基准的床基准面的范围的指定;评价步骤,在所述接收步骤中接收所述床基准面的指定的期间,根据预定的评价条件评价所述使用者所指定的范围作为床基准面的范围是否恰当;提示步骤,在所述接收步骤中接收所述床基准面的指定的期间,向所述使用者提示对于在所述评价步骤中所述使用者所指定的范围的评价结果;设定步骤,将在由所述使用者进行的范围的指定完成时被指定的范围设定为所述床基准面的范围;以及检测步骤,根据由所述深度信息表示的所述拍摄图像内的各像素的深度,判断被设定的所述床基准面与所述监护对象者在真实空间内的位置关系是否满足预定的检测条件,从而检测所述监护对象者的与所述床关联的行为。
发明的效果
根据本发明,能够容易地进行关于作为检测监护对象者的行为的基准的床的位置的设定。
附图说明
图1示出应用本发明的情景的一个例子。
图2示出根据各像素的深度而确定了该各像素的灰度值的拍摄图像的一个例子。
图3例示实施方式所涉及的信息处理装置的硬件构成。
图4例示实施方式所涉及的深度。
图5例示实施方式所涉及的功能构成。
图6例示在本实施方式中进行关于床的位置的设定时的信息处理装置的处理步骤。
图7例示接收作为检测对象的行为的选择的画面。
图8例示在下床被选择为作为检测对象的行为的情况下显示于显示装置的摄像机的配置位置的候选。
图9例示接收床上表面的高度的指定的画面。
图10例示拍摄图像内的坐标关系。
图11例示拍摄图像的任意的点(像素)与摄像机在真实空间内的位置关系。
图12示意性例示在拍摄图像内以不同的显示形式显示的区域。
图13例示接收床上表面的范围的指定的画面。
图14例示拍摄图像上的指定点与床上表面的基准点的位置关系。
图15例示摄像机与基准点的位置关系。
图16例示摄像机与基准点的位置关系。
图17例示摄像机坐标系与床坐标系之间的关系。
图18例示指定面与床上表面在真实空间内的关系。
图19例示设定于指定面内的评价区域和床的护栏的评价区域。
图20例示床头板的评价区域。
图21例示在将床头板的评价区域设定为一处的情况下的指定面与床上表面的关系。
图22例示在将床头板的评价区域设定为两处的情况下的指定面与床上表面的关系。
图23例示设定于指定面的上部空间的评价区域。
图24例示指定面已穿透墙壁的情景。
图25A例示在使用者指定的范围不适合于床上表面的情况下的评价结果的显示画面。
图25B例示在使用者指定的范围不适合于床上表面的情况下的评价结果的显示画面。
图26例示基准点的搜索范围。
图27例示在本实施方式中当检测监护对象者的行为时的信息处理装置的处理步骤。
图28例示实施方式所涉及的信息处理装置所取得的拍摄图像。
图29例示根据拍摄图像中包含的深度信息而确定的拍摄范围的被拍摄体的三维分布。
图30例示从拍摄图像中提取的前景区域的三维分布。
图31示意性例示在本实施方式中用于检测起来的检测区域。
图32示意性例示在本实施方式中用于检测下床的检测区域。
图33示意性例示在本实施方式中用于检测端坐的检测区域。
图34例示区域的扩展状态与弥散的关系。
图35示出接收床上表面的范围的指定的画面的其它例子。
图36例示床周围的评价区域。
具体实施方式
以下,根据附图而说明本发明的一方面所涉及的实施方式(以下,也记作“本实施方式”)。但是,以下说明的本实施方式在所有方面上只不过是本发明的例示。能够在不脱离本发明的范围的前提下进行各种改良和变形,这一点自不必说。即,在本发明的实施中,可以适当采用与实施方式对应的具体构成。
此外,在本实施方式中,通过自然语言而说明了出现的数据,但更具体来讲,由计算机能够识别的伪语言、命令、参数、机器语言等指定。
§1应用情景例
首先,使用图1来对应用本发明的情景进行说明。图1示意性示出应用本发明的情景的一个例子。在本实施方式中,设想了在医疗机构或者护理机构中住院病人或福利机构入住者作为监护对象者而被监护行为的情景。进行监护对象者的监护的人(以下,也称为“使用者”)利用包括信息处理装置1和摄像机2的监护***而检测监护对象者在床上的行为。
本实施方式所涉及的监护***通过利用摄像机2拍摄监护对象者的行为而取得显现监护对象者和床拍摄图像3。然后,该监护***通过在信息处理装置1中解析由摄像机2取得的拍摄图像3而检测监护对象者的行为。
摄像机2相当于本发明的拍摄装置,为监护监护对象者在床上的行为而设置。摄像机2设置的场所可以没有特别限制,可以根据实施的方式而适当选择。例如,在本实施方式中,摄像机2设置于床的长度方向的前方。即,图1例示了从侧面观察摄像机2的情景,图1的上下方向相当于床的高度方向。另外,图1的左右方向相当于床的长度方向,垂直于图1的纸面的方向相当于床的宽度方向。
该摄像机2包括测量被拍摄体的深度的深度传感器,取得对应于拍摄图像内的各像素的深度。因此,正如在图1中例示的,通过该摄像机2取得的拍摄图像3包括有表示对每像素获得的深度的深度信息。
包括该深度信息的拍摄图像3既可以为表示拍摄范围内的被拍摄体的深度的数据,也可以为例如拍摄范围内的被拍摄体的深度分布成二维状的数据(例如深度图)。另外,拍摄图像3也可以在包括深度信息的同时,包括RGB图像。进而,拍摄图像3既可以为动画图像,也可以为静止图像。
图2示出这样的拍摄图像3的一个例子。在图2中例示的拍摄图像3是各像素的灰度值根据该各像素的深度而确定的图像。越黑的像素表示靠摄像机2越近。另一方面,越白的像素,表示离摄像机2越远。根据该深度信息,能够确定拍摄范围内的被拍摄体在真实空间(三维空间)内的位置。
更详细而言,被拍摄体的深度相对于该被拍摄体的表面取得。于是,通过使用拍摄图像3中包括的深度信息,从而能够确定拍到摄像机2中的被拍摄体表面在真实空间内的位置。在本实施方式中,通过摄像机2拍摄到的拍摄图像3被发送至信息处理装置1。然后,信息处理装置1根据所取得的拍摄图像3推断监护对象者的行为。
本实施方式所涉及的信息处理装置1为了根据所取得的拍摄图像3推断监护对象者的行为,提取被设定作为该拍摄图像3的背景的背景图像与拍摄图像3的差分,从而确定拍摄图像3内的前景区域。被确定的前景区域是从背景图像上发生了变化的区域,因此包括存在监护对象者的动作部位的区域。因此,信息处理装置1利用前景区域作为与监护对象者关联的像而检测监护对象者的行为。
例如,当监护对象者在床上起来时,如在图1中例示的,显现有关于起来的部位(在图1中上半身)的区域作为前景区域而被提取。通过参照如此提取的前景区域内的各像素的深度,从而能够确定监护对象者的动作部位在真实空间内的位置。
于是,监护对象者在床上的行为能根据如此确定的动作部位与床的位置关系而推断。例如,如在图1中例示的,当监护对象者的动作部位在床的上表面的上方被检测到的情况下,能够推断,监护对象者在床上正在进行起来的动作。另外,例如,当监护对象者的动作部位在床的侧部附近被检测到的情况下,能够推断为,监护对象者想变为端坐的状态。
因此,在本实施方式中,进行作为用于确定真实空间内的床的位置的基准的床基准面的设定,以便能够根据动作部位与床的位置关系而检测监护对象者的行为。床基准面是作为监护对象者在床上的行为的基准的面。信息处理装置1为进行这样的床基准面的设定而在拍摄图像3内接收该床基准面的范围的指定。
在进行该床基准面的范围的指定的期间,信息处理装置1根据后面所述的规定的评价条件评价使用者指定的范围作为床基准面的范围是否恰当,并将该评价结果向使用者提示。提示评价结果的方法可以没有特别限制,信息处理装置1例如将该评价结果显示于显示拍摄图像的显示装置。
由此,信息处理装置1的使用者能够边确认自身指定的范围作为床基准面是否恰当,边设定床基准面的范围。因此,在信息处理装置1中,即使是缺乏有关监护***的知识的使用者,也能容易地进行关于作为检测监护对象者的行为的基准的床的位置的设定。
信息处理装置1根据深度信息确定如此设定的床的基准面与拍到前景区域的对象(监护对象者的动作部位)在真实空间内的位置关系。即,信息处理装置1将根据前景区域内的各像素的深度所确定的、拍到前景区域的对象在真实空间内的位置作为监护对象者的位置而利用。然后,信息处理装置1根据所确定的位置关系而检测监护对象者在床上的行为。
需要注意的是,在本实施方式中,例示床上表面作为床的基准面。床上表面为床的垂直方向上侧的面,例如为床垫的上表面。床的基准面既可以为这样的床上表面,也可以为其它面。床的基准面可以根据实施的方式而适当决定。并且,床的基准面不局限于存在于床上的物理上的面,也可以为假想的面。
§2构成例
<硬件构成例>
接着,使用图3来说明信息处理装置1的硬件构成。图3例示本实施方式所涉及的信息处理装置1的硬件构成。如在图3中所例示的,信息处理装置1是电连接有如下部分的计算机:包括CPU、RAM(Random Access Memory:随机存取存储器)、ROM(Read Only Memory:只读存储器)等的控制部11;存储在控制部11中执行的程序5等的存储部12;用于进行图像的显示和输入的触摸面板显示器13;用于输出声音的扬声器14;用于与外部装置连接的外部接口15;用于经由网络而进行通信的通信接口16;以及用于读取存储介质6中所存储的程序的驱动器17。不过,在图3中,通信接口及外部接口分别被记作为“通信I/F”及“外部I/F”。
需要注意的是,关于信息处理装置1的具体的硬件构成,可根据实施方式而适当进行构成成分的省略、置换以及追加。例如,控制部11可以包括多个处理器。另外,例如触摸面板显示器13也可以被替换为各自分别独立地被连接的输入装置及显示装置。显示装置例如可以为能显示图像的监视器、指示灯、信号灯、旋转灯、电光公告牌等。
信息处理装置1也可以具备多个外部接口15,并与多个外部装置连接。在本实施方式中,信息处理装置1经由外部接口15而与摄像机2连接。正如上所述,本实施方式所涉及的摄像机2包括深度传感器。该深度传感器的种类及测量方式也可以根据实施的方式而适当选择。
不过,进行监护对象者的监护的场所(例如医疗机构的病房)为监护对象者的床放置的场所,换言之,为监护对象者就寝的场所。为此,进行监护对象者的监护的场所多为黑暗的场所。因此,为了不受拍摄场所的明亮度的影响而取得深度,优选使用基于红外线的照射而测量深度的深度传感器。需要说明的是,作为包括红外线深度传感器的较廉价的拍摄装置,可列举微软公司的Kinect、ASUS公司的Xtion、PrimeSense公司的CARMINE。
另外,摄像机2也可以为立体摄像机,以便能确定拍摄范围内的被拍摄体的深度。立体摄像机由于从多个不同的方向对拍摄范围内的被拍摄体拍摄,因此能够记录该被拍摄体的深度。摄像机2只要能够确定拍摄范围内的被拍摄体的深度即可,既可以置换为深度传感器单体,也可以不作特别限定。
在此,使用图4来详细地说明通过本实施方式所涉及的深度传感器所测量的深度。图4示出能作为本实施方式所涉及的深度来看待的距离的一个例子。该深度表现被拍摄体的深度。如在图4中所例示的,被拍摄体的深度例如既可以用摄像机与对象物之间的直线距离A来表现,也可以用从摄像机相对于被拍摄体的水平轴落下的垂线的距离B来表现。即,本实施方式所涉及的深度既可以为距离A,也可以为距离B。在本实施方式中,将距离B作为深度来对待。不过,距离A与距离B例如能通过使用勾股定理等而相互转换。为此,使用了距离B的之后的说明可直接应用于距离A。
另外,如在图3中所例示的,信息处理装置1经由外部接口15而连接于护士呼叫器。这样,信息处理装置1也可以经由外部接口15而与护士呼叫器等设置于福利机构中的设备连接,从而与该设备协作而进行用于告知具有危险迫近监护对象者的预兆的通知。
需要说明的是,程序5是使信息处理装置1执行后述的动作中所包括的处理的程序,相当于本发明的“程序”。该程序5也可以记录在存储介质6中。存储介质6是以计算机及其它装置、机器等能读取所记录的程序等信息的方式通过电、磁、光学、机械或化学作用来蓄积该程序等信息的介质。存储介质6相当于本发明的“存储介质”。需要注意的是,图3例示了作为存储介质6的一例的CD(Compact Disk,高密度光盘)、DVD(Digital VersatileDisk:数字多用光盘)等盘式存储介质。然而,存储介质6的种类并非限定于盘式,也可以为盘式以外的存储介质。作为盘式以外的存储介质,能够列举例如闪存等半导体存储器。
另外,作为信息处理装置1,例如除了使用被设计成专门用于所提供的服务的装置之外,还可以使用PC(Personal Computer:个人计算机)、平板终端等通用的装置。另外,信息处理装置1可以通过一个或多个计算机来安装。
<功能构成例>
接着,使用图5来说明信息处理装置1的功能构成。图5例示本实施方式所涉及的信息处理装置1的功能构成。本实施方式涉及的信息处理装置1所包括控制部11将存储于存储部12中的程序5在RAM中展开。然后,控制部11通过CPU来解释和执行在RAM中展开的程序5,从而控制各构成要素。由此,本实施方式所涉及的信息处理装置1作为包括图像取得部20、前景提取部21、行为检测部22、设定部23、显示控制部24、行为选择部25、危险预兆通知部26、未完成通知部27、评价部28、以及范围推断部29的计算机而发挥作用。
图像取得部20取得通过为了监护监护对象者在床上的行为而设置的摄像机2拍摄到的拍摄图像3,该拍摄图像3包括表示各像素的深度的深度信息。前景提取部21根据被设定为拍摄图像3的背景的背景图像与该拍摄图像3的差分来提取拍摄图像3的前景区域。行为检测部22根据由深度信息表示出的前景区域内的各像素的深度判断拍到前景区域的对象与床基准面在真实空间内的位置关系是否满足规定的检测条件。然后,行为检测部22根据该判断的结果来检测监护对象者的与床关联的行为。需要注意的是,正如上所述,在本实施方式中,作为床基准面的一个例子,例示床上表面。
另外,显示控制部24控制通过触摸面板显示器13进行的图像显示。触摸面板显示器13相当于本发明的显示装置。然后,设定部23接收来自使用者的输入进行关于床上表面的设定。具体而言,设定部23在被显示的拍摄图像3内从使用者接收床上表面的范围的指定,并将指定的范围设定为床上表面的范围。
在此,在设定部23接收床上表面的指定的期间,评价部28根据规定的评价条件评价使用者指定的范围作为床上表面的范围是否恰当。而且,在设定部23接收床上表面的指定的期间,显示控制部24向使用者提示评价部28关于使用者指定的范围的评价结果。例如,显示控制部24将评价部28的评价结果与拍摄图像3一起显示于触摸面板显示器13。
行为选择部25接收从包括在床的端部附近或外侧进行的监护对象者的规定行为的、监护对象者的与床关联的多个行为中针对监护对象者进行的作为监护对象的行为的选择。在本实施方式中,作为与床关联的多个行为,例示有在床上起来、在床上的端座、从床的护栏上探出身(越过护栏)、以及从床上下床。这些行为中,在床上的端坐、从床的护栏上探出身(越过护栏)、以及从床上下床相当于上述规定行为。
另外,在针对监护对象者而检测到的行为为显示出危险迫近监护对象者的预兆的行为的情况下,危险预兆通知部26进行用于告知该预兆的通知。在设定部23设定处理在规定时间内未完成的情况下,未完成通知部27进行用于告知通过设定部23的设定尚未完成的通知。需要注意的是,例如向监护监护对象者的监护者进行这些通知。监护者例如为护士、福利机构职员等。在本实施方式中,这些通知既可以通过护士呼叫器来进行,也可以通过扬声器14来进行。
并且,范围推断部29根据规定的指定条件反复指定床基准面的范围,并根据规定的评价条件评价被反复指定的范围。由此,范围推断部29从被反复指定的范围之中最适合于评价条件的范围推断作为床上表面的范围。
需要注意到的是,关于各功能,将在后述的动作例中详细地说明。这里,在本实施方式中,说明了这些功能均通过通用的CPU来实现的例子。然而,这些功能的一部分或者全部也可以通过一个或者多个专用的处理器来实现。并且,关于信息处理装置1的功能构成,也可以根据实施方式而适当进行功能的省略、置换以及追加。例如,可以省略行为选择部25、危险预兆通知部26、以及未完成通知部27。
§3动作例
[床的位置设定]
首先,使用图6来对关于床的位置的设定的处理进行说明。图6例示了在关于床的位置的设定时的信息处理装置6的处理步骤。该关于床的位置的设定的处理也可以在任何时间上执行,例如,在开始监护对象者的监护之前启动程序5时执行。需要注意的是,以下说明的处理步骤只不过是一个例子,各处理可以尽可能地进行变更。另外,关于在以下说明的处理步骤,可以根据实施的方式而适当地进行步骤的省略、置换以及追加。
<步骤S101及步骤S102>
在步骤S101中,控制部11作为行为选择部25而发挥作用,接收从监护对象者在床上进行的多个行为中进行的作为检测对象的行为的选择。然后,在步骤S102中,控制部11作为显示控制部24而发挥作用,对应于被选择为检测对象的一个或多个行为,将摄像机2相对于床的配置位置的候选显示于触摸面板显示器13。使用图7及图8来说明这些处理。
图7例示在接收作为检测对象的行为的选择时在触摸面板显示器13上所显示的画面30。控制部11为了在步骤S101中接收作为检测对象的行为的选择,将画面30显示于触摸面板显示器13。画面30包括示出本处理所涉及的设定的处理阶段的区域31、接收作为检测对象的行为的选择的区域32、以及示出摄像机2的配置位置的候选的区域33。
在本实施方式涉及的画面30中,作为选择为检测对象的行为的候选,例示了四种行为。具体而言,作为选择为检测对象的行为的候选,例示了在床上起来、从床上下床、在床上的端坐、以及从床的护栏上探出身(越过护栏)。下面,将在床上起来也单纯称为“起来”,将从床上下床也单纯称为“下床”,将在床上的端坐也单纯称为“端坐”,将从床的护栏上探出身也单纯称为“越过护栏”。在区域32中设有对应于各个行为的四个按钮321~324。使用者通过操作按钮321~324而选择一个或多个作为检测对象的行为。
当按钮321~324中的任意按钮***作而选择了作为检测对象的行为时,控制部11作为显示控制部24而发挥作用,更新区域33上显示的内容,以便示出对应于所选择的一个或多个行为的摄像机2的配置位置的候选。摄像机2的配置位置的候选是根据信息处理装置1是否能够通过配置于那个位置的摄像机2所拍摄的拍摄图像3来检测对象的行为而预先确定。示出这样的摄像机2的配置位置的候选的理由如下。
本实施方式所涉及的信息处理装置1通过解析用摄像机2取得的拍摄图像3来推断监护对象者与床的位置关系,以检测监护对象者的行为。为此,在与对象的行为的检测关联的区域未拍到拍摄图像3中的情况下,信息处理装置1就无法检测该对象的行为。因此,希望监护***的使用者对应作为检测对象的各行为掌握适于摄像机2的配置的位置。
然而,监护***的使用者未必能够将这样的位置全部掌握全部,因此,有可能摄像机2误配置于与对象的行为的检测关联的区域不被拍到的位置。如果摄像机2被误配置于与对象的行为的检测关联的区域不被拍到的位置,则信息处理装置1无法检测该对象的行为,导致监护***的监护不周。
因此,在本实施方式中,对应作为检测对象的每个行为预先确定适于摄像机2的配置的位置,并预先将那样的摄像机位置的候选保持于信息处理装置1中。于是,信息处理装置1对应于所选择的一个或多个行为来显示能拍摄到与对象的行为的检测关联的区域的摄像机2的配置位置的候选,以向使用者指示摄像机2的配置位置。由此,本实施方式所涉及的监护***抑制由使用者造成的摄像机2的误配置,降低监护对象者的监护的监护不周的可能性。
另外,在本实施方式中,通过后述的各种设定,能够使监护***适应于进行监护的各环境。为此,在本实施方式所涉及的监护***中,摄像机2的配置的自由度变高。然而,如果摄像机2的配置的自由度高,相应地,使用者将摄像机2配置于错误位置的可能性变高。对此,在本实施方式中,由于显示摄像机2的配置位置的候选来提示使用者进行提示摄像机2的配置,因此能够防止使用者将摄像机2配置于错误的位置。即,在像本实施方式这样的摄像机2的配置的自由度高的监护***中,由于显示摄像机2的配置位置的候选,因而能够特别地期待防止使用者将摄像机2配置于错误的位置的效果。
需要注意的是,在本实施方式中,作为摄像机2的配置位置的候选,摄像机2容易拍摄与对象的行为的检测关联的区域的位置、换言之在摄像机2的设置上推荐的位置用○符号示出。与此相反,摄像机2难以拍摄与对象的行为的检测关联的区域的位置、换言之在摄像机2的设置上不推荐的位置用×符号示出。使用图8来说明在摄像机2的设定上不推荐的位置。
图8例示选择了“下床”作为检测对象的行为的情况下的区域33的显示内容。从床上下床是离开床的行为。也就是说,从床上下床是监护对象者在床的外侧、特别是与床分离的场所进行的动作。为此,如果将摄像机2配置于难以拍摄床的外侧的位置,则会导致与下床的检测关联的区域不被拍到拍摄图像3中的可能性变高。
在此,如果将摄像机2配置于床附近,则在该摄像机2所拍摄的拍摄图像3中,很有可能拍床的图像占大部分,而与床已分开的场所几乎没被拍到。为此,在通过图8例示的画面中,作为检测从床上下床时的在摄像机2的配置上不推荐的位置,由×符号示出了床下边附近的位置。
需要注意的是,根据已选择的检测对象的行为来决定摄像机2的配置位置的候选的条件例如也可以作为按每个检测对象的行为表示在摄像机2的设置上推荐的位置和不推荐的位置的数据而存储于存储部12中。另外,也可以如本实施方式这样设定用于选择检测对象的行为的各按钮321~324的动作。即,也可以按如下方式设定各按钮321~324的动作:在操作了各按钮321~324时,于配置摄像机2的候选的位置上进行○符号或×符号的显示。保持根据已选择的检测对象的行为来决定摄像机2的配置位置的候选的条件的方法并没有特别的限制。
这样,在本实施方式中,当在步骤S101中使用者选择了希望的行为作为检测对象时,在步骤S102中,对应所选择的检测对象行为,将摄像机2的配置位置的候选示出于区域33上。使用者按照该区域33的内容配置摄像机2。即,使用者从区域33上示出的配置位置的候选中选择任意位置并将摄像机2适当地配置于已选择的位置上。
为了接收检测对象行为的选择和摄像机2的配置已完成,在画面30上还设有“下一步”按钮34。当在检测对象行为的选择和摄像机2的配置完成了之后使用者操作“下一步”按钮34时,信息处理装置1的控制部11使处理前进至下一个步骤S103。
<步骤S103>
返回至图6,在步骤S103中,控制部11作为设定部23而发挥作用,接收床上表面的高度的指定。控制部11将指定的高度设定为床上表面的高度。另外,控制部11作为图像取得部20而发挥作用,从摄像机2取得包括深度信息的拍摄图像3。而且,在接收到床上表面的高度的指定时,控制部11作为显示控制部24而发挥作用,使得在拍摄图像3上明示显现有位于所指定的高度上的对象的区域,并使触摸面板显示器13显示所取得的拍摄图像3。
图9例示当接收床上表面的高度的指定时显示于触摸面板显示器13上的画面40。控制部11为了在步骤S103中接收床上表面的高度的指定,将画面40显示于触摸面板显示器13。画面40包括:描画从摄像机2中获得的拍摄图像3的区域41、以及用于指定床上表面的高度的滚动条42。
在步骤S102中,使用者按照画面上所显示的内容而配置了摄像机2。因此,在本步骤S103中,使用者首先一边确认描画于画面40的区域41上的拍摄图像3,一边使摄像机2朝向床的方向,以便使床包括在摄像机2的拍摄范围中。如此一来,床就会拍到描画于区域41上的拍摄图像3中,因而使用者接着操作滚动条42的凸块43而指定床上表面的高度。
在此,控制部11在拍摄图像3上明示显现有位于根据凸块43的位置而指定的高度上的对象的区域。由此,本实施方式所涉及的信息处理装置1使使用者容易掌握基于凸块43的位置而指定的真实空间上的高度。对该处理,使用图10~12来说明。
首先,使用图10及图11,说明拍到拍摄图像3内的各像素中的对象的高度与该各像素的深度的关系。图10例示拍摄图像3内的坐标关系。另外,图11例示拍摄图像3的任意的像素(点s)与摄像机2在真实空间内的位置关系。需要注意的是,图10的左右方向与垂直于图11的纸面的方向对应。即,在图11中显现出的拍摄图像3的长度对应于在图10中例示的纵向的长度(H像素)。另外,在图10中例示的横向的长度(W像素)对应于在图11中未能显出的拍摄图像3的纸面垂直方向的长度。
在此,如在图10中所例示的,将拍摄图像3的任意的像素(点s)的坐标设为(xs,ys),将摄像机2的横向的视角设为Vx,将纵向的视角设为Vy。将拍摄图像3的横向的像素数设为W,将纵向的像素数设为H,将拍摄图像3的中心点(像素)的坐标设为(0,0)。
另外,如在图11中所例示的,将摄像机2的俯仰角设为α。将连接摄像机2和点s的线段与表示真实空间的垂直方向的线段之间的角度设为βs,将连接摄像机2和点s的线段与表示摄像机2的拍摄方向的线段之间的角度设为γs。进而,将连接摄像机2和点s的线段的在从横向上观察的情况下的长度设为Ls,将摄像机2与点s的垂直方向的距离设为hs。需要注意的是,在本实施方式中,该距离hs相当于拍到点s上的对象在真实空间上的高度。不过,表现拍于点s上的对象在真实空间上的高度的方法也可以不限定于这样的例子,还可以根据实施的方式而适当设定。
控制部11能够从摄像机2中取得表示该摄像机2的视角(Vx、Vy)以及俯仰角α的信息。但是,取得这些信息的方法也可以不限定于这样的方法,控制部11既可以通过接收来自使用者的输入而取得这些信息,也可以作为预先设定的设置值而取得这些信息。
另外,控制部11能够由拍摄图像3取得点s的坐标(xs,ys)以及拍摄图像3的像素数(W×H)。进而,控制部11通过参照深度信息而能取得点s的深度Ds。控制部11能够利用这些信息而算出点s的角度γs以及βs。具体而言,拍摄图像3在纵向上的每一个像素的角度能够近似为由以下的数学式1示出的值。由此,控制部11能够根据由以下的数学式2及数学式3示出的关系式而算出点s的角度γs以及βs
[数学式1]
V y H
[数学式2]
&gamma; s = V y H &times; y s
[数学式3]
βs=90-α-γs
于是,控制部11能够将已算出的γs及点s的深度Ds应用到以下的数学式4的关系式中,从而能够求出Ls的值。另外,控制部11能够通过将算出的Ls及βs应用到以下的数学式5的关系式中,从而算出在真实空间上的点s的高度hs
[数学式4]
L s = D s cos&gamma; s
[数学式5]
hs=Ls×cosβs
因此,控制部11通过参照由深度信息表示的各像素的深度,能够确定拍到该各像素中的对象在真实空间上的高度。也就是说,控制部11通过参照由深度信息示出的各像素的深度,能够确定显现有位于根据凸块43的位置而指定的高度上的对象的区域。
需要注意的是,控制部11通过参照由深度信息表示的各像素的深度,不仅能够确定拍到该各像素中的对象在真实空间上的高度hs,而且还能够确定拍到该各像素中的对象在真实空间上的位置。例如,控制部11基于由以下的数学式6~数学式8表示的关系式,能够算出图11例示的摄像机坐标系中的从摄像机2至点s为止的向量S(Sx,Sy,Sz,1)的各值。由此,拍摄图像3内的坐标系中的点s的位置与摄像机坐标系中的点s的位置可相互转换。
[数学式6]
S x = x s &times; ( D s &times; tan V x 2 ) / W 2
[数学式7]
S y = y s &times; ( D s &times; tan V y 2 ) / H 2
[数学式8]
Sz=Ds
接着,使用图12来说明基于凸块43的位置而指定的高度与在拍摄图像3上明示的区域的关系。图12示意性地例示基于凸块43的位置而指定的高度的面(以下也称为“指定高度面”)DF与摄像机2的拍摄范围的关系。此外,图12与图1同样地例示了在从侧面观察摄像机2的情景,图12的上下方向相当于床的高度方向且相当于真实空间上的垂直方向。
在图12中例示的指定高度面DF的高度h通过使用者操作滚动条42而被指定。具体而言,滚动条42上的凸块43的位置与指定高度面DF的高度h对应,控制部11根据滚动条42上的凸块43的位置决定指定高度面DF的高度h。由此,例如,使用者通过使凸块43向上方移动而能以在真实空间上指定高度面DF向上方移动的方式而使高度h的值变小。另一方面,使用者通过使凸块43向下方移动而能以在真实空间上指定高度面DF向下方移动的方式而使高度h的值变大。
在此,正如上所述,控制部11能够根据深度信息而确定拍到拍摄图像3内的各像素的对象的高度。因此,当接收到这样的通过滚动条42进行的高度的指定时,控制部11在拍摄图像3内确定显现有位于该指定的高度h上的对象的区域,换言之,确定显现有位于指定高度面DF的对象的区域。然后,控制部11作为显示控制部24而发挥作用,在描画于区域41上的拍摄图像3上明示相当于显现有位于指定高度面DF的对象的区域的部分。例如,控制部11如图9例示的那样,以与拍摄图像3内的其它区域不同的显示形式进行描画,从而明示相当于显现有位于指定高度面DF的对象的区域的部分。
明示对象的区域的方法也可以根据实施的方式而适当设定。例如,控制部11也可以通过以与其它区域不同的显示形式描画对象的区域来明示对象的区域。在此,用于对象的区域的显示形式只要是能够识别该对象的区域的形式即可,通过色彩、色调等进行特别指定。若列举一个例子的话,控制部11将为黑白灰度图像的拍摄图像3描画于区域41。与此相对,控制部11也可以用红色描画显现有位于指定高度面DF的高度上的对象显现的区域,从而在拍摄图像3上明示该显现有位于指定高度面DF的高度上的对象的区域。需要注意的是,为了使指定高度面DF在拍摄图像3内易于显现,指定高度面DF也可以在垂直方向上具有规定的宽度(厚度)。
这样,在本步骤S103中,本实施方式所涉及的信息处理装置1在接收通过滚动条42进行的高度h的指定时,在拍摄图像3上明示显现有位于高度h上的对象的区域。使用者以如此明示的、位于指定高度面DF的高度上的区域为参考来设定床上表面的高度。具体而言,使用者通过调节凸块43的位置而使指定高度面DF成为床上表面来设定床上表面的高度。即,使用者能够边在拍摄图像3上视觉掌握指定的高度h,边进行床上表面的高度的设定。由此,在本实施方式中,即使是缺乏有关监护***的知识的使用者,也能够容易地进行床上表面的高度的设定。
另外,在本实施方式中,床的上表面被采用为床的基准面。在用摄像机2拍摄监护对象者在床上的行为的情况下,床的上表面是易于拍进通过摄像机2取得的拍摄图像3中的场所。因此,拍摄图像3的显现有床的区域中床上表面所占的比例易于变高,能够容易地进行使指定高度面DF与那样的显现有床上表面的区域一致。因此,通过如本实施方式这样采用床上表面作为床的基准面上,从而能够使床的基准面的设定变容易。
需要注意的是,也可以是,控制部11作为显示控制部24而发挥作用,当接收基于滚动条42进行的高度h的指定时,在描画于区域41的拍摄图像3上明示显现有从指定高度面DF起向床的高度方向上方位于规定的范围AF的对象的区域。范围AF的区域例如在图9中例示的那样通过以与包括指定高度面DF的区域的其它区域不同的显示形式描画,从而被明示成与其它区域能区分。
在此,可以将指定高度面DF的区域的显示形式称为“第一显示形式”,将范围AF的区域的显示形式称为“第二显示形式”。另外,可以将规定范围AF的床的高度方向的距离称为“第一规定距离”。例如,控制部11可以在作为黑白灰度图像的拍摄图像3上用蓝色明示显现有位于范围AF的对象的区域。
由此,除位于指定高度面DF的高度上的区域以外,使用者还能够在拍摄图像3上视觉掌握位于指定高度面DF的上侧规定的范围AF的对象的区域。为此,易于掌握拍到拍摄图像3中的被拍摄体在真实空间上的状态。另外,使用者能够利用范围AF的区域作为使指定高度面DF与床上表面一致时的指标,因此床上表面的高度的设定变得容易。
需要注意的是,规定范围AF的床的高度方向的距离可以设定为适合于床的护栏的高度。该床的护栏的高度既可以作为预先设定的设置值而取得,也可以作为来自使用者的输入值而取得。在像这样设定了范围AF的情况下,在指定面DF被恰当地设定在了床上表面时,范围AF的区域就成为表示出床的护栏的区域的区域。也就是说,使用者可以通过使范围AF的区域与床的护栏的区域一致而使指定高度面DF与床上表面一致。因此,在拍摄图像3上,在指定床上表面时可以利用拍到床的护栏的区域作为指标,因此床上表面的高度的设定变得容易。
另外,正如后面所述,信息处理装置1通过判断前景区域所拍到的对象相对于通过指定高度面DF设定的床上表面在真实空间上是否存在于规定距离hf以上高的位置,从而检测监护对象者在床上的起来。因此,也可以是,控制部11作为显示控制部24而发挥作用,在接收到通过滚动条42进行的高度h的指定时,描画于区域41的拍摄图像3上明示显现有从指定高度面DF起在床的高度方向上方位于距离hf以上的高度上的对象的区域。
如在图12中所例示的,该从指定高度面DF起向床的高度方向上方距离为hf以上的高度的区域也可以在床的高度方向上限定范围(范围AS)。该范围AS的区域例如以与包括指定高度面DF及范围AF的区域的其它区域不同的显示形式描画,从而被明示为能与其它区域能区分开。
在此,可以将范围AS的区域的显示形式称为“第三显示形式”。另外,可以将关于起来的检测的距离hf称为“第二规定距离”。例如,控制部11也可以在作为黑白灰度图像的拍摄图像3上用黄色明示显现有位于范围AS的对象的区域。
由此,使用者能够在拍摄图像3上视觉上掌握关于起来的检测的区域。为此,能以适合起来的检测的方式进行床上表面的高度的设定。
需要注意的是,在图12中,距离hf比规定范围AF的床的高度方向的距离长。但是,距离hf也可以不限定于这样的长度,既可以与规定范围AF的床的高度方向的距离相同,也可以比该距离短。在距离hf比规定范围AF的床的高度方向的距离短的情况下,产生范围AF的区域与范围AS的区域重叠的区域。作为该重叠的区域的显示形式,既可以采用范围AF及范围AS中任一的显示形式,也可以采用与范围AF及范围AS的哪一种显示形式都不同的显示形式。
另外,也可以是,控制部11作为显示控制部24而发挥作用,在接收通过滚动条42进行的高度h的指定时,在描画于区域41的拍摄图像3上以不同的显示形式明示显现有在真实空间内位于指定高度面DF的上方的对象的区域和显现有位于下方的对象的区域。通过像这样地分别以不同的显示形式描画指定高度面DF的上侧的区域和下侧的区域,从而能够使位于指定高度面DF的高度上的区域易于在视觉上掌握。因此,能够在拍摄图像3上易于识别显现有位于指定高度面DF的高度上的对象的区域,从而使床上表面的高度的设定变得容易。
返回至图9,在画面40上,还设有用于接收设定的重新设定的“返回”按钮44和用于接收指定高度面DF的设定已完成这一内容的“下一步”按钮45。当使用者操作“返回”按钮44时,信息处理装置1的控制部11使处理返回至步骤S101。另一方面,当使用者操作“下一步”按钮45时,控制部11确定所指定的床上表面的高度。即,控制部11在操作了该按钮45时存储所指定的指定高度面DF的高度,并将存储的指定高度面DF的高度设定为床上表面的高度。然后,控制部11使处理前进至下一个步骤S104。
<步骤S104>
返回至图6,在步骤S104中,控制部11判断在步骤S101中选择的检测对象的一个或多个行为上是否包括在床上的起来以外的行为。当在步骤S101中选择的一个或多个行为包括起来以外的行为的情况下,控制部11使处理前进至下一个步骤S105,接收床上表面的范围的设定。另一方面,在步骤S101中选择的一个或多个行为未包括起来以外的行为的情况下、换种说法、当在步骤S101中选择的行为只是起来的情况下,控制部11结束本动作例所涉及的关于床的位置的设定,开始后述的行为检测所涉及的处理。
如上所述的,在本实施方式中,作为由监护***检测的对象的行为有起来、下床、端坐以及越过护栏。这些行为中的“起来”是有可能在床上表面的大范围内进行的行为。为此,即使未设定床上表面的范围,控制部11也能根据监护对象者与床在床的高度方向上的位置关系而比较高精度地检测监护对象者的“起来”。
另一方面,“下床”、“端坐”以及“越过护栏”相当于本发明的“在床的端部附近或外侧进行的规定行为”,是在比较有限的范围内进行的行为。因此,为了控制部11高精度地检测这些行为,最好不仅能够确定监护对象者与床在床的高度方向上的位置关系,而且还能够确定监护对象者与床在水平方向上的位置关系。即,在步骤S101中“下床”、“端坐”以及“越过护栏”的任意行为被选择为检测对象的行为的情况下,最好设定床上表面的范围,以便能够确定监护对象者与床在水平方向上的位置关系。
因此,在本实施方式中,控制部11判断在步骤S101中选择的一个或多个行为是否包括这样的“规定行为”。然后,在步骤S101中选择的一个或多个行为包括有“规定行为”的情况下,控制部11使处理前进至下一个步骤S105,接收床上表面的范围的设定。另一方面,在步骤S101中选择的一个或多个行为未包括“规定行为”的情况下,控制部11省略床上表面的范围的设定,结束本动作例所涉及的关于床的位置的设定。
即,本实施方式所涉及的信息处理装置1并非在所有的情况下都接收床上表面的范围的设定,而只在床上表面的范围的设定被推荐的情况下接收床上表面的范围的设定。由此,在一部分的情况下,能够省略床上表面的范围的设定,能够简化关于床的位置的设定。并且,在床上表面的范围的设定被推荐的情况下,能够做到接收床上表面的范围的设定。为此,即使为缺乏有关监护***的知识的使用者,也能够根据选择为检测对象的行为而恰当地选择关于床的位置的设定项目。
具体而言,在本实施方式中,在只有“起来”被选择为检测对象的行为的情况下,省略床上表面的范围的设定。另一方面,在“下床”、“端坐”以及“越过护栏”中的至少任一行为被选择为检测对象的行为的情况下,接收床上表面的范围的设定(步骤S105)。
需要说明的是,包括在上述“规定行为”中的行为可以根据实施的方式而适当选择。例如,通过设定床上表面的范围而有可能提高“起来”的检测精度。因此,“起来”也可以包括在本发明的“规定行为”中。另外,例如,“下床”、“端坐”以及“越过护栏”即使未设定床上表面的范围也有可能高精度地检测。因此,“下床”、“端坐”以及“越过护栏”的任意行为也可以从“规定行为”中除外。
<步骤S105>
在步骤S105中,控制部11作为设定部23而发挥作用,接收床的基准点的位置及床的方向的指定。然后,控制部11根据指定的基准点的位置及床的方向来设定床上表面在真实空间内的范围。在此,控制部11作为评价部28发挥作用,在接收床上表面的范围的指定期间,根据规定的评价条件评价使用者指定的范围作为床基准面的范围是否恰当。然后,控制部11作为显示控制部24而发挥作用,向使用者提示该评价结果。另外,制部11也能够作为范围推断部29发挥作用,可以根据规定的指定条件反复指定床上表面的范围,并根据评价条件评价被反复指定的范围。然后,控制部11也可以从被反复指定的范围之中推断最适合于评价条件的范围作为床上表面的范围。由此,能够自动检测床上表面的范围。关于这些处理,以下进行详细说明。
(1)床上表面的范围的指定
首先,使用图13来对使用者指定床上表面的范围的方法进行说明。图13例示当接收床上表面的范围的设定时显示于触摸面板显示器13上的画面50。为了在步骤S105中接收床上表面的范围的指定,控制部11将画面50显示于触摸面板显示器13。画面50包括:描画从摄像机2中获得的拍摄图像3的区域51、用于指定基准点的标识52、以及用于指定床的方向的滚动条53。
在本步骤S105中,使用者通过在描画于区域51的拍摄图像3上操作标识52来指定床上表面的基准点的位置。另外,使用者操作滑动条53的凸块54而指定床的方向。控制部11根据如此指定的基准点的位置及床的方向而确定床上表面的范围。使用图14~图17来说明这些处理。
首先,使用图14说明通过标识52指定的基准点p的位置。图14例示拍摄图像3上的指定点ps与床上表面的基准点p的位置关系。指定点ps表示标识52在拍摄图像3上的位置。另外,在图14中例示的指定高度面DF示出位于在步骤S103中设定的床上表面的高度h上的面。在这种情况下,控制部11可将通过标识52指定的基准点p确定作为连接摄像机2和指定点ps的直线与指定高度面DF的交点。
在此,将指定点ps在拍摄图像3上的坐标设为(xp,yp)。另外,将连接摄像机2和指定点ps的线段与表示真实空间的垂直方向的线段之间的角度设为βp,将连接摄像机2和指定点ps的线段与表示摄像机2的拍摄方向的线段之间的角度设为γp。进而,将连接摄像机2和基准点p的线段从横向观察的情况下的长度设为Lp,将从摄像机2至基准点p的深度设为Dp
此时,与步骤S103同样地,控制部11能够取得表示摄像机2的视角(Vx、Vy)以及俯仰角α的信息。另外,控制部11能够取得指定点ps在拍摄图像3上的坐标(xp,yp)以及拍摄图像3的像素数(W×H)。进而,控制部11能够取得表示在步骤S103中设定的高度h的信息。与步骤S103同样地,控制部11能够通过将这些值应用至由以下的数学式9~数学式11表示的关系式而算出从摄像机2至基准点p为止的深度Dp
[数学式9]
&gamma; p = V y H &times; y p
[数学式10]
βp=90-α-γp
[数学式11]
D p = L p &times; cos&gamma; p = h cos&beta; p &times; cos&gamma; p
然后,控制部11通过将已算出的深度Dp应用至由以下的数学式12~数学式14示出的关系式中而能够求出基准点p在摄像机坐标系中的坐标P(Px,Py,Pz,1)。由此,控制部11确定通过标识52指定的基准点p在真实空间上的位置变为可能。
[数学式12]
P x = x p &times; ( D P &times; tan V x 2 ) / W 2
[数学式13]
P y = y P &times; ( D P &times; tan V y 2 ) / H 2
[数学式14]
Pz=DP
需要注意的是,图14例示拍于指定点ps的对象存在于比在步骤S103中设定的床上表面高的位置时、拍摄图像3上的指定点ps与床上表面的基准点p的位置关系。在拍于指定点ps的对象位于在步骤S103中设定的床上表面的高度上的情况下,指定点ps与基准点p在真实空间上为相同的位置。
接着,使用图15~及图16说明根据通过滚动条53指定的床的方向θ和基准点p而确定的床上表面的范围。图15例示从侧面观察摄像机2时的摄像机2与基准点p的位置关系。另外,图16例示从上方观察摄像机2时的摄像机2与基准点p的位置关系。
床上表面的基准点p是作为确定床上表面的范围的基准的点,设定为对应于床上表面的规定的位置。使基准点p对应的该规定的位置并没有特别的限制,也可以根据实施的方式而适当设定。在本实施方式中,基准点p被设定为对应于床上表面的中央的点(中心)。
与此相对,如在图16中所例示的,本实施方式所涉及的床的方向θ用床的长边方向相对于摄像机2的拍摄方向的倾斜度来表示,根据滚动条53上凸块54的位置而指定。图16中例示的向量Z示出了床的方向。当使用者在画面50上使滚动条53的凸块54向左方向移动时,向量Z以基准点p为中心沿顺时针方向旋转、换言之,向床的方向θ的值变大的方向变化。另一方面,当使用者使滚动条53的凸块54向右方向移动时,向量Z以基准点p为中心沿逆时针方向旋转、换言之,向床的方向θ的值变小的方向变化。
也就是说,基准点p示出床中央的位置,床的方向θ示出以床中央为轴的水平方向的旋转程度。为此,当指定了床的基准点p的位置及方向θ时,控制部11能够根据指定的基准点p的位置及床的方向θ,确定如在图16中所例示的那样假想的表示床上表面的范围的框FD在真实空间上的位置以及方向。
需要说明的是,床的框FD的大小对应于床的尺寸而设定。床的尺寸例如由床的高度(垂直方向的长度)、横宽(短边方向的长度)、以及纵长(长边方向的长度)所限定。床的横宽对应于床头板及床尾板的长度。另外,床的纵长对应于侧框架的长度。床的尺寸大多情况下是根据监护环境而预先已决定。控制部11既可以将这样的床的尺寸作为预先设定的设定值而取得,也可以作为使用者的输入值而取得,还可以通过从预先设定的多个设定值进行选择而取得。
假想的床框FD示出基于所指定的基准点p的位置及床的方向θ而设定的床上表面的范围。因此,也可以是,控制部11作为显示控制部24而发挥作用,在拍摄图像3内描画基于所指定的基准点p的位置及床的方向θ而确定的框FD。由此,使用者能够边用拍摄图像3内描画的假想的床框FD来确认,边设定床上表面的范围。为此,能够降低使用者误进行床上表面的范围的设定的可能性。需要注意的是,该假想的床框FD也可以包括假想的床的护栏。由此,能够进一步使使用者容易掌握假想的床框FD。
因此,在本实施方式中,使用者通过使标识52对准拍到拍摄图像3中的床上表面的中央而能够将基准点p设定于恰当的位置。另外,使用者通过确定凸块54的位置,以使假想的床框FD与拍到拍摄图像3中的床上表面的外周重合而能够恰当地设定床的方向θ。需要注意的是,将假想的床框FD描画于拍摄图像3内的方法也可以根据实施的方式而适当设定。例如,也可以采用利用以下说明的射影变换的方法。
在此,为了使床框FD的位置及后述的检测区域的位置易于掌握,控制部11也可以利用将床作为基准的床坐标系。床坐标系例如为将床上表面的基准点作为原点、将床的宽度方向作为x轴、将床的高度方向作为y轴、以及将床的长边方向作为z轴的坐标系。在这样的坐标系中,控制部11能根据床的尺寸确定床框FD的位置。下面,说明算出将摄像机坐标系的坐标变换为该床坐标系的坐标的射影变换矩阵M的方法。
首先,用以下的数学式15来表达使朝着水平方向的摄像机的拍摄方向俯仰角度α的旋转矩阵R。控制部11通过将该旋转矩阵R应用到由以下的数学式16及数学式17表示的关系式中而能够分别求出在图15中例示的、表示摄像机坐标系中的床的方向的向量Z以及表示在摄像机坐标系中的床的高度方向上方的向量U。需要注意的是,包含在由数学式16及数学式17表示的关系式中所包括的“*”意思是矩阵的乘法。
[数学式15]
R = cos &alpha; 0 sin &alpha; 0 sin &alpha; cos &alpha; 0 0 - sin &alpha; 0 cos &alpha; 0 0 0 0 1
[数学式16]
Z=(sinθ 0 -cosθ 0)*R
[数学式17]
U=(0 1 0 0)*R
接着,通过将向量U及Z应用到由以下的数学式18示出的关系式中,从而能够求出在图16中例示的、沿着床的宽度方向的床坐标系的单位向量X。另外,控制部11通过将向量Z及X应用到由以下的数学式19示出的关系式中,从而能够求出沿着床的高度方向的床坐标系的单位向量Y。然后,控制部11通过将摄像机坐标系中的基准点p的坐标P、向量X、Y及Z应用到由以下的数学式20示出的关系式中,从而能够求出将摄像机坐标系的坐标变换为床坐标系的坐标的射影变换矩阵M。需要说明的是,包含在由数学式18及数学式19示出的关系式中的“×”意思是向量的外积。
[数学式18]
X = U &times; Z | U &times; Z |
[数学式19]
Y=Z×X
[数学式20]
M = X x Y x Z x 0 X y Y y Z y 0 X z Y z Z z 0 - P &CenterDot; X - P &CenterDot; Y - P &CenterDot; Z 1
图17例示本实施方式所涉及的摄像机坐标系与床坐标系之间的关系。如图17所例示的,算出的射影变换矩阵M能够将摄像机坐标系的坐标变换为床坐标系的坐标。因此,如果利用射影变换矩阵M的逆矩阵,则就能够将床坐标系的坐标变换为摄像机坐标系的坐标。也就是说,通过利用射影变换矩阵M,从而摄像机坐标系的坐标与床坐标系的坐标可相互变换。在此,正如上所述,摄像机坐标系的坐标与拍摄图像3内的坐标能相互变换。为此,在此时间点,床坐标系的坐标与拍摄图像3内的坐标能够相互变换。
在此,正如上所述,在床的尺寸已被确定的情况下,控制部11能够在床坐标系中确定假想的床框FD的位置。也就是说,控制部11能够在床坐标系中确定假想的床框FD的坐标。因此,控制部11利用射影变换矩阵M,将床坐标系中的框FD的坐标逆变换为摄像机坐标系中的框FD在的坐标。
另外,摄像机坐标系的坐标与拍摄图像内的坐标之间的关系通过由上述数学式6~8示出的关系式来表现。因此,控制部11根据由上述数学式6~8示出的关系式,能够由摄像机坐标系中的框FD的坐标确定描画于拍摄图像3内的框FD的位置。也就是说,控制部11能够根据射影变换矩阵M和表示床的尺寸的信息在各坐标系中确定假想的床框FD的位置。通过这种方式,控制部11也可以如在图13所例示的那样将假想的床框FD描画于拍摄图像3内。
这样,在本实施方式中,能够通过指定基准点p的位置和床的方向θ而设定床上表面的范围。例如,如在图13中所例示的,在拍摄图像3中未必包括整个床。因此,为了设定床上表面的范围,例如必须指定床的四角这样的***中,有可能无法设定床上表面的范围。然而,在本实施方式中,为了设定床上表面的范围而指定位置的点为1点(基准点p)即可。由此,在本实施方式中,能够提高摄像机2的设置位置的自由度,并且能够使监护***变得容易适用于监护环境。
另外,在本实施方式中,作为使基准点p对应的规定的位置,采用了床上表面的中央。床上表面的中央是不论从哪一个方向上拍摄床都易于拍到拍摄图像3中的地方。因此,通过采用床上表面的中央作为使基准点p对应的规定的位置,从而能够进一步提高摄像机2的设置位置的自由度。
不过,如果摄像机2的设置位置的自由度提高,则会导致配置摄像机2的选择范围扩大,具有对使用者来说摄像机2的配置反而变困难的可能性。对此,在本实施方式中,通过在将摄像机2的配置位置的候选显示于触摸屏显示器13的同时向使用者指示摄像机2的配置,从而使摄像机2的配置变容易,解决了这样的问题。
需要注意的是,存储床上表面的范围的方法也可以根据实施的方式而适当设定。正如上面所述,通过从摄像机坐标系变换为床坐标系的射影变换矩阵M和表示床的尺寸的信息,控制部11能够确定床框FD的位置。为此,信息处理装置1也可以在操作了按钮56时存储根据已指定的基准点p的位置及床的方向θ而算出的射影变换矩阵M和表示床的尺寸的信息作为表示在步骤S105中已设定的床上表面的范围的信息。
(2)指定范围的评价方法
接着,说明使用者采用上述的方法指定的范围作为床上表面的范围是否恰当的评价方法。如图13中例示的,在画面50上包括表示使用者指定的范围是否恰当的显示区域57。正如上所述,控制部11作为评价部28发挥作用,按照规定的评价条件评价使用者指定的范围。然后,控制部11作为显示控制部24发挥作用,为了向使用者提示该评价结果,在显示区域57中显示将该评价结果。以下,对评价方法和评价结果的显示方法进行详细说明。
(2-1)评价条件
首先,使用图18~图24对在本实施方式中利用的评价条件进行说明。正如上所述,当使用者指定基准点和床的方向时,能够确定假想的床框FD在真实空间内的位置。在以下,将该假想的床框FD也称为“指定范围FD”。图18例示了该指定范围FD与床在真实空间内的关系。
在图18中,例示了具备床头板及左右一对护栏的床和使用者指定的指定范围FD。在以下,设想像这样具备床头板及左右一对护栏的床。在指定范围FD适合作为床上表面的范围时,在图18中例示的指定范围FD与床上表面变为一致的状态。在这种状态下,例如,床的护栏存在于指定范围FD的右边等状况出现于拍摄图像3内。另一方面,在指定范围FD不适合作为床上表面的范围时,如在图18中例示的,指定范围FD与床上表面变为不一致的状态。在这种状态下,例如,在指定范围FD内存在于高度比床上表面低的位置上的对象显现等状况出现于拍摄图像3内。
通过在拍摄图像3内检测这样的指定范围FD适合作为床上表面的情况下出现的状况或指定范围FD不适合床上表面的情况下出现的状况,从而能够判断指定范围FD作为床上表面是否恰当。在此,可以作为用于检测这样的状况的条件给出规定的评价条件。以下,例示五个按这种方式给出的条件。但是,评价条件不限定于这样的例子,只要能判断指定范围FD作为床上表面是否恰当,则就可以根据实施的方式而适当设定。
(a)第一评价条件
使用图19来说明第一评价条件。图19例示第一~第三评价条件与指定范围D的关系。第一评价条件是用于判断在使用者指定的指定范围内未包括高度比床上表面低的对象的拍到的像素的条件。
例如,在图18中例示的,在指定范围FD的至少一部分从床上表面偏离时,认为指定范围FD不适合作为床上表面。在这种情况下,从床上表面上偏离的部分上,可能拍到床的侧壁、地板等存在于比床上表面低的位置上的对象。在该第一评价条件中,作为一例,能够判断像这样的状况。
即,控制部11作为评价部28发挥作用,根据对应于被指定范围FD包围的指定面FS的拍摄图像3内的区域上所包括的各像素的深度信息,判断拍到该各像素的对象是存在于比床上表面高的位置还是存在于低的位置。控制部11利用在步骤S103中指定的值h作为床上表面的高度。然后,在判断为在对应于指定面FS的拍摄图像3内的区域上包括规定的像素数以上的、高度比床上表面低的对象显现的像素的情况下,控制部11评价为指定范围FD不满足该第一评价条件,换言之,评价为指定范围FD作为床上表面并不恰当。另一方面,在判断为在对应于指定面FS的拍摄图像3内的区域上未包括规定的像素数以上的、高度比床上表面低的对象的拍到像素的情况下,控制部11评价为指定范围FD满足了该第一评价条件,换言之,指定范围FD作为床上表面是恰当的。
(b)第二评价条件
第二评价条件是用于判断指定范围FD的右边是否床的护栏的条件。在指定范围FD与床上表面一致的情况下,设想为设于床上表面的右侧的护栏存在于指定范围FD的右边。第二评价条件作为用于检测这样的状况是否在拍摄图像3内出现的条件给出。
具体而言,如在图19中例示的,将用于确认设于床上表面的右侧的护栏的存在的存在确认区域80设定于指定范围FD的右边上方。在指定范围FD与床上表面一致的情况下,该存在确认区域80内存在设于床上表面的右侧的护栏。因此,控制部11根据指定范围FD确定对应于存在确认区域80的拍摄图像3内的区域。然后,控制部11根据深度信息判断在确定的拍摄图像3内的对应区域上是否包括显现有存在于该存在确认区域80内的对象的像素。
在拍摄图像3内的对应区域上未包括显现有存在于存在确认区域80内的对象的像素时,指定范围FD没有恰当地设定为床上表面,因此认为设于床上表面的右侧的护栏没有拍到恰当的位置。因此,在判断为在拍摄图像3内的对应区域上未包括规定的像素数以上的、对存在于存在确认区域80内的对象所拍到的像素时,控制部11评价为指定范围FD不满足该第二评价条件,换言之,指定范围FD作为床上表面不恰当。另一方面,在判断为在拍摄图像3内的对应区域上包括规定的像素数以上的、到对存在于存在确认区域80内的对象所拍到的像素时,控制部11评价为指定范围FD满足该第二评价条件,换言之,指定范围FD作为床上表面是恰当的。
(c)第三评价条件
第三评价条件是用于判断指定范围FD的左边是否拍到床的护栏的条件。第三评价条件可以与与第二评价条件大致同样地说明。即,第三评价条件作为用于检测在拍摄图像3内是否出现指定范围FD的左边存在设于床上表面的左侧的护栏的状况的条件而给出。
具体而言,如在图19中例示的,将用于确认设于床上表面的左侧的护栏的存在的存在确认区域81设定于指定范围FD的左边上方。在指定范围FD与床上表面一致的情况下,该存在确认区域81内存在设于床上表面的左侧的护栏。因此,控制部11根据指定范围FD确定对应于存在确认区域81的拍摄图像3内的区域。然后,控制部11根据深度信息判断在确定的拍摄图像3内的对应区域上是否包括显现有存在于该存在确认区域81内的对象的像素。
然后,在判断为在拍摄图像3内的对应区域上未包括规定的像素数以上的、对存在于存在确认区域81内的对象所拍到的像素时,控制部11评价为指定范围FD不满足第三评价条件,换言之,指定范围FD作为床上表面不恰当。另一方面在判断为在拍摄图像3内的对应区域上包括规定的像素数以上的、对存在于存在确认区域80内的对象所拍到的像素时,控制部11评价为指定范围FD满足该第三评价条件,换言之,指定范围FD作为床上表面是恰当的。
(d)第四评价条件
使用图20来说明第四评价条件。图20例示第四评价条件与指定范围FD的关系。第四评价条件是用于判断是否拍到指定范围FD的上边的床头板的条件。可以与第二及第三评价条件大致同样地说明第四评价条件。即,第四评价条件作为用于检测在拍摄图像3内是否出现床头板存在于指定范围FD的上边的状况的条件而给出。
具体而言,如在图20中例示的,将用于确认床头板的存在的存在确认区域82设定于指定范围FD的上边上方。在指定范围FD与床上表面一致时,床头板就会分别存在于该存在确认区域82内。因此,控制部11根据指定范围FD确定对应于存在确认区域82的拍摄图像3内的区域。然后,控制部11根据深度信息判断在确定的拍摄图像3内的对应区域上是否包括对存在于该存在确认区域82内的对象所拍到的像素。
然后,在判断为在拍摄图像3内的对应区域上未包括规定的像素数以上的、对存在于存在确认区域82内的对象所拍到的像素时,控制部11评价为指定范围FD不满足第四评价条件,换言之,指定范围FD作为床上表面并不恰当。另一方面,在判断为在拍摄图像3内的对应区域上包括规定的像素数以上的、对存在于存在确认区域82内的对象所拍到的像素时,控制部11评价为指定范围FD满足该第四评价条件,换言之,指定范围FD作为床上表面是恰当的。
需要注意的是,第四评价条件中的存在确认区域82也可以与第二及第三评价条件中的存在确认区域(80、81)同样地,作为一个连续的区域来设定。但是,在本实施方式中,第四评价条件中的存在确认区域82与第二及第三评价条件中的存在确认区域(80、81)不同,作为彼此分开的两个区域而设定。使用图21及图22来说明其理由。
图21及图22例示根据第二~第四评价条件判断指定范围FD作为床上表面是否恰当的情景。在图21中例示的情景下,第四评价条件中的存在确认区域82作为一个连续的区域设定。另一方面,在图22中例示的情景下,如本实施方式这样,第四评价条件中的存在确认区域82作为彼此分开的两个区域设定。
另外,图21及图22的区域90~92分别为对应于存在确认区域80~82的床上表面上的区域。即,在区域90上存在设于床上表面的右侧的护栏,在区域91上存在设于床上表面的左侧的护栏,在区域92上存在床头板。
在此,如果是存在确认区域82内的任何地方都存在床头板,则控制部11就判断为指定范围FD满足第四评价条件。因此,在只设置一处存在确认区域82时,如在图21中例示的,控制部11无法考虑床头板的方向。即,不论床头板朝向什么样的方向,只要是存在确认区域82内的任何地方存在床头板,控制部11就判断为指定范围FD满足第四评价条件。
另一方面,如在图22中例示的,在设置分开两处存在确认区域82时,如果床头板没有通过该两处的区域,则控制部11就不判断为指定范围FD满足第四评价条件。因此,控制部11能够将床头板的方向限定于通过像这样分开设置的两个存在确认区域82的范围内。
因此,在存在确认区域80~82分别作为一个区域设定的情况下,如在图21中例示的,即使指定范围FD从床上表面上已大幅度地错开,控制部11也有可能将该指定范围FD判断为作为床上表面是恰当的。另一方面,在存在确认区域80~82的至少一个作为彼此分开的两个区域设定的情况下,如在图22中例示的,控制部11能够将在图21的示例中判断为恰当的指定范围FD判断为不恰当。
也就是说,通过确认对象物在彼此分开的多个区域上存在,能够提高关于该对象物的评价精度。需要注意的是,存在确认区域82也可以设定三个以上,上述第二及第三评价条件中的存在确认区域(80,81)也可以与该第四评价条件同样地设定。
另外,上述第二~第四评价条件中的“护栏”及“床头板”相当于本发明的“标识”。另外,存在确认区域80~82分别相当于用于判断各标识是否显现的区域。标识并不局限于这样的例子,只要是相对于床上表面的相对位置预先已确定的物体,都可以根据实施的方式适当设定。如果利用相对于床上表面的相对位置预先确定的标识,能够根据该目标与床上表面的相对位置关系,评价指定范围FD作为床上表面是否恰当。
在此,该标识既可以为例如护栏、床头板等一般床所具备的物体,也可以是为了进行指定范围FD的评价设于床或床附近的物体。但是,作为用于评价指定范围FD的标识,在如本实施方式这样利用了护栏、床头板等床所具备的物体的情况下,可以不另行准备这样的标识。因此,能抑制监护***的成本。
(e)第五评价条件
使用图23及图24来说明第五评价条件。图23例示第五评价条件与指定范围FD的关系。另外,图24例示穿透拍到拍摄图像3内的墙壁指定指定范围FD的情景。第五评价条件是用于判断在拍摄图像3中是否包括对存在于通过指定范围FD规定的指定面FS的上方的对象、且存在于从该指定面FS起规定的高度以上高的位置上的对象所拍到的像素的条件。
例如,如在图24中例示的,在穿透拍到拍摄图像3内的墙壁指定指定范围FD时,在指定范围FD作为床上表面恰当时,在床上表面的上空未显现的对象物(墙壁)显现。该第五评价条件是用于判断例如这样的状况的条件。
具体而言,在从指定面FS起规定的高度(例如90cm)以上高的范围中设定确认区域84。控制部11根据指定范围FD(指定面FS)而确定对应于确认区域84的拍摄图像3内的区域。另外,控制部11根据深度信息判断在确定的拍摄图像3内的对应区域上是否包括对存在于该确认区域84内的对象的所拍到的像素。
在拍摄图像3内的对应区域上包括对存在于确认区域84内的对象所拍到的像素时,为图24中例示的那样的状态,认为指定范围FD作为床上表面未被恰当地指定。因此,在判断为在拍摄图像3内的对应区域上包括规定的像素数以上的、对存在于确认区域84内的对象所拍到的像素时,控制部11评价为指定范围FD不满足该第五评价条件,换言之,指定范围FD作为床上表面并不恰当。另一方面,在判断为在拍摄图像3内的对应区域上未包括规定的像素数以上的、对存在于确认区域84内的对象所拍到的像素时,控制部评价为指定范围FD满足了该第五评价条件,换言之,指定范围FD作为床上表面是恰当的。需要说明的是,规定确认区域84的范围的规定的高度优选设定为,例如,在监护对象者存在于床上表面时,确认区域84不包括该监护对象者存在的区域。即,为了避免误评价,确认区域84优选被设定于足够高的位置上。
(2-2)评价结果的显示形式
接着,使用图25A及图25B说明评价结果的显示形式。图25A及图25B例示在指定范围FD不适合于床上表面时的评价结果的显示形式。正如上所述,控制部11将按照上述五个评价条件评价指定范围FD的结果显示于显示区域57。
在此,控制部11使用三级的等级表示按照上述五个评价条件评价指定范围FD的结果。具体而言,在判断为指定范围FD满足全部上述五个评价条件的情况下,控制部11将该指定范围FD评价为表示最适合于床上表面的范围的等级(以下,称为“适合等级”)。在这种情况下,例如,如在图13中例示的,控制部11将“○位置OK”这样的评价结果描画于显示区域57。
另外,在判断为指定范围FD不满足上述第一~第三评价条件中的任一个时,控制部11将该指定范围FD评价为表示最不适合于床上表面的范围的等级(以下,称为“不适合等级”)。在这种情况下,例如,如在图25A中例示的,控制部11将“×位置NG”这样的评价结果描画于显示区域57。
然后,在判断为指定范围FD满足上述第一~第三评价条件的全部,并且,指定范围FD不满足第四及第五评价条件中的任一个时,控制部11将该指定范围FD评价为适合等级与不适合等级之间的等级(以下,称为“中间等级”)。在这种情况下,控制部11以能够使使用者认识其是上述适合等级与不适合等级之间的评价的方式、例如在图25B中例示的“△位置NG”这样的评价结果描画于显示区域57。
这样,通过在进行床上表面的范围的指定的期间显示指定范围FD的评价结果,使用者能够边确认指定范围FD作为床上表面是否恰当,边进行床上表面的范围的设定。因此,根据本实施方式,即使是缺乏有关监护***的知识的使用者,也可以容易地指定床上表面的范围。
此外,通过按多个级别表现显示的评价结果,能确认通过使用者的操作指定范围FD是否朝着作为床上表面恰当的方向。即,在所显示的评价结果更新为好的等级的情况下,能够掌握通过使用者的操作指定范围FD正在接近床上表面。另一方面,在所显示的评价结果更新为差的等级的情况下,能够掌握通过使用者的操作指定范围FD正在远离于床上表面。由此,在本实施方式中,能够给予使用者对指定范围FD指定的指引,进而容易地确定床上表面的恰当的范围。
需要注意的是,设定于适合等级与不合适等级之间的中间等级可以设置多个。在这种情况下,各等级与在各等级上满足的评价条件的对应关系可以根据实施方式适当设定。另外,控制部11也可以将评价结果显示于显示拍摄图像3的触摸面板显示器13以外的显示装置。为了向使用者提示评价结果所利用的显示装置可以根据实施的方式适当选择。
(3)床上表面的自动检测
接着,说明对自动检测床上表面的范围的处理。如在图13中例示的,在画面30上,设有用于接收执行自动检测床上表面的范围的处理的按钮58。当使用者操作按钮58时,控制部11,根据上面所述,作为范围推断部29发挥作用,根据规定的指定条件反复指定床上表面的范围,并根据上述各评价条件评价被反复指定的范围。然后,控制部11从被反复指定的范围之中推断最适合于上述各评价条件的范围作为床上表面的范围。由此,能够自动检测床上表面的范围。
在此,使用图26来对指定床上表面的范围的规定的指定条件进行说明。规定的指定条件只要是用于指定床上表面的范围的条件即可,可以根据实施的方式适当设定。在此,按照上述的、使用者指定床上表面的范围的方法说明该规定的指定条件。
图26例示根据规定的指定条件搜索床上表面的范围的搜索范围59。在上述的床上表面的范围的指定方法中,使用者能够通过在拍摄图像3内指定基准点及床的方向指定床上表面的范围。因此,控制部11例如在图26中例示的搜索范围59内沿上下及左右每规定间隔设定基准点。然后,对设定的各基准点,控制部11通过应用一个或多个规定的角度作为床的方向,从而指定床上表面的范围。即,控制部11通过使基准点和床的方向在规定的范围内推移而反复指定,从而能够反复指定床上表面的范围。
进而,控制部11对反复指定的床上表面的范围判断是否满足上述第一~第五评价条件。然后,控制部11将满足上述第一~第五全部评价条件的范围、换言之、最适合于上述第一~第五评价条件的范围推断作为床上表面的范围。进而,控制部11将指定作为床上表面的范围所推断的范围的基准点的位置应用于标识52、将床的方向应用于凸块54,从而用框FD明示该推断的范围。由此,使用者即使不进行指定床上表面的范围的操作,也能指定床上表面的范围。因此,根据本实施方式,容易设定床上表面。
需要注意的是,设定基准点的搜索范围59可以为拍摄图像3内整个区域。但是,如果将拍摄图像3内整个区域作为搜索范围59,就导致自动检测床上表面的范围的处理的计算量庞大。因此,可以根据摄像机2的设置条件、床的设置条件等各条件来限定搜索范围59。
例如,设定为:摄像机2的俯仰角α为17度,从摄像机2至床的高度为900mm,从摄像机2至床上表面的中央的点(中心)的水平面上的最大距离为3000mm。在已给出这样的各条件的情况下,通过以下的数学式21,床上表面的中央的点就可存在于拍摄图像3的下半部分的区域。也就是说,在给出这样的各条件的情况下,可以将搜索范围59限定于拍摄图像3的下半部分的区域。
[数学式21]
另外,也可以根据监护对象者的作为检测对象的行为来限定搜索范围59。例如,在检测监护对象者的下床、端坐等在床的周围进行的行为的情况下,必须在拍摄图像3内显现有床的周围的状况。因此,在床上表面的中央的点显现于拍摄图像3的左右的两端附近这样的状况下,可能无法检测这些行为。因此,考虑这样的情况可将拍摄图像3的左右的两端附近从搜索范围59中省略。在图26中例示的搜索范围59根据这些情况设定。
需要注意的是,具有在反复指定的范围中存在多个满足第一~第五全部评价条件的范围的情况。在这种情况下,控制部11可以在检测到满足第一~第五全部评价条件的范围的阶段结束搜索,并将检测到的范围推断作为床上表面的范围。另外,控制部11可以全部确定满足第一~第五全部评价条件的范围,并将确定的范围作为床上表面的范围向使用者提示。
进而,控制部11可以在满足第一~第五全部评价条件的范围中确定一个最适合于床上表面的范围。作为确定最适合于床上表面的范围的方法的一个例子,可以列举利用在以下说明的评价值的方法。
例如,控制部11针对满足第一~第五全部评价条件的指定范围FD,在拍摄图像3内确定显现指定面FS的像素以及显现存在于存在确认区域80~82的对象的像素。然后,控制部11可以利用各个像素数的合计作为评价值,确定一个最适合于床上表面的范围。即,可以将满足第一~第五全部评价条件的指定范围FD中的、显现指定面FS的像素以及显现存在于存在确认区域80~82的对象的像素最多的指定范围FD推断作为最适合于床上表面的范围。
需要注意的是,在本实施方式中,控制部11在明示自动检测到的范围之后直至后述的“返回”按钮55或“开始”按钮56***作为止的期间,再次接收来自使用者的床上表面的范围的指定。在这种情况下,使用者能够在确认了由信息处理装置1进行的床上表面的自动检测的结果之后再次指定床上表面的范围。
具体而言,在自动检测的结果有误的情况下,使用者能够将该范围微调来设定床上表面的范围。另一方面,在自动检测的结果正确的情况下,使用者能够将该范围直接设定为床上表面。因此,根据本实施方式,使用者通过利用床上表面的自动检测的结果能够恰当且容易地进行床上表面的设定。但是,控制部11的动作可并不限定于这样的例子,控制部11可以将自动检测到的范围直接设定为床上表面的范围。
(4)其它
返回至图13,在画面50上,还设有用于接收重新进行设定的“返回”按钮55和用于完成设定并开始监护的“开始”按钮56。当使用者操作“返回”按钮55时,控制部11使处理返回至步骤S103。
另一方面,当使用者操作“开始”按钮56时,控制部11确定基准点p的位置及床的方向θ。即,控制部11将根据在操作该按钮56时所指定的基准点p的位置及床的方向θ确定的床框FD的范围设定为床上表面的范围。然后,控制部11使处理前进至下一个步骤S106。
<步骤S106~步骤S108>
在步骤S106中,控制部11作为设定部23而发挥作用,判断在步骤S101中选择的“规定行为”的检测区域是否拍到拍摄图像3内。然后,当判断为在步骤S101中选择的“规定行为”的检测区域未拍到拍摄图像3内的情况下,控制部11使处理前进至下一个步骤S107。另一方面,当判断为在步骤S101中选择的“规定行为”的检测区域拍到拍摄图像3内的情况下,控制部11结束本动作例所涉及的关于床的位置的设定,并开始后述的行为检测所涉及的处理。
在步骤S107中,控制部11作为设定部23而发挥作用,将指示有可能不能正常进行在步骤S101中选择的“规定行为”的检测的警告信息输出至触摸面板显示器13等。在警告信息中,也可以包括表示不能正常进行检测的“规定行为”及未拍到拍摄图像3内的检测区域的场所的信息。
于是,控制部11与该警告信息同时或在其之后接收是否在进行监护对象者的监护之前重新进行设定的选择,并使处理前进至下一个步骤S108。在步骤S108中,控制部11根据使用者的选择判断是否重新进行设定。在使用者选择了重新进行设定的情况下,控制部11使处理返回至步骤S105。另一方面,在使用者选择了不进行重新设定的情况下,结束本动作例所涉及的关于床的位置的设定,并开始后述的行为检测所涉及的处理。
需要注意的是,正如后述的那样,“规定行为”的检测区域是根据用于检测“规定行为”的规定的条件和在步骤S105中设定的床上表面的范围而确定的区域。即,该“规定行为”的检测区域是监护对象者进行了“规定行为”时出现的规定前景区域的位置的区域。为此,控制部11通过判断拍到前景区域的对象是否包含在该检测区域而能检测监护对象者的各行为。
为此,在检测区域未拍到拍摄图像3内的情况下,本实施方式所涉及的监护***就有可能无法恰当地检测监护对象者的对象行为。因此,本实施方式涉及的信息处理装置1通过步骤S106判断是否存在这样的无法恰当地检测监护对象者的对象行为的可能性。然后,在具有那样的可能性的情况下,信息处理装置1通过步骤S107输出警告信息,从而能够通知使用者有可能无法恰当地检测对象行为。为此,在本实施方式中,能够减少监护***的设定错误。
需要说明的是,判断检测区域是否拍到拍摄图像3内的方法也可以根据实施的方式而适当地设定。例如,控制部也可以通过判断检测区域的规定的点是否拍到拍摄图像3内来确定检测区域是否拍到拍摄图像3内。
(其它)
需要注意的是,也可以是,控制部11作为未完成通知部27而发挥作用,当在开始步骤S101的处理之后规定时间内本动作例所涉及的关于床的位置的设定未完成时,进行用于告知关于床的位置的设定尚未完成的通知。由此,能够防止在关于床的位置的设定的中途搁置监护***。
在此,作为通知关于床的位置的设定未完成的标准的规定时间既可以作为设定值而预先设定,也可以根据使用者的输入值来确定,还可以通过从多个设定值中进行选择而确定。并且,进行这样的用于告知设定未完成的通知的方法也可以根据实施的方式而适当设定。
例如,控制部11也可以与连接于信息处理装置1的护士呼叫器等设置于福利机构中的设备协作来进行该设定未完成的通知。例如,控制部11也可以控制经由外部接口15连接的护士呼叫器,从而通过该护士呼叫器进行呼叫来作为用于告知关于床的位置的设定未完成的通知。由此,向监护监护对象者的行为人恰当地通知监护***的设定未完成变为可能。
另外,例如,控制部11也可以通过从连接于信息处理装置1的扬声器14中输出声音来进行设定未完成的通知。在该扬声器14配置于床的周边的情况下,通过用扬声器14进行这样的通知,从而能向位于进行监护的场所周边的人告知监护***的设定未完成。该位于进行监护的场所周边的人中也可以包括监护对象者。由此,也可以将监护***的设定未完成的情况通知给监护对象者自己。
另外,例如,控制部11也可以使用于告知设定未完成的画面显示于触摸面板显示器13上。另外,例如,控制部11也可以利用电子邮件、短消息服务、推送通知等来进行这样的通知。在这种情况下,例如,作为通知目的地的用户终端的电子邮件地址、电话号码等被预先登记于存储部12中,控制部11利用该预先登记的电子邮件地址、电话号码等来进行用于告知设定未完成的通知。此外,在这种情况下,用户终端可以为便携式电话、PHS(PersonalHandy-phone System,个人手持电话***)、平板PC等便携式终端。
[监护对象者的行为检测]
接着,使用图27来说明通过信息处理装置1进行的监护对象者的行为检测的处理步骤。图27例示通过信息处理装置1进行的监护对象者的行为检测的处理步骤。该关于行为检测的处理步骤只不过是一个例子,各处理也可以尽可能地变更。并且,关于以下说明的处理步骤,可根据实施方式适当地进行步骤的省略、置换以及追加。
<步骤S201>
在步骤S201中,控制部11作为图像取得部20而发挥作用,取得通过摄像机2拍摄到的拍摄图像3,该摄像机2是为了对监护对象者在床上的行为进行监护而设置的。在本实施方式中,由于摄像机2具有深度传感器,因此在所取得的拍摄图像3中包括有表示各像素的深度的深度信息。
在此,使用图28及图29来对控制部11取得的拍摄图像3进行说明。图19例示通过控制部11取得的拍摄图像3。与图2同样,在图28中例示的拍摄图像3的各像素的灰度值根据该各像素的深度而确定。即,各像素的灰度值(像素值)对应于拍到该各像素的对象的深度。
正如上所述,控制部11能够根据该深度信息确定拍到各像素的对象在真实空间的位置。即,控制部11能够根据拍摄图像3内的各像素的位置(二维信息)和深度确定拍到该各像素内的被拍摄体在三维空间(真实空间)中的位置。例如,拍到在图28中例示的拍摄图像3中的被拍摄体在真实空间中的状态在接下来的图29中例示。
图29例示基于包含在拍摄图像3中的深度信息而确定的拍摄范围内的被拍摄体的位置的三维分布。通过以拍摄图像3内的位置和深度将各像素标示于三维空间内,从而能够创建图29中例示的三维分布。也就是说,控制部11能够如在图29中例示的三维分布那样识别拍到拍摄图像3内的被拍摄体在真实空间内的状态。
需要说明的是,本实施方式涉及的信息处理装置1被用于在医疗机构或护理机构中监护住院病人或福利机构入住者。因此,控制部11可以使其与摄像机2的视频信号同步而取得拍摄图像3,以便能够实时地监护住院病人或福利机构入住者的行为。而且,控制部11也可以对已取得的拍摄图像3立即执行后述的步骤S202直至S205为止的处理。信息处理装置1通过不间断连续地执行这样的动作,从而实现实时图像处理,使实时地监护住院病人或福利机构入住者的行为变为可能。
<步骤S202>
返回至图27,在步骤S202中,控制部11作为前景提取部21而发挥作用,根据被设定作为在步骤S201中取得的拍摄图像3的背景的背景图像与拍摄图像3的差分,提取该拍摄图像3的前景区域。在此,背景图像是为了提取前景区域而利用的数据,被设定为包括作为背景的对象的深度。创建背景图像的方法可以根据实施的方式而适当设定。例如,控制部11也可以通过算出在开始了监护对象者的监护时获得的数帧量的拍摄图像的平均来创建背景图像。此时,通过也包括深度信息而算出拍摄图像的平均,从而创建包括深度信息的背景图像。
图30例示在图28及图29中例示的被拍摄体中的从拍摄图像3提取的前景区域的三维分布。具体而言,图30例示了当监护对象者在床上起来了时所提取的前景区域的三维分布。利用上述那样的背景图像而提取的前景区域出现于从在背景图像中示出的真实空间内的状态变化了的位置。为此,当监护对象者在床上活动了时,显现有监护对象者的动作部位的区域作为该前景区域而被提取。例如,在图30中,由于监护对象者在床上正在进行立起上半身的(起来)动作,因此,显现有监护对象者的上半身的区域作为前景区域而被提取。控制部11使用这样的前景区域而判断监护对象者的动作。
需要注意的是,在本步骤S202中,控制部11提取前景区域的方法可以不限定于以上那样的方法,例如,也可以使用背景差分法来分离背景和前景。作为背景差分法,例如,可列举出:根据上述那样的背景图像与输入图像(拍摄图像3)的差分而分离背景和前景的方法、使用不同的三张图像分离背景和前景的方法、以及通过应用统计模型来分离背景和前景的方法。提取前景区域的方法可以没有特别限制,可以根据实施的方式而适当选择。
<步骤S203>
返回至图27,在步骤S203中,控制部11作为行为检测部22而发挥作用,根据在步骤S202中提取的前景区域内的像素的深度而判断拍到前景区域的对象与床上表面的位置关系是否满足规定的条件。然后,控制部11根据该判断结果来检测监护对象者的行为。
在此,在只有“起来”被选择为检测对象的行为的情况下,在上述关于床的位置的设定处理中,省略床上表面的范围的设定,只设定床上表面的高度。因此,控制部11通过判断拍到前景区域的对象相对于所设定的床上表面在真实空间内是否存在于规定距离以上高的位置,从而检测监护对象者的起来。
另一方面,在“下床”、“端坐”以及“越过护栏”中的至少任一行为已被选择为检测对象的行为的情况下,设定床上表面在真实空间内的范围作为检测监护对象者的行为的基准。因此,控制部11通过判断所设定的床上表面与拍到前景区域的对象在真实空间内的位置关系是否满足规定的条件来检测被选择为监护的对象的行为。
即,不论在哪一种情况下,控制部11都根据拍到前景区域的对象与床上表面在真实空间内的位置关系而检测监护对象者的行为。为此,用于检测监护对象者的行为的规定的条件可相当于用于判断拍到前景区域的对象是否包含在将床上表面作为基准而设定的规定的区域中的条件。该规定区域相当于上述的检测区域。因此,下面,为了说明的方便,对基于该检测区域与前景区域的关系来检测监护对象者的行为的方法进行说明。
不过,检测监护对象者的行为的方法可以不局限于基于该检测区域的方法,也可以根据实施的方式而适当设定。另外,判断拍到前景区域的对象是否包括在检测区域中的方法可以根据实施的方式而适当设定。例如,也可以通过评价是否阈值以上的像素数的前景区域出现于检测区域来判断拍到前景区域的对象是否包含在检测区域中。在本实施方式中,作为检测对象的行为,例示有“起来”、“下床”、“端坐”以及“越过护栏”。控制部11按如下方式检测这些行为。
(1)起来
在本实施方式中,当在步骤S101中将“起来”选择为检测对象行为时,监护对象者的“起来”作为本步骤S203的判断对象。在起来的检测中使用在步骤S103中设定的床上表面的高度。当步骤S103中的床上表面的高度设定完成时,控制部11根据所设定的床上表面的高度来确定用于检测起来的检测区域。
图31示意性例示用于检测起来的检测区域DA。例如,如在图31中所例示的,检测区域DA设定于从在步骤S103中指定的指定高度面(床上表面)DF起向床的高度方向上方的高度为距离hf以上高的位置。该距离hf相当于本发明的“第二规定距离”。检测区域DA的范围可以没有特别的限制,也可以根据实施的方式而适当设定。控制部11也可以在已判断为拍到阈值以上的像素数的前景区域的对象包括在检测区域DA的情况下,检测监护对象者在床上起来。
(2)下床
当在步骤S101中“下床”选择为检测对象的行为时,监护对象者的“下床”成为本步骤S203的判断对象。在下床的检测中使用在步骤S105中设定的床上表面的范围。当步骤S105中的床上表面的范围设定完成时,控制部11根据已设定的床上表面的范围来确定用于检测下床的检测区域。
图32示意性例示用于检测下床的检测区域DB。设想:在监护对象者从床上已下床的情况下,前景区域出现于与床的侧框架分离的位置。因此,如在图32中所例示的,检测区域DB也可以根据在步骤S105中确定的床上表面的范围而设定于与床的侧框架分离的位置。检测区域DB的范围与上述检测区域DA同样地可以根据实施的方式而适当设定。控制部11可以在已判断为拍到阈值以上的像素数的前景区域上的对象被包括在检测区域DB中时,检测出监护对象者从床上下床。
(3)端坐
当在步骤S101中“端坐”选择为检测对象行为时,监护对象者的“端坐”成为本步骤S203的判断对象。在端坐的检测上,与下床的检测同样地,使用在步骤S105中设定的床上表面的范围。当步骤S105中的床上表面的范围的设定完成时,控制部11能够根据已设定的床上表面的范围确定用于检测端坐的检测区域。
图33示意性例示用于检测端坐的检测区域DC。设想:当监护对象者在床上进行了端坐时,前景区域从床的上方至下方出现在床的侧框架周边。因此,如在图33中所例示的,检测区域DC也可以从床的上方至下方设定在床的侧框架周边。控制部11也可以在已判断为拍到阈值以上的像素数的前景区域的对象被包括在检测区域DC中的情况下,检测出监护对象者在床上的端坐。
(4)越过护栏
当在步骤S101中将“越过护栏”选择为检测对象行为时,监护对象者的“越过护栏”成为本步骤S203的判断对象。在越过护栏的检测中与下床及端坐的检测同样地使用在步骤S105中设定的床上表面的范围。当步骤S105中的床上表面的范围的设定完成时,控制部11能够根据所设定的床上表面的范围确定用于检测越过护栏的检测区域。
在此,设想:当监护对象者进行了越过护栏的情况下,前景区域出现于床的侧框架周边且床的上方。因此,用于检测越过护栏的检测区域也可以设定于床的侧框架周边且床的上方。控制部11可以在判断为拍到阈值以上的像素数的前景区域的对象被包括在该检测区域中的情况下,检测出监护对象者越过护栏。
(5)其它
在本步骤S203中,控制部11如上述这样进行在步骤S101中选择的各行为的检测。即,控制部11能够在判断为满足对象的行为的上述判断条件的情况下检测出该对象行为。另一方面,当判断为不满足在步骤S101中选择的各行为的上述判断条件的情况下,控制部11没有检到监护对象者的行为,使处理前进至下一个步骤S204。
需要注意到是,正如上所述,在步骤S105中,控制部11能够算出将摄像机坐标系的向量变换为床坐标系的向量的射影变换矩阵M。并且,控制部11能够根据上述数学式6~数学式8确定拍摄图像3内的任意的点s在摄像机坐标系中的坐标S(Sx,Sy,Sz,1)。因此,当在(2)~(4)中检测各行为时,控制部11也可以利用该射影变换矩阵M而算出前景区域内的各像素在床坐标系中的坐标。然后,控制部11也可以利用算出的床坐标系的坐标来判断拍到前景区域内的各像素的对象是否包括在各检测区域中。
并且,检测监护对象者的行为的方法可以不限定于上述的方法,也可以根据实施的方式而适当设定。例如,控制部11也可以通过取作为前景区域而提取的各像素的拍摄图像3内的位置及深度的平均来算出前景区域的平均位置。然后,控制部11也可以通过判断在真实空间内该前景区域的平均位置是否包括在作为检测各行为的条件而设定的检测区域中来检测监护对象者的行为。
进而,控制部11也可以根据前景区域的形状而确定拍到前景区域的身体部位。前景区域表示从背景图像上发生的变化。为此,拍到前景区域的身体部位对应于监护对象者的动作部位。基于此,控制部11也可以根据确定的身体部位(动作部位)与床上表面的位置关系来检测监护对象者的行为。与此同样地,控制部11也可以通过判断拍到各行为的检测区域中的前景区域的身体部位是否为规定的身体部位来检测监护对象者的行为。
<步骤S204>
在步骤S204中,控制部11作为危险预兆通知部26而发挥作用,判断在步骤S203中检测到的行为是否为显示出危险迫近监护对象者的预兆的行为。当在步骤S203中检测的行为为显示出危险迫近监护对象者的预兆的行为时,控制部11使处理前进至步骤S205。另一方面,当在步骤S203中未检测监护对象者的行为时、或在步骤S203检测到的行为并不是显示出危险迫近监护对象者的预兆的行为时,控制部11结束本动作例涉及的处理。
被设定为是显示出危险迫近监护对象者的预兆的行为的行为也可以根据实施的方式而适当选择。例如,作为有可能发生滚落或跌倒的行为,假定端坐被设定为显示出危险迫近监护对象者的预兆的行为。在这种情况下,控制部11若在步骤S203中检测出监护对象者处于端坐的状态时,就判断为在步骤S203中检测的行为是显示出危险迫近监护对象者的预兆的行为。
当判断在该步骤S203中检测到的行为是否为显示出危险迫近监护对象者的预兆的行为时,控制部11也可以考虑监护对象者的行为的转变。例如想象:与从下床变为端坐的状态相比,从起来变为端坐的状态发生监护对象者的滚落或跌倒的可能性更高。因此,控制部11在步骤S204中也可以基于监护对象者的行为的转变而判断在步骤S203中检测到的行为是否为显示出危险迫近监护对象者的预兆的行为。
例如,控制部11正在定期地检测监护对象者的行为,在步骤S203中,在检测出监护对象者起来之后又检测出监护对象者变为端坐的状态。此时,控制部11在本步骤S204中也可以判断为在步骤S203中推断出的行为是显示出危险迫近监护对象者的预兆的行为。
<步骤S205>
在步骤S205中,控制部11作为危险预兆通知部26而发挥作用,进行用于告知具有危险迫近监护对象者的预兆的通知。与上述设定未完成的通知同样地,控制部11进行该通知的方法也可以根据实施的方式而适当设定。
例如,与上述设定未完成的通知同样地,控制部11既可以利用护士呼叫器而进行用于告知具有危险迫近监护对象者的预兆的通知,也可以利用扬声器14而进行该通知。并且,控制部11既可以将用于告知具有危险迫近监护对象者的预兆的通知显示于触摸面板显示器13上,也可以利用电子邮件、短消息服务、推送通知等来进行该通知。
当该通知完成时,控制部11结束本动作例所涉及的处理。不过,信息处理装置1在定期性检测监护对象者的行为的情况下,也可以定期性地重复上述的动作例中所示出的处理。定期性地重复处理的间隔可以适当设定。另外,信息处理装置1也可以根据使用者的要求而执行上述的动作例中所示出的处理。
综上所述,本实施方式所涉及的信息处理装置1通过利用前景区域和被拍摄体的深度来评价监护对象者的动作部位与床在真实空间内的位置关系,以此检测监护对象者的行为。为此,根据本实施方式,可以进行符合真实空间中的监护对象者的状态的行为推断。
§4变形例
以上,虽然详细说明了本发明的实施方式,但前述的说明在所有方面都只不过是本发明的例示。可在不脱离本发明范围的前提下进行各种改良和变形,这一点自不必说。
(1)面积的利用
例如,被拍摄体离摄像机2越远,拍摄图像3内的被拍摄体的像越小,被拍摄体越接近摄像机2,拍摄图像3内的被拍摄体的像越大。虽然拍到拍摄图像3内的被拍摄体的深度相对于被拍摄体的表面而取得,但是,对应于该拍摄图像3的各像素的被拍摄体的表面部分的面积在各像素间未必一致。
因此,为了排除由于被拍摄体的远近所带来的影响,控制部11也可以在上述步骤S203中算出拍到前置区域的被拍摄体中包含于检测区域中的部分在真实空间中的面积。然后,控制部11也可以根据算出的面积而检测监护对象者的行为。
需要说明的是,拍摄图像3内的各像素在真实空间中的面积可根据该各像素的深度按下述这样求出。控制部11可根据以下的数学式22及数学式23的关系式而分别算出图10及图11中例示的任意的点(1像素)在真实空间内的横向长度w及纵向长度h。
[数学式22]
w = ( D s &times; tan V x 2 ) / W 2
[数学式23]
h = ( D s &times; tan V y 2 ) / H 2
因此,控制部11可通过如此算出的w的平方、h的平方、或w与h之积来求出深度Ds上的1像素在真实空间内的面积。因此,控制部11在上述步骤S203中算出前置区域内的像素中显现有检测区域中的对象的各像素在真实空间内的面积的总和。然后,控制部11也可以通过判断算出的面积的总和是否包括在规定的范围内来检测监护对象者在床上的行为。由此,能够排除被拍摄体的远近的影响,进而提高监护对象者的行为的检测精度。
另外,当在步骤S105中自动检测床上表面时,在存在多个满足第一~第五评价条件所有条件的指定范围FD的情况下,控制部11有时利用评价值来确定最适合于床上表面的范围。该评价值按显现指定面FS的像素数与显现存在于存在确认区域80~82的对象的像素数的合计给出。在该评价值的计算中,控制部11也可以利用上述各像素的面积来代替像素数的计数。
另外,这样的面积有时会因深度信息的噪声、监护对象者以外的物体的移动等而发生大的变化。为了处理该问题,控制部11也可以利用数帧大小的面积的平均。另外,控制部11也可以在处理对象的帧中相应区域的面积与该处理对象帧之前的数帧中的该相应区域的面积的平均之差超过规定范围的情况下,将该相应区域从处理对象中排除。
(2)利用了面积及弥散(分散)的行为推断
在利用上述那样的面积而检测监护对象者的行为的情况下,作为用于检测行为的条件的面积的范围根据被设想为包括在检测区域上的监护对象者的规定部位而设定。该规定部位例如为监护对象者的头部、肩部等。即,根据监护对象者的规定部位的面积而设定作为用于检测行为的条件的面积的范围。
不过,光是拍到前置区域的对象在真实空间内的面积的话,控制部11并不能够确定拍到该前置区域的对象的形状。为此,控制部11可能搞错包含在检测区域中的监护对象者的身体部位而导致误检测监护对象者的行为。因此,控制部11也可以利用表示真实空间中的扩展情况的弥散来防止这样的误检测。
使用图34来说明该弥散。图34例示区域的扩展情况与弥散的关系。在图34中例示的区域TA及区域TB分别为相同的面积。当欲只用上述那样的面积来推断监护对象者的行为时,会导致控制部11识别为区域TA与区域TB相同,因此有可能导致误检测监护对象者的行为。
然而,如在图34中例示的,区域TA与区域TB在真实空间中的扩展很大地不同(在图34中水平方向的扩展情况)。因此,控制部11可以在上述步骤S203中算出前置区域的像素中显现有包括于检测区域的对象的各像素的弥散。然后,控制部11也可以根据算出的弥散是否包括在规定范围内的判断来检测监护对象者的行为。
需要注意的是,与上述面积的例子同样地,作为行为检测的条件的弥散的范围是根据被设想为包括在检测区域上的监护对象者的规定部位而设定。例如,在设想被包括在检测区域上的规定部位是头部的情况下,作为行为检测的条件的弥散的值在比较小的值的范围内设定。另一方面,在设想为被包括在检测区域上的规定部位是肩部的情况下,作为行为检测的条件的弥散的值在比较大的值的范围内设定。
(3)前景区域的不利用
在上述实施方式中,控制部11(信息处理装置1)利用在步骤S202中提取的前景区域而检测监护对象者的行为。然而,检测监护对象者的行为的方法可以不限定于这种利用了前景区域的方法,可以根据实施的方式而适当选择。
在检测监护对象者的行为时不利用前景区域的情况下,控制部11可以省略上述步骤S202的处理。于是,控制部11可以作为行为检测部22而发挥作用,通过根据拍摄图像3内的各像素的深度而判断床基准面与监护对象者在真实空间内的位置关系是否满足规定的条件,从而检测监护对象者的与床关联的行为。作为这种例子,例如,作为步骤S203的处理,控制部11可以通过模式检测、图形元素检测等来分析拍摄图像3,以确定与监护对象者关联的像。与监护对象者关联的像既可以为监护对象者的全身的像,也可以为头部、肩部等一个或多个身体部位的像。然后,控制部11也可以根据已确定的与监护对象者关联的像与床在真实空间内的位置关系而检测监护对象者的与床关联的行为。
需要注意到是,正如上所述,用于提取前景区域的处理只不过是计算拍摄图像3与背景图像的差分的处理。为此,在如上述实施方式那样利用前景区域而检测监护对象者的行为的情况下,控制部11(信息处理装置1)不利用高度的图像处理即可检测监护对象者的行为。由此,可以使监护对象者的行为的检测所涉及的处理高速化。
(4)床上表面的范围的设定方法
在上述实施方式的步骤S105中,信息处理装置1(控制部11)通过接收床的基准点的位置及床的方向的指定而确定了床上表面在真实空间内的范围。然而,确定床上表面在真实空间内的范围的方法可以不限定于这样的例子,也可以根据实施的方式而适当选择。例如,信息处理装置1可以通过接收规定床上表面的范围的四个角中的两个角的指定而确定床上表面在真实空间内的范围。以下,使用图35来说明该方法。
图35例示当接收床上表面的范围的设定时显示于触摸面板显示器13上的画面60。控制部11替换成上述步骤S105的处理并执行该处理。即,为了在步骤S105中接收床上表面的范围的指定,控制部11将画面60显示于触摸面板显示器13。画面60包括:描画从摄像机2中获得的拍摄图像3的区域61、用于指定规定床上表面的四个角中的两个角的两个标识62。
正如上所述的,床的尺寸大多情况根据监护环境而预先已决定,控制部11通过预定的设定值或使用者的输入值而能够确定床的尺寸。然后,如果能够确定规定床上表面的范围的四个角中的两个角在真实空间内的位置,则通过将表示床的尺寸的信息(以下,也称为床的尺寸信息)应用到这两个角的位置,从而能够确定床上表面在真实空间内的范围。
因此,控制部11例如采用与在上述实施方式中算出了通过标识52指定的基准点p在摄像机坐标系中的坐标P的方法同样的方法,算出通过两个标识62分别指定的两个角在摄像机坐标系中的坐标。由此,控制部11能够确定该两个角在真实空间上的位置。在由图35例示的画面60中,使用者指定床头板侧的两个角。因此,控制部11通过将该已确定真实空间内的位置的两个角作为床头板侧的两个角来看待而推断床上表面的范围,从而确定床上表面在真实空间内的范围。
例如,控制部11将连接确定了在真实空间内的位置的两个角之间的向量的方向确定为床头板的方向。在这种情况下,控制部11也可以将任一个角作为向量的起点来对待。然后,控制部11将在与该向量在相同并朝着垂直方向的向量的方向确定作为侧框架的方向。在作为侧框架的方向有多个候选的情况下,控制部11既可以按照预先决定的设定来确定侧框架的方向,也可以基于使用者进行的选择而确定侧框架的方向。
另外,控制部11使根据床的尺寸信息确定的床的横宽的长度与已确定真实空间内的位置的两个角之间的距离建立对应。由此,表现真实空间的坐标系(例如摄像机坐标系)中的缩尺与真实空间建立对应。然后,控制部11根据由床的尺寸信息确定的床的纵宽的长度,分别由床头板侧的两个角确定存在于侧框架的方向上的床尾板侧的两个角在真实空间内的位置。由此,控制部11能够确定床上表面在真实空间内的范围。控制部11将通过这种方式确定的范围设定为床上表面的范围。详细而言,控制部11在操作了“开始”按钮时将根据所指定的标识62的位置而确定的范围设定为床上表面的范围。
需要注意的是,在图35中,作为接收指定的两个角,例示了床头板侧的两个角。然而,接收指定的两个角可以不限定于这样的例子,可以从规定床上表面的范围的四个角中适当选择。
另外,接收规定床上表面的范围的四个角中的哪一个角的位置的指定既可以如上所述预先确定,也可以通过使用者的选择而决定。该作为被使用者指定位置的对象的角的选择既可以在指定位置之前进行,也可以在指定位置之后进行。
另外,控制部11可以与上述实施方式同样地将由所指定的两个标识的位置确定的床框FD描画于拍摄图像3内。通过如此地将床框FD描画于拍摄图像3内,从而能使使用者确认所指定的床的范围,同时使使用者辨认指定哪一个角的位置较好。
另外,控制部11也可以与上述实施方式同样地进行由所指定的两个标识的位置确定的床框FD的评价,也可以根据上述各评价条件而自动检测床上表面的范围。由此,能够使床上表面的范围的设定变得更简便。
(5)床上表面的自动检测
另外,在上述实施方式中,将使用者指定床上表面的范围作为前提。然而,信息处理装置1也可以不接收来自使用者的范围的指定而利用作为范围推断部29的功能来确定床上表面(床基准面)的范围。在这种情况下,控制部11可以省略接收床上表面的指定的处理、显示拍摄图像3的处理等。具体而言,控制部11作为图像取得部20而发挥作用,取得包括深度信息的拍摄图像3。接着,控制部11作为范围推断部29而发挥作用,采用上述的方法而自动检测床上表面的范围。接着,控制部11作为设定部23而发挥作用,将自动检测到的范围设定为床上表面的范围。然后,控制部11作为行为检测部22而发挥作用,根据拍摄图像3内所包含的深度信息,根据设定的床上表面的范围与监护对象者在真实空间内的位置关系来检测监护对象者的与床关联的行为。据此,无需麻烦使用者即可设定的床上表面的范围。因此,容易进行床上表面的范围的设定。此外,在这种情况下,可以代替触摸面板显示器13而通过指示灯、信号灯、旋转灯等来向使用者示出检测结果。
(6)评价条件
另外,在上述实施方式中,作为用于判断通过使用者或控制部11指定的指定范围作为床上表面的范围是否恰当的规定的评价条件,例示了五个评价条件。然而,规定的评价条件可以不限定于这些例子,可以根据实施的方式而适当设定。作为上述评价条件的其它例子,例如,在进入摄像机2的拍摄范围的床周围的区域未放置物体的情况下,也可以利用在图36中例示的第六评价条件。
图36例示关于床周围的第六评价条件与指定范围FD的关系。该关于床周围的第六评价条件是用于判断在床上表面的外侧的规定范围中、从配置了床的地板至床上表面的高度上存在的对象显现的像素是否包含在拍摄图像3中的条件。在该第六评价条件中,例如,如在图36中例示的,在包围该指定范围FD的规定范围(例如,从床周围向外侧5cm的范围)中,从指定范围FD的高度向下方设定确认区域85。
需要注意的是,确认区域85的高度(图中的上下方向的长度)也可以被设定为对应于从配置了床的地面至床上表面的高度。在此,当从配置了床的地面至摄像机2的高度作为设定值已给出的情况下,控制部11可以通过从该摄像机2的高度中减去床上表面的高度h来确定从地面至床上表面为止的高度。因此,控制部11也可以将如此确定的从地面至床上表面的高度应用于确认区域85的高度(上下方向的长度)。另外,也可以将从地面至床上表面的高度作为设定值给出。在这种情况下,控制部11也可以将该设定值应用于确认区域85的高度(上下方向的长度)。但是,确认区域85的高度(图中的上下方向的长度)可以不是必须指定,确认区域85的高度(图中的上下方向的长度)可以以适用于从指定范围FD的高度起下方的区域的方式被设定为无限远。
在利用该第六评价条件的情况下,控制部11根据指定范围FD确定对应于确认区域85的拍摄图像3内的区域。另外,控制部11根据深度信息判断在确定的拍摄图像3内的对应区域中是否包括显现有存在于该确认区域85内的对象的像素。
在拍摄图像3内的对应区域中包含显现有确认区域85内存在的对象的像素的情况下,由于违反在进入摄像机2的拍摄范围的床周围的区域未放置物体的条件,因此认为指定范围FD作为床上表面未被恰当地指定。因此,控制部11在判断为在拍摄图像3内的对应区域中包含预定像素数目以上的、显现有确认区域85内存在的对象的像素的情况下,评价为指定范围FD不满足该第六评价条件。另一方面,控制部11在判断为在拍摄图像3内的对应区域中未包含预定像素数目以上的、显现有确认区域85内存在的对象的像素的情况下,评价为指定范围FD满足该第六评价条件。
控制部11也可以从上述六个评价条件中选择一个或多个作为为了判断指定范围FD作为床上表面的范围是否恰当所利用的评价条件。另外,为了判断指定范围FD作为床上表面的范围是否恰当,控制部11也可以利用上述六个评价条件以外的评价条件。进一步地,可以根据实施的方式适当设定为了判断指定范围FD作为床上表面的范围是否恰当所利用的评价条件的组合。
(7)其它
需要说明的是,上述实施方式涉及的信息处理装置1根据考虑了摄像机2的俯仰角α的关系式而算出了关于床的位置的设定的各种值。不过,信息处理装置1考虑的摄像机2的属性值可以不限定于该俯仰角α,也可以根据实施的方式而适当选择。例如,上述信息处理装置1也可以根据除考虑了摄像机2的俯仰角α以外还考虑了摄像机2的侧倾角等的关系式而算出关于床的位置的设定的各种值。
另外,在上述实施方式中,床上表面的高度的接收(步骤S103)与床上表面的范围的接收(步骤S105)在彼此不同的步骤中执行。然而,这些步骤也可以通过一个步骤处理。例如,通过在画面50或画面60上设置滚动条42及凸块43,控制部11能够接收床上表面的高度的指定,同时,能够接收床上表面的范围的指定。需要说明的是,也可以省略上述步骤S103,预先设定床上表面的高度。
附图标记说明
1…信息处理装置、2…摄像机、3…拍摄图像、5…程序、6…存储介质、20…图像取得部、21…前景提取部、22…行为检测部、23…设定部、24…显示控制部、25…行为选择部、26…危险预兆通知部、27…未完成通知部、28…评价部、29…范围推断部。

Claims (19)

1.一种信息处理装置,包括:
图像取得部,取得通过拍摄装置拍摄到的拍摄图像,所述拍摄装置是为了监护监护对象者在床上的行为而设置的,所述拍摄图像包括表示该拍摄图像内的各像素的深度的深度信息;
显示控制部,将取得的所述拍摄图像显示于显示装置;
设定部,在所显示的所述拍摄图像内,从使用者接收成为所述床的基准的床基准面的范围的指定,并将该指定的范围设定为所述床基准面的范围;
评价部,在所述设定部接收所述床基准面的指定的期间,根据预定的评价条件评价所述使用者所指定的范围作为床基准面的范围是否恰当;以及
行为检测部,根据由所述深度信息表示的所述拍摄图像内的各像素的深度,判断被设定的所述床基准面与所述监护对象者在真实空间内的位置关系是否满足预定的检测条件,从而检测所述监护对象者的与所述床关联的行为,
在所述设定部接收所述床基准面的范围的指定的期间,所述显示控制部向所述使用者提示所述评价部针对所述使用者指定的范围的评价结果。
2.根据权利要求1所述的信息处理装置,其中,
所述信息处理装置还包括范围推断部,所述范围推断部根据预定的指定条件反复指定床基准面的范围,根据所述评价条件评价该反复指定的范围,从而将从该反复指定的范围之中最适合于该评价条件的范围推断为所述床基准面的范围,
所述显示控制部控制通过所述显示装置进行的所述拍摄图像的显示,以使得在所述拍摄图像上明示由所述范围推断部推断的范围。
3.根据权利要求2所述的信息处理装置,其中,
在所述拍摄图像上明示由所述范围推断部推断的范围之后,所述设定部从使用者接收所述床基准面的范围的指定,并将该指定的范围设定为所述床基准面的范围。
4.根据权利要求1至3中任一项所述的信息处理装置,其中,
所述评价部通过利用多个所述评价条件而以三级以上的等级来评价所述使用者所指定的范围,该三级以上的等级在表示所述指定的范围最适合于床基准面的范围的等级与表示所述指定的范围最不适合于床上表面的范围的等级之间包含至少一级以上的等级,
所述显示控制部向所述使用者提示对于所述使用者所指定的范围的评价结果,其中,所述评价结果以所述三级以上的等级来表示。
5.根据权利要求1至4中任一项所述的信息处理装置,其中,
所述信息处理装置还包括前景提取部,所述前景提取部根据被设定作为所述拍摄图像的背景的背景图像与所述拍摄图像的差分而提取所述拍摄图像的前景区域,
所述行为检测部将根据所述前景区域内的各像素的深度而确定的显现在所述前景区域中的对象在真实空间内的位置用作所述监护对象者的位置,并通过判断所述床基准面与所述监护对象者在真实空间内的位置关系是否满足所述检测条件来检测所述监护对象者的与所述床关联的行为。
6.根据权利要求1至5中任一项所述的信息处理装置,其中,
所述设定部接收床上表面的范围的指定来作为所述床基准面的范围,
所述行为检测部通过判断在真实空间内的所述床上表面与所述监护对象者的位置关系是否满足所述检测条件来检测所述监护对象者的与所述床关联的行为。
7.根据权利要求6所述的信息处理装置,其中,
所述设定部接收所述床上表面的高度的指定,并将该被指定的高度设定为所述床上表面的高度,
在所述设定部接收所述床上表面的高度的指定的期间,所述显示控制部根据由所述深度信息表示的所述拍摄图像内的各像素的深度来控制所述显示装置进行的所述拍摄图像的显示,以使得在所述拍摄图像上明示显现有位于被指定为所述床上表面的高度的高度上的对象的区域。
8.根据权利要求7所述的信息处理装置,其中,
在设定所述床上表面的高度时或设定之后,所述设定部为了确定所述床上表面的范围,在所述拍摄图像内接收在所述床上表面内设定的基准点的位置和所述床的朝向的指定,并将根据被指定的所述基准点的位置及所述床的朝向确定的范围设定为所述床上表面在真实空间内的范围。
9.根据权利要求7所述的信息处理装置,其中,
在设定所述床上表面的高度时或设定之后,所述设定部在所述拍摄图像内接收用于规定床上表面的范围的四个角中的两个角的位置的指定,并将根据所指定的该两个角的位置确定的范围设定为所述床上表面在真实空间内的范围。
10.根据权利要求6至9中任一项所述的信息处理装置,其中,
所述预定的评价条件包括用于判断在所述使用者所指定的范围内未包含高度比所述床上表面低的对象的显现像素的条件,
在判断为在所述使用者所指定的范围内未包含高度比所述床上表面低的对象的显现像素时,所述评价部评价为所述使用者所指定的范围作为所述床上表面的范围恰当。
11.根据权利要求6至10中任一项所述的信息处理装置,其中,
所述预定的评价条件包括用于判断在所述真实空间内是否显现有相对于所述床上表面的相对位置被预先确定的标识的条件,
在判断为所述拍摄图像中显现有所述标识时,所述评价部评价为所述使用者所指定的范围作为所述床上表面的范围恰当。
12.根据权利要求11所述的信息处理装置,其中,
所述标识包括设置于所述床上的一对护栏及床头板中的至少任一个。
13.根据权利要求11或12所述的信息处理装置,其中,
所述标识包括设置于所述床上的一对护栏及床头板,
对于所述一对护栏及床头板中的至少任一个的标识,所述评价部判断是否在彼此分开的多个区域上显现有该标识。
14.根据权利要求6至13中任一项所述的信息处理装置,其中,
通过作为所述床上表面的范围而由所述使用者指定的范围,在所述真实空间上规定指定面,
所述预定的评价条件包括用于判断存在于所述指定面的上方且存在于离该指定面高出预定的高度以上的位置上的对象的显现像素是否包含在所述拍摄图像中的条件,
在判断为存在于离所述指定面高出预定的高度以上的位置上的对象的显现像素未包含在所述拍摄图像中时,所述评价部评价为所述使用者所指定的范围作为所述床上表面的范围恰当。
15.根据权利要求1至14中任一项所述的信息处理装置,其中,
所述信息处理装置还包括危险预兆通知部,所述危险预兆通知部在针对所述监护对象者检测到的行为为表示危险迫近所述监护对象者的预兆的行为的情况下,进行用于告知该预兆的通知。
16.根据权利要求1至15中任一项所述的信息处理装置,其中,
所述信息处理装置还包括未完成通知部,所述未完成通知部在通过所述设定部进行的设定在预定时间内未完成的情况下,进行用于告知通过所述设定部进行的设定尚未完成的通知。
17.一种信息处理方法,由计算机执行如下步骤:
取得步骤,取得通过拍摄装置拍摄到的拍摄图像,所述拍摄装置是为了监护监护对象者在床上的行为而设置的,所述拍摄图像包括表示该拍摄图像内的各像素的深度的深度信息;
接收步骤,在取得的所述拍摄图像内,从使用者接收成为所述床的基准的床基准面的范围的指定;
评价步骤,在所述接收步骤中接收所述床基准面的指定的期间,根据预定的评价条件评价所述使用者所指定的范围作为床基准面的范围是否恰当;
提示步骤,在所述接收步骤中接收所述床基准面的指定的期间,向所述使用者提示对于在所述评价步骤中所述使用者所指定的范围的评价结果;
设定步骤,将在由所述使用者进行的范围的指定完成时被指定的范围设定为所述床基准面的范围;以及
检测步骤,根据由所述深度信息表示的所述拍摄图像内的各像素的深度,判断被设定的所述床基准面与所述监护对象者在真实空间内的位置关系是否满足预定的检测条件,从而检测所述监护对象者的与所述床关联的行为。
18.一种程序,用于使计算机执行如下步骤:
取得步骤,取得通过拍摄装置拍摄到的拍摄图像,所述拍摄装置是为了监护监护对象者在床上的行为而设置的,所述拍摄图像包括表示该拍摄图像内的各像素的深度的深度信息;
接收步骤,在取得的所述拍摄图像内,从使用者接收成为所述床的基准的床基准面的范围的指定;
评价步骤,在所述接收步骤中接收所述床基准面的指定的期间,根据预定的评价条件评价所述使用者所指定的范围作为床基准面的范围是否恰当;
提示步骤,在所述接收步骤中接收所述床基准面的指定的期间,向所述使用者提示对于在所述评价步骤中所述使用者所指定的范围的评价结果;
设定步骤,将在由所述使用者进行的范围的指定完成时被指定的范围设定为所述床基准面的范围;以及
检测步骤,根据由所述深度信息表示的所述拍摄图像内的各像素的深度,判断被设定的所述床基准面与所述监护对象者在真实空间内的位置关系是否满足预定的检测条件,从而检测所述监护对象者的与所述床关联的行为。
19.一种信息处理装置,其特征在于,包括:
图像取得部,取得通过拍摄装置拍摄到的拍摄图像,所述拍摄装置是为了监护监护对象者在床上的行为而设置的,所述拍摄图像包括表示该拍摄图像内的各像素的深度的深度信息;
范围推断部,根据预定的指定条件反复指定床基准面的范围,并根据预定的评价条件评价将该反复指定的范围作为该床基准面的范围是否恰当,从而作为该床基准面的范围从该反复指定的范围之中推断出最适合于该评价条件的范围;
设定部,将所推断出的范围设定为所述床的基准面的范围;以及
行为检测部,根据由所述深度信息表示的所述拍摄图像内的各像素的深度,判断被设定的所述床基准面与所述监护对象者在真实空间内的位置关系是否满足预定的检测条件,从而检测所述监护对象者的与所述床关联的行为。
CN201580006833.1A 2014-03-20 2015-01-22 信息处理装置、信息处理方法及程序 Pending CN105940428A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014058638 2014-03-20
JP2014-058638 2014-03-20
PCT/JP2015/051635 WO2015141268A1 (ja) 2014-03-20 2015-01-22 情報処理装置、情報処理方法、及び、プログラム

Publications (1)

Publication Number Publication Date
CN105940428A true CN105940428A (zh) 2016-09-14

Family

ID=54144248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580006833.1A Pending CN105940428A (zh) 2014-03-20 2015-01-22 信息处理装置、信息处理方法及程序

Country Status (4)

Country Link
US (1) US20170014051A1 (zh)
JP (1) JP6504156B2 (zh)
CN (1) CN105940428A (zh)
WO (1) WO2015141268A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109963501A (zh) * 2017-03-02 2019-07-02 欧姆龙株式会社 看护辅助***及其控制方法、以及程序
CN109963539A (zh) * 2017-03-02 2019-07-02 欧姆龙株式会社 看护辅助***及其控制方法、以及程序

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105942749B (zh) * 2016-05-30 2019-03-01 京东方科技集团股份有限公司 电视床及其工作方法
CN106333816A (zh) * 2016-09-20 2017-01-18 上海市杨浦区中心医院 伤口换药车
JP2019020790A (ja) * 2017-07-12 2019-02-07 キング通信工業株式会社 見守りエリアの形成方法
JP7090328B2 (ja) * 2018-06-15 2022-06-24 エイアイビューライフ株式会社 情報処理装置
JP6629409B1 (ja) * 2018-10-22 2020-01-15 株式会社アルファブレイン・ワールド ヘアーアイロン用カバー部材及びヘアーアイロン
EP4312754A1 (fr) * 2021-03-26 2024-02-07 Kapcare SA Dispositif et methode pour detecter un mouvement ou l'arret d'un mouvement d'une personne ou d'un objet dans une piece, ou un evenement relatif a cette personne
CN115191788B (zh) * 2022-07-14 2023-06-23 慕思健康睡眠股份有限公司 一种基于智能床垫的体感互动方法及相关产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08150125A (ja) * 1994-09-27 1996-06-11 Kanebo Ltd 病室内患者監視装置
JP2009049943A (ja) * 2007-08-22 2009-03-05 Alpine Electronics Inc 距離画像によるトップビュー表示装置
WO2009029996A1 (en) * 2007-09-05 2009-03-12 Conseng Pty Ltd Patient monitoring system
JP2013078433A (ja) * 2011-10-03 2013-05-02 Panasonic Corp 監視装置、プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4590745B2 (ja) * 2001-01-31 2010-12-01 パナソニック電工株式会社 画像処理装置
JP5648840B2 (ja) * 2009-09-17 2015-01-07 清水建設株式会社 ベッド上及び室内の見守りシステム
JP5915199B2 (ja) * 2012-01-20 2016-05-11 富士通株式会社 状態検知装置および状態検知方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08150125A (ja) * 1994-09-27 1996-06-11 Kanebo Ltd 病室内患者監視装置
JP2009049943A (ja) * 2007-08-22 2009-03-05 Alpine Electronics Inc 距離画像によるトップビュー表示装置
WO2009029996A1 (en) * 2007-09-05 2009-03-12 Conseng Pty Ltd Patient monitoring system
JP2013078433A (ja) * 2011-10-03 2013-05-02 Panasonic Corp 監視装置、プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109963501A (zh) * 2017-03-02 2019-07-02 欧姆龙株式会社 看护辅助***及其控制方法、以及程序
CN109963539A (zh) * 2017-03-02 2019-07-02 欧姆龙株式会社 看护辅助***及其控制方法、以及程序
CN109963539B (zh) * 2017-03-02 2021-12-28 欧姆龙株式会社 看护辅助***及其控制方法、以及计算机可读取的记录介质

Also Published As

Publication number Publication date
JPWO2015141268A1 (ja) 2017-04-06
JP6504156B2 (ja) 2019-04-24
WO2015141268A1 (ja) 2015-09-24
US20170014051A1 (en) 2017-01-19

Similar Documents

Publication Publication Date Title
CN105940428A (zh) 信息处理装置、信息处理方法及程序
CN105283129B (zh) 信息处理装置、信息处理方法
CN105960663A (zh) 信息处理装置、信息处理方法及程序
CN106415654A (zh) 信息处理装置、信息处理方法及程序
CN105960664A (zh) 信息处理装置、信息处理方法及程序
CN105940434A (zh) 信息处理装置、信息处理方法及程序
CN106780569A (zh) 一种人体姿态估计行为分析方法
US20150310289A1 (en) Liveness Detection
CN105144228B (zh) 图像处理方法以及信息终端
US20160127657A1 (en) Imaging system
US9218794B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium
CN109002786A (zh) 人脸检测方法、设备及计算机可读存储介质
JP6780641B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
KR20150039252A (ko) 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법
CN111248851A (zh) 一种视功能自测方法
CN105929538A (zh) 一种虚拟现实设备的显示方法及装置
WO2014182898A1 (en) User interface for effective video surveillance
KR101653052B1 (ko) 3차원 자세측정시스템 및 이를 이용한 자세측정방법
CN106101857B (zh) 一种视频画面的显示方法及装置
CN109998470A (zh) 一种视力测试方法及装置
CN109661690A (zh) 监护***、监护装置、监护方法以及监护程序
CN109858319A (zh) 图像处理设备及控制方法和非暂时性计算机可读存储介质
KR101647883B1 (ko) 액션 트레머 진단을 위한 손 떨림 측정 장치 및 방법
CN110175522A (zh) 考勤方法、***及相关产品
JP2020123105A (ja) 学習装置、学習方法、学習プログラム、及び対象物認識装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160914