WO2020145145A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
WO2020145145A1
WO2020145145A1 PCT/JP2019/050828 JP2019050828W WO2020145145A1 WO 2020145145 A1 WO2020145145 A1 WO 2020145145A1 JP 2019050828 W JP2019050828 W JP 2019050828W WO 2020145145 A1 WO2020145145 A1 WO 2020145145A1
Authority
WO
WIPO (PCT)
Prior art keywords
bed
area
processing
distance image
designation
Prior art date
Application number
PCT/JP2019/050828
Other languages
English (en)
French (fr)
Inventor
安川　徹
Original Assignee
エイアイビューライフ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エイアイビューライフ株式会社 filed Critical エイアイビューライフ株式会社
Publication of WO2020145145A1 publication Critical patent/WO2020145145A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G12/00—Accommodation for nursing, e.g. in hospitals, not covered by groups A61G1/00 - A61G11/00, e.g. trolleys for transport of medicaments or food; Prescription lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an information processing device, an information processing method, and a program.
  • Patent Document 1 many monitoring systems have been developed for monitoring a person such as a cared person using an image captured by a distance image sensor.
  • the monitoring system disclosed in Patent Document 1 extracts the position of the bed from the distance image, detects the area of the person, and determines the movement of the person. Specifically, the position of the bed is obtained from the frequency distribution of height in the longitudinal direction and the lateral direction of the bed. In addition, the motion of a person is determined by detecting the position of an object with respect to a predetermined height position, thereby determining the motion of the person such as a bed rest state, an upper body upright state, and a standing state.
  • the detection range of the person is not limited, so that there is a problem in that it is not possible to improve the accuracy of determining the person's motion. ..
  • the vicinity of the doorway of the room where the bed is installed and the vicinity of the window are also human detection ranges, there is a possibility that objects outside the room will also be detected as humans.
  • an object of the present invention is to provide an information processing apparatus capable of solving the above-mentioned problem that it is not possible to improve the accuracy of discriminating human motions.
  • An information processing apparatus is Distance image acquisition means for acquiring a distance image of a predetermined area including the bed, Processing range setting means for setting a processing area including the bed in the distance image, A detection means for detecting a motion of a person in the set processing area based on the distance image, The processing range setting means receives designation of an outer edge portion of the treatment area located outside the bed, and sets the treatment area according to the designation of the accepted outer edge portion, Take the configuration.
  • the processing range setting means accepts designation of a location where each side of the bed having a rectangular outer shape is spread outside the bed as designation of an outer edge location of the processing area, Take the configuration.
  • the processing range setting means receives a distance from an outer shape part of the bed to a predetermined position located outside the bed as designation of an outer edge part of the processing area, Take the configuration.
  • the processing range setting means accepts, for each of the four sides of the bed having a rectangular outer shape, a distance from a side of the bed to a predetermined position located outside the bed as designation of an outer edge portion of the processing area. , Setting the processing area so that each of the four sides of the bed extends to a specified distance from each side. Take the configuration.
  • An area display processing unit that simultaneously outputs the bed area and the processing area and outputs the display to the display unit by distinguishing the bed area and the processing area, Take the configuration.
  • an information processing method which is another embodiment of the present invention, Obtain a range image of a predetermined area including the bed, Receiving the designation of the outer edge portion of the processing area located outside the bed, according to the designation of the received outer edge portion, set the processing area including the bed in the distance image, Detecting a motion of a person in the set processing area based on the distance image, Take the configuration.
  • Distance image acquisition means for acquiring a distance image of a predetermined area including the bed
  • a processing range setting means that receives designation of an outer edge portion of a processing area located outside the bed, and sets the processing area including the bed in the distance image according to the designation of the received outer edge portion.
  • a detection unit that detects a motion of a person in the set processing area based on the distance image; To realize Take the configuration.
  • the present invention can improve the accuracy of discriminating human motions.
  • FIG. 1 It is a schematic diagram showing the composition of the information processing system in Embodiment 1 of the present invention. It is a block diagram which shows the structure of the monitoring server disclosed by FIG. It is a figure which shows an example of the area
  • FIGS. 1 and 2 are diagrams showing the configuration of the information processing system.
  • 3 to 8 are diagrams for explaining the processing operation of the information processing system. The configuration and operation of the information processing system will be described below with reference to the drawings.
  • the information processing system in the present invention is an information processing system for monitoring the behavior of a person to be monitored, such as a cared person or a monitored person, and includes a monitoring server 10, a range image camera C, a mobile terminal 20, The monitoring terminal 30 is provided.
  • the distance image camera C is arranged at a position where a distance image can be captured in the area R in which the bed B on which the person to be monitored lies is arranged.
  • the distance image camera C is provided on the ceiling of a medical facility, a nursing facility, or one room in the home, and the entire bed B is placed at a position within the image.
  • the range image camera C is not necessarily installed on the ceiling, and may be installed on any place such as a wall or a stand.
  • the bed B to be photographed may be another bed such as a futon.
  • Distance image camera C captures a distance image with pixel values as distance values.
  • the distance image camera C may be of a type that measures the distance from the round-trip time when the infrared laser is projected on the target, or may be of any type.
  • the range image camera C has a function of shooting a range image at regular time intervals or at the timing of receiving a shooting instruction, and transmitting the range image to the monitoring server 10 described later.
  • the mobile terminal 20 is an information processing terminal such as a smartphone operated and held by a user U who is a supervising person who takes care of and monitors a person who is a cared person.
  • the mobile terminal 20 is connected to and can communicate with the monitoring server 10 via wireless communication, and can input an operation instruction of the user U to the monitoring server 10 as described later.
  • the mobile terminal 20 displays a range image captured by the range image camera C on the display screen, and also displays an operation screen on which an operation instruction regarding monitoring can be input.
  • the operation instruction is transmitted from the mobile terminal 20 to the monitoring server 10.
  • the mobile terminal 20 also has a function of receiving a notification of abnormality of the person who is the cared person issued from the monitoring server 10 and notifying the user U of the notification.
  • the monitoring terminal 30 is an information processing terminal operated by a user U who is a supervisor who takes care of and monitors a person who is a cared person.
  • the monitoring terminal 30 is installed in a place such as a monitoring room in which a user U such as a monitor is enrolled, and can be operated by a plurality of users U. Similar to the mobile terminal 20 described above, the monitoring terminal 30 displays a distance image on the display screen, enables input of operation instructions regarding monitoring, and transmits such operation instructions to or from the monitoring server 10. It has a function of receiving a notice of abnormality of a person to be notified and notifying the user U.
  • the monitoring server 10 is a server device (information processing device) having a computing device and a storage device. Then, as shown in FIG. 2, the monitoring server 10 includes a distance image acquisition unit 11, a region designation receiving unit 12, a region setting unit 13, a monitoring unit 14, and a notification unit, which are constructed by the arithmetic device executing a program. 15 are provided. The monitoring server 10 also includes an area information storage unit 16 formed in the storage device.
  • a distance image acquisition unit 11 a region designation receiving unit 12
  • a region setting unit 13 a monitoring unit 14
  • a notification unit which are constructed by the arithmetic device executing a program. 15 are provided.
  • the monitoring server 10 also includes an area information storage unit 16 formed in the storage device.
  • each configuration will be described in detail. The operation of the monitoring server 10 will also be described below with reference to the flowchart of FIG.
  • the distance image acquisition unit 11 acquires from the distance image camera C a distance image including the bed B photographed by the distance image camera C as described above. Then, the acquired distance image is passed to the area designation receiving unit 12, the area setting unit 13, and the monitoring unit 14, and the distance image is used for monitoring area setting processing and monitoring processing described later.
  • the area designation receiving unit 12 and the area setting unit 13 (processing range setting means, display processing means, area display processing means) that performs monitoring area setting processing such as setting of a processing area that performs monitoring processing of a person's motion will be described. ..
  • the area designation receiving unit 12 receives an instruction from the user U via the mobile terminal 20 to perform a process of setting the processing area
  • the area setting screen 50 as shown in FIG. 3 is displayed on the mobile terminal.
  • the area designation receiving unit 12 displays a distance image 52, which is an image of the area R including the bed B acquired from the distance image camera C, below the area setting screen 50, and designates an outer edge portion of the processing area above.
  • the input field 51 for input is displayed (step S1 in FIG. 8). That is, the area designation receiving unit 12 simultaneously displays the distance image 52 and the input screen including the input field 51 for inputting the designation of the outer edge portion of the processing area on one screen on the display unit of the mobile terminal 20.
  • the input screen and the distance image 52 do not necessarily have to be displayed on one screen.
  • the input screen displayed on the mobile terminal 20 corresponds to the figure of the bed B having an outer shape of a rectangle (rectangle) and the four sides forming the outer shape of the bed B, respectively.
  • an input field 51 for designating an outer edge portion of the processing area are displayed.
  • the processing area can be set to a rectangular shape that allows the outer shape of the bed B, which is rectangular, to be further expanded to the outside. Therefore, the outer edge portion of the processing area can be designated by a distance value such as how far each side of the bed B is extended outward.
  • a distance value such as how far each side of the bed B is extended outward.
  • the area designation receiving unit 12 receives the designation of the outer edge portion of the processing area input to the mobile terminal 20, and stores the designation in the area information storage unit 16 (step S2 in FIG. 8).
  • the side of the bed B itself becomes the outer edge of the processing area.
  • the area setting unit 13 is stored in the area information storage unit 16 when the user U selects “close” or “confirm” on the input screen as shown in FIG. 4 displayed on the mobile terminal 20.
  • the processing area is set according to the designation of the outer edge portion of the processing area. Specifically, when “confirm” is selected on the input screen (Yes in step S3 of FIG. 8), the region setting unit 13 generates the preview screen 53 displaying the processing region A as shown in FIG. Then, the area setting screen 50 is output so as to be displayed on the mobile terminal 20 (step S9 in FIG. 8).
  • the area setting unit 13 first specifies the area of the bed B when generating the preview screen 53.
  • the area setting unit 13 may specify a rectangular object in the distance image and set the area as the area of the bed B.
  • the area setting unit 13 stores a preset template of vertical and horizontal lengths of the bed B, and refers to the template to determine the area of the object whose vertical and horizontal lengths and aspect ratios are similar to the bed.
  • the area B may be used. Any method may be used to specify the area of the bed B.
  • the area setting unit 13 specifies the area of the bed B, and then expands the area of the bed B by the distance to the outer edge portion of the processing area set corresponding to each side of the bed B. Region A is generated. At this time, the area setting unit 13 displays on the preview screen 53 so that the area of the bed B and the processing area A can be distinguished.
  • the white painted area is the area of the bed B
  • the hatched area is the area in which the lower side and the right side of the bed B are widened by 50 cm
  • the combined area is the processing area A. ..
  • the area setting unit 13 displays the processing area of FIG. Return to the input screen for specifying the outer edge.
  • the area setting unit 13 selects “close” on the area setting screen 50 displaying the preview screen 53 of the processing area A shown in FIG. 5 (No in step S10 in FIG. 8, Yes in step S11)
  • the processing area A to be subjected to the image processing is set in the distance image (step S5 in FIG. 8). With this setting, as will be described later, the area in which the monitoring process is performed by the monitoring unit 14 is only the processing area A expanded by the specified distance from the outer shape of the bed B in the entire distance image.
  • the area setting unit 13 is also input when the user U selects “close” on the input screen displayed on the mobile terminal 20 as illustrated in FIG. 4 (Yes in step S4 of FIG. 8 ).
  • the processing area A of the distance image in which the monitoring processing is performed by the monitoring unit 14 is set in the same manner as described above (step S5 in FIG. 8). That is, similarly to the above, the area of the bed B is specified from the distance image, and the area obtained by further expanding the area of the bed B by the distance specified on each side is set as the processing area A.
  • the monitoring unit 14 (detection unit) performs a monitoring process of monitoring a person in the processing area A by processing only the processing area A set by the area setting unit 13 in the acquired distance image ( Step S6 in FIG. 8).
  • the monitoring unit 14 detects the person P existing in the processing area A, detects the action of the person P, and monitors whether or not the action is in an abnormal state.
  • the monitoring unit 14 first detects an object existing in the processing area A, and detects a person P from the object. For example, the monitoring unit 14 detects an object composed of individual lumps in the distance image, and detects the person P from the mass of the detected object, the positional relationship between the objects, the volume ratio (area ratio), and the like. Then, the highest vertex and the center of gravity position of the detected person P are detected, and the motion of the person P is detected from the positional relationship between the highest vertex and the center of gravity position of the person P. In particular, in the present embodiment, the monitoring unit 14 determines the posture of the person P based on the positional relationship between the person P and the bed B. For example, as illustrated in FIG.
  • the monitoring unit 14 determines that the person P is in the “decubitus” state in which the person P is lying on the bed B, or the person P is positioned at the boundary of the bed B as illustrated in FIG. 7. Detect a "boundary" condition. 6 and 7, the upper diagram shows the distance image, and the lower diagram shows the bed B as seen from the side. In addition to this, the monitoring unit 14 may detect an operation such as a "standing" state in which the person P stands on the bed B or an "exiting" state in which the person P leaves the bed B. Not limited to.
  • the monitoring unit 14 determines whether or not the person P is an operation set in advance as an abnormal state based on the operation of the person P detected as described above. For example, when the boundary state is set as an abnormal state, when it is detected that the person P is in the boundary state, it is determined that the person P is in an abnormal state (step in FIG. 8). Yes in S7). Then, when the monitoring unit 14 determines that the posture of the person P is in the abnormal state from the distance image as described above, the monitoring unit 14 notifies the user U (step S8 of FIG. 8).
  • the processing area for the distance image can be limited. For this reason, for example, the vicinity of the entrance and exit of the area where the bed is installed and the vicinity of the window are excluded from the processing area, the place where an object that is erroneously recognized as a person exists is excluded from the processing area, and further, the person moves. Places that are not obtained can be removed from the processing area. As a result, it is possible to suppress erroneous recognition of a person's motion and improve the accuracy of distinguishing a person's motion. Further, since the processing area is limited, it is possible to speed up the monitoring processing.
  • the above-mentioned program is stored in a storage device or a computer-readable recording medium.
  • the recording medium is a portable medium such as a flexible disk, an optical disk, a magneto-optical disk, and a semiconductor memory.
  • the present invention enjoys the benefit of the priority claim based on the patent application of Japanese Patent Application No. 2019-000588 filed in Japan on January 7, 2019, and is described in the patent application. All contents are included in the present specification.
  • monitoring server 11 distance image acquisition unit 12 area designation reception unit 13 area setting unit 14 monitoring unit 15 notification unit 16 area information storage unit 20 mobile terminal 30 monitoring terminal A processing area B bed C distance image camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Nursing (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Accommodation For Nursing Or Treatment Tables (AREA)
  • Closed-Circuit Television Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Invalid Beds And Related Equipment (AREA)
  • Alarm Systems (AREA)

Abstract

本発明の情報処理装置は、寝床を含む所定領域の距離画像を取得する距離画像取得手段と、距離画像内における寝床を含む処理領域を設定する処理範囲設定手段と、距離画像に基づいて、設定された処理領域内の人物の動作を検出する検出手段と、を備える。そして、上記処理範囲設定手段は、寝床の外側に位置する処理領域の外縁箇所の指定を受け付けて、当該受け付けた外縁箇所の指定に応じて処理領域を設定する。

Description

情報処理装置
　本発明は、情報処理装置、情報処理方法、プログラムに関する。
　近年、高齢者の人口が増加し、介護の需要が高まっている。一方で、介護には、多くの介護者が必要となり、介護者の作業負担や人件費の増加という問題が生じる。そこで、特許文献１に記載のような、距離画像センサで撮影した画像を用いて、被介護者といった人物を監視する監視システムが多く開発されている。
　特許文献１に開示の監視システムでは、距離画像からベッドの位置を抽出し、また、人の領域を検出し、人の動作を判別している。具体的に、ベッドの位置は、ベッドの長手方向及び短手方向における高さの度数分布から求めている。また、人の動作は、所定の高さ位置に対する物体の位置検出することで、臥床の状態、上半身を起こした状態、起立の状態、といった人の動作を判別している。
特開２０１２－０３００４２号公報
　しかしながら、上述した特許文献１の技術では、ベッドの位置を検出しているものの、人の検出範囲を制限していないため、人の動作の判別精度の向上を図ることができない、という問題が生じる。例えば、ベッドが設置された部屋の出入口付近や窓付近も人の検出範囲であるとすると、部屋の外の物体も人として検出してしまう可能性がある。また、部屋の中に人と誤認識するような形状の物体が存在する場合もあり得る。
　このため、本発明の目的は、上述した課題である、人の動作の判別精度の向上を図ることができない、ことを解決することができる情報処理装置を提供することにある。
　本発明の一形態である情報処理装置は、
　寝床を含む所定領域の距離画像を取得する距離画像取得手段と、
　前記距離画像内における前記寝床を含む処理領域を設定する処理範囲設定手段と、
　前記距離画像に基づいて、設定された前記処理領域内の人物の動作を検出する検出手段と、を備え、
　前記処理範囲設定手段は、前記寝床の外側に位置する前記処理領域の外縁箇所の指定を受け付けて、当該受け付けた前記外縁箇所の指定に応じて前記処理領域を設定する、
という構成をとる。
　そして、上記情報処理装置では、
　前記処理範囲設定手段は、外形が矩形である前記寝床の各辺を当該寝床の外側に広げた箇所の指定を前記処理領域の外縁箇所の指定として受け付ける、
という構成をとる。
　また、上記情報処理装置では、
　前記処理範囲設定手段は、前記寝床の外形箇所から当該寝床の外側に位置する所定箇所までの距離を、前記処理領域の外縁箇所の指定として受け付ける、
という構成をとる。
　また、上記情報処理装置では、
　前記処理範囲設定手段は、外形が矩形である前記寝床の４辺それぞれについて、当該寝床の辺から当該寝床の外側に位置する所定箇所までの距離を、前記処理領域の外縁箇所の指定として受け付けて、前記寝床の４辺それぞれを当該各辺から指定された距離まで広げるよう前記処理領域を設定する、
という構成をとる。
　また、上記情報処理装置では、
　前記距離画像と、前記処理領域の外縁箇所の指定を入力する入力画面と、を同時に表示部に表示出力する表示処理手段を備えた、
という構成をとる。
　また、上記情報処理装置では、
　前記寝床の領域と前記処理領域とを同時に、前記寝床の領域と前記処理領域とを区別して表示部に表示出力する領域表示処理手段を備えた、
という構成をとる。
　また、本発明の他の形態である情報処理方法は、
　寝床を含む所定領域の距離画像を取得し、
　前記寝床の外側に位置する処理領域の外縁箇所の指定を受け付けて、当該受け付けた前記外縁箇所の指定に応じて、前記距離画像内における前記寝床を含む前記処理領域を設定し、
　前記距離画像に基づいて、設定された前記処理領域内の人物の動作を検出する、
という構成をとる。
　また、本発明の他の形態であるプログラムは、
　情報処理装置に、
　寝床を含む所定領域の距離画像を取得する距離画像取得手段と、
　前記寝床の外側に位置する処理領域の外縁箇所の指定を受け付けて、当該受け付けた前記外縁箇所の指定に応じて、前記距離画像内における前記寝床を含む前記処理領域を設定する処理範囲設定手段と、
　前記距離画像に基づいて、設定された前記処理領域内の人物の動作を検出する検出手段と、
を実現させる、
という構成をとる。
　本発明は、以上のように構成されることにより、人の動作の判別精度の向上を図ることができる。
本発明の実施形態１における情報処理システムの構成を示す概略図である。 図１に開示した監視サーバの構成を示すブロック図である。 図１に開示した監視サーバから携帯端末に表示される領域設定画面の一例を示す図である。 図１に開示した監視サーバから携帯端末に表示される領域設定画面の一例を示す図である。 図１に開示した監視サーバから携帯端末に表示される領域設定画面の一例を示す図である。 図１に開示した監視サーバによる人物の動作判定処理の様子を示す図である。 図１に開示した監視サーバによる人物の動作判定処理の様子を示す図である。 図１に開示した監視サーバの処理動作を示すフローチャートである。
　＜実施形態１＞
　本発明の第１の実施形態を、図１乃至図８を参照して説明する。図１乃至図２は、情報処理システムの構成を示す図である。図３乃至図８は、情報処理システムの処理動作を説明するための図である。以下、各図を参照して、情報処理システムの構成及び動作を説明する。
　本発明における情報処理システムは、被介護者や被監視者といった監視対象となる人物の行動を監視するための情報処理システムであり、監視サーバ１０と、距離画像カメラＣと、携帯端末２０と、監視端末３０と、を備えて構成されている。
　上記距離画像カメラＣは、監視対象となる人物が横たわるベッドＢが配置された領域Ｒ内の距離画像を撮影可能な位置に配置されている。例えば、距離画像カメラＣは、医療施設や介護施設、宅内の一室の天井に設けられ、ベッドＢ全体が画像内に収まる位置に配置されている。なお、距離画像カメラＣは、必ずしも天井に設置されていることに限定されず、壁やスタンドなど、いかなる場所に設置されていてもよい。また、撮影されるベッドＢは、布団といった他の寝床であってもよい。
　距離画像カメラＣは、画素値を距離値とした距離画像を撮影するものである。例えば、距離画像カメラＣは、赤外線レーザをターゲットに投射した際の往復の時間から距離を計測する形式のものであってもよく、いかなる方式のものであってもよい。そして、距離画像カメラＣは、一定の時間間隔で、あるいは、撮影指示を受けたタイミングで、距離画像を撮影し、かかる距離画像を後述する監視サーバ１０に送信する機能を有する。
　上記携帯端末２０は、被介護者である人物の介護を行ったり、監視する監視者であるユーザＵが保持して操作するスマートフォンなどの情報処理端末である。携帯端末２０は、監視サーバ１０と無線通信を介して接続され通信可能であり、後述するように、監視サーバ１０に対してユーザＵの操作指示を入力することが可能である。例えば、携帯端末２０は、表示画面に、距離画像カメラＣにて撮影された距離画像を表示すると共に、監視に関する操作指示を入力可能な操作画面を表示する。かかる画面に対してユーザＵからタッチ操作によって指示が入力されることで、かかる操作指示が携帯端末２０から監視サーバ１０に送信されることとなる。また、携帯端末２０は、監視サーバ１０から発せられる被介護者である人物の異常の通知を受信して、ユーザＵに報知する機能も有する。
　上記監視端末３０は、被介護者である人物の介護を行ったり、監視する監視者であるユーザＵが操作する情報処理端末である。監視端末３０は、監視者などのユーザＵが在籍する監視ルームなどの場所に設置されており、複数のユーザＵによって操作可能である。監視端末３０は、上述した携帯端末２０と同様に、表示画面に距離画像を表示すると共に、監視に関する操作指示を入力可能とし、かかる操作指示を監視サーバ１０に送信したり、監視サーバ１０から発せられる人物の異常の通知を受信して、ユーザＵに報知する機能を有する。
　上記監視サーバ１０は、演算装置及び記憶装置を有するサーバ装置（情報処理装置）である。そして、監視サーバ１０は、図２に示すように、演算装置がプログラムを実行することで構築された、距離画像取得部１１、領域指定受付部１２、領域設定部１３、監視部１４、通知部１５、を備えている。また、監視サーバ１０は、記憶装置に形成された、領域情報記憶部１６を備えている。以下、各構成について詳述する。なお、以下では、監視サーバ１０に動作も、図８のフローチャートを参照して併せて説明する。
　上記距離画像取得部１１（距離画像取得手段）は、上述したように距離画像カメラＣにて撮影されたベッドＢを含む距離画像を、当該距離画像カメラＣから取得する。そして、取得した距離画像を、領域指定受付部１２、領域設定部１３、監視部１４に渡し、当該距離画像は後述する監視領域設定処理や監視処理に用いられる。
　次に、人物の動作の監視処理を行う処理領域の設定といった監視領域設定処理を行う領域指定受付部１２及び領域設定部１３（処理範囲設定手段、表示処理手段、領域表示処理手段）について説明する。領域指定受付部１２は、ユーザＵから携帯端末２０を介して監視サーバ１０に送信された処理領域を設定する処理を行う指令を受け付けると、図３に示すような、領域設定画面５０を携帯端末２０に表示するよう出力する。このとき、領域指定受付部１２は、領域設定画面５０の下方に距離画像カメラＣから取得したベッドＢを含む領域Ｒを撮影した距離画像５２を表示し、上方に処理領域の外縁箇所の指定を入力する入力欄５１を表示する（図８のステップＳ１）。つまり、領域指定受付部１２は、携帯端末２０の表示部に、距離画像５２と、処理領域の外縁箇所の指定を入力する入力欄５１を含む入力画面と、を一画面上に同時に表示する。なお、入力画面と距離画像５２とは必ずしも一画面上に表示されなくてもよい。
　携帯端末２０に表示される上記入力画面には、図３の上方に示すように、外形が長方形（矩形）であるベッドＢの図形と、当該ベッドＢの外形を形成する４辺それぞれに対応して処理領域の外縁箇所を指定する入力欄５１と、が表示される。ここで、処理領域は、矩形であるベッドＢの外形をさらに外側に広げることが可能な矩形形状に設定可能である。このため、処理領域の外縁箇所は、ベッドＢの各辺をそれぞれどの程度の距離だけ外側に広げるか、といった距離の値で指定することができる。図３の例では、ベッドＢの外形を形成する上辺、下辺、左辺、右辺のそれぞれに対応して、各辺から外側への距離の値（例えば、ｃｍ単位）を入力可能な４つの入力欄５１が設定されている。携帯端末２０のユーザＵは、下方に表示されている距離画像５２内のベッドＢの位置を見ながら、当該ベッドＢの各辺をそれぞれどの程度広げた処理領域を設定するかを検討し、各入力欄５１に数値を入力する。例えば、図４の例では、ベッドＢの領域を含むと共に、さらにベッドＢの下辺と右辺をそれぞれ５０ｃｍ広げた領域を処理領域とするよう、当該処理領域の外縁箇所を指定した場合を示している。そして、領域指定受付部１２は、携帯端末２０に入力された処理領域の外縁箇所の指定を受け付けて、領域情報記憶部１６に記憶する（図８のステップＳ２）。なお、ベッドＢの辺からの距離が０に指定されると、当該ベッドＢの辺自体が処理領域の外縁となる。
　上記領域設定部１３は、携帯端末２０に表示された図４に示すような入力画面において、ユーザＵにて「閉じる」または「確認する」が選択されると、領域情報記憶部１６に記憶されている処理領域の外縁箇所の指定に応じて、処理領域を設定する。具体的に、領域設定部１３は、入力画面において「確認する」が選択されると（図８のステップＳ３でＹｅｓ）、図５に示すように、処理領域Ａを表示したプレビュー画面５３を生成し、領域設定画面５０を携帯端末２０に表示するよう出力する（図８のステップＳ９）。
　領域設定部１３は、プレビュー画面５３を生成する際に、まずベッドＢの領域を特定する。例えば、領域設定部１３は、距離画像に映る矩形の物体を特定して、その領域をベッドＢの領域としてもよい。このとき、領域設定部１３は、予め設定されたベッドＢの縦横の長さからなるテンプレートを記憶しており、かかるテンプレートを参照して、縦横の長さや縦横比が近似する物体の領域をベッドＢの領域としてもよい。なお、ベッドＢの領域の特定はいかなる方法であってもよい。
　そして、領域設定部１３は、ベッドＢの領域を特定した後に、当該ベッドＢの各辺に対応してそれぞれ設定された処理領域の外縁箇所までの距離だけ、当該ベッドＢの領域を広げた処理領域Ａを生成する。このとき、領域設定部１３は、ベッドＢの領域と処理領域Ａとを区別できるようにプレビュー画面５３に表示する。例えば、図５の例では、白い塗りつぶし領域がベッドＢの領域であり、斜線で示す領域がベッドＢの下辺と右辺をそれぞれ５０ｃｍ広げた領域であり、これらを併せた領域が処理領域Ａとなる。
　領域設定部１３は、図５に示す処理領域Ａのプレビュー画面５３を表示した領域設定画面５０において「戻る」が選択されると（図８のステップＳ１０でＹｅｓ）、図４に示す処理領域の外縁箇所を指定する入力画面に戻る。一方、領域設定部１３は、図５に示す処理領域Ａのプレビュー画面５３を表示した領域設定画面５０において「閉じる」が選択されると（図８のステップＳ１０でＮｏ、ステップＳ１１でＹｅｓ）、実際に距離画像において画像処理を行う対象となる処理領域Ａを設定する（図８のステップＳ５）。かかる設定により、後述するように、監視部１４によって監視処理が行われる領域が、距離画像全体のうち、ベッドＢの外形から指定された距離だけ広げられた処理領域Ａのみとなる。
　また、領域設定部１３は、図４に示すような携帯端末２０に表示された入力画面において、ユーザＵにて「閉じる」が選択された場合も（図８のステップＳ４でＹｅｓ）、入力された距離の指定に応じて、上述同様に監視部１４によって監視処理が行われる距離画像の処理領域Ａを設定する（図８のステップＳ５）。つまり、上述同様に、距離画像からベッドＢの領域を特定し、当該ベッドＢの領域をさらに各辺において指定された距離だけ広げた領域を処理領域Ａとして設定する。
　上記監視部１４（検出手段）は、取得した距離画像のうち、領域設定部１３にて設定された処理領域Ａのみを処理対象として、当該処理領域Ａ内の人物を監視する監視処理を行う（図８のステップＳ６）。特に、本実施形態では、監視部１４は、処理領域Ａ内に存在する人物Ｐを検出し、当該人物Ｐの動作を検出して、かかる動作が異常状態であるか否かを監視する。
　具体的に、監視部１４は、まず処理領域Ａ内に存在する物体を検出し、かかる物体から人物Ｐを検出する。例えば、監視部１４は、距離画像内における個々の塊からなる物体を検出し、検出した物体の質量や、物体間の位置関係や体積比（面積比）などから、人物Ｐを検出する。そして、検出した人物Ｐの最頂点と重心位置を検出し、当該人物Ｐの最頂点と重心位置の位置関係から、人物Ｐの動作を検出する。特に、本実施形態では、監視部１４は、人物ＰとベッドＢとの位置関係に基づいて当該人物Ｐの姿勢を判定する。例えば、監視部１４は、図６に示すように、人物ＰがベッドＢ上において横たわっている動作である「臥位」状態や、図７に示すように、人物ＰがベッドＢの境界に位置する「境界位」状態を検出する。なお、図６及び図７は、上図が距離画像を示しており、下図がベッドＢを側方から見た図を示している。この他、監視部１４は、人物ＰがベッドＢに立つ「立位」状態や人物ＰがベッドＢから離れる「離床」状態などの動作を検出してもよく、検出する動作は上述した各状態に限定されない。
　さらに、監視部１４は、上述したように検出した人物Ｐの動作から、当該人物Ｐが予め異常状態と設定された動作であるか否かを判定する。例えば、上述した境界位状態が異常状態として設定されている場合には、人物Ｐが境界位状態であることを検出した際に、当該人物Ｐが異常状態であると判定する（図８のステップＳ７でＹｅｓ）。そして、監視部１４は、上述したように距離画像から人物Ｐの姿勢を異常状態と判定すると、ユーザＵに対して通知を行う（図８のステップＳ８）。
　以上のように、本発明の情報処理システムでは、距離画像に対する処理領域を限定することができる。このため、例えば、ベッドが設置された領域の出入口付近や窓付近を処理領域から除いたり、人物と誤認識するような物体が存在する場所を処理領域から除いたり、さらには、人物が移動し得ない場所を処理領域から除くことができる。その結果、人物の動作の誤認識を抑制でき、人物の動作の判別精度の向上を図ることができる。また、処理領域を制限しているため、監視処理の高速化を図ることができる。
　なお、上述したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
　以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
　なお、本発明は、日本国にて２０１９年１月７日に特許出願された特願２０１９－０００５８８の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
１０　監視サーバ
１１　距離画像取得部
１２　領域指定受付部
１３　領域設定部
１４　監視部
１５　通知部
１６　領域情報記憶部
２０　携帯端末
３０　監視端末
Ａ　処理領域
Ｂ　ベッド
Ｃ　距離画像カメラ
 

Claims (8)

  1. 　寝床を含む所定領域の距離画像を取得する距離画像取得手段と、
    　前記距離画像内における前記寝床を含む処理領域を設定する処理範囲設定手段と、
    　前記距離画像に基づいて、設定された前記処理領域内の人物の動作を検出する検出手段と、を備え、
    　前記処理範囲設定手段は、前記寝床の外側に位置する前記処理領域の外縁箇所の指定を受け付けて、当該受け付けた前記外縁箇所の指定に応じて前記処理領域を設定する、
    情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記処理範囲設定手段は、外形が矩形である前記寝床の各辺を当該寝床の外側に広げた箇所の指定を前記処理領域の外縁箇所の指定として受け付ける、
    情報処理装置。
  3. 　請求項１又は２に記載の情報処理装置であって、
    　前記処理範囲設定手段は、前記寝床の外形箇所から当該寝床の外側に位置する所定箇所までの距離を、前記処理領域の外縁箇所の指定として受け付ける、
    情報処理装置。
  4. 　請求項１乃至３のいずれかに記載の情報処理装置であって、
    　前記処理範囲設定手段は、外形が矩形である前記寝床の４辺それぞれについて、当該寝床の辺から当該寝床の外側に位置する所定箇所までの距離を、前記処理領域の外縁箇所の指定として受け付けて、前記寝床の４辺それぞれを当該各辺から指定された距離まで広げるよう前記処理領域を設定する、
    情報処理装置。
  5. 　請求項１乃至４のいずれかに記載の情報処理装置であって、
    　前記距離画像と、前記処理領域の外縁箇所の指定を入力する入力画面と、を同時に表示部に表示出力する表示処理手段を備えた、
    情報処理装置。
  6. 　請求項１乃至４のいずれかに記載の情報処理装置であって、
    　前記寝床の領域と前記処理領域とを同時に、前記寝床の領域と前記処理領域とを区別して表示部に表示出力する領域表示処理手段を備えた、
    情報処理装置。
  7. 　寝床を含む所定領域の距離画像を取得し、
    　前記寝床の外側に位置する処理領域の外縁箇所の指定を受け付けて、当該受け付けた前記外縁箇所の指定に応じて、前記距離画像内における前記寝床を含む前記処理領域を設定し、
    　前記距離画像に基づいて、設定された前記処理領域内の人物の動作を検出する、
    情報処理方法。
  8. 　情報処理装置に、
    　寝床を含む所定領域の距離画像を取得する距離画像取得手段と、
    　前記寝床の外側に位置する処理領域の外縁箇所の指定を受け付けて、当該受け付けた前記外縁箇所の指定に応じて、前記距離画像内における前記寝床を含む前記処理領域を設定する処理範囲設定手段と、
    　前記距離画像に基づいて、設定された前記処理領域内の人物の動作を検出する検出手段と、
    を実現させるためのプログラム。
     
PCT/JP2019/050828 2019-01-07 2019-12-25 情報処理装置 WO2020145145A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-000588 2019-01-07
JP2019000588A JP2020109582A (ja) 2019-01-07 2019-01-07 情報処理装置

Publications (1)

Publication Number Publication Date
WO2020145145A1 true WO2020145145A1 (ja) 2020-07-16

Family

ID=71520415

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/050828 WO2020145145A1 (ja) 2019-01-07 2019-12-25 情報処理装置

Country Status (2)

Country Link
JP (1) JP2020109582A (ja)
WO (1) WO2020145145A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013078433A (ja) * 2011-10-03 2013-05-02 Panasonic Corp 監視装置、プログラム
JP2017076272A (ja) * 2015-10-15 2017-04-20 株式会社スーパーリージョナル 見守り装置、見守り方法および見守りプログラム
WO2018012432A1 (ja) * 2016-07-12 2018-01-18 コニカミノルタ株式会社 行動判定装置及び行動判定方法
WO2019003859A1 (ja) * 2017-06-27 2019-01-03 オムロン株式会社 見守り支援システム及びその制御方法、及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6261190B2 (ja) * 2013-05-31 2018-01-17 キヤノン株式会社 設定装置および設定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013078433A (ja) * 2011-10-03 2013-05-02 Panasonic Corp 監視装置、プログラム
JP2017076272A (ja) * 2015-10-15 2017-04-20 株式会社スーパーリージョナル 見守り装置、見守り方法および見守りプログラム
WO2018012432A1 (ja) * 2016-07-12 2018-01-18 コニカミノルタ株式会社 行動判定装置及び行動判定方法
WO2019003859A1 (ja) * 2017-06-27 2019-01-03 オムロン株式会社 見守り支援システム及びその制御方法、及びプログラム

Also Published As

Publication number Publication date
JP2020109582A (ja) 2020-07-16

Similar Documents

Publication Publication Date Title
JP6720909B2 (ja) 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置
KR102052883B1 (ko) 열화상 카메라를 이용한 낙상 예측 시스템 및 열화상 카메라를 이용한 낙상 예측 방법
JP6579411B1 (ja) 介護設備又は病院用の監視システム及び監視方法
JP6086468B2 (ja) 被写体見守りシステム
JP2020086819A (ja) 画像処理プログラムおよび画像処理装置
US20180322334A1 (en) Person Monitoring Device And Method, And Person Monitoring System
WO2019240196A1 (ja) 情報処理装置
WO2020145145A1 (ja) 情報処理装置
JP2020187389A (ja) 移動体軌跡分析装置、移動体軌跡分析プログラム、および移動体軌跡分析方法
JP7232497B2 (ja) 情報処理装置
WO2020241034A1 (ja) 監視システム及び監視方法
EP3499477A1 (en) Watch-over system, watch-over device, watch-over method, and watch-over program
JP2023548886A (ja) カメラを制御するための装置及び方法
JP7095870B2 (ja) 情報処理装置
JP2022010581A (ja) 検知装置、検知方法、画像処理方法、およびプログラム
JP7039011B2 (ja) 情報処理装置
JP2021033379A (ja) 画像処理システム、画像処理プログラム、および画像処理方法
WO2019163561A1 (ja) 情報処理装置
JP2022126071A (ja) 画像処理方法
JP6565468B2 (ja) 呼吸検知装置、呼吸検知方法、及び呼吸検知プログラム
WO2019240197A1 (ja) 情報処理装置
JP2022126069A (ja) 画像処理方法
WO2021024691A1 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
WO2020149126A1 (ja) 情報処理装置
JP2022126070A (ja) 画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19908557

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19908557

Country of ref document: EP

Kind code of ref document: A1