WO2020145145A1 - 情報処理装置 - Google Patents
情報処理装置 Download PDFInfo
- Publication number
- WO2020145145A1 WO2020145145A1 PCT/JP2019/050828 JP2019050828W WO2020145145A1 WO 2020145145 A1 WO2020145145 A1 WO 2020145145A1 JP 2019050828 W JP2019050828 W JP 2019050828W WO 2020145145 A1 WO2020145145 A1 WO 2020145145A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- bed
- area
- processing
- distance image
- designation
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G12/00—Accommodation for nursing, e.g. in hospitals, not covered by groups A61G1/00 - A61G11/00, e.g. trolleys for transport of medicaments or food; Prescription lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Definitions
- the present invention relates to an information processing device, an information processing method, and a program.
- Patent Document 1 many monitoring systems have been developed for monitoring a person such as a cared person using an image captured by a distance image sensor.
- the monitoring system disclosed in Patent Document 1 extracts the position of the bed from the distance image, detects the area of the person, and determines the movement of the person. Specifically, the position of the bed is obtained from the frequency distribution of height in the longitudinal direction and the lateral direction of the bed. In addition, the motion of a person is determined by detecting the position of an object with respect to a predetermined height position, thereby determining the motion of the person such as a bed rest state, an upper body upright state, and a standing state.
- the detection range of the person is not limited, so that there is a problem in that it is not possible to improve the accuracy of determining the person's motion. ..
- the vicinity of the doorway of the room where the bed is installed and the vicinity of the window are also human detection ranges, there is a possibility that objects outside the room will also be detected as humans.
- an object of the present invention is to provide an information processing apparatus capable of solving the above-mentioned problem that it is not possible to improve the accuracy of discriminating human motions.
- An information processing apparatus is Distance image acquisition means for acquiring a distance image of a predetermined area including the bed, Processing range setting means for setting a processing area including the bed in the distance image, A detection means for detecting a motion of a person in the set processing area based on the distance image, The processing range setting means receives designation of an outer edge portion of the treatment area located outside the bed, and sets the treatment area according to the designation of the accepted outer edge portion, Take the configuration.
- the processing range setting means accepts designation of a location where each side of the bed having a rectangular outer shape is spread outside the bed as designation of an outer edge location of the processing area, Take the configuration.
- the processing range setting means receives a distance from an outer shape part of the bed to a predetermined position located outside the bed as designation of an outer edge part of the processing area, Take the configuration.
- the processing range setting means accepts, for each of the four sides of the bed having a rectangular outer shape, a distance from a side of the bed to a predetermined position located outside the bed as designation of an outer edge portion of the processing area. , Setting the processing area so that each of the four sides of the bed extends to a specified distance from each side. Take the configuration.
- An area display processing unit that simultaneously outputs the bed area and the processing area and outputs the display to the display unit by distinguishing the bed area and the processing area, Take the configuration.
- an information processing method which is another embodiment of the present invention, Obtain a range image of a predetermined area including the bed, Receiving the designation of the outer edge portion of the processing area located outside the bed, according to the designation of the received outer edge portion, set the processing area including the bed in the distance image, Detecting a motion of a person in the set processing area based on the distance image, Take the configuration.
- Distance image acquisition means for acquiring a distance image of a predetermined area including the bed
- a processing range setting means that receives designation of an outer edge portion of a processing area located outside the bed, and sets the processing area including the bed in the distance image according to the designation of the received outer edge portion.
- a detection unit that detects a motion of a person in the set processing area based on the distance image; To realize Take the configuration.
- the present invention can improve the accuracy of discriminating human motions.
- FIG. 1 It is a schematic diagram showing the composition of the information processing system in Embodiment 1 of the present invention. It is a block diagram which shows the structure of the monitoring server disclosed by FIG. It is a figure which shows an example of the area
- FIGS. 1 and 2 are diagrams showing the configuration of the information processing system.
- 3 to 8 are diagrams for explaining the processing operation of the information processing system. The configuration and operation of the information processing system will be described below with reference to the drawings.
- the information processing system in the present invention is an information processing system for monitoring the behavior of a person to be monitored, such as a cared person or a monitored person, and includes a monitoring server 10, a range image camera C, a mobile terminal 20, The monitoring terminal 30 is provided.
- the distance image camera C is arranged at a position where a distance image can be captured in the area R in which the bed B on which the person to be monitored lies is arranged.
- the distance image camera C is provided on the ceiling of a medical facility, a nursing facility, or one room in the home, and the entire bed B is placed at a position within the image.
- the range image camera C is not necessarily installed on the ceiling, and may be installed on any place such as a wall or a stand.
- the bed B to be photographed may be another bed such as a futon.
- Distance image camera C captures a distance image with pixel values as distance values.
- the distance image camera C may be of a type that measures the distance from the round-trip time when the infrared laser is projected on the target, or may be of any type.
- the range image camera C has a function of shooting a range image at regular time intervals or at the timing of receiving a shooting instruction, and transmitting the range image to the monitoring server 10 described later.
- the mobile terminal 20 is an information processing terminal such as a smartphone operated and held by a user U who is a supervising person who takes care of and monitors a person who is a cared person.
- the mobile terminal 20 is connected to and can communicate with the monitoring server 10 via wireless communication, and can input an operation instruction of the user U to the monitoring server 10 as described later.
- the mobile terminal 20 displays a range image captured by the range image camera C on the display screen, and also displays an operation screen on which an operation instruction regarding monitoring can be input.
- the operation instruction is transmitted from the mobile terminal 20 to the monitoring server 10.
- the mobile terminal 20 also has a function of receiving a notification of abnormality of the person who is the cared person issued from the monitoring server 10 and notifying the user U of the notification.
- the monitoring terminal 30 is an information processing terminal operated by a user U who is a supervisor who takes care of and monitors a person who is a cared person.
- the monitoring terminal 30 is installed in a place such as a monitoring room in which a user U such as a monitor is enrolled, and can be operated by a plurality of users U. Similar to the mobile terminal 20 described above, the monitoring terminal 30 displays a distance image on the display screen, enables input of operation instructions regarding monitoring, and transmits such operation instructions to or from the monitoring server 10. It has a function of receiving a notice of abnormality of a person to be notified and notifying the user U.
- the monitoring server 10 is a server device (information processing device) having a computing device and a storage device. Then, as shown in FIG. 2, the monitoring server 10 includes a distance image acquisition unit 11, a region designation receiving unit 12, a region setting unit 13, a monitoring unit 14, and a notification unit, which are constructed by the arithmetic device executing a program. 15 are provided. The monitoring server 10 also includes an area information storage unit 16 formed in the storage device.
- a distance image acquisition unit 11 a region designation receiving unit 12
- a region setting unit 13 a monitoring unit 14
- a notification unit which are constructed by the arithmetic device executing a program. 15 are provided.
- the monitoring server 10 also includes an area information storage unit 16 formed in the storage device.
- each configuration will be described in detail. The operation of the monitoring server 10 will also be described below with reference to the flowchart of FIG.
- the distance image acquisition unit 11 acquires from the distance image camera C a distance image including the bed B photographed by the distance image camera C as described above. Then, the acquired distance image is passed to the area designation receiving unit 12, the area setting unit 13, and the monitoring unit 14, and the distance image is used for monitoring area setting processing and monitoring processing described later.
- the area designation receiving unit 12 and the area setting unit 13 (processing range setting means, display processing means, area display processing means) that performs monitoring area setting processing such as setting of a processing area that performs monitoring processing of a person's motion will be described. ..
- the area designation receiving unit 12 receives an instruction from the user U via the mobile terminal 20 to perform a process of setting the processing area
- the area setting screen 50 as shown in FIG. 3 is displayed on the mobile terminal.
- the area designation receiving unit 12 displays a distance image 52, which is an image of the area R including the bed B acquired from the distance image camera C, below the area setting screen 50, and designates an outer edge portion of the processing area above.
- the input field 51 for input is displayed (step S1 in FIG. 8). That is, the area designation receiving unit 12 simultaneously displays the distance image 52 and the input screen including the input field 51 for inputting the designation of the outer edge portion of the processing area on one screen on the display unit of the mobile terminal 20.
- the input screen and the distance image 52 do not necessarily have to be displayed on one screen.
- the input screen displayed on the mobile terminal 20 corresponds to the figure of the bed B having an outer shape of a rectangle (rectangle) and the four sides forming the outer shape of the bed B, respectively.
- an input field 51 for designating an outer edge portion of the processing area are displayed.
- the processing area can be set to a rectangular shape that allows the outer shape of the bed B, which is rectangular, to be further expanded to the outside. Therefore, the outer edge portion of the processing area can be designated by a distance value such as how far each side of the bed B is extended outward.
- a distance value such as how far each side of the bed B is extended outward.
- the area designation receiving unit 12 receives the designation of the outer edge portion of the processing area input to the mobile terminal 20, and stores the designation in the area information storage unit 16 (step S2 in FIG. 8).
- the side of the bed B itself becomes the outer edge of the processing area.
- the area setting unit 13 is stored in the area information storage unit 16 when the user U selects “close” or “confirm” on the input screen as shown in FIG. 4 displayed on the mobile terminal 20.
- the processing area is set according to the designation of the outer edge portion of the processing area. Specifically, when “confirm” is selected on the input screen (Yes in step S3 of FIG. 8), the region setting unit 13 generates the preview screen 53 displaying the processing region A as shown in FIG. Then, the area setting screen 50 is output so as to be displayed on the mobile terminal 20 (step S9 in FIG. 8).
- the area setting unit 13 first specifies the area of the bed B when generating the preview screen 53.
- the area setting unit 13 may specify a rectangular object in the distance image and set the area as the area of the bed B.
- the area setting unit 13 stores a preset template of vertical and horizontal lengths of the bed B, and refers to the template to determine the area of the object whose vertical and horizontal lengths and aspect ratios are similar to the bed.
- the area B may be used. Any method may be used to specify the area of the bed B.
- the area setting unit 13 specifies the area of the bed B, and then expands the area of the bed B by the distance to the outer edge portion of the processing area set corresponding to each side of the bed B. Region A is generated. At this time, the area setting unit 13 displays on the preview screen 53 so that the area of the bed B and the processing area A can be distinguished.
- the white painted area is the area of the bed B
- the hatched area is the area in which the lower side and the right side of the bed B are widened by 50 cm
- the combined area is the processing area A. ..
- the area setting unit 13 displays the processing area of FIG. Return to the input screen for specifying the outer edge.
- the area setting unit 13 selects “close” on the area setting screen 50 displaying the preview screen 53 of the processing area A shown in FIG. 5 (No in step S10 in FIG. 8, Yes in step S11)
- the processing area A to be subjected to the image processing is set in the distance image (step S5 in FIG. 8). With this setting, as will be described later, the area in which the monitoring process is performed by the monitoring unit 14 is only the processing area A expanded by the specified distance from the outer shape of the bed B in the entire distance image.
- the area setting unit 13 is also input when the user U selects “close” on the input screen displayed on the mobile terminal 20 as illustrated in FIG. 4 (Yes in step S4 of FIG. 8 ).
- the processing area A of the distance image in which the monitoring processing is performed by the monitoring unit 14 is set in the same manner as described above (step S5 in FIG. 8). That is, similarly to the above, the area of the bed B is specified from the distance image, and the area obtained by further expanding the area of the bed B by the distance specified on each side is set as the processing area A.
- the monitoring unit 14 (detection unit) performs a monitoring process of monitoring a person in the processing area A by processing only the processing area A set by the area setting unit 13 in the acquired distance image ( Step S6 in FIG. 8).
- the monitoring unit 14 detects the person P existing in the processing area A, detects the action of the person P, and monitors whether or not the action is in an abnormal state.
- the monitoring unit 14 first detects an object existing in the processing area A, and detects a person P from the object. For example, the monitoring unit 14 detects an object composed of individual lumps in the distance image, and detects the person P from the mass of the detected object, the positional relationship between the objects, the volume ratio (area ratio), and the like. Then, the highest vertex and the center of gravity position of the detected person P are detected, and the motion of the person P is detected from the positional relationship between the highest vertex and the center of gravity position of the person P. In particular, in the present embodiment, the monitoring unit 14 determines the posture of the person P based on the positional relationship between the person P and the bed B. For example, as illustrated in FIG.
- the monitoring unit 14 determines that the person P is in the “decubitus” state in which the person P is lying on the bed B, or the person P is positioned at the boundary of the bed B as illustrated in FIG. 7. Detect a "boundary" condition. 6 and 7, the upper diagram shows the distance image, and the lower diagram shows the bed B as seen from the side. In addition to this, the monitoring unit 14 may detect an operation such as a "standing" state in which the person P stands on the bed B or an "exiting" state in which the person P leaves the bed B. Not limited to.
- the monitoring unit 14 determines whether or not the person P is an operation set in advance as an abnormal state based on the operation of the person P detected as described above. For example, when the boundary state is set as an abnormal state, when it is detected that the person P is in the boundary state, it is determined that the person P is in an abnormal state (step in FIG. 8). Yes in S7). Then, when the monitoring unit 14 determines that the posture of the person P is in the abnormal state from the distance image as described above, the monitoring unit 14 notifies the user U (step S8 of FIG. 8).
- the processing area for the distance image can be limited. For this reason, for example, the vicinity of the entrance and exit of the area where the bed is installed and the vicinity of the window are excluded from the processing area, the place where an object that is erroneously recognized as a person exists is excluded from the processing area, and further, the person moves. Places that are not obtained can be removed from the processing area. As a result, it is possible to suppress erroneous recognition of a person's motion and improve the accuracy of distinguishing a person's motion. Further, since the processing area is limited, it is possible to speed up the monitoring processing.
- the above-mentioned program is stored in a storage device or a computer-readable recording medium.
- the recording medium is a portable medium such as a flexible disk, an optical disk, a magneto-optical disk, and a semiconductor memory.
- the present invention enjoys the benefit of the priority claim based on the patent application of Japanese Patent Application No. 2019-000588 filed in Japan on January 7, 2019, and is described in the patent application. All contents are included in the present specification.
- monitoring server 11 distance image acquisition unit 12 area designation reception unit 13 area setting unit 14 monitoring unit 15 notification unit 16 area information storage unit 20 mobile terminal 30 monitoring terminal A processing area B bed C distance image camera
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Nursing (AREA)
- Veterinary Medicine (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Accommodation For Nursing Or Treatment Tables (AREA)
- Closed-Circuit Television Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Invalid Beds And Related Equipment (AREA)
- Alarm Systems (AREA)
Abstract
本発明の情報処理装置は、寝床を含む所定領域の距離画像を取得する距離画像取得手段と、距離画像内における寝床を含む処理領域を設定する処理範囲設定手段と、距離画像に基づいて、設定された処理領域内の人物の動作を検出する検出手段と、を備える。そして、上記処理範囲設定手段は、寝床の外側に位置する処理領域の外縁箇所の指定を受け付けて、当該受け付けた外縁箇所の指定に応じて処理領域を設定する。
Description
本発明は、情報処理装置、情報処理方法、プログラムに関する。
近年、高齢者の人口が増加し、介護の需要が高まっている。一方で、介護には、多くの介護者が必要となり、介護者の作業負担や人件費の増加という問題が生じる。そこで、特許文献1に記載のような、距離画像センサで撮影した画像を用いて、被介護者といった人物を監視する監視システムが多く開発されている。
特許文献1に開示の監視システムでは、距離画像からベッドの位置を抽出し、また、人の領域を検出し、人の動作を判別している。具体的に、ベッドの位置は、ベッドの長手方向及び短手方向における高さの度数分布から求めている。また、人の動作は、所定の高さ位置に対する物体の位置検出することで、臥床の状態、上半身を起こした状態、起立の状態、といった人の動作を判別している。
しかしながら、上述した特許文献1の技術では、ベッドの位置を検出しているものの、人の検出範囲を制限していないため、人の動作の判別精度の向上を図ることができない、という問題が生じる。例えば、ベッドが設置された部屋の出入口付近や窓付近も人の検出範囲であるとすると、部屋の外の物体も人として検出してしまう可能性がある。また、部屋の中に人と誤認識するような形状の物体が存在する場合もあり得る。
このため、本発明の目的は、上述した課題である、人の動作の判別精度の向上を図ることができない、ことを解決することができる情報処理装置を提供することにある。
本発明の一形態である情報処理装置は、
寝床を含む所定領域の距離画像を取得する距離画像取得手段と、
前記距離画像内における前記寝床を含む処理領域を設定する処理範囲設定手段と、
前記距離画像に基づいて、設定された前記処理領域内の人物の動作を検出する検出手段と、を備え、
前記処理範囲設定手段は、前記寝床の外側に位置する前記処理領域の外縁箇所の指定を受け付けて、当該受け付けた前記外縁箇所の指定に応じて前記処理領域を設定する、
という構成をとる。
寝床を含む所定領域の距離画像を取得する距離画像取得手段と、
前記距離画像内における前記寝床を含む処理領域を設定する処理範囲設定手段と、
前記距離画像に基づいて、設定された前記処理領域内の人物の動作を検出する検出手段と、を備え、
前記処理範囲設定手段は、前記寝床の外側に位置する前記処理領域の外縁箇所の指定を受け付けて、当該受け付けた前記外縁箇所の指定に応じて前記処理領域を設定する、
という構成をとる。
そして、上記情報処理装置では、
前記処理範囲設定手段は、外形が矩形である前記寝床の各辺を当該寝床の外側に広げた箇所の指定を前記処理領域の外縁箇所の指定として受け付ける、
という構成をとる。
前記処理範囲設定手段は、外形が矩形である前記寝床の各辺を当該寝床の外側に広げた箇所の指定を前記処理領域の外縁箇所の指定として受け付ける、
という構成をとる。
また、上記情報処理装置では、
前記処理範囲設定手段は、前記寝床の外形箇所から当該寝床の外側に位置する所定箇所までの距離を、前記処理領域の外縁箇所の指定として受け付ける、
という構成をとる。
前記処理範囲設定手段は、前記寝床の外形箇所から当該寝床の外側に位置する所定箇所までの距離を、前記処理領域の外縁箇所の指定として受け付ける、
という構成をとる。
また、上記情報処理装置では、
前記処理範囲設定手段は、外形が矩形である前記寝床の4辺それぞれについて、当該寝床の辺から当該寝床の外側に位置する所定箇所までの距離を、前記処理領域の外縁箇所の指定として受け付けて、前記寝床の4辺それぞれを当該各辺から指定された距離まで広げるよう前記処理領域を設定する、
という構成をとる。
前記処理範囲設定手段は、外形が矩形である前記寝床の4辺それぞれについて、当該寝床の辺から当該寝床の外側に位置する所定箇所までの距離を、前記処理領域の外縁箇所の指定として受け付けて、前記寝床の4辺それぞれを当該各辺から指定された距離まで広げるよう前記処理領域を設定する、
という構成をとる。
また、上記情報処理装置では、
前記距離画像と、前記処理領域の外縁箇所の指定を入力する入力画面と、を同時に表示部に表示出力する表示処理手段を備えた、
という構成をとる。
前記距離画像と、前記処理領域の外縁箇所の指定を入力する入力画面と、を同時に表示部に表示出力する表示処理手段を備えた、
という構成をとる。
また、上記情報処理装置では、
前記寝床の領域と前記処理領域とを同時に、前記寝床の領域と前記処理領域とを区別して表示部に表示出力する領域表示処理手段を備えた、
という構成をとる。
前記寝床の領域と前記処理領域とを同時に、前記寝床の領域と前記処理領域とを区別して表示部に表示出力する領域表示処理手段を備えた、
という構成をとる。
また、本発明の他の形態である情報処理方法は、
寝床を含む所定領域の距離画像を取得し、
前記寝床の外側に位置する処理領域の外縁箇所の指定を受け付けて、当該受け付けた前記外縁箇所の指定に応じて、前記距離画像内における前記寝床を含む前記処理領域を設定し、
前記距離画像に基づいて、設定された前記処理領域内の人物の動作を検出する、
という構成をとる。
寝床を含む所定領域の距離画像を取得し、
前記寝床の外側に位置する処理領域の外縁箇所の指定を受け付けて、当該受け付けた前記外縁箇所の指定に応じて、前記距離画像内における前記寝床を含む前記処理領域を設定し、
前記距離画像に基づいて、設定された前記処理領域内の人物の動作を検出する、
という構成をとる。
また、本発明の他の形態であるプログラムは、
情報処理装置に、
寝床を含む所定領域の距離画像を取得する距離画像取得手段と、
前記寝床の外側に位置する処理領域の外縁箇所の指定を受け付けて、当該受け付けた前記外縁箇所の指定に応じて、前記距離画像内における前記寝床を含む前記処理領域を設定する処理範囲設定手段と、
前記距離画像に基づいて、設定された前記処理領域内の人物の動作を検出する検出手段と、
を実現させる、
という構成をとる。
情報処理装置に、
寝床を含む所定領域の距離画像を取得する距離画像取得手段と、
前記寝床の外側に位置する処理領域の外縁箇所の指定を受け付けて、当該受け付けた前記外縁箇所の指定に応じて、前記距離画像内における前記寝床を含む前記処理領域を設定する処理範囲設定手段と、
前記距離画像に基づいて、設定された前記処理領域内の人物の動作を検出する検出手段と、
を実現させる、
という構成をとる。
本発明は、以上のように構成されることにより、人の動作の判別精度の向上を図ることができる。
<実施形態1>
本発明の第1の実施形態を、図1乃至図8を参照して説明する。図1乃至図2は、情報処理システムの構成を示す図である。図3乃至図8は、情報処理システムの処理動作を説明するための図である。以下、各図を参照して、情報処理システムの構成及び動作を説明する。
本発明の第1の実施形態を、図1乃至図8を参照して説明する。図1乃至図2は、情報処理システムの構成を示す図である。図3乃至図8は、情報処理システムの処理動作を説明するための図である。以下、各図を参照して、情報処理システムの構成及び動作を説明する。
本発明における情報処理システムは、被介護者や被監視者といった監視対象となる人物の行動を監視するための情報処理システムであり、監視サーバ10と、距離画像カメラCと、携帯端末20と、監視端末30と、を備えて構成されている。
上記距離画像カメラCは、監視対象となる人物が横たわるベッドBが配置された領域R内の距離画像を撮影可能な位置に配置されている。例えば、距離画像カメラCは、医療施設や介護施設、宅内の一室の天井に設けられ、ベッドB全体が画像内に収まる位置に配置されている。なお、距離画像カメラCは、必ずしも天井に設置されていることに限定されず、壁やスタンドなど、いかなる場所に設置されていてもよい。また、撮影されるベッドBは、布団といった他の寝床であってもよい。
距離画像カメラCは、画素値を距離値とした距離画像を撮影するものである。例えば、距離画像カメラCは、赤外線レーザをターゲットに投射した際の往復の時間から距離を計測する形式のものであってもよく、いかなる方式のものであってもよい。そして、距離画像カメラCは、一定の時間間隔で、あるいは、撮影指示を受けたタイミングで、距離画像を撮影し、かかる距離画像を後述する監視サーバ10に送信する機能を有する。
上記携帯端末20は、被介護者である人物の介護を行ったり、監視する監視者であるユーザUが保持して操作するスマートフォンなどの情報処理端末である。携帯端末20は、監視サーバ10と無線通信を介して接続され通信可能であり、後述するように、監視サーバ10に対してユーザUの操作指示を入力することが可能である。例えば、携帯端末20は、表示画面に、距離画像カメラCにて撮影された距離画像を表示すると共に、監視に関する操作指示を入力可能な操作画面を表示する。かかる画面に対してユーザUからタッチ操作によって指示が入力されることで、かかる操作指示が携帯端末20から監視サーバ10に送信されることとなる。また、携帯端末20は、監視サーバ10から発せられる被介護者である人物の異常の通知を受信して、ユーザUに報知する機能も有する。
上記監視端末30は、被介護者である人物の介護を行ったり、監視する監視者であるユーザUが操作する情報処理端末である。監視端末30は、監視者などのユーザUが在籍する監視ルームなどの場所に設置されており、複数のユーザUによって操作可能である。監視端末30は、上述した携帯端末20と同様に、表示画面に距離画像を表示すると共に、監視に関する操作指示を入力可能とし、かかる操作指示を監視サーバ10に送信したり、監視サーバ10から発せられる人物の異常の通知を受信して、ユーザUに報知する機能を有する。
上記監視サーバ10は、演算装置及び記憶装置を有するサーバ装置(情報処理装置)である。そして、監視サーバ10は、図2に示すように、演算装置がプログラムを実行することで構築された、距離画像取得部11、領域指定受付部12、領域設定部13、監視部14、通知部15、を備えている。また、監視サーバ10は、記憶装置に形成された、領域情報記憶部16を備えている。以下、各構成について詳述する。なお、以下では、監視サーバ10に動作も、図8のフローチャートを参照して併せて説明する。
上記距離画像取得部11(距離画像取得手段)は、上述したように距離画像カメラCにて撮影されたベッドBを含む距離画像を、当該距離画像カメラCから取得する。そして、取得した距離画像を、領域指定受付部12、領域設定部13、監視部14に渡し、当該距離画像は後述する監視領域設定処理や監視処理に用いられる。
次に、人物の動作の監視処理を行う処理領域の設定といった監視領域設定処理を行う領域指定受付部12及び領域設定部13(処理範囲設定手段、表示処理手段、領域表示処理手段)について説明する。領域指定受付部12は、ユーザUから携帯端末20を介して監視サーバ10に送信された処理領域を設定する処理を行う指令を受け付けると、図3に示すような、領域設定画面50を携帯端末20に表示するよう出力する。このとき、領域指定受付部12は、領域設定画面50の下方に距離画像カメラCから取得したベッドBを含む領域Rを撮影した距離画像52を表示し、上方に処理領域の外縁箇所の指定を入力する入力欄51を表示する(図8のステップS1)。つまり、領域指定受付部12は、携帯端末20の表示部に、距離画像52と、処理領域の外縁箇所の指定を入力する入力欄51を含む入力画面と、を一画面上に同時に表示する。なお、入力画面と距離画像52とは必ずしも一画面上に表示されなくてもよい。
携帯端末20に表示される上記入力画面には、図3の上方に示すように、外形が長方形(矩形)であるベッドBの図形と、当該ベッドBの外形を形成する4辺それぞれに対応して処理領域の外縁箇所を指定する入力欄51と、が表示される。ここで、処理領域は、矩形であるベッドBの外形をさらに外側に広げることが可能な矩形形状に設定可能である。このため、処理領域の外縁箇所は、ベッドBの各辺をそれぞれどの程度の距離だけ外側に広げるか、といった距離の値で指定することができる。図3の例では、ベッドBの外形を形成する上辺、下辺、左辺、右辺のそれぞれに対応して、各辺から外側への距離の値(例えば、cm単位)を入力可能な4つの入力欄51が設定されている。携帯端末20のユーザUは、下方に表示されている距離画像52内のベッドBの位置を見ながら、当該ベッドBの各辺をそれぞれどの程度広げた処理領域を設定するかを検討し、各入力欄51に数値を入力する。例えば、図4の例では、ベッドBの領域を含むと共に、さらにベッドBの下辺と右辺をそれぞれ50cm広げた領域を処理領域とするよう、当該処理領域の外縁箇所を指定した場合を示している。そして、領域指定受付部12は、携帯端末20に入力された処理領域の外縁箇所の指定を受け付けて、領域情報記憶部16に記憶する(図8のステップS2)。なお、ベッドBの辺からの距離が0に指定されると、当該ベッドBの辺自体が処理領域の外縁となる。
上記領域設定部13は、携帯端末20に表示された図4に示すような入力画面において、ユーザUにて「閉じる」または「確認する」が選択されると、領域情報記憶部16に記憶されている処理領域の外縁箇所の指定に応じて、処理領域を設定する。具体的に、領域設定部13は、入力画面において「確認する」が選択されると(図8のステップS3でYes)、図5に示すように、処理領域Aを表示したプレビュー画面53を生成し、領域設定画面50を携帯端末20に表示するよう出力する(図8のステップS9)。
領域設定部13は、プレビュー画面53を生成する際に、まずベッドBの領域を特定する。例えば、領域設定部13は、距離画像に映る矩形の物体を特定して、その領域をベッドBの領域としてもよい。このとき、領域設定部13は、予め設定されたベッドBの縦横の長さからなるテンプレートを記憶しており、かかるテンプレートを参照して、縦横の長さや縦横比が近似する物体の領域をベッドBの領域としてもよい。なお、ベッドBの領域の特定はいかなる方法であってもよい。
そして、領域設定部13は、ベッドBの領域を特定した後に、当該ベッドBの各辺に対応してそれぞれ設定された処理領域の外縁箇所までの距離だけ、当該ベッドBの領域を広げた処理領域Aを生成する。このとき、領域設定部13は、ベッドBの領域と処理領域Aとを区別できるようにプレビュー画面53に表示する。例えば、図5の例では、白い塗りつぶし領域がベッドBの領域であり、斜線で示す領域がベッドBの下辺と右辺をそれぞれ50cm広げた領域であり、これらを併せた領域が処理領域Aとなる。
領域設定部13は、図5に示す処理領域Aのプレビュー画面53を表示した領域設定画面50において「戻る」が選択されると(図8のステップS10でYes)、図4に示す処理領域の外縁箇所を指定する入力画面に戻る。一方、領域設定部13は、図5に示す処理領域Aのプレビュー画面53を表示した領域設定画面50において「閉じる」が選択されると(図8のステップS10でNo、ステップS11でYes)、実際に距離画像において画像処理を行う対象となる処理領域Aを設定する(図8のステップS5)。かかる設定により、後述するように、監視部14によって監視処理が行われる領域が、距離画像全体のうち、ベッドBの外形から指定された距離だけ広げられた処理領域Aのみとなる。
また、領域設定部13は、図4に示すような携帯端末20に表示された入力画面において、ユーザUにて「閉じる」が選択された場合も(図8のステップS4でYes)、入力された距離の指定に応じて、上述同様に監視部14によって監視処理が行われる距離画像の処理領域Aを設定する(図8のステップS5)。つまり、上述同様に、距離画像からベッドBの領域を特定し、当該ベッドBの領域をさらに各辺において指定された距離だけ広げた領域を処理領域Aとして設定する。
上記監視部14(検出手段)は、取得した距離画像のうち、領域設定部13にて設定された処理領域Aのみを処理対象として、当該処理領域A内の人物を監視する監視処理を行う(図8のステップS6)。特に、本実施形態では、監視部14は、処理領域A内に存在する人物Pを検出し、当該人物Pの動作を検出して、かかる動作が異常状態であるか否かを監視する。
具体的に、監視部14は、まず処理領域A内に存在する物体を検出し、かかる物体から人物Pを検出する。例えば、監視部14は、距離画像内における個々の塊からなる物体を検出し、検出した物体の質量や、物体間の位置関係や体積比(面積比)などから、人物Pを検出する。そして、検出した人物Pの最頂点と重心位置を検出し、当該人物Pの最頂点と重心位置の位置関係から、人物Pの動作を検出する。特に、本実施形態では、監視部14は、人物PとベッドBとの位置関係に基づいて当該人物Pの姿勢を判定する。例えば、監視部14は、図6に示すように、人物PがベッドB上において横たわっている動作である「臥位」状態や、図7に示すように、人物PがベッドBの境界に位置する「境界位」状態を検出する。なお、図6及び図7は、上図が距離画像を示しており、下図がベッドBを側方から見た図を示している。この他、監視部14は、人物PがベッドBに立つ「立位」状態や人物PがベッドBから離れる「離床」状態などの動作を検出してもよく、検出する動作は上述した各状態に限定されない。
さらに、監視部14は、上述したように検出した人物Pの動作から、当該人物Pが予め異常状態と設定された動作であるか否かを判定する。例えば、上述した境界位状態が異常状態として設定されている場合には、人物Pが境界位状態であることを検出した際に、当該人物Pが異常状態であると判定する(図8のステップS7でYes)。そして、監視部14は、上述したように距離画像から人物Pの姿勢を異常状態と判定すると、ユーザUに対して通知を行う(図8のステップS8)。
以上のように、本発明の情報処理システムでは、距離画像に対する処理領域を限定することができる。このため、例えば、ベッドが設置された領域の出入口付近や窓付近を処理領域から除いたり、人物と誤認識するような物体が存在する場所を処理領域から除いたり、さらには、人物が移動し得ない場所を処理領域から除くことができる。その結果、人物の動作の誤認識を抑制でき、人物の動作の判別精度の向上を図ることができる。また、処理領域を制限しているため、監視処理の高速化を図ることができる。
なお、上述したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
なお、本発明は、日本国にて2019年1月7日に特許出願された特願2019-000588の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
10 監視サーバ
11 距離画像取得部
12 領域指定受付部
13 領域設定部
14 監視部
15 通知部
16 領域情報記憶部
20 携帯端末
30 監視端末
A 処理領域
B ベッド
C 距離画像カメラ
11 距離画像取得部
12 領域指定受付部
13 領域設定部
14 監視部
15 通知部
16 領域情報記憶部
20 携帯端末
30 監視端末
A 処理領域
B ベッド
C 距離画像カメラ
Claims (8)
- 寝床を含む所定領域の距離画像を取得する距離画像取得手段と、
前記距離画像内における前記寝床を含む処理領域を設定する処理範囲設定手段と、
前記距離画像に基づいて、設定された前記処理領域内の人物の動作を検出する検出手段と、を備え、
前記処理範囲設定手段は、前記寝床の外側に位置する前記処理領域の外縁箇所の指定を受け付けて、当該受け付けた前記外縁箇所の指定に応じて前記処理領域を設定する、
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記処理範囲設定手段は、外形が矩形である前記寝床の各辺を当該寝床の外側に広げた箇所の指定を前記処理領域の外縁箇所の指定として受け付ける、
情報処理装置。 - 請求項1又は2に記載の情報処理装置であって、
前記処理範囲設定手段は、前記寝床の外形箇所から当該寝床の外側に位置する所定箇所までの距離を、前記処理領域の外縁箇所の指定として受け付ける、
情報処理装置。 - 請求項1乃至3のいずれかに記載の情報処理装置であって、
前記処理範囲設定手段は、外形が矩形である前記寝床の4辺それぞれについて、当該寝床の辺から当該寝床の外側に位置する所定箇所までの距離を、前記処理領域の外縁箇所の指定として受け付けて、前記寝床の4辺それぞれを当該各辺から指定された距離まで広げるよう前記処理領域を設定する、
情報処理装置。 - 請求項1乃至4のいずれかに記載の情報処理装置であって、
前記距離画像と、前記処理領域の外縁箇所の指定を入力する入力画面と、を同時に表示部に表示出力する表示処理手段を備えた、
情報処理装置。 - 請求項1乃至4のいずれかに記載の情報処理装置であって、
前記寝床の領域と前記処理領域とを同時に、前記寝床の領域と前記処理領域とを区別して表示部に表示出力する領域表示処理手段を備えた、
情報処理装置。 - 寝床を含む所定領域の距離画像を取得し、
前記寝床の外側に位置する処理領域の外縁箇所の指定を受け付けて、当該受け付けた前記外縁箇所の指定に応じて、前記距離画像内における前記寝床を含む前記処理領域を設定し、
前記距離画像に基づいて、設定された前記処理領域内の人物の動作を検出する、
情報処理方法。 - 情報処理装置に、
寝床を含む所定領域の距離画像を取得する距離画像取得手段と、
前記寝床の外側に位置する処理領域の外縁箇所の指定を受け付けて、当該受け付けた前記外縁箇所の指定に応じて、前記距離画像内における前記寝床を含む前記処理領域を設定する処理範囲設定手段と、
前記距離画像に基づいて、設定された前記処理領域内の人物の動作を検出する検出手段と、
を実現させるためのプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-000588 | 2019-01-07 | ||
JP2019000588A JP2020109582A (ja) | 2019-01-07 | 2019-01-07 | 情報処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020145145A1 true WO2020145145A1 (ja) | 2020-07-16 |
Family
ID=71520415
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/050828 WO2020145145A1 (ja) | 2019-01-07 | 2019-12-25 | 情報処理装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2020109582A (ja) |
WO (1) | WO2020145145A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013078433A (ja) * | 2011-10-03 | 2013-05-02 | Panasonic Corp | 監視装置、プログラム |
JP2017076272A (ja) * | 2015-10-15 | 2017-04-20 | 株式会社スーパーリージョナル | 見守り装置、見守り方法および見守りプログラム |
WO2018012432A1 (ja) * | 2016-07-12 | 2018-01-18 | コニカミノルタ株式会社 | 行動判定装置及び行動判定方法 |
WO2019003859A1 (ja) * | 2017-06-27 | 2019-01-03 | オムロン株式会社 | 見守り支援システム及びその制御方法、及びプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6261190B2 (ja) * | 2013-05-31 | 2018-01-17 | キヤノン株式会社 | 設定装置および設定方法 |
-
2019
- 2019-01-07 JP JP2019000588A patent/JP2020109582A/ja active Pending
- 2019-12-25 WO PCT/JP2019/050828 patent/WO2020145145A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013078433A (ja) * | 2011-10-03 | 2013-05-02 | Panasonic Corp | 監視装置、プログラム |
JP2017076272A (ja) * | 2015-10-15 | 2017-04-20 | 株式会社スーパーリージョナル | 見守り装置、見守り方法および見守りプログラム |
WO2018012432A1 (ja) * | 2016-07-12 | 2018-01-18 | コニカミノルタ株式会社 | 行動判定装置及び行動判定方法 |
WO2019003859A1 (ja) * | 2017-06-27 | 2019-01-03 | オムロン株式会社 | 見守り支援システム及びその制御方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020109582A (ja) | 2020-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6720909B2 (ja) | 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置 | |
KR102052883B1 (ko) | 열화상 카메라를 이용한 낙상 예측 시스템 및 열화상 카메라를 이용한 낙상 예측 방법 | |
JP6579411B1 (ja) | 介護設備又は病院用の監視システム及び監視方法 | |
JP6086468B2 (ja) | 被写体見守りシステム | |
JP2020086819A (ja) | 画像処理プログラムおよび画像処理装置 | |
US20180322334A1 (en) | Person Monitoring Device And Method, And Person Monitoring System | |
WO2019240196A1 (ja) | 情報処理装置 | |
WO2020145145A1 (ja) | 情報処理装置 | |
JP2020187389A (ja) | 移動体軌跡分析装置、移動体軌跡分析プログラム、および移動体軌跡分析方法 | |
JP7232497B2 (ja) | 情報処理装置 | |
WO2020241034A1 (ja) | 監視システム及び監視方法 | |
EP3499477A1 (en) | Watch-over system, watch-over device, watch-over method, and watch-over program | |
JP2023548886A (ja) | カメラを制御するための装置及び方法 | |
JP7095870B2 (ja) | 情報処理装置 | |
JP2022010581A (ja) | 検知装置、検知方法、画像処理方法、およびプログラム | |
JP7039011B2 (ja) | 情報処理装置 | |
JP2021033379A (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
WO2019163561A1 (ja) | 情報処理装置 | |
JP2022126071A (ja) | 画像処理方法 | |
JP6565468B2 (ja) | 呼吸検知装置、呼吸検知方法、及び呼吸検知プログラム | |
WO2019240197A1 (ja) | 情報処理装置 | |
JP2022126069A (ja) | 画像処理方法 | |
WO2021024691A1 (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
WO2020149126A1 (ja) | 情報処理装置 | |
JP2022126070A (ja) | 画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19908557 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19908557 Country of ref document: EP Kind code of ref document: A1 |