JP7235137B2 - 監視システム、監視方法、および監視プログラム - Google Patents

監視システム、監視方法、および監視プログラム Download PDF

Info

Publication number
JP7235137B2
JP7235137B2 JP2021561081A JP2021561081A JP7235137B2 JP 7235137 B2 JP7235137 B2 JP 7235137B2 JP 2021561081 A JP2021561081 A JP 2021561081A JP 2021561081 A JP2021561081 A JP 2021561081A JP 7235137 B2 JP7235137 B2 JP 7235137B2
Authority
JP
Japan
Prior art keywords
user
imaging
terminal device
unit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021561081A
Other languages
English (en)
Other versions
JPWO2021106162A1 (ja
Inventor
隆行 小笠原
賢一 松永
里江子 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021106162A1 publication Critical patent/JPWO2021106162A1/ja
Application granted granted Critical
Publication of JP7235137B2 publication Critical patent/JP7235137B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A61B5/1117—Fall detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0492—Sensor dual technology, i.e. two or more technologies collaborate to extract unsafe condition, e.g. video tracking and RFID tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Theoretical Computer Science (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Alarm Systems (AREA)

Description

本発明は、監視システム、監視方法、および監視プログラムに関し、特に医療や介護での患者の見守り技術に関する。
医療施設や介護施設において、患者がベッドにつまづいて転倒したり、ベッドから転落するなどベッドに関連する様々な事故が発生している（非特許文献１参照）。患者が転倒したり転落した際に頭を打ってしまった場合には、緊急の検査や手術を要する場合がある。患者が転倒や転落により身体損傷の可能性がある場合には、そのことを即座に患者を担当する医療従事者や介護従事者に通知する手段が必要とされている。
一方で、従来から、医療や介護施設向けに、センサを用いた患者のモニタリングを可能とするシステムが提案されている（非特許文献２参照）。図２３は、非特許文献２に開示されている従来のモニタリングシステムの概要を示す図である。
図２３に示すように、従来のモニタリングシステムでは、患者などのユーザがウェアラブルデバイスのリハビリ用のウェアを着用し、ウェアラブルデバイスでユーザの心電位や加速度のデータを取得する。リハビリ用のウェアにはトランスミッタが設けられており、トランスミッタからスマートフォンやＩｏＴゲートなどの中継端末装置にユーザの心電位や加速度情報が送信される。
ユーザの心電位や加速度のデータは、ネットワークを介して接続されているサーバなどの外部端末装置でデータの蓄積、集積、および解析処理が行われる。外部端末装置において解析されたユーザの生体情報に基づいて、解析結果が出力され、医師、療法士やナースなど、ユーザの医療や看護を担当する医療従事者に、ビューワーを通して通知される。
通知された解析結果やレポートなどから、医師、療法士やナースなどは、それぞれが担当するユーザの処置やケア行う際に、ユーザに対して、より適したケアを行うことができる。
しかし、非特許文献２に記載されている従来のモニタリングシステムでは、実際にユーザが転倒したりベッドなどから転落して頭を打ったかどうかを、心電位や加速度情報のみで把握することは困難な場合がある。一方で、一般に広く知られている監視カメラをリハビリ室や病室などに設置してユーザの様子を常時撮影し、記録をすることでユーザが頭を打ったかどうかを把握することは可能ではある。しかし、生活する様子が常時撮影されることは、ユーザにとって精神的な観点からも負担が大きく、また、常時撮影および記録することに伴うデータ量も増加する。そのため、ユーザの負担が軽減された見守りを行うことが困難であった。
国際公開第２０１８／１３９３９８号
医療・介護ベッド安全普及協議会"在宅介護における伝導介護ベッドハンドブック"２００６年２月２０日（ｐ．２） 小笠原 隆行 松永 賢一 伊藤 広樹 大嶋 尚一 向野 雅彦"ウェアラブル素材ｈｉｔｏｅ（登録商標）を応用したリハビリ支援の取り組み"ＮＴＴ技術ジャーナル ２０１８．７．（図３）
本発明は、上述した課題を解決するためになされたものであり、ユーザの負担が軽減された見守りを行うことを目的とする。
上述した課題を解決するために、本発明に係る監視システムは、ユーザの活動情報を取得するセンサデータ取得部と、取得された前記活動情報を解析して、前記ユーザの身体的な運動に転倒や転落を含む異常が発生したことを検知するデータ解析部と、前記データ解析部で前記異常の発生が検知されると、前記ユーザの活動を撮影する撮像端末装置に対して前記ユーザの撮影の開始および撮像データの記録を指示する撮像制御部と、前記撮像端末装置で記録された前記撮像データを取得する撮像データ取得部と、前記撮像データ取得部が取得した前記撮像データを格納するデータ格納部と、前記撮像データを出力する出力部とを備え、前記活動情報は、前記ユーザの加速度を含み、前記データ解析部は、前記活動情報から、前記ユーザの体動を算出する体動算出部と、前記体動の値が設定基準を満たす場合に、前記異常が発生したと判断する第１判断部とを有し、前記第１判断部は、前記体動の値が第１しきい値を超えたか否かを判定する第１判定部と、前記第１しきい値を超えた場合に、前記体動の値が設定期間内にさらに第２しきい値を超えたか否かを判定する第２判定部とを有し、前記撮像制御部は、前記第１判定部が前記第１しきい値を超えたと判定した場合に、前記撮像端末装置に対して前記ユーザの撮影の開始および前記撮像データの記録を指示し、前記撮像制御部は、前記第２判定部が前記体動の値が前記第２しきい値を超えなかったと判定した場合に、前記撮像端末装置に対して、すでに記録された前記撮像データの消去を指示することを特徴とする。
上述した課題を解決するために、本発明に係る監視システムは、ユーザの活動情報を取得するセンサデータ取得部と、取得された前記活動情報を解析して、前記ユーザの身体的な運動に転倒や転落を含む異常が発生したか否かを検知するデータ解析部と、前記データ解析部で前記異常の発生が検知されない場合に、予めユーザの撮影および撮像データの記録を開始している撮像端末装置に対して、すでに記録された前記撮像データの消去を指示する撮像制御部と、前記データ解析部で前記異常の発生が検知された場合に、前記撮像端末装置で記録された前記撮像データを取得する撮像データ取得部と、前記撮像データ取得部が取得した前記撮像データを格納するデータ格納部と、前記撮像データを出力する出力部とを備え、前記活動情報は、前記ユーザの加速度を含むことを特徴とする。
上述した課題を解決するために、本発明に係る監視システムは、ユーザに装着されたセンサで計測された前記ユーザの活動情報を外部へ出力するセンサ端末装置と、前記センサ端末装置から出力された前記活動情報を受信し、外部へ出力する中継端末装置と、前記センサ端末装置または前記中継端末装置から出力された、前記活動情報を受信し、記憶装置に記憶させる外部端末装置と、外部からの指示に応じて前記ユーザの撮影を開始し、撮像データを記録して、前記外部端末装置に前記撮像データを送信する撮像端末装置とを備え、前記センサ端末装置、前記中継端末装置、および前記外部端末装置の少なくともいずれかは、前記活動情報を取得するセンサデータ取得部と、取得された前記活動情報を解析して、前記ユーザの身体的な運動に転倒や転落を含む異常が発生したことを検知するデータ解析部と、前記データ解析部で前記異常の発生が検知されると、前記撮像端末装置に対して前記ユーザの撮影の開始および撮像データの記録を指示する撮像制御部と、前記撮像端末装置で記録された前記撮像データを取得する撮像データ取得部と、前記撮像データ取得部が取得した前記撮像データを格納するデータ格納部と、前記撮像データを出力する出力部とを備え、前記活動情報は、前記ユーザの加速度を含み、前記データ解析部は、前記活動情報から、前記ユーザの体動を算出する体動算出部と、前記体動の値が設定基準を満たす場合に、前記異常が発生したと判断する第１判断部とを有し、前記第１判断部は、前記体動の値が第１しきい値を超えたか否かを判定する第１判定部と、前記第１しきい値を超えた場合に、前記体動の値が設定期間内にさらに第２しきい値を超えたか否かを判定する第２判定部とを有し、前記撮像制御部は、前記第１判定部が前記第１しきい値を超えたと判定した場合に、前記撮像端末装置に対して前記ユーザの撮影の開始および前記撮像データの記録を指示し、前記撮像制御部は、前記第２判定部が前記体動の値が前記第２しきい値を超えなかったと判定した場合に、前記撮像端末装置に対して、すでに記録された前記撮像データの消去を指示することを特徴とする。
上述した課題を解決するために、本発明に係る監視方法は、センサデータ取得部と、データ解析部と、撮像制御部と、撮像データ取得部と、データ格納部と、出力部と、体動算出部と、第１判断部と、第１判定部と、第２判定部とを備える監視システムによる監視方法であって、前記センサデータ取得部が、ユーザの活動情報を取得する第１ステップと、前記データ解析部が、前記第１ステップで取得された前記活動情報を解析して、前記ユーザの身体的な運動に転倒や転落を含む異常が発生したことを検知する第２ステップと、前記撮像制御部が、前記第２ステップで前記異常の発生が検知されると、前記ユーザの活動を撮影する撮像端末装置に対して前記ユーザの撮影の開始および撮像データの記録を指示する第３ステップと、前記撮像データ取得部が、前記撮像端末装置で記録された前記撮像データを取得する第４ステップと、前記データ格納部が、前記第４ステップで取得された前記撮像データを格納する第５ステップと、前記出力部が、前記撮像データを出力する第６ステップとを備え、前記第２ステップは、前記体動算出部が、前記活動情報から、前記ユーザの体動を算出する第７ステップと、前記第１判断部が、前記体動の値が設定基準を満たす場合に、前記異常が発生したと判断する第８ステップとを有し、前記第８ステップは、前記第１判定部が、前記体動の値が第１しきい値を超えたか否かを判定する第９ステップと、前記第２判定部が、前記第１しきい値を超えた場合に、前記体動の値が設定期間内にさらに第２しきい値を超えたか否かを判定する第１０ステップとを有し、前記活動情報は、前記ユーザの加速度を含み、前記撮像制御部が、前記第３ステップでは、前記第９ステップで前記第１しきい値を超えたと判定した場合に、前記撮像端末装置に対して前記ユーザの撮影の開始および前記撮像データの記録を指示し、前記撮像制御部が、前記第３ステップでは、前記第１０ステップで前記体動の値が前記第２しきい値を超えなかったと判定した場合に、前記撮像端末装置に対して、すでに記録された前記撮像データの消去を指示することを特徴とする。
上述した課題を解決するために、本発明に係る監視プログラムは、コンピュータに、ユーザの活動情報を取得する第１ステップと、前記第１ステップで取得された前記活動情報を解析して、前記ユーザの身体的な運動に転倒や転落を含む異常が発生したことを検知する第２ステップと、前記第２ステップで前記異常の発生が検知されると、前記ユーザの活動を撮影する撮像端末装置に対して前記ユーザの撮影の開始および撮像データの記録を指示する第３ステップと、前記撮像端末装置で記録された前記撮像データを取得する第４ステップと、前記第４ステップで取得された前記撮像データをデータ格納部に格納する第５ステップと、前記撮像データを出力する第６ステップとを実行させ、前記第２ステップは、前記活動情報から、前記ユーザの体動を算出する第７ステップと、前記体動の値が設定基準を満たす場合に、前記異常が発生したと判断する第８ステップとを有し、前記第８ステップは、前記体動の値が第１しきい値を超えたか否かを判定する第９ステップと、前記第１しきい値を超えた場合に、前記体動の値が設定期間内にさらに第２しきい値を超えたか否かを判定する第１０ステップとを有し、前記活動情報は、前記ユーザの加速度を含み、前記第３ステップでは、前記第９ステップで前記第１しきい値を超えたと判定した場合に、前記撮像端末装置に対して前記ユーザの撮影の開始および前記撮像データの記録を指示し、前記第３ステップでは、前記第１０ステップで前記体動の値が前記第２しきい値を超えなかったと判定した場合に、前記撮像端末装置に対して、すでに記録された前記撮像データの消去を指示することを特徴とする。
本発明によれば、ユーザの活動情報を解析してユーザの活動に異常が発生したことが検知されると、撮像端末装置に対してユーザの撮影の開始および撮像データの記録を開始することを指示し、記録された撮像データを取得するので、ユーザの負担が軽減された見守りを行うことができる。
図１は、本発明の第１の実施の形態に係る監視システムの機能構成を示すブロック図である。 図２は、第１の実施の形態に係るデータ解析部の構成を示すブロック図である。 図３は、第１の実施の形態に係るデータ解析部を説明するための図である。 図４は、第１の実施の形態に係る監視システムを実現するコンピュータ構成の一例を示すブロック図である。 図５は、第１の実施の形態に係る監視方法を説明するフローチャートである。 図６は、第１の実施の形態に係る監視システムの構成例の概要を説明するための図である。 図７は、第１の実施の形態に係る監視システムの構成例の概要を説明するための図である。 図８は、第１の実施の形態に係る監視システムの構成例を示すブロック図である。 図９は、第１の実施の形態に係る監視システムの動作を説明するためのシーケンス図である。 図１０は、第２の実施の形態に係るデータ解析部の構成を示すブロック図である。 図１１は、第２の実施の形態に係る撮像制御部の構成を示すブロック図である。 図１２は、第２の実施の形態に係る撮像端末装置の構成を示すブロック図である。 図１３は、第２の実施の形態に係る監視方法を示すフローチャートである。 図１４は、第４の実施の形態に係るデータ解析部の構成を示すブロック図である。 図１５は、第４の実施の形態に係るデータ解析部を説明するための図である。 図１６は、第４の実施の形態に係る監視方法を示すフローチャートである。 図１７は、第５の実施の形態に係るデータ解析部の構成を示すブロック図である。 図１８は、第６の実施の形態に係る撮像制御部の構成を示すブロック図である。 図１９は、第６の実施の形態に係る外部端末装置の構成を示すブロック図である。 図２０は、第７の実施の形態に係る監視システムの構成を示すブロック図である。 図２１は、第７の実施の形態に係る監視システムの概要を示すブロック図である。 図２２は、第８の実施の形態に係る監視システムの動作を示すシーケンス図である。 図２３は、従来のモニタリングシステムの概要を説明するための図である。
以下、本発明の好適な実施の形態について、図１から図２２を参照して詳細に説明する。
［発明の概要］
はじめに、本発明の実施の形態に係る監視システムの概要について説明する。本実施の形態に係る監視システムは、図７に示すように、介護施設でリハビリを行うユーザや、入院中の患者などが、例えば、夜間の就寝中あるいは昼間に一人で活動をしている間に転倒や転落したことを検知する。また、本実施の形態に係る監視システムは、ユーザの転倒や転落が検知されると、ユーザが位置するリハビリ室や病室などに予め配置されているカメラなどの撮像端末装置にユーザを撮影させ撮像データを記録させる。
撮像端末装置が、ユーザの転倒や転落を含むユーザの活動における異常の検知に応じて、ユーザの様子を撮影することで、ユーザが転倒あるいは転落し、例えば、床面に頭や体がぶつかる様子を含む撮像データを監視システムは取得することができる。
なお、「転倒」とは、ユーザが同一平面に倒れる場合をいい、「転落」は、ユーザが同一平面よりも低い平面に倒れる場合をいうものとする。例えば、「転倒」は、ユーザが本人の意思によらず体が床面や地面でつまずいたりして床面へ倒れることを含み、「転落」は、ユーザが本人の意思によらずに高い場所から低い場所に転げ落ちることを含む。
また、本実施の形態では、ユーザの活動に発生した異常の具体例として転倒および転落を例に挙げて説明し、ユーザの活動とは、ユーザの身体的な運動をいう。転倒および転落は、ともにユーザが頭部などを床面などに打ってしまう可能性が高く、ユーザを担当する医療従事者などが即座にその事実を把握する必要のある、ユーザの活動における異常の発生である。以下の実施の形態では、転倒および転落を同義的に記載する場合がある。
［第１の実施の形態］
まず、本発明の第１の実施の形態に係る監視システムの構成の概要を説明する。図１は、監視システムの機能構成を示すブロック図である。
［監視システムの機能ブロック］
監視システムは、センサ１０５からデータを取得するセンサデータ取得部１０、データ解析部１１、撮像制御部１２、カメラ１００から撮像データを取得する撮像データ取得部１３、記憶部（データ格納部）１４、および送受信部（出力部）１５を備える。
センサデータ取得部１０は、センサ１０５によって計測されたユーザの活動情報を取得する。ユーザの活動情報とは、ユーザの体の動きを示す情報、例えば、加速度を含む。センサデータ取得部１０は、例えば、ユーザに装着された加速度センサで構成されるセンサ１０５が計測したユーザの加速度信号を取得する。センサデータ取得部１０は、取得したアナログ加速度信号を所定のサンプリングレートでデジタル信号に変換する。また、センサデータ取得部１０は、必要に応じて加速度信号のノイズの除去、増幅などの公知の信号処理を行うことができる。センサデータ取得部１０によって取得された活動情報の時系列データは、後述する記憶部１４に記憶される。
センサデータ取得部１０は、ユーザの活動情報として、加速度に加えて、ユーザの心電信号を取得することもできる。
データ解析部１１は、センサデータ取得部１０によって取得されたユーザの活動情報を解析して、ユーザの活動に異常が発生したことを検知する。図２に示すように、データ解析部１１は、体動算出部１１０、および判断部（第１判断部）１１１を備える。
体動算出部１１０は、センサデータ取得部１０によって取得されたユーザの活動情報から、ユーザの体動を算出する。例えば、３軸の加速度センサで構成されるセンサ１０５で計測されたユーザの加速度のノルムを体動として用いることができる。より具体的には、体動算出部１１０は、３軸加速度のいずれか１つの軸の加速度値のノルム、２つの軸の加速度値のノルム、あるいは３つの軸の加速度値のノルムをユーザの体動として算出する。
判断部１１１は、体動算出部１１０が算出したユーザの体動の値が設定基準を満たす場合に、ユーザの活動に異常が発生したと判断する。設定基準は、検知することが望まれる特定の活動に応じた体動の値などを用いることができる。例えば、就寝中のユーザのベッドからの転落を検知したい場合や、歩行中のユーザの転倒を検知したい場合には、事前に調べた就寝、歩行、転落、転倒それぞれに対応するユーザの体動の値などに基づいて、設定基準が設けられる。以下において、就寝中のユーザがベッドから転落したことを検知する場合に用いられる設定基準について説明する。
図３は、ベッドで就寝中の被験者の加速度値のノルムを算出して得た体動［Ｇ］を示した図である。図３の横軸は計測時間［分］を示している。図３において、「ａ」は被験者が寝返りを打ったときの体動の値を示している。「ｂ」は、被験者がベッドから転落したときの体動の値を示している。
図３に示すように、就寝中の被験者の体動は主に１［Ｇ］程度であり、寝返り時には体動が増加するが、２［Ｇ］は超えていない。一方、被験者がベッドから転落した際の体動は５［Ｇ］を超える値となっている。このような体動の値のデータより、判断部１１１は、設定基準として、例えば、ユーザの体動の値が２［Ｇ］を超えた場合に、ユーザの活動に異常が発生した、すなわち、ユーザの転落が発生したとみなすことができる。
このように、本実施の形態では、判断部１１１は、ユーザの体動の値が２［Ｇ］を超えた場合に、設定基準を満たし、ユーザが転落したと判断する。
なお、判断部１１１は、上記同様の設定基準を満たす場合に、ユーザが転倒したと判断することもできる。また、ユーザの活動において発生した異常は、ユーザの体動の値が極端に大きくなることだけでなく、例えば、ユーザの体動の値が所定の値から静止状態の１［Ｇ］となることを異常として判断する構成としてもよい。この場合、例えば、リハビリ運動を行っているユーザが急に静止状態となることが、ユーザの活動における異常の発生として検知される。
次に、撮像制御部１２は、データ解析部１１でユーザの活動における異常の発生が検知されると、カメラ１００に対してユーザの撮影の開始および撮像データの記録を指示する。カメラ１００の構成については後述するが、本実施の形態では、カメラ１００は、ユーザが活動を行う位置に予め配置されている。例えば、カメラ１００は、ユーザが存在する部屋の中に事前に設置されており、撮像制御部１２によって動作が制御される。
また、撮像制御部１２は、カメラ１００に対してユーザの撮影の開始および撮像データの記録を指示した場合に、予め設定された期間が経過すると、撮影を終了する指示をカメラ１００に対して行うことができる。あるいは、後述のカメラ１００に内蔵されたタイマによって撮影時間が制限される構成とすることもできる。
撮像制御部１２によってユーザの撮影の開始が指示されると、カメラ１００はユーザの活動に生じた異常を撮影する。例えば、ユーザが就寝中にベッドから転落した時点から、床面に落ちてぶつかる一連の様子がカメラ１００によって撮影されメモリに記録される。
撮像データ取得部１３は、カメラ１００によって撮影され記録された撮像データを取得する。
記憶部１４は、撮像データ取得部１３によって取得された撮像データを格納する。
送受信部１５は、記憶部１４に格納された撮像データを、例えば、外部の端末装置に送出（出力）する。
［監視システムのコンピュータ構成］
次に、上述した機能を有する監視システムを実現するコンピュータ構成の一例について、図４を参照して説明する。
図４に示すように、監視システムは、例えば、バス１０１を介して接続されるプロセッサ１０２、主記憶装置１０３、通信Ｉ／Ｆ１０４、補助記憶装置１０６、時計１０７、入出力Ｉ／Ｏ１０８を備えるコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。監視システムは、例えば、外部に設けられたセンサ１０５と、表示装置１０９と、カメラ１００とがそれぞれバス１０１を介して接続されている。
主記憶装置１０３には、プロセッサ１０２が各種制御や演算を行うためのプログラムが予め格納されている。プロセッサ１０２と主記憶装置１０３とによって、図１および図２に示したデータ解析部１１、撮像制御部１２を含む監視システムの各機能が実現される。
通信Ｉ／Ｆ１０４は、通信ネットワークＮＷを介して各種外部電子機器との通信を行うためのインターフェース回路である。
通信Ｉ／Ｆ１０４としては、例えば、３Ｇ、４Ｇ、５Ｇ、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙなどの無線データ通信規格に対応した通信制御回路およびアンテナが用いられる。通信Ｉ／Ｆ１０４によって、図１で説明したセンサデータ取得部１０、撮像データ取得部１３、送受信部１５が実現される。
センサ１０５は、例えば、３軸加速度センサで構成される。センサ１０５は、例えば、心電計、血圧計、脈拍計、呼吸センサ、体温計、脳波センサなどをさらに備えることができる。
補助記憶装置１０６は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータなどの各種情報を読み書きするための駆動装置とで構成されている。補助記憶装置１０６には、記憶媒体としてハードディスクやフラッシュメモリなどの半導体メモリを使用することができる。
補助記憶装置１０６は、センサ１０５により計測されたユーザの活動情報を記憶する記憶領域や、監視システムが活動情報の解析処理を行うためのプログラムや監視プログラムを格納するプログラム格納領域を有する。補助記憶装置１０６によって、図１で説明した記憶部１４が実現される。さらには、例えば、上述したデータやプログラムやなどをバックアップするためのバックアップ領域などを有していてもよい。
時計１０７は、コンピュータに内蔵されている内蔵時計などで構成され、時刻を計時する。あるいは時計１０７は、図示されないタイムサーバから時刻情報を取得してもよい。時計１０７によって得られた時刻情報は、加速度信号のサンプリングなどに用いられる。
入出力Ｉ／Ｏ１０８は、カメラ１００など外部機器からの信号を入力したり、外部機器へ信号を出力したりするＩ／Ｏ端子により構成される。
表示装置１０９は、液晶ディスプレイなどによって実現される。表示装置１０９は、撮像データを出力することができる。
カメラ１００は、光信号を画像信号に変換して、動画や静止画像を生成することができる。より詳細には、カメラ１００は、ＣＣＤ（電荷結合素子：Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサや、ＣＭＯＳイメージセンサなどの撮像素子を有し、撮像領域から入射する光を受光面に結像して、電気信号に変換する。なお、カメラ１００が動画を撮影する場合のフレームレートや露出値、倍率、焦点などは、予めカメラ１００が備える図示されないプロセッサによって自動的に設定される。カメラ１００としては、例えば、可視光カメラ、暗視カメラ、ＷＥＢカメラなどを用いることができる。
また、カメラ１００は、図４において図示されない通信Ｉ／Ｆ、撮像データを記録するメモリを備える。
［監視方法］
次に、上述した構成を有する監視システムの動作について、図５のフローチャートを用いて説明する。まず、ユーザが就寝やリハビリなど活動を行う部屋などには事前にカメラ１００が設置される。また、事前にユーザに３軸加速度センサを含むセンサ１０５が装着され、活動情報として加速度の計測が開始されると、以下の処理が実行される。
まず、センサデータ取得部１０は、センサ１０５で計測されたユーザの加速度信号を取得する（ステップＳ１）。センサデータ取得部１０は、ステップＳ１において、取得したユーザの活動情報である加速度信号に対して増幅、ＡＤ変換、ノイズの除去など公知の信号処理を行う。取得されたユーザの加速度の時系列データは、記憶部１４に蓄積される。
次に、体動算出部１１０は、ステップＳ１で取得されたユーザの加速度データから、ユーザの体動を算出する（ステップＳ２）。
次に、判断部１１１は、ステップＳ２で算出されたユーザの体動の値が、設定された基準を満たす場合に（ステップＳ３：ＹＥＳ）、ユーザの活動に異常が発生した、すなわち、ユーザが転落したと判断する（ステップＳ４）。例えば、判断部１１１は、ユーザの体動の値が、２［Ｇ］を超えた場合に、転落が発生したと判断する。
次に、撮像制御部１２は、判断部１１１がユーザの転落が発生したと判断すると、外部のカメラ１００に対して、ユーザの撮影を開始して、撮像データを記録することを指示する（ステップＳ５）。その後、カメラ１００は、ユーザの撮影を開始して、ユーザが転落する時点から、床面などに落ちるまでの様子を撮影し撮像データをメモリに記録する。
次に、撮像データ取得部１３は、カメラ１００で記録された撮像データを取得する（ステップＳ６）。その後、取得された撮像データは、記憶部１４に格納される（ステップＳ７）。なお、送受信部１５は、記憶部１４に格納されている撮像データを外部の端末装置などに送出することができる。
［監視システムの具体的な構成］
次に、上述した構成を有する監視システムの具体的な構成例について、図６から図８を参照して説明する。
監視システムは、例えば、図６および図７に示すように、病室で安静にしているユーザや、リハビリを行うユーザに装着されるセンサ端末装置２００と、中継端末装置３００と、外部端末装置４００と、ユーザの活動の様子を撮影する撮像端末装置５００とを備える。センサ端末装置２００、中継端末装置３００、外部端末装置４００のすべてもしくはいずれかは、図１および図２で説明したデータ解析部１１、撮像制御部１２などの監視システムに含まれる各機能を備える。
なお、以下においては、中継端末装置３００が図１で説明したデータ解析部１１および撮像制御部１２を備え、外部端末装置４００が撮像データ取得部１３および記憶部１４を備えるものとする。
［センサ端末装置の機能ブロック］
センサ端末装置２００は、図８に示すように、センサ２０１、センサデータ取得部２０２、記憶部２０３、および送信部２０４を備える。センサ端末装置２００は、例えば、ユーザの体の体幹に配置されて活動情報を計測する。センサ端末装置２００は、計測したユーザの活動情報を通信ネットワークＮＷを介して中継端末装置３００に送信する。
センサ２０１は、例えば、３軸加速度センサなどで実現される。センサ２０１が備える加速度センサの３軸は、例えば、図６に示すように、Ｘ軸は体の左右方向、Ｙ軸は体の前後方向、Ｚ軸は体の上下方向に平行に設けられる。センサ２０１は、図１および図４で説明したセンサ１０５に対応する。
センサデータ取得部２０２は、センサ２０１によって計測されたユーザの活動情報を取得する。より詳細には、センサデータ取得部２０２は、取得した活動情報である加速度信号のノイズの除去やサンプリング処理を行い、デジタル信号の加速度の時系列データを求める。センサデータ取得部２０２は、図１で説明したセンサデータ取得部１０に対応する。
記憶部２０３は、センサ２０１によって計測されたユーザの活動情報や、センサデータ取得部２０２によって処理されて得られたデジタル信号の活動情報の時系列データを記憶する。記憶部２０３は、記憶部１４（図１）に対応する。
送信部２０４は、記憶部２０３に記憶されているユーザの活動情報を、通信ネットワークＮＷを介して中継端末装置３００に送信する。送信部２０４は、例えば、ＬＴＥ、３Ｇ、４Ｇ、５Ｇ、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＢｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ等の無線データ通信規格に対応した無線通信を行うための通信回路を備える。送信部２０４は、送受信部１５（図１）に対応する。
［中継端末装置の機能ブロック］
中継端末装置３００は、受信部３０１、記憶部３０２、データ解析部３０３、撮像制御部３０４、および送信部３０５を備える。中継端末装置３００は、センサ端末装置２００から受信した、ユーザの活動情報を解析して、ユーザの活動に発生した異常を検知する。さらに、中継端末装置３００は、ユーザの活動に発生した異常の検知を契機に、撮像端末装置５００に対して、ユーザの撮影を開始し、撮像データを記録させる指示信号を送信する。
中継端末装置３００は、スマートフォン、タブレット、ノートパソコン、ゲートウェイなどによって実現される。
受信部３０１は、通信ネットワークＮＷを介してセンサ端末装置２００からユーザの活動情報を受信する。受信部３０１は、送受信部１５（図１）に対応する。
記憶部３０２は、受信部３０１が受信したユーザの活動情報や、データ解析部３０３によって検知されたユーザの活動で発生した異常およびセンサ端末装置２００で取得されたユーザの活動情報の履歴を記憶する。記憶部３０２は、記憶部１４（図１）に対応する。
データ解析部３０３は、受信部３０１によって受信されたユーザの活動情報を解析し、ユーザの活動に発生した異常を検知する。データ解析部３０３は、図１および図２で説明した体動算出部１１０および判断部１１１を備えるデータ解析部１１に対応する。
撮像制御部３０４は、データ解析部３０３がユーザの活動に異常が発生したことを検知すると、撮像端末装置５００に対してユーザの撮影を開始して、撮像データを記録することを指示する信号を生成する。
送信部３０５は、撮像制御部３０４によって生成された撮像端末装置５００に対する撮影および撮像データの記録の開始を指示する信号を、通信ネットワークＮＷを介して撮像端末装置５００に送信する。送信部３０５は、送受信部１５（図１）に対応する。
［外部端末装置の機能ブロック］
外部端末装置４００は、受信部４０１、撮像データ取得部４０２、記憶部４０３、および送信部４０４を備える。外部端末装置４００は、撮像端末装置５００が中継端末装置３００からの指示の受信に応じてユーザを撮影した撮像データを通信ネットワークＮＷを介して受信し、記憶部４０３に格納する。
外部端末装置４００は、中継端末装置３００と同様に、スマートフォン、タブレット、ノートパソコン、ゲートウェイなどによって実現される。外部端末装置４００は受信した撮像データを格納する記憶部４０３を備える。
受信部４０１は、通信ネットワークＮＷを介して撮像端末装置５００から、撮像データを受信する。また、受信部４０１は、中継端末装置３００からユーザの転落を検知したことを示す信号を、通信ネットワークＮＷを介して受信する。受信部４０１は、送受信部１５（図１）に対応する。
撮像データ取得部４０２は、撮像端末装置５００で撮影され記録された撮像データを取得する。例えば、撮像データ取得部４０２は、中継端末装置３００からユーザの転落を検知したことを示す信号が受信された場合に、所定の時間が経過すると撮像端末装置５００に撮像データの取得要求を行い、記録された撮像データを取得する構成とすることができる。
記憶部４０３は、撮像端末装置５００から取得した撮像データを格納する。記憶部４０３は、記憶部１４（図１）に対応する。
送信部４０４は、図示されない外部の端末装置などに、記憶部４０３に記憶されている撮像データを送信することができる。送信部４０４は、図１で説明した送受信部１５に対応する。
［撮像端末装置の機能ブロック］
撮像端末装置５００は、受信部５０１、撮像部５０２、記憶部５０３、および送信部５０４を備える。撮像端末装置５００は、中継端末装置３００からの撮影開始の指示を受信すると、ユーザの撮影および撮像データの記憶部５０３への記録を開始する。
受信部５０１は、中継端末装置３００からのユーザの撮影および撮像データの記録の開始を指示する信号を通信ネットワークＮＷを介して受信する。
撮像部５０２は、ユーザの画像を撮影するカメラ１００（図１、図４）に対応する。撮像部５０２は、中継端末装置３００からの撮影開始を指示する信号が受信されてから、例えば、図示されないタイマの設定時間が経過するまでの間の撮影を行う。あるいは、中継端末装置３００から、撮影停止を指示する信号を受信することで、撮影を終了することができる。
記憶部５０３は、撮像部５０２が撮影した撮像データを記録する。
送信部５０４は、記憶部５０３に記録された撮像データを通信ネットワークＮＷを介して外部端末装置４００に送信する。
［監視システムの動作シーケンス］
次に、図６から図８で説明した具体的な構成を有する監視システムの動作シーケンスについて図９のシーケンス図を用いて説明する。
まず、センサ端末装置２００は、例えば、ユーザに装着され、ユーザの３軸加速度をユーザの活動情報として計測する（ステップＳ１００）。センサ端末装置２００は、計測された加速度のデジタル信号を求め、必要に応じてノイズの除去を行う。
次に、センサ端末装置２００は、通信ネットワークＮＷを介して中継端末装置３００に活動情報として加速度データを送信する（ステップＳ１０１）。中継端末装置３００は、センサ端末装置２００から加速度データを受信すると、加速度データから、ユーザの体動を算出する（ステップＳ１０２）。次に、中継端末装置３００は、算出された体動の値が設定基準を満たす場合に、ユーザの転落が発生したことを検知する（ステップＳ１０３）。より詳細には、中継端末装置３００のデータ解析部３０３は、３軸加速度のノルムを体動として算出し、算出された体動の値が、例えば、２［Ｇ］を超えた場合に、ユーザがベッドなどから転落したと判断する。
また、中継端末装置３００は、ステップＳ１０３で転落の発生を検知すると、検知信号を外部端末装置４００に送信することができる（ステップＳ１０４）。
次に、中継端末装置３００の撮像制御部３０４は、撮像端末装置５００にユーザの撮影および撮像データの記録を開始することを指示する信号を送信する（ステップＳ１０５）。その後、撮像端末装置５００は、ユーザの撮影および撮像データの記録を開始する（ステップＳ１０６）。その後、例えば、タイマなどの設定時間が経過すると（ステップＳ１０７）、記録された撮像データを外部端末装置４００に送信する（ステップＳ１０８）。
あるいは、外部端末装置４００がステップＳ１０４で受信した検知信号から一定時間経過後に、撮像端末装置５００に撮像データの要求を行い、撮像端末装置５００から撮像データを取得する構成としてもよい。また、撮像端末装置５００は、外部端末装置４００に撮像データを送信すると、メモリ（記憶部５０３）のデータを消去する構成としてもよい。
その後、外部端末装置４００は、受信した撮像データを記憶部４０３に格納する（ステップＳ１０９）。
以上説明したように、第１の実施の形態によれば、ユーザの活動情報を取得して、取得した活動情報を解析して、ユーザの活動に異常が発生したことを検知し、異常の検知を契機に、カメラ１００にユーザの撮影および撮像データの記録を指示する。カメラ１００は、ユーザの活動に異常が生じた期間のみの撮影および記録を行うので、ユーザの負担が軽減された見守りを行うことができる。
また、第１の実施の形態によれば、カメラ１００による撮像データの記録時間を限定するので、撮像データの量を削減することができる。
また、第１の実施の形態によれば、撮像データには、転倒や転落などを含むユーザの活動に異常が発生した様子のみが含まれる。そのため、例えば、記録時間が短い撮像データを再生することで、ユーザの処置や介護を担当する医療あるいは介護スタッフは、ユーザが転倒や転落にともなって、頭部を打ったかどうかを即座に把握することができる。
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。なお、以下の説明では、上述した第１の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。
第１の実施の形態では、データ解析部１１が、センサデータ取得部１０で取得されたユーザの活動情報から体動を算出し、体動の値が設定基準を満たす場合に、ユーザの転落が発生したことを検知した時点でカメラ１００に撮影および撮像データの記録を開始させる場合について説明した。これに対して、第２の実施の形態では、判断部１１１Ａが２段階のしきい値処理を行い、ユーザが転倒あるいは転落する直前を示す体動が発生した時点からカメラ１００に撮影および記録を開始させ、一定期間内に、ユーザが転倒あるいは転落しなかった場合には、すでに記録されている撮像データをカメラ１００に消去させる。
図１０に示すように、第２の実施の形態に係る監視システムが備えるデータ解析部１１Ａは、第１判定部１１２、および第２判定部１１３を有する判断部１１１Ａを備える。また、図１１に示すように、撮像制御部１２Ａは、消去指示部１４０を備える。本実施の形態に係る監視システムは、データ解析部１１Ａおよび撮像制御部１２Ａの構成において、第１の実施の形態に係る監視システムと異なる。以下、第１の実施の形態と異なる構成を中心に説明する。
［データ解析部の機能ブロック］
図１０に示すように、データ解析部１１Ａは、体動算出部１１０、および判断部１１１Ａを備える。判断部１１１Ａは、第１判定部１１２および第２判定部１１３を備える。
体動算出部１１０は、センサデータ取得部１０が取得したユーザの加速度データからユーザの体動を算出する。体動算出部１１０は、３軸加速度のノルムを体動として算出することができる。
次に、判断部１１１Ａが備える第１判定部１１２および第２判定部１１３について説明する。図３に示すように、就寝中の被験者がベッドから転落（図３中の「ｂ」）する直前に、被験者は起き上がる動作を行っている（図３中の「ｃ」）。被験者が転落する直前の起き上がり時において、体動の値が変動していることから、起き上がり動作に対応する体動の値を第１しきい値として設定することができる。具体的には、寝ている状態の体動である１［Ｇ］よりもわずかに高い１．０５［Ｇ］を第１しきい値として設定する。
また、第２しきい値として、図３の「ｂ」でのベッドからの転落を示す体動を検知するために、転落に相当する体動の値、例えば、４［Ｇ］などを設定する。
判断部１１１Ａは、第１しきい値および第２しきい値による２段階のしきい値処理を行う。
第１判定部１１２は、体動算出部１１０が算出したユーザの体動の値が、第１しきい値を超えたか否かを判定する。
第２判定部１１３は、第１判定部１１２によって、ユーザの体動の値が、第１しきい値を超えたことが判定された場合に、設定期間が経過するまでに体動の値がさらに第２しきい値を超えるか否かを判定する。例えば、図３に示すように、就寝中のユーザがベッドから転落したか否かを検知する場合には、第１しきい値を超えた時点から、例えば、５分経過するまでに、体動の値が第２しきい値を超えるか否かを判定する。設定期間の長さは、転落の直前の起き上がり動作など、検知したいユーザの特定の活動とその活動に関連する活動による体動の大きさおよび時間的な発生間隔に応じて設定することができる。
［撮像制御部の機能ブロック］
図１１に示すように、撮像制御部１２Ａは、消去指示部１２０を備える。
撮像制御部１２Ａは、第１判定部１１２がユーザの体動の値が第１しきい値を超えたと判定した場合に、カメラ１００に対してユーザの撮影および撮像データの記録を開始することを指示する。
消去指示部１２０は、第２判定部１１３が、ユーザの体動の値が第１しきい値を超えてから設定期間内に第２しきい値を超えなかったと判定した場合に、カメラ１００に対して、すでに記録された撮像データの消去を指示する。
［撮像端末装置の機能ブロック］
図１２は、監視システムの具体的な構成例（図８）における、本実施の形態に係る撮像端末装置５００Ａの構成を示すブロック図である。
撮像端末装置５００Ａは、受信部５０１、撮像部５０２、記憶部５０３、消去部５０５、および送信部５０４を備える。消去部５０５以外の構成は、第１の実施の形態で説明した撮像端末装置５００（図８）の構成と同様である。
消去部５０５は、中継端末装置３００から、記憶部５０３に記録された撮像データを消去することを指示する信号を受信すると、記憶部５０３に記録済みの撮像データを消去する。
［監視方法］
次に、上述した構成を有する本実施の形態に係る監視システムの動作について、図１３のフローチャートを用いて説明する。まず、ユーザが就寝する病室やリハビリを行うリハビリ室などには事前にカメラ１００が設置される。また、３軸加速度センサを含むセンサ１０５がユーザに装着され、活動情報としてユーザの加速度の計測が開始されると、以下の処理が実行される。
まず、センサデータ取得部１０は、センサ１０５で計測されたユーザの加速度信号を取得する（ステップＳ２０）。センサデータ取得部１０は、ステップＳ１において、取得したユーザの活動情報である加速度信号の増幅、ＡＤ変換、ノイズの除去など公知の信号処理を行う。取得されたユーザの加速度データは、記憶部１４に蓄積される。
次に、体動算出部１１０は、ステップＳ２０で取得されたユーザの加速度データから、ユーザの体動を算出する（ステップＳ２１）。
次に、第１判定部１１２によって、ステップＳ２１で算出されたユーザの体動の値が、第１しきい値を超えたと判定された場合に（ステップＳ２２：ＹＥＳ）、撮像制御部１２Ａは、カメラ１００に対して、ユーザの撮影および撮像データの記録の開始を指示する（ステップＳ２３）。ステップＳ２２でユーザの体動の値が第１しきい値を超えるまで（ステップＳ２２：ＮＯ）、ステップＳ２０およびステップＳ２１の処理が繰り返される。
次に、ユーザの体動の値が第１しきい値を超えた時点から、設定期間（例えば、５分など）内に、第２判定部１１３が、ユーザの体動の値が第２しきい値を超えたと判定した場合（ステップＳ２４：ＹＥＳ）、判断部１１１Ａは、ユーザが転落したと判断する（ステップＳ２５）。その後、撮像データ取得部１３は、カメラ１００から撮像データを取得する（ステップＳ２７）。次に、記憶部１４は、取得された撮像データを格納する（ステップＳ２８）。
一方において、ステップＳ２４において、ユーザの体動の値が、設定期間内に第２しきい値を超えなかった場合（ステップＳ２４：ＮＯ）、消去指示部１２０は、カメラ１００に対して、すでに記録されている撮像データの消去を指示する（ステップＳ２６）。
以上説明したように、第２の実施の形態によれば、２段階のしきい値処理によりユーザが転倒する直前の起き上がり動作が発生したことを検知した時点で、カメラ１００がユーザの撮影および撮像データの記録を開始する。そのため、撮像データには、ユーザが転倒あるいは転落する様子がより確実に含まれ、ユーザの見守りをより確実に行うことができる。
また、第２の実施の形態によれば、ユーザの転落の予兆となり得る体動が検知されても、設定期間内に転落を示す体動が発生しなかった場合には、カメラ１００に記録済みの撮像データを消去させるので、ユーザの負担が軽減された見守りを行うことができる。
［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。なお、以下の説明では、上述した第１および第２の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。
第１および第２の実施の形態では、体動算出部１１０は、ユーザの体動として、３軸の加速度のノルムを算出した場合について説明した。これに対し、第３の実施の形態では、体動算出部１１０は、加速度値のノルムをフィルタ処理した値、加速度値のノルムをフィルタ処理した値の一定期間における平均、標準偏差、分散、あるいはＲＭＳを算出して体動を示す値とする。
体動算出部１１０が加速度値のノルムをフィルタ処理した値や、さらに平均された値を体動として用いることで、フィルタや平均処理で値が平滑化される。これにより、第１実施の形態に係る判断部１１１や、第２の実施の形態に係る第１判定部１１２および第２判定部１１３によるしきい値処理が容易になる。また、分散や標準偏差、ＲＭＳは正の値をとるので、この場合にもしきい値処理が容易となり、ユーザの活動に異常が発生したことをより容易に検知することができる。
［第４の実施の形態］
次に、本発明の第４の実施の形態について説明する。なお、以下の説明では、上述した第１から第３の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。
第１から第３の実施の形態では、ユーザの活動情報として計測されたユーザの加速度から、体動を算出する場合について説明した。これに対し、第４の実施の形態では、データ解析部１１Ｂは、体動ではなく、ユーザの加速度からユーザの姿勢を算出し、算出されたユーザの姿勢の変化が所定の変化パターンである場合に、ユーザの活動に異常が発生したと判断する。
［データ解析部の機能ブロック］
図１４は、本実施の形態に係るデータ解析部１１Ｂの機能ブロック図である。図１４に示すように、データ解析部１１Ｂは、姿勢算出部１１４および判断部（第２判断部）１１１を備える。データ解析部１１Ｂ以外の構成については、第１から第３の実施の形態と同様であるが、以下においては、第１の実施の形態で説明した構成（図１）を用いて説明する。
姿勢算出部１１４は、センサデータ取得部１０によって取得されたユーザの活動情報である加速度から、ユーザの姿勢を算出する。姿勢算出部１１４は、傾斜算出部１１５および姿勢決定部１１６を備える。
傾斜算出部１１５は、ユーザの加速度から、ユーザの上体の傾斜の角度を求める。傾斜算出部１１５は、例えば、特許文献１に開示されているように、加速度の重力加速度に対するセンサ１０５の傾きθ、φ［ｄｅｇｒｅｅ］を算出する。ここで、θ（－９０≦θ＜２７０）は、鉛直方向に対するセンサ１０５のＺ軸の傾き、φ（－９０≦φ＜２７０）は鉛直方向に対するセンサ１０５のＸ軸の傾きである。
Figure 0007235137000001
Ａｘ、Ａｙ、Ａｚは、それぞれセンサ１０５で計測されたＸ，Ｙ，Ｚ軸方向の加速度であり、単位は重力加速度Ｇ（１．０Ｇ≒９．８ｍ／ｓ２）である。式（１）と式（２）では、センサ１０５で計測されたＸ，Ｙ，Ｚ軸方向の加速度の合成ベクトルの大きさであるノルムに対する単軸の計測値の比を求め、更にコサインの逆関数を求めることで、センサ１０５（図８のセンサ端末装置２００）の傾きを角度の次元をもつ値として算出している。
姿勢決定部１１６は、傾斜算出部１１５が求めたセンサ１０５の傾きよりユーザの姿勢を決定する。例えば、姿勢決定部１１６は、式（１）と式（２）で算出したθ、φの値をしきい値と比較をすることで姿勢を決定する。センサ１０５の傾きは、センサ１０５を備えたセンサ端末装置２００を身に着けたユーザの上体の傾きを反映する。
姿勢決定部１１６は、特許文献１に記載されているθ、φの値の範囲の場合分けにより、ユーザの姿勢を決定することができる。具体的には、ユーザの姿勢を、正立、倒立、仰向け、うつ伏せ、左半身が上、右半身が上の６通りにθ、φの値を分類することができる。例えば、姿勢決定部１１６は、［１３０≦φ≦２３０］かつ［－４０≦θ＜３０］のとき、もしくは、［１３０≦φ≦２３０］かつ［１４０＜θ＜２２０］のとき、ユーザが仰向けの姿勢であると決定する。
また、姿勢決定部１１６は、［３０≦θ＜１４０］のときに、ユーザの姿勢が正立であると決定する。
あるいは、姿勢決定部１１６は、θ、φの値を、起床状態および臥床状態の２通りに分類して、ユーザの姿勢を決定することもできる。
図１５は、ユーザの姿勢の６通りに分類した場合の、図３に対応する睡眠中の被験者の姿勢を示した図である。図１５において「ａ」は、被験者が寝返りを打った際の姿勢の変化を示している。「ｂ」は、被験者がベッドから転落した際の姿勢の変化を示し、「ｃ」は、転落直前の立ち上がりの姿勢の変化を示している。
図１５に示すように、被験者が起き上がる動作（図１５の「ｃ」）を行うと、姿勢が仰向けから正立に遷移している。一方において、寝返り時（図１５の「ａ」）には、仰向けからうつ伏せ、あるいは、うつ伏せから仰向けに遷移している。このことから、姿勢の変化パターンにより、寝返りと起き上がりとを区別することができる。
判断部１１１は、姿勢決定部１１６によって決定されたユーザの姿勢の変化が、設定された変化パターンである場合に、ユーザの活動に異常が発生したと判断する。判断部１１１は、図１５で説明したように、ユーザの姿勢が、転落の直前に発生する可能性の高い、立ち上がりを示す仰向けから正立に変化した場合に、ユーザの活動の異常である立ち上がりが発生したと判断する。
撮像制御部１２は、データ解析部１１Ｂによってユーザの活動に発生した異常が検知されると、カメラ１００に対してユーザの撮影および撮像データの記録を指示する。なお、カメラ１００は、前述したように、ユーザの撮影および記録を開始してから予め設定された期間が経過すると、撮影および記録を停止する構成とすることができる。
［監視方法］
次に、上述した構成を有する本実施の形態に係る監視システムの動作について、図１６のフローチャートを用いて説明する。まず、ユーザが就寝やリハビリなど活動を行う部屋などには事前にカメラ１００が設置される。また、事前にユーザに３軸加速度センサを含むセンサ１０５が装着され、活動情報として加速度の計測が開始されると、以下の処理が実行される。
まず、センサデータ取得部１０は、センサ１０５で計測されたユーザの加速度信号を取得する（ステップＳ１）。センサデータ取得部１０は、ステップＳ１において、取得したユーザの活動情報である加速度信号に対して増幅、ＡＤ変換、ノイズの除去など公知の信号処理を行う。取得されたユーザの加速度データの時系列は、記憶部１４に蓄積される。
次に、姿勢算出部１１４は、ステップＳ１で取得されたユーザの加速度データから、ユーザの姿勢を算出する（ステップＳ２Ａ）。
次に、判断部１１１は、ステップＳ２Ａで算出されたユーザの姿勢が、仰向けから正立へ遷移した場合に（ステップＳ３Ａ：ＹＥＳ）、ユーザの活動に異常が発生した、すなわち、ユーザが転落する直前の立ち上がりが発生したと判断する（ステップＳ４Ａ）。
次に、撮像制御部１２は、判断部１１１がユーザが転落する直前の立ち上がりが発生したと判断すると、外部のカメラ１００に対して、ユーザの撮影を開始して、撮像データを記録することを指示する（ステップＳ５）。その後、カメラ１００は、ユーザの撮影を開始して、ユーザが転落する直前から、床面などに落ちるまでの様子を撮影し撮像データをメモリに記録する。
次に、撮像データ取得部１３は、カメラ１００で記録された撮像データを取得する（ステップＳ６）。その後、取得された撮像データは、記憶部１４に格納される（ステップＳ７）。なお、送受信部１５は、記憶部１４に格納されている撮像データを外部の端末装置などに送出することができる。
以上説明したように、第４の実施の形態によれば、データ解析部１１Ｂは、ユーザの加速度データからユーザの姿勢を算出し、ユーザの姿勢の変化が、所定の姿勢の変化パターンである場合に、ユーザの活動に異常が発生したと判断し、カメラ１００にユーザの撮影および撮像データの記録を指示する。そのため、ユーザが寝返りをした場合の姿勢のパターンを誤って検知することを抑制でき、より正確にユーザの転落や転倒を含むユーザの活動に発生した異常を検知して、その間の撮像データを得ることができる。
また、第４の実施の形態によれば、ユーザの転落や転倒を含む異常の発生をより正確に検知することができ、カメラ１００において不要な撮影の発生を抑制することができる。
なお、説明した実施の形態では、図１５で説明したユーザの姿勢を６通りに分類した場合について説明したが、ユーザの姿勢を２通りの、臥床状態と起床状態とに分けてユーザの姿勢を決定する場合には、姿勢算出部１１４がユーザの姿勢が臥床状態から起床状態に遷移した場合に、異常が発生したと判断し、カメラ１００に撮影の開始を指示することができる。
［第５の実施の形態］
次に、本発明の第５の実施の形態について説明する。なお、以下の説明では、上述した第１から第４の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。
第１から第３の実施の形態では、ユーザの加速度から体動が算出され、体動の値を用いて、ユーザの転倒や転落を含む活動の異常の発生を検知した。また、第４の実施の形態では、ユーザの加速度からユーザの姿勢が算出され、算出された姿勢の変化が設定された変化のパターンと一致する場合に、ユーザの活動に異常が発生したことを検知した。これに対し、第５の実施の形態では、データ解析部１１Ｃは、ユーザの加速度から、体動および姿勢を算出し、算出された体動および姿勢を用いてユーザの活動に発生した異常を検知する。
図１７は、本実施の形態に係るデータ解析部１１Ｃの構成を示すブロック図である。
データ解析部１１Ｃは、体動算出部１１０、姿勢算出部１１４、および判断部１１１を備える。
体動算出部１１０は、センサデータ取得部１０によって取得されたユーザの加速度から、ユーザの体動を算出する。
姿勢算出部１１４は、傾斜算出部１１５および姿勢決定部１１６を備える。傾斜算出部１１５は、上述した式（１）および式（２）を用いて、ユーザの加速度から、ユーザの上体の傾斜の角度を求める。
姿勢決定部１１６は、傾斜算出部１１５が算出したユーザの上体の傾斜の角度から、例えば、図１５に示すように特許文献１に記載されている６通りの姿勢の分類に基づいて、ユーザの姿勢を決定する。
判断部１１１は、姿勢算出部１１４によって算出された、ユーザの姿勢の変化が、設定された変化パターンである場合に、ユーザの活動に異常が発生したと判断する。より詳細には、判断部１１１は、姿勢算出部１１４によってユーザが転倒あるいは転落する直前の立ち上がりを示す姿勢の変化のパターンに一致した場合に、立ち上がりが発生したと判断する。
また、判断部１１１は、体動算出部１１０が算出したユーザの体動の値が、ユーザの転倒や転落を示す体動の値、例えば、図３で示したように、５［Ｇ］程度の体動の値を超えた場合に、ユーザの転倒や転落が発生したと判断する。
撮像制御部１２は、判断部１１１が、ユーザの姿勢から、ユーザの立ち上がりが発生し、かつ、ユーザの転落や転倒が発生したと判断した場合に、カメラ１００に対して、ユーザの撮影および撮像データの記録の開始を指示する。
このように、第５の実施の形態によれば、ユーザの活動情報である加速度から、ユーザの姿勢および体動を算出し、これらの値に基づいて、ユーザの活動に発生した異常を検知し、カメラ１００にユーザの撮影の開始および撮像データの記録の開始を指示する。そのため、特に、就寝中のユーザがベッドから転落する場合などのユーザの活動に発生する異常を、ユーザの姿勢を用いて起き上がりを捉え、体動を用いて転落を検知することで、より正確にユーザの活動に発生した異常を検知することができる。その結果として、ユーザがベッドから転落する様子などユーザの活動に発生した異常をより確実に撮影できる。
［第６の実施の形態］
次に、本発明の第６の実施の形態について説明する。なお、以下の説明では、上述した第１から第５の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。
第６の実施の形態に係る監視システムは、図１８に示すように、中止指示部１６をさらに備える点で、第１から第５の実施の形態に係る構成と異なる。
中止指示部１６は、データ解析部１１が、センサデータ取得部１０で取得されたユーザの加速度に基づいて、ユーザの活動に発生した異常を検知した場合であっても、検知された時刻が、例えば、日中など、所定の時間帯である場合には、撮像データ取得部１３に対して、カメラ１００で記録された撮像データを取得しないように指示を送出する。
中止指示部１６は、例えば、監視システムが備える時計などから取得された時刻情報に基づいて、ユーザの活動に異常が発生したことが検知された時刻が、日中など、ユーザの活動を監視する必要がない時間帯である場合に、上記中止指示を撮像データ取得部１３に送出する。例えば、日中にユーザが療法士とともにリハビリ運動を行う場合や、医療スタッフがユーザの目の届く範囲にいる時間帯などを予め記憶部１４に登録しておくことができる。
図１９は、監視システムの具体的な構成例（図８）に含まれる外部端末装置４００Ａの構成を示すブロック図である。
外部端末装置４００Ａは、受信部４０１、計時部４０５、中止指示部４０６、撮像データ取得部４０２、記憶部４０３、および送信部４０４を備える。
計時部４０５は、時刻を計時する内部時計やタイムサーバ等から時刻情報を取得する。
中止指示部４０６は、計時部４０５が取得した時刻情報に基づいて、画像データ取得部４０２が、設定された時間帯に撮像端末装置５００で撮影され記録された撮像データを取得することを阻止する。
このように、日中などの時間帯で、患者などのユーザのケアを担当する医療スタッフや介護スタッフがユーザの近くにいる場合や、ユーザがリハビリ訓練を行う時間帯で、起き上がりなど比較的大きな体動が頻繁に生ずる場合がある時間帯では、ユーザの活動の異常が検知された場合であっても、ユーザの活動の監視を行う必要がない場合が考えられる。
第６の実施の形態に係る監視システムは、中止指示部１６をさらに備えるので、真にユーザの活動の異常の発生の有無を監視する必要性が高い、夜間の時間帯、例えば２０時から翌日の朝６時の間のみの撮像データを取得する構成とすることができ、不要な撮像データを抑制することができる。
［第７の実施の形態］
次に、本発明の第７の実施の形態について説明する。なお、以下の説明では、上述した第１から第６の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。
第７の実施の形態に係る監視システムは、図２０に示すように、通知部１７を備える点で、第１から第６の実施の形態に係る構成と異なる。図２０は、本実施の形態に係る監視システムの構成を示すブロック図である。
通知部１７は、データ解析部１１でユーザの活動に異常が発生したことが検知された場合に、外部の端末装置に対して、ユーザの活動に異常が発生したことを通知する。例えば、通知部１７は、図２１に示すように、ユーザの処置や介護を担当する医療スタッフや介護スタッフが携帯するスマートフォンや、医療スタッフがいる部屋などに設置されたスマートスピーカ等に通知を送ることができる。
また、通知部１７は、データ解析部１１が、図３に示したように、ユーザの起き上がり、および転落のうちの少なくともいずれかを検知した場合に、通知情報を生成し、外部の端末装置に通知することができる。
このように、第７の実施の形態によれば、ユーザの活動に異常が発生したことが検知された場合に、カメラ１００によって撮影され記録された撮像データを記憶部１４に格納するだけでなく、外部の端末装置に対して異常が発生したことを示す通知を行う。そのため、ユーザの処置や介護を担当する医療スタッフや介護スタッフが異常の発生に応じて即座に適切な対応を行うことができる。
［第８の実施の形態］
次に、本発明の第８の実施の形態について説明する。なお、以下の説明では、上述した第１から第７の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。
第１から第７の実施の形態に係る監視システムは、ユーザの活動に異常が発生したことが検知された場合に、カメラ１００に対してユーザの撮影および撮像データの記録を開始することを指示する場合について説明した。これに対し、第８の実施の形態に係る監視システムでは、カメラ１００によって、常時ユーザの撮影および撮像データの記録が行われているが、一定期間内にユーザの活動に異常が発生しなかった場合には、カメラ１００で記録された撮像データが消去される。
図２２は、本実施の形態に係る監視システムの動作を示すシーケンス図である。なお、以下においては、図８で説明した監視システムの具体的な構成における動作について説明する。
まず、センサ端末装置２００は、例えば、ユーザに装着されて、３軸加速度をユーザの活動情報として計測する（ステップＳ２００）。センサ端末装置２００は、計測された加速度のデジタル信号を求め、必要に応じてノイズの除去を行う。
一方において、撮像端末装置５００は、ユーザの撮影および撮像データの記録を開始する（ステップＳ２０２）。
次に、センサ端末装置２００は、通信ネットワークＮＷを介して中継端末装置３００に活動情報として加速度データを送信する（ステップＳ２０１）。中継端末装置３００は、センサ端末装置２００から加速度データを受信すると、加速度データから、ユーザの体動を算出する（ステップＳ２０３）。次に、中継端末装置３００は、算出された体動の値が設定基準を満たし、ユーザの転落が発生したことを検知した場合（ステップＳ２０４）、撮像端末装置５００に対して、記録された撮像データを外部端末装置４００へ送信させる（ステップＳ２０５）。なお、中継端末装置３００は、ユーザの体動の値だけでなく、ユーザの姿勢によりユーザが転落や転倒したことを検知することができる。
その後、撮像端末装置５００は、すでに記録されている撮像データを、外部端末装置４００に送信する（ステップＳ２０６）。次に、外部端末装置４００は、受信した撮像データを記憶部４０３に格納する（ステップＳ２０７）。なお、外部端末装置５００は、撮像データを図示されない外部の端末装置などに送信することができる。
一方において、ステップＳ２０４において、中継端末装置３００でユーザが転倒や転落したことが検知されなかった場合には（ステップＳ２０４：ＮＯ）、中継端末装置３００は、撮像端末装置５００にたいして、すでに記録されている撮像データを消去する指示を送信する（ステップＳ２０８）。指示を受信すると、撮像端末装置５００は、記憶部５０３に記録されている撮像データを消去する（ステップＳ２０９）。例えば、撮像端末装置５００は、中継端末装置３００からの消去指示に応じて、一定期間に撮影され記録された撮像データを消去する構成とすることができる。
以上説明したように、第８の実施の形態によれば、カメラ１００が常時ユーザを撮影し、撮像データを記録する場合であっても、データ解析部１１がユーザの活動における異常の発生を検知しなかった場合には、カメラ１００に対してすでに記録されている撮像データを消去させる。このように、ユーザが転倒や転落した様子を含む撮像データをメモリに残して、ユーザの体動や姿勢に所定の変化が生じなかった期間の撮像データを消去することで、ユーザの負担を軽減しつつ、ユーザの見守りを確実に行うことができる。
以上、本発明の監視システム、監視方法、および監視プログラムにおける実施の形態について説明したが、本発明は説明した実施の形態に限定されるものではなく、請求項に記載した発明の範囲において当業者が想定し得る各種の変形を行うことが可能である。
１０、２０２…センサデータ取得部、１１、３０３…データ解析部、１２、３０４…撮像制御部、１３、４０２…撮像データ取得部、１４、２０３、３０２、４０３、５０３…記憶部、１５…送受信部、１１０…体動算出部、１１１…判断部、１０１…バス、１０２…プロセッサ、１０３…主記憶装置、１０４…通信Ｉ／Ｆ、１０５、２０１…センサ、１０６…補助記憶装置、１０７…時計、１０８…入出力Ｉ／Ｏ、１０９…表示装置、１００…カメラ、２００…センサ端末装置、３００…中継端末装置、４００…外部端末装置、５００…撮像端末装置、２０４、３０５、４０４、５０４…送信部、３０１、４０１、５０１…受信部、５０２…撮像部。

Claims (6)

  1. ユーザの活動情報を取得するセンサデータ取得部と、
    取得された前記活動情報を解析して、前記ユーザの身体的な運動に転倒や転落を含む異常が発生したことを検知するデータ解析部と、
    前記データ解析部で前記異常の発生が検知されると、前記ユーザの活動を撮影する撮像端末装置に対して前記ユーザの撮影の開始および撮像データの記録を指示する撮像制御部と、
    前記撮像端末装置で記録された前記撮像データを取得する撮像データ取得部と、
    前記撮像データ取得部が取得した前記撮像データを格納するデータ格納部と、
    前記撮像データを出力する出力部と
    を備え、
    前記活動情報は、前記ユーザの加速度を含み、
    前記データ解析部は、
    前記活動情報から、前記ユーザの体動を算出する体動算出部と、
    前記体動の値が設定基準を満たす場合に、前記異常が発生したと判断する第１判断部と
    を有し、
    前記第１判断部は、
    前記体動の値が第１しきい値を超えたか否かを判定する第１判定部と、
    前記第１しきい値を超えた場合に、前記体動の値が設定期間内にさらに第２しきい値を超えたか否かを判定する第２判定部と
    を有し、
    前記撮像制御部は、前記第１判定部が前記第１しきい値を超えたと判定した場合に、前記撮像端末装置に対して前記ユーザの撮影の開始および前記撮像データの記録を指示し、
    前記撮像制御部は、前記第２判定部が前記体動の値が前記第２しきい値を超えなかったと判定した場合に、前記撮像端末装置に対して、すでに記録された前記撮像データの消去を指示する
    ことを特徴とする監視システム。
  2. 請求項１に記載の監視システムにおいて、
    前記データ解析部は、
    前記活動情報から、前記ユーザの姿勢を算出する姿勢算出部と、
    前記姿勢の変化が設定された変化パターンである場合に、前記異常が発生したと判断する第２判断部と
    を有することを特徴とする監視システム。
  3. ユーザの活動情報を取得するセンサデータ取得部と、
    取得された前記活動情報を解析して、前記ユーザの身体的な運動に転倒や転落を含む異常が発生したか否かを検知するデータ解析部と、
    前記データ解析部で前記異常の発生が検知されない場合に、予めユーザの撮影および撮像データの記録を開始している撮像端末装置に対して、すでに記録された前記撮像データの消去を指示する撮像制御部と、
    前記データ解析部で前記異常の発生が検知された場合に、前記撮像端末装置で記録された前記撮像データを取得する撮像データ取得部と、
    前記撮像データ取得部が取得した前記撮像データを格納するデータ格納部と、
    前記撮像データを出力する出力部と
    を備え、
    前記活動情報は、前記ユーザの加速度を含む
    ことを特徴とする監視システム。
  4. ユーザに装着されたセンサで計測された前記ユーザの活動情報を外部へ出力するセンサ端末装置と、
    前記センサ端末装置から出力された前記活動情報を受信し、外部へ出力する中継端末装置と、
    前記センサ端末装置または前記中継端末装置から出力された、前記活動情報を受信し、記憶装置に記憶させる外部端末装置と、
    外部からの指示に応じて前記ユーザの撮影を開始し、撮像データを記録して、前記外部端末装置に前記撮像データを送信する撮像端末装置と
    を備え、
    前記センサ端末装置、前記中継端末装置、および前記外部端末装置の少なくともいずれかは、
    前記活動情報を取得するセンサデータ取得部と、
    取得された前記活動情報を解析して、前記ユーザの身体的な運動に転倒や転落を含む異常が発生したことを検知するデータ解析部と、
    前記データ解析部で前記異常の発生が検知されると、前記撮像端末装置に対して前記ユーザの撮影の開始および撮像データの記録を指示する撮像制御部と、
    前記撮像端末装置で記録された前記撮像データを取得する撮像データ取得部と、
    前記撮像データ取得部が取得した前記撮像データを格納するデータ格納部と、
    前記撮像データを出力する出力部と
    を備え、
    前記活動情報は、前記ユーザの加速度を含み、
    前記データ解析部は、
    前記活動情報から、前記ユーザの体動を算出する体動算出部と、
    前記体動の値が設定基準を満たす場合に、前記異常が発生したと判断する第１判断部と
    を有し、
    前記第１判断部は、
    前記体動の値が第１しきい値を超えたか否かを判定する第１判定部と、
    前記第１しきい値を超えた場合に、前記体動の値が設定期間内にさらに第２しきい値を超えたか否かを判定する第２判定部と
    を有し、
    前記撮像制御部は、前記第１判定部が前記第１しきい値を超えたと判定した場合に、前記撮像端末装置に対して前記ユーザの撮影の開始および前記撮像データの記録を指示し、
    前記撮像制御部は、前記第２判定部が前記体動の値が前記第２しきい値を超えなかったと判定した場合に、前記撮像端末装置に対して、すでに記録された前記撮像データの消去を指示する
    ことを特徴とする監視システム。
  5. センサデータ取得部と、データ解析部と、撮像制御部と、撮像データ取得部と、データ格納部と、出力部と、体動算出部と、第１判断部と、第１判定部と、第２判定部とを備える監視システムによる監視方法であって、
    前記センサデータ取得部が、ユーザの活動情報を取得する第１ステップと、
    前記データ解析部が、前記第１ステップで取得された前記活動情報を解析して、前記ユーザの身体的な運動に転倒や転落を含む異常が発生したことを検知する第２ステップと、
    前記撮像制御部が、前記第２ステップで前記異常の発生が検知されると、前記ユーザの活動を撮影する撮像端末装置に対して前記ユーザの撮影の開始および撮像データの記録を指示する第３ステップと、
    前記撮像データ取得部が、前記撮像端末装置で記録された前記撮像データを取得する第４ステップと、
    前記データ格納部が、前記第４ステップで取得された前記撮像データを格納する第５ステップと、
    前記出力部が、前記撮像データを出力する第６ステップと
    を備え、
    前記第２ステップは、
    前記体動算出部が、前記活動情報から、前記ユーザの体動を算出する第７ステップと、
    前記第１判断部が、前記体動の値が設定基準を満たす場合に、前記異常が発生したと判断する第８ステップと
    を有し、
    前記第８ステップは、
    前記第１判定部が、前記体動の値が第１しきい値を超えたか否かを判定する第９ステップと、
    前記第２判定部が、前記第１しきい値を超えた場合に、前記体動の値が設定期間内にさらに第２しきい値を超えたか否かを判定する第１０ステップと
    を有し、
    前記活動情報は、前記ユーザの加速度を含み、
    前記撮像制御部が、前記第３ステップでは、前記第９ステップで前記第１しきい値を超えたと判定した場合に、前記撮像端末装置に対して前記ユーザの撮影の開始および前記撮像データの記録を指示し、
    前記撮像制御部が、前記第３ステップでは、前記第１０ステップで前記体動の値が前記第２しきい値を超えなかったと判定した場合に、前記撮像端末装置に対して、すでに記録された前記撮像データの消去を指示する
    ことを特徴とする監視方法。
  6. コンピュータに、
    ユーザの活動情報を取得する第１ステップと、
    前記第１ステップで取得された前記活動情報を解析して、前記ユーザの身体的な運動に転倒や転落を含む異常が発生したことを検知する第２ステップと、
    前記第２ステップで前記異常の発生が検知されると、前記ユーザの活動を撮影する撮像端末装置に対して前記ユーザの撮影の開始および撮像データの記録を指示する第３ステップと、
    前記撮像端末装置で記録された前記撮像データを取得する第４ステップと、
    前記第４ステップで取得された前記撮像データをデータ格納部に格納する第５ステップと、
    前記撮像データを出力する第６ステップと
    を実行させ、
    前記第２ステップは、
    前記活動情報から、前記ユーザの体動を算出する第７ステップと、
    前記体動の値が設定基準を満たす場合に、前記異常が発生したと判断する第８ステップと
    を有し、
    前記第８ステップは、
    前記体動の値が第１しきい値を超えたか否かを判定する第９ステップと、
    前記第１しきい値を超えた場合に、前記体動の値が設定期間内にさらに第２しきい値を超えたか否かを判定する第１０ステップと
    を有し、
    前記活動情報は、前記ユーザの加速度を含み、
    前記第３ステップでは、前記第９ステップで前記第１しきい値を超えたと判定した場合に、前記撮像端末装置に対して前記ユーザの撮影の開始および前記撮像データの記録を指示し、
    前記第３ステップでは、前記第１０ステップで前記体動の値が前記第２しきい値を超えなかったと判定した場合に、前記撮像端末装置に対して、すでに記録された前記撮像データの消去を指示する
    ことを特徴とする監視プログラム。
JP2021561081A 2019-11-28 2019-11-28 監視システム、監視方法、および監視プログラム Active JP7235137B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/046632 WO2021106162A1 (ja) 2019-11-28 2019-11-28 監視システム、監視方法、および監視プログラム

Publications (2)

Publication Number Publication Date
JPWO2021106162A1 JPWO2021106162A1 (ja) 2021-06-03
JP7235137B2 true JP7235137B2 (ja) 2023-03-08

Family

ID=76129238

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021561081A Active JP7235137B2 (ja) 2019-11-28 2019-11-28 監視システム、監視方法、および監視プログラム

Country Status (3)

Country Link
US (1) US20220354387A1 (ja)
JP (1) JP7235137B2 (ja)
WO (1) WO2021106162A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI783374B (zh) * 2021-02-09 2022-11-11 國立清華大學 健康照護系統和健康照護方法
WO2024090456A1 (ja) * 2022-10-25 2024-05-02 株式会社ニコン プログラム、見守りシステム、及び制御装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008047097A (ja) 2006-06-28 2008-02-28 Sysmex Corp 患者異常通知システム
JP2009003486A (ja) 2007-05-24 2009-01-08 Sysmex Corp 患者異常通知システムおよび集中監視装置
JP2016177459A (ja) 2015-03-19 2016-10-06 セコム株式会社 転倒検知端末およびプログラム
JP2017068422A (ja) 2015-09-29 2017-04-06 セコム株式会社 携帯監視端末及びプログラム
JP2017080382A (ja) 2016-07-08 2017-05-18 誠 大島 携帯情報端末、および、それを備えた自動撮像装置
WO2018139398A1 (ja) 2017-01-30 2018-08-02 日本電信電話株式会社 活動状態解析装置および方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10124353A (ja) * 1996-10-22 1998-05-15 Nikon Corp 画像記録装置
JP2004021495A (ja) * 2002-06-14 2004-01-22 Mitsubishi Electric Corp 監視システムおよび監視方法
DE10229706A1 (de) * 2002-07-02 2004-12-09 T-Mobile Deutschland Gmbh Verfahren zur Speicherplatzverwaltung in einem Speichrmedium eines digitalen Endgeräts bei einer Datenspeicherung nach dem Verfahren der priorisierten Pixelübertragung
US8655450B2 (en) * 2009-01-13 2014-02-18 Jeffrey A. Matos Controlling a personal medical device
US8965508B2 (en) * 2003-06-11 2015-02-24 Jeffrey A. Matos Controlling a personal medical device
WO2004112380A1 (ja) * 2003-06-17 2004-12-23 Matsushita Electric Industrial Co., Ltd. 情報生成装置、撮影装置および撮影方法
JP4594663B2 (ja) * 2004-06-30 2010-12-08 本田技研工業株式会社 警備ロボット
JP4310704B2 (ja) * 2005-03-08 2009-08-12 ソニー株式会社 光学素子
JP2008204568A (ja) * 2007-02-21 2008-09-04 Matsushita Electric Ind Co Ltd 記録装置
TW200933538A (en) * 2008-01-31 2009-08-01 Univ Nat Chiao Tung Nursing system
US20090244404A1 (en) * 2008-03-31 2009-10-01 Sang-Yeol Park Digital video recorder-integrated display device with picture-in-picture function
US9323337B2 (en) * 2010-12-29 2016-04-26 Thomson Licensing System and method for gesture recognition
CA3177719A1 (en) * 2011-04-04 2012-10-04 Alarm.Com Incorporated Fall detection and reporting technology
WO2013021767A1 (ja) * 2011-08-10 2013-02-14 富士フイルム株式会社 動体検出装置及び方法
CN102938808B (zh) * 2012-11-23 2016-03-23 小米科技有限责任公司 移动终端中的信息录制方法及装置
US8973149B2 (en) * 2013-01-14 2015-03-03 Lookout, Inc. Detection of and privacy preserving response to observation of display screen
US10004430B2 (en) * 2014-12-29 2018-06-26 Lg Cns Co., Ltd. Apparatus and method for detecting a fall
WO2017062728A1 (en) * 2015-10-08 2017-04-13 Brain Sentinel, Inc. Method and apparatus for detecting and classifying seizure activity
US10866631B2 (en) * 2016-11-09 2020-12-15 Rockwell Automation Technologies, Inc. Methods, systems, apparatuses, and techniques for employing augmented reality and virtual reality
US10152642B2 (en) * 2016-12-16 2018-12-11 Automotive Research & Testing Center Method for detecting driving behavior and system using the same
FR3065607B1 (fr) * 2017-04-20 2019-06-14 Viaccess Procede de lecture d'un flux video
US10237393B1 (en) * 2017-09-12 2019-03-19 Intel Corporation Safety systems and methods that use portable electronic devices to monitor the personal safety of a user
JP6610693B2 (ja) * 2018-03-20 2019-11-27 株式会社Ｊｖｃケンウッド 車両用撮像記録装置、車両用撮像制御方法及びプログラム
JP7233692B2 (ja) * 2019-03-29 2023-03-07 株式会社タニタ 生体データ測定装置、生体データ測定方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008047097A (ja) 2006-06-28 2008-02-28 Sysmex Corp 患者異常通知システム
JP2009003486A (ja) 2007-05-24 2009-01-08 Sysmex Corp 患者異常通知システムおよび集中監視装置
JP2016177459A (ja) 2015-03-19 2016-10-06 セコム株式会社 転倒検知端末およびプログラム
JP2017068422A (ja) 2015-09-29 2017-04-06 セコム株式会社 携帯監視端末及びプログラム
JP2017080382A (ja) 2016-07-08 2017-05-18 誠 大島 携帯情報端末、および、それを備えた自動撮像装置
WO2018139398A1 (ja) 2017-01-30 2018-08-02 日本電信電話株式会社 活動状態解析装置および方法

Also Published As

Publication number Publication date
WO2021106162A1 (ja) 2021-06-03
JPWO2021106162A1 (ja) 2021-06-03
US20220354387A1 (en) 2022-11-10

Similar Documents

Publication Publication Date Title
KR101420200B1 (ko) 열화상 카메라를 이용한 체온 감지 시스템
EP2747651B1 (en) Device and method for monitoring movement and orientation of the device
KR101070389B1 (ko) 환자 상태 모니터링 시스템
JP6915421B2 (ja) 見守り支援システム及びその制御方法
JP7235137B2 (ja) 監視システム、監視方法、および監視プログラム
EP1541085A1 (en) Physical movement evaluation device and physical movement evaluation system
CN108882853B (zh) 使用视觉情境来及时触发测量生理参数
JP6625219B2 (ja) バイタルサインを連続モニタリングするためのデバイス、方法及びコンピュータプログラム製品
JP6708980B2 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
JP6519166B2 (ja) 監視制御プログラム、監視制御装置、および監視制御方法
US20200187869A1 (en) System for providing real time warnings based on continuous sensor signals
JP2014171574A (ja) 呼吸モニタリング装置、システム、及び方法
WO2020145380A1 (ja) 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法
CN115116133A (zh) 一种用于独居老人监护的异常行为检测***及方法
US20180322334A1 (en) Person Monitoring Device And Method, And Person Monitoring System
TWI474291B (zh) 體感偵測跌倒方法
Jeng et al. Stream data analysis of body sensors for sleep posture monitoring: An automatic labelling approach
Ruiz et al. A low-cost and unobtrusive system for fall detection
JP2022116277A (ja) 端末装置、出力方法及びコンピュータプログラム
Khawandi et al. Integrated monitoring system for fall detection in elderly
JP7447599B2 (ja) 支援システム、支援方法およびプログラム
WO2021111587A1 (ja) 監視システム、監視方法、および監視プログラム
CN111723629B (zh) 姿态监控方法及其计算装置与***
JP7327396B2 (ja) 制御プログラム、レポート出力方法、およびレポート出力装置
Murphey et al. Development of a sleep monitoring system by using a depth sensor: A pilot study

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230206

R150 Certificate of patent or registration of utility model

Ref document number: 7235137

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150