JP2020113243A - 見守りシステム、見守り方法、プログラム及び学習済みモデルの生成方法。 - Google Patents

Abstract

【課題】見守り対象者がベッドにて危険な動作に入ることを早い段階で察知して、ベッド周りの事故を防止できる見守りシステムを提供することを目的とする。【解決手段】矩形状のベッドでの予め定められた短辺側を頭部側にし、ベッドの長辺に沿って臥位を取る見守り対象者の起き出し挙動を検知する見守りシステムであって、複数のサーモパイル素子がマトリクス状に配列された赤外線アレイセンサ基板を有して、所定領域における温度分布を示すデータを熱画像情報として取得する熱画像情報取得部ＴＧと、熱画像情報取得部ＴＧによって取得された熱画像情報に基づいて、見守り対象者の起き出し挙動の判断をする起き出し挙動判断部ＧＪと、を備え、熱画像情報取得部ＴＧは、天井よりも下方となる位置での配置であって、短辺側に背を向けて起き上がった見守り対象者の背部および両腕部を後ろ側から捉えて熱画像情報を取得するように配置される、ことを特徴とする。【選択図】図５

Description

本発明は、見守りシステム、見守り方法、プログラム及び学習済みモデルの生成方法に関する。

高齢化社会が到来し、病院や介護者施設等における介護者の状況は過酷なものになっている。

介護士等のスタッフは、高齢者の数は増加しつつも不足する傾向にあるため状況のさらなる悪化が想定されるが、介護施設等や離れて暮らす家族のための見守りサービスの普及も進みつつある。見守りサービスには、訪問型やセンサ型、電話型等、ニーズに合わせてさまざまな形態が知られている。

なお特許文献１には、物体から放射される赤外線を受光する複数の赤外線センサを備えて、それぞれから取得される温度データからなる温度分布のデータを出力する温度センサが記載されている。

特開２０１４−１４２３１８号公開公報

介護施設等においてはベッド周りの事故が報告されており、ベッドからの転落は、外傷の他に骨折などの大事故にもつながりやすい。このような見守り対象者による危険な動作としては、就寝後にベッドから突然起き上がって、ベッド柵を乗り越えて転落することや、和室と勘違いして立ち上がって足を踏み外すこと、膝立ちして壁に設置された電灯スイッチを入れようとして転落することなど、様々なものがある。したがって現状では、介護士等のスタッフに頻繁な巡回等の業務が要求され、介護施設等の労働環境の悪化が助長されている。

見守りシステムとしては、引用文献１に記載のような温度センサを天井に取りつけることで、室内全体を俯瞰的にとらえて見守り対象者の状況を見守ることも考えられる。しかしながらこのような配置をした場合には、深夜における徘徊等の認識はできる可能性があるものの、上記のような危険な動作を取る兆候を事前に察知するのは困難である。

本発明は、上述のような課題に鑑みて、見守り対象者がベッドにおいて危険な動作に入ることを早い段階で察知することにより、介護施設等におけるベッド周りの事故を未然に防ぐことができる見守りシステム、見守り方法およびプログラムを提供することを目的とする。

本発明は、種々の側面から捉えることができ、それら側面を例示すると次の通りである。

（１）矩形状のベッドにおける予め定められた短辺側を頭部側にし、前記ベッドの長辺に沿って臥位を取る見守り対象者の起き出し挙動を検知する見守りシステムであって、外部からの赤外線を受光する複数のサーモパイル素子がマトリクス状に配列された赤外線アレイセンサ基板を有して、所定領域における温度分布を示すデータを熱画像情報として取得する熱画像情報取得手段と、前記熱画像情報取得手段によって取得された前記熱画像情報に基づいて、前記見守り対象者の起き出し挙動の判断をする起き出し挙動判断手段と、を備え、前記熱画像情報取得手段は、天井よりも下方となる位置での配置であって、前記短辺側に背を向けて起き上がった前記見守り対象者の背部および両腕部を後ろ側から捉えて前記熱画像情報を取得するように配置される、ことを特徴とする見守りシステム。

（２）（１）に記載の見守りシステムは、前記ベッドにおける前記見守り対象者の在床状態を判定する在床判定手段を有し、前記見守り対象者が前記ベッドに在床しているか否かの判断については、前記熱画像情報による判断よりも前記在床判定手段による判定を優先させる、ことを特徴としてもよい。

（３）（２）に記載の見守りシステムであって、前記在床判定手段は、ドップラーセンサを含んで構成される、ことを特徴としてもよい。

（４）（２）乃至（３）のいずれかに記載の見守りシステムは、前記見守り対象者の状態についての報知を介護者に行う報知手段を有し、前記在床判定手段が在床していないと判定をする場合に、前記報知手段が出力する報知の態様は、前記在床判定手段が在床していないと判断をする以前に取得された前記熱画像情報に基づいて決定される、ことを特徴としてもよい。

（５）（１）乃至（４）のいずれかに記載の見守りシステムであって、前記熱画像情報取得手段は、前記見守り対象者が臥位を取るベッド床部上面を基準として、２０ｃｍ以上〜１ｍ５０ｃｍ以下の上方となる位置に配置される、ことを特徴としてもよい。

（６）（１）乃至（５）のいずれかに記載の見守りシステムであって、前記赤外線アレイセンサ基板の向きを調整することにより、前記複数のサーモパイル素子の受光面の向きを調整する手段を有する、ことを特徴としてもよい。

（７）（１）乃至（６）のいずれかに記載の見守りシステムであって、前記赤外線アレイセンサ基板においてマトリクス状に配列される前記熱画像情報を取得するためのサーモパイル素子は、１０２４個以下の個数となる、ことを特徴としてもよい。

（８）（３）に記載の見守りシステムであって、前記熱画像情報取得手段は、前記短辺側に背を向けて起き上がった前記見守り対象者の背部および両腕部を後ろ側から捉えることができる位置であって、前記短辺側を頭部側にして前記ベッドの長辺に沿って臥位を取る前記見守り対象者の頭部を捉えることができるように設置され、前記見守りシステムは、前記熱画像情報取得手段から取得される前記熱画像情報に基づいて、前記見守り対象者の死に際の兆候を検知する看取り検知手段を、ことを特徴としてもよい。

（９）矩形状のベッドにおける予め定められた短辺側を頭部側にし、前記ベッドの長辺に沿って臥位を取る見守り対象者の起き出し挙動を検知する見守り方法であって、外部からの赤外線を受光する複数のサーモパイル素子がマトリクス状に配列された赤外線アレイセンサ基板から、所定領域における温度分布を示すデータを熱画像情報として取得する熱画像情報取得ステップと、前記熱画像情報取得ステップによって取得された前記熱画像情報に基づいて、前記見守り対象者の起き出し挙動の判断をする起き出し挙動判断ステップと、を有し、前記熱画像情報取得ステップでは、天井よりも下方において、前記短辺側に背を向けて起き上がった前記見守り対象者の背部および両腕部を後ろ側から捉えて前記熱画像情報を取得する、ことを特徴とする見守り方法。

（１０）矩形状のベッドにおける予め定められた短辺側を頭部側にし、前記ベッドの長辺に沿って臥位を取る見守り対象者の起き出し挙動を検知するプログラムであって、外部からの赤外線を受光する複数のサーモパイル素子がマトリクス状に配列された赤外線アレイセンサ基板から、所定領域における温度分布を示すデータを熱画像情報として取得する熱画像情報取得手段、前記熱画像情報取得手段によって取得された前記熱画像情報に基づいて、前記見守り対象者の起き出し挙動の判断をする起き出し挙動判断手段、として、コンピュータを機能させ、前記熱画像情報取得手段は、天井よりも下方において、前記短辺側に背を向けて起き上がった前記見守り対象者の背部および両腕部を後ろ側から捉えられた前記熱画像情報を取得する、ことを特徴とするプログラム。

（１１）矩形状のベッドにおける予め定められた短辺側を頭部側にし、前記ベッドの長辺に沿って臥位を取る見守り対象者の起き出し挙動を検知する見守りシステムであって、外部からの赤外線を受光する複数のサーモパイル素子がマトリクス状に配列された赤外線アレイセンサ基板を有して、所定領域における温度分布を示すデータを熱画像情報として取得する熱画像情報取得手段と、前記熱画像情報取得手段によって取得された前記熱画像情報に基づいて、前記見守り対象者の起き出し挙動の判断をする起き出し挙動判断手段と、を備え、前記熱画像情報取得手段は、天井よりも下方となる位置での配置であって、前記短辺側に背を向けて起き上がった前記見守り対象者の背部および両腕部を後ろ側から捉えて前記熱画像情報を取得するように配置され、前記起き出し挙動判断手段は、前記見守り対象者の前記ベッドにおける起き出し挙動を推定するための学習済みモデルに基づいて、起き出し挙動の判断をし、前記学習済みモデルは、矩形状ベッドで所定の短辺側を頭部側にして長辺に沿って臥位を取る者が当該矩形状ベッドを起き出すまでに取り得る姿勢の様子を、前記臥位を取る者が前記所定の短辺側を背にして起き上がる際の背部および両腕部を後ろ側から捉えることができる位置から取得した前記熱画像情報を入力データとし、前記入力データに対応する姿勢に関する情報を教師データとした機械学習によって構築される、ことを特徴とする見守りシステム。

（１２）（１１）に記載された見守りシステムであって、前記入力データには、前記所定の短辺側を頭部側にして臥位を取る者がいる状態の第１熱画像情報、前記所定の短辺側に背を向けて座位を取る者がいる状態の第２熱画像情報、前記矩形状ベッドの一方の長辺にて端座する姿勢を取る者がいる状態の第３熱画像情報、前記矩形状ベッドにおける布団上で立ち上がった姿勢を取る者がいる状態の第４熱画像情報、のうちの少なくとも１種類が含まれ、前記第１熱画像情報が含まれる場合の前記第１熱画像情報には、前記臥位の姿勢を示す教師データが対応付けられ、前記第２熱画像情報が含まれる場合の前記第２熱画像情報には、前記座位の姿勢を示す教師データが対応付けられ、前記第３熱画像情報が含まれる場合の前記第３熱画像情報には、前記端座する姿勢を示す教師データが対応付けられ、前記第４熱画像情報が含まれる場合の前記第４熱画像情報には、前記立ち上がった姿勢を示す教師データが対応付けられる、ことを特徴としてもよい。

（１３）（１１）乃至（１２）のいずれかに記載されたプログラムであって、前記入力データとなる前記熱画像情報は、静止画像となる前記熱画像情報、および、動画像となる前記熱画像情報のうちの少なくとも一方を含んで構成される、ことを特徴としてもよい。

（１４）（１１）乃至（１３）のいずれかに記載の見守りシステムは、前記赤外線アレイセンサ基板の向きを調整することにより、前記複数のサーモパイル素子の受光面の向きを調整する手段を有する、ことを特徴としてもよい。

（１５）矩形状のベッドにおける予め定められた短辺側を頭部側にし、前記ベッドの長辺に沿って臥位を取る見守り対象者の起き出し挙動を検知する見守り方法であって、外部からの赤外線を受光する複数のサーモパイル素子がマトリクス状に配列された赤外線アレイセンサ基板から、所定領域における温度分布を示すデータを熱画像情報として取得する熱画像情報取得ステップと、前記熱画像情報取得手段によって取得された前記熱画像情報に基づいて、前記見守り対象者の起き出し挙動の判断をする起き出し挙動判断ステップと、を有し、前記熱画像情報取得ステップでは、天井よりも下方において、前記短辺側に背を向けて起き上がった前記見守り対象者の背部および両腕部を後ろ側から捉えて前記熱画像情報を取得し、前記起き出し挙動判断ステップでは、前記見守り対象者の前記ベッドにおける起き出し挙動を推定するための学習済みモデルに基づいて、起き出し挙動の判断をし、前記学習済みモデルは、矩形状ベッドで所定の短辺側を頭部側にして長辺に沿って臥位を取る者が当該矩形状ベッドを起き出すまでに取り得る姿勢の様子を、前記臥位を取る者が前記所定の短辺側を背にして起き上がる際の背部および両腕部を後ろ側から捉えることができる位置から取得した前記熱画像情報を入力データとし、前記入力データに対応する姿勢に関する情報を教師データとした機械学習によって構築される、ことを特徴とする見守り方法。

（１６）矩形状のベッドにおける予め定められた短辺側を頭部側にし、前記ベッドの長辺に沿って臥位を取る見守り対象者の起き出し挙動を検知するプログラムであって、外部からの赤外線を受光する複数のサーモパイル素子がマトリクス状に配列された赤外線アレイセンサ基板から、所定領域における温度分布を示すデータを熱画像情報として取得する熱画像情報取得手段、前記熱画像情報取得手段によって取得された前記熱画像情報に基づいて、前記見守り対象者の起き出し挙動の判断をする起き出し挙動判断手段、として、コンピュータを機能させ、前記熱画像情報取得手段は、天井よりも下方において、前記短辺側に背を向けて起き上がった前記見守り対象者の背部および両腕部を後ろ側から捉えられた前記熱画像情報を取得し、前記起き出し挙動判断手段は、前記見守り対象者の前記ベッドにおける起き出し挙動を推定するための学習済みモデルに基づいて、起き出し挙動の判断をし、前記学習済みモデルは、矩形状ベッドで所定の短辺側を頭部側にして長辺に沿って臥位を取る者が当該矩形状ベッドを起き出すまでに取り得る姿勢の様子を、前記臥位を取る者が前記所定の短辺側を背にして起き上がる際の背部および両腕部を後ろ側から捉えることができる位置から取得した前記熱画像情報を入力データとし、前記入力データに対応する姿勢に関する情報を教師データとした機械学習によって構築される、ことを特徴とするプログラム。

（１７）矩形状のベッドにおける予め定められた短辺側を頭部側にし、前記ベッドの長辺に沿って臥位を取る見守り対象者の起き出し挙動を推定ための学習済みモデルの生成方法であって、外部からの赤外線を受光する複数のサーモパイル素子がマトリクス状に配列された赤外線アレイセンサ基板から、所定領域における温度分布を示すデータを熱画像情報として取得する熱画像情報取得ステップと、矩形状ベッドで所定の短辺側を頭部側にして長辺に沿って臥位を取る者が当該矩形状ベッドを起き出すまでに取り得る姿勢に関する情報を取得するステップと、前記熱画像情報取得ステップにて取得された前記熱画像情報を入力データとし、前記入力データに対応する前記姿勢に関する情報を教師データとして、機械学習により学習済みモデルを構築するステップと、を有し、前記熱画像情報取得ステップでは、前記臥位を取る者が前記矩形状ベッドを起き出すまでに取り得る姿勢の前記熱画像情報を、前記臥位を取る者が前記所定の短辺側を背にして起き上がる際の背部および両腕部を後ろ側から捉えることができる位置にて取得する、ことを特徴とする学習済みモデルの生成方法。

本発明によれば、見守り対象者がベッドにおいて危険な動作に入ることを早い段階で察知することにより、介護施設等におけるベッド周りの事故を未然に防ぐことができる見守りシステム、見守り方法およびプログラムを提供することができる。

本発明の第１実施形態に係る見守りシステムの概略的構成を示す図である。 被介護者用装置が配置された見守り対象者の部屋にて、見守り対象者が就寝している様子を説明するための図である。 被介護者用装置が配置された見守り対象者の部屋にて、見守り対象者が起き上がった様子を説明するための図である。 熱画像情報取得手段の組み立て分解図である。 熱画像情報取得手段にて取得される熱画像情報を説明する図である。 第１実施形態に係る見守りシステムの機能的構成を説明するための図である。 第１実施形態に係る見守りシステムにおける見守り対象者の状態判断処理のフローの例を示す図である。 第１実施形態に係る見守りシステムを利用する介護人等に提示される表示画面の例を示す図である。 第４実施形態に係る見守りシステムを利用する介護人等に提示される表示画面の例を示す図である。

［第１の実施形態］
以下に、本発明の第１の実施形態に係る被介護者の見守りシステム１について説明する。

図１は、本発明の第１の実施形態に係る見守りシステム１の概略的構成を示す図である。同図で示されるように、本実施形態の見守りシステム１は、介護者用の管理サーバ装置Ｓ１と、介護者の各人が所有する介護者用端末Ｓ２と、被介護者のそれぞれの部屋にて設置される被介護者用装置Ｄ１を含んで構成される。管理サーバ装置Ｓ１と、介護者用端末Ｓ２と、被介護者用装置Ｄ１は、ネットワーク回線を通じて接続されており、被介護者用装置Ｄ１から取得される見守り対象者の状況に関して、介護者用の各装置に伝達されるようになっている。

管理サーバ装置Ｓ１、介護者用端末Ｓ２、被介護者用装置Ｄ１は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory） 等の記憶素子、ならびに、ハードディスクやＳＳＤ（Solid State Drive）等によって構成される記憶領域と、ＣＰＵ（Central Processing Unit）等のプログラム制御デバイスを含むことによって実現される。管理サーバ装置Ｓ１、介護者用端末Ｓ２、被介護者用装置Ｄ１は、記憶領域に格納されたプログラムをＣＰＵが実現することによって各機能が実現される。

図２Ａ及び図２Ｂは、被介護者の部屋にて設置される被介護者用装置Ｄ１を説明するための図であり、本実施形態における被介護者用装置Ｄ１は、本体装置Ｍと在床センサＥＳを含んで構成される。また図３は、本実施形態において使用される熱画像情報取得部ＴＧの組み立て分解図であり、熱画像情報取得部ＴＧは、本体装置Ｍにおいて組み込まれる。本体装置Ｍは、図２Ａ等にて示されるようにベッド上方に配置されて、図２Ａ等の奥行き方向の位置に関しては、矩形状ベッドの短辺の略中央に対応する位置に熱画像情報取得部ＴＧがくるように配置される。

図４は、熱画像情報取得部ＴＧから取得される２次元の熱画像情報（サーモグラフィマップ）の一例を説明するための図である。図４における左側の図は、熱画像情報における６４箇所のアドレスを示しており、中央の図における熱画像情報は、右側の写真のような枕側に背を向けて座っている状態から取得された６４の熱画素によるサーモグラフィマップとなっている。図４の中央のサーモグラフィマップにて示されるように、概ね中央にて、周囲よりも高温となる熱源の存在が検出されたものとなっている

図３で示される熱画像情報取得部ＴＧは、半導体素子ＳＭ、センサチップＳＣ、カバーＣＶ、シリコンレンズＳＬ、基板ＰＲを含んで構成される赤外線アレイセンサモジュールとなっている。センサチップＳＣには、ＭＥＭＳ構造による８×８の６４個のサーモパイル素子がマトリクス状に配列されており、各サーモパイル素子にはカバーＣＶの窓に固定されたシリコンレンズＳＬを介して、外部からの赤外線が受光されるようになっている。センサチップＳＣおよび半導体素子ＳＭは、基板ＰＲ（赤外線アレイセンサ基板）上にて固定され、これら全体がカバーＣＶによっておおわれるようになっている。

ここでとくに図２Ａ及び図２Ｂで示されるように、熱画像情報取得部ＴＧを含む本体装置Ｍは、見守り対象者が起き上がった際に背中側から２次元の熱画像情報を取得するように配置されている（図４参照）。

図２Ａのように、就寝時に頭部側となるようにあらかじめ定められた短辺の側（以下、本明細書において枕側ともいう）を頭部側にして臥位を取っている状態（以下、本明細書において、単に、臥位姿勢ともいう。）では、敷布団や掛布団が人間の体温によって温められている。見守り対象者が、図２Ａのような就寝状態から起き上がって図２Ｂのような座位姿勢を取ると、熱のこもった布団内部や胴体部分からの赤外線が周囲に放出されるようになる。とりわけ背中の部分（以下、本明細書において背部ともいう）は、比較的広い面積で露わになることになり、本実施形態の見守りシステム１は、このような点に着目して、就寝時に頭部側となるように予め定められた短辺の側から、見守り対象者の背部及び両腕部の熱画像情報を取得するようになっている。図２Ｂのように熱画像情報取得部ＴＧの配置をして、両腕部を含めた背部を捉えるようにすることで、サーモグラフィマップ内における見守り対象者の放熱領域を大きく検出することができ、危険な動作をし得る兆候を早い段階で察知することができるようになる。以下、見守りシステム１について、さらに詳細に説明をする。

図５は、本実施形態における見守りシステム１の機能的構成を示す図である。同図においては、管理サーバ装置Ｓ１と、被介護者用装置Ｄ１における機能的構成が示されているが、介護者用端末Ｓ２は管理サーバ装置Ｓ１の構成と共通する部分が多いため、以降の説明や表記を適宜省略するものとする。

被介護者用装置Ｄ１は、熱画像情報取得部ＴＧと、状態判断部ＳＪと、熱画像情報記憶部ＴＭと、学習モデル保持部ＬＭと、調整部ＡＪと、介護者通信部ＳＵとを含んで構成され、さらに状態判断部ＳＪは、起き出し挙動判断部ＧＪおよび起き出し推定部ＧＥと、在床判定部ＥＪを含んで構成される。また、管理サーバ装置Ｓ１は、報知部ＤＰを含んで構成される。

まず熱画像情報取得部ＴＧは、上述した図３のようなサーモパイル素子が配列された実装用のモジュールによって実現され、例えば、Ｇｒｉｄ−Ｅｙｅ（登録商標／パナソニック電工製）を使用してよい。このＧｒｉｄ−Ｅｙｅの仕様としては、視野角６０度、温度分解能０．２５度、毎秒１０回のデータ送信（毎秒１０フレーム）が可能となるものとなっている。

状態判断部ＳＪは、本体装置Ｍにおいて内装されるプリント基板上のコンピュータにて実現され、熱画像情報取得部ＴＧと接続されることによって熱画像情報を受け取って、見守り対象者の状態の判断をする。本実施形態における状態判断部ＳＪは、起き出し挙動判断部ＧＪと起き出し推定部ＧＥと、在床判定部ＥＪを含んでおり、状態判断部ＳＪは、起き出し挙動判断部ＧＪによる判断の結果（あるいは推定の結果）と在床判定部ＥＪによる判断の結果の双方に基づいて、見守り対象者の状態を出力するものとなっている。

また見守り対象者がベッドから離れた直後は、布団にて熱がこもっているため、熱画像情報取得部ＴＧにてノイズ要因となる赤外線を取得してしまう。すなわち図２Ａのように配置された熱画像情報取得部ＴＧ単独では、見守り対象者の離床の直後において、離床した状態であるのか、就寝した状態であるのかの判断がつきづらい状況となってしまう。このような事態に対応するため、本実施形態における見守りシステム１では、熱画像情報取得部ＴＧとともに在床センサＥＳを採用しており、見守り対象者が在床しているか否かの判定を在床センサＥＳに委ねるようにすることで、見守り対象者が離床した状態の判断の迅速性や確実性を向上させている。

起き出し挙動判断部ＧＪは、熱画像情報取得部ＴＧからの熱画像情報に基づいて、見守り対象者が枕に後頭部をのせて背部を床につけた臥位姿勢から上半身を起こしたかどうか、見守り対象者がベッドから降りようとしているかどうか等の、起き出し挙動がなされたかどうかの判断を行う。具体的には、前者は、図２Ｂや図４の写真のように、枕側に背を向けて座位姿勢を取っている状態（以下、本明細書において、単に、座位姿勢ともいうものとする）であるかどうかを判断するものであり、後者は、ベッドの外に起き出すべく、ベッドの縁で座った姿勢をとって足を下におろしている状態（以下、本明細書において、単に、端座姿勢ともいうものとする）であるかどうかを判断するものである。

本実施形態においては、これらの判断を起き出し推定部ＧＥによる推定結果に基づいて行うようになっており、起き出し推定部ＧＥは、本体装置Ｍ内の学習モデル保持部ＬＭにて保持されている学習済みのモデルを用いた推定処理を行う。

学習済みモデルは、例えば、図２Ａや図２Ｂのように設置された本体装置Ｍ内の熱画像情報取得部ＴＧから取得されるサーモグラフィマップに対して、そのときの状態（臥位姿勢、座位姿勢、端座姿勢など）をラベルとして、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）することで構築される。具体的には、臥位姿勢、座位姿勢、端座姿勢の状態から取得された熱画像情報を多数準備して、さらに各熱画像情報に対して姿勢に対応するラベルを付与し、例えば、ＧｏｏｇＬｅＮｅｔ等の畳み込みニューラルネットワークに入力することで、学習済みとなるモデルを構築することができる。

起き出し推定部ＧＥは、熱画像情報取得部ＴＧから取得された熱画像情報を、上述のような学習済みモデルに対しての入力とすることで、見守り対象者が起き出し挙動を取っている可能性の推定値を出力するようになっている。本実施形態における学習済みモデルでは、畳み込みニューラルネットワークの出力層がラベル（臥位姿勢、座位姿勢、端座姿勢）に対応した３要素となっており、出力層にソフトマックス関数が用いられることで、出力値（０〜１の間の値）が確率として解釈することができるようになっている。

またベッドとしては、頭部側となる短辺からみた場合に、柵や壁の存在によって、右方向または左方向のうちの一方向からの離床が他方向からの離床よりも容易となるように構成される場合も多くなっている。本実施形態における状態判断部ＳＪは、本体装置Ｍあるいは管理サーバ装置Ｓ１を介してこのような離床容易方向を示す情報を事前に受け入れることができるようになっており、離床容易方向を示す情報に基づいて見守り対象者による起き出し挙動の判断をするようにもなっている。

次に本実施形態の在床判定部ＥＪは、ベッドの床板下方にて配置される在床センサＥＳと、本体装置Ｍの内部のコンピュータによって実現される。在床判定部ＥＪは、在床センサＥＳからのＢｌｕｅｔｏｏｔｈ（登録商標）による信号を本体装置Ｍにて受信し、見守り対象者がベッド上に居るか居ないかの判定を行う。本実施形態における在床センサＥＳとしては、２４ＧＨｚのマイクロ波を使用したドップラーセンサを使用する。ドップラーセンサは、金属やセメント、水以外は透過して直接体表の動き（脈や呼吸）を感知する非接触用のバイタルセンサとなっており、例えば、ＬＳ−１０１Ｂ（ミオ・コーポレーション社製）を使用することができる。ドップラーセンサは、有効範囲を設定することで見守り対象者のベッドからの離床を比較的高い精度で検知することができ、図２Ａ及び図２Ｂのようにベッド下方に配置をしてもよいし、ベッドの上方にあたる天井に配置をしてもよい。また在床しているか否かを検知するためのセンサとしては、ドップラーセンサ以外のセンサを採用してもよく、例えば、ベッドの各脚に歪センサのような重量センサを設置することで実現してもよい。

学習モデル保持部ＬＭ及び熱画像情報記憶部ＴＭは、本体装置Ｍに内装されたプリント基板上の記憶素子によって実現される。上述したように、学習モデル保持部ＬＭは、起き出し推定部ＧＥにおける処理に供される学習済みモデルを保持しており、この学習済みモデルは、例えば、管理者サーバ装置Ｓ１からの入力により適宜更新されるものであってもよい。また熱画像情報記憶部ＴＭは、熱画像情報取得部ＴＧによって取得された熱画像情報を、ベッド周りの事故や起き出し挙動判断部ＧＪによる誤認識があった場合等のための検証用として、所定の期間（１日〜１０日程度）にわたって記録するためのものである。すなわち熱画像情報記憶部ＴＭからは、所定期間にわたって熱画像情報を取りだすことが可能になっており、例えば、本体装置Ｍの内部のプリント基板に予め接続されたカード型の記録媒体による取り出しであってもよいし、管理サーバ装置Ｓ１を経由して必要な熱画像情報を取りだすことができるようになっていてもよい。

次に、本実施形態における調整部ＡＪは、センサチップＳＣにおけるサーモパイル素子群の受光面を基準として垂直方向に出力されるように固定されたレーザポインタと、本体装置Ｍに内装されたプリント基板の向きを変動自在に固定する構造とによって構成される。図３の赤外線アレイセンサ基板は、本体装置Ｍにおける当該プリント基板上に固定されており、センサチップＳＣにおける受光面が間接的に固定されている。本体装置Ｍを設置する際に、レーザポインタを出力しつつセンサチップＳＣの受光面の向きを調整することで、枕側に背を向けて起き上って座位姿勢を取る見守り対象者の両腕部・背部をサーモグラフィマップの中央領域においてほぼ捉えられるようにする。

本体装置Ｍ等の設置時において、調整部ＡＪによりサーモパイル素子群の受光面の基準軸（レーザポインタの方向）をベッド中央部の所定位置に向かうように合わせこむことで、枕を背にして座位姿勢を取る見守り対象者のサーモグラフィマップ内に占める放熱領域を捉えることができて起き上り判断部ＧＪにおける判断精度が向上することとなる。なお調整部ＡＪとしては、このような態様には限定されない。

管理サーバ装置Ｓ１における報知部ＤＰは、状態判断部ＳＪにおける判断の結果に従って管理サーバ装置Ｓ１におけるディスプレイに表示をする。具体的には、後述する図７のように、起き出し挙動をした見守り対象者の表示がなされ、介護者が必要に応じた行動をとることができるようになっている。

また本実施形態における被介護者用装置Ｄ１は、介護者通信部ＳＵを含んでおり、介護者通信部ＳＵは、サウンド入出力装置、ディスプレイによって実現される。見守りシステム１では、起き出し挙動をした見守り対象者の部屋に介護者からの通話回線を開通することができるようになっており、見守り対象者を気遣う介護者からの音声や映像を出力するようになっている。

次に、図６は、本実施形態における見守りシステム１の状態判断処理と報知態様決定処理のフローチャートを示す図である。当該処理は、所定期間（例えば１秒）ごとに、被介護者用装置Ｄ１にて実行される。

まず、Ｓ１０１にて示されるように、在床判定部ＥＪにて、見守り対象者が在床しているか否かの判定がなされる。見守り対象者が在床している場合（ＹＥＳの場合）には、Ｓ１０２、Ｓ１０３、Ｓ１０４に進み、熱画像情報取得部ＴＧにて取得される熱画像情報を学習済みモデルに入力することにより、臥位姿勢にあるのか、座位姿勢にあるのか、端座姿勢にあるのかの推定結果を得る処理が実行される。臥位姿勢にある場合には、Ｓ１０８に進み、座位姿勢や端座姿勢にあると推定される場合には、Ｓ１０５に進む。またＳ１０４においては、事前に入力された離床容易方向を示す情報をも参照されて、端座姿勢にあるか否かの推定処理が実行される。また、いずれの姿勢にもないと推定されてしまう場合には、再びＳ１０１に戻って、取得される熱画像情報による推定処理を繰り返す状態となる。

座位姿勢や端座姿勢にあると推定された場合（Ｓ１０３、Ｓ１０４にてＹＥＳの場合）は、Ｓ１０５に進んで、管理サーバ装置Ｓ１における報知部ＤＰが第１の報知を実行するように決定をする。Ｓ１０５の後は、Ｓ１０６にて介護者による確認の入力があったか否かを判定する処理を実行する。この確認入力は、管理サーバ装置Ｓ１（あるいは、介護者用端末Ｓ２）上のアプリケーション等において行われるが、実際に、見守り対象者の部屋を確認した後に入力されてもよいし、確認入力後に、見守り対象者の部屋に向かうのであってもよい。Ｓ１０６においてＹＥＳとなる場合には、Ｓ１０５において実行された第１の報知を所定期間にわたって停止する処理が行われる（Ｓ１０７）。また、確認入力がない場合には、第１の報知がなされている状態を継続したまま、再びＳ１０１に戻って熱画像情報による推定処理を繰り返す。なお、Ｓ１０７を経由して再びＳ１０１に戻される場合、再びＳ１０５に至る場合があるが、所定の期間は、第１の報知を実行されないように留保（停止）されるようになっている。

次に、Ｓ１０２にてＹＥＳとなる場合について説明をする。見守り対象者が臥位姿勢にあると推定されてＳ１０８に進む場合は、比較的安全な状態であると想定されるが、何事もなく就寝している状態が続いている場合もあれば、起き出し挙動が直前になされた場合もある。Ｓ１０８では、Ｓ１０５やＳ１１１による報知の状態（Ｓ１０７等にて一時停止されている場合も含む）が継続しているか否か、が判断され、報知の状態が継続している場合（ＹＥＳの場合）には、Ｓ１０９の処理を実行する。そしてＳ１０９においては、例えば、臥位姿勢の推定確率が６０秒以上にわたって８０％以上で維持されている等の基準により、再就寝に入ったか否かが判断される。再就寝に入ったと判断される場合には、見守り対象者が安全な状態に戻ったとして、Ｓ１０５やＳ１１１にて実行された報知や、一時停止されている報知の状態が解除されることになる（Ｓ１１０）。Ｓ１１０の後や、Ｓ１０８やＳ１０９にてＮＯとなる場合は、再びＳ１０１に戻されて熱画像情報による推定処理が繰り返される。

そしてさらにＳ１０１において、在床判定部ＥＪが、見守り対象者がベッドから離床したとする判定をする場合には、Ｓ１１１に進んで、離床した旨の報知を実行する。この離床報知が実行されるのは、Ｓ１０５の第１の報知が実行されている状態でなされる場合（Ｓ１０７にて一時停止されている場合も含む）や、Ｓ１０２やＳ１０８を経た状態でなされる場合（見守り対象者が比較的安全な状態で臥位姿勢を取っている場合）や、臥位姿勢や座位姿勢、端座姿勢等のいずれでもないと推定されている状態でなされる場合（Ｓ１０４でＮＯとなる場合）がある。本実施形態におけるＳ１１１での管理サーバ装置Ｓ１の報知部ＤＰの報知態様は、Ｓ１１１に至る以前に熱画像情報取得部ＴＧによって取得された熱画像情報に基づいて（Ｓ１１１に至る以前の起き出し判断部ＧＪの判断結果に基づいて）、決定されるようになっており、見守り対象者の状況に応じたものとなる。

Ｓ１１１にて離床報知を行ったのちは、Ｓ１１２に進んで、Ｓ１０６の場合と同様に介護者による確認の入力があったか否かを判定する処理を実行する。また確認入力を検出した場合（ＹＥＳとなる場合）には、Ｓ１１１において実行された離床報知を所定期間にわたって停止する処理が行われる（Ｓ１１３）。

図７は、管理サーバ装置Ｓ１における表示画面の一例を示す図である。図７における左側のウィンドウには、施設の見取り図と、各部屋における見守り対象者の状態が表示されている。３０１号室や３０３号室等の、特に表示がない部屋は、空室あるいは、見守り対象者に異常が生じていないことを示している。また図７における右側のウィンドウには、状況の確認を要する部屋との通信回線を開くためのボタン（３０２コール等のボタン）や、介護者による確認アクションの内容を入力するためのボタン（通信確認、現場確認のボタン）が表示されている。通信回線を開くボタンをマウスポインタにて押下すると、ナースコールにより、見守り対象者との通話が可能となるようになっている。

ここで図６においては、Ｓ１０５では第１の報知が実行され、Ｓ１１１では離床報知が実行されるが、３０２号室、３０７号室、３１１号室がこれらの報知態様に対応している。

まず３０２号室については、報知部ＤＰが第１の報知を実行していることにより「起」の文字が表示されている（Ｓ１０５）。第１の報知がなされるのは、見守り対象者が座位姿勢、又は、端座姿勢にある場合であって、危険な動作を取る可能性があるため注意を要する状態であり、介護者としてはこの時点で、何らかの確認行動を取ることが望まれる。しかしながら、単に起き上がる姿勢である、あるいは、ベッドから正しく降りようとする姿勢でもあるため、介護者としては、見守り対象者の個別の事情から判断する等により、差し迫った状況ではないと認識することも考えられる。

次に３０７号室については、報知部ＤＰが、離床報知を実行していることにより「離」の文字が表示されている（Ｓ１１１）。３０７号室における「離」の報知（以下、第２の報知ともいう。）は、それ以前にてＳ１０５の第１の報知（「起」の表示）が実行されていることが前提となっている。見守り対象者としては、座位状態、又は、端座状態を取った後にベッドから離れるという行動を取っており、室内トイレ等のために一時的に離床しているのかもしれないが、ベッドから落下をしてけがをしている可能性や、徘徊をはじめた可能性もある。第１の報知が既になされているため、介護者にとっては想定内の状況ではあるものの、状況に進展があったことには変わりなく、介護者には適切な対処が望まれる（例えば、徘徊の可能性を想定し、通信回線をするよりも現場確認を優先すべき状況となる）。

そして３１１号室については、報知部ＤＰが離床報知を実行していることにより、「緊」の文字が強調された表示となっている（Ｓ１１１）。３１１号室における「緊」の強調表示（以下、第３の報知ともいう）は、Ｓ１１１に至る以前の見守り対象者の状態が、臥位姿勢にあると推定される場合等（Ｓ１０２でＹＥＳとなる場合やＳ１０４でＮＯとなる場合）であることが前提となっている。すなわちＳ１１１にて第３の報知がなされるのは、見守り対象者が座位状態や端座状態をせずに、突然、ベッドから離れてしまった場合に対応している。寝相が悪くて落ちたのかもしれないし、ベッドから正しく降りる姿勢を取らずに危険な落ち方をしてしまったのかもしれない。いずれにせよ、介護者としては見守り対象者の状況を迅速に確認することが望まれる。

なお、３１０号室については、報知部ＤＰの制御により、「（寝）」の文字が表示されている。この表示は、Ｓ１０９の再就寝推定処理にて、見守り対象者が再び眠りについたと判断される場合にて一時的に出力される表示であり、第１の報知や離床報知が解除された後（Ｓ１１０）に表示されるものとなっている。この「（寝）」の表示は、所定期間経過後、消滅するようになっている。上記の図６のフローチャートでは、Ｓ１１０にて第１の報知等を解除するとしているが、第１の報知等を解除しつつも、このような表示を一時的にするように制御してもよい。

そして本実施形態の見守りシステム１においては、布団に残存する見守り対象者の体温がノイズ要因となることから、ベッドに在床しているか否かの判断については、起き出し挙動判断手段ＴＧによる熱画像情報に基づく判断よりも在床判定部ＥＪによる判定を優先させている。

在床判定部ＥＪによって在床していないと判定される場合の報知部ＤＰによる介護者への報知の態様は、当該報知をするタイミング前に取得された熱画像情報による判断を反映させている。すなわちＳ１１１においては、見守り対象者が座位姿勢や端座姿勢を取っている可能性が小さいと判断される状態の後に突然ベッドから転落するような場合には、「緊」の表示（第３の報知）をするようにしており、座位姿勢や端座姿勢を取っている可能性が大きいと判断される状態の後にベッドから離れたような場合には、「離」の表示（第２の報知）をするようにしている。このようにして見守り対象者が離床した際の介護者への報知態様が決定されることで、介護者にとって有意な情報が円滑に伝達できる見守りシステム１が実現される。

また、在床センサＥＳとしては、ドップラーセンサを用いるのが好適であり、ベッド床部の下方や、ベッドの上方となる天井に設置する。本実施形態の見守りシステム１は、ドップラーセンサを使用することで、在床状態だけでなく、見守り対象者の脈拍や呼吸をも検知することができるようになり、毎夜の見守りだけでなく、看取りやターミナルケアの際にも流用できるようになる。また死に際の１０分〜２０分程前は、脈拍や呼吸の変化からの兆候は捉えにくいものの、見守り対象者の体温が急速に低下していく傾向にあるため、布団が掛けられて就寝する見守り対象者の頭部の熱画像情報を取得することで、最期の兆候をより確実に捉えることができるようになる。

したがって熱画像情報取得部ＴＧとしては、矩形状ベッドの予め定められた短辺側に背を向けて起き上がった見守り対象者の背部および両腕部を後ろ側から捉えることができる位置であって、かつ、当該短辺側に頭部を向けてベッド長辺に沿って臥位を取る見守り対象者の頭部（あるいは、短辺側におかれた枕）を捉えることができるように設置されるようにするのが好適である。また見守りシステム１では、見守り対象者を看取るための看取り検知手段（図５において不図示）をさらに備えており、看取り検知手段は、熱画像情報取得部ＴＧから取得される熱画像情報に基づいて、死に際の兆候を捉えるようになっている。この看取り検知手段としては、ドップラーセンサから取得される情報に基づいて呼吸や脈拍が正常な状態から逸脱しているか否かの判断をしつつ、さらに熱画像情報からの体温の低下が発生しているか否かの判断をするようにすることで、より確実に、最期の兆候を捉えることができるようになる。

［第２の実施形態］
次に、本発明の第２の実施形態に係る見守りシステム１についての説明をする。

第１の実施形態における見守りシステム１では、起き出し推定部ＧＥが、学習済みモデルに基づいて見守り対象者が座位姿勢や端座姿勢を取っている可能性を推定し、その推定結果に基づいて起き出し挙動の判断をするようにしているが、第２の実施形態においては、熱画像情報取得部ＴＧが取得する熱画像情報が、所定の基準を満たしているか否かにより見守り対象者の姿勢を判断するようにしている点で相違している。

具体的には、本体装置Ｍにて実装された記憶素子にて、座位姿勢であるかどうかを判断するための基準や端座姿勢であるかどうかを判断するための基準、さらに、臥位姿勢であるかどうかを判断するための基準が保存されており、起き出し挙動判断部ＧＪは、これらの基準を参照して、取得された熱画像情報から起き出し挙動の判断を行う。これらの基準としては、例えば、サーモグラフィマップの所定領域の複数個のエレメントにて所定値以上の温度変化量が生じて、かつ、一定時間の間、その状態が持続した場合に各姿勢が成立していると判断をする、というものや、サーモグラフィマップの所定領域内のエレメントにて所定値以上の温度が一定期間にわたって検出された場合に各姿勢が成立していると判断をするというようなものである。前者の場合には、例えば、比較的長期にわたる期間（数分以上）の平均的なサーモグラフィマップを保持しておき、当該サーモグラフィマップを基準として所定値以上となる温度変化量が、一定期間の間、持続して発生しているかどうかにより判断をすればよい。また基準とするサーモグラフィマップとしては、他の方法で生成をしてもよく、例えば、臥位姿勢を取っている者がいる状態やベッドに誰もいない状態等のようなサーモグラフィマップを、ベッドにおける変化や異常を判断するための基準となる状態に対応した基準熱画像情報としてあらかじめ取得しておいて用いるようにしてもよい。

例えば、臥位姿勢の場合には、サーモグラフィマップの中央部分を基準として枕側に対応する領域（４〜８行目かつ３〜６列目のアドレス対応する領域（図４参照））において所定値以上の温度が検出される熱画素が２か所以上存在する状態が、５秒以上存在するか否かにより判断するようしてよい。また、座位姿勢の場合には、サーモグラフィマップの中央部分に対応する所定領域（３〜６行目、３〜６列目のアドレスに対応する領域）内の４〜９か所のアドレスで所定値以上の温度変化量（あるいは、所定値以上の温度）が検出されて、かつ、３秒以上の間、その温度変化量が発生した状態が持続するか否かにより判断するようにしてよい。そして、端座姿勢の場合には、中央部分を基準として離床容易方向に対応する側の領域（例えば、３〜６行目かつ１〜３列目のアドレスに対応する領域）内の２〜６か所のアドレスにて所定値以上の温度変化量（あるいは所定値以上の温度）が検出されて、かつ、３秒以上の間、その温度変化量が発生した状態が持続するか否かにより判断するようにしてよい。

また、連続的に取得される複数のサーモグラフィマップ間で、所定の傾向を示すような変化が生じているか否かにより判断をするようにしてもよい。例えば、座位姿勢の場合においては、複数フレームの熱画像情報に基づいて、所定値以上の温度が検出されるアドレスが、サーモグラフィマップの下方の領域から上方の領域のほうに移っていったか否か（あるいは延伸していくか否か）によって判断されるようにしてもよい。また上述したような他の基準と組み合わせて、複数の基準に基づいて姿勢が成立しているか否かを判断するようにしてもよい。

以上のような点を除いて、第２の実施形態における見守りシステム１の構成は、第１の実施形態における見守りシステム１の構成とほぼ同様であるため説明を省略するものとする。

［第３の実施形態］
次に、本発明の第３の実施形態に係る見守りシステム１についての説明をする。

上記の第１の実施形態においては、学習モデル保持部ＬＭに記録された学習済みモデルを構築するためのデータセットに、臥位姿勢をとった状態の熱画像情報を入力データとして、これに「臥位姿勢」を示す情報を教師データとしてラベルづけしたものと、座位姿勢をとった状態の熱画像情報を入力データとして、これに「座位姿勢」を示す情報を教師データとしてラベルづけしたものと、端座姿勢をとった状態の熱画像情報を入力データとして、これに「端座姿勢」を示す情報を教師データとしてラベルづけしたものとが含まれて構成される。そして第１の実施形態における見守りシステム１では、これら３つの姿勢を取っている可能性を推定するようになっているが、第３の実施形態における見守りシステム１にて保持される学習済みモデルは、臥位姿勢と臥位姿勢以外の姿勢とを分類できるように構築されている点で、第１の実施形態の場合と相違している。

第３の実施形態おいて学習済みモデルを構築するためのデータセットとしては、背部を床につけて仰向けとなる臥位姿勢を取る者がいる状態の熱画像情報や、側臥位や伏臥位といった姿勢を取る者がいる状態の熱画像情報を入力データとし、これらに、「臥位姿勢」を示す情報をラベルづけしたものを用いる。またこの「臥位姿勢」のラベルづけをする入力データには、例えば、寝返りを打つ最中の姿勢を取っている状態の熱画像情報なども含めるようにしてもよい。

また、第３の実施形態における状態判断処理と報知内容決定処理に関しては、図６におけるＳ１０３、Ｓ１０４の処理を省略する代わりに、臥位姿勢の推定確率に応じて、第１の報知が実行されるか、そのままＳ１０１に戻されることになるかを決定するようにする。具体的には、Ｓ１０２にてＮＯとなる場合において、臥位姿勢の推定確率が５０％以下であればＳ１０５に進むようにし、臥位姿勢の推定確率が９０％未満、５０％よりも大きくなる場合には、Ｓ１０１に戻る等のように決定されるようにする。

以上のような点を除いて、第３の実施形態における見守りシステム１の構成は、第１の実施形態における見守りシステム１の構成とほぼ同様であり、ほぼ同様となる構成についての説明は省略するものとする。

［第４の実施形態］
次に、本発明の第４の実施形態に係る見守りシステム１についての説明をする。

まず第４の実施形態においては、第１の実施形態の場合と同様に、学習モデル保持部ＬＭに記録された学習済みモデルを構築するためのデータセットに、臥位姿勢をとった状態の熱画像情報を入力データとして、これに「臥位姿勢」を示す情報を教師データとしてラベルづけしたものと、座位姿勢をとった状態の熱画像情報を入力データとして、これに「座位姿勢」を示す情報を教師データとしてラベルづけしたものと、端座姿勢をとった状態の熱画像情報を入力データとして、これに「端座姿勢」を示す情報を教師データとしてラベルづけしたものとが含まれて構成される。そしてさらに第４の実施形態においては、姿勢に関する３種類の情報のほかに、「危険姿勢」を示す情報を取得して、これらをラベルとして使用している点で相違している。具体的には、学習済みモデルを構築するためのデータセットに、ベッド上で危険な姿勢を取っている状態の熱画像情報を入力データとして、これに「危険姿勢」を示す情報を教師データとしてラベルづけしたものを含ませるようにしており、畳み込みニューラルネットワークの出力層が４つの要素に対応したものとなっている。

また図８は、第４の実施形態における見守りシステム１の状態判断処理と報知態様決定処理のフローチャートを示す図である。

見守りシステム１の状態判断処理と報知態様決定処理のフローチャート上における、第４の実施形態と第１の実施形態における主な相違点は、見守り対象者が危険姿勢を取っている可能性を推定する処理（Ｓ４０５）と、座位姿勢の推定確率が高い場合にその旨の報知を行う処理（Ｓ４０６）と、端座姿勢の推定確率が高い場合にその旨の報知を行う処理（Ｓ４０７）と、危険姿勢の推定確率が高い場合にその旨の報知を行う処理（Ｓ４０８）が実行される点であり、さらに、離床報知の処理（Ｓ４１４）における処理の内容においても相違点がある。

「危険姿勢」は、見守り対象者がベッド上で立ち上がるような姿勢や、離床非容易方向から降りようとしている姿勢等、危険な姿勢を取っている状態をいう。管理者サーバ装置Ｓ１の報知部ＤＰは、見守り対象者の姿勢に対応した報知を実行し（Ｓ４０６〜Ｓ４０８）、さらに、離床報知の処理（Ｓ４１４）においては、既になされている報知に応じた報知態様にする。

離床報知（Ｓ４１４）では、例えば、「危険姿勢」を取ってベッドから離床した場合には、一刻を争いかねない状態であるため、図７の「緊」というような表示をする。また、「端座姿勢」を取ってベッドから離床した場合には、比較的安全な離床の仕方をしているため、「離」のような表示をする。さらに、「座位姿勢」を取ってベッドから離床した場合には、ベッド外にあるスイッチ等を押そうとして落下してしまった等のことが想定され、こちらも「緊」のような表示をする。

以上のような点を除いて、第４の実施形態における見守りシステム１の構成は、第１の実施形態における見守りシステム１の構成とほぼ同様であり、ほぼ同様となる構成についての説明は省略するものとする。

なお、上記の第４の実施形態においては、４種類のラベルに対応したデータセットを用いた機械学習により学習済みモデルを構築するようにしているが、例えば、「座位姿勢」の１種類のみのラベルに対応したデータセットによって学習済みモデルを構築するようにしてもよいし、いずれか１種類あるいは複数種類のラベルに対応したデータセットによって学習済みモデルを構築するようにしてもよい。またさらに多くの種類のラベルに対応したデータセットを用いるようにしてもよい。

なお、上述の第１の実施形態等では、深層学習技術によって、熱画像情報からの見守り対象者の姿勢を認識するようにしているが、その他の人工知能活用型のコンピュータや制御システムを用いるようにしてもよい。また、Ｇｏｏｇｌｅｎｅｔとは別の畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｅｎｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や、サポートベクタマシン、ガウス過程、決定木などのニューラルネットワーク以外の機械学習が用いられてもよい

なお、上記の第１の実施形態においては、６４個のサーモパイル素子によって６４箇所のアドレスに対応する温度情報を取得する赤外線アレイセンサモジュールを使用しているが、本発明はこの態様に限定されない。また、取得される熱画像情報の解像度を向上させる処理を行うようにしてもよい。赤外線アレイセンサモジュールとしては、例えば、温度情報の出力をするサーモパイル素子が１０２４個以下となるものを使用するのが好適であり、５１２個以下や２５６個以下、あるいは１２８個以下となるものを使用するのが望ましい。サーモパイル素子数が少なくなるほど、サーモグラフィマップの空間的な分解能が低下するものの、ソフトウェア上の処理負荷が低減されてセンサコストも抑えることができ、プライバシー保護の観点でも介護施設や見守り対象者等から受け入れられやすい傾向にある。

なお、上記の第１の実施形態においては、熱画像情報取得部ＴＧの高さ方向の設置位置が、ベッド床部よりも上方であって、天井よりも下方となる位置の壁際となっているが、本発明はこのような態様には限定されず、少なくとも、枕のおかれた短辺側を背にして座位姿勢を取る見守り対象者の背部と両腕部を、後ろ側から捉えられるように設置すればよい。具体的な設置場所としては、例えば、見守り対象者が臥位姿勢を取る布団が置かれるベッド床部上面を基準として、上方に２０ｃｍ以上１５０ｃｍ以下、あるいは、上方に３０ｃｍ以上１２０ｃｍ以下となる位置に設置するのが好適であり、上方に４０ｃｍ以上１００ｃｍ以下とするのがより望ましい。また、熱画像情報取得部ＴＧの、図２における奥行き方向の設置位置としては、矩形状ベッドの２つの長辺の延長線上の間（あるいは、２つの長辺の間）に挟まれた個所に設置するのが望ましいが、この態様には限定されず、背部や両腕部を後ろ側から捉えることができる位置であれば、例えば、ベッドの長辺（長辺の延長線）から５０ｃｍ以下の距離となる長辺の外側の場所であってもよい。また、熱画像情報取得部ＴＧの、図２Ａにおける横方向の設置位置としては、同図で示されるように、矩形状ベッドの枕側の短辺とほぼ重複する位置に設置してもよいが、この態様には限定されず、背部や両腕部を捉えることができる位置であれば、例えば、枕側の短辺から８０ｃｍ以下あるいは５０ｃｍ以下の距離をおいてベッドの外側となる位置に配置されてもよいし、枕側の短辺を基準として、ベッドの長辺の１／５以下あるいは１／１０以下となる長さの範囲内で見守り対象者側に配置されてもよい。

なお、上記の実施形態においては、管理者サーバ装置Ｓ１による説明を中心にして介護者用端末Ｓ２の説明を省略しているが、図７と同様の表示画面が各介護者端末Ｓ２において共有されるようにしてよい。通信確認や現場確認のボタンが介護者の誰かに押下された状態が共有されることで、介護施設や病院における作業の分担が効率的に図られるようになる。

なお、上記の実施形態における学習済みモデルを構築するための入力データとして用いられる熱画像情報としては、１又は複数フレームのデータによって生成される静止画によるものであってもよいし、複数フレームのデータによって生成される動画によるものであってもよい。また、起き出し推定部ＧＥの入力となる熱画像情報についても、熱画像情報取得部ＴＧから取得される１又は複数フレームのデータであってもよいし、複数フレームのデータが平均化されて生成される静止画によるものであってもよく、複数フレームのデータによる動画によるものであってもよい。

なお、上記の実施形態においては、管理者サーバ装置Ｓ１や介護者用端末Ｓ２にて、図７のような表示画面上にて見守り対象者の状態についての報知がなされるようになっているが、このような態様には限定されない。管理者サーバ装置Ｓ１等がなくとも、例えば、各部屋の入口扉付近に赤と青のランプを設置し、Ｓ１０５の報知を行う際には赤のランプが点灯するようにし、Ｓ１１１の報知を行う際には青のランプが点灯するようにしてもよい。

なお、上記の実施形態においては、被介護者用装置Ｄ１の本体装置Ｍにて学習済みモデルが記録されているが、この学習済みモデルとしては、管理サーバ装置Ｓ１から供給されるようにしてもよい。管理サーバ装置Ｓ１から定期的にアップデートされることで、見守り対象者の姿勢推定処理の正確性を向上させていくことができる。また学習済みモデルとしては、姿勢に対応した熱画像情報以外の入力（例えば、見守り対象者の身長や部屋の室温と言った特徴量）をも加味して構築されるようにしてもよく、姿勢推定処理の際に、そのような入力が受け付けられるようにすることで、推定処理の正確性を向上させるようにしてもよい。

なお、見守りシステム１としては、管理サーバ装置Ｓ１や被介護者用装置Ｄ１がＬＡＮ回線によって接続されてもよいし、ＷＡＮのような広域的な回線にて相互に接続されていてもよい。また図７のような表示画面としては、管理サーバ装置Ｓ１にてインストールされたウェブブラウザにより提供されるようにしてもよいし、専用のクライアントソフトの使用により提供されるようにしてもよい。

また本発明は、上述した実施形態に限定されるものではなく種々の変形が可能である。例えば、上記の実施形態で説明した構成は、実質的に同一の構成、同一の作用効果を奏する構成、又は同一の目的を達成することができる構成で置き換えることができる。

１ 見守りシステム、Ｓ１ 管理者サーバ装置、Ｓ２ 介護者用端末、Ｄ１ 被介護者用装置、Ｍ 本体装置、ＴＧ 熱画像情報取得部、ＥＳ 在床センサ、ＣＶ カバー、ＳＬ シリコンレンズ、ＳＣ センサチップ、ＳＭ 半導体素子、ＰＲ 基板、ＳＪ 状態判定部、ＧＪ 起き出し挙動判断部、ＧＥ 起き出し推定部、ＥＪ 在床判定部、ＬＭ 学習モデル保持部、ＴＭ 熱画像情報記憶部、ＡＪ 調整部、ＳＵ 介護者通信部、ＤＰ 報知部。

Claims (10)

1. 矩形状のベッドにおける予め定められた短辺側を頭部側にし、前記ベッドの長辺に沿って臥位を取る見守り対象者の起き出し挙動を検知する見守りシステムであって、
   外部からの赤外線を受光する複数のサーモパイル素子がマトリクス状に配列された赤外線アレイセンサ基板を有して、所定領域における温度分布を示すデータを熱画像情報として取得する熱画像情報取得手段と、
   前記熱画像情報取得手段によって取得された前記熱画像情報に基づいて、前記見守り対象者の起き出し挙動の判断をする起き出し挙動判断手段と、を備え
   前記熱画像情報取得手段は、天井よりも下方となる位置にて配置されて、かつ、前記短辺側を頭部側にして前記ベッドの長辺に沿って臥位を取る前記見守り対象者の頭部を捉えられるとともに、前記短辺側に背を向けて起き上がった前記見守り対象者の背部および両腕部を後ろ側から捉えられるように設置されて前記熱画像情報を取得するように配置され、
   前記起き出し挙動判断手段は、前記見守り対象者の前記ベッドにおける起き出し挙動を推定するための学習済みモデルに基づいて、起き出し挙動の判断をし、
   前記学習済みモデルは、矩形状ベッドで所定の短辺側を頭部側にして長辺に沿って臥位を取る者が当該矩形状ベッドを起き出すまでに取り得る姿勢の様子を、前記臥位を取る者が前記所定の短辺側を背にして起き上がる際の背部および両腕部を後ろ側から捉えることができる位置から取得した前記熱画像情報を入力データとし、前記入力データに対応する姿勢に関する情報を教師データとした機械学習によって構築される、
   ことを特徴とする見守りシステム。
2. 請求項１に記載された見守りシステムであって、
   前記入力データには、前記所定の短辺側を頭部側にして臥位を取る者がいる状態の第１熱画像情報、および、前記所定の短辺側に背を向けて座位を取る者がいる状態の第２熱画像情報が含まれ、
   前記第１熱画像情報には、前記臥位の姿勢を示す教師データが対応付けられ、
   前記第２熱画像情報には、前記座位の姿勢を示す教師データが対応付けられる、
   ことを特徴とする見守りシステム。
3. 請求項１乃至２のいずれかに記載の見守りシステムは、
   前記ベッドにおける前記見守り対象者の在床状態を判定する在床判定手段を有し、
   前記見守り対象者が前記ベッドに在床しているか否かの判断については、前記熱画像情報による判断よりも前記在床判定手段による判定を優先させる、
   ことを特徴とする見守りシステム。
4. 矩形状のベッドにおける予め定められた短辺側を頭部側にし、前記ベッドの長辺に沿って臥位を取る見守り対象者の起き出し挙動を検知する見守りシステムであって、
   外部からの赤外線を受光する複数のサーモパイル素子がマトリクス状に配列された赤外線アレイセンサ基板を有して、所定領域における温度分布を示すデータを熱画像情報として取得する熱画像情報取得手段と、
   前記熱画像情報取得手段によって取得された前記熱画像情報に基づいて、前記見守り対象者の起き出し挙動の判断をする起き出し挙動判断手段と、
   前記ベッドにおける前記見守り対象者の在床状態を判定する在床判定手段と、を備え、
   前記熱画像情報取得手段は、天井よりも下方となる位置にて配置されて、かつ、前記短辺側を頭部側にして前記ベッドの長辺に沿って臥位を取る前記見守り対象者の頭部を捉えられるとともに、前記短辺側に背を向けて起き上がった前記見守り対象者の背部および両腕部を後ろ側から捉えられるように設置されて前記熱画像情報を取得するように配置され、
   前記見守り対象者が前記ベッドに在床しているか否かの判断については、前記熱画像情報による判断よりも前記在床判定手段による判定を優先させる、
   ことを特徴とする見守りシステム。
5. 請求項１乃至４のいずれかに記載の見守りシステムは、
   前記熱画像情報取得手段から取得される前記熱画像情報に基づいて、前記見守り対象者の死に際の兆候を検知する看取り検知手段を、さらに有する、
   ことを特徴とする見守りシステム。
6. 矩形状のベッドにおける予め定められた短辺側を頭部側にし、前記ベッドの長辺に沿って臥位を取る見守り対象者の起き出し挙動を検知する見守り方法であって、
   外部からの赤外線を受光する複数のサーモパイル素子がマトリクス状に配列された赤外線アレイセンサ基板から、所定領域における温度分布を示すデータを熱画像情報として取得する熱画像情報取得ステップと、
   前記熱画像情報取得手段によって取得された前記熱画像情報に基づいて、前記見守り対象者の起き出し挙動の判断をする起き出し挙動判断ステップと、を有し、
   前記熱画像情報取得ステップでは、天井よりも下方において、前記短辺側に背を向けて起き上がった前記見守り対象者の背部および両腕部を後ろ側から捉えて前記熱画像情報を取得し、
   前記熱画像情報取得ステップでは、天井よりも下方となる位置であって、かつ、前記短辺側を頭部側にして前記ベッドの長辺に沿って臥位を取る前記見守り対象者の頭部を捉えられるとともに、前記短辺側に背を向けて起き上がった前記見守り対象者の背部および両腕部を後ろ側から捉えられる位置にて前記熱画像情報を取得し、
   前記起き出し挙動判断ステップでは、前記見守り対象者の前記ベッドにおける起き出し挙動を推定するための学習済みモデルに基づいて、起き出し挙動の判断をし、
   前記学習済みモデルは、矩形状ベッドで所定の短辺側を頭部側にして長辺に沿って臥位を取る者が当該矩形状ベッドを起き出すまでに取り得る姿勢の様子を、前記臥位を取る者が前記所定の短辺側を背にして起き上がる際の背部および両腕部を後ろ側から捉えることができる位置から取得した前記熱画像情報を入力データとし、前記入力データに対応する姿勢に関する情報を教師データとした機械学習によって構築される、
   ことを特徴とする見守り方法。
7. 矩形状のベッドにおける予め定められた短辺側を頭部側にし、前記ベッドの長辺に沿って臥位を取る見守り対象者の起き出し挙動を検知するプログラムであって、
   外部からの赤外線を受光する複数のサーモパイル素子がマトリクス状に配列された赤外線アレイセンサ基板から、所定領域における温度分布を示すデータを熱画像情報として取得する熱画像情報取得手段、
   前記熱画像情報取得手段によって取得された前記熱画像情報に基づいて、前記見守り対象者の起き出し挙動の判断をする起き出し挙動判断手段、
   として、コンピュータを機能させ、
   前記熱画像情報取得手段は、天井よりも下方となる位置であって、かつ、前記短辺側を頭部側にして前記ベッドの長辺に沿って臥位を取る前記見守り対象者の頭部を捉えられるとともに、前記短辺側に背を向けて起き上がった前記見守り対象者の背部および両腕部を後ろ側から捉えられる位置における前記熱画像情報を取得し、
   前記起き出し挙動判断手段は、前記見守り対象者の前記ベッドにおける起き出し挙動を推定するための学習済みモデルに基づいて、起き出し挙動の判断をし、
   前記学習済みモデルは、矩形状ベッドで所定の短辺側を頭部側にして長辺に沿って臥位を取る者が当該矩形状ベッドを起き出すまでに取り得る姿勢の様子を、前記臥位を取る者が前記所定の短辺側を背にして起き上がる際の背部および両腕部を後ろ側から捉えることができる位置から取得した前記熱画像情報を入力データとし、前記入力データに対応する姿勢に関する情報を教師データとした機械学習によって構築される、
   ことを特徴とするプログラム。
8. 矩形状のベッドにおける予め定められた短辺側を頭部側にし、前記ベッドの長辺に沿って臥位を取る見守り対象者の起き出し挙動を推定するための学習済みモデルの生成方法であって、
   外部からの赤外線を受光する複数のサーモパイル素子がマトリクス状に配列された赤外線アレイセンサ基板から、所定領域における温度分布を示すデータを熱画像情報として取得する熱画像情報取得ステップと、
   矩形状ベッドで所定の短辺側を頭部側にして長辺に沿って臥位を取る者が当該矩形状ベッドを起き出すまでに取り得る姿勢に関する情報を取得するステップと、
   前記熱画像情報取得ステップにて取得された前記熱画像情報を入力データとし、前記入力データに対応する前記姿勢に関する情報を教師データとして、機械学習により学習済みモデルを構築するステップと、を有し、
   前記熱画像情報取得ステップでは、前記臥位を取る者が前記矩形状ベッドを起き出すまでに取り得る姿勢の前記熱画像情報を、天井よりも下方となる位置であって、かつ、前記臥位を取る者の頭部を捉えられるとともに、前記臥位を取る者が前記所定の短辺側を背にして起き上がる際の背部および両腕部を後ろ側から捉えることができる位置にて取得する、
   ことを特徴とする学習済みモデルの生成方法。
9. 矩形状のベッドにおける予め定められた短辺側を頭部側にし、前記ベッドの長辺に沿って臥位を取る見守り対象者の起き出し挙動を検知する見守り方法であって、
   外部からの赤外線を受光する複数のサーモパイル素子がマトリクス状に配列された赤外線アレイセンサ基板から、所定領域における温度分布を示すデータを熱画像情報として取得する熱画像情報取得ステップと、
   前記熱画像情報取得ステップによって取得された前記熱画像情報に基づいて、前記見守り対象者の起き出し挙動の判断をする起き出し挙動判断ステップと、
   前記ベッドにおける前記見守り対象者の在床状態を判定する在床判定ステップと、を有し、
   前記熱画像情報取得ステップでは、天井よりも下方となる位置であって、かつ、前記短辺側を頭部側にして前記ベッドの長辺に沿って臥位を取る前記見守り対象者の頭部を捉えられるとともに、前記短辺側に背を向けて起き上がった前記見守り対象者の背部および両腕部を後ろ側から捉えられる位置にて前記熱画像情報を取得し、
   前記在床判定ステップでは、見守り対象者が前記ベッドに在床しているか否かの判断については、前記熱画像情報による判断よりも前記在床判定手段による判定を優先させる、
   ことを特徴とする見守り方法。
10. 矩形状のベッドにおける予め定められた短辺側を頭部側にし、前記ベッドの長辺に沿って臥位を取る見守り対象者の起き出し挙動を検知するプログラムであって、
    外部からの赤外線を受光する複数のサーモパイル素子がマトリクス状に配列された赤外線アレイセンサ基板から、所定領域における温度分布を示すデータを熱画像情報として取得する熱画像情報取得手段、
    前記熱画像情報取得手段によって取得された前記熱画像情報に基づいて、前記見守り対象者の起き出し挙動の判断をする起き出し挙動判断手段、
    前記ベッドにおける前記見守り対象者の在床状態を判定する在床判定手段、
    として、コンピュータを機能させ、
    前記熱画像情報取得手段は、天井よりも下方となる位置であって、かつ、前記短辺側を頭部側にして前記ベッドの長辺に沿って臥位を取る前記見守り対象者の頭部を捉えられるとともに、前記短辺側に背を向けて起き上がった前記見守り対象者の背部および両腕部を後ろ側から捉えられる位置における前記熱画像情報を取得し、
    前記在床判定手段は、前記見守り対象者が前記ベッドに在床しているか否かの判断については、前記熱画像情報による判断よりも前記在床判定手段による判定を優先させる、
    ことを特徴とするプログラム。