JP2024082513A - 情報処理装置、情報処理システム及び情報処理方法 - Google Patents

情報処理装置、情報処理システム及び情報処理方法 Download PDF

Info

Publication number
JP2024082513A
JP2024082513A JP2022196412A JP2022196412A JP2024082513A JP 2024082513 A JP2024082513 A JP 2024082513A JP 2022196412 A JP2022196412 A JP 2022196412A JP 2022196412 A JP2022196412 A JP 2022196412A JP 2024082513 A JP2024082513 A JP 2024082513A
Authority
JP
Japan
Prior art keywords
information
body movement
movement information
similarity
terminal device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022196412A
Other languages
English (en)
Inventor
靖弘 笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Paramount Bed Co Ltd
Original Assignee
Paramount Bed Co Ltd
Filing date
Publication date
Application filed by Paramount Bed Co Ltd filed Critical Paramount Bed Co Ltd
Priority to CN202311417525.0A priority Critical patent/CN118173256A/zh
Priority to US18/533,824 priority patent/US20240188880A1/en
Publication of JP2024082513A publication Critical patent/JP2024082513A/ja
Pending legal-status Critical Current

Links

Images

Abstract

Figure 2024082513000001
【課題】介助等の分野に好適な情報処理装置、情報処理システム及び情報処理方法等の提供。
【解決手段】 情報処理装置は、介助を受けるユーザの体動を検出する検出装置の出力に基づいて、少なくともユーザの睡眠状態に関する情報を含む体動情報を取得する取得部と、時系列の体動情報である第1体動情報に対して、熟練者がユーザに行った対応内容が関連付けられた情報を記憶する記憶部と、時系列の体動情報である第2体動情報を含む要求を取得した場合に、第2体動情報と第1体動情報の類似度、及び、第1体動情報に関連付けられた対応内容を含む類似情報を提示する処理を行う処理部と、を含む。
【選択図】図1

Description

本発明は、情報処理装置、情報処理システム及び情報処理方法等に関する。
従来、ユーザの健康状態等を管理するシステムが知られている。例えば特許文献1には、ユーザ(患者)のリアルタイムの測定データを共有するシステム等が開示されている。
特表2019-503017号公報
介助等の分野に好適な情報処理装置、情報処理システム及び情報処理方法等を提供する。
本開示の一態様は、介助を受けるユーザの体動を検出する検出装置の出力に基づいて、前記ユーザの睡眠状態に関する情報を含む体動情報を取得する取得部と、時系列の前記体動情報である第1体動情報に対して、熟練者が前記ユーザに行った対応内容が関連付けられた情報を記憶する記憶部と、時系列の前記体動情報である第2体動情報を含む要求を取得した場合に、前記第2体動情報と前記第1体動情報の類似度、及び、前記第1体動情報に関連付けられた前記対応内容を含む類似情報を提示する処理を行う処理部と、を含む情報処理装置に関係する。
本開示の他の態様は、介助を受けるユーザの体動を検出する検出装置と、前記検出装置の出力に基づいて、前記ユーザの睡眠状態に関する情報を含む体動情報を取得し、時系列の前記体動情報である第1体動情報に対して、熟練者が前記ユーザに行った対応内容が関連付けられた情報を記憶するサーバシステムと、時系列の前記体動情報である第2体動情報を含む要求を前記サーバシステムに送信する端末装置と、を含み、前記サーバシステムは、前記端末装置から前記要求を取得した場合に、前記第2体動情報と前記第1体動情報の類似度、及び、前記第1体動情報に関連付けられた前記対応内容を含む類似情報を提示する処理を行う情報処理システムに関係する。
本開示のさらに他の態様は、介助を受けるユーザの体動を検出する検出装置の出力に基づいて、前記ユーザの睡眠状態に関する情報を含む体動情報を取得し、時系列の前記体動情報である第1体動情報に対して、熟練者が前記ユーザに行った対応内容が関連付けられた情報を記憶し、時系列の前記体動情報である第2体動情報を含む要求を取得した場合に、前記第2体動情報と前記第1体動情報の類似度、及び、前記第1体動情報に関連付けられた前記対応内容を含む類似情報を提示する処理を行う情報処理方法に関係する。
情報処理装置を含む情報処理システムの例である。 サーバシステムの構成例である。 端末装置の構成例である。 測定装置の一例である検出装置の例である。 情報処理システムの詳細な例である。 本実施形態の処理におけるデータの流れを説明する図である。 データの蓄積処理を説明するフローチャートである。 体動情報の測定処理を説明するフローチャートである。 熟練者の端末装置に表示される画面例である。 熟練者の端末装置に表示される画面例である。 体動情報の具体例、及び入力操作の実行タイミングの例を示す図である。 データの利用処理を説明するフローチャートである。 非熟練者の端末装置に表示される画面例である。 類似度算出処理を説明するフローチャートである。 距離に基づく類似度算出処理の例を説明する図である。 非熟練者の端末装置に表示される類似情報の表示画面例である。 類似度算出処理を説明する他のフローチャートである。 対応内容と比較期間の関係例を示す図である。 対応内容と比較期間の関係例を示す図である。 環境情報(温度)に基づく類似度の算出処理を説明する図である。 環境情報(湿度)に基づく類似度の算出処理を説明する図である。 非熟練者の端末装置に表示される類似情報の表示画面例である。 感情情報を用いた処理を説明する図である。 入力操作の実行タイミングが異なることを説明する図である。 基準点の補正処理を説明する図である。 基準点の補正処理を説明する図である。 基準点の補正処理を説明する図である。 基準点の補正処理を説明する図である。 基準点の補正処理を説明する図である。 情報処理システムの詳細な例である。 熟練の医療従事者の端末装置に表示される画面例である。 非熟練の医療従事者の端末装置に表示される画面例である。 非熟練の医療従事者の端末装置に表示される類似情報の画面例である。 施設経営者の端末装置に表示される画面例である。 施設経営者の端末装置に表示される画面例である。 入力操作の実行タイミングに基づく業務評価処理の説明図である。 施設経営者の端末装置に表示される画面例である。 施設経営者の端末装置に表示される画面例である。 データベース更新処理を説明するフローチャートである。 被介助者の家族の端末装置に表示される画面例である。
以下、本実施形態について図面を参照しつつ説明する。図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。
1.第1実施形態
1.1 システム構成例
本実施形態に係る情報処理システム10は、例えば介助(介護を含む)の場面において、介助者が被介助者に対して行った対応等の情報を、他の介助者に提供するものである。介助者とは、ケアマネージャー、介護士、訪問ヘルパー等を含む。また介助者は、作業療法士や理学療法士を含んでもよい。具体的には、本実施形態に係る情報処理システム10は、例えば介護施設での介助や訪問介護等の場面において、熟練の介助者の“勘”や“暗黙知”によって行われる作業について、当該“勘”や“暗黙知”をデジタル化することによって、熟練度によらず適切な介助を行えるように、他の介助者をサポートするものであってもよい。以下、情報処理システム10、及び情報処理システム10に含まれる情報処理装置について詳細に説明する。
図1は、本実施形態に係る情報処理装置を含む情報処理システム10の構成例である。情報処理システム10は、例えばサーバシステム100、端末装置200、測定装置400を含む。情報処理装置は、例えばサーバシステム100により実現される。端末装置200は、例えば端末装置200A及び端末装置200Bを含んでもよい。また測定装置400は、例えば図4を用いて後述する検出装置430であってもよい。ただし、情報処理システム10の構成は図1に限定されず、一部の構成を省略する、他の構成を追加する等の種々の変形実施が可能である。
図1の端末装置200は、サーバシステム100との通信を行う機器であり、例えば介助者によって使用される端末である。端末装置200は、例えばスマートフォンやタブレット端末等の携帯端末装置である。ただし端末装置200は、PC(Personal Computer)、ヘッドセット、AR(Augmented Reality)グラスやMR(Mixed Reality)グラス等のウェアラブル装置等、他の装置であってもよい。本実施形態における介助者は複数であり、端末装置200は、異なる介助者によって使用される複数の装置を含んでもよい。例えば端末装置200Aは、第1介助者によって使用され、端末装置200Bは第1介助者とは異なる第2介助者によって使用される。なお以下の説明において複数の端末装置を互いに区別する必要が無い場合、単に端末装置200と表記する。また端末装置200はサーバシステム100へのデータの蓄積、またはサーバシステム100に蓄積されたデータの利用を行う機器であればよく、端末装置200のユーザは介助者に限定されない。例えば第2実施形態において後述するように、端末装置200は、医療従事者、施設経営者、データ管理者等によって使用される機器であってもよい。
測定装置400は、被介助者の周辺に配置され、被介助者自身、又は被介助者の環境に関する測定(センシング)を行う装置である。例えば測定装置400は、被介助者の体動に基づいて睡眠情報や生体情報を検出する検出装置430であってもよい。検出装置430の詳細については図4を用いて後述する。
また測定装置400はこれに限定されず、種々の装置を含んでもよい。例えば測定装置400は、睡眠情報や生体情報を検出する腕時計型のウェアラブル装置であってもよい。また測定装置400は、図5を用いて後述するように温度計410、湿度計420、撮像装置440等を含んでもよい。温度計410は、被介助者の周辺の温度を検出する。湿度計420は、被介助者の周辺の湿度を検出する。撮像装置440は、被介助者の一部または全部を撮像する。また測定装置400は、体温計、心電図計、脈拍計、血圧計、パルスオキシメータ、体組成計、聴診器等を含んでもよい。また測定装置400は、自動的に動作する機器であってもよいし、看護師等の医療従事者によって使用される機器であってもよい。
サーバシステム100は、例えばネットワークを介して端末装置200A、端末装置200B、及び測定装置400と接続される。ここでのネットワークは、例えば、インターネット等の公衆通信網である。ただし、ネットワークは公衆通信網に限定されず、LAN(Local Area Network)等であってもよい。例えばサーバシステム100は、IEEE802.11の規格に従った通信を行ってもよい。ただし、各機器の間の通信手法については種々の変形実施が可能である。例えば、図1では、サーバシステム100と測定装置400が接続される例を示したが、測定装置400は、端末装置200等の他の装置に接続されてもよい。この場合、測定装置400での測定結果は、端末装置200を介してサーバシステム100に送信される。
サーバシステム100は、1つのサーバであってもよいし、複数のサーバを含んでもよい。例えばサーバシステム100は、データベースサーバとアプリケーションサーバを含んでもよい。データベースサーバは、端末装置200及び測定装置400から送信される情報を記憶してもよい。アプリケーションサーバは、これらの情報に基づいて種々の処理を行う。アプリケーションサーバは、例えば後述する図7等におけるサーバシステム100に係る処理を実行する。また、以下の説明において端末装置200や測定装置400が実行する処理の少なくとも一部が、アプリケーションサーバによって実行されてもよい。なおここでの複数のサーバは、物理サーバであってもよいし仮想サーバであってもよい。また仮想サーバが用いられる場合、当該仮想サーバは1つの物理サーバに設けられてもよいし、複数の物理サーバに分散して配置されてもよい。以上のように、本実施形態におけるサーバシステム100の具体的な構成は種々の変形実施が可能である。
本実施形態の手法では、サーバシステム100は、被介助者に関する測定結果、及び、介助者による端末装置200の操作結果等の情報を収集し、これらの情報に基づいて処理を行う。例えばサーバシステム100は、熟練の介助者が被介助者の異常を発見した際の測定結果と、当該異常に対して介助者が行った対応内容を関連付けて記憶してもよい。そしてサーバシステム100は、記憶した情報を他の介助者の端末装置200に提供してもよい。このようにすれば、熟練介助者の判断や対応が提供されるため、熟練度が低い介助者に適切な対応を促すことが可能になる。以下では、熟練度の低い介助者を非熟練介助者とも表記する。なお、在宅介護では被介助者の家族等(家族介助者)が当該被介助者の介助を行う場合もある。本実施形態の介助者とは、家族介助者を含んでもよい。この場合も、介助の専門家でない家族介助者に適切な対応を促すことが可能になる。
図2は、サーバシステム100の詳細な構成例を示すブロック図である。サーバシステム100は、例えば処理部110と、記憶部120と、通信部130を含む。ただしサーバシステム100の構成は図2に限定されず、一部の構成を省略する、他の構成を追加する等の変形実施が可能である。
本実施形態の処理部110は、下記のハードウェアによって構成される。ハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、ハードウェアは、回路基板に実装された1又は複数の回路装置や、1又は複数の回路素子によって構成できる。1又は複数の回路装置は例えばIC(Integrated Circuit)、FPGA(field-programmable gate array)等である。1又は複数の回路素子は例えば抵抗、キャパシター等である。
また処理部110は、下記のプロセッサによって実現されてもよい。本実施形態のサーバシステム100は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。情報は、例えばプログラムと各種のデータ等である。メモリは、記憶部120であってもよいし、他のメモリであってもよい。プロセッサは、ハードウェアを含む。プロセッサは、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)等、各種のプロセッサを用いることが可能である。メモリは、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリなどの半導体メモリであってもよいし、レジスタであってもよいし、ハードディスク装置(HDD:Hard Disk Drive)等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータによって読み取り可能な命令を格納しており、当該命令をプロセッサが実行することによって、処理部110の機能が処理として実現される。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
記憶部120は、処理部110のワーク領域であって、種々の情報を記憶する。記憶部120は、種々のメモリによって実現が可能であり、メモリは、SRAM、DRAM、ROM(Read Only Memory)、フラッシュメモリなどの半導体メモリであってもよいし、レジスタであってもよいし、磁気記憶装置であってもよいし、光学式記憶装置であってもよい。
通信部130は、ネットワークを介した通信を行うためのインターフェイスであり、サーバシステム100が無線通信を行う場合、例えばアンテナ、RF(radio frequency)回路、及びベースバンド回路を含む。ただしサーバシステム100は有線通信を行ってもよく、その場合の通信部130は、イーサネットコネクタ等の通信インターフェイス及び、当該通信インターフェイスの制御回路等を含んでもよい。通信部130は、処理部110による制御に従って動作してもよいし、処理部110とは異なる通信制御用のプロセッサを含んでもよい。通信部130は、例えばIEEE802.11やIEEE802.3に規定された方式に従った通信を行ってもよい。ただし具体的な通信方式は種々の変形実施が可能である。
図3は、端末装置200の詳細な構成例を示すブロック図である。端末装置200は、例えば処理部210と、記憶部220と、通信部230と、表示部240と、操作部250と、撮像部260を含んでもよい。ただし端末装置200の構成は図3に限定されず、一部の構成を省略する、他の構成を追加する等の変形実施が可能である。
処理部210は、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むハードウェアによって構成される。また処理部210は、プロセッサによって実現されてもよい。プロセッサは、CPU、GPU、DSP等、各種のプロセッサを用いることが可能である。端末装置200のメモリに格納された命令をプロセッサが実行することによって、処理部210の機能が処理として実現される。
記憶部220は、処理部210のワーク領域であって、SRAM、DRAM、ROM等の種々のメモリによって実現される。記憶部220は、介助者による入力操作の履歴等を記憶してもよい。また記憶部220は、端末装置200を利用する介助者に関する種々の情報を記憶してもよい。情報の具体例については図6を用いて後述する。
通信部230は、ネットワークを介した通信を行うためのインターフェイスであり、例えばアンテナ、RF回路、及びベースバンド回路を含む。通信部230は、例えばネットワークを介して、サーバシステム100との通信を行う。通信部230は、例えばIEEE802.11の規格に準拠した無線通信をサーバシステム100との間で実行してもよい。
表示部240は、種々の情報を表示するインターフェイスであり、液晶ディスプレイであってもよいし、有機ELディスプレイであってもよいし、他の方式のディスプレイであってもよい。操作部250は、ユーザ操作を受け付けるインターフェイスである。操作部250は、端末装置200に設けられるボタン等であってもよい。また表示部240と操作部250は、一体として構成されるタッチパネルであってもよい。
撮像部260は、所定の撮像範囲を撮像することによって画像情報を出力するイメージセンサを有する。ここでの画像情報は、静止画像であってもよいし、動画像であってもよい。また画像情報は、カラーであってもよいし、モノクロであってもよい。また、撮像部は、被写体までの距離を検出する深度センサを含んでもよいし、被写体の熱を検出するセンサ(例えば赤外線センサ)等を含んでもよい。
また端末装置200は、図3には不図示の構成を含んでもよい。例えば端末装置200は、加速度センサやジャイロセンサ等のモーションセンサ、圧力センサ、GPS(Global Positioning System)センサ等の種々のセンサを有してもよい。また端末装置200は、発光部、振動部、音入力部、音出力部等を含んでもよい。発光部は例えばLED(light emitting diode)であり、発光による報知を行う。振動部は例えばモータであり、振動による報知を行う。音入力部は例えばマイクである。音出力部は例えばスピーカであり、音による報知を行う。また複数の端末装置200は、それぞれが同じ構成には限定されない。例えば端末装置200Aと端末装置200Bが異なる構成を有する装置であってもよい。
図4は、測定装置400の例であって、ベッド610のボトムに配置される検出装置430の例を説明する図である。検出装置430は、例えば図4に示すように、ベッド610のボトムとマットレス620の間に設けられるシート状またはプレート状のデバイスである。
検出装置430は、圧力値を出力する圧力センサ(例えば空圧センサ)を含み、ユーザが就床したときに、マットレス620を介してユーザの体振動(体動、振動)を検知する装置である。以下、検出装置430の圧力センサによって検出される体振動を表す情報を体動情報と表記する。ただし、本実施形態の体動情報は体振動を表す情報(狭義の体動情報)に限定されず、当該情報に基づいて求められる種々の情報を含んでもよい。
例えば体動情報は、検出装置430が検知した体振動(狭義の体動情報)に基づいて、求められる睡眠情報を含んでもよい。ここでの睡眠情報は、例えば呼吸、心拍、睡眠/覚醒、活動量、姿勢、離床/在床に関する情報等、体動情報の解析処理によって求められる種々の情報を含む。なお睡眠情報は、睡眠中のユーザに関する情報に限定されず、覚醒中のユーザに関する情報を含んでもよい。
呼吸を表す情報は単位時間あたりの呼吸の回数(以下、呼吸数と表記)であってもよい。心拍に関する情報は、単位時間あたりの拍動の回数(以下、心拍数と表記)であってもよい。ここでの単位時間は、例えば1分であるが、異なる時間が用いられてもよい。例えば検出装置430は、体動の周期性を分析することによって、ピーク周波数から呼吸数、心拍数を算出してもよい。周期性の分析は、例えばフーリエ変換等である。
なお呼吸を表す情報は呼吸数に限定されない。例えば呼吸の周期性やばらつきに基づいて、呼吸の安定度合いを表す指標を求める装置は、例えば「呼吸波形情報の演算装置及び呼吸波形情報を利用した医療機器」という2010年8月11日に出願されたPCT/JP2010/063892号に記載されている。この特許出願は、その全体が本願明細書において参照により援用されている。例えば本実施形態における呼吸を表す情報は、呼吸の周期性やばらつきであってもよいし、安定度合いを表す指標であってもよい。心拍を表す情報も同様に、心拍の周期性、ばらつき、安定度合いを表す情報であってもよい。
また、睡眠状態では覚醒状態に比べて呼吸数や心拍数の値が低くなることが知られている。よって上述した呼吸数及び心拍数に基づいて、睡眠/覚醒の判断が行われてもよい。また睡眠/覚醒を表す情報を求める際に、後述する活動量や姿勢に関する情報が用いられてもよい。例えば活動量が所定以下である場合や、姿勢変化の頻度が所定以下である場合に睡眠状態であると判定される。また睡眠状態は、ノンレム睡眠とレム睡眠に細分化されてもよいし、睡眠の深さが求められてもよい。
また検出装置430は、サンプリング単位時間当たりの体振動の検出し、当該体振動の回数を活動量として出力してもよい。また、圧力値の分布に基づいて、ベッド610のどの位置に体重が加わっているかが分かるため、検出装置430は、被介助者の姿勢を推定することが可能である。またユーザの離床時には、在床時に比べて検出される圧力値が減少するため、検出装置430は、圧力値やその時系列的な変化に基づいて離床/在床の判定が可能である。
なお、圧力値に基づいて呼吸数等の睡眠情報を求める処理は検出装置430で行われてもよい。例えば検出装置430が圧力値を記憶するメモリ、及び、当該圧力値に基づいて上述した処理を行うプロセッサを含んでもよい。ただし、本実施形態の手法はこれに限定されず、他の装置において呼吸数等が演算されてもよい。例えばサーバシステム100や端末装置200が圧力センサから出力される体振動を表すデータを取得し、上述した各処理を行うことによって、呼吸数等を含む睡眠情報を求めてもよい。
図5は、本実施形態に係る情報処理システム10の例であって、より具体的なユースケースを説明する図である。例えば情報処理システム10に含まれる機器は、複数の場所での介助をサポートするために分散して配置されてもよい。図5の例では、介護施設A、介護施設B、被介助者宅C及び被介助者宅Dの4箇所において、それぞれ被介助者が介助を受けている。介護施設Aには、少なくとも被介助者Aが入居しており、当該被介助者Aに関する測定を行う測定装置400として、検出装置430、温度計410、湿度計420、撮像装置440が配置されている。介護施設B、被介助者宅C及び被介助者宅Dについても同様であり、それぞれ被介助者B、被介助者C、被介助者Dの介助を行うための検出装置430、温度計410、湿度計420、撮像装置440が配置されている。ただし、配置される測定装置400の数や種類は被介助者毎に異なってもよい。
また介護施設A及び介護施設Bには、それぞれ介助者が勤務している。図5の例では、介護施設Aには、熟練度が高い介助者Aが勤務しており、介護施設Bには熟練度が低い介助者Bが勤務している。
介助者Aは、介護施設Aに入居する被介助者Aの介助を行う。例えば介助者Aは、端末装置200Aを携帯しており、端末装置200Aには被介助者Aの周辺に配置された測定装置400の測定結果が表示される。介助者Aは、当該測定結果に基づいて被介助者Aに異常が無いかを判断し、異常を発見した際には何らかの対応を行う。
また介助者Aは、被介助者宅Cで在宅ケア(遠隔介助)を受ける被介助者Cの介助を行ってもよい。例えば、被介助者宅Cに配置された測定装置400は、直接、または他の機器を介して、測定結果を端末装置200Aに送信する。例えば測定装置400は、サーバシステム100や、介護施設Aに配置される管理PCを介して、測定結果を端末装置200Aに送信してもよい。介助者Aは、当該測定結果に基づいて被介助者Cに異常が無いかを判断し、異常を発見した際には何らかの対応を行う。この場合、被介助者Cと介助者Aは離れた場所にいるため、介助者Aが実行する対応には、被介助者宅への訪問、オンラインでの面談等、在宅ケアに特有の対応を含んでもよい。
介助者Bについても同様である。介助者Bは、端末装置200Bを携帯しており、当該端末装置200Bには、介護施設Bに入居する被介助者Bに関する測定結果や、被介助者宅Dで在宅ケアを受ける被介助者Dに関する測定結果が表示される。介助者Bは、測定結果に基づいて、被介助者Bの介助、及び被介助者Dの遠隔介助を実行する。
このようにすれば、介助者によって使用される端末装置200に被介助者に関する測定結果を含むデータが収集され、当該データに基づいて、被介助者の見守りが実行される。測定結果の端末装置200での表示例については図9等を用いて後述する。
しかし、介助者の熟練度が低い場合、測定装置400による測定結果を閲覧したとしても適切に対応することが難しい可能性がある。例えば、熟練度が低い介助者は、睡眠情報や呼吸数等に異常があることは分かったとしても、当該異常に適した対応を決定できない場合がある。図5の例であれば、熟練度の低い介助者Bは、被介助者Bや被介助者Dに関する測定結果を閲覧した際に、対応を適切に決定できない可能性がある。
そこで本実施形態の情報処理装置は、取得部と、記憶部と、処理部とを含んでもよい。取得部は、ケア(介助)を受けるユーザの体動を検出する検出装置430の出力に基づいて、当該ユーザの睡眠状態に関する情報を含む体動情報を取得する。ここでのユーザは、具体的には介助サービスを受ける被介助者である。ただし第2実施形態において後述するように、本実施形態のユーザは医療サービスを受ける患者であってもよい。以下、第1実施形態では在宅ケアを受けるユーザが被介助者である例を説明するが、本明細書における「被介助者」は、適宜「患者」に置き換えが可能である。
また記憶部は、時系列の体動情報である第1体動情報に対して、熟練者がユーザ(被介助者)に行った対応内容が関連付けられた情報を記憶する。処理部は、時系列の体動情報である第2体動情報を含む要求を取得した場合に、第2体動情報と、第1体動情報の類似度を含む類似情報を提示する処理を行う。類似情報とは、例えば図16を用いて後述するように、体動情報の類似度を表す数値、及び第1体動情報に関連付けられた対応内容を含む。また類似情報の提示処理は、数値及び対応内容のみを提示するものには限定されない。例えば比較対象となる第1体動情報が複数存在する場合、処理部は、当該複数の第1対応情報(及び関連付けられた対応内容)を、類似度に基づいてソートして提示してもよい。あるいは、処理部は、類似度が所定以上である第1体動情報のみを提示対象として選択する処理を行ってもよい。また処理部は、類似度の値、あるいは対応内容の種類等に応じて、提示態様を変更する処理を行ってもよい。ここでの提示態様の変更とは、例えば表示処理を行う際に用いられる文字や背景の色の変更であってもよいし、フォントのサイズや種類の変更であってもよいし、他の処理であってもよい。
例えば情報処理装置がサーバシステム100によって実現される場合、取得部は図2の通信部130に対応してもよい。例えば通信部130は、直接、あるいは端末装置200Aや端末装置200Bを介して、各被介助者の周辺に配置された測定装置400の測定結果を受信する。測定結果には、検出装置430からの体動情報が含まれ、体動情報には睡眠情報が含まれる。また情報処理装置の記憶部は、図2の記憶部120に対応してもよい。図5の例であれば、熟練者とは介助者Aであり、第1体動情報とは被介助者Aや被介助者Cの周辺に配置された測定装置400での測定結果の一部である。また情報処理装置の処理部は、図2の処理部110に対応する。ただし上述したように、情報処理装置の取得部は、検出装置430で演算された体動情報を取得するものに限定されず、検出装置430から圧力値を取得し、当該圧力値に基づいて体動情報を演算してもよい。よって取得部は、通信部130に対応するものに限定されず、圧力値に基づいて体動情報の演算処理を行う処理部110に対応してもよい。
本実施形態の手法によれば、熟練者が何らかの対応を行った場面での体動情報(第1体動情報)と、異なる場面での体動情報(第2体動情報)の類似情報が表示される。例えば第1体動情報と第2体動情報の類似度が高い場合、この2つの場面では被介助者の状況が類似していることが想定される。そのため、第2体動情報が取得された被介助者に対しても、第1体動情報と関連付けられた対応が有効である蓋然性が高い。つまり、類似情報は適切な対応の決定に有用な情報となる。例えば、非熟練介助者が体動情報の異常を認めつつも、具体的な対応を迷っている状況において類似情報が提示されることによって、当該介助者による対応決定をサポートすることが可能になる。結果として、介助者の熟練度によらず、適切な対応を実行させることが可能になる。
図6は、本実施形態におけるデータの流れを説明する図である。図6に示すように、熟練介助者は参照用の蓄積データを作成する。具体的には、熟練介助者が担当する被介助者の周辺には、温度計410、湿度計420、検出装置430、撮像装置440等の測定装置400が配置される。検出装置430は、睡眠/覚醒に関する情報、呼吸数、心拍数等の体動情報をサーバシステム100に送信する。温度計410及び湿度計420は、温度及び湿度をサーバシステム100に送信する。撮像装置440は、被介助者を撮像した撮像画像に基づく感情情報をサーバシステム100に送信する。なお後述するように、撮像装置440は撮像画像をサーバシステム100に送信し、処理部110が当該撮像画像に基づいて感情情報を求めてもよい。
また図6に示すように、サーバシステム100は、被介助者の属性に関する情報を取得してもよい。属性とは、被介助者を一意に特定するID、被介助者の年齢、性別、身長、体重、既往歴、服薬履歴等を含む。また図6には不図示であるが、サーバシステム100は被介助者の電子カルテを取得してもよい。電子カルテの情報は、例えば血液検査の結果であってもよいし、他の項目の情報を含んでもよい。
さらに熟練介助者が使用する端末装置200(例えば図5における端末装置200A)は、入力操作を含む種々の情報をサーバシステム100に送信する。具体的には端末装置200は、ボタンの操作履歴、本実施形態に係るシステムや他のサービスへのアクセスログ、介助者が所属する施設を特定する施設ID、介助者を特定する職員ID、GPSに基づく位置情報、歩数情報等をサーバシステム100に送信する。ここでの操作履歴には、熟練介助者が実行した対応内容が含まれる。また介護施設において、介護の履歴や予定等を管理する介護記録ソフトウェアが用いられる場合、当該介護記録ソフトウェアによる記録内容がサーバシステム100に送信されてもよい。介護記録ソフトウェアの記録内容は、当該ソフトウェアがインストールされたデバイス(例えば施設内の管理端末)からサーバシステム100に送信されてもよいし、端末装置200からサーバシステム100に送信されてもよい。
サーバシステム100は、これらの情報を参照用の蓄積データとして記憶部120(データベース)に記憶する。
また非熟練者は、サーバシステム100に記憶された蓄積データを参照する。例えば非熟練介助者が担当する被介助者の周辺には、温度計410、湿度計420、検出装置430、撮像装置440等の測定装置400が配置される。そして、熟練介助者の例と同様に、体動情報、温度、湿度、感情情報等が取得される。また被介助者の属性や、電子カルテに関する情報が取得されてもよい。非熟練介助者は、これらの測定結果を閲覧することによって異常発生時の対応を行う。ただし、適切な対応を決定できない場合には、ユーザ操作に基づいて、端末装置200(例えば図5における端末装置200B)は、サーバシステム100に対して類似データの参照要求を送信する。
サーバシステム100は、当該要求に基づいて、熟練者側の測定装置400に基づいて取得された各種情報と、非熟練者側の測定装置400に基づいて取得された各種情報との類似度を算出する。例えば上述したように、本実施形態では体動情報の類似度が求められる。ただし、温度、湿度等の類似度が求められてもよい。また比較処理において、感情情報、属性、電子カルテ等の情報が参照されてもよい。サーバシステム100は、類似度を含む類似情報を、非熟練介助者の端末装置200に提示させる処理を行う。これにより、非熟練介助者に対して適切な対応を促すことが可能になる。
そして本実施形態の手法では、上記対応内容は、介助者による被介助者宅への訪問の要否を含んでもよい。例えば図10を用いて後述するように、対応内容は「訪問」を含み、当該対応内容が提示されるか否かに基づいて、訪問の要否が端末装置200の使用者(狭義には非熟練者)に提示されてもよい。図5の介助者Bと被介助者Dの関係のように、本実施形態では、被介助者が介助者から離れた位置で遠隔介助を受けている場合も考えられる。遠隔介助では、介助者は遠方の被介助者を訪問するか否かを含めた対応を検討する必要があるため、対応の正確さが特に重要となる。その点、本実施形態では訪問要否に関する情報が蓄積、利用されるため、遠隔介助に適した情報の提示が可能になる。例えば、熟練度の高い介助者Aは、在宅ケアを受ける被介助者Cへの対応として訪問要否を含む対応を実行し、その結果がサーバシステム100に蓄積される。このようなデータに基づいて類似情報が提示されることによって、熟練度が低い介助者Bが不必要に訪問を行ってしまうことや、深刻度の高い異常が発生しているのに訪問を見送ってしまうこと等を抑制できる。結果として、訪問に時間と労力を掛けることによって他の業務が滞ること、あるいは、被介助者の状態を悪化させること等を抑制可能である。
なお、本実施形態の情報処理装置は、サーバシステム100により実現されるものに限定されず、サーバシステム100を含む複数の装置の分散処理によって実現されてもよい。例えば情報処理装置は、サーバシステム100と端末装置200との分散処理によって実現されてもよい。
また本実施形態の手法は、情報処理システム10に適用できる。図1や図5に示したように、情報処理システム10は、検出装置430と、サーバシステム100と、端末装置200を含む。検出装置430は、在宅ケアを受けるユーザ(被介助者)の体動を検出する。サーバシステム100は、検出装置430の出力に基づいて、ユーザの睡眠状態に関する情報を含む体動情報を取得し、時系列の体動情報である第1体動情報に対して、熟練者がユーザに行った対応内容が関連付けられた情報を記憶する。端末装置200は、時系列の体動情報である第2体動情報を含む要求をサーバシステムに送信する。ここでの端末装置200は、狭義には非熟練者が使用する端末装置200Bであるが、熟練者が使用する端末装置200Aから上記要求が送信されることは妨げられない。そしてサーバシステム100は、端末装置200から要求を取得した場合に、第2体動情報と第1体動情報の類似度、及び、第1体動情報に関連付けられた対応内容を含む類似情報を提示する処理を行う。
また、本実施形態の情報処理システム10が行う処理の一部又は全部は、プログラムによって実現されてもよい。情報処理システム10が行う処理とは、狭義にはサーバシステム100の処理部110が行う処理であるが、端末装置200の処理部210が実行する処理であってもよい。また情報処理システム10が行う処理は、測定装置400に含まれるプロセッサが実行する処理を含んでもよい。
本実施形態に係るプログラムは、例えばコンピュータによって読み取り可能な媒体である非一時的な情報記憶媒体(情報記憶装置)に格納できる。情報記憶媒体は、例えば光ディスク、メモリーカード、HDD、或いは半導体メモリなどによって実現できる。半導体メモリは例えばROMである。処理部110等は、情報記憶媒体に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体は、処理部110等としてコンピュータを機能させるためのプログラムを記憶する。コンピュータは、入力装置、処理部、記憶部、出力部を備える装置である。具体的には本実施形態に係るプログラムは、図7等を用いて後述する各ステップを、コンピュータに実行させるためのプログラムである。
また本実施形態の手法は、以下の各ステップを含む情報処理方法に適用できる。情報処理方法は、介助を受けるユーザの体動を検出する検出装置の出力に基づいて、ユーザの睡眠状態に関する情報を含む体動情報を取得するステップと、時系列の体動情報である第1体動情報に対して、熟練者がユーザに行った対応内容が関連付けられた情報を記憶するステップと、時系列の体動情報である第2体動情報を含む要求を取得した場合に、第2体動情報と第1体動情報の類似度、及び、第1体動情報に関連付けられた対応内容を含む類似情報を提示する処理を行うステップとを含む。
1.2 処理の流れ
本実施形態では、熟練者からの情報(第1体動情報及び対応内容)を取得、蓄積する蓄積処理と、蓄積された情報に基づいて類似情報を提示する利用処理とが行われる。以下、それぞれの処理について説明する。
<蓄積処理>
図7は、蓄積処理を説明するフローチャートである。この処理が開始されると、まずステップS101において、検出装置430は対象の被介助者に関する体動情報の測定を行う。検出装置430は、測定結果である体動情報を、被介助者の担当者である介助者の端末装置200に送信する。
図8は、ステップS101に示した体動情報の測定処理を説明するフローチャートである。ステップS201において、検出装置430は、圧力値に基づいて在床/離床の状態を求める。例えば検出装置430は、圧力値が所定以上の場合に在床状態と判定し、圧力値が閾値未満の場合に離床状態と判定する。
ステップS202において、検出装置430は、ステップS201で取得された情報に基づいて、被介助者が離床状態であるかを判定する。離床状態と判定された場合(ステップS202:Yes)、検出装置430では被介助者の体動を検出できないため、体動情報の測定処理は終了する。
在床状態と判定された場合(ステップS202:No)、ステップS203、S204及びS205において、検出装置430は睡眠情報、呼吸数、心拍数を測定する。睡眠情報は、覚醒/睡眠のいずれかを識別する情報であってもよいし、睡眠の深さを表す情報を含んでもよい。呼吸数及び心拍数は、例えば単位時間あたりの呼吸回数及び拍動の回数を表す。各情報を求める処理については上述したとおりである。なお、ステップS203-S205はこの順で実行されるものに限定されず、異なる順で処理が行われてもよいし、複数の処理が並列に実行されてもよい。
ステップS206において、検出装置430は、被介助者が覚醒状態であるか、睡眠状態であるかを判定する。例えば検出装置430は、ステップS203で取得された睡眠情報に基づいて、ステップS206の判定を行ってもよい。
被介助者が覚醒状態である場合(ステップS206:Yes)、ステップS207において、検出装置430は、状態フラグを第1ビット(例えば1)に設定する。ここでの状態フラグとは、被介助者の覚醒/睡眠状態を識別するためのフラグ情報であり、体動情報に含まれる。ここでは、覚醒状態が状態フラグの第1ビット(1)に対応し、睡眠状態が状態フラグの第2ビット(例えば0)に対応する例を示している。また被介助者が睡眠状態である場合(ステップS206:No)、ステップS208において、検出装置430は、状態フラグを第2ビット(例えば0)に設定する。
図7に戻って説明を続ける。ステップS101において取得された体動情報が介助者の端末装置200に送信された後、ステップS102-S106において、端末装置200の処理が行われる。まずステップS102において端末装置200は、表示部240に体動情報を表示する処理、及び、介助者(熟練者)による入力操作を受け付けたかの判定を実行する。
図9は、ステップS102において端末装置200の表示部240に表示される画面の例である。表示部240は、測定対象である被介助者を特定するIDを表示するとともに、当該被介助者に関する測定結果を表示する。図9では、測定結果として、呼吸数の変化を表すグラフが表示される例を示している。ここでの呼吸数は、例えば睡眠時の呼吸数であるが、覚醒時の呼吸数が含まれてもよい。グラフの横軸は時間であり、縦軸は1分あたりの呼吸数を表す。なお、ここでは時系列的に古いデータがグラフの右側に表示され、新しいデータがグラフの左側に表示される例を示している。即ち、時間の流れはグラフの右側から左側に向かう方向となる。これ以降の測定結果の表示例についても同様である。図9では、24時間分の呼吸数の推移を表示する例を示しているが、表示対象となる期間は変更が可能であってもよい。端末装置200を使用する介助者は、図9に示した画面等を閲覧することによって、介助者に異常が無いかを判断する。なお、図9では呼吸数を表示する例を示したが、睡眠情報や心拍数等、他の体動情報が表示されてもよい。これらの情報は、1つの画面に並べて表示されてもよいし、図9には不図示のタブの選択操作を受け付けることによって切り替えが可能であってもよい。
また端末装置200の表示部240には、異常発生時に介助者が行う対応をサーバシステム100に登録するためのオブジェクトが表示されてもよい。ここでのオブジェクトは、例えば図9に示した対応報告ボタンであってもよい。例えば熟練介助者は、体動情報の推移に基づいて被介助者に異常が発生していると判断した場合、対応開始時に対応報告ボタンの選択操作を実行する。
図10は、対応報告ボタンの選択操作が行われた場合に表示部240に表示される画面例である。例えば表示部240は、具体的な対応内容の候補を表示してもよい。図10では、「問題なかった」、「オンライン面会」、「訪問」、「医療従事者に問い合わせ」の4つの対応内容が候補として表示される例を示している。
「問題なかった」とは、体動情報の数値としては平常状態から乖離しているが、深刻な状態ではなく、特別な対応が必要ないと熟練者が判断したことを表す。
「オンライン面会」とは、例えばWeb会議や映像付きの通話を行うアプリケーション等に基づいて、介助者が被介助者の状態を遠隔で確認することを表す。例えば、被介助者の周辺には当該アプリケーションがインストールされたスマートフォンやPC等の被介助者用端末が配置されており、介助者の端末装置200と被介助者用端末とを用いてオンライン面会が実行される。なお、被介助者の画像の取得に、測定装置400である撮像装置440が用いられてもよい。
「訪問」は、介助者が被介助者宅を訪問し、対面で何らかの対応を行うことを表す。なお「訪問」は、訪問時に実行する詳細な対応内容を含むように細分化されてもよい。例えば「訪問:***介助」や「訪問:食事介助」等、より詳細な対応内容が選択可能であってもよい。
「医療従事者に問い合わせ」とは、医師や看護師等、医療の専門家である医療従事者に対して、医学的な見地から対応を求めることを表す。例えば介助者は医療の専門家ではないため、呼吸数等の異常が疾病に起因するか否かを判断することや、採血等の医療行為を実行することは難しい。よって熟練介助者は、被介助者の異常が介助の範囲で対応できない可能性があると判断した場合、「医療従事者に問い合わせ」を選択してもよい。
熟練者による対応内容の選択操作を受け付けた場合(ステップS102:Yes)、端末装置200の処理部210は、ステップS103において、熟練者が何らかの対応を行ったか否かを判定する。図10に示した例である場合、処理部210は、熟練者の選択した対応内容が「問題なかった」であるかを判定してもよい。
熟練者が「問題なかった」以外を選択し、何らかの対応を行っている場合(ステップS103:No)、処理部110は、熟練者による操作入力に基づいて、具体的な対応内容を特定する処理を行う。例えば対応内容として対応内容A及び対応内容Bが候補となる場合、ステップS104において処理部210は、熟練者によって対応内容Aが選択されたかを判定してもよい。対応内容Aが選択された場合(ステップS104:Yes)、処理部210は、ステップS105において対応フラグAを第1ビット(1)に設定する。対応内容Bが選択された場合(ステップS104:No)、処理部210は、ステップS106において対応フラグBを第1ビット(1)に設定する。対応フラグAとは、対応内容Aが実施された場合に第1ビットに設定されるフラグデータであり、対応フラグBとは、対応内容Bが実施された場合に第1ビットに設定されるフラグデータである。また上述したように、対応内容の候補は3以上であってもよく、この場合も同様に対応内容を表すフラグデータが設定される。例えば処理部210は、ステップS104-S106に相当する処理として、3つ以上の候補のうち、いずれの対応内容が選択されたかを特定可能なフラグデータ(例えば3つ以上のフラグデータ、あるいは複数ビットからなるフラグデータ)の値を設定してもよい。処理部210は、設定したフラグデータを、ステップS101で取得した体動情報に関連付ける処理を行う。
端末装置200は、通信部230を介して、対応内容(フラグデータ)が関連付けられた体動情報を、サーバシステム100に送信する。そしてステップS107において、サーバシステム100の処理部110は、端末装置200から取得した情報を記憶部120に記憶する処理を行う。例えば記憶部120は、体動情報及び対応内容を要素として含むデータベースを記憶しており、ステップS107の処理は当該データベースの更新処理であってもよい。
このように、情報処理装置の取得部(例えばサーバシステム100の通信部130)は、熟練者が使用する第1端末装置(端末装置200A)において、対応内容を決定する入力操作が行われた場合に(ステップS102:Yes)、第1体動情報及び対応内容が関連付けられた情報を取得する。このようにすれば、熟練者が異常を発見した際の操作をトリガーとして、体動情報と対応内容を関連付けて蓄積することが可能になる。
この際、処理部110は、第1端末装置(例えば熟練介助者の端末装置200A)における入力操作の実行タイミングに基づいて第1基準点を決定し、当該第1基準点によって決定される期間における体動情報を、第1体動情報として記憶部120に記憶させてもよい。上述したように、入力操作の実行タイミングとは、熟練者が体動情報を閲覧した際に、被介助者の異常を感じた状況に対応する。即ち、入力操作の実行タイミングに対応する期間の体動情報を第1体動情報として記憶することによって、当該第1体動情報が被介助者の異常を反映した情報となる蓋然性を高くできる。結果として、後述する類似度の算出等の処理精度向上が可能になる。
図11は、基準点を説明する図である。図11はあるユーザの呼吸数の時間変化を例示する図であり、図9と同様のグラフである。ここでは、図11に矢印で示したタイミングT1において、熟練者が、図9及び図10に示した画面により対応を決定する入力操作を行った場合を考える。具体的な状況としては、熟練者が図11のグラフを閲覧した際に、T2に示す期間において他と識別可能な程度に呼吸数が増大していることを異常と認識し、その結果としてT1のタイミングにおいて入力操作を実行するケース等が考えられる。
この場合、処理部110は、タイミングT1を第1基準点に設定し、当該第1基準点に基づいて設定された期間の体動情報を第1体動情報として記憶部120に記憶する。ここでの期間は、例えばタイミングT1を終点とする所定の長さの期間であってもよい。所定の長さは、2-3時間であってもよいし、24時間程度であってもよいし、1-2週間程度であってもよい。例えば、サーバシステム100は、タイミングT1を含むある程度の長さ(例えば2週間以上)の期間における体動情報を記憶しており、当該体動情報から、タイミングT1に基づいて所定期間のデータを抽出することによって第1体動情報を取得してもよい。なお、タイミングT1は、対象期間の終点に限定されず、T1よりも後のタイミングの体動情報が第1体動情報に含まれてもよい。図11の例であれば、T1を基準とすることによって、呼吸数に異常が生じているT2の期間の情報が、第1体動情報に含まれる蓋然性を高くすることが可能である。また熟練者が波形を閲覧してユーザの異常を発見するタイミングと、端末装置200を操作して対応を入力するタイミングにはラグが生じる可能性もある。例えば、対応内容の決定に時間がかかる、他の業務(例えばインシデントへの対応等)により即座に入力を行えない、等の状況が想定される。従って、第1基準点の設定に用いられるタイミングT1は、修正が可能であってもよい。ここでの修正は熟練者が手動で行ってもよい。あるいは、体動情報を熟練者に提示したタイミングから、実際に入力操作が行われるタイミングT1までの経過時間等に基づいて、処理部110がタイミングT1を自動で修正してもよい。
一方、熟練者の入力操作が行われなかった場合(ステップS102:No)、及び、入力操作は行われたが対応内容が「問題なかった」である場合(ステップS103:Yes)、ステップS104-S106の処理は省略される。例えば端末装置200は、対応内容が関連付けられていない体動情報をサーバシステム100に送信してもよい。対応内容が関連付けられていないとは、対応フラグが付与されていないことを表してもよいし、全ての対応フラグが第2ビット(0)であることを表してもよい。そしてステップS107において、サーバシステム100は、対応内容が関連付けられていない体動情報を記憶部120に記憶させる処理を行う。なお、図7では、入力操作自体が行われていない場合と、「問題なかった」が選択された場合を同様に扱っているが、これらが区別可能な態様で記憶されてもよい。例えば、体動情報に対して、「問題なかった」が選択されたか否かを表すフラグデータが付与されてもよい。
ステップS108において、処理部110は、測定装置400での測定処理が終了したかを判定する。なおステップS108の判定処理は、測定装置400や端末装置200において実行されてもよい。測定処理が終了していない場合、ステップS101に戻り、上述した処理が継続される。測定処理が終了した場合、図7に示すデータの蓄積処理が終了される。
以上で説明した処理は、任意のタイミングで実行が可能である。例えば、体動情報の測定、及び、測定結果の端末装置200での表示は常時実行可能であってもよい。そして熟練の介助者は、介助業務の中で適宜、測定結果を確認し、異常を感じた場合に入力操作を実行する(ステップS102:Yes)。このようにすれば、熟練者が異常を発見して入力操作を行う毎に、体動情報と対応内容がデータベースに追加されていくため、後述する利用処理において参照可能なデータ量を増やしていくことが可能である。
なお、本実施形態のデータベースに記憶する情報は、対応内容がある程度信頼できる情報であってもよい。よって、サーバシステム100は、複数の介助者のそれぞれが熟練者であるか否かを示す情報を記憶してもよい。そしてサーバシステム100の処理部110は、対応内容を含むデータが熟練者の端末装置200から送信されたことを条件として、当該データをデータベースに追加してもよい。例えば、熟練者の端末装置200のみにサーバシステム100へのデータ送信を許可してもよい。あるいは、熟練度によらず端末装置200からのデータ送信は許可しつつ、対応内容をデータベースに追加するか否かをサーバシステム100側で判定してもよい。このようにすれば、非熟練者の対応を示す情報が、後述する利用処理で利用されることを抑制できる。
熟練者であるか非熟練者であるかは、介護施設の管理担当者や介助者自身が入力可能であってもよい。あるいはサーバシステム100が介助者の職歴、保持資格等の情報を取得し、これらの情報に基づいて各介助者の熟練度を判定してもよい。また、第2実施形態において後述するように、データ管理者によるデータベースの修正が可能である場合、修正回数や修正内容に応じて各介助者の熟練度を補正する処理が行われてもよい。またデータ管理者によるデータベースの修正が可能である場合、送信されたデータをデータベースに追加するか否かが、データ管理者の入力操作に基づいて決定されてもよい。あるいは、熟練度の判定対象である介助者には、図9に示す対応報告ボタンと、図13に示す類似データ参照ボタンの両方が提示されてもよい。そして処理部110は、類似データ参照ボタンが選択された回数/頻度に基づいて熟練度を判定する。類似データ参照ボタンを選択するということは対応内容を適切に決定できないことを表すため、例えば処理部110は、類似データ参照ボタンの選択回数/頻度が所定以上である場合に、対象の介助者を非熟練者と判定してもよい。また処理部110は、対応報告ボタンと類似データ参照ボタンのそれぞれの選択回数/頻度の比率に基づいて、熟練度を判定してもよい。
<利用処理>
図12は、データベースに蓄積された情報を利用する利用処理を説明するフローチャートである。まずステップS301において、検出装置430は対象の被介助者に関する体動情報の測定を行う。ステップS301の処理は、図8を用いて上述した処理と同様である。検出装置430は、測定結果である体動情報を、被介助者の担当者である介助者の端末装置200に送信する。
ステップS302において端末装置200は、表示部240に体動情報を表示する処理、及び、介助者(非熟練者)による入力操作を受け付けたかの判定を実行する。
図13は、ステップS302において端末装置200の表示部240に表示される顔面の例である。表示部240は、測定対象である被介助者を特定するIDを表示するとともに、当該被介助者に関する測定結果を表示する。図13では図9と同様に、呼吸数の変化を表すグラフが表示される例を示している。端末装置200を使用する介助者は、図13に示した画面等を閲覧することによって、介助者に異常が無いかを判断する。なお、睡眠情報や心拍数等、他の体動情報が表示されてもよい点は図9の例と同様である。
また端末装置200の表示部240には、閲覧している体動情報に類似する体動情報等の提示を求めるためのオブジェクトが表示されてもよい。ここでのオブジェクトは、例えば図13に示した類似データ参照ボタンであってもよい。例えば熟練度の低い介助者は、体動情報の推移に基づいて被介助者に異常が発生していると判断しても、具体的な対応の決定に迷う可能性がある。この場合、当該介助者は、類似データ参照ボタンの選択操作を行うことによって、対応決定のサポートをサーバシステム100に依頼してもよい。
端末装置200は、類似データ参照ボタンの選択操作が行われた場合(ステップS302:Yes)、体動情報を含む要求をサーバシステム100に送信する。当該要求に基づいて、ステップS303においてサーバシステム100は類似度の算出処理を行う。
図14は、ステップS303の類似度算出処理を説明するフローチャートである。まずステップS401において、処理部110は、記憶部120に記憶されたデータベースを読み込む処理を行う。ここでのデータベースは、上述した蓄積処理によって更新されるデータベースであり、第1体動情報と対応内容を関連付けた情報が蓄積されている。例えば処理部110は、ステップS401の時点でデータベース記憶されている全てのデータを読み込んでもよい。ただし、処理部110は、データベースの一部を読み込んでもよい。例えば第2実施形態で後述するように、データ管理者によるデータベースの確認、更新が可能であってもよく、処理部110はデータベースのうち、確認済みのデータのみを読み込んでもよい。
次に処理部110は、読み込んだデータに含まれる体動情報(第1体動情報)と、非熟練者の端末装置200から送信された体動情報(第2体動情報)の比較処理を行うことによって類似度を算出する。例えば、ステップS401において第1体動情報がN個(Nは2以上の整数)だけ読み込まれた場合、処理部110は、以下の処理を当該N個の体動情報のそれぞれを対象として実行する。
まず処理部110は、非熟練者の端末装置200から送信された体動情報のうち、第1体動情報との比較処理の対象となる範囲を決定する。具体的には、処理部110は、非熟練者が使用する第2端末装置(図5の例であれば端末装置200B)における第2入力操作に基づく要求を取得した場合に、第2入力操作の実行タイミングに基づいて第2基準点を決定し、第2基準点によって決定される期間における体動情報を第2体動情報として決定してもよい。ここでの第2入力操作とは、具体的には図13における類似データ参照ボタンの選択操作を表す。例えば処理部110は、類似データ参照ボタンの選択操作が行われたタイミングを第2基準点とし、当該第2基準点を終端とする所定の長さの期間の体動情報を、第2体動情報としてもよい。このようにすれば、第1体動情報と第2体動情報のそれぞれが入力操作に基づいて決定される期間のデータとなるため、異なる場面で取得された2つの体動情報を、適切に比較することが可能になる。
ステップS402において、処理部110は、第1体動情報の平均値と、第2体動情報の平均値を求める。例えば体動情報が呼吸数の時系列変化である場合、平均値とは呼吸数の平均値であってもよい。
ステップS403において、処理部110は、第1体動情報のばらつきと、第2体動情報のばらつきを求める。例えば体動情報が呼吸数の時系列変化である場合、ばらつきとは呼吸数の分散や標準偏差であってもよい。
ステップS404において、第1体動情報の平均値と第2体動情報の平均値の比較、及び、第1体動情報のばらつきと第2体動情報のばらつきの比較に基づいて、第1体動情報と第2体動情報の類似度を求める。例えば処理部110は、平均値の差、及び、ばらつきの差を引数とする関数に基づいて類似度を算出してもよい。この関数は、平均値の差が小さいほど値が大きく、ばらつきの差が小さいほど値が大きくなる関数である。類似度は例えば0%以上100%以下の数値データであってもよい。また処理部110は、平均値やばらつきを特徴量とする機械学習を行うことによって、類似度を算出してもよい。
なお、ステップS402-S404は類似度を求める処理の一例であり、本実施形態の手法はこれに限定されない。例えば処理部110は、第1体動情報と第2体動情報の距離に基づいて類似度を算出してもよい。例えば以上では平均値の差を処理に用いる例を説明したが、平均値にかえて、最大値、最小値、中央値等の他の値が用いられてもよい。また、体動情報の変化量が類似度算出に用いられてもよい。ここでの変化量は、最大値と最小値の差分であってもよいし、他の指標であってもよい。変化量は、平均値の代わりに用いられてもよいし、ばらつきを表す簡易的な指標として用いられてもよい。
図15は、距離に基づく類似度算出処理を説明する図である。図15は、図9に示したAさんの呼吸数を表す測定結果(蓄積データ)と、図13に示したBさんの呼吸数を表す測定結果をまとめて表示したものである。ここで、AR1に示す矢印は熟練介助者による入力操作の実行タイミングであり第1基準点を表す。AR2に示す矢印は、非熟練介助者による入力操作の実行タイミングであり第2基準点を表す。例えば処理部110は、第1基準点と第2基準点が一致するように第1体動情報と第2体動情報の横軸方向での位置関係を調整した上で、各位置におけるデータ間の距離を求めてもよい。
図15の例であれば、蓄積データは第1基準点においてa1であり、そこから右方向(時間的には過去方向)にa2,a3,a4,a5の順に並ぶ。同様に、Bさんの測定結果は第2基準点においてb1であり、そこから右方向にb2,b3,b4,b5の順に並ぶ。例えば処理部110は、下式(1)に基づいて第1体動情報と第2体動情報の距離dを求めてもよい。
d={(a1-b1)+(a2-b2)+・・・}1/2 …(1)
さらに処理部110は、距離dが小さいほど値が大きくなるように類似度Srを求める。例えば類似度Srは、下式(2)によって求められてもよい。
Sr=1/(1+d) …(2)
また2つの波形間の類似度を求める手法は種々知られており、本実施形態ではそれらの手法を類似度算出に広く適用可能である。例えば処理部110は、第1体動情報と第2体動情報の相互相関関数を用いて類似度を求めてもよい。あるいは処理部110は、動的時間伸縮法(DTW:Dynamic Time Warping)を用いて類似度を求めてもよい。
図12に戻って説明を続ける。ステップS303の処理により、例えばデータベースから読み込まれたN個の第1体動情報のそれぞれについて、第2体動情報との類似度が求められる。ステップS304において、処理部110は、類似度を含む類似情報を、端末装置200において提示する処理を行う。
図16は、ステップS304の処理によって、端末装置200の表示部240に表示される画面の例である。図16に示すように、処理部110は、類似情報として、類似度を表す数値と、第1体動情報に関連付けられた対応内容とを提示する処理を行ってもよい。図16では、類似度が高いデータのID、第1体動情報と第2体動情報の類似度を表す数値、及び、第1体動情報に関連付けられた対応内容が表示される。上述したように、第1体動情報と第2体動情報の類似度が高ければ、熟練介助者が対応を行った際の被介助者の状態と、非熟練介助者が対応を行おうとしている被介助者の状態が類似している蓋然性が高い。従って、本実施形態の手法によれば、非熟練介助者が担当する被介助者の状態に適した対応を提示することが可能になる。
図16の例であれば、類似度が高いID1及びID2のデータの対応内容は「訪問:***処理」である。よって非熟練介助者は、訪問を行い、おむつ交換等の***介助を行う対応が有効であると判断できる。また、ID3の対応内容として「訪問:***変換」が提示されているため、まずは訪問を行うことを決定し、具体的な対応内容は訪問時に決定する等の判断を行わせることも可能である。
1.3 類似度算出の対象期間
上述したように、第1体動情報は第1基準点に基づいて決定される所与の長さの期間の情報であり、第2体動情報は第2基準点に基づいて決定される同じ長さの期間の情報である。ここでの、所与の長さは固定値であってもよい。例えば、数時間程度であってもよいし、12~24時間程度であってもよいしであってもよいし、7-14日程度であってもよい。ここでの所与の長さの期間とは、第1体動情報と第2体動情報の比較を行う期間であるため、以下では比較期間とも表記する。
本実施形態における比較期間は、適切に設定されることが望ましい。例えば図11において、比較期間が過剰に短いことによって、タイミングT1を終端とし、期間T2を含まない長さの期間が比較期間に設定された場合を考える。熟練者が異常を認識した理由がT2での呼吸数の増大である場合、比較期間がT2を含まなければ、第1体動情報から異常を表す呼吸数の情報が欠落してしまうことになる。換言すれば、この場合の第1体動情報は、熟練介助者が対応内容を決定した根拠となる情報を含んでいない。従って、このような場合に第1体動情報と第2体動情報の類似度が高かったところで、第1体動情報に関連付けられた対応内容が有効であるとは言えない可能性がある。以上の点を考慮すれば、比較期間は、熟練者が対応内容を決定する根拠となる部分(異常が発生した部分)を含む程度に長く設定されることが望ましい。一方で、比較期間を不必要に長く設定してしまうと、類似度算出処理の処理負荷が増大する可能性がある。
ここで、好ましい比較期間は状況に応じて変化する可能性がある。例えば、異常の要因によっては、数時間程度の測定結果のみを閲覧すれば熟練者が十分に対応内容を決定可能なケースもあれば、より長い期間において継続的に、あるいは断続的に現れる傾向を見なければ熟練者でも対応内容の決定が容易でない場合がある。換言すれば、対応内容には、比較的短い時間の測定結果から決定可能なものもあれば、比較的長い時間の測定結果がなければ決定が容易でないものもあると考えられる。
以上の点を考慮し、処理部110は、第1の長さの期間における第1体動情報と第2体動情報に基づいて第1類似度情報を求める処理と、第1の長さとは異なる第2の長さの期間における第1体動情報と第2体動情報に基づいて第2類似度情報を求める処理を行ってもよい。このように、比較期間の異なる複数の類似度情報を求めることによって、類似度の算出精度向上等が可能になる。
図17は、図12のステップS303に示した類似度算出処理の他の例を説明するフローチャートである。まずステップS501において、処理部110は、記憶部120から24時間分の体動情報を含むデータを読み出す。例えば、ここで読み出される第1体動情報は、第1基準点に基づいて期間が決定される24時間分のデータである。そして処理部110は、読み込んだ24時間分の第1体動情報と、第2体動情報を比較することによって類似度Aを算出する。なお、ここでの第2体動情報は第2基準点に基づいて期間が決定される24時間分のデータであることが望ましい。
ステップS502-S504の処理は、図14を用いて上述した処理と同様である。例えば処理部110は、平均値とばらつきに基づいて第1体動情報と第2体動情報の類似度Aを算出する。上述したように、類似度を求める処理については種々の変形実施が可能であり、最大値、最小値、中央値、変化量等の種々の情報が用いられてもよい。
またステップS505において、処理部110は、記憶部120から14日分の体動情報を含むデータを読み出す。例えば、ここで読み出される第1体動情報は、第1基準点に基づいて期間が決定される14日分のデータである。そして処理部110は、読み込んだ14日分分の第1体動情報と、第2体動情報を比較することによって類似度Bを算出する。なお、ここでの第2体動情報は、第2基準点に基づいて期間が決定される14日分のデータであることが望ましい。
ステップS506-S508の処理は、図14を用いて上述した処理と同様である。例えば処理部110は、平均値とばらつきに基づいて第1体動情報と第2体動情報の類似度Bを算出する。
例えば、処理部110は、類似度Aと類似度Bの両方を端末装置200において提示してもよい。この場合、端末装置200での操作入力に基づいて、類似度Aに基づくソートや、類似度Bに基づくソート等が行われてもよい。このようにすれば、観点の異なる複数の類似度が表示されることで情報量が増えるため、非熟練介助者による対応決定をよりサポートすることが可能になる。
図18A及び図18Bは、対応内容の分類、具体的な対応内容、及び望ましい比較期間の例を示す図である。図18Aは、主に介助分野での対応内容を例示したものである。例えば***介助には「トイレへの誘導」、「おむつ交換」、「シーツ交換」等の対応内容が含まれており、これらは2-3時間程度の比較的短い期間(以下、短時間と表記)での測定結果に基づく判断が可能である。ベッド上での***補助、食事介助、入浴介助、更衣介助についても同様であり、それぞれが具体的な対応内容を含み、各対応内容は短時間の測定結果に基づく判定が可能である。なお「室温を適正にする」との対応内容は、介助者が訪問を行い直接エアコン操作や窓の開閉を行うものに限定されず、いわゆるスマートホーム等のシステムを用いてエアコン等の遠隔操作を行う対応を含んでもよい。またここでの温度の調整について例示したが、対応内容には湿度の調整が含まれてもよい。例えば、介助者が訪問により直接、あるいは遠隔操作により、加湿器や除湿機を操作する。また湿度の調整ではエアコンを除湿モードで動作させる対応が含まれてもよい。
また問題なしと判断された場合(図8のステップS103:Yes)、熟練者は体動情報に異常を発見したものの、その要因が放置可能である、あるいは自然に解消すると考えた可能性がある。例えば、問題なしと判断した理由を細分化した場合、図18Aに示すように、運動、食事、テレビ等による被介助者への刺激、風等によるセンサへの影響等が考えられる。この場合も、熟練者は短時間の測定結果に基づく判定が可能である。
また医療従事者へ問い合わせが必要と判断された場合、熟練介助者は介助分野での対応が難しいと判断したと考えられる。この場合、問い合わせに基づいて医療従事者が実際に行う対応内容に応じて、短時間の測定結果に十分な特徴が含まれる場合もあれば、12-24時間程度の比較的長い時間(以下、長時間と記載)の測定結果が取得されなければ、対応内容の判断に必要な特徴が含まれない場合もある。また医療従事者の対応によっては、7-14日程度のさらに長いスパン(以下、長期間)が必要な場合もある。
図18Bは、医療従事者による対応内容、及び望ましい比較期間の例を示す図である。図18Bでは看護師の業務範囲と、医師の業務範囲に分けて具体例を示している。看護師の対応内容としては「疼痛コントロール」、「睡眠薬の投与」等が考えられる。また「血圧、脈拍、酸素飽和度、呼吸音の測定」については、訪問で行われてもよいし、遠隔で行われてもよい。また「救急車対応」とは、例えば心房細動等の緊急性の高い状況に対応する。また「がん末期や終末期のターミンナルケア」では、例えば徐々に呼吸が浅く、回数が少なくなることから他の対応との切り分けが可能である。
また医師の対応内容としては、「患者に薬を処方する」、「レントゲン撮影の提案」等が考えられる。ここでの薬は睡眠薬や鎮静剤等、種々の薬を含む。また「レントゲン撮影の提案」は、例えば体動等への影響が骨折の痛みに起因する可能性がある場合に実行されてもよい。また「訪問看護師への指示」とは、看護師を患者宅に訪問させるとともに、医師が遠隔で指示を与えることを表す。また「遠隔での呼吸音の聴取」は、体動への影響が、呼吸器疾患や嚥下障害に起因する可能性がある場合に実行されてもよい。同様に「遠隔での心電図検査」は、体動への影響が、心疾患に起因する可能性がある場合に実行されてもよい。
例えば、看護師の対応内容である疼痛コントロールを行うかを判断する場合、長時間の測定結果を取得することが望ましい。また睡眠薬等の投与を行うかを判断する場合、長期間の測定結果を取得することが望ましい。これ以外の看護師の対応内容についても同様であり、対応内容毎に望ましい比較期間が決定される。なお、例えば救急車対応を行う場合、短時間の測定結果で十分な場合もあれば、長期間の測定結果が必要となる場合もある。よって、1つの対応内容に対して、短時間、長時間、長期間のうちの2以上の比較期間が関連付けられてもよい。医師の業務範囲についても同様である。なお、第1実施形態では介助者(介護関係者)を対象とした処理を行っているため、図18Aのみを考慮し、図18Bの詳細については考慮されなくてもよい。図18Bを用いた処理の例については第2実施形態において後述する。
このように、対応内容と望ましい比較期間が決定されている場合、処理部110は、第1体動情報に対応づけられた対応内容に応じて、第1類似度情報と第2類似度情報の優先度を決定してもよい。
例えば、処理部110は、類似度として、短時間の体動情報を比較した第1類似度と、長時間の体動情報を比較した第2類似度と、長期間の体動情報を比較した第3類似度を求めてもよい。なお、類似度の数は3つに限定されず、図17に示したように2つであってもよい。また類似度の数は、4つ以上であってもよい。
そして処理部110は、第1体動情報に関連付けられた対応内容に応じて、第1類似度~第3類似度の優先度を決定する。例えば、第1体動情報に関連付けられた対応内容が「トイレへの誘導」である場合、比較期間は短時間で十分であるため、第1類似度の優先度が第2類似度及び第3類似度よりも高く設定される。例えば処理部110は、第1体動情報と第2体動情報の類似度として、第1類似度を提示してもよい。あるいは処理部110は、第1類似度の重みが大きくなるように、第1類似度~第3類似度の重み付け平均を求め、当該重み付け平均を1体動情報と第2体動情報の類似度として提示する処理をおこなってもよい。
一方、第1体動情報に関連付けられた対応内容が「医療従事者へ問い合わせ」である場合、比較期間は短時間~長期間と幅が広い。例えば処理部110は、長期間のデータには短時間のデータが含まれることに鑑みて、第3類似度の優先度を、第1類似度及び第2類似度よりも高く設定してもよい。例えば処理部110は、第1体動情報と第2体動情報の類似度として、第3類似度を提示してもよい。あるいは処理部110は、第3類似度の重みが大きくなるように、第1類似度~第3類似度の重み付け平均を求め、当該重み付け平均を1体動情報と第2体動情報の類似度として提示する処理をおこなってもよい。あるいは処理部110は、比較期間が短時間~長期間と幅が広いことを考慮し、第1類似度~第3類似度の優先度を同等に設定してもよい。
1.4 環境情報、感情情報
以上では測定結果として主に検出装置430に基づく体動情報について説明した。ただし、図5、図6等を用いて上述したように、測定装置は検出装置430に限定されず、温度計410、湿度計420、撮像装置440等を含んでもよい。以下、これらを用いた処理について説明する。
<環境情報>
例えば被介助者が高齢者である場合、急激な気温変化で体調を崩す、住居で熱中症になる等の要因によって呼吸数が上昇する場合も考えられる。換言すれば、呼吸数等の異常は、何らかの疾病によって発生するものに限定されず、被介助者の周辺環境に起因する可能性もある。そのため、介助者は被介助者宅に配置された温度計410によって検出される温度、及び湿度計420によって検出される湿度を含む環境情報を確認し、当該環境情報に基づいて対応内容を決定してもよい。例えば熟練介助者は、環境情報に異常を発見した場合、被介助者宅を訪問してエアコンを起動する、窓を開けて換気を行う等の対応を行ってもよい。このように熟練者の判断に環境情報が用いられる可能性を考慮すれば、非熟練介助者への類似情報の提示においても、環境情報が利用されてもよい。
具体的な処理は、体動情報に基づく処理と同様である。例えば情報処理装置の取得部(例えば通信部130)は、在宅ケアを受ける被介助者の周辺に配置された環境検出装置から、周辺の環境を表す環境情報を取得する。環境検出装置は、温度計410及び湿度計420の少なくとも一方を含む。また環境検出装置は、照度を検出する照度計、音の大きさを検出する音量測定器等を含んでもよい。即ち、環境情報は、温度、湿度、照度、音等の種々の情報を含むことが可能である。例えばサーバシステム100は、蓄積処理においては熟練者による端末装置200(端末装置200A)の操作結果とともに、体動情報と環境情報を取得する。また利用処理においては、非熟練者による端末装置200(端末装置200B)の操作をトリガーとして、体動情報と環境情報を含む要求を取得する。
そして処理部110は、第1体動情報と第2体動情報の類似度、及び、第1体動情報に関連付けられた環境情報と第2体動情報に関連付けられた環境情報の類似度に基づいて類似情報を決定してもよい。
図19Aは、環境情報に含まれる温度の時間変化を表す図である。図19Aの横軸は時間であり右に行くほど過去のデータを表す。図19Aの縦軸は気温の値を表す。図19Aのうち、Aさんとは熟練者が担当する被介助者であり、図19Aでは第1基準点がグラフの左端となるように位置が調整された結果を示している。同様に、Bさんとは非熟練者が担当する被介助者であり、図19Aでは第2基準点がグラフの左端となるように位置が調整された結果を示している。例えば処理部110は、図19Aに示したように、対応する位置での2つの波形の距離に基づいて、温度に関する類似度を求めてもよい。なお類似度を求める処理に種々の変形実施が可能である点は、体動情報と同様である。
また図19Bは、環境情報に含まれる湿度の時間変化を表す図である。図19Bの横軸は時間であり右に行くほど過去のデータを表す。図19Bの縦軸は湿度の値を表す。湿度の例についても同様に、例えば処理部110は、2つの波形の距離に基づいて、湿度に関する類似度を求めてもよい。
このようにすれば、処理部110は、体動情報に関する類似度と、環境情報に関する類似度をそれぞれ求めることが可能である。例えば処理部110は、この2つの類似度を、対応内容と関連付けて端末装置200に表示する処理を行ってもよい。
図20は、端末装置200の表示部240に表示される画面の例である。図20に示すように、処理部110は、類似情報として、類似度が高いデータのID、体動情報の類似度を表す数値、環境情報の類似度を表す数値、及び、第1体動情報に関連付けられた対応内容を提示する処理を行ってもよい。このようにすれば、環境情報の類似度合いも提示されるため、非熟練介助者による対応決定をより適切にサポートすることが可能になる。
なお、上述したように温度の類似度と、湿度の類似度が求められる場合、これらの両方が提示されてもよいし、これら2つの類似度に基づいて環境情報に関する1つの類似度が求められてもよい。体動情報についても同様であり、例えば呼吸数の類似度と心拍数の類似度がそれぞれ求められた場合、これらの両方が提示されてもよいし、これら2つの類似度に基づいて体動情報に関する1つの類似度が求められてもよい。
さらに言えば、体動情報の類似度と環境情報の類似度に基づいて1つの類似度が求められてもよい。例えば処理部110は、呼吸数の類似度、心拍数の類似度、温度の類似度、湿度の類似度をそれぞれ求め、これらに基づいて1つの類似度を求めてもよい。ここでの類似度は4つの類似度を乗算した結果であってもよいし、4つの類似度の重み付け平均をとった結果であってもよい。また呼吸数及び心拍数以外の体動情報を用いる場合や、温度及び湿度以外の環境情報を用いる場合についても同様である。
<感情情報>
また情報処理装置の取得部は、在宅ケアを受けるユーザ(被介助者)を撮像した画像情報に基づいて、ユーザの感情を表す感情情報を取得してもよい。例えば画像に基づいて人物の感情を推定する手法として、人物の顔を撮像した画像である入力データに対して、当該人物の感情を特定する情報が正解データとして付与された訓練データに基づく機械学習が用いられてもよい。例えば処理部110は、当該機械学習によって取得された学習済モデルに撮像装置440から取得した撮像画像を入力することによって感情分析を行う。ここでのモデルは、例えばCNN(Convolutional Neural Network)である。また“ https://azure.Microsoft.com/ja-jp/services/cognitive-services/face/”に開示のFace API等、画像処理に基づいて感情を分析する種々の手法が知られており、本実施形態ではそれらの手法を広く適用可能である。ここでの感情情報は、被介助者の感情が幸福、悲しみ、怒り、恐怖、驚き、嫌悪感、中立等の複数の感情のうちのいずれであるかを特定する情報である。なお、以下ではサーバシステム100の処理部110が感情分析を行う例を説明するが、端末装置200等、他の装置において感情分析が実行されてもよい。
例えば処理部110は、第1体動情報に関連付けられた感情情報に基づいて、対応内容によって表される対応が行われたことによる被介助者の感情変化を推定し、推定結果に基づいて第1体動情報にラベル付けを行ってもよい。
図21は、体動情報の時間変化に対して、各タイミングでの感情分析の結果を関連付けたグラフである。縦軸は例えば呼吸数を表し、横軸は時間を表す。上述した例と同様に、横軸は右側が過去を表す。図21の例では、矢印に示すタイミングT3において、介助者による入力操作が行われ、具体的な対応として被介助者宅への訪問が実行された。図21に示すように、グラフ右側において呼吸数が平常値(15回/分程度)である場合の被介助者の感情は中立であったのに対し、呼吸数が増大している異常発生時には被介助者の感情は恐怖に変化している。即ち、中立的な感情から、異常発生により負の感情へと変化している。その後、介助者が被介助者宅を訪問して対応することによって、呼吸数が安定するとともに、被介助者の感情は幸福という正の感情に変化した。
このように、被介助者の感情が負から正の方向変化した場合、介助者による対応は効果的であったと判定される。よってこの場合、処理部110は、対象のデータに対して成功データであることを表すラベルを付与してもよい。なお正の感情とは幸福を表し、負の感情とは、悲しみ、怒り、恐怖、驚き、嫌悪感等を表す。中立は正と負の中間的な感情を表す。
一方、被介助者の感情が正から負の方向に変化した場合、介助者による対応は効果的でなかったと判定される。よってこの場合、処理部110は、対象のデータに対して失敗データであることを表すラベルを付与してもよい。また処理部110は、被介助者の感情が変化しなかった場合、対象のデータに対して中立データであることを表すラベルを付与してもよい。
例えば成功データがラベル付けられたデータは、介助者による対応内容が好ましいことを表すため、被介助者への提示処理の対象とすることが望ましい。一方、失敗データがラベル付けされたデータは、介助者による対応内容が好ましくなかったことを表すため、当該失敗データに含まれる対応内容が提示された場合、非熟練者に好ましくない対応の実行を促してしまう可能性がある。
従って、処理部110は、類似度算出処理におけるデータベース読み込み(図14のステップS401等)において、データベースのうち、成功データがラベル付けされたデータのみを読み込む処理を行ってもよい。あるいは処理部110は、データベースのうち、失敗データを除外したデータ(成功データ及び中立データがラベル付けされたデータ)を読み込む処理を行ってもよい。
また以上では対応実行に起因する感情変化を用いた処理について説明したが、感情情報の利用はこれに限定されない。例えば被介助者の体動に異常が発生した場合、その要因の一つとして、被介助者の感情変化が考えられる。例えば被介助者が怒りや悲しみのような負の感情を抱いたことを要因として呼吸数や心拍数が増大する可能性がある。従って、例えば熟練者や非熟練者である介助者の端末装置200において、体動情報と合わせて感情情報を提示させることによって、介助者による対応内容の決定をサポートすることが可能になる。例えば、図9や図13の画面において感情情報が表示されてもよい。また類似情報を決定する際に、第1体動情報に関連付けられた感情情報と、第2体動情報に関連付けられた感情情報の比較処理が行われてもよい。例えば処理部110は、第1体動情報の急激な変化前後での感情を第1体動情報にラベル付けする処理、及び、第2体動情報の急激な変化前後での感情を第2体動情報にラベル付けする処理を行い、この2つのラベルの比較処理を行ってもよい。このようにすれば、感情に起因する異常に対して、介助者に適切に対応を行わせることが可能になる。
また上記のような感情のラベル付けは、感情を落ち着かせるような対応を実行する際に特に好適である。例えば、図18Aに示した対応内容のうち「誤嚥処理:前屈姿勢にして背中をさする」、「誤嚥処理:一旦休息して深呼吸する」、「誤嚥処理:水を飲ませる」等は、被介助者を落ち着かせて冷静に嚥下を行わせることが重要であるため、誤嚥発生時の感情を考慮することで介助を効果的に実行できる可能性がある。また、「入浴させる」、「清拭」等は、被介助者に気分転換を行わせることができるため、感情起因の異常に有効な対応である。よってこれらの対応が提示される可能性がある場合、例えば第2体動情報との比較対象である第1体動情報にこれらの対応内容が関連付けられている場合、処理部110は、感情のラベル付け結果を積極的に用いて類似度算出処理を行ってもよい。例えば処理部110は、これらの対応内容が関連付けられている場合に感情のラベル付け結果を用い、他の対応内容については感情のラベル付け結果を用いなくてもよい。あるいは処理部110は、これらの対応内容が関連付けられている場合、他の対応内容が関連付けられている場合に比べて、感情のラベル付け結果の優先度を高く設定してもよい。
また「問題なしと判断」のなかでも「運動していて心拍呼吸が乱れた」、「食事による体動の影響だった」、「テレビなど外部の要因で感情の変化があったため心拍呼吸が乱れた」等も、体動情報の異常が疾病等に起因するものではないため、感情の影響度合いが大きい。従って、これらの対応内容に関する処理を行う際にも、感情のラベル付け結果が用いられてもよい。
さらに、医療従事者の対応内容まで考慮する場合、感情のラベル付け結果は異常要因の切り分け(対応内容の決定)に用いられてもよい。例えば看護師は、図18Bに示した対応内容のうち、「疼痛コントロール」、「排便ケア」、「病気や障害の状態、血圧・体温・脈拍などのチェック」、「在宅酸素、人工呼吸器などの管理」のいずれを選択するかの判断基準として、患者の感情を用いる可能性がある。従って処理部110は、医療従事者の端末装置200(第2実施形態の図25で後述する端末装置200Cや200D)に体動情報を表示する場合、感情情報を合わせて表示してもよい。また後述するように、非熟練医療従事者に対して類似情報が提示されてもよく、そのための類似度算出処理において感情情報が用いられてもよい。
1.5 基準点の補正
また以上では、熟練介助者による入力操作の実行タイミングを第1基準点とし、非熟練介助者による入力操作の実行タイミングを第2基準点とする例を説明した。例えば図15等を用いて上述したように、第1基準点と第2基準点が一致するように位置が調整された上で、第1体動情報と第2体動情報の比較処理が実行される。
ただし、同じ測定結果を閲覧したとしても、当該測定結果から異常を発見するタイミングは介助者に応じて異なる。例えば、介助者の熟練度が高い場合、早いタイミングで発見できるが、熟練度が低いと異常に気づくまでに時間を要する場合もある。
図22は、介助者による入力操作の実行タイミングの差の例を示す図である。図22の縦軸は呼吸数を表し、横軸は時間(右方向が過去)を表す。例えば熟練者は、タイミングT4で呼吸数が増大した後、比較的経過時間が短いタイミングT5で異常を発見し入力操作を実行する。一方で、非熟練者は呼吸数増大後もなかなか異常に気づけず、比較的長い時間が経過したタイミングT6で異常を発見し入力操作を実行する。
このように熟練者と非熟練者で入力操作のタイミングが異なる場合、第1基準点と第2基準点が一致するように補正した上で測定結果を比較したとしても、異常発生から基準点までの時間が異なるため、類似度の算出精度が低下する可能性がある。
よって本実施形態では、基準点の補正処理が行われてもよい。例えば処理部110は、第1体動情報の単位時間あたりの変化量に基づいて、第1基準点を補正する処理を行ってもよい。同様に処理部110は、第2体動情報の単位時間あたりの変化量に基づいて、第2基準点を補正する処理を行ってもよい。
図23Aは、補正処理前の基準点を例示する図である。図23Aの縦軸は呼吸数を表し、横軸は時間(右方向が過去)を表す。なお、基準点の補正処理の内容は第1基準点と第2基準点で共通であるため、以下では単に基準点として説明を行う。例えば、呼吸数はc5までのタイミングでは低い値で安定していたのに対して、c4以降では識別可能な程度に増大している。そして介助者は、c1に対応するタイミングT7で異常を発見し、端末装置200で入力操作を行った。この場合、タイミングT7が補正前の基準点として設定される。
図23Bは、補正処理の内容及び補正処理後の基準点を示す図である。例えば処理部110は、隣り合う2つのタイミングにおける呼吸数の差分(微分)を求め、当該差分と所与の閾値の比較処理を行う。図23BにおいてΔ1~Δ5がそれぞれ差分を表し、Δ1=|c1-c2|である。Δ2~Δ5も同様である。なお差分に変えて隣り合う2つの数値の間の比率が用いられてもよい。
図23Bの例では、Δ4の値が閾値より大きく、Δ1~Δ3及びΔ5は閾値よりも小さい。この場合、処理部110は、閾値以上の変化が生じたc4のタイミング(タイミングT8)に基準点を補正する処理を行う。このようにすれば、体動情報の具体的な変化に応じて基準点を補正できるため、図22に示した入力操作のタイミングに起因する第1基準点と第2基準点の差異が低減される。結果として、第1体動情報と第2体動情報の類似度算出処理の精度向上が可能になる。
また測定結果によっては、差分が閾値以上となる点が発見できない場合もある。図24A~図24Cは、基準点の補正処理を説明する他の図である。図24Aは、呼吸数の時間変化を表す図である。この場合、呼吸数は緩やかに増加している。従って、図23Bと同様にΔ1~Δ5を求めたとしても、閾値を超える点はないため、基準点を入力操作の実行タイミングであるタイミングT9から補正できない。
このような場合、処理部110は、環境情報の単位時間あたりの変化量に基づいて、第1基準点及び第2基準点を補正する処理を行ってもよい。図24Bは、図24Aの体動情報と同じ被介助者を対象として同じ期間において取得された環境情報を示す図である。なお図24Bでは、環境情報のうちの温度の時間変化を例示している。この場合も同様に、処理部110は、隣り合う2点の温度の差分(微分)又は比率を求め、当該差分または比率が閾値以上となる点を探索する。図24Bの例では、差分であるΔ1’~Δ5’のうち、Δ4’が閾値以上と判定される。よって処理部110は、基準点を、閾値以上の温度変化が生じたタイミングT10に補正する処理を行う。
そして処理部110は、第1体動情報と第2体動情報の比較処理を行う際にも、環境情報を用いて補正された基準点を用いた処理を行う。図24Cは、図24Aと同様に、呼吸数の時間変化を表す図である。この場合、処理部110は、図24Bに示したタイミングT10を基準点として設定する。このようにすれば、体動情報の時間変化が小さい場合であっても、適切に基準点を補正できるため、類似度算出処理の精度向上が可能になる。
1.6 類似度算出処理の変形例
以下、類似度を算出する処理の更なる変形例について説明する。例えば、熟練者は体動情報の標準範囲や急変を基準として異常を判定する。従って、体動情報の標準範囲または急変に基づいて類似度を算出することによって、熟練者の暗黙知を反映した適切な処理を実行できる。
<標準範囲>
例えば処理部110は、体動情報の標準範囲に基づいて、第1体動情報及び第2体動情報の一部または全部を抽出し、抽出結果の比較処理により類似度を算出してもよい。標準範囲とは、平均的な被介助者を対象とした場合の、体動情報の数値範囲を表す情報である。例えば体動情報とは睡眠情報であり、より具体的には呼吸数であってもよい。呼吸数の標準範囲は、例えば1分あたり12-24回程度である。なお体動情報が呼吸数に限定されず、心拍数等の他の情報に置き換えが可能であることは言うまでもない。また以下では、説明を簡略化するために、標準範囲の上限(24回)を用いた処理について説明するが、下限側で同様の処理が行われてもよい。
処理部110は、体動情報のうち上記標準範囲外となるデータを抽出する。例えば図15に示した第1体動情報のうち、呼吸数が24回よりも多い部分を第1比較用情報として抽出する。同様に処理部110は、第2体動情報のうち、呼吸数が24回よりも多い部分を第2比較用情報として抽出する。
そして処理部110は、図15等のグラフにおいて、第1比較用情報に含まれる点の数と、第2比較用情報に含まれる点の数の比較に基づいて類似度を算出する。点の個数が近いほど、類似度は高く算出される。このようにすれば、標準範囲からの外れ度合いに基づいて類似度を算出することが可能になる。即ち、類似度の算出処理に、熟練者の判断基準を反映させることが可能になる。
また処理部110は、第1比較用情報と第2比較用情報の距離に基づいて類似度を算出してもよい。距離に基づく類似度算出処理については、図15を用いて上述した例と同様である。なお横軸における所与の位置において、第1体動情報は標準範囲外であるが、第2体動情報は標準範囲内である場合、当該位置では、第2比較用情報が存在しないことになる。この場合、処理部110は、第1比較用情報と第2比較用情報の距離に代えて、第1比較用情報と標準範囲の上限値(24回)の距離を用いてもよい。第2比較用情報が存在し、且つ、第1比較用情報が存在しない場合も同様である。
また処理部110は、第1比較用情報を表す折れ線(グラフ)と、標準範囲の上限値(24回)を表す横方向の直線とによって囲まれる範囲の面積を、比較用の指標値として求めてもよい。同様に処理部110は、第2比較用情報を表す折れ線と、標準範囲の上限値を表す横方向の直線とによって囲まれる範囲の面積を、比較用の指標値として求める。そして処理部110は、2つの指標値が近いほど、類似度が高いと判定してもよい。
また処理部110は、第1比較用情報を対象として、平均値、最大値、最小値、ばらつき等の指標値を算出してもよい。同様に、第2比較用情報を対象として、平均値、最大値、最小値、ばらつき等の指標値を算出する。そして処理部110は、第1比較用情報から算出された指標値と第2比較用情報から算出された指標値の差が近いほど、類似度が高いと判定してもよい。
<値の急変>
また処理部110は、体動情報の値が所定以上変化する点に基づいて、第1体動情報及び第2体動情報の一部または全部を抽出し、抽出結果の比較処理により類似度を算出してもよい。例えば処理部110は、第1体動情報のうち隣り合う二点の差分(微分)を求め、その値が所定閾値以上となる点を、第1体動情報が急変する点と判定する。なお、値が急変する点を検出する処理は、図23Bを用いて上述した処理と同じであってもよい。そして処理部110は、第1基準点を一端とし、第1基準点に最も近い値が急変する点を他端とする範囲の第1体動情報を、第1比較用情報として抽出する。第2体動情報についても同様であり、処理部110は、第2基準点を一端とし、第2基準点に最も近い値が急変する点を他端とする範囲の第2体動情報を、第2比較用情報として抽出する。このようにすれば、熟練者の判断基準となる値が急変する点に基づいて、類似度算出の対象範囲を設定することが可能になる。
第1比較用情報及び第2比較用情報が抽出された後の処理については、上述した標準範囲の例と同様である。即ち、第1比較用情報に含まれる点の個数と第2比較用情報に含まれる点の個数に基づいて類似度が算出されてもよい。あるいは、第1比較用情報と第2比較用情報の距離に基づいて類似度が算出されてもよい。あるいは、第1比較用情報と所与の直線(標準範囲の上限を表す直線であってもよいし他の値に対応する直線であってもよい)の間の面積と、第2比較用情報と当該所与の直線の間の面積に基づいて類似度が算出されてもよい。あるいは、第1比較用情報及び第2比較用情報から、平均値、最大値、最小値、ばらつき等の指標値が求められ、当該指標値に基づいて類似度が算出されてもよい。
2.第2実施形態
図25は、情報処理システム10の他の例であって、具体的なユースケースを説明する図である。なお、介護施設A、被介助者宅C、熟練度の高い介助者Aについては図5と同様であるため、詳細な説明は省略する。また、熟練度の低い介助者Bについては図示が省略されているが、例えば図5と同様に、介助者Bは介護施設Bに勤務し、当該介護施設Bに入居する被介助者B、及び被介助者宅Dの被介助者Dの見守りを行ってもよい。
図25に示すように、本実施形態では図5に示した構成に加えて、医療従事者、介護施設の経営者、データ管理者、被介助者の家族に関連する構成が追加されてもよい。医療従事者は、端末装置200Cを用いて、介助者からの問い合わせに対する回答を行う。また端末装置200Cは、サーバシステム100へのデータ送信を行ってもよい。また医療従事者は熟練度の高い熟練医療従事者と、熟練度の低い非熟練医療従事者を含んでもよい。非熟練医療従事者は、端末装置200Dを用いて、サーバシステム100に蓄積されたデータを参照する。サーバシステム100は被介助者の電子カルテに関する情報を取得してもよい。なお以上の説明から分かるように、本実施形態における被介助者は、医療従事者によるケア(診察、検査等)を受ける患者であってもよいため、以下の説明では、被介助者を患者とも表記する。
また介護施設の経営者は、端末装置200Eを用いて、当該介護施設における介助によってサーバシステム100に蓄積されたデータを参照する。またデータ管理者は、端末装置200Fを用いて、サーバシステム100に蓄積されたデータの管理を行う。なお、ここでのデータ管理者は、例えば介護施設の職員であり、当該介護施設における介助によってサーバシステム100に蓄積されたデータの管理を行ってもよい。ただしデータ管理者は介護施設内の職員に限定されず、本実施形態に係るサービスの提供者(サーバシステム100を含むシステムの構築、管理等を行う事業者)であってもよい。
また被介助者の家族は、ここでは被介助者とは別居している家族を想定している。例えば被介助者Cの家族は、被介助者宅Cとは異なる家族宅で生活している。家族は、端末装置200Gを用いて、被介助者Cに関する測定結果の取得、及び医師への問い合わせを行う。また端末装置200Gは、サーバシステム100から介助や医療に関するログデータを取得してもよい。
以下、医療従事者、介護施設の経営者、データ管理者、被介助者の家族のそれぞれに関する処理について説明する。
2.1 医療従事者
医療従事者は、医師、看護師、薬剤師等、医療に従事する種々の専門家を含む。例えば図25に示したように、医療従事者は、介助者からの問い合わせを受け付け、当該問い合わせに回答する。例えば介助者が対応として「医療従事者へ問い合わせ」を選択した場合、医師が使用する端末装置200Cに問い合わせが通知される。ここでの通知は、端末装置200Aから端末装置200Cに直接送信されてもよいし、サーバシステム100を介して送信されてもよい。
図26は、問い合わせを受けた場合に医療従事者の端末装置200Cに表示される画面の例である。図26に示す画面では、被介助者を特定するID、属性(性別、年齢、既往歴)、測定結果、及び対応を入力するためのオブジェクトが表示される。図26の例では、被介助者のIDは0001であり、当該被介助者は88歳の男性であって、心不全の既往歴がある旨が表示される。医療従事者は、これらの情報に基づいて対応を決定する。なお図26に示す画面で表示される情報は、問い合わせ元の端末装置200(図25の例では端末装置200A)から送信されてもよい。あるいは、これらの情報はサーバシステム100の記憶部120に蓄積されており、問い合わせを受けた場合に、医療従事者の端末装置200Cがサーバシステム100から取得してもよい。
なお、図25では3つのサーバシステム100を図示しているが、これらは1つのサーバシステム100によって構成されてもよいし、データの共有が可能な分散サーバであってもよい。即ち、介助関係者がサーバシステム100に登録した情報は医療従事者から参照可能であってもよく、医療従事者がサーバシステム100に登録した情報は介助者から参照可能であってもよい。経営者、データ管理者、被介助者の家族の例においても同様である。
図26では対応を入力するためのオブジェクトとして、遠隔対応ボタン、往診対応ボタン、救急搬送依頼ボタンが表示される例を示している。遠隔対応とは、医療従事者が遠隔で診断等を行う対応を表す。例えば遠隔介助の例と同様に、テレビ会議等のシステムを用いて遠隔対応が行われてもよい。往診対応とは、医療従事者が被介助者宅(患者宅)を訪問して直接対応を行うことを表す。救急搬送依頼とは、被介助者の病院への救急搬送を依頼する対応を表し、被介助者の状態が悪く緊急性の高い場合に選択される。なお、医療従事者による対応はこれに限定されず、図26に示す画面において、より詳細な対応が入力可能であってもよい。具体的な対応内容の例については、図18Bに示したとおりである。
医療従事者によって何れかの対応を選択する入力操作が行われた場合、医療従事者は入力した具体的な対応を開始する。また医療従事者の端末装置200Cは、入力結果である対応内容を問い合わせ元の端末装置200Aに送信する。このようにすれば、問い合わせを行った介助者に対して、医療従事者が実行する対応内容を提示することが可能になる。なお一部の対応内容については、医療従事者の指示に基づいて、介助者が具体的な行動を実行してもよい。
なお、図25に示したように、問い合わせを受けた医療従事者が熟練者である場合、図26に表示される情報に基づいて適切に対応を決定できる蓋然性が高い。しかし、医療従事者の中には非熟練者も含まれるため、図26に表示された情報を閲覧したとしても、具体的な対応を決定できない場合もあり得る。
よって本実施形態では、第1実施形態における介助者の例と同様に、サーバシステム100は、熟練医療従事者によるデータを蓄積データとして記憶部120に蓄積し、当該蓄積データの参照結果を非熟練医療従事者へ提示する処理を行ってもよい。このようにすれば、非熟練医療従事者が問い合わせを受け付けた場合であっても、被介助者の状態に合わせた適切な対応を決定することが可能になる。
例えば熟練医療従事者が図26の画面において何らかの対応を選択する入力操作を行った場合に、端末装置200Cは、選択された対応内容をサーバシステム100に送信する。サーバシステム100は、被介助者に関する測定結果に対して、熟練医療従事者による対応内容を関連付けて記憶部120に記憶する。
図27は、非熟練医療従事者が介助者からの問い合わせを受けた場合に、当該非熟練医療従事者が使用する端末装置200Dの表示部240に表示される画面の例である。図27のうち、被介助者を特定するID、属性、測定結果については図26と同様である。図27の例では、被介助者のIDは0002であり、当該被介助者は心不全の既往歴があり、利尿剤が処方されている旨が表示される。図27の画面は、例えば図13と同様に、類似データ参照ボタンを含んでもよい。図27の類似データ参照ボタンの選択操作が行われた場合、端末装置200Dは、サーバシステム100に類似情報の提示を要求する。
サーバシステム100の処理部110は、第1体動情報をデータベースから読み込み、当該第1体動情報と、図27に示される体動情報(第2体動情報)とを比較することによって類似度を求める。類似度算出処理については第1実施形態と同様であり、図14に示した処理が行われてもよいし、図17に示した処理が行われてもよい。ただし、ここでは医療従事者に対応の候補を提示するものであるため、熟練介助者による対応を提示しても有用ではない可能性がある。よって図14のステップS401等で読み込まれるデータは、熟練医療従事者による対応内容が関連付けられたデータに限定されてもよい。また、図17に示す処理を行う場合、図18Bに示した「比較期間」に基づいて、複数の類似度の間での優先度が決定されてもよい。サーバシステム100は、類似度を含む類似情報を端末装置200Dに送信する。
図28は、端末装置200Dの表示部240に表示される類似情報の表示画面の例である。図28のうち、被介助者を特定するID、属性、測定結果については図27と同様である。そして図28に示す画面では、第1体動情報と第2体動情報の類似度の数値と、第1体動情報に関連付けられた対応内容が表示される。なお図28では、機械学習を用いる例を想定して、類似度として確信度の値が表示されている。機械学習の例についてはデータ管理者に関する説明と合わせて後述する。図28の例では、類似度が高い順に、「往診:酸素投与」、「往診:胸骨圧迫」、「救急搬送」という対応内容が提示されている。このように、類似度と合わせて対応内容を提示することによって、熟練度の低い医療従事者にも適切な対応を行わせることが可能になる。
なお、以上では介助者からの問い合わせをトリガーとして、医療従事者が対応内容を決定する例を説明したがこれには限定されない。例えば入院患者の病室内、あるいは通院患者の自宅に測定装置400が配置され、当該測定装置400の測定結果が医療従事者の端末装置200(例えば図25の端末装置200C,200D)に送信されてもよい。そして医療従事者は、定期的に測定結果を確認し、必要と判断した場合に対応内容を端末装置200に入力するとともに、具体的な対応を実行してもよい。例えば熟練医療従事者が対応内容を入力した場合は図7と同様の処理が実行され、非熟練医療従事者が対応に迷った場合には図12と同様の処理が実行される。このようにすれば、医療従事者が介助者を介さずにケアを担当する患者についても、当該医療従事者の熟練度によらず、適切な対応を行わせることが可能になる。
また上述したように、本実施形態における測定装置400は、体温計、心電図計、脈拍計、血圧計、パルスオキシメータ、体組成計、聴診器等を含んでもよい。これらの装置は、介助者によって使用されてもよい。ただし、聴診器による呼吸音の確認等、医療行為となる可能性がある行為については、医療従事者により行われてもよい。例えば看護師等が上記の測定装置400を使用し、測定結果が第1体動情報や対応内容に関連付けられてサーバシステム100に記憶されてもよい。利用処理においても同様に、看護師等が上記の測定装置400を使用することによって測定された測定結果がサーバシステム100に送信され、処理部110は当該測定結果を類似度算出処理に用いる。
2.2 経営者
図25に示したように、介護施設の経営者によって使用される端末装置200Eは、サーバシステム100との通信を行ってもよい。例えば端末装置200Eは、介助者の操作履歴等を含む種々の情報をサーバシステム100から取得する。
図29A、図29Bは、端末装置200Eにおいて表示される画面の例である。図29Aは、介護施設に入居する被介助者の睡眠効率を表示する図である。例えば、サーバシステム100の処理部110は、体動情報に含まれる睡眠情報に基づいて、複数の被介助者のそれぞれについて睡眠効率を求めてもよい。睡眠効率とは、在床時間に対する実際の睡眠時間の割合を表す。処理部110は、睡眠/覚醒の判定結果と、在床/離床の判定結果に基づいて、睡眠効率を求めてもよい。例えばベッドに入っているが寝付けない時間、覚醒しているがベッドから出られない時間があると睡眠効率が低下する。そのため、睡眠効率はある程度高い値(例えば85%以上)で有ることが望ましい。
例えばサーバシステム100は、介護施設毎に睡眠効率の値を求めてもよい。介護施設における睡眠効率とは、例えば当該介護施設に入居する全入居者の睡眠効率の平均値である。ただし、特定の属性を有する入居者の睡眠効率の比率を高くする等、各介護施設における睡眠効率を求める手法は種々の変形実施が可能である。そしてサーバシステム100は端末装置200Eに対して、対象の介護施設における睡眠効率と、他の介護施設における睡眠効率を比較する情報を提示する。これにより、経営者に睡眠の質を提示することが可能になる。図29Aの例では、他施設に比べて自施設の睡眠効率が高く、入居者の睡眠の質が高い状態であることが分かる。例えば自施設の睡眠効率が低い場合、睡眠改善に関する対応を経営者に促すことが可能になる。
図29Bは、介護施設に入居する被介助者の感情分析結果を表示する図である。例えば、サーバシステム100の処理部110は、撮像装置440からの撮像画像に基づいて、複数の被介助者のそれぞれについて感情分析を行ってもよい。例えばサーバシステム100は、上述した複数の感情のそれぞれが現れる比率を求める。
例えばサーバシステム100は、介護施設毎に感情比率の平均値を求めてもよい。そしてサーバシステム100は端末装置200Eに対して、対象の介護施設における平均感情比率と、他の介護施設における平均感情比率を比較する情報を提示する。これにより、経営者に、入居者が抱いている感情を提示することが可能になる。図29Bの例では、他施設に比べて自施設では正の感情である「幸福」の比率が高く、負の感情である「嫌悪感」、「驚き」等の比率が低いため、入居者の感情に問題がない状態であることが分かる。例えば自施設において負の感情の比率が大きい場合、被介助者と介助者のコミュニケーションや生活環境の改善等を経営者に促すことが可能になる。
また端末装置200Eは、対象の介護施設に属する介助者に関する業務評価の結果を表示してもよい。図30は、入力操作のタイミングに基づく業務評価を説明する図である。図30は、ある被介助者の呼吸数の時間変化を表す図であり、縦軸が1分あたりの呼吸数を表し、横軸が時間を表す。上述してきた例と同様に、右側が時間的に過去を表す。
図30に示す例では、タイミングTrより前(グラフ右側)では呼吸数が低い状態で安定していたのに対して、タイミングTr以降では呼吸数が増加している。よって、タイミングTrにおいて被介助者の容態が急変したと考えられる。仮に介助者が、対象の被介助者の測定結果を常時モニタリングしているのであれば、タイミングTrに十分近いタイミングで異常を発見することが可能かもしれない。しかし介護施設等では、1人の介助者が複数の被介助者を担当することが通常であるし、便漏れ、徘徊、転倒等のイレギュラーな事象が発生すれば、介助者は当該事象の対応を優先する必要がある。つまり、異常に気づくタイミングは介助者が介助業務に従事する状況等に応じて差が生じる可能性がある。例えば、介助者Aは、タイミングTrからの経過時間が相対的に短いタイミングTaにおいて異常を発見し、対応内容を選択する入力操作を実行する。一方で、介助者Bはなかなか異常を発見することができず、タイミングTrからの経過時間が相対的に長いタイミングTbにおいて、対応内容を選択する入力操作を実行する。この場合、介助者Bの業務環境は、人員が不足している、または仕事量が過剰である蓋然性が高い。つまり、異常発生から入力操作までの経過時間は、介護施設等における業務環境の評価に利用可能である。
例えば処理部110は、体動情報の変化に基づいて、ユーザ(被介助者、患者)に異常が発生した異常発生タイミングを取得してもよい。例えば処理部110は、図23A~図24Cを用いて上述した例と同様に、測定結果の差分や比率が所定閾値を超えたタイミングを異常発生タイミングとして決定する。図30の例であれば異常発生タイミングとはタイミングTrに対応する。
そして処理部110は、異常発生タイミングと第1端末装置における入力操作の実行タイミングの比較処理、及び、異常発生タイミングと第2端末装置における第2入力操作の実行タイミングの比較処理の少なくとも一方に基づいて、上記ユーザのケアを行う第2ユーザの業務に関する評価を行ってもよい。ここでの第2ユーザは例えば介助者であるが、医療従事者を含むことも妨げられない。第1端末装置とは例えば熟練介助者の端末装置200Aであり、第2端末装置とは例えば非熟練介助者の端末装置200Bである。このようにすれば、対応内容を決定する入力操作のタイミングを用いることによって、介助者の業務環境を評価することが可能になる。ここでの評価は、熟練介助者を対象としてもよいし、非熟練介助者を対象としてもよいし、その両方を対象としてもよい。また病院等の医療施設において、同様の手法により、医療従事者の業務環境の評価が行われてもよい。
例えば処理部110は、第1施設に所属する介助者に基づく評価結果と、第2施設に所属する介助者に基づく評価結果を比較可能な態様で出力する処理を行ってもよい。例えば処理部110は、所与の施設に所属する複数の介助者による入力操作のそれぞれについて異常発生タイミングとの差分値を算出し、この平均値等に基づいて、対象施設における対応までの時間を求める。なおここでの平均値の算出の際に、熟練介助者と非熟練介助者のいずれか一方の優先度を高くするような重み付け平均が用いられてもよい。また以下では時間そのものを表示する例を示しているが、処理部110は、異常発生タイミングと入力操作のタイミングが近いほど値が大きくなるように評価値を算出し、当該評価値を提示する処理を行ってもよい。
図31Aは、対象施設の業務評価の結果を表示する画面の例であり、例えば経営者の端末装置200Eの表示部240に表示される画面の例である。図31Aの縦軸は異常発生タイミングと入力操作の実行タイミングの差分平均値を表す。図31Aの例では、経営者の施設(自施設)と、それ以外の複数の施設での平均値が表示されている。図31Aの例では、自施設の平均値が相対的に低いため、業務内容に問題ないことが分かる。一方、自施設の平均値が高い場合、人員配置や業務量の再考を経営者に促すことが可能になる。
また処理部110は、所与の施設に所属する複数の介助者のそれぞれに関する評価結果を比較可能な態様で出力する処理を行ってもよい。例えば処理部110は、所与の施設に所属する複数の介助者による入力操作のそれぞれについて異常発生タイミングとの差分値を算出し、介助者毎に平均値を算出してもよい。
図31Bは、施設内の介助者毎の業務評価の結果を表示する画面の例であり、例えば経営者の端末装置200Eの表示部240に表示される画面の例である。図31Bの縦軸は異常発生タイミングと入力操作の実行タイミングの介助者毎の値を表す。図31Bの例では、5人の介助者のそれぞれについて、入力操作実行までの平均値が表示されている。図31Bの例では、時間が相対的に短い介助者(Aさん、Bさん、Cさん、Dさん)については、勤務時の人員配置や業務量が適切であることが示される。一方、時間が相対的に長い介助者(Eさん)については、勤務時の人員が足りていないか、当該介助者が担当する業務量が過剰である蓋然性が高い。図31Bに示す画面を表示することによって、人員配置や業務量の再考を経営者に促すことが可能になる。
2.3 データ管理者
また図25に示したように、データ管理者はデータベースの管理、更新を行う。図32は、管理者によるデータベースの更新処理を説明するフローチャートである。まずステップS601において、データ管理者の端末装置200Fは、管理対象であるデータをサーバシステム100のデータベースから読み込む。なお、データ管理者が介護施設内の職員である場合、読み込まれるデータは、対象の介護施設に関する情報に限定されてもよい。データ管理者が医療施設内の職員である場合も同様に、対象の医療施設に関する情報が読み込まれる。また、データ管理者がサービス提供者である場合、ステップS601において、複数の施設に関する情報が読み込まれてもよい。
ステップS602において、端末装置200Fは、データの修正が必要であるかを判定する。例えば端末装置200Fは、修正要否をデータ管理者に問い合わせ、データ管理者の操作入力に基づいてステップS602の判定を行ってもよい。修正が不要である場合(ステップS602:No)、図32に示すデータベースの更新処理は終了する。
例えばデータ管理者は、入力操作の実行タイミングに基づく基準点を修正する処理を行ってもよい。なおここでの修正対象は、蓄積データとして参照される熟練介助者のデータであり、端末装置200Fは、第1基準点の修正操作を受け付けてもよい。ただし、非熟練介助者のデータが更新対象となってもよく、端末装置200Fは、第2基準点の修正操作を受け付けてもよい。
例えばステップS603において、端末装置200Fは、基準点の修正操作を受け付けたかを判定する。基準点の修正操作を受け付けた場合(ステップS603:Yes)、ステップS604において、端末装置200Fは操作内容をサーバシステム100に送信する。基準点の修正操作を受け付けていない場合(ステップS603:No)、ステップS604の処理は省略される。
また熟練介助者や熟練医療従事者は、「訪問」、「オンライン面会」等の大まかな対応のみを入力し、「おむつ交換」、「シーツ交換」等の詳細な対応を訪問時、あるいはオンラインでの面会時に決定する場合も考えられる。この場合、異常発見時の熟練介助者等の操作入力には、詳細な対応の情報が含まれていない。よって端末装置200Fは、ステップS605において、対応内容を補足する詳細情報の入力操作を受け付けてもよい。ここでの詳細情報は、上述したように、実行された具体的な対応内容を特定する情報である。ステップS605において、端末装置200Fは、詳細情報をサーバシステム100に送信する。
また処理部110は、対応が行われた被介助者のその後の状態に基づいて、データにラベル付けを行ってもよい。例えば処理部110は、対応内容によって表される対応の結果、ユーザ(被介助者、患者)の状態が悪化したと判定された場合、対応内容に関連付けられた第1体動情報を、第2体動情報との類似度情報の算出対象から除外する処理を行ってもよい。
例えばステップS606において、端末装置200Fは、被介助者の対応後の状態に問題が無いかを、データ管理者に問い合わせる処理を行う。例えばデータ管理者は、対応後に被介助者の状態が悪化した場合、その旨の入力操作を行う。ここでの状態悪化とは、被介助者の死亡、入院、病状の悪化等を含む。
問題なしとの入力操作を受け付けた場合(ステップS606:No)、ステップS607において、端末装置200Fは、対象の被介助者に関する測定結果及び対応内容を関連付けたデータに対して、値がTRUEに設定された正解ラベルを付与する処理を行う。具体的には端末装置200Fは、対象データに含まれる正解フラグをTRUEに設定することをサーバシステム100に要求する。
問題ありとの入力操作を受け付けた場合(ステップS606:Yes)、ステップS608において、端末装置200Fは、対象の被介助者に関する測定結果及び対応内容を関連付けたデータに対して、値がFALSEに設定された正解ラベルを付与する処理を行う。具体的には端末装置200Fは、対象データに含まれる正解フラグをFALSEに設定にすることをサーバシステム100に要求する。
ステップS607またはS608の処理後、サーバシステム100の処理部110は、端末装置200Fの要求に従って、対象データを更新する処理を行う。例えば処理部110は、基準点の位置を修正する処理、対応の詳細情報を追加する処理、正解フラグの値を設定する処理のうち、データ管理者に指示された処理を行う。なお正解フラグをTRUEに設定する処理は、成功データとのラベル付けを行う処理に置き換えられてもよい。同様に、正解フラグをFALSEに設定する処理は、失敗データとのラベル付けを行う処理に置き換えられてもよい。例えばサーバシステム100は、図14のステップS401等のデータベースの読み込み処理において、正解フラグがFALSEに設定されているデータを除外する処理を行う。このようにすれば、対応内容が適切でなかった可能性のあるデータを類似度算出処理から除外できるため、処理精度の向上が可能になる。
また以上のようにデータ管理者によるデータベースの更新処理が可能である場合、ラベル付け(正解フラグの付与)が行われたデータの数を多くできるため、類似情報を求める処理として、機械学習が用いられてもよい。例えば処理部110は、体動情報を入力とし、適切な対応内容を出力とする学習済モデルを生成する処理を行ってもよい。なお入力として、環境情報、属性、感情情報、電子カルテ等が用いられてもよい。出力は、例えば複数の対応内容のそれぞれに関する、当該対応内容が適切である確からしさ(確信度)であってもよい。
ここでの機械学習は、ニューラルネットワーク(以下、NNと記載)を用いた学習であってもよく、狭義には多層のNNを用いたディープラーニングを用いた学習であってもよい。例えば本実施形態のNNは、RNN(Recurrent Neural Network)であってもよい。RNNは、ある時点での入力がそれ以降の出力に影響を及ぼすNNであり、時系列データの処理に好適である。例えばNNは、LSTM(Long Short Term Memory)であってもよい。ただし機械学習はNNに限定されず、SVM(support vector machine)、k-means法等の他の手法が用いられてもよいし、これらを発展させた手法が用いられてもよい。
例えば処理部110は、図7の蓄積処理によって蓄積されたデータのうち、第1体動情報を学習用の入力データとしてNNに入力し、その時点での重みに基づいて順方向の演算を行うことによって出力を求める。そして処理部110は、出力と、学習用の正解データである対応内容に基づいて評価関数を求め、当該評価関数に基づいて重みを更新する。重みの更新処理では公知の誤差逆伝播法等を広く適用可能である。例えば、処理部110は、正解フラグがTRUEに設定されているデータを正の学習データとして使用し、正解フラグがFALSEに設定されているデータを負の学習データとして使用することによって、学習済モデルを求めてもよい。
そして蓄積されたデータの利用処理では、処理部110は、第2体動情報を学習済モデルに入力することによって、各対応内容が適切である確からしさを求める。この場合、確からしさの値が上述した類似度に相当する。従って処理部110は、類似情報の表示処理として、確からしさの値と、対応内容を関連付けて端末装置200に提示させる処理を行ってもよい。
なお、ここではデータ管理者によるラベル付けの結果を用いて機械学習を行う例を説明したがこれには限定されない。例えば、処理部110は、対応実施後の被介助者の心拍数の安定度合いや呼吸数の安定度合いに基づいて正解フラグを設定してもよい。例えば心拍数や呼吸数のばらつきが所定閾値以下である場合に正解フラグがTRUEに設定され、ばらつきが所定閾値より大きい場合に正解フラグがFALSEに設定される。このようにすれば、データ管理者による更新がない場合にも正解フラグが付与されるため、機械学習による類似度の算出が可能になる。
さらに言えば、熟練者の対応内容を信頼するものとすれば、機械学習において正解フラグの設定は必須ではない。例えば本実施形態では、熟練者の操作に起因して取得された全てのデータを正の学習データとする機械学習が行われてもよい。
2.4 家族
図33は、被介助者の家族が使用する端末装置200Gの表示部240に表示される画面の例である。図33に示すように、端末装置200Gには、被介助者に関する測定結果に加えて、介助者が実行した対応内容や、医療従事者が実行した対応内容が表示されてもよい。このようにすれば、被介助者が介助施設、病院、被介助者宅等において、専門家にどのようなケアを受けているかを、家族に把握させることが可能になる。
なお、上記のように本実施形態について詳細に説明したが、本実施形態の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本開示の範囲に含まれる。また情報処理装置、情報処理システム、サーバシステム、端末装置、測定装置等の構成及び動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。
10…情報処理システム、100…サーバシステム、110…処理部、120…記憶部、130…通信部、200,200A-200G…端末装置、210…処理部、220…記憶部、230…通信部、240…表示部、250…操作部、260…撮像部、400…測定装置、410…温度計、420…湿度計、430…検出装置、440…撮像装置、610…ベッド、620…マットレス、T1~T10,Ta,Tb,Tr…タイミング

Claims (10)

  1. 介助を受けるユーザの体動を検出する検出装置の出力に基づいて、前記ユーザの睡眠状態に関する情報を含む体動情報を取得する取得部と、
    時系列の前記体動情報である第1体動情報に対して、熟練者が前記ユーザに行った対応内容が関連付けられた情報を記憶する記憶部と、
    時系列の前記体動情報である第2体動情報を含む要求を取得した場合に、前記第2体動情報と前記第1体動情報の類似度、及び、前記第1体動情報に関連付けられた前記対応内容を含む類似情報を提示する処理を行う処理部と、
    を含む情報処理装置。
  2. 請求項1において、
    前記ユーザは、在宅ケアを受けるユーザを含み、
    前記対応内容は、前記ユーザ宅への訪問の要否を含む情報処理装置。
  3. 請求項1において、
    前記取得部は、
    前記熟練者が使用する第1端末装置において、前記対応内容を決定する入力操作が行われた場合に、前記第1体動情報及び前記対応内容が関連付けられた情報を取得する情報処理装置。
  4. 請求項3において、
    前記処理部は、
    前記第1端末装置における前記入力操作の実行タイミングに基づいて第1基準点を決定し、前記第1基準点に基づいて決定される期間における前記体動情報を、前記第1体動情報として前記記憶部に記憶させる情報処理装置。
  5. 請求項4において、
    前記処理部は、
    非熟練者が使用する第2端末装置における第2入力操作に基づく前記要求を取得した場合に、前記第2入力操作の実行タイミングに基づいて第2基準点を決定し、前記第2基準点に基づいて決定される期間における前記体動情報を前記第2体動情報として決定する情報処理装置。
  6. 請求項5において、
    前記取得部は、
    前記ユーザの周辺に配置された環境検出装置から、前記周辺の環境を表す環境情報を取得し、
    前記処理部は、
    前記環境情報の単位時間あたりの変化量に基づいて、前記第1基準点及び前記第2基準点を補正する処理を行う情報処理装置。
  7. 請求項1乃至6の何れか一項において、
    前記処理部は、
    第1の長さの期間における前記第1体動情報と前記第2体動情報に基づいて第1類似度情報を求める処理と、前記第1の長さとは異なる第2の長さの期間における前記第1体動情報と前記第2体動情報に基づいて第2類似度情報を求める処理を行い、
    前記第1体動情報に対応づけられた前記対応内容に応じて、前記第1類似度情報と前記第2類似度情報の優先度を決定する情報処理装置。
  8. 請求項1乃至6の何れか一項において、
    前記取得部は、
    前記ユーザを撮像した画像情報に基づいて、前記ユーザの感情を表す感情情報を取得し、
    前記処理部は、
    前記第1体動情報に関連付けられた前記感情情報に基づいて、前記対応内容によって表される対応が行われたことによる前記ユーザの感情変化を推定し、推定結果に基づいて前記第1体動情報にラベル付けを行う情報処理装置。
  9. 介助を受けるユーザの体動を検出する検出装置と、
    前記検出装置の出力に基づいて、前記ユーザの睡眠状態に関する情報を含む体動情報を取得し、時系列の前記体動情報である第1体動情報に対して、熟練者が前記ユーザに行った対応内容が関連付けられた情報を記憶するサーバシステムと、
    時系列の前記体動情報である第2体動情報を含む要求を前記サーバシステムに送信する端末装置と、
    を含み、
    前記サーバシステムは、
    前記端末装置から前記要求を取得した場合に、前記第2体動情報と前記第1体動情報の類似度、及び、前記第1体動情報に関連付けられた前記対応内容を含む類似情報を提示する処理を行う情報処理システム。
  10. 介助を受けるユーザの体動を検出する検出装置の出力に基づいて、前記ユーザの睡眠状態に関する情報を含む体動情報を取得し、
    時系列の前記体動情報である第1体動情報に対して、熟練者が前記ユーザに行った対応内容が関連付けられた情報を記憶し、
    時系列の前記体動情報である第2体動情報を含む要求を取得した場合に、前記第2体動情報と前記第1体動情報の類似度、及び、前記第1体動情報に関連付けられた前記対応内容を含む類似情報を提示する処理を行う情報処理方法。
JP2022196412A 2022-12-08 2022-12-08 情報処理装置、情報処理システム及び情報処理方法 Pending JP2024082513A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202311417525.0A CN118173256A (zh) 2022-12-08 2023-10-30 信息处理装置、信息处理***及信息处理方法
US18/533,824 US20240188880A1 (en) 2022-12-08 2023-12-08 Information processing apparatus, information processing system, and information processing method

Publications (1)

Publication Number Publication Date
JP2024082513A true JP2024082513A (ja) 2024-06-20

Family

ID=

Similar Documents

Publication Publication Date Title
US20230114515A1 (en) System and Method for Mobile Platform Designed for Digital Health Management and Support for Remote Patient Monitoring
US10902090B2 (en) Methods and systems for remotely determining levels of healthcare interventions
JP7355826B2 (ja) プラットフォーム非依存のリアルタイム医療データ表示システム
US20180301221A1 (en) Adverse Event Prediction and Detection Using Wearable Sensors and Adaptive Health Score Analytics
CN106102571B (zh) 患者监控器和介入/事件时间线
US10959645B2 (en) Methods and systems for locating patients in a facility
CN108882853B (zh) 使用视觉情境来及时触发测量生理参数
US20190214146A1 (en) Device, system and method for patient monitoring to predict and prevent bed falls
JP2019535052A (ja) ベッド転落を予測及び防止する患者監視のためのデバイス、システム、及び方法
US20220130556A1 (en) Health management apparatus and health management system
JP2024082513A (ja) 情報処理装置、情報処理システム及び情報処理方法
US20240188880A1 (en) Information processing apparatus, information processing system, and information processing method
US20190335999A1 (en) Method and apparatus for providing personized healthcare advice
WO2019156665A1 (en) Methods and systems for locating patients in a facility
Dhamanti et al. Smart home healthcare for chronic disease management: A scoping review
US20240127946A1 (en) Information processing device and information processing method
Sahoo et al. “IoT”: Bright Future in Healthcare Industry
JP2023172460A (ja) 情報処理装置及び情報処理方法
JP2022178500A (ja) ウエアラブル端末を用いた総合体調管理システムおよび総合体調管理方法