JP7095870B2 - 情報処理装置 - Google Patents

Description

本発明は、情報処理装置及び情報処理方法に関する。

近年、高齢者の人口が増加し、介護の需要が高まっている。一方で、介護には、多くの介護者が必要となり、介護者の作業負担や人件費の増加という問題が生じる。そこで、特許文献１に記載のような、距離画像センサで撮影した画像を用いて、被介護者といった人物を監視する監視システムが多く開発されている。

特許文献１に開示の監視システムでは、距離画像からベッドの位置を抽出し、また、人の領域を検出し、人の動作を判別している。具体的に、ベッドの位置は、ベッドの長手方向及び短手方向における高さの度数分布から求めている。また、人の動作は、所定の高さ位置に対する物体の位置を検出することで、臥床の状態、上半身を起こした状態、起立の状態、といった人の動作を判別している。そして、この監視システムでは、判別した動作が被介護者毎に予め設定された特定の状態である場合に、介護者の待機所に対して報知することとしている。

特開２０１２－０３００４２号公報

ここで、介護を行う場合には、被介護者を介護する介護者が部屋に入室したり、被介護者の家族が部屋に入室することがある。すると、上述した距離画像センサで撮影した画像を用いて被介護者を監視する場合には、被介護者と他の人物とを区別することが困難である。このため、被介護者の特定の状態を誤検出することがあり、誤った報知がされたり、必要な報知がされないということが生じうる。その結果、被介護者を適切かつ迅速に介護することができない、という問題が生じる。

このため、本発明の目的は、上述した課題である、被介護者を適切かつ迅速に介護することができない、ということを解決することができる情報処理装置を提供することにある。

本発明の一形態である情報処理装置は、
所定領域の距離画像を取得する距離画像取得手段と、
前記距離画像に基づいて、当該距離画像内の第一人物を検出する検出手段と、
前記距離画像内において検出した前記第一人物の状態を判別して、当該第一人物の状態に基づいて所定の報知を行う報知手段と、を備え、
前記報知手段は、前記距離画像内の前記第一人物の状態を判別しているときに前記検出手段にて第二人物を検出した場合に、前記報知を停止する、
という構成をとる。

また、上記情報処理装置では、
前記報知手段は、前記報知を停止しているときに前記検出手段にて前記距離画像内における前記第二人物が当該距離画像内から検出できなくなった場合に、当該距離画像内における前記第一人物の状態に基づく前記報知を再開する、
という構成をとる。

また、上記情報処理装置では、
前記報知手段は、前記検出手段にて前記距離画像内において前記第二人物を検出したときに、前記距離画像内において判別した前記第一人物の状態を記憶し、前記報知を停止しているときに前記検出手段にて前記距離画像内における前記第二人物が当該距離画像内から検出できなくなった場合に、記憶している前記第一人物の状態に基づいて前記距離画像内における当該第一人物の状態の判別を行う、
という構成をとる。

また、上記情報処理装置では、
前記報知手段は、前記報知を停止しているときに、前記情報処理装置に接続された情報処理端末から報知再開の指令を受け付けた場合に、記憶している前記第一人物の状態から継続して前記距離画像内における当該第一人物の状態の判別を行う、
という構成をとる。

また、上記情報処理装置では、
前記報知手段は、前記情報処理端末から報知再開の指令を受け付けた場合に、前記距離画像内における前記第一人物の状態に基づいて停止している前記報知を再開する、
という構成をとる。

また、上記情報処理装置では、
前記報知手段は、前記検出手段にて前記距離画像内において前記第二人物を検出した後に予め設定された時間が経過した場合に、当該距離画像内における前記第一人物の状態に基づいて停止している前記報知を再開する、
という構成をとる。

また、上記情報処理装置では、
前記検出手段は、前記距離画像内において前記第二人物を検出した後に予め設定された時間が経過した場合に、前記距離画像内の人物を新たな前記第一人物として検出し、
前記報知手段は、前記距離画像内において新たに検出した前記第一人物の状態を判別して、当該第一人物の状態に基づいて所定の報知を行う、
という構成をとる。

また、本発明の他の形態である情報処理方法は、
所定領域の距離画像を取得し、
前記距離画像に基づいて、当該距離画像内の第一人物を検出し、
前記距離画像内において検出した前記第一人物の状態を判別して、当該第一人物の状態に基づいて所定の報知を行い、
前記距離画像内の前記第一人物の状態を判別しているときに前記距離画像内の第二人物を検出した場合に、前記報知を停止する、
という構成をとる。

また、上記情報処理方法では、
前記報知を停止しているときに前記距離画像内における前記第二人物が当該距離画像内から検出できなくなった場合に、当該距離画像内における前記第一人物の状態に基づく前記報知を再開する、
という構成をとる。

また、本発明の他の形態であるプログラムは、
情報処理装置に、
所定領域の距離画像を取得する距離画像取得手段と、
前記距離画像に基づいて、当該距離画像内の第一人物を検出する検出手段と、
前記距離画像内において検出した前記第一人物の状態を判別して、当該第一人物の状態に基づいて所定の報知を行う報知手段と、を実現させると共に、
前記報知手段は、前記距離画像内の前記第一人物の状態を判別しているときに前記検出手段にて第二人物を検出した場合に、前記報知を停止する、
ことを実現させる、
という構成をとる。

本発明は、以上のように構成されることにより、被介護者を適切かつ迅速に介護することができる。

本発明の実施形態１における情報処理システムの構成を示す概略図である。 図１に開示した監視サーバの構成を示すブロック図である。 図１に開示した監視サーバによる画像処理の様子を示す図である。 図１に開示した監視サーバによる画像処理の様子を示す図である。 図１に開示した監視サーバの処理動作を示すフローチャートである。 図１に開示した監視サーバの処理動作を示すフローチャートである。

＜実施形態１＞
本発明の第１の実施形態を、図１乃至図６を参照して説明する。図１乃至図２は、情報処理システムの構成を示す図である。図３乃至図６は、情報処理システムの処理動作を説明するための図である。以下、各図を参照して、情報処理システムの構成及び動作を説明する。

本発明における情報処理システムは、被介護者や被監視者といった監視対象となる人物Ｐの行動を監視するための情報処理システムである。そして、情報処理システムは、監視サーバ１０と、距離画像カメラＣと、携帯端末２０と、監視端末３０と、を備えて構成されている。

上記距離画像カメラＣ（撮影装置）は、監視対象となる人物Ｐが横たわるベッドＢが配置された領域である部屋Ｒ内の距離画像を撮影可能な位置に配置されている。例えば、距離画像カメラＣは、医療施設や介護施設、宅内の部屋Ｒの天井に設けられ、部屋Ｒの大部分が画像内に収まる位置に配置されている。なお、距離画像カメラＣは、必ずしも天井に設置されていることに限定されず、壁やスタンドなど、いかなる場所に設置されていてもよい。また、部屋Ｒに設置されるベッドＢは、布団などのいかなる寝床であってもよい。

距離画像カメラＣは、画素値を距離値とした距離画像を撮影するものである。例えば、距離画像カメラＣは、赤外線レーザをターゲットに投射した際の往復の時間から距離を計測する形式のものであってもよく、いかなる方式の撮影装置であってもよい。そして、距離画像カメラＣは、一定の時間間隔で、あるいは、撮影指示を受けたタイミングで、距離画像を撮影し、かかる距離画像を後述する監視サーバ１０に送信する機能を有する。なお、上記監視サーバ１０の機能については、上記距離画像カメラＣに搭載することもできる。つまり、距離画像カメラＣに搭載された情報処理装置にて監視サーバ１０の機能を実現してもよい。

上記携帯端末２０は、被介護者である人物Ｐ１の介護を行ったり、監視する監視者であるユーザＵが保持して操作するスマートフォンなどの情報処理端末である。携帯端末２０は、監視サーバ１０と無線通信を介して接続され通信可能であり、後述するように、監視サーバ１０に対してユーザＵの操作指示を入力することが可能である。例えば、携帯端末２０は、表示画面に、距離画像カメラＣにて撮影された距離画像を表示すると共に、監視に関する操作指示を入力可能な操作画面を表示する。かかる画面に対してユーザＵからタッチ操作によって指示が入力されることで、かかる操作指示が携帯端末２０から監視サーバ１０に送信されることとなる。また、携帯端末２０は、監視サーバ１０から発せられる被介護者である人物Ｐ１の状態の通知を受信して、ユーザＵに報知する機能も有する。

上記監視端末３０は、被介護者である人物の介護を行ったり、監視する監視者であるユーザＵが操作する情報処理端末である。監視端末３０は、監視者などのユーザＵが在籍する監視ルームなどの場所に設置されており、複数のユーザＵによって操作可能である。監視端末３０は、上述した携帯端末２０と同様に、表示画面に距離画像を表示すると共に、監視に関する操作指示を入力可能とし、かかる操作指示を監視サーバ１０に送信したり、監視サーバ１０から発せられる人物の状態の通知を受信して、ユーザＵに報知する機能を有する。

上記監視サーバ１０は、演算装置及び記憶装置を有するサーバ装置（情報処理装置）である。そして、監視サーバ１０は、図２に示すように、演算装置がプログラムを実行することで構築された、距離画像取得部１１、検出部１２、判定部１３、報知部１４、を備えている。また、監視サーバ１０は、記憶装置に形成された、人物状態記憶部１５を備えている。以下、各構成について詳述するが、併せて監視サーバ１０の動作も図５及び図６のフローチャートを参照して説明する。なお、監視サーバ１０の機能については、上記距離画像カメラＣに搭載することもできる。つまり、距離画像カメラＣに搭載された情報処理装置にて監視サーバ１０の機能を実現してもよい。

上記距離画像取得部１１（距離画像取得手段）は、上述したように距離画像カメラＣにて撮影されたベッドＢを含む部屋Ｒ内の距離画像を、当該距離画像カメラＣから取得する。そして、取得した距離画像を検出部１２及び判別部１３に渡することで、当該距離画像は後述する人物検出処理や状態判別処理に用いられる。

上記検出部１２（検出手段）は、まず、距離画像内における人物Ｐ１を検出する処理を行う（図５のステップＳ１）。検出部１２は、例えば、時間的に前後する距離画像の差分を用いて移動する物体を検出し、さらに、検出した物体の形状（例えば、頭部及び胴体部の対に相当する物体があるか）に基づいて、人物Ｐ１として検出する。そして、検出部１２は、距離画像内において最初の人物である第一人物Ｐ１を検出すると（図５のステップＳ１でＹｅｓ）、初期設定ではオフにされている報知フラグをオンにする（図５のステップＳ２）。なお、人物Ｐ１の検出は、いかなる方法で行ってもよい。

上記判別部１３（報知手段）は、距離画像に基づいて、上述したように検出部１２にて検出した第一人物Ｐ１を追従して、かかる第一人物Ｐ１の状態を判別する（図６のステップＳ１１）。例えば、判別部１３は、第一人物Ｐ１の高さと重心位置を検出し、当該高さと重心位置との距離画像内における位置関係から、第一人物Ｐ１の状態を判別する。そして、判別部１３は、判別した第一人物Ｐ１の状態を、人物状態記憶部１５に記憶しておく（図６のステップＳ１２）。このとき、判別部１３は、第一人物Ｐ１の状態に、そのときの報知フラグの値と時刻を関連付けて記憶する。

さらに、判別部１３は、第一人物Ｐ１の高さと重心位置と距離画像内のベッドＢとの位置関係にも基づいて、第一人物Ｐ１の状態が、予め設定された検知対象状態であるか否かを判別する（図６のステップＳ１３）。そして、判定部１３は、第一人物Ｐ１が検知対象状態であると判別すると（図６のステップＳ１３でＹｅｓ）、その旨を報知部１４に通知する。このような第一人物Ｐ１の状態の判別は、一定の時間間隔で行われる。

ここで、図３上図に、距離画像の一例を示す。図３上図に示すような距離画像から、検出部１２は上述したように第一人物Ｐ１を検出し、判別部１３は、図３下図に示すようにかかる第一人物Ｐ１の頭頂部や重心位置の高さとベッドＢの高さとの位置関係に基づいて、当該第一人物Ｐ１の状態を判別する。例えば、図３下図に示すように第一人物Ｐ１がベッドＢに横たわっている状態（臥位状態）である場合には、第一人物Ｐ１がかかる状態（ベッドＢ上に位置して横たわっている）であることを人物状態記憶部１５に記憶しておくだけで、報知部１４への通知は行わない。一方で、判別部１３は、例えば、第一人物Ｐ１がベッドＢの境界に位置する状態（境界位状態）、第一人物ＰがベッドＢに立つ状態（立位状態）、第一人物ＰがベッドＢ上に座っている状態（起き上がり状態）、人物ＰがベッドＢから離れた状態（離床状態）、である場合には、第一人物Ｐの状態が検知対象状態であることとして検知し、報知部１４に通知する。但し、本発明で判定する検知対象状態は、上述した状態に限定されず、他の状態を検知対象状態として判定してもよい。

上記報知部１４（報知手段）は、上述したように判別部１３から第一人物Ｐ１が検知対象状態であると判別した旨の通知を受けると（図６のステップＳ１３でＹｅｓ）、報知フラグがオンであるか否かを調べる。このとき、報知フラグがオンである場合には（図６のステップＳ１４でＹｅｓ）、第一人物Ｐが検知対象状態であることを通知するアラートを携帯端末２０や監視端末３０に出力して、ユーザＵに報知する（図６のステップＳ１５）。このとき、報知部１４は、検知対象状態の内容を通知する情報を携帯端末２０や監視端末３０に出力してもよい。

次に、上述した検出部１２と判別部１３とのさらなる構成を説明する。上記検出部１２は、距離画像内における第一人物Ｐ１を検出した後であっても（図５のステップＳ１でＹｅｓ、ステップＳ２）、さらに距離画像内つまり部屋Ｒ内における他の人物である第二人物Ｐ２の検出も行う（図５のステップＳ３）。つまり、検出部１２は、被介護者といった第一人物Ｐ１を検出して判別部１３にて第一人物Ｐ１の動作を検出しているときに、同一室内における介護者などの他の人物である第二人物Ｐ２の検出を行う。第二人物Ｐ２の検出は、例えば、先に検出して状態の判別を行っている第一人物Ｐ１とは異なる物体の形状に基づいて行う。

そして、検出部１２は、第二人物Ｐ２を検出すると（図５のステップＳ３でＹｅｓ）、オンに設定されている報知フラグをオフにする（図５のステップＳ４）。加えて、検出部１２は、タイマによる時間の計測を開始する（図５のステップＳ５）。例えば、図４の距離画像の例では、検出部１２は、先に部屋Ｒ内に存在していた第一人物Ｐ１を検出した後に、後から部屋Ｒに入出した第二人物Ｐ２を検出することとなる。この場合、報知フラグをオフにし、タイマを開始して第二人物Ｐ２の入室時間を計測する。

そして、上記判別部１３は、図４に示すように、第一人物Ｐ１に加えて第二人物Ｐ２が部屋Ｒ内に存在している場合であっても、第一人物Ｐ１を追従して、当該第一人物Ｐ１の状態の判別を行い、判別した状態の記憶を継続する（図６のステップＳ１１，Ｓ１２）。一方で、判別部１３は、第一人物Ｐ１の状態が検知対象状態として判別されたとしても（図６のステップＳ１３でＹｅｓ）、報知フラグがオフであるため（図６のステップＳ１４でＮｏ）、上述した報知は行わない。つまり、判別部１３が検知対象状態を検知しても、報知部１４への報知を行わなかったり、あるいは、判別部１３が報知対象状態の検知を報知部１４に通知したとしても当該報知部１４が監視端末３０等への報知を行わないことで、報知を停止する。なお、判別部１３は、上述したように検出部１２にて第二人物Ｐ２を検出した際には、第一人物Ｐ１の状態の判別自体を停止することで、報知を停止してもよい。

また、上記検出部１２は、第二人物Ｐ２を検出してタイマ開始した後であっても（図５のステップＳ５）、予め設定された時間が経過してタイムアウトとなるまでは（図５のステップＳ６でＮｏ）、距離画像内における第二人物Ｐ２を追跡して検出処理を継続する。そして、検出部１２は、タイムアウトとなるまでに第二人物Ｐ２が部屋Ｒ内から検出できなくなると、つまり、第二人物Ｐ２が部屋Ｒ内から退出したことを検出すると（図５のステップＳ７でＹｅｓ）、報知再開通知を判別部１３に行い（図５のステップＳ９）、報知フラグをオンにする（図５のステップＳ２）。このとき、検出部１２は、第二人物Ｐ２が検出できなくなることに加え、監視サーバ１０に接続された携帯端末２０や監視端末３０などの情報処理端末から報知再開の指令を受けた場合に、報知再開通知を判別部１３に行う。例えば、第二人物Ｐ２が介護者などのユーザＵである場合には、介護が終了して部屋Ｒを出たユーザＵによって携帯端末２０が操作されて報知再開の指令が監視サーバ１０に入力されることとなる。但し、検出部１２は、報知再開の指令を受けることなく、第二人物Ｐ２が検出できなくなった場合に報知再開通知を判別部１３に行ってもよい。

そして、検出部１２から報知再開通知を受けた判別部１３は、距離画像内における第一人物Ｐ１の状態の判別を継続するが、このとき、第二人物Ｐ２が検出される直前の第一人物Ｐ１の状態を人物状態記憶部１５から読出し（図６のステップＳ１０）、かかる状態から第一人物Ｐ１の状態の判別を継続する（図６のステップＳ１１）。具体的に、判別部１３は、人物状態記憶部１５から記憶されている第一人物Ｐ１の状態を読出し、関連付けられている報知フラグと時刻から、報知フラグがオンであった直近の状態を特定し、かかる状態から第一人物Ｐ１の状態の判別を継続して、報知を再開する。一例として、図４に示すように、第一人物Ｐ１がベッドＢで横たわっているときに第二人物Ｐ２が検出され、その後、第二人物Ｐ２が部屋Ｒから退出したとすると、第一人物Ｐ１がベッドＢで横たわっている状態であることとして、現在の距離画像から第一人物Ｐ１を追従し、状態の判別を行う。これにより、第二人物Ｐ２が入室したことによって、当該第二人物Ｐ２を誤って追従して状態の判別を行ってしまった場合であっても、第一人物Ｐ１が第二人物Ｐ２の入出前の状態を維持していれば、正常に第一人物Ｐ１の状態の判別処理に戻ることができる。

なお、判別部１３は、報知フラグがオフになったタイミングを検知して、そのときだけ第一人物Ｐ１の状態を記憶してもよい。そして、上述した報知再開通知を受けたときに、記憶している第一人物Ｐ１の状態を読み出して、かかる状態から第一人物Ｐ１の状態の判別を継続してもよい。

また、上記検出部１２は、第二人物Ｐ２を検出してタイマ開始した後に（図５のステップＳ５）、予め設定された時間が経過してタイムアウトとなると（図５のステップＳ６でＹｅｓ）、これまでの処理をリセットする（図５のステップＳ８）。この場合、検出部１２は、距離画像内からまだだれも人物を検出していない状態とし、報知フラグを初期状態であるオフにする。そして、検出部１２は、上述したように、距離画像内から新たな第一人物Ｐ１の検出を行い、判別部１３は、新たな第一人物Ｐ１の状態の判別を行う。

以上のように、本発明では、部屋Ｒ内の第一人物Ｐ１の状態を判別しているときに、当該部屋Ｒ内に第二人物Ｐ２を検出すると、第一人物Ｐ１の状態に基づく報知を停止することとしている。これにより、監視対象ではない第二人物Ｐ２の状態に基づいて誤って報知がされることを抑制でき、適切な介護の妨げとなることを抑制することができる。

また、本発明では、第二人物Ｐ２が部屋Ｒ内から退出したり、入出してからタイムアウトとなったときに、第一人物Ｐ１の状態に基づく報知を再開することとしている。これにより、第一人物Ｐ１の状態に基づく適切な報知がなされ、迅速かつ適切な介護を行うことができる。

なお、上述したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。

以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。

１０ 監視サーバ
１１ 距離画像取得部
１２ 検出部
１３ 判別部
１４ 報知部
１５ 人物状態記憶部
２０ 携帯端末
３０ 監視端末
Ｂ ベッド
Ｃ 距離画像カメラ
Ｐ１ 第一人物
Ｐ２ 第二人物
Ｕ ユーザ

Claims (7)

1. 所定領域の距離画像を取得する距離画像取得手段と、
   前記距離画像に基づいて、当該距離画像内の第一人物を検出する検出手段と、
   前記距離画像内において検出した前記第一人物の状態を判別して、当該第一人物の状態に基づいて所定の報知を行う報知手段と、を備え、
   前記報知手段は、前記距離画像内の前記第一人物の状態を判別しているときに前記検出手段にて第二人物を検出した場合に、前記報知を停止し、前記第二人物を検出した後に予め設定された時間が経過した場合に、当該距離画像内における前記第一人物の状態に基づいて停止している前記報知を再開し、
   さらに、前記検出手段は、前記距離画像内において前記第二人物を検出した後に予め設定された時間が経過した場合に、前記距離画像内の人物を新たな前記第一人物として検出し、
   前記報知手段は、前記距離画像内において新たに検出した前記第一人物の状態を判別して、当該第一人物の状態に基づいて所定の報知を行う、
   情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記報知手段は、前記報知を停止しているときに前記検出手段にて前記距離画像内における前記第二人物が当該距離画像内から検出できなくなった場合に、当該距離画像内における前記第一人物の状態に基づく前記報知を再開する、
   情報処理装置。
3. 請求項１又は２に記載の情報処理装置であって、
   前記報知手段は、前記検出手段にて前記距離画像内において前記第二人物を検出したときに、前記距離画像内において判別した前記第一人物の状態を記憶し、前記報知を停止しているときに前記検出手段にて前記距離画像内における前記第二人物が当該距離画像内から検出できなくなった場合に、記憶している前記第一人物の状態に基づいて前記距離画像内における当該第一人物の状態の判別を行う、
   情報処理装置。
4. 請求項３に記載の情報処理装置であって、
   前記報知手段は、前記報知を停止しているときに、前記情報処理装置に接続された情報処理端末から報知再開の指令を受け付けた場合に、記憶している前記第一人物の状態から継続して前記距離画像内における当該第一人物の状態の判別を行う、
   情報処理装置。
5. 請求項４に記載の情報処理装置であって、
   前記報知手段は、前記情報処理端末から報知再開の指令を受け付けた場合に、前記距離画像内における前記第一人物の状態に基づいて停止している前記報知を再開する、
   情報処理装置。
6. 所定領域の距離画像を取得し、
   前記距離画像に基づいて、当該距離画像内の第一人物を検出し、
   前記距離画像内において検出した前記第一人物の状態を判別して、当該第一人物の状態に基づいて所定の報知を行い、
   前記距離画像内の前記第一人物の状態を判別しているときに前記距離画像内の第二人物を検出した場合に、前記報知を停止し、前記第二人物を検出した後に予め設定された時間が経過した場合に、当該距離画像内における前記第一人物の状態に基づいて停止している前記報知を再開し、
   さらに、前記距離画像内において前記第二人物を検出した後に予め設定された時間が経過した場合に、前記距離画像内の人物を新たな前記第一人物として検出し、
   前記距離画像内において新たに検出した前記第一人物の状態を判別して、当該第一人物の状態に基づいて所定の報知を行う、
   情報処理方法。
7. 請求項６に記載の情報処理方法であって、
   前記報知を停止しているときに前記距離画像内における前記第二人物が当該距離画像内から検出できなくなった場合に、当該距離画像内における前記第一人物の状態に基づく前記報知を再開する、
   情報処理方法。

Images