JP7232497B2 - 情報処理装置 - Google Patents

Description

本発明は、情報処理装置及び情報処理方法に関する。

近年、高齢者の人口が増加し、介護の需要が高まっている。一方で、介護には、多くの介護者が必要となり、介護者の作業負担や人件費の増加という問題が生じる。そこで、特許文献１に記載のような、距離画像センサで撮影した画像を用いて、被介護者といった人物を監視する監視システムが多く開発されている。

特許文献１に開示の監視システムでは、距離画像からベッドの位置を抽出し、また、人の領域を検出し、人の動作を判別している。具体的に、ベッドの位置は、ベッドの長手方向及び短手方向における高さの度数分布から求めている。また、人の動作は、所定の高さ位置に対する物体の位置を検出することで、臥床の状態、上半身を起こした状態、起立の状態、といった人の動作を判別している。

特開２０１２－０３００４２号公報

しかしながら、上述した特許文献１の技術では、被介護者である人物が所在している室内などの領域における詳細な位置や動作については検出することができない、という問題が生じる。例えば、人物が室内に在室している場合であっても、その後、退出してしまう可能性もあり、かかる状況を迅速に検出することができない。また、人物が室内に設置したカメラの死角に位置してしまうと、かかる存在も検出することができない、という問題が生じる。

このため、本発明の目的は、上述した課題である、監視領域における人物の詳細な位置や動作を検出することができない、ということを解決することができる情報処理装置を提供することにある。

本発明の一形態である情報処理装置は、
所定領域の距離画像を取得する距離画像取得手段と、
前記距離画像上における所定の幅を有する出入口箇所と、当該出入口箇所における出入り方向と、の指定を受け付ける受付手段と、
前記距離画像に基づいて、当該距離画像内の人物を検出すると共に、前記出入口箇所及び前記出入り方向に対する前記人物の移動状況を検出する検出手段と、
を備えた、
という構成をとる。

また、上記情報処理装置では、
前記受付手段は、前記出入口箇所における前記出入り方向に沿った長さの指定を受け付け、
前記検出手段は、前記出入口箇所の幅と前記出入り方向に沿った長さとにより設定される領域内に位置する前記人物の移動状況を検出する、
という構成をとる。

また、上記情報処理装置では、
前記検出手段は、前記出入口箇所における前記出入り方向の一方向に前記人物が移動した場合に、外部への通知処理を行う、
という構成をとる。

また、上記情報処理装置では、
前記検出手段は、前記出入口箇所における前記出入り方向の一方向に前記人物が移動した場合に、タイマーを作動させる、
という構成をとる。

また、上記情報処理装置では、
前記検出手段は、前記タイマーの作動後、前記人物が前記出入口箇所における前記出入り方向の他方向に移動しない状況が所定時間継続した場合に、外部への通知処理を行う、
という構成をとる。

また、上記情報処理装置では、
前記検出手段は、前記距離画像に基づいて前記人物の動作を検出すると共に、前記出入口箇所及び前記出入り方向に対する前記人物の移動状況に応じて、当該人物の動作の検出処理の継続を有効又は無効とする、
という構成をとる。

また、本発明の他の形態である情報処理方法は、
情報処理装置が、
所定領域の距離画像を取得し、
前記距離画像上における所定の幅を有する出入口箇所と、当該出入口箇所における出入り方向と、の指定を受け付け、
前記距離画像に基づいて、当該距離画像内の人物を検出すると共に、前記出入口箇所及び前記出入り方向に対する前記人物の移動状況を検出する、
という構成をとる。

また、本発明の他の形態であるプログラムは、
情報処理装置に、
所定領域の距離画像を取得する距離画像取得手段と、
前記距離画像上における所定の幅を有する出入口箇所と、当該出入口箇所における出入り方向と、の指定を受け付ける受付手段と、
前記距離画像に基づいて、当該距離画像内の人物を検出すると共に、前記出入口箇所及び前記出入り方向に対する前記人物の移動状況を検出する検出手段と、
を実現させる、
という構成をとる。

本発明は、以上のように構成されることにより、監視領域における人物の詳細な位置や動作を検出することができる、情報処理装置、情報処理方法、プログラムを提供することができる。

本発明の実施形態１における情報処理システムの構成を示す概略図である。 図１に開示した監視サーバの構成を示すブロック図である。 図１に開示した監視サーバによる画像処理の様子を示す図である。 図１に開示した監視サーバによる画像処理の様子を示す図である。 図１に開示した監視サーバによる画像処理の様子を示す図である。 図１に開示した監視サーバによる画像処理の様子を示す図である。 図１に開示した監視サーバによる画像処理の様子を示す図である。 図１に開示した監視サーバの処理動作を示すフローチャートである。 図１に開示した監視サーバの処理動作を示すフローチャートである。

＜実施形態１＞
本発明の第１の実施形態を、図１乃至図９を参照して説明する。図１乃至図２は、情報処理システムの構成を示す図である。図３乃至図９は、情報処理システムの処理動作を説明するための図である。以下、各図を参照して、情報処理システムの構成及び動作を説明する。

本発明における情報処理システムは、被介護者や被監視者といった監視対象となる人物Ｐの動作を監視するための情報処理システムであり、監視サーバ１０と、距離画像カメラＣと、携帯端末２０と、監視端末３０と、を備えて構成されている。

上記距離画像カメラＣは、監視対象となる人物Ｐが横たわるベッドＢが配置された領域Ｒ内の距離画像を撮影可能な位置に配置されている。例えば、距離画像カメラＣは、医療施設や介護施設、宅内の一室の天井に設けられ、ベッドＢ全体及び可能な限り部屋全体が画像内に収まる位置に配置されている。なお、距離画像カメラＣは、必ずしも天井に設置されていることに限定されず、壁やスタンドなど、いかなる場所に設置されていてもよい。また、撮影されるベッドＢは、布団といった他の寝床であってもよい。

距離画像カメラＣは、画素値を距離値とした距離画像を撮影するものである。例えば、距離画像カメラＣは、赤外線レーザをターゲットに投射した際の往復の時間から距離を計測する形式のものであってもよく、いかなる方式のものであってもよい。そして、距離画像カメラＣは、一定の時間間隔で、あるいは、撮影指示を受けたタイミングで、距離画像を撮影し、かかる距離画像を後述する監視サーバ１０に送信する機能を有する。

上記携帯端末２０は、被介護者である人物の介護を行ったり、監視する監視者であるユーザＵが保持して操作するスマートフォンなどの情報処理端末である。携帯端末２０は、監視サーバ１０と無線通信を介して接続され通信可能であり、後述するように、監視サーバ１０に対してユーザＵの操作指示を入力することが可能である。例えば、携帯端末２０は、表示画面に、距離画像カメラＣにて撮影された距離画像を表示すると共に、監視に関する操作指示を入力可能な操作画面を表示する。かかる画面に対してユーザＵからタッチ操作によって指示が入力されることで、かかる操作指示が携帯端末２０から監視サーバ１０に送信されることとなる。また、携帯端末２０は、監視サーバ１０から発せられる被介護者である人物の動作検知の通知を受信して、ユーザＵに報知する機能も有する。

上記監視端末３０は、被介護者である人物の介護を行ったり、監視する監視者であるユーザＵが操作する情報処理端末である。監視端末３０は、監視者などのユーザＵが在籍する監視ルームなどの場所に設置されており、複数のユーザＵによって操作可能である。監視端末３０は、上述した携帯端末２０と同様に、表示画面に距離画像を表示すると共に、監視に関する操作指示を入力可能とし、かかる操作指示を監視サーバ１０に送信したり、監視サーバ１０から発せられる人物の動作検知の通知を受信して、ユーザＵに報知する機能を有する。

上記監視サーバ１０は、演算装置及び記憶装置を有するサーバ装置（情報処理装置）である。そして、監視サーバ１０は、図２に示すように、演算装置がプログラムを実行することで構築された、距離画像取得部１１、領域特定部１２、監視部１３、通知部１４、を備えている。また、監視サーバ１０は、記憶装置に形成された、領域情報記憶部１６を備えている。以下、各構成について詳述するが、併せて監視サーバ１０の動作も、図８及び図９のフローチャートを参照して説明する。なお、監視サーバ１０の機能については、上記距離画像カメラＣに搭載することもできる。つまり、距離画像カメラＣに搭載された情報処理装置にて監視サーバ１０の機能を実現してもよい。

上記距離画像取得部１１（距離画像取得手段）は、上述したように距離画像カメラＣにて撮影されたベッドＢを含む室内の距離画像を、当該距離画像カメラＣから取得する。そして、取得した距離画像を、領域設定部１２、監視部１３に渡し、当該距離画像は後述する領域設定処理や監視処理に用いられる。

上記領域設定部１２（受付手段）は、まず、ユーザＵから携帯端末２０を介して監視サーバ１０に送信された各場所の出入口領域を設定する処理を行う指令を受け付けると、図３（ａ）に示すような、距離画像２１を含む出入口領域設定画面を携帯端末２０に表示するよう出力する（図８のステップＳ１）。なお、本実施形態では、部屋自体の出入口となるドアＤの出入口領域と（図３参照）、部屋内のトイレＴの出入口領域と（図４参照）、部屋内における距離画像カメラＣにて撮影不可能ないわゆる死角の出入口領域と（図５参照）、を設定可能であることとする。但し、本発明では、いかなる場所の出入口領域を設定するよう構成されていてもよい。

まず、図３を参照して、部屋自体の出入口となるドアＤの出入口領域を設定する場合を説明する。領域設定部１２は、ユーザＵから携帯端末２０を介して、距離画像２１上におけるドアＤの出入口箇所の幅３１の指定入力を受け付ける（図８のステップＳ２）。例えば、ドアＤの出入口箇所の幅方向の両端を表す２点の指定を受け付ける。続いて、領域設定部１２は、ユーザＵから、ドアＤの出入口箇所における出入り方向３２の指定入力を受け付ける（図８のステップＳ３）。

ここでは、携帯端末２０の表示画面上において、ユーザがタッチ操作により、部屋の内部側から外側に向かってスライド入力することで、かかる方向を表す情報を出入り方向３２の入力として受け付ける。図３（ａ）の符号３２の例では、●印が部屋の内部側を表しており、その反対側がドアＤの外側を表していることとする。このとき、さらに領域設定部１２は、入力された出入り方向３２を表す情報の当該出入り方向３２に沿った長さの指定も受け付ける。かかる長さは、例えば、ユーザＵによる出入り方向３２のスライド入力時におけるスライド長さに相当する。なお、出入口箇所の幅３１や出入り方向３１、出入り方向の長さなどの入力方法は、上述した方法に限定されない。

また、領域設定部１２は、指定されたドアＤの出入口箇所の幅３１と、出入口方向３２の長さと、により形成される領域３０を設定する。例えば、図３（ｂ）の符号３０の点線で示すように、出入口箇所の幅３１と出入口方向３２の長さとをそれぞれ縦横とする長方形の領域３０を設定する。そして、領域設定部１２は、以上のようにして計測及び算出によりドアＤの出入口箇所の領域３０を設定すると、かかる領域３０と出入り方向３２を表す情報を、領域情報記憶部１６に記憶して登録する（図８のステップＳ４）。

その後、領域設定部１２は、出入口箇所の設定が完了せず、他にも出入口箇所の設定を行う場所がある場合には（図８のステップＳ５でＮｏ）、次の出入口箇所の設定画面を携帯端末２０に表示するよう出力する。そして、上述同様に、他の場所の出入口箇所の設定を繰り返す。

ここで、図４を参照して、部屋内のトイレＴの出入口領域を設定する場合を説明する。領域設定部１２は、上述同様に、距離画像２１上におけるトイレＴの出入口箇所の幅４１と、かかる出入口箇所における出入り方向４２と、の指定入力を受け付ける。ここでは、図４（ａ）の符号４２の例では、●印が部屋の内部側を表しており、その反対側がトイレＴ側を表していることとする。そして、領域設定部１２は、指定されたトイレＴの出入口箇所の幅４１と、出入口方向４２の長さと、により形成される略長方形形状の領域４０を設定して、かかる領域４０と出入り方向４２を表す情報を、領域情報記憶部１６に記憶して登録する。

さらに、図５を参照して、部屋内において距離画像カメラＣにて撮影不可能ないわゆる死角の出入口領域を設定する場合を説明する。領域設定部１２は、上述同様に、距離画像２１上における死角の出入口箇所の幅５１と、かかる出入口箇所における出入り方向５２と、の指定入力を受け付ける。ここでは、図５（ａ）の符号５２の例では、●印が部屋の内部側を表しており、その反対側である部屋の隅側が死角を表していることとする。そして、領域設定部１２は、指定された死角の出入口箇所の幅５１と、出入口方向５２の長さと、により形成される領域５０を設定して、かかる領域５０と出入り方向５２を表す情報を、領域情報記憶部１６に記憶して登録する。

次に、上記監視部１３の構成と動作について説明する。監視部１３（検出手段）は、まず、距離画像２１内における人物Ｐを検出する処理を行う。このとき、監視部１３は、例えば、時間的に前後する距離画像２１の差分を用いて移動する物体を検出し、さらに、移動する物体の形状（例えば、頭部Ｐ１及び胴体部Ｐ２の対に相当する物体があるか）に基づいて、人物Ｐとして検出する。但し、人物Ｐの検出は、いかなる方法で行ってもよい。

そして、監視部１３は、人物Ｐの動作を検出して、当該動作に応じた人物Ｐの検知対象状態の検出を行う。例えば、監視部１３は、人物Ｐの高さと重心位置を検出し、当該高さと重心位置との距離画像２１内における位置関係から、人物Ｐの動作を判定する。このとき、監視部１３は、人物Ｐの高さと重心位置と距離画像２１内のベッドＢとの位置関係にも基づいて、人物Ｐの動作を判定し、人物が予め検知対象状態と設定された動作であるか否かを判定する。本実施形態では、検知対象状態として、例えば、人物PがベッドB上に寝ている場合（臥位）、人物ＰがベッドＢの境界に位置する場合（境界位）、人物ＰがベッドＢに立つ場合（立位）、人物ＰがベッドＢ上に座っている場合（起き上がり）、人物ＰがベッドＢから離れた場合（離床）、がある。但し、本発明で判定する検知対象状態は、上述した動作に限定されず、他の動作を検知対象状態として判定してもよい。

さらに、監視部１３は、上述したように設定した各場所における出入口箇所及び出入り方向に対する、検出した人物Ｐの移動状況を検出する。特に、監視部１３は、各場所における出入口に設定された領域３０，４０，５０内に位置する人物Ｐが、出入り方向に沿ったいずれの方向に移動したかを検出する。

そして、監視部１３は、各出入口の出入口方向に沿った人物Ｐの移動方向に応じて、以下のような処理を行う。例えば、監視部１３は、図６（ａ）に示すように、ドアＤの出入口箇所の設定された領域３０に人物Ｐが位置していることを検出したとする。このとき、監視部１３は、図６（ｂ）に示すように、出入口箇所の出入口方向３２において、人物Ｐが室外から室内に移動することを検出したとする。この場合、監視部１３は、その後の人物Ｐの動作を検出する処理を有効とし、当該人物Ｐの動作を継続的に検出して、当該動作の人物Ｐの検知対象状態を検出する。

一方で、監視部１３は、図６（ｂ）に示す矢印とは反対方向、つまり、出入口箇所の出入口方向３２において、人物Ｐが室内から室外に移動することを検出したとする。この場合、監視部１３は、人物Ｐの動作の検出処理を無効とし、当該人物Ｐの動作を継続的に検出せず、通知部１４から人物Ｐの検知対象状態であることを通知するアラートを携帯端末２０や監視端末３０に出力する。

また、監視部１３は、図７（ａ）に示すように、死角の出入口箇所の設定された領域５０に人物Ｐが位置していることを検出したとする（図９のステップＳ１１）。このとき、監視部１３は、図７（ｂ）に示すように、出入口箇所の出入口方向５２において、人物Ｐが室内から死角側に移動することを検出したとする（図９のステップＳ１２，Ｓ１３でＹｅｓ）。この場合、監視部１３は、人物Ｐの動作を継続的に検出せず、人物Ｐの検知対象状態であることを検知して、タイマーを作動させ（図９のステップＳ１４）、当該人物Ｐが死角から出てくるまでの時間を計測する（図９のステップＳ１５）。

その後、監視部１３は、人物Ｐが死角の出入口箇所の出入口方向５２において、死角側から室内側に向かう方向に移動することを検知せず、つまり人物Ｐが死角から出てこない場合であって、上記タイマーによる計測時間が予め設定された時間だけ継続した場合には（図９のステップＳ１５でＹｅｓ）、通知部１４から人物Ｐの検知対象状態であることを通知するアラートを携帯端末２０や監視端末３０に出力する（図９のステップＳ１６）。

なお、監視部１３は、図４（ａ）に示すように、トイレＴの出入口箇所の設定された領域４０に人物Ｐが位置していることを検出した場合も、上記同様に処理する。監視部１３は、図４（ｂ）に示すように、出入口箇所の出入口方向４２において、人物Ｐが室内の所定箇所からトイレＴ側に移動することを検出したとする。この場合、監視部１３は、人物Ｐの動作を継続的に検出せず、人物Ｐの検知対象状態であることを検知して、タイマーを作動させ、当該人物ＰがトイレＴから出てくるまでの時間を計測する。その後、監視部１３は、人物ＰがトイレＴの出入口箇所の出入口方向４２においてトイレから出てこない場合であって、上記タイマーによる計測時間が予め設定された時間だけ継続した場合には、通知部１４から人物Ｐの検知対象を通知するアラートを携帯端末２０や監視端末３０に出力する。

以上のように、本発明によると、被介護者である人物Ｐが室内に存在している場合に、かかる室内においてカメラの死角に位置したり、室外に出てしまうなどの検知対象状態を迅速に検出することができ、また、介護者等に迅速に通知することができる。

なお、上述したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。

以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。

１０ 監視サーバ
１１ 距離画像取得部
１２ 領域設定部
１３ 監視部
１４ 通知部
１６ 領域情報記憶部
２０ 携帯端末
２１ 距離画像
３０ 監視端末
Ｂ ベッド
Ｃ 距離画像カメラ
Ｐ 人物
Ｕ ユーザ

Claims (7)

1. 所定領域の距離画像を取得する距離画像取得手段と、
   前記距離画像上において、当該距離画像上における所定の幅を有する出入口箇所と、当該出入口箇所における出入り方向に沿った一方向と、の指定入力を受け付ける受付手段と、
   前記距離画像に基づいて、当該距離画像内の人物を検出すると共に、前記出入口箇所及び前記出入り方向に沿った一方向に対する前記人物の移動状況を検出する検出手段と、
   を備え、
   前記受付手段は、前記出入り方向に沿った一方向に向かうスライド入力を受け付ける、
   情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記受付手段は、前記出入口箇所の幅方向の両端の指定入力と、前記出入口箇所における前記出入り方向に沿ったスライド入力によるスライド長さによって表される長さの指定入力を受け付け、
   前記検出手段は、前記出入口箇所の幅と前記出入り方向に沿った長さとにより設定される領域内に位置する前記人物の移動状況を検出する、
   情報処理装置。
3. 請求項１又は２に記載の情報処理装置であって、
   前記検出手段は、前記出入口箇所における前記出入り方向に沿った一方向に前記人物が移動した場合に、外部への通知処理を行う、
   情報処理装置。
4. 請求項１乃至３のいずれかに記載の情報処理装置であって、
   前記検出手段は、前記出入口箇所における前記出入り方向に沿った一方向に前記人物が移動した場合に、タイマーを作動させ、前記タイマーの作動後、前記人物が前記出入口箇所における前記出入り方向に沿った他方向に移動しない状況が所定時間継続した場合に、外部への通知処理を行う、
   情報処理装置。
5. 請求項１乃至４のいずれかに記載の情報処理装置であって、
   前記検出手段は、前記距離画像に基づいて前記人物の動作を検出すると共に、前記出入口箇所及び前記出入り方向に沿った一方向に対する前記人物の移動状況に応じて、当該人物の動作の検出処理の継続を有効又は無効とする、
   情報処理装置。
6. 情報処理装置が、
   所定領域の距離画像を取得し、
   前記距離画像上において、当該距離画像上における所定の幅を有する出入口箇所と、当該出入口箇所における出入り方向に沿った一方向と、の指定入力を受け付けると共に、前記出入り方向に沿った一方向に向かうスライド入力を受け付け、
   前記距離画像に基づいて、当該距離画像内の人物を検出すると共に、前記出入口箇所及び前記出入り方向に沿った一方向に対する前記人物の移動状況を検出する、
   情報処理方法。
7. 情報処理装置に、
   所定領域の距離画像を取得する距離画像取得手段と、
   前記距離画像上において、当該距離画像上における所定の幅を有する出入口箇所と、当該出入口箇所における出入り方向に沿った一方向と、の指定入力を受け付けると共に、前記出入り方向に沿った一方向に向かうスライド入力を受け付ける受付手段と、
   前記距離画像に基づいて、当該距離画像内の人物を検出すると共に、前記出入口箇所及び前記出入り方向に沿った一方向に対する前記人物の移動状況を検出する検出手段と、
   を実現させるためのプログラム。

Images