JP6503262B2 - 動作認識装置 - Google Patents

Description

本発明は、ベッドに伏している患者をカメラで撮像して、その撮像画像を基に患者の離床等の行動を検出する動作認識装置に関する。

ベッド上の患者や被介護者が、ベッドから転落したり徘徊等による事故が増加している。このような事故を早期に発見したり、更には防止するためにカメラによる撮像映像を基にた見守りシステムが開発されている。
例えば特許文献１では、カメラの撮像映像からベッド上の患者の頭部を抽出して患者の存在を判別することで、頭部の抽出が出来なければ離床発生と判断して報知することで、早期の対応を可能とした。

特開２０１４−２１６１９号公報

しかしながら、上記従来の技術は、処置するためにベッドに近づいた看護師等の見守り対象者以外の人物がベッドから離れる際にも、離床発生と認識する誤動作が発生する問題があった。また、離床の予備動作である起き上がりを検出できないため、離床の発生を未然を防ぐことができなかった。

そこで、本発明はこのような問題点に鑑み、カメラの撮像映像を基に離床だけでなく起床動作の検出を可能とし、また看護師等の見守り対象外の人物を識別可能な動作認識装置を提供することを目的としている。

上記課題を解決する為に、請求項１の発明は、ベッド全体を撮像するカメラと、カメラから取得した画像データを基にベッド上の人物の動作状態を判定する動作認識部とを有する動作認識装置であって、カメラは、ベッドに伏した人物の頭部方向の斜め上方からベッド全体を撮像するよう設置される一方、動作認識部は、画像データ上におけるベッドエリアを把握するベッドエリア把握部と、画像データからベッド上の人物の頭部と両肩の中心を検出し、更に検出した両肩の中心から見た頭部方向を推定する頭部検出・頭部方向推定部と、推定した頭部方向及び頭部の位置、更にベッドエリア把握部が把握したベッドエリア情報を基に患者の位置及び動作状態を判定する判定部と、判定部の判断結果を出力する結果出力部とを有することを特徴とする。
この構成によれば、ベッド上の人物の動きを頭頂部の方向により判別するため、例えばベッドに伏している状態では下を向いている頭部方向が、上向きになる状態を検出したら起き上ったと判別でき、離床する前に発生する起き上がり動作を検知できる。また、ベッドエリアと頭部の位置関係から離床も判断でき、ベッド上の人物の見守りが可能となる。
更に、肩の中心位置と頭部の位置とから頭部方向を推定するため、複雑な演算をすることなく頭部方向を推定できる。

請求項２の発明は、請求項１に記載の構成において、判定部は、推定した頭部方向が特定の方向へ向いたら人物が起き上がったと判断することを特徴とする。
この構成によれば、ベッド上の人物の起き上がり動作を検出するため、離床したりベッドから落下する前の動作を検出でき、事故を未然に防止することが可能となる。

請求項３の発明は、請求項２に記載の構成において、判定部は、患者の起き上がりを検出した後、頭部方向がベッドエリアの外方を向いた状態で、検出した頭部がベッドエリアから一定距離離れたら離床発生と判断することを特徴とする。
この構成によれば、検出した頭部がベッドエリアから一定距離離れても、ベッドから離れた頭部がベッド方向を向いている場合は、看護師等の頭部であると判断して離床判断から排除することが可能となり、見守り対象の人物の離床判定の誤動作を防止できる。

請求項４の発明は、請求項１乃至３の何れかに記載の構成において、動作認識部は、カメラから取得した画像データからグレースケール画像データを生成するデータ入力部を有し、ベッドエリア把握部は、グレースケール画像データに対して所定の画像処理を実施してベッドエリアを把握することを特徴とする。
この構成によれば、カメラの撮像画像からベッドエリアを把握するため、ベッドエリアをマニュアル入力することなくベッド上の人物を見守ることが可能となる。

本発明によれば、ベッド上の人物の動きを頭頂部の方向により判別するため、例えばベッドに伏している状態では下を向いている頭部方向が、上向きになる状態を検出したら起き上ったと判別でき、離床する前に発生する起き上がり動作を検知できる。また、ベッドエリアと頭部の位置関係から離床も判断できる。

本発明に係る動作認識装置の一例を示す機能説明図である。 カメラの設置位置を示す説明図である。 動作認識装置の他の形態を示す機能説明図である。 カメラの撮像画像からベッドエリアを把握する説明図であり、（ａ）はカメラの撮像画像、（ｂ）は把握したベッドエリアを示している説明画像である。 カメラの撮像画像からベッド上の人物の動作を判別する説明図であり、（ａ）は両肩の中心と頭部中心を検出した説明画像、（ｂ）は推定した頭部方向を示す説明画像である。 起き上がり検知の説明図であり、（ａ）はベッドに伏した人物の頭部方向を示す説明画像、（ｂ）は起き上がった場合の頭部方向を示す説明画像である。 離床検知の説明図であり、（ａ）はベッドに腰掛けた人物の頭部方向を示す説明画像、（ｂ）はベッドに腰掛けた人物が立ち上がって離床行動を起こした場合の頭部方向を示す説明画像、（ｃ）は人物がベッドに近づいて来た場合の頭部方向を示す説明画像である。

以下、本発明を具体化した実施の形態を、図面を参照して詳細に説明する。図１は本発明に係る動作認識装置の一例を示す機能説明図であり、１はベッド全体を上方から撮像するカメラ、２はカメラ１から取得した画像データを基にベッド上の人物の状態を判定する動作認識部である。
動作認識部２は、カメラ１から取得した画像データをグレースケール画像データに変換して出力するデータ入力部２１、グレースケール画像データからベッドエリアを把握するベッドエリア把握部２２、グレースケール画像データから人物の頭部を検出し、検出した頭部の方向を推定する頭部検出・頭部方向推定部２３、推定した頭部の方向から人物の状態を判別する判定部２４、判定結果を出力する結果出力部２５を備えている。

尚、ここでは動作認識装置を病院に設置して入院患者を見守る場合を説明する。この場合、カメラ１は病室に設置され、動作認識部２は例えばナースステーションに設置される。

カメラ１は、具体的に図２に示すようにベッドＢを上方から撮像するよう、且つベッドに伏した患者Ｋの頭部方向の上方に設置され、例えば天井（或いは壁面）に設置される。このカメラ１としては、例えばカラー映像或いは白黒映像（グレースケール映像）を出力する監視カメラが使用できる。

動作認識部２のデータ入力部２１は、カメラ１が撮像して出力するカラー映像或いは白黒映像からグレースケール画像データを生成して一定間隔で出力する。例えば１００ｍｓ間隔で画像データを出力する。

ベッドエリア把握部２２は、データ入力部２１が出力するグレースケール画像データから、例えば画像処理技術の１つであるテンプレートマッチングの手法よりベッドエリアを判別する。ベッドの把握は他の方法でも良く、簡易な方法としてはベッドの４隅にマーカーを取り付けて、その位置を画像上で認識することでベッドエリアを把握する形態もある。

尚、ベッドエリアの把握は、画像データからＣＰＵの処理により行わなくても良く、マニュアル操作でベッドエリアを設定して把握させても良い。図３はマニュアル操作でベッドエリアを把握する構成の動作認識装置の機能説明図であり、２２ａがベッド位置入力部である。このベッド位置入力部２２ａから、ベッドの座標を入力することでベッドエリア把握部２２に把握させても良い。例えば、キーボード操作によりカメラ１の撮像映像を表示しているモニタ上の座標を入力しても良いし、モニタ上のタッチパネルを使用して、座標をタッチ操作で入力しても良い。カメラ１の位置は固定されているため、このように画像上の座標を指定して把握させても良い。

頭部検出・頭部方向推定部２３は、グレースケール画像データから先ず頭部の中心と両肩の中心を検出する。この検出は、例えばＨＯＧ等の局所特徴量とRandomForests等の学習とを組み合わせた手法により検出される。そして、検出した頭部の中心点と両肩の中心点位置とから、頭部の頭部方向を推定する。
尚、頭部の中心や両肩の中心を検出する手法としては、ディープラーニングの手法を用いても良い。

判定部２４は、頭部検出・頭部方向推定部２３の推定結果を受けて、起き上がりを検出すると起き上がり検知信号を出力し、離床を検出したら離床発生信号を出力する。また、転落発生と判断したら転落検知信号を出力する。

結果出力部２５は、判定部２４が出力する信号を受けて報知動作する。例えば、音声メッセージの報音やディスプレイへの表示で報知し、ナースステーションに常駐する看護師に異常発生を認識させる。

尚、ベッドエリア把握部２２、頭部検出・頭部方向推定部２３、及び判定部２４は、ＣＰＵ或いはＤＳＰに所定のプログラムを実行させることでも一体化して実現できるし、動作認識部２全体はパーソナルコンピュータに所定のプログラムを実行させることでも実現できる。

図４はベッドアリアを把握する説明画像、図５はカメラ１の撮像画像から患者の頭部方向を推定する説明画像、図６は患者の起き上がり検知の説明画像、図７は離床検知の説明画像をそれぞれ示し、上記の如く構成された動作認識装置の動作の流れを図４〜７を参照して以下説明する。

動作認識部２のデータ入力部２１では、カメラ１から取得した画像データから、図４（ａ）に示すグレースケール画像データを生成して出力し、ベッドエリア検出部２２が図４（ｂ）に示すようにグレースケール画像データを基にベッドエリアＥ１を把握する。尚、上記図２の構成の場合は、ベッドエリアがカメラ１の撮像画像を基にマニュアル操作で設定される。
その後、頭部検出・頭部方向推定部２３において頭部と両肩の中心点が検出され、双方の中心点の位置関係から頭部方向が推定される。図５（ａ）は検出した頭部中心Ｓ１と両肩の中心点Ｓ２を示し、図５（ｂ）は頭部方向を矢印Ｐ１で示している。

判定部２４は、検出したベッドエリアＥ１、頭部中心Ｓ１の位置、頭部方向Ｐ１の情報を基に、患者の動作状態を判定する。具体的に、頭部方向が図６（ａ）に示す下向きの矢印Ｐ２から図６（ｂ）に示す上向きの矢印Ｐ３へ変化したら、患者が起き上がったと判断して起き上がり検知信号を生成して出力する。
結果出力部２５は、この信号を受けて「患者が起き上がりました」等の音声メッセージを報音する。また、ディスプレイに起き上がった旨をポップアップ等で通知する。

患者の起き上がりを検知した判定部２４は、引き続き動作を判別し、起き上がった患者の頭部がベッド内からベッド外へ移動し、ベッドとの距離が一定値離れたら、離床発生と判断して離床発生信号を出力する。詳しくは、図７（ａ）に示すように頭部方向がベッド上で外側を向いている状態（矢印Ｐ４）から、図７（ｂ）に示すようにベッドの外方に向いたまま（矢印Ｐ５）ベッドから離れたら、離床したと判断して離床発生信号を出力する。
離床発生信号を受けた結果出力部２５は、「患者の離床が発生しました」等の音声メッセージを報音する。また、ディスプレイに離床した旨をポップアップ等で通知する。
更に、頭部が下向きの状態で、ベッド内からベッド外に移動し、一定時間が経過してもベッド内に移動しなかったら、転落発生と判断して転落検知信号を出力する。

一方、頭部がベッド外にあっても、図７（ｃ）に示すように頭部方向が矢印Ｐ５に示すようにベッド方向を向いている場合は、看護師等の病院関係者の頭部であると判断して、患者の離床とは判断しない。また、頭部の方向を追跡し、一度も頭部の方向が下向きになったことが無い場合も、見守り対象の患者ではないとしても良い。

このように、ベッド上の患者の動きを頭頂部の方向により判別するため、例えばベッドに伏している状態では下を向いている頭部方向が、上向きになる状態を検出したら起き上ったと判別でき、離床する前に発生する起き上がり動作を検知できる。また、ベッドエリアと頭部の位置関係から離床も判断できる。
また、両肩の中心位置と頭部の位置とから頭部方向を推定することで、簡易な演算で頭部方向、更には患者の姿勢を推定できる。
更に、ベッド上の患者の起き上がり動作を検出することで、離床したりベッドから落下する前に対処することが可能となり、事故を未然に防止することが可能となる。
そして、検出した頭部がベッドエリアＥ１から一定距離離れても、ベッドエリアＥ１から離れた頭部がベッド方向を向いている場合は、看護師等の頭部であると判断して離床判断から排除することが可能となり、見守り対象の人物の離床判定の誤動作を防止できる。
加えて、カメラ１の撮像画像からベッドエリアＥ１を把握するため、ベッドエリアＥ１をマニュアル入力することなくベッド上の人物を見守ることが可能となる。

上記実施形態では、病院に入院する患者を見守る装置について説明したが、本発明の動作認識装置は、介護施設において被介護者を見守る際にも同様に使用できるし、家庭において認知症の家族を見守る際にも好適である。

１・・カメラ、２・・動作認識部、２１・・データ入力部、２２・・ベッドエリア把握部、２２ａ・・ベッド位置入力部（ベッドエリア把握部）、２３・・頭部検出・頭部方向推定部、２４・・判定部、２５・・結果出力部、Ｅ１・・ベッドエリア、Ｓ１・・頭部中心、Ｓ２・・両肩の中心、Ｐ１〜Ｐ６・・頭部方向。

Claims (4)

1. ベッド全体を撮像するカメラと、前記カメラから取得した画像データを基にベッド上の人物の動作状態を判定する動作認識部とを有する動作認識装置であって、
   前記カメラは、ベッドに伏した人物の頭部方向の斜め上方からベッド全体を撮像するよう設置される一方、
   前記動作認識部は、前記画像データ上におけるベッドエリアを把握するベッドエリア把握部と、
   前記画像データからベッド上の人物の頭部と両肩の中心を検出し、更に検出した両肩の中心から見た頭部方向を推定する頭部検出・頭部方向推定部と、
   推定した頭部方向及び頭部の位置、更に前記ベッドエリア把握部が把握したベッドエリア情報を基に患者の位置及び動作状態を判定する判定部と、
   前記判定部の判断結果を出力する結果出力部とを有することを特徴とする動作認識装置。
2. 前記判定部は、前記頭部検出・頭部方向推定部が推定した頭部方向が、特定の方向へ向いたら人物が起き上がったと判断することを特徴とする請求項１記載の動作認識装置。
3. 前記判定部は、患者の起き上がりを検出した後、前記頭部方向がベッドエリアの外方を向いた状態で、検出した頭部がベッドエリアから一定距離離れたら離床発生と判断することを特徴とする請求項２記載の動作認識装置。
4. 前記動作認識部は、前記カメラから取得した画像データからグレースケール画像データを生成するデータ入力部を有し、
   前記ベッドエリア把握部は、前記グレースケール画像データに対して所定の画像処理を実施してベッドエリアを把握することを特徴とする請求項１乃至３の何れかに記載の動作認識装置。

Images