JP6245027B2 - 監視方法、監視装置および監視プログラム - Google Patents
監視方法、監視装置および監視プログラム Download PDFInfo
- Publication number
- JP6245027B2 JP6245027B2 JP2014064893A JP2014064893A JP6245027B2 JP 6245027 B2 JP6245027 B2 JP 6245027B2 JP 2014064893 A JP2014064893 A JP 2014064893A JP 2014064893 A JP2014064893 A JP 2014064893A JP 6245027 B2 JP6245027 B2 JP 6245027B2
- Authority
- JP
- Japan
- Prior art keywords
- monitored person
- wake
- image
- line
- head position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Alarm Systems (AREA)
- Invalid Beds And Related Equipment (AREA)
- Accommodation For Nursing Or Treatment Tables (AREA)
Description
本発明は、監視方法、監視装置および監視プログラムに関する。
病院や介護施設において、看護師や介護士などが気付かないうちに、患者や要介護者がベッドを離れ、転倒、徘徊等の事故が起きることがある。このような事故の発生防止を目的として、例えば、ベッド横に敷いたマットセンサを患者が踏んだ際、あるいは、患者に装着したクリップセンサが外れた際に、ナースコール等で看護師に報知する技術がある。
ところが、患者によってはクリップセンサを装着するのを嫌がったり、ベッドから降りる際にベッド横に敷いたマットセンサを避けてしまう場合がある。また、足腰の弱い患者の場合、ベッドから降りたタイミングでナースコールしても、看護師が駆けつけた際には既に転倒している可能性がある。このため、患者にできるだけ負荷をかけることなく、ベッドから患者が起きようとしているときに、ナースコール等で看護師や介護士に報知する技術が望まれている。
先行技術としては、例えば、検出される使用者の体動回数が入眠中における体動回数より大幅に増加するとレム睡眠に移行したと判定するものがある。また、寝床を撮影した画像に基づき人体が寝床に存在するか否かを判定し、寝床に横臥した人体よりも高い位置における人体の存在を検知して、人体の状態を検知する技術がある。
また、管理エリア内で反射した超音波信号の反射波データからベッド上の患者の頭部の三次元位置を演算し、患者の三次元位置の横臥位置からの時間的な変化を検知した検知結果に基づきベッドの患者が離床動作を開始したか否かを判定する技術がある。
また、ベッドの上面の側端を含めて撮像可能な位置に配置される撮像部で撮像した画像データを用いて、ベッド上の患者の動作を監視するシステムがある。さらに、物体認識技術として、例えば、HOG(Histograms of Oriented Gradients)特徴量とBoostingを用いて、画像中の人を検出するものがある。
中部大学 工学部 情報工学科 藤吉研究室 「HOG特徴量と Boostingを用いた人検出」 p3〜19,25〜29,30〜43 2009年 [平成26年3月19日検索]、インターネット<URL:http://www.vision.cs.chubu.ac.jp/joint_hog/pdf/HOG+Boosting_LN.pdf>
しかしながら、従来技術では、患者や要介護者がベッドから起きようとする起床行動を検出する検出タイミングの遅れや検出漏れが発生するという問題がある。例えば、患者の起床行動の検出タイミングが遅れると、ナースコール等での報知が遅れて、看護師が駆けつける前に患者が転倒するなどの重大な事故を引き起こす原因となる。
一つの側面では、本発明は、被監視者の起床行動の検出タイミングの遅れや検出漏れを防ぐ監視方法、監視装置および監視プログラムを提供することを目的とする。
本発明の一側面によれば、被監視者を撮影した一連の画像のいずれかの画像から検出した前記被監視者の頭部位置が、前記画像上に設定され前記被監視者の起床行動の検出に用いられる起床ラインを越えている場合に、前記画像に基づき判定した前記被監視者の就床状態と、前記被監視者の頭部位置の時系列変化とに基づいて、前記画像上の前記起床ラインの位置を変更する監視方法、監視装置および監視プログラムが提案される。
本発明の一態様によれば、被監視者の起床行動の検出タイミングの遅れや検出漏れを防ぐことができるという効果を奏する。
以下に図面を参照して、本発明にかかる監視方法、監視装置および監視プログラムの実施の形態を詳細に説明する。
(実施の形態1)
まず、実施の形態にかかる監視システム100のシステム構成例について説明する。
まず、実施の形態にかかる監視システム100のシステム構成例について説明する。
図1は、監視システム100のシステム構成例を示す説明図である。図1において、監視システム100は、監視装置101と、撮影装置102と、報知装置103と、を含む。監視システム100において、監視装置101および報知装置103は、有線または無線のネットワーク110を介して接続される。ネットワーク110は、例えば、LAN(Local Area Network)、WAN(Wide Area Network)、インターネットなどである。
ここで、監視装置101は、被監視者Xの起床行動を検出するコンピュータである。被監視者Xは、監視対象となる者であり、例えば、病院に入院中の患者である。また、被監視者は、例えば、介護施設や自宅などにおいて、要介護状態にある高齢者や特定疾患が原因で要介護状態にある者であってもよい。被監視者Xの起床行動とは、被監視者Xが寝床(図1の例では、ベッド120)から起きようとする行動である。
撮影装置102は、被監視者Xを撮影するカメラである。撮影装置102は、ベッド120を俯瞰する位置に設置され、ベッド120上で寝起きする被監視者Xと、被監視者Xの周囲を撮影可能である。また、撮影装置102は、監視装置101と接続され、所定の時間間隔(例えば、1/10[秒])で撮影した一連の画像Fを動画像として監視装置101に出力する。
報知装置103は、被監視者Xの起床行動を報知するコンピュータである。報知装置103は、監視者によって使用される。監視者は、被監視者Xを監視する者であり、例えば、看護師、介護士、被監視者Xの家族などである。報知装置103は、例えば、PC(Personal Computer)、ノートPC、スマートフォン、携帯電話機、PHS(Personal Handyphone System)などである。監視システム100は、例えば、病院に導入されるナースコールなどに適用される。
なお、上述した説明では、監視装置101と撮影装置102とが別体に設けられる場合を例に挙げて説明したが、監視装置101と撮影装置102は一体型であってもよい。また、監視装置101と撮影装置102が一対一で設けられる場合を例に挙げて説明したが、監視装置101は、それぞれ異なる被監視者Xを撮影する複数の撮影装置102と接続されることにしてもよい。
ここで、図2を用いて、被監視者Xの起床行動について説明する。
図2は、被監視者Xの起床行動の一例を示す説明図である。図2において、画像201〜203は、起床行動中の被監視者Xを撮影した画像を時系列に並べたものである。画像201は、ベッド120で被監視者Xが寝ている状態の画像である。画像202は、ベッド120から起き上がるために被監視者Xが上半身を起こそうとしている状態の画像である。画像203は、被監視者Xが上半身を完全に起こした状態の画像である。
このように、被監視者Xは、ベッド120から起き上がる場合、上半身を起こしながらベッド120から起き上がることが多い。このため、例えば、被監視者Xの頭部位置Pが、画像201〜203上に設定される起床ラインL1を越えた場合に、被監視者Xがベッド120から起きようとしていると判断して、被監視者Xの起床行動を検出することが考えられる。
図2の例では、画像202に示すように、ベッド120から起き上がるために被監視者Xが上半身を起こそうとしている状態で、被監視者Xの頭部位置Pが起床ラインL1を越えると、被監視者Xの起床行動が検出される。この場合、被監視者Xがベッド120から起きようとしているときに、被監視者Xの起床行動が検出されたことを監視者に報知することができる。
しかし、ベッド120上で被監視者Xが寝る位置は、常に固定というわけではなく、また、被監視者Xが寝返りを打つうちに変化する場合がある。例えば、被監視者Xが寝ている位置が画像201で示す位置よりも上側に偏ると、被監視者Xが寝返りを打つだけで、被監視者Xの頭部位置Pが起床ラインL1を越えてしまう場合がある。この場合、被監視者Xが寝ている状態であるにもかかわらず、被監視者Xの起床行動を誤検出してしまう。
また、被監視者Xが寝ている位置が画像201で示す位置よりも下側に偏ると、被監視者Xが上半身を起こそうとしている状態では、被監視者Xの頭部位置Pが起床ラインL1を越えず、被監視者Xの起床行動の検出タイミングが遅れてしまう場合がある。あるいは、被監視者Xの頭部位置Pが起床ラインL1を越えない状態で、被監視者Xが上半身を完全に起こしてしまい、被監視者Xの起床行動を検出できない場合がある。
このため、被監視者Xが寝ている間は寝返りなどで体が動くことを想定して、被監視者Xの頭部の動きに合わせて起床ラインL1の位置を動的に変更することが考えられる。「寝ている状態」は、例えば、被監視者Xを撮影した画像から抽出される、被監視者Xの頭部や肩の形状、顔領域の目や眉の形状などから判断することができる。
しかし、被監視者Xが頭を起こし始めているような起床行動の初期段階は、被監視者Xの頭部の形状などから、「寝ている状態」を正確に判別できない場合がある。この結果、被監視者Xが起きようとしているにもかかわらず、起床ラインL1の位置が変更されて、被監視者Xの起床行動の検出タイミングが遅れてしまう場合がある。
このため、起床ラインL1の更新を行う条件として、被監視者Xが寝ている状態であるかだけでなく、被監視者Xの頭部に動きがあるかということも考慮することが考えられる。すなわち、被監視者Xが寝ている状態であり、かつ、被監視者Xの頭部に動きがなければ、被監視者Xが起床行動中ではないと判断して、起床ラインL1を更新することが考えられる。
これにより、被監視者Xの頭部に動きがある起床行動中は起床ラインL1の更新が行われず、起床行動の初期段階で起床ラインL1の位置が変更されることを防ぐことができる。一方、寝返りなどは体を動かしたあとに静止するため、静止の段階で起床ラインL1が更新され、被監視者Xの寝る位置が変わっても適切な間隔で起床ラインL1を設定することができる。
ところが、ケガや加齢で半身不随または筋力が弱っている被監視者Xが起床する場合には、被監視者Xは、少し起き上がると一旦休み、数秒〜数十秒休んだら、また動き出すといった行動を繰り返すことがある。すなわち、被監視者Xは、数秒〜数十秒ずつ休みながら起き上がることがある。
ここで、被監視者Xが休みながら起床する場合の起床行動について説明する。
図3は、休みながら起床する場合の起床行動の一例を示す説明図である。図3において、(状態a)〜(状態e)は、被監視者Xが、片腕でベッド120の柵を掴み、数秒〜数十秒ずつ休みながら起き上がる場合の起床行動を示している。(状態a)は被監視者Xが寝ている状態であり、(状態e)は上半身を完全に起こした状態である。
画像301〜305は、(状態a)〜(状態e)のそれぞれに対応する被監視者Xを撮影した画像Fである。ここでは、画像302や画像303で、被監視者Xの頭部や肩の形状、顔領域の目や眉などの形状が、被監視者Xが寝ている状態を撮影した画像301と類似している。このため、被監視者Xの頭部や肩の形状、顔領域の目や眉の形状から「寝ている状態」を判断すると、被監視者Xが(状態b)や(状態c)で、被監視者Xが寝ている状態であると誤判断してしまうことがある。
このとき、被監視者Xが休むために静止すると、被監視者Xの頭部に動きがないために、被監視者Xが起床行動ではない動き、すなわち、寝返りをして静止したと判定され、起床ラインL1が更新されてしまう。同様に、被監視者Xがまた少し起き上がって静止すると、そのタイミングでも起床ラインL1が更新されてしまう。
このため、このようなシーンでは、起床行動中であるにもかかわらず、起床ラインL1の更新が複数回発生してしまう。この結果、不正な起床ラインL1の更新が累積して、被監視者Xの起床行動の検出タイミングが大幅に遅れる、あるいは、被監視者Xが起き上がっても起床ラインL1を越えず、被監視者Xの起床行動を検出できない場合がある。
図4は、被監視者Xの起床行動の検出タイミングの遅延例を示す説明図である。図4において、図3に示した(状態a)〜(状態e)のそれぞれに対応する画像301〜305が示されている。また、各画像301〜305には、被監視者Xの起床行動を検出するための起床ラインL1が設定されている。
ここで、被監視者Xが(状態c)から(状態d)に遷移したときに被監視者Xの起床行動を検出することを想定して起床ラインL1を設定したとする。ところが、被監視者Xが起き上がる途中の(状態b)および(状態c)において、被監視者Xが寝ている状態であり、かつ、被監視者Xの頭部が動いていないと判定されると、不正な起床ラインL1の更新が2回行われてしまう。
この結果、本来(状態c)から(状態d)に遷移したときに被監視者Xの起床行動を検出することを想定していたのに対して、(状態d)から(状態e)に遷移したときに起床行動が検出されることになり、被監視者Xの起床行動の検出タイミングが遅れてしまう。
そこで、実施の形態1では、ケガや加齢で半身不随または筋力が弱っているために途中で休みながら起き上がるような被監視者Xの起床行動中に、起床ラインL1が不正に更新されるのを防いで、被監視者Xの起床行動の検出タイミングの遅れや検出漏れを防ぐ監視方法について説明する。
図5は、実施の形態1にかかる被監視者Xの起床行動の検出例を示す説明図である。図5において、図3に示した(状態a)〜(状態e)のそれぞれに対応する画像301〜305が示されている。また、各画像301〜305には、被監視者Xの起床行動を検出するための起床ラインL1が設定されている。
監視装置101は、各画像301〜305から検出される被監視者Xの頭部位置Pが、各画像301〜305上に設定される起床ラインL1を越えている場合に、起床ラインL1の更新を行うか否かを判断する。図5の例では、画像301〜303では、各画像301〜303から検出される被監視者Xの頭部位置Pが起床ラインL1を越えていない。このため、(状態a)〜(状態c)では、起床ラインL1の更新は行われない。
一方、画像304では、画像304から検出される被監視者Xの頭部位置Pが、画像304上に設定される起床ラインL1を越えている。このため、(状態d)において、監視装置101は、起床ラインL1の更新を行うか否かを判断する。具体的には、例えば、監視装置101は、画像304に基づく被監視者Xの就床状態と、被監視者Xの頭部位置Pの時系列変化に基づいて、起床ラインL1の更新を行うか否かを判断する。
ここで、被監視者Xの就床状態とは、被監視者Xが寝床に入っている状態、すなわち、ベッド120に被監視者Xが寝ている状態である。「寝ている状態」は、撮影装置102によって撮影される画像F上に写る被監視者Xの見え方が寝ている状態となっていることであり、被監視者Xは眠っていても、眠っていなくてもいずれであってもよい。
具体的には、例えば、監視装置101は、被監視者Xが寝ている状態であり、かつ、被監視者Xの頭部位置Pが一定期間継続して動いていない場合に、起床ラインL1の更新を行うと判断する。詳細は後述するが、被監視者Xの就床状態は、画像F(例えば、画像304)から抽出される被監視者Xの特徴に基づき判定される。また、被監視者Xの頭部位置Pの時系列変化は、撮影装置102によって撮影される一連の画像Fから判断される。
より詳細に説明すると、画像F上に写る被監視者Xの見え方が寝ている状態であり、かつ、被監視者Xの頭部位置Pに動きがある場合は、寝返りなどの行動中、あるいは、起床行動の初期段階であると判断できる。この場合、監視装置101は、起床ラインL1の更新を行わない。
また、画像F上に写る被監視者Xの見え方が寝ていない状態であり、かつ、被監視者Xの頭部位置Pに動きがない場合は、起床行動中の一旦停止であると判断できる。この場合、監視装置101は、起床ラインL1の更新を行わない。
これに対して、画像F上に写る被監視者Xの見え方が寝ている状態であり、かつ、頭部位置Pに動きがない場合には、寝返りなどで体が動いたために被監視者Xの頭部位置Pが起床ラインL1を越えたと判断できる。この場合、監視装置101は、起床ラインL1の更新を行う。
図5の例では、画像304において、被監視者Xが寝ていない状態であると判定され、被監視者Xの頭部位置Pが一定期間動いていないと判断される。すなわち、(状態d)は、被監視者Xの起床行動中の一旦停止であると判断できる。このため、監視装置101は、画像304上に設定された起床ラインL1の更新は行わない。
また、監視装置101は、被監視者Xの頭部位置Pが画像F上の起床ラインL1を越え、かつ、被監視者Xが寝ていない状態であると判定したことに応じて、被監視者Xの起床行動を検出する。図5の例では、画像304において、被監視者Xの頭部位置Pが画像F上の起床ラインL1を越え、かつ、被監視者Xが寝ていない状態であると判定される。このため、(状態d)において、被監視者Xの起床行動が検出される。
このように、監視装置101によれば、撮影装置102によって撮影される画像Fから検出される被監視者Xの頭部位置Pが画像F上に設定される起床ラインL1を越えている場合に、起床ラインL1の更新を行うか否かを判断することができる。
例えば、監視装置101は、画像F上に写る被監視者Xの見え方が寝ている状態であり、かつ、頭部位置Pに動きがある場合は、寝返りなどの行動中、あるいは、起床行動の初期段階であると判断して、起床ラインL1の更新を行わないようにすることができる。また、例えば、監視装置101は、画像F上に写る被監視者Xの見え方が寝ていない状態であり、かつ、頭部位置Pに動きがない場合は、起床行動中の一旦停止であると判断して、起床ラインL1の更新を行わないようにすることができる。
これにより、ケガや加齢で半身不随または筋力が弱っているような被監視者Xが休みながら起き上がるような起床行動中に起床ラインL1が更新されるのを防いで、被監視者Xの起床行動の検出タイミングの遅れや検出漏れを防ぐことができる。この結果、監視者に対して被監視者Xの起床行動を報知する報知タイミングの遅れや報知漏れを防ぐことができ、被監視者Xの転倒などの重大な事故を未然に防ぐことができるようになる。
(監視装置101のハードウェア構成例)
図6は、監視装置101のハードウェア構成例を示すブロック図である。図6において、監視装置101は、CPU601と、メモリ602と、I/F603と、ディスクドライブ604と、ディスク605と、を有する。また、各構成部は、バス600によってそれぞれ接続される。
図6は、監視装置101のハードウェア構成例を示すブロック図である。図6において、監視装置101は、CPU601と、メモリ602と、I/F603と、ディスクドライブ604と、ディスク605と、を有する。また、各構成部は、バス600によってそれぞれ接続される。
ここで、CPU601は、監視装置101の全体の制御を司る。メモリ602は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)およびフラッシュROMなどを有する。具体的には、例えば、フラッシュROMやROMが各種プログラムを記憶し、RAMがCPU601のワークエリアとして使用される。メモリ602に記憶されるプログラムは、CPU601にロードされることで、コーディングされている処理をCPU601に実行させる。
I/F603は、通信回線を通じてネットワーク110に接続され、ネットワーク110を介して他のコンピュータ(例えば、図1に示した報知装置103)に接続される。そして、I/F603は、ネットワーク110と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。I/F603には、例えば、モデムやLANアダプタなどを採用することができる。
ディスクドライブ604は、CPU601の制御に従ってディスク605に対するデータのリード/ライトを制御する。ディスク605は、ディスクドライブ604の制御で書き込まれたデータを記憶する。ディスク605としては、例えば、磁気ディスク、光ディスクなどが挙げられる。
なお、監視装置101は、上述した構成部のほか、例えば、SSD(Solid State Drive)、キーボード、マウス、ディスプレイなどを有することにしてもよい。また、図1に示した報知装置103についても、上述した監視装置101と同様のハードウェア構成例により実現することができる。
(被監視者Xの頭部検出用の学習データD1の生成例)
つぎに、撮影装置102(図1参照)によって撮影される画像Fから、被監視者Xの頭部画像を検出するための学習データD1の生成例について説明する。被監視者Xの頭部検出用の学習データD1は、例えば、図6に示した監視装置101のメモリ602やディスク605などの記憶装置に記憶される。
つぎに、撮影装置102(図1参照)によって撮影される画像Fから、被監視者Xの頭部画像を検出するための学習データD1の生成例について説明する。被監視者Xの頭部検出用の学習データD1は、例えば、図6に示した監視装置101のメモリ602やディスク605などの記憶装置に記憶される。
図7は、頭部検出用の学習データD1の生成例を示す説明図である。図7において、ポジティブ画像データ701は、被監視者Xが寝ている状態から上半身を起こした状態となるまでの被監視者Xの頭部を様々な角度から撮影した頭部画像の集合である。また、ネガティブ画像データ702は、布団、ベッド120(図1参照)、枕、被監視者Xの頭部以外の身体などを撮影した画像の集合である。
監視装置101は、ポジティブ画像データ701とネガティブ画像データ702に基づいて、HOG特徴量を求め、AdaBoostなどで学習することで、頭部検出用の学習データD1を生成する。頭部検出用の学習データD1は、撮影装置102によって撮影される画像Fから、被監視者Xの頭部画像を識別して検出するための情報である。
HOG特徴量は、一般物体の認識のための勾配ベースの特徴量であり、局所領域の輝度の勾配方向をヒストグラム化したものである。AdaBoostは、統計的学習手法のBoostingの一種である。なお、HOG特徴量とAdaBoostを用いた人検出については、非特許文献1を参照することができる。
(被監視者Xの就床状態認識用の学習データD2の生成例)
つぎに、撮影装置102によって撮影される画像Fから、被監視者Xの就床状態を認識するための学習データD2の生成例について説明する。被監視者Xの就床状態認識用の学習データD2は、例えば、監視装置101のメモリ602やディスク605などの記憶装置に記憶される。
つぎに、撮影装置102によって撮影される画像Fから、被監視者Xの就床状態を認識するための学習データD2の生成例について説明する。被監視者Xの就床状態認識用の学習データD2は、例えば、監視装置101のメモリ602やディスク605などの記憶装置に記憶される。
図8は、就床状態認識用の学習データD2の生成例を示す説明図である。図8において、ポジティブ画像データ801は、被監視者Xが寝ている状態の被監視者Xの頭部を様々な角度から撮影した頭部画像の集合である。また、ネガティブ画像データ802は、布団、ベッド120(図1参照)、枕、被監視者Xの頭部以外の身体などを撮影した画像の集合である。
監視装置101は、ポジティブ画像データ801とネガティブ画像データ802に基づいて、HOG特徴量を求め、AdaBoostなどで学習することで、就床状態認識用の学習データD2を生成する。就床状態認識用の学習データD2は、撮影装置102によって撮影される画像Fから、被監視者Xが寝ている状態であるか否かを判定するための情報である。
(起床ライン間隔テーブル900の記憶内容)
つぎに、監視装置101が用いる起床ライン間隔テーブル900の記憶内容について説明する。起床ライン間隔テーブル900は、例えば、監視装置101のメモリ602やディスク605などの記憶装置に記憶される。
つぎに、監視装置101が用いる起床ライン間隔テーブル900の記憶内容について説明する。起床ライン間隔テーブル900は、例えば、監視装置101のメモリ602やディスク605などの記憶装置に記憶される。
図9は、起床ライン間隔テーブル900の記憶内容の一例を示す説明図である。図9において、起床ライン間隔テーブル900は、角度θおよび間隔Nのフィールドを有し、各フィールドに情報を設定することで、間隔情報(例えば、間隔情報900−1〜900−5)をレコードとして記憶する。
ここで、角度θ(単位:度)は、ベッド120から起き上がる被監視者Xの背中とベッド120の上面とがなす角度である(後述する図10参照)。間隔N(単位:ピクセル)は、撮影装置102によって撮影される画像F上に設定する起床ラインL1の位置を特定するための情報である。
ここでは、間隔Nは、画像Fにおいて、被監視者Xが起き上がる際に被監視者Xの頭部位置が移動する方向に、被監視者Xの頭部位置からどれくらい離れた位置に起床ラインL1を設定するかを示す。間隔Nは、例えば、被監視者Xを監視する看護師、介護士、家族などの監視者によって設定可能である。
例えば、監視者が、ベッド120の上面からどの角度θまで被監視者Xの背中が起き上がった際に被監視者Xの起床行動を検出するかを指定することにより、指定された角度θに対応する間隔Nが設定される。一例として、角度θとして「θ=40[度]」が指定されると、間隔Nとして「N=30[ピクセル]」が設定される。
なお、角度θの値が小さすぎると、寝返りなどでも被監視者Xの起床行動が検出されて過剰なアラームを招いてしまう。このため、角度θは、例えば、被監視者Xが寝ていないと判断できる姿勢のときの角度に設定される。
図10は、角度θに対応する間隔Nの算出方法の一例を示す説明図である。図10において、画像1001は、ベッド120の上面から角度θまで起き上がった状態の被監視者Xを撮影した画像であり、例えば、監視者に対して被監視者Xの起床行動を検出して報知したいときの被監視者Xの姿勢を示す。また、画像1002は、ベッド120で寝ている状態の被監視者Xを撮影した画像である。
線1003は、被監視者Xの頭部を囲う矩形領域1004の中心位置P1を通り、被監視者Xが起き上がる際に被監視者Xの頭部が移動する方向に略直交する線である。線1005は、被監視者Xの頭部を囲う矩形領域1006の上端位置P2を通り、被監視者Xが起き上がる際に被監視者Xの頭部が移動する方向に略直交する線である。
監視装置101は、例えば、画像1002における線1003と線1005との間のピクセル数を算出することで、算出したピクセル数を、角度θに対応する間隔Nとして算出する。なお、間隔Nの具体的な算出例については、図17〜図19を用いて後述する。
(監視装置101の機能的構成例)
図11は、監視装置101の機能的構成例を示すブロック図である。図11において、監視装置101は、取得部1101と、頭部検出部1102と、設定/変更部1103と、ライン判定部1104と、状態判定部1105と、行動検出部1106と、出力部1107と、を含む構成である。取得部1101〜出力部1107は制御部となる機能であり、具体的には、例えば、図6に示したメモリ602、ディスク605などの記憶装置に記憶されたプログラムをCPU601に実行させることにより、または、I/F603により、その機能を実現する。各機能部の処理結果は、例えば、メモリ602、ディスク605などの記憶装置に記憶される。
図11は、監視装置101の機能的構成例を示すブロック図である。図11において、監視装置101は、取得部1101と、頭部検出部1102と、設定/変更部1103と、ライン判定部1104と、状態判定部1105と、行動検出部1106と、出力部1107と、を含む構成である。取得部1101〜出力部1107は制御部となる機能であり、具体的には、例えば、図6に示したメモリ602、ディスク605などの記憶装置に記憶されたプログラムをCPU601に実行させることにより、または、I/F603により、その機能を実現する。各機能部の処理結果は、例えば、メモリ602、ディスク605などの記憶装置に記憶される。
取得部1101は、被監視者Xを撮影した画像Fを取得する。具体的には、例えば、取得部1101は、撮影装置102によって所定の時間間隔で撮影される画像Fを撮影装置102から順次取得する。画像Fは、例えば、ベッド120上で寝起きする被監視者Xと、被監視者Xの周囲を撮影した動画像を形成する1フレーム分の画像である。また、画像Fは、撮影装置102によって撮影された1フレーム分の画像から、被監視者Xが寝起きするベッド120とベッド120周囲の画像を抽出したものであってもよい。
頭部検出部1102は、画像Fから被監視者Xの頭部位置Pを検出する。具体的には、例えば、頭部検出部1102は、被監視者Xの頭部検出用の学習データD1を用いて、画像Fを走査することにより、画像Fから被監視者Xの頭部位置Pを検出する。ここで、図12を用いて、被監視者Xの頭部位置Pの検出例について説明する。
図12は、被監視者Xの頭部位置Pの検出例を示す説明図である。図12において、画像1200は、ベッド120上で寝起きする被監視者Xと、被監視者Xの周囲を撮影した画像Fである。まず、頭部検出部1102は、学習データD1を用いて、画像1200をラスタスキャンしながら、被監視者Xの頭部の特徴を示す部分を探索することにより、被監視者Xの頭部画像1201を抽出する。頭部画像1201は、例えば、被監視者Xの頭部を囲う矩形画像である。
そして、頭部検出部1102は、探索した頭部画像1201の上端を、被監視者Xの頭部位置Pとして検出する。頭部位置Pは、例えば、X軸とY軸とからなる画像座標系における座標位置である。検出された被監視者Xの頭部位置Pは、例えば、履歴情報テーブル1300に記憶される。
図13は、履歴情報テーブル1300の記憶内容の一例を示す説明図である。図13において、履歴情報テーブル1300は、頭部位置、座標位置、就床状態フラグおよび起床行動検出フラグのフィールドを有し、各フィールドに情報を設定することで、履歴情報(例えば、履歴情報1300−1〜1300−3)をレコードとして記憶する。
ここで、頭部位置は、撮影装置102によって撮影される1フレーム分の画像Fから検出した被監視者Xの頭部位置Pの識別子である。座標位置は、画像座標系における被監視者Xの頭部位置Pの座標位置である。就床状態フラグは、被監視者Xが寝ている状態であるか否かを示す情報である。就床状態フラグ「0」は、被監視者Xが寝ている状態を示す。また、就床状態フラグ「1」は、被監視者Xが寝ていない状態を示す。
起床行動検出フラグは、被監視者Xの起床行動が検出されたか否かを示す情報である。起床行動検出フラグ「0」は、被監視者Xの起床行動が検出されていないことを示す。起床行動検出フラグ「1」は、被監視者Xの起床行動が検出されたことを示す。履歴情報テーブル1300は、被監視者Xの頭部位置Pが検出された順に履歴情報を記憶する。また、履歴情報テーブル1300は、例えば、メモリ602、ディスク605などの記憶装置により実現される。
図11の説明に戻り、設定/変更部1103は、画像F上に起床ラインL1を設定する。ここで、起床ラインL1は、被監視者Xの起床行動の検出に用いられるラインである。例えば、起床ラインL1は、被監視者Xが起き上がる際に頭部位置Pが移動する方向に略直交するように画像F上に設定される。
具体的には、例えば、まず、設定/変更部1103は、起床ライン間隔テーブル900を参照して、指定された角度θに対応する間隔N(単位:ピクセル)を特定する。角度θの指定は、例えば、報知装置103のキーボード(不図示)やマウス(不図示)を用いた監視者の操作入力により行われる。
そして、設定/変更部1103は、被監視者Xの頭部位置Pの初期位置から、被監視者Xが起き上がる際に頭部位置Pが移動する方向に、間隔N分離れた画像F上の位置に、起床ラインL1を設定する。被監視者Xの頭部位置Pの初期位置は、予め設定されており、例えば、ベッド120上で寝ている被監視者Xの頭部下端(顎側)の標準的な座標位置に設定される。
以下の説明では、画像Fにおいて、被監視者Xが起き上がる際に頭部位置Pが移動する方向を「起き上がり方向」と表記する場合がある。
ライン判定部1104は、被監視者Xの頭部位置Pが画像F上に設定された起床ラインL1を越えているか否かを判定する。具体的には、例えば、ライン判定部1104は、画像Fにおいて、被監視者Xの頭部位置Pが起床ラインL1よりも被監視者Xの足下側にある場合に、頭部位置Pが起床ラインL1を越えていると判定することにしてもよい。
なお、ライン判定部1104は、例えば、現フレームの頭部位置Pと直前フレームの頭部位置Pとに基づいて、頭部位置Pが起床ラインL1を跨いだか否かを判断することにしてもよい。現フレームの頭部位置Pと直前フレームの頭部位置Pは、例えば、図13に示した履歴情報テーブル1300から特定される。
この場合、ライン判定部1104は、頭部位置Pが起床ラインL1を跨いだ場合に、頭部位置Pが起床ラインL1を越えたと判定する。また、ライン判定部1104は、頭部位置Pが起床ラインL1を越えたと判定した場合、ラインフラグfgに「1」を設定することにしてもよい。
ラインフラグfgは、被監視者Xの頭部位置Pが起床ラインL1を越えているか否かを示す情報であり、初期状態では「0」である。これにより、以降において、ライン判定部1104は、ラインフラグfgを参照することにより、被監視者Xの頭部位置Pが画像F上に設定された起床ラインL1を越えているか否かを判定することができる。ラインフラグfgは、例えば、被監視者Xの起床行動が検出されたらリセットされる。
状態判定部1105は、被監視者Xの就床状態を判定する。具体的には、例えば、状態判定部1105は、被監視者Xの頭部位置Pが起床ラインL1を越えていると判定された場合に、画像Fに基づいて、被監視者Xの特徴を抽出することにより、被監視者Xの就床状態を判定する。ここで、被監視者Xの特徴とは、例えば、被監視者Xの頭部や肩の形状、顔領域の目、眉、耳などの形状である。
例えば、「寝ている状態」のときは、人の頭部は偏平な楕円であったものが、起き上がって「寝ていない状態」となると、頭部の楕円が円に近づく傾向にある。また、「寝ている状態」に比べて「寝ていない状態」になると、目、眉、耳などの顔領域が少なくなる傾向にある。
このため、状態判定部1105は、例えば、被監視者Xの頭部の形状が偏平な楕円である場合に、被監視者Xが寝ている状態であると判定することにしてもよい。また、状態判定部1105は、目、眉、耳などの顔領域が少なくなると、被監視者Xが寝ていない状態であると判定することにしてもよい。ここで、図14を用いて、被監視者Xの就床状態の判定例について説明する。
図14は、被監視者Xの就床状態の判定例を示す説明図である。図14において、頭部画像1201は、図12に示した画像1200から抽出された被監視者Xの頭部画像である。まず、状態判定部1105は、頭部画像1201から、被監視者Xの頭部や顔内部の形状を抽出する。
そして、状態判定部1105は、被監視者Xの就床状態認識用の学習データD2を用いて、抽出した頭部や顔内部の形状が、被監視者Xが寝ている状態の形状と類似すると判断した場合に、被監視者Xが寝ている状態であると判定する。一方、状態判定部1105は、被監視者Xが寝ている状態の形状と類似しないと判断した場合に、被監視者Xが寝ていない状態であると判定する。
なお、被監視者Xが寝ている状態であると判定された場合は、履歴情報テーブル1300の画像Fに対応する履歴情報の就床状態フラグに「0」が設定される。一方、被監視者Xが寝ていない状態であると判定された場合には、履歴情報テーブル1300の画像Fに対応する履歴情報の就床状態フラグに「1」が設定される。
図11の説明に戻り、設定/変更部1103は、状態判定部1105によって判定された判定結果と、被監視者Xの頭部位置Pの時系列変化とに基づいて、画像F上の起床ラインL1の位置を変更する。具体的には、例えば、まず、設定/変更部1103は、撮影装置102によって撮影された一連の画像Fに基づいて、被監視者Xの頭部位置Pが一定期間継続して動いていないか否かを判断する。
被監視者Xの頭部位置Pが一定期間継続して動いていないか否かの判断は、被監視者Xが寝返りや起床行動などの何らかの行動中であるか否かを判別するためのものである。一定期間は、任意に設定可能である。また、一定期間の単位は、「時間(例えば、秒)」であってもよく、また、「フレーム数」であってもよい。
例えば、単位を「時間」とすると、一定期間は3秒程度に設定される。また、単位を「フレーム数」とし、撮影装置102から出力される1秒当たりのフレーム数(fps:frame per second)を「10」とすると、一定期間は30フレーム程度に設定される。
以下の説明では、一定期間の単位を「フレーム数」とし、一定期間を「nフレーム」と表記する場合がある。
より具体的には、例えば、設定/変更部1103は、履歴情報テーブル1300を参照して、被監視者Xの頭部位置Pが、現フレームから遡ってnフレーム間継続して動いていないか否かを判断する。この際、設定/変更部1103は、例えば、連続するフレーム間での頭部位置P間の距離が閾値以下であれば、当該フレーム間で頭部位置Pが動いていないと判断する。
そして、設定/変更部1103は、被監視者Xが寝ている状態であると判定され、かつ、被監視者Xの頭部位置Pが一定期間継続して動いていないと判断した場合に、検出された被監視者Xの頭部位置Pを基準に、画像F上の起床ラインL1の位置を変更する。この際、設定/変更部1103は、例えば、検出された被監視者の頭部位置Pから、起き上がり方向に、間隔N分離れた画像F上の位置に、起床ラインL1の位置を変更する。
行動検出部1106は、検出された被監視者Xの頭部位置Pが画像F上の起床ラインL1を越え、かつ、被監視者Xが寝ていない状態であると判定されたことに応じて、被監視者Xの起床行動を検出する。ここで、図15を用いて、被監視者Xの起床行動の検出例について説明する。
図15は、被監視者Xの起床行動の検出例を示す説明図である。図15において、画像1501は、ベッド120上で寝起きする被監視者Xを撮影した現フレームの画像である。また、画像1502は、ベッド120上で寝起きする被監視者Xを撮影した直前フレームの画像である。
まず、行動検出部1106は、現フレームの画像1501から検出された頭部位置Pと、直前フレームの画像1502から検出された頭部位置Pとに基づいて、頭部位置Pが画像1501上の起床ラインL1を跨いだか否かを判断する。現フレームの頭部位置Pと直前フレームの頭部位置Pは、例えば、履歴情報テーブル1300から特定される。
図15の例では、現フレームの時点で、被監視者Xの頭部位置Pが起床ラインL1を跨いでいる。この場合、行動検出部1106は、被監視者Xの頭部位置Pが画像1501上の起床ラインL1を越えたと判断する。また、状態判定部1105によって、画像1501の被監視者Xが寝ていない状態であると判定された場合を想定する。この場合、行動検出部1106は、被監視者Xの起床行動を検出する。
なお、被監視者Xの起床行動が検出された場合は、履歴情報テーブル1300の画像Fに対応する履歴情報の起床行動検出フラグに「1」が設定される。一方、被監視者Xの起床行動が検出されなかった場合には、履歴情報テーブル1300の画像Fに対応する履歴情報の起床行動検出フラグに「0」が設定される。
また、被監視者Xが起きている状態で、被監視者Xの頭部位置Pが起床ラインL1を越えると、被監視者Xの起床行動を誤検出してしまう。このため、行動検出部1106は、被監視者Xの起床行動を前回検出してから、被監視者Xが寝ている状態であると1回以上判定した場合に、被監視者Xの起床行動を検出することにしてもよい。
これにより、被監視者Xが起きている状態で被監視者Xの頭部位置Pが起床ラインL1を越えた場合の誤検出を防ぐことができる。なお、過去の画像Fにおける被監視者Xの起床行動の有無や被監視者Xの就床状態は、例えば、履歴情報テーブル1300から特定される。
出力部1107は、被監視者Xの起床行動が検出されたことを示す報知情報を出力する。具体的には、例えば、出力部1107は、行動検出部1106によって被監視者Xの起床行動が検出されたことに応じて、被監視者Xの起床行動が検出されたことを示す報知情報を報知装置103に送信する。報知情報には、例えば、被監視者Xの氏名、病室番号、ベッド番号などの被監視者Xを識別するための情報が含まれていてもよい。
報知情報の出力形式としては、例えば、報知装置103のディスプレイ(不図示)への表示、報知装置103の警告ランプ(不図示)の点灯、報知装置103のスピーカ(不図示)からの音声出力などが挙げられる。
(起床ラインL1の制限例)
つぎに、画像F上に設定される起床ラインL1の制限例について説明する。
つぎに、画像F上に設定される起床ラインL1の制限例について説明する。
図16は、起床ラインL1の制限例を示す説明図である。ここで、被監視者Xがベッド120で寝ている際に、被監視者Xの頭部位置Pが起床ラインL1を越えない程度に、被監視者Xが足方向(画像F上の上方向)に動く場合がある。この場合、起床ラインL1の位置が更新されず、被監視者Xの起床行動の検出タイミングに誤差が生じてしまう。
このため、図16に示すように、起床ラインL1の位置を、被監視者Xの頭部下端(頭部位置P)から、例えば、最大で10[cm]程度になるように、間隔Nを制限することにしてもよい。例えば、画像Fにおいて、実際の10[cm]に対応するピクセル数が25[ピクセル]であったとする。
この場合、設定/変更部1103は、間隔Nを25[ピクセル]以下に制限する。すなわち、監視者などによって指定できる角度θを制限する。図9の例では、設定/変更部1103は、指定可能な角度θを、対応するピクセル数が25[ピクセル]以下となる20[度]または30[度]に制限する。
一例として、角度θとして40[度]が指定されたとする。この場合、設定/変更部1103は、起床ライン間隔テーブル900を参照して、対応するピクセル数が25[ピクセル]以下となる最大の角度θである30[度]に対応する間隔N「N=20[ピクセル]」を特定する。
これにより、被監視者Xの頭部位置Pが起床ラインL1を越えない程度に、被監視者Xが足方向に動くことにより発生する、被監視者Xの起床行動の検出タイミングの誤差を一定範囲内に抑えることができる。例えば、図16の例では、起床ラインL1の位置を、初期設定時の位置に対して最大10[cm]の誤差に抑えることができる。
(起床ラインL1の間隔Nの算出例)
つぎに、起床ラインL1の間隔Nの算出例について説明する。
つぎに、起床ラインL1の間隔Nの算出例について説明する。
図17〜図19は、起床ラインL1の間隔Nの算出例を示す説明図である。図17において、ベッド座標系は、ベッド120の前端(被監視者Xの頭側)の中点を原点とし、ベッド平面とXY平面が平行で、高さ方向のZ軸の「Z=0」とベッド平面とが一致する座標系である。ベッド座標系の単位は[mm]である。
画像座標系は、撮影装置102によって撮影される画像Fの座標系であり、画像Fの水平方向をX軸とし、下方向をY軸とする。画像座標系の単位は[ピクセル]である。以下の説明では、PBed、PImのように、文字の上側に座標系の種類(Bed:ベッド座標系、Im:画像座標系)を示す。
例えば、ベッド座標系で位置P1を表記する場合は、以下のようになる。
P1 Bed=(P1,x Bed,P1,y Bed,P1,z Bed)
P1 Bed=(P1,x Bed,P1,y Bed,P1,z Bed)
また、画像座標系で位置P1を表記する場合は、以下のようになる。
P1 Im=(P1,x Im,P1,y Im,P1,z Im)
P1 Im=(P1,x Im,P1,y Im,P1,z Im)
図18に示すような、ベッド座標系から画像座標系への変換は、例えば、下記式(1)を用いて変換することができる。
上記式(1)において、行列Aは、撮影装置102のレンズ歪み情報に対応する。行列[R t]は、ベッド座標系における撮影装置102の位置、角度に対応する。Mは、ベッド座標系における任意の位置として指定することができる。監視装置101は、例えば、ベッド座標系における被監視者Xの頭部位置Pを位置Mと置くことで、画像座標系における被監視者Xの頭部位置Pを算出することができる。
なお、上記式(1)のパラメータAおよび行列[R t]については、例えば、下記参考文献の「3 SOLVING CAMERA CALIBRATION」に記載の算出方法によって求めることができる。
“A Flexible New Technique for Camera Calibration”.IEEE Transactions on Pattern Analysis and Machine Intelligence,22(11):1330−1334,2000.
以下、起床ラインL1の間隔Nの算出例について具体的に説明する。
図19(a)に示すように、ベッド120上に被監視者Xの頭部の位置を仮定し、頭部の端(顎側)の位置をPh Bedとする。また、Ph Bedの位置からベッド座標系でY方向(プラス)にL[mm]の位置にあるX軸と平行な直線と、ベッド120の両端との交点をそれぞれP1 Bed,P2 Bedとする.
図19(b)に示すように、監視装置101は、上記式(1)を用いて、ベッド座標系における位置Ph Bed,P1 Bed,P2 Bedそれぞれについて、画像座標系における位置Ph Im,P1 Im,P2 Imをそれぞれ計算する。
図19(c)に示すように、監視装置101は、位置P1 Im,P2 Imから、画像F上の中点Pm12 Imを計算する。そして、監視装置101は、下記式(2)を用いて、中点Pm12 Imと位置Ph ImとのY座標の差分を、起床ラインL1の間隔Nとして算出する。なお、absは絶対値である。
N=abs(Pm12,y Im−Ph,y Im) ・・・(2)
これにより、被監視者Xの頭部位置P(位置Ph Im)から、被監視者Xの起き上がり方向にL[mm]離れた画像F上の位置Pm12 Imに起床ラインL1を設定するための間隔Nを算出することができる。
(監視装置101の各種処理手順)
つぎに、実施の形態1にかかる監視装置101の各種処理手順について説明する。ここでは、まず、監視装置101の事前処理手順について説明する。事前処理は、監視装置101の運用開始前に実行される処理である。
つぎに、実施の形態1にかかる監視装置101の各種処理手順について説明する。ここでは、まず、監視装置101の事前処理手順について説明する。事前処理は、監視装置101の運用開始前に実行される処理である。
<監視装置101の事前処理手順>
図20は、実施の形態1にかかる監視装置101の事前処理手順の一例を示すフローチャートである。図20のフローチャートにおいて、まず、監視装置101は、ポジティブ画像データ701(図7参照)とネガティブ画像データ702(図7参照)に基づいて、被監視者Xの頭部検出用の学習データD1を生成する(ステップS2001)。
図20は、実施の形態1にかかる監視装置101の事前処理手順の一例を示すフローチャートである。図20のフローチャートにおいて、まず、監視装置101は、ポジティブ画像データ701(図7参照)とネガティブ画像データ702(図7参照)に基づいて、被監視者Xの頭部検出用の学習データD1を生成する(ステップS2001)。
つぎに、監視装置101は、ポジティブ画像データ801(図8参照)とネガティブ画像データ802(図8参照)に基づいて、被監視者Xの就床状態認識用の学習データD2を生成する(ステップS2002)。
つぎに、監視装置101は、監視者などによって指定される角度θに対応する起床ラインL1の間隔Nを算出する(ステップS2003)。この際、監視装置101は、図16に示したように、起床ラインL1の位置が、被監視者Xの頭部下端(頭部位置P)から、最大で10[cm]程度になるように、間隔Nを制限することにしてもよい。
そして、監視装置101は、撮影装置102によって撮影される画像F上に設定される起床ラインL1の初期位置を設定して(ステップS2004)、本フローチャートによる一連の処理を終了する。これにより、被監視者Xの起床行動を検出するための事前準備を行うことができる。
<監視装置101の監視処理手順>
つぎに、監視装置101の監視処理手順について説明する。監視処理は、例えば、撮影装置102によって撮影された1フレーム分の画像Fが取得されると、その都度実行される。
つぎに、監視装置101の監視処理手順について説明する。監視処理は、例えば、撮影装置102によって撮影された1フレーム分の画像Fが取得されると、その都度実行される。
図21は、実施の形態1にかかる監視装置101の監視処理手順の一例を示すフローチャートである。図21のフローチャートにおいて、まず、監視装置101は、撮影装置102によって撮影された画像Fを取得したか否かを判断する(ステップS2101)。ここで、監視装置101は、画像Fを取得するのを待つ(ステップS2101:No)。
監視装置101は、画像Fを取得した場合(ステップS2101:Yes)、被監視者Xの頭部検出用の学習データD1に基づいて、取得した画像Fから被監視者Xの頭部位置Pを検出する(ステップS2102)。そして、監視装置101は、画像Fから被監視者Xの頭部位置Pが検出されたか否かを判断する(ステップS2103)。
ここで、被監視者Xの頭部位置Pが検出されなかった場合(ステップS2103:No)、監視装置101は、本フローチャートによる一連の処理を終了する。
一方、被監視者Xの頭部位置Pが検出された場合(ステップS2103:Yes)、監視装置101は、取得した画像Fから抽出した頭部画像と、被監視者Xの就床状態認識用の学習データD2とに基づいて、被監視者Xの就床状態を判定する(ステップS2104)。
そして、監視装置101は、起床ラインL1を更新する起床ライン更新処理を実行する(ステップS2105)。なお、起床ライン更新処理の具体的な処理手順については、図22を用いて後述する。
つぎに、監視装置101は、被監視者Xの起床行動を検出する起床行動検出処理を実行する(ステップS2106)。なお、起床行動検出処理の具体的な処理手順については、図23を用いて後述する。
そして、監視装置101は、被監視者Xの起床行動が検出されたか否かを判断する(ステップS2107)。ここで、被監視者Xの起床行動が検出されなかった場合には(ステップS2107:No)、監視装置101は、本フローチャートによる一連の処理を終了する。
一方、被監視者Xの起床行動が検出された場合(ステップS2107:Yes)、監視装置101は、被監視者Xの起床行動が検出されたことを示す報知情報を報知装置103に出力して(ステップS2108)、本フローチャートによる一連の処理を終了する。これにより、被監視者Xの起床行動を検出して、監視者などに対して被監視者Xの起床行動を報知することができる。
<起床ライン更新処理手順>
つぎに、図21に示したステップS2105の起床ライン更新処理の具体的な処理手順について説明する。
つぎに、図21に示したステップS2105の起床ライン更新処理の具体的な処理手順について説明する。
図22は、起床ライン更新処理の具体的処理手順の一例を示すフローチャートである。図22のフローチャートにおいて、まず、監視装置101は、ステップS2102において検出された被監視者Xの頭部位置Pが、画像F上に設定された起床ラインL1を越えているか否かを判定する(ステップS2201)。
なお、起床ラインL1は、図21に示したステップS2101において画像Fが取得される度に、画像F上の初期位置、または、後述するステップS2204において変更された変更後の位置に設定される。起床ラインL1の初期位置は、例えば、被監視者Xの頭部位置Pの初期位置から起き上がり方向に間隔N分離れた画像F上の位置である。間隔Nは、監視者などによって指定される角度θに対応する間隔である。すなわち、起床ラインL1は、初期段階では画像F上の初期位置に設定され、後述するステップS2204において変更される度に画像F上での位置が変化していく。また、起床ラインL1の位置は、例えば、被監視者Xの起床行動が検出されると初期化されて初期位置に戻る。
ここで、起床ラインL1を越えていない場合(ステップS2201:No)、監視装置101は、本フローチャートによる一連の処理を終了して、起床ライン更新処理を呼び出したステップに戻る。
一方、起床ラインL1を越えている場合(ステップS2201:Yes)、監視装置101は、図21に示したステップS2104において被監視者Xが寝ている状態であると判定されたか否かを判断する(ステップS2202)。
ここで、被監視者Xが寝ていない状態である場合(ステップS2202:No)、監視装置101は、本フローチャートによる一連の処理を終了して、起床ライン更新処理を呼び出したステップに戻る。
一方、被監視者Xが寝ている状態である場合(ステップS2202:Yes)、監視装置101は、被監視者Xの頭部位置Pがnフレーム間継続して動いていないか否かを判断する(ステップS2203)。
ここで、被監視者Xの頭部位置Pが動いていると判断した場合(ステップS2203:No)、監視装置101は、本フローチャートによる一連の処理を終了して、起床ライン更新処理を呼び出したステップに戻る。
一方、被監視者Xの頭部位置Pがnフレーム間継続して動いていないと判断した場合(ステップS2203:Yes)、監視装置101は、画像F上の起床ラインL1の位置を変更して(ステップS2204)、起床ライン更新処理を呼び出したステップに戻る。具体的には、例えば、監視装置101は、ステップS2102において検出された被監視者Xの頭部位置Pから起き上がり方向に間隔N分離れた画像F上の位置に、起床ラインL1の位置を変更する。
これにより、被監視者Xの頭部位置Pが起床ラインL1を越えている場合に、被監視者Xが寝ている状態であり、かつ、被監視者Xの頭部位置Pが一定期間継続して動いていないことに応じて、起床ラインL1を更新することができる。
<起床行動検出処理手順>
つぎに、図21に示したステップS2106の起床行動検出処理の具体的な処理手順について説明する。
つぎに、図21に示したステップS2106の起床行動検出処理の具体的な処理手順について説明する。
図23は、起床行動検出処理の具体的処理手順の一例を示すフローチャートである。図23のフローチャートにおいて、まず、監視装置101は、ステップS2102において検出された被監視者Xの頭部位置Pが、画像F上に設定された起床ラインL1を越えたか否かを判定する(ステップS2301)。
ここで、被監視者Xの頭部位置Pが起床ラインL1を越えていない場合(ステップS2301:No)、監視装置101は、本フローチャートによる一連の処理を終了して、起床行動検出処理を呼び出したステップに戻る。
一方、被監視者Xの頭部位置Pが起床ラインL1を越えた場合(ステップS2301:Yes)、監視装置101は、被監視者Xの起床行動を前回検出してから、1回以上被監視者Xが寝ている状態であると判定したか否かを判断する(ステップS2302)。
ここで、1回以上被監視者Xが寝ている状態であると判定していない場合(ステップS2302:No)、監視装置101は、本フローチャートによる一連の処理を終了して、起床行動検出処理を呼び出したステップに戻る。
一方、1回以上被監視者Xが寝ている状態であると判定した場合(ステップS2302:Yes)、監視装置101は、図21に示したステップS2104において被監視者Xが寝ている状態であると判定されたか否かを判断する(ステップS2303)。
ここで、被監視者Xが寝ている状態の場合(ステップS2303:Yes)、監視装置101は、本フローチャートによる一連の処理を終了して、起床行動検出処理を呼び出したステップに戻る。
一方、被監視者Xが寝ていない状態の場合には(ステップS2303:No)、被監視者Xの起床行動を検出して(ステップS2304)、起床行動検出処理を呼び出したステップに戻る。これにより、被監視者Xの頭部位置Pが起床ラインL1を越え、かつ、被監視者Xが寝ていない状態であることに応じて、被監視者Xの起床行動を検出することができる。
以上説明したように、実施の形態1にかかる監視装置101によれば、撮影装置102によって撮影された画像Fから検出した被監視者Xの頭部位置Pが、画像F上に設定された起床ラインL1を越えているか否かを判定することができる。これにより、起床ラインL1の更新を行うか否かを判断する契機を検出することができる。
また、監視装置101によれば、画像Fに基づいて、被監視者Xの特徴を抽出することで、被監視者Xの就床状態を判定することができる。具体的には、例えば、監視装置101は、画像Fから抽出した頭部画像と、被監視者Xの就床状態認識用の学習データD2とに基づいて、被監視者Xが寝ている状態であるか否かを判定することができる。これにより、画像F上に写る被監視者Xの見え方が寝ている状態であるか否かを判定することができる。
また、監視装置101によれば、撮影装置102によって撮影された一連の画像Fに基づいて、被監視者Xの頭部位置Pの時系列変化を判断することができる。具体的には、例えば、監視装置101は、被監視者Xの頭部位置Pが、一定期間継続して動いていないか否かを判断することができる。これにより、被監視者Xが起床行動や寝返りなどの何らかの行動中であるか否かを判断することができる。
また、監視装置101によれば、画像Fから検出した被監視者Xの頭部位置Pが起床ラインL1を越えている場合に、画像Fに基づき判定した被監視者Xの就床状態と、被監視者Xの頭部位置Pの時系列変化とに基づいて、画像F上の起床ラインL1の位置を変更することができる。具体的には、例えば、監視装置101は、被監視者Xが寝ている状態であると判定し、かつ、被監視者Xの頭部位置Pが一定期間継続して動いていないと判断した場合に、検出した被監視者Xの頭部位置Pを基準に、画像F上の起床ラインL1の位置を変更することができる。
これにより、画像F上に写る被監視者Xの見え方が寝ている状態であり、かつ、被監視者Xが一定期間静止している場合に、起床ラインL1を更新することができる。このため、起床行動や寝返りなどの何らかの行動中に起床ラインL1が更新されることを防ぐことができる。例えば、被監視者Xの見え方が寝ている状態であると判定されても、被監視者Xが一定期間静止していなければ、起床ラインL1が更新されないため、起床行動の初期段階などに起床ラインL1が更新されることを防ぐことができる。
また、監視装置101によれば、検出した被監視者Xの頭部位置Pから、被監視者Xの起き上がり方向に、予め規定された間隔N分離れた画像F上の位置に、起床ラインL1の位置を変更することができる。これにより、被監視者Xの頭部位置Pが起床ラインL1を越えない程度に、被監視者Xが足方向に動くことにより発生する、被監視者Xの起床行動の検出タイミングの誤差を一定範囲内に抑えることができる。
また、監視装置101によれば、検出した被監視者Xの頭部位置Pが画像F上の起床ラインL1を越え、かつ、被監視者Xが寝ていない状態であると判定したことに応じて、被監視者Xの起床行動を検出することができる。また、監視装置101によれば、被監視者Xの起床行動を検出したことを示す報知情報を出力することができる。これにより、被監視者Xが完全に起き上がる前に、看護師、介護士、家族などの監視者に対して、被監視者Xの起床行動を報知することができる。
また、監視装置101によれば、被監視者Xの起床行動を前回検出してから、被監視者Xが寝ている状態であると1回以上判定した場合に、検出した被監視者Xの頭部位置Pが画像F上の起床ラインL1を越え、かつ、被監視者Xが寝ていない状態であると判定したことに応じて、被監視者Xの起床行動を検出することができる。これにより、被監視者Xが起きている状態で被監視者Xの頭部位置Pが起床ラインL1を越えた場合の誤検出を防ぐことができる。
これらのことから、実施の形態1にかかる監視装置101によれば、ケガや加齢で半身不随または筋力が弱っているような被監視者Xが休みながら起床する場合であっても、被監視者Xの起床行動を適切に検出することができる。これにより、監視者に対して被監視者Xの起床行動を報知する報知タイミングの遅れや報知漏れを防ぐことができ、被監視者Xの転倒などの重大な事故を未然に防ぐことができるようになる。
(実施の形態2)
つぎに、実施の形態2にかかる監視装置101について説明する。なお、実施の形態1で説明した箇所と同様の箇所については、同一符号を付して図示および説明を省略する。
つぎに、実施の形態2にかかる監視装置101について説明する。なお、実施の形態1で説明した箇所と同様の箇所については、同一符号を付して図示および説明を省略する。
実施の形態1では、被監視者Xが寝返りなどによって画像F上の下方向(頭方向)に動いた場合には、画像F上に設定される起床ラインL1が更新されないため、被監視者Xの起床行動の検出タイミングの遅れや検出漏れを招く場合がある。
そこで、実施の形態2では、画像F上の被監視者Xの頭部位置Pから見て、被監視者Xの起き上がり方向とは反対方向に補助ラインL2を設け、被監視者Xの頭部位置Pが補助ラインL2を越えた場合にも、起床ラインL1および補助ラインL2を更新する監視方法について説明する。
(監視装置101の機能的構成例)
まず、実施の形態2にかかる監視装置101の機能的構成例について説明する。ただし、実施の形態2にかかる監視装置101の機能的構成例は、実施の形態1にかかる監視装置101の機能的構成例(図11参照)と同様である。このため、実施の形態2にかかる監視装置101の機能部のうち、実施の形態1にかかる監視装置101と処理内容が異なる機能部について説明する。
まず、実施の形態2にかかる監視装置101の機能的構成例について説明する。ただし、実施の形態2にかかる監視装置101の機能的構成例は、実施の形態1にかかる監視装置101の機能的構成例(図11参照)と同様である。このため、実施の形態2にかかる監視装置101の機能部のうち、実施の形態1にかかる監視装置101と処理内容が異なる機能部について説明する。
設定/変更部1103は、画像F上に起床ラインL1および補助ラインL2を設定する。ここで、補助ラインL2は、例えば、被監視者Xの起き上がり方向と反対方向に、当該反対方向と略直交するように画像F上に設定される。
具体的には、例えば、設定/変更部1103は、被監視者Xの頭部位置Pの初期位置から、被監視者Xの起き上がり方向と反対方向に、間隔M分離れた画像F上の位置に、補助ラインL2を設定する。間隔Mは、例えば、予め設定されて、メモリ602、ディスク605などの記憶装置に記憶されている。
なお、補助ラインL1を設定・変更する際に基準となる被監視者Xの頭部位置Pは、被監視者Xの頭頂部の位置(例えば、頭部画像の下端)となる。このため、以下の説明では、被監視者Xの頭頂部の位置を「被監視者Xの頭部位置P(頭頂部)」と表記する場合がある。
ここで、図24を用いて、補助ラインL2の設定例について説明する。
図24は、補助ラインL2の設定例を示す説明図である。図24において、画像2400は、ベッド120上で寝ている被監視者Xを撮影した画像である。画像2400において、被監視者Xの頭部位置P(頭頂部)は、被監視者Xの頭部画像2401の下端を示している。
また、画像2400において、被監視者Xの頭部位置P(頭頂部)は、ベッド120上で寝ている被監視者Xの頭部上端の標準的な座標位置、すなわち、頭部位置P(頭頂部)の初期位置にある場合を想定する。この場合、設定/変更部1103は、被監視者Xの頭部位置P(頭頂部)の初期位置から、被監視者Xの起き上がり方向とは反対方向に、間隔M(単位:ピクセル)分離れた画像2400上の位置に補助ラインL2を設定する。
ライン判定部1104は、被監視者Xの頭部位置P(頭頂部)が画像F上に設定された補助ラインL2を越えているか否かを判定する。具体的には、例えば、ライン判定部1104は、画像Fにおいて、補助ラインL2が被監視者Xの頭部位置P(頭頂部)よりも被監視者Xの足下側にある場合に、頭部位置P(頭頂部)が補助ラインL2を越えていると判定することにしてもよい。
より具体的には、例えば、ライン判定部1104は、履歴情報テーブル1300を参照して、現フレームの頭部位置P(頭頂部)と直前フレームの頭部位置P(頭頂部)とに基づいて、頭部位置P(頭頂部)が補助ラインL2を跨いだか否かを判断する。そして、ライン判定部1104は、頭部位置P(頭頂部)が補助ラインL2を跨いだ場合に、頭部位置P(頭頂部)が補助ラインL2を越えたと判定する。
設定/変更部1103は、被監視者Xの頭部位置P(頭頂部)が画像F上に設定された補助ラインL2を越えたことに応じて、画像F上の起床ラインL1および補助ラインL2の位置を変更する。設定/変更部1103は、例えば、検出された被監視者の頭部位置P(例えば、頭部画像2401の下端)から、起き上がり方向と反対方向に、間隔M分離れた画像F上の位置に、補助ラインL2の位置を変更する。
なお、起床ラインL1の位置を変更する具体的な処理内容は、実施の形態1説明した処理内容と同様のため説明を省略する。
また、設定/変更部1103は、状態判定部1105によって判定された判定結果と、被監視者Xの頭部位置Pの時系列変化とに基づいて、画像F上の起床ラインL1および補助ラインL2の位置を変更する。具体的には、例えば、設定/変更部1103は、被監視者Xが寝ている状態であると判定され、かつ、被監視者Xの頭部位置Pが一定期間継続して動いていないと判断した場合に、画像F上の起床ラインL1および補助ラインL2の位置を変更する。
(補助ラインL2の制限例)
つぎに、画像F上に設定される補助ラインL2の制限例について説明する。
つぎに、画像F上に設定される補助ラインL2の制限例について説明する。
図25は、補助ラインL2の制限例を示す説明図である。ここで、被監視者Xがベッド120で寝ている際に、被監視者Xの頭部位置P(頭頂部)が補助ラインL2を越えない程度に、被監視者Xが頭部方向(画像F上の下方向)に動く場合がある。この場合、補助ラインL2の位置が更新されず、被監視者Xの起床行動の検出タイミングに誤差が生じてしまう。
このため、図25に示すように、補助ラインL2の位置を、被監視者Xの頭部上端(頭部位置P)から、例えば、最大で10[cm]程度になるように、間隔Mを制限することにしてもよい。例えば、画像Fにおいて、実際の10[cm]に対応するピクセル数が25[ピクセル]であったとする。この場合、設定/変更部1103は、間隔Mを25[ピクセル]以下に制限する。
これにより、被監視者Xの頭部位置P(頭頂部)が補助ラインL2を越えない程度に、被監視者Xが頭部方向に動くことにより発生する、被監視者Xの起床行動の検出タイミングの誤差を一定範囲内に抑えることができる。例えば、図25の例では、補助ラインL2の位置を、初期設定時の位置に対して最大10[cm]の誤差に抑えることができる。
(補助ラインL2の間隔Mの算出例)
つぎに、補助ラインL2の間隔Mの算出例について説明する。
つぎに、補助ラインL2の間隔Mの算出例について説明する。
図26は、補助ラインL2の間隔Mの算出例を示す説明図である。図26(a)に示すように、ベッド120上に被監視者Xの頭部の位置を仮定し、頭部の端(頭頂部側)の位置をPh Bedとする。また、Ph Bedの位置からベッド座標系でY方向(マイナス)にL[mm]の位置にあるX軸と平行な直線と、ベッド120の両端との交点をそれぞれP1 Bed,P2 Bedとする。
図26(b)に示すように、監視装置101は、上記式(1)を用いて、ベッド座標系における位置Ph Bed,P1 Bed,P2 Bedそれぞれについて、画像座標系における位置Ph Im,P1 Im,P2 Imをそれぞれ計算する。
図26(c)に示すように、監視装置101は、位置P1 Im,P2 Imから、画像F上の中点Pm12 Imを計算する。そして、監視装置101は、上記式(2)を用いて、中点Pm12 Imと位置Ph ImとのY座標の差分を、補助ラインL2の間隔Mとして算出する。
これにより、被監視者Xの頭部位置P(位置Ph Im)から、被監視者Xの起き上がり方向と反対方向にL[mm]離れた画像F上の位置Pm12 Imに補助ラインL2を設定するための間隔Mを算出することができる。
(監視装置101の各種処理手順)
つぎに、実施の形態2にかかる監視装置101の各種処理手順について説明する。ここでは、まず、監視装置101の事前処理手順について説明する。事前処理は、監視装置101の運用開始前に実行される処理である。
つぎに、実施の形態2にかかる監視装置101の各種処理手順について説明する。ここでは、まず、監視装置101の事前処理手順について説明する。事前処理は、監視装置101の運用開始前に実行される処理である。
<監視装置101の事前処理手順>
図27は、実施の形態2にかかる監視装置101の事前処理手順の一例を示すフローチャートである。図27のフローチャートにおいて、まず、監視装置101は、ポジティブ画像データ701(図7参照)とネガティブ画像データ702(図7参照)に基づいて、被監視者Xの頭部検出用の学習データD1を生成する(ステップS2701)。
図27は、実施の形態2にかかる監視装置101の事前処理手順の一例を示すフローチャートである。図27のフローチャートにおいて、まず、監視装置101は、ポジティブ画像データ701(図7参照)とネガティブ画像データ702(図7参照)に基づいて、被監視者Xの頭部検出用の学習データD1を生成する(ステップS2701)。
つぎに、監視装置101は、ポジティブ画像データ801(図8参照)とネガティブ画像データ802(図8参照)に基づいて、被監視者Xの就床状態認識用の学習データD2を生成する(ステップS2702)。
つぎに、監視装置101は、監視者などによって指定される角度θに対応する起床ラインL1の間隔Nを算出する(ステップS2703)。そして、監視装置101は、撮影装置102によって撮影される画像F上に設定される起床ラインL1の初期位置を設定する(ステップS2704)。
つぎに、監視装置101は、補助ラインL2の間隔Mを算出する(ステップS2705)。この際、監視装置101は、図25に示したように、補助ラインL2の位置が、被監視者Xの頭部上端(頭部位置P)から、最大で10[cm]程度になるように、間隔Mを制限することにしてもよい。
そして、監視装置101は、撮影装置102によって撮影される画像F上に設定される補助ラインL2の初期位置を設定して(ステップS2706)、本フローチャートによる一連の処理を終了する。これにより、被監視者Xの起床行動を検出するための事前準備を行うことができる。
<監視装置101の監視処理手順>
つぎに、監視装置101の監視処理手順について説明する。監視処理は、例えば、撮影装置102によって撮影された1フレーム分の画像Fが取得されると、その都度実行される。
つぎに、監視装置101の監視処理手順について説明する。監視処理は、例えば、撮影装置102によって撮影された1フレーム分の画像Fが取得されると、その都度実行される。
図28は、実施の形態2にかかる監視装置101の監視処理手順の一例を示すフローチャートである。図28のフローチャートにおいて、まず、監視装置101は、撮影装置102によって撮影された画像Fを取得したか否かを判断する(ステップS2801)。ここで、監視装置101は、画像Fを取得するのを待つ(ステップS2801:No)。
監視装置101は、画像Fを取得した場合(ステップS2801:Yes)、被監視者Xの頭部検出用の学習データD1に基づいて、取得した画像Fから被監視者Xの頭部位置Pを検出する(ステップS2802)。そして、監視装置101は、画像Fから被監視者Xの頭部位置Pが検出されたか否かを判断する(ステップS2803)。
ここで、被監視者Xの頭部位置Pが検出されなかった場合(ステップS2803:No)、監視装置101は、本フローチャートによる一連の処理を終了する。
一方、被監視者Xの頭部位置Pが検出された場合(ステップS2803:Yes)、監視装置101は、取得した画像Fから抽出した頭部画像と、被監視者Xの就床状態認識用の学習データD2とに基づいて、被監視者Xの就床状態を判定する(ステップS2804)。
そして、監視装置101は、起床ラインL1および補助ラインL2を更新する起床ライン・補助ライン更新処理を実行する(ステップS2805)。なお、起床ライン・補助ライン更新処理の具体的な処理手順については、図29を用いて後述する。
つぎに、監視装置101は、被監視者Xの起床行動を検出する起床行動検出処理を実行する(ステップS2806)。なお、起床行動検出処理の具体的な処理手順については、図23に示した起床行動検出処理の具体的な処理手順と同様のため説明を省略する。
そして、監視装置101は、被監視者Xの起床行動が検出されたか否かを判断する(ステップS2807)。ここで、被監視者Xの起床行動が検出されなかった場合には(ステップS2807:No)、監視装置101は、本フローチャートによる一連の処理を終了する。
一方、被監視者Xの起床行動が検出された場合(ステップS2807:Yes)、監視装置101は、被監視者Xの起床行動が検出されたことを示す報知情報を報知装置103に出力して(ステップS2808)、本フローチャートによる一連の処理を終了する。これにより、被監視者Xの起床行動を検出して、監視者などに対して被監視者Xの起床行動を報知することができる。
<起床ライン・補助ライン更新処理手順>
つぎに、図28に示したステップS2805の起床ライン・補助ライン更新処理の具体的な処理手順について説明する。
つぎに、図28に示したステップS2805の起床ライン・補助ライン更新処理の具体的な処理手順について説明する。
図29は、起床ライン・補助ライン更新処理の具体的処理手順の一例を示すフローチャートである。図29のフローチャートにおいて、まず、監視装置101は、ステップS2802において検出された被監視者Xの頭部位置Pが、画像F上に設定された起床ラインL1を越えているか否かを判定する(ステップS2901)。
なお、起床ラインL1は、画像F上の初期位置、または、後述するステップS2904において変更された変更後の位置に設定されている。
ここで、起床ラインL1を越えている場合(ステップS2901:Yes)、監視装置101は、図28に示したステップS2804において被監視者Xが寝ている状態であると判定されたか否かを判断する(ステップS2902)。
ここで、被監視者Xが寝ていない状態である場合(ステップS2902:No)、監視装置101は、本フローチャートによる一連の処理を終了して、起床ライン・補助ライン更新処理を呼び出したステップに戻る。
一方、被監視者Xが寝ている状態である場合(ステップS2902:Yes)、監視装置101は、被監視者Xの頭部位置Pがnフレーム間継続して動いていないか否かを判断する(ステップS2903)。
ここで、被監視者Xの頭部位置Pが動いていると判断した場合(ステップS2903:No)、監視装置101は、本フローチャートによる一連の処理を終了して、起床ライン・補助ライン更新処理を呼び出したステップに戻る。
一方、被監視者Xの頭部位置Pがnフレーム間継続して動いていないと判断した場合(ステップS2903:Yes)、監視装置101は、画像F上の起床ラインL1の位置を変更する(ステップS2904)。
そして、監視装置101は、画像F上の補助ラインL2の位置を変更して(ステップS2905)、起床ライン・補助ライン更新処理を呼び出したステップに戻る。具体的には、例えば、監視装置101は、ステップS2802において検出された被監視者の頭部位置Pから起き上がり方向と反対方向に間隔M分離れた画像F上の位置に、補助ラインL2の位置を変更する。
また、ステップS2901において、起床ラインL1を越えていない場合(ステップS2901:No)、監視装置101は、ステップS2802において検出された被監視者Xの頭部位置Pが、画像F上に設定された補助ラインL2を越えたか否かを判定する(ステップS2906)。
なお、補助ラインL2は、画像F上の初期位置、または、ステップS2905において変更された変更後の位置に設定されている。補助ラインL2の初期位置は、例えば、被監視者Xの頭部位置P(頭頂部)の初期位置から起き上がり方向と反対方向に間隔M分離れた画像F上の位置である。
ここで、補助ラインL2を越えた場合(ステップS2906:Yes)、監視装置101は、ステップS2904に移行する。一方、補助ラインL2を越えていない場合(ステップS2906:No)、監視装置101は、本フローチャートによる一連の処理を終了して、起床ライン・補助ライン更新処理を呼び出したステップに戻る。
これにより、被監視者Xの頭部位置Pが起床ラインL1を越えている場合に、被監視者Xが寝ている状態であり、かつ、被監視者Xの頭部位置Pが一定期間継続して動いていないことに応じて、起床ラインL1および補助ラインL2を更新することができる。また、被監視者Xの頭部位置Pが補助ラインL2を越えた場合に、起床ラインL1および補助ラインL2を更新することができる。
以上説明したように、実施の形態2にかかる監視装置101によれば、被監視者Xの頭部位置Pが画像F上の補助ラインL2を越えたことに応じて、被監視者Xの頭部位置Pを基準に、画像F上の起床ラインL1の位置と補助ラインL2の位置を変更することができる。これにより、被監視者Xが寝返りなどによって画像F上の下方向(頭方向)に動いた場合であっても、起床ラインL1および補助ラインL2を適切な位置に更新することでき、被監視者Xの起床行動の検出タイミングの遅れや検出漏れを防ぐことができる。
また、監視装置101によれば、検出した被監視者Xの頭部位置Pから、被監視者Xの起き上がり方向と反対方向に、予め規定された間隔M分離れた画像F上の位置に、補助ラインL2の位置を変更することができる。これにより、被監視者Xの頭部位置P(頭頂部)が補助ラインL2を越えない程度に、被監視者Xが頭部方向に動くことにより発生する、被監視者Xの起床行動の検出タイミングの誤差を一定範囲内に抑えることができる。
なお、本実施の形態で説明した監視方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本監視プログラムは、ハードディスク、フレキシブルディスク、CD−ROM、MO、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、本監視プログラムは、インターネット等のネットワークを介して配布してもよい。
上述した実施の形態に関し、さらに以下の付記を開示する。
(付記1)コンピュータが、
被監視者を撮影した一連の画像のいずれかの画像から検出した前記被監視者の頭部位置が、前記画像上に設定され前記被監視者の起床行動の検出に用いられる起床ラインを越えている場合に、前記画像に基づき判定した前記被監視者の就床状態と、前記被監視者の頭部位置の時系列変化とに基づいて、前記画像上の前記起床ラインの位置を変更する、
処理を実行することを特徴とする監視方法。
被監視者を撮影した一連の画像のいずれかの画像から検出した前記被監視者の頭部位置が、前記画像上に設定され前記被監視者の起床行動の検出に用いられる起床ラインを越えている場合に、前記画像に基づき判定した前記被監視者の就床状態と、前記被監視者の頭部位置の時系列変化とに基づいて、前記画像上の前記起床ラインの位置を変更する、
処理を実行することを特徴とする監視方法。
(付記2)前記変更する処理は、
前記被監視者が寝ている状態であると判定し、かつ、前記被監視者の頭部位置が一定期間継続して動いていないと判断した場合に、検出した前記被監視者の頭部位置を基準に、前記画像上の前記起床ラインの位置を変更することを特徴とする付記1に記載の監視方法。
前記被監視者が寝ている状態であると判定し、かつ、前記被監視者の頭部位置が一定期間継続して動いていないと判断した場合に、検出した前記被監視者の頭部位置を基準に、前記画像上の前記起床ラインの位置を変更することを特徴とする付記1に記載の監視方法。
(付記3)前記変更する処理は、
検出した前記被監視者の頭部位置から、前記被監視者が起き上がる際に前記被監視者の頭部位置が移動する方向に、予め規定された間隔分離れた前記画像上の位置に、前記起床ラインの位置を変更することを特徴とする付記2に記載の監視方法。
検出した前記被監視者の頭部位置から、前記被監視者が起き上がる際に前記被監視者の頭部位置が移動する方向に、予め規定された間隔分離れた前記画像上の位置に、前記起床ラインの位置を変更することを特徴とする付記2に記載の監視方法。
(付記4)前記コンピュータが、
前記被監視者が起き上がる際に前記被監視者の頭部位置が移動する方向と反対方向に設定される前記画像上の補助ラインを、検出した前記被監視者の頭部位置が越えたことに応じて、当該頭部位置を基準に、前記画像上の前記起床ラインの位置と前記補助ラインの位置とを変更する、処理を実行することを特徴とする付記1〜3のいずれか一つに記載の監視方法。
前記被監視者が起き上がる際に前記被監視者の頭部位置が移動する方向と反対方向に設定される前記画像上の補助ラインを、検出した前記被監視者の頭部位置が越えたことに応じて、当該頭部位置を基準に、前記画像上の前記起床ラインの位置と前記補助ラインの位置とを変更する、処理を実行することを特徴とする付記1〜3のいずれか一つに記載の監視方法。
(付記5)前記変更する処理は、
検出した前記被監視者の頭部位置から前記反対方向に予め規定された間隔分離れた前記画像上の位置に、前記補助ラインの位置を変更することを特徴とする付記4に記載の監視方法。
検出した前記被監視者の頭部位置から前記反対方向に予め規定された間隔分離れた前記画像上の位置に、前記補助ラインの位置を変更することを特徴とする付記4に記載の監視方法。
(付記6)前記コンピュータが、
検出した前記被監視者の頭部位置が前記画像上の前記起床ラインを越え、かつ、前記被監視者が寝ていない状態であると判定したことに応じて、前記被監視者の起床行動を検出し、
前記被監視者の起床行動を検出したことを示す報知情報を出力する、
処理を実行することを特徴とする付記1〜5のいずれか一つに記載の監視方法。
検出した前記被監視者の頭部位置が前記画像上の前記起床ラインを越え、かつ、前記被監視者が寝ていない状態であると判定したことに応じて、前記被監視者の起床行動を検出し、
前記被監視者の起床行動を検出したことを示す報知情報を出力する、
処理を実行することを特徴とする付記1〜5のいずれか一つに記載の監視方法。
(付記7)前記検出する処理は、
前記被監視者の起床行動を前回検出してから、前記被監視者が寝ている状態であると1回以上判定した場合に、検出した前記被監視者の頭部位置が前記画像上の前記起床ラインを越え、かつ、前記被監視者が寝ていない状態であると判定したことに応じて、前記被監視者の起床行動を検出することを特徴とする付記6に記載の監視方法。
前記被監視者の起床行動を前回検出してから、前記被監視者が寝ている状態であると1回以上判定した場合に、検出した前記被監視者の頭部位置が前記画像上の前記起床ラインを越え、かつ、前記被監視者が寝ていない状態であると判定したことに応じて、前記被監視者の起床行動を検出することを特徴とする付記6に記載の監視方法。
(付記8)前記コンピュータが、
前記画像から抽出した前記被監視者の頭部の特徴が、予め記憶された前記被監視者が寝ている状態の頭部の特徴と類似する場合に、前記被監視者が寝ている状態であると判定する、処理を実行することを特徴とする付記1〜7のいずれか一つに記載の監視方法。
前記画像から抽出した前記被監視者の頭部の特徴が、予め記憶された前記被監視者が寝ている状態の頭部の特徴と類似する場合に、前記被監視者が寝ている状態であると判定する、処理を実行することを特徴とする付記1〜7のいずれか一つに記載の監視方法。
(付記9)被監視者を撮影した一連の画像のいずれかの画像から検出した前記被監視者の頭部位置が、前記画像上に設定され前記被監視者の起床行動の検出に用いられる起床ラインを越えている場合に、前記画像に基づき判定した前記被監視者の就床状態と、前記被監視者の頭部位置の時系列変化とに基づいて、前記画像上の前記起床ラインの位置を変更する、
制御部を有することを特徴とする監視装置。
制御部を有することを特徴とする監視装置。
(付記10)コンピュータに、
被監視者を撮影した一連の画像のいずれかの画像から検出した前記被監視者の頭部位置が、前記画像上に設定され前記被監視者の起床行動の検出に用いられる起床ラインを越えている場合に、前記画像に基づき判定した前記被監視者の就床状態と、前記被監視者の頭部位置の時系列変化とに基づいて、前記画像上の前記起床ラインの位置を変更する、
処理を実行させることを特徴とする監視プログラム。
被監視者を撮影した一連の画像のいずれかの画像から検出した前記被監視者の頭部位置が、前記画像上に設定され前記被監視者の起床行動の検出に用いられる起床ラインを越えている場合に、前記画像に基づき判定した前記被監視者の就床状態と、前記被監視者の頭部位置の時系列変化とに基づいて、前記画像上の前記起床ラインの位置を変更する、
処理を実行させることを特徴とする監視プログラム。
(付記11)コンピュータに、
被監視者を撮影した一連の画像のいずれかの画像から検出した前記被監視者の頭部位置が、前記画像上に設定され前記被監視者の起床行動の検出に用いられる起床ラインを越えている場合に、前記画像に基づき判定した前記被監視者の就床状態と、前記被監視者の頭部位置の時系列変化とに基づいて、前記画像上の前記起床ラインの位置を変更する、
処理を実行させる監視プログラムを記録したことを特徴とする前記コンピュータに読み取り可能な記録媒体。
被監視者を撮影した一連の画像のいずれかの画像から検出した前記被監視者の頭部位置が、前記画像上に設定され前記被監視者の起床行動の検出に用いられる起床ラインを越えている場合に、前記画像に基づき判定した前記被監視者の就床状態と、前記被監視者の頭部位置の時系列変化とに基づいて、前記画像上の前記起床ラインの位置を変更する、
処理を実行させる監視プログラムを記録したことを特徴とする前記コンピュータに読み取り可能な記録媒体。
100 監視システム
101 監視装置
102 撮影装置
103 報知装置
110 ネットワーク
120 ベッド
900 起床ライン間隔テーブル
1101 取得部
1102 頭部検出部
1103 設定/変更部
1104 ライン判定部
1105 状態判定部
1106 行動検出部
1107 出力部
1300 履歴情報テーブル
F 画像
X 被監視者
101 監視装置
102 撮影装置
103 報知装置
110 ネットワーク
120 ベッド
900 起床ライン間隔テーブル
1101 取得部
1102 頭部検出部
1103 設定/変更部
1104 ライン判定部
1105 状態判定部
1106 行動検出部
1107 出力部
1300 履歴情報テーブル
F 画像
X 被監視者
Claims (7)
- コンピュータが、
被監視者を撮影した一連の画像のいずれかの画像から検出した前記被監視者の頭部位置が、前記画像上に設定され前記被監視者の起床行動の検出に用いられる起床ラインを越えている場合に、前記画像に基づき判定した前記被監視者の就床状態と、前記被監視者の頭部位置の時系列変化とに基づいて、前記画像上の前記起床ラインの位置を変更する、
処理を実行することを特徴とする監視方法。 - 前記変更する処理は、
前記被監視者が寝ている状態であると判定し、かつ、前記被監視者の頭部位置が一定期間継続して動いていないと判断した場合に、検出した前記被監視者の頭部位置を基準に、前記画像上の前記起床ラインの位置を変更することを特徴とする請求項1に記載の監視方法。 - 前記コンピュータが、
前記被監視者が起き上がる際に前記被監視者の頭部位置が移動する方向と反対方向に設定される前記画像上の補助ラインを、検出した前記被監視者の頭部位置が越えたことに応じて、当該頭部位置を基準に、前記画像上の前記起床ラインの位置と前記補助ラインの位置とを変更する、処理を実行することを特徴とする請求項1または2に記載の監視方法。 - 前記コンピュータが、
検出した前記被監視者の頭部位置が前記画像上の前記起床ラインを越え、かつ、前記被監視者が寝ていない状態であると判定したことに応じて、前記被監視者の起床行動を検出し、
前記被監視者の起床行動を検出したことを示す報知情報を出力する、
処理を実行することを特徴とする請求項1〜3のいずれか一つに記載の監視方法。 - 前記検出する処理は、
前記被監視者の起床行動を前回検出してから、前記被監視者が寝ている状態であると1回以上判定した場合に、検出した前記被監視者の頭部位置が前記画像上の前記起床ラインを越え、かつ、前記被監視者が寝ていない状態であると判定したことに応じて、前記被監視者の起床行動を検出することを特徴とする請求項4に記載の監視方法。 - 被監視者を撮影した一連の画像のいずれかの画像から検出した前記被監視者の頭部位置が、前記画像上に設定され前記被監視者の起床行動の検出に用いられる起床ラインを越えている場合に、前記画像に基づき判定した前記被監視者の就床状態と、前記被監視者の頭部位置の時系列変化とに基づいて、前記画像上の前記起床ラインの位置を変更する、
制御部を有することを特徴とする監視装置。 - コンピュータに、
被監視者を撮影した一連の画像のいずれかの画像から検出した前記被監視者の頭部位置が、前記画像上に設定され前記被監視者の起床行動の検出に用いられる起床ラインを越えている場合に、前記画像に基づき判定した前記被監視者の就床状態と、前記被監視者の頭部位置の時系列変化とに基づいて、前記画像上の前記起床ラインの位置を変更する、
処理を実行させることを特徴とする監視プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014064893A JP6245027B2 (ja) | 2014-03-26 | 2014-03-26 | 監視方法、監視装置および監視プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014064893A JP6245027B2 (ja) | 2014-03-26 | 2014-03-26 | 監視方法、監視装置および監視プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015186532A JP2015186532A (ja) | 2015-10-29 |
JP6245027B2 true JP6245027B2 (ja) | 2017-12-13 |
Family
ID=54429188
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014064893A Active JP6245027B2 (ja) | 2014-03-26 | 2014-03-26 | 監視方法、監視装置および監視プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6245027B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018005413A (ja) * | 2016-06-29 | 2018-01-11 | 富士通株式会社 | 状況特定装置、状況特定プログラム、及び状況特定方法 |
JP2018013929A (ja) * | 2016-07-20 | 2018-01-25 | 株式会社ガイア・システム・ソリューション | 起床監視装置 |
WO2018034206A1 (ja) * | 2016-08-19 | 2018-02-22 | コニカミノルタ株式会社 | 被監視者監視システムの設定変更判定装置、及び、被監視者監視システムの設定変更判定方法 |
JP6582305B1 (ja) * | 2019-01-11 | 2019-10-02 | Tdl株式会社 | 見守りシステム、見守り方法及びプログラム。 |
CN113657189B (zh) * | 2021-07-26 | 2024-02-09 | 浙江大华技术股份有限公司 | 行为检测方法、电子装置和计算机可读存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5648840B2 (ja) * | 2009-09-17 | 2015-01-07 | 清水建設株式会社 | ベッド上及び室内の見守りシステム |
JP5682203B2 (ja) * | 2010-09-29 | 2015-03-11 | オムロンヘルスケア株式会社 | 安全看護システム、および、安全看護システムの制御方法 |
-
2014
- 2014-03-26 JP JP2014064893A patent/JP6245027B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015186532A (ja) | 2015-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6245027B2 (ja) | 監視方法、監視装置および監視プログラム | |
US20240119754A1 (en) | System and method for using a video monitoring system to prevent and manage decubitus ulcers in patients | |
US10786183B2 (en) | Monitoring assistance system, control method thereof, and program | |
JP6822328B2 (ja) | 見守り支援システム及びその制御方法 | |
WO2016151966A1 (ja) | 乳幼児監視装置、乳幼児監視方法、及び、乳幼児監視プログラム | |
WO2015118953A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
WO2019013257A1 (ja) | 見守り支援システム及びその制御方法、プログラム | |
KR102205964B1 (ko) | 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템 및 낙상 예방 방법 | |
JP7403132B2 (ja) | 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法 | |
TW201943260A (zh) | 物件監控方法及其運算裝置 | |
JP6822326B2 (ja) | 見守り支援システム及びその制御方法 | |
US10762761B2 (en) | Monitoring assistance system, control method thereof, and program | |
JP6729510B2 (ja) | 見守り支援システム及びその制御方法 | |
JP2015172889A (ja) | 検出装置、検出方法、及びプログラム | |
JP6264181B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6870514B2 (ja) | 見守り支援システム及びその制御方法 | |
EP3819864A1 (en) | Target object detection program and target object detection device | |
JP2022095994A (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
JP2008130015A (ja) | 被写体識別プログラム、および被写体識別装置 | |
JP6729512B2 (ja) | 見守り支援システム及びその制御方法 | |
JP6635074B2 (ja) | 見守り支援システム及びその制御方法 | |
JP7507524B1 (ja) | 注目行動呼びかけシステム | |
US20220054046A1 (en) | Assessing patient out-of-bed and out-of-chair activities using embedded infrared thermal cameras | |
JP6292012B2 (ja) | 見守り装置、見守り方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171017 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171030 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6245027 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |