JP6972428B2 - 滞在判定装置、滞在判定方法及び滞在判定プログラム - Google Patents

Description

この発明は、動画像データから人が一定の領域に滞在しているか否かを判定する技術に関する。

特許文献１には、動画像データから静止している人を検出する技術について記載されている。特許文献１では、検知領域の画像データと背景画像データとの差分が求められ、その差分を表す差分画像から人の輪郭又は領域に対応した画素領域（以下、人体画素領域）の抽出が試みられる。人体画素領域が抽出されれば人が存在すると判断され、人体画素領域における代表位置が求められる。そして、代表位置が所定時間に変位する距離が閾値と比較され、人の行動（滞在、静止、移動等）が判断される。

特開２０１３−０９６９４７号公報

照明制御においては、省エネルギー化を図るために、人が滞在する場合と滞在せずに移動している場合とで明るさを変えたいという要望がある。例えば、人が滞在する場合は視認を伴う作業に必要な明るさを提供し、移動している場合には移動するために必要最低限の明るさを提供することで省エネルギー化を図ることが考えられる。この要望を実現するに当たって、人が滞在しているか移動しているかの判定が必要になる。

しかし、特許文献１に記載された技術では、例えば、オフィスにおける書類整理及び作業着の着脱といった腕又は身体を大きく動かすような動作を伴う人は滞在していると判定されるべきであるが、移動していると判定されてしまう。特許文献１に記載された技術では、腕又は身体を大きく動かすような動作を行うと所定時間に変位する距離が大きくなり閾値を超えてしまい、移動と判定されることが原因である。
この発明は、人が滞在しているか移動しているかを適切に判定可能にすることを目的とする。

この発明に係る滞在判定装置は、
画像データに含まれる領域が分割された複数の部分領域それぞれについて、静止している人の有無と動いている人の有無とを示す検出結果を取得する結果取得部と、
静止している人が居らず動いている人が居ることを前記結果取得部によって取得された前記検出結果が示す状態の継続時間を計測する時間計測部と、
前記複数の部分領域それぞれについて、前記検出結果と、前記時間計測部によって計測された前記継続時間とに基づき、人が滞在している否かを判定する滞在判定部と
を備える。

この発明では、静止している人の有無と動いている人の有無との検出結果と、静止している人が居らず動いている人が居る状態の継続時間とに基づき、人が滞在している否かが判定される。これにより、腕又は身体を大きく動かすような動作を行う人がいるような場合にも、人が滞在しているか移動しているかを適切に判定することが可能になる。

実施の形態１に係る滞在判定装置１０の構成図。 実施の形態１に係る滞在判定装置１０の全体的な動作を示すフローチャート。 実施の形態１に係る判定処理のフローチャート。 実施の形態１に係る滞在判定装置１０の動作例を示す図。 変形例１に係る滞在判定装置１０の構成図。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る滞在判定装置１０の構成を説明する。
滞在判定装置１０は、コンピュータである。
滞在判定装置１０は、プロセッサ１１と、記憶装置１２と、受信インタフェース１３と、送信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ１１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。

記憶装置１２は、データを記憶する装置である。記憶装置１２は、具体例としては、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。
また、記憶装置１２は、ＳＤ（登録商標，Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ，登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記録媒体であってもよい。

受信インタフェース１３及び送信インタフェース１４は、入力装置及び出力装置といった外部の装置と通信するためのインタフェースである。受信インタフェース１３及び送信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標，Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のポートである。受信インタフェース１３及び送信インタフェース１４は、１つのポートによって実現されてもよい。
入力装置は、具体例としては、画像センサと赤外線センサといった装置である。出力装置は、具体例としては、トランスミッタと表示装置といった装置である。入力装置及び出力装置は、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）であってもよい。

滞在判定装置１０は、機能構成要素として、人検出部２１と、判定部２２とを備える。判定部２２は、機能構成要素として、結果取得部２３と、時間計測部２４と、滞在判定部２５とを備える。滞在判定装置１０の各機能構成要素の機能はソフトウェアにより実現される。
記憶装置１２には、滞在判定装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１により読み込まれ、プロセッサ１１によって実行される。これにより、滞在判定装置１０の各機能構成要素の機能が実現される。

図１では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。

各機能構成要素の処理の結果を示す情報又はデータ又は信号値又は変数値が、記憶装置１２、又は、プロセッサ１１内のレジスタ又はキャッシュメモリに記憶される。

＊＊＊動作の説明＊＊＊
図２から図４を参照して、実施の形態１に係る滞在判定装置１０の動作を説明する。
実施の形態１に係る滞在判定装置１０の動作は、実施の形態１に係る滞在判定方法に相当する。また、実施の形態１に係る滞在判定装置１０の動作は、実施の形態１に係る滞在判定プログラムの処理に相当する。

滞在判定装置１０は、画像データに含まれる領域を分割した複数の部分領域それぞれについて、人が滞在している状態と、人が移動している状態と、人が不在である状態とのいずれの状態であるかを判定する。
実施の形態１では、滞在しているとは、部分領域内に静止している人が居る状態と動いている人が一定時間以上居続ける状態とを意味する。移動しているとは、部分領域内で動いている人が一定時間未満しか居らず別の領域に移ることを意味する。不在とは、部分領域内に人が居ないことを意味する。

そこで、滞在判定装置１０は、動いている人が居る状態の継続時間を計測し、継続時間が基準時間以上の場合には滞在していると判定し、継続時間が基準時間未満の場合には移動と判定する。但し、対象の部分領域には静止している人と動いている人とが同時に存在する可能性がある。そのため、滞在判定装置１０は、動いている人が居る状態の継続時間を計測する場合には、静止している人が居ない状態であることを確認する。したがって、動いている人が居る状態の継続時間とは、静止している人が居らず動いている人が居る状態の継続時間に限定される。

図２を参照して、実施の形態１に係る滞在判定装置１０の全体的な動作を説明する。
滞在判定装置１０は、動画像データを構成する複数のフレームの画像データを順に入力として、処理を実行する。ここでは、動画像データを撮影する撮影装置は、固定されており、動画像データの各フレームの画像データは、同一の領域を撮影して得られたものとする。

（ステップＳ１：人検出処理）
人検出部２１は、画像データに含まれる領域をグリッド状に分割し、分割されて得られた複数の部分領域それぞれについて静止している人の有無と動いている人の有無とを検出する。
具体的には、人検出部２１は、既存技術を用いて、複数の部分領域それぞれについて静止している人の有無と動いている人の有無とを検出すればよい。例えば、人検出部２１は、国際公開第２０１５−１３６８２８号に記載された技術を用いて、複数の部分領域それぞれについて静止している人の有無と動いている人の有無とを検出することが可能である。

（ステップＳ２：判定処理）
判定部２２は、ステップＳ１で人検出部２１によって検出された結果である検出結果を取得して、複数の部分領域それぞれについて、人が滞在しているか否かを判定する。

図３を参照して、実施の形態１に係る判定処理（図２のステップＳ２）を説明する。
（ステップＳ２１：結果取得処理）
結果取得部２３は、ステップＳ１で人検出部２１によって検出された結果である検出結果を取得する。

ステップＳ２２からステップＳ３０の処理が複数の部分領域それぞれを対象の部分領域として実行される。

（ステップＳ２２：存在判定処理）
結果取得部２３は、対象の部分領域について、静止している人と動いている人との少なくともいずれかが居ることをステップＳ２１で取得された検出結果が示すか否かを判定する。
結果取得部２３は、静止している人と動いている人とのいずれも居ない場合には、処理をステップＳ２３に進める。一方、結果取得部２３は、静止している人と動いている人との少なくともいずれかが居る場合には、処理をステップＳ２５に進める。

（ステップＳ２３：リセット処理）
時間計測部２４は、対象の部分領域の継続時間を０にリセットする。また、時間計測部２４は、対象の部分領域の継続時間の計測がされている場合には、計測を停止する。継続時間は、静止している人が居らず動いている人が居る状態が継続している時間を示す。ここでは、動いている人が居ないため、継続時間は０にリセットされ、継続時間の計測が停止される。

（ステップＳ２４：不在処理）
滞在判定部２５は、対象の部分領域については、人が不在であると判定する。

（ステップＳ２５：静止判定処理）
結果取得部２３は、対象の部分領域について、静止している人が居ることをステップＳ２１で取得された検出結果が示すか否かを判定する。
結果取得部２３は、静止している人が居る場合には、処理をステップＳ２６に進める。一方、結果取得部２３は、静止している人が居ない場合には、処理をステップＳ２８に進める。

（ステップＳ２６：リセット処理）
時間計測部２４は、対象の部分領域の継続時間を０にリセットする。また、時間計測部２４は、対象の部分領域の継続時間の計測がされている場合には、計測を停止する。ここでは、静止している人が居り動いている人が居ないため、継続時間は０にリセットされ、継続時間の計測が停止される。

（ステップＳ２７：滞在処理）
滞在判定部２５は、対象の部分領域については、人が滞在していると判定する。

（ステップＳ２８：継続時間計測処理）
時間計測部２４は、対象の部分領域の継続時間の計測がされていない場合には、継続時間の計測を開始する。つまり、ステップＳ２２の処理及びステップＳ２５の処理により、静止している人が居らず動いている人が居ることを検出結果が示す状態であると判定される。そこで、時間計測部２４は、継続時間を計測する。
なお、時間計測部２４は、ステップＳ２３の処理又はステップＳ２６の処理で計測が停止されるまで、継続時間の計測を継続する。ここでは、動画像データを構成する複数のフレームの画像データを順に入力として、処理が実行される。そのため、ステップＳ２２の処理及びステップＳ２５の処理により、静止している人が居らず動いている人が居ることを検出結果が示す状態でなくなるまで、継続時間の計測が継続されることになる。
ここで計測される継続時間は、動画像データにおける時間である。つまり、動画像データは、１秒間当たり１０フレームである場合に、５０フレームの画像データで継続時間の計測が継続された場合には、継続時間は５秒間になる。

（ステップＳ２９：継続時間判定処理）
滞在判定部２５は、対象の部分領域の継続時間が基準時間以上であるか否かを判定する。基準時間は、全ての部分領域に共通の時間であってもよいし、部分領域毎に異なる時間であってもよい。例えば、入力となる動画像データが歪みのあるレンズを持つカメラ等によって取得された場合には、画像データの中央部と端部とで人の映り方が異なる。そのため、全ての部分領域に共通の時間を基準時間として用いてしまうと、高精度に人が滞在しているか移動しているかを判定できない可能性がある。
滞在判定部２５は、継続時間が基準時間以上である場合には、処理をステップＳ２７に進める。一方、滞在判定部２５は、継続時間が基準時間未満である場合には、処理をステップＳ３０に進める。

（ステップＳ３０：移動処理）
滞在判定部２５は、対象の部分領域については、人が移動していると判定する。

図４を参照して、実施の形態１に係る滞在判定装置１０の動作例を説明する。
図４は、動画像データを構成する画像データのある部分領域について、移動していると判定される１つの例（移動例１）と、滞在していると判定される２つの例（滞在例１，２）とを示している。図４では、１つの目盛が動画像データのフレームの取得サイクルであり、２００ミリ秒であるとする。つまり、動画像データの各フレームは、２００ミリ秒毎に取得されているとする。また、基準時間が３０００ミリ秒であるとする。

天井から俯瞰して撮影された動画像データを入力とする場合、人検出部２１は、図４のように、各フレームをグリッド状に分割し、分割されて得られた複数の部分領域それぞれについて静止している人の有無と動いている人の有無とを検出する。

人が移動している場合には、同じ部分領域に同一人物が居続けることはない。そのため、移動例１のように、静止している人が居らず動いている人が居る状態の継続時間が基準時間未満となり、移動していると判定される。
狭い範囲での荷物の持ち運びのように動いている人が居る状態の場合には、時間内に変位する距離が大きくなるものの、同じ領域に同一人物が居続ける。そのため、滞在例１のように、静止している人が居らず動いている人が居る状態の継続時間が基準時間以上となり、滞在していると判定される。滞在例１のように、継続時間が基準時間未満の間は移動していると判定され、継続時間が基準時間以上になると滞在していると判定されるようになる。
静止している人が居る状態の場合には、滞在例２のように、人が留まっているため滞在と判定される。

なお、滞在判定装置１０の入力となる動画像データは、赤外線で撮影された動画像データであっても、可視光で撮影された動画像データであっても構わない。また、滞在判定装置１０の入力となる動画像データは、センサ又は何らかのデバイスから取得されるデータが画像のように２次元的に配列されたものであっても構わない。

＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る滞在判定装置１０は、静止している人の有無と動いている人の有無との検出結果と、静止している人が居らず動いている人が居る状態の継続時間とに基づき、人が滞在している否かを判定する。これにより、腕又は身体を大きく動かすような動作を行う人がいるような場合にも、人が滞在しているか移動しているかを適切に判定可能である。その結果、人が滞在する場合は視認を伴う作業に必要な明るさを提供し、移動の場合には移動するために必要最低限の明るさを提供することで省エネルギー化を図るといったことを適切に行うことが可能である。

＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例１として、各機能構成要素はハードウェアで実現されてもよい。この変形例１について、実施の形態１と異なる点を説明する。

図５を参照して、変形例１に係る滞在判定装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、滞在判定装置１０は、プロセッサ１１と記憶装置１２とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と記憶装置１２との機能とを実現する専用の回路である。

電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が想定される。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。

＜変形例２＞
変形例２として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。

プロセッサ１１と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。

１０ 滞在判定装置、１１ プロセッサ、１２ 記憶装置、１３ 受信インタフェース、１４ 送信インタフェース、１５ 電子回路、２１ 人検出部、２２ 判定部、２３ 結果取得部、２４ 時間計測部、２５ 滞在判定部。

Claims (6)

1. 動画像データに含まれる領域が人の移動の検出が可能な大きさに分割された複数の部分領域それぞれについて、静止している人の有無と動いている人の有無とを示す検出結果を取得する結果取得部と、
   静止している人が居らず動いている人が居ることを前記結果取得部によって取得された前記検出結果が示す状態の継続時間を計測する時間計測部と、
   前記複数の部分領域それぞれについて、前記検出結果と、前記時間計測部によって計測された前記継続時間とに基づき、人が滞在しているか否かを判定する滞在判定部であって、静止している人が居らず動いている人が居ることを前記検出結果が示す部分領域について、前記継続時間が、前記動画像データを構成するフレームの取得サイクルよりも長い時間である基準時間以上である場合には、人が滞在していると判定する滞在判定部と
   を備える滞在判定装置。
2. 前記滞在判定部は、静止している人が居らず動いている人が居ることを前記検出結果が示す部分領域について、前記継続時間が前記基準時間未満である場合には、人が移動していると判定する
   請求項１に記載の滞在判定装置。
3. 前記滞在判定部は、静止している人が居ることを前記検出結果が示す部分領域について、人が滞在していると判定する
   請求項１又は２に記載の滞在判定装置。
4. 前記滞在判定部は、静止している人及び動いている人が居ないことを前記検出結果が示す部分領域について、人が不在であると判定する
   請求項１から３までのいずれか１項に記載の滞在判定装置。
5. 結果取得部が、動画像データに含まれる領域が人の移動の検出が可能な大きさに分割された複数の部分領域それぞれについて、静止している人の有無と動いている人の有無とを示す検出結果を取得し、
   時間計測部が、静止している人が居らず動いている人が居ることを前記検出結果が示す状態の継続時間を計測し、
   滞在判定部が、前記複数の部分領域それぞれについて、前記検出結果と前記継続時間とに基づき、人が滞在しているか否かを判定し、静止している人が居らず動いている人が居ることを前記検出結果が示す部分領域について、前記継続時間が、前記動画像データを構成するフレームの取得サイクルよりも長い時間である基準時間以上である場合には、人が滞在していると判定する滞在判定方法。
6. 動画像データに含まれる領域が人の移動の検出が可能な大きさに分割された複数の部分領域それぞれについて、静止している人の有無と動いている人の有無とを示す検出結果を取得する結果取得処理と、
   静止している人が居らず動いている人が居ることを前記結果取得処理によって取得された前記検出結果が示す状態の継続時間を計測する時間計測処理と、
   前記複数の部分領域それぞれについて、前記検出結果と、前記時間計測処理によって計測された前記継続時間とに基づき、人が滞在しているか否かを判定する滞在判定処理であって、静止している人が居らず動いている人が居ることを前記検出結果が示す部分領域について、前記継続時間が、前記動画像データを構成するフレームの取得サイクルよりも長い時間である基準時間以上である場合には、人が滞在していると判定する滞在判定処理とを行う滞在判定装置としてコンピュータを機能させる滞在判定プログラム。

Images