JP7198196B2 - 計測装置及び計測方法 - Google Patents

Description

本発明は、データの計測に関する。

近年、超高齢化社会の未来を見据えた国民の健康意識の高まりを受け、ヘルスケア業界が着目されている。それに伴い、医療現場におけるＩＴ（Information Technology）技術活用も着実に進歩しており、再生医療機器、介護ロボット、保険指導サービス支援など、新たな事業分野や医療サービスが次々と開拓されている。

なかでも予防医療サービスは、高齢化医療を見据えて期待が大きい分野の一つである。予防医療とは、病気になってから治療を行うという考え方ではなく、誰にでも将来起こりうる健康リスクを明確化し、病気にならないように継続的に健康維持、増進行動を行っていくという考え方である。

これら健康リスクを明確化したり、健康維持、増進行動の効果を確認したりするためには、計測による継続的な健康状態の定量化が必要となる。ＩｏＴ（Internet of Things）技術やウェアラブルデバイスの進展により、定量化に向けては、各ユーザが日常生活の中で計測を行うことができるようになってきた。

一方で、日常生活の中で大量に取得した計測データにはノイズが含まれることが多く、解析対象の選定が難しくなるという問題がある。例えば、公共の場で撮影した映像を解析する場合、どのデータを解析対象とするか画一的に判断することが難しくなる。

特許文献１によれば、ノイズの少ないデータを得るために歩行時の動きが小さい腰部の測定を行うことが開示されている。これにより、計測ノイズの発生を減らすことができる。

特許文献２によれば、追従ポイントが飛ぶ現象が生じるなど急激な変化が生じた場合をノイズとして除去することが開示されている。これにより、計測ノイズを除くことができる。

特開２０１７－２０２２３６号公報 特開２０１６－１７９１７１号公報

特許文献１の技術では、計測誤差のノイズを軽減できるが解析部位が限定されてしまうという問題がある。

特許文献２の技術では、計測誤差のノイズ除去には有効だが映り込みのノイズにはあまり有効でないという問題がある。

よって、計測誤差及び映り込みのノイズが多い環境下でも、解析手法に影響を与えることなく必要な計測データを抽出することが課題となる。

上記の課題の少なくとも一つを解決するために、本発明は、プロセッサと、記憶部と、を有する計測装置であって、前記記憶部は、撮影装置によって取得された時刻ごとの計測データと、時空間の制約と、を保持し、前記プロセッサは、前記時刻ごとの計測データから物体の位置を抽出し、前記物体が前記時空間の制約を満たすかを判定し、前記物体が前記時空間の制約を満たすかの判定の結果に基づいて、前記物体が解析対象かを判定し、前記物体は人物であり、前記プロセッサは、前記人物の１以上の関節の位置を前記物体の位置として抽出し、前記計測データから抽出された、前記解析対象であると判定された人物の前記１以上の関節の位置を、解析対象のデータとして出力することを特徴とする。

本発明の一態様によれば、計測誤差及び映り込みのノイズが多い環境下でも、解析手法に影響を与えることなく必要な計測データを抽出することが可能となる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。

実施例１に係るシステム全体の物理構成を示す。 実施例１に係るシステム全体の論理構成を示す。 実施例１に係る計測ＤＢに格納されるテーブルの構成を示す。 実施例１に係る判定ＤＢに格納されるテーブルの構成を示す。 実施例１に係る解析ＤＢに格納されるテーブルの構成を示す。 実施例１に係る深度記録部の処理を示すフローチャートである。 実施例１に係る骨格座標推定部の処理を示すフローチャートである。 実施例１に係る時間判定部の処理を示すフローチャートである。 実施例１に係る空間判定部の処理を示すフローチャートである。 実施例１に係る解析対象抽出部の処理を示すフローチャートである。 実施例２に係るシステム全体の論理構成を示す。 実施例２に係る判定ＤＢに格納されるテーブルの構成を示す。 実施例２に係るピッチ抽出部の処理を示すフローチャートである。 実施例２に係る時空間判定部の処理を示すフローチャートである。 実施例２に係る解析対象抽出部の処理を示すフローチャートである。 実施例２に係るＵ／Ｉ制御部の処理を示すフローチャートである。 実施例２において表示される制約設定画面を示す。

以下、図面を参照して、本発明の幾つかの実施例を説明する。但し、それらの実施例は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではない。

以下の説明では、「インターフェース部」は、１以上のインターフェース装置である。１以上のインターフェースは、１以上の同種のインターフェース装置（例えば１以上のＮＩＣ（Network Interface Card））であってもよいし２以上の異種のインターフェース装置（例えばＮＩＣとＨＢＡ（Host Bus Adapter））であってもよい。

また、以下の説明では、「記憶部」は、１以上のメモリである。少なくとも１つのメモリは、揮発性メモリであってもよいし不揮発性メモリであってもよい。記憶部は、１以上のメモリに加えて、１以上のＰＤＥＶを含んでもよい。「ＰＤＥＶ」は、物理的な記憶装置を意味し、典型的には、不揮発性の記憶装置（例えば補助記憶装置）でよい。ＰＤＥＶは、例えば、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）でよい。

また、以下の説明では、「プロセッサ部」は、１以上のプロセッサである。少なくとも１つのプロセッサは、典型的には、ＣＰＵ（Central Processing Unit）である。プロセッサは、処理の一部または全部を行うハードウェア回路を含んでもよい。

また、以下の説明では、「ｋｋｋ部」（インターフェース部、記憶部およびプロセッサ部を除く）の表現にて機能を説明することがあるが、機能は、１以上のコンピュータプログラムがプロセッサ部によって実行されることで実現されてもよいし、１以上のハードウェア回路（例えばＦＰＧＡ（Field-Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit））によって実現されてもよい。プログラムがプロセッサ部によって実行されることで機能が実現される場合、定められた処理が、適宜に記憶部および／またはインターフェース部等を用いながら行われるため、機能はプロセッサ部の少なくとも一部とされてもよい。機能を主語として説明された処理は、プロセッサ部あるいはそのプロセッサ部を有する装置が行う処理としてもよい。プログラムは、プログラムソースからインストールされてもよい。プログラムソースは、例えば、プログラム配布計算機または計算機が読み取り可能な記録媒体（例えば非一時的な記録媒体）であってもよい。各機能の説明は一例であり、複数の機能が１つの機能にまとめられたり、１つの機能が複数の機能に分割されたりしてもよい。

また、以下の説明では、「ｘｘｘテーブル」といった表現にて情報を説明することがあるが、情報は、どのようなデータ構造で表現されていてもよい。すなわち、情報がデータ構造に依存しないことを示すために、「ｘｘｘテーブル」を「ｘｘｘ情報」と言うことができる。また、以下の説明において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部または一部が１つのテーブルであってもよい。

また、以下の説明では、「時刻」は、年月日時分秒の単位で表現されるが、時刻の単位は、それよりも粗くても細かくてもよいし、また異なる単位でもよい。

また、以下の説明では、「データセット」とは、１以上のデータ要素から成るデータ（論理的な電子データの塊）を意味し、例えば、レコード、ファイル、キーバリューペア及びタプルのうちのいずれでもよい。

図１は、実施例１に係るシステム全体の物理構成を示す。

実施例１に係るシステムは、ネットワーク１２０を介して接続された解析装置１００および計測装置１１０を有する。

解析装置１００は、データを分析する装置である。解析装置１００は、ネットワークインターフェース１０４、メモリ１０２、記憶装置１０３、および、それらに接続されたプロセッサ１０１を有する。

プロセッサ１０１は、メモリ１０２に格納されたプログラムに従って、必要に応じて解析装置１００内の各部を制御することによって種々の処理を実行する。

メモリ１０２は、例えばＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリであり、プロセッサ１０１によって実行されるプログラム、プロセッサ１０１がプログラムに従って実行する処理において参照されるデータ、および、プロセッサ１０１が実行する処理の結果として生成されたデータ等を格納する。

記憶装置１０３は、例えばＨＤＤまたはＳＳＤ等の記憶装置であり、プロセッサ１０１が実行する処理において使用される種々のデータを格納する。例えば、上記のプログラム及びデータが記憶装置１０３に格納され、必要に応じてそれらの少なくとも一部がメモリ１０２にコピーされてもよいし、メモリ１０２上で更新されたデータが必要に応じて記憶装置１０３にコピーされてもよい。

ネットワークインターフェース１０４は、ネットワーク１２０に接続され、ネットワーク１２０を介して計測装置１１０と通信する。

計測装置１１０は、データを計測する装置である。計測装置１１０は、ネットワークインターフェース１１４、メモリ１１２、記憶装置１１３、入力装置１１５、出力装置１１６、撮影装置１１７、および、それらに接続されたプロセッサ１１１を有する。

プロセッサ１１１は、メモリ１１２に格納されたプログラムに従って、必要に応じて計測装置１１０内の各部を制御することによって種々の処理を実行する。

メモリ１１２は、例えばＤＲＡＭ等の半導体メモリであり、プロセッサ１１１によって実行されるプログラム、プロセッサ１１１がプログラムに従って実行する処理において参照されるデータ、および、プロセッサ１１１が実行する処理の結果として生成されたデータ等を格納する。

記憶装置１１３は、例えばＨＤＤまたはＳＳＤ等の記憶装置であり、プロセッサ１１１が実行する処理において使用される種々のデータを格納する。例えば、上記のプログラム及びデータが記憶装置１１３に格納され、必要に応じてそれらの少なくとも一部がメモリ１０２にコピーされてもよいし、メモリ１１２上で更新されたデータが必要に応じて記憶装置１１３にコピーされてもよい。

ネットワークインターフェース１１４は、ネットワーク１２０に接続され、ネットワーク１２０を介して解析装置１００と通信する。

入力装置１１５は、計測装置１１０のユーザからの情報の入力を受ける装置であり、例えばキーボード、マウス及びタッチパネル等の少なくともいずれかを含んでもよい。

出力装置１１６は、計測装置１１０のユーザに情報を出力する装置であり、例えば画像表示装置及びプリンタ等の少なくともいずれかを含んでもよい。

撮影装置１１７は、計測対象を撮影してその映像を取得する装置であれば、どのようなものであってもよい。例えば、撮影装置１１７は、２次元の映像を撮影する通常のＲＧＢカメラまたは赤外線カメラ等の他、２次元の映像に加えて画素ごとの深度情報を取得可能な深度カメラ等であってもよい。

図２は、実施例１に係るシステム全体の論理構成を示す。

計測装置１１０は、計測部２１０、判定部２２０、計測ＤＢ（データベース）２３０及び判定ＤＢ２４０を有する。計測部２１０は、深度記録部２１１及び骨格座標推定部２１２を含む。判定部２２０は、時間判定部２２１、空間判定部２２２及び解析対象抽出部２２３を含む。計測部２１０及び判定部２２０は、いずれも計測装置１１０のプロセッサ１１１がメモリ１１２に格納されたプログラムを実行することによる機能ブロックである。すなわち、以下の説明において計測部２１０又は判定部２２０が実行する処理は、実際には、プロセッサ１１１がメモリ１１２に格納されたプログラムに従って実行する。

計測ＤＢ２３０及び判定ＤＢ２４０は、計測装置１１０の記憶装置１１３に格納される。計測ＤＢ２３０は、深度テーブル２３１及び骨格座標テーブル２３２を含む。これらの詳細は図３を参照して後述する。判定ＤＢ２４０は、時間制約テーブル２４１、空間制約テーブル２４２及び判定結果テーブル２４３を含む。これらの詳細は図４を参照して後述する。

解析装置１００は、解析ＤＢ２５０を有する。これは、解析装置１００の記憶装置１０３に格納される。解析ＤＢ２５０は、解析対象テーブル２５１を含む。解析対象テーブル２５１の詳細は図５を参照して後述する。

計測部２１０の深度記録部２１１は、撮影装置１１７によって撮影された映像データから深度情報を抽出して深度テーブル２３１に記録する。ここでは、撮影装置１１７が深度カメラである例を示している。深度記録部２１１の処理の詳細は図６を参照して後述する。

計測部２１０の骨格座標推定部２１２は、深度テーブル２３１を参照して、撮影された人物ごとの骨格座標を推定してその結果を骨格座標テーブル２３２に記録する。骨格座標推定部２１２の処理の詳細は図７を参照して後述する。

判定部２２０の時間判定部２２１は、骨格座標テーブル２３２及び時間制約テーブル２４１を参照して、撮影された人物ごとの時間該当率を計算し、その結果を判定結果テーブル２４３に記録する。時間判定部２２１の処理の詳細は図８を参照して後述する。

判定部２２０の空間判定部２２２は、骨格座標テーブル２３２及び空間制約テーブル２４２を参照して、撮影された人物ごとの空間該当率を計算し、その結果を判定結果テーブル２４３に記録する。空間判定部２２２の処理の詳細は図９を参照して後述する。

判定部２２０の解析対象抽出部２２３は、骨格座標テーブル２３２及び判定結果テーブル２４３を参照して、解析対象の人物に関する骨格座標データを抽出して、それを解析装置１００に送信する。解析装置１００は、解析対象抽出部２２３から受信したデータを解析対象テーブル２５１に記録する。解析対象抽出部２２３の処理の詳細は図１０を参照して後述する。

ここで、本実施例の計測装置１１０及び解析装置１００を使用した計測及び解析の一例を説明する。例えば、解析対象の人物に所定の動き（例えば歩行等）をしてもらってその様子を撮影装置１１７（例えば深度カメラ）で撮影し、それによって得られた計測データから当該人物の運動機能等を解析する場合を想定する。このとき、撮影装置１１７の撮影範囲に解析対象の人物だけがいるとは限らない。例えば、撮影を行うスタッフ、解析対象の人物の介助者、又は撮影と全く無関係な通行人等が解析対象の人物とともに撮影される場合がある。

計測部２１０は、計測データから人物ごとの各時刻の骨格座標を抽出する。判定部２２０は、人物ごとに、各時刻の骨格座標から、その人物が解析対象かを判定して、解析対象と判定された人物の骨格座標を解析装置１００に出力する。解析装置１００が行う解析処理はどのようなものであってもよいため、本実施例では説明を省略する。

図３は、実施例１に係る計測ＤＢ２３０に格納されるテーブルの構成を示す。

図２に示すように、計測ＤＢ２３０には深度テーブル２３１及び骨格座標テーブル２３２が格納される。深度テーブル２３１は、例えば図３に示すように、各々が映像の１フレームに相当する複数のレコードを含む。各レコードは、計測時刻２３１－１及び画素ごとの深度情報（例えば画素１の深度２３１－２、画素２の深度２３１－３及び画素３の深度２３１－４等）からなる。

計測時刻２３１－１は、各フレームの撮影時刻である。深度２３１－２～４等の深度情報は、各フレーム内の画素ごとの深度、すなわち、撮影装置１１７から各画素に対応する撮影対象までの距離を示す。図３では省略されているが、実際には各フレームの全画素の深度情報が深度テーブル２３１に記録される。

骨格座標テーブル２３２は、例えば図３に示すように、複数のレコードを含み、各レコードは、映像の１フレームに含まれる一人の人物の骨格座標の情報を含む。具体的には、各レコードは、計測時刻２３２－１、人物２３２－２及び人物ごとの骨格座標の情報（例えば人物の関節１の座標２３２－３及び関節２の座標２３２－４等）からなる。

計測時刻２３２－１は、各フレームの撮影時刻である。人物２３２－２は、各フレームに含まれる各人物の識別情報である。関節１の座標２３２－３及び関節２の座標２３２－４等は、各人物の各関節の位置の座標値（例えば撮影対象の空間内の位置を示す３次元座標値）である。図３では省略されているが、実際には各人物から抽出された全ての関節の座標値が骨格座標テーブル２３２に記録される。

図３の例では、２０１９年６月３０日の１５時０分１０秒に撮影された１フレームから二人の人物が抽出され、それぞれに識別情報「Ｐ１」及び「Ｐ２」が与えられ、それぞれの人物の各関節の座標値が記録されている。

図４は、実施例１に係る判定ＤＢ２４０に格納されるテーブルの構成を示す。

図２に示すように、判定ＤＢ２４０には時間制約テーブル２４１、空間制約テーブル２４２及び判定結果テーブル２４３が格納される。

時間制約テーブル２４１には、解析対象を選定するための時間的な制約を示す情報が記録される。具体的には、時間制約テーブル２４１は、例えば図４に示すように、開始時２４１－１、終了時２４１－２及び時間率２４１－３からなる。

開始時２４１－１及び終了時２４１－２は、映像に含まれる人物が解析対象であるかを判定するための基準となる時間帯の始点及び終点を指定する情報であり、時間率２４１－３は、その時間帯に含まれるレコードの割合（すなわち時間該当率）の閾値を示す情報である。これらを参照した判定の詳細は図８を参照して後述する。

空間制約テーブル２４２には、解析対象を選定するための空間的な制約を示す情報が記録される。具体的には、空間制約テーブル２４２は、例えば図４に示すように、縦範囲２４２－１、横範囲２４２－２及び空間率２４２－３からなる。

縦範囲２４２－１及び横範囲２４２－２は、映像に含まれる人物が解析対象であるかを判定するための基準となる空間の範囲を指定する情報であり、空間率２４２－３は、その範囲に含まれるレコードの割合（すなわち空間該当率）の閾値を示す情報である。これらを参照した判定の詳細は図９を参照して後述する。

判定結果テーブル２４３には、映像に含まれる人物が解析対象であるかを判定するために骨格座標テーブル２３２、時間制約テーブル２４１及び空間制約テーブル２４２を参照して行われた計算の結果が記録される。具体的には、判定結果テーブル２４３は、例えば図４に示すように、人物２４３－１、時間該当率２４３－２及び空間該当率２４３－３からなる。

人物２４３－１は、映像に含まれる各人物の識別情報であり、骨格座標テーブル２３２の人物２３２－２に対応する。時間該当率２４３－２及び空間該当率２４３－３には、それぞれ、各人物について計算された時間該当率及び空間該当率が記録される。これらの計算の詳細は図１０を参照して後述する。

ここで、時間制約テーブル２４１及び空間制約テーブル２４２の設定の例について説明する。ここでは、解析対象の人物にしてもらう所定の動作が「歩行」である例を説明する。具体的には、撮影者が発した合図に従って、所定の歩行コースを解析対象の人物に歩行してもらい、その様子を撮影装置１１７が撮影し、歩行コース内の歩行が終了したら撮影を停止する例について説明する。

このとき、例えば、撮影を開始してから、合図に従って解析対象の人物が実際に歩き始めるまでの時間が５秒程度であり、撮影を開始してから１５秒程度経過すると歩行コース内の歩行が終了すると想定される場合、開始時２４１－１及び終了時２４１－２にはそれぞれ「５秒」及び「１５秒」が設定される。

この場合、解析対象の人物は、合図に従って歩き始めて、歩行が終了したら撮影を停止することから、撮影されたデータのうち当該解析対象の人物に関するデータのほとんどが上記の５秒から１５秒の時間の範囲に含まれていると想定される。一方、撮影されたデータに解析対象外の人物に関するデータが含まれる場合、その人物は、合図と無関係に動いているか、あるいは、一時的に撮影範囲内に写りこんでいるだけであると想定され、そのような人物のデータが上記の時間の範囲に含まれる率（すなわち時間該当率）は低いと想定される。時間率２４１－３は、時間該当率に基づいて解析対象の人物を判別するための閾値であり、判別のために適切な値（図４の例では「８０％」）が設定される。

また、上記の歩行コースの範囲を示す座標値が縦範囲２４２－１及び横範囲２４２－２に設定される。例えば撮影装置１１７によって撮影される空間内の位置を直交座標系の座標値によって特定する場合に、一つの軸の座標値を縦範囲２４２－１として、それに直交する軸の座標値を横範囲２４２－２として設定してもよい。ただしこのような空間の範囲の特定方法は一例であり、別の方法で空間の範囲を特定してもよい。

この場合も、解析対象の人物は歩行コースを歩こうとするため、撮影されたデータのうち当該解析対象の人物に関するデータのほとんどの位置が上記の空間の範囲内に含まれていると想定される。一方、撮影されたデータに解析対象外の人物に関するデータが含まれる場合、その人物は、例えばそれがスタッフ又は介助者であれば歩行コースから少し外れたところを歩いていると想定され、無関係な通行人であれば歩行コース内を歩行するのは一時的であると想定されることから、そのような人物のデータが示す位置が上記の空間の範囲内に含まれる率（すなわち空間該当率）は低いと想定される。空間率２４２－３は、空間該当率に基づいて解析対象の人物を判別するための閾値であり、判別のために適切な値（図４の例では「９０％」）が設定される。

なお、時間制約テーブル２４１に記録される情報及び空間制約テーブル２４２に記録される情報は、時空間の制約の一例である。実施例１では、時空間の制約が、時間と空間のそれぞれにおいて独立に設定されるが、それらが関連付けて設定されてもよい。後者の例については、実施例２において後述する。

図５は、実施例１に係る解析ＤＢ２５０に格納されるテーブルの構成を示す。

図２に示すように、解析ＤＢ２５０には解析対象テーブル２５１が格納される。解析対象テーブル２５１には、骨格座標テーブル２３２に格納されたレコードのうち、解析対象であると判定された人物に関するレコードが記録される。具体的には、解析対象テーブル２５１の各レコードは、計測時刻２５１－１、人物２５１－２、関節１の座標２５１－３及び関節２の座標２５１－４等からなる。これらは、それぞれ、骨格座標テーブル２３２の計測時刻２３２－１、人物２３２－２、関節１の座標２３２－３及び関節２の座標２３２－４等に対応する。ただし、骨格座標テーブル２３２と異なり、解析対象テーブル２５１には、解析対象であると判定された人物（図５の例では人物「Ｐ２」）に関するレコードのみを含んでいる。

図６は、実施例１に係る深度記録部２１１の処理を示すフローチャートである。

深度記録部２１１は、撮影装置１１７が撮影したデータを取得して深度記録を開始すると、撮影が停止するまで、以下のステップＳ６０１～Ｓ６０３を繰り返し実行する。

最初に、深度記録部２１１は、撮影装置１１７から深度データセットを取得する（Ｓ６０１）。次に、深度記録部２１１は、深度テーブル２３１にレコードを追加して、取得した深度データセットを記録する（Ｓ６０２）。これによって、取得した深度データセットの計測時刻と、それに対応する各画素の深度情報とを含むレコードが深度テーブル２３１に追加される。次に、深度記録部２１１は、骨格座標推定部２１２を呼び出す（Ｓ６０３）。撮影が停止すると、深度記録部２１１の処理が終了する。

図７は、実施例１に係る骨格座標推定部２１２の処理を示すフローチャートである。

最初に、骨格座標推定部２１２は、深度テーブル２３１から撮影時間分のレコードを取得する（Ｓ７０１）。次に、骨格座標推定部２１２は、取得したレコードから、人物ごとの骨格座標を認識する（Ｓ７０２）。このとき、骨格座標推定部２１２は、公知の深度認識モデルを用いることができるため、認識の詳細な方法についての説明は省略する。

次に、骨格座標推定部２１２は、骨格座標の認識の結果として得られた座標値を含むレコードを骨格座標テーブル２３２に追加する（Ｓ７０３）。次に、骨格座標推定部２１２は、時間判定部２２１を呼び出して（Ｓ７０４）、処理を終了する。

上記の図６及び図７は、撮影装置１１７が深度カメラである場合の処理の例である。しかし、前述のように、撮影装置１１７は深度を計測しない通常のＲＧＢカメラ等であってもよい。その場合、計測部２１０は、撮影装置１１７から取得した映像情報を計測ＤＢ２３０に記録する。例えば、深度テーブル２３１における各フレームの画素ごとの深度の代わりに、画素ごとのＲＧＢ値等が記録される。骨格座標推定部２１２は、各フレームのＲＧＢ値を参照して、画像認識モデルを用いて骨格座標を推定する。このとき、骨格座標推定部２１２は、例えば公知のＯｐｅｎＰｏｓｅなど、任意の認識モデルを用いることができる。

図８は、実施例１に係る時間判定部２２１の処理を示すフローチャートである。

最初に、時間判定部２２１は、深度テーブル２３１の最初のレコードの計測時刻３２１－１を撮影開始時刻として取得する（Ｓ８０１）。例えば深度テーブル２３１が図３に示す通りである場合、最初のレコードの計測時刻３２１－１の値である２０１９年６月３０日１５時０分０秒００が取得される。

次に、時間判定部２２１は、時間制約テーブル４２１から開始時２４１－１及び終了時２４１－２の秒数を取得する（Ｓ８０２）。例えば時間制約テーブル４２１が図４に示す通りである場合、開始時２４１－１及び終了時２４１－２の秒数としてそれぞれ５秒及び１５秒が取得される。

次に、時間判定部２２１は、骨格座標テーブル２３２のレコードを全て取得するまで、以下のステップＳ８０３からＳ８０６の処理を実行する。まず、時間判定部２２１は、骨格座標テーブル２３２からまだ取得していないレコードを取得して、当該レコードの人物２３２－２を参照し、当該人物に対応するレコードの総数をカウントアップ（すなわち＋１）する（Ｓ８０３）。

次に、時間判定部２２１は、当該レコードの計測時刻２３２－１とＳ８０１で取得した撮影開始時刻との差分を、撮影開始からの経過時刻として生成する（Ｓ８０４）。これによって、例えば上記の図３及び図４の例においては、２０１９年６月３０日１５時０分０秒００を時刻０としたときの各レコードの経過時刻が生成される。

次に、時間判定部２２１は、当該レコードについて、ステップＳ８０４で計算された経過時刻がステップＳ８０２で取得された開始時から終了時までの範囲内（上記の例では５秒以上１５秒以下）であるかを判定する（Ｓ８０５）。

ステップＳ８０５において、経過時刻が開始時から終了時までの範囲内であると判定された場合（Ｓ８０５：Ｙｅｓ）、時間判定部２２１は、当該レコードに対応する人物の時間該当数をカウントアップ（すなわち＋１）する（Ｓ８０６）。一方、ステップＳ８０５において、経過時刻が開始時から終了時までの範囲外であると判定された場合（Ｓ８０５：Ｎｏ）、時間判定部２２１は、当該レコードに関してステップＳ８０６を実行しない。

骨格座標テーブル２３２の全てのレコードについて上記のステップＳ８０３からＳ８０６の処理が終了すると、骨格座標テーブル２３２の人物ごとのレコードの総数が計数され、さらに、人物ごとに、経過時刻が開始時から終了時までの範囲内であるレコードの数が時間該当数として計数されたことになる。

次に、時間判定部２２１は、人物ごとに、レコード総数に対する時間該当数の割合を時間該当率として計算する（Ｓ８０７）。

次に、時間判定部２２１は、人物ごとの時間該当率を判定結果テーブル２４３の当該人物に対応するレコードに時間該当率２４３－２として記録する（Ｓ８０８）。

以上で時間判定部２２１の処理が終了する。

図９は、実施例１に係る空間判定部２２２の処理を示すフローチャートである。

最初に、空間判定部２２２は、空間制約テーブル４２２から縦範囲２４２－１及び横範囲２４２－２の座標を取得する（Ｓ９０１）。例えば空間制約テーブル４２２が図４に示す通りである場合、縦範囲２４２－１及び横範囲２４２－２の座標としてそれぞれ（２，５）及び（－１，１）が取得される。

次に、空間判定部２２２は、骨格座標テーブル２３２のレコードを全て取得するまで、以下のステップＳ９０２からＳ９０５の処理を実行する。まず、空間判定部２２２は、骨格座標テーブル２３２からまだ取得していないレコードを取得して、当該レコードの人物２３２－２を参照し、当該人物に対応するレコードの総数をカウントアップ（すなわち＋１）する（Ｓ９０２）。

次に、空間判定部２２２は、当該レコードの各関節座標の縦の値及び横の値を取得する（Ｓ９０３）。具体的には、空間判定部２２２は、各関節座標の値のうち、空間制約テーブル２４２の縦範囲２４２－１の座標軸と同じ座標軸上の値と、横範囲２４２－２の座標軸と同じ座標軸上の値とを取得する。

次に、空間判定部２２２は、ステップＳ９０３で取得した各関節座標とステップＳ９０１で取得した縦範囲及び横範囲とを比較し、各関節座標の縦の値が縦範囲に含まれ、かつ、各関節座標の横の値が横範囲に含まれるかを判定する（Ｓ９０４）。

ここで、骨格座標テーブル２３２の一つのレコードには一人の人物の複数の関節座標が含まれている。空間判定部２２２は、ステップＳ９０４において、上記の複数の関節座標の全てが縦範囲及び横範囲に含まれるかを判定してもよいし、所定の割合又は所定の数の関節座標が縦範囲及び横範囲に含まれるかを判定してもよいし、１以上の所定の部位の関節が縦範囲及び横範囲に含まれるかを判定してもよい。

また、上記のように座標の縦の値と横の値とをそれぞれ空間制約テーブル４２２の縦範囲２４２－１及び横範囲２４２－２と比較するのは、取得された人物の位置が所定の空間の範囲に含まれるかを判定する方法の一例であり、上記以外の方法によって判定が行われてもよい。

ステップＳ９０４において、関節座標値が縦範囲及び横範囲に含まれると判定された場合（Ｓ９０４：Ｙｅｓ）、空間判定部２２２は、当該レコードに対応する人物の空間該当数をカウントアップ（すなわち＋１）する（Ｓ９０５）。一方、ステップＳ９０４において、関節座標値が縦範囲及び横範囲に含まれないと判定された場合（Ｓ９０４：Ｎｏ）、空間判定部２２２は、当該レコードに関してステップＳ９０５を実行しない。

骨格座標テーブル２３２の全てのレコードについて上記のステップＳ９０２からＳ９０５の処理が終了すると、骨格座標テーブル２３２の人物ごとのレコードの総数が計数され、さらに、人物ごとに、関節座標値が縦範囲及び横範囲に含まれるレコードの数が空間該当数として計数されたことになる。

次に、空間判定部２２２は、人物ごとに、レコード総数に対する空間該当数の割合を空間該当率として計算する（Ｓ９０６）。

次に、空間判定部２２２は、人物ごとの空間該当率を判定結果テーブル２４３の当該人物に対応するレコードの空間該当率２４３－３として記録する（Ｓ９０７）。

以上で空間判定部２２２の処理が終了する。

図１０は、実施例１に係る解析対象抽出部２２３の処理を示すフローチャートである。

最初に、解析対象抽出部２２３は、時間制約テーブル２４１の時間率２４１－３を取得する（Ｓ１００１）。次に、解析対象抽出部２２３は、空間制約テーブル２４２の空間率２４２－３を取得する（Ｓ１００２）。

次に、解析対象抽出部２２３は、判定結果テーブル２４３のレコードを全て取得するまで、以下のステップＳ１００３からＳ１００５の処理を実行する。まず、解析対象抽出部２２３は、判定結果テーブル２４３からまだ取得していないレコードを取得して、当該レコードの時間該当率２４３－２が時間率２４１－３以上であるかを判定する（Ｓ１００３）。

ステップＳ１００３において、当該レコードの時間該当率２４３－２が時間率２４１－３以上であると判定された場合（Ｓ１００３：Ｙｅｓ）、解析対象抽出部２２３は、当該レコードの空間該当率２４３－３が空間率２４２－３以上であるかを判定する（Ｓ１００４）。

ステップＳ１００４において、当該レコードの空間該当率２４３－３が空間率２４２－３以上であると判定された場合（Ｓ１００４：Ｙｅｓ）、解析対象抽出部２２３は、当該レコードに対応する人物（すなわち当該レコードの人物２４３－１の値によって識別される人物）を保持する（Ｓ１００５）。

一方、ステップＳ１００３において、当該レコードの時間該当率２４３－２が時間率２４１－３以上でないと判定された場合（Ｓ１００３：Ｎｏ）、解析対象抽出部２２３は、当該レコードに関してステップＳ１００４及びＳ１００５を実行しない。また、ステップＳ１００４において、当該レコードの空間該当率２４３－３が空間率２４２－３以上でないと判定された場合（Ｓ１００４：Ｎｏ）、解析対象抽出部２２３は、当該レコードに関してＳ１００５を実行しない。

判定結果テーブル２４３の全てのレコードについて上記のステップＳ１００３からＳ１００５が終了すると、解析対象抽出部２２３は、ステップＳ１００５において保持した人物の識別情報が人物２３２－２として記録されているレコードを骨格座標テーブル２３２から抽出して（Ｓ１００６）、それを解析対象テーブル２５１に格納する（Ｓ１００７）。解析対象テーブル２５１は解析装置１００に送信され、解析ＤＢ２５０に格納される。

その後、解析対象抽出部２２３は、深度テーブル２３１、骨格座標テーブル２３２及び判定結果テーブル２４３から、上記の処理が終了したレコードを消去する（Ｓ１００８）。以上で解析対象抽出部２２３の処理が終了する。

図１０では、ステップＳ１００３～Ｓ１００５に示すように、時間該当率が時間率以上であると判定され、かつ、空間該当率が空間率以上であると判定された人物が解析対象として保持される。しかし、このような判定は一例であり、上記以外の判定が行われてもよい。例えば、時間該当率の判定と空間該当率の判定のそれぞれに異なる重みを与えることによって、いずれかの判定結果を重視してもよい。これによって、状況に応じて柔軟な判定条件を与えて適切に解析対象を抽出することができる。

次に、本発明の実施例２について説明する。以下に説明する相違点を除き、実施例２のシステムの各部は、実施例１の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。

図１１は、実施例２に係るシステム全体の論理構成を示す。

実施例２の計測装置１１０は、判定部２２０が判定部１１２０によって置き換えられ、判定ＤＢ２４０が判定ＤＢ１１３０によって置き換えられ、さらにＵ／Ｉ（ユーザインターフェース）制御部１１４０を有する点を除いて、実施例１の計測装置１１０と同様である。

判定ＤＢ１１３０は、計測装置１１０の記憶装置１１３に格納され、ピッチテーブル１１３１、時空間制約テーブル１１３２及び判定結果テーブル１１３３を含む。これらの詳細は図１２を参照して後述する。

判定部１１２０は、実施例１の判定部２２０と同様に、計測装置１１０のプロセッサ１１１がメモリ１１２に格納されたプログラムを実行することによる機能ブロックである。Ｕ／Ｉ制御部１１４０も同様である。すなわち、以下の説明において判定部１１２０又はＵ／Ｉ制御部１１４０が実行する処理は、実際には、プロセッサ１１１がメモリ１１２に格納されたプログラムに従って実行する。

判定部１１２０は、ピッチ抽出部１１２１、時空間判定部１１２２及び解析対象抽出部１１２３を含む。

ピッチ抽出部１１２１は、骨格座標テーブル２３２を参照して、周期性のある動きを抽出して、その開始時刻及び終了時刻を特定してピッチテーブル１１３１に記録する。ピッチ抽出部１１２１の処理の詳細は図１３を参照して後述する。

時空間判定部１１２２は、骨格座標テーブル２３２及び時空間制約テーブル１１３２を参照して、撮影された人物ごとの時空間該当率を計算し、その結果を判定結果テーブル１１３３に記録する。時空間判定部１１２２の処理の詳細は図１４を参照して後述する。

解析対象抽出部１１２３は、骨格座標テーブル２３２及び判定結果テーブル１１３３を参照して、解析対象の人物に関する骨格座標データを抽出して、それを解析装置１００に送信する。解析装置１００は、解析対象抽出部１１２３から受信したデータを解析対象テーブル２５１に記録する。解析対象抽出部１１２３の処理の詳細は図１５を参照して後述する。

Ｕ／Ｉ制御部１１４０は、入力装置１１５及び出力装置１１６を介したユーザインターフェース画面の表示及びユーザから入力された情報の受け付けを制御する。Ｕ／Ｉ制御部１１４０の処理及び提供されるユーザインターフェースの詳細は図１６及び図１７を参照して後述する。

図１２は、実施例２に係る判定ＤＢ１１３０に格納されるテーブルの構成を示す。

図１１に示すように、判定ＤＢ１１３０にはピッチテーブル１１３１、時空間制約テーブル１１３２及び判定結果テーブル１１３３が格納される。

ピッチテーブル１１３１には、骨格座標テーブルから抽出された各人物の周期性のある動きの各周期の時間を特定する情報が記録される。具体的には、ピッチテーブル１１３１は、例えば図１２に示すように、人物１１３１－１、ピッチ１１３１－２、開始時刻１１３１－３及び終了時刻１１３１－４からなる。

人物１１３１－１は、映像に含まれる各人物の識別情報であり、骨格座標テーブル２３２の人物２３２－２に対応する。ピッチ１１３１－２は、抽出された周期性のある動きの周期の順序を示す情報である。開始時刻１１３１－３及び終了時刻１１３１－４は、それぞれの周期の始点及び終点を示す情報である。

例えば、図１２の先頭及び２番目のレコードは、識別情報「Ｐ１」によって識別される人物の骨格座標から周期性のある動き（例えば歩行等）が抽出され、その最初の周期（すなわち１ピッチ目）が２０１９年６月３０日１５時００分１０．００秒に始まって１１．２３秒に終わり、その次の周期（すなわち２ピッチ目）が１１．２３秒に始まって１２．４９秒に終わったことを示している。ここで、１つのピッチとは、例えば歩行の場合において、人物が左足を接地してから次に左足を接地するまでの周期など、繰り返しの単位となる１周期に相当する。

時空間制約テーブル１１３２には、解析対象を選定するための時間的及び空間的な制約を示す情報が記録される。具体的には、時空間制約テーブル１１３２は、例えば図１２に示すように、種別１１３２－１、選択１１３２－２、ピッチ１１３２－３、縦範囲１１３２－４、横範囲１１３２－５及び時空間該当率１１３２－６からなる。

種別１１３２－１は、動きの種類を示す。動きの種類の例として、自然歩行、ニーベント歩行（すなわち膝を曲げて重心を下げた状態での歩行）、又はカーフレーズ歩行（すなわち爪先立ちでの歩行）などが挙げられる。

選択１１３２－２は、それぞれの動きの種別が抽出の対象として選択されたか否かを示す。例えば、「Ｔｒｕｅ」が選択されたことを、「Ｆａｌｓｅ」が選択されていないことを示す。図１２の例では、自然歩行が選択されており、ニーベント歩行は選択されていない。

ピッチ１１３２－３は、抽出された周期性のある動きが行われた期間が複数の部分に分割されるときに、それぞれの部分を指定する情報である。

縦範囲１１３２－４及び横範囲１１３２－５は、映像に含まれる人物が解析対象であるかを判定するための基準となる空間の範囲を指定する情報であり、抽出された周期性のある動きが行われた期間の部分ごとに指定される。

時空間該当率１１３２－６は、縦範囲１１３２－４及び横範囲１１３２－５によって指定される範囲に含まれるレコードの割合（すなわち時空間該当率）の閾値を示す情報である。

例えば、図１２に示す時空間制約テーブル１１３２の最初の二つのレコードによれば、周期性のある動きである「自然歩行」が抽出の対象として選択されている。そして、その動きが行われた期間（例えば解析対象の人物が合図に従って事前歩行を開始してから終了するまでの期間）が、０％～５０％（すなわち前半）の部分と５０％～１００％（すなわち後半）の部分とに分割される。

前半に対応する縦範囲１１３２－４及び横範囲１１３２－５としてそれぞれ（２，５）及び（－２，０）が設定され、時空間該当率１１３２－６として「９０％」が設定される。後半に対応する縦範囲１１３２－４及び横範囲１１３２－５としてそれぞれ（２，５）及び（０，２）が設定され、時空間該当率１１３２－６として「８０％」が設定される。

上記の例は、解析対象の人物に、あるスタート地点から折り返し地点まで歩行を開始してもらい、折り返し地点で折り返してスタート地点に隣接するゴール地点まで歩行してもらってその様子を撮影する場合などを想定している。すなわち周期性のある動き（例えば自然歩行）が行われた期間が、解析対象の人物がスタート地点からゴール地点まで歩行する期間に相当する。そのうち前半がスタート地点から折り返し地点まで、後半が折り返し地点からゴール地点までに相当する。

例えば、上記のように、人物が左足を接地してから次に左足を接地するまでの周期などを１ピッチとした場合、１ピッチは２歩に相当する。例えばある人物の骨格座標からピッチ１から４までの４ピッチが抽出された場合、前半の２ピッチ（すなわち４歩）分の期間がスタート地点から折り返し地点までの期間、後半の２ピッチ（すなわち４歩）分の期間が折り返し地点からゴール地点までの期間として特定される。

また、例えば前半と後半の歩行コースが平行して隣接するなど、前半と後半の歩行コースが異なっている場合には、それぞれに合わせて縦範囲１１３２－４及び横範囲１１３２－５を設定することができる。また、例えば目標物の有無などによって前半と後半における歩行コースからの外れやすさに差がある場合には、それに合わせて、前半と後半で異なる時空間該当率１１３２－６を設定することができる。

なお、上記は一例であり、例えば人物がスタート地点からゴール地点までの直線上を１度だけ歩行する場合には、上記のようにピッチに基づいて分割をする必要はなく、最初のピッチから最後のピッチまでの期間を周期性のある動きが行われた期間として抽出することができる。また、例えば人物が矩形の領域の輪郭を１周するように歩行する場合、又は、ある区間を２往復以上歩行する場合などは、２より多くの部分への分割が行われてもよい。

判定結果テーブル１１３３には、映像に含まれる人物が解析対象であるかを判定するために骨格座標テーブル２３２、ピッチテーブル１１３１及び時空間制約テーブル１１３２を参照して行われた計算の結果が記録される。具体的には、判定結果テーブル１１３３は、例えば図１２に示すように、人物１１３３－１、ピッチ１１３３－２及び時空間該当率１１３３－３からなる。

人物１１３３－１は、映像に含まれる各人物の識別情報であり、骨格座標テーブル２３２の人物２３２－２に対応する。ピッチ１１３３－２は、抽出された周期性のある動きが行われた期間の部分を指定する情報であり、時空間制約テーブル１１３２のピッチ１１３２－３に対応する。時空間該当率１１３３－３には、各人物について計算された時空間該当率が記録される。これらの計算の詳細は図１４を参照して後述する。

図１３は、実施例２に係るピッチ抽出部１１２１の処理を示すフローチャートである。

最初に、ピッチ抽出部１１２１は、骨格座標テーブル２３２のレコードを取得する（Ｓ１３０１）。次に、ピッチ抽出部１１２１は、平滑化によって計測ノイズを除去する（Ｓ１３０２）。例えば、ピッチ抽出部１１２１は、取得した骨格座標テーブル２３２のレコードの関節座標を、人物の関節ごとに時系列に並べて、移動平均をとるなどの方法によって平滑化を行ってもよい。

次に、ピッチ抽出部１１２１は、人物ごとの周波数解析によって、人物の動きの周期を示す時刻群を抽出する（Ｓ１３０３）。例えば、ピッチ抽出部１１２１は、平滑化された時系列の関節座標のデータをフーリエ変換するなどの方法によって、人物の動きの周期を抽出してもよい。

次に、ピッチ抽出部１１２１は、人物ごと及びピッチごとに、抽出された周期の開始時刻及び終了時刻をピッチテーブル１１３１に格納する（Ｓ１３０４）。

以上でピッチ抽出部１１２１の処理が終了する。

図１４は、実施例２に係る時空間判定部１１２２の処理を示すフローチャートである。

最初に、時空間判定部１１２２は、時空間制約テーブル１１３２を参照して、選択１１３２－２が「Ｔｒｕｅ」であるレコードを抽出し、抽出したレコードのピッチ１１３２－３に記録されている割合を保持する（Ｓ１４０１）。図１２の例では、先頭の二つのレコードが抽出され、ピッチ１１３２－３の値「５０％」及び「１００％」が保持される。

次に、時空間判定部１１２２は、ピッチテーブル１１３１を参照して、人物ごとに、格納されているピッチの総数をカウントする（Ｓ１４０２）。次に、時空間判定部１１２２は、ステップＳ１４０１で保持されたピッチの割合と、ステップＳ１４０２でカウントされたピッチの総数とに基づいて、ピッチを分割する（Ｓ１４０３）。

例えば、ステップＳ１４０２において図１２に示すピッチテーブル１１３１が参照された場合、人物「Ｐ１」に関して、最初の二つのレコードに格納されたのピッチ１及び２が抽出される。仮に、図１２では省略されているが、人物「Ｐ１」に関してさらにピッチ３及び４がピッチテーブル１１３１に格納されているとすると、ステップＳ１４０２ではピッチ１～４の４つのピッチがカウントされる。そして、ステップ１４０３では、それらの４つのピッチが、「０～５０％」（すなわち前半）に対応するピッチ１から２までの集合と、「５０～１００％」（すなわち後半）に対応するピッチ３から４までの集合とに分割される。

次に、時空間判定部１１２２は、分割したピッチごとに、以下のステップＳ１４０４からＳ１４１０の処理を実行する。

まず、時空間判定部１１２２は、分割したピッチの集合のうち一つを選択して、それに含まれる最初のピッチの開始時刻と最後のピッチの集合時刻とを取得する（Ｓ１４０４）。例えば図１２の人物Ｐ１のピッチ１、２からなる集合の場合、ピッチ１の開始時刻１１３１－３の値と、ピッチ２の終了時刻１１３１－４の値とが取得される。

次に、時空間判定部１１２２は、骨格座標テーブル２３２から、ステップＳ１４０４で取得された開始時刻から終了時刻までの範囲内のレコードを抽出する（Ｓ１４０５）。

次に、時空間判定部１１２２は、時空間制約テーブル１１３２から、選択された種別の、ピッチの割合が該当するレコードの縦範囲及び横範囲を取得する（Ｓ１４０６）。例えば自然歩行が選択されており、上記の通りピッチ１から４のうち０～５０％のピッチ１及び２が選択されている場合、それに対応する縦範囲１１３２－４の値（２，５）及び横範囲１１３２－５の値（－２，０）が取得される。

次に、時空間判定部１１２２は、ステップＳ１４０５で抽出したレコードから、各関節座標の縦の値及び横の値を取得し（Ｓ１４０７）、それらが縦範囲及び横範囲に含まれるかを判定し、含まれると判定されたレコードの数を集計する（Ｓ１４０８）。なお、ここでの判定は、図９のステップＳ９０４と同様に行ってもよい。

次に、時空間判定部１１２２は、ステップＳ１４０５で抽出したレコードの数に対する、ステップＳ１４０８で集計したレコードの数の割合から、時空間該当率を生成する（Ｓ１４０９）。

次に、時空間判定部１１２２は、人物の識別情報と、ピッチの割合（例えば上記のようにピッチ１及び２が選択された場合には０～５０％であることを示す「５０％」）、及び、ステップＳ１４０９で生成された時空間該当率を、判定結果テーブル１１３３に格納する（Ｓ１４１０）。

時空間判定部１１２２は、ステップＳ１４０３で分割されたピッチの集合の残りについても上記のステップＳ１４０４～Ｓ１４１０の処理を実行する。さらに、時空間判定部１１２２は、ピッチテーブル１１３１から抽出された全ての人物について上記の処理を実行する。

以上で時空間判定部１１２２の処理が終了する。

図１５は、実施例２に係る解析対象抽出部１１２３の処理を示すフローチャートである。

最初に、解析対象抽出部１１２３は、時空間制約テーブル１１３２を参照して、選択１１３２－２が「Ｔｒｕｅ」であるレコードを抽出する（Ｓ１５０１）。

次に、解析対象抽出部１１２３は、判定結果テーブル１１３３の全てのレコードを取得するまで、以下のステップＳ１５０２～Ｓ１５０３の処理を実行する。

まず、解析対象抽出部１１２３は、判定結果テーブル１１３３からまだ取得していないレコードを取得して、取得したレコードの時空間該当率１１３３－３の値が、取得したレコードに対応する時空間制約テーブル１１３２のレコードの時空間該当率１１３２－６の値以上であるかを判定する（Ｓ１５０２）。ここで、取得したレコードに対応する時空間制約テーブル１１３２のレコードとは、選択１１３２－２の値が「Ｔｒｕｅ」であり、かつ、ピッチ１１３２－３の値が取得したレコードのピッチ１１３３－２の値と同じであるレコードである。

取得したレコードの時空間該当率１１３３－３の値が、取得したレコードに対応する時空間制約テーブル１１３２のレコードの時空間該当率１１３２－６の値以上である場合（Ｓ１５０２：Ｙｅｓ）、解析対象抽出部１１２３は、取得したレコードの人物１１３３－１の値及びピッチ１１３３－２の値に対応する該当フラグを保持する（Ｓ１５０３）。

一方、取得したレコードの時空間該当率１１３３－３の値が、取得したレコードに対応する時空間制約テーブル１１３２のレコードの時空間該当率１１３２－６の値以上でない場合（Ｓ１５０２：Ｎｏ）、解析対象抽出部１１２３はステップＳ１５０３を実行しない。

判定結果テーブル１１３３の全てのレコードについて上記のステップＳ１５０２～Ｓ１５０３の処理が終了すると、解析対象抽出部１１２３は、対応する全てのピッチにおいて該当フラグが保持されている人物を保持する（Ｓ１５０４）。

ここで、図１２に示すような時空間制約テーブル１１３２が設定されている場合において、図１２に示すような判定結果テーブル１１３３が得られた場合のステップＳ１５０４を説明する。人物「Ｐ１」については、前半の時空間該当率１１３３－３が「１００％」であり、対応する閾値（すなわち時空間該当率１１３２－６の値）「９０％」以上であるが、後半の時空間該当率１１３３－３は「０％」であり、対応する閾値「８０％」より小さい。人物「Ｐ２」については、前半の時空間該当率１１３３－３「９６％」及び後半の時空間該当率１１３３－３「９０％」がいずれも対応する閾値以上である。人物「Ｐ３」については、前半の時空間該当率１１３３－３「０％」及び後半の時空間該当率１１３３－３「３％」がいずれも対応する閾値より小さい。このため、ステップＳ１５０４では人物「Ｐ２」が保持される。

次に、解析対象抽出部１１２３は、ステップＳ１５０４において保持した人物の識別情報が人物２３２－２として記録されているレコードを骨格座標テーブル２３２から抽出して（Ｓ１５０５）、それを解析対象テーブル２５１に格納する（Ｓ１５０６）。解析対象テーブル２５１は解析装置１００に送信され、解析ＤＢ２５０に格納される。

その後、解析対象抽出部２２３は、深度テーブル２３１、骨格座標テーブル２３２及び判定結果テーブル１１３３から、上記の処理が終了したレコードを消去する（Ｓ１５０７）。以上で解析対象抽出部２２３の処理が終了する。

図１６は、実施例２に係るＵ／Ｉ制御部１１４０の処理を示すフローチャートである。

Ｕ／Ｉ制御部１１４０は、処理を開始すると、まず時空間制約テーブル１１３２を参照し（Ｓ１６０１）、次に深度テーブル２３１及び骨格座標テーブル２３２を参照し（Ｓ１６０２）、次に制約設定画面を表示する（Ｓ１６０３）。制約設定画面の例については図１７を参照して後述する。

次に、Ｕ／Ｉ制御部１１４０は、制約設定画面を介して何らかの情報が入力されたかを判定し（Ｓ１６０４）、入力された場合（Ｓ１６０４：Ｙｅｓ）、入力された情報に従ってテーブルの内容を更新する（Ｓ１６０５）。

その後、Ｕ／Ｉ制御部１１４０は、制約設定画面を閉じる指示が入力されたかを判定し（Ｓ１６０６）、入力されなければ（Ｓ１６０６：Ｎｏ）ステップＳ１６０４に戻る。制約設定画面を閉じる指示が入力された場合（Ｓ１６０６：Ｙｅｓ）、Ｕ／Ｉ制御部１１４０は処理を終了する。

図１７は、実施例２において表示される制約設定画面を示す。

図１７に示す制約設定画面１７００は、出力装置１１６によって表示される画面であり、時空間該当率設定部１７０１、ピッチ分割数設定部１７０２、ピッチ選択部１７０３、空間指定部１７０４、設定ボタン１７０８及び閉じるボタン１７０９を含む。

時空間該当率設定部１７０１は、それぞれの動きの種別（例えば自然歩行、ニーベント歩行及びカーフレーズ歩行等）ごと、及び、その動きが行われた期間をピッチ数の割合（例えば０～５０％及び５０～１００％等）に基づいて分割した部分ごとの時空間該当率１１３２－６を設定するための領域である。ユーザは、この領域に、所望の時空間該当率の閾値を入力することができる。

ピッチ分割数設定部１７０２は、周期性のある動きが行われた期間をいくつの部分に分割するかを設定するための領域である。ユーザは、この領域に、所望の分割数を入力することができる。

ピッチ選択部１７０３は、どの種別の動きのピッチを選択するかを設定するための領域である。例えば、ユーザは、時空間該当率設定部１７０１においていずれかの動きの種別を設定して、ピッチ選択部１７０３において選択の入力をすると、その動きの種別に対応する選択１１３２－２が「Ｔｒｕｅ」に設定される。

空間指定部１７０４は、時空間制約テーブル１１３２の縦範囲１１３２－４及び横範囲１１３２－５を設定するための領域である。この領域には、例えば、撮影装置１１７が解析対象の人物１７０６の動きを撮影するための空間の平面図が表示されてもよい。図１７の例では、撮影装置１１７、撮影装置１１７による撮影範囲１７０５が表示されている。ユーザが入力装置１１５を操作して例えば空間の制約を示す矩形１７０７の位置及び大きさを設定することによって、その矩形１７０７によって区切られる空間内の縦範囲１１３２－４及び横範囲１１３２－５を設定することができる。

ユーザが上記の領域に所望の情報を入力して設定ボタン１７０８を操作すると、入力された情報が時空間制約テーブル１１３２に反映される。また、ユーザが閉じるボタン１７０９を操作すると、制約設定画面１７００が閉じる。

実施例１では説明を省略したが、実施例１の時間制約テーブル２４１及び空間制約テーブル２４２の内容も上記と同様に画面を通じたＵ／Ｉによって設定することができる。

以上の本発明の実施例によれば、計測データの時間と空間との関係性の該当率を閾値判定することで、システムが想定する計測プロトコルに則らない動作を概ね除去することができる。これによって、計測誤差及び映り込みのノイズが多い環境下でも、解析手法に影響を与えることなく必要な計測データを抽出することが可能となる。

上記の本発明の実施形態は、次のような例を含む。

（１）プロセッサ（例えばプロセッサ１１１）と、記憶部（例えばメモリ１１２及び記憶装置１１３の少なくとも一方）と、を有する計測装置（例えば計測装置１１０）であって、記憶部は、撮影装置（例えば撮影装置１１７）によって取得された時刻ごとの計測データ（例えば深度テーブル２３１）と、時空間の制約（例えば時間制約テーブル２４１及び空間制約テーブル２４２、又は、時空間制約テーブル１１３２）と、を保持する。プロセッサは、時刻ごとの計測データから物体の位置を抽出し（例えば骨格座標推定部２１２の処理）、物体が時空間の制約を満たすかを判定し（例えば時間判定部及び空間判定部の処理、又は、時空間判定部の処理）、物体が時空間の制約を満たすかの判定の結果に基づいて、物体が解析対象かを判定する（例えば解析対象抽出部２２３又は解析対象抽出部１１２３の処理）。

これによって、計測誤差及び映り込みのノイズが多い環境下でも、解析手法に影響を与えることなく必要な計測データを抽出することが可能となる。

（２）上記（１）において、時空間の制約は、時間の制約（例えば時間制約テーブル２４１）及び空間の制約（例えば空間制約テーブル２４２）を含んでもよい。プロセッサは、物体が時間の制約を満たすかを判定し（例えば時間判定部２２１の処理）、物体が空間の制約を満たすかを判定し（例えば空間判定部２２２の処理）、物体が時間の制約を満たすかの判定及び物体が空間の制約を満たすかの判定の結果に基づいて、物体が解析対象かを判定してもよい。

（３）上記（２）において、時間の制約は、時間の範囲（例えば開始時２４１－１及び終了時２４１－２）を含んでもよい。プロセッサは、物体の位置が抽出された計測データに対する、時刻が時間の範囲に含まれる計測データの割合である時間該当率（例えば時間該当率２４３－２）を計算し、時間該当率に基づいて、物体が時間の制約を満たすかを判定してもよい。

（４）上記（３）において、時間の制約は、時間該当率の閾値（例えば時間率２４１－３）を含んでもよい。プロセッサは、時間該当率が時間該当率の閾値以上である場合に、物体が時間の制約を満たすと判定してもよい。

（５）上記（２）において、空間の制約は、撮影装置によって撮影される空間に含まれる空間の範囲（例えば縦範囲２４２－１及び横範囲２４２－２）を含んでもよい。プロセッサは、物体の位置が抽出された計測データに対する、物体の位置が空間の範囲に含まれる前記計測データの割合である空間該当率（例えば空間該当率２４３－３）を計算し、空間該当率に基づいて、物体が空間の制約を満たすかを判定してもよい。

（６）上記（５）において、空間の制約は、空間該当率の閾値（例えば空間率２４２－３）を含んでもよい。プロセッサは、空間該当率が空間該当率の閾値以上である場合に、物体が空間の制約を満たすと判定してもよい。

上記（２）～（６）によれば、物体が時間の制約及び空間の制約のそれぞれを満たしているかを判断して、解析対象であるかを判定することができる。それぞれの制約を独立に設定することで、状況に応じた柔軟な判定をすることができる。

（７）上記（１）において、時空間の制約は、計測データに基づいて時間の範囲を特定する条件（例えば時空間制約テーブル１１３２の種別１１３２－１～ピッチ１１３２－３）と、時間の範囲に対応する空間の範囲（例えば縦範囲１１３２－４及び横範囲１１３２－５）と、を含んでもよい。プロセッサは、条件に基づいて特定された時間の範囲内の計測データに対する、物体の位置が空間の範囲に含まれる計測データの割合である時空間該当率（例えば時空間該当率１１３３－３）を計算し（例えば時空間判定部１１２２の処理）、時空間該当率に基づいて、物体が時空間の制約を満たすかを判定してもよい。

（８）上記（７）において、時空間の制約は、時空間該当率の閾値（例えば時空間該当率１１２３－６）を含んでもよい。プロセッサは、時空間該当率が時空間該当率の閾値以上である場合に、物体が時空間の制約を満たすと判定してもよい。

（９）上記（８）において、物体は人物であり、

計測データに基づいて時間の範囲を特定する条件は、人物の動きの種類を選択する情報（例えば種別１１３２－１及び選択１１３２－２）を含み、

条件に基づいて特定された時間の範囲は、計測データに基づいて特定された、選択された人物の動きが行われた期間（例えばピッチ１１３２－３の値に該当するピッチ１１３１－２の開始時刻１１３１－３及び終了時刻１１３１－４によって特定される期間）であってもよい。

（１０）上記（９）において、計測データに基づいて時間の範囲を特定する条件は、人物の周期性のある動きの種類を選択する情報（例えば種別１１３２－１及び選択１１３２－２）と、周期性のある動き（例えば歩行など）が行われた期間を複数の時間の範囲に分割するために周期（例えばピッチ）の数の割合を指定する情報（例えばピッチ１１３２－３）とを含み、時間の範囲に対応する空間の範囲及び時空間該当率の閾値は、時間の範囲ごと（例えばピッチ１１３２－３の値ごと）に設定されてもよい。プロセッサは、計測データに基づいて、周期性のある動きが行われた期間（例えばピッチテーブル１１３０に格納された一人の人物の全ピッチのうち最初のピッチの開始時刻１１３１－３から最後のピッチの終了時刻１１３１－４までの期間）を、指定された周期の数の割合に応じて（例えば０～５０％に相当する前半２ピッチの期間と５０～１００％に相当する後半２ピッチの期間などに）分割することによって、複数の時間の範囲を特定し、特定された時間の範囲ごとに、時空間該当率を計算してもよい。

上記（７）～（１０）によれば、物体の動きに応じて適切に時間の範囲を特定することができるため、適切に解析対象であるかの判定を行うことができる。

（１１）上記（１）において、物体は人物であってもよい。プロセッサは、人物の１以上の関節の位置（例えば骨格座標テーブル２３２の各関節の座標値）を物体の位置として抽出し、計測データから抽出された、解析対象であると判定された人物の１以上の関節の位置を、解析対象のデータ（例えば解析対象テーブル２５１）として出力してもよい。

（１２）上記（１１）において、撮影装置は、計測データとして深度データを取得する深度カメラであり、プロセッサは、深度データに基づいて人物の１以上の関節の位置を抽出してもよい。

（１３）上記（１１）において、撮影装置は、計測データとして可視光又は不可視光による映像データを取得するカメラであってもよい。プロセッサは、映像データに基づいて人物の１以上の関節の位置を抽出してもよい。

上記（１１）～（１３）によれば、解析対象の人物以外の人物が写りこんでいる可能性がある映像から、解析対象の人物を抽出することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶デバイス、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。

また、制御線及び情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

１００ 解析装置
１０１、１１１ プロセッサ
１０２、１１２ メモリ
１０３、１１３ 記憶装置
１０４、１１４ ネットワークインターフェース
１１０ 計測装置
１１５ 入力装置
１１６ 出力装置
１１７ 撮影装置
１２０ ネットワーク

Claims (13)

1. プロセッサと、記憶部と、を有する計測装置であって、
   前記記憶部は、撮影装置によって取得された時刻ごとの計測データと、時空間の制約と、を保持し、
   前記プロセッサは、
   前記時刻ごとの計測データから物体の位置を抽出し、
   前記物体が前記時空間の制約を満たすかを判定し、
   前記物体が前記時空間の制約を満たすかの判定の結果に基づいて、前記物体が解析対象かを判定し、
   前記物体は人物であり、
   前記プロセッサは、
   前記人物の１以上の関節の位置を前記物体の位置として抽出し、
   前記計測データから抽出された、前記解析対象であると判定された人物の前記１以上の関節の位置を、解析対象のデータとして出力することを特徴とする計測装置。
2. 請求項１に記載の計測装置であって、
   前記時空間の制約は、時間の制約及び空間の制約を含み、
   前記プロセッサは、
   前記物体が前記時間の制約を満たすかを判定し、
   前記物体が前記空間の制約を満たすかを判定し、
   前記物体が前記時間の制約を満たすかの判定及び前記物体が前記空間の制約を満たすかの判定の結果に基づいて、前記物体が解析対象かを判定することを特徴とする計測装置。
3. 請求項２に記載の計測装置であって、
   前記時間の制約は、時間の範囲を含み、
   前記プロセッサは、
   前記物体の位置が抽出された前記計測データに対する、前記時刻が前記時間の範囲に含まれる前記計測データの割合である時間該当率を計算し、
   前記時間該当率に基づいて、前記物体が前記時間の制約を満たすかを判定することを特徴とする計測装置。
4. 請求項３に記載の計測装置であって、
   前記時間の制約は、前記時間該当率の閾値を含み、
   前記プロセッサは、前記時間該当率が前記時間該当率の閾値以上である場合に、前記物体が前記時間の制約を満たすと判定することを特徴とする計測装置。
5. 請求項２に記載の計測装置であって、
   前記空間の制約は、前記撮影装置によって撮影される空間に含まれる空間の範囲を含み、
   前記プロセッサは、
   前記物体の位置が抽出された前記計測データに対する、前記物体の位置が前記空間の範囲に含まれる前記計測データの割合である空間該当率を計算し、
   前記空間該当率に基づいて、前記物体が前記空間の制約を満たすかを判定することを特徴とする計測装置。
6. 請求項５に記載の計測装置であって、
   前記空間の制約は、前記空間該当率の閾値を含み、
   前記プロセッサは、前記空間該当率が前記空間該当率の閾値以上である場合に、前記物体が前記空間の制約を満たすと判定することを特徴とする計測装置。
7. 請求項１に記載の計測装置であって、
   前記時空間の制約は、前記計測データに基づいて時間の範囲を特定する条件と、前記時間の範囲に対応する空間の範囲と、を含み、
   前記プロセッサは、前記条件に基づいて特定された時間の範囲内の前記計測データに対する、前記物体の位置が前記空間の範囲に含まれる前記計測データの割合である時空間該当率を計算し、
   前記時空間該当率に基づいて、前記物体が前記時空間の制約を満たすかを判定することを特徴とする計測装置。
8. 請求項７に記載の計測装置であって、
   前記時空間の制約は、前記時空間該当率の閾値を含み、
   前記プロセッサは、前記時空間該当率が前記時空間該当率の閾値以上である場合に、前記物体が前記時空間の制約を満たすと判定することを特徴とする計測装置。
9. 請求項８に記載の計測装置であって、
   前記物体は人物であり、
   前記計測データに基づいて時間の範囲を特定する条件は、人物の動きの種類を選択する情報を含み、
   前記条件に基づいて特定された時間の範囲は、前記計測データに基づいて特定された、前記選択された人物の動きが行われた期間であることを特徴とする計測装置。
10. プロセッサと、記憶部と、を有する計測装置であって、
    前記記憶部は、撮影装置によって取得された時刻ごとの計測データと、時空間の制約と、を保持し、
    前記時空間の制約は、前記計測データに基づいて時間の範囲を特定する条件と、前記時間の範囲に対応する空間の範囲と、時空間該当率の閾値と、を含み、
    前記時空間該当率は、前記条件に基づいて特定された時間の範囲内の前記計測データに対する、物体の位置が前記空間の範囲に含まれる前記計測データの割合であり、
    前記プロセッサは、
    前記時刻ごとの計測データから物体の位置を抽出し、
    前記時空間該当率を計算し、前記時空間該当率が前記時空間該当率の閾値以上である場合に、前記物体が前記時空間の制約を満たすと判定し、
    前記物体が前記時空間の制約を満たすかの判定の結果に基づいて、前記物体が解析対象かを判定し、
    前記物体は人物であり、
    前記計測データに基づいて時間の範囲を特定する条件は、人物の動きの種類を選択する情報を含み、
    前記条件に基づいて特定された時間の範囲は、前記計測データに基づいて特定された、前記選択された人物の動きが行われた期間であり、
    前記計測データに基づいて時間の範囲を特定する条件は、人物の周期性のある動きの種類を選択する情報と、前記周期性のある動きが行われた期間を複数の前記時間の範囲に分割するために周期の数の割合を指定する情報とを含み、
    前記時間の範囲に対応する空間の範囲及び前記時空間該当率の閾値は、前記時間の範囲ごとに設定され、
    前記プロセッサは、前記時空間該当率を計算する手順において、
    前記計測データに基づいて、前記周期性のある動きが行われた期間を、前記指定された周期の数の割合に応じて分割することによって、前記複数の時間の範囲を特定し、
    前記特定された時間の範囲ごとに、前記時空間該当率を計算することを特徴とする計測装置。
11. 請求項１に記載の計測装置であって、
    前記撮影装置は、前記計測データとして深度データを取得する深度カメラであり、
    前記プロセッサは、前記深度データに基づいて前記人物の１以上の関節の位置を抽出することを特徴とする計測装置。
12. 請求項１に記載の計測装置であって、
    前記撮影装置は、前記計測データとして可視光又は不可視光による映像データを取得するカメラであり、
    前記プロセッサは、前記映像データに基づいて前記人物の１以上の関節の位置を抽出することを特徴とする計測装置。
13. プロセッサと、記憶部と、を有する計測装置が実行する計測方法であって、
    前記記憶部は、撮影装置によって取得された時刻ごとの計測データと、時空間の制約と、を保持し、
    前記計測方法は、
    前記プロセッサが、前記時刻ごとの計測データから物体の位置を抽出する手順と、
    前記プロセッサが、前記物体が前記時空間の制約を満たすかを判定する手順と、
    前記プロセッサが、前記物体が前記時空間の制約を満たすかの判定の結果に基づいて、前記物体が解析対象かを判定する手順と、を含み、
    前記物体は人物であり、
    前記物体の位置を抽出する手順において、前記プロセッサは、前記人物の１以上の関節の位置を前記物体の位置として抽出し、
    前記計測方法は、さらに、前記プロセッサが、前記計測データから抽出された、前記解析対象であると判定された人物の前記１以上の関節の位置を、解析対象のデータとして出力する手順を含むことを特徴とする計測方法。

Images