JP6793151B2 - オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム - Google Patents

Description

本発明は、複数のオブジェクトが存在する空間を撮影した動画データから、オブジェクトの位置をトラッキングするオブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラムに関する。

従来、所定のエリア内に位置するオブジェクトの位置をトラッキングする技術がある（例えば、非特許文献１）。非特許文献１は、カーリング観戦において試合状況を把握するために、投球ごとにストーン位置を検出して、観客のスマートフォンに対して真上からのストーン位置情報を提供する。

徳永徹郎・外村喜秀・島村 潤、"カーリング競技におけるストーン位置検出システムの構築と評価"、２０１７年映像情報メディア学会 年次大会、２０１７年

しかしながら、非特許文献１に記載の方法では、ストーンなどのオブジェクトの二次元位置をトラッキングすることは可能であるが、複数のオブジェクトを識別し、さらにそのオブジェクトの三次元位置を取得することができない。

従って本発明の目的は、複数のオブジェクトを識別してトラッキング可能なオブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラムを提供することである。

上記課題を解決するために、本発明の第１の特徴は、複数のオブジェクトが存在する空間を撮影した動画データから、オブジェクトの位置をトラッキングするオブジェクトトラッキング装置に関する。本発明の第１の特徴に係るオブジェクトトラッキング装置は、複数のオブジェクトが存在する空間を撮影した動画データを構成する１つのフレームデータを取得するフレーム取得部と、複数のオブジェクトが存在した空間におけるオブジェクトを構成する点の三次元座標を測定した測定データを取得する距離取得部と、複数のオブジェクトのそれぞれのテンプレートデータとの比較に基づいて、フレームデータから、複数のオブジェクトそれぞれの二次元位置を検出するオブジェクト位置検出部と、測定データから、複数のオブジェクトの複数の三次元位置を検出するオブジェクト距離検出部と、オブジェクト位置検出部が出力した二次元位置に、オブジェクト距離検出部が出力した複数の三次元位置のうちより近い三次元位置を対応付ける対応付け部を備え、動画データを構成する他のフレームデータについて、距離取得部、オブジェクト位置検出部、オブジェクト距離検出部および対応付け部の処理を繰り返す。

オブジェクトの二次元位置から、オブジェクトの特定部位の二次元位置を検出する特定部位位置検出部と、オブジェクトの三次元位置から、オブジェクトの特定部位の三次元位置を検出する特定部位距離検出部と、特定部位の二次元位置と、特定部位の三次元位置から、オブジェクトの状態を推定する状態推定部をさらに備えても良い。

対応付け部は、所定の二次元位置に近い三次元位置が複数ある場合、処理対象のフレームの他のフレームの処理結果を参照して、所定の二次元位置により近い三次元位置を特定しても良い。

本発明の第２の特徴は、複数のオブジェクトが存在する空間を撮影した動画データから、オブジェクトの位置をトラッキングするオブジェクトトラッキング方法に関する。本発明の第２の特徴に係るオブジェクトトラッキング方法は、コンピュータが、複数のオブジェクトが存在する空間を撮影した動画データを構成する１つのフレームデータを取得するステップと、コンピュータが、複数のオブジェクトが存在した空間におけるオブジェクトを構成する点の三次元座標を測定した測定データを取得するステップと、コンピュータが、複数のオブジェクトのそれぞれのテンプレートデータとの比較に基づいて、フレームデータから、複数のオブジェクトそれぞれの二次元位置を検出するステップと、コンピュータが、測定データから、複数のオブジェクトの複数の三次元位置を検出するステップと、コンピュータが、二次元位置を検出するステップが出力した二次元位置に、三次元位置を検出するステップが出力した複数の三次元位置のうちより近い三次元位置を対応付けるステップを備え、コンピュータが、各ステップを繰り返す。

コンピュータが、オブジェクトの二次元位置から、オブジェクトの特定部位の二次元位置を検出するステップと、コンピュータが、オブジェクトの三次元位置から、オブジェクトの特定部位の三次元位置を検出するステップと、コンピュータが、特定部位の二次元位置と、特定部位の三次元位置から、オブジェクトの状態を推定するステップをさらに備えても良い。

対応付けるステップは、所定の二次元位置に近い三次元位置が複数ある場合、処理対象のフレームの他のフレームの処理結果を参照して、所定の二次元位置により近い三次元位置を特定しても良い。

本発明の第３の特徴は、コンピュータに、本発明の第１の特徴に記載のオブジェクトトラッキング装置として機能させるためのオブジェクトトラッキングプログラムに関する。

本発明によれば、複数のオブジェクトを識別してトラッキング可能なオブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラムを提供することができる。

本発明の実施の形態に係るオブジェクトトラッキングシステムのシステム構成を説明する図である。 本発明の実施の形態に係るオブジェクトトラッキング装置のハードウエア構成と機能ブロックを説明する図である。 本発明の実施の形態に係る二次元位置データのデータ構造とデータの一例を説明する図である。 本発明の実施の形態に係る三次元位置データのデータ構造とデータの一例を説明する図である。 本発明の実施の形態に係る対応付けデータのデータ構造とデータの一例を説明する図である。 本発明の実施の形態に係るトラッキングデータのデータ構造とデータの一例を説明する図である。 本発明の実施の形態において、フレームデータにおけるオブジェクトの位置を説明する図である。 本発明の実施の形態において、測定データにおけるオブジェクトの位置を説明する図である。 本発明の実施の形態に係るオブジェクトトラッキング方法を説明するフローチャートである。 本発明の変形例に係るオブジェクトトラッキング装置のハードウエア構成と機能ブロックを説明する図である。

次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。

（オブジェクトトラッキングシステム）
図１を参照して、本発明の実施の形態に係るオブジェクトトラッキングシステム５を説明する。オブジェクトトラッキングシステム５は、オブジェクトトラッキング装置１、撮影装置２および距離測定装置３を備える。オブジェクトトラッキングシステム５は、舞台や試合会場等の対象空間に位置する複数のオブジェクトをそれぞれ識別してトラッキングする。

本発明の実施の形態においてオブジェクトは、柔道の競技を行うオブジェクトＡおよびオブジェクトＢの各人物であるが、これに限られない。オブジェクトは、演劇等のその他の動作を行う人物であっても良い。またオブジェクトは、例えば動物やロボットなどの動体であっても良いし、舞台設備等の静体であっても良い。

オブジェクトトラッキング装置１は、複数のオブジェクトが存在する空間を撮影した動画データから、オブジェクトの位置をトラッキングするコンピュータである。オブジェクトトラッキング装置１は、複数のオブジェクトをそれぞれ特定して、各オブジェクトの動きを追跡する。

撮影装置２は、例えば動画撮影に用いるカメラであって、複数のオブジェクトが存在する対象空間を撮影して、動画データをオブジェクトトラッキング装置１に出力する。撮影装置２が出力する動画データは、複数の時系列のフレームデータで構成され、各フレームデータは、ピクセル毎にＲＧＢ等の色情報を含む。撮影装置２は、複数のオブジェクトが存在する対象空間を撮影できればよく、一つのカメラで構成されても良いし、複数のカメラで構成されても良い。複数のカメラで撮影された場合、同時刻に撮影されたフレームを合成して生成された動画データを、オブジェクトトラッキング装置１が処理する。

距離測定装置３は、複数のオブジェクトが存在する対象空間を撮影して、複数のオブジェクトの三次元位置を測定する。距離測定装置３は、例えば三次元位置が測定可能なＬｉＤＡＲ（Light Detection and Ranging）、ステレオカメラである。距離測定装置３は、対象空間上のオブジェクトの位置を、三次元座標（ｘ，ｙ，ｚ）の位置情報を有する点群で表した測定データを出力する。距離測定装置３は、複数のオブジェクトが存在する対象空間を測定できればよく、一つの装置で構成されても良いし、複数の装置で構成されても良い。複数の装置で測定された場合、オブジェクトトラッキング装置１は、同時刻に測定された測定結果を合成して生成された測定データを、処理する。

（オブジェクトトラッキング装置）
図２を参照して、本発明の実施の形態に係るオブジェクトトラッキング装置１を説明する。オブジェクトトラッキング装置１は、記憶装置１０および処理装置３０を備える一般的なコンピュータである。一般的なコンピュータがオブジェクトトラッキングプログラムを実行することにより、図２に示す機能を実現する。また図２に示さないが、撮影装置２および距離測定装置３からデータを受信するための入出力インタフェース等を備えても良い。

記憶装置１０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random access memory）、ハードディスク等であって、処理装置３０が処理を実行するための入力データ、出力データおよび中間データなどの各種データを記憶する。処理装置３０は、ＣＰＵ（Central Processing Unit）であって、記憶装置１０に記憶されたデータを読み書きしたり、入出力インタフェースとデータを入出力したりして、オブジェクトトラッキング装置１における処理を実行する。

記憶装置１０は、フレームデータ１１、測定データ１２、二次元位置データ１３、三次元位置データ１４、対応付けデータ１５およびトラッキングデータ１６を記憶する。

フレームデータ１１は、撮影装置２が撮影した動画データを構成する１つのフレームデータである。

測定データ１２は、距離測定装置３が撮影した測定結果のうち、フレームデータ１１と同一時刻の測定結果のデータである。

二次元位置データ１３は、フレームデータ１１から特定した各オブジェクトの二次元位置のデータである。二次元位置データ１３は、例えば図３に示すように、オブジェクトの識別子に、そのオブジェクトの二次元位置を対応付けたデータである。二次元位置は、図７に示すように、各オブジェクトを囲う矩形の対角線上の角の二次元座標によって特定される。二次元位置データ１３におけるオブジェクトの識別子は、フレームデータ１１中のオブジェクトを識別するための識別子ではなく、選手名や選手番号など、そのオブジェクトが何であるかを含む特定のオブジェクトを示す識別子である。

三次元位置データ１４は、測定データ１２から特定したオブジェクトの三次元位置のデータである。なお三次元位置データ１４において、対象空間において２つのオブジェクトが存在することは確認できているが、オブジェクトが、オブジェクトＡであるかオブジェクトＢであるかは特定されていない。三次元位置データ１４は、例えば図４に示すように、任意に付されたオブジェクトの識別子を示すラベルに、そのオブジェクトの三次元位置を対応付けたデータである。三次元位置は、図８に示すように、測定データ１２から特定されたオブジェクトを囲う直方体形状のバウンディングボックスの対角線上の角の三次元座標によって特定される。なお図８に示す各点は、距離測定装置３による測定点であって、濃い点は、オブジェクトが存在すると測定された部分である。図８における各点は、測定点である三次元座標（ｘ，ｙ，ｚ）を二次元座標に変換したものであって、三次元位置データ１４を視覚的に示したものである。

対応付けデータ１５は、二次元位置データ１３で特定したオブジェクトの二次元位置と、三次元位置データ１４で特定したオブジェクトの三次元位置とを対応付けたデータである。対応付けデータ１５は、例えば図５に示すように、オブジェクトの識別子に、二次元位置と三次元位置とを対応付けたデータである。

トラッキングデータ１６は、対応付けデータ１５を、処理対象のフレームの識別子に対応付けたデータである。

処理装置３０は、フレーム取得部３１、距離取得部３２、オブジェクト位置検出部３３、オブジェクト距離検出部３４、対応付け部およびオブジェクトトラッキング部３８を備える。

フレーム取得部３１は、複数のオブジェクトが存在する空間を撮影した動画データを構成する１つのフレームデータ１１を取得する。本発明の実施の形態においてフレームデータ１１には、オブジェクトＡおよびオブジェクトＢが撮影されている。

距離取得部３２は、複数のオブジェクトが存在した空間におけるオブジェクトを構成する点の三次元座標を測定した測定データ１２を取得する。本発明の実施の形態において測定データ１２は、オブジェクトＡおよびオブジェクトＢの三次元位置の測定結果を含む。

オブジェクト位置検出部３３は、複数のオブジェクトのそれぞれのテンプレートデータとの比較に基づいて、フレームデータ１１から、複数のオブジェクトそれぞれの二次元位置を検出する。本発明の実施の形態においてテンプレートデータは、フレームデータ１１から各オブジェクトを特定するためのデータであって、オブジェクトＡおよびオブジェクトＢのそれぞれのオブジェクトの画像に基づいて生成される。オブジェクト位置検出部３３は、フレームデータ１１と各オブジェクトのテンプレートデータとマッチングして、フレームデータ１１におけるオブジェクトＡの二次元位置と、オブジェクトＢの二次元位置を特定し、二次元位置データ１３に出力する。あるいは、予め各オブジェクトの映像等のテンプレートデータを学習させた深層学習ネットワークを用意し、オブジェクト位置検出部３３は、この深層学習ネットワークにより、フレームデータ１１におけるオブジェクトＡの二次元位置と、オブジェクトＢの二次元位置を特定し、二次元位置データ１３に出力する。

オブジェクト位置検出部３３は、検出したオブジェクトを囲う矩形の対角線上の角の座標に基づいて特定する。オブジェクト位置検出部３３は、例えば、図７に示すように、フレームデータ１１中のオブジェクトＡの位置をＰＡ１（ｘ１，ｙ１）とＰＡ２（ｘ２，ｙ２）で特定し、オブジェクトＢの位置をＰＢ１（ｘ３，ｙ３）とＰＢ２（ｘ４，ｙ４）で特定する。オブジェクト位置検出部３３は、オブジェクトＡの識別子と、位置ＰＡ１およびＰＡ２の各座標を対応付けるとともに、オブジェクトＢの識別子と、位置ＰＢ１およびＰＢ２の各座標を対応付けて、二次元位置データ１３を生成する。

オブジェクト距離検出部３４は、測定データ１２から、複数のオブジェクトの複数の三次元位置を検出する。オブジェクト距離検出部３４は、距離測定装置３が出力した測定データ１２から、オブジェクトを検出する。なお、オブジェクト距離検出部３４は、任意のオブジェクトの位置を特定するに留まり、オブジェクトがどのオブジェクトであるか（オブジェクトＡであるのかオブジェクトＢであるのか）までは特定しない。

オブジェクト距離検出部３４は、対象空間上の測定データ１２が示す点群をユークリッド距離でクラスタリングする。オブジェクト距離検出部３４は、クラスタリングの結果得られるオブジェクトの位置を囲うバウンディングボックスを求める。この結果、対象空間に位置するオブジェクトの数のバンディングボックスが求められる。本発明の実施の形態において、図８に示す左側の点群のオブジェクトをオブジェクトＭと称し、右側の店群のオブジェクトをオブジェクトＮと称して、各オブジェクトに任意のラベルを付す。オブジェクト距離検出部３４は、オブジェクトＭのバウンディングボックスを規定する３次元座標をＰＭ１（Ｘ１，Ｙ１，Ｚ１）およびＰＭ２（Ｘ２，Ｙ２，Ｚ２）と特定し、オブジェクトＮのバウンディングボックスを規定する３次元座標をＰＮ１（Ｘ３，Ｙ３，Ｚ３）およびＰＮ２（Ｘ４，Ｙ４，Ｚ４）と特定する。オブジェクト距離検出部３４は、オブジェクトＭの識別子と、位置ＰＭ１およびＰＭ２の各座標を対応付けるとともに、オブジェクトＮの識別子と、位置ＰＮ１およびＰＮ２の各座標を対応付けて、三次元位置データ１４を生成する。

対応付け部３５は、二次元位置データ１３と三次元位置データ１４の位置合わせを行った後、オブジェクト位置検出部３３が出力した二次元位置に、オブジェクト距離検出部３４が出力した複数の三次元位置のうちより近い三次元位置を対応付ける。対応付け部３５は、位置合わせ部３６と選択部３７を備える。

位置合わせ部３６は、いわゆるキャリブレーションによって、二次元位置データ１３と三次元位置データ１４の座標を合わせる。位置合わせ部３６は、例えば、キャリブレーション点を取得しやすいチェッカーボードなどをあらかじめ対象空間上に置いた状態で撮影装置２と距離測定装置３により撮影をし、その画像を用いる方法がある。具体的な処理は、三次元座標点（距離測定装置３で取得した座標点）に対応する撮影装置２の座標点を取得し、撮影装置２の内部パラメータと外部パラメータを計算することで、撮影装置２と距離測定装置３の座標点を対応付けることが可能になる（例えばhttp://opencv.jp/opencv-2.1/cpp/camera_calibration_and_3d_reconstruction.html参照）。撮影装置２と距離測定装置３の設置位置が変わらない限り本パラメータは同じ値を利用可能なので、フレーム画像それぞれに対して同じパラメータを適用可能である。また、撮影装置２と距離測定装置３の三次元的な位置関係は既知であることから、出力結果となる座標は、撮影装置２の撮影範囲、距離測定装置３の測定範囲、対象空間上などの、任意の点を原点としても良い。

選択部３７は、オブジェクト位置検出部３３が出力した二次元位置に、オブジェクト距離検出部３４が出力した複数の三次元位置のうちより近い三次元位置を対応付けて、対応付けデータ１５を出力する。本発明の実施の形態において選択部３７は、オブジェクト位置検出部３３が検出したオブジェクトＡおよびオブジェクトＢのそれぞれの位置と、オブジェクト距離検出部３４が検出した２つのオブジェクトの位置とを比較して、それぞれ近い座標を対応付ける。本発明の実施の形態に係る選択部３７は、図８に示すオブジェクトＭは、図７に示すオブジェクトＡに対応付けられ、図８に示すオブジェクトＮは、図７に示すオブジェクトＢに対応付けられる。選択部３７は、対応付けデータ１５において、オブジェクトＡの二次元座標に、オブジェクトＭの三次元座標を対応付けるとともに、オブジェクトＢの二次元座標に、オブジェクトＮの三次元座標を対応付ける。

選択部３７は、例えば座標点２点から求められる閉領域（オブジェクトを囲う矩形またはバウンディングボックス）の重心点のユークリッド距離の近いものから選択する。あるいは選択部３７は、閉領域の重なりの多いものから選択する。選択部３７は、それぞれのオブジェクトの過去の位置情報を取得することで、それぞれのオブジェクトの現在の位置情報を予測する。選択部３７は、その予測の中でもっとも近い者同士のオブジェクトを対応付ける。

対応付け部３５は、これにより対象オブジェクトの位置を特定するとともに、その対象オブジェクトの三次元の位置を対応付けることができる。

選択部３７は、所定の二次元位置に近い三次元位置が複数ある場合、処理対象のフレームの他のフレームの処理結果を参照して、所定の二次元位置により近い三次元位置を特定する。フレームデータ１１および測定データ１２からは、二次元位置と三次元位置の対応を決定できなかった場合、選択部３７は、過去に処理したフレームデータなどの他のフレームデータとその時点の測定結果から得られた対応付けに基づいて、二次元位置と三次元位置の対応付けを試みる。このとき選択部３７は、過去に処理した複数のフレームデータに関する処理結果に基づいて、各オブジェクトの動きを推測し、推測した動きも考慮して、二次元位置と三次元位置の対応付けを試みる。

オブジェクトトラッキング部３８は、動画データを構成する他のフレームデータについて、距離取得部３２、オブジェクト位置検出部３３、オブジェクト距離検出部３４および対応付け部３５の処理を繰り返す。オブジェクトトラッキング部３８は、フレーム取得部３１が取得したフレームデータ以外のフレームデータについても、距離取得部３２、オブジェクト位置検出部３３、オブジェクト距離検出部３４および対応付け部３５の処理を繰り返す。

オブジェクトトラッキング部３８は、現在撮影中の動画データについてリアルタイムに処理しても良いし、撮影済みの動画データについて処理しても良い。オブジェクトトラッキング部３８は、撮影装置２が撮影した動画データの各フレームデータについて、オブジェクトの位置を対応付けても良いし、所定のルールまたは頻度でフレームデータを間引きして処理対象のフレームデータを特定し、特定したフレームデータについてオブジェクトの位置を対応付けても良い。特に現在撮影中の動画データについてリアルタイムに処理する場合、オブジェクトトラッキング装置１、撮影装置２、距離測定装置３およびこれらの装置間の伝送速度等の制限に従って、フレームデータを間引きして処理しても良い。またオブジェクトトラッキング装置１の処理に時間がかかる場合、オブジェクトトラッキング装置１の処理が完了次第、完了時点の最新のフレームデータについて処理を行うようにしても良い。

（オブジェクトトラッキング方法）
図９を参照して、本発明の実施の形態に係るオブジェクトトラッキング方法を説明する。オブジェクトトラッキング方法は、所定のフレームデータについて、ステップＳ１ないしステップＳ８の処理を繰り返す。

ステップＳ１についてオブジェクトトラッキング装置１は、フレームデータ１１を取得し、ステップＳ２において、フレームデータと同タイミングの測定データ１２を取得する。

ステップＳ３においてオブジェクトトラッキング装置１は、ステップＳ１で取得したフレームデータ１１と、予め取得した各オブジェクトのテンプレートデータと比較する。オブジェクトトラッキング装置１は、フレームデータ１１における各オブジェクトの位置を特定し、二次元位置データ１３を生成する。

ステップＳ４においてオブジェクトトラッキング装置１は、ステップＳ２で取得した測定データ１２から、各オブジェクトの三次元位置を特定し、三次元位置データ１４を生成する。

ステップＳ５においてオブジェクトトラッキング装置１は、ステップＳ３で特定した各オブジェクトについて、ステップＳ４で特定した三次元位置との対応付けを行い、対応付けデータ１５を生成する。ここで、ステップＳ６において対応付けができたと判断される場合、ステップＳ８に進み、オブジェクトトラッキング装置１は、各オブジェクトの二次元位置と三次元位置を対応付けて、トラッキングデータ１６を出力する。

一方対応付けが出来なかったと判断する場合、ステップＳ７を参照して、直前のフレームデータなどの過去のフレームデータも参照して、各オブジェクトの動きを推測し、オブジェクトトラッキング装置１は、各オブジェクトについて三次元位置との対応付けを行う。ステップＳ８においてオブジェクトトラッキング装置１は、各オブジェクトの二次元位置と三次元位置を対応付けて、トラッキングデータ１６を出力する。

なお、図９に示した処理の順序は一例であって、これに限るものではない。例えば、ステップＳ１およびＳ３の処理と、ステップＳ２およびＳ４の処理を、同時に行っても良い。具体的にはオブジェクトトラッキング装置１は、ステップＳ１でフレームデータ１１を取得するとともに、ステップＳ２で測定データ１２を取得する。その後、ステップＳ３でフレームデータ１１から二次元位置データ１３を生成し、ステップＳ４で距離データ１２から三次元位置データ１４を生成する。ここで、ステップＳ３の処理とステップＳ４の処理が同時に行われても良い。またステップＳ６の対応付けの処理は、フレームデータ１１から生成された二次元位置データ１３と、このフレームデータ１１が取得された時刻により近いおよび測定データ１２から生成された三次元位置データ１４に対して、行われる。これにより、撮影中の動画データについてリアルタイムに処理する場合などにおいて、迅速に処理をすることができる。

このような本発明の実施の形態に係るオブジェクトトラッキング装置１は、撮影装置２から取得したフレームデータ１１から、オブジェクトの識別子と二次元位置を特定し、距離測定装置３から取得した測定データ１２から、オブジェクトの三次元位置を特定し、オブジェクトの二次元位置と三次元位置とを対応付けて、各オブジェクトの二次元位置と三次元位置を対応付ける。これにより、対象空間に複数のオブジェクトが存在する場合でも、各オブジェクトについて二次元位置と三次元位置を対応付けることができる。また複数のフレームデータについてこの処理を繰り返すことにより、各オブジェクトの位置をトラッキングすることができる。

また本発明の実施の形態に係るオブジェクトトラッキング装置１は、撮影装置２と距離測定装置３による入力の対応付けが難しい場合でも、過去のオブジェクトの位置の情報からオブジェクトの動きを推測することで、対応付けすることが可能になる。

（変形例）
本発明の実施の形態においては、オブジェクト全体の二次元位置と三次元位置を対応付ける場合を説明したが、変形例においてオブジェクトの特定部位について対応付けする場合を説明する。変形例に係るオブジェクトトラッキング装置１ａは、オブジェクトの複数の特定部位について、二次元位置と三次元位置を対応付けることにより、オブジェクトの姿勢等の状態を推測する。

図１０に示す変形例に係るオブジェクトトラッキング装置１ａは、図２に示す本発明の実施の形態に係るオブジェクトトラッキング装置１と比べて、記憶装置１０ａが、特定部位二次元位置データ２１、特定部位三次元位置データ２２、特定部位位置データ２３および状態推定データ２４を備える点が異なる。また処理装置３０ａが、特定部位位置検出部４１、特定部位距離検出部４２、特定部位選択部４３および状態推定部４４を備える点が異なる。

特定部位二次元位置データ２１は、二次元位置データ１３で特定したオブジェクトの位置のうち、このオブジェクトの特定部位に関する二次元位置データである。

特定部位三次元位置データ２２は、三次元位置データ１４に含まれるオブジェクトの位置のうち、このオブジェクトの特定部位に関する三次元位置データである。特定部位三次元位置データ２２はさらに、オブジェクトが床や壁などに接するなどの情報が取得された場合、このオブジェクトが接した位置の情報も含む。

特定部位位置データ２３は、特定部位二次元位置データ２１と特定部位三次元位置データ２２とをマージして生成されるデータである。特定部位位置データ２３は、オブジェクトの各特定部位の位置の情報が設定される。特定部位位置データ２３はさらに、特定部位三次元位置データ２２のオブジェクトが接した位置の情報も含む。

状態推定データ２４は、フレームデータ１１におけるオブジェクトの推測された状態を示すデータである。オブジェクトが床または壁などに接する場合、その床または壁などの位置情報を含んでも良い。

特定部位位置検出部４１は、オブジェクトの二次元位置から、オブジェクトの特定部位の二次元位置を検出する。特定部位位置検出部４１は、オブジェクト位置検出部３３が生成した二次元位置データ１３から、各オブジェクトの特定の部位を検出する。オブジェクトが人体の場合、投影部位は、頭、手、足、腕、重心点などの人体に含まれる部位である。

特定部位位置検出部４１がオブジェクトの部位を検出する方法は、コンピュータビジョンを用いた画像処理により検出しても良いし、深層学習手段を用いあらかじめオブジェクトの部位の映像を学習させ特定部位の領域を検出しても良い。また、OpenPoseなどの公開ライブラリを用い、オブジェクトの特定部位ツの接続情報を用いてそれぞれのパーツの位置を推定しても良い。

特定部位位置検出部４１は、フレームデータ１１に含まれるオブジェクトの数分（本発明の実施の形態ではオブジェクトＡおよびオブジェクトＢの２つ分）に対して、各特定部位の位置を検出する。特定部位位置検出部４１は、オブジェクトの識別子に、検出した特定部位の名称と、その位置を対応付けた特定部位二次元位置データ２１を生成する。

特定部位距離検出部４２は、オブジェクトの三次元位置から、オブジェクトの特定部位の三次元位置を検出する。特定部位距離検出部４２は、オブジェクト距離検出部３４が生成した三次元位置データ１４から、各オブジェクトの特定の部位を検出する。オブジェクトが人体の場合、投影部位は、頭、手、足、腕、重心点などの人体に含まれる部位である。

特定部位距離検出部４２がオブジェクトの部位を検出する方法は、例えばオブジェクトを囲うバウンディングボックスに含まれる点群の中から形状マッチングを行い、球体の形状に近いものを頭として検出するなど、各特定部位の形状に近い部分を検出しても良い。また、特定部位距離検出部４２は、対象空間の舞台の床や壁などの面をあらかじめ検出しておき、オブジェクトを囲うバウンディングボックスに含まれる点群中の点と面との距離がある閾値以下である場合、例えば足などのその箇所をオブジェクトが面に接する特定部位と判定しても良い。

なお、点群のデータの中から面を求める方法は、例えば、点群データの中からランダムで選んだ複数点の組みで法線ベクトルを求め、同じ方向を向いている法線ベクトルを計算し面を求める方法がある（Plane model segmentation（http://pointclouds.org/documentation/tutorials/planar_segmentation.php#planar-segmentation）参照）。その面が水平である場合舞台の床と判定し、垂直である場合、舞台の壁と判定しても良い。

特定部位距離検出部４２は、各特定部位の三次元位置と、オブジェクトが接する座標位置の情報を含ませて、特定部位三次元位置データ２２を生成する。

特定部位選択部４３は、特定部位二次元位置データ２１と特定部位三次元位置データ２２に含まれる特定部位の位置情報をマージして、特定部位位置データ２３を生成する。ここで、特定部位について、二次元位置と三次元位置の両方の位置情報がある場合、一方の位置情報のみを用いても良いし、両方の情報から生成される新たな位置情報を用いても良い。特定部位選択部４３は、特定部位三次元位置データ２２が含むオブジェクトが接する座標位置の情報を含ませて、特定部位位置データ２３を生成する。

状態推定部４４は、特定部位位置データ２３を参照して、特定部位の二次元位置と、特定部位の三次元位置から、オブジェクトの状態を推定する。状態推定部４４は、オブジェクトの各特定部位の位置情報から、オブジェクトの姿勢などの状態を推定する。状態推定部４４は、特定部位位置データ２３が示す、オブジェクトが床や壁に接する情報も加味して、オブジェクトの姿勢などの状態を推定しても良い。

状態推定部４４は、フレームデータ１１におけるオブジェクトの推測された状態を含む状態推定データ２４を生成する。状態推定部４４は、オブジェクトが床または壁などに接する場合、その床または壁などの位置情報を状態推定データ２４に含ませても良い。状態推定部４４は、状態推定データ２４において、各フレームデータ１１について推測された状態を、時系列に記憶しても良い。

人物のオブジェクトの姿勢を検出する方法として例えば、人体の骨格形状を木構造でモデル化し、それぞれの接続特性から姿勢を検出する方法がある（米本 悠・村崎 和彦・大澤 達哉・数藤恭子・島村 潤・谷口行・、一人称映像からの行動認識のための骨格推定、信学技報（2015-3）、PRMU2014-176）。この際、明らかに人物がとることのできない姿勢となる場合、人体の特定部位の情報を修正し、再度姿勢を検出する処理をしても良い。オブジェクトの姿勢の推定は、例えばあらかじめ様々な姿勢の情報を学習データとして用意し、それらの中から適した姿勢を選択し出力する方法が考えられる。

このような変形例に係るオブジェクトトラッキング装置１ａは、オブジェクトの複数の特定部位について、二次元位置と三次元位置を対応付けることにより、オブジェクトの姿勢等の状態を推測することができる。

例えば、柔道の試合を行っているオブジェクトＡおよびオブジェクトＢの姿勢をリアルタイムで自動的に認識できる。またオブジェクトの位置情報とその姿勢情報を用いて、例えば映像上にオブジェクトの位置や姿勢に合わせたエフェクトを追加することが可能である。またオブジェクトが柔道の試合中の人物の場合、各人物の状態に基づいて技の名称を特定し、特定された技の名称やその関連情報などを表示したりすることが可能となる。

（その他の実施の形態）
上記のように、本発明の実施の形態とその変形例によって記載したが、この開示の一部をなす論述および図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなる。

例えば、本発明の実施の形態に記載したオブジェクトトラッキング装置は、図２に示すように一つのハードウエア上に構成されても良いし、その機能や処理数に応じて複数のハードウエア上に構成されても良い。また、既存の動画処理システム上に実現されても良い。

本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

１ オブジェクトトラッキング装置
２ 撮影装置
３ 距離測定装置
５ オブジェクトトラッキングシステム
１０ 記憶装置
１１ フレームデータ
１２ 測定データ
１３ 二次元位置データ
１４ 三次元位置データ
１５ 対応付けデータ
１６ トラッキングデータ
２１ 特定部位二次元位置データ
２２ 特定部位三次元位置データ
２３ 特定部位位置データ
２４ 状態推定データ
３１ フレーム取得部
３２ 距離取得部
３３ オブジェクト位置検出部
３４ オブジェクト距離検出部
３５ 対応付け部
３６ 位置合わせ部
３７ 選択部
３８ オブジェクトトラッキング部
４１ 特定部位位置検出部
４２ 特定部位距離検出部
４３ 特定部位選択部
４４ 状態推定部

Claims (7)

1. 複数のオブジェクトが存在する空間を撮影した動画データから、前記オブジェクトの位置をトラッキングするオブジェクトトラッキング装置であって、
   前記複数のオブジェクトが存在する空間を撮影装置が撮影した動画データを構成する１つのフレームデータを取得するフレーム取得部と、
   前記複数のオブジェクトが存在した空間におけるオブジェクトを構成する点の三次元座標を距離測定装置が測定した測定データを取得する距離取得部と、
   前記複数のオブジェクトのそれぞれのテンプレートデータとの比較に基づいて、前記フレームデータから、前記複数のオブジェクトそれぞれの二次元位置を検出するオブジェクト位置検出部と、
   前記測定データから、前記複数のオブジェクトの複数の三次元位置を検出するオブジェクト距離検出部と、
   前記撮影装置と前記距離測定装置の座標点を対応付け、前記オブジェクト位置検出部が出力した前記二次元位置に、前記オブジェクト距離検出部が出力した前記複数の三次元位置のうちより近い三次元位置を対応付ける対応付け部を備え、
   前記動画データを構成する他のフレームデータについて、前記距離取得部、前記オブジェクト位置検出部、前記オブジェクト距離検出部および前記対応付け部の処理を繰り返す
   ことを特徴とするオブジェクトトラッキング装置。
2. 前記オブジェクトの二次元位置から、前記オブジェクトの特定部位の二次元位置を検出する特定部位位置検出部と、
   前記オブジェクトの三次元位置から、前記オブジェクトの特定部位の三次元位置を検出する特定部位距離検出部と、
   前記特定部位の二次元位置と、前記特定部位の三次元位置から、前記オブジェクトの状態を推定する状態推定部
   をさらに備えることを特徴とする請求項１に記載のオブジェクトトラッキング装置。
3. 前記対応付け部は、
   所定の二次元位置に近い三次元位置が複数ある場合、処理対象のフレームの他のフレームの処理結果を参照して、前記所定の二次元位置により近い三次元位置を特定する
   ことを特徴とする請求項１または２に記載のオブジェクトトラッキング装置。
4. 複数のオブジェクトが存在する空間を撮影した動画データから、前記オブジェクトの位置をトラッキングするオブジェクトトラッキング方法であって、
   コンピュータが、前記複数のオブジェクトが存在する空間を撮影装置が撮影した動画データを構成する１つのフレームデータを取得するステップと、
   前記コンピュータが、前記複数のオブジェクトが存在した空間におけるオブジェクトを構成する点の三次元座標を距離測定装置が測定した測定データを取得するステップと、
   前記コンピュータが、前記複数のオブジェクトのそれぞれのテンプレートデータとの比較に基づいて、前記フレームデータから、前記複数のオブジェクトそれぞれの二次元位置を検出するステップと、
   前記コンピュータが、前記測定データから、前記複数のオブジェクトの複数の三次元位置を検出するステップと、
   前記コンピュータが、前記撮影装置と前記距離測定装置の座標点を対応付け、前記二次元位置を検出するステップが出力した前記二次元位置に、前記三次元位置を検出するステップが出力した前記複数の三次元位置のうちより近い三次元位置を対応付けるステップを備え、
   前記コンピュータが、前記動画データを構成する他のフレームデータについて、前記各ステップを繰り返す
   ことを特徴とするオブジェクトトラッキング方法。
5. 前記コンピュータが、前記オブジェクトの二次元位置から、前記オブジェクトの特定部位の二次元位置を検出するステップと、
   前記コンピュータが、前記オブジェクトの三次元位置から、前記オブジェクトの特定部位の三次元位置を検出するステップと、
   前記コンピュータが、前記特定部位の二次元位置と、前記特定部位の三次元位置から、前記オブジェクトの状態を推定するステップ
   をさらに備えることを特徴とする請求項４に記載のオブジェクトトラッキング方法。
6. 前記対応付けるステップは、
   所定の二次元位置に近い三次元位置が複数ある場合、処理対象のフレームの他のフレームの処理結果を参照して、前記所定の二次元位置により近い三次元位置を特定する
   ことを特徴とする請求項４または５に記載のオブジェクトトラッキング方法。
7. コンピュータに、請求項１ないし請求項３のいずれか１項に記載のオブジェクトトラッキング装置として機能させるためのオブジェクトトラッキングプログラム。