JP6655513B2 - 姿勢推定システム、姿勢推定装置、及び距離画像カメラ - Google Patents

Description

本発明は、姿勢推定システム、姿勢推定装置、及び距離画像カメラに関する。

距離画像センサから取得した距離画像（「深度画像」ともいう）を用いて、人間等の対象の関節位置及び姿勢を推定する技術が知られている。例えば、特許文献１には、深度カメラを使ってゲームプレーヤーの動きを認識するコンピュータゲーミングシステムが記載されている。また例えば、特許文献２には、深度カメラからの深度画像を処理して各画素が関連付けられる体の部位の確率を計算し、画素から構成される体の部位を処理して体の部位の関節を決定する姿勢推定について記載されている。特許文献１や特許文献２に記載されているようなコンピュータシステムは、１台の深度カメラから送られる距離画像を処理するために十分な処理能力を持って入ればよい。

米国特許第８２９５５４６号明細書 米国特許第８５０３７２０号明細書

ところで、様々な場所に設置した多数の距離画像カメラと、これらの距離画像カメラにネットワークを介して接続される遠隔サーバ装置とを用意し、この遠隔サーバ装置で各距離画像センサから受信した各距離画像から対象の姿勢推定を実行する、コンピュータシステム（例えば監視システム）が望まれている。このようなコンピュータシステムでは、多量の距離画像データによってネットワークの通信負荷が増大するとともに、遠隔サーバ装置の処理負荷が増大してしまう（あるいは非常に処理能力の高いコンピュータを用意する必要がある）。また、遠隔サーバ装置が実行する姿勢推定の方法も、多量の距離画像データを効率的に処理できるように改善する必要がある。

本発明は、距離画像カメラから送信される距離画像を用いて対象の姿勢推定を行うコンピュータシステムの処理負荷を低減することを目的とする。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。

上記の課題を解決する本発明の一態様は、距離画像カメラと、前記距離画像カメラとネットワークを介して接続される姿勢推定装置とを含む姿勢推定システムであって、前記距離画像カメラは、距離画像センサから取得した入力距離画像から前景画素を含む領域を抽出し、前記抽出した領域を含む距離画像を生成する距離画像生成部と、前記生成された距離画像を前記姿勢推定装置に送信する通信部と、を備え、前記姿勢推定装置は、前記距離画像カメラから前記距離画像を受信する距離画像受信部と、前記受信された距離画像を用いて、前記前景画素に含まれる１つ以上の関節位置を識別し、前記識別された１つ以上の関節位置を含む推定姿勢情報を生成する姿勢推定部と、前記生成された推定姿勢情報を出力する出力部と、を備える。

本発明の一態様によれば、距離画像カメラから送信される距離画像を用いて対象の姿勢推定を行うコンピュータシステムの処理負荷を低減することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の第１実施形態に係る、姿勢推定システムのシステム構成例を示す図である。 本発明の第１実施形態に係る、距離画像カメラ及び姿勢推定装置の機能構成例を示す図である。 本発明の第１実施形態に係る、姿勢推定装置を実現するコンピュータのハードウェア構成例を示す図である。 本発明の第１実施形態に係る、姿勢推定システムの処理例を示すフローチャートである。 本発明の第１実施形態に係る、前景画素を抽出する方法の例を説明する図である。 本発明の第１実施形態に係る、姿勢推定装置の姿勢推定処理の一例を示すフローチャートである。 本発明の第２実施形態に係る、姿勢推定システムの処理例を示すフローチャートである。 本発明の第２実施形態に係る、前景画素領域を切り出す方法の例を説明する図である。 本発明の第２実施形態に係る、前景画素領域を切り出す方法の他の例を説明する図である。 本発明の第３実施形態に係る、姿勢推定装置の機能構成例を示す図である。 本発明の第３実施形態に係る、姿勢推定装置の姿勢推定処理の一例を示すフローチャートである。 本発明の第３実施形態に係る、特徴量を算出する方法の例を説明する図である。 本発明の第４実施形態に係る、距離画像カメラ及び姿勢推定装置の機能構成例を示す図である。 本発明の第４実施形態に係る、姿勢推定システムの処理例を示すフローチャートである。 本発明の第４実施形態に係る、前景画素領域を切り出す方法の例を説明する図である。 本発明の第４実施形態に係る、前景画素領域を切り出す方法の他の例を説明する図である。 本発明の実施形態の変形例に係る、識別器を選択する方法の例を説明する図である。

以下、本発明の複数の実施形態について、図面を参照して説明する。

［第１実施形態］
図１は、第１実施形態に係る、姿勢推定システムのシステム構成例を示す図である。姿勢推定システムは、１台以上の距離画像カメラ１と、１台の姿勢推定装置２とを含む。各距離画像カメラ１と姿勢推定装置２は、ネットワークＮを介して接続され、互いに通信することができる。ネットワークＮは、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、ＷＡＮ（Wide Area Network）、モバイル通信網、インターネット等の電気通信網であり、これらの２つ以上を組み合わせてもよい。

距離画像カメラ１は、人間等の対象が存在する対象空間の距離画像を撮像する撮像装置である。距離画像（「深度画像」ともいう）とは、画像中の各画素に、その階調情報（例えば、ＲＧＢ）に加え深さ方向の距離情報が所定のスケーリングで記録された画像である。距離画像カメラ１は、例えばＴＯＦ（Time of Flight）方式のカメラであるが、距離画像を出力できれば、例えば可視光により撮像する２つの光学系を備えたステレオカメラ等の他の方式のカメラであってもよい。距離画像カメラは、距離画像センサと呼んでもよい。

本実施形態の距離画像カメラ１は、背景画素の階調情報及び距離情報に所定値（例えば「１」）を設定することにより、撮像した距離画像から背景を消去し、前景画素を含む距離画像を姿勢推定装置２に送信する。前景画素とは、人間や当該人間が持つ道具等の動作する対象に対応する画素群である。背景画素とは、前景画素以外の画素であり、背景に対応する画素群である。

姿勢推定装置２は、距離画像に含まれる前景画素から人間等の対象の姿勢を推定する装置である。姿勢推定装置２は、例えば、後述するようにサーバ等のコンピュータ装置で実現される。姿勢推定装置２は、複数台のコンピュータで実現されてもよい。

本実施形態の姿勢推定装置２は、距離画像に含まれる前景画素の距離情報に基づいて、対象を構成する部位（例えば、頭、腕、手、胴体などの体のパーツ、関節は含まない）を識別し、各部位に対して関節位置を識別し、識別した関節位置に基づいて対象の姿勢を推定する。

本実施形態では、距離画像カメラ１によって距離画像から背景が消去され、この距離画像が姿勢推定装置２に送信されて処理される。これにより、背景画素と前景画素の両方を含む一般的な距離画像を送信する場合と比べ、ネットワークＮの通信負荷を低減することができる。また、姿勢推定装置２は前景画素に対して処理を実行すればよいため、一般的な距離画像を処理する場合と比べ、姿勢推定装置２の処理負荷を低減することができる。距離画像カメラ１の台数あるいは距離画像カメラ１の撮像レートが増加するほど、効果が大きくなる。

図２は、第１実施形態に係る、距離画像カメラ及び姿勢推定装置の機能構成例を示す図である。距離画像カメラ１は、制御部１１と、光源１２と、距離画像センサ１３と、距離画像生成部１４と、通信部１５とを含む。姿勢推定装置２は、通信部２１と、距離画像受信部２２と、姿勢推定部２３と、出力部２７とを含む。姿勢推定部２３は、特徴量算出部２４と、部位識別部２５と、関節識別部２６とを含む。

制御部１１は、光源１２、距離画像センサ１３、距離画像生成部１４、及び通信部１５を制御する。例えば、制御部１１は、光源１２に光の照射を指示し、距離画像センサ１３に照射光と反射光の位相差情報の生成を指示し、距離画像生成部１４に距離画像の生成を指示し、通信部１５に距離画像の送信を指示する。制御部１１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等を含むマイクロコンピュータや、専用ハードウェア回路により実現することができる。

光源１２は、人間等の対象が存在する対象空間に対して光を照射する。光源１２は、例えば、赤外光もしくは可視光を照射する発光ダイオード、半導体レーザ等のデバイスにより実現することができる。

距離画像センサ１３は、対象空間からの反射光を、結像レンズ（図示せず）を介して受光し、画素毎に、照射時と受光時の位相差情報と、階調情報とを生成して出力する。距離画像センサ１３は、例えば、照射時と受光時の位相差情報と階調情報とを生成する複数の受光素子を、二次元状に配列することで構成することができる。

距離画像生成部１４は、距離画像センサ１３から出力される画素毎の位相差情報を用いて、画素毎にその距離情報を算出する。そして、画素毎に距離情報と階調情報を含む入力距離画像を生成する。

また、距離画像生成部１４は、入力距離画像から前景画素を抽出するとともに、背景を消去し、抽出された前景画素と消去された背景を含む出力距離画像を生成し、通信部１５を介して姿勢推定装置２に送信する。例えば、距離画像生成部１４は、対象が存在しないときに取得した対象空間の距離画像（背景のみを含む）と入力距離画像との、対応する画素の距離の差分を取り、差分がある部分を前景画素として抽出することができる。前景画素の抽出方法はこれに限定されない。例えば、距離が所定値未満の画素を前景画素として抽出してもよい。例えば、距離画像生成部１４は、背景画素の階調情報及び距離情報を所定値（例えば「１」）に設定することにより、入力距離画像のサイズ（縦横の画素数を指す、以下同様）を変更することなく、背景を消去する。

なお、距離画像生成部１４は、出力距離画像に対して所定の圧縮処理を施してデータ量を削減してもよい。上記の例では、背景画素が同じ値に設定されるため、背景画素が連続する領域では圧縮率を高めることができる。距離画像生成部１４は、例えば、ＣＰＵ、ＲＡＭ等を含むマイクロコンピュータや、専用ハードウェア回路により実現することができる。

通信部１５は、ネットワークＮに接続され、距離画像生成部１４から出力された距離画像を、姿勢推定装置２に送信する。通信部１５は、例えば、ＬＡＮ等の規格のネットワークインターフェイスにより実現することができる。

通信部２１は、ネットワークＮに接続され、各距離画像カメラ１から送信された距離画像を受信する。

距離画像受信部２２は、距離画像を通信部２１を介して受信し、姿勢推定部２３に出力する。なお、距離画像受信部２２は、受信した距離画像に所定の圧縮処理が施されている場合、当該距離画像に対して所定の伸長処理を施してもよい。

姿勢推定部２３は、距離画像受信部２２から出力された距離画像を用いて、当該距離画像に含まれる人物等の対象の姿勢を推定する。姿勢推定処理を行うため、姿勢推定部２３は、特徴量算出部２４、部位識別部２５、及び関節識別部２６を含むことができる。

特徴量算出部２４は、距離画像を構成する各画素の距離情報を取得する。また、特徴量算出部２４は、前景画素を構成する画素（注目画素）毎に、特徴量を算出する。上述のように背景画素には所定値が設定されているため、前景画素は背景画素から区別することができる。特徴量の算出方法は、既存の技術を用いることができ、限定されない。例えば、注目画素とその周囲画素の距離の差を特徴量とすればよい。具体例としては、注目画素を中心とする縦９画素×横９画素の矩形領域から、注目画素とその周囲の８０画素それぞれとの距離の差を有する８０次元（２次元配列）の特徴量ベクトルを用いることができる。

部位識別部２５は、各注目画素が含まれる部位（例えば、頭、腕、手、胴体などの体のパーツ、関節は含まない）を識別する。部位の識別方法は、既存の技術を用いることができ、限定されない。例えば、特徴量閾値と部位ラベルを関連付けた決定木（識別器）に対して、注目画素の特徴量を入力することで、当該注目画素の部位ラベルを取得すればよい。部位ラベルとは、各部位の種類を示す情報などの、部位の識別子である。識別器には、例えば、ランダムフォレスト等の複数の決定木を用いることができ、予め学習したものを姿勢推定装置２の備える記憶装置に記憶しておけばよい。

関節識別部２６は、識別された各注目画素の部位ラベルを用いて、対象の関節位置を識別する。関節位置の識別方法は、既存の技術を用いることができ、限定されない。例えば、同一部位ラベルが付与された注目画素群である部位毎に、その重心位置（関節位置候補）を取得すればよい。重心位置の取得には、例えば、mean-shift法を用いることができる。また、例えば、直線距離や角度などの関節間の関係を定義した人体の関節モデルを用いて、各重心位置の関節モデルに対する整合性を評価し、最終的な各関節位置を決定すればよい。また、各関節位置の関節ラベルを決定してもよい。関節ラベルとは、例えば、首関節、手首関節、肩関節など関節の種類を示す情報などの、関節の識別子である。

出力部２７は、関節識別部２６により識別された関節位置を含む推定姿勢情報を出力する。関節位置は、例えば、距離画像と同じ座標系の位置座標情報である。推定姿勢情報は、各関節位置の距離情報、各関節位置の関節ラベル、関節どうしを結ぶ線分情報等を含んでもよい。例えば、出力部２７は、通信部２１を介して推定姿勢情報を外部のコンピュータやストレージに送信してもよいし、各関節位置を示す画像情報を姿勢推定装置２の備えるディスプレイに表示させてもよい。出力部２７は、距離画像を出力してもよい。

図３は、第１実施形態に係る、姿勢推定装置を実現するコンピュータのハードウェア構成例を示す図である。姿勢推定装置２は、例えば図３に示すようなコンピュータ９０により実現することができる。コンピュータ９０は、例えば、サーバーコンピュータであるが、パーソナルコンピュータ、スマートフォン、タブレットコンピューター等のコンピュータ機器であってもよい。また、姿勢推定装置２は、複数のコンピュータ９０により構成されてもよい。

コンピュータ９０は、演算装置９１と、主記憶装置９２と、外部記憶装置９３と、通信装置９４と、読み書き装置９５と、入力装置９６と、出力装置９７とを含む。

演算装置９１は、例えば、ＣＰＵなどの演算ユニットである。主記憶装置９２は、例えば、ＲＡＭなどの記憶装置である。外部記憶装置９３は、例えば、ハードディスクやＳＳＤ（Solid State Drive）、あるいはフラッシュＲＯＭ（Read Only Memory）などの記憶装置である。通信装置９４は、ネットワークケーブルを介して有線通信を行う通信装置、アンテナを介して無線通信を行う通信装置を含む、情報を送受信する装置である。読み書き装置９５は、DVD（Digital Versatile Disk）、USB（Universal Serial Bus）メモリー等の記録媒体に情報を読み書きする装置である。入力装置９６は、キーボードやマウスなどのポインティングデバイス、タッチパネル、マイクロフォンなどを含む、入力情報を受け付ける装置である。出力装置９７は、ディスプレイ、プリンター、スピーカーなどを含む、出力情報を出力する装置である。主記憶装置９２及び外部記憶装置９３の少なくとも一部は、例えば、通信装置９４を介して接続されるネットワーク上のストレージにより実現されてもよい。

距離画像受信部２２、姿勢推定部２３、及び出力部２７（これらを「制御部」と呼んでもよい）は、例えば、演算装置９１が所定のアプリケーションプログラムを実行することによって実現することができる。このアプリケーションプログラムは、例えば、外部記憶装置９３内に記憶され、実行にあたって主記憶装置９２上にロードされ、演算装置９１によって実行される。通信部２１は、例えば、通信装置９４によって実現される。

図４は、第１実施形態に係る、姿勢推定システムの処理例を示すフローチャートである。本図のフローチャートは、１フレームの距離画像毎に実行される。

まず、距離画像生成部１４は、距離画像センサ１３から出力される画素毎の情報を用いて、画素毎に距離情報と階調情報を含む入力距離画像を生成する（ステップＳ１０）。

それから、距離画像生成部１４は、ステップＳ１０で生成した入力距離画像から前景画素を抽出するとともに、背景を消去し、抽出された前景画素と消去された背景を含む出力距離画像を生成する（ステップＳ２０）。

図５は、第１実施形態に係る、前景画素を抽出する方法の例を説明する図である。距離画像生成部１４は、入力距離画像（Ａ）のうち、事前に取得した対象空間の背景画素（Ｂ）に所定値を設定し（所定値に置換し）、出力距離画像（Ｃ）を生成する。入力距離画像（Ａ）と出力距離画像（Ｂ）は、同じ座標系及びサイズを有する。

図４に戻って、距離画像生成部１４は、ステップＳ２０で生成した出力距離画像を、通信部１５を介して姿勢推定装置２に送信する（ステップＳ３０）。

それから、距離画像受信部２２は、ステップＳ３０で距離画像カメラ１から送信された距離画像を、通信部２１を介して受信する（ステップＳ４０）。

それから、姿勢推定部２３は、ステップＳ４０で受信された距離画像を用いて、当該距離画像に含まれる人物等の対象の姿勢を推定する（ステップＳ５０）。

最後に、出力部２７は、ステップＳ５０で姿勢推定部２３から出力された関節位置を含む推定姿勢情報を出力する（ステップＳ６０）。

図６は、第１実施形態に係る、姿勢推定装置の姿勢推定処理の一例を示すフローチャートである。図６のフローチャートは、図４のステップＳ５０の詳細を示している。

まず、特徴量算出部２４は、前景画素から注目画素を１つ選択し（ステップＳ５１）、選択した注目画素と１つ以上の周囲画素の距離情報を用いて、当該注目画素の特徴量を算出する（Ｓ５２）。それから、部位識別部２５は、算出された注目画素の特徴量を、予め用意した識別器に入力することで、当該注目画素の部位ラベルを取得する（ステップＳ５３）。

それから、姿勢推定部２３は、前景画素を構成する全ての注目画素を選択したかどうかを判定する（ステップＳ５４）。全画素を選択していないと判定した場合（ステップＳ５４でＮＯ）、姿勢推定部２３は、処理をステップＳ５１に戻す。全画素を選択したと判定した場合（ステップＳ５４でＹＥＳ）、姿勢推定部２３は、処理をステップＳ５５に進める。

関節識別部２６は、ステップＳ５３で識別された各注目画素の部位ラベルを用いて、部位毎に、その重心位置（関節位置候補）を取得する（ステップＳ５５）。最後に、関節識別部２６は、取得した各部位の重心位置に基づいて、最終的な１つ以上の関節位置を決定する（ステップＳ５６）。

上述した第１実施形態に係る姿勢推定システムでは、距離画像カメラ１が距離画像から前景画素を抽出するとともに背景を消去し、姿勢推定装置２に送信する。これにより、ネットワークＮの通信負荷を低減することができるとともに、姿勢推定装置２の処理負荷を低減することができる。

［第２実施形態］
第２実施形態は、第１実施形態と異なる形式の出力距離画像を使用する。第２実施形態に係る距離画像カメラ１Ａ及び姿勢推定装置２Ａの構成要素は、図２と同様である。以下、第１実施形態と異なる点を中心に説明する。

図７は、第２実施形態に係る、姿勢推定システムの処理例を示すフローチャートである。

まず、距離画像生成部１４は、距離画像センサ１３から出力される画素毎の情報を用いて、画素毎に距離情報と階調情報を含む入力距離画像を生成する（ステップＳ１０）。

それから、距離画像生成部１４は、ステップＳ１０で生成した入力距離画像から前景画素を抽出するとともに、背景を消去し、前景画素を含む領域を切り出した距離画像を生成する（ステップＳ２０Ａ）。

図８は、第２実施形態に係る、前景画素領域を切り出す方法の例を説明する図である。距離画像生成部１４は、入力距離画像（Ａ）のうち、事前に取得した対象空間の背景画素（Ｂ）に所定値を設定（所定値に置換）することにより、距離画像（Ｃ）を取得する。また、距離画像生成部１４は、距離画像（Ｃ）から前景画素を含む最小の矩形領域の周囲に所定のマージン領域を付加した矩形領域ａ（マージン領域を付加しなくてもよい）を切り出し、これを出力距離画像（Ｄ）として生成する。出力距離画像（Ｄ）は、入力距離画像（Ａ）よりも小さいサイズを有する。また、距離画像生成部１４は、領域ａの位置を定義する情報（例えば、入力距離画像の座標系における、領域ａの４隅の点ａ０〜ａ３の位置座標など）を含むメタデータを生成する。

前景画素の切り出し方法は上記方法に限定されない。図９は、第２実施形態に係る、前景画素領域を切り出す方法の他の例を説明する図である。

図９（Ａ）に示す方法では、距離画像生成部１４は、前景画素を包含する複数の矩形領域ｂを重ならないように設定し、これらの矩形領域ｂを合成した領域を切り出す。この場合、距離画像生成部１４は、各矩形領域ｂの位置を定義する情報（例えば、設定した矩形領域ｂの数、各矩形領域ｂのｘ方向の長さｂｘ及びｙ方向の長さｂｙ、入力距離画像の座標系における各矩形領域ｂの原点ｂ０の位置座標など）を含むメタデータを生成する。各矩形領域ｂのサイズは、同じに設定してもよいし、異ならせて設定してもよい。各矩形領域ｂのサイズが同じ場合、メタデータは、ｂｘ及びｂｙを１組含めばよい。各矩形領域ｂのサイズが異なる場合、メタデータは、ｂｘ及びｂｙを矩形領域ｂごとに含めばよい。

図９（Ｂ）に示す方法では、距離画像生成部１４は、入力距離画像の全体を覆うように所定規則で配列された複数の同一サイズの矩形領域ｂ（図中の識別番号０〜９３）の中から、前景画素を包含する複数の矩形領域ｂ（識別番号１９、３０〜３４、４２〜４８、５６〜５９、６１〜６２、７０〜７１）を選択し、これらの選択した矩形領域ｂを合成した領域を切り出す。この場合、距離画像生成部１４は、各矩形領域ｂの位置を定義する情報（例えば、選択した矩形領域ｂの数、各矩形領域ｂのｘ方向の長さｂｘ及びｙ方向の長さｂｙ、選択した各矩形領域ｂの識別番号など）を含むメタデータを生成する。メタデータは、ｂｘ及びｂｙを１組含めばよい。

図７に戻って、距離画像生成部１４は、ステップＳ２０Ａで生成した出力距離画像及びメタデータを、通信部１５を介して姿勢推定装置２Ａに送信する（ステップＳ３０Ａ）。

それから、距離画像受信部２２は、ステップＳ３０Ａで距離画像カメラ１Ａから送信された距離画像及びメタデータを、通信部２１を介して受信する（ステップＳ４０Ａ）。

それから、姿勢推定部２３は、ステップＳ４０Ａで受信された距離画像を用いて、当該距離画像に含まれる人物等の対象の姿勢を推定する（ステップＳ５０Ａ）。ステップＳ５０Ａの処理は、距離画像のサイズが異なる点を除いて図４のステップＳ５０と同様である。ただし、姿勢推定部２３は、ステップＳ４０Ａで受信されたメタデータを用いて、識別した各関節位置の位置座標を、距離画像カメラ１Ａの入力距離画像の座標系における位置座標に変換する。

例えば、図８の切り出し方法を用いた場合、姿勢推定部２３は、識別した各関節位置の位置座標に、入力距離画像の原点Ｏに最も近い点ａ０の位置座標を加算すればよい。例えば、図９（Ａ）の切り出し方法を用いた場合、姿勢推定部２３は、矩形領域ｂ毎に、当該矩形領域ｂ内の識別した各関節位置の位置座標に、当該矩形領域ｂの原点ｂ０の位置座標を加算すればよい。例えば、図９（Ｂ）の切り出し方法を用いた場合、姿勢推定部２３は、ｂｘ及びｂｙと各矩形領域ｂの識別番号とを所定の演算式に代入することで、入力距離画像の座標系における各矩形領域ｂの原点ｂ０の位置座標を計算する。そして、姿勢推定部２３は、矩形領域ｂ毎に、当該矩形領域ｂ内の識別した各関節位置の位置座標に、当該矩形領域ｂの計算した原点ｂ０の位置座標を加算すればよい。

最後に、出力部２７は、ステップＳ５０Ａで姿勢推定部２３から出力された関節位置（座標変換済）を含む推定姿勢情報を出力する（ステップＳ６０Ａ）。

上述した第２実施形態に係る姿勢推定システムでは、距離画像カメラ１Ａが距離画像から前景画素領域を切り出し、姿勢推定装置２Ａに送信する。距離画像サイズが第１実施形態よりも削減されるため、さらに通信負荷及び処理負荷を低減することができる。

［第３実施形態］
第３実施形態は、第１実施形態と異なる姿勢推定処理を実行する。以下、第１実施形態と異なる点を中心に説明する。

図１０は、第３実施形態に係る、姿勢推定装置の機能構成例を示す図である。第３実施形態に係る距離画像カメラ１Ｂ（図示せず）の構成要素は、図２と同様である。第３実施形態に係る姿勢推定装置２Ｂには、図２に示す部位識別部２５は含まれていない。姿勢推定装置２Ｂは、距離画像に含まれる各前景画素の距離情報に基づいて、部位を識別することなく関節位置を識別し、識別した関節位置に基づいて対象の姿勢を推定する。

図１１は、第３実施形態に係る、姿勢推定装置の姿勢推定処理の一例を示すフローチャートである。図１１のフローチャートは、図４のステップＳ５０の詳細を示している。

まず、特徴量算出部２４は、前景画素から注目画素を１つ選択し（ステップＳ５１Ｂ）、選択した注目画素と１つ以上の周囲画素の距離情報を用いて、当該注目画素の特徴量を算出する（Ｓ５２Ｂ）。

図１２は、第３実施形態に係る、特徴量を算出する方法の例を説明する図である。この具体例では、特徴量算出部２４は、注目画素を中心（原点）とする極座標系を設定する。また、特徴量算出部２４は、所定開始角度（例えば０°）から単位角度（例えば１０°）毎に、注目画素から半径ｒ方向に所定間隔おきに（例えば５画素おき）で画素をサンプリングし、前景画素が最も多い角度をθ＝０°に設定する。それから、特徴量算出部２４は、θ＝０°から３６０°まで単位角度（例えば４５°）毎に、注目画素から半径ｒ方向に所定間隔おき（例えば５０画素おきに）で５画素を選択する。そして、注目画素とその周囲５×８画素それぞれとの距離の差を有する４０次元（２次元配列）の特徴量ベクトルを算出する。

それから、関節識別部２６は、算出された注目画素の特徴量を、予め用意した識別器に入力することで、当該注目画素の関節ラベルを取得する（ステップＳ５３Ｂ）。例えば、特徴量閾値と関節ラベル（例えば、手首関節、肩関節など関節の種類を示す情報）を関連付けた決定木（識別器）に対して、注目画素の特徴量を入力することで、当該注目画素の関節ラベルを取得すればよい。識別器には、例えば、ランダムフォレスト等の複数の決定木を用いることができ、予め学習したものを姿勢推定装置２Ｂの備える記憶装置に記憶しておけばよい。

それから、姿勢推定部２３は、前景画素を構成する全ての注目画素を選択したかどうかを判定する（ステップＳ５４Ｂ）。全画素を選択していないと判定した場合（ステップＳ５４ＢでＮＯ）、姿勢推定部２３は、処理をステップＳ５１Ｂに戻す。全画素を選択したと判定した場合（ステップＳ５４ＢでＹＥＳ）、姿勢推定部２３は、処理をステップＳ５５６Ｂに進める。

関節識別部２６は、ステップＳ５３Ｂで識別された各注目画素の関節ラベルに基づいて、最終的な１つ以上の関節位置を決定する（ステップＳ５６Ｂ）。例えば、関節識別部２６は、同一関節ラベルが付与された注目画素群毎（関節毎）に、識別率（決定木で識別される各関節ラベルに関連付けられている）が最も高い注目画素を特定し、これを最終的な関節位置として決定すればよい。

上述した第３実施形態に係る姿勢推定システムでは、姿勢推定装置２Ｂは、決定木を用いて注目画素の特徴量から直接的に関節ラベル及び関節位置を決定する。第１実施形態と比べて、部位ラベルの識別、重心位置の取得、重心位置の整合性評価といった演算処理を実行する必要がないため、姿勢推定装置２Ｂの処理負荷を低減することができる。

［第４実施形態］
第４実施形態では、距離画像カメラが姿勢推定装置からのフィードバック情報をもとに距離画像を生成する。以下、第１実施形態と異なる点を中心に説明する。

図１３は、第４実施形態に係る、距離画像カメラ及び姿勢推定装置の機能構成例を示す図である。第４実施形態に係る距離画像カメラ１Ｃ及び姿勢推定装置２Ｃの構成要素は、図２と同様である。

姿勢推定部２３は、関節識別部２６により識別された関節位置を含む関節情報を、通信部２１を介して距離画像カメラ１Ｃに送信する。関節位置は、例えば、距離画像と同じ座標系の位置座標情報である。関節情報は、各関節位置の関節ラベル（例えば、手首関節、肩関節など関節の種類を示す情報）を含んでもよい。

距離画像生成部１４は、生成対象の今回の１フレームの出力距離画像を生成する前に、前回の１フレーム（直前の１フレームに限られず、それより前の１フレームでもよい）の出力距離画像に基づいて推定された関節情報を、通信部１５を介して姿勢推定装置２Ｃから受信する。距離画像生成部１４は、今回の１フレームの入力距離画像のうち、受信した関節情報が示す各関節位置を含む領域を、前景画素を含む領域として決定する。そして、距離画像生成部１４は、今回の１フレームの入力距離画像から、決定した領域を切り出し、これを含む出力距離画像を生成し、通信部１５を介して姿勢推定装置２Ｃに送信する。

図１４は、第４実施形態に係る、姿勢推定システムの処理例を示すフローチャートである。本図のフローチャートは、１フレームの距離画像毎に実行される。

まず、距離画像生成部１４は、距離画像センサ１３から出力される画素毎の情報を用いて、画素毎に距離情報と階調情報を含む入力距離画像（今回の１フレーム）を生成する（ステップＳ１０）。

それから、距離画像生成部１４は、前回の１フレームの距離画像から推定された関節情報を受信済であるかどうかを判定する（ステップＳ１５Ｃ）。関節情報を受信済でないと判定した場合（ステップＳ１５ＣでＮＯ）、距離画像生成部１４は、ステップＳ１０で生成した入力距離画像を出力距離画像として、通信部１５を介して姿勢推定装置２Ｃに送信する（ステップＳ３５Ｃ）。

関節情報を受信済であると判定した場合（ステップＳ１５ＣでＹＥＳ）、距離画像生成部１４は、ステップＳ１０で生成した入力距離画像から、受信した関節情報が示す各関節位置を含む領域を、前景画素を含む領域として切り出した距離画像を生成する（ステップＳ２５Ｃ）。

図１５は、第４実施形態に係る、前景画素領域を切り出す方法の例を説明する図である。距離画像生成部１４は、入力距離画像（Ａ）から、関節情報（Ｂ）が示す各関節位置を含む最小の矩形領域の周囲に所定のマージン領域を付加した矩形領域ｃを切り出し、これを出力距離画像（Ｃ）として生成する。出力距離画像（Ｃ）は、背景は消去されていないが、入力距離画像（Ａ）よりも小さいサイズを有する。また、距離画像生成部１４は、領域ｃの位置を定義する情報（例えば、入力距離画像の座標系における、領域ｃの４隅ｃ０〜ｃ３の位置座標など）を含むメタデータを生成する。

各関節位置を含む領域の切り出し方法は上記方法に限定されない。図１６は、第４実施形態に係る、前景画素領域を切り出す方法の他の例を説明する図である。距離画像生成部１４は、各関節位置をそれぞれ包含する複数の矩形領域ｄを重ならないように設定し、これらの矩形領域ｄを合成した領域を切り出すようにしてもよい。各矩形領域ｄのサイズは、同じに設定することができる。この場合、距離画像生成部１４は、各矩形領域ｄの位置を定義する情報（例えば、設定した矩形領域ｄの数、各矩形領域ｄのｘ方向の長さｄｘ及びｙ方向の長さｄｙ、入力距離画像の座標系における各矩形領域ｄの原点ｄ０の位置座標など）を含むメタデータを生成する。メタデータは、ｄｘ及びｄｙを１組含めばよい。

各矩形領域ｄのサイズは、異ならせて設定してもよい。例えば、距離画像生成部１４は、受信した関節情報に含まれる関節ラベルに応じて、矩形領域ｄのサイズを設定することができる。具体例としては、作業中の人間の各関節の移動量の予測を反映して、手首関節を含む矩形領域ｄを標準サイズより大きく設定し、腰関節を含む矩形領域ｄを標準サイズより小さく設定する。この場合、距離画像生成部１４は、各矩形領域ｄの位置を定義する情報（例えば、設定した矩形領域ｄの数、各矩形領域ｄのｘ方向の長さｄｘ及びｙ方向の長さｄｙ、入力距離画像の座標系における各矩形領域ｄの原点ｄ０の位置座標など）を含むメタデータを生成する。メタデータは、ｄｘ及びｄｙを矩形領域ｄごとに含めばよい。

図１４に戻って、距離画像生成部１４は、ステップＳ２５Ｃで生成した出力距離画像及びメタデータを、通信部１５を介して姿勢推定装置２Ｃに送信する（ステップＳ３６Ｃ）。

距離画像受信部２２は、ステップＳ３５Ｃで距離画像カメラ１から送信された距離画像を、又は、ステップＳ３６Ｃで距離画像カメラ１から送信された距離画像及びメタデータを、通信部２１を介して受信する（ステップＳ４０Ｃ）。

それから、姿勢推定部２３は、ステップＳ４０Ｃで受信された距離画像を用いて、当該距離画像に含まれる人物等の対象の姿勢を推定する（ステップＳ５０Ｃ）。ステップＳ５０Ｃの処理は、距離画像のサイズが異なる点を除いて図４のステップＳ５０と同様である。ただし、姿勢推定部２３は、ステップＳ４０Ｃでメタデータが受信された場合、当該メタデータを用いて、識別した各関節位置の位置座標を、距離画像カメラ１Ｃの入力距離画像の座標系における位置座標に変換する。

例えば、図１５の切り出し方法を用いた場合、姿勢推定部２３は、識別した各関節位置の位置座標に、入力距離画像の原点Ｏに最も近い点ｃ０の位置座標を加算すればよい。例えば、図１６の切り出し方法を用いた場合、姿勢推定部２３は、矩形領域ｄ毎に、当該矩形領域ｄ内の識別した各関節位置の位置座標に、当該矩形領域ｄの原点ｄ０の位置座標を加算すればよい。

それから、姿勢推定部２３は、ステップＳ５０Ｃで識別された各関節位置を含む関節情報を、通信部２１を介して距離画像カメラ１Ｃに送信する（ステップＳ５５Ｃ）。姿勢推定部２３は、各関節位置の関節ラベルを関節情報に含めてもよい。

最後に、出力部２７は、ステップＳ５０Ｃで姿勢推定部２３から出力された関節位置を含む推定姿勢情報を出力する（ステップＳ６０Ｃ）。

上述した第４実施形態に係る姿勢推定システムでは、距離画像カメラ１Ｃは、姿勢推定装置２から受信した関節情報が示す各関節位置を含む領域を出力距離画像として生成する。第１実施形態と比べ、背景画素と前景画素の区別を行わずに、関節位置を含む領域を前景画素領域として切り出すため、距離画像カメラ１Ｃの処理負荷を低減することができる。また、前回のフレームから推定された関節位置に基づいて、次のフレームの関節位置を含む領域を設定するため、姿勢推定に必要な領域（関節を含む領域）を精度よく切り出すことができる。

本発明は、上述の複数の実施形態に限定されず、本発明の要旨の範囲内で種々の変形実施が可能である。各実施形態および各変形例の２つ以上を適宜組み合わせることもできる。

第１〜第４実施形態では、１つの識別器を用いている。しかし、距離画像カメラの設置姿勢、あるいは距離画像カメラに対する対象の姿勢が変化した場合、すなわち撮像角度が変化した場合にも同じ識別器を用いていたのでは、部位あるいは関節の識別精度が低下する可能性がある。そこで、姿勢推定部２３は、撮像角度に応じた複数の識別器を予め学習して記憶しておき、実際の撮像角度に応じて使用する識別器を選択してもよい。姿勢推定部２３は、例えば、距離画像カメラの撮像角度を通信装置あるいは入力装置を介してユーザーから受け付けてもよいし、距離画像中に撮像されたマーカー等の形状や前景画素の位置に基づいて撮像角度を決定してもよい。なお、姿勢推定部２３は、特徴量の算出方法も、撮像角度に応じて切り替えてもよい。

具体的に、距離画像中の前景画素に基づいて識別器を選択する方法について説明する。図１７は、変形例に係る、識別器を選択する方法の例を説明する図である。まず、姿勢推定部２３は、姿勢推定処理を実行する前に、距離画像を構成する画素の中から、距離情報に基づいて、高さが最も高い（距離画像カメラに近い）画素を選択する。それから、姿勢推定部２３は、距離画像を複数の矩形領域ｅ（図では識別番号１〜９で示す）に分割した場合に、選択した画素が含まれる領域ｅ（図では識別番号５）を選択する。本変形例では、これらの各領域ｅに対応する複数の識別器が予め学習されて記憶装置に記憶されている。姿勢推定部２３は、選択した領域ｅに対応する識別器を用いて姿勢推定処理を実行する。

図１７の例では、撮像された人間の輪郭や体のパーツの輪郭は、人間が同じ姿勢を保っていたとしても、人間が含まれる領域ｅの位置によって異なる。人間が位置する場所によって、距離画像カメラから人間への方向（撮像角度）が異なるからである。そこで、各領域ｅ（撮像角度に対応する）に適した識別器を用意して、識別精度を向上する。ここでは、人間の頭部に含まれる画素を特定するために、高さが最も高い画素を選択している。当該選択した画素が含まれる領域ｅは、人間の頭部が含まれる領域と推定される。

第２実施形態及び第４実施形態では、距離画像カメラ１Ａ（１Ｃ）が出力する距離画像のサイズ（切り出し領域のサイズ）がフレーム毎に異なる可能性がある。そのため、姿勢推定装置２Ａ（２Ｃ）はフレーム毎に異なる画像処理を行う必要があり、効率が低下する。そこで、距離画像カメラ１Ａ（１Ｃ）は、フレーム毎に共通の切り出し領域のサイズを用いてもよい。具体例としては、距離画像生成部１４は、入力距離画像がＶＧＡ（Video Graphics Array）のサイズである場合、ＶＧＡよりも小さいＱＶＧＡ（Quarter VGA）のサイズで前景画素を切り出す。

第１〜第４実施形態において、例えば、距離画像を蓄積するデータベースをネットワークＮに接続し、各距離画像カメラは距離画像を当該データベースに送信して蓄積し、姿勢推定装置は当該データベースから距離画像を取得するようにしてもよい。

第２実施形態の距離画像生成部１４は、入力距離画像から背景を消去せずに、前景画素を含む領域を切り出してもよい。

第３実施形態の姿勢推定処理は、第２実施形態あるいは第４実施形態の姿勢推定処理に用いてもよい。

なお、図２、図１０、及び図１３等で示した距離画像カメラ及び姿勢推定装置の構成は、これらのデバイスの構成を理解容易にするために、主な処理内容に応じて分類したものである。構成要素の分類の仕方や名称によって、本発明が制限されることはない。距離画像カメラ及び姿勢推定装置の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。また、各構成要素の処理は、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、各構成要素の処理又は機能の分担は、本発明の目的及び効果を達成できるのであれば、図示したものに限られない。

また、図４、図６、図７、図１１、及び図１４等で示したフローチャートの処理単位は、距離画像カメラ及び姿勢推定装置の処理を理解容易にするために、主な処理内容に応じて分割したものである。処理単位の分割の仕方や名称によって、本発明が制限されることはない。距離画像カメラ及び姿勢推定装置の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできる。また、１つの処理単位がさらに多くの処理を含むように分割することもできる。さらに、本発明の目的及び効果を達成できるのであれば、上記のフローチャートの処理順序も、図示した例に限られるものではない。

本発明は、上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した各実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明が、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、ある実施形態の構成の一部を、他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現されてもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリーや、ハードディスク、ＳＳＤ等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

本発明は、姿勢推定システム、姿勢推定装置、及び距離画像カメラだけでなく、姿勢推定装置や距離画像カメラで実行されるコンピュータ読み取り可能なプログラム、姿勢推定システム、姿勢推定装置、又は距離画像カメラにおける処理方法、などの様々な態様で提供することができる。

１（１Ａ、１Ｂ、１Ｃ）…距離画像カメラ、２（２Ａ、２Ｂ、２Ｃ）…姿勢推定装置、１１…制御部、１２…光源、１３…距離画像センサ、１４…距離画像生成部、１５…通信部、２１…通信部、２２…距離画像受信部、２３…姿勢推定部、２４…特徴量算出部、２５…部位識別部、２６…関節識別部、２７…出力部、９０…コンピュータ、９１…演算装置、９２…主記憶装置、９３…外部記憶装置、９４…通信装置、９５…読み書き装置、９６…入力装置、９７…出力装置、ａ…矩形領域、ｂ…矩形領域、ｃ…矩形領域、ｄ…矩形領域、ｅ…矩形領域、Ｎ…ネットワーク

Claims (13)

1. 距離画像カメラと、前記距離画像カメラとネットワークを介して接続される姿勢推定装置とを含む姿勢推定システムであって、
   前記距離画像カメラは、
   距離画像センサから取得した入力距離画像から前景画素を含む領域を抽出し、前記抽出した領域を含む距離画像を生成する距離画像生成部と、
   前記生成された距離画像を前記姿勢推定装置に送信する通信部と、を備え、
   前記姿勢推定装置は、
   前記距離画像カメラから前記距離画像を受信する距離画像受信部と、
   前記受信された距離画像を用いて、前記前景画素に含まれる１つ以上の関節位置を識別し、前記識別された１つ以上の関節位置を含む推定姿勢情報を生成する姿勢推定部と、
   前記生成された推定姿勢情報を出力する出力部と、を備え、
   前記姿勢推定部は、前記識別された１つ以上の関節位置を含む関節情報をフィードバック情報として前記距離画像カメラに送信し、
   前記距離画像生成部は、前記受信された関節情報が示す各関節位置を用いて前記前景画素を含む領域を決定する
   姿勢推定システム。
2. 請求項１に記載の姿勢推定システムであって、
   前記距離画像生成部は、前記入力距離画像に含まれる背景画素それぞれに所定値を設定する
   姿勢推定システム。
3. 請求項１に記載の姿勢推定システムであって、
   前記距離画像生成部は、前記前景画素を含む領域を前記入力距離画像から切り出すことにより前記距離画像を生成する
   姿勢推定システム。
4. 請求項３に記載の姿勢推定システムであって、
   前記距離画像生成部は、前記生成した距離画像とともに、前記入力距離画像上の前記前景画素を含む領域の位置座標を前記姿勢推定装置に送信し、
   前記距離画像受信部は、前記距離画像カメラから前記距離画像とともに前記位置座標を受信し、
   前記姿勢推定部は、前記受信された位置座標を用いて、前記前景画素から識別した各関節位置の位置座標を、前記入力距離画像上の位置座標に変換する
   姿勢推定システム。
5. 請求項３に記載の姿勢推定システムであって、
   前記距離画像生成部は、前記前景画素を包含する最小の矩形領域、又は当該矩形領域の周囲に所定のマージン領域を付加した領域を、前記入力距離画像から切り出す
   姿勢推定システム。
6. 請求項３に記載の姿勢推定システムであって、
   前記距離画像生成部は、前記前景画素を包含する複数の矩形領域を設定し、これらの矩形領域を合成した領域を前記入力距離画像から切り出す
   姿勢推定システム。
7. 請求項１に記載の姿勢推定システムであって、
   前記姿勢推定部は、前記前景画素を構成する画素それぞれについて特徴量を算出し、前記各画素の特徴量を用いて、特徴量閾値と関節ラベルとを関連付けた予め学習された識別器を参照することにより、前記１つ以上の関節位置を識別する
   姿勢推定システム。
8. 請求項１に記載の姿勢推定システムであって、
   前記距離画像生成部は、前記受信された関節情報が示す各関節位置を含むように設定した領域を、前記前景画素を含む領域として前記入力距離画像から切り出すことにより前記距離画像を生成する
   姿勢推定システム。
9. 請求項８に記載の姿勢推定システムであって、
   前記距離画像生成部は、前記関節情報が示す各関節位置を包含する最小の矩形領域の周囲に所定のマージン領域を付加した領域を、前記入力距離画像から切り出す
   姿勢推定システム。
10. 請求項８に記載の姿勢推定システムであって、
    前記関節情報は、前記各関節位置の関節ラベルを含み、
    前記距離画像生成部は、前記関節情報が示す各関節位置をそれぞれ包含し、前記各関節位置の前記関節ラベルに応じたサイズの複数の矩形領域を設定し、これらの矩形領域を合成した領域を、前記入力距離画像から切り出す
    姿勢推定システム。
11. 請求項１に記載の姿勢推定システムであって、
    前記姿勢推定部は、
    特徴量閾値と部位ラベル又は関節ラベルとを関連付けた予め学習された複数の識別器から、前記受信された距離画像中の前記前景画素の位置に応じた識別器を選択し、
    前記前景画素を構成する画素それぞれについて特徴量を算出し、前記各画素の特徴量を用いて、前記選択した識別器を参照することにより、前記１つ以上の関節位置を識別する
    姿勢推定システム。
12. 距離画像カメラとネットワークを介して接続される姿勢推定装置であって、
    入力距離画像から抽出された前景画素を含む領域を含む距離画像を、前記距離画像カメラから受信する距離画像受信部と、
    前記受信された距離画像を用いて、前記前景画素に含まれる１つ以上の関節位置を識別し、前記識別された１つ以上の関節位置を含む推定姿勢情報を生成する姿勢推定部と、
    前記生成された推定姿勢情報を出力する出力部と、を備え、
    前記姿勢推定部は、前記識別された１つ以上の関節位置を含む関節情報をフィードバック情報として前記距離画像カメラに送信する
    姿勢推定装置。
13. 距離画像センサと、
    前記距離画像センサから取得した入力距離画像から前景画素を含む領域を抽出し、前記抽出した領域を含む距離画像を生成する距離画像生成部と、
    前記生成された距離画像を姿勢推定装置に送信する通信部と、を備え、
    前記通信部は、前記姿勢推定装置において前記距離画像から識別された１つ以上の関節位置を含む関節情報をフィードバック情報として前記姿勢推定装置から受信し、
    前記距離画像生成部は、前記受信された関節情報を用いて前記前景画素を含む領域を決定する
    距離画像カメラ。

Images