JP7327494B2 - 補正方法、補正プログラムおよび情報処理システム - Google Patents

Description

本発明は、補正方法等に関する。

レーザセンサ等の距離測定装置を用いて、被写体の３次元点群を測定し、被写体の姿勢等を認識する技術がある。以下の説明では、被写体の３次元点群を測定するレーザセンサを単に「センサ」と表記する。センサによって測定された３次元点群の情報は、後段の様々な処理で利用される。

ここで、センサによって被写体の３次元点群を測定した際、被写体の輪郭部分で実際の位置よりも奥行き方向に、エッジノイズが発生する。図２３は、エッジノイズの一例を説明するための図である。図２３に示すように、センサ１０が、被写体１の３次元点群を測定すると、３次元点群１ａが測定される。３次元点群１ａには、エッジノイズ１ｂが含まれる。

エッジノイズ１ｂは、測定時に、被写体１の輪郭部分にレーザー光がかすった状態となることで発生する。つまり、エッジノイズ１ｂは、被写体１の輪郭を示す点であるにもかかわらず、奥行き方向の距離値が、被写体１の距離値よりも遠い位置として測定され、被写体１を構成する３次元点群１ａよりも離れてしまう。

３次元点群にエッジノイズが含まれていると、後段の処理において精度低下を招くため、エッジノイズに対処することが求められる。エッジノイズに対処する従来技術として、たとえば、従来技術１、従来技術２がある。

従来技術１は、エッジノイズを削除する技術である。図２４は、従来技術１を説明するための図である。従来技術１は、３次元点群１ａに含まれる点毎に、他の点との距離を求めることで、点群密度を算出する。たとえば、点群密度は、対象となる点を中心とした所定半径の円に含まれる点の個数を示す。従来技術１は、点群密度が閾値以上の点を残し、点群密度が閾値未満の点を削除する。

図２４に示すように、点２ａは、点２ａ周辺に点が多く存在し、点群密度が閾値以上となる。このため、従来技術１は、点２ａを残す。一方、点２ｂは、点２ｂ周辺に存在する点が少なく、点群密度が閾値未満となる。このため、従来技術１は、点２ｂを削除する。従来技術１は、３次元点群１ａの各点に対して、上記処理を繰り返し実行することで、エッジノイズ１ｂを削除する。

従来技術２は、エッジノイズを補正する技術である。従来技術２では、２枚のＲＧＢによるステレオ画像を撮影し、ステレオ画像を基にして、被写体の輪郭を抽出しておく。従来技術２は、センサによって被写体の深度画像を測定すると、ステレオ画像を用いた被写体の輪郭位置によって、深度画像上の輪郭位置を特定し、輪郭をまたぐ２点間を基準として、深度画像の値を補正する。

国際公開第２０１９／０８７４０４号 特開２０１２－７９２５１号公報

従来技術１は、点群密度を基にして、点を削除する技術であるが、後段の処理で使用可能な３次元点群の数が減ってしまう。たとえば、センサの解像度が低い場合、または、被写体とセンサとの距離が大きい場合には、３次元点群の数がもともと少ない。さらに、３Ｄセンサから見える被写体の面積が小さい部分（例えば、人間の腕）に対応する３次元点群は、観測できる数が少ない。よって、被写体の輪郭に係るエッジノイズを単純に除去してしまうと、残りの点群だけでは、被写体の輪郭や形状を正しく維持することができなくなる。

図２５は、従来技術１の問題点を説明するための図である。単純に、点群密度を基にして、点を削除すると、エッジノイズ１ｂだけでなく、点群１ｃも削除される。点群１ｃの周辺に点が少なく、点群密度が閾値未満となるためのである。エッジノイズに該当しない点群１ｃが削除されることにより、３次元点群１ａの数が減少し、後段の処理で使用できる点が制限されてしまう。なお、点群１ｃは、被写体である人間の腕に該当する点群であって、点群１ｃが削除されたことによって、本来の被写体の腕が維持されていない。

なお、従来技術２は、エッジノイズを補正する技術であるため、３次元点群の数を維持することは可能であるが、深度画像とは別に、ステレオ画像によって、被写体の輪郭を特定することが前提となっている。このため、ステレオ画像を利用できない状況では、エッジノイズを補正することが難しい。

１つの側面では、本発明は、センサが測定した３次元点群のノイズのうち、エッジノイズ相当の点については、被写体の輪郭の点として残すことができる補正方法、補正プログラムおよび情報処理システムを提供することを目的とする。

第１の案では、コンピュータは、次の処理を実行する。コンピュータは、３Ｄセンサの測定データを基にして、距離画像を生成する。コンピュータは、距離画像に含まれる画素のうち、被写体の輪郭の点群に相当する複数の第１画素を特定する。コンピュータは、距離画像に含まれる画素のうち、複数の第１画素から所定範囲に含まれる複数の第２画素を特定する。コンピュータは、測定データにおいて複数の第１画素に相当する第１点群の第１座標情報を、複数の第２画素に相当する第２点群の第２座標情報に基づき補正する。コンピュータは、第１座標情報を補正した第１点群を含む被写体を構成する点群の座標情報を出力する。

センサが測定した３次元点群のノイズのうち、エッジノイズ相当の点については、被写体の輪郭の点として残すことができる。

図１は、本実施例に係る情報処理システムの一例を示す図である。 図２は、本実施例に係る情報処理システムの処理の一例を説明するための図である。 図３は、背景差分の一例を説明するための図である。 図４は、補正処理の一例を説明するための図である。 図５は、骨格認識の一例を示す図である。 図６は、点群クラスタリングの一例を示す図である。 図７は、フィッティングの一例を示す図である。 図８は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。 図９は、ｘ軸方向の焦点距離ｆｘを説明するための図である。 図１０は、ｙ軸方向の焦点距離ｆｙを説明するための図である。 図１１は、補正処理部の一例を示す図である。 図１２は、２．５Ｄ画像を生成する処理を説明するための図である。 図１３は、第１画素を特定する処理を説明するための図である。 図１４は、距離ｉｘの算出に用いられるｗおよびｚの関係を示す図である。 図１５は、距離ｉｙの算出に用いられるｈおよびｚの関係を示す図である。 図１６は、補正する処理を説明するための図（１）である。 図１７は、補正する処理を説明するための図（２）である。 図１８は、補正前の点と補正後の点との関係を説明するための図である。 図１９は、本実施例に係る補正処理部の処理手順を示すフローチャート（１）である。 図２０は、本実施例に係る補正処理部の処理手順を示すフローチャート（２）である。 図２１は、本実施例の効果を説明するための図である。 図２２は、情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 図２３は、エッジノイズの一例を説明するための図である。 図２４は、従来技術１を説明するための図である。 図２５は、従来技術１の問題点を説明するための図である。

以下に、本発明にかかる補正方法、補正プログラムおよび情報処理システムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本実施例に係る情報処理システムの一例を示す図である。図１に示すように、この情報処理システムは、センサ１１ａ，１１ｂ，１１ｃ，１１ｄと、情報処理装置１００とを有する。センサ１１ａ～１１ｄと、情報処理装置１００とは、有線または無線によって接続される。

本実施例では一例として、被写体１が、器具上で演技を行うものとするがこれに限定されるものではない。たとえば、被写体１は、器具の存在しない場所で演技を行ってもよいし、演技以外の動作を行ってもよい。

センサ１１ａは、被写体１を構成する点群とセンサ１１ａとの距離を測定する測定装置（レーザーセンサ）である。センサ１１ａは、測定結果となる距離画像のデータを、情報処理装置１００に出力する。たとえば、センサ１１ａは、ラスタスキャンを実行し、点群とセンサ１１ａとの距離を測定する。

センサ１１ｂ～１１ｄに関する説明は、センサ１１ａに関する説明と同様である。以下の説明では、センサ１１ａ～１１ｄをまとめて「センサ１１」と表記する。

図２は、本実施例に係る情報処理装置の処理の一例を説明するための図である。たとえば、情報処理装置１００は、以下に説明するステップＳ１０～Ｓ１５の処理を実行する。

ステップＳ１０の処理（背景差分）について説明する。情報処理装置１００は、背景画像と、センサ１１から取得する距離画像との差分を算出することで、背景ノイズを除去し、背景ノイズを除去した距離画像のデータを生成する。背景画像は、被写体１が存在しない状況において、センサ１１が測定した距離画像である。

図３は、背景差分の一例を説明するための図である。図３に示すように、情報処理装置１００は、背景画像１２Ｂと、距離画像１２Ａとの差分を算出することで、距離画像１２Ｃを生成する。

情報処理装置１００は、距離画像１２Ｃのデータを、３次元点群データ２０Ａに変換する。３次元点群データ２０Ａは、距離画像１２Ｃに含まれる点と距離との関係を、点と３次元直交座標系の座標との関係に変換したものである。たとえば、３次元直交座標系には、ｘ軸、ｙ軸、ｚ軸が含まれ、ｚ軸を、センサ１１の奥行き方向の軸とする。以下の説明では、３次元直交座標系の座標を「３次元座標」と表記する。

ステップＳ１１の処理（補正処理）について説明する。情報処理装置１００は、３次元点群データ２０Ａに含まれるエッジノイズを補正することで、３次元点群データ２０Ｂを生成する。

図４は、補正処理の一例を説明するための図である。図４に示すように、情報処理装置１００は、３次元点群データ２０Ａに対して補正処理を実行することで、３次元点群データ２０Ｂを生成する。３次元点群データ２０Ａと、３次元点群データ２０Ｂとを比較すると、輪郭部分１３において、エッジノイズの座標が、被写体や器具の表面近くに補正されている。補正処理に関する詳細な説明は後述する。

ステップＳ１２の処理（２．５Ｄ（Dimension）変換）について説明する。情報処理装置１００は、３次元点群データ２０Ｂを、２次元のマップに投影することで、２．５Ｄの画像データ２１を生成する。画像データ２１の各画素は、３次元点群データ２０Ｂの点群にそれぞれ対応付けられる。画像データ２１の画素には、対応する点のｚ軸の値が設定される。

ステップＳ１３Ａの処理（認識処理）について説明する。情報処理装置１００は、予め学習しておいた学習モデルに、２．５Ｄの画像データ２１を入力することで、関節ヒートマップ２２を生成する。関節ヒートマップ２２は、被写体１の各関節の位置を示す情報である。

ステップＳ１３Ｂの処理（点群統合）について説明する。情報処理装置１００は、３次元点群データ２０Ｂ（各センサ１１によって測定された複数の３次元点群データ２０Ｂであって、補正処理済みの複数の３次元点群データ２０Ｂ）を統合して、一つの３次元点群データ２０Ｃを生成する。

なお、情報処理装置１００は、上記のステップＳ１３Ａの処理と、ステップＳ１３Ｂの処理とを並行して実行してもよい。

ステップＳ１４Ａの処理（骨格認識）について説明する。情報処理装置１００は、関節ヒートマップ２２に示される各関節の位置を基にして、骨格認識結果２３を生成する。たとえば、骨格認識結果２３は、各関節座標を接続した情報である。

図５は、骨格認識の一例を示す図である。図５に示す例では、３次元点群データと組み合わせた、骨格認識結果２３を示す。たとえば、被写体１の足下のノイズ（マットのノイズなど）が残っていると、骨格認識結果２３において、膝下と足先との骨格位置が異常となる。

ステップＳ１４Ｂの処理（点群クラスタリング）について説明する。情報処理装置１００は、３次元点群データ２０Ｃに対して、点群クラスタリングを実行することで、複数のクラスタに分類する。情報処理装置１００は、複数のクラスタのうち、点群クラスタの点の個数が閾値未満となるクラスタに含まれる点群を、ノイズとして削除する。なお、点群クラスタの点の個数だけでなく、点群クラスタが構成する多面体の体積が閾値未満となるクラスタに含まれる点群を、ノイズとして削除してもよい。

図６は、点群クラスタリングの一例を示す図である。図６に示すように、３次元点群データ２０Ｃに対して、点群クラスタリングを実行し、ノイズ１４を除去することで、３次元点群データ２０Ｄが生成される。

なお、情報処理装置１００は、上記のステップＳ１４Ａの処理と、ステップＳ１４Ｂの処理とを並行して実行してもよい。

ステップＳ１５の処理（フィッティング）について説明する。図７は、フィッティングの一例を示す図である。図７に示すように、情報処理装置１００は、ステップＳ１４Ａで説明した骨格認識結果２３に対して、円筒モデル１６を当てはめて初期位置を設定する。円筒モデルは、被写体１の各部位を円筒（あるいは楕円柱など）でそれぞれ表現したモデルのデータである。情報処理装置１００は、円筒モデル１６の各円筒の接続部分の角度を少しずつ変化させ、円筒モデルの表面と、３次元点群データ２０Ｄの各点との距離が近づくような調整（フィッティング）を実行する。

情報処理装置１００は、フィッティングを行った円筒モデル１６の軸を繋げた骨格モデル２４を生成する。

情報処理装置１００は、センサ１１から距離画像のデータを取得する度に、ステップＳ１０～Ｓ１５の処理を繰り返し実行し、骨格モデル２４を生成する処理を繰り返し実行する。情報処理装置１００は、時系列に骨格モデル２４を出力し、各時刻の骨格モデル２４の関節位置の遷移を基にして、各種競技の技認定、採点等を実行する。

次に、図１に示した情報処理装置１００の構成の一例について説明する。図８は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。図８に示すように、この情報処理装置１００は、通信部１１０、入力部１２０、表示部１３０、記憶部１４０、制御部１５０を有する。

通信部１１０は、図１に示したセンサ１１から距離画像のデータを受信する処理部である。通信部１１０は、受信した距離画像のデータを、制御部１５０に出力する。通信部１１０は、通信装置の一例である。

入力部１２０は、各種の情報を情報処理装置１００に入力する入力装置である。入力部１２０は、キーボードやマウス、タッチパネル等に対応する。たとえば、ユーザは、入力部１２０を操作して、表示画面の表示要求等を行う。

表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。たとえば、表示部１３０は、各種競技の技認定、採点結果等を表示する。表示部１３０は、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ、タッチパネル等に対応する。

記憶部１４０は、背景画像テーブル１４１と、測定テーブル１４２と、センサパラメータ１４３とを有する。記憶部１４０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

背景画像テーブル１４１は、被写体１が存在しない状態で、各センサ１１ａ～１１ｄによってそれぞれ測定された背景画像のデータ（距離画像のデータ）を格納するテーブルである。

測定テーブル１４２は、被写体１が存在している状態で、各センサ１１ａ～１１ｄによってそれぞれ測定された距離画像のデータを格納するテーブルである。

センサパラメータ１４３は、各センサ１１ａ～１１ｄのパラメータをそれぞれ有するものである。たとえば、センサパラメータ１４３は、ｘ軸、ｙ軸の画角θｘ、θｙ、ｘ軸、ｙ軸の焦点距離ｆｘ、ｆｙを含む。また、センサパラメータ１４３は、ｗｉｄｔｈ、ｈｅｉｇｈを含む。

図９は、ｘ軸方向の焦点距離ｆｘを説明するための図である。図９は、センサ１１を上方から見た場合を示す。たとえば、焦点距離ｆｘと、画角θｘとの関係は、式（１）によって示される。式（１）において、ｗｉｄｔｈは、予め設定される横幅であり、後述する２．５Ｄ画像の横方向（ｉ軸方向）の画素数に対応する。

ｆｘ＝ｗｉｄｔｈ／（２＊ｔａｎ（θｘ／２））・・・（１）

図１０は、ｙ軸方向の焦点距離ｆｙを説明するための図である。図１０は、センサ１１を横方向から見た場合を示す。たとえば、焦点距離ｆｙと、画角θｙとの関係は、式（２）によって示される。式（２）において、ｈｅｉｇｈは、予め設定される高さであり、後述する２．５Ｄ画像の縦方向（ｊ軸方向）の画素数に対応する。

ｆｙ＝ｈｅｉｇｈｔ／（２＊ｔａｎ（θｙ／２））・・・（２）

図８の説明に戻る。制御部１５０は、取得部１５１、補正処理部１５２、フィッティング処理部１５３、評価部１５４を有する。制御部１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジック等によって実現される。

取得部１５１は、通信部１１０を介して、センサ１１から、距離画像のデータを取得する処理部である。取得部１５１は、距離画像のデータを、測定テーブル１４２に格納する。取得部１５１は、測定テーブル１４２に距離画像のデータを格納する場合、センサ１１ａ～１１ｄに測定された距離画像のデータを、それぞれ識別可能に分けて、測定テーブル１４２に格納する。

補正処理部１５２は、図２のステップＳ１０で説明した背景差分、ステップＳ１１で説明した補正処理を実行する処理部である。

図１１は、補正処理部の一例を示す図である。図１１に示すように、この補正処理部１５２は、生成部１５２ａ、特定部１５２ｂ、補正部１５２ｃ、出力制御部１５２ｄを有する。

ここで、補正処理部１５２は、センサ１１ａ～１１ｄに測定された各距離画像に対して補正処理を実行するが、説明の便宜上、センサ１１ａに測定された距離画像を補正する場合について説明する。センサ１１ｂ～１１ｄに測定された各距離画像を補正する処理は、センサ１１ａに測定された距離画像を補正する処理と同様である。

生成部１５２ａは、図３で説明したように、センサ１１ａが測定した距離画像１２Ａと、センサ１１ａに対応する背景画像１２Ｂとの差分となる距離画像１２Ｃを算出する処理部である。生成部１５２ａは、距離画像１２Ａのデータを、測定テーブル１４２から取得する。生成部１５２ａは、背景画像１２Ｂのデータを、背景画像テーブル１４１から取得する。

距離画像１２Ｃのデータは、点群に含まれる点と距離との関係をそれぞれ示すデータである。生成部１５２ａは、距離と、３次元座標との関係を定義した変換テーブル（図示略）を用いて、距離画像１２Ｃのデータを、３次元点群データに変換する。３次元点群データは、点群に含まれる点と、３次元座標とをそれぞれ対応付けるものである。生成部１５２ａは、３次元点群データを、特定部１５２ｂに出力する。３次元点群データは「測定データ」に対応する。

生成部１５２ａは、センサ１１ａが測定した距離画像１２Ａのデータが、測定テーブル１４２に格納される度に、上記処理を繰り返し実行する。

特定部１５２ｂは、３次元点群データを基にして、２．５Ｄ画像を生成し、２．５Ｄ画像に含まれる画素のうち、被写体１の輪郭の点群に相当する複数の第１画素を特定する処理部である。２．５Ｄ画像は「距離画像」に対応する。

まず、特定部１５２ｂが、２．５Ｄ画像を生成する処理の一例について説明する。図１２は、２．５Ｄ画像を生成する処理を説明するための図である。図１２に示すように、特定部１５２ｂは、３次元点群データ３０ａの各点を、２次元（ｉ軸、ｊ軸）の２．５Ｄ画像３０ｂの各画素にマッピングする。２．５Ｄ画像３０ｂの画素には、対応する点のｚ軸の値が設定される。図１２では、３次元点群データ３０ａに含まれる一部の点群の図示を省略する。

たとえば、点３１ａに対応する画素は、画素３１ｂであり、画素３１ｂには、点３１ａのｚ軸の値が設定される。以下の説明では、ｚ軸の値を適宜「距離値」と表記する。２．５Ｄ画像の位置（ｉ、ｊ）に対応する距離値Ｚを式（３）によって定義する。ｉの値の範囲は「０～ｗｉｄｔｈ」となる。ｊの値の範囲は「０～ｈｅｉｇｈｔ」となる。

ｄｅｐｔｈ［ｉ］［ｊ］＝Ｚ・・・（３）

続いて、特定部１５２ｂが、第１画素を特定する処理について説明する。図１３は、第１画素を特定する処理を説明するための図である。特定部１５２ｂは、２．５Ｄ画像３０ｂを走査し、２．５Ｄ画像３０ｂに含まれる距離値が設定された複数の画素の内、輪郭部分３１ｃを抽出する。輪郭部分３１ｃに含まれる画素が「第１画素」に対応する。輪郭部分の幅は、予め定数として与えておいてもよい。

特定部１５２ｂは、２．５Ｄ画像３０ｂのデータと、輪郭部分３１ｃのデータとを、補正部１５２ｃに出力する。特定部１５２ｂは、３次元点群データ３０ａの各点と、２．５Ｄ画像３０ｂの各画素とを対応付けたデータを、補正部１５２ｃに出力する。

特定部１５２ｂは、生成部１５２ａから、３次元点群データを取得する度に、上記処理を繰り返し実行する。

補正部１５２ｃは、２．５Ｄ画像に含まれる画素のうち、第１画素から所定範囲に含まれる複数の第２画素を特定し、複数の第１画素に相当する第１点群の第１座標情報を、複数の第２画素に相当する第２点群の第２座標情報で補正する処理部である。たとえば、補正部１５２ｃは、焦点距離ｆｘ、ｆｙを算出する処理、距離ｉｘ、ｉｙを算出する処理、補正する処理を順に実行する。

焦点距離ｆｘ、ｆｙを算出する処理について説明する。補正部１５２ｃは、センサパラメータ１４３に格納された画角θｘと、ｗｉｄｔｈと、式（１）とを基にして、焦点距離ｆｘを算出する。補正部１５２ｃは、センサパラメータ１４３に格納された画角θｙと、ｈｅｉｇｈｔと、式（２）とを基にして、焦点距離ｆｙを算出する。

なお、焦点距離ｆｘ、ｆｙは、予め算出されていてもよく、予め算出された焦点距離ｆｘ、ｆｙが、センサパラメータ１４３に含まれていてもよい。焦点距離ｆｘ、ｆｙが予め算出されている場合には、補正部１５２ｃは、焦点距離ｆｘ、ｆｙを算出する処理をスキップする。

続いて、距離ｉｘ、ｉｙを算出する処理について説明する。ここで、距離ｉｘは、２．５Ｄ画像のｉ軸の１画素の距離を示す。距離ｉｙは、２．５Ｄ画像のｊ軸の１画素の距離を示す。

補正部１５２ｃは、式（４）、式（５）を基にして、距離ｉｘを算出する。図１４は、距離ｉｘの算出に用いられるｗおよびｚの関係を示す図である。ｗは、センサ１１が測定可能な３次元空間の幅を示す。ｚは、センサ１１が測定可能な３次元空間の奥行きを示す。ｚの値は、予め設定されていてもよい。

ｗ＝２×ｔａｎ（θｘ／２）／ｚ・・・（４）
ｉｘ＝ｗ／ｗｉｄｔｈ・・・（５）

補正部１５２ｃは、式（６）、式（７）を基にして、距離ｉｙを算出する。図１５は、距離ｉｙの算出に用いられるｈおよびｚの関係を示す図である。ｈは、センサ１１が測定可能な３次元空間の高さを示す。ｚは、センサ１１が測定可能な３次元空間の奥行きを示す。ｚの値は、予め設定されていてもよい。

ｈ＝２×ｔａｎ（θｘ／２）／ｚ・・・（６）
ｉｙ＝ｗ／ｈｅｉｇｈｔ・・・（７）

続いて、補正する処理について説明する。図１６は、補正する処理を説明するための図（１）である。補正部１５２ｃは、２．５Ｄ画像３０ｂと、輪郭部分３１ｃとを基にして、複数の第１画素のうち、一つの第１画素を「注目画素」として選択する。補正部１５２ｃは、注目画素を中心とする半径ｒｘ、ｒｙに含まれる画素を特定する。半径ｒｘ、ｒｙの値は、予め設定されているものとする。

２．５Ｄ画像３０ｂの注目画素に対応する、３次元点群データ３０ａの点が、注目点となる。

図１６に示す例では、注目画素を画素Ａとする。半径ｒｘ、ｒｙの値をそれぞれ「０．０４ｍ」とする。式（４）および式（５）によって算出される距離ｉｘを「０．００１ｍ」とする。式（６）および式（７）によって算出される距離ｉｙを「０．００２ｍ」とする。半径ｒｘ、ｒｙの値は適宜変更可能である。たとえば、半径ｒｘ、ｒｙの値は「０．０５ｍ」であってもよい。

ここで、画素Ｂ、Ｃ、Ｄ、Ｅのｉ軸方向の距離をそれぞれ加算した値が、半径ｒｘ「０．０４ｍ」となる。また、画素Ｆ、画素Ｇのｊ軸方向の距離をそれぞれ加算した値が、半径ｒｙ「０．００４ｍ」となる。このため、補正部１５２ｃは、画素Ａを中心とした半径ｒｘ、ｒｙの範囲３１ｄを設定する。範囲３１ｄに含まれる画素を周辺画素とする。周辺画素に対応する、３次元点群データの点を、周辺点とする。

補正部１５２ｃは、周辺画素のうち、非輪郭部分の複数の画素を特定する。図１７は、補正する処理を説明するための図（２）である。図１７において、範囲３１ｄに含まれる画素のうち、非輪郭部分の複数の画素は、範囲３１ｅに含まれる画素となる。

補正部１５２ｃは、画素Ａに対応する点の３次元座標を、非輪郭部分の複数の画素に対応する３次元座標を基にして補正する。ここで、画素Ａに対応する点（注目点）の補正前の３次元座標を「ｐｃ［Ａ］．ｘ、ｐｃ［Ａ］．ｙ、ｐｃ［Ａ］．ｚ」とする。画素Ａに対応する点（注目点）の補正後の３次元座標を「ｐｃ［Ａ］．ｘ’、ｐｃ［Ａ］．ｙ’、ｐｃ［Ａ］．ｚ’」とする。

補正部１５２ｃは、非輪郭部分の複数の画素に対応するｚ軸の値の絶対値をそれぞれ特定し、特定した絶対値のうち、最小となる絶対値を、ｐｃ［Ａ］．ｚ’の値に設定する。または、補正部１５２ｃは、非輪郭部分の複数の画素に対応するｚ軸の値の平均値を算出し、算出した平均値を、ｐｃ［Ａ］．ｚ’の値に設定する。

補正部１５２ｃは、ｐｃ［Ａ］．ｚ’と、ｐｃ［Ａ］．ｚとの比を基にして、ｐｃ［Ａ］．ｘ’およびｐｃ［Ａ］．ｙ’を算出する。たとえば、補正部１５２ｃは、式（８）を基にして、ｐｃ［Ａ］．ｘ’を算出する。補正部１５２ｃは、式（９）を基にして、ｐｃ［Ａ］．ｙ’を算出する。

ｐｃ［Ａ］．ｘ’＝ｐｃ［Ａ］．ｘ×ｐｃ［Ａ］．ｚ／ｐｃ［Ａ］．ｚ’・・・（８）
ｐｃ［Ａ］．ｙ’＝ｐｃ［Ａ］．ｙ×ｐｃ［Ａ］．ｚ／ｐｃ［Ａ］．ｚ’・・・（９）

補正部１５２ｃは、複数の第１画素のうち、注目画素として未選択の第１画素を選択して、上記処理を繰り返し実行することで、輪郭部分３１ｃに含まれる複数の第１画素に対応する注目点の３次元座標を補正する処理を繰り返し実行する。係る補正部１５２ｃの処理によって、３次元点群データ３０ａに含まれるエッジノイズの３次元座標が補正される。補正部１５２ｃは、３次元座標を補正した３次元点群データ３０ａを、出力制御部１５２ｄに出力する。

図１８は、補正前の点と補正後の点との関係を説明するための図である。図１８の左側の図は、点を上方から見た図である。図１８の右側の図は、点を横方向から見た図である。補正前の点を点Ａとする。補正後の点を点Ｃとする。Ｚ軸の値のみ補正した点を点Ｂとする。Ｏは、センサ１１の位置である。点Ａ、Ｂ、Ｃの座標は、下記に示すものとなる。
Ａ＝（ｘ、ｙ、ｚ）
Ｂ＝（ｘ、ｙ、ｚ’）
Ｃ＝（ｘ’、ｙ’、ｚ’）

点ＡのＺ軸の値のみを補正した点Ｂは、センサ位置Ｏと、点Ａとの直線ＯＡ上の存在していないので、適切な位置に補正されていない。点Ｂは、直線ＯＡ上に存在する点Ｃの位置に補正することが正しい。

三角形ＡＢＣと三角形ＯＣＤの相似の関係から、式（１０）、式（１１）、式（１２）がそれぞれ導かれる。式（１２）は、式（８）に対応するものである。

ｘ：ｚ＝ｘ’：ｚ’・・・（１０）
ｚ×ｘ’＝ｘ×ｚ’・・・（１１）
ｘ’＝ｘ×ｚ’／ｚ・・・（１２）

三角形ＡＢＣと三角形ＯＣＤの相似の関係から、式（１３）、式（１４）、式（１５）がそれぞれ導かれる。式（１５）は、式（９）に対応するものである。

ｙ：ｚ＝ｙ’：ｚ’・・・（１３）
ｚ×ｙ’＝ｙ×ｚ’・・・（１４）
ｙ’＝ｙ×ｚ’／ｚ・・・（１５）

出力制御部１５２ｄは、補正部１５２ｃから取得する補正された３次元点群データを、フィッティング処理部１５３に出力する処理部である。

ところで、上記の特定部１５２ｂが、補正部１５２ｃによって補正された３次元点群データを基にして、再度、２．５Ｄ画像を生成して輪郭部分に含まれる第１画素を特定し、補正部１５２ｃが、第１画素を再度補正する処理を、Ｌ回繰り返し実行してもよい。Ｌは予め設定される。

図８の説明に戻る。フィッティング処理部１５３は、図２のＳ１２～Ｓ１５で説明した２．５Ｄ変換、認識処理、点群統合、骨格認識、点群クラスタリング、フィッティングをそれぞれ実行する処理部である。フィッティング処理部１５３は、骨格モデル２４を、評価部１５４に出力する。フィッティング処理部１５３は、出力制御部１５２ｄから、補正された３次元点群データを取得する度に、上記処理を繰り返し実行し、骨格モデル２４を出力する。

評価部１５４は、時系列に骨格モデル２４を取得し、骨格モデルの各関節座標の遷移を基にして、被写体１の演技を評価する処理部である。たとえば、評価部１５４は、各関節座標の遷移と、技の種別、技の成立不成立を定義したテーブルを用いて、被写体１の演技を評価し、評価結果を表示部１３０に出力して表示させる。

なお、評価部１５４が実行する技の評価は、各種の採点競技に適用可能である。採点競技には、体操演技の他に、トランポリン、水泳の飛び込み、フィギュアスケート、空手の型、社交ダンス、スノーボード、スケートボード、スキーエアリアル、サーフィンを含む。また、クラシックバレエ、スキージャンプ、モーグルのエアー、ターン、野球、バスケットボールのフォームチェック等にも適用してもよい。また、剣道、柔道、レスリング、相撲などの競技にも適用してもよい。更に、ウェイトリフティングのバーベルが上がったか否かの評価にも用いることができる。

次に、本実施例に係る情報処理装置１００に含まれる、補正処理部１５２の処理手順の一例について説明する。図１９、図２０は、本実施例に係る補正処理部の処理手順を示すフローチャートである。図１９について説明する。補正処理部１５２の生成部１５２ａは、測定テーブル１４２から、距離画像のデータを取得する（ステップＳ１０１）。

生成部１５２ａは、距離画像と背景画像との差分を算出し、距離画像（差分画像）のデータを生成する（ステップＳ１０２）。生成部１５２ａは、距離画像（差分画像）のデータを、３次元点群データに変換する（ステップＳ１０３）。

補正処理部１５２の特定部１５２ｂは、３次元点群データをマッピングすることで、２．５Ｄ画像のデータを生成する（ステップＳ１０４）。補正処理部１５２は、ステップＳ１０５からステップＳ１２１までの処理を、Ｌ回繰り返し実行する。

特定部１５２ｂは、２．５Ｄ画像のデータに対して輪郭抽出を適用する（ステップＳ１０６）。補正処理部１５２の補正部１５２ｃは、輪郭部分の注目画素を設定する（ステップＳ１０７）。補正部１５２ｃは、ｘ軸、ｙ軸それぞれの画角θｘ、θｙから、焦点距離ｆｘ、ｆｙを算出する（ステップＳ１０８）。補正部１５２ｃは、２．５Ｄ画素の１画素あたりのｘ軸、ｙ軸の距離ｉｘ、ｉｙを算出する（ステップＳ１０９）。

補正部１５２ｃは、全注目点に対して、ステップＳ１１０からステップＳ１２０までの処理を繰り返し実行する。補正部１５２ｃは、２．５Ｄ画像上の注目画素を基準とする半径ｒｘ、ｒｙの矩形に含まれる画素を、周辺画素として抽出し（ステップＳ１１１）、図２０のステップＳ１１２の処理に移行する。

図２０の説明に移行する。補正部１５２ｃは、全周画素に対して、ステップＳ１１２からステップＳ１１６までの処理を繰り返し実行する。補正部１５２ｃは、周辺画素の属性（輪郭、非輪郭）を特定する（ステップＳ１１３）。

補正部１５２ｃは、周辺画素の属性（輪郭、非輪郭）を特定する（ステップＳ１１３）。補正部１５２ｃは、周辺画素の属性が輪郭である場合には（ステップＳ１１４，Ｙｅｓ）、ステップＳ１１６に移行する。

一方、補正部１５２ｃは、周辺画素の属性が輪郭でない場合には（ステップＳ１１４，Ｎｏ）、周辺画素のｚ軸の値をバッファ（図示略）に登録する（ステップＳ１１５）。

補正部１５２ｃは、バッファ（図示略）に登録された周辺画素（属性＝非輪郭）のｚ軸の各値を基にして、絶対値の最小値または平均値を算出する（ステップＳ１１７）。補正部１５２ｃは、算出結果（絶対値の最小値または平均値）を基にして、注目点のｚの値を補正する（ステップＳ１１８）。

補正部１５２ｃは、ｚ軸の補正結果を基にして、注目点のｘ軸の値と、ｙ軸の値とを補正する（ステップＳ１１９）。補正処理部１５２の出力制御部１５２ｄは、補正した３次元点群データを、フィッティング処理部１５３に出力する（ステップＳ１２２）。

次に、本実施例に係る情報処理装置１００の効果について説明する。情報処理装置１００は、２．５Ｄ画像において、輪郭に相当する複数の第１画素を特定し、２．５Ｄ画像に含まれる画素のうち、第１画素から所定範囲に含まれる複数の第２画素を特定する。情報処理装置１００は、複数の第１画素に相当する第１点群の３次元座標を、複数の第２画素に相当する第２点群の３次元座標で補正する。これによって、センサが測定した３次元点群のノイズのうち、エッジノイズ相当の点については、被写体の輪郭の点として残すことができる。

また、３次元点群のノイズのうち、エッジノイズ相当の点を、被写体の輪郭の点として残すことができるので、補正された３次元点群データに対するフィッティングの精度を向上させることができる。

図２１は、本実施例の効果を説明するための図である。図２１の点群４０ａは、補正していない３次元点群データを示す。この点群４０ａに対して、フィッティングを実行した場合の骨格モデルは、骨格モデル４１ａとなる。骨格モデル４１ａは、ノイズ５０ａの影響によって、頭部や左腕の関節位置の精度が低下してしまう。

図２１の点群４０ｂは、たとえば、３次元点群データに対して、従来技術１によるノイズ除去を行った点群である。点群４０ｂからは、ノイズ５０ａおよび点群５０ｂが削除されている。ノイズ５０ａの除去は期待通りの除去である。しかし、点群５０ｂは、被写体１の脚の部分に対応する点群であるため、被写体１の足の点群が消失している。このため、点群４０ｂに対して、フィッティングを実行した場合の骨格モデルは、骨格モデル４１ｂとなる。骨格モデル４１ｂは、点群４０ｂから足の点群が消失しているため、足の関節位置の精度が低下してしまう。

図２１の点群４０ｃは、たとえば、補正処理部１５２によって補正された後に、図２の点群クラスタリングによって、ノイズ除去された点群である。点群４０ｂからは、点群５０ｂが除去されず、ノイズ５０ａが除去されている。補正処理部１５２によって、被写体１の足の点群を残すことができる。このため、点群４０ｃに対して、フィッティングを実行した場合の骨格モデルは、骨格モデル４１ｃとなる。骨格モデル４１ｃは、被写体１の各関節位置を精度よく再現している。

情報処理装置１００は、２．５Ｄ画像に含まれる画素のうち、注目画素を基準とした半径ｒｘ、ｒｙに含まれ、かつ、輪郭の点群に相当しない画素を、第２画素として特定する。情報処理装置１００は、複数の第２画素のｚ軸の値を基にして、絶対値の最小値または平均値を算出し、算出した値によって、注目点の３次元座標（ｚ軸の値）を補正する。これによって、エッジノイズのｚ軸の値を、被写体１の点群の座標に近づける補正を行うことができる。

情報処理装置１００は、補正したｚ軸の値を基にして、注目点の３次元座標（ｘ軸の値、ｙ座標の値）を補正する。これによって、補正後の注目点の３次元座標を、より適切な位置に補正することができる。

情報処理装置１００は、特定部１５２ｂが、補正部１５２ｃによって補正された３次元点群データを基にして、再度、２．５Ｄ画像を生成して輪郭部分に含まれる第１画素を特定し、補正部１５２ｃが、第１画素を再度補正する処理を、Ｌ回繰り返し実行する。これによって、被写体１の周辺に存在するエッジノイズを補正することができる。

ところで、本実施例では、補正処理部１５２が輪郭抽出を行う場合に、２．５Ｄ画像３０ｂに含まれる距離値が設定された複数の画素の内、最も外側の画素から２画素を、輪郭として抽出したが、これに限定されるものでは無く、３画素であってもよい。

次に、上記実施例に示した情報処理装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図２２は、情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

図２２に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、センサから測定結果を受信する通信装置２０４と、各種の装置と接続するインタフェース装置２０５とを有する。コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１～２０７は、バス２０８に接続される。

ハードディスク装置２０７は、取得プログラム２０７ａ、補正プログラム２０７ｂ、フィッティング処理プログラム２０７ｃ、評価プログラム２０７ｄを有する。ＣＰＵ２０１は、取得プログラム２０７ａ、補正プログラム２０７ｂ、フィッティング処理プログラム２０７ｃ、評価プログラム２０７ｄを読み出してＲＡＭ２０６に展開する。

取得プログラム２０７ａは、取得プロセス２０６ａとして機能する。補正プログラム２０７ｂは、補正プロセス２０６ｂとして機能する。フィッティング処理プログラム２０７ｃは、フィッティング処理プロセス２０６ｃとして機能する。評価プログラム２０７ｄは、評価プロセス２０６ｄとして機能する。

取得プロセス２０６ａの処理は、取得部１５１の処理に対応する。補正プロセス２０６ｂの処理は、補正処理部１５２の処理に対応する。補正処理部１５２は、生成部１５２ａ、特定部１５２ｂ、補正部１５２ｃ、出力制御部１５２ｄを含む。評価プロセス２０６ａの処理は、評価部２０７ｄの処理に対応する。

なお、各プログラム２０７ａ～２０７ｄについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくてもよい。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が各プログラム２０７ａ～２０７ｄを読み出して実行するようにしてもよい。

１０、１１ａ，１１ｂ，１１ｃ，１１ｄ センサ
１００ 情報処理装置
１１０ 通信部
１２０ 入力部
１３０ 表示部
１４０ 記憶部
１４１ 背景画像テーブル
１４２ 測定テーブル
１４３ センサパラメータ
１５０ 制御部
１５１ 取得部
１５２ 補正処理部
１５２ａ 生成部
１５２ｂ 特定部
１５２ｃ 補正部
１５２ｄ 出力制御部
１５３ フィッティング処理部
１５４ 評価部

Claims (7)

1. コンピュータが実行する補正方法であって、
   ３Ｄセンサの測定データを基にして、距離画像を生成し、
   前記距離画像に含まれる画素のうち、被写体の輪郭の点群に相当する複数の第１画素を特定し、
   前記距離画像に含まれる画素のうち、前記複数の第１画素から所定範囲に含まれる複数の第２画素を特定し、
   前記測定データにおいて前記複数の第１画素に相当する第１点群の第１座標情報の値を、前記複数の第２画素に相当する第２点群の第２座標情報の値に近づけることで、前記第１座標情報を補正し、
   前記第１座標情報を補正した第１点群を含む前記被写体を構成する点群の座標情報を出力する
   処理を実行することを特徴とする補正方法。
2. 前記第２画素を特定する処理は、前記距離画像に含まれる画素のうち、前記複数の第１画素から所定範囲内に含まれ、かつ、前記輪郭の点群に相当しない画素を、前記第２画素として特定することを特徴とする請求項１に記載の補正方法。
3. 前記補正する処理は、前記第２座標情報の絶対値のうちの最小値、または、前記第２座標情報の平均値を基にして、前記第１座標情報を補正することを特徴とする請求項２に記載の補正方法。
4. 前記補正する処理は、前記第１座標情報に含まれる３次元直交座標系の第１座標、第２座標、第３座標のうち、前記第３座標を補正し、補正前の前記第３座標と、補正後の前記第３座標との比に基づいて、前記第１座標および前記第２座標を更に補正することを特徴とする請求項３に記載の補正方法。
5. 前記第１座標情報が補正される度に、前記被写体を構成する点群を基にして、前記距離画像を生成する処理、前記第１画素を特定する処理、前記第２画素を特定する処理、前記第１座標を補正する処理を繰り返し実行することを特徴とする請求項４に記載の補正方法。
6. コンピュータに、
   ３Ｄセンサの測定データを基にして、距離画像を生成し、
   前記距離画像に含まれる画素のうち、被写体の輪郭の点群に相当する複数の第１画素を特定し、
   前記距離画像に含まれる画素のうち、前記複数の第１画素から所定範囲に含まれる複数の第２画素を特定し、
   前記測定データにおいて前記複数の第１画素に相当する第１点群の第１座標情報の値を、前記複数の第２画素に相当する第２点群の第２座標情報の値に近づけることで、前記第１座標情報を補正し、
   前記第１座標情報を補正した第１点群を含む前記被写体を構成する点群の座標情報を出力する
   処理を実行させることを特徴とする補正プログラム。
7. ３Ｄセンサと、情報処理装置とを有する情報処理システムであって、
   前記３Ｄセンサは、測定データを、前記情報処理装置に出力し、
   前記情報処理装置は、
   前記３Ｄセンサから受け付けた前記測定データを基にして、距離画像を生成し、前記距離画像に含まれる画素のうち、被写体の輪郭の点群に相当する複数の第１画素を特定する特定部と、
   前記測定データにおいて前記距離画像に含まれる画素のうち、前記複数の第１画素から所定範囲に含まれる複数の第２画素を特定し、前記複数の第１画素に相当する第１点群の第１座標情報の値を、前記複数の第２画素に相当する第２点群の第２座標情報の値に近づけることで、前記第１座標情報を補正する補正部と、
   前記第１座標情報を補正した第１点群を含む前記被写体を構成する点群の座標情報を出力する出力制御部と
   を有することを特徴とする情報処理システム。

Images