JP2014020986A - 位置決定装置、位置決定システム、位置決定方法及びプログラム - Google Patents
位置決定装置、位置決定システム、位置決定方法及びプログラム Download PDFInfo
- Publication number
- JP2014020986A JP2014020986A JP2012161323A JP2012161323A JP2014020986A JP 2014020986 A JP2014020986 A JP 2014020986A JP 2012161323 A JP2012161323 A JP 2012161323A JP 2012161323 A JP2012161323 A JP 2012161323A JP 2014020986 A JP2014020986 A JP 2014020986A
- Authority
- JP
- Japan
- Prior art keywords
- marker
- image
- subject
- position determination
- markers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】位置決定装置2は、複数の可動部分にマーカーが付された被写体が所定の一方向から撮像された画像を取得する画像取得部202と、取得された画像内のマーカーを検出するマーカー検出部203と、画像に含まれる被写体画像の少なくとも一部分の所定方向の軸を中心とする回動角度を算出する回動角度算出部204と、算出された回動角度に基づいて、被写体の所定方向の軸を中心とする回動動作に係る回動情報を生成する回動情報生成部205と、マーカー検出部203によるマーカーの検出結果及び回動情報に基づいて、被写体に付された全てのマーカーの位置を決定するマーカー位置決定部206と、を備える。
【選択図】図2
Description
図1は、本発明を適用した一実施形態の位置決定システム100の概略構成を示すブロック図である。
図1に示すように、本実施形態の位置決定システム100は、撮像装置1と、位置決定装置2とを備える。
撮像装置1は、複数の可動部分にマーカーが付された被写体P(図5参照)を所定の一方向から撮像する。
具体的には、撮像装置1は、例えば、撮像レンズの光軸を被写体Pが存する所定の一方向(例えば、方向V1;図8(a)〜(c)参照)に向けるように、当該被写体Pを撮像可能な所定の位置に固定されている。被写体Pには、複数の可動部分にマーカー(例えば、マーカーM1〜M16等;図5参照)が予め付されている。
そして、撮像装置1は、マーカーが付された被写体Pを撮像した画像データを生成して記録媒体Cに記録する。具体的には、撮像装置1は、被写体Pを所定の時間連続して撮像し、所定のフレームレートを有する動画像データを生成して記録媒体Cに記録する。
なお、撮像装置1は、例えば、所定の時間内においてそれぞれ異なる複数のタイミングで被写体Pを撮像し、各タイミングで撮像された静止画像データを生成して記録媒体Cに記録するようにしてもよい。
マーカーは、被写体に存する複数の可動部分に付される。例えば、マーカーは、被写体Pであるヒトの間接に対応する位置や、被写体Pの動作に応じて揺動する部分の先端又は当該先端の近傍等、被写体Pの動作に応じて位置が変化する複数の箇所に付される。
具体的には、マーカーは、例えば、図5に示すように、被写体Pの顔が面する側(正面側)の顔、肩、又、両脚及び両腕に付されている。ここで、顔には上下方向に並ぶように二つのマーカーM1、M2が付されている。また、首の付け根には一つのマーカーM3が付されている。また、股の上方には一つのマーカーM4が付されている。また、右脚の膝、脛の付け根及びつま先にはそれぞれ一つずつのマーカーM5、M6、M7が付されている。また、左脚の膝、脛の付け根及びつま先にはそれぞれ一つずつのマーカーM8、M9、M10が付されている。また、右肩、右肘、右手の付け根にはそれぞれ一つずつのマーカーM11、M12、M13が付されている。また、左肩、左肘、左手の付け根にはそれぞれ一つずつのマーカーM14、M15、M16が付されている。
また、上記のマーカーの各種の特徴や、被写体Pに付されたマーカーの数、マーカーどうしの位置関係、各マーカーが付された被写体Pの可動部分どうしの関係等、マーカーに係る各種の特徴を示す情報(マーカー情報)が、位置決定装置2の所定の記録手段(図示略)に記録されている。
位置決定装置2は、例えば、パーソナルコンピュータ等により構成され、撮像装置1により記録された画像データを記録媒体Cから読み出して被写体Pの動作情報を生成する。
図2に示すように、位置決定装置2は、具体的には、記録媒体制御部201と、画像取得部202と、マーカー検出部203と、回動角度算出部204と、回動情報生成部205と、マーカー位置決定部206と、動作情報生成部207と、表示部208と、操作入力部209と、中央制御部210等を備えている。
具体的には、画像取得部202は、例えば、被写体Pを所定の時間連続して撮像した複数のフレーム画像を有する動画像データを取得し、当該動画像データを構成する複数のフレーム画像の各々を静止画像データとして個別に抽出し、各フレーム画像に対応する静止画像データを取得する。ここで、静止画像データは、図7(a)〜(c)や図9に示すように、動画像データの生成時に撮像された被写体画像(例えば、図7(a)〜(c)及び図9に示す被写体画像P1〜P4)及び被写体Pに付されたマーカーの画像を含む。
また、マーカーが付された被写体Pを撮像した静止画像データが記録媒体Cに記録されている場合、画像取得部202は、記録媒体制御部201から出力された当該静止画像データを取得する。
具体的には、マーカー検出部203は、マーカー情報により示されるマーカーの特徴(例えば、マーカーの形状や色等の視覚的特徴)に基づいて、マーカーとその周囲との画素値の差からマーカーの輪郭(エッジ)及び当該輪郭に囲まれた画像領域を検出するエッジ検出処理等を行う。そして、マーカー検出部203は、マーカーの検出結果をマーカー位置決定部206に出力する。
なお、マーカー検出部203によるマーカーの検出方法は一例であってこれに限られるものでなく、適宜任意に変更可能である。
また、エッジ検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
具体的には、回動角度算出部204は、顔画像検出部204aを具備し、この顔画像検出部204aにより検出された顔画像の所定方向の軸を中心とする回動角度を算出する。
具体的には、顔画像検出部204aは、画像取得部202により取得された画像から、顔画像の候補領域として、所定サイズ(例えば、24×24[画素])の検出候補領域を複数生成する。そして、顔画像検出部204aは、例えば、各検出候補領域の画像データと所定の基準画像の画像データとの類似度を所定のアルゴリズム(例えば、adaboost(アダブースト)等)による出力計算を用いて算出し、算出された類似度が所定の閾値以上である検出候補領域の画像を顔画像として検出する。
なお、顔画像検出部204aによる顔画像の検出方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
具体的には、回動角度算出部204は、例えば、顔画像検出部204aにより検出された顔画像の複数の特徴点(例えば、「ヒトの目」や「ヒトの鼻」、「ヒトの口」等)を特徴点検出処理により検出し、各特徴点どうしの位置関係を示す相関を特定する。そして、回動角度算出部204は、顔画像検出部204aにより検出された顔画像において特定された各特徴点どうしの相関と所定の相関データとの照合結果に基づいて、地面に垂直な方向の軸を中心とする顔画像の回動角度を算出する。また、回動角度算出部204は、算出された回動角度を示す情報を回動情報生成部205に出力する。
ここで、所定の相関データは、例えば、所定の記録手段(図示略)に記録され、顔画像の回動角度と、顔画像の回動角度に応じて変化する顔画像の各特徴点どうしの位置関係の相関とを対応付けた情報等、顔画像の回動角度の算出に係る各種の情報を含むデータである(図6参照)。なお、被写体Pの顔が撮像装置1のレンズに対して正面を向いた状態で撮像された顔画像の回動角度を基準(0[度])とし、一方の回動方向(例えば、図6の右方向)を+の回動方向とし、他方の回動方向(例えば、図6の左方向)を−の回動方向とするが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
また、特徴点検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
具体的には、回動情報生成部205は、例えば、地面に垂直な方向の軸(例えば、軸O;図8(a)等参照)を中心として被写体Pが回動しているか否かを示す情報や、被写体Pの回動角度とを示す情報等を含む回動情報を生成する。そして、回動情報生成部205は、生成された回動情報をマーカー位置決定部206に出力する。
なお、所定の角度は、適宜任意に変更可能である。例えば、回動情報生成部205は、回動角度の絶対値が0[度]を上回る場合に、被写体Pが回動していると判定するようにしてもよいし、絶対値がより大きい所定の角度(例えば、45[度]等)に基づいて、被写体Pが回動しているか否かを判定するようにしてもよい。
具体的には、マーカー位置決定部206は、マーカー検出部203により検出されたマーカーの位置を決定する。ここで、マーカー位置決定部206は、例えば、画像取得部202により取得された画像の全画像領域(例えば、画像領域D;図9参照)に対するマーカーの画像領域位置を検出する。また、マーカー位置決定部206は、検出されたマーカーの位置を所定の形式の位置情報(例えば、画像領域D内の所定の一点を原点とした座標情報等)とする。
また、マーカー位置決定部206は、第1判定部206a、第2判定部206b及び位置推定部206cを備える。
具体的には、第1判定部206aは、マーカー検出部203から出力されたマーカーの検出結果を取得し、マーカー検出部203により検出済みのマーカーの数を特定する。そして、第1判定部206aは、特定されたマーカーの数と、マーカー情報により示されるマーカーの数との比較結果に基づいて、被写体Pに付された全てのマーカー(例えば、マーカーM1〜M16等)がマーカー検出部203により検出されたか否か判定する。
ここで、全てのマーカーが検出されたと判定された場合、マーカー位置決定部206は、マーカー検出部203によるマーカーの検出結果に基づいて、被写体Pに付された全てのマーカーの位置を決定する(図7(a)、(b)参照)。即ち、マーカー位置決定部206は、マーカー検出部203により検出されたマーカーの各々の位置の検出によりマーカーの位置を決定する。
具体的には、第2判定部206bは、回動情報生成部205から出力された回動情報を取得し、回動情報が被写体Pの回動を示す情報を含むか否かにより被写体が回動しているか否か判定する。例えば、図8(c)に示すように、被写体Pの回動角度が−90[度]である場合、被写体画像P3(図7(c))について、顔画像の回動角度が−90[度]であることが回動角度算出部204により算出される。そして、当該回動角度を含む回動情報が回動情報生成部205により生成されることから、第2判定部206bは、被写体が回動していると判定する。
即ち、位置推定部206cは、全てのマーカーがマーカー検出部203により検出されていないと判定され、かつ、被写体Pが回動していると判定された場合、回動情報に基づいて、非検出のマーカーの位置を推定する推定手段として機能する。
具体的には、位置推定部206cは、例えば、図8(c)に示すように、マーカーM1、M7等、マーカー検出部203により検出され、マーカー位置決定部206により決定されたマーカーの位置に基づいて、非検出のマーカーが存すると推定される被写体Pの正面の位置(例えば、線L1により示される位置)を推定する。また、位置推定部206cは、回動情報に基づいて、被写体の正面側が向いている方向(例えば、方向V2)を推定する。そして、位置推定部206cは、マーカー情報により示される各マーカーどうしの位置関係等から、非検出のマーカーが存する可能性が最も高いとされる位置を非検出のマーカー(例えば、マーカーM3、M6等)の各々について推定する。
図7(c)では、マーカーM3、M6の位置を矢印にて指し示している。また、図8(c)では、検出済みのマーカーM1、M7を黒点で示し、位置が推定されたマーカーM11〜M16を白抜きの点で示している。
例えば、図9に示すように、例えば、被写体画像P4における顔画像の回動角度は0[度]の状態で、被写体Pの動作により一部のマーカー(例えば、マーカーM4)が被写体Pの体の一部により隠されて撮像されなかった場合、第1判定部206aは、全てのマーカーがマーカー検出部203により検出されていないと判定し、且つ、第2判定部206bは、被写体Pは回動していないと判定する。この場合、位置推定部206cは、例えば、上記のマーカーM4に隣接するマーカーM3、M5、M8の3つのマーカーの位置関係(例えば、図5に示す三角形T1)や、当該3つのマーカーの各々に対するマーカーM4の位置関係をマーカー情報から取得する。また、位置推定部206cは、マーカーM4が非検出の被写体画像P4から検出され、マーカー位置決定部206により位置が決定されたマーカーM3、M5、M8の位置関係(例えば、図9に示す三角形T2)を取得する。そして、位置推定部206cは、これらの位置関係に基づいて、被写体画像P4におけるマーカーM4の位置を推定する。
図8(a)のタイミングから図8(b)のタイミングにかけて、被写体Pが軸Oを中心として0[度]の回動角度から−45[度]回動すると、当該回動動作及び回動角度を示す回動情報が生成される。この状態では、図7(a)、(b)に示すように、被写体画像P1、P2に基づいて、マーカー検出部203により被写体Pに付された全てのマーカーが検出される。
さらに、図8(b)のタイミングから図8(c)のタイミングにかけて、被写体Pがさらに−45[度]回動すると、回動角度は−90[度]となって、当該回動動作及び回動角度を示す回動情報が生成される。この状態では、図7(c)に示すように、被写体画像P3に基づいてマーカー検出部203により非検出とされるマーカー(例えば、マーカーM3、M6、M11〜M16)が生じる。この場合、位置推定部206cは、例えば、マーカー検出部203により検出された被写体画像P2におけるマーカーを基準とし、被写体画像P1から被写体画像P2にかけて変化したマーカーの位置の変化の度合いに基づいて、被写体画像P3にて非検出のマーカーの位置を推定するようにしてもよい。
具体的には、マーカー位置決定部206は、例えば、各々のマーカーの位置を所定の領域内の一点を原点とした座標領域内における座標情報とし、全てのマーカーの位置に対応する座標情報が含まれた情報をマーカー位置情報として動作情報生成部207に出力する。ここで、座標領域は、例えば、三次元空間に対応する座標を管理するためのものであってもよいし、他の次元(例えば、二次元等)に対応する座標を管理するためのものであってもよい。
具体的には、動作情報生成部207は、複数の静止画像データの各々についてマーカー位置決定部206により出力されたマーカー位置情報を、各々の静止画像データが撮像されたタイミングにおける被写体Pのポーズを示すデータとする。そして、動作情報生成部207は、各々の静止画像データの撮像タイミングの時間軸に沿って各々のタイミングにおける被写体Pのポーズを示すデータどうしを関連付けることで動作情報を含むデータ(モーションデータ)を生成する。
また、動作情報生成部207は、記録媒体C等の記録装置にモーションデータを記録させる。
即ち、表示部208は、例えば、画像取得部202により取得された静止画像データを表示する。また、表示部208は、マーカー検出部203により検出されたマーカーを示す情報を表示する。また、表示部208は、マーカー位置決定部206により決定された全てのマーカーの位置を示す情報を表示する。また、表示部208は、非検出のマーカーがある場合、マーカー位置決定部206により位置が推定されたマーカーの位置とマーカー検出部203により検出されたマーカーに対応する位置とを区別可能に表示するようにしてもよい。また、表示部208は、動作情報により示される被写体Pの動きをタイミングごとに並べて表示するようにしてもよいし、スライドショー等の画面遷移を用いて動作情報に応じた被写体Pの動作を再現する表示を行うようにしてもよい。
なお、操作入力部209としてタッチパネル(図示略)を表示部208の表示画面に配設して、タッチパネルの接触位置に応じて各種の指示を入力するような構成としても良い。
RAMは、例えば、CPUにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ROMは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、位置決定装置2で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記録する。
図3は、動作情報生成処理に係る動作の一例を示すフローチャートである。また、図4は、マーカー位置決定処理に係る動作の一例を示すフローチャートである。
次に、画像取得部202は、複数の可動部分にマーカーが付された被写体Pが所定の一方向から撮像された画像を取得する(ステップS2)。具体的には、画像取得部202は、例えば、記録媒体制御部201から出力された動画像データを構成する複数のフレーム画像の各々を静止画像データとして個別に抽出し、各フレーム画像に対応する静止画像データを取得する。
次に、回動角度算出部204は、顔画像検出部204aにより検出された顔画像の所定方向の軸を中心とする回動角度を算出する(ステップS5)。具体的には、回動角度算出部204は、例えば、顔画像検出部204aにより検出された顔画像の複数の特徴点(例えば、「ヒトの目」や「ヒトの鼻」、「ヒトの口」等)を特徴点検出処理により検出し、各特徴点どうしの位置関係を示す相関を特定し、特定された顔画像の相関と、所定の相関データとの照合結果に基づいて、顔画像検出部204aにより検出された顔画像について、地面に垂直な方向の軸を中心とした回動角度を算出する(図6参照)。
以下に、マーカー位置決定部206について、図4のフローチャートを参照して説明する。
まず、マーカー位置決定部206は、マーカー検出部203に検出されたマーカーの位置を決定する(ステップS21)。具体的には、マーカー位置決定部206は、例えば、画像取得部202により取得された画像の全画像領域に対するマーカーの画像領域位置を検出し、検出されたマーカーの位置を所定の形式の位置情報とする(図9等参照)。
ステップS22にて、マーカー検出部203により被写体Pに付された全てのマーカーが検出されたと判定された場合(ステップS22;YES)、マーカー位置決定部206は、マーカー検出部203によるマーカーの検出結果に基づいて、被写体Pに付された全てのマーカーの位置を決定する(ステップS23)。即ち、マーカー位置決定部206は、マーカー検出部203により検出されたマーカーの各々の位置の検出によりマーカーの位置を決定する。
ステップS25にて、回動情報に基づいて、被写体Pが回動していると判定された場合(ステップS25;YES)、位置推定部206cは、回動情報に基づいて、非検出のマーカーの位置を推定する(ステップS26)。具体的には、位置推定部206cは、例えば、位置推定部206cは、被写体Pに付された全てのマーカーのうちマーカー検出部203により検出され、マーカー位置決定部206により決定されたマーカーの位置や、回動情報により示される被写体Pの回動角度、マーカー情報により示されるマーカーに係る各種情報から非検出のマーカーの位置を推定する(図7(c)、図8(c)参照)。
一方、ステップS25にて、回動情報に基づいて、被写体Pが回動していないと判定された場合(ステップS25;NO)、位置推定部206cは、検出されたマーカーに基づいて、非検出のマーカーの位置を推定する(ステップS27)。具体的には、位置推定部206cは、例えば、マーカー検出部203により非検出のマーカーとマーカー検出部203により検出されたマーカーとの位置関係を取得し、当該位置関係と、マーカー検出部203により検出され、マーカー位置決定部206により決定されたマーカーの位置とに基づいて、非検出のマーカーの位置を推定する(図9参照)。
ステップS26又はステップS27のいずれかの処理後、マーカー位置決定部206は、位置推定部206cにより推定された非検出のマーカーの位置を用いて全てのマーカーの位置を決定する(ステップS23)。即ち、マーカー位置決定部206は、位置推定部206cにより推定された非検出のマーカーの位置を当該非検出のマーカーが存するであろう位置として決定し、マーカー検出部203により検出されたマーカーの各々の位置の検出結果と合わせて全てのマーカーの位置を決定する。
ステップS23の処理の完了により、マーカー位置決定部206は、マーカー位置決定処理を完了する。
ステップS28にて、回動情報に基づいて、被写体Pが回動していると判定された場合(ステップS28;YES)、位置推定部206cは、回動情報及び他の画像のマーカーの位置に基づいて、非検出のマーカーの位置を推定する(ステップS29)。具体的には、位置推定部206cは、例えば、ステップS26の処理と同様の流れで処理を行うに際して、更に、マーカー検出部203により複数の画像のうちの何れか一の画像にて非検出のマーカーと対応するマーカーが当該複数の画像のうちの一の画像と異なる他の画像から検出された場合に、他の画像から検出されたマーカーの位置に基づいて非検出のマーカーの位置を推定する(図7(a)〜(c)、図8(a)〜(c)参照)。
一方、ステップS28にて、回動情報に基づいて、被写体Pが回動していないと判定された場合(ステップS28;NO)、位置推定部206cは、検出されたマーカー及び他の画像のマーカーの位置に基づいて、非検出のマーカーの位置を推定する(ステップS30)。具体的には、位置推定部206cは、例えば、ステップS27の処理と同様の流れで処理を行うに際して、更に、マーカー検出部203により複数の画像のうちの何れか一の画像にて非検出のマーカーと対応するマーカーが当該複数の画像のうちの一の画像と異なる他の画像から検出された場合に、他の画像から検出されたマーカーの位置に基づいて非検出のマーカーの位置を推定する。
ステップS29又はステップS30のいずれかの処理後、マーカー位置決定部206は、位置推定部206cにより推定された非検出のマーカーの位置を用いて全てのマーカーの位置を決定し(ステップS23)、マーカー位置決定処理を完了する。
ステップS10の処理の完了により、位置決定装置2は、動作情報生成処理を完了する。
さらに、従来のように複数の方向から被写体を撮像する場合に比べて、より低コストで全てのマーカーの位置を決定することができる。
さらに、被写体Pが回動していると判定された場合に、回動情報に基づいて、非検出のマーカーの位置を推定するので、被写体Pの回動動作の有無を踏まえてマーカーの位置を推定することができ、回動動作の有無によって推定される位置が変化する非検出のマーカーの位置の推定をより高精度で行うことができる。
位置決定装置2が撮像手段を備えることにより、撮像手段(例えば、撮像装置1)と取得手段(例えば、画像取得部202)との間でデータを受け渡すための手段(例えば、記録媒体C)や受け渡しの作業を省略することができ、より効率的に全てのマーカーの位置の決定に係る処理を行うことができる。
また、上記実施形態において、顔画像検出部204aは、回動角度算出部204に設けられているが、一例であってこれに限られるものでない。例えば、顔画像検出部204aは、回動角度算出部204から独立して設けられてもよい。マーカー位置決定部206が備える各部も同様に、マーカー位置決定部206から独立して設けられてもよい。
また、上記実施形態では、回動動作の中心となる所定方向の軸を地面に垂直な方向の軸としているが、一例であってこれに限られるものでなく、適宜任意に変更可能である。
また、被写体Pはヒトに限らず、ヒト以外であってもよい。この場合、回動角度算出部204は、画像取得部202により取得された画像の中で被写体の回動角度の算出に用いることができる特徴点を含む画像領域に基づいて、回動角度を算出する。
具体的には、マーカー位置決定部206は、例えば、マーカー検出部203により全てのマーカーが検出され、全てのマーカーの位置の決定に係り回動情報が用いられなかった静止画像データのマーカー位置情報に対して、当該静止画像データに対応する回動情報が示す被写体Pの回動角度に基づいて、三次元空間の座標領域内における各マーカーの位置の算出や各マーカーの位置の調整、補正等の各種の処理のいずれか又は複数を行うようにしてもよい。
即ち、プログラムを記録するプログラムメモリ(図示略)に、画像取得ルーチン、マーカー検出ルーチン、回動角度算出ルーチン、回動情報生成ルーチン、マーカー位置決定ルーチン、動作情報生成ルーチン等を含むプログラムを記録しておく。そして、画像取得ルーチンによりCPUが、複数の可動部分にマーカーが付された被写体が所定の一方向から撮像された画像を取得するようにしてもよい。また、マーカー検出ルーチンによりCPUが、取得された画像内のマーカーを検出するようにしてもよい。また、回動角度算出ルーチンによりCPUが、画像に含まれる被写体画像の少なくとも一部分の所定方向の軸を中心とする回動角度を算出するようにしてもよい。また、回動情報生成ルーチンによりCPUが、算出された回動角度に基づいて、被写体の所定方向の軸を中心とする回動動作に係る回動情報を生成するようにしてもよい。また、マーカー位置決定ルーチンによりCPUが、マーカーの検出結果及び回動情報に基づいて、被写体に付された全てのマーカーの位置を決定するようにしてもよい。また、動作情報生成ルーチンによりCPUが、決定された複数の画像に係る全てのマーカーの位置に基づいて、被写体の動作を示す動作情報を生成するようにしてもよい。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
複数の可動部分にマーカーが付された被写体が所定の一方向から撮像された画像内のマーカーの位置を決定する位置決定装置において、
前記画像を取得する取得手段と、
この取得手段により取得された画像内のマーカーを検出する第1検出手段と、
前記画像に含まれる被写体画像の少なくとも一部分の所定方向の軸を中心とする回動角度を算出する算出手段と、
この算出手段により算出された回動角度に基づいて、前記被写体の前記所定方向の軸を中心とする回動動作に係る回動情報を生成する第1生成手段と、
前記第1検出手段によるマーカーの検出結果及び前記第1生成手段により生成された前記回動情報に基づいて、前記被写体に付された全てのマーカーの位置を決定する決定手段と、
を備えることを特徴とする位置決定装置。
<請求項2>
前記決定手段は、
前記全てのマーカーが前記第1検出手段により検出されたか否か判定する第1判定手段と、
この第1判定手段により前記全てのマーカーが検出されていないと判定された場合に、前記回動情報に基づいて、前記第1検出手段により非検出のマーカーの位置を推定する推定手段と、を備えることを特徴とする請求項1に記載の位置決定装置。
<請求項3>
前記決定手段は、更に、前記回動情報に基づいて、被写体が回動しているか否か判定する第2判定手段を備え、
前記推定手段は、前記第2判定手段により被写体が回動していると判定された場合に、前記回動情報に基づいて、前記第1検出手段により非検出のマーカーの位置を推定することを特徴とする請求項2に記載の位置決定装置。
<請求項4>
前記取得手段は、所定の時間内にそれぞれ異なるタイミングで撮像された複数の画像を取得し、
前記推定手段は、前記第1検出手段により前記複数の画像のうちの何れか一の画像にて非検出のマーカーと対応するマーカーが当該複数の画像のうちの前記一の画像と異なる他の画像から検出された場合に、前記他の画像から検出されたマーカーの位置に基づいて前記非検出のマーカーの位置を推定することを特徴とする請求項2又は3に記載の位置決定装置。
<請求項5>
前記決定手段は、所定の時間内にそれぞれ異なるタイミングで撮像された複数の画像について、前記被写体に付された全てのマーカーの位置を決定し、
前記決定手段により決定された前記複数の画像に係る全てのマーカーの位置に基づいて、前記被写体の動作を示す動作情報を生成する第2生成手段を更に備えることを特徴とする請求項1〜4の何れか一項に記載の位置決定装置。
<請求項6>
前記被写体画像の顔画像を検出する第2検出手段を備え、
前記算出手段は、前記第2検出手段により検出された顔画像の前記所定方向の軸を中心とする回動角度を算出することを特徴とする請求項1〜5の何れか一項に記載の位置決定装置。
<請求項7>
前記被写体を前記所定の一方向から撮像する撮像手段を更に備え、
前記取得手段は、前記撮像手段により撮像された画像を取得することを特徴とする請求項1〜6の何れか一項に記載の位置決定装置。
<請求項8>
複数の可動部分にマーカーが付された被写体を所定の一方向から撮像する撮像装置と、
請求項1〜6の何れか一項に記載の位置決定装置と、を備える位置決定システムであって、
前記位置決定装置の前記取得手段は、前記撮像装置により撮像された画像を取得することを特徴とする位置決定システム。
<請求項9>
複数の可動部分にマーカーが付された被写体が所定の一方向から撮像された画像内のマーカーの位置を決定する位置決定装置を用いた位置決定方法であって、
前記画像を取得するステップと、
取得された画像内のマーカーを検出するステップと、
前記画像に含まれる被写体画像の少なくとも一部分の所定方向の軸を中心とする回動角度を算出するステップと、
算出された回動角度に基づいて、前記被写体の前記所定方向の軸を中心とする回動動作に係る回動情報を生成するステップと、
マーカーの検出結果及び前記回動情報に基づいて、前記被写体に付された全てのマーカーの位置を決定するステップと、
を有することを特徴とする位置決定方法。
<請求項10>
複数の可動部分にマーカーが付された被写体が所定の一方向から撮像された画像内のマーカーの位置を決定する位置決定装置のコンピュータを、
前記画像を取得する手段、
取得された画像内のマーカーを検出する手段、
前記画像に含まれる被写体画像の少なくとも一部分の所定方向の軸を中心とする回動角度を算出する手段、
算出された回動角度に基づいて、前記被写体の前記所定方向の軸を中心とする回動動作に係る回動情報を生成する手段、
マーカーの検出結果及び前記回動情報に基づいて、前記被写体に付された全てのマーカーの位置を決定する手段、
として機能させることを特徴とするプログラム。
1 撮像装置
2 位置決定装置
201 記録媒体制御部
202 画像取得部
203 マーカー検出部
204 回動角度算出部
204a 顔画像検出部
205 回動情報生成部
206 マーカー位置決定部
206a 第1判定部
206b 第2判定部
206c 位置推定部
207 動作情報生成部
C 記録媒体
M1〜M16 マーカー
O 軸
P 被写体
P1〜P4 被写体画像
Claims (10)
- 複数の可動部分にマーカーが付された被写体が所定の一方向から撮像された画像内のマーカーの位置を決定する位置決定装置において、
前記画像を取得する取得手段と、
この取得手段により取得された画像内のマーカーを検出する第1検出手段と、
前記画像に含まれる被写体画像の少なくとも一部分の所定方向の軸を中心とする回動角度を算出する算出手段と、
この算出手段により算出された回動角度に基づいて、前記被写体の前記所定方向の軸を中心とする回動動作に係る回動情報を生成する第1生成手段と、
前記第1検出手段によるマーカーの検出結果及び前記第1生成手段により生成された前記回動情報に基づいて、前記被写体に付された全てのマーカーの位置を決定する決定手段と、
を備えることを特徴とする位置決定装置。 - 前記決定手段は、
前記全てのマーカーが前記第1検出手段により検出されたか否か判定する第1判定手段と、
この第1判定手段により前記全てのマーカーが検出されていないと判定された場合に、前記回動情報に基づいて、前記第1検出手段により非検出のマーカーの位置を推定する推定手段と、を備えることを特徴とする請求項1に記載の位置決定装置。 - 前記決定手段は、更に、前記回動情報に基づいて、被写体が回動しているか否か判定する第2判定手段を備え、
前記推定手段は、前記第2判定手段により被写体が回動していると判定された場合に、前記回動情報に基づいて、前記第1検出手段により非検出のマーカーの位置を推定することを特徴とする請求項2に記載の位置決定装置。 - 前記取得手段は、所定の時間内にそれぞれ異なるタイミングで撮像された複数の画像を取得し、
前記推定手段は、前記第1検出手段により前記複数の画像のうちの何れか一の画像にて非検出のマーカーと対応するマーカーが当該複数の画像のうちの前記一の画像と異なる他の画像から検出された場合に、前記他の画像から検出されたマーカーの位置に基づいて前記非検出のマーカーの位置を推定することを特徴とする請求項2又は3に記載の位置決定装置。 - 前記決定手段は、所定の時間内にそれぞれ異なるタイミングで撮像された複数の画像について、前記被写体に付された全てのマーカーの位置を決定し、
前記決定手段により決定された前記複数の画像に係る全てのマーカーの位置に基づいて、前記被写体の動作を示す動作情報を生成する第2生成手段を更に備えることを特徴とする請求項1〜4の何れか一項に記載の位置決定装置。 - 前記被写体画像の顔画像を検出する第2検出手段を備え、
前記算出手段は、前記第2検出手段により検出された顔画像の前記所定方向の軸を中心とする回動角度を算出することを特徴とする請求項1〜5の何れか一項に記載の位置決定装置。 - 前記被写体を前記所定の一方向から撮像する撮像手段を更に備え、
前記取得手段は、前記撮像手段により撮像された画像を取得することを特徴とする請求項1〜6の何れか一項に記載の位置決定装置。 - 複数の可動部分にマーカーが付された被写体を所定の一方向から撮像する撮像装置と、
請求項1〜6の何れか一項に記載の位置決定装置と、を備える位置決定システムであって、
前記位置決定装置の前記取得手段は、前記撮像装置により撮像された画像を取得することを特徴とする位置決定システム。 - 複数の可動部分にマーカーが付された被写体が所定の一方向から撮像された画像内のマーカーの位置を決定する位置決定装置を用いた位置決定方法であって、
前記画像を取得するステップと、
取得された画像内のマーカーを検出するステップと、
前記画像に含まれる被写体画像の少なくとも一部分の所定方向の軸を中心とする回動角度を算出するステップと、
算出された回動角度に基づいて、前記被写体の前記所定方向の軸を中心とする回動動作に係る回動情報を生成するステップと、
マーカーの検出結果及び前記回動情報に基づいて、前記被写体に付された全てのマーカーの位置を決定するステップと、
を有することを特徴とする位置決定方法。 - 複数の可動部分にマーカーが付された被写体が所定の一方向から撮像された画像内のマーカーの位置を決定する位置決定装置のコンピュータを、
前記画像を取得する手段、
取得された画像内のマーカーを検出する手段、
前記画像に含まれる被写体画像の少なくとも一部分の所定方向の軸を中心とする回動角度を算出する手段、
算出された回動角度に基づいて、前記被写体の前記所定方向の軸を中心とする回動動作に係る回動情報を生成する手段、
マーカーの検出結果及び前記回動情報に基づいて、前記被写体に付された全てのマーカーの位置を決定する手段、
として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012161323A JP5983132B2 (ja) | 2012-07-20 | 2012-07-20 | 位置決定装置、位置決定システム、位置決定方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012161323A JP5983132B2 (ja) | 2012-07-20 | 2012-07-20 | 位置決定装置、位置決定システム、位置決定方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014020986A true JP2014020986A (ja) | 2014-02-03 |
JP2014020986A5 JP2014020986A5 (ja) | 2015-07-23 |
JP5983132B2 JP5983132B2 (ja) | 2016-08-31 |
Family
ID=50196011
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012161323A Expired - Fee Related JP5983132B2 (ja) | 2012-07-20 | 2012-07-20 | 位置決定装置、位置決定システム、位置決定方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5983132B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001133222A (ja) * | 1999-11-01 | 2001-05-18 | Nippon Telegr & Teleph Corp <Ntt> | 3次元位置計測装置及び方法並びに3次元位置計測プログラムを記録した記録媒体 |
JP2002259984A (ja) * | 2001-03-01 | 2002-09-13 | Matsushita Electric Ind Co Ltd | 動作解析装置及び動作解析方法 |
JP2005258891A (ja) * | 2004-03-12 | 2005-09-22 | Nippon Telegr & Teleph Corp <Ntt> | 3dモーションキャプチャ方法および装置 |
JP2007004732A (ja) * | 2005-06-27 | 2007-01-11 | Matsushita Electric Ind Co Ltd | 画像生成装置及び画像生成方法 |
JP2007133222A (ja) * | 2005-11-11 | 2007-05-31 | Daiichikosho Co Ltd | チーム対抗カラオケコンクールを行うカラオケコンクールシステム、カラオケ装置、コンクールサーバー |
-
2012
- 2012-07-20 JP JP2012161323A patent/JP5983132B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001133222A (ja) * | 1999-11-01 | 2001-05-18 | Nippon Telegr & Teleph Corp <Ntt> | 3次元位置計測装置及び方法並びに3次元位置計測プログラムを記録した記録媒体 |
JP2002259984A (ja) * | 2001-03-01 | 2002-09-13 | Matsushita Electric Ind Co Ltd | 動作解析装置及び動作解析方法 |
JP2005258891A (ja) * | 2004-03-12 | 2005-09-22 | Nippon Telegr & Teleph Corp <Ntt> | 3dモーションキャプチャ方法および装置 |
JP2007004732A (ja) * | 2005-06-27 | 2007-01-11 | Matsushita Electric Ind Co Ltd | 画像生成装置及び画像生成方法 |
JP2007133222A (ja) * | 2005-11-11 | 2007-05-31 | Daiichikosho Co Ltd | チーム対抗カラオケコンクールを行うカラオケコンクールシステム、カラオケ装置、コンクールサーバー |
Also Published As
Publication number | Publication date |
---|---|
JP5983132B2 (ja) | 2016-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9928411B2 (en) | Image processing apparatus, image processing system, image processing method, and computer program product | |
JP4792824B2 (ja) | 動作分析装置 | |
CN106859675B (zh) | 用3d相机进行的用于x射线管的扫描仪自动化的方法和*** | |
JP4687265B2 (ja) | 画像分析装置 | |
WO2019228473A1 (zh) | 人脸图像的美化方法和装置 | |
TWI419081B (zh) | 提供擴增實境的標籤追蹤方法、系統與電腦程式產品 | |
JP6507730B2 (ja) | 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム | |
US9047507B2 (en) | Upper-body skeleton extraction from depth maps | |
US8385598B2 (en) | Action analysis apparatus | |
US9779699B2 (en) | Image processing device, image processing method, computer readable medium | |
US10402657B2 (en) | Methods and systems for training an object detection algorithm | |
US10692291B2 (en) | Apparatus, method, and medium for generating a 3D model of a finger using captured image | |
EP3241151A1 (en) | An image face processing method and apparatus | |
JP5674465B2 (ja) | 画像処理装置、カメラ、画像処理方法およびプログラム | |
US10146306B2 (en) | Gaze position detection apparatus and gaze position detection method | |
US20150269759A1 (en) | Image processing apparatus, image processing system, and image processing method | |
JP2010067062A (ja) | 入力システム及び入力方法 | |
JP6028589B2 (ja) | 入力プログラム、入力装置および入力方法 | |
KR20150106823A (ko) | 제스처 인식 장치 및 제스처 인식 장치의 제어 방법 | |
US20160116990A1 (en) | Depth determining method and depth determining device of operating body | |
JP2019045989A (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
JP2000149025A (ja) | ジェスチャ認識装置及び方法 | |
CN113342157B (zh) | 眼球追踪处理方法及相关装置 | |
KR101447958B1 (ko) | 신체 부분 검출 방법 및 장치 | |
JP5983132B2 (ja) | 位置決定装置、位置決定システム、位置決定方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150609 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150609 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160426 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160531 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160705 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160718 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5983132 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |