JP2018022996A - 撮像システムおよび撮像方法 - Google Patents

Abstract

【課題】撮像装置を所定の位置に精度良く位置合わせ可能な撮像システムおよび撮像方法を提供する。【解決手段】本発明の撮像システム１は、長さ情報および位置情報を含むマーカー１０と、被撮影者３０のサイズ情報および表示部を有するスマホ２０と、を備え、マーカー１０を撮影することにより、モニター２１に被撮影者３０への教示情報を表示する。【選択図】図１

Description

本発明は、撮像システムおよび撮像方法に関する。

近年、様々な分野において被撮影者の運動を解析する装置が求められている。例えば、ゴルフクラブ、テニスラケット、および野球バット等、運動器具のスイング軌道などの被撮影者の運動フォームを解析し、解析結果から被撮影者に適した運動器具の選定、運動フォームの改善を行うことで競技力の向上につなげることができる。
特許文献１では、カメラ（デジタルカメラ又は画像付携帯電話）に、ＧＰＳ機能と方位を感知する機能を設け、撮影時の経度緯度情報や方向情報を記録する方法が開示されている。そのため、前回と同じ位置・方位にカメラを設置することができるので、前回と同じ位置・方位で撮影した映像を得ることができ、前回との撮影映像を比較することで、被撮影者の運動フォームをチェックすることができる。

特開２００４−４８４２７号公報

しかしながら、上述した特許文献１に記載の方法では、カメラの高さ情報やカメラと被撮影者との距離情報が解らないため、カメラと被撮影者とを前回撮影した位置に短時間で正確に配置できないという課題があった。そのため、被撮影者に対するカメラの角度や被撮影者のサイズが異なり、２つの映像を正確に比較することができなかった。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。

［適用例１］本適用例に係る撮像システムは、長さ情報および位置情報を含む指標と、被撮影者のサイズ情報および表示部を有する撮像装置と、を備え、前記指標を撮影することにより、前記表示部に前記被撮影者への教示情報を表示することを特徴とする。

本適用例によれば、指標を撮影した画像から長さ情報および位置情報を取得し、指標を基準として指標を撮影した撮像装置の設置位置および姿勢を検出することができる。そのため、被撮影者のサイズ情報があると表示部の画角内に被撮影者が収まる撮像装置の設置位置および姿勢を算出することができる。従って、被撮影者の全身が映った運動フォームを撮影するために、表示部の画角内に被撮影者が収まる撮像装置の設置位置および姿勢を教示情報として表示部に表示することにより、被撮影者が短時間で撮像装置を最適な位置および姿勢に設置することができる。

［適用例２］本適用例に係る撮像システムは、長さ情報および位置情報を含む指標と、前記指標と第２撮像装置との第２相対位置情報および表示部とを有する第１撮像装置と、を備え、前記指標を撮影することにより、前記表示部に前記指標と前記第１撮像装置との第１相対位置情報と前記第２相対位置情報との差を表示することを特徴とする。

本適用例によれば、指標を撮影した画像から長さ情報および位置情報を取得し、指標を基準として指標を撮影した第１撮像装置の設置位置および姿勢である第１相対位置情報を検出することができる。そのため、指標と第２撮像装置との第２相対位置情報があると第１撮像装置の第１相対位置情報との差を表示部に表示することで、被撮影者が短時間で第１撮像装置を第２相対位置情報に一致する位置および姿勢に設置することができる。従って、第１撮像装置により第２撮像装置で撮影した画像と同じ位置および姿勢で撮影することができ、第２撮像装置で撮影した画像と比較することで、被撮影者の運動フォームを正確にチェックすることができる。

［適用例３］上記適用例に記載の撮像システムにおいて、前記サイズ情報は、前記被撮影者の可動範囲を含むことが好ましい。

本適用例によれば、サイズ情報が被撮影者の可動範囲を含むため、被撮影者が器具等を持った運動フォームであっても器具等を含めた被撮影者の全身を表示部の画角内に収めて撮影することができるので、器具等を含めた運動フォームをチェックすることができる。

［適用例４］上記適用例に記載の撮像システムにおいて、前記サイズ情報は、姿勢情報を含むことが好ましい。

本適用例によれば、サイズ情報が姿勢情報を含むことにより、被撮影者が被撮影者の姿勢をチェックできる最適な位置および姿勢に撮像装置を短時間で設置することができる。

［適用例５］上記適用例に記載の撮像システムにおいて、前記相対位置情報は、前記撮像装置の角度情報を含むことが好ましい。

本適用例によれば、相対位置情報が撮像装置の角度情報を含むことにより、第１撮像装置の姿勢を第２撮像装置の姿勢と同じにすることができる。

［適用例６］上記適用例に記載の撮像システムにおいて、前記位置情報は、ボールの位置であることが好ましい。

本適用例によれば、位置情報がボールの位置であるため、ボールの位置を基準として、ボールと撮像装置との距離を検出することができる。

［適用例７］上記適用例に記載の撮像システムにおいて、前記指標は、方向情報を含むことが好ましい。

本適用例によれば、指標に方向情報が含まれているので、指標に対する撮像装置の位置する方向を検出することができる。

［適用例８］上記適用例に記載の撮像システムにおいて、前記方向情報は、前記ボールの飛球方向であり、前記被撮影者の立ち位置情報を含むことが好ましい。

本適用例によれば、方向情報がボールの飛球方向であるため、ボールの飛球方向を基準としてボールや被撮影者に対する撮像装置の位置する方向を検出することができる。また、方向情報に被撮影者の立ち位置情報を含むことにより、被撮影者が右打ちか左打ちかを判定することができる。

［適用例９］本適用例に係る撮像方法は、被撮影者のサイズ情報を入力する工程と、長さ情報および位置情報を含む指標を設置する工程と、前記指標を撮影する工程と、教示情報を表示する工程と、を含むことを特徴とする。

本適用例によれば、指標を撮影した画像から長さ情報および位置情報を取得し、指標を基準として指標を撮影した撮像装置の設置位置および姿勢を検出することができる。そのため、入力した被撮影者のサイズ情報があると表示部の画角内に被撮影者が収まる撮像装置の設置位置および姿勢を算出することができる。従って、被撮影者の全身が映った運動フォームを撮影するために、表示部の画角内に被撮影者が収まる撮像装置の設置位置および姿勢を教示情報として表示部に表示することにより、被撮影者が短時間で撮像装置を最適な位置および姿勢に設置することができる。

［適用例１０］上記適用例に記載の撮像方法において、前記教示情報は、撮像装置の移動方向を含むことが好ましい。

本適用例によれば、教示情報に撮像装置の移動方向が含まれているため、表示された撮像装置の移動方向に沿って、撮像装置を移動することにより、表示部の画角内に被撮影者が収まる位置および姿勢に撮像装置をより短時間で設置することができる。

［適用例１１］本適用例に係る撮像方法は、長さ情報および位置情報を含む指標と第２撮像装置との第２相対位置情報を入力する工程と、前記指標を設置する工程と、前記指標を撮影する工程と、前記指標と第１撮像装置との第１相対位置情報と前記第２相対位置情報との差を表示する工程と、を含むことを特徴とする。

本適用例によれば、指標を撮影した画像から長さ情報および位置情報を取得し、指標を基準として指標を撮影した第１撮像装置の設置位置および姿勢である第１相対位置情報を検出することができる。そのため、入力した指標と第２撮像装置との第２相対位置情報と、第１撮像装置の第１相対位置情報と、の差を表示部に表示することで、被撮影者が短時間で第１撮像装置を第２相対位置情報に一致する位置および姿勢に設置することができる。従って、第１撮像装置により第２撮像装置で撮影した画像と同じ位置および姿勢で撮影することができ、第２撮像装置で撮影した画像と比較することで、被撮影者の運動フォームを正確にチェックすることができる。

［適用例１２］上記適用例に記載の撮像方法において、前記表示する工程では、前記第１相対位置情報を表示することを含むことが好ましい。

本適用例によれば、第１相対位置情報を表示することにより、第２相対位置情報との差をより確認し易くなり、第１撮像装置を第２撮像装置と同じ位置および姿勢に、より短時間で設置することができる。

［適用例１３］上記適用例に記載の撮像方法において、前記表示する工程では、前記第２相対位置情報と前記第１相対位置情報とが一致するように教示する情報を表示することを含むことが好ましい。

本適用例によれば、第２相対位置情報と第１相対位置情報とが一致するように教示する情報を表示部に表示することで、第１撮像装置を第２撮像装置と同じ位置および姿勢に、より短時間で設置することができる。

第１実施形態に係る撮像システムの構成を説明する平面図。 第１実施形態に係る撮像方法を示すフローチャート。 本実施形態に係る指標を示す平面図。 ワールド座標系の説明図。 第１実施形態に係る撮像方法を説明する撮像装置の表示画面。 第１実施形態に係る撮像方法を説明する撮像装置の表示画面。 第２実施形態に係る撮像方法を示すフローチャート。 第２実施形態に係る撮像方法を説明する撮像装置の表示画面。 第２実施形態に係る撮像方法を説明する撮像装置の表示画面。 第３実施形態に係る撮像方法を示すフローチャート。 第３実施形態に係る撮像方法を説明する撮像装置の表示画面。 第３実施形態に係る撮像方法を説明する撮像装置の表示画面。 第３実施形態に係る撮像方法を説明する撮像装置の表示画面。 第３実施形態に係る撮像方法を説明する撮像装置の表示画面。

以下、撮像システムおよび撮像方法の一実施形態として、ゴルフにおけるスイングやスタンス等のフォーム撮影を一例として挙げ、図面を参照して説明する。なお、使用する図面は、説明する部分が認識可能な状態となるように、適宜拡大又は縮小して表示している。

（第１実施形態）
＜撮像システム＞
先ず、本発明の第１実施形態に係る撮像システム１の構成について、図１を参照し説明する。なお、本実施形態における撮像装置としてカメラを内蔵するスマホ（スマートフォン）を一例として挙げ説明する。
図１は、第１実施形態に係る撮像システムの構成を説明する平面図である。

本実施形態に係る撮像システム１は、図１に示すように、長さ情報および位置情報を含む指標としてのマーカー１０と、マーカー１０を撮影する撮像装置としてのスマホ（スマートフォンもしくはデータ通信機能を備えた撮像端末）２０と、を備えている。スマホ２０は、ボール３６の飛球方向Ｘの後方、つまり、飛球方向Ｘと反対側に設置されている。なお、被撮影者３０とボール３６とを結ぶ延長線上、つまり、被撮影者３０の正面に設置されても、被撮影者３０の斜め前方に設置されても構わない。

撮像システム１は、ゴルフスイング場所等に配置されたマーカー１０をスマホ２０に備えられているカメラにより撮影した画像からマーカー１０に含まれる長さ情報および位置情報を取り込み、スマホ２０に備えられているコンピューター（ＣＰＵ）により、撮影した画像に三次元座標変換処理を施し、ＰｎＰ問題を計算することでスマホ２０の設置位置および姿勢を検出する。その後、事前に入力した被撮影者３０のサイズ情報や姿勢情報に基づいて、スマホ２０の表示部としてのモニター２１（図５参照）の画角内に被撮影者３０の全身が最適に収まる映像を撮影できるスマホ２０の設置位置および姿勢を算出し、最適な設置位置および姿勢になるようにスマホ２０の移動方向等の教示情報をモニター２１に表示することで、その教示情報を被撮影者３０が確認し、スマホ２０を最適な位置および姿勢に設置することができる。

＜撮像方法＞
次に、第１実施形態に係る撮像方法について、図２〜図６を参照し説明する。
図２は、第１実施形態に係る撮像方法を示すフローチャートである。なお、図２において、指標をマーカーとして、撮像装置をスマホとして記載し説明する。図３は、本実施形態に係る指標を示す平面図である。図４は、ワールド座標系の説明図である。図５と図６は、第１実施形態に係る撮像方法を説明する撮像装置の表示画面である。

本実施形態に係る撮像方法は、先ず、サイズ情報入力工程（ステップＳ１）において、スイング状態を撮影する場合には、ゴルフクラブ３４を握持しスイングした際のボール３６の位置からゴルフクラブ３４の先端（ヘッド）の最高到達位置までの高さ寸法やゴルフクラブを含むスイング幅寸法等の被撮影者３０の可動範囲、又は、被撮影者３０のスタンス状態等を撮影する場合には、スタンス状態における被撮影者３０の身長やスタンス幅寸法（両足の間隔）等の姿勢情報、をサイズ情報としてスマホ２０へ入力する。被撮影者３０の可動範囲や姿勢情報を含むサイズ情報に基づいて、被撮影者３０の全身がスマホ２０の画角内に納まるように撮影できる位置や姿勢にスマホ２０を設置できるように教示することができる。

次に、マーカー配置工程（ステップＳ２）では、ゴルフスイング場所にマーカー１０を配置する。指標としてのマーカー１０は、図３に示すように、形状が一辺の長さをＭＬ１とする正方形であり、中央部が空白の枠状の第１マーカー１２と、第１マーカー１２の内角の一つと第１マーカー１２の二つの内辺とに接する矩形状の第２マーカー１４と、で構成されている。なお、長さ情報としてのマーカー１０の一辺の長さＭＬ１は、後述するワールド座標系における各座標軸の長さの基準となる。

マーカー１０において、矩形状の第２マーカー１４が接する第１マーカー１２の内角に対向し、内角と最短に位置する外角の位置が位置情報としてのボール３６の位置（ボール位置Ｐ）である。また、マーカー１０の一辺に沿ってボール位置Ｐを通過する方向が方向情報としてのボール３６の飛球方向Ｘである。マーカー１０のボール位置Ｐと飛球方向Ｘとは、後述するワールド座標系における原点と座標軸の基準とになる。

また、ボール位置Ｐを通過し飛球方向Ｘに沿ったマーカー１０の一辺Ｌ１と対向する一辺Ｌ１’側に、被撮影者３０が被撮影者３０の正面を飛球方向Ｘと略平行にして立ち、アドレス状態を取った場合、被撮影者３０の左足側に近い位置に第２マーカー１４があると、被撮影者３０を右打ちと判断する。なお、飛球方向Ｘと直交する方向でボール位置Ｐを通過する方向が飛球方向Ｘ’である場合、ボール位置Ｐを通過し飛球方向Ｘ’のマーカー１０の一辺Ｌ２と対向する一辺Ｌ２’側に、被撮影者３０が被撮影者３０の正面を飛球方向Ｘ’と略平行にして立ち、アドレス状態を取った場合、被撮影者３０の右足側に近い位置に第２マーカー１４があると、被撮影者３０を左打ちと判断する。

従って、方向情報としての飛球方向Ｘ（Ｘ’）は、第２マーカー１４がどの位置にあるかで、被撮影者３０が右打ちか左打ちか、つまり、飛球方向Ｘ（Ｘ’）に対して、被撮影者３０が左側に位置するか右側に位置するかを示す立ち位置情報を含んでいる。

なお、マーカー１０の配置は、ゴルフスイング場所において、マーカー１０のボール位置Ｐをボール３６を配置する位置に合わせ、マーカー１０の一辺Ｌ１をボール位置Ｐを通過する飛球方向Ｘに合わせる。なお、以下では、被撮影者３０が右打ちである場合を例に挙げ、飛球方向Ｘの後方から撮影する場合について説明する。

次に、スマホ設置工程（ステップＳ３）では、図１に示すように、安定に設置するために三脚２２等に搭載したスマホ２０を、マーカー１０のボール位置Ｐを通過する飛球方向Ｘの後方に、スマホ２０に備えられているカメラをマーカー１０に向けて設置する。

その後、マーカー撮影工程（ステップＳ４）では、スマホ２０に備えられているカメラにより、マーカー１０を撮影する。

次に、キャリブレーション工程（ステップＳ５）では、マーカー１０を撮影した画像を解析し、スマホ２０の位置および姿勢を推定する。
２次元の画像から３次元空間内でカメラの位置および姿勢を推定する手順は以下のようにする。

先ず、マーカー１０を撮影した画像からマーカー１０を検出する。この検出方法は、テンプレートマッチング、特徴量抽出、および特徴点抽出等の既知の手法を用いて行うことができる。なお、これらの手法は、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）で一般的に用いられているものである。
次に、マーカー１０に含まれる位置情報であるボール位置Ｐおよび方向情報である飛球方向Ｘにより、ワールド座標系を定める。例えば、図４に示すように、ボール位置Ｐを原点とし、ボール３６の飛球方向ＸをＸ軸、Ｘ軸と直交する方向をＹ軸、Ｘ軸とＹ軸に直交する鉛直方向をＺ軸、と定義する。また、マーカー１０に含まれる長さ情報である一辺の長さＭＬ１により、Ｘ軸方向、Ｙ軸方向、およびＺ軸方向の長さが定義される。

その後、カメラ座標系（カメラを中心にした座標系）からワールド座標系へ変換する変換行列を求める。この変換行列は一般に「外部パラメーター（ｅｘｔｅｒｎａｌ ｐａｒａｍｅｔｅｒ又はｅｘｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）」と呼ばれている。なお、この一連の計算は、ＰｎＰ問題（Ｐｅｒｓｐｅｃｔｉｖｅ ｎ−Ｐｏｉｎｔ Ｐｒｏｂｌｅｍ）と呼ばれるものであり、この問題の解き方も既知の手法である。この計算は、オープンソースソフトウェアライブラリーであるＯｐｅｎＣＶに実装されている「ｓｖ：：ｓｏｌｖｅＰｎＰ（）」と言う関数を用いて行うことができる。また、マーカーの大きさ、柄、色は予め決まっており、システムがそのマーカーを画像内で認識することにより座標値を決める場合もある。

外部パラメーターを求める計算において、内部パラメーター（ｉｎｔｅｒｎａｌ ｐａｒａｍｅｔｅｒ又はｉｎｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）を使用する。内部パラメーターとは、外部の３次元空間の情報をどのように２次元の画像センサーへ投影するかを決めるためのパラメーターであり、カメラ固有の情報である。スマホ２０には内部パラメーターを取得する機能（ＡＰＩ）が備わっている機種もあり、その機種においては、この取得機能を使って内部パラメーターを取得できる。そのため、上述した計算はスマホ２０に備えられているコンピューター（ＣＰＵ）において処理される。
以上の手順により、３次元空間内におけるスマホ２０のカメラの位置および姿勢を推定することができる。なお、カメラの姿勢とは、カメラのＸ軸を回転軸とする回転角度、Ｙ軸を回転軸とする回転角度、およびＺ軸を回転軸とする回転角度のことであり、カメラ座標系をカメラの基準位置としている。

その後、シルエット映像表示工程（ステップＳ６）では、図５に示すように、スマホ２０の表示部としてのモニター２１に、現在のスマホ２０の位置および姿勢において、撮影されたマーカー１０と、被撮影者３０を想定したシルエット映像４０と、を表示する。
これは、ステップＳ５において、現在のスマホ２０の位置および姿勢が算出できるので、現在のスマホ２０の位置および姿勢情報と、ステップＳ１における被撮影者３０のサイズ情報と、からマーカー１０に対して所定の位置に被撮影者３０（シルエット映像４０）が配置した場合の映像を算出することができるためである。更に、ＰｎＰ問題を計算することにより、被撮影者３０の全身がスマホ２０のモニター２１の画角内に納まる映像が撮影できるスマホ２０の設置位置および姿勢も算出することができる。
なお、図５では、シルエット映像４０の下半身のみの映像しか映ってないので、スマホ２０のカメラの位置および姿勢が被撮影者３０の全身が撮影できる設置位置および姿勢よりも近いことを意味する。

次に、ステップＳ７では、モニター２１の画角内にシルエット映像４０の全身が収まっているかを判定し、図５に示すように、「Ｎｏ」の場合は、スマホ設置位置教示工程（ステップＳ８）へ進む。

スマホ設置位置教示工程（ステップＳ８）では、キャリブレーション工程（ステップＳ５）で算出した現在のスマホ２０の位置および姿勢情報と被撮影者３０の全身がスマホ２０のモニター２１の画角内に納まる映像が撮影できるスマホ２０の設置位置および姿勢情報とから、現在のスマホ２０の位置および姿勢を最適な設置位置および姿勢になるように、スマホ２０の移動方向や角度等の教示情報をモニター２１に表示する。図５の場合には、カメラ位置が近いため、例えば、「カメラを１ｍ後退する。」等の文字をモニター２１に表示する。また、スマホ２０から音声で教示する方法でも構わない。

次に、スマホ設置位置移動工程（ステップＳ９）では、被撮影者３０がモニター２１の教示情報又は音声による教示情報に従って、スマホ２０の設置位置を移動する。

スマホ２０を移動した後に、ステップＳ４に戻り、再度マーカー１０を撮影する。ステップＳ５で移動後のスマホ２０の位置および姿勢を算出し、ステップＳ６において移動後のスマホ２０の位置および姿勢におけるシルエット映像４０を表示する。ステップＳ７において、モニター２１内にシルエット映像４０が収まっているか判断し、納まっていない場合（「Ｎｏ））には、ステップＳ８におけるスマホ２０の設置位置および姿勢の教示情報に従って、ステップＳ９でスマホ２０を移動する。よって、モニター２１内にシルエット映像４０が収まるまで、ステップＳ４からステップＳ９を繰り返し実施する。

その後、ステップＳ６において、図６に示すように、モニター２１内にシルエット映像４０の全身が表示された場合、ステップＳ７において、「Ｙｅｓ」と判断し、スマホ設置位置固定工程（ステップＳ１０）へ進む。

スマホ設置位置固定工程（ステップＳ１０）では、モニター２１の画角内に被撮影者３０が収まる最適な位置および姿勢として、スマホ２０を設置する。

以上述べたように、本実施形態の撮像システム１および撮像方法によれば、以下の効果を得ることができる。
マーカー１０を撮影した画像から長さ情報および位置情報を取得し、マーカー１０を基準とした三次元座標変換処理を施しＰｎＰ問題を計算することにより、マーカー１０を撮影したスマホ２０の設置位置および姿勢を検出することができる。そのため、被撮影者３０のサイズ情報があるとモニター２１の画角内に被撮影者３０が収まるスマホ２０の設置位置および姿勢を算出することができる。従って、被撮影者３０の全身が映った運動フォームを撮影するために、モニター２１の画角内に被撮影者３０が収まるスマホ２０の設置位置および姿勢を教示情報としてモニター２１に表示することにより、被撮影者３０が短時間でスマホ２０を最適な位置および姿勢に設置することができる。

また、サイズ情報が被撮影者３０の可動範囲を含むため、被撮影者３０がゴルフクラブ３４を握持したスイングフォームであってもゴルフクラブ３４を含めた被撮影者３０の全身をモニター２１の画角内に収めて撮影することができるので、ゴルフクラブ３４を含めたスイング等の運動フォームをチェックすることができる。

また、位置情報がボール位置Ｐであるため、ボール位置Ｐを基準として、ボール３６とスマホ２０との距離を検出することができる。

また、マーカー１０に含まれる方向情報がボール３６の飛球方向Ｘであるため、ボール３６の飛球方向Ｘを基準としてボール３６や被撮影者３０に対するスマホ２０の位置する方向を検出することができる。また、方向情報に被撮影者３０の立ち位置情報が含まれているので、被撮影者３０が右打ちか左打ちかを判定することができる。

（第２実施形態）
次に、第２実施形態に係る撮像方法について、図７〜図９を参照し説明する。
図７は、第２実施形態に係る撮像方法を示すフローチャートである。なお、図７において、図２と同様に、指標をマーカーとして、撮像装置をスマホとして記載し説明する。図８と図９は、第２実施形態に係る撮像方法を説明する撮像装置の表示画面である。

第２実施形態に係る撮像方法は、上述した撮像システム１において、サイズ情報として姿勢情報を入力し、モニター２１に姿勢情報と被撮影者３０とを表示することで、スマホ２０を最適位置に設置する方法である。

先ず、姿勢情報入力工程（ステップＳ１）では、姿勢情報として、例えば、被撮影者３０のスタンス状態におけるボール位置Ｐと被撮影者３０との距離であるスタンス長さや被撮影者３０の腰高さや被撮影者３０両足の間隔であるスタンス幅等の寸法をスマホ２０に入力する。

その後、マーカー配置工程（ステップＳ２）とスマホ設置工程（ステップＳ３）を経て、マーカーおよび被撮影者撮影工程（ステップＳ４）では、マーカー１０および被撮影者３０を同時に撮影する。

次に、第１実施形態と同様に、キャリブレーション工程（ステップＳ５）において、マーカー１０および被撮影者３０を撮影した画像を解析し、スマホ２０の位置および姿勢を算出する。また、現在のスマホ２０の位置および姿勢の情報と、ステップＳ１で入力した被撮影者３０の姿勢情報と、から現在のスマホ２０の位置および姿勢情報における被撮影者３０の姿勢情報を算出する。更に、画像内の被撮影者３０の姿勢と姿勢情報とが一致するスマホ２０の設置位置および姿勢を算出する。

姿勢情報表示工程（ステップＳ６）では、図８又は図９に示すように、マーカー１０および被撮影者３０を撮影した画像に、現在のスマホ２０の位置および姿勢情報に基づいて想定される姿勢情報を、モニター２１に表示する。図８は、飛球方向Ｘの後方より撮影した画像に姿勢情報であるスタンス長さを線４２で示し、腰高さを線４４で示して表示した画像である。また、図９は、被撮影者３０の正面から撮影した画像に姿勢情報である腰高さを線４４で示し、スタンス幅を線４６で示して表示した画像である。

その後、ステップＳ７において、被撮影者３０の姿勢（例えば、腰高さ、スタンス長さ、スタンス幅等）と姿勢情報とが一致しているかを判定する。一致していると判定した場合には、「Ｙｅｓ」として、スマホ設置位置固定工程（ステップＳ１０）へ進みスマホ２０を現状の位置および姿勢で設置する。また、一致していないと判定した場合には、「Ｎｏ」として、スマホ設置位置教示工程（ステップＳ８）に進む。

スマホ設置位置教示工程（ステップＳ８）では、キャリブレーション工程（ステップＳ５）で算出した現在のスマホ２０の位置および姿勢と、画像内の被撮影者３０の姿勢と姿勢情報とが一致するスマホ２０の設置位置および姿勢と、の位置および姿勢情報やその差を文字等でモニター２１に表示することで、スマホ２０を最適な位置および姿勢となるように教示する。なお、教示方法としては、モニター２１への表示に限定されることはなく、スマホ２０から音声で教示する方法でも構わない。

次に、スマホ設置位置移動工程（ステップＳ９）では、被撮影者３０がモニター２１の教示情報又は音声による教示情報に従って、スマホ２０の設置位置を移動する。

スマホ２０を移動した後に、ステップＳ４に戻り、再度マーカー１０および被撮影者３０を撮影し、モニター２１に表示される被撮影者３０の姿勢と姿勢情報とが一致するまでステップＳ４からステップＳ９を繰り返し実施する。

なお、マーカーおよび被撮影者撮影工程（ステップＳ４）において、被撮影者３０が一人でマーカー１０と被撮影者３０とを撮影するのは、非常に難しい。そのため、一人でマーカー１０と被撮影者３０とを一緒に撮影する方法として、スマホ２０のタイマー機能を用い数秒経過後にカメラのシャッターが切れるように設定する方法や被撮影者３０の発声する「撮影開始」等の音声をスマホ２０が受信し、数秒経過後にカメラのシャッターが切れるように設定する方法等で可能である。

以上述べたように、第２実施形態の撮像方法によれば、以下の効果を得ることができる。
マーカー１０および被撮影者３０を撮影した画像から、マーカー１０を基準とし、現在のスマホ２０の位置および姿勢と、被撮影者３０の姿勢と姿勢情報とが一致するスマホ２０の設置位置および姿勢と、を検出することができる。そのため、教示情報として、被撮影者３０の姿勢と姿勢情報とが一致するスマホ２０の設置位置および姿勢等をスマホ２０のモニター２１に表示することにより、被撮影者３０が被撮影者３０の姿勢をチェックできる最適な位置および姿勢にスマホ２０を短時間で設置することができる。

（第３実施形態）
次に、第３実施形態に係る撮像方法について、図１０〜図１４を参照し説明する。
図１０は、第３実施形態に係る撮像方法を示すフローチャートである。なお、図１０において、図２と同様に、指標をマーカーとして、撮像装置をスマホとして記載し説明する。図１１〜図１４は、第３実施形態に係る撮像方法を説明する撮像装置の表示画面である。

第３実施形態に係る撮像方法は、上述した撮像システム１において、以前に撮影したスマホ２０の画像データやスマホ２０と異なるスマホやビデオカメラで撮影した画像データからカメラの設置位置および姿勢を検出し、現在のスマホ２０の位置および姿勢との差をモニター２１に表示することで、スマホ２０を以前に撮影したスマホ２０又は異なるスマホやビデオカメラのカメラの位置および姿勢に短時間で設置することができる方法である。

なお、本実施形態では、スマホ２０を第１撮像装置とし、第１相対位置情報はスマホ２０の位置および姿勢として、また、運動フォームを比較するために撮影したビデオカメラを第２撮像装置とし、第２相対位置情報はビデオカメラの位置および姿勢として説明する。
また、各相対位置情報はカメラの位置および姿勢情報を含み、上述したように姿勢情報には、カメラのＸ軸周りの回転角度、Ｙ軸周りの回転角度、およびＺ軸周りの回転角度等の角度情報を含んでいる。

先ず、第２相対位置情報入力工程（ステップＳ１）では、マーカー１０と運動フォームが撮影されたビデオカメラの画像データをパソコン等に取り込み、マーカー１０の長さ情報および位置情報からＰｎＰ問題を計算し、ビデオカメラの設置位置および姿勢を検出する。このビデオカメラの設置位置および姿勢を第２相対位置情報として、スマホ２０に入力する。

その後、マーカー配置工程（ステップＳ２）、スマホ設置工程（ステップＳ３）、マーカー撮影工程（ステップＳ４）を経て、キャリブレーション工程（ステップＳ５）に進む。

キャリブレーション工程（ステップＳ５）では、第１実施形態と同様に、マーカー１０を撮影した画像を解析し、第１相対位置情報としてのスマホ２０の位置および姿勢を算出する。また、算出した第１相対位置情報としてのスマホ２０の位置および姿勢と第２相対位置情報としてのビデオカメラの設置位置および姿勢との差を算出する。

相対位置情報表示工程（ステップＳ６）では、算出した第１相対位置情報としてのスマホ２０の位置および姿勢と第２相対位置情報としてのビデオカメラの設置位置および姿勢との差を文字等でモニター２１に表示する。また、第１相対位置情報と第２相対位置情報とを表示しても構わないし、第２相対位置情報と第１相対位置情報とが一致するように教示する情報を表示しても構わない。

その後、ステップＳ７において、第１相対位置情報と第２相対位置情報とが一致しているかを判定する。第１相対位置情報と第２相対位置情報とが一致していると判定した場合には、「Ｙｅｓ」として、スマホ設置位置固定工程（ステップＳ１０）へ進みスマホ２０を現状の位置および姿勢で設置する。また、一致していないと判定した場合には、「Ｎｏ」として、スマホ設置位置教示工程（ステップＳ８）に進む。

スマホ設置位置教示工程（ステップＳ８）では、図１１に示すように、マーカー１０を撮影した画像に、第２相対位置情報を実線の円とする表示マーク５０で表示し、第１相対位置情報を点線の円とする表示マーク５２で表示することで、スマホ２０を移動する方向を教示する。表示マーク５２の円の直径の大きさと、現在のスマホ２０の位置および姿勢である表示マーク５２の直径の大きさと、は遠近を表し、表示マーク５２の直径が目標となるビデオカメラの位置および姿勢を示す表示マーク５０の直径より大きい場合には、スマホ２０の位置がマーカー１０側に近づき過ぎていることを表す。また、表示マーク５２の表示位置は、目標設置位置（表示マーク５０）との差を表し、表示マーク５０より左側に表示されている場合は、スマホ２０の位置が目標設置位置（表示マーク５０）に対して、左側にずれていることを表す。そのため、被撮影者３０は、図１２に示すように、表示マーク５０に表示マーク５２の直径と位置が重なるようにスマホ２０を移動することで、スマホ２０をビデオカメラが設置されていた位置および姿勢に配置固定することができる。

また、教示方法としては、図１３に示すように、第２相対位置情報に第１相対位置情報が一致するように矢印による表示マーク５４を表示しても構わない。表示マーク５４の矢印の向き方向にスマホ２０を移動し、図１４に示すように、モニター２１に「ＯＫ」の表示マーク５６が表示されると、スマホ２０の位置が目標設置位置（表示マーク５０）に一致したものとし、スマホ２０をビデオカメラが設置されていた位置および姿勢に配置固定することができる。

更に、教示方法としては、上記以外に、スマホ２０から音声で教示情報である移動方向、移動距離、角度等を教示する方法でも構わない。

以上述べたように、第３実施形態の撮像方法によれば、以下の効果を得ることができる。
マーカー１０を撮影した画像から長さ情報および位置情報を取得し、マーカー１０を基準とした三次元座標変換処理を施しＰｎＰ問題を計算することにより、マーカー１０を撮影したスマホ２０の設置位置および姿勢である第１相対位置情報を検出することができる。そのため、マーカー１０とビデオカメラとの第２相対位置情報と、スマホ２０の第１相対位置情報と、の差をモニター２１に表示することで、被撮影者３０が短時間でスマホ２０を第２相対位置情報に一致する位置および姿勢に設置することができる。従って、スマホ２０によりビデオカメラで撮影した画像と同じ位置および姿勢で撮影することができ、ビデオカメラで撮影した画像と比較することで、被撮影者３０のゴルフスイング等の運動フォームを正確にチェックすることができる。

また、相対位置情報がスマホ２０やビデオカメラの角度情報を含むので、スマホ２０の姿勢をビデオカメラの姿勢と同じにすることができる。そのため、ビデオカメラで撮影した画像と正確に比較することができる。

また、第１相対位置情報をモニター２１に表示することにより、第２相対位置情報との差がより確認し易くなりスマホ２０をビデオカメラと同じ位置および姿勢に、より短時間で設置することができる。

また、第２相対位置情報と第１相対位置情報とが一致するように教示する情報をモニター２１に表示することで、スマホ２０をビデオカメラと同じ位置および姿勢に、より短時間で設置することができる。

上述した本発明に係る撮像システムおよび撮像方法は、運動フォームが重要であるスポーツ、例えば、野球のバッティングフォームやバッティングスタンス、又は、テニスのスイングフォームやスイングスタンスの撮影に応用可能である。

１…撮像システム、１０…指標としてのマーカー、１２…第１マーカー、１４…第２マーカー、２０…撮像装置としてのスマホ、２１…表示部としてのモニター、２２…三脚、３０…被撮影者、３４…ゴルフクラブ、３６…ボール、４０…シルエット映像、４２，４４，４６…線、５０，５２，５４，５６…表示マーク。

Claims (13)

1. 長さ情報および位置情報を含む指標と、
   被撮影者のサイズ情報および表示部を有する撮像装置と、を備え、
   前記指標を撮影することにより、前記表示部に前記被撮影者への教示情報を表示することを特徴とする撮像システム。
2. 長さ情報および位置情報を含む指標と、
   前記指標と第２撮像装置との第２相対位置情報および表示部とを有する第１撮像装置と、を備え、
   前記指標を撮影することにより、前記表示部に前記指標と前記第１撮像装置との第１相対位置情報と前記第２相対位置情報との差を表示することを特徴とする撮像システム。
3. 前記サイズ情報は、前記被撮影者の可動範囲を含むことを特徴とする請求項１に記載の撮像システム。
4. 前記サイズ情報は、姿勢情報を含むことを特徴とする請求項１に記載の撮像システム。
5. 前記相対位置情報は、前記撮像装置の角度情報を含むことを特徴とする請求項２に記載の撮像システム。
6. 前記位置情報は、ボールの位置であることを特徴とする請求項１乃至請求項５のいずれか一項に記載の撮像システム。
7. 前記指標は、方向情報を含むことを特徴とする請求項１乃至請求項６のいずれか一項に記載の撮像システム。
8. 前記方向情報は、前記ボールの飛球方向であり、前記被撮影者の立ち位置情報を含むことを特徴とする請求項７に記載の撮像システム。
9. 被撮影者のサイズ情報を入力する工程と、
   長さ情報および位置情報を含む指標を設置する工程と、
   前記指標を撮影する工程と、
   教示情報を表示する工程と、
   を含むことを特徴とする撮像方法。
10. 前記教示情報は、撮像装置の移動方向を含むことを特徴とする請求項９に記載の撮像方法。
11. 長さ情報および位置情報を含む指標と第２撮像装置との第２相対位置情報を入力する工程と、
    前記指標を設置する工程と、
    前記指標を撮影する工程と、
    前記指標と第１撮像装置との第１相対位置情報と前記第２相対位置情報との差を表示する工程と、
    を含むことを特徴とする撮像方法。
12. 前記表示する工程では、前記第１相対位置情報を表示することを含むことを特徴とする請求項１１に記載の撮像方法。
13. 前記表示する工程では、前記第２相対位置情報と前記第１相対位置情報とが一致するように教示する情報を表示することを含むことを特徴とする請求項１１又は請求項１２に記載の撮像方法。

Images