JP6697150B1 - 軌道算出装置、軌道算出方法、軌道算出プログラム - Google Patents

Abstract

【課題】複数のカメラが同期をとって撮像した画像データに基づいて動体の三次元空間の位置を算出する場合、同期をとる機能を内蔵するカメラや複数のカメラの同期をとるシステムなど高機能の機材やシステムが必要となる。また、あらかじめカメラ位置を精度高く確定しておくことが求められる。【解決手段】本発明は、相互に非同期である複数のカメラで撮像された画像データを用いて、目標とする動体の三次元空間での軌道の算出を可能にすることで、前記課題を解決する。また、それぞれのカメラの画像データに共通して存在する位置座標が決まっている複数の基準点からそれぞれのカメラ位置を算出することで、前記課題を解決する。【選択図】図１

Description

本発明は、軌道算出装置、軌道算出方法、軌道算出プログラムに関するものである。

複数のカメラで撮像された二次元の画像データを用いて動体の三次元空間の位置を算出する装置として、従来、複数のカメラが同期をとって撮像した画像（以下、ステレオ画像）データに基づいて動体の三次元空間の位置を算出する装置が知られている。例えば、特許文献１や特許文献２に記載の装置などである。

また、ステレオ画像データから動体の連続した三次元位置を求めることで動体の軌道を算出することもできる。例えば、特許文献２などである。

特開平１１−６６３１９号公報 特開２００５−２３５１０４号公報

しかしながら、特許文献１や特許文献２に記載の装置にあっては、複数のカメラが同期をとって撮像していることが必要となる。そのため、実現にあたっては、同期をとる機能を内蔵するカメラや複数のカメラについて同期をとるシステムなど高機能の機材やシステムが必要となる。さらに、同期をとるためには２つのカメラをケーブル等で接続する必要があることからカメラの配置位置に制約が出る。

また、画像データに基づいて動体の三次元空間の位置を算出するためには、撮像したカメラの三次元空間での位置情報等が必要なため、あらかじめカメラ位置を精度高く確定しておくことが求められる。撮像に使用する設備に固定的に設置された位置が測量されているカメラ（例えば、スタジアム設備に設置された固定カメラなど）の画像を利用することが望ましいが、スポーツなどのイベントにあっては、カメラが固定的に設置されていない設備や野外スペースを利用する場合は多い。このような場合、カメラ位置の測量や設置工事などのコストを抑えてカメラを設置することが求められるため、カメラ位置の自由度を上げながら、カメラの撮像データのみから動体の三次元空間の位置を算出できることが課題となる。

本発明は、相互に非同期である複数のカメラで撮像された画像データを用いて、目標とする動体の三次元空間での軌道の算出を可能にすることで、前記課題を解決する。そのため、同期をとる機能を内蔵するカメラや複数のカメラの同期をとるシステムなど高機能の機材やシステムが不要となる。

また、本発明は、それぞれのカメラの画像データに共通して存在する三次元空間での位置座標が決まっている複数の基準点からそれぞれのカメラの三次元空間の位置を算出することで、前記課題を解決する。そのため、カメラ位置の測量や設置工事などのコストを抑えつつ、カメラ位置の自由度を上げることが可能となる。

本発明に係る軌道算出装置は、異なる位置に設置された相互に非同期である複数のカメラから選択された二つのカメラの画像データを用いて、撮像された目標とする動体の三次元空間での軌道を算出する軌道算出装置であって、カメラで撮像された画像フレーム内の画像データから目標とする動体を検出し、目標とする動体の画像フレームにおける二次元位置を算出する二次元位置算出部と、第１のカメラで撮像され二次元位置算出部により算出された目標とする動体の二次元位置と第１のカメラについての三次元空間での位置座標と姿勢から、第１のカメラで撮像された隣接する画像フレームにおける目標とする動体の三次元位置と第１のカメラのレンズの光学中心点とを結んで構成される三次元平面を存在面として算出する存在面算出部と、第２のカメラで撮像され二次元位置算出部により算出された目標とする動体の二次元位置と第２のカメラについての三次元空間での位置座標と姿勢から、第２のカメラで撮像された画像フレームにおける目標とする動体の三次元位置と第２のカメラのレンズの光学中心点とを結んだ直線と、存在面算出部が算出した存在面とが交わる点から目標とする動体の三次元空間での軌道を算出する三次元軌道算出部と、を備えることを特徴とする。

なお、本発明において、カメラの姿勢とは、目標とする動体の三次元空間での軌道算出に必要なカメラの状態を表現するパラメーターの組み合わせをいう。詳細は、後述する実施形態の中で説明する。本発明においては、目標とする動体の三次元空間での軌道算出に必要なカメラの状態を表現できるパラメーターの組み合わせであればよく、後述する実施形態におけるパラメーターの組み合わせに限定するものではない。

また、本発明に係る軌道算出装置は、画像フレーム内の画像データに存在する三次元空間での座標が決まっている複数の基準点から、画像データを撮像したカメラについての三次元空間での位置座標と姿勢を算出するカメラ情報算出部を備えることを特徴とする。

さらに、本発明に係る軌道算出装置は、カメラ情報算出部が、異なる位置に設置された複数のカメラから光軸が最も垂直に近い二つのカメラを第１のカメラ及び第２のカメラとして選択することを特徴とする。本発明に係る軌道算出装置は、カメラ情報算出部が、目標とする動体の運動方向と光軸が最も垂直に近いカメラを第２のカメラとして選択することを特徴とする。これにより、異なる位置に設置された複数のカメラからより精度の高い軌道算出を行うカメラを選定することができる。

また、本発明に係る軌道算出方法では、異なる位置に設置された相互に非同期である複数のカメラから選択された二つのカメラの画像データを用いて、撮像された目標とする動体の三次元空間での軌道を算出する軌道算出方法であって、カメラで撮像された画像フレーム内の画像データから目標とする動体を検出し、目標とする動体の画像フレームにおける二次元位置を算出する二次元位置算出ステップと、第１のカメラで撮像され二次元位置算出ステップにより算出された目標とする動体の二次元位置と第１のカメラについての三次元空間での位置座標と姿勢から、第１のカメラで撮像された隣接する画像フレームにおける目標とする動体の三次元位置と第１のカメラのレンズの光学中心点とを結んで構成される三次元平面を存在面として算出する存在面算出ステップと、第２のカメラで撮像され二次元位置算出ステップにより算出された目標とする動体の二次元位置と第２のカメラについての三次元空間での位置座標と姿勢から、第２のカメラで撮像された画像フレームにおける目標とする動体の三次元位置と第２のカメラのレンズの光学中心点とを結んだ直線と、存在面算出ステップで算出された存在面とが交わる点から目標とする動体の三次元空間での軌道を算出する三次元軌道算出ステップと、を備えることを特徴とする。

また、本発明に係る軌道算出方法では、画像フレーム内の画像データに存在する三次元空間での座標が決まっている複数の基準点から、画像データを撮像したカメラについての三次元空間での位置座標と姿勢を算出するカメラ情報算出ステップを備えることを特徴とする。

本発明に係る軌道算出プログラムでは、異なる位置に設置された相互に非同期である複数のカメラから選択された二つのカメラの画像データを用いて、撮像された目標とする動体の三次元空間での軌道を算出する軌道算出方法であって、カメラで撮像された画像フレーム内の画像データから目標とする動体を検出し、目標とする動体の画像フレームにおける二次元位置を算出する二次元位置算出ステップと、第１のカメラで撮像され二次元位置算出ステップにより算出された目標とする動体の二次元位置と第１のカメラについての三次元空間での位置座標と姿勢から、第１のカメラで撮像された隣接する画像フレームにおける目標とする動体の三次元位置と第１のカメラのレンズの光学中心点とを結んで構成される三次元平面を存在面として算出する存在面算出ステップと、第２のカメラで撮像され二次元位置算出ステップにより算出された目標とする動体の二次元位置と第２のカメラについての三次元空間での位置座標と姿勢から、第２のカメラで撮像された画像フレームにおける目標とする動体の三次元位置と第２のカメラのレンズの光学中心点とを結んだ直線と、存在面算出ステップで算出された存在面とが交わる点から目標とする動体の三次元空間での軌道を算出する三次元軌道算出ステップと、をコンピュータに実行させることを特徴とする。

また、本発明に係る軌道算出プログラムでは、画像フレーム内の画像データに存在する三次元空間での座標が決まっている複数の基準点から、画像データを撮像したカメラについての三次元空間での位置座標と姿勢を算出するカメラ情報算出ステップを備えることを特徴とする。

以上のように本発明によれば、前述の課題を解決しつつ、異なる位置に設置された相互に非同期である複数のカメラから選択された二つのカメラの画像データを用いて、撮像された目標とする動体の三次元空間での軌道を算出することができる。

軌道算出装置のブロック図である。 軌道算出装置のハードウェア構成図である。 実施例１に係る軌道算出装置の動作を示すフローチャートである。 目標とする動体の検出を模式的に示した図である。 実施形態の説明で使用する座標系を記述した図である。 図５において三次元空間の目標Ｐをカメラで撮像した様子を表した図である。 野球において投手の投げたボールを目標とする動体として相互に非同期である二つのカメラで撮像した様子を模式的に示した図である。 存在面算出処理について説明する図である。 第２のカメラで撮像された画像フレームにおける目標とする動体の二次元位置と存在面の対応付けについて説明する図である。 第２のカメラで撮像された画像フレームにおける目標とする動体の三次元位置と第２のカメラのレンズの光学中心点とを結んだ直線と、対応付けられた存在面とが交わる点の三次元座標の算出について説明する図である。 実施例２に係る軌道算出装置の動作を示すフローチャートである。

本発明の実施形態について図面を参照して説明する。なお、重複する説明は省略し、各図面において同一又は相当部分には同一の符号を付す。

本実施形態に係る軌道算出装置は、異なる位置に設置された相互に非同期である複数のカメラから選択された二つのカメラの画像データを用いて、撮像された目標とする動体の三次元空間での軌道を算出する装置である。なお、本発明において画像データは撮像された時刻を情報として伴っている。

本実施形態に係る軌道算出装置は、例えば、野球、卓球、バレーボール等の球技におけるボールのように定められたフィールド内において運動法則に従って運動する動体の軌道を算出する装置として好適に採用されるものである。これは例示であって、運動競技のみに適用を限るものではない。

図１は、軌道算出装置１のブロック図である。軌道算出装置１は、単独で装置として構成される形態のみならず、画像データを用いた動体追跡装置など他の装置に組み込まれて使用される形態であってもよい。軌道算出装置１を組み込む他の装置は、例えば、スマートフォン、情報携帯端末、デジタルカメラ、ゲーム端末、テレビ等の電化製品であってもよい。動体検出装置１は、図２に示すように、物理的には、中央演算装置（ＣＰＵ）２０１、入力装置２０２、出力装置２０３、主記憶装置（ＲＡＭ／ＲＯＭ）２０４、補助記憶装置２０５を含むコンピュータとして構成される。

軌道算出装置１の各機能は、図２に示す中央演算装置（ＣＰＵ）２０１、主記憶装置（ＲＡＭ／ＲＯＭ）２０４等に画像フレーム内の画像から目標とする動体の軌道を算出するようにコンピュータを機能させるプログラムを読み込ませることにより、中央演算装置（ＣＰＵ）２０１の制御により入力装置２０２、出力装置２０３を動作させるとともに、主記憶装置（ＲＡＭ／ＲＯＭ）２０４、補助記憶装置２０５とデータの読み書きを行うことで実現される。

図１に示すように、軌道算出装置１は、二次元位置算出部１０１、存在面算出部１０２、三次元軌道算出部１０３、及び、カメラ情報算出部１０４を備えている。軌道算出装置１には、外部から入力として、異なる位置に設置された相互に非同期である複数のカメラによって撮像された複数の画像又は動画から各々のカメラごとの連続する画像フレームが撮像した時刻とともに与えられる。また、軌道算出装置１は、外部への出力として、目標とする動体の三次元空間での軌道を出力する。なお、出力情報は、目標とする動体の三次元空間での軌道を特定できる情報であればよい。例えば、目標とする動体の複数時刻における三次元空間での座標や、これら座標を近似した三次元曲線の情報が考えられる。

ここで、連続する画像フレームとは、２つの画像フレームの間に別の画像フレームが存在しない状態であって、必ずしも画像フレーム番号が連続である必要はない。例えば、２つの画像フレームが連続であっても、もともと間に存在した画像フレームがコマ落とし処理されたために画像フレーム番号が連続でない場合などがある。また、連続する画像フレームとは、時刻が前の連続する画像フレームであっても、時刻が後の連続する画像フレームであってもよい。時間の流れに沿っての動体追跡を行う場合には時刻が前の連続する画像フレーム、時間の流れを遡っての動体追跡を行う場合には時刻が後の連続する画像フレームとなる。

また、各々のカメラごとの連続する画像フレームであるから、連続する画像フレームは、異なる位置に設置された相互に非同期である複数のカメラごとに独立して存在する。

図１のブロック図に従って、軌道算出装置１の各ブロックの機能を説明する。なお、各ブロックの詳細な動作については、実施例の中で後述する。

二次元位置算出部１０１は、入力された画像フレーム内の画像データから目標とする動体を検出し、目標とする動体の画像フレームにおける二次元位置を算出する。目標とする動体の画像フレームにおける二次元位置は、あらかじめ設定した二次元座標で定められる。

存在面算出部１０２は、第１のカメラで撮像され二次元位置算出部１０１により算出された目標とする動体の二次元位置と第１のカメラについての三次元空間での位置座標と姿勢から、第１のカメラで撮像された隣接する画像フレームにおける目標とする動体の三次元位置と第１のカメラのレンズの光学中心点とを結んで構成される三次元平面を存在面として算出する。

三次元軌道算出部１０３は、第２のカメラで撮像され二次元位置算出部１０１により算出された目標とする動体の二次元位置と第２のカメラについての三次元空間での位置座標と姿勢から、第２のカメラで撮像された画像フレームにおける目標とする動体の三次元位置と第２のカメラのレンズの光学中心点とを結んだ直線と、存在面算出部１０２が算出した存在面とが交わる点から目標とする動体の三次元空間での軌道を算出する。

カメラ情報算出部１０４は、画像フレーム内の画像データに存在する三次元空間での座標が決まっている複数の基準点から、画像データを撮像したカメラについての三次元空間での位置座標と姿勢を算出する。カメラ情報算出部１０４は、カメラの三次元空間での位置座標と姿勢が事前に与えられていない場合に動作する。この場合におけるカメラ情報算出部１０４の動作は、実施例２として後述する。

また、カメラ情報算出部１０４は、算出した情報をもとに、異なる位置に設置された複数のカメラから、より精度の高い軌道算出を行うカメラを選択する。異なる位置に設置された複数のカメラから光軸が最も垂直に近い二つのカメラを第１のカメラ及び第２のカメラとして選択する。また、目標とする動体の運動方向と光軸が最も垂直に近いカメラを第２のカメラとして選択する。

次に、本実施形態に係る軌道算出装置１の動作について説明する。説明理解の容易性を考慮して、野球において投手の投げたボールを目標とする動体とした軌道算出装置１の動作を例にとって説明する。なお、これは例示であって、野球ないし運動競技のみに本発明の適用を限るものではない。

実施例１では、異なる位置に設置された相互に非同期である複数のカメラから第１のカメラ及び第２のカメラが選択され、第１のカメラ及び第２のカメラの三次元空間での三次元座標系における位置座標と姿勢が事前に与えられている場合の軌道算出装置１の動作について説明する。

図３は、実施例１に係る軌道算出装置１の動作を示すフローチャートである。図３のフローチャートに従って軌道算出装置１の動作を説明する。

軌道算出装置１は、第１のカメラ及び第２のカメラの画像フレーム内の画像データ、及び、第１のカメラ及び第２のカメラの三次元空間での位置座標と姿勢についての情報が外部から入力されることによって動作を開始する。動作の開始は、入力後に自動的であっても、明示的な命令によるものであってもよい。

軌道算出装置１は、動作を開始すると、二次元位置算出部１０１が二次元位置算出処理（Ｓ３０１）を実行する。二次元位置算出処理（Ｓ３０１）では、入力された第１のカメラ及び第２のカメラの画像フレーム内の画像データから目標とする動体を検出し、目標とする動体の画像フレームにおける二次元位置が算出される。なお、以下は、本実施形態に係る軌道算出装置１での動作の例であって、画像フレーム内の画像データから目標とする動体を検出することができれば他の動作でもよく、以下の動作に限定するものではない。

二次元位置算出処理（Ｓ３０１）では、目標とする動体の画像（以下、テンプレート画像）と、入力された画像フレーム内の画像データに含まれる目標とする動体の候補画像とを対比して、位置による重みづけを加えた一致度を算出し、最も一致していると判定される動体が目標として検出される。

図４は、二次元位置算出処理（Ｓ３０１）での、テンプレート画像と入力された画像フレーム内の画像データに含まれる目標とする動体の候補画像とを対比して行う目標とする動体の検出を模式的に示した図である。二次元位置算出部１０１は、野球のボールのテンプレート画像４４と形状や色彩などを対比して画像フレーム４１内の画像データに含まれる目標とする動体の候補画像（ボールの画像４２や観客の頭部の画像４３など）を抽出する。

二次元位置算出処理（Ｓ３０１）では、テンプレート画像４４と抽出された各々の目標とする動体の候補画像との一致度を算出する。一致度とは、テンプレート画像４４と抽出された各々の目標とする動体の候補画像について両者の画素の誤差や相関係数などから定量的に求められる一致の程度である。一致度が求められれば算出の方法は問わない。例えば、各画素値の２乗誤差を合計した値を比較するＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）法、各画素値の誤差の絶対値の和の値を比較するＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）法、各画素値の相関係数を比較するＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）法などがある。

二次元位置算出処理（Ｓ３０１）では、抽出された目標とする動体の候補について算出された一致度に、位置による重みづけを加える。本実施形態において目標とする動体（投手の投げたボール）の画像フレームでの位置は、投手と捕手の間である確率が高く、時刻とともに投手から捕手に向かって移動している確率が高いことから、二次元位置算出部１０１は、目標とする動体の存在確率に基づいて算出された位置による重みづけを加えた一致度を算出する。図４の例では、ボールの画像４２は観客の頭部の画像４３よりも目標とする動体として位置による重みづけを加えた一致度が大きくなる。二次元位置算出処理（Ｓ３０１）では、最も一致していると判定される動体を目標として検出する。

二次元位置算出処理（Ｓ３０１）では、テンプレート画像４４と最も一致していると判定して検出した目標とする動体（野球のボールの画像４２）の画像フレームにおける二次元位置を算出する。二次元位置算出処理（Ｓ３０１）では、同じカメラについてすべての画像フレームで共通の二次元座標系を設定する。図４では、二次元位置算出部１０１がｕｖ直交座標系を設定した例を示している。図４では、二次元位置算出処理（Ｓ３０１）において、テンプレート画像４４と最も一致していると判定して検出した目標とする動体（ボールの画像４２）の時刻ｔでの画像フレームにおける二次元位置を（ｕｔ，ｖｔ）と算出している。

二次元位置算出処理（Ｓ３０１）では、入力された第１のカメラ及び第２のカメラの画像フレーム内の画像データについて同様の処理をおこなう。なお、本実施形態では、野球において投手の投げたボールを目標とするため、図４で、目標とする動体（ボールの画像４２）の画像フレームにおけるｕ軸方向の位置が投手（ピッチャープレートのＵ座標）と捕手（本塁のＵ座標）の間にあるデータのみをその後の処理に利用する。二次元位置算出処理（Ｓ３０１）では、目標とする動体（ボールの画像４２）の画像フレームにおけるｕ軸方向の位置からボールが捕手（本塁のＵ座標）に届いたと判定すると、投球一回分に相当する検出した目標とする動体（野球のボールの画像４２）の画像フレームにおける二次元位置を撮像された時刻の情報とともに存在面算出処理（Ｓ３０２）に引き渡す。

存在面算出部１０２は、二次元位置算出部１０１が二次元位置算出処理（Ｓ３０１）を実行して第１のカメラの画像フレーム内の画像データから算出した目標とする動体の画像フレームにおける二次元位置に基づいて、存在面算出処理（Ｓ３０２）を実行する。存在面算出処理（Ｓ３０２）では、第１のカメラで隣接する画像フレームに撮像された目標とする動体の三次元位置と第１のカメラのレンズの光学中心点とを結んで構成される平面が存在面として算出される。

ここで、本実施形態の説明で使用する座標系について説明する。図５は、本実施形態の説明で使用する座標系を記述した図である。

本実施形態では、野球において投手の投げたボールの軌道を算出するために適した次の三次元直交座標系ΣＸＹＺを三次元空間にとる。本塁を原点５０１として、本塁から投手の投球位置の中央（ピッチャープレートの中央）に向かってＹ軸の正の向きとする。高さ方向をＺ軸として上方を正の向きとする。Ｙ軸とＺ軸のそれぞれと直交して一塁側にむかってＸ軸の正の向きとする。

また、本実施形態では、異なる位置に設置された相互に非同期である複数のカメラの画像データに共通して存在する三次元座標系での座標が決まっている複数の基準点として次の点について三次元座標を設定する。
本塁：（Ｘ，Ｙ，Ｚ）＝（０，０，０）
一塁：（Ｘ，Ｙ，Ｚ）＝（１９．４，１９．４，０）
二塁：（Ｘ，Ｙ，Ｚ）＝（０，３８．８，０）
三塁：（Ｘ，Ｙ，Ｚ）＝（−１９．４，１９．４，０）

二塁に代えてピッチャープレートの中央を基準点とすることでもよい。
ピッチャープレートの中央：（Ｘ，Ｙ，Ｚ）＝（０，１８．４４，０．２５４）
以下、説明においては、本塁、一塁、二塁、三塁を基準点とした例で説明する。

なお、これは例示であって、三次元座標系と基準点の設定をこれに限るものではない。三次元座標系と基準点は、軌道を算出する目標とする動体の運動特性にあわせて適したもので設定することが望ましい。

座標系Σｘｙｚは、カメラのレンズ中心に原点５０２を持つ三次元直交座標系である。座標系Σｕｖは、画像フレーム（撮像素子面）５０４に固定された原点５０３を持つ二次元直交座標系である。座標系Σｕｖは、座標系Σｘｙｚを平行移動した座標系で、ｘｙ座標軸とｕｖ座標軸は平行である。また、座標系Σｘｙｚのｚ軸と画像フレーム５０４の交点が座標系Σｕｖの原点５０３となる。座標系Σｘｙｚのｚ軸は画像フレーム５０４と直交する。

次に、目標とする動体の三次元空間での軌道算出に必要なカメラの状態を表現するパラメーターの組み合わせであるカメラの姿勢について説明する。本実施形態では、カメラの姿勢として、いわゆるレンズの外部パラメーターであるローテーションをとる。図５において、ローテーションとは、座標系Σｘｙｚから座標系ΣＸＹＺに座標変換する際の三軸の回転角度パラメーターである。ローテーションの値が決定することで、レンズの光軸が定まる。図５において、座標系Σｘｙｚのｚ軸が光軸である。

また、実施例１においては、いわゆるレンズの内部パラメーター（焦点距離、レンズのひずみ、レンズ中心のずれ）は既知とする。図５において、カメラのレンズ中心（座標系Σｘｙｚの原点５０２）と座標系Σｕｖの原点５０３の距離が焦点距離となる。また、レンズのひずみ及びレンズ中心のずれは無いものとする。

さらに、図６を用いて、画像フレームにおける目標とする動体の三次元位置とカメラのレンズの光学中心点とを結んで構成される三次元直線の算出について説明する。

図６は、図５において三次元空間の目標Ｐをカメラで撮像した様子を表した図である。三次元直交座標系ΣＸＹＺにおける目標Ｐの三次元位置を、Ｐ（Ｘ，Ｙ，Ｚ）とする。目標Ｐは、レンズ中心を三次元直交座標系Σｘｙｚの原点５０２にもつカメラで画像フレーム５０４に像Ｐ’として撮像される。画像フレームでの二次元直交座標系Σｕｖにおける像Ｐ’の二次元位置をＰ’（ｕ，ｖ）とする。

実施例１では、三次元直交座標系ΣＸＹＺでのカメラの位置座標と姿勢が事前に与えられていることから、レンズ中心（三次元直交座標系Σｘｙｚの原点５０２）の三次元直交座標系ΣＸＹＺにおける位置をＰ０（Ｘ０，Ｙ０，Ｚ０）とする。レンズ中心を原点５０２とする三次元直交座標系Σｘｙｚのｚ軸が光軸にあたる。光軸は、画像フレーム５０４と直交し、その交点は画像フレームでの二次元直交座標系Σｕｖの原点５０３となる。原点５０３の二次元位置をＱ（ｕ０，ｖ０）とする。三次元直交座標系Σｘｙｚの原点５０２と二次元直交座標系Σｕｖの原点５０３の距離が焦点距離であって、長さをｄとする。

図６において、レンズ中心を原点５０２とする三次元直交座標系Σｘｙｚからみた像Ｐ’の位置は、Ｐ’（ｕ−ｕ０，ｖ−ｖ０，ｄ）となる。ここで、比例定数をｋ、レンズ中心を原点５０２とする三次元直交座標系Σｘｙｚから三次元空間における三次元直交座標系ΣＸＹＺへの座標変換行列をＲとする。実施例１では三次元空間における三次元直交座標系ΣＸＹＺにおけるカメラの位置座標とローテーション（座標系Σｘｙｚから座標系ΣＸＹＺに座標変換する際の三軸の回転角度パラメーター）が事前に与えられていることから、座標変換行列Ｒを決定することができる。

レンズ中心を原点５０２とする三次元直交座標系Σｘｙｚにおいて、レンズ中心（原点５０２）と像Ｐ’と目標Ｐは同じ直線上にあることから次の式（数式１）が成り立つ。

Ｐ（Ｘ，Ｙ，Ｚ）＝Ｐ０（Ｘ０，Ｙ０，Ｚ０）＋ｋＲＰ’（ｕ−ｕ０，ｖ−ｖ０，ｄ）

なお、本実施形態では、Ｐ’のＸ要素及びＹ要素であるｕ−ｕ０及びｖ−ｖ０は二次元位置算出部１０１が算出する二次元位置の座標から求めることができ、ｄは焦点距離であって既知である。

前式は、三次元直交座標系Σｘｙｚにおけるレンズ中心と像Ｐ’と目標Ｐを結ぶ三次元直交座標系ΣＸＹＺにおける直線の式である。三次元直交座標系Σｘｙｚの原点５０２にレンズ中心を備えたカメラで目標Ｐを撮像したときに、画像フレーム５０４の像Ｐ’の二次元直交座標系Σｕｖでの二次元座標を決定できれば、前式が算出でき、三次元直交座標系ΣＸＹＺにおいて前式で示される直線上に目標Ｐが存在する。

存在面算出部１０２の動作説明に戻る。存在面算出部１０２は、二次元位置算出処理（Ｓ３０１）を実行した結果である第１のカメラ及び第２のカメラの画像フレーム内の画像データから算出された目標とする動体の画像フレームにおける二次元位置を座標系Σｕｖの要素として二次元位置算出部１０１から引き渡される。

図７は、野球において投手の投げたボールを目標とする動体として相互に非同期である二つのカメラで撮像した様子を模式的に示した図である。７１１は第１のカメラ、７１２は第１のカメラの画像フレーム、７２１は第２のカメラ、７２２は第２のカメラの画像フレームである。また、７１３は第２のカメラの画像フレーム７２２上の第１のカメラの像、７２３は第１のカメラの画像フレーム７１２上の第２のカメラの像である。Ｂｔ１、Ｂｔ２及びＢｔ３は、それぞれ時刻ｔ１、ｔ２及びｔ３における投手の投げたボールの三次元位置である。Ｂｔ１’、Ｂｔ２’及びＢｔ３’は、二次元位置算出部１０１から引き渡された画像フレーム上のＢｔ１、Ｂｔ２及びＢｔ３の像の二次元位置である。

第１のカメラ７１１と第２のカメラ７２１は非同期であるため、時刻ｔ１及び時刻ｔ３においては第１のカメラ７１１が、時刻ｔ２においては第２のカメラ７２１が撮像している。なお、Ｂｔ１’及びＢｔ３’は、時刻ｔ１及び時刻ｔ３の別個の画像フレーム上にあるが、説明理解の容易性を考慮して、同一画像フレーム７１２上に二次元位置を示している。また、ここでは第１のカメラ７１１で時刻ｔ１及び時刻ｔ３における画像フレームは隣接しているものとする。

図８は、存在面算出部１０２が実行する存在面算出処理（Ｓ３０２）について説明する図である。存在面算出処理（Ｓ３０２）では、第１のカメラで隣接する画像フレームに撮像された目標とする動体の三次元位置と第１のカメラのレンズの光学中心点とを結んで構成される平面が存在面として算出される。

存在面算出処理（Ｓ３０２）では、図６を用いた説明の通り、第１のカメラ７１１の三次元空間での位置座標と姿勢及び第１のカメラ７１１の画像フレーム７１２上のＢｔ１’（Ｂｔ１の像の画像フレーム７１２上の二次元位置）から三次元空間における直線８１１が算出される。存在面算出処理（Ｓ３０２）では、同様にして、Ｂｔ３’ （Ｂｔ３の像の画像フレーム７１２上の二次元位置）から三次元空間における直線８１３が算出される。直線８１１と直線８１３は第１のカメラのレンズ中心で交わるため直線８１１と直線８１３で挟まれた平面が存在面として算出される。

図６を用いた説明の通り、時刻ｔ１における投手の投げたボールの三次元位置Ｂｔ１は、三次元空間における直線８１１上にある。また、時刻ｔ３における投手の投げたボールの三次元位置Ｂｔ３は、三次元空間における直線８１３上にある。投手の投げたボールは投手から捕手に向かって放物運動を取ることから、ｔ１＜ｔ２＜ｔ３であって、時刻ｔ２における投手の投げたボールの三次元位置Ｂｔ２は、直線８１１と直線８１３で挟まれた存在面にある確率が大きい。

存在面算出処理（Ｓ３０２）では、二次元位置算出処理（Ｓ３０１）から引き渡された第１のカメラの画像フレーム内の画像データから算出された目標とする動体の隣接する画像フレームにおける二次元位置の組み合わせから隣接する複数の存在面が算出される。第１のカメラのレンズ中心７１１を要として扇状に複数の存在面が算出される。

存在面算出部１０２による存在面算出処理（Ｓ３０２）が終了すると、三次元軌道算出部１０３が三次元軌道算出処理（Ｓ３０３）を開始する。三次元軌道算出処理（Ｓ３０３）は、第２のカメラで撮像された二次元位置算出処理（Ｓ３０１）により算出された目標とする動体の二次元位置と第２のカメラについての三次元空間での位置座標と姿勢から、第２のカメラで撮像された画像フレームにおける目標とする動体の三次元位置と第２のカメラのレンズの光学中心点とを結んだ直線と、存在面算出処理（Ｓ３０２）により算出された存在面とが交わる点から目標とする動体の三次元空間での軌道を算出する処理である。

三次元軌道算出処理（Ｓ３０３）では、まず、第２のカメラで撮像された画像フレームにおける目標とする動体の二次元位置と存在面の対応付けをおこなう。図９は、第２のカメラで撮像された画像フレームにおける目標とする動体の二次元位置と存在面の対応付けについて説明する図である。

図９で、第２のカメラ７２１で撮像された画像フレーム７２２の直線９１１及び直線９１３は、それぞれ存在面算出処理（Ｓ３０２）で算出された三次元空間における直線８１１及び直線８１３の写像である。図９では、第２のカメラ７２１で撮像された画像フレーム７２２でＢｔ２’（第２のカメラで撮像された画像フレーム上のＢｔ２の像の二次元位置）が直線９１１及び直線９１３に挟まれた位置関係にある。三次元軌道算出処理（Ｓ３０３）は、このような関係にある第２のカメラ７２１で撮像された画像フレーム７２２における目標とする動体の二次元位置と存在面の組み合わせを抽出する。

なお、三次元空間における直線９１１及び直線９１３から画像フレーム７２２の直線８１１及び直線８１３への写像変換は、実施例１においては、カメラの三次元空間での位置座標と姿勢が事前に与えられているため、図６における三次元空間における三次元直交座標系ΣＸＹＺから、レンズ中心を原点とする三次元直交座標系Σｘｙｚを介して、画像フレームにおける二次元直交座標系Σｕｖへの変換をおこなうことで実現できる。

三次元軌道算出処理（Ｓ３０３）では、次に、第２のカメラで撮像された画像フレームにおける目標とする動体の二次元位置と第２のカメラについての三次元空間での位置座標と姿勢から、第２のカメラで撮像された画像フレームにおける目標とする動体の三次元位置と第２のカメラのレンズの光学中心点とを結んだ直線と、対応付けられた存在面とが交わる点の三次元座標が算出される。

図１０は、第２のカメラで撮像された画像フレームにおける目標とする動体の三次元位置と第２のカメラのレンズの光学中心点とを結んだ直線と、対応付けられた存在面とが交わる点の三次元座標の算出について説明する図である。

図１０で、直線１０２２は、第２のカメラで撮像された画像フレーム７２２における目標とする動体の三次元位置と第２のカメラのレンズの光学中心点７２１とを結んだ直線である。図８を用いて説明した直線８１１及び直線８１３の算出と同様に直線１０２２を算出する。直線８１１と直線８１３で挟まれた存在面と直線１０２２はいずれも同じ三次元座標系（図６における三次元空間における三次元直交座標系ΣＸＹＺ）で算出され、三次元軌道算出処理（Ｓ３０３）では、その交わる点の三次元座標が算出される。

目標とする投手の投げたボールの三次元位置Ｂｔ２は直線１０２２に存在する。一方、前述の通り、目標とする投手の投げたボールの三次元位置Ｂｔ２は、直線８１１と直線８１３で挟まれた存在面にある確率が大きい。このことから直線８１１と直線８１３で挟まれた存在面と直線１０２２の交わる点の三次元座標は、目標とする投手の投げたボールの三次元位置Ｂｔ２と極めて近接する。

三次元軌道算出処理（Ｓ３０３）では、二次元位置算出処理（Ｓ３０１）で算出された目標とする動体の第２のカメラの画像フレームにおける二次元位置のすべてについて、第２のカメラで撮像された画像フレームにおける目標とする動体の三次元位置と第２のカメラのレンズの光学中心点とを結んだ直線と対応する存在面とが交わる点の三次元座標を算出する。

三次元軌道算出部１０３は、算出した目標とする動体の複数時刻における三次元空間での座標を目標とする動体の軌道として出力し、三次元軌道算出処理（Ｓ３０３）を終了する。もしくは、目標とする動体の複数時刻における三次元空間での座標を近似した三次元曲線の情報を目標とする動体の軌道として出力して、三次元軌道算出処理（Ｓ３０３）を終了してもよい。本実施形態の野球において投手の投げたボールを目標とする動体とする場合、多項式による曲線近似で精度高い結果が求められることが分かっている。なお、出力情報は、目標とする動体の三次元空間での軌道が特定できる情報であればよく、本実施形態に限るものではない。

以上が、実施例１についての説明である。

実施例２では、カメラの三次元空間での三次元座標系における位置座標と姿勢が事前に与えられていない場合の軌道算出装置１の動作について説明する。また、異なる位置に設置された相互に非同期である複数のカメラから第１のカメラ及び第２のカメラを選択する軌道算出装置１の動作について説明する。

図１１は、実施例２に係る軌道算出装置１の動作を示すフローチャートである。図１１のフローチャートに従って起動算出装置１の動作を説明する。

実施例２では、カメラ情報算出部１０４が動作する点が実施例１と異なる。実施例２では、カメラの画像フレーム内の画像データが軌道算出装置１に外部から入力された後、軌道算出装置１が動作を開始すると、まず、カメラ情報算出部１０４がカメラ情報算出処理（Ｓ１１０１）を実行する。カメラ情報算出処理（Ｓ１１０１）は、カメラ位置算出処理（Ｓ１１０２）とカメラ選択処理（Ｓ１１０３）からなる。

なお、カメラ情報算出部１０４がカメラ情報算出処理（Ｓ１１０１）を実行した後の軌道算出装置１の動作は実施例１と同様であるため、実施例２ではカメラ情報算出処理（Ｓ１１０１）について説明する。

まず、カメラ情報算出処理（Ｓ１１０１）のうち、カメラ位置算出処理（Ｓ１１０２）について説明する。実施例２では、カメラの三次元空間での三次元座標系における位置座標と姿勢が事前に与えられていないことから、カメラ位置算出処理（Ｓ１１０２）では、画像フレーム内の画像データに存在する三次元空間での座標が決まっている複数の基準点から、カメラの三次元空間での三次元座標系における位置座標と姿勢が算出される。なお、カメラのレンズの焦点距離ｄは既知であるとする。

前述の通り、本実施形態では、異なる位置に設置された相互に非同期である複数のカメラの画像データに共通して存在する三次元座標系での座標が決まっている複数の基準点として次の点について三次元座標を設定する。
本塁：（Ｘ，Ｙ，Ｚ）＝（０，０，０）
一塁：（Ｘ，Ｙ，Ｚ）＝（１９．４，１９．４，０）
二塁：（Ｘ，Ｙ，Ｚ）＝（０，３８．８，０）
三塁：（Ｘ，Ｙ，Ｚ）＝（−１９．４，１９．４，０）

前述、図６を用いて、レンズ中心を原点５０２とする三次元直交座標系Σｘｙｚにおいて、レンズ中心（原点５０２）と像Ｐ’と目標Ｐは同じ直線上にあることから次の式（数式１）を求めた。

Ｐ（Ｘ，Ｙ，Ｚ）＝Ｐ０（Ｘ０，Ｙ０，Ｚ０）＋ｋＲＰ’（ｕ−ｕ０，ｖ−ｖ０，ｄ）

カメラ位置算出処理（Ｓ１１０２）では、上記の数式１において、ｄは既知であり、Ｐ（Ｘ，Ｙ，Ｚ）をそれぞれの基準点として、三次元空間での三次元直交座標系ΣＸＹＺにおけるカメラの位置座標と姿勢が算出される。具体的には、上記の数式１から三次元直交座標系ΣＸＹＺにおけるカメラのレンズ中心Ｐ０（Ｘ０，Ｙ０，Ｚ０）及び座標変換行列Ｒを構成するローテーション（座標系Σｘｙｚから座標系ΣＸＹＺに座標変換する際の三軸の回転角度パラメーター）が算出される。

なお、三次元直交座標系ΣＸＹＺにおけるカメラのレンズ中心Ｐ０（Ｘ０，Ｙ０，Ｚ０）及び座標変換行列Ｒを構成するローテーション（座標系Σｘｙｚから座標系ΣＸＹＺに座標変換する際の三軸の回転角度パラメーター）の算出にあたっては、未知の要素の数が６であり、画像フレームの目標とする動体の像は二次元直交座標系Σｕｖの要素で与えられることから、基準点の数は３で足りる。しかしながら、基準点を増やすことによる算出精度の向上を考慮して、本実施形態では、基準点の数を４としている。基準点の数は計測したい空間や利用可能な基準点の配置に合わせて適した数とすることが望ましく、基準点の数を４に限るものではない。

本実施形態においては、カメラ位置算出処理（Ｓ１１０２）では、非線形最小二乗法により、カメラの三次元空間での三次元座標系における位置座標と姿勢の算出処理を行う。なお、これは例示であって、処理の方法はこれに限るものではなく、カメラの三次元空間での三次元座標系における位置座標と姿勢が精度高く算出できれば他の処理の方法によってもよい。例えば、高い精度が期待できるＬＭ法（Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ Ｍｅｔｈｏｄ）による算出、基準点の数を増やしてＤＬＴ法（Ｄｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｍｅｔｈｏｄ）による算出なども考えられる。

次に、カメラ情報算出処理（Ｓ１１０１）のうち、カメラ選択処理（Ｓ１１０３）について説明する。カメラ選択処理（Ｓ１１０３）では、異なる位置に設置された相互に非同期である複数のカメラから第１のカメラ及び第２のカメラが選択されていない場合に、カメラの光軸と目標とする動体の運動方向から第１のカメラ及び第２のカメラが選択される。本実施形態では、野球において投手の投げたボールを目標とする動体とするから、目標とする動体の運動方向は投手から捕手に向けての方向と考えてよく、図５に示す三次元空間での三次元直交座標系ΣＸＹＺにおけるＹ軸と一致する。

カメラの光軸は、図５に示すレンズ中心を原点５０２とする三次元直交座標系Σｘｙｚにおけるｚ軸と一致する。カメラ位置算出処理（Ｓ１１０２）により算出されたカメラの三次元空間での三次元座標系における位置座標と姿勢からカメラの光軸を求めることができる。

カメラ選択処理（Ｓ１１０３）では、異なる位置に設置された複数のカメラから光軸が最も垂直に近い二つのカメラが第１のカメラ及び第２のカメラとして選択される。図１０に示す通り、第１のカメラ及び第２のカメラの光軸が垂直に近いほど、第２のカメラで撮像された画像フレーム７２２における目標とする動体の三次元位置と第２のカメラのレンズの光学中心点７２１とを結んだ直線１０２２と、直線８１１と直線８１３で挟まれた存在面が直交に近い傾向があると考えられ、直線１０２２と、直線８１１と直線８１３で挟まれた存在面の交点を精度高く求めることができると考えられるためである。

カメラ選択処理（Ｓ１１０３）では、目標とする動体の運動方向と光軸が最も垂直に近いカメラが第２のカメラとして選択される。同じく、直線１０２２と、直線８１１と直線８１３で挟まれた存在面の交点を精度高く求めることができると考えられるためである。

以上が、実施例２についての説明である。

次に、コンピュータを起動算出装置１として機能させるための軌道算出プログラムについて説明する。コンピュータの構成は、図２に示す通りである。

軌道算出プログラムは、メインモジュール、入出力モジュール及び演算処理モジュールを備える。メインモジュールは、画像処理を統括的に制御する部分である。入出力モジュールは、画像フレーム内の画像データなどの入力情報の取得や、目標として検出した動体を特定するための目的とする画像フレームにおける座標を一連の処理後に出力するようにコンピュータを動作させる。演算処理モジュールは、二次元位置算出モジュール、存在面算出モジュール、三次元軌道算出モジュール及びカメラ情報算出モジュールを備える。メインモジュール、入力モジュール及び演算処理モジュールを実行させることにより実現される機能は、軌道算出装置１の二次元位置算出部１０１、存在面算出部１０２、三次元軌道算出部１０３及び及びカメラ情報算出部１０４の機能とそれぞれ同様である。

動体検出プログラムは、例えば、ＲＯＭ等の記憶媒体又は半導体メモリによって提供される。また、動体検出プログラムは、ネットワークを介して提供されてもよい。

以上、本実施形態に係る軌道算出装置、軌道算出方法及び動体検出プログラムは、相互に非同期である複数のカメラで撮像された画像データを用いて目標とする動体の三次元空間での軌道の算出を可能にすることで、
同期をとる機能を内蔵するカメラや複数のカメラの同期をとるシステムなど高機能の機材やシステムが必要になるとの課題を解決する。また、それぞれのカメラの画像データに共通して存在する三次元空間での位置座標が決まっている複数の基準点からそれぞれのカメラの三次元空間の位置を算出することで、カメラ位置の測量や設置工事などのコストを抑えつつ、カメラ位置の自由度を上げることが望まれるとの課題を解決する。

１ 起動算出装置
１０１ 二次元位置算出部
１０２ 存在面算出部
１０３ 三次元軌道算出部
１０４ カメラ情報算出部
２ 動体追跡装置を備える装置
２０１ 中央演算装置（ＣＰＵ）
２０２ 入力装置
２０３ 出力装置
２０４ 主記憶装置（ＲＡＭ／ＲＯＭ）
２０５ 補助記憶装置
４１ 画像フレーム
４２ ボールの画像
４３ 観客の頭部の画像
４４ テンプレート画像
５０１ 三次元直交座標系ΣＸＹＺの原点
５０２ 三次元直交座標系Σｘｙｚの原点（カメラのレンズ中心）
５０３ 二次元直交座標系Σｕｖの原点
５０４ 画像フレーム
７１１ 第１のカメラのレンズ中心
７１２ 第１のカメラの画像フレーム
７１３ 第２のカメラの画像フレーム上の第１のカメラの像
７２１ 第２のカメラのレンズ中心
７２２ 第２のカメラの画像フレーム
７２３ 第１のカメラの画像フレーム上の第２のカメラの像
８１１ 第１のカメラで画像フレームに撮像された目標とする動体（Ｂｔ１）の三次元位置と第１のカメラのレンズの光学中心点とを結んだ直線
８１３ 第１のカメラで画像フレームに撮像された目標とする動体（Ｂｔ２）の三次元位置と第１のカメラのレンズの光学中心点とを結んだ直線
９１１ 三次元空間における直線８１１の第２のカメラの画像フレームへの写像
９１３ 三次元空間における直線８１３の第２のカメラの画像フレームへの写像
１０２２ 第２のカメラで画像フレームに撮像された目標とする動体（Ｂｔ２）の三次元位置と第２のカメラのレンズの光学中心点とを結んだ直線

Claims (8)

1. 異なる位置に設置された相互に非同期である複数のカメラから選択された二つのカメラの画像データを用いて、撮像された目標とする動体の三次元空間での軌道を算出する軌道算出装置であって、
   カメラで撮像された画像フレーム内の画像データから目標とする動体を検出し、前記目標とする動体の前記画像フレームにおける二次元位置を算出する二次元位置算出部と、
   第１のカメラで撮像され前記二次元位置算出部により算出された前記目標とする動体の二次元位置と前記第１のカメラについての前記三次元空間での位置座標と姿勢から、前記第１のカメラで撮像された隣接する画像フレームにおける前記目標とする動体の三次元位置と前記第１のカメラのレンズの光学中心点とを結んで構成される三次元平面を存在面として算出する存在面算出部と、
   第２のカメラで撮像され前記二次元位置算出部により算出された前記目標とする動体の二次元位置と前記第２のカメラについての前記三次元空間での位置座標と姿勢から、前記第２のカメラで撮像された画像フレームにおける前記目標とする動体の三次元位置と前記第２のカメラのレンズの光学中心点とを結んだ直線と、前記存在面算出部が算出した存在面とが交わる点から前記目標とする動体の前記三次元空間での軌道を算出する三次元軌道算出部と、
   を備えることを特徴とする軌道算出装置。
2. 画像フレーム内の画像データに存在する前記三次元空間での座標が決まっている複数の基準点から、前記画像データを撮像したカメラについての前記三次元空間での位置座標と姿勢を算出するカメラ情報算出部と、
   を備えることを特徴とする請求項１に記載の軌道算出装置。
3. 前記カメラ情報算出部が、異なる位置に設置された複数のカメラから光軸が最も垂直に近い二つのカメラを前記第１のカメラ及び前記第２のカメラとして選択する
   ことを特徴とする請求項２に記載の軌道算出装置。
4. 前記カメラ情報算出部が、前記目標とする動体の運動方向と光軸が最も垂直に近いカメラを前記第２のカメラとして選択する
   ことを特徴とする請求項２または請求項３に記載の軌道算出装置。
5. 異なる位置に設置された相互に非同期である複数のカメラから選択された二つのカメラの画像データを用いて、撮像された目標とする動体の三次元空間での軌道を算出する軌道算出方法であって、
   カメラで撮像された画像フレーム内の画像データから目標とする動体を検出し、前記目標とする動体の前記画像フレームにおける二次元位置を算出する二次元位置算出ステップと、
   第１のカメラで撮像され前記二次元位置算出ステップにより算出された前記目標とする動体の二次元位置と前記第１のカメラについての前記三次元空間での位置座標と姿勢から、前記第１のカメラで撮像された隣接する画像フレームにおける前記目標とする動体の三次元位置と前記第１のカメラのレンズの光学中心点とを結んで構成される三次元平面を存在面として算出する存在面算出ステップと、
   第２のカメラで撮像され前記二次元位置算出ステップにより算出された前記目標とする動体の二次元位置と前記第２のカメラについての前記三次元空間での位置座標と姿勢から、前記第２のカメラで撮像された画像フレームにおける前記目標とする動体の三次元位置と前記第２のカメラのレンズの光学中心点とを結んだ直線と、前記存在面算出ステップで算出された存在面とが交わる点から前記目標とする動体の前記三次元空間での軌道を算出する三次元軌道算出ステップと、
   を備えることを特徴とする軌道算出方法。
6. 画像フレーム内の画像データに存在する前記三次元空間での座標が決まっている複数の基準点から、前記画像データを撮像したカメラについての前記三次元空間での位置座標と姿勢を算出するカメラ情報算出ステップと、
   を備えることを特徴とする請求項５に記載の軌道算出方法。
7. 異なる位置に設置された相互に非同期である複数のカメラから選択された二つのカメラの画像データを用いて、撮像された目標とする動体の三次元空間での軌道を算出するようにコンピュータを機能させる軌道算出プログラムであって、
   カメラで撮像された画像フレーム内の画像データから目標とする動体を検出し、前記目標とする動体の前記画像フレームにおける二次元位置を算出する二次元位置算出ステップと、
   第１のカメラで撮像され前記二次元位置算出ステップにより算出された前記目標とする動体の二次元位置と前記第１のカメラについての前記三次元空間での位置座標と姿勢から、前記第１のカメラで撮像された隣接する画像フレームにおける前記目標とする動体の三次元位置と前記第１のカメラのレンズの光学中心点とを結んで構成される三次元平面を存在面として算出する存在面算出ステップと、
   第２のカメラで撮像され前記二次元位置算出ステップにより算出された前記目標とする動体の二次元位置と前記第２のカメラについての前記三次元空間での位置座標と姿勢から、前記第２のカメラで撮像された画像フレームにおける前記目標とする動体の三次元位置と前記第２のカメラのレンズの光学中心点とを結んだ直線と、前記存在面算出ステップで算出された存在面とが交わる点から前記目標とする動体の前記三次元空間での軌道を算出する三次元軌道算出ステップと、
   をコンピュータに実行させることを特徴とする軌道算出プログラム。
8. 画像フレーム内の画像データに存在する前記三次元空間での座標が決まっている複数の基準点から、前記画像データを撮像したカメラについての前記三次元空間での位置座標と姿勢を算出するカメラ情報算出ステップと、
   を備えることを特徴とする請求項７に記載の軌道算出プログラム。

Images