JP2003178308A - 演算方法及び装置、プログラム、並びに記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 撮影された動画像をトラック（軌跡追跡）し
ている際に、特徴点が物体の蔭に隠れる等によりトラッ
クできなかった場合でも、自動でトラックすることを可
能とする。 【解決手段】 複数の画像に撮影された物体の第１群の
特徴点の投影位置の情報である第１の位置情報を入力と
して、演算処理回路１１により、残りの第２群の特徴点
の投影位置の情報である第２の位置情報を求める。演算
処理回路１１は、第１群の特徴点の位置の重み付き平均
で表現した際の該重みに関連する第１のパラメータと、
第１群の特徴点の投影位置及び特定の時刻と注目してい
る時刻における画像を撮影した撮像装置の位置、向き、
焦点距離に関連する第２のパラメータとを未知変数とし
て、該未知変数と第１群及び第２群の特徴点の画像上で
の投影像位置との関係式より、第２の位置情報と未知変
数とを求め、求められた第２の位置情報を出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データ内に投
影された物体の特徴点の軌跡を求めるための演算方法及
び装置、プログラム、並びにプログラムを記録している
記録媒体に関するものである。

【０００２】

【従来の技術】例えば、あるカメラを用いて、動画像
（以下オリジナル動画像という。）を撮影したとする。
オリジナル動画像の各時刻における画像には、１つの長
方形の物体が撮影されていたとする。この長方形の４つ
の頂点を、第１〜４の頂点、一般的には第１〜４の特徴
点という。このオリジナル動画像に投影された長方形の
４隅（４つの頂点）の投影像の軌跡をトラック（軌跡追
跡）する。第１の頂点（すなわち、第１の特徴点）の投
影像をトラックした結果を（Ｕ1(t),Ｖ1(t)）とする。
すなわち、時刻ｔにおける第１の頂点は、画像上で（Ｕ
1(t),Ｖ1(t)）に投影されている。同様に、第２、３、
４の頂点（すなわち、第２、３、４の特徴点）の投影像
をトラックした結果を、それぞれ、（Ｕ2(t),Ｖ2
(t)）、（Ｕ3(t),Ｖ3(t)）、（Ｕ4(t),Ｖ4(t)）とす
る。これら４隅をトラックすることで、各時刻における
長方形全体の投影像の位置が判明する。そこで、この情
報を使って、後で、この長方形の投影像の位置に、別に
用意したテクスチャ（模様）を貼り付けることができ
る。これにより、あたかも、最初からこの長方形の部分
に上記テクスチャがあったかのような状態で撮影した動
画像を得ることができる。

【０００３】より一般的には、オリジナル動画像の各時
刻における画像において、撮影された物体（複数の物
体、物体群等の場合も含む。）の４つの特徴点のそれぞ
れの投影像をトラックした結果を（Ｕ1(t),Ｖ1(t)）、
（Ｕ2(t),Ｖ2(t)）、（Ｕ3(t),Ｖ3(t)）、（Ｕ4(t),Ｖ4
(t)）とすることが挙げられる。

【０００４】このように、ある物体（物体群でもよい）
の特徴点（例えば物体の角）をトラックすることは、画
像処理の分野では、しばしば行われていることであり、
かつ必要なことである。

【０００５】

【発明が解決しようとする課題】ところで、例えば、上
記長方形の例では、すべての頂点が、すべての時刻にお
いて見えているとは限らない。つまり、ある時刻では、
ある頂点が、何か他の物体の影に隠れて撮影できなかっ
た場合なども起こり得る。この場合、従来、人間（オペ
レータ）が、もし物体の影に隠れていなかったらどこに
投影されていたかを指定する必要があった。このように
頂点が撮影できなかった画像が、動画像の中に沢山ある
場合、オペレータはこれら全ての画像に対して、一枚一
枚手作業で指定していく必要があるため、かなりの時間
がかかっていた。そして、短時間で人手をかけずに指定
して欲しいという要求に答えられていなかった。

【０００６】本発明は、このような実情に鑑みてなされ
たものであり、撮影された動画像をトラック（軌跡追
跡）している際に、特徴点が物体の蔭に隠れる等により
トラックできなかった場合でも、自動でトラックするこ
とを可能とするような演算方法及び装置、プログラム、
並びに記録媒体の提供を目的とする。

【０００７】

【課題を解決するための手段】本発明に係る演算方法
は、複数の画像に撮影された物体の第１群の特徴点の投
影位置の情報である第１の位置情報を入力として、残り
の第２群の特徴点の投影位置の情報である第２の位置情
報を求める演算方法において、上記第１群の特徴点の位
置の重み付き平均で表現した際の該重みに関連する第１
のパラメータと、上記第１群の特徴点の投影位置及び特
定の時刻と注目している時刻における上記画像を撮影し
た撮像装置の位置、向き、焦点距離に関連する第２のパ
ラメータとを未知変数として、上記未知変数と上記第１
群及び第２群の特徴点の上記画像上での投影像位置との
関係式より、上記第２の位置情報と上記未知変数とを求
める計算ステップを有し、上記計算ステップで求められ
た上記第２の位置情報を出力することを特徴とすること
により、上述の課題を解決する。

【０００８】ここで、上記計算ステップでは、上記未知
変数と上記第１及び第２の特徴点の上記画像上での投影
像位置との関係式を誤差を考慮して満たすという条件下
での誤差評価関数を最小とするようにして、上記第２の
位置情報と上記未知変数を求めることが行われ、さら
に、上記第１の位置情報に関する誤差よりも上記第２の
位置情報に関する誤差に関しては重みを軽くして、上記
誤差評価関数内で評価されていることが挙げられる。

【０００９】次に、本発明に係る演算装置は、複数の画
像に撮影された物体の第１群の特徴点の投影位置の情報
である第１の位置情報を入力として、残りの第２群の特
徴点の投影位置の情報である第２の位置情報を求める演
算装置において、上記第１群の特徴点の位置の重み付き
平均で表現した際の該重みに関連する第１のパラメータ
と、上記第１群の特徴点の投影位置及び特定の時刻と注
目している時刻における上記画像を撮影した撮像装置の
位置、向き、焦点距離に関連する第２のパラメータとを
未知変数として、上記未知変数と上記第１群及び第２群
の特徴点の上記画像上での投影像位置との関係式より、
上記第２の位置情報と上記未知変数とを求める計算回路
を有し、上記計算回路で求められた上記第２の位置情報
を出力することを特徴とすることにより、上述の課題を
解決する。

【００１０】ここで、上記計算回路は、上記未知変数と
上記第１及び第２の特徴点の上記画像上での投影像位置
との関係式を誤差を考慮して満たすという条件下での誤
差評価関数を最小とするようにして、上記第２の位置情
報と上記未知変数を求めることが行われ、さらに、上記
第１の位置情報に関する誤差よりも上記第２の位置情報
に関する誤差に関しては重みを軽くして、上記誤差評価
関数内で評価されていることが挙げられる。

【００１１】次に、本発明に係るプログラムは、上記特
徴を有する演算方法の処理手順をコンピュータに実行さ
せることを特徴とするものである。

【００１２】また、本発明に係るコンピュータ読み取り
可能な記録媒体は、上記特徴を有する演算方法の処理手
順をコンピュータに実行させるためのプログラムを記録
したことを特徴とするものである。

【００１３】

【発明の実施の形態】本発明においては、トラックしよ
うとしている物体（物体群でもよい）の複数の特徴点
（第１群の特徴点）とともに他の特徴点（第２群の特徴
点）に対してもトラックするようにした。これにより、
第１群の特徴点の投影像位置が、何らかの理由でトラッ
クできなかった場合にも、自動で第１群の特徴点の投影
像位置を求めることができる。

【００１４】ところで、上記長方形の例では、該長方形
の４つの頂点を、第１、２、３、４の特徴点と呼ぶこと
にする。そして、オリジナル動画像上でそれらをトラッ
クした結果が（Ｕ1(t),Ｖ1(t)）、（Ｕ2(t),Ｖ2(t)）、
（Ｕ3(t),Ｖ3(t)）、（Ｕ4(t),Ｖ4(t)）である。ある特
定の時刻においては、（Ｕ1(t),Ｖ1(t)）、（Ｕ2(t),Ｖ
2(t)）、（Ｕ3(t),Ｖ3(t)）、（Ｕ4(t),Ｖ4(t)）の１つ
あるいは複数のデータが不定となっている。最終ゴール
は、これら不定データを確定させることである。

【００１５】また、先に述べたように、上記長方形の４
頂点以外の特徴点に対してもトラックを行う。これら
を、第０の特徴点、及び、第５、６、．．．、Ｎ−１の
特徴点の、全部でＮ−４個の特徴点から成るとする。そ
して、そのトラックした結果を（Ｕ0(t),Ｖ0(t)）、及
び、（Ｕ5(t),Ｖ5(t)）、（（Ｕ6(t),Ｖ6
(t)）、．．．、（（ＵN-1(t),ＶN-1(t)）とする。これ
らトラックした結果も、ある特定の時刻においては、不
定であってもよい。

【００１６】このような長方形の例において、上記第１
群の特徴点とは、長方形の４つの頂点の内の３つの頂
点、例えば第１、２、３の特徴点と、該長方形を含む平
面上に無い１つの点、例えば上記第０の特徴点とから成
る４つの特徴点である。また、残りの第４〜Ｎ−１の特
徴点が、上記第２群の特徴点となる。

【００１７】なお、これらの特徴点の投影像のトラック
方法は、ブロックマッチング等の方法により自動で行え
るので、全体としてＮ個の特徴点のトラックを行わなく
てはならないことは、オペレータの負担にはならない。

【００１８】これらの特徴点のオリジナル動画像上での
トラックデータを入力として、トラックできなかった不
定データを自動で確定させることが、本発明のポイント
である。

【００１９】以下、本発明に係る演算方法の第１の実施
の形態について詳細に説明する。

【００２０】３次元上でのｉ番目の特徴点の位置を（Ｘ
i, Ｙi, Ｚi）とする。ｉは、０〜Ｎ−１である。例え
ば、上記長方形の例で、第０の特徴点（Ｘ0,Ｙ0,Ｚ0）
が、上記長方形を含む平面上に無いとき、第０〜３（す
なわち０〜３番目）の４つの特徴点を第１群の特徴点と
し、残りの第４〜Ｎ−１（すなわち４〜Ｎ−１番目）の
特徴点を第２群の特徴点とする。オリジナル動画像にお
いて、時刻ｔにおける上記ｉ番目の特徴点の投影像位置
を（Ｕi(t), Ｖi(t)）としているので、時刻ｔにおける
射影変換行列を｛ｒij(t)｝とすると、次の式１を満た
すはずである。

【００２１】

【数１】

【００２２】ここで、上記式１は、同次座標系（homoge
neous coordinates）で記述しており、Ｗitは、同次座
標系で表現するために付け加えられた変数である。

【００２３】０〜３番目の４つの特徴点（Ｘ0,Ｙ0,Ｚ
0）、（Ｘ1,Ｙ1,Ｚ1）、（Ｘ2,Ｙ2,Ｚ2）、（Ｘ3,Ｙ3,
Ｚ3）の投影位置が、ｔ＝０におけるオリジナル動画像
上で確定されているとする。すなわち、（Ｕ0(0),Ｖ0
(0)）、（Ｕ1(0),Ｖ1(0)）、（Ｕ2(0),Ｖ2(0)）、（Ｕ3
(0),Ｖ3(0)）が観測されているとする。そして、上記４
つの特徴点は、３次元空間上で一つの平面上にないとす
る。適切なｍ0j、ｍ1j、ｍ2jにより、他の特徴点（Ｘj,
Ｙj,Ｚj）は、次の式２を満たす。

【００２４】

【数２】

【００２５】ここで、ｊは、４〜Ｎ−１である。なお、
特に、上記長方形の例では、ｍ04＝０、ｍ14＝１、ｍ24
＝−１、ｍ34＝１である。なぜならば、 「第２の特徴点の位置」＋「第４の特徴点の位置」 ＝「第１の特徴点の位置」＋「第３の特徴点の位置」 ＝「長方形の中心」 だからである。

【００２６】上記式１に対して、式変形を行うことで、
次の式３を得る。

【００２７】

【数３】

【００２８】ただし、Ｋij、及び、Ｒ0(t), Ｒ1(t), Ｒ
2(t) は、それぞれ、次の式４、式５で示される値であ
る。なお、特に、上記長方形の例では、ｍ04＝０より、
Ｋ04＝０である。

【００２９】

【数４】

【００３０】

【数５】

【００３１】時刻ｔは、０〜Ｔ−１までの値をとる。動
画像の撮影は、時刻０からＴ−１までのＴ枚撮影が行わ
れたとする。最初の時刻におけるカメラの位置を基準と
するので、時刻ｔ＝０における射影変換行列は、次の式
６となる。

【００３２】

【数６】

【００３３】ここで、ｒ00(0)は画像上でのＵ軸方向の
ｔ＝０における焦点距離であり、ｒ11(0)は画像上での
Ｖ軸方向のｔ＝０における焦点距離であり、座標（ｒ02
(0),ｒ12(0)）が、ｔ＝０における光軸中心と撮像面の
交点である。なお、上記式５及び式６から分かるよう
に、Ｒ0(0)＝０、Ｒ1(0)＝０、Ｒ2(0)＝０である。

【００３４】各時刻における各投影像の位置（観測値）
（Ｕi(t),Ｖi(t)）には、誤差が含まれているので、こ
の誤差を（εi(t),δi(t)）とする。先に述べたよう
に、ある特定の時刻における特定の特徴点の位置が、オ
リジナル画像上に投影されないこともある。そこで、
（Ｕi(t),Ｖi(t)）が確定された観測値であるか、ある
いは、不定であるかを判断するためのフラグＦi(t)を導
入する。この値は、外部から入力される。Ｆi(t)＝０と
は、（Ｕi(t),Ｖi(t)）が不定であることを意味し、Ｆi
(t)＝１とは、（Ｕi(t),Ｖi(t)）が確定された入力デー
タ（すなわち、観測できた値）であることを意味する。
例えば、ある特徴点が、ある時刻において、別の物体の
影に隠れてカメラに撮影されなかった場合などは、Ｆi
(t)＝０となる。

【００３５】ここで、問題を整理すると、「Ｆi(t)＝１
である（Ｕi(t),Ｖi(t)）」が与えられたとき、次の式
７の条件下で、次の式８を最小にするＫij, Ｒ0(t), Ｒ
1(t), Ｒ2(t) 及び、「Ｆi(t)＝０である（Ｕi(t),Ｖi
(t)）」を求めよということになる。

【００３６】

【数７】

【００３７】

【数８】

【００３８】上記式８において、Ｃi(t)は、ｉ番目の特
徴点の時刻ｔにおける測定の確からしさであり、外部か
ら入力される。観測値（Ｕi(t),Ｖi(t)）が信頼できる
場合は、Ｃi(t)として大きい値が入力される。

【００３９】上記式８を最小とする状態を求める際に、
ＫijとＲ0(t), Ｒ1(t), Ｒ2(t)と「Ｆi(t)＝０である
（Ｕi(t),Ｖi(t)）」をすべて変数として、一度に求め
るのは困難である。そこで、(ステップＳＡ) ＫijとＲ0
(t), Ｒ1(t), Ｒ2(t)を固定して、「Ｆi(t)＝０である
（Ｕi(t),Ｖi(t)）」を求める。(ステップＳＢ) Ｒ0
(t), Ｒ1(t), Ｒ2(t)と「Ｆi(t)＝０である（Ｕi(t),Ｖ
i(t)）」を固定して、Ｋijを求める。(ステップＳＣ)
Ｋijと「Ｆi(t)＝０である（Ｕi(t),Ｖi(t)）」を固定
して、Ｒ0(t), Ｒ1(t), Ｒ2(t)を求める。の３つのステ
ップを繰り返し行い、収束させることにする。

【００４０】また、上記式７を近似して次の式９とす
る。ここで、Ａ0j(t), Ａ1j(t), Ａ2j(t), Ａ3j(t)
は、上述の各ステップでデータを更新する前のデータを
使って次の式１０より求めた値とする。もし上記ステッ
プを繰り返すことにより（εi(t),δi(t)）→（０,０）
になれば、次の式９は上記式７と等価である。従って、
上記式７の代わりに次の式９を条件式として使うことで
問題は生じない。

【００４１】

【数９】

【００４２】

【数１０】

【００４３】以上の処理をまとめて、図１のフローチャ
ートに示す。

【００４４】最初に、図１のステップＳ１で、データを
入力する。つまり、時刻ｔにおいてｉ番目の特徴点が観
測値として確認できたかどうかを意味するＦi(t)を入力
する。そして、Ｆi(t)＝１である場合には、観測値（Ｕ
i(t),Ｖi(t)）も入力する。さらに、すべてのｉ、ｔに
おける「観測値の確からしさＣi(t)」も入力する。

【００４５】観測できなかった（Ｆi(t)＝０）というこ
とは、（Ｕi(t),Ｖi(t)）に適当な値をセットして、こ
の値には、かなりの誤差が含まれていると解釈できるの
で、Ｆi(t)＝０の場合、Ｃi(t)として、とても小さな値
（例えば、Ｆi(t)＝１のときのCi(t) の値に対してその
１/10000 程度の値）を入力しておく。これは、上述の
ステップＳＢ、ＳＣでの収束性を良くする効果がある。

【００４６】先ほども述べたが、少なくとも、時刻ｔ＝
０における０〜３番目の特徴点の投影位置は観測できた
とする。つまり、Ｆ0(0)＝１、Ｆ1(0)＝１、Ｆ2(0)＝
１、Ｆ3(0)＝１である。ステップＳ１での入力が終わる
と、ステップＳ２に進む。

【００４７】ステップＳ２では、適当な値を、Ｋij, Ｒ
0(t), Ｒ1(t), Ｒ2(t) にセットする。例えば、Ｋij＝
0.25、Ｒ0(t)＝０、Ｒ1(t)＝０、Ｒ2(t)＝０である。ま
た、上記長方形の例では、Ｋ04＝０であるので、０．２
５の代わりに、Ｋ04＝０、Ｋ14＝１、Ｋ12＝−１、Ｋ13
＝１としてもよい。ステップＳ２の処理が終わると、ス
テップＳ３に進む。

【００４８】ステップＳ３、Ｓ４では、上述のステップ
ＳＡの処理を行う。すなわち、ステップＳ３では、ステ
ップＳ１で入力された（Ｕ0(0),Ｖ0(0)）、（Ｕ1(0),Ｖ
1(0)）、（Ｕ2(0),Ｖ2(0)）、（Ｕ3(0),Ｖ3(0)）と、現
在のＫij, Ｒ0(t), Ｒ1(t),Ｒ2(t)より、上記式１０で
定義したＡ0j(t), Ａ1j(t), Ａ2j(t), Ａ3j(t) を求め
る。そして、ステップＳ４に進む。ステップＳ４では、
ステップＳ３で求めたＡ0j(t), Ａ1j(t), Ａ2j(t), Ａ3
j(t)を使い、上記式９の条件下で式８を最小とする「Ｆ
i(t)＝０である（Ｕi(t),Ｖi(t)）」を求める。ステッ
プＳ４の処理の後、ステップＳ５に進む。

【００４９】ステップＳ５、Ｓ６では、上述のステップ
ＳＢの処理を行う。すなわち、ステップＳ５では、ステ
ップＳ１で入力された（Ｕ0(0),Ｖ0(0)）、（Ｕ1(0),Ｖ
1(0)）、（Ｕ2(0),Ｖ2(0)）、（Ｕ3(0),Ｖ3(0)）と、現
在のＫij, Ｒ0(t), Ｒ1(t),Ｒ2(t)より、上記式１０で
定義したＡ0j(t), Ａ1j(t), Ａ2j(t), Ａ3j(t) を求め
る。そして、ステップＳ６に進む。ステップＳ６では、
ステップＳ５で求めたＡ0j(t), Ａ1j(t), Ａ2j(t), Ａ3
j(t)を使い、上記式９の条件下で上記式８を最小とする
Ｋijを求める。ちなみに、Ａ0j(t), Ａ1j(t), Ａ2j(t),
Ａ3j(t) は、直前のステップＳ３での値と同じであ
り、ステップＳ５で再計算せずに、ステップＳ３での値
をそのまま使用してもよい。また、上記長方形の例で
は、Ｋ04＝０であるので、ステップＳ６での処理は、
「上記式９を満たし、かつ、K04=０であるという条件下
で上記式８を最小とするＫij（ただし、Ｋ04は除く）を
求める。」という処理になる。ステップＳ６の処理の
後、ステップＳ７に進む。

【００５０】ステップＳ７、Ｓ８では、上述のステップ
ＳＣの処理を行う。すなわち、ステップＳ７では、ステ
ップＳ１で入力された（Ｕ0(0),Ｖ0(0)）、（Ｕ1(0),Ｖ
1(0)）、（Ｕ2(0),Ｖ2(0)）、（Ｕ3(0),Ｖ3(0)）と、現
在のＫij, Ｒ0(t), Ｒ1(t),Ｒ2(t)より、式１０で定義
したＡ0j(t), Ａ1j(t), Ａ2j(t), Ａ3j(t) を求める。
そして、ステップＳ８に進む。ステップＳ８では、ステ
ップＳ７で求めたＡ0j(t), Ａ1j(t), Ａ2j(t), Ａ3j(t)
を使い、上記式９の条件下で上記式８を最小とするＲ0
(t), Ｒ1(t), Ｒ2(t)を求める。ステップＳ８で求める
Ｒ0(t), Ｒ1(t),Ｒ2(t) は、ｔ＝１〜Ｔ−1である。ｔ
＝０のときの値は、前述した通りＲ0(0)＝０、Ｒ1(0)＝
０、Ｒ2(0)＝０で固定しておく。ステップＳ８の処理の
後、ステップＳ９に進む。

【００５１】ステップＳ３からステップＳ８までの一連
の処理は、繰り返し実行されるが、繰り返し処理された
回数（ループ回数）が所定の回数を超えたか、あるい
は、ステップＳ４、Ｓ６、Ｓ８において式８を最小とす
るようにデータ更新が行われるが、その際に計算される
上記式８の値（すなわち、誤差）が所定の範囲内に収ま
っているかを、ステップＳ９で判断し、真（ＹＥＳ）で
あれば、ステップＳ１０に進む。偽（ＮＯ）であれば、
ステップＳ３に進み、再度ステップＳ３からステップＳ
８までの一連の処理を行う。

【００５２】ステップＳ１０に、処理が進んで来たとき
には、十分な精度のＫij, Ｒ0(t),Ｒ1(t), Ｒ2(t) 及
び、「Ｆi(t)＝０である（Ｕi(t),Ｖi(t)）」が求めら
れていることになる。この時点で、既に最終的に求めた
い「Ｆi(t)＝０である（Ｕi(t),Ｖi(t)）」は求められ
ているが、さらに、観測できた（Ｕi(t),Ｖi(t)）（す
なわちＦi(t)＝１である（Ｕi(t),Ｖi(t)））も含め
て、誤差補正を行う。すなわち、さらに、ステップＳ１
０、Ｓ１１で、求められたＫij, Ｒ0(t), Ｒ1(t), Ｒ2
(t) 及び（Ｕi(t),Ｖi(t)）を用いて、（Ｕi(t),Ｖi
(t)）の推定値（Ｕi(t)＋εi(t),Ｖi(t)＋δi(t)）を求
めることを行う。

【００５３】ステップＳ１０では、Ｒ0(0)＝０、Ｒ1(0)
＝０、Ｒ2(0)＝０であることより、次の式１１を満たす
条件下で次の式１２を最小とする（εi(0),δi(0)）を
求める。つまり、ステップＳ１０では、ｔ＝０における
推定値（Ｕi(0)＋εi(0),Ｖi(0)＋δi(0)）を求める。
そして、ステップＳ１１に進む。

【００５４】

【数１１】

【００５５】

【数１２】

【００５６】ステップＳ１１では、ｔ＝０以外の各時刻
ｔ（ｔ＝１〜Ｔ−１）における推定値（Ｕi(t)＋εi
(t),Ｖi(t)＋δi(t)）を求める。すなわち、ステップＳ
９までに求めたＫij, Ｒ0(t), Ｒ1(t), Ｒ2(t)と、ステ
ップＳ１０で求めたｔ＝０における推定値（Ｕi(0)＋ε
i(0),Ｖi(0)＋δi(0)）を使い、次の式１３を満たす条
件下で次の式１４を最小とする（εi(t),δi(t)）を求
める。つまり、ステップＳ１１では、ｔ＝１〜Ｔ−１に
おける推定値（Ｕi(t)＋εi(t),Ｖi(t)＋δi(t)）を求
める。

【００５７】

【数１３】

【００５８】

【数１４】

【００５９】このようにして、ステップＳ１１までに求
められたＫij, Ｒ0(t), Ｒ1(t), Ｒ2(t) 及び（Ｕi(t)
＋εi(t),Ｖi(t)＋δi(t)）は、式１５を満たすもので
ある。

【００６０】

【数１５】

【００６１】なお、ステップＳ４、Ｓ６、Ｓ８、Ｓ１
０、Ｓ１１で求める最適解は、いずれもラグランジュの
未定乗数法（Lagrange’s Method of Indeterminate Mu
ltiplier）により求めることができる。

【００６２】ステップＳ１１終了後、ステップＳ１２に
進む。ステップＳ１２では、（Ｕi(t)＋εi(t),Ｖi(t)
＋δi(t)）を出力して、この一連の処理を終わる。

【００６３】上記本発明の実施の形態では、特に、長方
形の物体を撮影して、それら４つの角をトラックする場
合について詳しく述べたが、本発明は、長方形の４頂点
の場合に限定されるわけではなく、その形状にとらわれ
ず広く一般的に使用することができることは言うまでも
ない。

【００６４】なお、本発明は、例えば、図２に示す装置
により実施される。図２において、演算装置１０は、演
算処理回路１１と、この演算処理回路１１の処理プログ
ラムが格納されたプログラムメモリ１２と、処理データ
（オリジナル動画像と特徴点の画像上での投影位置の情
報）を格納するデータメモリ１３と、データをユーザー
に表示するための表示装置１４と、マウスやキーボード
等から成る入力装置１５と、各回路を接続してプログラ
ムやデータを伝送するバス１６とを備えている。

【００６５】データメモリ１３に格納されている画像デ
ータ及び入力装置１５により入力されるデータを使用し
て、演算処理回路１１で、図１に示すフローチャートの
一連の処理が行われる。

【００６６】上記プログラムメモリ１２には、上述した
ような演算方法の各手順を実行するためのプログラムが
記憶される。また、このプログラムが記録されたＣＤ−
ＲＯＭ等の光ディスク、磁気ディスク、磁気テープ、半
導体メモリ等の記録媒体を提供することもできる。

【００６７】次に、本発明に係る演算方法として、さら
に、以下に述べるような例も挙げられる。以下に示す例
は、前述した本発明の第１の実施の形態をさらに改良し
た第２の実施の形態である。

【００６８】例えば、図３に示す場合を考えてみよう。
図３は、長方形の物体を撮影したオリジナル動画像の中
の時刻ｔにおける画像を示している。長方形の投影像
（図中の２０）は、別の物体の投影像（２３）により隠
されて全体が投影されてはいない。２つの角の投影像は
画像中に写っているので、これらは自動でトラックする
ことができる。つまり、（Ｕ1(t),Ｖ1(t)）、（Ｕ2(t),
Ｖ2(t)）は確定される（図中の点２１、２２）。一方、
残りの２つの角は、別の物体の投影像（２３）により隠
れて見えない。しかしながら、長方形のエッジ（辺）の
方向より、少なくとも、１つの隠れた頂点の投影像は、
図中の直線２４上にあると言える。そして、もう１つの
隠れた頂点の投影像は、図中の直線２５上にあると言え
る。

【００６９】エッジをトラックする方法は従来から知ら
れているので、その方法を用いて、エッジをトラックす
ることは可能である。従って、ある特徴点の位置を知る
ことはできなくても、「ある特徴点は特定の直線上のど
こかにある」という情報を得ることは可能である。そこ
で、本発明の第２の実施の形態では、この情報も入力デ
ータとして使用することで、より精度の良い解を求める
ことができる。

【００７０】このような本発明の第２の実施の形態につ
いて、以下に説明する。上記第１の実施の形態では、各
観測値の誤差は、Ｕ軸方向、Ｖ軸方向ともに、Ｃi(t)
の重みで均等であった。これを、第２の実施の形態にお
いては、可変とする。

【００７１】各時刻ｔにおける各特徴点ｉの投影像（Ｕ
i(t),Ｖi(t)）のデータが入力されるが、この入力デー
タを３つの場合に分ける。すなわち、 ・場合Ｃ１：特徴点の投影像位置として確定された値が
入力される。 ・場合Ｃ２：特徴点の投影像位置が不明であり、入力さ
れない。つまり、不定として入力される。 ・場合Ｃ３：特徴点の投影像位置が、Ｖi(t) ＝ tan(θ
i(t)) Ｕi(t) ＋ αi(t)という直線上にあるという情報
だけが入力される。 の３つの場合に分ける。

【００７２】場合Ｃ１、Ｃ２、Ｃ３を区別するために、
変数Ｆi(t) を導入する。場合Ｃ１を表わすのにＦi(t)
＝１、場合Ｃ２を表わすのにＦi(t)＝０、場合Ｃ３を表
わすのにＦi(t)＝２とする。

【００７３】誤差関数である上記式８の代わりに、誤差
関数として次の式１６を導入し、上記条件式９の代わり
に、次の条件式１７を導入する。

【００７４】

【数１６】

【００７５】

【数１７】

【００７６】ここで、例えば、Ｆi(t)＝１の場合は、Ｃ
0i(t)＝１、C1i(t)＝１、θi(t)＝任意の値（たとえば
０）である。Ｆi(t)＝０の場合は、Ｃ0i(t)＝０．００
０１、C1i(t)＝０．０００１、θi(t)＝任意の値（たと
えば０）である。Ｆi(t)＝２の場合は、Ｃ0i(t)＝０．
０００１、C1i(t)＝１、θi(t)＝「入力されたθi(t)」
である。また、式中のεi(t)、δi(t)は、入力された測
定値の誤差を表わしているが、第１の実施の形態とは違
い、Ｕ軸方向と角度θi(t)を成す方向の誤差をεi(t)、
それと直交する方向の誤差をδi(t)としている。

【００７７】Ｆi(t)＝２の場合について説明すると、Ｃ
0i(t)＝０．０００１、C1i(t)＝１なので、式１６から
分かるように、Ｕ軸方向と角度θi(t)を成す方向の誤差
εi(t)は、それと直交する方向の誤差δi(t)よりも１０
０００倍程度大きな誤差を含んでいると設定したことに
なる。まさに、これは、上記場合Ｃ３（特徴点の位置
が、Ｖi(t) ＝ tan(θi(t)) Ｕi(t) ＋ αi(t) という
直線上にある。）ということと同じである。

【００７８】Ｆi(t)＝１とＦi(t)＝０の場合は、上記式
１６、１７は、上記第１の実施の形態で述べた上記式
８、９と同値であり、説明を省略する。

【００７９】このように、第２の実施の形態では、上記
式１７を満たすという条件下で上記式１６を最小とする
変数を求めていくので、特定の方向（Ｕ軸方向と角度θ
i(t)を成す方向）には誤差が大きい可能性があるという
条件で測定誤差を最小とする変数を求めて進むことがで
きる。

【００８０】以上の処理をまとめて、図４のフローチャ
ートに示す。この図４のフローチャートの各処理は、基
本的には上記図１と同様な処理である。

【００８１】最初に、図４のステップＳ２１で、データ
を入力する。つまり、時刻ｔにおいてｉ番目の特徴点が
観測値として確認できたかどうかを意味するＦi(t)を入
力する。そして、Ｆi(t)＝１である場合には、観測値
（Ｕi(t),Ｖi(t)）も入力する。Ｆi(t)＝２である場合
には、直線を表わす変数θi(t)とαi(t)を入力する。さ
らに、すべてのｉ、ｔにおける「観測値の確からしさＣ
0i(t)、Ｃ1i(t)」も入力する。Ｃ0i(t)、C1i(t) は、上
述した値を入力すればよい。もちろん、他と比べてより
曖昧性の残るデータである場合には、Ｃ0i(t)、C1i(t)
は上述した値より小さい値に、より確実な場合には、Ｃ
0i(t)、C1i(t)は上述した値より大きい値にするとよ
い。

【００８２】ステップＳ２２では、上記図１のステップ
Ｓ２と同様に、適当な値を、Ｋij,Ｒ0(t), Ｒ1(t), Ｒ2
(t) にセットする。例えば、Ｋij＝0.25、Ｒ0(t)＝０、
Ｒ1(t)＝０、Ｒ2(t)＝０である。ステップＳ２２の処理
が終わると、ステップＳ２３に進む。

【００８３】ステップＳ２３、Ｓ２４では、上記図１の
ステップＳ３、Ｓ４と同様の処理を行う。すなわち、ス
テップＳ２３では、ステップＳ２１で入力された（Ｕ0
(0),Ｖ0(0)）、（Ｕ1(0),Ｖ1(0)）、（Ｕ2(0),Ｖ2
(0)）、（Ｕ3(0),Ｖ3(0)）と、現在のＫij, Ｒ0(t), Ｒ
1(t), Ｒ2(t)より、上記式１０で定義したＡ0j(t), Ａ1
j(t), Ａ2j(t), Ａ3j(t) を求め、ステップＳ２４に進
む。ステップＳ２４では、ステップＳ２３で求めたＡ0j
(t), Ａ1j(t), Ａ2j(t), Ａ3j(t)を使い、上記式１７の
条件下で上記式１６を最小とする「Ｆi(t)＝０あるいは
２である（Ｕi(t),Ｖi(t)）」を求める。ステップＳ２
４の処理の後、ステップＳ２５に進む。

【００８４】ステップＳ２５では、上記第１の実施の形
態では行わなかった事を行う。ステップＳ２４で求めた
結果のうち、Ｆi(t)＝２である（Ｕi(t),Ｖi(t)）は、
直線Ｖi(t) ＝ tan(θi(t)) Ｕi(t) ＋ αi(t) 上にあ
るとは限らない。そこで、ステップＳ２４で求められた
「Ｆi(t)＝２である（Ｕi(t),Ｖi(t)）」は、この（Ｕi
(t),Ｖi(t)）という位置に一番近い直線 Ｖi(t) ＝ tan
(θi(t)) Ｕi(t) ＋αi(t) 上の点に移動させ、移動後
の点を新たに（Ｕi(t),Ｖi(t)）とする。これがステッ
プＳ２５の処理である。ステップＳ２５の処理の後、ス
テップＳ２６に進む。

【００８５】ステップＳ２６、Ｓ２７、Ｓ２８、Ｓ２９
では、上記図１のステップＳ５、Ｓ６、Ｓ７、Ｓ８と同
様の処理を行う。上記式９の条件下で上記式８を最小と
するのではなく、上記式１７の条件下で上記式１６を最
小とするように変数を求める点だけが違うだけであり、
その説明を省略する。ステップＳ２９の処理の後、ステ
ップＳ３０に進む。

【００８６】ステップＳ２３からステップＳ２９までの
一連の処理は、繰り返し処理されるが、繰り返し処理さ
れた回数（ループ回数）が所定の回数を超えたか、ある
いは、誤差が所定の範囲内に収まっているかを、ステッ
プＳ３０で判断し、真であれば、ステップＳ３１に進
む。偽であれば、ステップＳ２３に進み、再度ステップ
Ｓ２３からステップＳ２９までの一連の処理を行う。

【００８７】ステップＳ３１に、処理が進んで来たとき
には、十分な精度のＫij, Ｒ0(t),Ｒ1(t), Ｒ2(t) 及
び、「Ｆi(t)＝０である（Ｕi(t),Ｖi(t)）」、「Ｆi
(t)＝２である（Ｕi(t),Ｖi(t)）」が求められているこ
とになる。この時点で、既に最終的に求めたい「Ｆi(t)
＝０である（Ｕi(t),Ｖi(t)）」、「Ｆi(t)＝２である
（Ｕi(t),Ｖi(t)）」は求められているが、さらに、観
測できた（Ｕi(t),Ｖi(t)）（つまり、Ｆi(t)＝１であ
る（Ｕi(t),Ｖi(t)））も含めて、誤差補正を行う。す
なわち、ステップＳ３１では、求められたＫij, Ｒ0
(t), Ｒ1(t), Ｒ2(t)及び（Ｕi(t),Ｖi(t)）を用いて、
さらに、（Ｕi(t),Ｖi(t)）の推定値（Ｕi(t)＋εi(t),
Ｖi(t)＋δi(t)）を求めることを行う。この方法は、ス
テップＳ１０、Ｓ１１と同じであり、その説明を省略す
る。

【００８８】ステップＳ３１の処理の終了後、ステップ
Ｓ３２に進む。ステップＳ３２では、（Ｕi(t)＋εi
(t),Ｖi(t)＋δi(t)）を出力して、この一連の処理を終
わる。

【００８９】以上説明した本発明の第２の実施の形態に
ついても、上述したような図２の演算装置に適用するこ
とができる。すなわち、上記図２の演算装置のプログラ
ムメモリ１２に、上述した図４に示すフローチャートの
各手順を実行するためのプログラムを記憶させればよ
い。また、このプログラムが記録されたＣＤ−ＲＯＭ等
の光ディスク、磁気ディスク、磁気テープ、半導体メモ
リ等の記録媒体を提供することもできる。

【００９０】このように、本発明を適用すれば、撮影さ
れた動画像をトラック（軌跡追跡）している際に、特徴
点が物体の蔭に隠れる等によりトラックできなかった場
合でも、自動でトラックすることが可能となる。

【００９１】なお、本発明は上記実施の形態のみに限定
されるものではなく、例えば、上記実施の形態では、長
方形の物体を撮影して、それら４つの角をトラックする
場合の例について説明したが、本発明は、長方形の４頂
点の場合に限定されるものではなく、任意の形状が使用
できることは勿論である。この他、本発明の要旨を逸脱
しない範囲で種々の変更が可能である。

【００９２】

【発明の効果】以上の説明から明らかなように、本発明
によれば、複数の画像に撮影された物体の第１群の特徴
点の投影位置の情報である第１の位置情報を入力とし
て、残りの第２群の特徴点の投影位置の情報である第２
の位置情報を求める際に、上記第１群の特徴点の位置の
重み付き平均で表現した際の該重みに関連する第１のパ
ラメータと、上記第１群の特徴点の投影位置及び特定の
時刻と注目している時刻における上記画像を撮影した撮
像装置の位置、向き、焦点距離に関連する第２のパラメ
ータとを未知変数として、上記未知変数と上記第１群及
び第２群の特徴点の上記画像上での投影像位置との関係
式より、上記第２の位置情報と上記未知変数とを求め、
求められた上記第２の位置情報を出力することにより、
特徴点が物体の蔭に隠れる等によりトラックできなかっ
た場合でも、自動でトラック（軌跡追跡）することがで
きる。

【図面の簡単な説明】

【図１】本発明に係る演算方法の第１の実施の形態の動
作を説明するためのフローチャートである。

【図２】本発明に係る画像処理装置の実施の形態の概略
的な構成例を示すブロック回路図である。

【図３】本発明に係る演算方法の第２の実施の形態を説
明するための画像の例を示す図である。

【図４】本発明に係る演算方法の第２の実施の形態の動
作を説明するためのフローチャートである。

【符号の説明】

１０ 演算装置、 １１ 演算処理回路、 １２ プロ
グラムメモリ、 １３データメモリ、 １４ 表示装
置、 １５ 入力装置、 １６ バス

Claims (8)

【特許請求の範囲】
1. 【請求項１】 複数の画像に撮影された物体の第１群の
   特徴点の投影位置の情報である第１の位置情報を入力と
   して、残りの第２群の特徴点の投影位置の情報である第
   ２の位置情報を求める演算方法において、 上記第１群の特徴点の位置の重み付き平均で表現した際
   の該重みに関連する第１のパラメータと、上記第１群の
   特徴点の投影位置及び特定の時刻と注目している時刻に
   おける上記画像を撮影した撮像装置の位置、向き、焦点
   距離に関連する第２のパラメータとを未知変数として、
   上記未知変数と上記第１群及び第２群の特徴点の上記画
   像上での投影像位置との関係式より、上記第２の位置情
   報と上記未知変数とを求める計算ステップを有し、 上記計算ステップで求められた上記第２の位置情報を出
   力することを特徴とする演算方法。
2. 【請求項２】 上記計算ステップでは、上記未知変数と
   上記第１及び第２の特徴点の上記画像上での投影像位置
   との関係式を誤差を考慮して満たすという条件下での誤
   差評価関数を最小とするようにして、上記第２の位置情
   報と上記未知変数を求めることが行われ、さらに、上記
   第１の位置情報に関する誤差よりも上記第２の位置情報
   に関する誤差に関しては重みを軽くして、上記誤差評価
   関数内で評価されていることを特徴とする請求項１記載
   の演算方法。
3. 【請求項３】 複数の画像に撮影された物体の第１群の
   特徴点の投影位置の情報である第１の位置情報を入力と
   して、残りの第２群の特徴点の投影位置の情報である第
   ２の位置情報を求める演算装置において、 上記第１群の特徴点の位置の重み付き平均で表現した際
   の該重みに関連する第１のパラメータと、上記第１群の
   特徴点の投影位置及び特定の時刻と注目している時刻に
   おける上記画像を撮影した撮像装置の位置、向き、焦点
   距離に関連する第２のパラメータとを未知変数として、
   上記未知変数と上記第１群及び第２群の特徴点の上記画
   像上での投影像位置との関係式より、上記第２の位置情
   報と上記未知変数とを求める計算回路を有し、 上記計算回路で求められた上記第２の位置情報を出力す
   ることを特徴とする演算装置。
4. 【請求項４】 上記計算回路では、上記未知変数と上記
   第１及び第２の特徴点の上記画像上での投影像位置との
   関係式を誤差を考慮して満たすという条件下での誤差評
   価関数を最小とするようにして、上記第２の位置情報と
   上記未知変数を求めることが行われ、さらに、上記第１
   の位置情報に関する誤差よりも上記第２の位置情報に関
   する誤差に関しては重みを軽くして、上記誤差評価関数
   内で評価されていることを特徴とする請求項３記載の演
   算装置。
5. 【請求項５】 複数の画像に撮影された物体の第１群の
   特徴点の投影位置の情報である第１の位置情報を入力と
   して、残りの第２群の特徴点の投影位置の情報である第
   ２の位置情報を演算装置により求めるためのプログラム
   において、 上記第１群の特徴点の位置の重み付き平均で表現した際
   の該重みに関連する第１のパラメータと、上記第１群の
   特徴点の投影位置及び特定の時刻と注目している時刻に
   おける上記画像を撮影した撮像装置の位置、向き、焦点
   距離に関連する第２のパラメータとを未知変数として、
   上記未知変数と上記第１群及び第２群の特徴点の上記画
   像上での投影像位置との関係式より、上記第２の位置情
   報と上記未知変数とを求める計算ステップを上記演算装
   置に実行させること特徴とするプログラム。
6. 【請求項６】 上記計算ステップでは、上記未知変数と
   上記第１及び第２の特徴点の上記画像上での投影像位置
   との関係式を誤差を考慮して満たすという条件下での誤
   差評価関数を最小とするようにして、上記第２の位置情
   報と上記未知変数を求めることが行われ、さらに、上記
   第１の位置情報に関する誤差よりも上記第２の位置情報
   に関する誤差に関しては重みを軽くして、上記誤差評価
   関数内で評価されていることを特徴とする請求項５記載
   のプログラム。
7. 【請求項７】 複数の画像に撮影された物体の第１群の
   特徴点の投影位置の情報である第１の位置情報を入力と
   して、残りの第２群の特徴点の投影位置の情報である第
   ２の位置情報を演算装置により求めるためのプログラム
   が記録されたコンピュータ読み取り可能な記録媒体にお
   いて、 上記第１群の特徴点の位置の重み付き平均で表現した際
   の該重みに関連する第１のパラメータと、上記第１群の
   特徴点の投影位置及び特定の時刻と注目している時刻に
   おける上記画像を撮影した撮像装置の位置、向き、焦点
   距離に関連する第２のパラメータとを未知変数として、
   上記未知変数と上記第１群及び第２群の特徴点の上記画
   像上での投影像位置との関係式より、上記第２の位置情
   報と上記未知変数とを求める計算ステップを上記演算装
   置に実行させること特徴とするコンピュータ読み取り可
   能な記録媒体。
8. 【請求項８】 上記計算ステップでは、上記未知変数と
   上記第１及び第２の特徴点の上記画像上での投影像位置
   との関係式を誤差を考慮して満たすという条件下での誤
   差評価関数を最小とするようにして、上記第２の位置情
   報と上記未知変数を求めることが行われ、さらに、上記
   第１の位置情報に関する誤差よりも上記第２の位置情報
   に関する誤差に関しては重みを軽くして、上記誤差評価
   関数内で評価されていることを特徴とする請求項７記載
   の記録媒体。