JP6627450B2 - Feature point tracking device, feature point tracking method and program - Google Patents
Feature point tracking device, feature point tracking method and program Download PDFInfo
- Publication number
- JP6627450B2 JP6627450B2 JP2015227969A JP2015227969A JP6627450B2 JP 6627450 B2 JP6627450 B2 JP 6627450B2 JP 2015227969 A JP2015227969 A JP 2015227969A JP 2015227969 A JP2015227969 A JP 2015227969A JP 6627450 B2 JP6627450 B2 JP 6627450B2
- Authority
- JP
- Japan
- Prior art keywords
- point
- tracking
- candidate
- condition
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、特徴点追跡装置、特徴点追跡方法及びプログラムに関する。 The present invention relates to a feature point tracking device, a feature point tracking method, and a program.
動画中の特徴点を時間的に追跡する技術が知られている。例えば、特許文献1は、ビデオ画像中の特徴点を追跡することにより移動物体を追跡する画像処理装置を開示している。 A technique for temporally tracking feature points in a moving image is known. For example, Patent Literature 1 discloses an image processing apparatus that tracks a moving object by tracking feature points in a video image.
特許文献1に開示された画像処理装置は、特徴点を追跡している際、真正な追跡点ではない点を追跡点として誤認識してしまう場合がある。このような場合、特許文献1に開示された画像処理装置は、真正な追跡点ではないにも関わらず追跡点として誤認識した点を採用してしまうことも、この点に基づいて特徴点の追跡を続行することにより特徴点を不正確に追跡してしまうことも、防げなかった。 When the image processing apparatus disclosed in Patent Document 1 tracks a feature point, a point that is not a true tracking point may be erroneously recognized as a tracking point. In such a case, the image processing apparatus disclosed in Patent Literature 1 may employ a point that is incorrectly recognized as a tracking point although the tracking point is not a true tracking point. Incorrect tracking of feature points by continuing tracking could not be prevented.
本発明は、上記事情に鑑みてなされたものであり、追跡点の誤認識に対して頑健な特徴点追跡を行う特徴点追跡装置、特徴点追跡方法及びプログラムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a feature point tracking device, a feature point tracking method, and a program that perform feature point tracking robust against erroneous recognition of tracking points.
上記目的を達成するため、本発明に係る特徴点追跡装置は、
連続する複数の画像のうち一の画像から特徴点を抽出する抽出手段と、
前記複数の画像のうち前記一の画像よりも撮像時刻が新しい、又は古い他の画像を指定する指定手段と、
前記他の画像における前記特徴点の追跡点の候補である候補点の座標を、SAD(Sum of Absolute Difference)の評価に基づいたブロックマッチング法を用いて算出する追跡手段と、
前記候補点の座標を算出した際に取得したSADの最小値が所定の複数の条件の何れにも該当しないことである第1条件と、前記候補点の座標が所定の式を満たすことである第2条件と、を満たすか否かを判定する判定手段と、
前記判定手段による判定の結果に基づいて、前記候補点を前記特徴点の追跡点として採用するか否かを決定する決定手段と、
前記決定手段が前記候補点を前記特徴点の追跡点として採用すると決定した場合に、前記候補点を前記連続する複数の画像中の前記特徴点の軌跡である特徴点軌道の構成点として取得すると共に、前記複数の画像のうち前記指定手段が指定する画像を変えて、前記追跡手段、前記判定手段及び前記決定手段の処理を繰り返すことにより、前記特徴点軌道を構築する構築手段と、を備え、
前記追跡手段は、前記候補点が前記第1条件を満たすものの前記第2条件を満たさないと前記判定手段が判定した場合、前記一の画像と前記他の画像との何れよりも撮像時刻の新しい、又は古いさらに他の画像における前記特徴点の追跡点の候補である他の候補点の座標を算出し、
前記判定手段は、前記他の候補点が前記第1条件と前記第2条件とを満たすか否かを判定し、
前記決定手段は、前記判定手段による判定の結果に基づいて、前記他の候補点を前記特徴点の追跡点として採用するか否かを決定し、
前記構築手段は、前記決定手段が前記他の候補点を前記特徴点の追跡点として採用すると決定した場合に、前記他の候補点を前記特徴点軌道の構成点として取得することを特徴とする。
In order to achieve the above object, a feature point tracking device according to the present invention includes:
Extracting means for extracting feature points from one image of a plurality of continuous images,
Designation means for designating another image whose imaging time is newer or older than the one image of the plurality of images,
Tracking means for calculating the coordinates of a candidate point which is a candidate for the tracking point of the feature point in the other image using a block matching method based on the evaluation of SAD (Sum of Absolute Difference) ;
A first condition that the minimum value of the SAD obtained when calculating the coordinates of the candidate point does not correspond to any of the predetermined conditions, and that the coordinates of the candidate point satisfy a predetermined expression. A second condition, and a determination means for determining whether or not the second condition is satisfied;
Determining means for determining whether to adopt the candidate point as a tracking point of the feature point, based on a result of the determination by the determining means;
When the determining unit determines that the candidate point is adopted as the tracking point of the feature point, the candidate point is acquired as a constituent point of a feature point trajectory that is a trajectory of the feature point in the plurality of continuous images. Constructing means for constructing the feature point trajectory by changing the image designated by the designation means among the plurality of images and repeating the processing of the tracking means, the determination means and the determination means. ,
The tracking unit, when the determination unit determines that the candidate point satisfies the first condition but does not satisfy the second condition, has a newer imaging time than any of the one image and the other image. , Or calculate the coordinates of another candidate point that is a candidate for the tracking point of the feature point in still another image,
The determination means determines whether the other candidate point satisfies the first condition and the second condition,
The determining unit determines whether to adopt the other candidate point as a tracking point of the feature point based on a result of the determination by the determining unit,
The construction means acquires the other candidate point as a constituent point of the feature point trajectory when the decision means decides to adopt the another candidate point as a tracking point of the feature point. .
本発明によれば、追跡点の誤認識に対して頑健な特徴点追跡を行う特徴点追跡装置、特徴点追跡方法及びプログラムを提供できる。 According to the present invention, it is possible to provide a feature point tracking device, a feature point tracking method, and a program that perform feature point tracking robust against erroneous recognition of tracking points.
以下、本発明の実施形態に係る特徴点追跡装置の機能及び動作を、図面を参照しながら詳細に説明する。図中、互いに同一又は同等の部分に同一の符号を付す。 Hereinafter, functions and operations of the feature point tracking device according to the embodiment of the present invention will be described in detail with reference to the drawings. In the drawings, the same or equivalent parts are denoted by the same reference numerals.
特徴点追跡装置は、連続する複数の画像中の特徴点を時間的に追跡し、連続する複数の画像中のこの特徴点の軌跡である特徴点軌道を構築する。この連続する複数の画像は、時間的に連続した複数の画像であり、以下、動画と称する。特徴点の定義は、ユーザの必要に応じて、任意に設定できる。本実施形態において、特徴点は、動画を構成する画像が含む画素のうち、その画素の輝度値と周囲の画素の輝度値との差が所定の閾値以上の画素である。 The feature point tracking device temporally tracks feature points in a plurality of continuous images, and constructs a feature point trajectory that is a trajectory of the feature points in a plurality of continuous images. The continuous plural images are temporally continuous plural images, and are hereinafter referred to as moving images. The definition of the feature points can be set arbitrarily as required by the user. In the present embodiment, the feature point is a pixel of which the difference between the luminance value of the pixel and the luminance value of the surrounding pixels is a predetermined threshold or more among the pixels included in the image forming the moving image.
特徴点追跡装置1は、図1に示すように、CPU(Central Processing Unit)10と、記憶部20と、入力部30と、出力部40と、外部インタフェース50と、を備えている。 The feature point tracking device 1 includes a CPU (Central Processing Unit) 10, a storage unit 20, an input unit 30, an output unit 40, and an external interface 50, as shown in FIG.
CPU10は、記憶部20に記憶された各種プログラムを実行する。具体的に、CPU10は、記憶部20に記憶された制御プログラムを実行することにより、特徴点追跡装置1全体を制御する。また、CPU10は、記憶部20に記憶された特徴点追跡プログラムを実行することにより、後述する抽出部100、指定部110、追跡部120、判定部130、決定部140及び構築部150の機能を実現する。 The CPU 10 executes various programs stored in the storage unit 20. Specifically, the CPU 10 controls the entire feature point tracking device 1 by executing a control program stored in the storage unit 20. Further, the CPU 10 executes the feature point tracking program stored in the storage unit 20 to execute the functions of the extraction unit 100, the designation unit 110, the tracking unit 120, the determination unit 130, the determination unit 140, and the construction unit 150, which will be described later. Realize.
記憶部20は、ROM(Read-Only Memory)及び不揮発性メモリ(例えば、フラッシュメモリ)を備え、各種データ及び各種プログラムを記憶する。具体的に、本実施形態において、記憶部20は、特徴点追跡装置1が図示しない外部装置から取得した動画を予め記憶している。また、記憶部20は、制御プログラム及び特徴点追跡プログラムを含む各種プログラムを記憶している。また、記憶部20は、RAM(Random Access Memory)を備え、CPU10のワークメモリとして機能する。 The storage unit 20 includes a ROM (Read-Only Memory) and a nonvolatile memory (for example, a flash memory), and stores various data and various programs. Specifically, in the present embodiment, the storage unit 20 stores in advance the moving image acquired by the feature point tracking device 1 from an external device (not shown). The storage unit 20 stores various programs including a control program and a feature point tracking program. The storage unit 20 includes a random access memory (RAM) and functions as a work memory of the CPU 10.
入力部30は、ユーザの操作に従って入力を受け付ける。入力部30は、受け付けた入力をCPU10へ供給する。 The input unit 30 receives an input according to a user operation. The input unit 30 supplies the received input to the CPU 10.
出力部40は、各種データを出力する。具体的に、出力部40は、ディスプレイを備え、記憶部20に記憶された動画及び特徴点追跡装置1が構築した特徴点軌道を示す画像を含む各種動画像を出力する。 The output unit 40 outputs various data. Specifically, the output unit 40 includes a display, and outputs various moving images including a moving image stored in the storage unit 20 and an image indicating the feature point trajectory constructed by the feature point tracking device 1.
外部インタフェース50は、図示しない外部装置との間でデータをやり取りする。例えば、外部インタフェース50は、外部装置から動画を取得する。 The external interface 50 exchanges data with an external device (not shown). For example, the external interface 50 acquires a moving image from an external device.
上記の物理的構成を有する特徴点追跡装置1は、機能的に、図2に示すように、抽出部100と、指定部110と、追跡部120と、判定部130と、決定部140と、構築部150と、を備えている。 As shown in FIG. 2, the feature point tracking device 1 having the above-described physical configuration functionally includes an extraction unit 100, a designation unit 110, a tracking unit 120, a determination unit 130, a determination unit 140, And a construction unit 150.
抽出部100は、動画を構成する複数の画像のうちCPU10が指定した第nフレームの画像から追跡対象となる特徴点Pnを抽出する。第nフレームの画像は、請求項中の「一の画像」に相当する。特徴点Pnは、請求項中の「抽出手段」が抽出する「特徴点」に相当する。抽出部100は、任意の公知技術を用いて画像から特徴点Pnを抽出すればよい。特徴点Pnの抽出に利用可能な公知技術の例としては、Harris/Plessey法、KLT法、Hessian法等が挙げられる。 The extraction unit 100 extracts a feature point Pn to be tracked from the image of the n-th frame specified by the CPU 10 among a plurality of images constituting a moving image. The image of the n-th frame corresponds to “one image” in the claims. The feature points Pn correspond to “feature points” extracted by “extraction means” in the claims. The extracting unit 100 may extract the feature point Pn from the image using any known technique. Examples of known techniques that can be used for extracting the feature point Pn include the Harris / Plessey method, the KLT method, and the Hessian method.
本実施形態において、抽出部100は、画像中の点のうち、この点の座標(x、y)が下記の式(1)を満たす点を特徴点として抽出する。式(1)中、Th1、Th2及びTh3は、何れも所定の閾値である。閾値Th1、Th2及びTh3は、実験等の任意の手法を用いて、適宜設定すればよい。本実施形態において、閾値Th3は、3に設定されている。式(1)中、λmaxとλminとは、点の座標(x、y)に対して式(2)を満たす行列の固有値λである。なお、λmaxは、λminより大きいものとする。式(2)を満たす行列の固有値λであるλmax及びλminは、式(3)で表される。式(2)、(3)中、Ixは、画像の輝度値のx軸方向における微分値を表す。Iyは、画像の輝度値のy軸方向における微分値を表す。wは、ガウス関数で表される重みを表す。Σは、座標(x、y)を中心とする所定範囲内で積算することを表す。 In the present embodiment, the extraction unit 100 extracts, as feature points, points in the image at which the coordinates (x, y) of the points satisfy the following expression (1). In Expression (1), Th1, Th2, and Th3 are all predetermined thresholds. The thresholds Th1, Th2, and Th3 may be set as appropriate using any method such as an experiment. In the present embodiment, the threshold Th3 is set to 3. In Expression (1), λmax and λmin are eigenvalues λ of a matrix that satisfies Expression (2) with respect to point coordinates (x, y). Note that λmax is larger than λmin. [Lambda] max and [lambda] min, which are eigenvalues [lambda] of the matrix satisfying equation (2), are represented by equation (3). In the expressions (2) and (3), Ix represents a differential value of the luminance value of the image in the x-axis direction. Iy represents a differential value of the luminance value of the image in the y-axis direction. w represents a weight represented by a Gaussian function. Σ indicates that integration is performed within a predetermined range around the coordinates (x, y).
指定部110は、動画を構成する複数の画像のうち、第nフレームの画像よりも撮像時刻が新しい第sフレームの画像を指定する。「第sフレームの画像」は、請求項中の「他の画像」に相当する。 The specifying unit 110 specifies an image of the s-th frame whose imaging time is newer than that of the image of the n-th frame among a plurality of images constituting the moving image. The “image of the s-th frame” corresponds to “another image” in the claims.
また、指定部110は、動画を構成する複数の画像のうち、第nフレームの画像と第sフレームの画像との何れよりも撮像時刻の新しい第tフレームの画像を指定する。「第tフレームの画像」は、請求項中の「さらに他の画像」に相当する。 Further, the specifying unit 110 specifies an image of the t-th frame whose imaging time is newer than any of the image of the n-th frame and the image of the s-th frame among the plurality of images constituting the moving image. The “image of the t-th frame” corresponds to “another image” in the claims.
本実施形態において、指定部110は、第nフレームの画像の次に撮像時刻が新しい画像、すなわち第nフレームの次のフレームの画像を、第sフレームの画像として指定する。また、指定部110は、第sフレームの画像の次に撮像時刻が新しい画像、すなわち第sフレームの次のフレームの画像を、第tフレームの画像として指定する。 In the present embodiment, the specifying unit 110 specifies an image whose imaging time is new after the image of the n-th frame, that is, an image of a frame next to the n-th frame as an image of the s-th frame. Further, the specifying unit 110 specifies an image whose imaging time is new after the image of the s-th frame, that is, an image of a frame next to the s-th frame as an image of the t-th frame.
追跡部120は、第sフレームの画像における特徴点Pnの追跡点の候補である候補点Qsの座標を算出する。「候補点Qs」は、請求項中の「候補点」に相当する。 The tracking unit 120 calculates the coordinates of a candidate point Qs that is a candidate for a tracking point of the feature point Pn in the image of the s-th frame. “Candidate point Qs” corresponds to “candidate point” in the claims.
また、追跡部120は、候補点Qsが、後述する第1条件を満たすものの後述する第2条件を満たさないと判定部130が判定した場合、第tフレームの画像における特徴点Pnの追跡点の候補である候補点Qtの座標を算出する。「候補点Qt」は、請求項中の「他の候補点」に相当する。 In addition, when the determination unit 130 determines that the candidate point Qs satisfies the first condition described later but does not satisfy the second condition described later, the tracking unit 120 determines the tracking point of the feature point Pn in the image of the t-th frame. The coordinates of the candidate point Qt that is a candidate are calculated. “Candidate point Qt” corresponds to “other candidate points” in the claims.
追跡部120は、任意の公知技術を用いて候補点Qs及び候補点Qtの座標を算出すればよい。本実施形態において、追跡部120は、公知技術である差分絶対値和(以下、SAD(Sum of Absolute Difference)と称する。)の評価に基づいたブロックマッチング法を用いて候補点の座標を算出する。以下、ある画像(以下、追跡元の画像と称する。)が含む点(以下、追跡対象の点と称する。)の別の画像(以下、追跡先の画像と称する。)における候補点の座標を、SADの評価に基づいたブロックマッチング法を用いて算出する方法を説明する。 The tracking unit 120 may calculate the coordinates of the candidate point Qs and the candidate point Qt using any known technique. In the present embodiment, the tracking unit 120 calculates the coordinates of the candidate point using a block matching method based on the evaluation of the sum of absolute differences (hereinafter, referred to as SAD (Sum of Absolute Difference)), which is a known technique. . Hereinafter, the coordinates of a candidate point in another image (hereinafter, referred to as a tracking destination image) of a point (hereinafter, referred to as a tracking target point) included in a certain image (hereinafter, referred to as a tracking source image). , A calculation method using a block matching method based on the evaluation of the SAD will be described.
まず、追跡元の画像から、追跡対象の点を中心とし、所定の形状及びサイズを有する画像領域を切り出す。以下、この画像領域をテンプレートと称する。次に、追跡先の画像において、テンプレートとの間の相違度が最も小さい画像領域を特定する。そして、特定した画像領域の中心の座標を、候補点の座標として算出する。なお、本実施形態において、追跡部120は、追跡先の画像中のテンプレートとの間の相違度が最も小さい画像領域を探索するための方法として、処理負荷を抑制しつつ広範囲において探索を行える、粗密探索法を用いる。粗密探索法は公知技術であるため、説明は省略する。 First, an image area having a predetermined shape and size is cut out from a tracking source image, centering on a point to be tracked. Hereinafter, this image area is referred to as a template. Next, in the image of the tracking destination, an image area having the smallest difference from the template is specified. Then, the coordinates of the center of the specified image area are calculated as the coordinates of the candidate point. Note that, in the present embodiment, the tracking unit 120 can perform a search over a wide range while suppressing the processing load, as a method for searching for an image area having the smallest difference from the template in the image of the tracking destination. A coarse-to-fine search method is used. Since the coarse / fine search method is a known technique, its description is omitted.
SADの評価に基づいたブロックマッチング法において、追跡先の画像が含む画像領域とテンプレートとの間の相違度は、下記の式(4)で表されるSADによって表される。式(4)で表されるSADの値が最も小さい画像領域が、テンプレートとの間の相違度が最も小さい画像領域である。式(4)中、I(x,y)は、追跡先の画像中の座標(x,y)における画素の輝度を表す。T(x,y)は、テンプレート中の座標(x,y)における画素の輝度を表す。Σは、テンプレートの全領域にわたって積算することを表す。 In the block matching method based on the evaluation of the SAD, the difference between the image area included in the image of the tracking destination and the template is represented by the SAD represented by the following equation (4). The image area with the smallest SAD value represented by equation (4) is the image area with the smallest difference from the template. In Expression (4), I (x, y) represents the luminance of a pixel at coordinates (x, y) in the image of the tracking destination. T (x, y) represents the luminance of the pixel at the coordinates (x, y) in the template. Σ represents integration over the entire area of the template.
判定部130は、候補点Qs又は候補点Qtが、第1条件と、第1条件とは異なる第2条件と、を満たすか否かを判定する。ユーザは、入力部30を介し、真正な追跡点を識別する上で有効な、互いに異なる任意の2つの条件を、第1条件及び第2条件としてそれぞれ設定できる。 The determining unit 130 determines whether the candidate point Qs or the candidate point Qt satisfies the first condition and a second condition different from the first condition. The user can set any two different conditions effective for identifying a genuine tracking point via the input unit 30 as the first condition and the second condition, respectively.
本実施形態において、第1条件は、特徴点Pnの追跡点であるための必要条件である。本実施形態において、候補点Qs又は候補点Qtが特徴点Pnの追跡点であるための必要条件は、追跡部120がSADの評価に基づくブロックマッチング法を用いてこれらの候補点の座標を算出した際に取得したSADの最小値が、下記の条件(A)〜(C)の何れにも該当しないことである。なお、条件(A)における閾値と、条件(C)におけるエラー範囲は、実験等の任意の公知技術を用い、予め適宜設定しておけばよい。
(A)SADの最小値が所定の閾値以下である。
(B)隣り合わない複数の点が、SADの最小値を有する。
(C)SADの最小値を有する点が、探索範囲の外周部に予め設定されたエラー範囲内に含まれている。
In the present embodiment, the first condition is a necessary condition for being a tracking point of the feature point Pn. In the present embodiment, a necessary condition for the candidate point Qs or the candidate point Qt to be a tracking point of the feature point Pn is that the tracking unit 120 calculates the coordinates of these candidate points using a block matching method based on SAD evaluation. That is, the minimum value of the SAD obtained at this time does not correspond to any of the following conditions (A) to (C). Note that the threshold value in the condition (A) and the error range in the condition (C) may be appropriately set in advance by using any known technique such as an experiment.
(A) The minimum value of the SAD is equal to or less than a predetermined threshold.
(B) A plurality of non-adjacent points have the minimum value of SAD.
(C) The point having the minimum value of the SAD is included in an error range set in advance on the outer periphery of the search range.
また、本実施形態において、第2条件は、特徴点であるための十分条件である。本実施形態において、候補点Qs又は候補点Qtが特徴点であるための十分条件は、これらの候補点の座標が、上記の式(1)を満たすことである。 Further, in the present embodiment, the second condition is a sufficient condition for being a feature point. In the present embodiment, a sufficient condition for the candidate point Qs or the candidate point Qt to be a feature point is that the coordinates of these candidate points satisfy the above equation (1).
決定部140は、判定部130による判定の結果に基づいて、候補点Qs又は候補点Qtを、特徴点Pnの追跡点として採用するか否かを決定する。 The determination unit 140 determines whether to adopt the candidate point Qs or the candidate point Qt as a tracking point of the feature point Pn based on the result of the determination by the determination unit 130.
具体的に、決定部140は、候補点Qsが第1条件及び第2条件を満たすと判定部130が判定した場合、候補点Qsを特徴点Pnの追跡点として採用すると決定する。決定部140は、候補点Qsが第1条件を満たさないと判定部130が判定した場合、候補点Qsを特徴点Pnの追跡点として採用しないと決定する。 Specifically, when the determining unit 130 determines that the candidate point Qs satisfies the first condition and the second condition, the determining unit 140 determines that the candidate point Qs is adopted as a tracking point of the feature point Pn. When the determination unit 130 determines that the candidate point Qs does not satisfy the first condition, the determination unit 140 determines that the candidate point Qs is not adopted as a tracking point of the feature point Pn.
前述したとおり、候補点Qsが、第1条件を満たすものの第2条件を満たさないと判定部130が判定した場合、追跡部120は、候補点Qtの座標を算出する。決定部140は、候補点Qtが第1条件と第2条件とを満たすと判定部130が判定した場合、候補点Qtと、第1条件を満たすものの第2条件を満たさないと判定部130が判定した候補点Qsと、を特徴点Pnの追跡点として採用すると決定する。決定部140は、候補点Qtが第1条件と第2条件とのうち少なくとも何れか一方を満たさないと判定部130が判定した場合、候補点Qtと、第1条件を満たすものの第2条件を満たさないと判定部130が判定した候補点Qsと、を特徴点Pnの追跡点として採用しないと決定する。 As described above, when the determination unit 130 determines that the candidate point Qs satisfies the first condition but does not satisfy the second condition, the tracking unit 120 calculates the coordinates of the candidate point Qt. When the determining unit 130 determines that the candidate point Qt satisfies the first condition and the second condition, the determining unit 140 determines that the candidate point Qt and the candidate point Qt satisfy the first condition but do not satisfy the second condition. It is determined that the determined candidate point Qs and the tracking point of the feature point Pn are adopted. When the determination unit 130 determines that the candidate point Qt does not satisfy at least one of the first condition and the second condition, the determination unit 140 determines the candidate point Qt and the second condition of the one that satisfies the first condition. It is determined that the candidate point Qs determined by the determination unit 130 not to be satisfied is not adopted as the tracking point of the feature point Pn.
すなわち、決定部140は、候補点Qsが第1条件は満たすものの第2条件は満たさないと判定された場合であっても、候補点Qtが第1条件と第2条件を満たしたことを条件として、候補点Qtと共に候補点Qsも特徴点Pnの追跡点として採用すると決定する。 That is, the determination unit 140 determines that the candidate point Qt satisfies the first condition and the second condition even if it is determined that the candidate point Qs satisfies the first condition but does not satisfy the second condition. It is determined that the candidate point Qs is adopted as the tracking point of the feature point Pn together with the candidate point Qt.
構築部150は、決定部140が候補点Qsを特徴点Pnの追跡点として採用すると決定した場合に、候補点Qsを動画中の特徴点Pnの軌跡である特徴点軌道の構成点として取得する。具体的に、構築部150は、追跡点として採用されると決定された候補点Qsの座標を、特徴点軌道の第sフレームにおける構成点として記憶部20に記憶させる。また、構築部150は、決定部140が候補点Qtを特徴点Pnの追跡点として採用すると決定した場合に、候補点Qtを動画中の特徴点Pnの軌跡である特徴点軌道の構成点として取得する。具体的に、構築部150は、追跡点として採用されると決定された候補点Qtの座標を、特徴点軌道の第tフレームにおける構成点の座標として取得し、記憶部20に記憶させる。 When the deciding unit 140 decides to adopt the candidate point Qs as the tracking point of the feature point Pn, the construction unit 150 acquires the candidate point Qs as a constituent point of the feature point trajectory which is the trajectory of the feature point Pn in the moving image. . Specifically, the construction unit 150 causes the storage unit 20 to store the coordinates of the candidate point Qs determined to be adopted as the tracking point as a constituent point in the s-th frame of the feature point trajectory. In addition, when the determining unit 140 determines that the candidate point Qt is adopted as the tracking point of the feature point Pn, the construction unit 150 sets the candidate point Qt as a constituent point of a feature point trajectory that is a trajectory of the feature point Pn in the moving image. get. Specifically, the construction unit 150 acquires the coordinates of the candidate point Qt determined to be adopted as the tracking point as the coordinates of the constituent points in the t-th frame of the feature point trajectory, and stores the coordinates in the storage unit 20.
また、構築部150は、動画が含む複数の画像のうち指定部110が第nフレームの画像として指定する画像を変えて、追跡部120、判定部130及び決定部140の処理を繰り返すことにより、追跡開始フレームから追跡終了フレームにわたって特徴点軌道を構築する。追跡開始フレームは、特徴点追跡装置1が特徴点の追跡を開始するフレームである。追跡終了フレームは、特徴点追跡装置1が特徴点の追跡を終了するフレームである。ユーザは、入力部30を介し、任意のフレームを追跡開始フレーム及び追跡終了フレームとして設定できる。本実施形態では、動画の最初のフレームが追跡開始フレームとして、動画の最後のフレームが追跡終了フレームとして、それぞれ予め設定されている。 Further, the construction unit 150 changes the image designated by the designation unit 110 as the image of the n-th frame among the plurality of images included in the moving image, and repeats the processing of the tracking unit 120, the determination unit 130, and the determination unit 140, A feature point trajectory is constructed from the tracking start frame to the tracking end frame. The tracking start frame is a frame at which the feature point tracking device 1 starts tracking feature points. The tracking end frame is a frame at which the feature point tracking device 1 ends tracking of the feature points. The user can set an arbitrary frame as the tracking start frame and the tracking end frame via the input unit 30. In the present embodiment, the first frame of the moving image is set in advance as the tracking start frame, and the last frame of the moving image is set in advance as the tracking end frame.
以下、上記の物理的・機能的構成を有する特徴点追跡装置1が実行する特徴点追跡処理を、図3のフローチャートを参照して説明する。特徴点追跡装置1は、特徴点追跡処理を実行することにより、動画中の特徴点を時間的に追跡し、動画中のこの特徴点の軌跡である特徴点軌道を構築する。 Hereinafter, a feature point tracking process executed by the feature point tracking device 1 having the above-described physical / functional configuration will be described with reference to a flowchart of FIG. The feature point tracking device 1 performs a feature point tracking process to temporally track a feature point in a moving image and constructs a feature point trajectory that is a trajectory of the feature point in the moving image.
なお、特徴点追跡装置1は任意の個数の特徴点を追跡できるものの、以下の説明では、理解を容易にするため、特徴点追跡装置1が1個の特徴点を追跡する場合を例に用いて説明する。 Although the feature point tracking device 1 can track an arbitrary number of feature points, the following description uses an example in which the feature point tracking device 1 tracks one feature point for easy understanding. Will be explained.
特徴点追跡装置1は、外部インタフェース50を介して外部装置から動画を予め取得し、記憶部20に記憶している。動画は、時間的に連続して撮像された複数の画像を含んでいる。この状態において、特徴点の追跡を所望するユーザが入力部30を介して特徴点の追跡を指示すると、CPU10は、この指示に応答し、図3のフローチャートに示す特徴点追跡処理を開始する。 The feature point tracking device 1 previously acquires a moving image from an external device via the external interface 50, and stores the moving image in the storage unit 20. The moving image includes a plurality of images captured consecutively in time. In this state, when the user who wants to track the feature points instructs to track the feature points via the input unit 30, the CPU 10 starts the feature point tracking process shown in the flowchart of FIG.
まず、CPU10は、追跡開始フレームを第nフレームとして指定する(ステップS101)。抽出部100は、動画の第nフレームの画像を取得し(ステップS102)、この画像から特徴点Pnを抽出する(ステップS103)。具体的に、抽出部100は、第nフレームの画像が含む点のうち、その点の座標(x、y)が上記の式(1)を満たす点を、特徴点Pnとして抽出する。 First, the CPU 10 specifies a tracking start frame as an n-th frame (step S101). The extracting unit 100 acquires an image of the n-th frame of the moving image (Step S102), and extracts a feature point Pn from the image (Step S103). Specifically, the extraction unit 100 extracts, from the points included in the image of the n-th frame, a point at which the coordinates (x, y) of the point satisfy the above equation (1) as the feature point Pn.
以下の説明では、理解を容易にするため、ステップS103で1個の特徴点が抽出されたものとして説明する。ステップS103において複数の特徴点が抽出された場合には、抽出部100が、抽出された複数の特徴点のうち任意の1個を、任意の基準に基づいて、追跡対象として選択すればよい。あるいは、ユーザが、入力部30を介し、追跡対象の特徴点を指定してもよい。 In the following description, it is assumed that one feature point has been extracted in step S103 for easy understanding. When a plurality of feature points are extracted in step S103, the extraction unit 100 may select any one of the extracted plurality of feature points as a tracking target based on an arbitrary criterion. Alternatively, the user may specify a feature point to be tracked via the input unit 30.
次に、指定部110が、第nフレームの次のフレームである第(n+1)フレームを、第sフレームとして指定する(ステップS104)。 Next, the specifying unit 110 specifies the (n + 1) th frame, which is the next frame after the nth frame, as the sth frame (step S104).
追跡部120は、動画の第sフレームの画像を取得する(ステップS105)。追跡部120は、ステップS103で抽出した特徴点Pnの座標に基づいて、特徴点Pnの第sフレームの画像における追跡点の候補である候補点Qsの座標を算出する(ステップS106)。具体的に、追跡部120は、特徴点Pnの座標に基づき、SADの評価に基づくブロックマッチング法を用いて、候補点Qsの座標を算出する。 The tracking unit 120 acquires the image of the s-th frame of the moving image (Step S105). The tracking unit 120 calculates the coordinates of the candidate point Qs, which is a candidate for a tracking point in the image of the s-th frame of the feature point Pn, based on the coordinates of the feature point Pn extracted in step S103 (step S106). Specifically, the tracking unit 120 calculates the coordinates of the candidate point Qs based on the coordinates of the feature point Pn using a block matching method based on the evaluation of the SAD.
判定部130は、候補点Qsが第1条件を満たすか否かを判定する。すなわち、判定部130は、候補点Qsが特徴点Pnの追跡点であるための必要条件を満たすか否かを判定する(ステップS107)。具体的に、判定部130は、ステップS106でSADの評価に基づくブロックマッチング法を用いて候補点Qsの座標を算出した際に取得されたSADの最小値が、上記(A)〜(C)の何れの条件にも該当しないか否かを判定する。 The determination unit 130 determines whether or not the candidate point Qs satisfies the first condition. That is, the determination unit 130 determines whether or not the candidate point Qs satisfies a necessary condition for being a tracking point of the feature point Pn (step S107). Specifically, the determination unit 130 determines that the minimum value of the SAD obtained when the coordinates of the candidate point Qs is calculated using the block matching method based on the evaluation of the SAD in step S106, as described above in (A) to (C). It is determined whether none of the above conditions is satisfied.
候補点Qsが特徴点Pnの追跡点であるための必要条件を満たさないと判定された場合(ステップS107;NO)、特徴点追跡装置1が、特徴点Pnの第nフレームから第sフレームにわたる移動の追跡に失敗した可能性が高い。この場合、特徴点追跡装置1は、追跡を中止し、それまで追跡していた特徴点とは異なる特徴点の追跡を開始する。 When it is determined that the necessary condition for the candidate point Qs to be the tracking point of the feature point Pn is not satisfied (Step S107; NO), the feature point tracking device 1 extends from the nth frame to the sth frame of the feature point Pn. It is likely that tracking the movement failed. In this case, the feature point tracking device 1 stops tracking and starts tracking a feature point different from the feature point that has been tracked up to then.
具体的に、候補点Qsが特徴点Pnの追跡点であるための必要条件を満たさないと判定部130が判定すると(ステップS107;NO)、決定部140は、候補点Qsを特徴点Pnの追跡点として採用しないと決定する(ステップS121)。そして、CPU10が値nを1だけインクリメントし(ステップS120)、終了条件が成立したか否かを判定する(ステップS119)。終了条件が成立していないとCPU10が判定すると(ステップS119;NO)、処理はステップS102へ戻る。特徴点追跡装置1は、値nをインクリメントした上でステップS102及びS103の処理を実行することにより、直前に第nフレームとして指定していたフレームとは異なるフレームの画像から、直前に追跡していた特徴点とは異なる特徴点を抽出し、この特徴点の追跡を開始する。CPU10は、終了条件が成立したと判定すると(ステップS119;YES)、特徴点追跡処理を終了する。 Specifically, when the determination unit 130 determines that the necessary condition for the candidate point Qs to be a tracking point of the feature point Pn is not satisfied (step S107; NO), the determination unit 140 determines the candidate point Qs as the feature point Pn. It is determined not to be adopted as a tracking point (step S121). Then, the CPU 10 increments the value n by 1 (step S120), and determines whether or not the end condition is satisfied (step S119). If the CPU 10 determines that the end condition is not satisfied (step S119; NO), the process returns to step S102. The feature point tracking device 1 increments the value n and then executes the processing of steps S102 and S103, so that the feature point tracking device 1 tracks immediately before the image of a frame different from the frame specified as the nth frame immediately before. A feature point different from the extracted feature point is extracted, and tracking of this feature point is started. When determining that the end condition is satisfied (step S119; YES), the CPU 10 ends the feature point tracking processing.
「値nを1だけインクリメントする」とは、直前に第nフレームとして指定されていたフレームの次のフレームを新たに第nフレームとして指定する処理を指す。終了条件は、特徴点追跡処理を終了する契機となる条件である。ユーザは、入力部30を介し、任意の条件を終了条件として設定できる。本実施形態では、下記の(a)〜(c)のうち少なくとも何れかが成立することを終了条件として予め設定している。
(a)インクリメント後の第nフレームと追跡終了フレームとが一致する。
(b)インクリメント後の第sフレームと追跡終了フレームとが一致する。
(c)入力部30を介し、ユーザによる終了指示を受け付けた。
“Incrementing the value n by 1” refers to a process of newly specifying the frame next to the frame previously specified as the n-th frame as the n-th frame. The end condition is a condition that triggers the end of the feature point tracking process. The user can set an arbitrary condition as an end condition via the input unit 30. In the present embodiment, at least one of the following (a) to (c) is set as an end condition in advance.
(A) The n-th frame after the increment matches the tracking end frame.
(B) The s-th frame after the increment matches the tracking end frame.
(C) An end instruction from the user is received via the input unit 30.
候補点Qsが特徴点Pnの追跡点であるための必要条件を満たすと判定すると(ステップS107;YES)、判定部130は、候補点Qsが第2条件を満たすか否かを判定する。すなわち、判定部130は、候補点Qsが特徴点であるための十分条件を満たすか否かを判定する(ステップS108)。具体的に、判定部130は、候補点Qsの座標が、上記式(1)を満たすか否かを判定する。 When determining that the candidate point Qs satisfies the necessary condition for being the tracking point of the feature point Pn (Step S107; YES), the determination unit 130 determines whether the candidate point Qs satisfies the second condition. That is, the determination unit 130 determines whether or not the candidate point Qs satisfies a sufficient condition for being a feature point (step S108). Specifically, the determination unit 130 determines whether or not the coordinates of the candidate point Qs satisfy the above expression (1).
候補点Qsが特徴点であるための十分条件を満たすと判定部130が判定した場合(ステップS108;YES)、候補点Qsは特徴点Pnの真正な追跡点である可能性が高い。そこで、決定部140は、候補点Qsを特徴点Pnの追跡点として採用すると決定する(ステップS118)。構築部150は、特徴点Pnの追跡点として採用された候補点Qsの座標を、第sフレームにおける特徴点軌道の構成点の座標として取得し、記憶部20に記憶させ(ステップS117)、処理はステップS116へ移る。 When the determination unit 130 determines that the candidate point Qs satisfies a sufficient condition for being a feature point (step S108; YES), there is a high possibility that the candidate point Qs is a genuine tracking point of the feature point Pn. Therefore, the determination unit 140 determines to adopt the candidate point Qs as a tracking point of the feature point Pn (Step S118). The construction unit 150 acquires the coordinates of the candidate point Qs adopted as the tracking point of the feature point Pn as the coordinates of the constituent points of the feature point trajectory in the s-th frame, stores the coordinates in the storage unit 20 (step S117), and performs the processing. Moves to step S116.
構築部150は、指定部110を制御して、値nを1だけインクリメントさせる(ステップS116)。次に、CPU10が、終了条件が成立したか否かを判定する(ステップS115)。終了条件が成立したと判定すると(ステップS115;YES)、CPU10は、特徴点追跡処理を終了する。終了条件が成立していないとCPU10が判定すると(ステップS115;NO)、処理はステップS104へ戻り、直前に第sフレームとして指定していたフレームの次のフレームを新たに第sフレームとして指定する。特徴点追跡装置1は、値sをインクリメントしながらステップS104〜S115の処理を繰り返すことにより、動画中の複数フレームにわたって特徴点Pnを追跡し、特徴点軌道を構築する。 The construction unit 150 controls the designation unit 110 to increment the value n by 1 (step S116). Next, the CPU 10 determines whether or not the termination condition has been satisfied (step S115). When determining that the end condition is satisfied (step S115; YES), the CPU 10 ends the feature point tracking processing. If the CPU 10 determines that the end condition is not satisfied (step S115; NO), the process returns to step S104, and a frame next to the frame previously specified as the s-th frame is newly specified as the s-th frame. . The feature point tracking device 1 repeats the processing of steps S104 to S115 while incrementing the value s, thereby tracking the feature points Pn over a plurality of frames in the moving image, and constructing a feature point trajectory.
なお、本実施形態では、ステップS115の後に実行されるステップS106の処理において、追跡部120は、直前のステップS118又はステップS114で特徴点Pnの追跡点として採用された候補点Qsの座標に基づき、SADの評価に基づくブロックマッチング法を用いて、新たな候補点Qsの座標を算出する。すなわち、新たな候補点Qsは、ステップS116とステップS104で値sがインクリメントされた後の第sフレームの画像における、直前のステップS118又はステップS114で特徴点Pnの追跡点として採用された候補点Qsの追跡点の候補である。また、本実施形態では、ステップS115の後に実行されるステップS111の処理において、追跡部120は、直前のステップS118又はステップS114で特徴点Pnの追跡点として採用された候補点Qsの座標に基づき、SADの評価に基づくブロックマッチング法を用いて、新たな候補点Qtの座標を算出する。すなわち、新たな候補点Qtは、第tフレームの画像における直前のステップS118又はステップS114で特徴点Pnの追跡点として採用された候補点Qsの追跡点の候補である。なお、新たな候補点Qs及び候補点Qtの座標を以前の処理において既に算出していた場合、改めて座標を算出することなく、記憶部20に記憶されている算出済みの座標を取得することとすればよい。 In the present embodiment, in the processing of step S106 performed after step S115, the tracking unit 120 determines the position of the candidate point Qs adopted as the tracking point of the feature point Pn in the immediately preceding step S118 or step S114. , The coordinates of the new candidate point Qs are calculated using a block matching method based on the evaluation of the SAD. That is, the new candidate point Qs is a candidate point adopted as the tracking point of the feature point Pn in the immediately preceding step S118 or step S114 in the image of the s-th frame after the value s has been incremented in step S116 and step S104. It is a candidate for a tracking point of Qs. Further, in the present embodiment, in the process of step S111 executed after step S115, the tracking unit 120 determines based on the coordinates of the candidate point Qs adopted as the tracking point of the feature point Pn in the immediately preceding step S118 or step S114. , The coordinates of the new candidate point Qt are calculated using the block matching method based on the evaluation of the SAD. That is, the new candidate point Qt is a tracking point candidate of the candidate point Qs adopted as the tracking point of the feature point Pn in the immediately preceding step S118 or step S114 in the image of the t-th frame. If the coordinates of the new candidate point Qs and the new candidate point Qt have already been calculated in the previous processing, the calculated coordinates stored in the storage unit 20 are acquired without calculating the coordinates again. do it.
候補点Qsが特徴点であるための十分条件を満たさないと判定部130が判定すると(ステップS108;NO)、指定部110は、第sフレームの次のフレームである第(s+1)フレームを第tフレームとして指定する(ステップS109)。 When the determining unit 130 determines that the sufficient condition for the candidate point Qs to be a feature point is not satisfied (step S108; NO), the specifying unit 110 assigns the (s + 1) th frame, which is the frame next to the sth frame, to the It is designated as a t-frame (step S109).
追跡部120は、動画の第tフレームの画像を取得し(ステップS110)、特徴点Pnの座標に基づき、特徴点Pnの第tフレームの画像における追跡点の候補である候補点Qtの座標を算出する(ステップS111)。具体的に、追跡部120は、特徴点Pnの座標に基づき、SADの評価に基づくブロックマッチング法を用いて、候補点Qtの座標を算出する。 The tracking unit 120 acquires the image of the t-th frame of the moving image (Step S110), and based on the coordinates of the feature point Pn, calculates the coordinates of the candidate point Qt that is a candidate for the tracking point in the image of the t-th frame of the feature point Pn. It is calculated (step S111). Specifically, the tracking unit 120 calculates the coordinates of the candidate point Qt using the block matching method based on the evaluation of the SAD based on the coordinates of the feature point Pn.
判定部130は、候補点Qtが第1条件を満たすか否かを判定する。すなわち、判定部130は、候補点Qtが特徴点Pnの追跡点であるための必要条件を満たすか否かを判定する(ステップS112)。具体的に、判定部130は、ステップS111でSADの評価に基づくブロックマッチング法を用いて候補点Qtの座標を算出した際に取得されたSADの最小値が、上記(A)〜(C)の何れの条件にも該当しないか否かを判定する。 The determination unit 130 determines whether or not the candidate point Qt satisfies the first condition. That is, the determination unit 130 determines whether or not the candidate point Qt satisfies a necessary condition for being a tracking point of the feature point Pn (step S112). Specifically, the determination unit 130 determines that the minimum value of the SAD obtained when the coordinates of the candidate point Qt is calculated by using the block matching method based on the evaluation of the SAD in step S111, the above (A) to (C) It is determined whether none of the above conditions is satisfied.
候補点Qtが特徴点Pnの追跡点であるための必要条件を満たさないと判定された場合(ステップS112;NO)、特徴点追跡装置1が、特徴点Pnの第nフレームから第tフレームにわたる移動の追跡に失敗した可能性が高い。この場合、特徴点追跡装置1は、ステップS106においても、特徴点Pnの第nフレームから第sフレームにわたる移動の追跡に失敗していた可能性が高い。そこで、特徴点追跡装置1は、候補点Qsと候補点Qtとの何れも特徴点Pnの追跡点として採用することなく、特徴点の追跡を中止して、それまで追跡していた特徴点とは異なる特徴点の追跡を開始する。 When it is determined that the candidate point Qt does not satisfy the necessary condition for being the tracking point of the feature point Pn (step S112; NO), the feature point tracking device 1 extends from the nth frame to the tth frame of the feature point Pn. It is likely that tracking the movement failed. In this case, it is highly likely that the feature point tracking device 1 has failed to track the movement of the feature point Pn from the nth frame to the sth frame even in step S106. Therefore, the feature point tracking device 1 stops tracking the feature point without adopting any of the candidate point Qs and the candidate point Qt as the tracking point of the feature point Pn. Starts tracking different feature points.
具体的に、候補点Qtが特徴点Pnの追跡点であるための必要条件を満たさないと判定部130が判定した場合(ステップS112;NO)、決定部140は、候補点Qs及び候補点Qtを特徴点軌道の構成点として採用しないと決定し(ステップS122)、処理はステップS120へ移る。特徴点追跡装置1は、ステップS120で値nをインクリメントした上でステップS102及びS103の処理を実行することにより、直前に追跡していた特徴点とは異なる特徴点の追跡を開始する。 Specifically, when the determination unit 130 determines that the necessary condition for the candidate point Qt to be the tracking point of the feature point Pn is not satisfied (step S112; NO), the determination unit 140 determines the candidate point Qs and the candidate point Qt. Is determined not to be employed as a constituent point of the feature point trajectory (step S122), and the process proceeds to step S120. The feature point tracking device 1 increments the value n in step S120, and then executes the processes in steps S102 and S103, thereby starting tracking of a feature point different from the feature point tracked immediately before.
候補点Qtが特徴点Pnの追跡点であるための必要条件を満たすと判定すると(ステップステップS112;YES)、判定部130は、候補点Qtが第2条件を満たすか否かを判定する。すなわち、判定部130は、候補点Qtが特徴点であるための十分条件を満たすか否かを判定する(ステップS113)。具体的に、判定部130は、候補点Qtの座標が上記式(1)を満たすか否かを判定する。 When determining that the candidate point Qt satisfies the necessary condition for being the tracking point of the feature point Pn (Step S112; YES), the determining unit 130 determines whether the candidate point Qt satisfies the second condition. That is, the determination unit 130 determines whether or not the candidate point Qt satisfies a sufficient condition for being a feature point (step S113). Specifically, the determination unit 130 determines whether or not the coordinates of the candidate point Qt satisfy Expression (1).
候補点Qtが特徴点であるための十分条件を満たさないと判定された場合(ステップS113;NO)、候補点Qtは、特徴点Pnの真正な追跡点ではない可能性が高い。また、候補点Qsも、特徴点Pnの真正な追跡点ではない可能性が高い。この場合、特徴点追跡装置1は、候補点Qsと候補点Qtとの何れも特徴点Pnの追跡点として採用することなく、特徴点の追跡を中止して、それまで追跡していた特徴点とは異なる特徴点の追跡を開始する。 When it is determined that the candidate point Qt does not satisfy a sufficient condition for being a feature point (step S113; NO), there is a high possibility that the candidate point Qt is not a true tracking point of the feature point Pn. Also, it is highly possible that the candidate point Qs is not a genuine tracking point of the feature point Pn. In this case, the feature point tracking device 1 stops tracking the feature point without adopting either the candidate point Qs or the candidate point Qt as the tracking point of the feature point Pn, and the feature point that has been tracked up to that point. Tracking of a feature point different from the above is started.
具体的に、候補点Qtが特徴点であるための十分条件を満たさないと判定部130が判定すると(ステップS113;NO)、決定部140は、候補点Qs及び候補点Qtを特徴点Pnの追跡点として採用しないと決定し(ステップS122)、処理はステップS120へ移る。特徴点追跡装置1は、ステップS120で値nをインクリメントした上でステップS102及びS103の処理を実行することにより、直前に追跡していた特徴点とは異なる特徴点の追跡を開始する。 Specifically, when the determination unit 130 determines that the candidate point Qt does not satisfy a sufficient condition for being a feature point (step S113; NO), the determination unit 140 determines the candidate point Qs and the candidate point Qt as the feature point Pn. It is determined not to be adopted as a tracking point (step S122), and the process proceeds to step S120. The feature point tracking device 1 increments the value n in step S120, and then executes the processes in steps S102 and S103, thereby starting tracking of a feature point different from the feature point tracked immediately before.
候補点Qtが特徴点であるための十分条件を満たすと判定された場合(ステップS113;YES)、候補点Qtは、特徴点Pnの真正な追跡点である可能性が高い。また、候補点Qsも、特徴点であるための十分条件を満たさないとステップS108において判定されたものの、特徴点Pnの真正な追跡点である可能性が高い。そこで、候補点Qtが特徴点であるための十分条件を満たすと判定部130が判定すると(ステップS113;YES)、決定部140は、候補点Qs及び候補点Qtを特徴点Pnの追跡点として採用すると決定し(ステップS114)、特徴点追跡装置1は、ステップS123で値nをインクリメントする。そして、構築部150が、候補点Qs及び候補点Qtの座標を、それぞれ、第sフレーム及び第tフレームにおける特徴点軌道の構成点の座標として取得し、記憶部20に記憶させ(ステップS117)、処理はステップS116へ移る。 When it is determined that the candidate point Qt satisfies a sufficient condition for being a feature point (step S113; YES), it is highly likely that the candidate point Qt is a genuine tracking point of the feature point Pn. In addition, although it is determined in step S108 that the candidate point Qs does not satisfy a sufficient condition for being a feature point, it is highly likely that the candidate point Qs is a genuine tracking point of the feature point Pn. Therefore, when the determination unit 130 determines that the sufficient condition for the candidate point Qt to be a feature point is satisfied (step S113; YES), the determination unit 140 uses the candidate point Qs and the candidate point Qt as tracking points of the feature point Pn. The feature point tracking device 1 determines to adopt (Step S114), and increments the value n in Step S123. Then, the construction unit 150 acquires the coordinates of the candidate point Qs and the candidate point Qt as the coordinates of the constituent points of the feature point trajectory in the s-th frame and the t-th frame, respectively, and stores the coordinates in the storage unit 20 (step S117). , The process proceeds to step S116.
このように、特徴点追跡装置1は、候補点Qsが第1条件は満たすものの第2条件は満たさないと判定された場合(ステップS107;YESかつステップS108;NO)であっても、候補点Qtが第1条件と第2条件とを満たすことを条件として(ステップS112;YESかつステップS113;YES)、候補点Qtと共に候補点Qsも特徴点Pnの追跡点として採用する。 As described above, the feature point tracking apparatus 1 determines whether the candidate point Qs satisfies the first condition but does not satisfy the second condition (step S107; YES and step S108; NO). On condition that Qt satisfies the first condition and the second condition (step S112; YES and step S113; YES), the candidate point Qs is adopted as the tracking point of the feature point Pn together with the candidate point Qt.
以上説明したように、本実施形態に係る特徴点追跡装置1は、特徴点Pnを時間的に追跡し、特徴点軌道を構築する。特徴点追跡装置1は、第1条件と第2条件とを満たした追跡点の候補を追跡点として採用することにより、追跡点の誤認識に対して頑健な特徴点追跡を行っている。以下、この点について、図4を参照しながら詳細に説明する。 As described above, the feature point tracking device 1 according to the present embodiment tracks a feature point Pn over time and constructs a feature point trajectory. The feature point tracking device 1 performs feature point tracking that is robust against erroneous recognition of tracking points by adopting tracking point candidates that satisfy the first condition and the second condition as tracking points. Hereinafter, this point will be described in detail with reference to FIG.
図4は、本実施形態に係る特徴点追跡装置1と対比例に係る特徴点追跡装置とが、同一の特徴点P1を、同一の動画において、第1フレームから第5フレームにわたってそれぞれ追跡する動作を示している。 Figure 4 is a feature tracking apparatus 1 according to this embodiment and the feature point tracking device according to the comparative example is the same feature point P 1, the same moving, tracking each for the fifth frame from the first frame The operation is shown.
図4(a)は、対比例に係る特徴点追跡装置による特徴点追跡を説明するための図である。対比例に係る特徴点追跡装置は、動画の任意のフレームにおける特徴点P1の追跡点の候補である候補点の座標を、このフレームの直前のフレームにおける追跡点の座標に基づいて算出するものとする。対比例に係る特徴点追跡装置は、追跡対象の特徴点の追跡点であるための必要条件を満たす候補点を、追跡点として採用するものとする。 FIG. 4A is a diagram for explaining feature point tracking by the feature point tracking device according to the comparative example. Those feature point tracking device according to the comparison example, the coordinates of the candidate point is a candidate of the tracking point of the feature point P 1 in an arbitrary frame of video is calculated based on the coordinates of the tracking point in the previous frame of the frame And The feature point tracking device according to the comparative example adopts a candidate point that satisfies a necessary condition for being a tracking point of a feature point to be tracked as a tracking point.
対比例に係る特徴点追跡装置は、図4(a)に示すように、特徴点P1の真正な追跡点の座標を第2フレームにおける候補点Q2の座標として算出したものとする。しかしながら、動画の第3フレームにおいて、図4(a)に示すように、モーションブラーが発生したことが原因で、対比例に係る特徴点追跡装置は、特徴点P1の真正な追跡点ではない点の座標を第3フレームにおける候補点Q3の座標として算出してしまったものとする。候補点Q3は、追跡対象の特徴点の追跡点であるための必要条件は満たすものの、特徴点であるための十分条件は満たさないものとする。 Feature point tracking device according to the comparative example, as shown in FIG. 4 (a), and that calculates coordinates of authentic tracking point of the feature point P 1 as the coordinates of the candidate point Q 2 in the second frame. However, in the third frame of the video, as shown in FIG. 4 (a), because the motion blur occurs, feature point tracking device according to the comparative example is not a true tracking point of the feature point P 1 It shall had to calculate the coordinates of the point as the coordinates of the candidate point Q 3 in the third frame. Candidate point Q 3 are, although requirements for a tracking point of the feature point tracked satisfy, sufficient condition for a point feature shall not fulfilled.
この場合、対比例に係る特徴点追跡装置は、真正な追跡点ではないものの、追跡点であるための必要条件は満たす候補点Q3を追跡点として採用してしまう。対比例に係る特徴点追跡装置は、真正な追跡点ではない候補点Q3の座標に基づいて、真正な追跡点ではない点の座標を候補点Q4及び候補点Q5の座標として算出してしまう。そして、候補点Q4及び候補点Q5が追跡点であるための必要条件を満たす場合、対比例に係る特徴点追跡装置は、これらの真正な追跡点ではない点を追跡点として採用してしまう。この結果、対比例に係る特徴点追跡装置は、特徴点P1を不正確に追跡し、不正確な特徴点軌道を構築してしまう。すなわち、対比例に係る特徴点追跡装置は、真正な追跡点ではないにも関わらず追跡点であると誤認識した候補点Q3を追跡点として採用してしまうことも、候補点Q3に基づいて真正な追跡点ではない候補点Q4及び候補点Q5を追跡点として採用してしまうことも、防げなかった。 In this case, the feature point tracking unit according to comparative example, although not a true tracking point, requirements for a tracking point would employ candidate point Q 3 meet as the tracking point. Feature point tracking device according to the comparative example, based on the authentic non-tracking point coordinate of the candidate point Q 3, and calculates the coordinates of a point is not a true tracking point as the coordinates of the candidate point Q 4 and the candidate point Q 5 Would. When meet the requirements for the candidate points Q 4 and the candidate point Q 5 is tracking point, the feature point tracking device according to the comparative example, employs a point not these authentic tracking point as the tracking point I will. As a result, feature point tracking device according to the comparison example, the feature point P 1 incorrectly track, thereby constructing an incorrect feature point trajectory. That is, the feature point tracking device according to the comparative example is that would employ a candidate point Q 3 recognized erroneously as a tracking point despite not authentic tracking point as the tracking point also, the candidate point Q 3 the candidate points Q 4 and the candidate point Q 5 is not a true tracking point based thus adopted as the tracking point also failed to prevent.
図4(b)は、本実施形態に係る特徴点追跡装置1による特徴点追跡を説明するための図である。特徴点追跡装置1は、図4(b)に示すように、特徴点P1の真正な追跡点の座標を第2フレームにおける候補点Q2の座標として算出したものとする。しかしながら、動画の第3フレームにおいて、図4(b)に示すように、モーションブラーが発生したことが原因で、特徴点追跡装置1は、特徴点P1の真正な追跡点ではない点の座標を第3フレームにおける候補点Q3の座標として算出してしまったものとする。候補点Q3は、追跡対象の特徴点の追跡点であるための必要条件は満たすものの、特徴点であるための十分条件は満たさないものとする。 FIG. 4B is a diagram for explaining feature point tracking by the feature point tracking device 1 according to the present embodiment. Feature point tracking device 1, as shown in FIG. 4 (b), and that calculates the coordinates of the true tracking point of the feature point P 1 as the coordinates of the candidate point Q 2 in the second frame. However, in the third frame of the video, as shown in FIG. 4 (b), because the motion blur occurs, the feature point tracking device 1, the point is not a true tracking point of the feature point P 1 coordinates the assumed and which has been calculated as the coordinates of the candidate point Q 3 in the third frame. Candidate point Q 3 are, although requirements for a tracking point of the feature point tracked satisfy, sufficient condition for a point feature shall not fulfilled.
この場合、特徴点追跡装置1は、追跡点であるための必要条件は満たすものの(ステップS107;YES)、特徴点であるための十分条件を満たさない(ステップS108;NO)候補点Q3を、特徴点Pnの追跡点として直ちには採用しない。特徴点追跡装置1は、候補点Q3が特徴点ではないと判定すると(ステップS108;NO)、特徴点P1の座標に基づいて候補点Q4の座標を算出する(ステップS111)。そして、特徴点追跡装置1は、候補点Q4が、特徴点P1の追跡点であるための必要条件を満たすか否かと(ステップS112)、特徴点であるための十分条件を満たすか否かと(ステップS113)、を判定する。ステップS111において、特徴点P1の追跡点であるための必要条件は満たすものの(ステップS112;YES)、特徴点であるための十分条件は満たさない(ステップS113;NO)ような点の座標が候補点Q4の座標として算出されたものとする。この場合、特徴点追跡装置1は、候補点Q4が特徴点であるための十分条件を満たさないと判定した(ステップS113;NO)ことに応答して、候補点Q3及び候補点Q4の何れも特徴点Pnの追跡点として採用しないと決定する(ステップS122)。 In this case, feature point tracking device 1, although satisfy the requirements for a tracking point (step S107: YES), does not satisfy the sufficient condition for a feature point; a (step S108 NO) candidate point Q 3 , Are not immediately adopted as tracking points of the feature points Pn. Feature point tracking device 1, when the candidate point Q 3 is determined not to be a feature point (step S108; NO), calculates the coordinates of the candidate point Q 4 on the basis of the coordinate feature point P 1 (step S111). Then, the feature point tracking device 1 determines whether or not the candidate point Q 4 satisfies a necessary condition for being a tracking point of the feature point P 1 (step S112) and whether or not a sufficient condition for being a feature point is satisfied. (Step S113). In step S111, although satisfy requirements for a tracking point of the feature point P 1 (step S112; YES), sufficient conditions are not met for a point feature, the coordinates of (step S113 NO) such points It shall calculated as the coordinates of the candidate point Q 4. In this case, feature point tracking device 1, the candidate points Q 4 is determined not to satisfy a sufficient condition for a feature point (step S113; NO) in particular in response, the candidate point Q 3 and the candidate point Q 4 Is determined not to be adopted as the tracking point of the feature point Pn (step S122).
以上説明したように、特徴点追跡装置1は、対比例に係る特徴点追跡装置と同様に、第3フレームにおいて真正な追跡点ではない点を追跡点として誤認識した。しかし、特徴点追跡装置1は、対比例に係る特徴点追跡装置とは異なり、特徴点であるための十分条件を満たさない候補点を特徴点軌道の構成点として採用しないと決定した。このため、特徴点追跡装置1は、追跡点として誤認識した候補点Q3を追跡点の採用を防ぐことができた。また、特徴点追跡装置1は、候補点Q3に基づいて不正確に特徴点を追跡することも防いでいる。すなわち、特徴点追跡装置1は、真正な追跡点ではない点を追跡点として誤って認識してしまう誤認識に対して頑健な特徴点追跡を行っている。 As described above, similarly to the feature point tracking device according to the comparative example, the feature point tracking device 1 has erroneously recognized a point that is not a true tracking point in the third frame as a tracking point. However, unlike the feature point tracking device according to the comparative example, the feature point tracking device 1 has determined that a candidate point that does not satisfy a sufficient condition for being a feature point is not adopted as a constituent point of the feature point trajectory. Therefore, feature tracking apparatus 1 could prevent the adoption of tracking point candidate point Q 3 recognized erroneously as a tracking point. The feature point tracking device 1 is prevented also track incorrectly feature point based on the candidate point Q 3. That is, the feature point tracking device 1 performs feature point tracking robust against erroneous recognition in which a point that is not a true tracking point is erroneously recognized as a tracking point.
さらに、本実施形態に係る特徴点追跡装置1は、候補点Qsが第1条件は満たすものの第2条件を満たさないと判定された場合であっても、候補点Qtが第1条件と第2条件とを満たすと判定されたことを条件に、候補点Qtと共に候補点Qsも特徴点Pnの追跡点として採用する。この態様によれば、特徴点追跡装置1は、誤認識に対して頑健な特徴点追跡を行うことができる。以下、この点について、図5を参照しながら詳細に説明する。 Furthermore, the feature point tracking device 1 according to the present embodiment allows the candidate point Qt to satisfy the first condition and the second condition even if it is determined that the candidate condition Qs satisfies the first condition but does not satisfy the second condition. On the condition that it is determined that the condition is satisfied, the candidate point Qs is adopted as the tracking point of the feature point Pn together with the candidate point Qt. According to this aspect, the feature point tracking device 1 can perform feature point tracking that is robust against erroneous recognition. Hereinafter, this point will be described in detail with reference to FIG.
図5は、本実施形態に係る特徴点追跡装置1と他の対比例に係る特徴点追跡装置とが、同一の特徴点P1を、同一の動画において、第1フレームから第5フレームにわたってそれぞれ追跡する動作を示している。 Figure 5 is a characteristic point tracking apparatus 1 according to this embodiment and the other feature point tracking device according to the comparative example is the same feature point P 1, the same moving, respectively over the fifth frame from the first frame The operation of tracking is shown.
図5(a)は、他の対比例に係る特徴点追跡装置による特徴点追跡を説明するための図である。他の対比例に係る特徴点追跡装置は、動画の任意のフレームにおける特徴点P1の追跡点の候補である候補点の座標を、このフレームの直前のフレームにおける追跡点の座標に基づいて算出するものとする。他の対比例に係る特徴点追跡装置は、追跡対象の特徴点の追跡点であるための必要条件を満たし、かつ、特徴点であるための十分条件を満たす候補点を、追跡点として採用するものとする。 FIG. 5A is a diagram for explaining feature point tracking by a feature point tracking device according to another comparative example. Other feature point tracking device according to the comparative example is calculated based on the coordinates of the candidate point is a candidate of the tracking point of the feature point P 1 in an arbitrary frame of video, the coordinates of the tracking point in the previous frame of the frame It shall be. A feature point tracking apparatus according to another comparative example satisfies a necessary condition for being a tracking point of a feature point to be tracked, and adopts a candidate point that satisfies a sufficient condition for being a feature point as a tracking point. Shall be.
他の対比例に係る特徴点追跡装置は、図5(a)に示すように、特徴点P1の真正な追跡点の座標を第2フレーム及び第3フレームにおける候補点Q2及び候補点Q3の座標としてそれぞれ算出したものとする。しかしながら、動画の第3フレームにおいて、図5(a)に示すように、モーションブラーが発生したことが原因で、特徴点P1の真正な追跡点である候補点Q3は、特徴点であるための十分条件を満たさなくなるに至ったものとする。 Other contrasting feature point tracking apparatus according to the embodiment, as shown in FIG. 5 (a), the coordinates of the true tracking point of the feature point P 1 the second frame and the candidate points in the third frame Q 2 and the candidate point Q It is assumed that the coordinates are calculated as the coordinates of No. 3 respectively. However, in the third frame of the video, as shown in FIG. 5 (a), because the motion blur occurs, the candidate point Q 3 is authentic tracking point of the feature point P 1 is a point feature It is assumed that sufficient conditions for the application have not been satisfied.
この場合、他の対比例に係る特徴点追跡装置は、特徴点であるための十分条件を満たさない候補点Q3を、特徴点P1の真正な追跡点であるにも関わらず、追跡点として採用しないと決定してしまう。この場合、第3フレームにおける追跡点に基づいて第4フレーム及び第5フレームにわたって特徴点P1の追跡を続行することは不可能なので、他の対比例に係る特徴点追跡装置は、特徴点の追跡を中止する。すなわち、他の対比例に係る特徴点追跡装置は、第3フレームにおいて、真正な追跡点である候補点Q3を追跡点ではないと誤って認識したため、特徴点の追跡に失敗した。 In this case, the feature point tracking apparatus according to another comparative example, the candidate point Q 3 which does not satisfy the sufficient condition for a point feature, despite the genuine tracking points of the feature point P 1, the tracking point Will not be adopted. In this case, since to continue tracking of the feature point P 1 for the fourth frame and the fifth frame on the basis of the tracking point of the third frame is not possible, feature point tracking apparatus according to another comparative example, the feature points Stop tracking. That is, the feature point tracking apparatus according to another comparative example, in the third frame, for the misrecognized not the tracking point candidate point Q 3 is authentic tracking points failed to track the feature point.
図5(b)は、本実施形態に係る特徴点追跡装置1による特徴点追跡を説明するための図である。特徴点追跡装置1は、図5(b)に示すように、特徴点P1の真正な追跡点の座標を第2フレーム及び第3フレームにおける候補点Q2及び候補点Q3の座標としてそれぞれ算出したものとする。しかしながら、動画の第3フレームにおいて、図5(b)に示すように、モーションブラーが発生したことが原因で、特徴点P1の真正な追跡点である候補点Q3は、特徴点であるための十分条件を満たさなくなるに至ったものとする。 FIG. 5B is a diagram for explaining feature point tracking by the feature point tracking device 1 according to the present embodiment. Feature point tracking device 1, as shown in FIG. 5 (b), respectively the coordinates of the true tracking point of the feature point P 1 as the coordinates of the candidate point Q 2 and the candidate point Q 3 of the second frame and third frame It shall be calculated. However, in the third frame of the video, as shown in FIG. 5 (b), because the motion blur occurs, the candidate point Q 3 is authentic tracking point of the feature point P 1 is a point feature It is assumed that sufficient conditions for the application have not been satisfied.
この場合、特徴点追跡装置1は、追跡点であるための必要条件は満たすものの(ステップS107;YES)、特徴点であるための十分条件を満たさない(ステップS108;NO)候補点Q3を、特徴点軌道の構成点として採用しないと直ちには決定しない。特徴点追跡装置1は、候補点Q3が特徴点ではないと判定すると(ステップS108;NO)、特徴点P1の座標に基づいて候補点Q4の座標を算出する(ステップS111)。そして、特徴点追跡装置1は、候補点Q4が、特徴点P1の追跡点であるための必要条件を満たすか否かと(ステップS112)、特徴点であるための十分条件を満たすか否かと(ステップS113)、を判定する。ステップS111において、特徴点P1の追跡点であるための必要条件を満たし(ステップS112;YES)、特徴点であるための十分条件も満たす(ステップS113;YES)ような点の座標が候補点Q4の座標として算出されたものとする。この場合、特徴点追跡装置1は、候補点Q4が特徴点であるための十分条件を満たすと判定した(ステップS113;YES)ことに応答して、候補点Q3及び候補点Q4の両方を特徴点P1の追跡点として採用すると決定する(ステップS114)。 In this case, feature point tracking device 1, although satisfy the requirements for a tracking point (step S107: YES), does not satisfy the sufficient condition for a feature point; a (step S108 NO) candidate point Q 3 If it is not adopted as a constituent point of the feature point trajectory, it is not immediately determined. Feature point tracking device 1, when the candidate point Q 3 is determined not to be a feature point (step S108; NO), calculates the coordinates of the candidate point Q 4 on the basis of the coordinate feature point P 1 (step S111). Then, the feature point tracking device 1 determines whether or not the candidate point Q 4 satisfies a necessary condition for being a tracking point of the feature point P 1 (step S112) and whether or not a sufficient condition for being a feature point is satisfied. (Step S113). In step S111, it meets the requirements for a tracking point of the feature point P 1 (step S112; YES), also satisfy sufficient conditions for a feature point (step S113; YES) coordinate candidate points such points It shall calculated as the coordinates of Q 4. In this case, feature point tracking device 1, the candidate points Q 4 is determined and sufficient conditions are satisfied for a feature point (step S113; YES) especially in response, the candidate point Q 3 and the candidate point Q 4 both determined to adopt as the tracking point of the feature point P 1 a (step S114).
以上説明したように、特徴点追跡装置1は、候補点Q3が第1条件を満たすものの第2条件を満たさない場合であっても、候補点Q4が第1条件と第2条件とを満たしたことに応答して、候補点Q4と共に候補点Q3を追跡点として採用している。これにより、特徴点追跡装置1は、他の対比例に係る特徴点追跡装置とは異なり、真正な追跡点である候補点Q3を見落とすことを防いでいる。この結果、特徴点追跡装置1は、他の対比例に係る特徴点追跡装置よりも長時間にわたって特徴点P1を追跡し、より多数のフレームにわたって特徴点軌道を構築している。すなわち、特徴点追跡装置1は、真正な追跡点を追跡点ではないと誤って認識してしまう誤認識に対して頑健な特徴点追跡を行っている。 As described above, the feature point tracking device 1, even when the candidate point Q 3 does not satisfy the second condition of the first condition is satisfied, the candidate point Q 4 is a first condition and a second condition in response to meet the adopts a candidate point Q 3 with a candidate point Q 4 as the tracking point. Thereby, the feature point tracking device 1 is different from the feature point tracking apparatus according to another comparative example, it prevents the possibility of overlooking a candidate point Q 3 is authentic tracking point. As a result, feature point tracking device 1 tracks the feature point P 1 for a long time than the characteristic point tracking apparatus according to another comparative example, are building feature point trajectory over a number of frames. That is, the feature point tracking device 1 performs feature point tracking robust against erroneous recognition in which a genuine tracking point is incorrectly recognized as not a tracking point.
以上、本発明の実施形態について説明したが、この実施形態は一例に過ぎず、本発明の範囲はこの実施形態に限定されるものではない。本発明は、種々の形態で実施可能であり、あらゆる実施形態が本発明の範囲に含まれる。 As described above, the embodiment of the present invention has been described. However, this embodiment is merely an example, and the scope of the present invention is not limited to this embodiment. The present invention can be implemented in various forms, and all the embodiments are included in the scope of the present invention.
上記の実施形態において、特徴点追跡装置1は、動画を外部装置から予め取得し、記憶していた。しかし、これは一例に過ぎず、特徴点追跡装置1は、動画を任意の方法で取得することができる。例えば、特徴点追跡装置1は、撮像部(図示せず)を備え、この撮像部で被写体を撮像することにより自ら動画を生成してもよい。 In the above embodiment, the feature point tracking device 1 previously acquired a moving image from an external device and stored the moving image. However, this is only an example, and the feature point tracking device 1 can acquire a moving image by an arbitrary method. For example, the feature point tracking device 1 may include an image capturing unit (not shown), and may generate a moving image by capturing an image of a subject with the image capturing unit.
上記の実施形態において、第1条件は、特徴点Pnの追跡点であるための必要条件であり、第2条件は、特徴点であるための十分条件であった。しかし、これは一例に過ぎない。ユーザは、入力部30を介し、真正な追跡点の識別に有効な、互いに異なる2つの任意の条件を、第1条件及び第2条件としてそれぞれ設定できる。 In the above embodiment, the first condition is a necessary condition for being a tracking point of the feature point Pn, and the second condition is a sufficient condition for being a tracking point of the feature point Pn. However, this is only an example. Through the input unit 30, the user can set, as the first condition and the second condition, two arbitrary conditions that are different from each other and that are effective for identifying a genuine tracking point.
上記の実施形態において、指定部110は、第nフレームの次のフレームの画像を、請求項中の「他の画像」に相当する第sフレームの画像として指定した。また、指定部110は、第sフレームの次の画像を、請求項中の「さらに他の画像」に相当する第tフレームの画像として指定した。しかし、これは一例に過ぎない。指定部110は、第nフレームの画像よりも撮像時刻の新しい任意の画像を第sフレームの画像として指定できる。また、指定部110は、第nフレーム及び第sフレームの画像の何れよりも撮像時刻の新しい任意の画像を第tフレームの画像として指定できる。 In the above embodiment, the specifying unit 110 specifies the image of the frame next to the n-th frame as the image of the s-th frame corresponding to “another image” in the claims. In addition, the specifying unit 110 has specified the image following the s-th frame as the image of the t-th frame corresponding to “another image” in the claims. However, this is only an example. The specifying unit 110 can specify an arbitrary image whose imaging time is later than the image of the n-th frame as the image of the s-th frame. In addition, the specifying unit 110 can specify an arbitrary image whose imaging time is newer than any of the images of the nth frame and the sth frame as the image of the tth frame.
上記の実施形態において、特徴点追跡装置1は、候補点Qtが第1条件及び第2条件を満たすか否かに応じて、候補点Qtとは異なる1つの候補点、すなわち候補点Qsを特徴点Pnの追跡点として採用するか否かを決定した。しかし、これは一例に過ぎない。特徴点追跡装置1は、候補点Qtが第1条件及び第2条件を満たすか否かに応じて、第nフレームの画像よりも撮像時刻が新しく、かつ、第tフレームの画像よりも撮像時刻が古い任意の数の画像における特徴点Pnの追跡点の候補である点について、特徴点Pnの追跡点として採用するか否かを決定できる。 In the above embodiment, the feature point tracking device 1 determines one candidate point different from the candidate point Qt, that is, the candidate point Qs, according to whether the candidate point Qt satisfies the first condition and the second condition. It was determined whether or not to adopt the point Pn as a tracking point. However, this is only an example. The feature point tracking device 1 determines whether the candidate point Qt satisfies the first condition and the second condition, the imaging time is newer than the n-th frame image, and the imaging time is longer than the t-th frame image. Is a candidate for a tracking point of the feature point Pn in an arbitrary number of old images, it can be determined whether or not to be adopted as a tracking point of the feature point Pn.
具体的に、特徴点追跡装置1は、次のような態様により、候補点Qtが第1条件及び第2条件を満たすか否かに応じて、第nフレームの画像よりも撮像時刻が新しく、かつ、第tフレームの画像よりも撮像時刻が古い任意の数の画像における特徴点Pnの追跡点の候補である点について、特徴点Pnの追跡点として採用するか否かを決定すればよい。まず、追跡部120が、請求項中の「一の画像」に相当する第nフレームの画像よりも撮像時刻が新しく、かつ、請求項中の「さらに他の画像」に相当する第tフレームの画像よりも撮像時刻が古い少なくとも1つ以上の画像それぞれにおける特徴点Pnの追跡点の候補である少なくとも1つ以上の候補点の座標を算出する。次に、判定部130が、追跡部120が座標を算出した少なくとも1つ以上の候補点が、それぞれ、第1条件と第2条件とを満たすか否かを判定する。決定部140は、請求項中の「他の候補点」に相当する候補点Qtが第1条件と第2条件とを満たすと判定部130が判定した場合、追跡部120が座標を算出した少なくとも1つ以上の候補点のうち、第1条件を満たすものの第2条件を満たさないと判定部130が判定した候補点を、特徴点Pnの追跡点として採用すると決定する。決定部140は、候補点Qtが第1条件と第2条件とのうち少なくとも何れか一方を満たさないと判定部130が判定した場合、追跡部120が座標を算出した少なくとも1つ以上の候補点のうち、第1条件を満たすものの第2条件を満たさない判定部130が判定した候補点を、特徴点Pnの追跡点として採用しないと決定する。なお、決定部140が少なくとも1つ以上の候補点を特徴点Pnの追跡点として採用すると決定した場合には、構築部150が、これらの候補点を特徴点軌道の構成点として取得することとしてもよい。 Specifically, in the following manner, the feature point tracking device 1 has a newer imaging time than the image of the n-th frame depending on whether the candidate point Qt satisfies the first condition and the second condition, In addition, it suffices to determine whether or not a point that is a candidate for a tracking point of the feature point Pn in an arbitrary number of images whose imaging time is earlier than the image of the t-th frame is adopted as a tracking point of the feature point Pn. First, the tracking unit 120 determines that the imaging time is newer than the image of the n-th frame corresponding to “one image” in the claims and that the t-th frame corresponds to “another image” in the claims. The coordinates of at least one or more candidate points which are candidates for the tracking point of the feature point Pn in each of at least one or more images whose imaging time is earlier than the image are calculated. Next, the determination unit 130 determines whether at least one or more candidate points whose coordinates have been calculated by the tracking unit 120 satisfy the first condition and the second condition, respectively. When the determination unit 130 determines that the candidate point Qt corresponding to “another candidate point” in the claims satisfies the first condition and the second condition, at least the determination unit 140 calculates the coordinates by the tracking unit 120. Among the one or more candidate points, the candidate point determined by the determination unit 130 that satisfies the first condition but does not satisfy the second condition is determined to be adopted as the tracking point of the feature point Pn. When the determination unit 130 determines that the candidate point Qt does not satisfy at least one of the first condition and the second condition, the determination unit 140 determines at least one or more candidate points for which the tracking unit 120 has calculated the coordinates. Among them, it is determined that the candidate point determined by the determination unit 130 that satisfies the first condition but does not satisfy the second condition is not adopted as the tracking point of the feature point Pn. When the determining unit 140 determines that at least one or more candidate points are to be adopted as tracking points of the feature points Pn, the constructing unit 150 acquires these candidate points as constituent points of the feature point trajectory. Is also good.
上記の実施形態において、指定部110は、動画を構成する複数の画像のうち、第nフレームの画像よりも撮像時刻が新しいフレームの画像を指定したが、第nフレームの画像よりも撮像時刻が古いフレームの画像を指定して、特徴点を追跡してもよい。 In the above embodiment, the specifying unit 110 specifies the image of the frame whose imaging time is newer than the image of the n-th frame among the plurality of images constituting the moving image, but the imaging time is longer than the image of the n-th frame. The feature point may be tracked by specifying an image of an old frame.
本発明に係る特徴点追跡装置は、カメラやコンピュータ、スマートフォン、PDA(Personal Digital Assistance)等の任意の電子機器によって実現できる。具体的には、これらの電子機器を本発明に係る特徴点追跡装置として動作させるためのプログラムを、これらの電子機器が読み取り可能な記録媒体(例えば、メモリカードやCD−ROM(Compact Disc Read-Only Memory)、DVD−ROM(Digital Versatile Disc Read-Only Memory)等)に格納して配布し、これらの電子機器にインストールすることにより本発明に係る特徴点追跡装置を実現できる。 The feature point tracking device according to the present invention can be realized by any electronic device such as a camera, a computer, a smartphone, and a PDA (Personal Digital Assistance). Specifically, a program for operating these electronic devices as the feature point tracking device according to the present invention is stored in a recording medium (for example, a memory card or a CD-ROM (Compact Disc Read- Only memory), a DVD-ROM (Digital Versatile Disc Read-Only Memory), and the like, and distributed, and installed in these electronic devices, the feature point tracking device according to the present invention can be realized.
あるいは、上記プログラムを、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置(例えば、ディスク装置等)に格納しておき、カメラやコンピュータ、スマートフォン、PDA等の電子機器がこのプログラムをダウンロードすることによって本発明に係る特徴点追跡装置を実現してもよい。 Alternatively, the program is stored in a storage device (for example, a disk device or the like) of a server device on a communication network such as the Internet, and an electronic device such as a camera, a computer, a smartphone, or a PDA downloads the program. Thus, the feature point tracking device according to the present invention may be realized.
また、本発明に係る特徴点追跡装置の機能を、OS(Operating System)とアプリケーションプログラムとの協働又は分担により実現する場合には、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。 When the function of the feature point tracking device according to the present invention is realized by cooperation or sharing between an OS (Operating System) and an application program, only the application program portion may be stored in a recording medium or a storage device. Good.
また、アプリケーションプログラムを搬送波に重畳し、通信ネットワークを介して配信してもよい。例えば、通信ネットワーク上の掲示板(BBS:Bulletin Board System)にアプリケーションプログラムを掲示し、ネットワークを介してアプリケーションプログラムを配信してもよい。そして、このアプリケーションプログラムをコンピュータにインストールして起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、本発明に係る特徴点追跡装置を実現してもよい。 Further, the application program may be superimposed on a carrier wave and distributed via a communication network. For example, an application program may be posted on a bulletin board (BBS: Bulletin Board System) on a communication network, and the application program may be distributed via the network. Then, the application program may be installed in a computer, activated, and executed in the same manner as other application programs under the control of the OS, thereby realizing the feature point tracking device according to the present invention.
以上、本発明の好ましい実施の形態について説明したが、本発明は係る特定の実施の形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願当初の特許請求の範囲に記載された発明を付記する。 The preferred embodiments of the present invention have been described above. However, the present invention is not limited to the specific embodiments, and the present invention includes the inventions described in the claims and the scope of equivalents thereof. Is included. Hereinafter, the inventions described in the claims at the time of filing the application of the present application are additionally described.
(付記1)
連続する複数の画像のうち一の画像から特徴点を抽出する抽出手段と、
前記複数の画像のうち前記一の画像よりも撮像時刻が新しい、又は古い他の画像を指定する指定手段と、
前記他の画像における前記特徴点の追跡点の候補である候補点の座標を算出する追跡手段と、
前記候補点が、第1条件と、前記第1条件とは異なる第2条件と、を満たすか否かを判定する判定手段と、
前記判定手段による判定の結果に基づいて、前記候補点を前記特徴点の追跡点として採用するか否かを決定する決定手段と、
前記決定手段が前記候補点を前記特徴点の追跡点として採用すると決定した場合に、前記候補点を前記連続する複数の画像中の前記特徴点の軌跡である特徴点軌道の構成点として取得すると共に、前記複数の画像のうち前記指定手段が指定する画像を変えて、前記追跡手段、前記判定手段及び前記決定手段の処理を繰り返すことにより、前記特徴点軌道を構築する構築手段と、を備えることを特徴とする特徴点追跡装置。
(Appendix 1)
Extracting means for extracting feature points from one image of a plurality of continuous images,
Designation means for designating another image whose imaging time is newer or older than the one image of the plurality of images,
Tracking means for calculating coordinates of a candidate point which is a candidate for a tracking point of the feature point in the other image;
Determining means for determining whether or not the candidate point satisfies a first condition and a second condition different from the first condition;
Determining means for determining whether to adopt the candidate point as a tracking point of the feature point, based on a result of the determination by the determining means;
When the determining unit determines that the candidate point is adopted as the tracking point of the feature point, the candidate point is acquired as a constituent point of a feature point trajectory that is a trajectory of the feature point in the plurality of continuous images. And constructing means for constructing the feature point trajectory by changing the image designated by the designating means among the plurality of images and repeating the processing of the tracking means, the determining means and the deciding means. A feature point tracking apparatus characterized in that:
(付記2)
前記決定手段は、前記候補点が前記第1条件及び前記第2条件を満たすと前記判定手段が判定した場合、前記候補点を前記特徴点の追跡点として採用すると決定することを特徴とする付記1に記載の特徴点追跡装置。
(Appendix 2)
Wherein the determining unit determines that the candidate point is adopted as a tracking point of the feature point when the determining unit determines that the candidate point satisfies the first condition and the second condition. 2. The feature point tracking device according to 1.
(付記3)
前記決定手段は、前記候補点が前記第1条件を満たさないと前記判定手段が判定した場合、前記候補点を前記特徴点の追跡点として採用しないと決定することを特徴とする付記1又は2に記載の特徴点追跡装置。
(Appendix 3)
Wherein the determining unit determines that the candidate point is not adopted as a tracking point of the feature point when the determining unit determines that the candidate point does not satisfy the first condition. 3. The feature point tracking device according to item 1.
(付記4)
前記追跡手段は、前記候補点が前記第1条件を満たすものの前記第2条件を満たさないと前記判定手段が判定した場合、前記一の画像と前記他の画像との何れよりも撮像時刻の新しい、又は古いさらに他の画像における前記特徴点の追跡点の候補である他の候補点の座標を算出し、
前記判定手段は、前記他の候補点が前記第1条件と前記第2条件とを満たすか否かを判定し、
前記決定手段は、前記判定手段による判定の結果に基づいて、前記他の候補点を前記特徴点の追跡点として採用するか否かを決定し、
前記構築手段は、前記決定手段が前記他の候補点を前記特徴点の追跡点として採用すると決定した場合に、前記他の候補点を前記特徴点軌道の構成点として取得することを特徴とする付記1乃至3の何れか一つに記載の特徴点追跡装置。
(Appendix 4)
The tracking unit, when the determination unit determines that the candidate point satisfies the first condition but does not satisfy the second condition, has a newer imaging time than any of the one image and the other image. , Or calculate the coordinates of another candidate point that is a candidate for the tracking point of the feature point in still another image,
The determination means determines whether the other candidate point satisfies the first condition and the second condition,
The determining unit determines whether to adopt the other candidate point as a tracking point of the feature point based on a result of the determination by the determining unit,
The construction means acquires the other candidate point as a constituent point of the feature point trajectory when the decision means decides to adopt the another candidate point as a tracking point of the feature point. The feature point tracking device according to any one of supplementary notes 1 to 3.
(付記5)
前記決定手段は、前記他の候補点が前記第1条件と前記第2条件とを満たすと前記判定手段が判定した場合、前記他の候補点と、前記第1条件を満たすものの前記第2条件を満たさないと前記判定手段が判定した前記候補点と、を前記特徴点の追跡点として採用すると決定することを特徴とする付記4に記載の特徴点追跡装置。
(Appendix 5)
The determining unit determines, when the determining unit determines that the other candidate point satisfies the first condition and the second condition, the other candidate point and the second condition that satisfies the first condition. 5. The feature point tracking device according to claim 4, wherein the candidate point determined by the determination means that the condition is not satisfied is determined to be adopted as the tracking point of the feature point.
(付記6)
前記決定手段は、前記他の候補点が前記第1条件と前記第2条件とのうち少なくとも何れか一方を満たさないと前記判定手段が判定した場合、前記他の候補点と、前記第1条件を満たすものの前記第2条件を満たさないと前記判定手段が判定した前記候補点と、を前記特徴点の追跡点として採用しないと決定することを特徴とする付記4又は5に記載の特徴点追跡装置。
(Appendix 6)
The determining unit determines the other candidate point and the first condition when the determining unit determines that the other candidate point does not satisfy at least one of the first condition and the second condition. 6. The feature point tracking according to claim 4, wherein the candidate point determined by the determination unit but satisfying the second condition but not satisfying the second condition is not adopted as a tracking point of the feature point. apparatus.
(付記7)
前記追跡手段は、前記一の画像よりも撮像時刻が新しく、かつ、前記さらに他の画像よりも撮像時刻が古い少なくとも1つ以上の画像それぞれにおける前記特徴点の追跡点の候補である少なくとも1つ以上の候補点の座標を算出し、
前記判定手段は、前記少なくとも1つ以上の候補点が、それぞれ、前記第1条件と前記第2条件とを満たすか否かを判定し、
前記決定手段は、
前記他の候補点が前記第1条件と前記第2条件とを満たすと前記判定手段が判定した場合、前記第1条件を満たすものの前記第2条件を満たさないと前記判定手段が判定した前記少なくとも1つ以上の候補点を、前記特徴点の追跡点として採用すると決定し、
前記他の候補点が前記第1条件と前記第2条件とのうち少なくとも何れか一方を満たさないと前記判定手段が判定した場合、前記第1条件を満たすものの前記第2条件を満たさない前記判定手段が判定した前記少なくとも1つ以上の候補点を、前記特徴点の追跡点として採用しないと決定し、
前記構築手段は、前記少なくとも1つ以上の候補点を、前記決定手段が前記少なくとも1つ以上の候補点を前記特徴点の追跡点として採用すると決定した場合に、前記特徴点軌道の構成点として取得することを特徴とする付記4乃至6の何れか一つに記載の特徴点追跡装置。
(Appendix 7)
The tracking means may include at least one candidate for a tracking point of the feature point in each of at least one or more images whose imaging time is later than the one image and whose imaging time is earlier than the further image. Calculate the coordinates of the above candidate points,
The determination means determines whether or not the at least one or more candidate points respectively satisfy the first condition and the second condition,
The determining means comprises:
When the determination unit determines that the other candidate point satisfies the first condition and the second condition, the at least determination unit determines that the first condition is satisfied but the second condition is not satisfied. Determining to employ one or more candidate points as tracking points for the feature points;
When the determination unit determines that the other candidate point does not satisfy at least one of the first condition and the second condition, the determination that the first condition is satisfied but the second condition is not satisfied is performed. Determining that the at least one or more candidate points determined by the means are not adopted as tracking points of the feature points;
The constructing means determines the at least one or more candidate points as constituent points of the feature point trajectory when the determining means determines to adopt the at least one or more candidate points as tracking points of the feature points. 7. The feature point tracking device according to any one of supplementary notes 4 to 6, wherein the feature point tracking device acquires the feature point.
(付記8)
前記他の画像は、前記一の画像の次に撮像時刻が新しい、又は古い画像であり、
前記さらに他の画像は、前記他の画像の次に撮像時刻が新しい、又は古い画像であることを特徴とする付記4乃至6の何れか一つに記載の特徴点追跡装置。
(Appendix 8)
The other image is a new or old image at the imaging time next to the one image,
7. The feature point tracking apparatus according to any one of supplementary notes 4 to 6, wherein the still other image is an image whose imaging time is newer or older than the other image.
(付記9)
前記第1条件は、前記特徴点の追跡点であるための必要条件であり、
前記第2条件は、特徴点であるための十分条件であることを特徴とする付記1乃至8の何れか一つに記載の特徴点追跡装置。
(Appendix 9)
The first condition is a necessary condition for being a tracking point of the feature point,
The feature point tracking device according to any one of supplementary notes 1 to 8, wherein the second condition is a sufficient condition for being a feature point.
(付記10)
連続する複数の画像のうち一の画像から特徴点を抽出する抽出ステップと、
前記複数の画像のうち前記一の画像よりも撮像時刻が新しい、又は古い他の画像を指定する指定ステップと、
前記他の画像における前記特徴点の追跡点の候補である候補点の座標を算出する追跡ステップと、
前記候補点が、第1条件と、前記第1条件とは異なる第2条件と、を満たすか否かを判定する判定ステップと、
前記判定ステップにおける判定の結果に基づいて、前記候補点を前記特徴点の追跡点として採用するか否かを決定する決定ステップと、
前記決定ステップにおいて前記候補点を前記特徴点の追跡点として採用すると決定した場合に、前記候補点を前記連続する複数の画像中の前記特徴点の軌跡である特徴点軌道の構成点として取得すると共に、前記複数の画像のうち前記指定ステップにおいて指定する画像を変えて、前記追跡ステップ、前記判定ステップ及び前記決定ステップの処理を繰り返すことにより、前記特徴点軌道を構築する構築ステップと、を含むことを特徴とする特徴点追跡方法。
(Appendix 10)
An extracting step of extracting a feature point from one image among a plurality of continuous images,
A designation step of designating another image whose imaging time is newer or older than the one image of the plurality of images,
A tracking step of calculating coordinates of a candidate point that is a candidate for the tracking point of the feature point in the other image;
A determining step of determining whether the candidate point satisfies a first condition and a second condition different from the first condition;
A determining step of determining whether to adopt the candidate point as a tracking point of the feature point, based on a result of the determination in the determining step;
When it is determined in the determining step that the candidate point is adopted as a tracking point of the feature point, the candidate point is acquired as a constituent point of a feature point trajectory that is a trajectory of the feature point in the continuous plurality of images. And a construction step of constructing the feature point trajectory by changing the image designated in the designation step of the plurality of images and repeating the processes of the tracking step, the determination step, and the determination step. A feature point tracking method characterized in that:
(付記11)
コンピュータを、
連続する複数の画像のうち一の画像から特徴点を抽出する抽出手段、
前記複数の画像のうち前記一の画像よりも撮像時刻が新しい、又は古い他の画像を指定する指定手段、
前記他の画像における前記特徴点の追跡点の候補である候補点の座標を算出する追跡手段、
前記候補点が、第1条件と、前記第1条件とは異なる第2条件と、を満たすか否かを判定する判定手段、
前記判定手段による判定の結果に基づいて、前記候補点を前記特徴点の追跡点として採用するか否かを決定する決定手段、
前記決定手段が前記候補点を前記特徴点の追跡点として採用すると決定した場合に、前記候補点を前記連続する複数の画像中の前記特徴点の軌跡である特徴点軌道の構成点として取得すると共に、前記複数の画像のうち前記指定手段が指定する画像を変えて、前記追跡手段、前記判定手段及び前記決定手段の処理を繰り返すことにより、前記特徴点軌道を構築する構築手段、として機能させることを特徴とするプログラム。
(Appendix 11)
Computer
Extracting means for extracting feature points from one image of a plurality of continuous images,
Designation means for designating another image whose imaging time is newer or older than the one image of the plurality of images,
Tracking means for calculating coordinates of a candidate point which is a candidate for a tracking point of the feature point in the other image;
Determining means for determining whether the candidate point satisfies a first condition and a second condition different from the first condition;
Determining means for determining whether to adopt the candidate point as a tracking point of the feature point based on a result of the determination by the determining means;
When the determining unit determines that the candidate point is adopted as the tracking point of the feature point, the candidate point is acquired as a constituent point of a feature point trajectory that is a trajectory of the feature point in the plurality of continuous images. In addition, by changing the image specified by the specifying unit out of the plurality of images and repeating the processing of the tracking unit, the determining unit, and the determining unit, the image processing unit functions as a constructing unit that constructs the feature point trajectory. A program characterized by the following.
1…特徴点追跡装置、10…CPU、20…記憶部、30…入力部、40…出力部、50…外部インタフェース、100…抽出部、110…指定部、120…追跡部、130…判定部、140…決定部、150…構築部、Pn,P1…特徴点、Qt,Qs,Q2〜Q5…候補点 DESCRIPTION OF SYMBOLS 1 ... Feature point tracking apparatus, 10 ... CPU, 20 ... Storage part, 30 ... Input part, 40 ... Output part, 50 ... External interface, 100 ... Extraction part, 110 ... Designation part, 120 ... Tracking part, 130 ... Judgment part , 140 ... determining unit, 150 ... construction unit, Pn, P 1 ... feature point, Qt, Qs, Q 2 ~Q 5 ... candidate points
Claims (11)
前記複数の画像のうち前記一の画像よりも撮像時刻が新しい、又は古い他の画像を指定する指定手段と、
前記他の画像における前記特徴点の追跡点の候補である候補点の座標を、SAD(Sum of Absolute Difference)の評価に基づいたブロックマッチング法を用いて算出する追跡手段と、
前記候補点の座標を算出した際に取得したSADの最小値が所定の複数の条件の何れにも該当しないことである第1条件と、前記候補点の座標が所定の式を満たすことである第2条件と、を満たすか否かを判定する判定手段と、
前記判定手段による判定の結果に基づいて、前記候補点を前記特徴点の追跡点として採用するか否かを決定する決定手段と、
前記決定手段が前記候補点を前記特徴点の追跡点として採用すると決定した場合に、前記候補点を前記連続する複数の画像中の前記特徴点の軌跡である特徴点軌道の構成点として取得すると共に、前記複数の画像のうち前記指定手段が指定する画像を変えて、前記追跡手段、前記判定手段及び前記決定手段の処理を繰り返すことにより、前記特徴点軌道を構築する構築手段と、を備え、
前記追跡手段は、前記候補点が前記第1条件を満たすものの前記第2条件を満たさないと前記判定手段が判定した場合、前記一の画像と前記他の画像との何れよりも撮像時刻の新しい、又は古いさらに他の画像における前記特徴点の追跡点の候補である他の候補点の座標を算出し、
前記判定手段は、前記他の候補点が前記第1条件と前記第2条件とを満たすか否かを判定し、
前記決定手段は、前記判定手段による判定の結果に基づいて、前記他の候補点を前記特徴点の追跡点として採用するか否かを決定し、
前記構築手段は、前記決定手段が前記他の候補点を前記特徴点の追跡点として採用すると決定した場合に、前記他の候補点を前記特徴点軌道の構成点として取得することを特徴とする特徴点追跡装置。 Extracting means for extracting feature points from one image of a plurality of continuous images,
Designation means for designating another image whose imaging time is newer or older than the one image of the plurality of images,
Tracking means for calculating the coordinates of a candidate point which is a candidate for the tracking point of the feature point in the other image using a block matching method based on the evaluation of SAD (Sum of Absolute Difference) ;
A first condition that the minimum value of the SAD obtained when calculating the coordinates of the candidate point does not correspond to any of the predetermined conditions, and that the coordinates of the candidate point satisfy a predetermined expression. A second condition, and a determination means for determining whether or not the second condition is satisfied;
Determining means for determining whether to adopt the candidate point as a tracking point of the feature point, based on a result of the determination by the determining means;
When the determining unit determines that the candidate point is adopted as the tracking point of the feature point, the candidate point is acquired as a constituent point of a feature point trajectory that is a trajectory of the feature point in the plurality of continuous images. Constructing means for constructing the feature point trajectory by changing the image designated by the designation means among the plurality of images and repeating the processing of the tracking means, the determination means and the determination means. ,
The tracking unit, when the determination unit determines that the candidate point satisfies the first condition but does not satisfy the second condition, has a newer imaging time than any of the one image and the other image. , Or calculate the coordinates of another candidate point that is a candidate for the tracking point of the feature point in still another image,
The determination means determines whether the other candidate point satisfies the first condition and the second condition,
The determining unit determines whether to adopt the other candidate point as a tracking point of the feature point based on a result of the determination by the determining unit,
The construction means acquires the other candidate point as a constituent point of the feature point trajectory when the decision means decides to adopt the another candidate point as a tracking point of the feature point. Feature point tracking device.
前記判定手段は、前記少なくとも1つ以上の候補点が、それぞれ、前記第1条件と前記第2条件とを満たすか否かを判定し、
前記決定手段は、
前記他の候補点が前記第1条件と前記第2条件とを満たすと前記判定手段が判定した場合、前記第1条件を満たすものの前記第2条件を満たさないと前記判定手段が判定した前記少なくとも1つ以上の候補点を、前記特徴点の追跡点として採用すると決定し、
前記他の候補点が前記第1条件と前記第2条件とのうち少なくとも何れか一方を満たさないと前記判定手段が判定した場合、前記第1条件を満たすものの前記第2条件を満たさない前記判定手段が判定した前記少なくとも1つ以上の候補点を、前記特徴点の追跡点として採用しないと決定し、
前記構築手段は、前記少なくとも1つ以上の候補点を、前記決定手段が前記少なくとも1つ以上の候補点を前記特徴点の追跡点として採用すると決定した場合に、前記特徴点軌道の構成点として取得することを特徴とする請求項1乃至5の何れか一項に記載の特徴点追跡装置。 The tracking means may include at least one candidate for a tracking point of the feature point in each of at least one or more images whose imaging time is later than the one image and whose imaging time is earlier than the further image. Calculate the coordinates of the above candidate points,
The determination means determines whether or not the at least one or more candidate points respectively satisfy the first condition and the second condition,
The determining means comprises:
When the determination unit determines that the other candidate point satisfies the first condition and the second condition, the at least determination unit determines that the first condition is satisfied but the second condition is not satisfied. Determining to employ one or more candidate points as tracking points for the feature points;
When the determination unit determines that the other candidate point does not satisfy at least one of the first condition and the second condition, the determination that the first condition is satisfied but the second condition is not satisfied is performed. Determining that the at least one or more candidate points determined by the means are not adopted as tracking points of the feature points;
The constructing means determines the at least one or more candidate points as constituent points of the feature point trajectory when the determining means determines to adopt the at least one or more candidate points as tracking points of the feature points. The feature point tracking device according to claim 1 , wherein the feature point tracking device acquires the feature point.
前記さらに他の画像は、前記他の画像の次に撮像時刻が新しい、又は古い画像であることを特徴とする請求項1乃至6の何れか一項に記載の特徴点追跡装置。 The other image is a new or old image at the imaging time next to the one image,
It said still another image, the other next to the imaging time is new, or feature tracking apparatus according to any one of claims 1 to 6, characterized in that the old image of the image.
(A)SADの最小値が所定の閾値以下である(A) The minimum value of SAD is equal to or less than a predetermined threshold
(B)隣り合わない複数の点が、SADの最小値を有する(B) Non-adjacent points have minimum SAD
(C)SADの最小値を有する点が、探索範囲の外周部に予め設定されたエラー範囲内に含まれている(C) The point having the minimum value of the SAD is included in an error range preset on the outer periphery of the search range.
の何れにも該当しないことであることを特徴とする請求項1乃至7の何れか一項に記載の特徴点追跡装置。The feature point tracking device according to claim 1, wherein the feature point tracking device does not correspond to any of the above.
式(1)中のλmaxとλminは、前記候補点の座標(x、y)に対して式(2)を満たす行列の固有値であり、式(3)で表され、Λmax and λmin in Expression (1) are eigenvalues of a matrix satisfying Expression (2) with respect to the coordinates (x, y) of the candidate point, and are represented by Expression (3).
式(2)、(3)中のIxは、画像の輝度値のx軸方向における微分値を表し、Iyは、画像の輝度値のy軸方向における微分値を表し、wはガウス関数で表される重みを表し、Σは前記候補点の座標(x、y)を中心とする所定範囲内で積算することを表す、ことを特徴とする請求項1乃至8の何れか一項に記載の特徴点追跡装置。In Expressions (2) and (3), Ix represents the differential value of the luminance value of the image in the x-axis direction, Iy represents the differential value of the luminance value of the image in the y-axis direction, and w represents the Gaussian function. 9. The weight according to claim 1, wherein 重 み represents integration within a predetermined range around the coordinates (x, y) of the candidate point. 10. Feature point tracking device.
前記複数の画像のうち前記一の画像よりも撮像時刻が新しい、又は古い他の画像を指定する指定ステップと、
前記他の画像における前記特徴点の追跡点の候補である候補点の座標を、SAD(Sum of Absolute Difference)の評価に基づいたブロックマッチング法を用いて算出する追跡ステップと、
前記候補点の座標を算出した際に取得したSADの最小値が所定の複数の条件の何れにも該当しないことである第1条件と、前記候補点の座標が所定の式を満たすことである第2条件と、を満たすか否かを判定する判定ステップと、
前記判定ステップにおける判定の結果に基づいて、前記候補点を前記特徴点の追跡点として採用するか否かを決定する決定ステップと、
前記決定ステップにおいて前記候補点を前記特徴点の追跡点として採用すると決定した場合に、前記候補点を前記連続する複数の画像中の前記特徴点の軌跡である特徴点軌道の構成点として取得すると共に、前記複数の画像のうち前記指定ステップにおいて指定する画像を変えて、前記追跡ステップ、前記判定ステップ及び前記決定ステップの処理を繰り返すことにより、前記特徴点軌道を構築する構築ステップと、を含み、
前記追跡ステップは、前記候補点が前記第1条件を満たすものの前記第2条件を満たさないと前記判定ステップが判定した場合、前記一の画像と前記他の画像との何れよりも撮像時刻の新しい、又は古いさらに他の画像における前記特徴点の追跡点の候補である他の候補点の座標を算出し、
前記判定ステップは、前記他の候補点が前記第1条件と前記第2条件とを満たすか否かを判定し、
前記決定ステップは、前記判定ステップによる判定の結果に基づいて、前記他の候補点を前記特徴点の追跡点として採用するか否かを決定し、
前記構築ステップは、前記決定ステップが前記他の候補点を前記特徴点の追跡点として採用すると決定した場合に、前記他の候補点を前記特徴点軌道の構成点として取得することを特徴とする特徴点追跡方法。 An extracting step of extracting a feature point from one image among a plurality of continuous images,
A designation step of designating another image whose imaging time is newer or older than the one image of the plurality of images,
A tracking step of calculating the coordinates of a candidate point that is a candidate for the tracking point of the feature point in the other image using a block matching method based on evaluation of SAD (Sum of Absolute Difference) ;
A first condition that the minimum value of the SAD obtained when calculating the coordinates of the candidate point does not correspond to any of the predetermined conditions, and that the coordinates of the candidate point satisfy a predetermined expression. A second condition, and a determining step of determining whether or not the second condition is satisfied;
A determining step of determining whether to adopt the candidate point as a tracking point of the feature point, based on a result of the determination in the determining step;
When it is determined in the determining step that the candidate point is adopted as a tracking point of the feature point, the candidate point is acquired as a constituent point of a feature point trajectory that is a trajectory of the feature point in the continuous plurality of images. And a construction step of constructing the feature point trajectory by changing the image designated in the designation step of the plurality of images and repeating the processes of the tracking step, the determination step, and the determination step. See
The tracking step includes, when the candidate point satisfies the first condition but does not satisfy the second condition, the determination step determines that the candidate point has a newer imaging time than any of the one image and the other image. , Or calculate the coordinates of another candidate point that is a candidate for the tracking point of the feature point in still another image,
The determining step determines whether the other candidate point satisfies the first condition and the second condition,
The determining step, based on a result of the determination by the determining step, determines whether to adopt the other candidate point as a tracking point of the feature point,
The constructing step is characterized in that, when the determining step determines that the other candidate point is adopted as a tracking point of the feature point, acquiring the other candidate point as a constituent point of the feature point trajectory. Feature point tracking method.
連続する複数の画像のうち一の画像から特徴点を抽出する抽出手段、
前記複数の画像のうち前記一の画像よりも撮像時刻が新しい、又は古い他の画像を指定する指定手段、
前記他の画像における前記特徴点の追跡点の候補である候補点の座標を、SAD(Sum of Absolute Difference)の評価に基づいたブロックマッチング法を用いて算出する追跡手段、
前記候補点の座標を算出した際に取得したSADの最小値が所定の複数の条件の何れにも該当しないことである第1条件と、前記候補点の座標が所定の式を満たすことである第2条件と、を満たすか否かを判定する判定手段、
前記判定手段による判定の結果に基づいて、前記候補点を前記特徴点の追跡点として採用するか否かを決定する決定手段、
前記決定手段が前記候補点を前記特徴点の追跡点として採用すると決定した場合に、前記候補点を前記連続する複数の画像中の前記特徴点の軌跡である特徴点軌道の構成点として取得すると共に、前記複数の画像のうち前記指定手段が指定する画像を変えて、前記追跡手段、前記判定手段及び前記決定手段の処理を繰り返すことにより、前記特徴点軌道を構築する構築手段、として機能させるプログラムであって、
前記追跡手段は、前記候補点が前記第1条件を満たすものの前記第2条件を満たさないと前記判定手段が判定した場合、前記一の画像と前記他の画像との何れよりも撮像時刻の新しい、又は古いさらに他の画像における前記特徴点の追跡点の候補である他の候補点の座標を算出し、
前記判定手段は、前記他の候補点が前記第1条件と前記第2条件とを満たすか否かを判定し、
前記決定手段は、前記判定手段による判定の結果に基づいて、前記他の候補点を前記特徴点の追跡点として採用するか否かを決定し、
前記構築手段は、前記決定手段が前記他の候補点を前記特徴点の追跡点として採用すると決定した場合に、前記他の候補点を前記特徴点軌道の構成点として取得することを特徴とするプログラム。 Computer
Extracting means for extracting feature points from one image of a plurality of continuous images,
Designation means for designating another image whose imaging time is newer or older than the one image of the plurality of images,
A tracking unit that calculates the coordinates of a candidate point that is a candidate for the tracking point of the feature point in the other image using a block matching method based on an evaluation of SAD (Sum of Absolute Difference) ;
A first condition that the minimum value of the SAD obtained when calculating the coordinates of the candidate point does not correspond to any of a plurality of predetermined conditions, and that the coordinates of the candidate point satisfy a predetermined expression. A second condition, and a determination means for determining whether or not the second condition is satisfied;
Determining means for determining whether or not to adopt the candidate point as a tracking point of the feature point, based on a result of the determination by the determining means;
When the determining unit determines to adopt the candidate point as the tracking point of the feature point, the candidate point is acquired as a constituent point of a feature point trajectory that is a trajectory of the feature point in the plurality of continuous images. In addition, a function of constructing the feature point trajectory by changing the image designated by the designating unit among the plurality of images and repeating the processing of the tracking unit, the determining unit and the determining unit is repeated. A program,
The tracking unit, when the determination unit determines that the candidate point satisfies the first condition but does not satisfy the second condition, has a newer imaging time than either the one image or the other image. , Or calculate the coordinates of another candidate point that is a candidate for the tracking point of the feature point in still another image,
The determination means determines whether the other candidate point satisfies the first condition and the second condition,
The determining means determines whether to adopt the other candidate point as a tracking point of the feature point based on a result of the determination by the determining means,
The constructing means acquires the other candidate points as constituent points of the feature point trajectory when the determining means decides to adopt the other candidate points as tracking points of the feature points. program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015227969A JP6627450B2 (en) | 2015-11-20 | 2015-11-20 | Feature point tracking device, feature point tracking method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015227969A JP6627450B2 (en) | 2015-11-20 | 2015-11-20 | Feature point tracking device, feature point tracking method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017097554A JP2017097554A (en) | 2017-06-01 |
JP6627450B2 true JP6627450B2 (en) | 2020-01-08 |
Family
ID=58803838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015227969A Active JP6627450B2 (en) | 2015-11-20 | 2015-11-20 | Feature point tracking device, feature point tracking method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6627450B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4482795B2 (en) * | 2004-03-05 | 2010-06-16 | ソニー株式会社 | Image processing apparatus, moving object tracking method, moving object tracking program, monitoring apparatus, and game apparatus |
JP5087264B2 (en) * | 2005-12-08 | 2012-12-05 | 株式会社トプコン | Image processing apparatus and method |
JP5429885B2 (en) * | 2008-07-24 | 2014-02-26 | 国立大学法人静岡大学 | Feature point tracking method and feature point tracking device |
WO2012137621A1 (en) * | 2011-04-07 | 2012-10-11 | 富士フイルム株式会社 | Image processing method and device |
-
2015
- 2015-11-20 JP JP2015227969A patent/JP6627450B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017097554A (en) | 2017-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10936911B2 (en) | Logo detection | |
US9911053B2 (en) | Information processing apparatus, method for tracking object and program storage medium | |
WO2016085549A1 (en) | Method and system for processing a sequence of images to identify, track, and/or target an object on a body of water | |
JP2013541096A (en) | An adaptive framework for cloud-assisted augmented reality | |
US20120106784A1 (en) | Apparatus and method for tracking object in image processing system | |
JPWO2015186341A1 (en) | Image processing system, image processing method, and program | |
CN108596079B (en) | Gesture recognition method and device and electronic equipment | |
JP6652051B2 (en) | Detection system, detection method and program | |
KR20220093187A (en) | Positioning method and apparatus, electronic device, computer readable storage medium | |
US10643095B2 (en) | Information processing apparatus, program, and information processing method | |
US10599942B2 (en) | Target tracking method and system adaptable to multi-target tracking | |
JP5048609B2 (en) | Object tracking device and program | |
JP5192437B2 (en) | Object region detection apparatus, object region detection method, and object region detection program | |
JP2017130042A (en) | Video processing apparatus, video processing method, and program | |
KR102374565B1 (en) | Method and apparatus of tracking targets | |
US9836655B2 (en) | Information processing apparatus, information processing method, and computer-readable medium | |
JP6548920B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM | |
JP6627450B2 (en) | Feature point tracking device, feature point tracking method and program | |
US9531969B2 (en) | Image processing apparatus, image processing method, and storage medium | |
US11107223B2 (en) | Image detection device, image detection method and storage medium storing program | |
WO2019003709A1 (en) | Information processing device, control method, and program | |
JP6408414B2 (en) | Moving body detection apparatus and background model construction method thereof | |
JP2015187769A (en) | Object detection device, object detection method, and program | |
WO2016142965A1 (en) | Video processing device, video processing method, and storage medium storing video processing program | |
JP5643147B2 (en) | Motion vector detection apparatus, motion vector detection method, and motion vector detection program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181010 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190813 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190827 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6627450 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |