JP2014134931A - Feature point detection device and program - Google Patents
Feature point detection device and program Download PDFInfo
- Publication number
- JP2014134931A JP2014134931A JP2013001944A JP2013001944A JP2014134931A JP 2014134931 A JP2014134931 A JP 2014134931A JP 2013001944 A JP2013001944 A JP 2013001944A JP 2013001944 A JP2013001944 A JP 2013001944A JP 2014134931 A JP2014134931 A JP 2014134931A
- Authority
- JP
- Japan
- Prior art keywords
- candidate
- feature
- unit
- points
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、特徴点検出装置およびプログラムに関する。 The present invention relates to a feature point detection apparatus and a program.
画像処理の前処理として、対象画像から特徴点を検出する処理が広く用いられている。特徴点検出後は、SIFTやSURFなどの特徴量算出手法を用いて特徴量を計算し、特徴点同士のマッチングを行う。例えば、動画の手ぶれ補正や、ステレオ写真からの距離測定や、パノラマ写真の合成や、パターンマッチングなどの前処理として、特徴点の検出処理が用いられている。 As preprocessing for image processing, processing for detecting feature points from a target image is widely used. After feature point detection, feature amounts are calculated using a feature amount calculation method such as SIFT or SURF, and feature points are matched. For example, feature point detection processing is used as preprocessing such as image stabilization of moving images, distance measurement from a stereo photograph, synthesis of a panoramic photograph, pattern matching, and the like.
画像内から特徴点を検出する方法として、例えば、入力画像上の各座標においてコーナーの強さを表す評価値を算出し、評価値の高い上位複数点を特徴点と決定する方法が知られている。評価値の高い特徴点ほど特徴量が大きくなり、後段のマッチング精度の向上が期待できる。しかし、画面全体から評価値の上位複数点を求めるためには、全候補点の評価値順の並べ替えが必要となり、演算量とメモリが増加する。さらに、画面内全画素の評価値算出が完了しないと、特徴点が決定できないため、処理時間が長くなるといった問題があった。 As a method for detecting a feature point from an image, for example, a method is known in which an evaluation value representing the strength of a corner is calculated at each coordinate on an input image, and a plurality of higher-order points having a high evaluation value are determined as feature points. Yes. A feature point with a higher evaluation value has a larger feature amount, and can be expected to improve matching accuracy in the subsequent stage. However, in order to obtain a plurality of upper evaluation points from the entire screen, it is necessary to rearrange all candidate points in the order of evaluation values, which increases the amount of computation and memory. Furthermore, since the feature points cannot be determined unless the evaluation value calculation for all the pixels in the screen is completed, there is a problem that the processing time becomes long.
この問題を解決する方法として、画像をブロック単位に区切り、各ブロックの特徴点数の上限を決めて、ブロック単位で特徴点を検出する方法がある。例えば、特許文献1では、画像を複数の部分領域に分割して、部分領域において、評価値の上位複数個の候補点を特徴点と決定している。この方法を用いれば、画面全体の特徴点を評価値順に並び替える必要がなくなり、さらに、ブロック単位で特徴点を決定でき、後段の処理開始も早められ、処理時間を短縮できる。
As a method for solving this problem, there is a method in which an image is divided into block units, an upper limit of the number of feature points of each block is determined, and feature points are detected in block units. For example, in
しかしながら、特許文献1に記載の方法では各ブロックの特徴点上限数が一律であるために、評価値の高い候補点が多く存在するブロックでは、評価値が高い候補点でもブロック内の上位に入らないために特徴点として選択されないという問題がある。また、評価値が低い候補点が多く存在するブロックでは、評価値が低い候補点が特徴点として選択されてしまうという問題がある。そのため、ブロック処理をしない場合に比べて、画面全体から検出される評価値が高い特徴点が少なくなり、後段のマッチングの精度が下がるという問題があった。
However, in the method described in
本発明は、上記事情に鑑みてなされたものであり、ブロック分割を行って特徴点を検出する場合においても、評価値の高い特徴点をより多く選択することができる特徴点検出装置およびプログラムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and a feature point detection apparatus and program capable of selecting more feature points having a high evaluation value even when feature points are detected by performing block division. The purpose is to provide.
本発明は、デジタル画像に含まれる複数個の特徴点を検出する特徴点検出装置において、前記デジタル画像を一定のサイズのブロックに分割した単位ブロック毎に、各画素の評価値を算出し、特徴点の候補となる候補点を検出する候補点検出部と、前記候補点検出部が検出した前記候補点と当該候補点の評価値とを記憶する候補点記憶部と、前記候補点記憶部に記憶された前記評価値に基づいて、前記単位ブロック毎に、当該単位ブロック内の特徴点数を決定する特徴点数決定部と、前記単位ブロック毎に、前記候補点記憶部に記憶された前記候補点の中から、前記特徴点数決定部が決定した数の特徴点を選択する特徴点選択部と、を備えることを特徴とする特徴点検出装置である。 In the feature point detection apparatus for detecting a plurality of feature points included in a digital image, the present invention calculates an evaluation value of each pixel for each unit block obtained by dividing the digital image into blocks of a certain size. A candidate point detection unit that detects candidate points that are candidate points; a candidate point storage unit that stores the candidate points detected by the candidate point detection unit and an evaluation value of the candidate points; and the candidate point storage unit Based on the stored evaluation value, for each unit block, a feature point number determining unit that determines the number of feature points in the unit block, and for each unit block, the candidate points stored in the candidate point storage unit And a feature point selection unit that selects the number of feature points determined by the feature point number determination unit.
また、本発明の特徴点検出装置において、前記特徴点数決定部は、前記候補点記憶部に記憶された前記候補点の評価値に基づいて、前記単位ブロック毎に前記候補点の評価値の平均値であるブロック平均値を算出し、当該ブロック平均値が高い前記単位ブロックほど前記単位ブロック内の特徴点数を多く、当該ブロック平均値が低いほど前記単位ブロック内の特徴点数を少なく決定することを特徴とする。 Further, in the feature point detection device of the present invention, the feature point number determination unit is configured to calculate an average of the evaluation values of the candidate points for each unit block based on the evaluation values of the candidate points stored in the candidate point storage unit. A block average value that is a value is calculated, and the unit block having a higher block average value has a larger number of feature points in the unit block, and the lower the block average value, the smaller the number of feature points in the unit block is determined. Features.
また、本発明の特徴点検出装置において、前記特徴点数決定部は、前記候補点記憶部に記憶された前記候補点の評価値に基づいて、前記単位ブロック毎に前記候補点の評価値の分散値を算出し、前記評価値の平均値が高い前記単位ブロックでは、前記分散値が小さいほど前記単位ブロック内の特徴点数を多く、前記分散値が大きいほど前記単位ブロック内の特徴点数を少なく決定し、前記評価値の平均値が低い前記単位ブロックでは、前記分散値が小さいほど前記単位ブロック内の特徴点数を少なく、前記分散値が大きいほど前記単位ブロック内の特徴点数を多く決定することを特徴とする。 In the feature point detection apparatus according to the present invention, the feature point number determination unit may distribute the evaluation values of the candidate points for each unit block based on the evaluation values of the candidate points stored in the candidate point storage unit. In the unit block where the average value of the evaluation values is high, the number of feature points in the unit block is increased as the variance value is small, and the number of feature points in the unit block is reduced as the variance value is large. In the unit block having a low average evaluation value, the smaller the variance value, the smaller the number of feature points in the unit block, and the larger the variance value, the larger the number of feature points in the unit block. Features.
また、本発明の特徴点検出装置において、前記特徴点選択部は、前記単位ブロック毎に、前記候補点記憶部に記憶された前記候補点の中から、前記特徴点数決定部が決定した数の特徴点を前記評価値の高い順に選択し、選択した前記候補点の座標を出力することを特徴とする。 In the feature point detection apparatus according to the present invention, the feature point selection unit may determine the number of feature points determined by the feature point number determination unit from the candidate points stored in the candidate point storage unit for each unit block. Feature points are selected in descending order of the evaluation value, and the coordinates of the selected candidate points are output.
また、本発明の特徴点検出装置において、前記特徴点選択部は、一フレーム単位で、処理フレーム中のすべてもしくは一部の前記単位ブロックの前記特徴点の評価値の平均値であるフレーム平均値を算出し、次の処理フレームの特徴点検出が行われる間、前記算出したフレーム平均値を出力することを特徴とする。 In the feature point detection apparatus of the present invention, the feature point selection unit is a frame average value that is an average value of the evaluation values of the feature points of all or some of the unit blocks in the processing frame in units of one frame. And the calculated frame average value is output while the feature point of the next processing frame is detected.
また、本発明の特徴点検出装置において、前記特徴点数決定部は、前記候補点記憶部に記憶された前記候補点の評価値に基づいて、前記単位ブロック毎に前記候補点の評価値の平均値であるブロック平均値を算出し、前記特徴点選択部から出力されるフレーム平均値と、処理フレームの各前記ブロック平均値とを比較し、前記フレーム平均値に対して前記ブロック平均値が大きい前記単位ブロックほど前記単位ブロック内の特徴点数を多く、前記フレーム平均値に対して前記ブロック平均値が小さい前記単位ブロックほど前記単位ブロック内の特徴点数を少なく決定することを特徴とする。 Further, in the feature point detection device of the present invention, the feature point number determination unit is configured to calculate an average of the evaluation values of the candidate points for each unit block based on the evaluation values of the candidate points stored in the candidate point storage unit. A block average value that is a value is calculated, the frame average value output from the feature point selection unit is compared with each block average value of the processing frame, and the block average value is larger than the frame average value The unit block has a larger number of feature points in the unit block, and the unit block having a smaller block average value than the frame average value determines a smaller number of feature points in the unit block.
また、本発明の特徴点検出装置において、前記候補点記憶部は、前記候補点検出部で検出された前記単位ブロック内の前記候補点の評価値と当該候補点の座標とを前記評価値順に並び替えて記憶することを特徴とする。 Further, in the feature point detection apparatus of the present invention, the candidate point storage unit is arranged in the order of the evaluation values for the evaluation values of the candidate points and the coordinates of the candidate points in the unit block detected by the candidate point detection unit. It is characterized by being rearranged and memorized.
また、本発明は、デジタル画像を一定のサイズのブロックに分割した単位ブロック毎に、各画素の評価値を算出し、特徴点の候補となる候補点を検出する候補点検出ステップと、前記候補点検出ステップで検出した前記候補点と当該候補点の評価値とを記憶する候補点記憶ステップと、前記候補点記憶ステップで記憶された前記評価値に基づいて、前記単位ブロック毎に、当該単位ブロック内の特徴点数を決定する特徴点数決定ステップと、前記単位ブロック毎に、前記候補点記憶ステップで記憶された前記候補点の中から、前記特徴点数決定ステップで決定した数の特徴点を選択する特徴点選択ステップと、をコンピュータに実行させるためのプログラムである。 The present invention also provides a candidate point detection step of calculating an evaluation value of each pixel for each unit block obtained by dividing a digital image into blocks of a certain size, and detecting candidate points that are candidate feature points; Based on the candidate point storage step for storing the candidate point detected in the point detection step and the evaluation value of the candidate point, and for each unit block based on the evaluation value stored in the candidate point storage step, the unit A feature point number determining step for determining the number of feature points in a block, and the number of feature points determined in the feature point number determining step is selected from the candidate points stored in the candidate point storing step for each unit block And a feature point selection step for causing the computer to execute the feature point selection step.
本発明によれば、候補点検出部は、デジタル画像を一定のサイズのブロックに分割した単位ブロック毎に、各画素の評価値を算出し、特徴点の候補となる候補点を検出する。また、候補点記憶部は、候補点検出部が検出した候補点と当該候補点の評価値とを記憶する。また、特徴点数決定部は、候補点記憶部に記憶された評価値に基づいて、単位ブロック毎に、当該単位ブロック内の特徴点数を決定する。また、特徴点選択部は、単位ブロック毎に、候補点記憶部に記憶された候補点の中から、特徴点数決定部が決定した数の特徴点を選択する。これにより、ブロック分割を行って特徴点を検出する場合においても、評価値の高い特徴点をより多く選択することができる。 According to the present invention, the candidate point detection unit calculates the evaluation value of each pixel for each unit block obtained by dividing the digital image into blocks of a certain size, and detects candidate points that are candidate feature points. The candidate point storage unit stores the candidate point detected by the candidate point detection unit and the evaluation value of the candidate point. The feature point number determination unit determines the number of feature points in the unit block for each unit block based on the evaluation value stored in the candidate point storage unit. Further, the feature point selection unit selects the number of feature points determined by the feature point number determination unit from the candidate points stored in the candidate point storage unit for each unit block. As a result, even when feature points are detected by performing block division, it is possible to select more feature points with high evaluation values.
以下、本発明の一実施形態について図面を参照して説明する。図1は、本実施形態における特徴点検出装置の構成を示したブロック図である。図示する例では、特徴点検出装置100は、候補点検出部10と、候補点記憶部20と、特徴点数決定部30と、特徴点選択部40とを備えている。本実施形態では、特徴点を検出する画像は複数のブロック(単位ブロック、小領域)に分割され、入力画像信号として候補点検出部10に入力される。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a configuration of a feature point detection apparatus according to the present embodiment. In the illustrated example, the feature
候補点検出部10は、入力画像信号から注目ブロックの全画素の評価値を算出する。評価値は、注目画素における勾配の強さを表す値とし、例えばHarris法やKLT法などのコーナー検出手法を基に算出する。候補点検出部10は、算出した評価値がある閾値以上であれば注目画素を候補点と検出し、候補点の座標と評価値とを候補点記憶部20に対して出力する。
The candidate
候補点記憶部20は、候補点検出部10が検出した候補点の座標と評価値との組み合わせを、評価値順に記憶する。具体的には、候補点記憶部20は、候補点の座標と評価値とが入力される毎に、入力された候補点の評価値と既に記憶している候補点の評価値とを比較し、候補点が評価値順に並ぶように記憶し直す。なお、候補点記憶部20は、注目ブロックが次のブロックへ移る直前に、記憶しているデータを消去する。
The candidate
特徴点数決定部30は、候補点記憶部20が記憶している候補点の評価値の分布を基に、注目ブロックの特徴点の数を決定する。なお、詳細は後述する。特徴点選択部40は、特徴点数決定部30が決定した注目ブロックの特徴点の数だけ、候補点記憶部20から特徴点の座標を読み出し、特徴点座標として出力する。
The feature point
次に、特徴点数決定部30の詳細について説明する。図2は本実施形態における特徴点数決定部30の構成を示したブロック図である。図示する例では、特徴点数決定部30は、平均算出部31と、分散算出部32と、特徴点数算出部33とを備えている。平均算出部31は、注目ブロック内の全候補点の評価値の平均を算出する。分散算出部32は、注目ブロック内の全候補点の評価値の分散を算出する。特徴点数算出部33は、平均値や分散値に応じて注目ブロックの特徴点数を決定し、決定した特徴点数を出力する。例えば、特徴点数算出部33は、評価値の高い候補点が多いブロックは特徴点数を多く、評価値の低い候補点が多いブロックは特徴点数を少なく決定する。
Next, details of the feature point
次に、特徴点検出装置100の動作手順について説明する。図3は、本実施形態における特徴点検出装置100の動作手順を示したフローチャートである。本実施形態では、上述したとおり、特徴点を検出する画像は複数のブロックに分割されており、入力画像信号として候補点検出部10に入力される。
Next, an operation procedure of the feature
(ステップS1)候補点検出部10は、画像の1フレーム中のブロック番号を示す値nを0と設定する。その後、ステップS2の処理に進む。なお、特徴点を検出する画像がN個のブロックに分割されている場合、各ブロックに0から(N−1)(Nは整数)までブロック番号を設定する。なお、ブロック番号の設定順はどのような順でもよい。例えば、特徴点を検出する画像のブロックのうち、左上に位置するブロックから右下に位置するブロックまで順にブロック番号を設定する。
(Step S1) The candidate
(ステップS2〜ステップS7)候補点検出部10は、ブロックn内をラスタスキャンし、ブロックnに含まれる画素を検出する。その後、ブロックnに含まれている全ての画素に対してステップS3〜ステップS6の処理を実行し、その後、ステップS8の処理に進む。
(Steps S <b> 2 to S <b> 7) The candidate
以下、ステップS3〜ステップS6の処理について説明する。
(ステップS3)候補点検出部10は、ブロックnに含まれる画素のうち、ステップS3〜ステップS6の処理を行っていない1つの画素を注目画素として設定する。その後、ステップS4の処理に進む。なお、注目画素として設定する順はどのような順でもよい。例えば、ブロックnに含まれる画素のうち、左上の座標に位置する画素から右下の座標に位置する画素まで順に注目画素として設定する。
Hereinafter, the process of step S3-step S6 is demonstrated.
(Step S3) The candidate
(ステップS4)候補点検出部10は、ステップS3の処理で注目画素として設定した画素の評価値を、Harris法を用いて算出する。その後、ステップS5の処理に進む。
(ステップS5)候補点検出部10は、ステップS4の処理で算出した評価値が予め定められた閾値以上であるか否かを判定する。ステップS4の処理で算出した評価値が予め定められた閾値以上であると候補点検出部10が判定した場合にはステップS6の処理に進み、それ以外の場合にはステップS7の処理に進む。なお、閾値は任意に変更できるようにしてもよい。
(Step S4) The candidate
(Step S5) The candidate
(ステップS6)候補点検出部10は、ステップS3の処理で注目画素として設定した画素を候補点と決定する。候補点記憶部20は、候補点検出部10が候補点と決定した画素の評価値と座標とを、評価値の高い順に並び替えながら記憶する。その後、ステップS7の処理に進む。
(ステップS7)候補点検出部10は、ブロックnに含まれている全ての画素に対してステップS3〜ステップS6の処理を実行したと判定した場合にはステップS8の処理に進み、それ以外の場合にはステップS2の処理に戻る。
(Step S6) The candidate
(Step S7) If the candidate
(ステップS8)ブロックnに含まれている全ての画素に対してステップS3〜ステップS6の処理を実行した後、特徴点数決定部30の平均算出部31は、候補点記憶部20が記憶している候補点の評価値の平均値を算出する。また、特徴点数決定部30の分散算出部32は、候補点記憶部20が記憶している候補点の評価値の分散値を算出する。その後、ステップS9の処理に進む。
(Step S <b> 8) After performing the processing of Step S <b> 3 to Step S <b> 6 for all the pixels included in the block n, the candidate
(ステップS9)特徴点数決定部30の特徴点数算出部33は、ステップS8の処理で平均算出部31が算出した平均値と分散算出部32が算出した分散値とに基づいて、特徴点数を算出するための係数Kmaxを決定する。その後、ステップS10の処理に進む。なお、特徴点数を算出するための係数Kmaxの決定方法については後述する。
(Step S9) The feature
(ステップS10)特徴点数決定部30の特徴点数算出部33は、1つのブロックから選択する特徴点数の基準値である基準値NumBに、ステップS9の処理で決定した係数Kmaxを乗算し、注目ブロックの特徴点数NumMaxを決定する。その後、ステップS11の処理に進む。なお、基準値NumBは予め決められていてもよく、任意に設定できるようにしてもよい。
(Step S10) The feature point
(ステップS11)特徴点選択部40は、候補点記憶部20が記憶している候補点の中から、評価値の高い順に、ステップS10の処理で決定した特徴点数NumMax個の候補点を特徴点として選択し、選択した特徴点の座標を出力する。その後、ステップS12の処理に進む。なお、選択した特徴点の座標だけではなく、選択した特徴点の評価値を出力するようにしてもよい。
(Step S <b> 11) The feature
(ステップS12)候補点記憶部20は、記憶している候補点の座標と評価値との組み合わせを消去する。その後、ステップS13の処理に進む。
(ステップS13)候補点検出部10は、n=N(Nは特徴点を検出する画像が分割されているブロック数)であるか否かを判定する。n=Nであると候補点検出部10が判定した場合には処理を終了し、それ以外の場合にはステップS14の処理に進む。
(ステップS14)候補点検出部10は、nに1を加算する。その後、ステップS2の処理に戻る。
(Step S12) The candidate
(Step S13) The candidate
(Step S14) The candidate
次に、ステップS9の処理における特徴点数を算出するための係数Kmaxの決定方法について説明する。図4は、本実施形態における、候補点の評価値の平均値と分散値とに応じた係数Kmaxの例を示した概略図である。図示する例では、評価値の平均と、評価値の分散と、特徴点数の係数Kmaxと、基準値NumBが3の場合の特徴点数NumMaxと、ブロック内の評価値の分布例との関係を示している。また、図示する例では、評価値の平均値のパターンとして「大」「中」「小」の3パターンと、評価値の分散値のパターンとして「大」「小」の2つのパターンとが設定しており、このパターンの組み合わせに基づいて、特徴点数決定部30は、係数Kmaxを決める。
Next, a method for determining the coefficient Kmax for calculating the number of feature points in the process of step S9 will be described. FIG. 4 is a schematic diagram illustrating an example of the coefficient Kmax according to the average value and the variance value of the evaluation values of the candidate points in the present embodiment. In the example shown in the figure, the relationship between the average of evaluation values, the variance of evaluation values, the coefficient Kmax of the number of feature points, the number of feature points NumMax when the reference value NumB is 3, and the distribution example of the evaluation values in the block is shown. ing. In the illustrated example, three patterns of “large”, “medium”, and “small” are set as average value patterns of evaluation values, and two patterns of “large” and “small” are set as dispersion value patterns of evaluation values. The feature point
例えば、注目ブロックの評価値の平均値が「大」であり、評価値の分散が「小」である場合、特徴点数決定部30は、係数Kmaxを「2」と決定する。また、基準値NumBが「3」であるため、特徴点数決定部30は、注目ブロックの特徴点数NumMaxを「6」と決定する。その他の組み合わせについては図示する通りである。
For example, when the average value of the evaluation values of the block of interest is “large” and the variance of the evaluation values is “small”, the feature point
なお、各組み合わせに対応する係数Kmaxは、予め決められていてもよく、任意に設定できるようにしてもよい。また、図4に示す例では、候補点の評価値の平均値と分散値とに応じて係数Kmaxを決定しているが、これに限らない。例えば、候補点の評価値の平均値に応じて係数Kmaxを決定してもよい。また、候補点の評価値の分散値に応じて係数Kmaxを決定してもよい。 The coefficient Kmax corresponding to each combination may be determined in advance or may be arbitrarily set. In the example illustrated in FIG. 4, the coefficient Kmax is determined according to the average value and the variance value of the evaluation values of the candidate points, but is not limited thereto. For example, the coefficient Kmax may be determined according to the average value of the evaluation values of candidate points. Further, the coefficient Kmax may be determined according to the variance of the evaluation values of candidate points.
なお、平均値のパターン「大」「中」「小」と、分散値のパターン「大」「小」を判断する方法は、例えば、予め多くの画像から特徴点を検出して、一般的な画像の特徴点評価値の平均AveStdと分散VariStdを求めておき、これらを基準に判断する。平均値のパターンの判断方法としては、AveStdの上下一定幅に入る場合は「中」とし、AveStd以上であれば「大」とし、AveStd未満であれば「小」とする。具体例としては、AveStd×0.3をAveRngとして、AveTh1をAveStd−AveRng、AveTh2をAveStd+AveRngとし、平均値がAveTh1以上かつAveTh2未満の場合は「中」、AveTh1未満の場合は「小」、AveTh2以上の場合は「大」とする。分散値のパターンの判断方法としては、VariStd以上の場合は「大」、VariStd未満の場合は「小」とする。 Note that the method of determining the average value pattern “large”, “medium”, and “small” and the variance value patterns “large” and “small” can be performed by, for example, detecting feature points from many images in advance. The average AveStd and the variance VariStd of the feature point evaluation values of the image are obtained, and the determination is made based on these. As a method for determining the average value pattern, “medium” is set when the upper and lower fixed widths of AveStd are entered, “large” is set when AveStd is equal to or greater than “AveStd”, and “small” is set when it is less than AveStd. As a specific example, AveStd × 0.3 is set to AveRng, AveTh1 is set to AveStd-AveRng, AveTh2 is set to AveStd + AveRng, and the average value is greater than or equal to AveTh1 and less than AveTh2, and is smaller than AveTh1 In the above case, “Large”. As a method for determining a dispersion value pattern, “large” is set for VariStd or more, and “small” is set for less than VariStd.
平均値および分散値の大小判定(パターン判定)を行った結果、評価値の平均が「中」の場合は、係数Kmaxを「1」として、特徴点数の基準値NumBをそのまま使う(列403、列404)。評価値の平均が「大」の場合は、特徴点数が多めになるよう係数Kmaxを高く設定(列401、列402)し、その中でも分散値が「小」の場合は、高い評価値の候補点が密に集まっていると考えられるため、特徴点を多く抽出するように、係数Kmaxをより高い値に設定する(列401)。評価値の平均が「小」の場合は、特徴点数が少なくなるように係数Kmaxを低く設定(列405、列406)し、その中でも分散値が「小」の場合は、低い評価値の候補点が密に集まっていると考えられるため、特徴点を少なく抽出するように係数Kmaxをより低く設定する(列405)。 As a result of the determination of the average value and the variance value (pattern determination), when the average evaluation value is “medium”, the coefficient Kmax is set to “1”, and the reference value NumB of the feature points is used as it is (column 403, Column 404). When the average of the evaluation values is “large”, the coefficient Kmax is set high (column 401, column 402) so that the number of feature points is large. Among them, when the variance value is “small”, a candidate for a high evaluation value is set. Since it is considered that the points are gathered densely, the coefficient Kmax is set to a higher value so as to extract many feature points (column 401). When the average of the evaluation values is “small”, the coefficient Kmax is set low (columns 405 and 406) so that the number of feature points is small. Among them, when the variance value is “small”, candidates for low evaluation values are set. Since it is considered that the points are gathered densely, the coefficient Kmax is set lower so as to extract fewer feature points (column 405).
なお、動画像処理など、連続フレームを処理する場合、前フレームと現フレームの画像は大きく変わらないと考えられるため、単位ブロックの平均値の大小の判断に、前フレームの画面全体の特徴点の評価値平均を用いてもよい。その場合、特徴点選択部40が特徴点を選択する際に、特徴点の個数と評価値の1フレーム分の累積を計算する。1フレーム分の処理が完了した時点で、個数と評価値の累積値から、1フレーム分の特徴点の平均値を求める。これを、フレーム平均値とし、次のフレームの処理では、特徴点数決定部30に入力する。特徴点数決定部30は、特徴点の評価値の平均値および分散値の大小判定を行う際に、前フレームのフレーム平均値を、前述の一般的な画像の特徴点評価値の平均AveStdと同じ使い方をして、評価値の平均値の大小判定を行うようにしてもよい。
When processing continuous frames such as moving image processing, the images of the previous frame and the current frame are considered not to change significantly. An average evaluation value may be used. In this case, when the feature
次に、特徴点検出装置100を用いて特徴点を検出した場合における特徴点検出の例について説明する。図5は、本実施形態における特徴点検出の対象となる画像の例を示した概略図である。図示する例では、画像には車と、家と、木と、雲と、草とが含まれている。図6は、本実施形態において、図5に示した画像に対して、候補点検出部10が検出した候補点を示した概略図である。図示する例では、候補点は白丸で示されており、白丸の大きさが大きいほど、評価値が大きいことを示している。また、図示する例では、画像は2行3列の計6個のブロック601〜606に分割されている。なお、ブロック605,606には評価値が大きい候補点が多く含まれている。
Next, an example of feature point detection when a feature point is detected using the feature
図7は、本実施形態において、図6に示した候補点の中から、特徴点選択部40が選択した特徴点を示した概略図である。図示する例では、図6に示した候補点のうち、特徴点選択部40が選択した特徴点は黒丸で示されている。また、本実施形態では、特徴点数決定部30は、評価値の平均が「大」であり、分散が「小」であるブロックの特徴点数NumMaxを多く決定するため、ブロック604,605に含まれる特徴点の数が多くなる。また、本実施形態では、特徴点数決定部30は、評価値の平均が「小」であり、分散が「小」であるブロックの特徴点数NumMaxを少なく決定するため、ブロック602,603,606に含まれる特徴点の数が少なくなる。
FIG. 7 is a schematic diagram showing the feature points selected by the feature
上述したとおり、本実施形態によれば、ブロック内の候補点の評価値の傾向に合わせて、ブロック毎に特徴点数NumMaxを決定することで、そのブロックに適した数の特徴点を検出することができる。これにより、ブロック分割を行って特徴点を検出する場合においても、評価値の高い特徴点をより多く選択することができる。また、選択した特徴点を用いて特徴点マッチングを行う場合においても、精度をより良くすることができる。 As described above, according to the present embodiment, by determining the number of feature points NumMax for each block in accordance with the tendency of evaluation values of candidate points in the block, the number of feature points suitable for the block is detected. Can do. As a result, even when feature points are detected by performing block division, it is possible to select more feature points with high evaluation values. Further, accuracy can be improved even when feature point matching is performed using the selected feature points.
また、本実施形態によれば、単位ブロック内の候補点の評価値平均に応じて、各ブロックの特徴点数NumMaxを決めることで、評価値の平均が高いブロックの特徴点数を多くすることができ、評価値の平均が低いブロックの特徴点数を少なくすることができる。これにより、有効性の高い特徴点を増やすことができ、有効性の低い特徴点を減らすことができる。 Further, according to the present embodiment, the number of feature points of a block having a high average evaluation value can be increased by determining the number of feature points NumMax of each block according to the average evaluation value of candidate points in the unit block. The number of feature points of blocks having a low average evaluation value can be reduced. Thereby, feature points with high effectiveness can be increased, and feature points with low effectiveness can be reduced.
また、本実施形態によれば、候補点の評価値の平均値と分散値とに応じて、各ブロックの特徴点数NumMaxを決めることで、評価値が高い特徴点をより多く、評価値が低い特徴点をより少なくできるため、有効な特徴点数を増やすことができる。また、候補点の中でも評価値の高い特徴点を選択するため、選択した特徴点を用いて特徴点マッチングを行う場合においても、精度をより良くすることができる。 In addition, according to the present embodiment, the number of feature points NumMax of each block is determined according to the average value and the variance value of the evaluation values of the candidate points, thereby increasing the number of feature points with high evaluation values and low evaluation values. Since the number of feature points can be reduced, the number of effective feature points can be increased. Moreover, since a feature point with a high evaluation value is selected from the candidate points, accuracy can be improved even when feature point matching is performed using the selected feature point.
また、本実施形態によれば、算出した画面全体の候補点の平均値を次フレームの処理に使うことも可能であるため、特徴点の算出によるフレーム遅延の発生を抑えられ、特徴点の算出処理に必要な時間を短くすることができる。また、前フレームの画面全体の特徴点の評価値平均と比較して、現フレームの特徴点数を決めることも可能であるため、被写体によって変化する画面全体の候補点の評価値の傾向に対応した特徴点検出ができる。また、本実施形態によれば、候補点記憶部20は、候補点を評価値順に並び替えて記憶するため、評価値が高い有効な候補点を簡単に選択することができる。
Further, according to the present embodiment, since the average value of the calculated candidate points of the entire screen can be used for the processing of the next frame, occurrence of frame delay due to calculation of feature points can be suppressed, and calculation of feature points can be performed. The time required for processing can be shortened. In addition, since it is possible to determine the number of feature points of the current frame compared to the average evaluation value of the feature points of the entire screen of the previous frame, it corresponds to the tendency of the evaluation value of the candidate points of the entire screen that changes depending on the subject. Feature point detection is possible. Further, according to the present embodiment, the candidate
以上、この発明の一実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 Although one embodiment of the present invention has been described in detail with reference to the drawings, the specific configuration is not limited to this embodiment, and includes design and the like within a scope not departing from the gist of the present invention.
なお、上述した特徴点検出装置100が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
Note that all or some of the functions of the units included in the feature
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。 The “computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a storage unit such as a hard disk built in the computer system. Further, the “computer-readable recording medium” dynamically holds a program for a short time, like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory inside a computer system that serves as a server or a client in that case may also be included that holds a program for a certain time. The program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
10・・・候補点検出部、20・・・候補点記憶部、30・・・特徴点数決定部、31・・・平均算出部、32・・・分散算出部、33・・・特徴点数算出部、40・・・特徴点選択部、100・・・特徴点検出装置
DESCRIPTION OF
Claims (8)
前記デジタル画像を一定のサイズのブロックに分割した単位ブロック毎に、各画素の評価値を算出し、特徴点の候補となる候補点を検出する候補点検出部と、
前記候補点検出部が検出した前記候補点と当該候補点の評価値とを記憶する候補点記憶部と、
前記候補点記憶部に記憶された前記評価値に基づいて、前記単位ブロック毎に、当該単位ブロック内の特徴点数を決定する特徴点数決定部と、
前記単位ブロック毎に、前記候補点記憶部に記憶された前記候補点の中から、前記特徴点数決定部が決定した数の特徴点を選択する特徴点選択部と、
を備えることを特徴とする特徴点検出装置。 In a feature point detection apparatus for detecting a plurality of feature points included in a digital image,
A candidate point detection unit that calculates an evaluation value of each pixel for each unit block obtained by dividing the digital image into blocks of a certain size, and detects candidate points that are candidate feature points;
A candidate point storage unit that stores the candidate point detected by the candidate point detection unit and an evaluation value of the candidate point;
Based on the evaluation value stored in the candidate point storage unit, for each unit block, a feature point number determination unit that determines the number of feature points in the unit block;
A feature point selection unit that selects the number of feature points determined by the feature point number determination unit from the candidate points stored in the candidate point storage unit for each unit block;
A feature point detection apparatus comprising:
ことを特徴とする請求項1に記載の特徴点検出装置。 The feature point number determination unit calculates a block average value that is an average value of the evaluation values of the candidate points for each unit block based on the evaluation values of the candidate points stored in the candidate point storage unit, The feature inspection according to claim 1, wherein the unit block having a higher block average value has a larger number of feature points in the unit block, and the lower the block average value, the smaller the number of feature points in the unit block. Out device.
ことを特徴とする請求項2に記載の特徴点検出装置。 The feature point number determination unit calculates a variance value of the evaluation values of the candidate points for each unit block based on the evaluation values of the candidate points stored in the candidate point storage unit, and calculates an average value of the evaluation values In the unit block having a high value, the smaller the variance value, the larger the number of feature points in the unit block, the smaller the variance value, the smaller the number of feature points in the unit block, and the lower the average value of the evaluation values. 3. The feature inspection according to claim 2, wherein in the unit block, the smaller the variance value, the smaller the number of feature points in the unit block, and the larger the variance value, the larger the number of feature points in the unit block. Out device.
ことを特徴とする請求項1に記載の特徴点検出装置。 The feature point selection unit selects, for each unit block, the number of feature points determined by the feature point number determination unit from the candidate points stored in the candidate point storage unit in descending order of the evaluation value. The feature point detection apparatus according to claim 1, wherein coordinates of the selected candidate point are output.
ことを特徴とする請求項1に記載の特徴点検出装置。 The feature point selection unit calculates a frame average value that is an average value of evaluation values of the feature points of all or some of the unit blocks in a processing frame in units of one frame, and checks a feature of the next processing frame The feature point detection apparatus according to claim 1, wherein the calculated frame average value is output during output.
ことを特徴とする請求項5に記載の特徴点検出装置。 The feature point number determination unit calculates a block average value that is an average value of the evaluation values of the candidate points for each unit block based on the evaluation values of the candidate points stored in the candidate point storage unit, The frame average value output from the feature point selection unit is compared with each block average value of the processing frame, and the unit block whose block average value is larger than the frame average value is the number of feature points in the unit block. The feature point detection apparatus according to claim 5, wherein the number of feature points in the unit block is determined to be smaller as the unit block has a smaller block average value than the frame average value.
ことを特徴とする請求項1に記載の特徴点検出装置。 The candidate point storage unit stores the evaluation values of the candidate points in the unit block detected by the candidate point detection unit and the coordinates of the candidate points in the order of the evaluation values. Item 2. The feature point detection apparatus according to Item 1.
前記候補点検出ステップで検出した前記候補点と当該候補点の評価値とを記憶する候補点記憶ステップと、
前記候補点記憶ステップで記憶された前記評価値に基づいて、前記単位ブロック毎に、当該単位ブロック内の特徴点数を決定する特徴点数決定ステップと、
前記単位ブロック毎に、前記候補点記憶ステップで記憶された前記候補点の中から、前記特徴点数決定ステップで決定した数の特徴点を選択する特徴点選択ステップと、
をコンピュータに実行させるためのプログラム。 A candidate point detection step of calculating an evaluation value of each pixel for each unit block obtained by dividing the digital image into blocks of a certain size, and detecting candidate points that are candidate feature points;
A candidate point storage step for storing the candidate point detected in the candidate point detection step and an evaluation value of the candidate point;
Based on the evaluation value stored in the candidate point storage step, for each unit block, a feature point number determination step for determining the number of feature points in the unit block;
A feature point selection step for selecting the number of feature points determined in the feature point number determination step from the candidate points stored in the candidate point storage step for each unit block;
A program that causes a computer to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013001944A JP5988879B2 (en) | 2013-01-09 | 2013-01-09 | Feature point detection apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013001944A JP5988879B2 (en) | 2013-01-09 | 2013-01-09 | Feature point detection apparatus and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014134931A true JP2014134931A (en) | 2014-07-24 |
JP5988879B2 JP5988879B2 (en) | 2016-09-07 |
Family
ID=51413150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013001944A Active JP5988879B2 (en) | 2013-01-09 | 2013-01-09 | Feature point detection apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5988879B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102399673B1 (en) | 2017-06-01 | 2022-05-19 | 삼성전자주식회사 | Method and apparatus for recognizing object based on vocabulary tree |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012164303A (en) * | 2010-12-23 | 2012-08-30 | Samsung Electronics Co Ltd | Digital image stabilization method utilizing adaptive filtering |
-
2013
- 2013-01-09 JP JP2013001944A patent/JP5988879B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012164303A (en) * | 2010-12-23 | 2012-08-30 | Samsung Electronics Co Ltd | Digital image stabilization method utilizing adaptive filtering |
Also Published As
Publication number | Publication date |
---|---|
JP5988879B2 (en) | 2016-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3104332B1 (en) | Digital image manipulation | |
WO2017076040A1 (en) | Image processing method and device for use during continuous shooting operation | |
US9131227B2 (en) | Computing device with video analyzing function and video analyzing method | |
CN104680483B (en) | The noise estimation method of image, video image denoising method and device | |
JP2016021735A5 (en) | ||
KR102094506B1 (en) | Method for measuring changes of distance between the camera and the object using object tracking , Computer readable storage medium of recording the method and a device measuring changes of distance | |
US9224194B2 (en) | Joint video deblurring and stabilization | |
WO2014044158A1 (en) | Identification method and device for target object in image | |
CN111091572B (en) | Image processing method and device, electronic equipment and storage medium | |
CN108960012B (en) | Feature point detection method and device and electronic equipment | |
US20150187051A1 (en) | Method and apparatus for estimating image noise | |
JP2018142852A5 (en) | ||
JP6091172B2 (en) | Feature point detection apparatus and program | |
JP2015106290A5 (en) | ||
JP2018022247A5 (en) | ||
JP2018098705A5 (en) | ||
WO2013161111A1 (en) | Image evaluation device, image selection device, image evaluation method, recording medium, and program | |
CN110599532A (en) | Depth estimation model optimization and depth estimation processing method and device for image | |
KR101982258B1 (en) | Method for detecting object and object detecting apparatus | |
JP5988879B2 (en) | Feature point detection apparatus and program | |
JP2017162179A5 (en) | ||
CN114095683B (en) | Video noise estimation method, device, equipment and storage medium based on difference blocks | |
JP6408414B2 (en) | Moving body detection apparatus and background model construction method thereof | |
US8908986B1 (en) | Systems and methods for selecting ink colors | |
JP5882883B2 (en) | Telop detection device, telop detection method, and telop detection program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150828 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160726 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160809 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5988879 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |