JP5988879B2 - Feature point detection apparatus and program - Google Patents
Feature point detection apparatus and program Download PDFInfo
- Publication number
- JP5988879B2 JP5988879B2 JP2013001944A JP2013001944A JP5988879B2 JP 5988879 B2 JP5988879 B2 JP 5988879B2 JP 2013001944 A JP2013001944 A JP 2013001944A JP 2013001944 A JP2013001944 A JP 2013001944A JP 5988879 B2 JP5988879 B2 JP 5988879B2
- Authority
- JP
- Japan
- Prior art keywords
- candidate
- feature
- unit
- points
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、特徴点検出装置およびプログラムに関する。 The present invention relates to a feature point detection apparatus and a program.
画像処理の前処理として、対象画像から特徴点を検出する処理が広く用いられている。特徴点検出後は、ＳＩＦＴやＳＵＲＦなどの特徴量算出手法を用いて特徴量を計算し、特徴点同士のマッチングを行う。例えば、動画の手ぶれ補正や、ステレオ写真からの距離測定や、パノラマ写真の合成や、パターンマッチングなどの前処理として、特徴点の検出処理が用いられている。 As preprocessing for image processing, processing for detecting feature points from a target image is widely used. After feature point detection, feature amounts are calculated using a feature amount calculation method such as SIFT or SURF, and feature points are matched. For example, feature point detection processing is used as preprocessing such as image stabilization of moving images, distance measurement from a stereo photograph, synthesis of a panoramic photograph, pattern matching, and the like.
画像内から特徴点を検出する方法として、例えば、入力画像上の各座標においてコーナーの強さを表す評価値を算出し、評価値の高い上位複数点を特徴点と決定する方法が知られている。評価値の高い特徴点ほど特徴量が大きくなり、後段のマッチング精度の向上が期待できる。しかし、画面全体から評価値の上位複数点を求めるためには、全候補点の評価値順の並べ替えが必要となり、演算量とメモリが増加する。さらに、画面内全画素の評価値算出が完了しないと、特徴点が決定できないため、処理時間が長くなるといった問題があった。 As a method for detecting a feature point from an image, for example, a method is known in which an evaluation value representing the strength of a corner is calculated at each coordinate on an input image, and a plurality of higher-order points having a high evaluation value are determined as feature points. Yes. A feature point with a higher evaluation value has a larger feature amount, and can be expected to improve matching accuracy in the subsequent stage. However, in order to obtain a plurality of upper evaluation points from the entire screen, it is necessary to rearrange all candidate points in the order of evaluation values, which increases the amount of computation and memory. Furthermore, since the feature points cannot be determined unless the evaluation value calculation for all the pixels in the screen is completed, there is a problem that the processing time becomes long.
この問題を解決する方法として、画像をブロック単位に区切り、各ブロックの特徴点数の上限を決めて、ブロック単位で特徴点を検出する方法がある。例えば、特許文献１では、画像を複数の部分領域に分割して、部分領域において、評価値の上位複数個の候補点を特徴点と決定している。この方法を用いれば、画面全体の特徴点を評価値順に並び替える必要がなくなり、さらに、ブロック単位で特徴点を決定でき、後段の処理開始も早められ、処理時間を短縮できる。
As a method for solving this problem, there is a method in which an image is divided into block units, an upper limit of the number of feature points of each block is determined, and feature points are detected in block units. For example, in
しかしながら、特許文献１に記載の方法では各ブロックの特徴点上限数が一律であるために、評価値の高い候補点が多く存在するブロックでは、評価値が高い候補点でもブロック内の上位に入らないために特徴点として選択されないという問題がある。また、評価値が低い候補点が多く存在するブロックでは、評価値が低い候補点が特徴点として選択されてしまうという問題がある。そのため、ブロック処理をしない場合に比べて、画面全体から検出される評価値が高い特徴点が少なくなり、後段のマッチングの精度が下がるという問題があった。
However, in the method described in
本発明は、上記事情に鑑みてなされたものであり、ブロック分割を行って特徴点を検出する場合においても、評価値の高い特徴点をより多く選択することができる特徴点検出装置およびプログラムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and a feature point detection apparatus and program capable of selecting more feature points having a high evaluation value even when feature points are detected by performing block division. The purpose is to provide.
本発明は、デジタル画像に含まれる複数個の特徴点を検出する特徴点検出装置において、前記デジタル画像を一定のサイズのブロックに分割した単位ブロック毎に、各画素の評価値を算出し、特徴点の候補となる候補点を検出する候補点検出部と、前記候補点検出部が検出した前記候補点と当該候補点の評価値とを記憶する候補点記憶部と、前記候補点記憶部に記憶された前記評価値に基づいて、前記単位ブロック毎に、当該単位ブロック内の特徴点数を決定する特徴点数決定部と、前記単位ブロック毎に、前記候補点記憶部に記憶された前記候補点の中から、前記特徴点数決定部が決定した数の特徴点を選択する特徴点選択部と、を備えることを特徴とする特徴点検出装置である。 In the feature point detection apparatus for detecting a plurality of feature points included in a digital image, the present invention calculates an evaluation value of each pixel for each unit block obtained by dividing the digital image into blocks of a certain size. A candidate point detection unit that detects candidate points that are candidate points; a candidate point storage unit that stores the candidate points detected by the candidate point detection unit and an evaluation value of the candidate points; and the candidate point storage unit Based on the stored evaluation value, for each unit block, a feature point number determining unit that determines the number of feature points in the unit block, and for each unit block, the candidate points stored in the candidate point storage unit And a feature point selection unit that selects the number of feature points determined by the feature point number determination unit.
また、本発明の特徴点検出装置において、前記特徴点数決定部は、前記候補点記憶部に記憶された前記候補点の評価値に基づいて、前記単位ブロック毎に前記候補点の評価値の平均値であるブロック平均値を算出し、当該ブロック平均値が高い前記単位ブロックほど前記単位ブロック内の特徴点数を多く、当該ブロック平均値が低いほど前記単位ブロック内の特徴点数を少なく決定することを特徴とする。 Further, in the feature point detection device of the present invention, the feature point number determination unit is configured to calculate an average of the evaluation values of the candidate points for each unit block based on the evaluation values of the candidate points stored in the candidate point storage unit. A block average value that is a value is calculated, and the unit block having a higher block average value has a larger number of feature points in the unit block, and the lower the block average value, the smaller the number of feature points in the unit block is determined. Features.
また、本発明の特徴点検出装置において、前記特徴点数決定部は、前記候補点記憶部に記憶された前記候補点の評価値に基づいて、前記単位ブロック毎に前記候補点の評価値の分散値を算出し、前記評価値の平均値が高い前記単位ブロックでは、前記分散値が小さいほど前記単位ブロック内の特徴点数を多く、前記分散値が大きいほど前記単位ブロック内の特徴点数を少なく決定し、前記評価値の平均値が低い前記単位ブロックでは、前記分散値が小さいほど前記単位ブロック内の特徴点数を少なく、前記分散値が大きいほど前記単位ブロック内の特徴点数を多く決定することを特徴とする。 In the feature point detection apparatus according to the present invention, the feature point number determination unit may distribute the evaluation values of the candidate points for each unit block based on the evaluation values of the candidate points stored in the candidate point storage unit. In the unit block where the average value of the evaluation values is high, the number of feature points in the unit block is increased as the variance value is small, and the number of feature points in the unit block is reduced as the variance value is large. In the unit block having a low average evaluation value, the smaller the variance value, the smaller the number of feature points in the unit block, and the larger the variance value, the larger the number of feature points in the unit block. Features.
また、本発明の特徴点検出装置において、前記特徴点選択部は、前記単位ブロック毎に、前記候補点記憶部に記憶された前記候補点の中から、前記特徴点数決定部が決定した数の特徴点を前記評価値の高い順に選択し、選択した前記候補点の座標を出力することを特徴とする。 In the feature point detection apparatus according to the present invention, the feature point selection unit may determine the number of feature points determined by the feature point number determination unit from the candidate points stored in the candidate point storage unit for each unit block. Feature points are selected in descending order of the evaluation value, and the coordinates of the selected candidate points are output.
また、本発明の特徴点検出装置において、前記特徴点選択部は、一フレーム単位で、処理フレーム中のすべてもしくは一部の前記単位ブロックの前記特徴点の評価値の平均値であるフレーム平均値を算出し、次の処理フレームの特徴点検出が行われる間、前記算出したフレーム平均値を出力することを特徴とする。 In the feature point detection apparatus of the present invention, the feature point selection unit is a frame average value that is an average value of the evaluation values of the feature points of all or some of the unit blocks in the processing frame in units of one frame. And the calculated frame average value is output while the feature point of the next processing frame is detected.
また、本発明の特徴点検出装置において、前記特徴点数決定部は、前記候補点記憶部に記憶された前記候補点の評価値に基づいて、前記単位ブロック毎に前記候補点の評価値の平均値であるブロック平均値を算出し、前記特徴点選択部から出力されるフレーム平均値と、処理フレームの各前記ブロック平均値とを比較し、前記フレーム平均値に対して前記ブロック平均値が大きい前記単位ブロックほど前記単位ブロック内の特徴点数を多く、前記フレーム平均値に対して前記ブロック平均値が小さい前記単位ブロックほど前記単位ブロック内の特徴点数を少なく決定することを特徴とする。 Further, in the feature point detection device of the present invention, the feature point number determination unit is configured to calculate an average of the evaluation values of the candidate points for each unit block based on the evaluation values of the candidate points stored in the candidate point storage unit. A block average value that is a value is calculated, the frame average value output from the feature point selection unit is compared with each block average value of the processing frame, and the block average value is larger than the frame average value The unit block has a larger number of feature points in the unit block, and the unit block having a smaller block average value than the frame average value determines a smaller number of feature points in the unit block.
また、本発明の特徴点検出装置において、前記候補点記憶部は、前記候補点検出部で検出された前記単位ブロック内の前記候補点の評価値と当該候補点の座標とを前記評価値順に並び替えて記憶することを特徴とする。 Further, in the feature point detection apparatus of the present invention, the candidate point storage unit is arranged in the order of the evaluation values for the evaluation values of the candidate points and the coordinates of the candidate points in the unit block detected by the candidate point detection unit. It is characterized by being rearranged and memorized.
また、本発明は、デジタル画像を一定のサイズのブロックに分割した単位ブロック毎に、各画素の評価値を算出し、特徴点の候補となる候補点を検出する候補点検出ステップと、前記候補点検出ステップで検出した前記候補点と当該候補点の評価値とを記憶する候補点記憶ステップと、前記候補点記憶ステップで記憶された前記評価値に基づいて、前記単位ブロック毎に、当該単位ブロック内の特徴点数を決定する特徴点数決定ステップと、前記単位ブロック毎に、前記候補点記憶ステップで記憶された前記候補点の中から、前記特徴点数決定ステップで決定した数の特徴点を選択する特徴点選択ステップと、をコンピュータに実行させるためのプログラムである。 The present invention also provides a candidate point detection step of calculating an evaluation value of each pixel for each unit block obtained by dividing a digital image into blocks of a certain size, and detecting candidate points that are candidate feature points; Based on the candidate point storage step for storing the candidate point detected in the point detection step and the evaluation value of the candidate point, and for each unit block based on the evaluation value stored in the candidate point storage step, the unit A feature point number determining step for determining the number of feature points in a block, and the number of feature points determined in the feature point number determining step is selected from the candidate points stored in the candidate point storing step for each unit block And a feature point selection step for causing the computer to execute the feature point selection step.
本発明によれば、候補点検出部は、デジタル画像を一定のサイズのブロックに分割した単位ブロック毎に、各画素の評価値を算出し、特徴点の候補となる候補点を検出する。また、候補点記憶部は、候補点検出部が検出した候補点と当該候補点の評価値とを記憶する。また、特徴点数決定部は、候補点記憶部に記憶された評価値に基づいて、単位ブロック毎に、当該単位ブロック内の特徴点数を決定する。また、特徴点選択部は、単位ブロック毎に、候補点記憶部に記憶された候補点の中から、特徴点数決定部が決定した数の特徴点を選択する。これにより、ブロック分割を行って特徴点を検出する場合においても、評価値の高い特徴点をより多く選択することができる。 According to the present invention, the candidate point detection unit calculates the evaluation value of each pixel for each unit block obtained by dividing the digital image into blocks of a certain size, and detects candidate points that are candidate feature points. The candidate point storage unit stores the candidate point detected by the candidate point detection unit and the evaluation value of the candidate point. The feature point number determination unit determines the number of feature points in the unit block for each unit block based on the evaluation value stored in the candidate point storage unit. Further, the feature point selection unit selects the number of feature points determined by the feature point number determination unit from the candidate points stored in the candidate point storage unit for each unit block. As a result, even when feature points are detected by performing block division, it is possible to select more feature points with high evaluation values.
以下、本発明の一実施形態について図面を参照して説明する。図１は、本実施形態における特徴点検出装置の構成を示したブロック図である。図示する例では、特徴点検出装置１００は、候補点検出部１０と、候補点記憶部２０と、特徴点数決定部３０と、特徴点選択部４０とを備えている。本実施形態では、特徴点を検出する画像は複数のブロック（単位ブロック、小領域）に分割され、入力画像信号として候補点検出部１０に入力される。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a configuration of a feature point detection apparatus according to the present embodiment. In the illustrated example, the feature
候補点検出部１０は、入力画像信号から注目ブロックの全画素の評価値を算出する。評価値は、注目画素における勾配の強さを表す値とし、例えばＨａｒｒｉｓ法やＫＬＴ法などのコーナー検出手法を基に算出する。候補点検出部１０は、算出した評価値がある閾値以上であれば注目画素を候補点と検出し、候補点の座標と評価値とを候補点記憶部２０に対して出力する。
The candidate
候補点記憶部２０は、候補点検出部１０が検出した候補点の座標と評価値との組み合わせを、評価値順に記憶する。具体的には、候補点記憶部２０は、候補点の座標と評価値とが入力される毎に、入力された候補点の評価値と既に記憶している候補点の評価値とを比較し、候補点が評価値順に並ぶように記憶し直す。なお、候補点記憶部２０は、注目ブロックが次のブロックへ移る直前に、記憶しているデータを消去する。
The candidate
特徴点数決定部３０は、候補点記憶部２０が記憶している候補点の評価値の分布を基に、注目ブロックの特徴点の数を決定する。なお、詳細は後述する。特徴点選択部４０は、特徴点数決定部３０が決定した注目ブロックの特徴点の数だけ、候補点記憶部２０から特徴点の座標を読み出し、特徴点座標として出力する。
The feature point
次に、特徴点数決定部３０の詳細について説明する。図２は本実施形態における特徴点数決定部３０の構成を示したブロック図である。図示する例では、特徴点数決定部３０は、平均算出部３１と、分散算出部３２と、特徴点数算出部３３とを備えている。平均算出部３１は、注目ブロック内の全候補点の評価値の平均を算出する。分散算出部３２は、注目ブロック内の全候補点の評価値の分散を算出する。特徴点数算出部３３は、平均値や分散値に応じて注目ブロックの特徴点数を決定し、決定した特徴点数を出力する。例えば、特徴点数算出部３３は、評価値の高い候補点が多いブロックは特徴点数を多く、評価値の低い候補点が多いブロックは特徴点数を少なく決定する。
Next, details of the feature point
次に、特徴点検出装置１００の動作手順について説明する。図３は、本実施形態における特徴点検出装置１００の動作手順を示したフローチャートである。本実施形態では、上述したとおり、特徴点を検出する画像は複数のブロックに分割されており、入力画像信号として候補点検出部１０に入力される。
Next, an operation procedure of the feature
（ステップＳ１）候補点検出部１０は、画像の１フレーム中のブロック番号を示す値ｎを０と設定する。その後、ステップＳ２の処理に進む。なお、特徴点を検出する画像がＮ個のブロックに分割されている場合、各ブロックに０から（Ｎ−１）（Ｎは整数）までブロック番号を設定する。なお、ブロック番号の設定順はどのような順でもよい。例えば、特徴点を検出する画像のブロックのうち、左上に位置するブロックから右下に位置するブロックまで順にブロック番号を設定する。
(Step S1) The candidate
（ステップＳ２〜ステップＳ７）候補点検出部１０は、ブロックｎ内をラスタスキャンし、ブロックｎに含まれる画素を検出する。その後、ブロックｎに含まれている全ての画素に対してステップＳ３〜ステップＳ６の処理を実行し、その後、ステップＳ８の処理に進む。
(Steps S <b> 2 to S <b> 7) The candidate
以下、ステップＳ３〜ステップＳ６の処理について説明する。
（ステップＳ３）候補点検出部１０は、ブロックｎに含まれる画素のうち、ステップＳ３〜ステップＳ６の処理を行っていない１つの画素を注目画素として設定する。その後、ステップＳ４の処理に進む。なお、注目画素として設定する順はどのような順でもよい。例えば、ブロックｎに含まれる画素のうち、左上の座標に位置する画素から右下の座標に位置する画素まで順に注目画素として設定する。
Hereinafter, the process of step S3-step S6 is demonstrated.
(Step S3) The candidate
（ステップＳ４）候補点検出部１０は、ステップＳ３の処理で注目画素として設定した画素の評価値を、Ｈａｒｒｉｓ法を用いて算出する。その後、ステップＳ５の処理に進む。
（ステップＳ５）候補点検出部１０は、ステップＳ４の処理で算出した評価値が予め定められた閾値以上であるか否かを判定する。ステップＳ４の処理で算出した評価値が予め定められた閾値以上であると候補点検出部１０が判定した場合にはステップＳ６の処理に進み、それ以外の場合にはステップＳ７の処理に進む。なお、閾値は任意に変更できるようにしてもよい。
(Step S4) The candidate
(Step S5) The candidate
（ステップＳ６）候補点検出部１０は、ステップＳ３の処理で注目画素として設定した画素を候補点と決定する。候補点記憶部２０は、候補点検出部１０が候補点と決定した画素の評価値と座標とを、評価値の高い順に並び替えながら記憶する。その後、ステップＳ７の処理に進む。
（ステップＳ７）候補点検出部１０は、ブロックｎに含まれている全ての画素に対してステップＳ３〜ステップＳ６の処理を実行したと判定した場合にはステップＳ８の処理に進み、それ以外の場合にはステップＳ２の処理に戻る。
(Step S6) The candidate
(Step S7) If the candidate
（ステップＳ８）ブロックｎに含まれている全ての画素に対してステップＳ３〜ステップＳ６の処理を実行した後、特徴点数決定部３０の平均算出部３１は、候補点記憶部２０が記憶している候補点の評価値の平均値を算出する。また、特徴点数決定部３０の分散算出部３２は、候補点記憶部２０が記憶している候補点の評価値の分散値を算出する。その後、ステップＳ９の処理に進む。
(Step S <b> 8) After performing the processing of Step S <b> 3 to Step S <b> 6 for all the pixels included in the block n, the candidate
（ステップＳ９）特徴点数決定部３０の特徴点数算出部３３は、ステップＳ８の処理で平均算出部３１が算出した平均値と分散算出部３２が算出した分散値とに基づいて、特徴点数を算出するための係数Ｋｍａｘを決定する。その後、ステップＳ１０の処理に進む。なお、特徴点数を算出するための係数Ｋｍａｘの決定方法については後述する。
(Step S9) The feature
（ステップＳ１０）特徴点数決定部３０の特徴点数算出部３３は、１つのブロックから選択する特徴点数の基準値である基準値ＮｕｍＢに、ステップＳ９の処理で決定した係数Ｋｍａｘを乗算し、注目ブロックの特徴点数ＮｕｍＭａｘを決定する。その後、ステップＳ１１の処理に進む。なお、基準値ＮｕｍＢは予め決められていてもよく、任意に設定できるようにしてもよい。
(Step S10) The feature point
（ステップＳ１１）特徴点選択部４０は、候補点記憶部２０が記憶している候補点の中から、評価値の高い順に、ステップＳ１０の処理で決定した特徴点数ＮｕｍＭａｘ個の候補点を特徴点として選択し、選択した特徴点の座標を出力する。その後、ステップＳ１２の処理に進む。なお、選択した特徴点の座標だけではなく、選択した特徴点の評価値を出力するようにしてもよい。
(Step S <b> 11) The feature
（ステップＳ１２）候補点記憶部２０は、記憶している候補点の座標と評価値との組み合わせを消去する。その後、ステップＳ１３の処理に進む。
（ステップＳ１３）候補点検出部１０は、ｎ＝Ｎ（Ｎは特徴点を検出する画像が分割されているブロック数）であるか否かを判定する。ｎ＝Ｎであると候補点検出部１０が判定した場合には処理を終了し、それ以外の場合にはステップＳ１４の処理に進む。
（ステップＳ１４）候補点検出部１０は、ｎに１を加算する。その後、ステップＳ２の処理に戻る。
(Step S12) The candidate
(Step S13) The candidate
(Step S14) The candidate
次に、ステップＳ９の処理における特徴点数を算出するための係数Ｋｍａｘの決定方法について説明する。図４は、本実施形態における、候補点の評価値の平均値と分散値とに応じた係数Ｋｍａｘの例を示した概略図である。図示する例では、評価値の平均と、評価値の分散と、特徴点数の係数Ｋｍａｘと、基準値ＮｕｍＢが３の場合の特徴点数ＮｕｍＭａｘと、ブロック内の評価値の分布例との関係を示している。また、図示する例では、評価値の平均値のパターンとして「大」「中」「小」の３パターンと、評価値の分散値のパターンとして「大」「小」の２つのパターンとが設定しており、このパターンの組み合わせに基づいて、特徴点数決定部３０は、係数Ｋｍａｘを決める。
Next, a method for determining the coefficient Kmax for calculating the number of feature points in the process of step S9 will be described. FIG. 4 is a schematic diagram illustrating an example of the coefficient Kmax according to the average value and the variance value of the evaluation values of the candidate points in the present embodiment. In the example shown in the figure, the relationship between the average of evaluation values, the variance of evaluation values, the coefficient Kmax of the number of feature points, the number of feature points NumMax when the reference value NumB is 3, and the distribution example of the evaluation values in the block is shown. ing. In the illustrated example, three patterns of “large”, “medium”, and “small” are set as average value patterns of evaluation values, and two patterns of “large” and “small” are set as dispersion value patterns of evaluation values. The feature point
例えば、注目ブロックの評価値の平均値が「大」であり、評価値の分散が「小」である場合、特徴点数決定部３０は、係数Ｋｍａｘを「２」と決定する。また、基準値ＮｕｍＢが「３」であるため、特徴点数決定部３０は、注目ブロックの特徴点数ＮｕｍＭａｘを「６」と決定する。その他の組み合わせについては図示する通りである。
For example, when the average value of the evaluation values of the block of interest is “large” and the variance of the evaluation values is “small”, the feature point
なお、各組み合わせに対応する係数Ｋｍａｘは、予め決められていてもよく、任意に設定できるようにしてもよい。また、図４に示す例では、候補点の評価値の平均値と分散値とに応じて係数Ｋｍａｘを決定しているが、これに限らない。例えば、候補点の評価値の平均値に応じて係数Ｋｍａｘを決定してもよい。また、候補点の評価値の分散値に応じて係数Ｋｍａｘを決定してもよい。 The coefficient Kmax corresponding to each combination may be determined in advance or may be arbitrarily set. In the example illustrated in FIG. 4, the coefficient Kmax is determined according to the average value and the variance value of the evaluation values of the candidate points, but is not limited thereto. For example, the coefficient Kmax may be determined according to the average value of the evaluation values of candidate points. Further, the coefficient Kmax may be determined according to the variance of the evaluation values of candidate points.
なお、平均値のパターン「大」「中」「小」と、分散値のパターン「大」「小」を判断する方法は、例えば、予め多くの画像から特徴点を検出して、一般的な画像の特徴点評価値の平均ＡｖｅＳｔｄと分散ＶａｒｉＳｔｄを求めておき、これらを基準に判断する。平均値のパターンの判断方法としては、ＡｖｅＳｔｄの上下一定幅に入る場合は「中」とし、ＡｖｅＳｔｄ以上であれば「大」とし、ＡｖｅＳｔｄ未満であれば「小」とする。具体例としては、ＡｖｅＳｔｄ×０．３をＡｖｅＲｎｇとして、ＡｖｅＴｈ１をＡｖｅＳｔｄ−ＡｖｅＲｎｇ、ＡｖｅＴｈ２をＡｖｅＳｔｄ＋ＡｖｅＲｎｇとし、平均値がＡｖｅＴｈ１以上かつＡｖｅＴｈ２未満の場合は「中」、ＡｖｅＴｈ１未満の場合は「小」、ＡｖｅＴｈ２以上の場合は「大」とする。分散値のパターンの判断方法としては、ＶａｒｉＳｔｄ以上の場合は「大」、ＶａｒｉＳｔｄ未満の場合は「小」とする。 Note that the method of determining the average value pattern “large”, “medium”, and “small” and the variance value patterns “large” and “small” can be performed by, for example, detecting feature points from many images in advance. The average AveStd and the variance VariStd of the image feature point evaluation values are obtained, and the determination is made based on these. As a method for determining the average value pattern, “medium” is set when the upper and lower fixed widths of AveStd are entered, “large” is set when AveStd is equal to or greater than “AveStd”, and “small” is set when it is less than AveStd. As a specific example, AveStd × 0.3 is set to AveRng, AveTh1 is set to AveStd-AveRng, AveTh2 is set to AveStd + AveRng, and the average value is greater than or equal to AveTh1 and less than AveTh2, and is smaller than AveTh1 In the above case, “Large”. As a method for determining a dispersion value pattern, “large” is set for VariStd or more, and “small” is set for less than VariStd.
平均値および分散値の大小判定（パターン判定）を行った結果、評価値の平均が「中」の場合は、係数Ｋｍａｘを「１」として、特徴点数の基準値ＮｕｍＢをそのまま使う（列４０３、列４０４）。評価値の平均が「大」の場合は、特徴点数が多めになるよう係数Ｋｍａｘを高く設定（列４０１、列４０２）し、その中でも分散値が「小」の場合は、高い評価値の候補点が密に集まっていると考えられるため、特徴点を多く抽出するように、係数Ｋｍａｘをより高い値に設定する（列４０１）。評価値の平均が「小」の場合は、特徴点数が少なくなるように係数Ｋｍａｘを低く設定（列４０５、列４０６）し、その中でも分散値が「小」の場合は、低い評価値の候補点が密に集まっていると考えられるため、特徴点を少なく抽出するように係数Ｋｍａｘをより低く設定する（列４０５）。 As a result of the determination of the average value and the variance value (pattern determination), when the average evaluation value is “medium”, the coefficient Kmax is set to “1”, and the reference value NumB of the feature points is used as it is (column 403, Column 404). When the average of the evaluation values is “large”, the coefficient Kmax is set high (column 401, column 402) so that the number of feature points is large. Among them, when the variance value is “small”, a candidate for a high evaluation value is set. Since it is considered that the points are gathered densely, the coefficient Kmax is set to a higher value so as to extract many feature points (column 401). When the average of the evaluation values is “small”, the coefficient Kmax is set low (columns 405 and 406) so that the number of feature points is small. Among them, when the variance value is “small”, candidates for low evaluation values are set. Since it is considered that the points are gathered densely, the coefficient Kmax is set lower so as to extract fewer feature points (column 405).
なお、動画像処理など、連続フレームを処理する場合、前フレームと現フレームの画像は大きく変わらないと考えられるため、単位ブロックの平均値の大小の判断に、前フレームの画面全体の特徴点の評価値平均を用いてもよい。その場合、特徴点選択部４０が特徴点を選択する際に、特徴点の個数と評価値の１フレーム分の累積を計算する。１フレーム分の処理が完了した時点で、個数と評価値の累積値から、１フレーム分の特徴点の平均値を求める。これを、フレーム平均値とし、次のフレームの処理では、特徴点数決定部３０に入力する。特徴点数決定部３０は、特徴点の評価値の平均値および分散値の大小判定を行う際に、前フレームのフレーム平均値を、前述の一般的な画像の特徴点評価値の平均ＡｖｅＳｔｄと同じ使い方をして、評価値の平均値の大小判定を行うようにしてもよい。
When processing continuous frames such as moving image processing, the images of the previous frame and the current frame are considered not to change significantly. An average evaluation value may be used. In this case, when the feature
次に、特徴点検出装置１００を用いて特徴点を検出した場合における特徴点検出の例について説明する。図５は、本実施形態における特徴点検出の対象となる画像の例を示した概略図である。図示する例では、画像には車と、家と、木と、雲と、草とが含まれている。図６は、本実施形態において、図５に示した画像に対して、候補点検出部１０が検出した候補点を示した概略図である。図示する例では、候補点は白丸で示されており、白丸の大きさが大きいほど、評価値が大きいことを示している。また、図示する例では、画像は２行３列の計６個のブロック６０１〜６０６に分割されている。なお、ブロック６０５，６０６には評価値が大きい候補点が多く含まれている。
Next, an example of feature point detection when a feature point is detected using the feature
図７は、本実施形態において、図６に示した候補点の中から、特徴点選択部４０が選択した特徴点を示した概略図である。図示する例では、図６に示した候補点のうち、特徴点選択部４０が選択した特徴点は黒丸で示されている。また、本実施形態では、特徴点数決定部３０は、評価値の平均が「大」であり、分散が「小」であるブロックの特徴点数ＮｕｍＭａｘを多く決定するため、ブロック６０４，６０５に含まれる特徴点の数が多くなる。また、本実施形態では、特徴点数決定部３０は、評価値の平均が「小」であり、分散が「小」であるブロックの特徴点数ＮｕｍＭａｘを少なく決定するため、ブロック６０２，６０３，６０６に含まれる特徴点の数が少なくなる。
FIG. 7 is a schematic diagram showing the feature points selected by the feature
上述したとおり、本実施形態によれば、ブロック内の候補点の評価値の傾向に合わせて、ブロック毎に特徴点数ＮｕｍＭａｘを決定することで、そのブロックに適した数の特徴点を検出することができる。これにより、ブロック分割を行って特徴点を検出する場合においても、評価値の高い特徴点をより多く選択することができる。また、選択した特徴点を用いて特徴点マッチングを行う場合においても、精度をより良くすることができる。 As described above, according to the present embodiment, by determining the number of feature points NumMax for each block in accordance with the tendency of evaluation values of candidate points in the block, the number of feature points suitable for the block is detected. Can do. As a result, even when feature points are detected by performing block division, it is possible to select more feature points with high evaluation values. Further, accuracy can be improved even when feature point matching is performed using the selected feature points.
また、本実施形態によれば、単位ブロック内の候補点の評価値平均に応じて、各ブロックの特徴点数ＮｕｍＭａｘを決めることで、評価値の平均が高いブロックの特徴点数を多くすることができ、評価値の平均が低いブロックの特徴点数を少なくすることができる。これにより、有効性の高い特徴点を増やすことができ、有効性の低い特徴点を減らすことができる。 Further, according to the present embodiment, the number of feature points of a block having a high average evaluation value can be increased by determining the number of feature points NumMax of each block according to the average evaluation value of candidate points in the unit block. The number of feature points of blocks having a low average evaluation value can be reduced. Thereby, feature points with high effectiveness can be increased, and feature points with low effectiveness can be reduced.
また、本実施形態によれば、候補点の評価値の平均値と分散値とに応じて、各ブロックの特徴点数ＮｕｍＭａｘを決めることで、評価値が高い特徴点をより多く、評価値が低い特徴点をより少なくできるため、有効な特徴点数を増やすことができる。また、候補点の中でも評価値の高い特徴点を選択するため、選択した特徴点を用いて特徴点マッチングを行う場合においても、精度をより良くすることができる。 In addition, according to the present embodiment, the number of feature points NumMax of each block is determined according to the average value and the variance value of the evaluation values of the candidate points, thereby increasing the number of feature points with high evaluation values and low evaluation values. Since the number of feature points can be reduced, the number of effective feature points can be increased. Moreover, since a feature point with a high evaluation value is selected from the candidate points, accuracy can be improved even when feature point matching is performed using the selected feature point.
また、本実施形態によれば、算出した画面全体の候補点の平均値を次フレームの処理に使うことも可能であるため、特徴点の算出によるフレーム遅延の発生を抑えられ、特徴点の算出処理に必要な時間を短くすることができる。また、前フレームの画面全体の特徴点の評価値平均と比較して、現フレームの特徴点数を決めることも可能であるため、被写体によって変化する画面全体の候補点の評価値の傾向に対応した特徴点検出ができる。また、本実施形態によれば、候補点記憶部２０は、候補点を評価値順に並び替えて記憶するため、評価値が高い有効な候補点を簡単に選択することができる。
Further, according to the present embodiment, since the average value of the calculated candidate points of the entire screen can be used for the processing of the next frame, occurrence of frame delay due to calculation of feature points can be suppressed, and calculation of feature points can be performed. The time required for processing can be shortened. In addition, since it is possible to determine the number of feature points of the current frame compared to the average evaluation value of the feature points of the entire screen of the previous frame, it corresponds to the tendency of the evaluation value of the candidate points of the entire screen that changes depending on the subject. Feature point detection is possible. Further, according to the present embodiment, the candidate
以上、この発明の一実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 Although one embodiment of the present invention has been described in detail with reference to the drawings, the specific configuration is not limited to this embodiment, and includes design and the like within a scope not departing from the gist of the present invention.
なお、上述した特徴点検出装置１００が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
Note that all or some of the functions of the units included in the feature
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。 The “computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a storage unit such as a hard disk built in the computer system. Further, the “computer-readable recording medium” dynamically holds a program for a short time, like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. It is also possible to include those that hold a program for a certain time, such as a volatile memory inside a computer system serving as a server or client in that case. The program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
１０・・・候補点検出部、２０・・・候補点記憶部、３０・・・特徴点数決定部、３１・・・平均算出部、３２・・・分散算出部、３３・・・特徴点数算出部、４０・・・特徴点選択部、１００・・・特徴点検出装置
DESCRIPTION OF
Claims (8)
前記デジタル画像を一定のサイズのブロックに分割した単位ブロック毎に、各画素の評価値を算出し、特徴点の候補となる候補点を検出する候補点検出部と、
前記候補点検出部が検出した前記候補点と当該候補点の評価値とを記憶する候補点記憶部と、
前記候補点記憶部に記憶された前記評価値に基づいて、前記単位ブロック毎に、当該単位ブロック内の特徴点数を決定する特徴点数決定部と、
前記単位ブロック毎に、前記候補点記憶部に記憶された前記候補点の中から、前記特徴点数決定部が決定した数の特徴点を選択する特徴点選択部と、
を備えることを特徴とする特徴点検出装置。 In a feature point detection apparatus for detecting a plurality of feature points included in a digital image,
A candidate point detection unit that calculates an evaluation value of each pixel for each unit block obtained by dividing the digital image into blocks of a certain size, and detects candidate points that are candidate feature points;
A candidate point storage unit that stores the candidate point detected by the candidate point detection unit and an evaluation value of the candidate point;
Based on the evaluation value stored in the candidate point storage unit, for each unit block, a feature point number determination unit that determines the number of feature points in the unit block;
A feature point selection unit that selects the number of feature points determined by the feature point number determination unit from the candidate points stored in the candidate point storage unit for each unit block;
A feature point detection apparatus comprising:
ことを特徴とする請求項１に記載の特徴点検出装置。 The feature point number determination unit calculates a block average value that is an average value of the evaluation values of the candidate points for each unit block based on the evaluation values of the candidate points stored in the candidate point storage unit, The feature inspection according to claim 1, wherein the unit block having a higher block average value has a larger number of feature points in the unit block, and the lower the block average value, the smaller the number of feature points in the unit block. Out device.
ことを特徴とする請求項２に記載の特徴点検出装置。 The feature point number determination unit calculates a variance value of the evaluation values of the candidate points for each unit block based on the evaluation values of the candidate points stored in the candidate point storage unit, and calculates an average value of the evaluation values In the unit block having a high value, the smaller the variance value, the larger the number of feature points in the unit block, the smaller the variance value, the smaller the number of feature points in the unit block, and the lower the average value of the evaluation values. 3. The feature inspection according to claim 2, wherein in the unit block, the smaller the variance value, the smaller the number of feature points in the unit block, and the larger the variance value, the larger the number of feature points in the unit block. Out device.
ことを特徴とする請求項１に記載の特徴点検出装置。 The feature point selection unit selects, for each unit block, the number of feature points determined by the feature point number determination unit from the candidate points stored in the candidate point storage unit in descending order of the evaluation value. The feature point detection apparatus according to claim 1, wherein coordinates of the selected candidate point are output.
ことを特徴とする請求項１に記載の特徴点検出装置。 The feature point selection unit calculates a frame average value that is an average value of evaluation values of the feature points of all or some of the unit blocks in a processing frame in units of one frame, and checks a feature of the next processing frame The feature point detection apparatus according to claim 1, wherein the calculated frame average value is output during output.
ことを特徴とする請求項５に記載の特徴点検出装置。 The feature point number determination unit calculates a block average value that is an average value of the evaluation values of the candidate points for each unit block based on the evaluation values of the candidate points stored in the candidate point storage unit, The frame average value output from the feature point selection unit is compared with each block average value of the processing frame, and the unit block whose block average value is larger than the frame average value is the number of feature points in the unit block. The feature point detection apparatus according to claim 5, wherein the number of feature points in the unit block is determined to be smaller as the unit block has a smaller block average value than the frame average value.
ことを特徴とする請求項１に記載の特徴点検出装置。 The candidate point storage unit stores the evaluation values of the candidate points in the unit block detected by the candidate point detection unit and the coordinates of the candidate points in the order of the evaluation values. Item 2. The feature point detection apparatus according to Item 1.
前記候補点検出ステップで検出した前記候補点と当該候補点の評価値とを記憶する候補点記憶ステップと、
前記候補点記憶ステップで記憶された前記評価値に基づいて、前記単位ブロック毎に、当該単位ブロック内の特徴点数を決定する特徴点数決定ステップと、
前記単位ブロック毎に、前記候補点記憶ステップで記憶された前記候補点の中から、前記特徴点数決定ステップで決定した数の特徴点を選択する特徴点選択ステップと、
をコンピュータに実行させるためのプログラム。 A candidate point detection step of calculating an evaluation value of each pixel for each unit block obtained by dividing the digital image into blocks of a certain size, and detecting candidate points that are candidate feature points;
A candidate point storage step for storing the candidate point detected in the candidate point detection step and an evaluation value of the candidate point;
Based on the evaluation value stored in the candidate point storage step, for each unit block, a feature point number determination step for determining the number of feature points in the unit block;
A feature point selection step for selecting the number of feature points determined in the feature point number determination step from the candidate points stored in the candidate point storage step for each unit block;
A program that causes a computer to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013001944A JP5988879B2 (en) | 2013-01-09 | 2013-01-09 | Feature point detection apparatus and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013001944A JP5988879B2 (en) | 2013-01-09 | 2013-01-09 | Feature point detection apparatus and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014134931A JP2014134931A (en) | 2014-07-24 |
| JP5988879B2 true JP5988879B2 (en) | 2016-09-07 |
Family
ID=51413150
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013001944A Active JP5988879B2 (en) | 2013-01-09 | 2013-01-09 | Feature point detection apparatus and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5988879B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10534980B2 (en) | 2017-06-01 | 2020-01-14 | Samsung Electronics Co., Ltd. | Method and apparatus for recognizing object based on vocabulary tree |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9041817B2 (en) * | 2010-12-23 | 2015-05-26 | Samsung Electronics Co., Ltd. | Method and apparatus for raster output of rotated interpolated pixels optimized for digital image stabilization |
-
2013
- 2013-01-09 JP JP2013001944A patent/JP5988879B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10534980B2 (en) | 2017-06-01 | 2020-01-14 | Samsung Electronics Co., Ltd. | Method and apparatus for recognizing object based on vocabulary tree |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014134931A (en) | 2014-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3104332B1 (en) | Digital image manipulation | |
| WO2017076040A1 (en) | Image processing method and device for use during continuous shooting operation | |
| US9852353B2 (en) | Structure aware image denoising and noise variance estimation | |
| US9131227B2 (en) | Computing device with video analyzing function and video analyzing method | |
| JP2016021735A5 (en) | ||
| KR20150027291A (en) | Optical flow tracking method and apparatus | |
| US9224194B2 (en) | Joint video deblurring and stabilization | |
| CN111091572B (en) | Image processing method and device, electronic equipment and storage medium | |
| US20150187051A1 (en) | Method and apparatus for estimating image noise | |
| JP6091172B2 (en) | Feature point detection apparatus and program | |
| JP2018142852A5 (en) | ||
| JP2015106290A5 (en) | ||
| CN108960012B (en) | Feature point detection method and device and electronic equipment | |
| JP2018022247A5 (en) | ||
| WO2013161111A1 (en) | Image evaluation device, image selection device, image evaluation method, recording medium, and program | |
| KR101982258B1 (en) | Method for detecting object and object detecting apparatus | |
| JP5988879B2 (en) | Feature point detection apparatus and program | |
| JP2017162179A5 (en) | ||
| JP2016201037A (en) | Image processing device, image processing method, and program | |
| US20140301646A1 (en) | Image processing apparatus and image processing method | |
| JP6408414B2 (en) | Moving body detection apparatus and background model construction method thereof | |
| US8908986B1 (en) | Systems and methods for selecting ink colors | |
| JP4854042B2 (en) | Image generation method, image generation apparatus, and image generation program | |
| JP5882883B2 (en) | Telop detection device, telop detection method, and telop detection program | |
| JP5349671B1 (en) | Image processing apparatus, image display apparatus and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150828 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160719 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160726 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160809 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5988879 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |