JP2014120056A - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP2014120056A JP2014120056A JP2012275976A JP2012275976A JP2014120056A JP 2014120056 A JP2014120056 A JP 2014120056A JP 2012275976 A JP2012275976 A JP 2012275976A JP 2012275976 A JP2012275976 A JP 2012275976A JP 2014120056 A JP2014120056 A JP 2014120056A
- Authority
- JP
- Japan
- Prior art keywords
- feature point
- scale
- priority
- upper limit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、特徴点を検出する画像処理装置及び画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method for detecting feature points.
画像内のコーナー等、ある画像範囲における構造が特徴的な座標を特徴点と言う。画像から特徴点を検出するには、通常、以下の処理を行う。
１．画像入力
２．スケール設定 特徴点を検出する際のスケールを設定する。
３．評価値算出 画像座標毎に、スケールに応じた画像範囲の画素値を用いて評価値を算出する。
４．特徴点検出 評価値が所定の閾値以上である座標を特徴点として検出する。
A coordinate having a characteristic structure in a certain image range such as a corner in an image is called a feature point. In order to detect feature points from an image, the following processing is usually performed.
1. Image input
2. Scale setting Set the scale for detecting feature points.
3. Evaluation Value Calculation For each image coordinate, an evaluation value is calculated using a pixel value in an image range corresponding to the scale.
4). Feature point detection Coordinates whose evaluation value is equal to or greater than a predetermined threshold are detected as feature points.
ここで、スケール設定において、スケールを大きく設定すれば広い画像範囲を、スケールを小さく設定すれば狭い画像範囲を評価値算出に使用し特徴点検出を行う。様々なスケールの特徴点を検出するために、スケール設定にて複数のスケールを設定し、複数のスケールの各々にて、評価値算出と特徴点検出を行うことが一般的である。
スケール設定には次の手法がある。
・評価値算出におけるフィルタサイズを変更する。
・評価値算出におけるフィルタサイズを固定し、画像のほうをリサイズする。
・フィルタサイズの変更と画像のリサイズの両方を行う。
Here, in the scale setting, if the scale is set large, a wide image range is used for the evaluation value calculation, and if the scale is set small, the narrow image range is used for the evaluation value calculation. In order to detect feature points of various scales, it is common to set a plurality of scales in the scale setting and perform evaluation value calculation and feature point detection in each of the plurality of scales.
There are the following methods for setting the scale.
・ Change the filter size in the evaluation value calculation.
・ Fix the filter size in the evaluation value calculation and resize the image.
• Perform both filter size change and image resizing.
特許文献１は、フィルタサイズの変更と画像のリサイズの両方を組み合わせた例である。この特許文献１では、スケール設定の際に、Gaussianフィルタのσ値を初期値から所定の大きさまで複数設定し、評価値としてDoG(Difference-of-Gaussian)画像を算出している。また、解像度を１/（２ｎ）（ｎは任意の自然数）までリサイズした画像に対しても同様にGaussianフィルタのσ値を初期値から所定の大きさまで複数設定し、評価値を算出している。
また、特許文献２は、評価値算出におけるフィルタサイズを固定しつつ、画像を複数の係数倍でリサイズし、各々のリサイズ後に得られる画像から評価値を算出している。
Further,
ここで、限られた計算リソースの中で無制限に特徴点を出力することは難しいので、検出する特徴点の数に上限を設けることが多い。この場合、設定したスケールの大きさに関係なく評価値の大きい順に所定の数の点を特徴点として検出することが一般的である。 Here, since it is difficult to output feature points without limitation within a limited calculation resource, an upper limit is often set for the number of feature points to be detected. In this case, a predetermined number of points are generally detected as feature points in descending order of evaluation value regardless of the set scale size.
特徴点検出において検出する特徴点の数に上限を設ける場合、単純に評価値が大きい順に特徴点を検出すると、シーンに応じた適当な大きさのスケールから必ずしも多くの点が得られるとは限らず、検出された点の中に無駄な特徴点が含まれる可能性がある。 When an upper limit is set for the number of feature points to be detected in feature point detection, if feature points are simply detected in descending order of evaluation values, a large number of points may not always be obtained from an appropriately sized scale according to the scene. There is a possibility that useless feature points may be included in the detected points.
例えば、画像間の位置合わせ処理に特徴点検出の結果を用いる用途にて、露光ブレが生じているシーンの場合、露光ブレ量より小さなスケールから検出された特徴点は、シーンの構造を捉えて検出された点ではなくノイズ点の可能性が高いと考えられる。したがって、このようなスケールから検出される点はなるべく特徴点として採用しないようにすることが望ましい。 For example, in an application that uses the result of feature point detection for alignment processing between images, in the case of a scene with exposure blur, the feature point detected from a scale smaller than the exposure blur amount captures the structure of the scene. It is considered that there is a high possibility of a noise point, not a detected point. Therefore, it is desirable that points detected from such a scale should not be adopted as feature points as much as possible.
本発明は、前記の事情に鑑みてなされたもので、特徴点検出処理にて画像から検出する特徴点の数に上限が定められているときに、有用な特徴点を多く検出できる画像処理装置及び画像処理方法を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an image processing apparatus capable of detecting many useful feature points when an upper limit is set on the number of feature points detected from an image by feature point detection processing. And an image processing method.
前記の目的を達成するために、本発明の第１の態様の画像処理装置は、取得した画像に設定される特徴点を検出する検出領域に対し、大きさの異なる複数のスケールを設定するスケール設定部と、複数の前記スケールの各々に対し、当該スケール間の特徴点の検出の優先度を設定する優先度設定部と、前記検出領域から検出する前記特徴点の上限点数を設定する上限点数設定部と、前記スケール毎に、前記検出領域における前記取得した画像の画素値を用いて評価値を算出し、該算出した評価値に基づき、前記取得した画像の検出領域から特徴点の候補を検出する特徴点候補検出部と、前記優先度と前記上限点数とに基づいて、前記特徴点の候補から特徴点を決定する特徴点決定部と、を具備することを特徴とする。 In order to achieve the above object, an image processing apparatus according to a first aspect of the present invention is a scale that sets a plurality of scales having different sizes for a detection region that detects a feature point set in an acquired image. For each of the plurality of scales, a setting unit, a priority setting unit that sets the priority of detection of feature points between the scales, and an upper limit score that sets the upper limit score of the feature points detected from the detection area For each scale, the setting unit calculates an evaluation value using the pixel value of the acquired image in the detection area, and based on the calculated evaluation value, a candidate for a feature point is detected from the detection area of the acquired image. A feature point candidate detection unit to detect, and a feature point determination unit that determines a feature point from the feature point candidates based on the priority and the upper limit score.
前記の目的を達成するために、本発明の第２の態様の画像処理方法は、取得した画像に設定される特徴点を検出する検出領域に対し、大きさの異なる複数のスケールを設定し、複数の前記スケールの各々に対し、当該スケール間の特徴点の検出の優先度を設定し、前記検出領域から検出する前記特徴点の上限点数を設定し、前記スケール毎に、前記検出領域における前記取得した画像の画素値を用いて評価値を算出し、該算出した評価値に基づき、前記取得した画像の検出領域から特徴点の候補を検出し、前記優先度と前記上限点数とに基づいて、前記特徴点の候補から特徴点を決定する、ことを特徴とする。 In order to achieve the above object, the image processing method according to the second aspect of the present invention sets a plurality of scales having different sizes for a detection region for detecting a feature point set in an acquired image, For each of the plurality of scales, set the priority of detection of feature points between the scales, set the upper limit score of the feature points to be detected from the detection region, and for each scale, the detection points in the detection region An evaluation value is calculated using the pixel value of the acquired image, a feature point candidate is detected from the detection area of the acquired image based on the calculated evaluation value, and based on the priority and the upper limit score A feature point is determined from the feature point candidates.
本発明によれば、特徴点検出処理にて画像から検出する特徴点の数に上限が定められているときに、有用な特徴点を多く検出できる画像処理装置及び画像処理方法を提供することができる。 According to the present invention, it is possible to provide an image processing apparatus and an image processing method capable of detecting many useful feature points when an upper limit is set on the number of feature points detected from an image in the feature point detection process. it can.
以下、図面を参照して本発明の実施形態を説明する。ここで、以下の各実施形態で説明する画像処理装置は、特定の機器に限定されるものではない。例えば、以下の各実施形態で説明する画像処理装置は、パーソナルコンピュータ、デジタルカメラ等の各種の機器に搭載され得る。また、以下の各実施形態で説明する画像処理装置と同等の機能が、クラウドコンピューティングを利用して実現されても良い。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. Here, the image processing apparatuses described in the following embodiments are not limited to specific devices. For example, an image processing apparatus described in the following embodiments can be mounted on various devices such as a personal computer and a digital camera. In addition, functions equivalent to those of the image processing apparatus described in each of the following embodiments may be realized using cloud computing.
以下に説明する各実施形態は、スケール変化に対応した特徴点の検出を行う際に、検出する特徴点の数に上限を設ける。さらに、特徴点を検出するスケールに優先度を設定することで、シーンに応じた適当なスケールからより多くの特徴点を得られるようにする。 Each embodiment described below sets an upper limit on the number of feature points to be detected when detecting feature points corresponding to a scale change. Furthermore, by setting priority to the scale for detecting feature points, more feature points can be obtained from an appropriate scale according to the scene.
ここで、各実施形態で述べる「スケール」の定義について述べる。図１は、画像からスケール変化に対応した特徴点を検出する手法の概念図である。特徴点は、入力画像又は入力画像に予め設定される特徴点の検出領域に対して所定のフィルタサイズの評価値算出フィルタを座標毎に適用して評価値を算出し、画像の中の評価値の大きい座標を抽出することで検出される。ここで、図１（ａ）に示すように評価値算出フィルタのフィルタサイズを一定にして画像の解像度を変化させるか、図１（ｂ）に示すように画像のサイズを一定にして評価値算出フィルタのフィルタサイズを変化させるかにより、スケール変化に対応した特徴点検出を行うことができる。つまり、画像の解像度と評価値算出フィルタのフィルタサイズとの相対サイズ（サイズ比）によって、特徴点のスケールが決定される。 Here, the definition of “scale” described in each embodiment will be described. FIG. 1 is a conceptual diagram of a method for detecting feature points corresponding to a scale change from an image. The feature point is calculated by applying an evaluation value calculation filter of a predetermined filter size for each coordinate to an input image or a detection region of a feature point set in advance in the input image. It is detected by extracting a large coordinate. Here, as shown in FIG. 1A, the evaluation value calculation filter is changed with the filter size of the evaluation value calculation filter constant, or the evaluation value is calculated with the image size fixed as shown in FIG. Depending on whether the filter size of the filter is changed, feature point detection corresponding to the scale change can be performed. That is, the scale of the feature point is determined by the relative size (size ratio) between the resolution of the image and the filter size of the evaluation value calculation filter.
以下に説明する実施形態において「特徴点のスケールが大きい」というときは前述の相対サイズが大きいことを示し、「特徴点のスケールが小さい」というときは前述の相対サイズが小さいことを表すものとする。また、説明を簡単にするために、以下の説明においては、スケール変化の処理として、図１（ｂ）に示す評価値算出フィルタのフィルタサイズのほうを変更する処理を前提に述べる。しかしながら、図１（ａ）に示す画像の解像度のほうを変更する処理を用いても良いし、評価値算出フィルタのフィルタサイズと画像の解像度との両方を変更する処理を用いても良い。また、図１（ｂ）に示す例では、評価値算出フィルタのフィルタサイズを水平方向及び垂直方向に√２／１倍ずつ（フィルタサイズを２倍ずつ）変更していく例を示している。しかしながら、フィルタサイズの拡大率は、これに限るものではない。 In the embodiment described below, “the feature point scale is large” indicates that the relative size is large, and “the feature point scale is small” indicates that the relative size is small. To do. In order to simplify the description, the following description will be made on the assumption that the process of changing the filter size of the evaluation value calculation filter shown in FIG. However, a process for changing the resolution of the image shown in FIG. 1A may be used, or a process for changing both the filter size of the evaluation value calculation filter and the resolution of the image may be used. The example shown in FIG. 1B shows an example in which the filter size of the evaluation value calculation filter is changed by √2 / 1 times (filter size is doubled) in the horizontal and vertical directions. However, the enlargement ratio of the filter size is not limited to this.
また、以下の説明においては、説明を簡単にするために、特徴点を検出する検出領域が画像の全体であるとする。しかしながら、画像の一部の領域を検出領域としても良い。 In the following description, for the sake of simplicity, it is assumed that the detection area for detecting feature points is the entire image. However, a partial area of the image may be a detection area.
＜第１の実施形態＞
本発明の第１の実施形態について説明する。第１の実施形態は、画像から検出する特徴点の数に上限がある際に、スケール毎に優先度を設定し、優先度に応じて特徴点を検出する例である。
<First Embodiment>
A first embodiment of the present invention will be described. In the first embodiment, when there is an upper limit on the number of feature points detected from an image, priority is set for each scale, and feature points are detected according to the priority.
図２は、第１の実施形態に係る画像処理装置の構成を示すブロック図である。図２に示す画像処理装置１００は、制御部１０２と、記憶部１０４と、画像取得部１０６と、画像処理部１０８と、を有している。
FIG. 2 is a block diagram illustrating a configuration of the image processing apparatus according to the first embodiment. An
制御部１０２は、画像処理部１０８の動作を制御すべく、各種の制御信号を画像処理部１０８に対して入力する。例えば、制御部１０２は、画像処理部１０８に対して特徴点検出の実行を指示する。
The
記憶部１０４は、ハードディスクドライブ（ＨＤＤ）及びダイナミックＲＡＭ（ＤＲＡＭ）といった記憶媒体を有している。ＨＤＤは、画像取得部１０６によって入力される画像データ、後述の特徴点候補検出の処理等で用いられるパラメータ、制御部１０２で実行される各種のプログラム等を記憶している。ＤＲＡＭは、制御部１０２及び画像処理部１０８における処理データを一時記憶しておく作業メモリとして使用される。
The
画像取得部１０６は、記憶部１０４のＨＤＤからＤＲＡＭに展開された画像データを読み出して画像処理部１０８に入力する。
The
画像処理部１０８は、画像取得部１０６から入力された画像データに対して画像処理を施す。本実施形態における画像処理部１０８は、画像データにおける特徴点を検出する画像処理を行う。画像処理部１０８は、スケール設定部１０８１と、優先度設定部１０８２と、上限点数設定部１０８３と、特徴点候補検出部１０８４と、特徴点決定部１０８５と、を有している。
The
スケール設定部１０８１は、画像取得部１０６から特徴点候補検出部１０８４に入力される画像の検出領域に対し、大きさの異なる複数のスケールを設定する。
The
優先度設定部１０８２は、スケール設定部１０８１により設定された複数のスケールの各々に対し、スケール間の特徴点検出の優先度を設定する。
The
上限点数設定部１０８３は、検出領域から検出する特徴点の数の上限を設定する。本実施形態における上限点数設定部１０８３は、複数のスケールの全体に対して画像から検出する特徴点候補の点数を上限点数として設定する。以下、このような上限点数を全体上限点数と言う。
The upper limit
特徴点候補検出部１０８４は、スケール設定部１０８１により設定された複数のスケールの各々について、画像の検出領域から特徴点の候補を検出する。特徴点候補検出部１０８４は、評価値算出部１０８４ａと候補検出部１０８４ｂとを含む。評価値算出部１０８４ａは、複数のスケールの各々について、画像取得部１０６から入力された画像の画素値に基づいて検出領域における画像の評価値を算出する。候補検出部１０８４ｂは、評価値から特徴点候補を検出する。
The feature point
特徴点決定部１０８５は、優先度設定部１０８２により設定された優先度と上限点数設定部１０８３により設定された全体上限点数とに基づいて、特徴点候補検出部１０８４により検出された特徴点候補のうちで特徴点とするものを決定する。
The feature
図３は、第１の実施形態に係る画像処理装置を用いた画像処理方法としての特徴点検出の全体の流れを示すフローチャートである。また、図４は、本実施形態に係る画像処理方法の処理の概念図である。 FIG. 3 is a flowchart showing an overall flow of feature point detection as an image processing method using the image processing apparatus according to the first embodiment. FIG. 4 is a conceptual diagram of processing of the image processing method according to the present embodiment.
まず、画像取得部１０６は、記憶部１０４に記憶されている画像データを読み出して特徴点候補検出部１０８４の評価値算出部１０８４ａに入力する（Ｓ１０１）。以後、この評価値算出部１０８４ａに入力される画像データを原画像と呼ぶ。
First, the
画像入力処理の後、スケール設定部１０８１は、特徴点を検出する際のスケールの種類を設定する（Ｓ１０２）。図４に示すように、本実施形態では、後述する評価値算出のフィルタサイズをスケールに応じて設定することでフィルタの種類を変更し、これによって特徴点検出のスケール変化に対応させる。スケールの種類が多いほど、多くのスケール変化に対応できる。実際には、計算コストを鑑みて、ある程度の疎となるようにスケールの種類を設定するのが一般的である。
After the image input process, the
ここでは、評価値算出フィルタのフィルタサイズの初期値(幅、高さ)=(w0,h0)を基準にフィルタサイズを√２倍ずつ拡大し、スケール1からスケールN（図４の例では、N=5)までの評価値算出フィルタのフィルタサイズを設定したものとする。
Here, the filter size is enlarged by √2 times based on the initial value (width, height) = (w0, h0) of the filter size of the evaluation value calculation filter, and
続いて、上限点数設定部１０８３は、全体上限点数を設定する（Ｓ１０３）。全体上限点数の設定手法は、特に限定されない。例えば、全体上限点数は、特徴点の検出後の用途と計算コストとに基づき、ユーザが任意に設定して良い。本実施形態例では、全体上限点数としてmaxPが設定されたものとする。
Subsequently, the upper limit
続いて、優先度設定部１０８２は、スケール1〜Nの各々に対して特徴点検出の優先度を設定する（Ｓ１０４）。優先度は、特徴点の用途により種々設定され得る。ここでは、スケールを変化させながら二次微分フィルタを原画像に対してスケール変更数N回だけ適用し、それぞれの二次微分フィルタの応答値から優先度を設定する例を示す。以下、図５を参照して優先度設定処理についてさらに説明する。
Subsequently, the
図５に示す優先度設定処理において、優先度設定部１０８２は、フィルタの変更回数を管理する変数fに1を加算する（Ｓ２０１）。ここで、変数fは、予め0に初期化されているものとする。
In the priority setting process illustrated in FIG. 5, the
続いて、優先度設定部１０８２は、二次微分フィルタを生成する（Ｓ２０２）。この時、優先度設定部１０８２は、フィルタ変更回数fの値に応じて、フィルタのスケールが大きくなるように二次微分フィルタを生成する。ここでは、二次微分フィルタとしてLoG(Laplacian Of Gaussian)フィルタを用いる。LoGフィルタの係数は下式で計算される。
続いて、優先度設定部１０８２は、生成した二次微分フィルタを原画像にコンボリューションする（Ｓ２０３）。コンボリューションの結果として、二次微分フィルタのスケールに応じた画像領域以外が平滑化された画像が得られる。なお、フィルタコンボリューションを下式で示す。
続いて、優先度設定部１０８２は、コンボリューションの結果として得られる平滑化画像から、優先度評価値Pfを算出する（Ｓ２０４）。ここでは優先度評価値として、下式で示すように平滑化画像の全画素値の平均値を算出する。
続いて、優先度設定部１０８２は、フィルタ変更回数fがスケール変更数Nと等しいか否かを判定する（Ｓ２０５）。Ｓ２０５において、フィルタ変更回数fがスケール変更数Nと等しくないと判定した場合に、優先度設定部１０８２は、Ｓ２０１からの処理を再び処理を行う。
Subsequently, the
Ｓ２０５において、フィルタ変更回数fがスケール変更数Nと等しいと判定した場合に、優先度設定部１０８２は、Ｓ２０１〜Ｓ２０４の反復処理を終える。反復処理により、スケール変更数Nと同数の優先度評価値Pf(f=1〜N)が得られている。優先度設定部１０８２は、これらの優先度評価値Pfに基づいて、各スケールの優先度を設定する（Ｓ２０６）。ここでは、優先度評価値Pfを降順にソートした後の、各優先度評価値に対応するフィルタ変更回数fを優先度とする。つまり、各スケールに対する二次微分フィルタの応答値が強い順に優先度を設定する。ここでは、例として優先度設定処理の結果として、図６の優先度設定テーブルで示すようにスケール1〜N(N=5)に対する優先度が設定されたものとする。
In S205, when it is determined that the filter change frequency f is equal to the scale change number N, the
このように、本実施形態では、フィルタの応答値が強い順にスケールの優先度を設定している。フィルタの応答値が強いということは、それに対応したスケールから検出される特徴点候補がシーンの構造を捉えて検出された点であって有用な特徴点となる可能性が高いことを意味している。このように、本実施形態では、有用な特徴点を得られ易いスケールを予め判別しておくことにより、後述の特徴点候補検出の際に有用な特徴点候補が得られ易くなる。 As described above, in this embodiment, the priority of the scale is set in the descending order of the response value of the filter. A strong filter response value means that feature point candidates detected from the corresponding scale are detected by capturing the scene structure and are likely to be useful feature points. Yes. As described above, in the present embodiment, by determining in advance a scale from which a useful feature point can be easily obtained, it is easy to obtain a useful feature point candidate when detecting a feature point candidate described later.
以上示した処理によって優先度設定処理が完了する。ここで、本実施形態では、優先度を設定するための手法としてLoGフィルタを用いたが、原画像がどのスケールに強く反応するかを調べることができる手法であれば、必ずしもLoGフィルタを用いる必要はない。例えば、原画像を周波数解析し、画像に多く含まれる周波数帯域を同定し、該周波数帯域に相当する空間領域のスケールを算出することによって優先度設定をしても良い。また、後述するＳ１０６及びＳ１０７と同様の処理を行うことによって得られる評価値の統計値や特徴点候補の数を優先度評価値としても良い。 The priority setting process is completed by the process described above. Here, in this embodiment, the LoG filter is used as a method for setting the priority. However, the LoG filter is not necessarily used as long as the method can examine which scale the original image reacts strongly. There is no. For example, the priority setting may be performed by analyzing the frequency of the original image, identifying the frequency band included in the image, and calculating the scale of the spatial region corresponding to the frequency band. Further, a statistical value of evaluation values and the number of feature point candidates obtained by performing processing similar to S106 and S107 described later may be used as the priority evaluation values.
また、優先度設定に際しては、優先度評価値Pfの大小関係が分かれば良い。したがって、計算コストを鑑みると原画像の全座標を厳密に処理する必要はなく、例えば原画像の一部領域や原画像を縮小した画像を用いて優先度評価値Pfを算出しても良い。 Further, when setting the priority, it is only necessary to know the magnitude relationship of the priority evaluation value P f . Therefore, it is not necessary to strictly process all the coordinates of the original image in view of the calculation cost. For example, the priority evaluation value P f may be calculated using a partial area of the original image or an image obtained by reducing the original image. .
ここで、再び図３の説明に戻る。優先度設定処理の後、Ｓ１０５〜Ｓ１０８で示す処理をスケール変更数N回分だけ反復処理する。このために、特徴点候補検出部１０８４は、反復処理の反復回数を管理するフラグであるスケール変更回数sに1を加算する（Ｓ１０５）。ここで、変数sは、予め0に初期化されているものとする。
Here, it returns to description of FIG. 3 again. After the priority setting process, the processes shown in S105 to S108 are repeated for the number N of scale changes. For this purpose, the feature point
続いて、特徴点候補検出部１０８４の評価値算出部１０８４ａは、スケールsについて評価値を算出する（Ｓ１０６）。評価値とは、原画像の座標毎に、各座標の周囲の画像領域がどの程度特徴的であるかを指標化したものである。例えば、周囲の画像領域が平坦状であると評価値は低く算出され、エッジ状であると評価値は高く算出される。評価値算出の手法は特に限定されるものではないが、ここでは、例えばある座標におけるHarris作用素Rを評価値として算出する。Harris作用素は下式で計算される。
ここで、上式で示すHarris作用素を計算するための行列Mにおけるx,y方向の微分値の計算範囲は、スケールsに応じて変更される。例えば、この計算範囲としては、スケール設定部１０８１において設定されたスケールの種類に応じた評価値算出フィルタのフィルタサイズを用いる。他の評価値算出の手法として、例えば、SIFTのDoGが挙げられる。DoGは、原画像に２つの異なるσ値によるGaussianフィルタを適用した画像間の差分値である。この場合、スケール設定部１０８１は、スケールsに応じた２つのσ値を評価値算出フィルタのフィルタサイズの代わりに設定する。
Here, the calculation range of the differential value in the x and y directions in the matrix M for calculating the Harris operator represented by the above equation is changed according to the scale s. For example, as the calculation range, the filter size of the evaluation value calculation filter corresponding to the type of scale set in the
続いて、特徴点候補検出部１０８４の候補検出部１０８４ｂは、評価値から特徴点候補を検出する（Ｓ１０７）。この処理において、候補検出部１０８４ｂは、座標毎の評価値の大きさを調べ、評価値が所定の閾値より大きい座標を特徴点候補として検出する。ここでは、スケールsから、numPs個の特徴点候補が検出されたとする。図７は、特徴点候補の検出例を示す図である。図７に示すように、特徴点候補の情報としては、その座標を記憶しておく。また、検出された特徴点候補には、例えば評価値valueの大きい順にid番号を付与して特徴点候補の座標と対応付けておくようにしても良い。
Subsequently, the
続いて、特徴点候補検出部１０８４は、スケール変更回数sがスケール変更数Nと等しいか否かを判定する（Ｓ１０８）。Ｓ１０８において、スケール変更回数sがスケール変更数Nと等しくないと判定した場合に、未処理のスケールが残っているため、特徴点候補検出部１０８４は、Ｓ１０５からの処理を再び行う。
Subsequently, the feature point
Ｓ１０８において、スケール変更回数sがスケール変更数Nと等しいと判定した場合に、特徴点候補検出部１０８４は、反復処理を終える。反復処理により、各スケールから特徴点候補が検出される。
If it is determined in S108 that the scale change count s is equal to the scale change count N, the feature point
続いて、特徴点決定部１０８５は、優先度が高いスケールに対して画像から検出された特徴点候補を上位の特徴点として決定する（Ｓ１０９）。以下、図８及び図９を参照して特徴点決定処理についてさらに説明する。
Subsequently, the feature
図９において、特徴点決定部１０８５は、特徴点決定処理において用いる変数を初期化する（Ｓ９０１）。この処理において、特徴点決定部１０８５は、特徴点の数を示す変数numPと優先度カウントiをそれぞれ0に初期化する。
In FIG. 9, the feature
以下、特徴点決定部１０８５は、Ｓ９０２〜Ｓ９０６までの反復処理を行う。このために、特徴点決定部１０８５は、優先度カウントiに1を加算する（Ｓ９０２）。
Hereinafter, the feature
続いて、特徴点決定部１０８５は、優先度カウントiに対応する特徴点候補の数numPiを取得する（Ｓ９０３）。numPiは、優先度設定部１０８２において作成された優先度設定テーブルに対し、優先度カウントiに対応するスケールを参照することで得られる。優先度カウントi=1を例にとると、図６の例では優先度1のスケールはスケール3である。したがって、特徴点候補の数としては、スケール3から得られた点数numP3を取得する。
Subsequently, the feature
続いて、特徴点決定部１０８５は、numPにnumPiを加算する(Ｓ９０４)。その後、特徴点決定部１０８５は、numPが全体上限点数maxP以下であるか否かを判定する（Ｓ９０５）。
Subsequently, the feature
Ｓ９０５において、numPがmaxP以下であると判定した場合、特徴点決定部１０８５は、numPi個の特徴点候補の全てに抽出フラグを付与する（Ｓ９０６）。その後、特徴点決定部１０８５は、優先度カウントiがスケール変更数Nに等しいか否かを判定する（Ｓ９０７）。Ｓ９０７において、優先度カウントiがスケール変更数Nに等しいと判定した場合、特徴点決定部１０８５は、Ｓ９０２〜Ｓ９０６の反復処理を終了する。この場合、図９の処理が終了する。また、Ｓ９０７において、優先度カウントiがスケール変更数Nに等しくないと判定した場合、特徴点決定部１０８５は、Ｓ９０２からの処理を再び行う。
If it is determined in S905 that numP is equal to or less than maxP, the feature
Ｓ９０５において、numPがmaxP以下でないと判定した場合、特徴点決定部１０８５は、numPiから端数の特徴点を抽出する（Ｓ９０８）。この処理は、スケールから検出された特徴点候補の数numPiをnumPに加算したところ、全体上限点数maxPを超過した場合に実行される。端数numFracは、全体上限点数maxPに後何点の空きがあるかを調べるものであり下式で求められる。
このように、図９の例の特徴点決定処理においては、優先度の高いスケールから検出された特徴点候補の数numPiを順次numPに加算していき、numPが全体上限点数maxPを超えた場合又は全スケールの特徴点候補の数をnumPに加算し終えた場合に反復処理が終了される。 As described above, in the feature point determination process of the example of FIG. 9, the number of feature point candidates detected from the high priority scale numPi is sequentially added to numP, and numP exceeds the total upper limit number maxP. Alternatively, the iterative process is terminated when the number of feature point candidates of all scales has been added to numP.
以上により、特徴点候補に対する抽出フラグ付けが完了する。この抽出フラグ付けでは、優先度の高いスケールに対して画像から検出される特徴点候補にまず抽出フラグが付与される。そして、あるスケールの中で端数が生じた場合には、その端数分の特徴点候補にも抽出フラグが付与される。 Thus, extraction flagging for the feature point candidates is completed. In this extraction flagging, an extraction flag is first assigned to feature point candidates detected from an image with respect to a scale having a high priority. When a fraction occurs in a certain scale, an extraction flag is also given to feature point candidates corresponding to the fraction.
最後に、特徴点決定部１０８５は、各スケールの特徴点候補に付与された抽出フラグを用いて、本画像処理装置１００が特徴点とする検出領域内の座標を決定する。そして、特徴点決定部１０８５は、特徴点の座標を示す特徴点リストを出力する。図１０は、特徴点リストの出力例を示す図である。本実施形態においては、優先度の高いスケールから抽出された特徴点の座標が特徴点リストに多く含まれることになる。
Finally, the feature
以上説明したように、本実施形態では、優先度の高いスケールから優先して特徴点を抽出するようにしている。これにより、特徴点検出の上限点数が定められている場合であっても、有用な特徴点をより多く検出することが可能である。
ここで、本実施形態では、原画像に二次微分フィルタを適用することによって得られる応答値の高い順に優先度を高く設定しているが、原画像に対して適用するフィルタの種類によっては、必ずしも応答値の高い順に優先度を高く設定する必要はない。
As described above, in the present embodiment, feature points are extracted with priority from a scale with high priority. Thereby, even if the upper limit score of feature point detection is determined, it is possible to detect more useful feature points.
Here, in the present embodiment, the priority is set higher in the order of higher response values obtained by applying the secondary differential filter to the original image, but depending on the type of filter applied to the original image, It is not always necessary to set higher priorities in order of increasing response values.
＜第１の実施形態の変形例＞
次に、第１の実施形態における優先度設定処理の変形例について説明する。前述した実施形態では、原画像に二次微分フィルタを適用することによって得られる応答値から有用な特徴点が得られ易いスケールを判別するようにしている。これは、原画像の画像情報を用いてスケールの優先度を設定していることを意味する。この他、下記の３つの手法でスケールの優先度を設定しても良い。
ａ．原画像の撮影パラメータを用いてスケールの優先度を設定する。
ｂ．予め与えられた値にスケールの優先度を設定する。
ｃ．ユーザにスケールの優先度を設定させる。
<Modification of First Embodiment>
Next, a modification of the priority setting process in the first embodiment will be described. In the embodiment described above, a scale at which useful feature points can be easily obtained is determined from response values obtained by applying a second-order differential filter to the original image. This means that the priority of the scale is set using the image information of the original image. In addition, the priority of the scale may be set by the following three methods.
a. The priority of the scale is set using the shooting parameters of the original image.
b. Set the priority of the scale to a value given in advance.
c. Let the user set the priority of the scale.
以下、それぞれの手法について説明する。
ａ．原画像の撮影パラメータを用いる
ここでは、原画像は、カメラ等で撮影された画像データであり、また、撮影パラメータは、画像データに例えばExif（Exchangeable Image File Format）タグ情報として記憶されているものとする。以下、撮影パラメータを用いて原画像の露光ブレ量を推定し、優先度設定に用いる例を示す。図１１は、第１の実施形態における優先度設定処理の第１の変形例のフローチャートである。
Hereinafter, each method will be described.
a. Using original image shooting parameters Here, the original image is image data shot by a camera or the like, and the shooting parameters are stored in the image data as Exif (Exchangeable Image File Format) tag information, for example. And Hereinafter, an example in which the exposure blur amount of the original image is estimated using the shooting parameters and used for the priority setting will be described. FIG. 11 is a flowchart of a first modification of the priority setting process in the first embodiment.
図１１において、優先度設定部１０８２は、撮影パラメータとして、撮影時の露光時間ssと露光時間ss中のカメラの回転角rx,ry,rzとを取得する（Ｓ５０１）。ここで、回転角rx,ry,rzは、予めにカメラに設定された互いに直交するx,y,z軸周りの回転角である。それぞれの回転角は、例えば角速度センサによって検出される。
In FIG. 11, the
続いて、優先度設定部１０８２は、露光ブレ量を算出する（Ｓ５０２）。画像中の任意座標(x,y)の露光ブレ量は、以下の手順で計算される。
上式で示される露光ブレ量は画像の座標によって変わるので、原画像の全座標又は適当にサンプリングした座標群にて各々の露光ブレ量を計算する。最終的に算出する露光ブレ量は、各座標で求めた露光ブレ量の平均値とする。即ち、以下の計算によって最終的な露光ブレ量を算出する。
続いて、優先度設定部１０８２は、露光ブレ量を基に各スケールに対する優先度を設定する（Ｓ５０３）。ここでは、露光ブレ量より大きなスケールの優先度を高く設定する。図１２は、露光ブレ量がスケールs＝3に近い値を持つとした場合の優先度の設定例を示す。露光ブレ量より大きなスケールより画像から検出される特徴点は、ノイズ点である可能性が低く、有用な特徴点であると考えられる。
Subsequently, the
ここで、前述の変形例では撮影パラメータを利用して露光ボケ量を算出し、この露光ボケ量を基に優先度を設定するようにしている。これに対し、他の撮影パラメータを使用してスケールの優先度を設定することもできる。以下に他の撮影パラメータを利用してスケールの優先度を設定する例を示す。
・原画像のピントボケ量を利用する。
前述の変形例では、撮影時におけるカメラの回転ブレに起因する露光ボケ量を利用してスケールの優先度を設定している。これに対し、撮影時におけるピントボケ量を利用してスケールの優先度を設定しても良い。この場合、撮影パラメータとして、Ｆ値と、焦点距離と、フォーカス位置の被写体距離とを取得して被写界深度を算出し、被写界深度に応じてスケールの優先度を設定する。例えば、被写界深度が小さいときには画像がボケている可能性が高いので、大きい範囲を有するスケールの優先度を高く設定する。
また、ＡＦ（オートフォーカス）位置から、ＭＦ（マニュアルフォーカス）操作によってピント位置が変更された場合、撮影パラメータとしてレンズの駆動量を取得し、ＡＦ 位置からの差分量に応じてスケールの優先度を設定しても良い。例えば、差分量が大きいほど、ピントが外れている、即ち画像のボケが大きいとし、大きい範囲を有するスケールの優先度を高く設定する。
・原画像のノイズ量を利用する。
原画像にノイズが多く含まれるときには、小さなスケールはノイズの影響を受けやすく、有用な特徴点が得られる可能性は低くなる。したがって、撮影パラメータとして、ＩＳＯ感度を取得し、ＩＳＯ感度の大きさに応じて定まるノイズ量から、スケールの優先度を設定しても良い。また、原画像の明るさによりノイズ量の影響の程度が異なるため、画像の露出値EVから明るさを取得し、取得した明るさとＩＳＯ感度とを合わせてスケールの優先度を設定しても良い。例えば、被写体が暗く且つＩＳＯ感度が大きい場合には、ノイズの影響が大きくなるので、大きい範囲を有するスケールの優先度を高く設定する。また、原画像がＪＰＥＧ処理等で圧縮されている場合にはその圧縮率からノイズ量を定めて利用しても良い。
・シーンの３Ｄ情報を利用する。
原画像に含まれる被写体に対し、カメラとの距離が近いときはより小さなスケールが被写体の構造を鑑みたスケールであると言え、カメラとの距離が遠いときはより大きなスケールが被写体の構造を鑑みたスケールであると言える。したがって、撮影パラメータとして、３Ｄ測定機能を備えたカメラにて撮影時に取得されたシーンの３Ｄ情報(x,y,z)を取得し、シーンの遠近によりスケールの優先度を設定しても良い。
Here, in the above-described modification, the amount of exposure blur is calculated using the imaging parameter, and the priority is set based on the amount of exposure blur. On the other hand, the priority of the scale can be set using other shooting parameters. An example of setting scale priorities using other shooting parameters is shown below.
・ Use the amount of focus blur of the original image.
In the above-described modification, the priority of the scale is set using the amount of exposure blur caused by the camera rotation blur at the time of shooting. On the other hand, the priority of the scale may be set using the out-of-focus amount at the time of shooting. In this case, the F value, the focal length, and the subject distance at the focus position are acquired as shooting parameters to calculate the depth of field, and the priority of the scale is set according to the depth of field. For example, since the possibility that the image is blurred is high when the depth of field is small, the priority of the scale having a large range is set high.
When the focus position is changed from the AF (autofocus) position by MF (manual focus) operation, the lens drive amount is acquired as a shooting parameter, and the scale priority is set according to the difference from the AF position. May be set. For example, the larger the difference amount, the more out of focus, that is, the larger the blur of the image, the higher the priority of the scale having a large range.
・ Use the noise amount of the original image.
When the original image contains a lot of noise, the small scale is susceptible to noise, and the possibility of obtaining useful feature points is low. Therefore, the ISO priority may be acquired as a shooting parameter, and the priority of the scale may be set from the amount of noise determined according to the magnitude of the ISO sensitivity. Further, since the degree of influence of the noise amount differs depending on the brightness of the original image, the brightness may be acquired from the exposure value EV of the image, and the priority of the scale may be set by combining the acquired brightness and the ISO sensitivity. . For example, when the subject is dark and the ISO sensitivity is high, the influence of noise increases, so the priority of the scale having a large range is set high. If the original image is compressed by JPEG processing or the like, the amount of noise may be determined from the compression rate and used.
Use scene 3D information.
When the subject in the original image is close to the camera, the smaller scale is the scale that takes into account the structure of the subject. It can be said that it is a scale. Therefore, 3D information (x, y, z) of a scene acquired at the time of shooting with a camera having a 3D measurement function may be acquired as a shooting parameter, and the priority of the scale may be set depending on the perspective of the scene.
以上、幾つかの撮影パラメータに従ってスケールに対する優先度を設定する例を示したが、これらの優先度の設定処理は必ずしも単独で用いる必要はなく、組み合わせて用いても良い。また、画像情報からスケールの優先度を設定する第１の実施形態と撮影パラメータからスケールの優先度を設定する第１の実施形態の変形例とを組み合わせても良い。 The example in which the priority for the scale is set according to some shooting parameters has been described above, but these priority setting processes are not necessarily used alone, and may be used in combination. Further, the first embodiment in which the priority of the scale is set from the image information and the modification of the first embodiment in which the priority of the scale is set from the shooting parameters may be combined.
ｂ．予め与えられた値にスケールの優先度を設定する。
予め与えられたスケールの優先度を設定できるようにしても良い。これは、記憶部１０４等に各スケールの優先度の設定値を予め記憶させておき、それを利用する処理である。予め与えられた値とは、例えば、本画像処理装置の用途等に応じて設計者等が決定した値等である。図１３は、第１の実施形態における優先度設定処理の第２の変形例のフローチャートである。
b. Set the priority of the scale to a value given in advance.
You may enable it to set the priority of the scale given beforehand. This is a process in which the setting value of the priority of each scale is stored in advance in the
図１３において、優先度設定部１０８２は、記憶部１０４から、予め設定された優先度の設定値を読み込む（Ｓ６０１）。この設定値は、例えば複数のスケールの各々に対する優先度を示す番号である。
In FIG. 13, the
続いて、優先度設定部１０８２は、読み込んだ設定値に従って各スケールに優先度を設定する（Ｓ６０２）。
Subsequently, the
ｃ．ユーザにスケールの優先度を設定させる。
本画像処理装置１００を使用するユーザがスケールの優先度を設定できるようにしても良い。図１４は、第１の実施形態における優先度設定処理の第３の変形例のフローチャートである。このフローチャートは、優先度設定処理のタイミングでユーザからの操作を受け付ける例を示す。ユーザからの操作の受付は、優先度設定処理の前のタイミングであっても良い。
c. Let the user set the priority of the scale.
The user who uses the
図１４において、優先度設定部１０８２は、ユーザに対してスケール設定をする判断材料を提示する（Ｓ７０１）。この処理において、優先度設定部１０８２は、例えば図示しない表示デバイスに、原画像そのものや、数値、図形データ等を表示させる。また、判断材料としては、例えばＳ２０４の優先度評価値の算出で説明した各スケールのフィルタの応答値をグラフ表示させる。このようなグラフを見ることによって、ユーザはどのスケールに高い優先度を与えるべきかを視覚的に判断することができる。
In FIG. 14, the
続いて、優先度設定部１０８２は、ユーザからの操作を受け付ける（Ｓ７０２）。ユーザによる操作は、例えばキーボードやボタンでなされる。受け付けられる操作としては、ユーザがスケール変更数Nに対して最も優先したいスケールを選択する操作である。勿論、全てのスケールに対する優先度を設定できるようにしても良い。
Subsequently, the
続いて、優先度設定部１０８２は、ユーザの操作に従って各スケールの優先度を設定する（Ｓ７０３）。Ｓ７０２において最も優先度が高いスケールが１つユーザから設定されている。この最も高い優先度を付与されたスケールを基準として他のスケールの優先度を設定する。例えば、最も高い優先度を付与されたスケールに対して番号が近いスケールから順に優先度を設定する。このような優先度の設定例を図１５に示す。
Subsequently, the
＜第２の実施形態＞
以下、本発明の第２の実施形態について説明する。第１の実施形態では個々のスケールに対しては上限点数を設けず、複数のスケールの全体に対して上限点数を設定している。これに対し、第２の実施形態は、複数のスケールの各々に上限点数を設定する例である。
<Second Embodiment>
Hereinafter, a second embodiment of the present invention will be described. In the first embodiment, an upper limit score is not set for each scale, but an upper limit score is set for the entire plurality of scales. In contrast, the second embodiment is an example in which an upper limit score is set for each of a plurality of scales.
図１６は、第２の実施形態に係る画像処理装置の構成を示すブロック図である。ここで、図１６においては図２と異なる部分を主に説明し、図２と共通の部分については説明を省略する。第２の実施形態は、上限点数設定部１０８３の構成が第１の実施形態と異なっている。
FIG. 16 is a block diagram illustrating a configuration of an image processing apparatus according to the second embodiment. Here, in FIG. 16, parts different from FIG. 2 will be mainly described, and description of parts common to FIG. 2 will be omitted. In the second embodiment, the configuration of the upper limit
第２の実施形態における上限点数設定部１０８３は、スケール毎上限点数設定部１０８３ａと全体上限点数設定部１０８３ｂとを有している。
The upper limit
スケール毎上限点数設定部１０８３ａは、複数のスケールの各々に対し、画像から検出する特徴点候補の上限点数を設定する。全体上限点数設定部１０８３ｂは、複数のスケールの全体に対して画像から検出する特徴点候補の点数を上限点数として設定する。
The upper limit
図１７は、第２の実施形態に係る画像処理装置を用いた画像処理方法としての特徴点検出の全体の流れを示すフローチャートである。また、図１８は、本実施形態に係る画像処理方法の処理の概念図である。ここで、図１７において図３と共通の処理については、図３と共通の参照符号を付すことで説明を省略する。即ち、以下に述べるＳ１２１及びＳ１２２以外の処理は図３と同様である。 FIG. 17 is a flowchart showing an overall flow of feature point detection as an image processing method using the image processing apparatus according to the second embodiment. FIG. 18 is a conceptual diagram of processing of the image processing method according to the present embodiment. Here, in FIG. 17, the processes common to those in FIG. 3 are denoted by the same reference numerals as those in FIG. That is, the processes other than S121 and S122 described below are the same as those in FIG.
図１７に示すように、上限点数設定処理として全体上限点数を設定した後、スケール毎上限点数設定部１０８３ａは、スケール1からスケールN（例えばN=5)までの各々に上限点数を設定する（Ｓ１２１）。上限点数の設定手法は特に限定されない。例えば、優先度が最も高いスケールの上限点数を2000点、その次に優先度の高いスケールの上限点数を1000点、以下、500点、250点、125点といったように、優先度の高いスケールに対してより多い上限点数を設定する。以下、各スケールに設定した上限点数をmaxPs(s=1〜N)と表記する。
As shown in FIG. 17, after setting the overall upper limit score as the upper limit score setting process, the upper limit
以下、第１の実施形態と同様の特徴点候補検出までの処理が行われる。この後、特徴点候補検出部１０８４は、スケール毎上限検出処理を行う（Ｓ１２１）。この処理は、特徴点候補numPsのうち、各スケールに設定された上限点数maxPs個の点を特徴点候補とする処理である。
Thereafter, processing up to feature point candidate detection similar to the first embodiment is performed. Thereafter, the feature point
図１９は、スケール毎上限検出処理を示すフローチャートである。図１９において、特徴点候補検出部１０８４は、現在の処理対象のスケールsの特徴点候補の数numPsが、そのスケールsの上限点数maxPsより大きいか否かを判定する（Ｓ１００１）。
FIG. 19 is a flowchart showing the upper limit detection process for each scale. In FIG. 19, the feature point
Ｓ１００１において、numPsがmaxPを超えている場合、特徴点候補検出部１０８４は、numPs個の特徴点候補を評価値の大きい順にソートする（Ｓ１００２）。なお、ソートの手段は問わない。その後、特徴点候補検出部１０８４は、numPs個の特徴点候補のうち、評価値の上位maxPs個の特徴点候補を出力する（Ｓ１００３）。そして、特徴点候補検出部１０８４は、図１９の処理を終了させる。
If numPs exceeds maxP in S1001, the feature point
Ｓ１００１において、numPsがmaxPs以下、即ちスケールsに対して画像から検出された特徴点候補の数が上限点数以下である場合、Ｓ１００３の処理のように評価値が上位の特徴点候補を抽出する必要はない。したがって、特徴点候補検出部１０８４は、numPs個の特徴点候補の全てを出力する（Ｓ１００４）。そして、特徴点候補検出部１０８４は、図１９の処理を終了させる。
In S1001, if numPs is less than or equal to maxPs, that is, if the number of feature point candidates detected from the image with respect to scale s is less than or equal to the upper limit score, it is necessary to extract feature point candidates with higher evaluation values as in S1003. There is no. Therefore, the feature point
ここで、Ｓ１００２及びＳ１００３ではソート処理を行うように述べたが、結果として評価値が上位のmaxPs個の特徴点候補が抽出できれば良い。したがって、抽出された特徴点候補同士の順列は必ずしもソートされている必要はない。 Here, it is described that the sort process is performed in S1002 and S1003, but it is only necessary to extract maxPs feature point candidates having higher evaluation values as a result. Therefore, the permutations between the extracted feature point candidates do not necessarily need to be sorted.
以上説明したように、本発明の第２の実施形態では、複数のスケールの各々に上限点数を設定している。これにより、優先度の高いスケールからのみ特徴点が検出されてしまう可能性を避けることができる。したがって、より特徴点の用途やシーンに応じた検出が可能である。 As described above, in the second embodiment of the present invention, an upper limit score is set for each of a plurality of scales. Thereby, it is possible to avoid the possibility that the feature point is detected only from the scale with high priority. Therefore, it is possible to detect according to the use of the feature point and the scene.
ここで、第２の実施形態では、第１の実施形態と同様の全体上限点数の設定も行っている。しかしながら、スケール毎上限点数設定のみ行うようにしても良い。この場合には、スケール毎上限検出処理によって出力された全ての特徴点候補が特徴点として決定される。 Here, in the second embodiment, the same overall upper limit score as that in the first embodiment is also set. However, only the upper limit number for each scale may be set. In this case, all feature point candidates output by the scale-by-scale upper limit detection process are determined as feature points.
また、第２の実施形態においても、第１の実施形態で説明した各種の変形例が適用され得る。 Also in the second embodiment, various modifications described in the first embodiment can be applied.
＜第３の実施形態＞
第１の実施形態では、スケール設定部１０８１において設定された複数のスケールの全てに対し、評価値の計算等の全ての計算を行っている。しかしながら、全体上限点数が設定されているので、優先度の低いスケールに対して画像から検出された特徴点候補は、最終的に特徴点として決定される可能性は低い。これに対し、第３の実施形態は、複数のスケールに対する処理を順番に行いながら、全体上限点数に達した時点で処理を打ち切ることで計算コストの低減を図る例である。
<Third Embodiment>
In the first embodiment, all calculations such as calculation of evaluation values are performed on all of the plurality of scales set in the
図２０は、第３の実施形態に係る画像処理装置の構成を示すブロック図である。図２０に示すように、第３の実施形態の画像処理装置の構成は、図２で示した第１の実施形態の画像処理装置の構成とほぼ同一である。ただし、優先度設定部１０８２で設定される優先度が特徴点候補検出部１０８４の評価値算出部１０８４ａに入力される点と、上限点数設定部１０８３で設定される全体上限点数が特徴点候補検出部１０８４の候補検出部１０８４ｂに入力される点とが異なっている。
FIG. 20 is a block diagram illustrating a configuration of an image processing apparatus according to the third embodiment. As shown in FIG. 20, the configuration of the image processing apparatus of the third embodiment is substantially the same as the configuration of the image processing apparatus of the first embodiment shown in FIG. However, the priority set by the
図２１は、第３の実施形態に係る画像処理装置を用いた画像処理方法としての特徴点検出の全体の流れを示すフローチャートである。ここで、図２１において図３と共通の処理については、図３と共通の参照符号を付すことで説明を省略する。即ち、以下に述べるＳ１３１及びＳ１３２以外の処理は図３と同様である。 FIG. 21 is a flowchart showing an overall flow of feature point detection as an image processing method using the image processing apparatus according to the third embodiment. Here, in FIG. 21, the processes common to those in FIG. 3 are denoted by the same reference numerals as those in FIG. That is, the processes other than S131 and S132 described below are the same as those in FIG.
図２１に示すように、優先度設定処理の後、優先度設定部１０８２は、特徴点候補を検出するスケールに対する処理の実行順をスケール実行順execとして設定する（Ｓ１３１）。スケール実行順execは、優先度が高い順に設定する。図２２は、スケール実行順execの設定例を示す図である。
As shown in FIG. 21, after the priority setting process, the
続いて、特徴点候補検出部１０８４は、複数のスケールの各々について反復処理を行う。本実施形態においては、Ｓ１３１で設定したスケール実行順に従ってスケールの種類を順次変更する。この処理において、候補検出部１０８４ｂは、Ｓ１０７において特徴点候補を検出した後、反復処理を継続するか打ち切るかの判定を行う。このために、候補検出部１０８４ｂは、検出された特徴点候補の総和を以下のように算出する。
特徴点候補の算出後、候補検出部１０８４ｂは、特徴点候補の総和sumPが全体上限点数maxP未満であるか否かを判定する（Ｓ１３２）。Ｓ１３２において、特徴点候補の総和sumPが全体上限点数maxP未満である場合には、処理がＳ１０８を経てＳ１０５に移行する。この場合には、反復処理が継続される。また、Ｓ１３２において、特徴点候補の総和sumPが全体上限点数maxP以上の場合には、処理がＳ１０９に移行する。この場合には、反復処理が終了される。
After calculating the feature point candidates, the
以上説明したように本実施形態によれば、優先度の高い順にスケール実行順を設定してこの順番に従って各スケールに対する処理を実行し、特徴点候補の総和が全体上限点数以上になった場合に処理を打ち切るようにしている。これにより、必要の無いスケールの計算が省略され、計算コストが低減される。 As described above, according to the present embodiment, the scale execution order is set in descending order of priority, and the processing for each scale is executed in accordance with this order, and the sum of the feature point candidates is equal to or greater than the total upper limit score. The processing is aborted. Thereby, unnecessary scale calculation is omitted, and the calculation cost is reduced.
ここで、前述の実施形態では全てのスケールに対する処理を行う前提としている。実際には、優先度評価値Pfが著しく低いスケールに対しては、処理を行わないように設定しても良い。これは、前述したように優先度評価値Pfが著しく低いスケールからは有用な特徴点が得られない可能性が高いためである。 Here, in the above-described embodiment, it is assumed that processing for all scales is performed. Actually, it may be set so that processing is not performed on a scale having a significantly low priority evaluation value P f . This is because, as described above, there is a high possibility that useful feature points cannot be obtained from a scale having a significantly low priority evaluation value P f .
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。 Although the present invention has been described above based on the embodiments, the present invention is not limited to the above-described embodiments, and various modifications and applications are naturally possible within the scope of the gist of the present invention. Further, in the description of each operation flowchart described above, the operation is described using “first”, “next”, and the like for convenience, but this does not mean that it is essential to perform the operations in this order. Absent.
また、上述した実施形態における画像処理装置による各処理の手法、即ち、各フローチャートに示す処理は、何れも制御部１０２に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、制御部１０２は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
Also, each processing method by the image processing apparatus in the above-described embodiment, that is, the processing shown in each flowchart, can be stored as a program that can be executed by the
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。 Further, the above-described embodiments include various stages of the invention, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some configuration requirements are deleted from all the configuration requirements shown in the embodiment, the above-described problem can be solved, and this configuration requirement is deleted when the above-described effects can be obtained. The configuration can also be extracted as an invention.
１００…画像処理装置、１０２…制御部、１０４…記憶部、１０６…画像取得部、１０８…画像処理部、１０８１…スケール設定部、１０８２…優先度設定部、１０８３…上限点数設定部、１０８３ａ…スケール毎上限点数設定部、１０８３ｂ…全体上限点数設定部、１０８４…特徴点候補検出部、１０８４ａ…評価値算出部、１０８４ｂ…候補検出部、１０８５…特徴点決定部
DESCRIPTION OF
Claims (8)
複数の前記スケールの各々に対し、当該スケール間の特徴点の検出の優先度を設定する優先度設定部と、
前記検出領域から検出する前記特徴点の上限点数を設定する上限点数設定部と、
前記スケール毎に、前記検出領域における前記取得した画像の画素値を用いて評価値を算出し、該算出した評価値に基づき、前記取得した画像の検出領域から特徴点の候補を検出する特徴点候補検出部と、
前記優先度と前記上限点数とに基づいて、前記特徴点の候補から特徴点を決定する特徴点決定部と、
を具備することを特徴とする画像処理装置。 A scale setting unit for setting a plurality of scales having different sizes for a detection region for detecting a feature point set in the acquired image;
For each of the plurality of scales, a priority setting unit that sets the priority of detection of feature points between the scales;
An upper limit score setting unit for setting an upper limit score of the feature points detected from the detection area;
A feature point for calculating an evaluation value using a pixel value of the acquired image in the detection region for each scale, and detecting a feature point candidate from the detection region of the acquired image based on the calculated evaluation value A candidate detection unit;
A feature point determination unit that determines a feature point from the feature point candidates based on the priority and the upper limit score;
An image processing apparatus comprising:
前記特徴点決定部は、前記優先度が上位のスケールに対して検出された前記特徴点の候補から順に、前記上限点数以下の前記特徴点の候補を前記特徴点として決定することを特徴とする請求項１に記載の画像処理装置。 The upper limit score setting unit sets the upper limit score for the entire acquired image of the feature points detected for each scale,
The feature point determination unit determines the feature point candidates equal to or lower than the upper limit score as the feature points in order from the feature point candidates detected for the higher-order scale. The image processing apparatus according to claim 1.
前記特徴点候補検出部は、前記評価値が上位の特徴点から順に、前記上限点数以下の特徴点候補を検出することを特徴とする請求項１又は２に記載の画像処理装置。 The upper limit score setting unit sets the upper limit score of feature points to be detected for each scale,
The image processing apparatus according to claim 1, wherein the feature point candidate detection unit detects feature point candidates equal to or less than the upper limit score in order from the highest feature point.
前記画像が撮影された際の撮影パラメータを取得し、当該撮影パラメータに基づいて前記優先度を設定することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。 The priority setting unit
The image processing apparatus according to claim 1, wherein a photographing parameter when the image is photographed is acquired, and the priority is set based on the photographing parameter.
複数の前記スケールの各々に対し、当該スケール間の特徴点の検出の優先度を設定し、
前記検出領域から検出する前記特徴点の上限点数を設定し、
前記スケール毎に、前記検出領域における前記取得した画像の画素値を用いて評価値を算出し、該算出した評価値に基づき、前記取得した画像の検出領域から特徴点の候補を検出し、
前記優先度と前記上限点数とに基づいて、前記特徴点の候補から特徴点を決定する、
ことを特徴とする画像処理方法。 Set multiple scales with different sizes for the detection area that detects the feature points set in the acquired image,
For each of the plurality of scales, set the priority of detection of feature points between the scales,
Set the upper limit score of the feature points to be detected from the detection area,
For each scale, an evaluation value is calculated using the pixel value of the acquired image in the detection region, and based on the calculated evaluation value, a feature point candidate is detected from the detection region of the acquired image,
Determining a feature point from the feature point candidates based on the priority and the upper limit score;
An image processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012275976A JP2014120056A (en) | 2012-12-18 | 2012-12-18 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012275976A JP2014120056A (en) | 2012-12-18 | 2012-12-18 | Image processing apparatus and image processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014120056A true JP2014120056A (en) | 2014-06-30 |
Family
ID=51174825
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012275976A Pending JP2014120056A (en) | 2012-12-18 | 2012-12-18 | Image processing apparatus and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014120056A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015005221A (en) * | 2013-06-21 | 2015-01-08 | キヤノン株式会社 | Information processing device, method, and computer program |
| WO2022064854A1 (en) * | 2020-09-23 | 2022-03-31 | カシオ計算機株式会社 | Hardware accelerator, image processing device, and image processing method |
-
2012
- 2012-12-18 JP JP2012275976A patent/JP2014120056A/en active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015005221A (en) * | 2013-06-21 | 2015-01-08 | キヤノン株式会社 | Information processing device, method, and computer program |
| WO2022064854A1 (en) * | 2020-09-23 | 2022-03-31 | カシオ計算機株式会社 | Hardware accelerator, image processing device, and image processing method |
| JP2022052139A (en) * | 2020-09-23 | 2022-04-04 | カシオ計算機株式会社 | Hardware accelerator, image processing unit, and feature point detecting method |
| JP7200983B2 (en) | 2020-09-23 | 2023-01-10 | カシオ計算機株式会社 | HARDWARE ACCELERATOR, IMAGE PROCESSING DEVICE, AND FEATURE POINT DETECTION METHOD |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6803899B2 (en) | Image processing methods, image processing equipment and electronic devices | |
| JP5210318B2 (en) | Image processing apparatus, method, and storage medium | |
| JP5779089B2 (en) | Edge detection apparatus, edge detection program, and edge detection method | |
| KR102211592B1 (en) | Electronic device for processing image and method thereof | |
| JPWO2010098054A1 (en) | Image correction apparatus and image correction method | |
| US9536169B2 (en) | Detection apparatus, detection method, and storage medium | |
| US9767533B2 (en) | Image resolution enhancement based on data from related images | |
| JP4990876B2 (en) | Image processing device | |
| Choi et al. | A method for fast multi-exposure image fusion | |
| CN114007013B (en) | Fuzzy region determination and anti-shake performance detection method, system and anti-shake performance detection equipment | |
| US10210619B2 (en) | Image processing apparatus for selecting an object image to be processed based on a determination result of correlation, image pickup apparatus, and storage medium for storing image processing program | |
| JP2014120056A (en) | Image processing apparatus and image processing method | |
| KR20130103217A (en) | Apparatus for providing blurred image and method for providing blurred image | |
| JP7025237B2 (en) | Image processing equipment and its control method and program | |
| CN116320792A (en) | Method for enhancing resolution and reducing noise in multi-frame image | |
| JP6187235B2 (en) | Normal vector extraction apparatus, normal vector extraction method, and normal vector extraction program | |
| JP6639155B2 (en) | Image processing apparatus and image processing method | |
| JP2015156189A (en) | image evaluation device, and image evaluation program | |
| KR20150047060A (en) | Method of identifing business card and apparatus thereof | |
| KR20140009706A (en) | Image processing device of searching and controlling an motion blur included in an image data and method thereof | |
| JP6381212B2 (en) | Imaging apparatus and control method thereof | |
| JP2018072942A (en) | Image processing apparatus, image processing method, program, and storage medium | |
| JP6194793B2 (en) | Image correction apparatus, image correction method, and image correction program | |
| JP6639120B2 (en) | Image processing apparatus, image processing method, and program | |
| Yitzhaky et al. | Restoration of depth-based space-variant blurred images |