JP2009042909A - Feature point detection device and moving image processor mounted therewith - Google Patents

Feature point detection device and moving image processor mounted therewith Download PDF

Info

Publication number
JP2009042909A
JP2009042909A JP2007205642A JP2007205642A JP2009042909A JP 2009042909 A JP2009042909 A JP 2009042909A JP 2007205642 A JP2007205642 A JP 2007205642A JP 2007205642 A JP2007205642 A JP 2007205642A JP 2009042909 A JP2009042909 A JP 2009042909A
Authority
JP
Japan
Prior art keywords
pixel
feature point
unit
point detection
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2007205642A
Other languages
Japanese (ja)
Inventor
Shoji Goto
章二 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2007205642A priority Critical patent/JP2009042909A/en
Publication of JP2009042909A publication Critical patent/JP2009042909A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To solve a problem wherein a lot of arithmetic amount is needed so as to detect a feature point from inside an image. <P>SOLUTION: A reading part 20 reads a pixel value of a notice pixel and pixel values of its peripheral pixels respectively in a line in a plurality of directions from a partial area set inside the image. Filters 30a-d respectively apply prescribed conversion to the plurality of pixel value lines read respectively in the line by the reading part 20. A decision part 40 decides that the notice pixel is a feature point candidate when all of respective output results by the filters 30a-d satisfy a prescribed condition. The reading part 20 reads the pixel values respectively in the line in at least three directions of a horizontal direction, a vertical direction, a first oblique direction from the upper right to the lower left, and a second oblique direction from the upper left to the lower right with the notice pixel as the center. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、撮像された画像内から特徴点を検出する特徴点検出装置、およびそれを搭載した動画像処理装置に関する。   The present invention relates to a feature point detection device that detects a feature point from a captured image, and a moving image processing device equipped with the feature point detection device.

撮像された動画像内から動体を自動的に検知する車載カメラや監視カメラが普及してきている。動画像内から動体を検知する手法の一つに、オプティカルフローを算出して、動体を検知する手法がある。オプティカルフローとは、画像内のある点や図形がつぎの瞬間にどのような方向へ、どの程度の距離、移動するかを示すベクトルである。画像内のすべての画素についてオプティカルフローを算出すると、演算量が非常に多くなってしまうため、画像内の特徴点についてのみ算出するのが一般的である。   Car-mounted cameras and surveillance cameras that automatically detect moving objects from captured moving images have become widespread. One technique for detecting a moving object from within a moving image is a technique for detecting a moving object by calculating an optical flow. The optical flow is a vector indicating in what direction and how far a certain point or figure in the image moves at the next moment. If the optical flow is calculated for all the pixels in the image, the calculation amount becomes very large. Therefore, it is general to calculate only the feature points in the image.

画像内から特徴点を抽出するための手法には、MoravecオペレータやSUSANオペレータなどを用いる手法がある。Moravecオペレータは、注目画素の画素値と、その周辺８画素の画素値との分散を求めるものである。SUSANオペレータは、画像内に設定された円形状のマスク領域内で、注目画素の画素値と、その周辺画素の画素値との絶対値差が所定のしきい値を超えている画素を計数するものである。   As a method for extracting feature points from an image, there is a method using a Moravec operator, a SUSAN operator, or the like. The Moravec operator obtains the variance between the pixel value of the target pixel and the pixel values of the surrounding eight pixels. The SUSAN operator counts pixels in which the absolute value difference between the pixel value of the pixel of interest and the pixel values of the surrounding pixels exceeds a predetermined threshold within a circular mask area set in the image Is.

特許文献１は、画像において、局所的な特徴が変化する特徴点を検出する特徴点検出装置を開示する。その特徴点検出装置は、ハイパスフィルタおよび検出手段を備え、ハイパスフィルタは、注目画素を含む所定の領域を構成する画素の画素値の統計をとり、その統計結果に対応する値を、注目画素の新たな画素値として出力する。検出手段は、ハイパスフィルタより出力される当該画素値で構成される新たな画像の特徴点を検出する。
特開平９−１６１０７５号公報 Patent Document 1 discloses a feature point detection device that detects a feature point whose local feature changes in an image. The feature point detection apparatus includes a high-pass filter and detection means. The high-pass filter takes statistics of pixel values of pixels constituting a predetermined region including the pixel of interest, and calculates a value corresponding to the statistical result of the pixel of interest. Output as a new pixel value. The detection means detects a feature point of a new image composed of the pixel value output from the high pass filter.
JP-A-9-161075

上述した特徴点抽出手法は、いずれも統計的手法を利用しており多くの演算量を必要とする。とくに、ハイパスフィルタを使用する手法は、微分演算を必要とする。したがって、それらの手法は、回路規模や演算時間の増大を招く。上述したような車載カメラの用途では、演算時間の短縮が強く求められる。   All the feature point extraction methods described above use statistical methods and require a large amount of computation. In particular, a technique using a high-pass filter requires a differential operation. Therefore, these methods cause an increase in circuit scale and calculation time. In the use of the on-vehicle camera as described above, it is strongly required to shorten the calculation time.

本発明はこうした状況に鑑みなされたものであり、その目的は、簡素な構成で高速に特徴点を検出することができる特徴点検出装置、およびそれを搭載した動画像処理装置を提供することにある。   The present invention has been made in view of such circumstances, and an object of the present invention is to provide a feature point detection device capable of detecting feature points at high speed with a simple configuration, and a moving image processing device equipped with the feature point detection device. is there.

本発明のある態様の特徴点検出装置は、画像内に設定された部分領域から、注目画素の画素値およびその周辺画素の画素値を複数の方向にそれぞれ一列に読み出す読出部と、読出部によりそれぞれ一列に読み出された複数の画素値列に対して、それぞれ所定の変換を施すフィルタと、フィルタによるそれぞれの出力結果のすべてが、所定の条件を満たしたとき、前記注目画素を特徴点候補と判定する判定部と、を備える。   A feature point detection apparatus according to an aspect of the present invention includes a readout unit that reads out pixel values of a pixel of interest and pixel values of surrounding pixels from a partial region set in an image in a plurality of directions, respectively, and a readout unit. A filter that performs a predetermined conversion on each of a plurality of pixel value sequences read out in a single column, and when all of the output results of the filters satisfy a predetermined condition, the pixel of interest is selected as a feature point candidate And a determination unit that determines that.

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。   It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, and the like are also effective as an aspect of the present invention.

本発明によれば、簡素な構成で高速に特徴点を検出することができる。   According to the present invention, feature points can be detected at high speed with a simple configuration.

図１は、本発明の実施の形態１に係る特徴点検出装置１００の構成を示すブロック図である。特徴点検出装置１００は、フレームバッファ１０、読出部２０、フィルタ部３０、および判定部４０を備える。これらの構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。   FIG. 1 is a block diagram showing a configuration of a feature point detection apparatus 100 according to Embodiment 1 of the present invention. The feature point detection apparatus 100 includes a frame buffer 10, a reading unit 20, a filter unit 30, and a determination unit 40. These configurations can be realized by an arbitrary processor, memory, or other LSI in terms of hardware, and can be realized by a program loaded in the memory in terms of software, but here by their cooperation. Draw functional blocks. Therefore, those skilled in the art will understand that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.

フレームバッファ１０は、入力される画像をフレーム単位で保持する。
読出部２０は、フレームバッファ１０に保持されたフレーム画像内に部分領域を設定し、その部分領域内の画素を読出対象とする。以下、縦ｎ画素×横ｍ画素（ｎ，ｍは３以上の整数）の矩形の窓領域を設定する例を説明する。なお、必ずしも矩形に設定する必要はなく、SUSANオペレータで設定されるような円形状の領域であってもよい。 The frame buffer 10 holds an input image in units of frames.
The reading unit 20 sets a partial area in the frame image held in the frame buffer 10 and sets pixels in the partial area as a reading target. Hereinafter, an example in which a rectangular window region of vertical n pixels × horizontal m pixels (n and m are integers of 3 or more) is set will be described. Note that it is not always necessary to set a rectangular shape, and it may be a circular region set by a SUSAN operator.

読出部２０は、当該部分領域から、注目画素の画素値およびその周辺画素の画素値を複数の方向にそれぞれ一列に読み出す。注目画素は、上記部分領域の中心画素に設定されてもよい。周辺画素は、当該注目画素に接している画素でもよいし、当該注目画素との間にｐ画素（ｐは自然数）挟んだ位置に存在する画素でもよい。以下、注目画素は、上記部分領域の中心画素とし、周辺画素は、その中心画素の両側に等間隔に位置する二つの画素とする例を説明する。   The reading unit 20 reads the pixel value of the target pixel and the pixel values of the peripheral pixels from the partial area in a plurality of directions in a line. The target pixel may be set as the center pixel of the partial area. The peripheral pixel may be a pixel that is in contact with the target pixel, or may be a pixel that is present at a position sandwiching a p pixel (p is a natural number) between the target pixel. Hereinafter, an example will be described in which the target pixel is the central pixel of the partial region, and the peripheral pixels are two pixels located at equal intervals on both sides of the central pixel.

読出部２０は、注目画素を中心に、水平方向、垂直方向、右上から左下への第１斜め方向、および左上から右下への第２斜め方向のうち、少なくとも三つの方向に、それぞれ一列に読み出す。以下、四つの方向に読み出す例を説明する。読出部２０は、複数の方向にそれぞれ一列に読み出した複数の画素値列をフィルタ部３０に出力する。   The readout unit 20 is arranged in a line in at least three directions from the horizontal direction, the vertical direction, the first diagonal direction from the upper right to the lower left, and the second diagonal direction from the upper left to the lower right with the pixel of interest at the center. read out. Hereinafter, an example of reading in four directions will be described. The reading unit 20 outputs a plurality of pixel value sequences read in one row in a plurality of directions to the filter unit 30.

フィルタ部３０は、複数の一次元フィルタ３０ａ〜３０ｄを備える。一次元フィルタ３０ａ〜３０ｄの数は、読出部２０で読み出される方向の数に対応する。図１の例では、四つである。一次元フィルタ３０ａ〜３０ｄは、読出部２０によりそれぞれ一列に読み出された複数の画素値列に対して、それぞれ所定の変換を施す。   The filter unit 30 includes a plurality of one-dimensional filters 30a to 30d. The number of one-dimensional filters 30 a to 30 d corresponds to the number of directions read by the reading unit 20. In the example of FIG. The one-dimensional filters 30a to 30d respectively perform predetermined conversion on a plurality of pixel value sequences read out in a row by the reading unit 20.

具体的には、一次元フィルタ３０ａ〜３０ｄは、それぞれの画素値列に対して、注目画素の画素値を２α（αは自然数）倍し、その二つの周辺画素の画素値をそれぞれα倍する。一次元フィルタ３０ａ〜３０ｄは、α倍された二つの周辺画素の画素値を加算し、その値と、２α倍された注目画素の画素値との差を求める。その差を出力結果として判定部４０に出力する。   Specifically, the one-dimensional filters 30a to 30d multiply the pixel value of the pixel of interest by 2α (α is a natural number) and multiply the pixel values of the two surrounding pixels by α for each pixel value sequence. . The one-dimensional filters 30a to 30d add the pixel values of the two neighboring pixels multiplied by α, and obtain the difference between the value and the pixel value of the target pixel multiplied by 2α. The difference is output to the determination unit 40 as an output result.

判定部４０は、一次元フィルタ３０ａ〜３０ｄによるそれぞれの出力結果のすべてが、所定の条件を満たしたとき、注目画素を特徴点候補と判定する。具体的には、一次元フィルタ３０ａ〜３０ｄの出力結果のすべての正負符号が等しく、かつすべての絶対値が所定のしきい値を超えたとき、対象とされた注目画素を特徴点候補と判定する。ここで、所定のしきい値は、設計者が実験やシミュレーションにより求めた値に設定されることができる。   The determination unit 40 determines the target pixel as a feature point candidate when all the output results from the one-dimensional filters 30a to 30d satisfy a predetermined condition. Specifically, when all the positive and negative signs of the output results of the one-dimensional filters 30a to 30d are equal and all the absolute values exceed a predetermined threshold value, the target pixel of interest is determined as a feature point candidate. To do. Here, the predetermined threshold value can be set to a value obtained by the designer through experiments or simulations.

以上の処理がフレーム内のすべての画素または一部の画素について実行され、各フレームの特徴点候補が抽出される。   The above processing is executed for all or some of the pixels in the frame, and feature point candidates for each frame are extracted.

図２は、窓領域の各画素値に掛けられる係数の一例を示す。この例の上述したパラメータは、ｎ＝５、ｍ＝５、ｐ＝１、α＝１である。読出部２０は、５×５の窓領域において、水平方向ａ、垂直方向ｂ、第１斜め方向ｃ、および第２斜め方向ｄに画素値を読み出す。係数が零の画素値は読み出さない。   FIG. 2 shows an example of a coefficient to be multiplied to each pixel value in the window area. The parameters described above in this example are n = 5, m = 5, p = 1, and α = 1. The reading unit 20 reads pixel values in the horizontal direction a, the vertical direction b, the first diagonal direction c, and the second diagonal direction d in the 5 × 5 window region. Pixel values with zero coefficients are not read out.

具体的には、水平方向ａに、周辺画素の画素値Ｃ（i-2,j）、注目画素の画素値Ｃ（i,j）、および周辺画素の画素値Ｃ（i+2,j）を読み出す。垂直方向ｂに、周辺画素の画素値Ｃ（i,j-2）、注目画素の画素値Ｃ（i,j）、および周辺画素の画素値Ｃ（i,j+2）を読み出す。第１斜め方向ｃに、周辺画素の画素値Ｃ（i-2,j+2）、注目画素の画素値Ｃ（i,j）、および周辺画素の画素値Ｃ（i+2,j-2）を読み出す。第２斜め方向ｄに、周辺画素の画素値Ｃ（i-2,j-2）、注目画素の画素値Ｃ（i,j）、および周辺画素の画素値Ｃ（i+2,j+2）を読み出す。   Specifically, in the horizontal direction a, the pixel value C (i−2, j) of the peripheral pixel, the pixel value C (i, j) of the target pixel, and the pixel value C (i + 2, j) of the peripheral pixel Is read. In the vertical direction b, the pixel value C (i, j-2) of the peripheral pixel, the pixel value C (i, j) of the target pixel, and the pixel value C (i, j + 2) of the peripheral pixel are read out. In the first diagonal direction c, the pixel value C (i-2, j + 2) of the peripheral pixel, the pixel value C (i, j) of the target pixel, and the pixel value C (i + 2, j-2) of the peripheral pixel ). In the second diagonal direction d, the pixel value C (i−2, j−2) of the peripheral pixel, the pixel value C (i, j) of the target pixel, and the pixel value C (i + 2, j + 2) of the peripheral pixel ).

一次元フィルタ３０ａ〜３０ｄは、それぞれ注目画素の画素値Ｃ（i,j）を２倍にする。図２の例では、α＝１であるため、周辺画素の画素値には係数を掛ける必要はない。   The one-dimensional filters 30a to 30d each double the pixel value C (i, j) of the target pixel. In the example of FIG. 2, since α = 1, it is not necessary to multiply the pixel values of the peripheral pixels by a coefficient.

図３は、フィルタ部３０の構成例を示す。一次元フィルタ３０ａは、水平方向ａに読み出された画素値列を処理する。一次元フィルタ３０ｂは、垂直方向ｂに読み出された画素値列を処理する。一次元フィルタ３０ｃは、第１斜め方向ｃに読み出された画素値列を処理する。一次元フィルタ３０ｄは、第２斜め方向ｄに読み出された画素値列を処理する。   FIG. 3 shows a configuration example of the filter unit 30. The one-dimensional filter 30a processes the pixel value sequence read in the horizontal direction a. The one-dimensional filter 30b processes the pixel value sequence read in the vertical direction b. The one-dimensional filter 30c processes the pixel value sequence read in the first oblique direction c. The one-dimensional filter 30d processes the pixel value sequence read in the second oblique direction d.

一次元フィルタ３０ａは、第１乗算部３２ａ、第２乗算部３４ａ、第３乗算部３６ａ、加算部３８ａ、および減算部３９ａを備える。第１乗算部３２ａは、注目画素の画素値Ｃ（i,j）を２α倍する。第２乗算部３４ａは、周辺画素の画素値Ｃ（i-2,j）をα倍する。第３乗算部３６ａは、周辺画素の画素値Ｃ（i+2,j）をα倍する。加算部３８ａは、第２乗算部３４ａの出力値と、第３乗算部３６ａの出力値を加算する。減算部３９ａは、第１乗算部３２ａの出力値と、加算部３８ａの出力値との差を算出する。減算部３９ａは、その差を出力値Ｙａとして判定部４０に出力する。   The one-dimensional filter 30a includes a first multiplier 32a, a second multiplier 34a, a third multiplier 36a, an adder 38a, and a subtractor 39a. The first multiplying unit 32a multiplies the pixel value C (i, j) of the target pixel by 2α. The second multiplication unit 34a multiplies the pixel value C (i−2, j) of the surrounding pixels by α. The third multiplier 36a multiplies the pixel value C (i + 2, j) of the surrounding pixels by α. The adder 38a adds the output value of the second multiplier 34a and the output value of the third multiplier 36a. The subtractor 39a calculates the difference between the output value of the first multiplier 32a and the output value of the adder 38a. The subtraction unit 39a outputs the difference to the determination unit 40 as the output value Ya.

一次元フィルタ３０ｂ〜ｄの構成は、一次元フィルタ３０ａの構成と同様のため説明を省略する。フィルタ部３０は、読み出された方向数に対応した四つの出力値Ｙａ〜Ｙｄを判定部４０に出力する。   Since the configurations of the one-dimensional filters 30b to 30d are the same as the configuration of the one-dimensional filter 30a, description thereof is omitted. The filter unit 30 outputs four output values Ya to Yd corresponding to the read number of directions to the determination unit 40.

図４は、判定部４０の構成例を示す。判定部４０は、複数の絶対値変換部４２ａ〜ｄ、複数の比較部４４ａ〜ｄ、正負符号比較部４５、ＡＮＤ回路４６、スイッチＳＷ１、および特徴点格納部４８を備える。図４では、図３に示したフィルタ部３０の四つの出力値Ｙａ〜Ｙｄを受けるため、絶対値変換部４２ａ〜ｄおよび比較部４４ａ〜ｄは、四つずつ設けられる。   FIG. 4 shows a configuration example of the determination unit 40. The determination unit 40 includes a plurality of absolute value conversion units 42a to 42d, a plurality of comparison units 44a to 44d, a positive / negative sign comparison unit 45, an AND circuit 46, a switch SW1, and a feature point storage unit 48. In FIG. 4, in order to receive the four output values Ya to Yd of the filter unit 30 shown in FIG. 3, four absolute value conversion units 42a to 42d and four comparison units 44a to 44d are provided.

絶対値変換部４２ａ〜ｄは、フィルタ部３０の四つの出力値Ｙａ〜Ｙｄの符号をとり、その出力値Ｙａ〜Ｙｄの絶対値を出力する。比較部４４ａ〜ｄは、絶対値変換部４２ａ〜ｄの出力値と、所定のしきい値とをそれぞれ比較する。たとえば、前者が後者を超えたとき、有意な信号を出力し、超えないとき、非有意な信号を出力する。正負符号比較部４５は、出力値Ｙａ〜Ｙｄの正負符号がすべて一致した場合、有意な信号を出力し、どれかひとつでも異なる符号の場合、非有意な信号を出力する。ＡＮＤ回路４６は、複数の比較部４４ａ〜ｄの出力信号および正負符号比較部４５の出力信号がすべて有意な信号である場合、有意な信号を出力する。ひとつでも非有意な信号が含まれる場合、非有意な信号を出力する。ここで、有意な信号はハイレベル信号、非有意な信号はローレベル信号であってもよい。   The absolute value conversion units 42a to 42d take the signs of the four output values Ya to Yd of the filter unit 30 and output the absolute values of the output values Ya to Yd. The comparison units 44a to 44d compare the output values of the absolute value conversion units 42a to 42d with predetermined threshold values, respectively. For example, a significant signal is output when the former exceeds the latter, and an insignificant signal is output when it does not exceed the latter. The positive / negative sign comparison unit 45 outputs a significant signal when all of the positive and negative signs of the output values Ya to Yd match, and outputs an insignificant signal when any one of the signs is different. The AND circuit 46 outputs a significant signal when the output signals of the plurality of comparison units 44a to 44d and the output signal of the positive / negative sign comparison unit 45 are all significant signals. If even one non-significant signal is included, a non-significant signal is output. Here, the significant signal may be a high level signal, and the insignificant signal may be a low level signal.

特徴点格納部４８は、ＡＮＤ回路４６の出力信号が有意なときの注目画素の位置情報（i,j）を特徴点候補として格納する。図４では、ＡＮＤ回路４６の出力信号でスイッチＳＷ１のオンオフを制御する例であり、ＡＮＤ回路４６の出力信号が有意なとき、スイッチＳＷ１がオンし、注目画素の位置情報（i,j）が特徴点格納部４８に格納される。特徴点格納部４８に格納された位置情報（i,j）で特定される画素は、そのまま特徴点に設定されてもよいし、別のフィルタでさらに絞り込まれてもよい。たとえば、複数の特徴点候補が近傍に位置する場合、出力値Ｙａ〜Ｙｄの合計が一番大きい画素を特徴点に採用してもよい。   The feature point storage unit 48 stores position information (i, j) of the target pixel when the output signal of the AND circuit 46 is significant as a feature point candidate. FIG. 4 shows an example of controlling on / off of the switch SW1 with the output signal of the AND circuit 46. When the output signal of the AND circuit 46 is significant, the switch SW1 is turned on, and the position information (i, j) of the pixel of interest is It is stored in the feature point storage unit 48. The pixels specified by the position information (i, j) stored in the feature point storage unit 48 may be set as feature points as they are, or may be further narrowed down by another filter. For example, when a plurality of feature point candidates are located in the vicinity, a pixel having the largest total of the output values Ya to Yd may be adopted as the feature point.

以上説明したように本実施の形態によれば、統計的演算や微分演算、および平均化などの前処理が必要なく、簡単な演算処理および判定処理で特徴点または特徴点候補を検出することができる。簡単な演算処理および判定処理であるため、処理を高速化することができる。また、フィルタ部３０および判定部４０をハードウェアで構成した場合、回路規模を抑えつつ、ソフトウェア処理する場合より高速化することができる。とくに、α＝１に設定した場合、乗算器の数を少なくすることができ、回路規模をより小さくすることができる。   As described above, according to the present embodiment, it is possible to detect feature points or feature point candidates by simple calculation processing and determination processing without the need for preprocessing such as statistical calculation, differentiation calculation, and averaging. it can. Since it is simple calculation processing and determination processing, the processing can be speeded up. Further, when the filter unit 30 and the determination unit 40 are configured by hardware, the processing speed can be increased compared to the case of software processing while suppressing the circuit scale. In particular, when α = 1 is set, the number of multipliers can be reduced and the circuit scale can be further reduced.

また、水平方向および垂直方向だけでなく、斜め方向にも一次元フィルタをかけるため、高精細な検出が可能である。また、複数の方向において画素値の変化割合が大きい画素、すなわち孤立度合いが高い画素を検出するため、孤立点やコーナーを効果的に検出することができる。この点、Moravecオペレータは、エッジを有効に検出することができるが、注目画素の画素値とその周辺８画素の画素値との偏差が平均化されるため、コーナーを効果的に検出することは難しい。   Further, since the one-dimensional filter is applied not only in the horizontal direction and the vertical direction but also in the oblique direction, high-definition detection is possible. In addition, since pixels with a large change rate of pixel values in a plurality of directions, that is, pixels with a high degree of isolation, are detected, isolated points and corners can be detected effectively. In this respect, the Moravec operator can effectively detect the edge, but since the deviation between the pixel value of the target pixel and the pixel values of the surrounding eight pixels is averaged, the corner cannot be detected effectively. difficult.

SUSANオペレータは、画素値が不連続に変化する凸領域の曲率の頂点を探索するアルゴリズムであり、コーナーの検出に有効であるが、参照画素が多く、演算量および回路規模が大きくなってしまう。この点、本実施の形態に係るアルゴリズムは、SUSANオペレータと比較し、演算量および回路規模を大幅に低減しつつ、SUSANオペレータと同等のコーナー検出精度を得ることができる。   The SUSAN operator is an algorithm for searching for the vertex of curvature of a convex region in which pixel values change discontinuously, and is effective for corner detection. However, there are a large number of reference pixels, which increases the amount of calculation and the circuit scale. In this regard, the algorithm according to the present embodiment can obtain the same corner detection accuracy as the SUSAN operator while significantly reducing the amount of calculation and the circuit scale as compared with the SUSAN operator.

つぎに、実施の形態１に係る特徴点検出装置１００を適用した動画像処理システムについて説明する。
図５は、実施の形態２に係る動画像処理システム２００の構成を示す。動画像処理システム２００は、撮像部２１０および動画像処理装置２２０を備える。撮像部２１０は、撮像素子６０および信号処理部６２を有する。動画像処理装置２２０は、フレームバッファ７０、対象フレーム選択部７２、参照フレーム選択部７４、オプティカルフロー検出部７６および後処理部８０を有する。オプティカルフロー検出部７６は、特徴点検出装置１００およびオプティカルフロー演算部７８を含む。 Next, a moving image processing system to which the feature point detection apparatus 100 according to Embodiment 1 is applied will be described.
FIG. 5 shows a configuration of a moving image processing system 200 according to the second embodiment. The moving image processing system 200 includes an imaging unit 210 and a moving image processing device 220. The imaging unit 210 includes an imaging element 60 and a signal processing unit 62. The moving image processing apparatus 220 includes a frame buffer 70, a target frame selection unit 72, a reference frame selection unit 74, an optical flow detection unit 76, and a post-processing unit 80. The optical flow detection unit 76 includes a feature point detection device 100 and an optical flow calculation unit 78.

動画像処理装置２２０の構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。   The configuration of the moving image processing apparatus 220 can be realized by an arbitrary processor, memory, or other LSI in terms of hardware, and can be realized by a program loaded in the memory in terms of software. Depicts functional blocks realized by. Therefore, those skilled in the art will understand that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.

撮像部２１０は、車両などの移動体や、壁や柱などの建造物に搭載され、動画像を撮像して動画像処理装置２２０に出力する。以下、車両に搭載される例で説明する。撮像素子６０は、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどが用いられ、入射光を電気信号に変換し、信号処理部６２に出力する。   The imaging unit 210 is mounted on a moving body such as a vehicle or a building such as a wall or a pillar, captures a moving image, and outputs the moving image to the moving image processing apparatus 220. Hereinafter, an example of mounting on a vehicle will be described. The imaging device 60 uses a CCD (Charge Coupled Devices) sensor, a CMOS (Complementary Metal-Oxide Semiconductor) image sensor, or the like, converts incident light into an electrical signal, and outputs the electrical signal to the signal processing unit 62.

信号処理部６２は、撮像素子６０から入力されるアナログ信号をデジタル信号に変換する。また、平滑化フィルタを備え、動画像処理装置２２０に対して出力する画像データに対して平滑化処理を施してもよい。また、その他のノイズ除去処理を施してもよい。   The signal processing unit 62 converts the analog signal input from the image sensor 60 into a digital signal. Further, a smoothing filter may be provided, and smoothing processing may be performed on the image data output to the moving image processing apparatus 220. Further, other noise removal processing may be performed.

動画像処理装置２２０は、撮像部２１０から入力される画像データからオプティカルフローを検出する。フレームバッファ７０は、ｑ（ｑは自然数）フレーム分、格納する領域を持ち、撮像部２１０から入力される画像データを一時格納する。領域が溢れた場合、先に入力された画像フレームから順番に破棄する。フレームバッファ７０に格納された画像フレームは、対象フレーム選択部７２および参照フレーム選択部７４に出力される。   The moving image processing device 220 detects an optical flow from the image data input from the imaging unit 210. The frame buffer 70 has an area for storing q (q is a natural number) frames, and temporarily stores image data input from the imaging unit 210. When the area overflows, it is discarded in order from the previously input image frame. The image frames stored in the frame buffer 70 are output to the target frame selection unit 72 and the reference frame selection unit 74.

対象フレーム選択部７２は、フレームバッファ７０内のフレームを順番にオプティカルフロー検出部７６に出力する。また、フレームバッファ７０内のフレームを適宜、間引いて、出力してもよい。参照フレーム選択部７４は、対象フレーム選択部７２で選択されたフレームの参照すべき参照フレームを選択し、フレームバッファ７０内から取得する。   The target frame selection unit 72 outputs the frames in the frame buffer 70 to the optical flow detection unit 76 in order. Further, the frames in the frame buffer 70 may be appropriately thinned out and output. The reference frame selection unit 74 selects a reference frame to be referred to by the frame selected by the target frame selection unit 72 and acquires it from the frame buffer 70.

参照フレーム選択部７４は、車両内の速度センサから速度情報を取得し、図示しないルックアップテーブルを参照して、取得した速度情報に関連付けられたフレーム間隔を特定してもよい。このルックアップテーブルは、速度情報とフレーム間隔を関連付けて管理する。速度情報とフレーム間隔との関係は、設計者による実験やシミュレーションにより決定された関係に設定される。   The reference frame selection unit 74 may acquire speed information from a speed sensor in the vehicle and refer to a lookup table (not shown) to specify a frame interval associated with the acquired speed information. This lookup table manages speed information and frame intervals in association with each other. The relationship between the speed information and the frame interval is set to a relationship determined by an experiment or simulation by the designer.

オプティカルフロー検出部７６は、対象フレームと参照フレームとを用いて、オプティカルフローを検出する。特徴点検出装置１００は、実施の形態１で説明した装置であり、対象フレーム選択部７２により選択された対象フレーム内から特徴点を抽出する。なお、解像度の異なる複数の階層で実行してもよい。   The optical flow detection unit 76 detects an optical flow using the target frame and the reference frame. The feature point detection device 100 is the device described in the first embodiment, and extracts feature points from the target frame selected by the target frame selection unit 72. Note that it may be executed in a plurality of layers having different resolutions.

上述したｎ×ｍの部分領域の位置は、速度情報および操舵角情報の少なくとも一方に基づき、決定されてもよい。速度情報および操舵角情報の少なくとも一方から、部分領域の位置を決定する処理は、図示しないルックアップテーブルを参照して、実行されてもよい。   The position of the n × m partial region described above may be determined based on at least one of speed information and steering angle information. The process of determining the position of the partial region from at least one of the speed information and the steering angle information may be executed with reference to a lookup table (not shown).

特徴点検出装置１００は、抽出した特徴点の座標と画素値をオプティカルフロー演算部７８に出力する。オプティカルフロー演算部７８は、対象フレーム選択部７２により選択された対象フレーム、特徴点検出装置１００から入力された特徴点の座標と画素値、および参照フレーム選択部７４により選択された参照フレームに基づき、オプティカルフローを算出する。より具体的には、対象フレームの特徴点に対応する点を、参照フレーム内で探索する。   The feature point detection apparatus 100 outputs the extracted feature point coordinates and pixel values to the optical flow calculation unit 78. The optical flow calculation unit 78 is based on the target frame selected by the target frame selection unit 72, the coordinates and pixel values of the feature points input from the feature point detection apparatus 100, and the reference frame selected by the reference frame selection unit 74. Calculate the optical flow. More specifically, a point corresponding to the feature point of the target frame is searched for in the reference frame.

後処理部８０は、オプティカルフロー検出部７６から出力されたオプティカルフローに対して所定の後処理を施す。たとえば、入力されるオプティカルフローから、撮像部２１０自体の移動による成分を差し引く処理を行ってもよい。また、ノイズを除去するため、入力されるオプティカルフローの長さを所定のしきい値と比較して、有効とすべきオプティカルフローの長さを制限する処理を行ってもよい。また、オプティカルフロー検出部７６から出力されたオプティカルフローの長さの平均値を算出してもよい。ノイズ除去用のしきい値は、あらかじめ設定された値でもよいし、当該平均値またはその平均値を調整した値であってもよい。   The post-processing unit 80 performs predetermined post-processing on the optical flow output from the optical flow detection unit 76. For example, a process of subtracting a component due to movement of the imaging unit 210 itself may be performed from the input optical flow. In addition, in order to remove noise, the length of the optical flow to be validated may be limited by comparing the length of the input optical flow with a predetermined threshold value. Further, an average value of the lengths of the optical flows output from the optical flow detection unit 76 may be calculated. The noise removal threshold value may be a preset value, or an average value or a value obtained by adjusting the average value.

図示しない任意のユーザインタフェースは、後処理部８０から出力されたオプティカルフローをもとに危険な対象の出現をユーザに認識させる。たとえば、表示部にオプティカルフローを単純に表示してもよいし、車両との距離に応じて定められる、危険とされる長さのオプティカルフローのみを表示してもよい。また、その危険とされる長さのオプティカルフローが発生した場合、スピーカから警告音を発してもよい。さらに、車両の制動系に制御信号を出力してもよい。   An arbitrary user interface (not shown) causes the user to recognize the appearance of a dangerous target based on the optical flow output from the post-processing unit 80. For example, the optical flow may be simply displayed on the display unit, or only the optical flow having a dangerous length determined according to the distance from the vehicle may be displayed. Further, when an optical flow having a length that is considered to be dangerous occurs, a warning sound may be emitted from a speaker. Further, a control signal may be output to the vehicle braking system.

以上説明したように実施の形態２によれば、オプティカルフロー算出の前処理として、実施の形態１に係る特徴点検出装置１００を利用して、算出対象とすべき特徴点を検出することにより、オプティカルフロー算出処理を高速化することが可能である。車載カメラなどの用途では、緊急性が高いため高速化の要請が強く、実施の形態１に係る特徴点検出装置１００を利用する効果が大きい。   As described above, according to the second embodiment, as a pre-process for optical flow calculation, by using the feature point detection apparatus 100 according to the first embodiment, by detecting a feature point to be calculated, It is possible to speed up the optical flow calculation process. In applications such as in-vehicle cameras, there is a strong demand for speeding up due to high urgency, and the effect of using the feature point detection apparatus 100 according to Embodiment 1 is great.

つぎに、実施の形態３について説明する。実施の形態３は、オプティカルフローを検出する際、フレーム内の複数の領域ごとにそれぞれ設定された条件でオプティカルフローを算出する。たとえば、その条件は、車両の速度や操舵角を参照して決定される。   Next, a third embodiment will be described. In the third embodiment, when an optical flow is detected, the optical flow is calculated under conditions set for each of a plurality of regions in the frame. For example, the condition is determined with reference to the speed and steering angle of the vehicle.

図６は、実施の形態３に係る動画像処理システム３００の構成を示す。実施の形態３に係る動画像処理システム３００の構成は、実施の形態２に係る動画像処理システム２００の構成を拡張したものである。以下、追加された構成を中心に説明する。   FIG. 6 shows a configuration of a moving image processing system 300 according to the third embodiment. The configuration of the moving image processing system 300 according to the third embodiment is an extension of the configuration of the moving image processing system 200 according to the second embodiment. Hereinafter, the added configuration will be mainly described.

まず、撮像部２１０、フレームバッファ７０、および対象フレーム選択部７２の構成は、実施の形態２に係る動画像処理システム２００の構成と同様である。参照フレーム選択部７４は、車両内の車速センサから速度情報を取得し、ルックアップテーブル７５を参照して、取得した速度情報に関連付けられたフレーム間隔を特定する。その際、複数の領域ごとに異なるフレーム間隔を特定してもよい。なお、フレーム間隔は、固定でも、適応的に制御されてもよい。   First, the configuration of the imaging unit 210, the frame buffer 70, and the target frame selection unit 72 is the same as the configuration of the moving image processing system 200 according to the second embodiment. The reference frame selection unit 74 acquires speed information from a vehicle speed sensor in the vehicle, refers to the lookup table 75, and specifies a frame interval associated with the acquired speed information. At that time, different frame intervals may be specified for each of the plurality of regions. Note that the frame interval may be fixed or adaptively controlled.

ルックアップテーブル７５は、速度情報および操舵角情報の少なくとも一方の車両状態と、以下のパラメータを関連付けて管理する。当該パラメータには、少なくとも注目領域の位置が含まれる。たとえば、速度が速い場合、フレーム領域の上方に注目領域が設定され、遅い場合、下方に設定される。また、操舵角情報により車両が右に曲がっている場合、フレーム領域の右方に設定され、左に曲がっている場合、左方に設定される。   The look-up table 75 manages at least one vehicle state of speed information and steering angle information in association with the following parameters. The parameter includes at least the position of the attention area. For example, when the speed is high, the attention area is set above the frame area, and when the speed is low, the attention area is set below. Further, when the vehicle is turned to the right according to the steering angle information, it is set to the right of the frame area, and when it is turned to the left, it is set to the left.

その他、当該パラメータには、対象フレームと参照フレームとのフレーム間隔、オプティカルフローを算出する際の画像の解像度、および無効にすべきオプティカルフローを判定するためのしきい値のうち、少なくとも一つが含まれてもよい。これらの関連付けは、設計者による実験やシミュレーションにより決定された関係に設定される。   In addition, the parameter includes at least one of a frame interval between the target frame and the reference frame, an image resolution when calculating the optical flow, and a threshold value for determining the optical flow to be invalidated. May be. These associations are set to a relationship determined by an experiment or simulation by the designer.

オプティカルフロー検出部７６は、第１特徴点検出装置１００ａ、第２特徴点検出装置１００ｂ、パラメータ決定部７７、第１オプティカルフロー演算部７８ａおよび第２オプティカルフロー演算部７８ｂを備える。特徴点検出装置１００およびオプティカルフロー演算部７８はそれぞれ二つ設けられているが、これは、フレーム領域に二つの注目領域が設定されることに対応する。三つ以上設定される場合、三つ以上の特徴点検出装置１００およびオプティカルフロー演算部７８がそれぞれ設けられる。   The optical flow detection unit 76 includes a first feature point detection device 100a, a second feature point detection device 100b, a parameter determination unit 77, a first optical flow calculation unit 78a, and a second optical flow calculation unit 78b. Two feature point detection devices 100 and two optical flow calculation units 78 are provided, which corresponds to setting two attention regions in the frame region. When three or more are set, three or more feature point detection devices 100 and an optical flow calculation unit 78 are provided.

第１特徴点検出装置１００ａおよび第２特徴点検出装置１００ｂは、実施の形態１に係る特徴点検出装置１００を利用することができる。上述したｎ×ｍの部分領域は、パラメータ決定部７７から指定される注目領域の位置に基づき、設定される。なお、実施の形態１で説明したα、ｐの値は、それぞれ要求される仕様に応じて、異なってもよい。   The first feature point detection device 100a and the second feature point detection device 100b can use the feature point detection device 100 according to the first embodiment. The above-described n × m partial area is set based on the position of the attention area specified by the parameter determination unit 77. Note that the values of α and p described in the first embodiment may differ depending on the required specifications.

パラメータ決定部７７は、車両内の速度センサおよび操舵角センサの少なくとも一方から、速度情報および操舵角情報の少なくとも一方を取得し、ルックアップテーブル７５を参照して、取得した情報に関連付けられた各種パラメータを取得する。   The parameter determination unit 77 acquires at least one of speed information and steering angle information from at least one of the speed sensor and the steering angle sensor in the vehicle, refers to the lookup table 75, and performs various types associated with the acquired information. Get parameters.

パラメータ決定部７７は、注目領域の位置をルックアップテーブル７５から取得し、第１特徴点検出装置１００ａ、第２特徴点検出装置１００ｂ、第１オプティカルフロー演算部７８ａ、および第２オプティカルフロー演算部７８ｂに設定する。なお、ノイズ除去用のしきい値を取得した場合、第１閾値判定部８２ａおよび第２閾値判定部８２ｂに設定する。   The parameter determination unit 77 acquires the position of the region of interest from the lookup table 75, and the first feature point detection device 100a, the second feature point detection device 100b, the first optical flow calculation unit 78a, and the second optical flow calculation unit. Set to 78b. In addition, when the threshold value for noise removal is acquired, it sets to the 1st threshold value determination part 82a and the 2nd threshold value determination part 82b.

第１オプティカルフロー演算部７８ａは、対象フレーム選択部７２により選択された対象フレーム、第１特徴点検出装置１００ａから入力された特徴点の座標と画素値、および参照フレーム選択部７４により選択された参照フレームに基づき、注目領域のオプティカルフローを算出する。第２オプティカルフロー演算部７８ｂも、別の注目領域について同様に処理する。   The first optical flow calculation unit 78a is selected by the target frame selected by the target frame selection unit 72, the coordinates and pixel values of the feature points input from the first feature point detection device 100a, and the reference frame selection unit 74. Based on the reference frame, the optical flow of the attention area is calculated. The second optical flow calculation unit 78b performs the same processing for another attention area.

後処理部８０は、第１閾値判定部８２ａおよび第２閾値判定部８２ｂを含む。第１閾値判定部８２ａは、パラメータ決定部７７から設定されたしきい値と、第１オプティカルフロー演算部７８ａから入力されたオプティカルフローの大きさを比較し、当該しきい値を超えるオプティカルフローを無効にする。第２閾値判定部８２ｂは、パラメータ決定部７７から設定された閾値と、第２オプティカルフロー演算部７８ｂから入力されたオプティカルフローの大きさを比較し、当該しきい値を超えるオプティカルフローを無効にする。   The post-processing unit 80 includes a first threshold determination unit 82a and a second threshold determination unit 82b. The first threshold determination unit 82a compares the threshold set by the parameter determination unit 77 with the magnitude of the optical flow input from the first optical flow calculation unit 78a, and determines an optical flow exceeding the threshold. To disable. The second threshold value determination unit 82b compares the threshold value set from the parameter determination unit 77 with the magnitude of the optical flow input from the second optical flow calculation unit 78b, and invalidates the optical flow exceeding the threshold value. To do.

以上説明したように実施の形態３によれば、実施の形態２と同様の効果を奏する。さらに、注目領域ごとに最適なパラメータを設定することにより、トレードオフ関係にある精度と速度をきめ細かく調整することができる。   As described above, according to the third embodiment, the same effects as those of the second embodiment can be obtained. Furthermore, by setting optimal parameters for each region of interest, it is possible to finely adjust the accuracy and speed that are in a trade-off relationship.

以上、本発明をいくつかの実施形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。   The present invention has been described based on some embodiments. It is understood by those skilled in the art that these embodiments are exemplifications, and that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are also within the scope of the present invention. By the way.

たとえば、上述した一次元フィルタ３０ａ〜３０ｄのそれぞれが、暗い特徴点を検出するフィルタ、および明るい特徴点を検出するフィルタの二つのフィルタを備えてもよい。
図７（ａ）は、注目画素が暗い場合において、窓領域の各画素値に掛けられる係数の一例を示す。図７（ｂ）は、注目画素が明るい場合において、窓領域の各画素値に掛けられる係数の一例を示す。図７（ａ）、（ｂ）は、図２の変形例である。 For example, each of the above-described one-dimensional filters 30a to 30d may include two filters: a filter that detects a dark feature point and a filter that detects a bright feature point.
FIG. 7A shows an example of a coefficient to be multiplied to each pixel value in the window area when the target pixel is dark. FIG. 7B shows an example of a coefficient to be multiplied to each pixel value in the window area when the target pixel is bright. FIGS. 7A and 7B are modifications of FIG.

図７（ａ）では、一次元フィルタ３０ａ〜３０ｄは、それぞれの画素値列に対して、注目画素の画素値を−２α倍し、その二つの周辺画素の画素値をそれぞれα倍する。一次元フィルタ３０ａ〜３０ｄは、α倍された二つの周辺画素の画素値を加算し、その値と、−２α倍された注目画素の画素値との和を求める。その和を出力結果として判定部４０に出力する。図７（ａ）に示す係数は、注目画素の画素値が低い場合に有効である。フィルタ部３０の出力結果が正になる確率が高いためである。   In FIG. 7A, the one-dimensional filters 30a to 30d multiply the pixel value of the pixel of interest by −2α and multiply the pixel values of the two surrounding pixels by α for each pixel value sequence. The one-dimensional filters 30a to 30d add the pixel values of two peripheral pixels multiplied by α, and obtain the sum of the value and the pixel value of the pixel of interest multiplied by −2α. The sum is output to the determination unit 40 as an output result. The coefficient shown in FIG. 7A is effective when the pixel value of the target pixel is low. This is because the output result of the filter unit 30 is likely to be positive.

一方、図７（ｂ）では、一次元フィルタ３０ａ〜３０ｄは、それぞれの画素値列に対して、注目画素の画素値を２α倍し、その二つの周辺画素の画素値をそれぞれ−α倍する。一次元フィルタ３０ａ〜３０ｄは、−α倍された二つの周辺画素の画素値を加算し、その値と、２α倍された注目画素の画素値との和を求める。その和を出力結果として判定部４０に出力する。図７（ｂ）に示す係数は、注目画素の画素値が高い場合に有効である。フィルタ部３０の出力結果が正になる確率が高いためである。   On the other hand, in FIG. 7B, the one-dimensional filters 30a to 30d multiply the pixel value of the pixel of interest by 2α, and multiply the pixel values of the two surrounding pixels by −α, respectively, for each pixel value sequence. . The one-dimensional filters 30a to 30d add the pixel values of the two neighboring pixels multiplied by -α, and obtain the sum of the value and the pixel value of the pixel of interest multiplied by 2α. The sum is output to the determination unit 40 as an output result. The coefficient shown in FIG. 7B is effective when the pixel value of the target pixel is high. This is because the output result of the filter unit 30 is likely to be positive.

図７（ａ）と図７（ｂ）を両方実装し、判定部４０が正の出力結果を採用することにより、判定部４０に絶対値変換部４２ａ〜ｄを設ける必要がなくなり、判定部４０の構成を簡素化することができる。また、図７（ａ）と図７（ｂ）を順番にソフトウェア処理で実現してもよい。この場合、実施の形態１と比較し、回路全体の構成を簡素化することができる。   When both FIG. 7A and FIG. 7B are implemented and the determination unit 40 adopts a positive output result, it is not necessary to provide the absolute value conversion units 42a to 42d in the determination unit 40, and the determination unit 40 The configuration can be simplified. Further, FIG. 7A and FIG. 7B may be realized by software processing in order. In this case, the configuration of the entire circuit can be simplified as compared with the first embodiment.

実施の形態２では、パラメータ決定部７７から指定される注目領域の位置に基づき、上記部分領域の位置が設定される例を説明した。この点、特徴点検出装置１００が監視カメラなどの定点カメラに搭載される場合、あらかじめ上記部分領域の位置を設定してもよい。これよれば、すべての画素を特徴点の検出対象とする必要がなくなり、演算量を大幅に低減することができる。   In the second embodiment, the example in which the position of the partial area is set based on the position of the attention area specified by the parameter determination unit 77 has been described. In this regard, when the feature point detection apparatus 100 is mounted on a fixed point camera such as a surveillance camera, the position of the partial area may be set in advance. According to this, it is not necessary to set all the pixels as feature point detection targets, and the amount of calculation can be greatly reduced.

本発明の実施の形態１に係る特徴点検出装置の構成を示すブロック図である。It is a block diagram which shows the structure of the feature point detection apparatus which concerns on Embodiment 1 of this invention. 窓領域の各画素値に掛けられる係数の一例を示す図である。It is a figure which shows an example of the coefficient multiplied by each pixel value of a window area | region. フィルタ部の構成例を示す図である。It is a figure which shows the structural example of a filter part. 判定部の構成例を示す図である。It is a figure which shows the structural example of a determination part. 実施の形態２に係る動画像処理システムの構成を示す図である。6 is a diagram illustrating a configuration of a moving image processing system according to Embodiment 2. FIG. 実施の形態３に係る動画像処理システムの構成を示す図である。FIG. 10 is a diagram illustrating a configuration of a moving image processing system according to a third embodiment. 図７（ａ）は、注目画素が暗い場合において、窓領域の各画素値に掛けられる係数の一例を示す図である。図７（ｂ）は、注目画素が明るい場合において、窓領域の各画素値に掛けられる係数の一例を示す図である。FIG. 7A is a diagram illustrating an example of a coefficient to be multiplied to each pixel value in the window area when the target pixel is dark. FIG. 7B is a diagram illustrating an example of a coefficient to be multiplied to each pixel value in the window area when the target pixel is bright.

符号の説明Explanation of symbols

１０ フレームバッファ、 ２０ 読出部、 ３０ フィルタ部、 ３０ａ フィルタａ、 ３０ｂ フィルタｂ、 ３０ｃ フィルタｃ、 ３０ｄ フィルタｄ、 ３２ａ 第１乗算部、 ３４ａ 第２乗算部、 ３６ａ 第３乗算部、 ３８ 加算部、 ３９ 減算部、 ４０ 判定部、 ４２ａ 絶対値変換部ａ、 ４２ｂ 絶対値変換部ｂ、 ４２ｃ 絶対値変換部ｃ、 ４２ｄ 絶対値変換部ｄ、 ４４ａ 比較部ａ、 ４４ｂ 比較部ｂ、 ４４ｃ 比較部ｃ、 ４４ｄ 比較部ｄ、 ４５ 正負符号比較部、 ４６ ＡＮＤ回路、 ＳＷ１ スイッチ、 ４８ 特徴点格納部、 ６０ 撮像素子、 ６２ 信号処理部、 ７０ フレームバッファ、 ７２ 対象フレーム選択部、 ７４ 参照フレーム選択部、 ７５ ルックアップテーブル、 ７６ オプティカルフロー検出部、 ７７ パラメータ決定部、 ７８ オプティカルフロー演算部、 ７８ａ 第１オプティカルフロー演算部、 ７８ｂ 第２オプティカルフロー演算部、 ８０ 後処理部、 ８２ａ 第１閾値判定部、 ８２ｂ 第２閾値判定部、 １００ 特徴点検出装置、 ２００ 動画像処理システム、 ２１０ 撮像部、 ２２０ 動画像処理装置。   10 frame buffer, 20 reading unit, 30 filter unit, 30a filter a, 30b filter b, 30c filter c, 30d filter d, 32a first multiplication unit, 34a second multiplication unit, 36a third multiplication unit, 38 addition unit, 39 subtraction unit, 40 determination unit, 42a absolute value conversion unit a, 42b absolute value conversion unit b, 42c absolute value conversion unit c, 42d absolute value conversion unit d, 44a comparison unit a, 44b comparison unit b, 44c comparison unit c 44d comparison unit d, 45 positive / negative sign comparison unit, 46 AND circuit, SW1 switch, 48 feature point storage unit, 60 image sensor, 62 signal processing unit, 70 frame buffer, 72 target frame selection unit, 74 reference frame selection unit, 75 lookup table, 76 optical flow Output unit, 77 parameter determination unit, 78 optical flow calculation unit, 78a first optical flow calculation unit, 78b second optical flow calculation unit, 80 post-processing unit, 82a first threshold value determination unit, 82b second threshold value determination unit, 100 Feature point detection device, 200 moving image processing system, 210 imaging unit, 220 moving image processing device.

Claims (6)

画像内に設定された部分領域から、注目画素の画素値およびその周辺画素の画素値を複数の方向にそれぞれ一列に読み出す読出部と、
前記読出部によりそれぞれ一列に読み出された複数の画素値列に対して、それぞれ所定の変換を施すフィルタと、
前記フィルタによるそれぞれの出力結果のすべてが、所定の条件を満たしたとき、前記注目画素を特徴点候補と判定する判定部と、
を備えることを特徴とする特徴点検出装置。 A readout unit that reads out the pixel value of the pixel of interest and the pixel values of the surrounding pixels from a partial region set in the image in a plurality of directions in a row,
A filter that performs a predetermined conversion on each of a plurality of pixel value sequences read in a row by the reading unit;
A determination unit that determines the pixel of interest as a feature point candidate when all of the respective output results by the filter satisfy a predetermined condition;
A feature point detection apparatus comprising: 前記読出部は、前記注目画素を中心に、水平方向、垂直方向、右上から左下への第１斜め方向、および左上から右下への第２斜め方向のうち、少なくとも三つの方向に、それぞれ一列に読み出すことを特徴とする請求項１に記載の特徴点検出装置。   The readout unit is arranged in a row in at least three directions of a horizontal direction, a vertical direction, a first diagonal direction from upper right to lower left, and a second diagonal direction from upper left to lower right with the pixel of interest at the center. The feature point detection apparatus according to claim 1, wherein the feature point detection apparatus reads the data. 前記フィルタは、それぞれの画素値列に対して、前記注目画素の画素値を２α（αは自然数）倍し、その注目画素の両側に等間隔に位置する二つの周辺画素の画素値をそれぞれα倍し、２α倍された注目画素の画素値と、α倍された二つの周辺画素の画素値を加算した値との差を前記出力結果とし、
前記判定部は、前記出力結果の絶対値のすべてが所定のしきい値を超えたとき、前記注目画素を前記特徴点候補と判定することを特徴とする請求項１または２に記載の特徴点検出装置。 The filter multiplies the pixel value of the pixel of interest by 2α (α is a natural number) for each pixel value column, and sets the pixel values of two peripheral pixels positioned at equal intervals on both sides of the pixel of interest. The difference between the pixel value of the pixel of interest multiplied by 2α and the value obtained by adding the pixel values of the two neighboring pixels multiplied by α is the output result,
3. The feature inspection according to claim 1, wherein the determination unit determines that the target pixel is the feature point candidate when all of the absolute values of the output result exceed a predetermined threshold value. Out device. 前記判定部は、前記出力結果の正負符号がすべて一致し、かつ前記出力結果の絶対値のすべてが所定のしきい値を超えたとき、前記注目画素を前記特徴点候補と判定する請求項３に記載の特徴点検出装置。   The determination unit determines the pixel of interest as the feature point candidate when all the positive and negative signs of the output result match and all the absolute values of the output result exceed a predetermined threshold. The feature point detection apparatus described in 1. 動画像に含まれるフレーム内から、特徴点を求める請求項１から４のいずれかに記載の特徴点検出装置と、
前記特徴点検出装置により検出された特徴点についてオプティカルフローを算出するオプティカルフロー演算部と、
を備えることを特徴とする動画像処理装置。 The feature point detection device according to any one of claims 1 to 4, wherein a feature point is obtained from a frame included in a moving image.
An optical flow calculation unit that calculates an optical flow for the feature points detected by the feature point detection device;
A moving image processing apparatus comprising: 前記動画像を撮像する撮像素子が搭載された車両の速度および操舵角の少なくとも一方を参照して、前記部分領域の位置を設定する設定部と、
をさらに備えることを特徴とする請求項５に記載の動画像処理装置。 A setting unit that sets a position of the partial region with reference to at least one of a speed and a steering angle of a vehicle on which an imaging element that captures the moving image is mounted;
The moving image processing apparatus according to claim 5, further comprising:
JP2007205642A 2007-08-07 2007-08-07 Feature point detection device and moving image processor mounted therewith Withdrawn JP2009042909A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007205642A JP2009042909A (en) 2007-08-07 2007-08-07 Feature point detection device and moving image processor mounted therewith

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007205642A JP2009042909A (en) 2007-08-07 2007-08-07 Feature point detection device and moving image processor mounted therewith

Publications (1)

Publication Number Publication Date
JP2009042909A true JP2009042909A (en) 2009-02-26

Family

ID=40443612

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007205642A Withdrawn JP2009042909A (en) 2007-08-07 2007-08-07 Feature point detection device and moving image processor mounted therewith

Country Status (1)

Country Link
JP (1) JP2009042909A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011043969A (en) * 2009-08-20 2011-03-03 Juki Corp Method for extracting image feature point
JP2017509073A (en) * 2014-03-27 2017-03-30 株式会社日立製作所 Image filtering method and CT system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06189179A (en) * 1992-12-17 1994-07-08 Canon Inc Motion vector detector
JP2006099155A (en) * 2004-09-28 2006-04-13 Nissan Motor Co Ltd Collision deciding device and method
JP2007048006A (en) * 2005-08-09 2007-02-22 Olympus Corp Image processor and image processing program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06189179A (en) * 1992-12-17 1994-07-08 Canon Inc Motion vector detector
JP2006099155A (en) * 2004-09-28 2006-04-13 Nissan Motor Co Ltd Collision deciding device and method
JP2007048006A (en) * 2005-08-09 2007-02-22 Olympus Corp Image processor and image processing program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011043969A (en) * 2009-08-20 2011-03-03 Juki Corp Method for extracting image feature point
JP2017509073A (en) * 2014-03-27 2017-03-30 株式会社日立製作所 Image filtering method and CT system

Similar Documents

Publication Publication Date Title
US10887519B2 (en) Method, system and apparatus for stabilising frames of a captured video sequence
US9615039B2 (en) Systems and methods for reducing noise in video streams
US9025885B2 (en) Method of detecting global motion and global motion detector, and digital image stabilization (DIS) method and circuit including the same
JP6230751B1 (en) Object detection apparatus and object detection method
JP5284048B2 (en) Image processing apparatus, imaging apparatus, and image processing method
US10121262B2 (en) Method, system and apparatus for determining alignment data
JP5975598B2 (en) Image processing apparatus, image processing method, and program
KR20180054808A (en) Motion detection within images
US20100271485A1 (en) Image photographing apparatus and method of controlling the same
CN109325909B (en) Image amplification method and image amplification device
JP2009260671A (en) Image processing apparatus and imaging device
KR20150146424A (en) Method for determining estimated depth in an image and system thereof
JP2017098843A (en) Imaging device, object tracking method and program
JP6576179B2 (en) Image processing apparatus, image processing method, and program
JP2009042909A (en) Feature point detection device and moving image processor mounted therewith
KR102369802B1 (en) Image processing apparatus and image processing method
JP5446641B2 (en) Image processing apparatus, image processing method, and image processing program
JP5891751B2 (en) Inter-image difference device and inter-image difference method
JP2019192048A (en) Imaging apparatus
JP5953142B2 (en) Image processing apparatus, imaging apparatus including the same, image processing method, and image processing program
US20220329739A1 (en) Image capturing control apparatus, image capturing control method, and storage medium
JP2008293400A (en) Video monitoring system and method for setting monitoring area
JP5605492B2 (en) Image processing apparatus, image processing method, and image processing program
JP4674549B2 (en) Motion vector detection device
JP6525693B2 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110712

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20110713