JP7200983B2 - HARDWARE ACCELERATOR, IMAGE PROCESSING DEVICE, AND FEATURE POINT DETECTION METHOD - Google Patents
HARDWARE ACCELERATOR, IMAGE PROCESSING DEVICE, AND FEATURE POINT DETECTION METHOD Download PDFInfo
- Publication number
- JP7200983B2 JP7200983B2 JP2020158335A JP2020158335A JP7200983B2 JP 7200983 B2 JP7200983 B2 JP 7200983B2 JP 2020158335 A JP2020158335 A JP 2020158335A JP 2020158335 A JP2020158335 A JP 2020158335A JP 7200983 B2 JP7200983 B2 JP 7200983B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- unit
- feature point
- image processing
- hardware accelerator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Description
本発明は、ハードウェアアクセラレータ、画像処理装置及び特徴点検出方法に関する。 The present invention relates to a hardware accelerator, an image processing device, and a feature point detection method.
物体検出や位置合わせ等のアプリケーションにおいて、特徴点検出が利用されている。特徴点検出では、いずれかの工程でソート処理を行うことが多い。 Feature point detection is used in applications such as object detection and alignment. In feature point detection, sorting is often performed in one of the steps.
例えば、特許文献１に記載された特徴点検出では、ソート処理を行って各特徴点のレスポンス値を特定の順番（昇順や降順等）に並び替えた後、レスポンス値上位の任意の個数を選択し、選択された特徴点について特徴量の生成が行われる。このような特徴点検出は、現在、通常のフレームレート（３０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）等）で撮像される場合に利用されている。
For example, in the feature point detection described in
ここで、高フレームレートでの物体検出等を行う場合において、ソート処理を伴った特徴点検出を行うためには、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によるソート処理では限界があるので、処理の一部を専用のハードウェア（以下、専用のハードウェアを「ハードウェアアクセラレータ」と記載する）に行わせてＣＰＵの処理負担を低減させる。しかしながら、ＣＰＵでのソート処理をハードウェアアクセラレータでの処理に置き換えただけでは、回路コストが大きく、ハードウェアアクセラレータの回路規模が増大してしまう。 Here, when performing object detection at a high frame rate, etc., in order to perform feature point detection accompanied by sorting processing, there is a limit to sorting processing by a CPU (Central Processing Unit). Dedicated hardware (hereinafter, dedicate hardware will be referred to as a "hardware accelerator") is used to reduce the processing load on the CPU. However, simply replacing the sorting process by the CPU with the process by the hardware accelerator increases the circuit cost and the circuit scale of the hardware accelerator.
そこで、本発明は、上記問題を解決するためになされたものであり、物体検出に好適なハードウェアアクセラレータ、画像処理装置及び特徴点検出方法を提供することを目的とする。 SUMMARY OF THE INVENTION Accordingly, the present invention has been made to solve the above problems, and an object of the present invention is to provide a hardware accelerator, an image processing apparatus, and a feature point detection method suitable for object detection.
上記目的を達成するため、本発明のハードウェアアクセラレータは、
撮像された画像から検出された特徴点の特徴量を生成する画像処理装置が備えるハードウェアアクセラレータであって、
前記撮像された画像の画素ごとに所定のコーナー検出法を利用して、前記画素の少なくともコーナーらしさを示すレスポンス値を取得する取得部と、
前記取得部によって取得された複数のレスポンス値のヒストグラムを生成する生成部と、
前記生成部によって生成されたヒストグラムより前記レスポンス値の閾値を算定する算定部と、
前記算定部によって算定された閾値以上のレスポンス値を有する画素を、特徴量を生成すべき特徴点として検出する検出部と、
を備える。
In order to achieve the above object, the hardware accelerator of the present invention is
A hardware accelerator included in an image processing device that generates feature amounts of feature points detected from a captured image,
an acquisition unit that acquires, for each pixel of the captured image, a response value that indicates at least the likelihood of a corner of the pixel using a predetermined corner detection method ;
a generation unit that generates a histogram of a plurality of response values acquired by the acquisition unit;
a calculation unit that calculates a threshold value of the response value from the histogram generated by the generation unit;
a detection unit that detects a pixel having a response value equal to or greater than the threshold value calculated by the calculation unit as a feature point for which a feature amount should be generated;
Prepare.
本発明によれば、物体検出に好適なハードウェアアクセラレータ、画像処理装置及び特徴点検出方法を提供することができる。 According to the present invention, it is possible to provide a hardware accelerator, an image processing device, and a feature point detection method suitable for object detection.
本発明の実施形態に係るアクセラレータを備えた画像処理装置について、以下、図面を参照して詳細に説明する。 An image processing apparatus having an accelerator according to embodiments of the present invention will be described in detail below with reference to the drawings.
本発明の実施形態に係るアクセラレータを備えた画像処理装置は、監視カメラの画像から高速移動物体等を検知し、警備会社等に通報する警備システムの構成要素である。 An image processing apparatus equipped with an accelerator according to an embodiment of the present invention is a component of a security system that detects a high-speed moving object or the like from an image captured by a surveillance camera and notifies a security company or the like.
［警備システムの構成］
図１に示すように、例えば、銀行に設置された警備システム１は、高速移動物体等を検知する画像処理装置１０と、画像処理装置１０が検知した物体等を判別し、ユーザである警備員に報知する警備装置９０と、を備える。画像処理装置１０は、警備システムの警備範囲内である撮像範囲Ｐを移動する、車両１０１、人物１０２や物品１０３等の物体１００が映った画像を撮像して、撮像した画像から車両１０１、人物１０２や物品１０３等を検知する。このうち、車両１０１は、場合によってはかなり速い速度で移動することもあるので、通常のフレームレートで撮像した画像から検知することが困難な場合がある。
[Security system configuration]
As shown in FIG. 1, for example, a
そこで、画像処理装置１０は、高フレームレート、本実施形態では２４０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）で撮像を行い、撮像された画像から車両１０１を検出できるようにしている。このとき、通常のフレームレートで撮像した画像を処理する場合と同様にソート処理を伴った特徴点検出を利用した処理を行うと、ＣＰＵだけでの処理は困難である。そこで、画像処理装置１０では、特徴点検出器３０をハードウェアアクセラレータの対象とした。しかし、特徴点検出器３０をハードウェアアクセラレータの対象としても、ソート処理に対応させると、回路コストが大きくなり、回路規模が増大してしまう。このため、画像処理装置１０では、ソート処理を行わずに有用な特徴点を検出することにより、ハードウェアアクセラレータＡである特徴点検出器３０を小規模で低レイテンシーなものにしている。
Therefore, the
（画像処理装置の構成）
図２に示すように、画像処理装置１０は、制御部２０、特徴点検出器３０、記憶部４０、撮像部５０、通信部６０、表示部７０、入力部８０、を備える。
(Configuration of image processing device)
As shown in FIG. 2, the
制御部２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等で構成され、記憶部４０に記憶されたプログラム等を実行することにより、後述する各部（特徴点取得部２１、特徴量生成部２２、特徴量送信部２３）の機能を実現する。また、制御部２０は、時計（図示せず）を有し、現在日時の取得や経過時間のカウント等をすることができる。
The
ハードウェアアクセラレータＡである特徴点検出器３０は、制御部２０に代わって、画像Ｖから特徴点を抽出するための各種処理を実行するためのものである。特徴点検出器３０は、ＣＰＵ等を含んでおり、半導体等の電子部品を集積した集積回路（ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）で構成され、記憶部４０に記憶されたプログラム等を実行することにより、後述する各部（画像取得部３１、コーナー検出部３２、ヒストグラム生成部３３、閾値算定部３４）の機能を実現する。
The
記憶部４０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、ＲＯＭの一部又は全部は電気的に書き換え可能なメモリ（フラッシュメモリ等）で構成されている。記憶部４０は、機能的に、撮像画像記憶部４１と、特徴点リスト記憶部４２と、特徴量記憶部４３と、各種設定記憶部４４と、を有する。ＲＯＭには制御部２０およびハードウェアアクセラレータＡである特徴点検出器３０が実行するプログラム及びプログラムを実行する上で予め必要なデータが記憶されている。ＲＡＭには、プログラム実行中に作成されたり変更されたりするデータが記憶される。
The
撮像画像記憶部４１には、本実施形態では、撮像部５０に撮像された画像Ｖが記憶される。本実施形態では、説明の簡略化のため後述する撮像装置５１は１台とするが、撮像画像記憶部４１は、撮像装置５１が複数台稼働している場合には、撮像装置５１毎に撮像された画像を記憶することができる。
In this embodiment, the captured
特徴点リスト記憶部４２には、後述する特徴量生成処理で生成される特徴点リストを記憶する。特徴点リストには、特徴点の座標とレスポンス値が関連づけて記憶される。
The feature point
特徴量記憶部４３には、特徴点リスト記憶部４２に記憶された特徴点リストのうち、後述する閾値以上のレスポンス値を有する特徴点から生成された特徴量が記憶される。この特徴量が警備装置９０に送信される。
The feature
各種設定記憶部４４には、画像Ｖを撮像するフレームレート、画像Ｖが撮像される撮像範囲Ｐ、レスポンス値範囲等の各種設定が、予め、またはユーザが入力部８０を介して入力すること等により記憶されている。
In the various
撮像部５０は、画像Ｖを撮像する撮像装置５１、撮像装置５１の姿勢を制御するための駆動装置５２を有する。
The
撮像装置５１は、本実施形態では、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラを備える。撮像装置５１は、撮像範囲Ｐを２４０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）の高フレームレートで撮像し画像Ｖを生成する。なお、フレームレートは２４０ｆｐｓに初期設定されているが、撮像対象物の想定移動速度等に応じて、ユーザにより手動で、または自動的に変更可能である。
The
駆動装置５２は、後述する入力装置８１等の指示に従って、撮像装置５１の位置や方向を移動させて撮像範囲Ｐを調整する。
The
通信部６０は、警備装置９０や外部機器等と通信するためのモジュールである通信装置６１を有する。通信装置６１は、外部機器と通信する場合にはアンテナを含む無線モジュールである。例えば、通信装置６１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）に基づく近距離無線通信を行うための無線モジュールである。通信部６０を用いることにより、画像処理装置１０は、警備装置９０や外部機器と画像Ｖや特徴量等のデータ等の受け渡しを行うことができる。
The
表示部７０は、液晶表示パネル（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）から構成された表示装置７１を備える。
The
表示装置７１としては、薄膜トランジスタ（ＴＦＴ：Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）、液晶、有機ＥＬなどを採用できる。表示装置７１には、画像Ｖや特徴量リスト等が表示される。
As the
入力部８０は、表示部７０と近接して、または表示部７０と一体に設けられた抵抗膜方式のタッチパネル（入力装置８１）である。タッチパネルは、赤外線操作方式や投影型静電容量方式等であってもよいし、入力部はタッチパネルで無くキーボードおよびマウス等であってもよい。ユーザは、入力部８０を介したマニュアル操作にて、フレームレートを変更する、或いは、表示部７０を使用して撮像範囲Ｐ等を設定することができる。
The
次に、画像処理装置１０の制御部２０および特徴点検出器３０の機能的構成について説明する。
Next, functional configurations of the
制御部２０は、特徴点取得部２１、特徴量生成部２２、特徴量送信部２３の機能を実現し、ハードウェアアクセラレータＡである特徴点検出器３０とともに後述する特徴量生成処理等を行う。
The
特徴点取得部２１は、特徴点のレスポンス値Ｒが後述する閾値Ｔｈ以上である場合に、特徴点リストから当該特徴点の座標を読み込み、特徴点生成部２２に送信する。
When the response value R of the feature point is equal to or greater than a threshold value Th, which will be described later, the feature
特徴量生成部２２は、特徴点のレスポンス値Ｒが閾値Ｔｈ以上である場合に、当該特徴点の特徴量を生成して、特徴量記憶部４３に記憶する。特徴量生成部２２は、本実施形態では、ＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）によって特徴量を生成する。具体的には、まず、下式（１）、（２）に示すスケールの異なるガウス関数Ｇと入力画像Ｉを畳み込んだ平滑画像Ｌとの差分であるＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ）画像により、キーポイント候補を算出する。
Ｌ（ｕ，ｖ，σ）＝Ｇ（ｘ，ｙ，σ）×Ｉ（ｕ，ｖ）…（１）
When the response value R of the feature point is equal to or greater than the threshold value Th, the feature
L(u, v, σ)=G(x, y, σ)×I(u, v) (1)
ＤｏＧ画像の結果Ｄは、下式（３）から算出する。 The DoG image result D is calculated from the following equation (3).
ここで、キーポイント候補に対して下式（４）に示す２次元ヘッセ行列Ｈを算出する。 Here, the two-dimensional Hessian matrix H shown in the following equation (4) is calculated for the keypoint candidates.
Ｈから算出される固有値をそれぞれα，βとして、γをα＝γβとする場合に、Ｈの対角成分の和と行列式との関係は、下式（５）に示される。 When the eigenvalues calculated from H are α and β, respectively, and α=γβ for γ, the relationship between the sum of the diagonal components of H and the determinant is shown in the following equation (5).
ＳＩＦＴでは、下式（６）に示すγｔｈによって閾値処理を実行することにより、エッジ上の不要なキーポイント候補を除外する。 SIFT eliminates unnecessary keypoint candidates on edges by performing thresholding with γ th shown in the following equation (6).
スケール空間内のキーポイントの位置は、サブピクセル推定を利用する。サブピクセル位置でのＤｏＧ出力を算出し、ＤｏＧ出力の絶対値が閾値より小さいものを、キーポイント候補から除外する。これにより、特徴量記述部は、検出されたキーポイントに対して、オリエンテーションの算出をするため、キーポイントが検出された平滑化画像Ｌの勾配強度ｍと勾配方向θを下式（７）、（８）、（９）より算出する。 The location of keypoints in scale space utilizes sub-pixel estimation. The DoG output at the sub-pixel position is calculated, and the DoG output whose absolute value is smaller than the threshold is excluded from the keypoint candidates. As a result, in order to calculate the orientation of the detected keypoints, the feature quantity description unit calculates the gradient strength m and gradient direction .theta. Calculated from (8) and (9).
算出されたｍとθを使用して、重み付きの方向ヒストグラムｈを式（１０）、（１１）から算出する。 Using the calculated m and θ, a weighted orientation histogram h is calculated from equations (10) and (11).
ｗ（ｘ，ｙ）＝Ｇ（ｘ，ｙ，σ）・ｍ（ｘ，ｙ）…（１１）
w(x, y)=G(x, y, σ)·m(x, y) (11)
ｈは勾配方向を３６方向に量子化したヒストグラムであり、ｗは参照ピクセルに対する重みであり、キーポイントに近いほど重くなるガウスカーネルを使用する。また、δはデルタ関数であり、θが量子化勾配方向θ’である場合に１を返す。３６方向のヒストグラムの最大値から８０パーセント以上となるピークをキーポイントのオリエンテーションとする。 h is a histogram obtained by quantizing the gradient directions in 36 directions, and w is the weight for the reference pixel, using a Gaussian kernel that becomes heavier closer to the keypoint. Also, .delta. is a delta function that returns 1 if .theta. is the quantized gradient direction .theta.'. A peak that is 80% or more from the maximum value of the histogram in 36 directions is taken as the orientation of the key point.
最後に、キーポイントのオリエンテーションを利用して、特徴量を記述する領域を回転させ、キーポイントの周辺領域が持つ勾配情報に基づいてキーポイントの特徴量を記述する。キーポイント記述子は、キーポイント周囲を、例えば、４×４＝１６ブロックに分割して、各ブロックを４５°ずつ８方向のヒストグラムを作成することにより、１２８次元の特徴ベクトルのキーポイントの特徴量を記述する。 Finally, the orientation of the keypoint is used to rotate the region describing the feature quantity, and the feature quantity of the keypoint is described based on the gradient information of the region surrounding the keypoint. The keypoint descriptor is a 128-dimensional feature vector by dividing the keypoint circumference into, for example, 4×4=16 blocks and creating an 8-direction histogram for each block by 45°. Describe quantity.
特徴量送信部２３は、特徴量記憶部４３に記憶された特徴量と、特徴点リスト記憶部４２に記憶された特徴点リストとを警備装置９０に送信する。
The feature
特徴点検出器３０は、画像取得部３１、コーナー検出部３２、ヒストグラム生成部３３、閾値算定部３４、の機能を実現し、制御部２０とともに特徴量生成処理等を行う。
The
画像取得部３１は、予め画像処理装置１０に設定された、またはユーザが設定した露出条件で撮像範囲Ｐを撮像部５０に撮像された画像Ｖを撮像画像記憶部４１から取得する。画像取得部３１は、取得した画像Ｖをコーナー検出部３２に送信する。
The
コーナー検出部３２は、画像取得部３１から送信された画像Ｖの中から、本実施形態では、Ｈａｒｒｉｓのコーナー検出法によって特徴点を検出する。検出方法の詳細は、後述の特徴量生成処理にて説明する。コーナー検出部３２は、検出した特徴点の座標とレスポンス値Ｒとを特徴点リスト記憶部４２に記憶させる。
The
ヒストグラム生成部（度数（頻度）分布算定部）３３は、特徴点リスト記憶部４２に記憶された特徴点のレスポンス値Ｒを用いて、図５（ａ）、（ｂ）に示すようなヒストグラムを生成する。ヒストグラムの生成方法については、後述するレスポンス値カウントアップ処理にて説明する。ヒストグラム生成部３３は、得られたヒストグラムの結果に応じて、或いはユーザによって任意に、後述するレスポンス値範囲を変更することができる。
The histogram generation unit (frequency distribution calculation unit) 33 uses the response values R of the feature points stored in the feature point
閾値算定部３４は、後述する閾値算定処理において、レスポンス値Ｒに基づいて閾値Ｔｈを算出する。閾値Ｔｈの算出方法の詳細は、後述する。
The
以上、制御部２０および特徴点検出器３０の機能的構成について説明した。以下、図３等を用いて、撮像された画像Ｖから特徴点を抽出し、抽出された特徴点のうち、所定の閾値以上のレスポンス値を有するものの特徴量を生成する特徴量生成処理について具体的に説明する。この特徴量生成処理では、ソート処理を行わずに、度数分布処理を行うので、特徴点検出器３０を小規模回路なアクセラレータＡで構成することができる。
The functional configurations of the
（特徴量生成処理）
はじめに、撮像部５０は、フレームレート２４０ｆｐｓで所定の撮像範囲Ｐを撮像し、撮像された画像Ｖを撮像画像記憶部４１に記憶させる（ステップＳ１）。
(Feature amount generation processing)
First, the
次に、ｎ（１≦ｎ≦ｋ）回目の画素取り込みを始める（ステップＳ２）。特徴点取得部２１は、撮像画像記憶部４１に記憶された画像Ｖからｎ番目の画素を１画素読み込み、取得した画素をコーナー検出部３２に送信する（ステップＳ３）。なお、画像Ｖの画素数は、ｋ個（１≦ｎ≦ｋ）とし、ｎ＝１，２，３，…，ｋの順に画素を取得する。
Next, the n (1≤n≤k)-th pixel acquisition is started (step S2). The feature
コーナー検出部３２は、受信した画素について、以下の式（１２）から（１５）を用いてレスポンス値Ｒを算出する（ステップＳ４）。（１２）式の窓関数ｗ（ｘ，ｙ）には、矩形窓又はガウシアン窓を使用する。Ｅ（ｕ，ｖ）を最大化するために（１２）式にＴａｙｌｏｒ展開等を行い、（１３）式を得る。なお、（１３）式のＭは、（１４）式のように定義される。ＩｘとＩｙとは、それぞれ画像Ｖのｘ方向とｙ方向の勾配を表す。
The
Ｒ＝det(M)－k(trace(M))2
det(M)=λ1λ2 …（１５）
trace(M)=λ1+λ2
λ1,λ2:Ｍの固有値
R = det(M) - k(trace(M)) 2
det(M)=λ 1 λ 2 (15)
trace(M)= λ1 + λ2
λ 1 , λ 2 : Eigenvalue of M
コーナー検出部３２は、算出したレスポンス値Ｒが閾値Ｆを超える場合（ステップＳ５：Ｙｅｓ）、ステップＳ６へ進む。レスポンス値Ｒが閾値Ｆ以下の場合（ステップＳ５：Ｎｏ）、０クリップし（ステップＳ７）、ｎに１を加えてステップＳ３へ戻る。なお、閾値Ｆは、事前に対象となる画像Ｖを用いて、統計的に解析して、値を決定する。
When the calculated response value R exceeds the threshold value F (step S5: Yes), the
ステップＳ６では、コーナー検出部３２は、レスポンス値Ｒを非極大値抑制（Ｎｏｎ Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）することにより、エッジの強さが極大となる部分以外を除外する。極大点（特徴点）である場合（ステップＳ６：Ｙｅｓ）、ステップＳ８へ進み、極大点で無く、除外された場合、ｎに１を加えて（ステップＳ９）、ステップＳ３に戻る。
In step S<b>6 , the
ステップＳ８では、コーナー検出部３２は、特徴点の座標とレスポンス値Ｒとを特徴点リストとして特徴点リスト記憶部４２に記憶させる。
In step S8, the
ステップＳ１０に進み、ヒストグラム生成部３３は、後述するレスポンス値カウントアップ処理を実行する。
Proceeding to step S10, the
ステップＳ１１に進み、ｎ＝ｋの場合（ステップＳ１１：Ｙｅｓ）、ステップＳ１２に進み、ｎ＜ｋの場合（ステップＳ１１：Ｎｏ）、ｎに１を加えて（ステップＳ１３）、ステップＳ３に戻る。 Proceeding to step S11, if n=k (step S11: Yes), proceed to step S12, if n<k (step S11: No), add 1 to n (step S13), and return to step S3.
ステップＳ１２では、閾値算定部３４は、ヒストグラムから上位Ｍ個になるレスポンス値Ｒの閾値Ｔｈを算定するための、後述する閾値算定処理を実行する。Ｍは、本実施形態では、ステップＳ８の特徴点リストの特徴点の数の１０パーセントとしている。
In step S12, the
ステップＳ１４に進み、特徴点取得部２１は、検出された特徴点Ｚ個（１≦ｍ≦Ｚ）について、レスポンス値Ｒがそれぞれ閾値算定処理で算定した閾値Ｔｈ以上か否かを判別する。当該特徴点のレスポンス値Ｒが閾値Ｔｈ以上である場合（ステップＳ１４：Ｙｅｓ）、特徴点取得部２１は、特徴点リストから当該特徴点の座標を読み込み、特徴量生成部２２に送信する。特徴量生成部２２は、ＳＩＦＴによって当該特徴点の特徴量を生成して（ステップＳ１５）、特徴量記憶部４３に記憶してステップＳ１６へ進む。当該特徴点のレスポンス値Ｒが閾値Ｔｈ未満である場合（ステップＳ１４：Ｎｏ）、ステップＳ１６へ進む。
Proceeding to step S14, the feature
ステップＳ１６では、ｍ＝Ｚである場合（ステップＳ１６：Ｙｅｓ）、特徴量生成処理を終了し、ｍ＜Ｚである場合（ステップＳ１６：Ｎｏ）、ｍに１を加えて（ステップＳ１７）、ステップＳ１４に戻る。 In step S16, if m=Z (step S16: Yes), the feature amount generation process is terminated, and if m<Z (step S16: No), 1 is added to m (step S17), and step Return to S14.
続いて、図４、図５（ａ）、（ｂ）を用いて、特徴量生成処理のステップＳ１０で実行されるレスポンス値カウントアップ処理について、説明を行う。 Subsequently, the response value count-up process executed in step S10 of the feature amount generation process will be described with reference to FIGS. 4, 5(a) and 5(b).
はじめに、当該特徴点のレスポンス値Ｒが該当する、レスポンス値範囲（図５（ａ）参照）を決定する（ステップＳ２１）。なお、レスポンス値範囲は、各種設定記憶部４４に予め記憶されているものを使用してもよいし、ユーザが任意に設定してもよい。或いは、例えば、レスポンス値Ｒが１つ（或いは２つ、３つ等）のＢＩＮの範囲に集中する場合には、レスポンス値範囲を変更して、レスポンス値Ｒが特定の範囲に集中しないように修正することもできる。また、レスポンス値範囲は、レスポンス値Ｒの頻度分布等に応じて、例えば、図５（ｂ）に示すように、階級の幅を指数（或いは対数）等を用いたものとして、適切な度数分布が得られるようにしてもよい。
First, a response value range (see FIG. 5A) to which the response value R of the feature point corresponds is determined (step S21). Note that the range of response values stored in advance in the various
次に、ステップＳ２２に進み、該当するレスポンス値範囲のビンに対してカウントアップを行い（ステップＳ２２）、終了する。 Next, the process proceeds to step S22, counts up the bins in the corresponding response value range (step S22), and ends.
続いて、図６、図７を用いて、特徴量生成処理のステップＳ１２で実行される閾値算定処理について、説明を行う。図７に示すように、本実施形態では、ビン（ＢＩＮ）は、０から４の５つに分かれているものとし、ビン４がレスポンス値Ｒの最も大きい範囲であり、ビン０がレスポンス値Ｒの最も小さい範囲であるものとする。また、Ｍ＝６であるとする。
Next, the threshold value calculation process executed in step S12 of the feature amount generation process will be described with reference to FIGS. 6 and 7. FIG. As shown in FIG. 7, in this embodiment, bins (BIN) are divided into five from 0 to 4,
まず、１巡目では（ｔ＝１）、閾値算定部３４は、レスポンス値Ｒの最も大きい範囲であるビンに属するレスポンス値の数Ｆ１（＝Ｑ１）を算定する（ステップＳ３２）。２巡目には、閾値算定部３４は、１巡目のビンに属するレスポンス値の数Ｆ１に、１巡目のビンの次にレスポンス値Ｒの大きい範囲であるビンに属するレスポンス値の数Ｆ２を加算し、Ｑ２を得る。３巡目には、閾値算定部３４は、１巡目および２巡目のビンに属するレスポンス値の数Ｆ１＋Ｆ２に、２巡目のビンの次にレスポンス値Ｒの大きい範囲であるビンに属するレスポンス値の数Ｆ３を加算しＱ３を得る。以後、１巡ごとに、閾値算定部３４は、次にレスポンス値Ｒの大きい範囲であるビンに属するレスポンス値Ｒを順に加算し、Ｑｔを得る。本実施形態では、１巡目、２巡目は１（Ｔ１＝Ｔ２＝１）で、３巡目は５（Ｔ３＝５）、４巡目は７（Ｔ４＝７）、５巡目は８（Ｔ５＝８）となる。
First, in the first round (t=1), the
ステップＳ３３に進み、閾値算定部３４は、ステップＳ３２で得たレスポンス値の数ＱｔとＭとを比較する。ステップＳ３２で得たレスポンス値の数ＱｔがＭ以下である場合（ステップＳ３３：Ｎｏ）、ｔに１を加え（ステップＳ３４）、ステップＳ３２に戻る。ステップＳ３２で得たレスポンス値の数ＱｔがＭを超える場合（ステップＳ３３：Ｙｅｓ）、閾値算定部３４は、１巡前のビンを閾値Ｔｈとし（ステップＳ３５）、閾値算定処理を終了する。
Proceeding to step S33, the
以上、特徴量生成処理によって、画像処理装置１０は、撮像された画像から特徴点を検出し、特徴点のレスポンス値のヒストグラムを生成し、ヒストグラムによりレスポンス値Ｒの閾値Ｔｈを設定し、閾値Ｔｈ以上のレスポンス値Ｒを有する特徴点の特徴量を生成する。従って、ソート処理を行わずに特徴量生成をすることができる。ソート処理を行わないので、画像処理装置１０のハードウェアアクセラレータＡを小規模回路で低レイテンシーに構成することができる。また、データ格納内部メモリを小さくすることができる。
As described above, through the feature amount generation process, the
画像処理装置１０の特徴量送信部２３は、生成した特徴量を警備装置９０に送信し、警備装置９０は、受信した特徴量を元に画像Ｖに写った物体１００が何であるかを判別し、ユーザである警備員に報知する。
The feature
［変形例］
上記実施形態では、画像処理装置１０の特徴点検出器３０をハードウェアアクセラレータＡとしたが、ハードウェアアクセラレータとする対象は、例えば、ヒストグラムを生成する部分だけであったり、ヒストグラム生成および閾値の算定であってもよいし、他の範囲であってもよい。必要に応じて、ハードウェアアクセラレータとする範囲を決定し、ハードウェアアクセラレータの対象外とする範囲を制御部や記憶部の範囲としてもよい。例えば、図８に示すように、アクセラレータ記憶部４０Ｂを有するハードウェアアクセラレータＢを設けた画像処理装置１０Ａとしてもよい。或いは、ハードウェアアクセラレータＡを２つ実装した構成の画像処理装置として、より高速に閾値算定できるようにしてもよい。
[Modification]
In the above embodiment, the hardware accelerator A is used as the
上記実施形態では、Ｈａｒｒｉｓによるコーナー検出を行ったが、他のコーナー検出、例えば、Ｐｌｅｓｓｅｙのコーナー検出やＭｏｒａｖｅｃのコーナー検出等によってもよい。 In the above embodiment, Harris' corner detection is performed, but other corner detection, such as Plessey's corner detection or Moravec's corner detection, may be used.
また、上記実施形態では、ＳＩＦＴによる特徴量生成を行ったが、ＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏａｔａｔｅｄ ＢＲＩＥＦ）やＳＵＲＦ（Ｓｐｅｅｄｅｄ－Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）等による特徴量生成を行ってもよい。 Further, in the above embodiment, the feature amount is generated by SIFT, but the feature amount may be generated by ORB (Oriented FAST and Roated Brief), SURF (Speeded-Up Robust Features), or the like.
上記実施形態では、画像処理装置１０は、警備装置に使用されたが、例えば、工場ラインセンサや車載カメラと連携させてもよい。
In the above embodiment, the
また、上記実施形態では、画像処理装置１０は、レスポンス値Ｒのヒストグラムを生成したが、他の度数分布、例えば、度数分布表を用いてもよい。
Also, in the above embodiment, the
上記実施形態では、Ｍは、特徴点リストの特徴点の数の１０パーセントとしていたが、１０パーセント以外の任意の数値であってもよいし、或いは、Ｍは、画像のサイズによって決定してもよい。 In the above embodiment, M is 10% of the number of feature points in the feature point list, but may be any numerical value other than 10%, or M may be determined by the size of the image. good.
上記実施形態において、検出された特徴点の数が不足してＭが決定できずに閾値Ｔｈが決定できない場合、例えば、ステップＳ５において閾値Ｆを設定し直してさらに特徴点を検出することにより閾値Ｔｈを決定するとよい。 In the above embodiment, if the number of detected feature points is insufficient and M cannot be determined and the threshold value Th cannot be determined, for example, in step S5, the threshold value F is set again and further feature points are detected. Th should be determined.
この発明の画像処理装置１０の各機能は、通常のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等のコンピュータによっても実施することができる。具体的には、上記実施形態では、画像処理装置１０が行う露出補正処理および画像処理のプログラムが、記憶部４０のＲＯＭに予め記憶されているものとして説明した。しかし、プログラムを、フレキシブルディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）及びＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ Ｄｉｓｃ）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。
Each function of the
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。 Although the preferred embodiments of the present invention have been described above, the present invention is not limited to such specific embodiments, and the present invention includes the invention described in the claims and their equivalents. be The invention described in the original claims of the present application is appended below.
（付記）
（付記１）
撮像された画像から特徴点のレスポンス値の度数分布を算定する度数分布算定部と、
前記度数分布に基づいて閾値を算出する閾値算定部と、を備え、
前記閾値以上であるレスポンス値を有する特徴点の特徴量を画像処理装置に生成させる、
ハードウェアアクセラレータ。
(Appendix)
(Appendix 1)
a frequency distribution calculation unit that calculates the frequency distribution of the response values of the feature points from the captured image;
A threshold calculation unit that calculates a threshold based on the frequency distribution,
causing an image processing device to generate a feature amount of a feature point having a response value equal to or greater than the threshold;
hardware accelerator.
（付記２）
前記閾値は、検出された前記特徴点の数により決定される、
付記１に記載のハードウェアアクセラレータ。
(Appendix 2)
wherein the threshold is determined by the number of detected feature points;
A hardware accelerator as described in
（付記３）
前記閾値は、前記画像のサイズによって決定される、
付記１に記載のハードウェアアクセラレータ。
(Appendix 3)
the threshold is determined by the size of the image;
A hardware accelerator as described in
（付記４）
前記度数分布は、ヒストグラムによって表現される、
付記１から３のいずれか１つに記載のハードウェアアクセラレータ。
(Appendix 4)
The frequency distribution is represented by a histogram,
4. The hardware accelerator according to any one of appendices 1-3.
（付記５）
前記検出された特徴点の数が不足して前記閾値が決定できない場合、さらに特徴点を検出することにより前記閾値を決定する、
付記１から４のいずれか１つに記載のハードウェアアクセラレータ。
(Appendix 5)
If the threshold cannot be determined due to an insufficient number of detected feature points, determining the threshold by further detecting feature points;
5. The hardware accelerator according to any one of
（付記６）
前記ヒストグラムの階級の幅は、指数的に大きくなる、または小さくなる、
付記４に記載のハードウェアアクセラレータ。
(Appendix 6)
The width of the histogram class increases or decreases exponentially,
A hardware accelerator according to
（付記７）
付記１から６のいずれか１つに記載のハードウェアアクセラレータと、
前記閾値以上の特徴点について特徴量を生成する制御部と、
前記画像と前記レスポンス値と前記特徴量とを記憶する記憶部と、
を備える、
画像処理装置。
(Appendix 7)
a hardware accelerator according to any one of
a control unit that generates feature amounts for feature points equal to or greater than the threshold;
a storage unit that stores the image, the response value, and the feature quantity;
comprising
Image processing device.
（付記８）
ハードウェアアクセラレータに、
撮像された画像から特徴点のレスポンス値の度数分布を算定させ、
前記度数分布に基づいて閾値を算出させ、
画像処理装置に、
前記閾値以上であるレスポンス値を有する特徴点の特徴量を生成させる、
画像処理方法。
(Appendix 8)
hardware accelerator,
Calculating the frequency distribution of the response values of the feature points from the captured image,
Calculate a threshold value based on the frequency distribution,
image processing equipment,
generating a feature quantity of a feature point having a response value equal to or greater than the threshold;
Image processing method.
１…警備システム、１０，１０Ａ…画像処理装置、２０…制御部、２１…特徴点取得部、２２…特徴量生成部、２３…特徴量送信部、３０…特徴点検出器、３１…画像取得部、３２…コーナー検出部、３３…ヒストグラム生成部、３４…閾値算定部、４０…記憶部、４０Ｂ…アクセラレータ記憶部、４１，４１Ａ…撮像画像記憶部、４２，４２Ａ…特徴点リスト記憶部、４３，４３Ａ…特徴量記憶部、４４…各種設定記憶部、５０…撮像部、５１…撮像装置、５２…駆動装置、６０…通信部、６１…通信装置、７０…表示部、７１…表示装置、８０…入力部、８１…入力装置、９０…警備装置、１００…物体、１０１…車両、１０２…人物、１０３…物品、Ａ，Ｂ…ハードウェアアクセラレータ、Ｐ…撮像範囲、Ｖ…画像
Claims (4)
前記撮像された画像の画素ごとに所定のコーナー検出法を利用して、前記画素の少なくともコーナーらしさを示すレスポンス値を取得する取得部と、
前記取得部によって取得された複数のレスポンス値のヒストグラムを生成する生成部と、
前記生成部によって生成されたヒストグラムより前記レスポンス値の閾値を算定する算定部と、
前記算定部によって算定された閾値以上のレスポンス値を有する画素を、特徴量を生成すべき特徴点として検出する検出部と、
を備えることを特徴とするハードウェアアクセラレータ。 A hardware accelerator included in an image processing device that generates feature amounts of feature points detected from a captured image,
an acquisition unit that acquires, for each pixel of the captured image, a response value that indicates at least the likelihood of a corner of the pixel using a predetermined corner detection method ;
a generation unit that generates a histogram of a plurality of response values acquired by the acquisition unit;
a calculation unit that calculates a threshold value of the response value from the histogram generated by the generation unit;
a detection unit that detects a pixel having a response value equal to or greater than the threshold value calculated by the calculation unit as a feature point for which a feature amount should be generated;
A hardware accelerator comprising:
前記特徴量を生成すべき特徴点について、特徴量を生成する特徴量生成部と、
前記撮像された画像と前記取得部によって取得されたレスポンス値と前記特徴量生成部によって生成された特徴量とを記憶する記憶部と、
を更に備えることを特徴とする画像処理装置。 a hardware accelerator according to claim 1;
a feature quantity generation unit that generates a feature quantity for a feature point for which the feature quantity should be generated;
a storage unit that stores the captured image, the response value acquired by the acquisition unit, and the feature amount generated by the feature amount generation unit;
An image processing device, further comprising:
前記特徴量を生成すべき特徴点について、特徴量を生成する特徴量生成部と、
前記検出された特徴点の座標リストと前記生成された特徴量とを前記画像から物体を検知する外部装置に送信する送信部と、
を更に備えることを特徴とする画像処理装置。 a hardware accelerator according to claim 1;
a feature quantity generation unit that generates a feature quantity for a feature point for which the feature quantity should be generated;
a transmission unit that transmits the coordinate list of the detected feature points and the generated feature amount to an external device that detects an object from the image;
An image processing device, further comprising:
前記撮像された画像の画素ごとに所定のコーナー検出法を利用して、前記画素の少なくともコーナーらしさを示すレスポンス値を取得する取得ステップと、
前記取得ステップにて取得された複数のレスポンス値のヒストグラムを生成する生成ステップと、
前記生成ステップにて生成されたヒストグラムより前記レスポンス値の閾値を算定する算定ステップと、
前記算定ステップにて算定された閾値以上のレスポンス値を有する画素を、特徴量を生成すべき特徴点として検出する検出ステップと、
を含むことを特徴とする特徴点検出方法。 A feature point detection method executed by a hardware accelerator included in an image processing device that generates feature amounts of feature points detected from a captured image,
obtaining , for each pixel of the captured image, utilizing a predetermined corner detection method to obtain a response value indicative of at least the likelihood of a corner of the pixel;
a generating step of generating a histogram of the plurality of response values obtained in the obtaining step;
a calculating step of calculating a threshold value of the response value from the histogram generated in the generating step;
a detection step of detecting a pixel having a response value equal to or greater than the threshold value calculated in the calculation step as a feature point for which a feature amount should be generated;
A feature point detection method comprising:
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020158335A JP7200983B2 (en) | 2020-09-23 | 2020-09-23 | HARDWARE ACCELERATOR, IMAGE PROCESSING DEVICE, AND FEATURE POINT DETECTION METHOD |
| PCT/JP2021/028661 WO2022064854A1 (en) | 2020-09-23 | 2021-08-02 | Hardware accelerator, image processing device, and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020158335A JP7200983B2 (en) | 2020-09-23 | 2020-09-23 | HARDWARE ACCELERATOR, IMAGE PROCESSING DEVICE, AND FEATURE POINT DETECTION METHOD |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022052139A JP2022052139A (en) | 2022-04-04 |
| JP7200983B2 true JP7200983B2 (en) | 2023-01-10 |
Family
ID=80845051
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020158335A Active JP7200983B2 (en) | 2020-09-23 | 2020-09-23 | HARDWARE ACCELERATOR, IMAGE PROCESSING DEVICE, AND FEATURE POINT DETECTION METHOD |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7200983B2 (en) |
| WO (1) | WO2022064854A1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014120056A (en) | 2012-12-18 | 2014-06-30 | Olympus Corp | Image processing apparatus and image processing method |
-
2020
- 2020-09-23 JP JP2020158335A patent/JP7200983B2/en active Active
-
2021
- 2021-08-02 WO PCT/JP2021/028661 patent/WO2022064854A1/en active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014120056A (en) | 2012-12-18 | 2014-06-30 | Olympus Corp | Image processing apparatus and image processing method |
Non-Patent Citations (1)
| Title |
|---|
| 藤吉 弘亘 Hironobu Fujiyoshi，大規模画像データ処理 画像局所特徴量ＳＩＦＴと最近のアプローチ，人工知能学会誌 Journal of the Japanese Society for Artificial Intelligence，日本，（社）人工知能学会 The Japanese Society for Artificial Intelligence，2010年11月01日，第25巻，p.753－p.760 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022064854A1 (en) | 2022-03-31 |
| JP2022052139A (en) | 2022-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109961009B (en) | Pedestrian detection method, system, device and storage medium based on deep learning | |
| US10635946B2 (en) | Eyeglass positioning method, apparatus and storage medium | |
| Pang et al. | Distributed object detection with linear SVMs | |
| US8792722B2 (en) | Hand gesture detection | |
| US9928439B2 (en) | Facilitating text identification and editing in images | |
| US11699283B2 (en) | System and method for finding and classifying lines in an image with a vision system | |
| US20140324888A1 (en) | Method and Apparatus for Identifying a Gesture Based Upon Fusion of Multiple Sensor Signals | |
| KR20120044484A (en) | Apparatus and method for tracking object in image processing system | |
| US10891740B2 (en) | Moving object tracking apparatus, moving object tracking method, and computer program product | |
| CN111241961B (en) | Face detection method and device and electronic equipment | |
| JP2024016287A (en) | System and method for detecting line by vision system | |
| Rajeshwari et al. | Adaboost modular tensor locality preservative projection: face detection in video using Adaboost modular‐based tensor locality preservative projections | |
| Kuang et al. | MutualCascade method for pedestrian detection | |
| JP7200983B2 (en) | HARDWARE ACCELERATOR, IMAGE PROCESSING DEVICE, AND FEATURE POINT DETECTION METHOD | |
| US20240078801A1 (en) | System and method for finding and classifying lines in an image with a vision system | |
| US11238309B2 (en) | Selecting keypoints in images using descriptor scores | |
| Zhou et al. | Crowd modeling framework using fast head detection and shape-aware matching | |
| JP2013097583A (en) | Feature amount generation device, method, and program | |
| CN115424267A (en) | Rotating target detection method and device based on Gaussian distribution | |
| Piao et al. | Improving performance on object recognition for real-time on mobile devices | |
| Ashiba | Dark infrared night vision imaging proposed work for pedestrian detection and tracking | |
| Robert et al. | Literature survey: application of machine learning techniques on static sign language recognition | |
| JP6668775B2 (en) | Local feature extraction device | |
| Singh et al. | Development of accurate face recognition process flow for authentication | |
| Kang et al. | A quantitative attribute-based benchmark methodology for single-target visual tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210908 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210908 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211019 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220517 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220715 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221205 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7200983 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |