JP2022053424A - ハードウェアアクセラレータ、画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】複数のＬＢＰへの対応に好適なハードウェアアクセラレータ、画像処理装置及び方法を提供する。【解決手段】ハードウェアアクセラレータ３０は、画像の各画素及び各画素の周囲の複数画素の画素値に対し、フィルタを使用しリファレンス値を算出するリファレンス値算出部３２と、画像の各画素の画素値又はリファレンス値と各画素の周囲の複数画素の画素値と、を比較しバイナリパターンを生成するバイナリパターン生成部３３と、バイナリパターンを変換後バイナリパターンに変換するバイナリパターン変換部３４と、バイナリパターン又は変換後バイナリパターンによりヒストグラムを生成するヒストグラム生成部３５とを備え、リファレンス値算出部３２とバイナリパターン変換部３３とヒストグラム生成部３５とのうち少なくとも１つと、バイナリパターン生成部３３と、を使用し得られたバイナリパターン、変換後バイナリパターン又はヒストグラムを出力する。【選択図】図３

Description

本発明は、ハードウェアアクセラレータ、画像処理装置及び画像処理方法に関する。

画像の局所的な表現を特徴量としたＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）は、画像認識や分類等に用いられている。ＬＢＰは、照明の変化に対して影響を受けにくく、高速に計算することができるという特徴を有している。

特許文献１に記載された特徴点検出では、処理の迅速化等のために、処理の一部または全部を専用のハードウェア（以下、専用のハードウェアを「ハードウェアアクセラレータ」と記載する）で実現することも想定している。ところで、ＬＢＰには、Ｕｎｉｆｏｒｍ ＬＢＰやＩｍｐｒｏｖｅｄ ＬＢＰ等の派生した手法があり、用途に応じて適切な手法を選択することが好ましい。

特開２０１４－１９９５０５号公報

しかしながら、派生したＬＢＰの各手法をそのまま個別にハードウェアアクセラレータで実現させると、ハードウェアアクセラレータの回路規模が増大してしまう。

そこで、本発明は、上記問題を解決するためになされたものであり、複数のＬＢＰに対応させることに好適なハードウェアアクセラレータ、画像処理装置及び画像処理方法を提供することを目的とする。

上記目的を達成するため、本発明のハードウェアアクセラレータは、
撮像された画像の、それぞれの画素および前記それぞれの画素の周囲の複数の画素の画素値に対して、フィルタを使用することによりリファレンス値を算出するリファレンス値算出部と、
前記撮像された画像の、それぞれの画素の画素値または前記リファレンス値と、前記それぞれの画素の周囲の複数の画素の画素値と、を比較することによりバイナリパターンを生成するバイナリパターン生成部と、
前記バイナリパターンを変換後バイナリパターンに変換するバイナリパターン変換部と、
前記バイナリパターンまたは前記変換後バイナリパターンに基づいてヒストグラムを生成するヒストグラム生成部と、を備え、
前記リファレンス値算出部と前記バイナリパターン変換部と前記ヒストグラム生成部とのうち、少なくとも１つと、前記バイナリパターン生成部と、を使用することにより得られた前記バイナリパターン、前記変換後バイナリパターンまたは前記ヒストグラムを出力する。

本発明によれば、複数のＬＢＰに対応させることに好適なハードウェアアクセラレータ、画像処理装置及び画像処理方法を提供することができる。

本発明の実施形態に係る画像処理装置のハードウェアアクセラレータが実行する４つの処理についての説明図である。 本発明の実施形態に係る画像処理装置のＬＢＰ設定処理での各ＬＢＰと実行する処理との組み合わせを説明する図である。 本発明の実施形態に係る画像処理装置のブロック図である。 本発明の実施形態に係る画像処理装置のＬＢＰ設定処理のフローチャートである。 本発明の実施形態に係る画像処理装置の各種ＬＢＰ特徴量生成処理の説明図である。 本発明の実施形態に係る画像処理装置の画像処理のフローチャートである。 本発明の実施形態に係る画像処理装置の各種ＬＢＰ特徴量生成処理のフローチャートである。 本発明の実施形態に係る画像処理装置のリファレンス値算出処理のフローチャートである。 本発明の実施形態に係る画像処理装置のバイナリパターン生成処理のフローチャートである。 本発明の実施形態に係る画像処理装置のバイナリパターン変換処理のフローチャートである。 本発明の実施形態に係る画像処理装置のヒストグラム生成処理のフローチャートである。

本発明の実施形態に係るハードウェアアクセラレータを備えた画像処理装置について、以下、図面を参照して詳細に説明する。

本発明の実施形態に係るハードウェアアクセラレータを備えた画像処理装置は、図１に示す４つの処理を組み合わせることにより、入力された画像から、図２に示すように、Ｎｏｒｍａｌ ＬＢＰ、Ｉｍｐｒｏｖｅｄ ＬＢＰ、ＣＳ（Ｃｅｎｔｅｒ－Ｓｙｍｍｅｔｒｉｃ） ＬＢＰ、ＲＩ（Ｒｏｔａｔｉｏｎ Ｉｎｖａｒｉａｎｔ） ＬＢＰ、Ｕｎｉｆｏｒｍ ＬＢＰ、ＬＢＰ Ｈｉｓｔｏｇｒａｍ、Ｉｍｐｒｏｖｅｄ ＲＩ ＬＢＰ Ｈｉｓｔｏｇｒａｍの各種ＬＢＰのうちからユーザが選択したＬＢＰによる特徴量を生成する。

（画像処理装置の構成）
図３に示すように、画像処理装置１０は、制御部２０、特徴点検出器３０、記憶部４０、撮像部５０、通信部６０、表示部７０、入力部８０、を備える。

制御部２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等で構成され、記憶部４０に記憶されたプログラム等を実行することにより、後述する各部（処理選択部２１、画像取得部２２、特徴量送信部２３）の機能を実現する。また、制御部２０は、時計（図示せず）を有し、現在日時の取得や経過時間のカウント等をすることができる。

ハードウェアアクセラレータＡの構成要素である特徴点検出器３０は、制御部２０に代わって、画像Ｖから特徴量を算出するための各種処理を実行するためのものである。特徴点検出器３０は、ＣＰＵ等を含んでおり、半導体等の電子部品を集積した集積回路（ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）で構成され、記憶部４０に記憶されたプログラム等を実行することにより、後述する各部（画素値取得部３１、リファレンス値算出部３２、バイナリパターン生成部３３、バイナリパターン変換部３４、ヒストグラム生成部３５）の機能を実現する。

また、ハードウェアアクセラレータＡの構成要素である特徴点検出器記憶部３６は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、機能的に、ヒストグラム一時記憶部３７を有する。ヒストグラム一時記憶部３７は、後述するヒストグラム生成処理でのカウントアップのために使用される。

記憶部４０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ等で構成され、ＲＯＭの一部又は全部は電気的に書き換え可能なメモリ（フラッシュメモリ等）で構成されている。記憶部４０は、機能的に、撮像画像記憶部４１と、リファレンス値記憶部４２と、バイナリパターン記憶部４３と、ヒストグラム記憶部４４と、各種設定記憶部４５と、を有する。ＲＯＭには制御部２０および特徴点検出器３０が実行するプログラム及びプログラムを実行する上で予め必要なデータが記憶されている。ＲＡＭには、プログラム実行中に作成されたり変更されたりするデータが記憶される。

撮像画像記憶部４１には、本実施形態では、撮像部５０に撮像された画像Ｖが記憶される。本実施形態では、後述する撮像装置５１は説明の簡略化のため１台とするが、撮像画像記憶部４１は、撮像装置５１が複数台稼働している場合には、撮像装置５１毎に撮像された画像を記憶することができる。

リファレンス値記憶部４２には、後述するリファレンス値算出処理で算出されたリファレンス値を記憶する。

バイナリパターン記憶部４３には、後述するＬＢＰ設定処理で処理選択部２１に選択された比較モード、後述するバイナリパターン生成処理で生成されたバイナリパターンＢＰが記憶される。また、バイナリパターンＢＰに基づいて後述するバイナリパターン変換処理で変換されたバイナリパターンＢＰＬが記憶される。

ヒストグラム記憶部４４には、後述するヒストグラム生成処理で生成されたヒストグラムが記憶される。

各種設定記憶部４５には、各ＬＢＰに対応する後述する比較パターン、フィルタ係数（フィルタ）、ルックアップテーブル（ＬＵＴ）、図２に示すような各ＬＢＰと４つの処理との対応関係、画像Ｖを撮像するフレームレート、画像Ｖが撮像される撮像範囲Ｌ等の各種設定が、予め、またはユーザが入力部８０等を介して入力または指示すること等により記憶されている。

撮像部５０は、画像Ｖを撮像する撮像装置５１、撮像装置５１の姿勢を制御するための駆動装置５２を有する。

撮像装置５１は、本実施形態では、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラを備える。撮像装置５１は、撮像範囲を予め設定された、またはユーザが設定したフレームレートで撮像し画像Ｖを生成する。なお、フレームレートは、撮像対象物の想定移動速度等に応じて、ユーザにより手動で、または自動的に変更可能である。

駆動装置５２は、後述する入力装置８１等の指示に従って、撮像装置５１の位置や方向を移動させて撮像範囲Ｌを調整する。

通信部６０は、外部機器等と通信するためのモジュールである通信装置６１を有する。通信装置６１は、外部機器と通信する場合にはアンテナを含む無線モジュールである。例えば、通信装置６１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）に基づく近距離無線通信を行うための無線モジュールである。通信部６０を用いることにより、画像処理装置１０は、外部機器等と画像Ｖや特徴量等のデータ等の受け渡しを行うことができる。

表示部７０は、液晶表示パネル（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）から構成された表示装置７１を備える。

表示装置７１としては、薄膜トランジスタ（ＴＦＴ：Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）、液晶、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）などを採用できる。表示装置７１には、画像Ｖや特徴量リスト等が表示される。

入力部８０は、表示部７０と近接して、または表示部７０と一体に設けられた抵抗膜方式のタッチパネル（入力装置８１）である。タッチパネルは、赤外線操作方式や投影型静電容量方式等であってもよいし、入力部８０はタッチパネルで無くキーボードおよびマウス等であってもよい。ユーザは、入力部８０を介したマニュアル操作にて、使用するＬＢＰを選択する、或いは、表示部７０を使用して使用するＬＢＰを選択することができる。

次に、画像処理装置１０の制御部２０および特徴点検出器３０の機能的構成について説明する。

制御部２０は、処理選択部２１、画像取得部２２、特徴量送信部２３の機能を実現し、ハードウェアアクセラレータＡである特徴点検出器３０とともに後述する画像処理、ＬＢＰ特徴量生成処理等を行う。

処理選択部２１は、ユーザが選択したＬＢＰに対応する処理をセット（図２、４参照）し、アクセラレータＡを設定する。詳細は、ＬＢＰ設定処理にて後述する。

画像取得部２２は、予め画像処理装置１０に設定された、またはユーザが設定した露出条件等で撮像部５０が撮像した画像Ｖを取得し、撮像画像記憶部４１に記憶させる。

特徴量送信部２３は、ユーザが選択したＬＢＰに応じてバイナリパターンＢＰ、ＢＰＬ、またはヒストグラムを外部機器等に送信する。

特徴点検出器３０は、画素値取得部３１、リファレンス値算出部３２、バイナリパターン生成部３３、バイナリパターン変換部３４、ヒストグラム生成部３５の機能を実現し、制御部２０とともに画像処理、ＬＢＰ特徴量生成処理等を行う。

画素値取得部３１は、撮像画像記憶部４１に記憶された画像Ｖから各画素の画素値およびその画素の周囲８画素の画素値を取得する。画素値取得部３１は、取得した画像Ｖをユーザが選択したＬＢＰに応じて、リファレンス値算出部３２、またはバイナリパターン生成部３３に送信する。

リファレンス値算出部３２は、画素値取得部３１から送信された画像Ｖの、それぞれの画素およびそれぞれの画素の周囲の８点の画素の画素値に対して、フィルタを使用することによりリファレンス値を算出する。フィルタは、図１に示すように、（１）３×３画素値の中央の画素値をリファレンス値（図１のリファレンス値算出の欄の上から１つ目のフィルタに相当）とするもの（Ｎｏｒｍａｌ ＬＢＰ、ＲＩ ＬＢＰ、Ｕｎｉｆｏｒｍ ＬＢＰ）、（２）３×３画素値の平均値をリファレンス値（フィルタ係数は中央および周辺ともに１（図１のリファレンス値算出の欄の上から２つ目のフィルタに相当））とするもの（Ｉｍｐｒｏｖｅｄ ＬＢＰ、Ｉｍｐｒｏｖｅｄ ＲＩ ＬＢＰ Ｈｉｓｔｏｇｒａｍ）、（３）３×３画素値の中央の画素値を最大の重み付けをし、中央の上下左右を半分の重み付け、四隅をさらに半分の重み付けしたもの（図１のリファレンス値算出の欄の上から３つ目のフィルタに相当）がある。なお、ユーザによって任意に、フィルタの数値を変更または追加することもできる。

バイナリパターン生成部３３は、撮像された画像の、それぞれの画素の画素値、または、リファレンス値とそれぞれの画素の周囲の８点の画素の画素値とを比較することによりバイナリパターンＢＰを生成する。比較の方法については、図５に示すように、（１）リファレンス値と周囲の８画素を比較するリファレンス値等比較モード、（２）中央の画素を点対称に周囲の８画素を比較する対象画素比較モード、（３）隣接する画素同士を比較する隣接画素比較モードがある。Ｎｏｒｍａｌ ＬＢＰ、Ｉｍｐｒｏｖｅｄ ＬＢＰ、ＲＩ ＬＢＰ、Ｕｎｉｆｏｒｍ ＬＢＰ、ＬＢＰ Ｈｉｓｔｏｇｒａｍ、Ｉｍｐｒｏｖｅｄ ＲＩ ＬＢＰ Ｈｉｓｔｏｇｒａｍを選択した場合は（１）を、ＣＳ ＬＢＰを選択した場合は（２）のモードを使用して比較する。ユーザによって任意に、モードを変更することもできる。図１に示すように、比較元＜比較先の場合０とし、それ以外の場合１とする。

バイナリパターン変換部３４は、バイナリパターン生成部３３が生成したバイナリパターンを、図１、５に示すように、８ビットのルックアップテーブル（ＬＵＴ）であるパターン変換テーブルを使用して変換後バイナリパターンＢＰＬに変換する。例えば、ＲＩ ＬＢＰ（およびＩｍｐｒｏｖｅｄ ＲＩ ＬＢＰ Ｈｉｓｔｏｇｒａｍ）に対しては、以下のような８ビットの変換を行う。
０００００００１（１）→０００００００１（１）
００００００１０（２）→０００００００１（１）
０００００１００（４）→０００００００１（１）
００００１０００（８）→０００００００１（１）
０００１００００（１６）→０００００００１（１）
００１０００００（３２）→０００００００１（１）
０１００００００（６４）→０００００００１（１）
１０００００００（１２８）→０００００００１（１）

００００００１１（３）→００００００１１（３）
０００００１１０（６）→００００００１１（３）
００００１１００（１２）→００００００１１（３）
０００１１０００（２４）→００００００１１（３）
００１１００００（４８）→００００００１１（３）
０１１０００００（９６）→００００００１１（３）
１１００００００（１９２）→００００００１１（３）
１００００００１（１２９）→００００００１１（３）

…

つまり、下記のようなテーブル、ビットパターンをビットシフトによる回転に対応したテーブルとなる。
ｔｂ［１］＝１
ｔｂ［２］＝１
ｔｂ［３］＝３
ｔｂ［４］＝１
ｔｂ［６］＝３
ｔｂ［８］＝１
ｔｂ［１２］＝３
ｔｂ［１６］＝１
ｔｂ［２４］＝３
ｔｂ［３２］＝１
ｔｂ［４８］＝３
ｔｂ［６４］＝１
ｔｂ［９６］＝３
ｔｂ［１２８］＝１
ｔｂ［１２９］＝３
ｔｂ［１９２］＝３
…

一方、Ｕｎｉｆｏｒｍ ＬＢＰでは、例えば、ビットパターンを、点（ｓｐｏｔ）、フラット（ｓｐｏｔ／ｆｌａｔ）、先端（ｌｉｎｅ ｅｎｄ）、エッジ（ｅｄｇｅ）、角（ｃｏｒｎｅｒ）に分類する、下記のようなパターン変換テーブルを使用する。ＷＥＢページ「Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎの理論と実装」等を参照するとよい。
００００００００（１）→０００００００１（１）＝ｓｐｏｔ
１１１１１１１１（２５５）→０００００００２（２）＝ｓｐｏｔ／ｆｌａｔ
０００００１１０（６）→０００００００４（４）＝ｌｉｎｅ ｅｎｄ
００００１１００（１２）→０００００００４（４）＝ｌｉｎｅ ｅｎｄ
０００１１０００（２４）→０００００００４（４）＝ｌｉｎｅ ｅｎｄ
…
１１００００１１（１９５）→０００００００８（８）＝ｅｄｇｅ
１００００１１１（１３５）→０００００００８（８）＝ｅｄｇｅ
００００１１１１（１５）→０００００００８（８）＝ｅｄｇｅ
…
０００００１１１（７）→００００００１０（１６）＝ｃｏｒｎｅｒ
００００１１１０（１４）→００００００１０（１６）＝ｃｏｒｎｅｒ
０００１１１００（２８）→００００００１０（１６）＝ｃｏｒｎｅｒ
…

ヒストグラム生成部（度数（頻度）分布算定部）３５は、バイナリパターンＢＰまたは変換後バイナリパターンＢＰＬに基づいてヒストグラムを生成する。ＬＢＰ Ｈｉｓｔｏｇｒａｍ、Ｉｍｐｒｏｖｅｄ ＲＩ ＬＢＰ Ｈｉｓｔｏｇｒａｍの場合、ヒストグラム生成部３５は、バイナリパターンに該当するビンに対してカウントアップし、全画素分をカウントアップすることによりヒストグラムを生成する。設定された大きさ（本実施形態では６４ｐｉｘ×６４ｐｉｘの画素ブロック）のブロック別のヒストグラムを算出した後、ヒストグラムを連結することによりヒストグラムを生成する。画像Ｖ全体のヒストグラムを生成してもよい。

以上、制御部２０および特徴点検出器３０の機能的構成について説明した。以下、図３から図１１を用いて、撮像された画像Ｖのそれぞれの画素について、３×３画素値を使用して、図２に示す、Ｎｏｒｍａｌ ＬＢＰ、Ｉｍｐｒｏｖｅｄ ＬＢＰ、ＣＳ ＬＢＰ、ＲＩ ＬＢＰ、Ｕｎｉｆｏｒｍ ＬＢＰ、ＬＢＰ Ｈｉｓｔｏｇｒａｍ、Ｉｍｐｒｏｖｅｄ ＲＩ ＬＢＰ Ｈｉｓｔｏｇｒａｍの各種ＬＢＰの特徴量を生成するために実行される画像処理、各種ＬＢＰ特徴量生成処理等について具体的に説明する。

（ＬＢＰ設定処理）
はじめに、画像処理を行う前に、図３に示す、ハードウェアアクセラレータＡで実行する処理をユーザが選択したＬＢＰにあわせた構成とするためのＬＢＰ設定処理（図４、図２参照）を行う。

まず、ユーザは、画像Ｖの画素の特徴量の生成を行うＬＢＰを選択する。処理選択部２１は、各種設定記憶部４５に記憶された各ＬＢＰと実行する処理との組み合わせ（図２参照）を参照し、ユーザの選択したＬＢＰに対応する処理を確認する（ステップＳ１０１）。

ユーザの選択したＬＢＰにリファレンス値算出処理が対応する場合（ステップＳ１０２；Ｙｅｓ）、リファレンス値算出部３２を実行可能状態にする（ステップＳ１０３）。ユーザの選択したＬＢＰにリファレンス値算出処理が対応しない場合（ステップＳ１０２；Ｎｏ）、リファレンス値算出部３２を実行可能状態にしない。

ステップＳ１０４に進み、処理選択部２１は、ユーザの選択したＬＢＰに対応する比較パターンを各種設定記憶部４５から選択し、バイナリパターン記憶部４３に記憶する。

ステップＳ１０５に進み、ユーザの選択したＬＢＰにバイナリパターン変換処理が対応する場合（ステップＳ１０５；Ｙｅｓ）、バイナリパターン変換部３４を実行可能状態にする（ステップＳ１０６）。ユーザの選択したＬＢＰにバイナリパターン変換処理が対応しない場合（ステップＳ１０５；Ｎｏ）、バイナリパターン変換部３４を実行可能状態にしない。

ステップＳ１０７に進み、ユーザの選択したＬＢＰにヒストグラム生成処理が対応する場合（ステップＳ１０７；Ｙｅｓ）、ヒストグラム生成部３５を実行可能状態にする（ステップＳ１０８）。ユーザの選択したＬＢＰにヒストグラム生成処理が対応しない場合（ステップＳ１０７；Ｎｏ）、ヒストグラム生成部３５を実行可能状態にしない。以上で、ＬＢＰ設定処理を終了する。

（画像処理）
ＬＢＰ設定処理が終了した後、図６に示すように、撮像された画像Ｖのそれぞれの画素について、ＬＢＰ特徴量を算出するための画像処理を実行する。なお、画像Ｖの全画素数をｋ個とする。

はじめに、撮像部５０は、設定されたフレームレートで設定された指定撮像範囲を撮像し、画像取得部２２は、撮像された画像Ｖを撮像画像記憶部４１に記憶させる（ステップＳ２０１）。

次に、ｎ（１≦ｎ≦ｋ）画素目の画素値の取り込みを始める（ステップＳ２０２）。画素値取得部３１は、撮像画像記憶部４１に記憶された画像Ｖからｎ画素目の画素値およびそのｎ画素目の周囲８画素の画素値を取得する（ステップＳ２０３）。

次のステップに進み、ユーザが設定したＬＢＰに対応する、後述する各種ＬＢＰ特徴量生成処理を実行する（ステップＳ２０４）。

ステップ２０５に進み、ｎ＝ｋ画素目であるか否かを判別する。ｎ＝ｋ画素目でない場合（ステップＳ２０５；Ｎｏ）、ｎ＝ｎ＋１とし（ステップＳ２０６）、ステップＳ２０３に戻る。ｎ＝ｋ画素目である場合（ステップＳ２０５；Ｙｅｓ）、ステップＳ２０７へ進む。

ステップＳ２０７では、特徴量送信部２３は、バイナリパターン生成処理、バイナリパターン変換処理、ヒストグラム生成処理のうち、最後に実行した処理で生成された特徴量を、バイナリパターン記憶部４３またはヒストグラム記憶部４４から取得し、通信部６０を介して、外部機器等へ送信し、画像処理を終了する。

引き続き、画像処理のステップＳ２０４で実行される、各種ＬＢＰ特徴量生成処理について、図７を参照して説明する。

（各種ＬＢＰ特徴量生成処理）
まず、ＬＢＰ設定処理でリファレンス値算出部３２が実行可能状態である場合（ステップＳ３０１；Ｙｅｓ）、後述するリファレンス値算出処理を実行し（ステップＳ３０２）、実行後ステップＳ３０３へ進む。ＬＢＰ設定処理でリファレンス値算出部３２が実行可能状態でない場合（ステップＳ３０１；Ｎｏ）、ステップＳ３０３へ進む。

次に、後述するバイナリパターン生成処理を実行する（ステップＳ３０３）。

その後、ステップＳ３０４に進み、ＬＢＰ設定処理でバイナリパターン変換部３４が実行可能状態である場合（ステップＳ３０４；Ｙｅｓ）、後述するバイナリパターン変換処理を実行し（ステップＳ３０５）、実行後ステップＳ３０６へ進む。ＬＢＰ設定処理でバイナリパターン変換部３４が実行可能でない場合（ステップＳ３０４；Ｎｏ）、ステップＳ３０６へ進む。

ＬＢＰ設定処理でヒストグラム生成部３５が実行可能状態である場合（ステップＳ３０６；Ｙｅｓ）、後述するヒストグラム生成処理を実行し（ステップＳ３０７）、実行後各種ＬＢＰ特徴量生成処理を終了する。ＬＢＰ設定処理でヒストグラム生成部３５が実行可能状態でない場合（ステップＳ３０６；Ｎｏ）、各種ＬＢＰ特徴量生成処理を終了する。

続いて、各種ＬＢＰ特徴量生成処理で実行されるリファレンス値算出処理、バイナリパターン生成処理、バイナリパターン変換処理、ヒストグラム生成処理を順に説明する。

（リファレンス値算出処理）
リファレンス値算出処理では、まず、図８に示すように、リファレンス値算出部３２は、各種設定記憶部４５から、ユーザが選択したＬＢＰに対応するフィルタ係数（フィルタ）を取得する（ステップＳ４０１）。

次に、リファレンス値算出部３２は、取得したフィルタ係数を使用して、ｎ番目の画素およびｎ番目の画素の周囲の８画素の画素値に対してフィルタ処理を実行する（ステップＳ４０２）。

最後に、リファレンス値算出部３２は、フィルタ処理の結果リファレンス値を取得し、リファレンス値をリファレンス値記憶部４２に記憶し（ステップＳ４０３）、リファレンス値算出処理を終了する。

（バイナリパターン生成処理）
引き続き、以下、図９を参照して、バイナリパターン生成処理について説明する。

まず、バイナリパターン生成部３３は、ＬＢＰ設定処理のステップＳ１０４で処理選択部２１が選択した比較モードをバイナリパターン記憶部４３から取得する（ステップＳ５０１）。

次に、バイナリパターン生成部３３は、比較元の画素値Ｒを取得する。比較元、比較先の画素値については、図１参照（ステップＳ５０２）。

続いて、バイナリパターン生成部３３は、比較先の画素値Ｃを取得する。（ステップＳ５０３）。

その後、バイナリパターン生成部３３は、比較元の画素値Ｒと比較元の画素値Ｃとを比較する（ステップＳ５０４）。比較元の画素値Ｒより比較元の画素値Ｃが大きい場合（ステップＳ５０４；Ｙｅｓ）、バイナリパターン生成部３３は、０を出力し、バイナリパターン記憶部４３に記憶する（ステップＳ５０５）。比較元の画素値Ｒと比較元の画素値Ｃとが等しい、或いは、比較元の画素値Ｒより比較元の画素値Ｃが小さい場合（ステップＳ５０４；Ｎｏ）、バイナリパターン生成部３３は、１を出力し、バイナリパターン記憶部４３に記憶する（ステップＳ５０６）。

ステップＳ５０７に進み、ｎ＝ｋか否かを確認する。ｎ＝ｋである場合（ステップＳ５０７；Ｙｅｓ）、バイナリパターン生成部３３は、バイナリパターンＢＰを生成し（ステップＳ５０８）、バイナリパターン生成処理を終了する。ｎ＝ｋでない場合（ステップＳ５０７；Ｎｏ）、バイナリパターン生成処理を終了する。

（バイナリパターン変換処理）
続いて、以下、図１０を参照して、バイナリパターン変換処理について説明する。

まず、バイナリパターン変換部３４は、ユーザが選択したＬＢＰに対応するルックアップテーブルを各種設定記憶部４５から参照して、バイナリパターンＢＰに適用する（ステップＳ６０１）。

バイナリパターン変換部３４は、ルックアップテーブルによりバイナリパターンＢＰから変換された変換後バイナリパターンＢＰＬをバイナリパターン記憶部４３に記憶し（ステップＳ６０２）、バイナリパターン変換処理を終了する。

（ヒストグラム生成処理）
引き続いて、以下、図１１を参照して、ヒストグラム生成処理について説明する。

まず、ヒストグラム生成部３５は、ユーザが選択したＬＢＰに応じてバイナリパターンＢＰまたは変換後バイナリパターンＢＰＬを事前に設定されたビンに対してヒストグラム一時記憶部３７でカウントアップする（ステップＳ７０１）。このとき、画像Ｖを３×３画素等の大きさのブロックに分割して、ブロック内の画素に対してＬＢＰを計算し、ブロック毎にビン数２５６でＬＢＰのヒストグラムを生成し、ブロック数分のヒストグラムを連結してヒストグラムを生成する。或いは画像Ｖ全体でのヒストグラムを生成する。

続いて、ｎ＝ｋ（全画素カウントアップ完了）である場合（ステップＳ７０２；Ｙｅｓ）、ヒストグラム生成部３５は、カウントアップによって生成したヒストグラムを出力し、ヒストグラム記憶部４４に記憶し（ステップＳ７０３）、ヒストグラム生成処理を終了する。ｎ＝ｋでない（全画素カウントアップ未完了）場合（ステップＳ７０２；Ｎｏ）、ヒストグラム生成処理を終了する。

以上、本実施形態におけるハードウェアアクセラレータＡを備える画像処理装置１０は、ユーザが選択したＬＢＰに応じてハードウェアアクセラレータＡ内の４つの処理（リファレンス値算出処理、バイナリパターン生成処理、バイナリパターン変換処理、ヒストグラム生成処理）をこの順番で組み合わせ、バイナリパターン生成処理と、リファレンス値算出処理、バイナリパターン変換処理、ヒストグラム生成処理のうちの少なくとも１つの処理と、を実行することによって各種ＬＢＰ特徴量を生成できる。従って、各種ＬＢＰに対してそれぞれハードウェアアクセラレータを構成した場合に比べて、重複する処理をまとめることができるので、ハードウェアアクセラレータＡの回路規模の増大を抑制することができ、好適である。

［変形例］
上記実施形態では、画像処理装置１０の特徴点検出器３０をハードウェアアクセラレータＡとしたが、ハードウェアアクセラレータは、例えば、リファレンス値算出部、バイナリパターン生成部およびバイナリパターン変換部を備え、リファレンス値算出部とバイナリパターン変換部とのうち、少なくとも１つとバイナリパターン生成部とを使用することにより得られたバイナリパターンまたは変換後バイナリパターンを画像処理装置に送信（出力）するものであり、Ｎｏｒｍａｌ ＬＢＰ、Ｉｍｐｒｏｖｅｄ ＬＢＰ、ＣＳ（Ｃｅｎｔｅｒ－Ｓｙｍｍｅｔｒｉｃ） ＬＢＰ、ＲＩ（Ｒｏｔａｔｉｏｎ Ｉｎｖａｒｉａｎｔ） ＬＢＰ、Ｕｎｉｆｏｒｍ ＬＢＰの各種ＬＢＰのうちからユーザが選択したＬＢＰによる特徴量を生成するものであってもよい。或いは、ハードウェアアクセラレータは、リファレンス値算出部とバイナリパターン生成部とを備え、少なくともバイナリパターン生成部を使用することにより得られたバイナリパターンを画像処理装置に送信するものであってもよい。或いは、他の組合せであってもよい。

或いは、ハードウェアアクセラレータにアクセラレータ記憶部４０の各機能を有する特徴点検出器記憶部を設けた画像処理装置としてもよい。或いは、ハードウェアアクセラレータＡを２つ以上実装した構成の画像処理装置として、より高速に特徴量の算定をできるようにしてもよい。

或いは、上記以外のフィルタ、比較モード、ルックアップテーブルやヒストグラムを使用することにより、Ｎｏｒｍａｌ ＬＢＰ、Ｉｍｐｒｏｖｅｄ ＬＢＰ、ＣＳ ＬＢＰ、ＲＩ ＬＢＰ、Ｕｎｉｆｏｒｍ ＬＢＰ、ＬＢＰ Ｈｉｓｔｏｇｒａｍ、Ｉｍｐｒｏｖｅｄ ＲＩ ＬＢＰ Ｈｉｓｔｏｇｒａｍ以外のＬＢＰによる特徴量を生成することもできる。

また、上記実施形態でのフィルタは、３×３であったが、これに限らない。５×５や他の数のフィルタであってもよい。

上記実施形態でのフィルタには、ローパスフィルタ（LPF：Low Pass Filter）、ハイパスフィルタ（HPF：High Pass Filter）、バンドパスフィルタ（ＢＰ：Ｂａｎｄ Ｐａｓｓ Ｆｉｌｔｅｒ）、バンドエリミネーションフィルタ（ＢＥＦ：Ｂａｎｄ Ｅｌｉｍｉｎａｔｉｏｎ Ｆｉｌｔｅｒ）等を使用してもよい。或いは、εフィルタ等を使用してもよい。また、タップ数を５×５等にすることもできる。

上記実施形態でのルックアップテーブルには、ＢｏＦ（Ｂａｇ ｏｆ Ｆｅａｔｕｒｅｓ）等のクラスタリング用テーブルを使用してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記）
（付記１）
撮像された画像の、それぞれの画素および前記それぞれの画素の周囲の複数の画素の画素値に対して、フィルタを使用することによりリファレンス値を算出するリファレンス値算出部と、
前記撮像された画像の、それぞれの画素の画素値または前記リファレンス値と、前記それぞれの画素の周囲の複数の画素の画素値と、を比較することによりバイナリパターンを生成するバイナリパターン生成部と、
前記バイナリパターンを変換後バイナリパターンに変換するバイナリパターン変換部と、
前記バイナリパターンまたは前記変換後バイナリパターンに基づいてヒストグラムを生成するヒストグラム生成部と、を備え、
前記リファレンス値算出部と前記バイナリパターン変換部と前記ヒストグラム生成部とのうち、少なくとも１つと、前記バイナリパターン生成部と、を使用することにより得られた前記バイナリパターン、前記変換後バイナリパターンまたは前記ヒストグラムを出力する、
ハードウェアアクセラレータ。

（付記２）
前記リファレンス値算出部は、前記フィルタによって、前記それぞれの画素の画素値を出力する、または前記それぞれの画素の画素値および前記それぞれの画素の周囲の複数の画素の画素値の平均の画素値または重み付き平均の画素値を出力する、
付記１に記載のハードウェアアクセラレータ。

（付記３）
前記バイナリパターン生成部は、隣接する画素同士の画素値を比較する、前記画素を点対称にして画素値を比較する、または、前記それぞれの画素の周囲の複数の画素の画素値と前記リファレンス値とを比較する、
付記１または２に記載のハードウェアアクセラレータ。

（付記４）
前記バイナリパターン変換部は、８ビットのルックアップテーブルで変換を行う、
付記１から３のいずれか１つに記載のハードウェアアクセラレータ。

（付記５）
前記ヒストグラム生成部は、前記バイナリパターンに該当するビンに対してカウントアップすることによりヒストグラムを生成する、
付記１から４のいずれか１つに記載のハードウェアアクセラレータ。

（付記６）
付記１から６のいずれか１つに記載のハードウェアアクセラレータと、
前記バイナリパターン、前記変換後バイナリパターンまたは前記ヒストグラムを取得する制御部と、
前記バイナリパターン、前記変換後バイナリパターンまたは前記ヒストグラムを記憶する記憶部と、
を備える、
画像処理装置。

（付記７）
ハードウェアアクセラレータに、
撮像された画像の、それぞれの画素および前記それぞれの画素の周囲の複数の画素の画素値に対して、フィルタを使用することによりリファレンス値を算出させ、
前記撮像された画像の、それぞれの画素の画素値または前記リファレンス値と前記それぞれの画素の周囲の複数の画素の画素値とを比較することによりバイナリパターンを生成させ、
前記バイナリパターンを変換後バイナリパターンに変換させ、
前記バイナリパターンまたは前記変換後バイナリパターンに基づいてヒストグラムを生成させ、
前記リファレンス値と前記変換後バイナリパターンと前記ヒストグラムとのうち、少なくとも１つと、前記バイナリパターンと、を出力させる、
画像処理方法。

１０…画像処理装置、２０…制御部、２１…処理選択部、２２…画像取得部、２３…特徴量送信部、３０…特徴点検出器、３１…画素値取得部、３２…リファレンス値算出部、３３…バイナリパターン生成部、３４…バイナリパターン変換部、３５…ヒストグラム生成部、３６…特徴点検出器記憶部、３７…ヒストグラム一時記憶部、４０…記憶部、４１…撮像画像記憶部、４２…リファレンス値記憶部、４３…バイナリパターン記憶部、４４…ヒストグラム記憶部、４５…各種設定記憶部、５０…撮像部、５１…撮像装置、５２…駆動装置、６０…通信部、６１…通信装置、７０…表示部、７１…表示装置、８０…入力部、８１…入力装置、Ａ…ハードウェアアクセラレータ、ＢＰ…バイナリパターン、ＢＰＬ…変換後バイナリパターン、Ｌ…撮像範囲、Ｖ…画像

上記目的を達成するため、本発明のハードウェアアクセラレータは、
画像の、それぞれの画素の画素値および前記それぞれの画素の周囲の複数の画素の画素値に対して、フィルタを使用することによりリファレンス値を導出するリファレンス値導出部と、
前記画像の、それぞれの画素の画素値または前記リファレンス値と、前記それぞれの画素の周囲の複数の画素の画素値と、に基づいてバイナリパターンを生成するバイナリパターン生成部と、
前記バイナリパターンを変換後バイナリパターンに変換するバイナリパターン変換部と、
前記バイナリパターンまたは前記変換後バイナリパターンに基づいてヒストグラムを生成するヒストグラム生成部と、を備え、
前記リファレンス値導出部と前記バイナリパターン変換部と前記ヒストグラム生成部とのうち、少なくとも１つと、前記バイナリパターン生成部と、を使用することにより得られた前記バイナリパターン、前記変換後バイナリパターンまたは前記ヒストグラムを出力する。

上記目的を達成するため、本発明のハードウェアアクセラレータは、
画像の、それぞれの画素の画素値および前記それぞれの画素の周囲の複数の画素の画素値に対して、フィルタを使用することによりリファレンス値を導出する、複数種のフィルタを備えるリファレンス値導出部と、
前記画像の、それぞれの画素の画素値または前記リファレンス値と、前記それぞれの画素の周囲の複数の画素の画素値を比較することによりバイナリパターンを生成する、複数種の比較モードを備えるバイナリパターン生成部と、
前記バイナリパターンを変換後バイナリパターンに変換するバイナリパターン変換部と、
前記複数種の比較モードのうち任意に設定された比較モードで、前記複数種のフィルタのうち任意に設定されたフィルタを使用することにより導出されたリファレンス値を前記それぞれの画素の周囲の複数の画素の画素値と比較することにより生成されたバイナリパターンまたは前記変換後バイナリパターンに基づいてヒストグラムを生成するヒストグラム生成部と、を備え、
前記リファレンス値導出部と前記バイナリパターン変換部と前記ヒストグラム生成部とのうち、少なくとも１つと、前記バイナリパターン生成部と、を使用することにより得られた前記バイナリパターン、前記変換後バイナリパターンまたは前記ヒストグラムを出力する。

Claims (7)

1. 撮像された画像の、それぞれの画素および前記それぞれの画素の周囲の複数の画素の画素値に対して、フィルタを使用することによりリファレンス値を算出するリファレンス値算出部と、
   前記撮像された画像の、それぞれの画素の画素値または前記リファレンス値と、前記それぞれの画素の周囲の複数の画素の画素値と、を比較することによりバイナリパターンを生成するバイナリパターン生成部と、
   前記バイナリパターンを変換後バイナリパターンに変換するバイナリパターン変換部と、
   前記バイナリパターンまたは前記変換後バイナリパターンに基づいてヒストグラムを生成するヒストグラム生成部と、を備え、
   前記リファレンス値算出部と前記バイナリパターン変換部と前記ヒストグラム生成部とのうち、少なくとも１つと、前記バイナリパターン生成部と、を使用することにより得られた前記バイナリパターン、前記変換後バイナリパターンまたは前記ヒストグラムを出力する、
   ハードウェアアクセラレータ。
2. 前記リファレンス値算出部は、前記フィルタによって、前記それぞれの画素の画素値を出力する、または前記それぞれの画素の画素値および前記それぞれの画素の周囲の複数の画素の画素値の平均の画素値または重み付き平均の画素値を出力する、
   請求項１に記載のハードウェアアクセラレータ。
3. 前記バイナリパターン生成部は、隣接する画素同士の画素値を比較する、前記画素を点対称にして画素値を比較する、または、前記それぞれの画素の周囲の複数の画素の画素値と前記リファレンス値とを比較する、
   請求項１または２に記載のハードウェアアクセラレータ。
4. 前記バイナリパターン変換部は、８ビットのルックアップテーブルで変換を行う、
   請求項１から３のいずれか１項に記載のハードウェアアクセラレータ。
5. 前記ヒストグラム生成部は、前記バイナリパターンに該当するビンに対してカウントアップすることによりヒストグラムを生成する、
   請求項１から４のいずれか１項に記載のハードウェアアクセラレータ。
6. 請求項１から６のいずれか１項に記載のハードウェアアクセラレータと、
   前記バイナリパターン、前記変換後バイナリパターンまたは前記ヒストグラムを取得する制御部と、
   前記バイナリパターン、前記変換後バイナリパターンまたは前記ヒストグラムを記憶する記憶部と、
   を備える、
   画像処理装置。
7. ハードウェアアクセラレータに、
   撮像された画像の、それぞれの画素および前記それぞれの画素の周囲の複数の画素の画素値に対して、フィルタを使用することによりリファレンス値を算出させ、
   前記撮像された画像の、それぞれの画素の画素値または前記リファレンス値と前記それぞれの画素の周囲の複数の画素の画素値とを比較することによりバイナリパターンを生成させ、
   前記バイナリパターンを変換後バイナリパターンに変換させ、
   前記バイナリパターンまたは前記変換後バイナリパターンに基づいてヒストグラムを生成させ、
   前記リファレンス値と前記変換後バイナリパターンと前記ヒストグラムとのうち、少なくとも１つと、前記バイナリパターンと、を出力させる、
   画像処理方法。

Images