JP2017111553A - 画像認識装置及び画像認識装置の動作方法 - Google Patents

Abstract

【課題】ＢｏＶＷ（Bag of Visual Words）手法を用いた画像認識においては、類似画像検索に転置インデックスを用い、検索された各候補画像のＢｏＶＷを取得するために別途データベースにアクセスする必要があり、それが画像認識処理の高速化を阻害する要因となっていた。【解決手段】認識対象画像のＢｏＶＷを生成し、保持されている転置インデックスに基づいて、前記生成されたＢｏＶＷのビジュアルワードが数１以上となる有効ビジュアルワードに関連付けられた学習済画像である候補学習済画像について、候補学習済画像のビジュアルワードのうち、有効ビジュアルワード以外のビジュアルワードの値を０と補完した補完ＢｏＶＷを生成し、認識対象画像のＢｏＶＷと生成した補完ＢｏＶＷに基づいて候補学習済画像のうち認識対象画像と類似する画像である類似画像を抽出する画像認識装置などを提供する。【選択図】図１

Description

本発明は、ＢｏＶＷ（Bag of Visual Words）を利用する画像認識において、検索の速度向上を図るための技術に関する。

例えば、類似画像検索などの画像認識（あるいは画像照合）技術において、近年ＢｏＶＷ（Bag of Visual Words）という手法が用いられるようになっている。この手法は、母集団となる複数の画像から抽出される局所特徴量をクラスタリング（個々のクラスタをビジュアルワード、Visual Words＝ VWと称する。）し所定のベクトル空間領域を割り当てて保持しておくとともに、認識すべき画像が有する局所特徴量がいずれのクラスタに属しているか、ないしは属していないか、さらには属しているとした場合にそのクラスタに属する局所特徴量の出現数（出現頻度）はいくつか、などに基づき認識画像と類似する画像を母集団中にいて特定する手法である。このように高次元データである局所特徴量を量子化することで画像認識などを高速で処理することができる。

特開２０１４−４８９９４号公報

ＢｏＶＷを用いた画像認識は、まず、認識しようとする画像（以下、認識対象画像という）から抽出された局所特徴量に基づき認識対象画像のＢｏＶＷを生成する。そして、予め登録されている複数の学習済画像のＢｏＶＷに基づく転置インデックスを用いて、認識対象画像において現れたビジュアルワードが現れている学習済画像の検索を行う。そして、検索で得られた各学習済画像のＢｏＶＷと認識対象画像のＢｏＶＷとの類似度を算出し認識画像と類似又は同一の画像を抽出することで画像認識を行う。

ところで、上述の転置インデックスを用いた検索は、認識対象画像のビジュアルワードをキーとして学習済画像ＩＤを出力するように行われる（転置インデックスの構造）。したがって、キーとなるビジュアルワード（認識対象画像に現れるビジュアルワード）が現れる学習済画像を識別可能に抽出することができる。例えば、Ｎｏ．１からＮｏ．１００までの識別番号が付与されている１００枚の学習済画像のうちから、キーとなるビジュアルワードが現れる画像として「Ｎｏ．６ Ｎｏ．３３ Ｎｏ．６３ Ｎｏ．７４ Ｎｏ．８９」といった５つの画像を抽出することができる。

ここで、抽出された５つの画像（候補画像ともいう）と認識対象画像との類似度を算出するためには、候補画像それぞれのＢｏＶＷが必要となる。ところで、上述の転置インデックスは、ビジュアルワードをキーとして各学習済画像における当該ビジュアルワードの出現数を関連付けたデータ構造となっている。したがって、ある学習済画像における各ビジュアルワードの出現数、すなわち当該学習画像毎のＢｏＶＷを取得することはできない。

そのため、認識対象画像と候補画像との類似度を算出するために各候補画像のＢｏＶＷを取得するための構成や処理が必要となる。例えば、すべての学習済画像のＢｏＶＷを保持するデータベースや主メモリ空間、当該データベースへアクセスし候補となった学習画像のＢｏＶＷを取得するための処理が必要となる。このような構成や処理は、とくに画像認識の高速化を阻み、計算機資源を大量に消費する要因となり、その解決が求められている。

そこで、上記課題を解決するために本発明において、以下の画像認識装置などを提供する。すなわち、第一の発明として、ビジュアルワードにより表現される学習済画像のＢｏＶＷを、各ビジュアルワードをキーとして各学習済画像と関連付けた転置インデックスを保持する転置インデックス保持部と、認識対象画像のＢｏＶＷを生成するＢｏＶＷ生成部と、前記保持されている転置インデックスに基づいて、前記生成されたＢｏＶＷのビジュアルワードが数１以上となる有効ビジュアルワードに関連付けられた学習済画像である候補学習済画像について、候補学習済画像のＢｏＶＷのビジュアルワードのうち、有効ビジュアルワード以外のビジュアルワードの値を０と補完したＢｏＶＷである補完ＢｏＶＷを生成する補完ＢｏＶＷ生成部と、認識対象画像のＢｏＶＷと前記補完ＢｏＶＷに基づいて、候補学習済画像のうち認識対象画像と類似する画像である類似画像を抽出する類似画像抽出部と、を有する画像認識装置を提供する。

また、第二の発明として、前記類似画像抽出部は、前記抽出された各候補学習済画像の補完ＢｏＶＷと認識対象画像のＢｏＶＷとの類似度を算出することで類似画像を抽出する第二の発明に記載の画像認識装置を提供する。

本発明によれば、転置インデックスから学習済画像の疑似的なＢｏＶＷを生成することができるため、学習済画像のＢｏＶＷをデータベースから取得するプロセスを経ることなく、その疑似的なＢｏＶＷを用いて速やかな画像認識などを行うことができる。

本画像認識装置の機能的構成の一例を示すブロック図 認識対象画像のＢｏＶＷを生成することを説明するための概念図 保持される転置インデックスの一例を示す概念図 補完ＢｏＶＷを生成する機能について説明する図 補完ＢｏＶＷを生成する機能について説明する図 本画像認識装置のハードウェア構成の一例を表す概略図 本画像認識装置における処理の流れの一例を表すフロー図

以下、本発明の実施の形態について、添付図面を用いて説明する。なお、本発明は、これら実施形態に何ら限定されるべきものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。
＜実施形態＞
＜概要＞

本実施形態の画像認識装置は、学習済画像のＢｏＶＷにおいて、転置インデックスから取得することのできないビジュアルワードの値を０で補完した補完ＢｏＶＷを生成することを特徴とする。この補完ＢｏＶＷにより、学習済画像のＢｏＶＷを保持するデータベースにアクセスすることが不要となり、画像認識を高速で行うことが可能となる。
＜構成＞

図１は、本実施形態の画像認識装置の機能ブロックの一例を示すブロック図である。なお、以下に記載する本装置の機能ブロックは、ハードウェア及びソフトウェアの組み合わせとして実現され得る。具体的には、コンピュータを利用するものであれば、ＣＰＵ（中央演算装置）や主メモリ、システムバス、あるいは二次記憶装置（ハードディスクドライブや不揮発性メモリ、ＣＤやＤＶＤなどの記憶メディアとそれらメディアの読取ドライブなど）、情報入力に利用される入力デバイス、表示装置、その他の外部周辺装置などのハードウェア構成部、またその外部周辺装置用のインターフェース、通信用インターフェース、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラム、ユーザ・インターフェース用アプリケーションなどが挙げられる。

そして主メモリ上に展開したプログラムに従ったＣＰＵの演算処理によって、入力デバイスやその他インターフェースなどから入力され、メモリやハードディスク上に保持されているデータなどが加工、蓄積されたり、上記各ハードウェアやソフトウェアを制御するための命令が生成されたりする。あるいは本装置の機能ブロックは専用ハードウェアによって実現されてもよい。また、本装置は一つのハードウェアやソフトウェアにより構成される場合に限られず、複数のハードウェアやソフトウェアの組み合わせによって構成されてもよく、ネットワークを介在したサーバ装置を含んで構成されてもよい。

また、この発明は装置として実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるプログラム、及びプログラムを固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる（本明細書の全体を通じて同様である）。

図１に示すように、本実施形態の画像認識装置０１００は、転置インデックス保持部０１０１と、ＢｏＶＷ生成部０１０２と、補完ＢｏＶＷ生成部０１０３と、類似画像抽出部０１０４とを有する。

ＢｏＶＷ生成部０１０２は、認識対象画像のＢｏＶＷを生成する機能を有する。図２は、認識対象画像のＢｏＶＷを生成することを説明するための概念図である。

図２（ａ）に示すように、認識対象画像として「トラック」の画像が存在する。図２（ｂ）のボロノイ図で示されているのは、局所特徴量空間において予め定義される１０の区画にクラスタリングされたビジュアルワードを示している。なお、この区画の数は１０より大きくてもよい。

図示するようにトラックの画像から抽出された（出現した）５つの局所特徴量（図中の丸で示す部分）のうちの３つの局所特徴量については「１，５，９」の各ビジュアルワードにおいて１つ出現し、「３」のビジュアルワードにおいては２つ出現している。また、上述した「１，３，５，９」以外のビジュアルワードについては当該画像には現れていない。

なお、画像から抽出された各局所特徴量がいずれのビジュアルワードに該当するかは、例えば、各ビジュアルワードに割り当てられているベクトル空間領域内に各局所特徴量が配置されるか、すなわち含まれるかの計算によって判断される。

トラックの画像について、クラスタリングされたすべてのビジュアルワードの出現数を集合として表わしたものがＢｏＶＷである。この画像のＢｏＶＷは、図２（ｃ）に示すように「１，０，２，０，１，０，０，０，１，１」となる。

転置インデックス保持部０１０１は、ビジュアルワードにより表現される学習済画像のＢｏＶＷを、各ビジュアルワードをキーとして各学習済画像と関連付けた転置インデックスを保持する機能を有する。学習済画像とは、認識すべき何らかの画像（認識対象画像）と類似又は同一の画像を検索するための参照に用いられる画像である。

転置インデックスは、そのような複数の学習済画像のＢｏＶＷに基づき、各ビジュアルワードＩＤと、各学習済画像におけるそのビジュアルワードの値（出現数）とを関連付けたデータ構造のインデックスである。

図３は、保持される転置インデックスの一例を示す概念図である。図示するように、「１」から「１０」までのＩＤが付された各ビジュアルワードについて、７枚の学習済画像それぞれのビジュアルワードの出現数が紐付けられたデータ構造となっている。例えば、ＩＤ１のビジュアルワードについては、「１，０，１，０，１，０，０」というデータ群が紐付けられている。これは、ＩＤ１のビジュアルワードについては、ＩＤ１、ＩＤ３及びＩＤ５の学習画像においてその出現数が１であり、それ以外の学習画像については出現しないことを表わしている。

補完ＢｏＶＷ生成部０１０３は、保持されている転置インデックスに基づいて、前記生成されたＢｏＶＷのビジュアルワードが数１以上となる有効ビジュアルワードに関連付けられた学習済画像である候補学習済画像について、候補学習済画像のＢｏＶＷのビジュアルワードのうち、有効ビジュアルワード以外のビジュアルワードの値を０と補完したＢｏＶＷである補完ＢｏＶＷを生成する機能を有する。本機能について、図４を用いて説明する。

図４（ａ）に示すように、認識対象画像において出現したビジュアルワードは、「１，３，５，９」のＩＤが付されたビジュアルワードである。このようなビジュアルワードを有効ビジュアルワードという。画像認識における初期段階では、画像中の特徴領域の共通性などにより学習済画像の検索を行う。したがって、前述の有効ビジュアルワードに着目する。そこで、転置インデックスを用いて、有効ビジュアルワードに関連付けられた学習済画像、すなわち有効ビジュアルワードのいずれかについてその値（出現数）が一以上である学習済画像を特定することができる。

本図の例によれば、転置インデックスを用いることで、有効ビジュアルワードに関連付けられた学習済画像として図中白抜き矢印で指したＩＤが１、３、４、５及び６の学習済画像を特定することができる。このように特定される学習済画像は認識対象画像と類似する画像の候補となるものであるので、候補学習済画像という。このような候補学習済画像の抽出は、上述したように認識ビジュアルワードの値でＯＲ演算するなどにより行うことができる。

さらに画像認識を進めるためには、特定された候補学習済画像と認識対象画像のＢｏＶＷを個々に対比する必要がある。ここで、転置インデックスを用いて選定された各候補画像のＢｏＶＷを取得することはできない。なぜならば、転置インデックスのデータ構造は、前述の通り各ビジュアルワードＩＤと、各学習済画像におけるそのビジュアルワードの値（出現数）とを関連付けたものだからである。すなわち、図４（ａ）において、有効ビジュアルワード「１，３，５，９」のそれぞれに紐付けられているデータは、図中それぞれについて丸で囲ったデータセットとなる。

図４（ｂ）は、ＩＤが１、３、４、５及び６の候補学習済画像に着目し、候補学習済画像のＩＤを入力キーとしこれに応じた出力が各ビジュアルワードの値とするインデックスである。ビジュアルワードのうち、有効ビジュアルワード以外のビジュアルワードについては情報（値）を持たない。つまり図示するように、転置インデックスのデータ構造が、縦方向すなわちビジュアルワードをキーとしているため、横方向すなわち学習済画像ＩＤをキーとする各ビジュアルワードの値のデータセットを得ることはできない。すなわち、各候補学習済画像のＢｏＶＷを取得することはできない。そのため、従来技術においては、特定された各候補学習済画像のＢｏＶＷを取得するためにＢｏＶＷのデータベースにアクセスしていた。ないしは主メモリ空間に所定の全ビジュアルワードを備えたＢｏＶＷを保持していた。

さらに図５を用いて説明する。図５（ａ）は、図４（ｂ）で示したインデックスから得られる情報である。テーブル中の斜線部分のビジュアルワードの値（出現数）は得られない。すなわち、候補学習済画像におけるビジュアルワードのうち、有効ビジュアルワード（ＩＤ＝１，３，５，９）以外のビジュアルワード（ＩＤ＝２，４，６，７，８，１０）の値については転置インデックスから得られない。そこで、補完ＢｏＶＷ生成部は、不明であるビジュアルワードの値を「０」で補完する。

図５（ｂ）は、上記のように補完したＢｏＶＷである補完ＢｏＶＷを示している。このように補完することにより、例えば、ＩＤ１の候補学習済画像の補完ＢｏＶＷとして、「１，０，０，０，０，０，０、０，３，０」というデータセットを得ることができる。

類似画像抽出部０１０４は、認識対象画像のＢｏＶＷと前記補完ＢｏＶＷに基づいて、候補学習済画像のうち認識対象画像と類似する画像である類似画像を抽出する機能を有する。上述の通り補完ＢｏＶＷ生成部により生成した各候補学習済画像の補完ＢｏＶＷと認識対象画像のＢｏＶＷとを対比することで、各候補学習済画像のなかから最も認識対象画像と類似する学習済画像を抽出したり、類似度の高い順にソートして上位の所定数の学習済画像を類似画像として抽出したりすることができる。具体的には、ＢｏＶＷ空間における距離（ユークリッド空間など）を算出するなどして類似度を求めることができる。

また、前述の通り類似度の高い順にソートして上位の所定数の学習済画像を抽出したうえで、抽出された各学習済画像の真のＢｏＶＷを取得し、改めて取得したＢｏＶＷに基づいて類似度の算出を行ってもよい。なお、前述の類似度の高い順にソートして抽出された上位の学習済画像のうち同一のＩＤが付された学習済画像が複数存在する場合には、より類似度の高い学習済画像についての真のＢｏＶＷのみを取得するようにしてもよい。

以上のような類似画像抽出部により抽出された学習済画像に基づき、その画像についての属性（画像に写されている商品の名前、写されている人の名前など）が出力されるよう構成してもよい。例えば、Ｗｅｂ上での商品販売サイトに投稿された画像（認識対象画像）に応答して、その画像に写されている商品の名前や価格などを出力することで、投稿者はその商品を購入することができる。

本画像認識装置によれば、転置インデックスから得られる情報のみに基づき候補学習済画像のＢｏＶＷを補完する処理を行うことにより、従来のようにＢｏＶＷのデータベースにアクセスし候補学習済画像のＢｏＶＷを取得するプロセスを経ることなく類似画像検索すなわち画像認識を高速で行うことが可能になる。また、アクセスすべきＢｏＶＷのデータベースを装置内、特に主メモリ空間に備える必要がないため、ハードウェア資源の効率化や省力化などを図ることも可能である。
＜ハードウェア構成＞

図６は、上記機能的な各構成要件をハードウェアとして実現した際の、本画像認識装置の構成の一例を表す概略図である。この図を利用して画像認識装置に係るそれぞれのハードウェア構成の働きについて説明する。

この図にあるように、画像認識装置は、各種演算処理を実行するための「ＣＰＵ」（０６０１）と、「主メモリ」（０６０２）と、「二次記憶装置」（０６０３）と、「通信インターフェース」（０６０４）」などを備える。二次記憶装置には学習済画像のＢｏＶＷに基づく転置インデックス、ビジュアルワードデータベース、ＢｏＶＷ生成プログラムなどの各種プログラムなどが格納されている。なお、ビジュアルワードデータベースは本装置に備えず「通信インターフェース」（０６０４）を介して外部のサーバ装置やデータベース装置を利用するようにしてもよい。

ＣＰＵはこれら各種プログラムを主メモリに展開したうえで実行する。前記の各ハードウェア構成は「システムバス」（０６０５）などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。

まず、ＣＰＵは、ＢｏＶＷ生成プログラムを実行し、認識対象画像のＢｏＶＷを生成する。このとき、局所特徴量抽出プログラムを実行し、取得した認識対象画像データから局所特徴量を抽出し、保持するビジュアルワードデータベースを参照しクラスタリングされた各ビジュアルワードの出現数を取得してＢｏＶＷを生成してもよい。生成したＢｏＶＷは所定の記憶領域に格納する。そして、生成したＢｏＶＷにおいて値が数１以上である有効ビジュアルワードのＩＤを所定の記憶領域に格納する。そして、補完ＢｏＶＷ生成プログラムを実行し、保持される転置インデックスおよび有効ビジュアルワードのＩＤを読出し候補学習済画像を特定する。そして、候補学習済画像のビジュアルワードのうち有効ビジュアルワード以外のビジュアルワードの値を０で補完し補完ＢｏＶＷを生成する。これらの処理をすべての候補学習済画像について行う。そして、類似画像抽出プログラムを実行し、認識対象画像のＢｏＶＷと候補学習済画像の補完ＢｏＶＷとの類似度を算出し、算出した類似度から類似画像を抽出し、抽出された類似画像の画像ＩＤを所定の記憶領域に格納する。
＜処理の流れ＞

図７は、本画像認識装置における処理の流れの一例を表すフロー図である。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。

図示するように、まず、認識対象画像のＢｏＶＶを生成する（ＢｏＶＷ生成ステップ：Ｓ０７０１）。そして、転置インデックスを用いて認識対象画像のＢｏＶＷの値が数１以上有する有効ビジュアルワードに関連付けられた候補学習済画像を特定する（候補学習済画像特定ステップ：Ｓ０７０２）。そして、特定された候補学習済画像のＢｏＶＷのビジュアルワードのうち有効ビジュアルワード以外のビジュアルワードの値を０で補完して補完ＢｏＶＷを生成する（補完ＢｏＶＷ生成ステップ：Ｓ０７０３）。

そして、他に候補学習済画像が存在するか判断し（判断ステップ：Ｓ０７０４）、存在するとの判断結果が得られた場合にはその候補学習済画像について補完ＢｏＶＷ生成ステップでの処理を行い、存在しないとの判断結果が得られた場合には、認識対象画像と各候補学習済画像との類似度を算出する（類似度算出ステップ：Ｓ０７０５）。そして、算出された類似度に基づき認識対象画像と類似する類似画像を抽出する（類似画像抽出ステップ：Ｓ０７０６）。
＜効果＞

本画像認識装置によれば、ＢｏＶＷのデータベースへのアクセスが不要になることにより高速な画像認識が可能になる。また、アクセスすべきＢｏＶＷのデータベースが不要になるため、ハードウェア資源の効率化や省力化などを図ることも可能となる。

０１００ 画像認識装置
０１０１ 転置インデックス保持部
０１０２ ＢｏＶＷ生成部
０１０３ 補完ＢｏＶＷ生成部
０１０４ 類似画像抽出部

Claims (4)

1. ビジュアルワードにより表現される学習済画像のＢｏＶＷを、各ビジュアルワードをキーとして各学習済画像と関連付けた転置インデックスを保持する転置インデックス保持部と、
   認識対象画像のＢｏＶＷを生成するＢｏＶＷ生成部と、
   前記保持されている転置インデックスに基づいて、前記生成されたＢｏＶＷのビジュアルワードが数１以上となる有効ビジュアルワードに関連付けられた学習済画像である候補学習済画像について、候補学習済画像のＢｏＶＷのビジュアルワードのうち、有効ビジュアルワード以外のビジュアルワードの値を０と補完したＢｏＶＷである補完ＢｏＶＷを生成する補完ＢｏＶＷ生成部と、
   認識対象画像のＢｏＶＷと前記補完ＢｏＶＷに基づいて、候補学習済画像のうち認識対象画像と類似する画像である類似画像を抽出する類似画像抽出部と、
   を有する画像認識装置。
2. 前記類似画像抽出部は、
   前記抽出された各候補学習済画像の補完ＢｏＶＷと認識対象画像のＢｏＶＷとの類似度を算出することで類似画像を抽出する請求項２に記載の画像認識装置。
3. ビジュアルワードにより表現される学習済画像のＢｏＶＷを、各ビジュアルワードをキーとして各学習済画像と関連付けた転置インデックスを保持する転置インデックス保持部を有する画像認識装置の動作方法であって、
   認識対象画像のＢｏＶＷを生成するＢｏＶＷ生成ステップと、
   前記保持されている転置インデックスに基づいて、前記生成されたＢｏＶＷのビジュアルワードが数１以上となる有効ビジュアルワードに関連付けられた学習済画像である候補学習済画像について、候補学習済画像のＢｏＶＷのビジュアルワードのうち、有効ビジュアルワード以外のビジュアルワードの値を０と補完したＢｏＶＷである補完ＢｏＶＷを生成する補完ＢｏＶＷ生成ステップと、
   認識対象画像のＢｏＶＷと前記補完ＢｏＶＷに基づいて、候補学習済画像のうち認識対象画像と類似する画像である類似画像を抽出する類似画像抽出ステップと、
   を有する画像認識装置の動作方法。
4. ビジュアルワードにより表現される学習済画像のＢｏＶＷを、各ビジュアルワードをキーとして各学習済画像と関連付けた転置インデックスを保持する転置インデックス保持部を有する画像認識装置を動作させるプログラムであって、
   認識対象画像のＢｏＶＷを生成するＢｏＶＷ生成ステップと、
   前記保持されている転置インデックスに基づいて、前記生成されたＢｏＶＷのビジュアルワードが数１以上となる有効ビジュアルワードに関連付けられた学習済画像である候補学習済画像について、候補学習済画像のＢｏＶＷのビジュアルワードのうち、有効ビジュアルワード以外のビジュアルワードの値を０と補完したＢｏＶＷである補完ＢｏＶＷを生成する補完ＢｏＶＷ生成ステップと、
   認識対象画像のＢｏＶＷと前記補完ＢｏＶＷに基づいて、候補学習済画像のうち認識対象画像と類似する画像である類似画像を抽出する類似画像抽出ステップと、
   を計算機に実行させるプログラム。

Images