JP7321213B2 - 情報処理装置、情報処理方法 - Google Patents

Description

本発明は、階層構造を有するニューラルネットワークにおける演算技術に関するものである。

コンボリューショナルニューラルネットワーク（以下ＣＮＮと略記する）に代表される階層的な演算手法（深層学習技術に基づくパターン認識手法）が、認識対象の変動に対して頑健なパターン認識手法として注目されている。例えば、非特許文献１では様々な応用例・実装例が開示されている。ＣＮＮの応用例としては、ＣＮＮにより算出した特徴量間の相互相関を利用した物体追尾処理方法が提案されている（非特許文献２など）。

一方、高い演算コストを要するＣＮＮを高速に処理するために様々なニューラルネットワークの専用処理装置（以下、専用処理装置と略記する）が提案されている（特許文献１、２など）。

米国特許第９７４７５４６号明細書 特許第５３７６９２０号

Ｙａｎｎ ＬｅＣｕｎ， Ｋｏｒａｙ Ｋａｖｕｋｖｕｏｇｌｕ ａｎｄ Ｃｌｅｍｅｎｔ Ｆａｒａｂｅｔ： Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ ｉｎ Ｖｉｓｉｏｎ， Ｐｒｏｃ． Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ （ＩＳＣＡＳ’１０）， ＩＥＥＥ， ２０１０， Ｌｕｃａ Ｂｅｒｔｉｎｅｔｔｏ， Ｊａｃｋ Ｖａｌｍａｄｒｅ， Ｊｏａｏ Ｆ． Ｈｅｎｒｉｑｕｅｓ， Ａｎｄｒｅａ Ｖｅｄａｌｄｉ， Ｐｈｉｌｉｐ Ｈ． Ｓ． Ｔｏｒｒ：Ｆｕｌｌｙ－Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｓｉａｍｅｓｅ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ、ＥＣＣＶ ２０１６ Ｗｏｒｋｓｈｏｐｓ

非特許文献２に記載の物体追尾処理方法では、ＣＮＮの係数の代わりにＣＮＮ特徴量を与えて畳み込み演算処理することでＣＮＮ特徴量間の相互相関値を算出する。従来提案されている専用処理装置は、ＣＮＮの係数とＣＮＮの中間層データ間の畳み込み演算を効率的に処理することを目的に提案されている。従って、非特許文献２のようなＣＮＮの特徴量間の相関演算に適用する場合、ＣＮＮの係数以外のデータを設定するためのオーバーヘッドのために処理効率が低下する。本発明では、階層構造を有するニューラルネットワークにおける特徴量同士の畳み込み演算を効率的に実施するための技術を提供する。

本発明の一様態は、ニューラルネットワークにおける演算処理を行う情報処理装置であって、
特徴データを記憶する特徴記憶手段と、
前記ニューラルネットワークのフィルタ係数を記憶する係数記憶手段と、
前記特徴データの一部をテンプレート特徴データとして前記係数記憶手段に格納する格納制御手段と、
前記特徴記憶手段に記憶された特徴データと前記係数記憶手段に記憶されたフィルタ係数との畳み込み演算により新たな特徴データを算出し、前記特徴記憶手段に記憶された特徴データと前記係数記憶手段に記憶されたテンプレート特徴データとの畳み込み演算により、当該テンプレート特徴データと当該特徴記憶手段に記憶された特徴データとの相関データを算出する演算手段と
を備えることを特徴とする。

本発明の構成によれば、階層構造を有するニューラルネットワークにおける特徴量同士の畳み込み演算を効率的に実施することができる。

処理部２０１の機能構成例を示すブロック図。 情報処理装置のハードウェア構成例を示すブロック図。 処理部２０１の機能構成例を示すブロック図。 情報処理装置がＣＮＮを用いて行う各種の処理を示す図。 ＣＮＮ特徴を用いてテンプレート特徴を生成するための処理を示す図。 図４の処理構成を用いた情報処理装置の動作を示すタイミングチャート。 設定Ｉ／Ｆ部１０７の構成およびバッファ１０３におけるメモリ領域構成を示す図。 パラメータを格納する際のＲＡＭ２０５のメモリ構成例を示す図。 ＣＰＵ２０３の動作を示すフローチャート。 ＣＮＮ係数およびテンプレート特徴のフォーマット変換を説明する図。 処理部２０１の動作を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
本実施形態では、階層構造を有するニューラルネットワークにおける演算処理を行う情報処理装置について説明する。本実施形態に係る情報処理装置は、保持部に保持されているニューラルネットワークのフィルタ係数を用いた畳み込み演算に基づいて得られる特徴マップの一部をテンプレート特徴として該保持部に格納する（格納制御）。そして情報処理装置は、保持部に保持されているフィルタ係数を用いた畳み込み演算、保持部に保持されているテンプレート特徴を用いた畳み込み演算、を行う。本実施形態では、ニューラルネットワークとしてＣＮＮを用いたケースについて説明する。

また本実施形態では、このような情報処理装置が、撮像画像から特定の物体を検出し、該検出した物体を追尾する処理（以下では、この一連の処理を認識処理と称する）を行うケースについて説明する。

本実施形態に係る情報処理装置のハードウェア構成例について、図２のブロック図を用いて説明する。処理部２０１は、ＣＰＵ２０３からの指示に従って認識処理（一部）を実行し、該認識処理の結果はＲＡＭ２０５に格納される。ＣＰＵ２０３はＲＡＭ２０５に格納された認識処理の結果を利用して様々なアプリケーションを提供する。

画像入力部２０２は、動画像を撮像する撮像装置もしくは定期的または不定期的に静止画像を撮像する撮像装置であり、光学系、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）又はＣＭＯＳ（Ｃｏｍｐｌｉｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の光電変換デバイス、及び該光電変換デバイスを制御するドライバ回路／ＡＤコンバータ等を有する。画像入力部２０２は、動画像を撮像する場合には、該動画像における各フレームの画像を撮像画像として出力する。一方、画像入力部２０２は、定期的若しくは不定期的に静止画像を撮像する場合には、該静止画像を撮像画像として出力する。

ＣＰＵ２０３（Ｃｅｎｔｒａｌ Ｐｒｏｓｅｓｓｉｎｇ Ｕｎｉｔ）は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０４やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０５に格納されているコンピュータプログラムやデータを実行することで、各種の処理を実行する。これによりＣＰＵ２０３は、情報処理装置全体の動作制御を行うと共に、情報処理装置が行うものとして説明する各処理を実行もしくは制御する。

ＲＯＭ２０４には、情報処理装置の設定データ、情報処理装置の起動に係るコンピュータプログラムやデータ、情報処理装置の基本動作に係るコンピュータプログラムやデータ、などが格納されている。

ＲＡＭ２０５は、ＲＯＭ２０４からロードされたコンピュータプログラムやデータを格納するためのエリア、画像入力部２０２から取得した撮像画像を格納するためのエリア、を有する。また、ＲＡＭ２０５は、ユーザインターフェース部２０８から入力されたデータを格納するためのエリア、ＣＰＵ２０３や処理部２０１が各種の処理を実行する際に用いるワークエリアを有する。このように、ＲＡＭ２０５は、各種のエリアを適宜提供することができる。ＲＡＭ２０５は大容量なＤＲＡＭ（Ｄｙｎａｍｉｃ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成することができる。

ＤＭＡＣ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌｌｅｒ）２０６は、処理部２０１と画像入力部２０２との間、処理部２０１とＲＡＭ２０５との間、などのデバイス間のデータ転送を司る。

ユーザインターフェース部２０８は、ユーザからの操作入力を受け付ける操作部と、情報処理装置における処理の結果を画像や文字などで表示する表示部と、を有する。例えばユーザインターフェース部２０８は、タッチパネル画面である。

処理部２０１、画像入力部２０２、ＣＰＵ２０３、ＲＯＭ２０４、ＲＡＭ２０５、ＤＭＡＣ２０６、ユーザインターフェース部２０８はいずれもデータバス２０７に接続されている。

次に、処理部２０１の機能構成例について、図１のブロック図を用いて説明する。本実施形態では、図１に示した各機能部はハードウェアで構成されているものとして説明する。しかし、バッファ１０３およびバッファ１０４を除く他の機能部の１以上をソフトウェア（コンピュータプログラム）で実装しても良い。この場合、このコンピュータプログラムは処理部２０１内のメモリやＲＯＭ２０４などに格納され、制御部１０６やＣＰＵ２０３が該コンピュータプログラムを実行することで対応する機能部の機能が実現される。

外部バスＩ／Ｆ部１０１は、処理部２０１が外部とのデータ通信を行うためのインターフェースであり、データバス２０７を介してＣＰＵ２０３やＤＭＡＣ２０６がアクセス可能なインターフェースである。

演算処理部１０２は、後述する各種のデータを用いて畳み込み演算を行う。バッファ１０３は、ＣＮＮにおけるフィルタ係数（ＣＮＮにおける重み係数であり、以下ではＣＮＮ係数とも称する）と、テンプレート特徴と、を保持可能なバッファである。テンプレート特徴とは、後述の相関演算のテンプレートとなる特徴量であり、本実施形態では、ＣＮＮ特徴における局所的な特徴量（特徴マップにおける部分領域内の特徴量）をテンプレート特徴とする。バッファ１０３は、自身が保持しているデータを、比較的低遅延で演算処理部１０２に供給する。

バッファ１０４は、演算処理部１０２による畳み込み演算により得られる「ＣＮＮの各階層における特徴マップ（以下ではＣＮＮ特徴とも称する）」や、変換処理部１０５がＣＮＮ特徴を非線形変換した結果を保持可能なバッファである。バッファ１０４は、演算処理部１０２により得られるＣＮＮ特徴や変換処理部１０５により得られるＣＮＮ特徴の非線形変換の結果を、比較的低遅延で格納する。

なお、バッファ１０３やバッファ１０４は、例えば、情報の読み書きが高速なメモリやレジスタ等を用いて構成することができる。変換処理部１０５は、演算処理部１０２による畳み込み演算により得られるＣＮＮ特徴を非線形変換する。設定Ｉ／Ｆ部１０７は、ＣＰＵ２０３がバッファ１０３にテンプレート特徴を格納するために動作するインターフェースである。制御部１０６は、処理部２０１の動作を制御する。

次に、本実施形態に係る情報処理装置がＣＮＮを用いて行う各種の処理について、図４を用いて説明する。図４（ａ）は、本実施形態に係る情報処理装置がＣＮＮを用いて「テンプレート特徴の生成元（抽出元）となるＣＮＮ特徴」を取得するために行う処理の構成を示す図である。

演算処理部１０２は、画像入力部２０１から外部バスＩ／Ｆ部１０１を介して取得した撮像画像である入力画像４０１と、バッファ１０３から供給されるＣＮＮ係数４０２と、の畳み込み演算４０３を行う。

ここで、畳み込み演算のカーネル（フィルタ係数マトリクス）のサイズがｃｏｌｕｍｎＳｉｚｅ×ｒｏｗＳｉｚｅ、これから演算する階層（現階層）の前の階層（前階層）における特徴マップの数がＬであるとする。このとき、演算処理部１０２は、以下の式（１）に従った演算を行うことで、現階層における１つのＣＮＮ特徴を算出する。

ｉｎｐｕｔ（ｘ，ｙ） ： 入力画像４０１中の座標（ｘ、ｙ）における参照画素値
ｏｕｔｐｕｔ（ｘ，ｙ）： 座標（ｘ、ｙ）での演算結果
ｗｅｉｇｈｔ（ｃｏｌｕｍｎ，ｒｏｗ）：座標（ｘ＋ｃｏｌｕｍｎ、ｙ＋ｒｏｗ）での係数
Ｌ：前階層における特徴マップの数
ｃｏｌｕｍｎＳｉｚｅ： ２次元コンボリューションカーネルの水平方向サイズ
ｒｏｗＳｉｚｅ ： ２次元コンボリューションカーネルの垂直方向サイズ
一般的に、ＣＮＮにおける演算処理では、式（１）に従って複数のコンボリューションカーネルを入力画像の画素単位で走査しながら積和演算を繰り返し、最終的な積和演算結果を非線形変換（活性化処理）することで特徴マップを算出する。演算処理部１０２は乗算器と累積加算器とを有し、これら乗算器および累積加算器により式（１）の畳み込み演算処理を実行する。

次に、変換処理部１０５は、演算処理部１０２による畳み込み演算４０３の結果を非線形変換４０４することで、特徴マップであるＣＮＮ特徴４０５を生成する。通常のＣＮＮでは、以上の処理を、生成する特徴マップの数分繰り返す。変換処理部１０５は、生成したＣＮＮ特徴４０５をバッファ１０４に格納する。

なお、非線形変換に用いる関数である非線形関数には、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）等の非線形関数が用いられるが、ＲｅＬＵを使用した場合、負数は全て０となり、相関演算に利用した場合、データの情報量が失われる。特に、演算を低ビットに整数化して処理する場合には影響が大きい。

次に、図４（ａ）の処理構成において、ＣＮＮ特徴の非線形変換を省略した処理構成について、図４（ｂ）を用いて説明する。この処理構成においては、演算処理部１０２による畳み込み演算４０３により得られる結果をそのままＣＮＮ特徴４０５としてバッファ１０４に格納する。この処理構成は、変換処理部１０５の中に非線形変換を迂回する機構を設ける方法や、演算処理部１０２による畳み込み演算の結果を直接バッファ１０４に格納するデータパスを設けるなどの方法で実現させることができる。この場合のＣＮＮ特徴４０５は符号付の特徴量となり、得られた情報を全て利用することができる。

次に、図４（ａ）の処理構成もしくは図４（ｂ）の処理構成でバッファ１０４に格納されたＣＮＮ特徴を用いてテンプレート特徴を生成するための処理について、図５の例を用いて説明する。

図５には、図４（ａ）の処理構成もしくは図４（ｂ）の処理構成でバッファ１０４に格納された３枚のＣＮＮ特徴５０１が示されている。ＣＰＵ２０３は、バッファ１０４に格納されているそれぞれのＣＮＮ特徴５０１から、対象物（認識処理の場合は追尾対象物）の位置として予め指定された位置の領域（図５の例では３ｘ３のサイズの領域）内の特徴量をテンプレート特徴５０２として抽出する。このようなテンプレート特徴と検出対象のＣＮＮ特徴との相関データ（相関マップ）を利用することで対象物の位置を知ることができる。そしてＣＰＵ２０３は、ＣＮＮ特徴から抽出したテンプレート特徴のフォーマットを、バッファ１０３への格納に適したフォーマットに変換し、該変換後のテンプレート特徴をバッファ１０３に格納する。

ここで、ＣＮＮ係数およびテンプレート特徴をバッファ１０３に格納する際のフォーマット変換について、図１０を例にとり説明する。図１０（ａ）に示す如く、ＣＮＮ係数１００１は、フィルタカーネルのサイズが３ｘ３のＣＮＮ係数であり、９個のＣＮＮ係数（Ｆ_０，０～Ｆ_２，２）を含む。Ｆ_０，０～Ｆ_２，２はいずれも、符号付８ビットで表現されるＣＮＮ係数である。

このようなＣＮＮ係数１００１をバッファ１０３に格納する場合、バッファ１０３のデータ幅が３２ビットであるとすると、１つのアドレスには最大４（＝３２ビット／８ビット）個のＣＮＮ係数を格納することができる。よって、ＣＮＮ係数１００１を、データ幅が３２ビットのメモリであるバッファ１０３に格納するためのフォーマットのＣＮＮ係数１００２に変換し、該ＣＮＮ係数１００２をバッファ１０３に格納する。

ＣＮＮ係数１００２において最上のＣＮＮ係数列（Ｆ_０，０、Ｆ_０，１、Ｆ_０，２、Ｆ_１，０）は、バッファ１０３におけるアドレス０に格納するＣＮＮ係数列０であり、ＣＮＮ係数１００１における９個のＣＮＮ係数を左上隅からラスタスキャン順に参照した場合の最初の４個のＣＮＮ係数（Ｆ_０，０、Ｆ_０，１、Ｆ_０，２、Ｆ_１，０）をパックしたものである。

ＣＮＮ係数１００２において中段のＣＮＮ係数列（Ｆ_１，１、Ｆ_１，２、Ｆ_２，０、Ｆ_２，１）は、バッファ１０３におけるアドレス１に格納するＣＮＮ係数列１であり、ＣＮＮ係数１００１において次の４個のＣＮＮ係数（Ｆ_１，１、Ｆ_１，２、Ｆ_２，０、Ｆ_２，１）をパックしたものである。

ＣＮＮ係数１００２において最下のＣＮＮ係数列（Ｆ_２，２、０）は、バッファ１０３におけるアドレス２に格納するＣＮＮ係数列２であり、ＣＮＮ係数１００１において最後の１個のＣＮＮ係数（Ｆ_２，２）と２４（＝３２ビット－８ビット）個の０（ダミー値の一例）をパックしたものである。

そして、ＣＮＮ特徴１００２におけるＣＮＮ係数列０はアドレス０に格納され、ＣＮＮ特徴１００２におけるＣＮＮ係数列１はアドレス１に格納され、ＣＮＮ特徴１００２におけるＣＮＮ係数列２はバッファ１０３におけるアドレス２に格納される。

ＣＮＮにおける演算は、多数のフィルタカーネルで構成するが、ここでは一つのフィルタカーネルの格納例を示している。演算処理部１０２は、このようにしてバッファ１０３に格納されたＣＮＮ係数１００２を順次参照して効率的に処理するように構成する。

図１０（ｂ）に示す如く、テンプレート特徴１００３は、９個の特徴量（Ｔ_０，０～Ｔ_２，２）を含む。Ｔ_０，０～Ｔ_２，２はいずれも、８ビットで表現される特徴量である。

ここで、バッファ１０３はデータ幅が３２ビットのメモリであるから、１つのアドレスには最大４（＝３２ビット／８ビット）個の特徴量を格納することができる。よって、ＣＰＵ２０３は、テンプレート特徴１００３を、データ幅が３２ビットのメモリであるバッファ１０３に格納するためのフォーマットのテンプレート特徴１００４に変換し、該テンプレート特徴１００４をバッファ１０３に格納する。

テンプレート特徴１００４において最上の特徴量（Ｔ_０，０、Ｔ_０，１、Ｔ_０，２、Ｔ_１，０）は、バッファ１０３におけるアドレス３に格納する特徴量列３であり、テンプレート特徴１００３における９個の特徴量を左上隅からラスタスキャン順に参照した場合の最初の４個の特徴量（Ｔ_０，０、Ｔ_０，１、Ｔ_０，２、Ｔ_１，０）をパックしたものである。

テンプレート特徴１００４において中段の特徴量列（Ｔ_１，１、Ｔ_１，２、Ｔ_２，０、Ｔ_２，１）は、バッファ１０３におけるアドレス４に格納する特徴量列４であり、テンプレート特徴１００３において次の４個の特徴量（Ｔ_１，１、Ｔ_１，２、Ｔ_２，０、Ｔ_２，１）をパックしたものである。

テンプレート特徴１００４において最下の特徴量列（Ｔ_２，２、０）は、バッファ１０３におけるアドレス５に格納する特徴量列５であり、テンプレート特徴１００３において最後の１個の特徴量（Ｔ_２，２）と２４（＝３２ビット－８ビット）個の０（ダミー値の一例）をパックしたものである。

そしてＣＰＵ２０３は、特徴量列３をバッファ１０３のアドレス３に格納し、特徴量列４をバッファ１０３のアドレス４に格納し、特徴量列５をバッファ１０３のアドレス５に格納することで、テンプレート特徴１００４をバッファ１０３に格納する。

このように、ＣＮＮ係数もテンプレート特徴も同じフォーマットでバッファ１０３に格納する。然るに、演算処理部１０２は、バッファ１０３に格納されているテンプレート特徴を参照して通常のＣＮＮにおける演算と同様に特別なオーバーヘッドなく相関演算を行うことができる。

公知の情報処理装置にて相関演算を実行する場合、ここで抽出したテンプレート特徴をフィルタ係数とし、情報処理装置の動作を制御するパラメータをテンプレート特徴の生成毎に作成してＲＡＭ２０５に格納する必要がある。パラメータとは、処理部２０１の動作を指定する命令やＣＮＮのフィルタ係数を含むデータセットである。一般的にパラメータは、オフラインで外部のコンピュータにより作成するものであり、装置内蔵のＣＰＵ２０３で作成する場合、処理コストが大きい。また、複数の撮像画像に渡って相関演算を実行する場合、テンプレート特徴を遅延の大きなＲＡＭ２０５から毎回転送する必要がある。一方、本実施形態では、フィルタ係数を係数格納の形式に整列してバッファ１０３に格納するだけで良い。更に、複数の撮像画像に渡って処理する場合もバッファ１０４に格納したテンプレート特徴を再利用することができる。

図４（ｃ）は、上記の相関演算を含む認識処理の処理構成を示す図である。演算処理部１０２は、画像入力部２０１から外部バスＩ／Ｆ部１０１を介して取得した撮像画像である入力画像４０６と、バッファ１０３から供給されるＣＮＮ係数４０７と、の畳み込み演算４０８を行う。変換処理部１０５は、演算処理部１０２による畳み込み演算４０８の結果を非線形変換４０９することでＣＮＮ特徴４１０を生成する。つまり、入力画像４０６に対して画素単位でＣＮＮ係数４０７を参照して畳み込み演算４０８及び非線形変換４０９を繰り返すことでＣＮＮ特徴４１０を得る。

演算処理部１０２はＣＮＮ特徴４１０と、バッファ１０３に格納されているテンプレート特徴４１１と、の畳み込み演算４１２を行うことで、ＣＮＮ特徴４１０とテンプレート特徴４１１との相関を演算（相関演算）し、これにより相関マップ４１３を生成する。図５の場合、ＣＮＮ特徴は３つの特徴マップとして得られており、テンプレート特徴は３つの３×３サイズのフィルタ係数に相当する。よって、このようなケースにおいて畳み込み演算４１２を特徴マップ内で繰り返すことにより、３つの相関マップ４１３を算出する。ここでの相関演算は、入力の特徴マップに対する出力マップの結合が１対１である所謂デプスワイズ型のＣＮＮ処理と動作は同じである。

次に、演算処理部１０２は、相関マップ４１３と、バッファ１０３から供給されるＣＮＮ係数４１４と、の畳み込み演算４１５を行う。変換処理部１０５は、演算処理部１０２による畳み込み演算４１５の結果を非線形変換４１６することでＣＮＮ特徴４１７を生成する。相関マップ４１３に対してＣＮＮ処理（畳み込み演算４１５および非線形変換４１６）を行うことで、相関マップにおける相関値から対象物をロバストに検出することができる。

そして、図４（ｃ）の処理を画像入力部２０１から供給されるそれぞれの撮像画像について行うことで、撮像画像毎にテンプレート特徴に対応する対象物を検出することができる。つまり特定の対象物を追尾することが可能になる。

次に、図４の処理構成を用いた情報処理装置の動作について、図６のタイミングチャートを用いて説明する。図６のタイミングチャートでは、左から右に向けて時間が経過しているものとする。

まず、係数転送６０１では、ＤＭＡＣ２０６は、ＲＡＭ２０５に保持されているＣＮＮ係数の一部であるＣＮＮ係数４０７をバッファ１０３にＤＭＡ転送する。次に、畳み込み演算６０２では、演算処理部１０２は、画像入力部２０１から取得した入力画像４０６と、バッファ１０３にＤＭＡ転送されたＣＮＮ係数４０７と、を用いて畳み込み演算を行う。次に、非線形変換６０３では、変換処理部１０５は、畳み込み演算６０２にて得られた畳み込み演算の結果を非線形変換する。このような係数転送６０１、畳み込み演算６０２、非線形変換６０３の一連の処理（ＣＮＮ演算）を、入力画像及び生成するＣＮＮ特徴面の数に応じて繰り返し実行することで、ＣＮＮ特徴４１０が得られる。

次に、畳み込み演算６０４では、演算処理部１０２は、得られたＣＮＮ特徴４１０と、バッファ１０３に格納されているテンプレート特徴４１１と、の畳み込み演算を行うことで、ＣＮＮ特徴４１０とテンプレート特徴４１１との相関を演算（相関演算）する。ここで、設定Ｉ／Ｆ部１０７の構成およびバッファ１０３におけるメモリ領域構成について図７（ａ）を用いて説明する。

バッファ１０３は、ＣＮＮ係数４０７を格納するためのメモリ領域７０１と、ＣＮＮ特徴４１４を格納するためのメモリ領域７０２と、ＣＮＮの階層処理構造にかかわらずテンプレート特徴４１１を格納するためのメモリ領域７０３と、を有する。

設定Ｉ／Ｆ部１０７は、ＣＰＵ Ｉ／Ｆ７０４を有する。ＣＰＵ Ｉ／Ｆ７０４は、ＣＰＵ２０３が外部バスＩ／Ｆ部１０１を介してバッファ１０３に直接アクセス可能にするインターフェースである。具体的には、ＣＰＵ Ｉ／Ｆ７０４は、バッファ１０３のデータバス・アドレスバス・制御信号等を演算処理部１０２と排他的に利用するためのセレクタ機構を有する。このセレクタ機構により、ＣＰＵ２０３からのアクセスが選択された場合、ＣＰＵ２０３はＣＰＵ Ｉ／Ｆ７０４を介してメモリ領域７０３にテンプレート特徴を格納することができる。

ＣＰＵ Ｉ／Ｆ７０４は、指定部７０５を有する。指定部７０５は、制御部１０６によって設定されたメモリ領域７０３を、テンプレート特徴を格納するメモリ領域として指定する。例えば、制御部１０６は、上記のパラメータなどの情報に応じて、メモリ領域７０３を選択６０８において設定する。

畳み込み演算６０４では、ＣＮＮ特徴４１０と、制御部１０６が選択６０８で設定したメモリ領域７０３に格納されているテンプレート特徴４１１と、の畳み込み演算を行うことで、テンプレート特徴４１１とＣＮＮ特徴４１０の相関を算出する。畳み込み演算６０４は、特徴面サイズと特徴面の数に応じて繰り返し処理する。

次に、係数転送６０５では、ＤＭＡＣ２０６は、ＲＡＭ２０５に保持されているＣＮＮ係数の一部であるＣＮＮ係数４１４をバッファ１０３のメモリ領域７０２にＤＭＡ転送する。

次に、制御部１０６は、選択６０９において、演算処理部１０２が参照するメモリ領域をメモリ領域７０２に設定する。畳み込み演算６０６において演算処理部１０２は、該設定されたメモリ領域７０２に格納されているＣＮＮ係数４１４と、相関マップ４１３と、の畳み込み演算を行う。そして、非線形変換６０７において変換処理部１０５は、畳み込み演算６０６の結果を非線形変換する。これらの処理は、相関マップ４１３のサイズと数及び出力特徴面の数に応じて繰り返す。ＣＰＵ２０３は、得られたＣＮＮ特徴から、相関値の高い位置（追尾対象の位置）を判定する。

次に、上記の処理部２０１の動作について、図１１のフローチャートに従って説明する。ステップＳ１１０１では、演算処理部１０２は、画像入力部２０１から取得した撮像画像と、バッファ１０３にＤＭＡ転送されたＣＮＮ係数と、を用いて畳み込み演算を行う。次に、ステップＳ１１０２では、変換処理部１０５は、ステップＳ１１０１における畳み込み演算で得られた畳み込み演算結果を非線形変換する。

上記の如く、バッファ１０３へのＣＮＮ係数のＤＭＡ転送、ステップＳ１１０１の処理、ステップＳ１１０２の処理、の一連の処理（ＣＮＮ演算）を、撮像画像及び生成するＣＮＮ特徴面の数に応じて繰り返し実行することで、ＣＮＮ特徴を取得する。

なお、ステップＳ１１０３の処理が開始するまでにＣＰＵ２０３によって行われるステップＳ１９００では、上記の如くテンプレート特徴を生成し、該生成したテンプレート特徴を、バッファ１０３において制御部１０６が設定したメモリ領域に格納する。

次にステップＳ１１０３では、演算処理部１０２は、得られたＣＮＮ特徴と、バッファ１０３において制御部１０６が設定したメモリ領域に格納されているテンプレート特徴と、の畳み込み演算を行うことで、ＣＮＮ特徴とテンプレート特徴との相関を演算する。上記の如く、この畳み込み演算は、特徴面サイズと特徴面の数に応じて繰り返し処理する。

ステップＳ１１０４では、演算処理部１０２は、バッファ１０３において制御部１０６によって設定されたメモリ領域に格納されているＣＮＮ係数と、上記の相関演算により得られた相関マップと、の畳み込み演算を行う。そしてステップＳ１１０５では、変換処理部１０５は、ステップＳ１１０４における畳み込み演算で得られた畳み込み演算結果を非線形変換する。上記の如く、これらの処理は、相関マップのサイズと数及び出力特徴面の数に応じて繰り返す。

このように、本実施形態では、バッファ１０３に対してＣＰＵ２０３が直接テンプレート特徴を格納することができ、また相関演算時は制御部１０６あるいはＣＰＵ２０３がバッファの参照領域を指定するだけでテンプレート特徴に対する相関演算を実施できる。

また、複数の撮像画像に対して相関演算を繰り返し実行する場合、バッファ１０３におけるメモリ領域７０３にテンプレート特徴を保持した状態で繰り返し処理することが可能である。このため、撮像画像毎にテンプレート特徴を再設定する必要はない。

＜変形例＞
設定Ｉ／Ｆ部１０７の構成およびバッファ１０３におけるメモリ領域構成の変形例について図７（ｂ）を用いて説明する。第１の実施形態では、バッファ１０３をＣＮＮ係数およびテンプレート特徴を保持する１つのメモリ装置としたが、本変形例では、バッファ１０３を、ＣＮＮ係数を保持するメモリ装置と、テンプレート特徴を保持するメモリ装置と、で構成する。

バッファ１０３は、メモリ装置１０３ａとメモリ装置１０３ｂとを有する。メモリ装置１０３ａは、ＣＮＮ係数４０７を格納するためのメモリ領域７０６と、ＣＮＮ特徴４１４を格納するためのメモリ領域７０８と、を有する。メモリ装置１０３ｂは、ＣＮＮの階層処理構造にかかわらずテンプレート特徴４１１を格納するためのメモリ領域７０７を有する。

設定Ｉ／Ｆ部１０７は、ＣＰＵ Ｉ／Ｆ７０９を有する。ＣＰＵ Ｉ／Ｆ７０９は、ＣＰＵ Ｉ／Ｆ７０４と同様、ＣＰＵ２０３が外部バスＩ／Ｆ部１０１を介してバッファ１０３に直接アクセス可能にするインターフェースである。

ＣＰＵ Ｉ／Ｆ７０９は、指定部７１０を有する。指定部７１０は、指定部７０５と同様、制御部１０６によって設定されたメモリ領域７０７を、テンプレート特徴を格納するメモリ領域として指定する。制御部１０６は、ＣＮＮ演算を行う場合にはメモリ装置１０３ａにおけるメモリ領域７０６，７０８のいずれかを設定し、相関演算を行う場合にはメモリ装置１０３ｂにおけるメモリ領域７０７を設定する。

このような構成により、例えば、ＣＮＮ演算の動作中（すなわち演算処理部１０２がメモリ装置１０３ａにアクセス中）に、ＣＰＵ２０３は、メモリ装置１０３ｂ（メモリ領域７０７）に格納されているテンプレート特徴を書き換えることができる。これにより、テンプレート特徴の設定のオーバーヘッドを軽減させることができる。

なお、図７（ｂ）の例ではメモリマップ上の同一アドレスでメモリ装置を切り替える場合について説明したが、図７（ａ）の例のように異なるアドレスに異なるメモリ装置を配置しても良い。

このように、本実施形態によれば、ＣＮＮ係数を保持するメモリに、ＣＮＮ係数と同じフォーマットでテンプレート特徴を格納するので、ＣＮＮ演算および相関演算を同じ構成の装置にて処理することができる。また、テンプレート特徴を保持した状態で複数の撮像画像に対して相関演算を行うことができる。

［第２の実施形態］
本実施形態では、第１の実施形態との差分について説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。本実施形態に係る処理部２０１の機能構成例について、図３のブロック図を用いて説明する。本実施形態では、図３に示した各機能部はハードウェアで構成されているものとして説明する。しかし、バッファ１０３およびバッファ１０４を除く他の機能部の１以上をソフトウェア（コンピュータプログラム）で実装しても良い。この場合、このコンピュータプログラムは処理部２０１内のメモリやＲＯＭ２０４などに格納され、制御部１０６やＣＰＵ２０３が該コンピュータプログラムを実行することで対応する機能部の機能が実現される。図３に示した構成は、図１に示した構成から設定Ｉ／Ｆ部１０７を削除した構成である。

まず、図４（ｂ）の処理構成を実現させるためのパラメータを格納する際のＲＡＭ２０５のメモリ構成例について、図８を用いて説明する。メモリ領域８０１は、処理部２０１における制御部１０６の動作を決定する制御パラメータを格納するためのメモリ領域である。メモリ領域８０２は、ＣＮＮ係数４０７を格納するためのメモリ領域である。メモリ領域８０３は、テンプレート特徴４１１を格納するためのメモリ領域である。メモリ領域８０４は、ＣＮＮ係数４１４を格納するためのメモリ領域である。メモリ領域８０１に格納されている制御パラメータ、メモリ領域８０２に格納されているＣＮＮ係数４０７、メモリ領域８０３に格納されているテンプレート特徴４１１、メモリ領域８０４に格納されているＣＮＮ係数４１４、が「図４（ｂ）の処理構成を実現させるためのパラメータ」である。

処理部２０１の動作前に、ＣＰＵ２０３は、メモリ領域８０１には制御パラメータを格納し、メモリ領域８０２にはＣＮＮ係数４０７を格納する。さらにＣＰＵ２０３は、テンプレート特徴４１１を格納するためのメモリ領域としてメモリ領域８０３を確保すると共に、ＣＮＮ係数４１４を格納するためのメモリ領域としてメモリ領域８０４を確保する。メモリ領域８０３は、テンプレート特徴４１１をＣＮＮ演算におけるフィルタ係数と見立てたフィルタカーネルサイズや入力特徴マップ・出力特徴マップの数に従って確保される。そしてＣＰＵ２０３は、テンプレート特徴４１１が生成されると、該テンプレート特徴４１１をメモリ領域８０３に格納する。なお、テンプレート特徴を更新する場合、ＣＰＵ２０３は、メモリ領域８０３にアクセスして該メモリ領域８０３に格納されているテンプレート特徴に、新たなテンプレート特徴を上書きする。またＣＰＵ２０３は、ＣＮＮ係数４１４が生成されると、該ＣＮＮ係数４１４をメモリ領域８０４に格納する。

ＤＭＡＣ２０６は、メモリ領域８０１～８０４とＣＰＵ２０３との間や、メモリ領域８０１～８０４と処理部２０１との間のデータ転送を制御する。これによりＤＭＡＣ２０６は、メモリ領域８０１～８０４から必要なデータ（ＣＰＵ２０３や処理部２０１が処理を行う際に必要なデータ）をＣＰＵ２０３や処理部２０１に転送する。また、ＤＭＡＣ２０６は、ＣＰＵ２０３や処理部２０１から出力されたデータをメモリ領域８０１～８０４のうち該当するメモリ領域に転送する。例えば、順次入力されるそれぞれの撮像画像について図４（ｂ）に示す処理構成の処理を実行する場合、メモリ領域８０１～８０４に格納されているデータを再利用する。

次に、本実施形態に係るＣＰＵ２０３の動作について、図９のフローチャートに従って説明する。ステップＳ９０１では、ＣＰＵ２０３は、処理部２０１の初期化処理を実行する。この初期化処理では、ＲＡＭ２０５に上記のメモリ領域８０１～８０４を確保する処理も含まれる。

ステップＳ９０２では、ＣＰＵ２０３は、処理部２０１の動作に必要な制御パラメータを準備し、該準備した制御パラメータをＲＡＭ２０５のメモリ領域８０１に格納する。この制御パラメータは予め外部の装置で作成しておき、ＲＯＭ２０４に格納したものをコピーして利用しても良い。

ステップＳ９０３では、ＣＰＵ２０３は、テンプレート特徴の更新の有無を判断する。例えば、ＣＰＵ２０３は、処理部２０１が動画像における最初のフレームの画像に対する処理を行う場合や、定期的若しくは不定期的な撮像における最初の静止画像に対する処理を行う場合には、テンプレート特徴を更新する、と判断する。また例えば、ＣＰＵ２０３は、ユーザがユーザインターフェース部２０８を操作してテンプレート特徴の更新指示を入力した場合には、テンプレート特徴を更新する、と判断する。

このような判断の結果、テンプレート特徴を更新すると判断した場合には、処理はステップＳ９０４に進み、テンプレート特徴を更新すると判断しなかった場合には、処理はステップＳ９０７に進む。

ステップＳ９０４では、ＣＰＵ２０３は、上記の如くテンプレート特徴を取得する。ステップＳ９０５ではＣＰＵ２０３は、ステップＳ９０４で取得したテンプレート特徴のフォーマットを、バッファ１０３への格納に適したフォーマット（演算処理部１０２がオーバヘッドなく参照可能な並び順、すなわちＣＮＮ係数と同じ格納形式（係数格納フォーマット））に変換する。そしてステップＳ９０６では、ＣＰＵ２０３は、ステップＳ９０５においてフォーマットを変換したテンプレート特徴をＲＡＭ２０５におけるメモリ領域８０３に格納する。

ステップＳ９０７では、ＣＰＵ２０３は、ＤＭＡＣ２０６を制御して、メモリ領域８０１に格納されている制御パラメータ、メモリ領域８０２やメモリ領域８０４に格納されているＣＮＮ特徴、メモリ領域８０３に格納されているテンプレート特徴、などを処理部２０１に転送し、その後、処理部２０１に対して演算処理の開始を指示する。この指示により処理部２０１は画像入力部２０１から取得した撮像画像について上記の如く動作し、例えば、該撮像画像について図４（ｃ）に示した処理構成の処理を行う。

ステップＳ９０８では、ＣＰＵ２０３は、処理の終了条件が満たされたか否かを判断する。処理の終了条件は特定の条件に限らない。処理の終了条件には、例えば、「画像入力部２０１から入力される規定枚数の撮像画像について処理部２０１による処理が完了した」や「ユーザがユーザインターフェース部２０８を操作して処理の終了指示が入力された」等がある。

このような判断の結果、処理の終了条件が満たされた場合には、処理はステップＳ９０９に進み、処理の終了条件が満たされていない場合には、処理はステップＳ９０７に進む。

ステップＳ９０９では、ＣＰＵ２０３は、処理部２０１による処理結果（例えば図１１のフローチャートに従った処理に基づく認識処理の結果）を取得し、該取得した処理結果を、実行中のアプリケーションに渡す。

ステップＳ９１０では、ＣＰＵ２０３が、処理すべき次の撮像画像があるか否かを判断する。この判断の結果、処理すべき次の撮像画像があると判断した場合には、処理はステップＳ９０３に進み、処理すべき次の撮像画像はないと判断した場合には、図９のフローチャートに従った処理は終了する。

このように、本実施形態によれば、ＲＡＭ２０５における一部のメモリ領域（上記の例ではメモリ領域８０３）を書き換えるだけで、テンプレート特徴を更新しながら相関演算を含むニューラルネットワークを処理することができる。

＜変形例＞
第１の実施形態や第２の実施形態では、情報処理装置が画像入力部２０１から供給された撮像画像を対象にして動作するケースについて説明した。しかし、情報処理装置は、予め撮像されて情報処理装置内若しくは情報処理装置外のメモリ装置に格納されている撮像画像を対象に動作しても良い。また、情報処理装置は、ＬＡＮやインターネットなどのネットワークを介して情報処理装置と通信可能な外部装置に保持されている撮像画像を対象に動作しても良い。

また、第１の実施形態や第２の実施形態の情報処理装置は、画像を撮像する画像入力部２０１を有する撮像装置であった。しかし、画像入力部２０１を情報処理装置の外部装置としてもよく、その場合、情報処理装置には、画像入力部２０１を接続可能なＰＣ（パーソナルコンピュータ）、タブレット端末装置などのコンピュータ装置が適用可能である。

また、第１の実施形態や第２の実施形態では、２次元の画像センサにより取得される２次元画像が入力された場合における情報処理装置の動作について説明したが、情報処理装置が対象とするデータは２次元画像に限らない。例えば、２次元以外の次元のデータを収集するセンサや、モダリティが異なるセンサなど、様々なセンサにより収集されたデータ（音声データや電波センサデータなど）を情報処理装置の処理対象とすることもできる。

また、第１の実施形態や第２の実施形態では、ニューラルネットワークとしてＣＮＮを用いたケースについて説明したが、畳み込み演算に基づく他の種類のニューラルネットワークを用いても良い。

また、第１の実施形態や第２の実施形態では、特徴マップにおける部分領域から抽出したＣＮＮ特徴をテンプレート特徴として取得するケースについて説明したが、テンプレート特徴の取得方法は特定の収集方法に限らない。

また、上記の各実施形態や各変形例で使用した数値、処理タイミング、処理順、処理の主体、データ（情報）の送信先／送信元／格納場所などは、具体的な説明を行うために一例として挙げたもので、このような一例に限定することを意図したものではない。

また、以上説明した各実施形態や各変形例の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態や各変形例の一部若しくは全部を選択的に使用しても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１：外部バスＩ／Ｆ部 １０２：演算処理部 １０３：バッファ １０４：バッファ １０５：変換処理部 １０６：制御部 １０７：設定Ｉ／Ｆ部

Claims (14)

1. ニューラルネットワークにおける演算処理を行う情報処理装置であって、
   特徴データを記憶する特徴記憶手段と、
   前記ニューラルネットワークのフィルタ係数を記憶する係数記憶手段と、
   前記特徴データの一部をテンプレート特徴データとして前記係数記憶手段に格納する格納制御手段と、
   前記特徴記憶手段に記憶された特徴データと前記係数記憶手段に記憶されたフィルタ係数との畳み込み演算により新たな特徴データを算出し、前記特徴記憶手段に記憶された特徴データと前記係数記憶手段に記憶されたテンプレート特徴データとの畳み込み演算により、当該テンプレート特徴データと当該特徴記憶手段に記憶された特徴データとの相関データを算出する演算手段と
   を備えることを特徴とする情報処理装置。
2. 前記格納制御手段は、前記畳み込み演算により算出された特徴データの一部をテンプレート特徴データとして前記係数記憶手段に格納することを特徴とする請求項１に記載の情報処理装置。
3. 前記演算手段により算出された特徴データを非線形変換する変換手段を更に有し、
   前記格納制御手段は、前記変換手段により非線形変換された特徴データの一部をテンプレート特徴データとして前記係数記憶手段に格納することを特徴とする請求項１に記載の情報処理装置。
4. 前記格納制御手段は、前記テンプレート特徴データを前記フィルタ係数と同じフォーマットに変換して前記係数記憶手段に格納することを特徴とする請求項１ないし３のいずれか１項に記載の情報処理装置。
5. 前記係数記憶手段は、前記フィルタ係数を記憶するメモリ領域と、前記テンプレート特徴データを記憶するためのメモリ領域と、を有する単一のメモリ装置であることを特徴とする請求項１ないし４のいずれか１項に記載の情報処理装置。
6. 前記係数記憶手段は、前記フィルタ係数を記憶するメモリ装置と、前記テンプレート特徴データを記憶するメモリ装置と、を有することを特徴とする請求項１ないし４のいずれか１項に記載の情報処理装置。
7. 前記特徴データは特徴マップであり、
   前記格納制御手段は、前記特徴マップにおいて追尾の対象となる対象物の領域における特徴量をテンプレート特徴データとして前記係数記憶手段に格納することを特徴とする請求項１ないし６のいずれか１項に記載の情報処理装置。
8. 前記演算手段は、
   前記特徴記憶手段に記憶された特徴データと、前記係数記憶手段に記憶されたフィルタ係数と、の畳み込み演算を行う第１畳み込み演算手段と、
   前記第１畳み込み演算手段による畳み込み演算の結果に対する非線形変換の結果と、前記係数記憶手段に記憶されているテンプレート特徴データと、の畳み込み演算を行う第２畳み込み演算手段と、
   前記第２畳み込み演算手段による畳み込み演算の結果と、前記係数記憶手段に記憶されているフィルタ係数と、の畳み込み演算を行う第３畳み込み演算手段と
   を備えることを特徴とする請求項１ないし７のいずれか１項に記載の情報処理装置。
9. 更に、
   前記第３畳み込み演算手段による畳み込み演算の結果に対する非線形変換の結果に基づいて物体の検出を行う検出手段を備えることを特徴とする請求項８に記載の情報処理装置。
10. 前記係数記憶手段は、前記第１畳み込み演算手段が用いるフィルタ係数と、前記第３畳み込み演算手段が用いるフィルタ係数と、を記憶していることを特徴とする請求項８または９に記載の情報処理装置。
11. さらに、
    前記係数記憶手段において前記テンプレート特徴データを格納するためのメモリ領域を指定する手段を備えることを特徴とする請求項１ないし１０のいずれか１項に記載の情報処理装置。
12. さらに、
    前記格納制御手段は、テンプレート特徴データを更新するか否かを判断し、更新すると判断した場合には、新たなテンプレート特徴データを前記係数記憶手段に転送することを特徴とする請求項１ないし１１のいずれか１項に記載の情報処理装置。
13. ニューラルネットワークにおける演算処理を行う情報処理装置が行う情報処理方法であって、
    前記情報処理装置の演算手段が、特徴記憶手段に記憶された特徴データと係数記憶手段に記憶された前記ニューラルネットワークのフィルタ係数との畳み込み演算により新たな特徴データを算出する第１演算工程と、
    前記情報処理装置の格納制御手段が、前記第１演算工程で算出された特徴データの一部をテンプレート特徴データとして前記係数記憶手段に格納する格納制御工程と、
    前記演算手段が、前記特徴記憶手段に記憶された特徴データと前記係数記憶手段に記憶されたテンプレート特徴データとの畳み込み演算により、当該テンプレート特徴データと当該特徴記憶手段に記憶された特徴データとの相関データを算出する第２演算工程と
    を備えることを特徴とする情報処理方法。
14. コンピュータを、請求項１ないし１２のいずれか１項に記載の情報処理装置の、前記特徴記憶手段および前記係数記憶手段を除く各手段として機能させるためのコンピュータプログラム。

Images