JP2008210009A

JP2008210009A - 画像識別装置，画像識別方法，撮像装置及び撮像方法

Info

Publication number: JP2008210009A
Application number: JP2007043913A
Authority: JP
Inventors: Hiroteru Sato; 宏輝佐藤
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2007-02-23
Filing date: 2007-02-23
Publication date: 2008-09-11

Abstract

【課題】画像識別の処理にかかる時間の高速化を実現できる画像識別装置、画像識別方法、撮像装置や撮像方法を提供する。
【解決手段】画像データの多重解像度化を行う多重解像処理部５６と、多重解像度化された画像データに正規化を行う正規化処理部６２と、正規化された画像データを、学習データに基づいて、特徴量を求める特徴量導出部６６と、特徴量に基づいて画像データの識別を行う識別部７２とを備え、多重解像処理部５６と、正規化処理部６２と、特徴量導出部６６と、識別部７２とが、バスを介することのないパイプライン機構を構成する。
【選択図】図２

Description

本発明は、人物の顔等の画像を認識する画像識別装置、画像識別方法、撮像装置及び撮像方法に関する。

一般的に、撮像した画像に含まれる人物等の顔を識別する技術としては、機械的学習手法として、ブースティング（Boosting）と呼ばれる手法があり、特にその手法の変形であるアダブースティング(Adaboosting)と呼ばれる手法が用いられている。

従来、アダブースティングを用いた画像識別装置は、画像の認識に用いる学習データを生成する学習部と、学習データに基づいて画像の識別を行う識別部と、認識データに基づいて再学習を行う再学習部とを備えている。画像識別としては、例えば、下記特許文献のものがあげられる。

特開２００５−１００１２１号公報特開２００５−１００１２２号公報特開２００３−４４８５３号公報特開２００６−８５６８５号公報

図４は、従来の画像識別システムの一例を示す図である。従来の画像識別システムでは、画像データを入力するための画像入力部と、多重解像度化、正規化を行うそれぞれの処理部と、特徴量を導出する特徴量導出部と、画像の識別を行う識別部とが、それぞれ汎用バスを介して、大容量メモリに接続されている。このため、画像識別処理を行う際には、各処理部からそれぞれ大容量メモリに読み出しを行い、大容量メモリから予め記憶された、入力画像フレームデータ、多重解像度データ、正規化データ、特徴量の種類などの各データを読み出す必要があった。このとき、大容量メモリへのデータの保存や読み出しが、汎用バスを介して行われるため、処理時間は汎用バスに依存してしまう。また、各処理の並列化を図ったとしても、汎用バスを介して行われるため、処理時間の短縮には限界があった。さらに、大容量メモリがコストを増加させる要因となっていた。

現在、デジタルカメラや携帯電話に内蔵されたカメラに画像識別機能を備えることが検討されており、画像識別にかかる処理時間の短縮やコストの低減を図りたいという要望があった。

本発明は、上記事情に鑑みてなされたもので、その目的は、画像識別の処理にかかる時間の高速化を実現できる画像識別装置、画像識別方法、撮像装置及び撮像方法を提供することにある。

本発明の上記目的は、下記構成によって達成される。
（１）画像データの識別を行う画像識別装置であって、前記画像データの多重解像度化を行う多重解像処理部と、多重解像度化された前記画像データに正規化を行う正規化処理部と、正規化された前記画像データを、学習データに基づいて、特徴量を求める特徴量導出部と、前記特徴量に基づいて前記画像データの識別を行う識別部とを備え、前記多重解像処理部と、前記正規化処理部と、前記特徴量導出部と、前記識別部とが、バスを介することのないパイプライン機構を構成することを特徴とする画像識別装置。
（２）正規化された前記画像データを記憶するラインメモリを備え、前記ラインメモリが複数に分割され、分割されたそれぞれのラインメモリに対応するように前記特徴量導出部が複数設けられていることを特徴とする上記（１）に記載の画像識別装置。
（３）画像データの識別を行う画像識別方法であって、前記画像データの多重解像度化を行う多重解像化工程と、多重解像度化された前記画像データに正規化を行う正規化工程と、正規化された前記画像データを、学習データに基づいて、特徴量を求める特徴量導出工程と、前記特徴量に基づいて前記画像データの識別を行う識別工程とを備え、前記多重解像化工程と、前記正規化工程と、前記特徴量導出工程と、前記識別工程とが、バスを介することのないパイプライン処理によって実行されることを特徴とする画像識別方法。
（４）前記ラインメモリが複数に分割され、正規化された前記画像データを複数の前記ラインメモリに記憶し、複数の前記ラインメモリに対応するように設けられた複数の前記特徴量導出部において特徴量を算出する処理が並列して行われることを特徴とする上記（３）に記載の画像識別方法。
（５）撮像素子と、前記撮像素子によって撮像した画像データの識別を行う画像識別装置とを備えた撮像装置であって、前記画像識別装置には、前記画像データの多重解像度化を行う多重解像処理部と、多重解像度化された前記画像データに正規化を行う正規化処理部と、正規化された前記画像データを、学習データに基づいて、特徴量を算出する特徴量導出部と、前記特徴量に基づいて前記画像データの識別を行う識別部とが設けられ、前記多重解像処理部と、前記正規化処理部と、前記特徴量導出部と、前記識別部とが、バスを介することのないパイプライン機構を構成することを特徴とする撮像装置。
（６）撮像素子と、前記撮像素子によって撮像した画像データの識別を行う画像識別装置とを備えた撮像装置を用いた撮像方法であって、前記画像データの多重解像度化を行う多重解像化工程と、多重解像度化された前記画像データに正規化を行う正規化工程と、正規化された前記画像データを、学習データに基づいて、特徴量を算出する特徴量導出工程と、前記特徴量に基づいて前記画像データの識別を行う識別工程とを有し、画像の識別時には、前記画像識別装置において、前記多重解像化工程と、前記正規化工程と、前記特徴量導出工程と、前記識別工程とが、バスを介することのないパイプライン処理によって実行されることを特徴とする撮像方法。

本発明は、撮像した画像の識別する場合に、多重解像処理と、正規化処理と、特徴量の導出と、識別処理が、パイプライン処理される。パイプライン処理時には、各処理部同士の間でバスを介することなく信号の入出力が行われる。このため、大容量メモリに記憶された各データをバスを介して読み出す必要がないため、大容量メモリへのデータの保存や読み出しにかかる処理時間を短縮することができる。また、大容量メモリに入力画像フレームデータ、多重解像度データ、正規化データ、特徴量の種類などの各データを全て記憶させておく必要がないため、メモリ容積の増大を防止することで、コストを低減することができる。したがって、デジタルカメラや携帯電話などの低コスト化が必要な分野において適用することができる。
さらに、画像の識別にかかる処理時間を短縮することができるため、車載のカーナビのように高速なリアルタイム性能が要求される画像識別システムに適用することができる。

本発明によれば、画像識別の処理にかかる時間の高速化を実現できる画像識別装置、画像識別方法、撮像装置及び撮像方法を提供できる。

以下、本発明の実施形態を図面に基づいて詳しく説明する。
図１は、本発明にかかる撮像装置の一実施形態の構成を示すブロック図である。本実施形態では、撮像装置の一例としてデジタルカメラの構成を用いて説明する。
撮像装置１０は、被写体からの光を受光するレンズ１２と、レンズ１２に受光した入射光が入射することで画像データを生成する撮像素子１４とを備えている。撮像素子１４は、例えば、固体撮像素子（ＣＣＤ）やＣＭＯＳ型の撮像素子を用いることができる。

撮像素子１４で生成された画像データがアナログフロントエンド１６に出力される。アナログフロントエンド１６では、撮像素子１４から入力された画像データをアナログ／デジタル変換処理を行い、画像識別部５０に出力する。画像の識別時には、後述するように画像識別部５０で画像データの識別を行った後、識別された画像データをＣＰＵ（中央演算処理部）３６に出力される。ＣＰＵ３６の内部には、デジタル信号を処理する信号処理プロセッサ２２が設けられている。

ＣＰＵ３６には、バス４２を介して、ＡＦ（オートフォーカス）制御回路３２、メインメモリ３８、ＲＯＭ４０、Ｉ／Ｆ（インターフェース）部３４、ＬＣＤ制御部２６、メディア制御部３０がそれぞれ接続されている。

Ｉ／Ｆ部３４には、撮像装置１０を使用する使用者が手指などで直接入力することで操作指示を行うための操作手段２０が接続されている。

ＬＣＤ制御部２６には、ＬＣＤ１８が接続されている。ＬＣＤ１８は、撮像装置１０の撮像時の画像や撮像状態を表示する表示手段として機能している。

メディア制御部３０には、外部記録メディア２８が接続されている。外部記録メディア２８は、撮像装置１０から着脱可能に構成されている。

図２は、本実施形態の画像識別部を説明するブロック図である。画像識別部５０は、アナログフロントエンド１６から画像データが、画像データ入力部５２に入力される。画像データは、フレームメモリ５４に転送され、一時的に記憶される。次に、画像データに多重解像処理部５６において多重解像処理が行われる。多重解像処理が行われた画像データは、ラインメモリ５８に記憶され、その後、正規化処理部６２において正規化処理が行われる。画像データは、正規化処理が実行された後、ラインメモリ６４に一旦記憶された後、特徴量導出部６６に出力される。

特徴量導出部６６は、画像の識別時に、ＲＯＭ６８に予め記憶されている画像識別用の学習データを読み出し、正規化された画像データと学習データとに基づいて画像データの特徴量を導き出す。特徴量とは、画像データが識別の目標としている画像にどの程度一致又は近いものであるかを示す指標である。画像データの特徴量は、識別部７２に出力される。識別部７２は、画像データの特徴量に基づいて、特徴量が所定の閾値より高い値（又は、低い値）であることを判別することで、画像データの識別を行う。

画像データとしては、例えば、被写体の中の人間の顔などである。学習データとして、顔を示す画像情報を予め設定しておき、撮像した画像データと学習データとに基づいて、該画像データが実施に顔であるのかを識別することができる。

なお、ＲＯＭ６８には、特徴量導出部６６において特徴量を導き出すために必要最小限のデータのみを記憶させておくことができ、従来のような大容量メモリを必要としないため、コストの増大を回避することができる。

本実施形態の画像識別部５０では、多重解像処理部５６と、正規化処理部６２と、特徴量導出部６６と、識別部７２とが、バスを介することのないパイプライン機構を構成している。
このため、本実施形態の撮像装置１０は、撮像した画像の識別する場合に、画像データの識別にかかる一連の処理がパイプライン処理され、各処理部同士の間でバスを介することなく信号の入出力が行われる。このため、大容量メモリに記憶された各データをバスを介して読み出す必要がないため、大容量メモリへのデータの保存や読み出しにかかる処理時間を短縮することができる。また、大容量メモリに入力画像フレームデータ、多重解像度データ、正規化データ、特徴量の種類などの各データを全て記憶させておく必要がないため、メモリ容積の増大を防止することで、コストを低減することができる。したがって、デジタルカメラや携帯電話などの低コスト化が必要な分野において適用することができる。
さらに、画像の識別にかかる処理時間を短縮することができるため、車載のカーナビのように高速なリアルタイム性能が要求される画像識別システムに適用することができる。

本発明にかかる撮像方法は、上記撮像装置を用いることで好適に実施することができる。撮像装置によって、撮像方法を実施するには、多重解像処理部５６で画像データの多重解像度化を行う多重解像化工程と、正規化処理部６２で多重解像度化された画像データに正規化を行う正規化工程と、特徴量導出部６６で正規化された画像データを、学習データに基づいて、特徴量を算出する特徴量導出工程と、識別部７２で特徴量に基づいて画像データの識別を行う識別工程とを有し、画像の識別時には、多重解像化工程と、正規化工程と、特徴量導出工程と、識別工程とが、バスを介することのないパイプライン処理によって実行される。

なお、本発明は、デジタルカメラや携帯電話に搭載された撮像装置に限定されず、画像識別部５０を画像の識別を行う画像識別装置に適用することができる。画像識別装置は、多重解像処理部と、正規化処理部と、特徴量導出部と、識別部とを備え、これらの処理部が、互いにバスを介することのない、パイプライン機構を構成するものである。

次に、本発明にかかる撮像装置及び画像識別装置の変形例を説明する。図３は、画像識別部の一部の構成を示すブロック図である。
図３に示すように正規化処理された画像データを一時的に記憶するラインメモリ６４を複数に分割した構成としてもよい。また、ラインメモリ６４の分割されたそれぞれの領域に対応するように特徴量導出部６６が設けられてよい。そして、画像の識別時に、複数の特徴量導出部６６において、同時に並列処理を行うことができる。各特徴量導出部６６で導き出された特徴量は、複数の特徴量導出部６６の全てに接続されたバッファ６９に出力され、その後、識別部７２に転送され、画像データの特徴量と学習データとに基づいて識別を行う。こうすることで、画像の識別にかかる時間をより一層短縮することができる。

なお、本発明は、前述した実施形態に限定されるものではなく、適宜な変形、改良などが可能である。

本発明にかかる撮像装置の一実施形態の構成を示すブロック図である。画像識別部を説明するブロック図である。画像識別部の一部の構成を示すブロック図である。従来の画像識別システムの一例を示す図である。

符号の説明

１０撮像装置
１４撮像素子
５０画像識別部
５６多重解像処理部
６２正規化処理部
６６特徴量導出部

Claims

画像データの識別を行う画像識別装置であって、
前記画像データの多重解像度化を行う多重解像処理部と、
多重解像度化された前記画像データに正規化を行う正規化処理部と、
正規化された前記画像データを、学習データに基づいて、特徴量を求める特徴量導出部と、
前記特徴量に基づいて前記画像データの識別を行う識別部とを備え、
前記多重解像処理部と、前記正規化処理部と、前記特徴量導出部と、前記識別部とが、バスを介することのないパイプライン機構を構成することを特徴とする画像識別装置。
正規化された前記画像データを記憶するラインメモリを備え、前記ラインメモリが複数に分割され、分割されたそれぞれのラインメモリに対応するように前記特徴量導出部が複数設けられていることを特徴とする請求項１に記載の画像識別装置。
画像データの識別を行う画像識別方法であって、
前記画像データの多重解像度化を行う多重解像化工程と、
多重解像度化された前記画像データに正規化を行う正規化工程と、
正規化された前記画像データを、学習データに基づいて、特徴量を求める特徴量導出工程と、
前記特徴量に基づいて前記画像データの識別を行う識別工程とを備え、
前記多重解像化工程と、前記正規化工程と、前記特徴量導出工程と、前記識別工程とが、バスを介することのないパイプライン処理によって実行されることを特徴とする画像識別方法。
前記ラインメモリが複数に分割され、正規化された前記画像データを複数の前記ラインメモリに記憶し、複数の前記ラインメモリに対応するように設けられた複数の前記特徴量導出部において特徴量を算出する処理が並列して行われることを特徴とする請求項３に記載の画像識別方法。
撮像素子と、
前記撮像素子によって撮像した画像データの識別を行う画像識別装置とを備えた撮像装置であって、
前記画像識別装置には、前記画像データの多重解像度化を行う多重解像処理部と、多重解像度化された前記画像データに正規化を行う正規化処理部と、
正規化された前記画像データを、学習データに基づいて、特徴量を算出する特徴量導出部と、前記特徴量に基づいて前記画像データの識別を行う識別部とが設けられ、前記多重解像処理部と、前記正規化処理部と、前記特徴量導出部と、前記識別部とが、バスを介することのないパイプライン機構を構成することを特徴とする撮像装置。
撮像素子と、
前記撮像素子によって撮像した画像データの識別を行う画像識別装置とを備えた撮像装置を用いた撮像方法であって、
前記画像データの多重解像度化を行う多重解像化工程と、多重解像度化された前記画像データに正規化を行う正規化工程と、正規化された前記画像データを、学習データに基づいて、特徴量を算出する特徴量導出工程と、前記特徴量に基づいて前記画像データの識別を行う識別工程とを有し、画像の識別時には、前記画像識別装置において、前記多重解像化工程と、前記正規化工程と、前記特徴量導出工程と、前記識別工程とが、バスを介することのないパイプライン処理によって実行されることを特徴とする撮像方法。