JP4941299B2 - 画像識別システム及び方法 - Google Patents

Description

本発明は、複数の画像が同一内容の画像とみなせるか否かを識別する画像識別システム及び方法に関し、特に、画像の特徴量を算出することにより画像の識別を行う画像識別システム及び方法に関する。

画像検索は、問合せ画像、すなわち検索のクエリとして与えられた画像と一致する画像、あるいは問合せ画像と内容が類似する画像を検索する処理である。従来、比較すべき２つの画像間の類似度を算出する画像類似度算出方法が、検索対象の画像群の中から問合せ画像と類似する画像を検索する画像検索において、問合せ画像と検索対象の画像との類似度を算出するために用いられている。

従来の画像検索方法の一例が特開平１１−３１２２４８号公報に記載されている。特開平１１−３１２２４８号公報に記載されている画像検索方法では、検索元の画像と検索対象の画像をそれぞれ複数のブロックに分割して各ブロックの特徴量を算出し、各ブロックについて取得した特徴量に応じて各ブロックにラベルを付与し、これを所定の順序で並べてラベル行列を生成する。そして検索実行が指示されると、この方法では、検索元の画像のラベル列から抽出した部分ラベルをキーとして、検索対象画像のラベル列との類似度を、ラベル間距離に基づくマッチング処理等を行って算出し、算出した類似度に基づいて検索結果を得る。

所望画像と部分的に類似した画像の検索を行う画像検索方法及び画像検索装置が、特開２０００−１６３５７６号公報に記載されている。特開２０００−１６３５７６号公報に記載されている画像検索方法では、所望画像と部分的に類似した画像である検索キー画像と、その画像内で類似している部分を示す検索キー領域とを画像検索装置に入力する。画像検索装置は、検索キー画像をブロックに分割して各ブロックと検索キー領域とが重なる大きさに応じて設定した重みで各ブロックの特徴量を重み付けしてキー特徴量を算出する。この方法では、複数の蓄積画像に対しても同様に蓄積画像の各ブロックの検索対象特徴量を算出することとして、キー特徴量と検索対象特徴量とを比較して算出した類似度に基づいて検索結果を得る。

ユーザの検索の意図を反映した画像検索方法が、特開２００１−１３４７６５号公報に記載されている。特開２００１−１３４７６５号公報に記載されている画像検索方法では、画像を複数の領域に分け、ユーザが各分割領域に異なる重みを設定し、分割領域ごとに特徴量を比較して得られる類似度に対して、各分割領域に設定された重みを作用させることで、画像類似度を算出する。この方法によれば、ユーザが検索の際に重要視したい領域を指定できるため、ユーザの検索の意図を反映した画像検索結果を行うことができる。
特開平１１−３１２２４８号公報 特開２０００−１６３５７６号公報 特開２００１−１３４７６５号公報

しかしながら、特開平１１−３１２２４８号公報に開示されている方法は、検索元の画像と検索対象画像の同一性を前提としている。このためこの方法では、テロップ重畳、一部切り抜き、一部切り出しなどの各種の加工処理によって絵柄が部分的に変化した画像とそれらの加工前の元画像との類似度は、低い値として算出されることとなり、加工処理が施された画像と元画像とを結びつけるのに十分な類似度算出性能が得られない。また、平坦な画像、例えば、青空が大部分を占める画像や単一色の背景に文字列が含まれるような画像では、特徴的な絵柄を含まない多数のブロックにおける類似度が多く反映されてしまい、異なる内容の画像を比較した場合であっても類似度が高い値として算出され、同一内容の画像を識別するのに十分な類似度算出性能が得られない。

特開２０００−１６３５７６号公報に開示されている方法では、検索対象とする領域をあらかじめ指定する必要がある。同様に、特開２００１−１３４７６５号公報に記載されている方法でも、ユーザが検索の際に重要視したい領域を指定する必要がある。これらの方法を用いる場合には、例えば、加工処理が施された画像から加工前の画像を検索するために、ユーザは、あらかじめ加工処理が施されていない領域を指定する必要がある。加工処理に内容によっては、この指定にはかなりの手間がかかる。

本発明の目的は、ユーザに手間をかけさせることなく、加工処理による部分的な変化や平坦さによる影響を受けず、２つの画像を正しく識別する画像識別システムを提供することにある。

本発明の別の目的は、ユーザに手間をかけさせることなく、加工処理による部分的な変化や平坦さによる影響を受けず、２つの画像を正しく識別する画像識別方法を提供することにある。

本発明の第１の様相によれば、入力画像として入力される問合せ画像を分割した小領域の特徴量と、あらかじめ特徴量が記憶されている参照画像におけるあらかじめ分割された小領域の特徴量とを比較することによって、問合せ画像と参照画像とが同一内容の画像とみなせるか否かを識別する画像識別システムは、参照画像の各小領域の絵柄に関する特徴量をあらかじめ記憶する参照画像特徴量記憶手段と、問合せ画像の各小領域の絵柄に関する特徴量を導出する特徴量導出手段と、問合せ画像と参照画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する判定手段と、判定手段の判定結果に基づいて、問合せ画像及び参照画像における比較対象とする小領域を選定する小領域選定手段と、比較対象として選定された小領域毎に問合せ画像と参照画像との間の類似度を算出する類似度算出手段と、類似度に基づいて、問合せ画像と参照画像とが同一内容の画像とみなせるか否かを識別する識別手段と、を備える。

本発明の第２の様相によれば、入力画像として入力される問合せ画像を分割した小領域の特徴量と、あらかじめ特徴量が記憶されている参照画像におけるあらかじめ分割された小領域の特徴量とを比較することによって、問合せ画像と参照画像とが同一内容の画像とみなせるか否かを識別する画像識別システムは、参照画像の各小領域の絵柄に関する特徴量と色に関する特徴量とをあらかじめ記憶する参照画像特徴量記憶手段と、問合せ画像の各小領域の絵柄に関する特徴量と色に関する特徴量を導出する特徴量導出手段と、問合せ画像と参照画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する判定手段と、判定手段の判定結果に基づいて、問合せ画像及び参照画像における絵柄の比較対象とする小領域を選定する小領域選定手段と、絵柄の比較対象として選定された小領域毎に、小領域の絵柄に関する特徴量を用いて、問合せ画像と参照画像との間の絵柄の類似度を算出する絵柄類似度算出手段と、絵柄の比較対象として選定されなかった小領域毎に、小領域の色に関する特徴量を用いて、問合せ画像と参照画像との間の色の類似度を算出する色類似度算出手段と、絵柄の類似度または色の類似度に基づいて、問合せ画像と参照画像とが同一内容の画像とみなせるか否かを識別する識別手段と、を備える。このような構成によれば、特徴的な絵柄を含む小領域については絵柄に関する特徴量を用いて、特徴的な絵柄を含まない平坦な小領域については色に関する特徴量を用いて類似度算出を行うことができるため、より精度の高い画像識別が可能となる。

本発明の第３の様相によれば、入力画像として入力される問合せ画像を分割した小領域の特徴量と、あらかじめ特徴量が記憶されている参照画像におけるあらかじめ分割された小領域の特徴量とを比較することによって、問合せ画像と参照画像とが同一内容の画像とみなせるか否かを識別する画像識別システムは、参照画像の各小領域の少なくとも絵柄に関する特徴量を含む２種類の特徴量をあらかじめ記憶する参照画像特徴量記憶手段と、問合せ画像の各小領域の少なくとも絵柄に関する特徴量を含む２種類の特徴量を導出する特徴量導出手段と、問合せ画像と参照画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する判定手段と、判定手段の判定結果に基づいて、絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントするカウント手段と、カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、絵柄の特徴量による類似度算出を選択し、小領域の数が閾値以下である場合には、絵柄以外の特徴量による類似度算出を選択する類似度算出方法切替手段と、絵柄の特徴量による類似度算出が選択された場合に、絵柄に関する特徴量を用いて、問合せ画像と参照画像との間の第１の類似度を算出する第１の類似度算出手段と、絵柄以外の特徴量による類似度算出が選択された場合に、絵柄以外に関する特徴量を用いて、問合せ画像と参照画像との間の第２の類似度を算出する第２の類似度算出手段と、第１の類似度または第２の類似度に基づいて、問合せ画像と参照画像とが同一内容の画像とみなせるか否かを識別する識別手段と、を備える。このような構成によれば、画面全体に対する絵柄を特徴とする小領域の多少に応じて、特徴的な絵柄を多く含む画像であれば主に絵柄に関する特徴量を用いて、そうでない場合には絵柄以外に関する特徴量を用いて類似度算出を行うことによって、画像ごとに特徴的とされる種類の特徴量を用いて比較することができ、より精度の高い画像識別が可能となる。

本発明の画像識別システムにおいて、小領域選定手段は、絵柄に関する特徴量が所定の条件を満たしていると判定された小領域を選定してもよい。そのような場合には、特徴的な絵柄を含む小領域のみを絵柄の比較対象として選定することとなり、ユーザに領域を指定する手間をかけさせることなく、特徴的な絵柄が少ない画像であれば絵柄を含まない領域を比較対象から除外し、加工処理が施された画像であれば加工により変化した領域を比較対象から除外することができるため、画像を正しく識別するに十分な類似度算出性能を得ることができる。

また、小領域選定手段は、絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントするカウント手段と、カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、全ての小領域を選定し、小領域の数が閾値以下である場合には、判定手段によって特徴量が所定の条件を満たしていると判定された小領域を選定する選定手段と、を備えていてもよい。このような構成によれば、特徴的な絵柄を多く含む画像を識別する場合に、特徴的な絵柄を含まないこと自体を特徴とすることができるため、より精度の高い画像識別が可能となる。

本発明の第４の様相によれば、第１の画像と第２の画像をそれぞれ分割した小領域の特徴量を比較することによって、第１の画像と第２の画像とが同一内容の画像とみなせるか否かを識別する画像識別システムは、第１の画像と第２の画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する判定手段と、判定手段の判定結果に基づいて、第１の画像及び第２の画像における比較対象とする小領域を選定する小領域選定手段と、比較対象として選定された小領域毎に第１の画像と第２の画像との間の類似度を算出する類似度算出手段と、類似度に基づいて、第１の画像と第２の画像とが同一内容の画像とみなせるか否かを識別する識別手段と、を備える。小領域選定手段は、絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントするカウント手段と、カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、全ての小領域を選定し、小領域の数が閾値以下である場合には、判定手段によって特徴量が所定の条件を満たしていると判定された小領域を選定する選定手段と、を含む。このような構成によれば、識別対象とする画像の入力方法を問わない画像識別システムが構築できる。

本発明の第５の様相によれば、第１の画像と第２の画像をそれぞれ分割した小領域の特徴量を比較することによって、第１の画像と第２の画像とが同一内容の画像とみなせるか否かを識別する画像識別システムは、第１の画像と第２の画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する判定手段と、判定手段の判定結果に基づいて、第１の画像及び第２の画像における絵柄の比較対象とする小領域を選定する小領域選定手段と、絵柄の比較対象として選定された小領域毎に、小領域の絵柄に関する特徴量を用いて、第１の画像と第２の画像との間の絵柄の類似度を算出する絵柄類似度算出手段と、絵柄の比較対象として選定されなかった小領域毎に、小領域の色に関する特徴量を用いて、第１の画像と第２の画像との間の色の類似度を算出する色類似度算出手段と、絵柄の類似度または色の類似度に基づいて、第１の画像と第２の画像とが同一内容の画像とみなせるか否かを識別する識別手段と、を備える。小領域選定手段は、絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントするカウント手段と、カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、全ての小領域を選定し、小領域の数が閾値以下である場合には、判定手段によって特徴量が所定の条件を満たしていると判定された小領域を選定する選定手段と、を含む。このような構成によれば、識別対象とする画像の入力方法を問わず、特徴的な絵柄を含む小領域については絵柄に関する特徴量を用いて、特徴的な絵柄を含まない平坦な小領域については色に関する特徴量を用いて類似度算出を行うことができるため、より精度の高い画像識別が可能となる。

本発明の第６の様相によれば、第１の画像と第２の画像をそれぞれ分割した小領域の特徴量を比較することによって、第１の画像と第２の画像とが同一内容の画像とみなせるか否かを識別する画像識別システムは、第１の画像と第２の画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する判定手段と、判定手段の判定結果に基づいて、絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントするカウント手段と、カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、絵柄の特徴量による類似度算出を選択し、小領域の数が閾値以下である場合には、絵柄以外の特徴量による類似度算出を選択する類似度算出方法切替手段と、絵柄の特徴量による類似度算出が選択された場合に、絵柄に関する特徴量を用いて、第１の画像と第２の画像との間の第１の類似度を算出する第１の類似度算出手段と、絵柄以外の特徴量による類似度算出が選択された場合に、絵柄以外に関する特徴量を用いて、第１の画像と第２の画像間の第２の類似度を算出する第２の類似度算出手段と、第１の類似度または第２の類似度に基づいて、第１の画像と第２の画像とが同一内容の画像とみなせるか否かを識別する識別手段と、を備える。このような構成によれば、識別対象とする画像の入力方法を問わず、画面全体に対する絵柄を特徴とする小領域の多少に応じて、特徴的な絵柄を多く含む画像であれば主に絵柄に関する特徴量を用いて、そうでない場合には絵柄以外に関する特徴量を用いて類似度算出を行うことによって、画像ごとに特徴的とされる種類の特徴量を用いて比較することができ、より精度の高い画像識別が可能となる。

本発明の第７の様相によれば、あらかじめ参照画像の各小領域の絵柄に関する特徴量を記憶部に記憶させ、入力画像として入力される問合せ画像を分割した小領域の特徴量と参照画像の小領域の特徴量とを比較することによって、問合せ画像と参照画像とが同一内容の画像とみなせるか否かを識別する画像識別方法は、問合せ画像の各小領域の絵柄に関する特徴量を導出する段階と、問合せ画像と参照画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する段階と、判定する段階での判定結果に基づいて、問合せ画像及び参照画像における比較対象とする小領域を選定する段階と、比較対象として選定された小領域毎に問合せ画像と参照画像との間の類似度を算出する段階と、算出された類似度に基づいて、問合せ画像と参照画像とが同一内容の画像とみなせるか否かを識別する段階と、を有する。小領域を選定する段階は、絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントする段階と、カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、全ての小領域を選定し、小領域の数が閾値以下である場合には、判定する段階において特徴量が所定の条件を満たしていると判定された小領域を選定する段階と、を有する。

本発明の第８の様相によれば、あらかじめ参照画像の各小領域の絵柄に関する特徴量と色に関する特徴量を記憶部に記憶させ、入力画像として入力される問合せ画像を分割した小領域の特徴量と参照画像の小領域の特徴量とを比較することによって、問合せ画像と参照画像とが同一内容の画像とみなせるか否かを識別する画像識別方法は、問合せ画像の各小領域の絵柄に関する特徴量と色に関する特徴量を導出する段階と、問合せ画像と参照画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する段階と、判定する段階での判定結果に基づいて、問合せ画像及び参照画像における絵柄の比較対象とする小領域を選定する段階と、比較対象として選定された小領域毎に、小領域の絵柄に関する特徴量を用いて、問合せ画像と参照画像との間の絵柄の類似度を算出する段階と、比較対象として選定されなかった小領域毎に、小領域の色に関する特徴量を用いて、問合せ画像と参照画像との間の色の類似度を算出する段階と、絵柄の類似度または色の類似度に基づいて、問合せ画像と参照画像とが同一内容の画像とみなせるか否かを識別する段階と、を有する。小領域を選定する段階は、絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントする段階と、カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、全ての小領域を選定し、小領域の数が閾値以下である場合には、判定する段階において特徴量が所定の条件を満たしていると判定された小領域を選定する段階と、を有する。

本発明の第９の様相によれば、あらかじめ参照画像の各小領域の少なくとも絵柄に関する特徴量を含む２種類の特徴量を記憶部に記憶させ、入力画像として入力される問合せ画像を分割した小領域の特徴量と参照画像の小領域の特徴量とを比較することによって、問合せ画像と参照画像とが同一内容の画像とみなせるか否かを識別する画像識別方法は、問合せ画像の各小領域の少なくとも絵柄に関する特徴量を含む２種類の特徴量を導出する段階と、問合せ画像と参照画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する段階と、判定する段階での判定結果に基づいて、絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントする段階と、カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、絵柄の特徴量による類似度算出を選択し、小領域の数が閾値以下である場合には、絵柄以外の特徴量による類似度算出を選択する段階と、絵柄の特徴量による類似度算出が選択された場合に、絵柄に関する特徴量を用いて、問合せ画像と参照画像との間の第１の類似度を算出する段階と、絵柄以外の特徴量による類似度算出が選択された場合に、絵柄以外に関する特徴量を用いて、問合せ画像と参照画像との間の第２の類似度を算出する段階と、第１の類似度または第２の類似度に基づいて、問合せ画像と参照画像とが同一内容の画像とみなせるか否かを識別する段階と、を有する。

本発明の第１０の様相によれば、第１の画像と第２の画像をそれぞれ分割した小領域の特徴量を比較することによって、第１の画像と第２の画像とが同一内容の画像とみなせるか否かを識別する画像識別方法であって、第１の画像と第２の画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する段階と、判定する段階での判定結果に基づいて、第１の画像及び第２の画像の比較対象とする小領域を選定する段階と、比較対象として選定された小領域毎に第１の画像と第２の画像との間の類似度を算出する段階と、類似度に基づいて、第１の画像と第２の画像とが同一内容の画像とみなせるか否かを識別する段階と、を有する。小領域を選定する段階は、絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントする段階と、カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、全ての小領域を選定し、小領域の数が閾値以下である場合には、判定する段階において特徴量が所定の条件を満たしていると判定された小領域を選定する段階と、を有する。

本発明の第１１の様相によれば、第１の画像と第２の画像をそれぞれ分割した小領域の特徴量を比較することによって、第１の画像と第２の画像とが同一内容の画像とみなせるか否かを識別する画像識別方法は、第１の画像と第２の画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する段階と、判定する段階での判定結果に基づいて、第１の画像及び第２の画像における絵柄の比較対象とする小領域を選定する段階と、絵柄の比較対象として選定された小領域毎に、小領域の絵柄に関する特徴量を用いて、第１の画像と第２の画像との間の絵柄の類似度を算出する段階と、絵柄の比較対象として選定されなかった小領域毎に、小領域の色に関する特徴量を用いて、第１の画像と第２の画像との間の色の類似度を算出する段階と、絵柄の類似度または色の類似度に基づいて、第１の画像と第２の画像とが同一内容の画像とみなせるか否かを識別する段階と、を有する。小領域を選定する段階は、絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントする段階と、カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、全ての小領域を選定し、小領域の数が閾値以下である場合には、判定する段階において特徴量が所定の条件を満たしていると判定された小領域を選定する段階と、を有する。

本発明の第１２の様相によれば、第１の画像と第２の画像のぞれぞれを分割した小領域の特徴量を比較することによって、第１の画像と第２の画像とが同一内容の画像とみなせるか否かを識別する画像識別方法は、第１の画像と第２の画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する段階と、判定する段階での判定結果に基づいて、絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントする段階と、カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、絵柄の特徴量による類似度算出を選択し、小領域の数が閾値以下である場合には、絵柄以外の特徴量による類似度算出を選択する段階と、絵柄の特徴量による類似度算出が選択された場合に、絵柄に関する特徴量を用いて、第１の画像と第２の画像との間の第１の類似度を算出する段階と、絵柄以外の特徴量による類似度算出が選択された際に、絵柄以外に関する特徴量を用いて、第１の画像と第２の画像との間の第２の類似度を算出する段階と、第１の類似度または第２の類似度に基づいて、第１の画像と第２の画像とが同一内容の画像とみなせるか否かを識別する段階と、を有する。

本発明の範疇には、前述した本発明による各画像識別方法をコンピュータに実施させるためのプログラムや、そのようなプログラムからなるプログラムプロダクト、そのようなプログラムを格納した記録媒体、そのようなプログラムを伝送する伝送媒体も含まれる。

本発明によれば、ユーザに負担をかけることなく、加工処理による部分的に変化している画像や、特徴的な絵柄が少ない平坦な画像に対しても、画像を正しく識別するに十分な類似度算出性能が得られる。

本発明の第１の実施形態の画像識別システムの構成例を示すブロック図である。 エッジ方向パターンの算出に用いるフィルタを説明する図である。 図１に示す画像識別システムの動作例を示すフローチャートである。 本発明の第２の実施形態の画像識別システムの構成例を示すブロック図である。 図４に示す画像識別システムの動作例を示すフローチャートである。 本発明の第３の実施形態の画像識別システムの構成例を示すブロック図である。 図５に示す画像識別システムの動作例を示すフローチャートである。 本発明の第４の実施形態の画像識別システムの構成例を示すブロック図である。 図５に示す画像識別システムの動作例を示すフローチャートである。 本発明の第５の実施形態の画像識別システムの構成例を示すブロック図である。 図１０に示す画像識別システムの動作例を示すフローチャートである。

符号の説明

１ 問合せ画像特徴量抽出処理部
２ 参照画像特徴量記憶部
３，４，５，６，７ 問合せ画像識別処理部
１１ 画像分割部
１２ 小領域特徴量抽出部
３１，４２ 比較対象小領域選定部
３２ 小領域類似度算出部
３３，５３ 画像識別部
４１ 特徴的小領域数カウント部
５１ 絵柄類似度算出部
５２ 色類似度算出部
７１ 類似度算出方法切替部
７２ 第２の類似度算出部

以下に説明する本発明の各実施の形態において、識別対象である２つの画像をそれぞれ問合せ画像、参照画像と呼ぶ。ここで、入力として与えられる画像を問合せ画像とし、このような問合せ画像との識別対象としてあらかじめ登録される画像を参照画像とする。

第１の実施形態：
図１に示す本発明の第１の実施形態による画像識別システムは、大別すると、問合せ画像から特徴量を生成する問合せ画像特徴量抽出処理部１と、参照画像の特徴量を格納する参照画像特徴量記憶部２と、問合せ画像を識別する問合せ画像識別処理部３とを備えている。問合せ画像特徴量抽出処理部１は、画像分割部１１と小領域特徴量抽出部１２とを備えている。問合せ画像識別処理部３は、比較対象小領域選定部３１と小領域類似度算出部３２と画像識別部３３とを備えている。

画像識別部１１には問合せ画像が入力として与えられ、Ｎ，Ｍをいずれも自然数として、画像分割部１１は、入力として与えられた画像をＮ×Ｍの小領域に分割する。小領域特徴量抽出部１２は、画像分割部１１により分割された画像から各小領域の特徴量を抽出する。以下の説明において、問合せ画像の各小領域の特徴量をまとめて問合せ画像特徴量と呼ぶ。

参照画像特徴量記憶部２は、あらかじめ抽出した参照画像の各小領域の特徴量を記憶する。以下の説明において、参照画像の各小領域の特徴量をまとめて参照画像特徴量と呼ぶ。なお、本実施の形態では、問合せ画像特徴量抽出処理部１におけるものと同様の手法で、参照画像を入力として与え、参照画像から各小領域の特徴量をあらかじめ抽出しておいてもよい。

比較対象小領域選定部３１は、問合せ画像特徴量及び参照画像特徴量のうちいずれか一方または双方を参照して、画像類似度の比較対象とする小領域を選定する。小領域類似度算出部３２は、比較対象小領域選定部３１により比較対象として選定された小領域について、問合せ画像と参照画像の対応する小領域の特徴量を用いて小領域ごとの類似度を算出する。以下の説明において、小領域ごとの類似度を小領域類似度と呼ぶ。画像識別部３３は、小領域類似度算出部３２により算出された各小領域類似度から画像全体の類似度を算出し、算出結果に基づいて画像を識別する。ここで「識別する」とは、識別対象である２つの画像が同一内容の画像とみなせるか否かを判定することをいう。「同一内容」とは、加工処理が施されていないとする元の画像と比較した際に所定の基準を超える類似度が得られることを指す。例えば、元の画像からテロップ重畳や一部切り抜き、一部切り出し、背景色変更などの加工処理を施した画像は、同一内容の画像に相当する。

本実施形態の画像識別システムにおいて、参照画像特徴量記憶部２は、記憶装置によって実現される。そのような記憶装置は、例えば、コンピュータシステムが備える記憶装置である。画像分割部１１、小領域特徴量抽出部１２、比較対象小領域選定部３１、小領域類似度算出部３２、及び画像識別部３３は、個別の装置として設けてもよいし、あるいは、プログラムに従って動作するＣＰＵによって実現されるようにしてもよい。その場合、プログラムは、ＣＰＵに接続する記憶装置内に格納される。すなわち、記憶装置を備えたコンピュータを用いて本実施形態の画像識別システムを構成することができる。

次に、小領域特徴量抽出部１２における小領域の特徴量の抽出方法について説明する。ここでは、エッジ方向パターンを特徴量として用いた場合を例にして説明する。エッジ方向パターンとは、画像中の濃淡の変化であるエッジの方向を、その方向を基準に複数のパターンに分類したものを指す。特徴量の抽出は、まず、小領域の輝度値からなる画像を２画素×２画素の縮小画像に変換する。次に、エッジ検出フィルタを用いて各縮小画像におけるエッジの強度を算出する。エッジ検出フィルタとは、画像中のエッジを検出するためのフィルタであって、ラプラシアンフィルタやガウシアンフィルタなどが適用可能である。その算出結果から、各ブロックが、合計１１種類のエッジ方向パターン（パターンＡ〜Ｊ）のうちのいずれに分類されるかを判定する。具体的には、まず、２画素×２画素の縮小画像に対して、図２に示す１０種類のフィルタ（Ａ：４５度、Ｂ：９０度、Ｃ：１３５度、Ｄ：１８０度、Ｅ：−１３５度、Ｆ：−９０度、Ｇ：−４５度、Ｈ：０度、Ｉ：非方向１、Ｊ：非方向２）を適用し、以下の式（１）を用いて各フィルタにおけるエッジの強度ｓを求める。式（１）において、縮小画像における各画素の画素値を、左上画素、右上画素、左下画素、右下画素の順に［ａ１，ａ２，ａ３，ａ４］としている。フィルタ行列の各要素の値を、左上要素、右上要素、左下要素、右下要素の順に［ｂ１，ｂ２，ｂ３，ｂ４］とする。

強度ｓ＝ａ１・ｂ１＋ａ２・ｂ２＋ａ３・ｂ３＋ａ４・ｂ４ （１）

次に、各フィル タにおけるエッジの強度ｓを比較し、最大強度を示すフィルタがどれであるかを求める。求めた最大強度がある一定の閾値より大きい場合には、最大強度を示すフィルタに該当するエッジ方向パターン（パターンＡ〜Ｊ）を特徴量として割り当て、閾値以下である場合には、エッジなし（パターン０）を特徴量として割り当てる。

特徴量としては、エッジ方向パターンを用いる以外にも、テクスチャ情報、形状情報、動き情報を用いてもよい。特徴量は、特徴的な絵柄を含むか否かを判定できるような情報であれば、これらに限定されるものではなく、装置の計算性能や保持する画像情報に応じて、適宜に選択することが可能である。

本実施形態において、問合せ画像及び参照画像は、それぞれ、複数の画像列から構成されていてもよい。そのような場合には、各画像について同様に特徴量を算出するか、または特徴量生成対象とする画像を１つまたは複数枚選定した上で、その選定された画像における特徴量を算出してもよい。

次に、比較対象小領域選定部３１における小領域選定の基準について説明する。比較対象小領域選定部３１は、問合せ画像特徴量及び参照画像特徴量のうちいずれか一方または双方を参照し、特徴的な絵柄を含む小領域のみを比較対象として選定する。特徴的な絵柄を含むか否かの判定は、特徴量としてエッジ方向パターンを用いる場合では、各小領域に割り当てられた１１種類のエッジ方向パターンのうちエッジなし（パターン０）を割り当てられた小領域は特徴的な絵柄を含まないと判定し、残り１０種類のいずれかのエッジ方向パターン（パターンＡ〜Ｊ）を割り当てられた小領域は特徴的な絵柄を含むと判定する。

特徴量としてエッジ方向パターン以外を用いる場合には、例えば、テクスチャ情報を用いる場合であれば平坦な領域を、形状情報を用いる場合であれば形状を含まない領域を、動き情報を用いる場合であれば動きをほとんど含まない領域を、特徴的な絵柄を含まないと判定して比較対象からはずすことも可能である。

小領域類似度算出部３２での問合せ画像と参照画像との小領域類似度の算出方法について説明する。小領域類似度の算出方法は、使用する特徴量に基づいて定められる。特徴量としてエッジ方向パターンを用いる場合には、各小領域ごとの類似度を“１”，“０”の２値判定結果として算出することができる。例えば、問合せ画像と参照画像の対応する小領域間の特徴量を比較し、エッジ方向パターンが一致する場合に１とし、不一致の場合に０とする。このように２値判定を用いる場合には、パターンの一致性を判定する処理のみで類似度を算出できるため、非常に高速に類似度計算を行うことが可能となる。また、２値判定結果として算出する方法以外にも、比較する２つのエッジ方向パターンが示す方向によって類似度を定める方法を用いてもよい。例えば、２つのエッジ方向パターンが同一である場合に１とし、２つのエッジ方向パターンがそれぞれ示す方向が正反対すなわち１８０度ずれている場合に０とし、４５度ずれている場合に０．７５、９０度ずれている場合には０．５、１３５度ずれている場合には０．２５とするなど、比較するエッジ方向パターン間でのずれが大きいほど類似度を低くする。この方法を用いる際には、２つのエッジ方向パターンとその組み合わせによって定まる類似度とをあらかじめ対応づけて記憶しておくと、参照する処理のみで類似度を決定することが可能になるため、非常に高速に類似度計算を行うことが可能となる。

画像識別部３３での画像類似度の算出方法及び算出結果に基づく識別方法について説明する。画像識別部３３は、問合せ画像と参照画像の各小領域類似度から画像類似度を算出し、その結果をもって２つの画像が同一内容であるか否かを判定することで画像を識別する。特徴量としてエッジ方向パターンを用いる場合、各小領域の類似度の合計を利用して一領域あたりの平均値を求め、その値を画像類似度とする。画像の識別には、画像類似度を閾値処理することによって判定する。閾値処理では、画像類似度が閾値よりも高い場合に２つの画像は同一内容であると判定し、閾値以下の場合に２つ画像は異なる内容であると判定する。

なお、問合せ画像及び参照画像が複数の画像列から構成される場合には、特徴量生成対象とした画像のすべてについて、小領域の選定、小領域類似度の算出を行い、特徴量生成対象とした画像の各小領域の類似度の合計を利用して一領域あたりの平均値を求め、その値を画像類似度とする。その画像類似度を閾値処理することによって、問合せ画像列と参照画像列とが同一内容であるか否かを判定してもよい。

次に、図３のフローチャートを参照して、本実施形態の画像識別システムの動作を説明する。図３において実線は処理の流れを示し、破線はデータの流れを示す。

まず、ステップＡ１において、問合せ画像が画像分割部１１に入力として与えられると、画像分割部１１は、ステップＡ２において、入力された問合せ画像を小領域に分割し、分割した画像を小領域特徴量抽出部１２に出力する。次に、小領域特徴量抽出部１２は、ステップＡ３において、分割された画像の各小領域ごとに特徴量を抽出し、抽出した特徴量を問合せ画像特徴量として比較対象小領域選定部３１及び小領域類似度算出部３２に出力する。

ステップＡ４において参照画像特徴量が比較対象小領域選定部３１に入力として与えられると、比較対象小領域選定部３１は、ステップＡ５において、問合せ画像特徴量及び参照画像特徴量のうちいずれか一方または双方を参照し、特徴的な絵柄を含む小領域のみを比較対象小領域として選定する。特徴量としてエッジ方向パターンを用いる場合、比較対象小領域選定部３１は、各小領域に割り当てられた１１種類のエッジ方向パターンのうち、エッジなし（パターン０）が割り当てられた小領域を比較対象から除外し、他の１０種類のエッジ方向パターン（パターンＡ〜Ｊ）のいずれかが割り当てられた小領域を比較対象として選定する。

次に、小領域類似度算出部３２は、ステップＡ６において、比較対象小領域選定部３１により選定された小領域について、問合せ画像と参照画像の対応する小領域間の類似度を小領域類似度として算出する。画像識別部３３は、ステップＡ７において、小領域類似度算出部３２により算出された小領域類似度を用いて、問合せ画像全体と参照画像全体との類似度を画像類似度として算出する。次に、画像識別部３３は、ステップＡ８において、算出した画像類似度を閾値処理することにより画像を識別する。最後に、画像識別部３３は、ステップＡ９において、問合せ画像の識別結果を出力する。

以上のように本実施形態の画像識別システムによれば、特徴的な絵柄を含む小領域のみを比較対象として類似度を算出することで、特徴的な絵柄が少ない画像を識別対象とする場合であっても、異なる内容の画像との画像類似度を低い値として算出し、同一内容の画像との画像類似度を高い値として算出することができる。また、加工処理により部分的に変化した画像を識別対象とする場合であっても、小領域単位で双方の特徴量を比較することで、加工処理によって変化した部分の影響を少なくして画像類似度を算出することができる。よって、ユーザに領域を指定する手間をかけさせることなく、特徴的な絵柄が少ない画像に対しても、加工処理による部分的に変化した画像に対しても、画像を正しく識別するに十分な類似度算出性能を得ることができる。また、本実施形態によれば、比較対象とする小領域を限定することができるため、画像類似度の算出にかかる処理時間を短縮することができ、高速な画像識別が可能である。

なお上述では、あらかじめ参照画像特徴量を記憶しておき、問合せ画像特徴量については問合せ画像を入力してその入力された画像から抽出する場合について説明したが、参照画像と問合せ画像をともに入力し、これらの入力された画像から参照画像特徴量と問合せ画像特徴量の両方を抽出するようにしてもよい。さらには、参照画像特徴量と問合せ画像特徴量の両方をあらかじめ記憶しておいてもよい。

上述した画像識別システムでは、小領域特徴量抽出部１２は、問合せ画像の各小領域の絵柄に関する特徴量を導出するために設けられている。比較対象小領域選定部３１は、問合せ画像と参照画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定し、この判定結果に基づいて、問合せ画像及び参照画像における比較対象とする小領域を選定するために設けられている。小領域類似度算出部３２及び画像識別部３３は、比較対象として選定された小領域毎に問合せ画像と参照画像との間の類似度を算出するために設けられている。画像識別部３３は、さらに、類似度に基づいて、問合せ画像と参照画像とが同一内容の画像とみなせるか否かを識別するためにも用いられている。

第２の実施形態：
図４に示す本発明の第２の実施形態の画像識別システムは、大別すると、問合せ画像特徴量抽出処理部１と参照画像特徴量記憶部２と問合せ画像識別処理部４とを備えている。問合せ画像特徴量抽出処理部１は、画像分割部１１と小領域特徴部１２とを備えている。問合せ画像識別処理部４は、特徴的小領域数カウント部４１と比較対象小領域選定部４２と小領域類似度算出部３２と画像識別部３３とを備えている。図４に示す画像識別システムは、図１に示した第１の実施形態の画像識別システムとは、比較対象小領域選定部の代わりに特徴的小領域数カウント部４１と比較対象小領域選定部４２とが設けられている点で相違する。

問合せ画像特徴量抽出処理部１は、第１の実施形態の場合と同様に、問合せ画像から各小領域の特徴量を抽出する。参照画像特徴量記憶部２は、あらかじめ抽出した参照画像の各小領域の特徴量を記憶する。なお、本実施形態でも、問合せ画像特徴量抽出処理部１におけるものと同様の手法で、参照画像を入力として与え、参照画像から各小領域の特徴量をあらかじめ抽出しておいてもよい。

特徴的小領域数カウント部４１は、問合せ画像特徴量及び参照画像特徴量のうちいずれか一方または双方を参照し、特徴的な絵柄を含む小領域の数をカウントする。比較対象小領域選定部４２は、特徴的小領域数カウント部４１により得られる特徴的な絵柄を含む小領域の数に基づいて、画像類似度の比較対象とする小領域を選定する。小領域類似度算出部３２は、第１の実施形態の場合と同様に、比較対象として選定された小領域について、小領域類似度を算出する。画像識別部３３は、小領域類似度算出部３２により算出された各小領域類似度から画像全体の類似度を算出し、算出結果に基づいて画像を識別する。

本実施形態の画像識別システムにおいて、参照画像特徴量記憶部２は、記憶装置によって実現される。画像分割部１１、小領域特徴量抽出部１２、特徴的小領域数カウント部４１、比較対象小領域選定部４２、小領域類似度算出部３２、及び画像識別部３３は、個別の装置として設けてもよいし、あるいは、プログラムに従って動作するＣＰＵによって実現されるようにしてもよい。その場合、プログラムは、ＣＰＵに接続する記憶装置内に格納される。すなわち、記憶装置を備えたコンピュータを用いて本実施形態の画像識別システムを構成することができる。

次に、比較対象小領域選定部４２での小領域選定の基準について説明する。比較対象小領域選定部４２は、特徴的小領域数カウント部４１により得られる特徴的な絵柄を含む小領域の数が一定の閾値以下である場合に、特徴的な絵柄を含む小領域のみを比較対象として選定する。特徴的な絵柄を含む小領域の数が一定の閾値より大きい場合には、全ての小領域を比較対象として選定する。なお、特徴的小領域数カウント部４１が行う特徴的な絵柄を含むか否かの判定は、第１の実施形態での比較対象小領域選定部３１における判定と同様に行われる。

次に、図５のフローチャートを参照して、第２の実施形態の画像識別システムの動作を説明する。図５において実線は処理の流れを示し、破線はデータの流れを示す。

まず、ステップＢ１において、問合せ画像が画像分割部１１に入力として与えられると、画像分割部１１は、ステップＢ２において、入力された問合せ画像を小領域に分割し、分割した画像を小領域特徴量抽出部１２に出力する。小領域特徴量抽出部１２は、ステップＢ３において、分割された画像から各小領域の特徴量を抽出し、抽出した特徴量を問合せ画像特徴量として特徴的小領域数カウント部４１及び小領域類似度算出部３２に出力する。

ステップＢ４において参照画像の各小領域の特徴量が特徴的小領域数カウント部４１に入力として与えられると、特徴的小領域数カウント部４１は、ステップＢ５において、問合せ画像特徴量及び参照画像特徴量のうちいずれか一方または双方を参照し、特徴的な絵柄を含む小領域の数をカウントする。比較対象小領域選定部４２は、ステップＢ６において、特徴的な絵柄を含む小領域の数が一定の閾値以上であるかどうかを判定する。特徴的な絵柄を含む小領域の数が一定の閾値以下の場合には、ステップＢ７において、比較対象小領域選定部４２は、特徴的な絵柄を含む小領域のみを比較対象として選定し、ステップＢ９に進む。一方、ステップＢ７において特徴的な絵柄を含む小領域の数が一定の閾値を超える場合には、比較対象小領域選定部４２は、ステップＢ８において、全ての小領域を比較対象として選定し、ステップＢ９に進む。

ステップＢ９において、小領域類似度算出部３２は、比較対象小領域選定部４２により選定された小領域について、問合せ画像と参照画像の対応する小領域間の類似度を小領域類似度として算出する。画像識別部３３は、ステップＢ１０において、小領域類似度算出部３２により算出された小領域類似度を用いて問合せ画像全体と参照画像全体との類似度を画像類似度として算出する。次に、ステップＢ１１において、画像識別部３３は、算出した画像類似度を閾値処理することにより画像を識別する。最後に、画像識別部３３は、ステップＢ１２において、問合せ画像の識別結果を出力する。

以上のように第２の実施形態の画像識別システムによれば、第１の実施形態の画像識別システムと同様に、ユーザに領域を指定する手間をかけさせることなく、特徴的な絵柄が少ない画像に対しても、加工処理による部分的に変化した画像に対しても、画像を正しく識別するに十分な類似度算出性能を得ることができる。また、画像類似度の算出にかかる処理時間を短縮することができ、高速な画像の識別が可能である。

第２の実施形態では、特徴的な絵柄を含まない領域が少ない画像、すなわち特徴的な絵柄が大部分を占める画像を識別する場合には、特徴的な絵柄を含まないこと自体を画像の特徴として用いるため、より精度の高い画像識別が可能となる。他の点に関しては、第２の実施形態の画像識別システムは、第１の実施形態の画像識別システムと同様である。

第２の実施形態の画像識別システムにおいて、特徴的小領域数カウント部４１は、問合せ画像と参照画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定し、この判定結果に基づいて、絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントするために設けられている。比較対象小領域選定部４２は、カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、全ての小領域を選定し、小領域の数が閾値以下である場合には、特徴的小領域数カウント部４１によって特徴量が所定の条件を満たしていると判定された小領域を選定するために設けられている。

第３の実施形態：
図６に示す本発明の第３の実施形態の画像識別システムは、大別すると、問合せ画像特徴量抽出処理部１と参照画像特徴量記憶部２と問合せ画像識別処理部５とを備えている。問合せ画像特徴量抽出処理部１は、画像分割部１１と小領域特徴部１２とを備えている。問合せ画像識別処理部５は、比較対象小領域選定部３１と絵柄類似度算出部５１と色類似度算出部５２と画像識別部５３とを備えている。図６に示す画像識別システムは、図１に示した第１の実施形態の画像識別システムとは、小領域類似度算出部の代わりに絵柄類似度算出部５１と色類似度算出部５２とが設けられるとともに、画像識別部の機能が異なる点で、異なっている。また、小領域特徴量抽出部１２が抽出する特徴量の種類も、第１の実施形態の場合とは異なっている。

画像分割部１１には問合せ画像が入力として与えられており、Ｎ，Ｍを自然数として、画像分割部１１は、入力として与えられた画像をＮ×Ｍの小領域に分割する。小領域特徴量抽出部１２は、画像分割部１１により分割された画像から各小領域の、絵柄特徴量と色特徴量を含む２種類以上の異なる特徴量を抽出する。参照画像特徴量記憶部２は、あらかじめ抽出した参照画像の各小領域の特徴量を記憶する。なお、本実施形態でも、問合せ画像特徴量抽出処理部１におけるものと同様の手法で、参照画像を入力として与え、参照画像から各小領域の絵柄特徴量と色特徴量を含む２種類以上の異なる特徴量をあらかじめ抽出しておいてもよい。比較対象小領域選定部３１は、問合せ画像の絵柄特徴量及び参照画像の絵柄特徴量のうちいずれか一方または双方を参照して、絵柄類似度の比較対象とする小領域を選定する。

絵柄類似度算出部５１は、絵柄類似度の比較対象として選定された小領域について、問合せ画像と参照画像の対応する小領域の絵柄特徴量を用いて小領域類似度を算出する。色類似度算出部５２は、絵柄類似度の比較対象として選定されなかった小領域について、問合せ画像と参照画像の対応する小領域の色特徴量を用いて小領域類似度を算出する。なお、図示していないが、特徴量を３種類以上抽出した場合には、それぞれ特徴量に応じた特徴量算出部が類似度を算出する。画像識別部５３は、絵柄類似度算出部５１、色類似度算出部５２及び他の特徴量算出部により算出された各小領域類似度から画像類似度を算出し、算出結果に基づいて画像を識別する。

本実施形態の画像識別システムにおいて、参照画像特徴量記憶部２は、記憶装置によって実現される。画像分割部１１、小領域特徴量抽出部１２、比較対象小領域選定部３１、絵柄類似度算出部５１、色類似度算出部５２、及び画像識別部５３は、個別の装置として設けてもよいし、あるいは、プログラムに従って動作するＣＰＵによって実現されるようにしてもよい。その場合、プログラムは、ＣＰＵに接続する記憶装置内に格納される。すなわち、記憶装置を備えたコンピュータを用いて本実施形態の画像識別システムを構成することができる。

次に、本実施形態における小領域特徴量抽出部１２での各小領域の特徴量の抽出方法について説明する。ここでは、絵柄特徴量としてエッジ方向パターンを用いた場合と、色特徴量としてカラーヒストグラムを用いた場合とを例にして説明する。エッジ方向パターンを用いた絵柄特徴量の抽出方法は、第１の実施形態の場合と同様である。

カラーヒストグラムを用いた色特徴量の抽出は、まず、色空間をｎ個に分解し、各小領域に含まれる各画素値が分解されたｎ個のうちのいずれの空間に属するかを集計する。各空間に属する画素数を小領域に含まれる画素数で正規化した値の集合を色特徴量として用いる。絵柄特徴量としては、エッジ方向パターンの他に、テクスチャ情報、形状情報、動き情報などを使用することが可能である。色情報としては、カラーヒストグラムの他に、代表色、国際標準規格ＩＳＯのＩＥＣ１５９３８（ＭＰＥＧ−７とも呼ばれる）で規定されているＣＯＬＯＲ ＬＡＹＯＵＴやＤＯＭＩＮＡＮＴ ＣＯＬＯＲ、ＳＣＡＬＡＢＬＥ ＣＯＬＯＲ、ＣＯＬＯＲ ＳＴＲＵＣＴＵＲＥなどが使用可能である。３種類目以降に用いる他の特徴量としては、模様情報、またはテクスチャ情報、形状情報、動き情報などが使用可能である。

色類似度算出部５２での問合せ画像の色特徴量と参照画像の色特徴量との小領域類似度の算出方法について説明する。小領域類似度の算出方法は、使用する色特徴量により定める。例えば、色特徴量としてカラーヒストグラムを用いる場合、カラーヒストグラム間の相関を算出することにより求められる。具体的には、カラーヒストグラムの各空間における値の差分を足し合わせたものを用いる。絵柄類似度算出部５１での問合せ画像の絵柄特徴量と参照画像の絵柄特徴量との小領域類似度の算出方法は、第１の実施形態において小領域類似度を算出する方法と同様である。

画像識別部５３での画像類似度の算出方法について説明する。画像類似度の算出結果に基づく識別方法については、第１の実施形態と同様である。

画像識別部５３は、各類似度算出部が算出した問合せ画像と参照画像の各小領域類似度から画像類似度を算出する。具体的には、各特徴量における小領域類似度を同じ範囲（０〜１）に正規化した上で、その合計を利用して一領域あたりの平均値を求め、その値を画像類似度とする。例えば、絵柄特徴量と色特徴量における各小領域類似度による画像類似度Ｓは、以下の式（２）を用いて求める。ここで、比較対象小領域選定部３１により選定された絵柄類似度の比較対象の小領域数をｅとし、選定されなかった小領域数をｃとする。絵柄類似度算出部５１により算出された絵柄特徴量の各小領域類似度の合計をｅで割った値を絵柄類似度Ｓｅとし、色類似度算出部５２により算出された色特徴量の各小領域類似度の合計をｃで割った値を色類似度Ｓｃとする。

画像類似度Ｓ＝（Ｓｅ＋Ｓｃ）／２ （２）

次に、図７のフローチャートを参照して、第３の実施形態の画像識別システムの動作を説明する。図７において実線は処理の流れを示し、破線はデータの流れを示す。

まず、ステップＣ１において、問合せ画像が画像分割部１１に入力として与えられると、画像分割部１１は、ステップＣ２において、入力された問合せ画像を小領域に分割し、分割した画像を小領域特徴量抽出部１２に出力する。小領域特徴量抽出部１２は、ステップＣ３において、分割された画像から各小領域の、絵柄特徴量と色特徴量を含む２種類以上の特徴量を抽出し、抽出した特徴量を問合せ画像特徴量として比較対象小領域選定部３１、絵柄類似度算出部５１及び色類似度算出部５２に出力する。

参照画像特徴量がステップＣ４において比較対象小領域選定部３１に入力として与えられると、比較対象小領域選定部３１は、ステップＣ５において、問合せ画像及び参照画像のうちいずれか一方または双方の絵柄特徴量を参照し、特徴的な絵柄を含む小領域のみを絵柄類似度の比較対象小領域として選定する。

絵柄類似度算出部５１は、ステップＣ６において、比較対象小領域選定部３１により選定された小領域について、問合せ画像と参照画像の対応する小領域間の絵柄特徴量の類似度を小領域類似度として算出する。色類似度算出部５２は、ステップＣ７において、比較対象小領域選定部３１により選定されなかった小領域について、問合せ画像と参照画像の対応する小領域間の色特徴量の類似度を小領域類似度として算出する。また、他の特徴量がある場合には、色類似度の算出の場合と同様に、比較対象小領域選定部３１により選定されなかった小領域について、小領域類似度が算出される。画像識別部５３は、ステップＣ８において、各特徴量に応じた小領域類似度の算出処理（ステップＣ６，Ｃ７）により算出された各小領域類似度を用いて、問合せ画像全体と参照画像全体との類似度を画像類似度として算出する。次に、画像識別部５３は、ステップＣ９において、算出した画像類似度を閾値処理することにより画像を識別する。最後に、ステップＣ１０において、画像識別部５３は、問合せ画像の識別結果を出力する。

以上説明したように、この第３の実施形態の画像識別システムによれば、特徴的な絵柄を含む小領域における絵柄特徴量の類似度だけでなく、特徴的な絵柄を含まない小領域において特徴的であると考えられる特徴量、例えば色特徴量の類似度を併用して画像類似度を算出するため、絵柄以外を特徴とする画像に対しても十分な類似度算出性能を得ることができる。他の点に関しては、この第３の実施形態の画像識別システムは、第１及び第２の実施形態の画像識別システムと同様である。

本実施形態の画像識別システムにおいて、絵柄類似度算出部５１は、絵柄の比較対象として選定された小領域毎に、小領域の絵柄に関する特徴量を用いて、問合せ画像と参照画像との間の絵柄の類似度を算出するために設けられている。色類似度算出部５２は、絵柄の比較対象として選定されなかった小領域毎に、小領域の色に関する特徴量を用いて、問合せ画像と参照画像との間の色の類似度を算出するために設けられている。画像識別部５３は、絵柄の類似度または色の類似度に基づいて、問合せ画像と参照画像とが同一内容の画像とみなせるか否かを識別するために設けられている。

第４の実施形態：
図８に示す本発明の第４の実施形態の画像識別システムは、大別すると、問合せ画像特徴量抽出処理部１と参照画像特徴量記憶部２と問合せ画像識別処理部６とを備えている。問合せ画像特徴量抽出処理部１は、画像分割部１１と小領域特徴部１２とを備えている。問合せ画像識別処理部６は、特徴的小領域数カウント部４１と比較対象小領域選定部４２と絵柄類似度算出部５１と色類似度算出部５２と画像識別部５３とを備えている。図８に示す画像識別システムは、図４に示した第２の実施形態における画像識別システムとは、小領域類似度算出部の代わりに絵柄類似度算出部５１と色類似度算出部５２とが設けられるとともに、画像識別部の機能が異なる点で、異なっている。小領域特徴量抽出部１２が抽出する特徴量の種類も、第３の実施形態の場合と同様のものであって、第２の実施形態の場合とは異なっている。

問合せ画像特徴量抽出処理部１は、第３の実施形態の場合と同様に、問合せ画像から各小領域の、絵柄特徴量と色特徴量を含む２種類以上の異なる特徴量を抽出する。参照画像特徴量記憶部２は、あらかじめ抽出した参照画像の各小領域の特徴量を記憶する。なお、本実施形態でも、問合せ画像特徴量抽出処理部１におけるものと同様の手法で、参照画像を入力として与え、参照画像から各小領域の絵柄特徴量と色特徴量を含む２種類以上の異なる特徴量をあらかじめ抽出しておいてもよい。

特徴的小領域数カウント部４１は、第２の実施形態の場合と同様に、問合せ画像の絵柄特徴量及び参照画像の絵柄特徴量のうちいずれか一方または双方を参照し、特徴的な絵柄を含む小領域の数をカウントする。比較対象小領域選定部４２は、第２の実施形態の場合と同様に、特徴的小領域数カウント部４１により得られる特徴的な絵柄を含む小領域の数に基づいて、絵柄類似度の比較対象とする小領域を選定する。

絵柄類似度算出部５１は、第３の実施形態の場合と同様に、絵柄類似度の比較対象として選定された小領域について、問合せ画像と参照画像の対応する小領域の絵柄特徴量を用いて小領域類似度を算出する。色類似度算出部５２は、第３の実施形態の場合と同様に、絵柄類似度の比較対象として選定されなかった小領域について、問合せ画像と参照画像の対応する小領域の色特徴量を用いて小領域類似度を算出する。なお、図示していないが、特徴量を３種類以上抽出した場合には、それぞれ特徴量に応じた類似度算出部が類似度を算出する。画像識別部５３は、第３の実施形態の場合と同様に、絵柄類似度算出部５１、色類似度算出部５２及び他の類似度算出部により算出された各小領域類似度から画像類似度を算出し、算出結果に基づいて画像を識別する。

本実施形態の画像識別システムにおいて、参照画像特徴量記憶部２は、記憶装置によって実現される。画像分割部１１、小領域特徴量抽出部１２、特徴的小領域数カウント部４１、比較対象小領域選定部４２、絵柄類似度算出部５１、色類似度算出部５２、及び画像識別部５３は、個別の装置として設けてもよいし、あるいは、プログラムに従って動作するＣＰＵによって実現されるようにしてもよい。その場合、プログラムは、ＣＰＵに接続する記憶装置内に格納される。すなわち、記憶装置を備えたコンピュータを用いて本実施形態の画像識別システムを構成することができる。

次に、図９のフローチャートを参照して、第４の実施形態の画像識別システムの動作を説明する。図９において実線は処理の流れを示し、破線はデータの流れを示す。

まず、ステップＤ１において、問合せ画像が画像分割部１１に入力として与えられると、画像分割部１１は、ステップＤ２において、入力された問合せ画像を小領域に分割し、分割した画像を小領域特徴量抽出部１２に出力する。小領域特徴量抽出部１２は、ステップＤ３において、分割された画像から各小領域の、絵柄特徴量と色特徴量を含む２種類以上の特徴量を抽出し、抽出した特徴量を問合せ画像特徴量として、特徴的小領域数カウント部４１、絵柄類似度算出部５１及び色類似度算出部５２に出力する。

参照画像特徴量がステップＤ４において特徴的小領域数カウント部４１に入力として与えられると、特徴的小領域数カウント部４１は、ステップＤ５において、問合せ画像及び参照画像のうちいずれか一方または双方の絵柄特徴量を参照し、特徴的な絵柄を含む小領域の数をカウントする。比較対象小領域選定部４２は、ステップＤ６において、特徴的な絵柄を含む小領域の数が一定の閾値以下であるかどうかを判定する。ここで、特徴的な絵柄を含む小領域の数が一定の閾値以下である場合には、比較対象小領域選定部４２は、ステップＤ７において、特徴的な絵柄を含む小領域のみを比較対象として選定し、ステップＤ９に進む。一方、ステップＤ６において特徴的な絵柄を含む小領域の数が一定の閾値を超える場合には、比較対象小領域選定部４２は、ステップＤ８において、全ての小領域を比較対象として選定し、ステップＤ９に進む。

ステップＤ９において、絵柄類似度算出部５１は、比較対象小領域選定部４２により選定された小領域について、問合せ画像と参照画像の対応する小領域間の絵柄特徴量の類似度を小領域類似度として算出する。色類似度算出部５２は、ステップＤ１０において、比較対象小領域選定部４２により選定された小領域について、問合せ画像と参照画像の対応する小領域間の色特徴量の類似度を小領域類似度として算出する。また、他の特徴量がある場合には、色類似度の算出の場合と同様に、比較対象小領域選定部４２により選定された小領域について、小領域類似度が算出される。画像識別部５３は、各特徴量に応じた小領域類似度の算出処理（ステップＤ９，Ｄ１０）により算出された各小領域類似度を用いて、ステップＤ１１において、問合せ画像全体と参照画像全体との類似度を画像類似度として算出する。次に、画像識別部５３は、ステップＤ１２において、算出した画像類似度を閾値処理することにより画像を識別する。最後に、画像識別部５３は、ステップＤ１３において、問合せ画像の識別結果を出力する。

以上のように、本実施形態の画像識別システムによれば、第２の実施形態の画像識別システムと同様に、特徴的な絵柄を含まない領域が少ない画像、すなわち特徴的な絵柄が大部分を占める画像を識別する場合には、特徴的な絵柄を含まないこと自体を画像の特徴として用いるため、精度の高い画像識別が可能となる。さらに、特徴的な絵柄を含まない領域が多い画像であっても、特徴的な絵柄を含む小領域における絵柄特徴量の類似度だけでなく、特徴的な絵柄を含まない小領域において特徴的であると考えられる特徴量、例えば色特徴量の類似度を併用して画像類似度を算出するため、より精度の高い画像識別が可能となる。他の点に関しては、第４の実施形態の画像識別システムは、第１乃至第３の実施形態の画像識別システムと同様である。

第５の実施の形態：
図１０に示す本発明の第５の実施形態の画像識別システムは、大別すると、問合せ画像特徴量抽出処理部１と参照画像特徴量記憶部２と問合せ画像識別処理部７とを備えている。問合せ画像特徴量抽出処理部１は、画像分割部１１と小領域特徴部１２とを備えている。問合せ画像識別処理部７は、特徴的小領域数カウント部４１と類似度算出方法切替部７１と比較対象小領域選定部４２と小領域類似度算出部３２と画像識別部３３と第２の類似度算出部７２とを備えている。図１０に示す画像識別システムは、図４に示した第２の実施形態の画像識別システムとは、類似度算出方法切替部７１、第２の類似度算出部７２が追加されている点で異なっている。また、小領域特徴量抽出部１２が抽出する特徴量の種類も第２の実施形態のものとは異なっている。

問合せ画像特徴量抽出処理部１は、第３の実施形態の場合と同様に、問合せ画像から各小領域の、絵柄特徴量を含む２種類以上の異なる特徴量を抽出する。参照画像特徴量記憶部２は、あらかじめ抽出した参照画像の各小領域の特徴量を記憶する。なお、本実施形態でも、問合せ画像特徴量抽出処理部１におけるものと同様の手法で、参照画像を入力として与え、参照画像から各小領域の絵柄特徴量と色特徴量を含む２種類以上の異なる特徴量をあらかじめ抽出しておいてもよい。

特徴的小領域数カウント部４１は、第２の実施形態の場合と同様に、問合せ画像の絵柄特徴量及び参照画像の絵柄特徴量のうちいずれか一方または双方を参照し、特徴的な絵柄を含む小領域の数をカウントする。

類似度算出方法切替部７１は、特徴的小領域数カウント部４１により得られた特徴的な絵柄を含む小領域の数に基づいて、類似度算出方法を切り替える。類似度算出方法切替部７１が絵柄特徴量を類似度算出に選んだ場合において、比較対象小領域選定部４２は、第２の実施形態の場合と同様に、特徴的小領域数カウント部４１により得られる特徴的な絵柄を含む小領域の数に基づいて、絵柄類似度の比較対象とする小領域を選定し、小領域類似度算出部３２は、第１の実施形態の場合と同様に、比較対象として選定された小領域について、絵柄特徴量を用いて小領域類似度を算出する。

類似度算出方法切替部７１が絵柄特徴量以外の特徴量を類似度算出に選んだ場合において、第２の類似度算出部７２は、主に２種類目の特徴量を用いて、問合せ画像と参照画像との画像類似度を算出する。なお、図示していないが、特徴量を３種類以上抽出した場合には、特徴量に応じた類似度算出部が、主にその類似度算出部自体に応じた特徴量を用いて、問合せ画像と参照画像との画像類似度を算出する。

画像識別部３３は、小領域類似度算出部３２により各小領域類似度が与えられた場合には画像類似度を算出する。画像識別部３３は、算出した画像類似度または第２の類似度算出部７２及び他の類似度算出部により算出された画像類似度に基づいて画像を識別する。

本実施形態の画像識別システムにおいて、参照画像特徴量記憶部２は、記憶装置によって実現される。画像分割部１１、小領域特徴量抽出部１２、特徴的小領域数カウント部４１、類似度算出方法切替部７１、比較対象小領域選定部４２、小領域類似度算出部３２、画像識別部３３、及び第２の類似度算出部７２は、個別の装置として設けてもよいし、あるいは、プログラムに従って動作するＣＰＵによって実現されるようにしてもよい。その場合、プログラムは、ＣＰＵに接続する記憶装置内に格納される。すなわち、記憶装置を備えたコンピュータを用いて本実施形態の画像識別システムを構成することができる。

類似度算出方法切替部７１での類似度算出方法の切替方法について説明する。類似度算出方法切替部７１は、特徴的小領域数カウント部４１により得られる特徴的な絵柄を含む小領域の数が一定の閾値より大きい場合に、絵柄特徴量を用いた類似度算出方法を選択する。特徴的な絵柄を含む小領域の数が一定の閾値以下の場合には、絵柄特徴量以外の第２の特徴量を用いた第２の類似度算出方法を選択する。

第２の類似度算出部７２が行う第２の類似度算出方法について説明する。第２の類似度算出方法の内容は、使用する特徴量により定められる。例えば、色特徴量を用いた場合には、第２の類似度度算出方法として、絵柄特徴量で行った算出方法と同様に、色特徴のある小領域を選定して、選定された小領域についてのみ色特徴量の類似度を求め、その小領域類似度に基づいて画像類似度を求めてもよい。または、色特徴のある小領域の数をカウントし、その小領域の数に応じて類似度の比較対象とする小領域を選定して、選定された小領域の類似度を求め、その小領域類似度に基づいて画像類似度を求めてもよい。または、絵柄特徴量による類似度を算出した上で、類似している画像についてのみさらに色特徴量を用いて類似度を求めてもよい。なお、特徴量を３種類以上抽出した場合の他の類似度算出部が行う類似度算出方法についても同様である。

次に、図１１のフローチャートを参照して、第５の実施形態の画像識別システムの動作を説明する。図１１において実線は処理の流れを示し、破線はデータの流れを示す。

まず、ステップＥ１において、問合せ画像が画像分割部１１に入力として与えられると、画像分割部１１は、ステップＥ２において、入力された問合せ画像を小領域に分割し、分割した画像を小領域特徴量抽出部１２に出力する。小領域特徴量抽出部１２は、ステップＥ３において、分割された画像から各小領域の、絵柄特徴量を含む２種類以上の特徴量を抽出し、抽出した特徴量を問合せ画像特徴量として特徴的小領域数カウント部４１、小領域類似度算出部３２及び第２の類似度算出部７２に出力する。参照画像特徴量がステップＥ４において特徴的小領域数カウント部４１に入力として与えられると、特徴的小領域数カウント部４１は、ステップＥ５において、問合せ画像及び参照画像のうちいずれか一方または双方の絵柄特徴量を参照し、特徴的な絵柄を含む小領域の数をカウントする。

類似度算出方法切替部７１は、ステップＥ６において、特徴的小領域数カウント部４１により得られた特徴的な絵柄を含む小領域の数に基づいて類似度算出方法を切り替える。具体的には、特徴的な絵柄を含む小領域の数が一定の閾値ｔｈ１より大きい場合に、絵柄特徴量を用いた類似度計算を行うと判断し、特徴的な絵柄を含む小領域の数が一定の閾値ｔｈ１以下の場合に、色特徴量など、他の特徴量を用いて類似度算出を行うと判断する。

ステップＥ６において類似度算出方法切替部７１が絵柄特徴量を用いて類似度計算を行うと判断した場合には、対象小領域選定部４２は、ステップＥ７において、特徴的な絵柄を含む小領域の数が一定の閾値ｔｈ２以下であるかどうかを判定する。特徴的な絵柄を含む小領域の数が一定の閾値ｔｈ２以下である場合には、対象小領域選定部４２は、ステップＥ７において、特徴的な絵柄を含む小領域のみを比較対象として選定し、ステップＥ１０に進む。ステップＥ７において特徴的な絵柄を含む小領域の数が一定の閾値より大きい場合には、対象小領域選定部４２は、ステップＥ９において、全ての小領域を比較対象として選定し、ステップＥ１０に進む。

ステップＥ１０において、小領域類似度算出部３２は、比較対象小領域選定部４２により選定された小領域について、問合せ画像と参照画像の対応する小領域間の絵柄特徴量の類似度を小領域類似度として算出する。画像識別部３３は、ステップＥ１１において、小領域類似度算出部３２により算出された小領域類似度を用いて問合せ画像全体と参照画像全体との類似度を画像類似度として算出する。その後、処理はステップＥ１３に進む。

ステップＥ６において類似度算出方法切替部７１が他の特徴量を用いて類似度計算を行うと判断した場合には、ステップＥ１２において、第２の類似度算出部７２は、主に２種類目の特徴量、例えば、カラーヒストグラムなどの色特徴量を用いて、問合せ画像と参照画像との画像類似度を算出する。その後、処理はステップＥ１３に進む。

ステップＥ１３では、画像識別部３３は、ステップＥ１１，Ｅ１２により算出した画像類似度を閾値処理することにより画像を識別する。最後に、画像識別部３３は、ステップＥ１４において、問合せ画像の識別結果を出力する。

以上説明した第５の実施形態での処理において、特徴量を３種類以上抽出した場合には、特徴的小領域数カウント部４１が各特徴量に応じた特徴的とされる小領域の数をカウントし、類似度算出方法切替部７１は、それぞれの特徴量に応じた特徴的とされる小領域の数に応じて、類似度算出方法を切り替えても良い。具体的には、特徴的な絵柄を含む小領域の数が一定の閾値以下の場合は、第２の特徴量に応じた特徴的とされる小領域の数を参照する。第２の特徴量に応じた特徴的とされる小領域の数が一定の閾値以外の場合は、第３の特徴量による類似度算出方法に切り替えてもよい。

以上のように、第５の実施形態の画像識別システムによれば、特徴的な絵柄を含む小領域の数によって、絵柄特徴量を用いた方が効果的か、他の特徴量を用いた方が効果的かを特徴的な絵柄を含む小領域の数によって判断することで、画像の性質に合わせて類似度算出方法を切り替えることができ、より精度の高い画像識別が可能となる。他の点に関しては、第５の実施形態の画像識別システムは、第１乃至第４の実施形態の画像識別システムと同様である。

第５の実施形態の画像識別システムにおいて、特徴的小領域数カウント部４１及び類似度算出方法切替部７１は、カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、絵柄の特徴量による類似度算出を選択し、小領域の数が閾値以下である場合には、絵柄以外の特徴量による類似度算出を選択するために設けられている。比較対象小領域選定部４２、小領域類似度算出部３２及び画像識別部３３は、絵柄の特徴量による類似度算出が選択された場合に、絵柄に関する特徴量を用いて、問合せ画像と参照画像との間の第１の類似度を算出するために用いられている。第２の類似度算出部７２は、記絵柄以外の特徴量による類似度算出が選択された場合に、絵柄以外に関する特徴量を用いて、問合せ画像と参照画像との間の第２の類似度を算出するために用いられている。

本発明は、問合せ画像と同一内容の画像を識別または検索するためのシステムあるいはコンピュータプログラムといった用途に適用できる。また本発明は、同一内容画像の識別または検索によるコンテンツ利用に関し、画像識別による放送確認、生の映像素材とこれらの生素材にテロップ挿入など編集された映像素材との間の対応づけ、著作権管理などといった用途にも適用可能である。

Claims (24)

1. 入力画像として入力される問合せ画像を分割した小領域の特徴量と、あらかじめ特徴量が記憶されている参照画像におけるあらかじめ分割された小領域の特徴量とを比較することによって、前記問合せ画像と前記参照画像とが同一内容の画像とみなせるか否かを識別する画像識別システムであって、
   前記参照画像の各小領域の絵柄に関する特徴量をあらかじめ記憶する参照画像特徴量記憶手段と、
   前記問合せ画像の各小領域の絵柄に関する特徴量を導出する特徴量導出手段と、
   前記問合せ画像と前記参照画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する判定手段と、
   前記判定手段の判定結果に基づいて、前記問合せ画像及び前記参照画像における比較対象とする小領域を選定する小領域選定手段と、
   前記比較対象として選定された小領域毎に前記問合せ画像と前記参照画像との間の類似度を算出する類似度算出手段と、
   前記類似度に基づいて、前記問合せ画像と前記参照画像とが同一内容の画像とみなせるか否かを識別する識別手段と、を備え、
   前記小領域選定手段は、
   絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントするカウント手段と、
   前記カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、全ての小領域を選定し、前記小領域の数が前記閾値以下である場合には、前記判定手段によって特徴量が所定の条件を満たしていると判定された小領域を選定する選定手段と、
   を含む、画像識別システム。
2. 入力画像として入力される問合せ画像を分割した小領域の特徴量と、あらかじめ特徴量が記憶されている参照画像におけるあらかじめ分割された小領域の特徴量とを比較することによって、前記問合せ画像と前記参照画像とが同一内容の画像とみなせるか否かを識別する画像識別システムであって、
   前記参照画像の各小領域の絵柄に関する特徴量と色に関する特徴量とをあらかじめ記憶する参照画像特徴量記憶手段と、
   前記問合せ画像の各小領域の絵柄に関する特徴量と色に関する特徴量を導出する特徴量導出手段と、
   前記問合せ画像と前記参照画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する判定手段と、
   前記判定手段の判定結果に基づいて、前記問合せ画像及び前記参照画像における絵柄の比較対象とする小領域を選定する小領域選定手段と、
   前記絵柄の比較対象として選定された小領域毎に、小領域の絵柄に関する特徴量を用いて、前記問合せ画像と前記参照画像との間の絵柄の類似度を算出する絵柄類似度算出手段と、
   前記絵柄の比較対象として選定されなかった小領域毎に、小領域の色に関する特徴量を用いて、前記問合せ画像と前記参照画像との間の色の類似度を算出する色類似度算出手段と、
   前記絵柄の類似度または前記色の類似度に基づいて、前記問合せ画像と前記参照画像とが同一内容の画像とみなせるか否かを識別する識別手段と、
   を備え、
   前記小領域選定手段は、
   絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントするカウント手段と、
   前記カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、全ての小領域を選定し、前記小領域の数が前記閾値以下である場合には、前記判定手段によって特徴量が所定の条件を満たしていると判定された小領域を選定する選定手段と、
   を含む、画像識別システム。
3. 入力画像として入力される問合せ画像を分割した小領域の特徴量と、あらかじめ特徴量が記憶されている参照画像におけるあらかじめ分割された小領域の特徴量とを比較することによって、前記問合せ画像と前記参照画像とが同一内容の画像とみなせるか否かを識別する画像識別システムであって、
   前記参照画像の各小領域の少なくとも絵柄に関する特徴量を含む２種類の特徴量をあらかじめ記憶する参照画像特徴量記憶手段と、
   前記問合せ画像の各小領域の少なくとも絵柄に関する特徴量を含む２種類の特徴量を導出する特徴量導出手段と、
   前記問合せ画像と前記参照画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する判定手段と、
   前記判定手段の判定結果に基づいて、絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントするカウント手段と、
   前記カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、絵柄の特徴量による類似度算出を選択し、前記小領域の数が前記閾値以下である場合には、絵柄以外の特徴量による類似度算出を選択する類似度算出方法切替手段と、
   前記絵柄の特徴量による類似度算出が選択された場合に、絵柄に関する特徴量を用いて、前記問合せ画像と前記参照画像との間の第１の類似度を算出する第１の類似度算出手段と、
   前記絵柄以外の特徴量による類似度算出が選択された場合に、絵柄以外に関する特徴量を用いて、前記問合せ画像と前記参照画像との間の第２の類似度を算出する第２の類似度算出手段と、
   前記第１の類似度または前記第２の類似度に基づいて、前記問合せ画像と前記参照画像とが同一内容の画像とみなせるか否かを識別する識別手段と、
   を備える画像識別システム。
4. 前記特徴量導出手段は、
   導出対象の画像に対して２方向以上のエッジ検出フィルタを適用することにより、各フィルタにおけるエッジ強度を算出するエッジ強度算出手段と、
   前記算出されたエッジ強度のうち最大となる最大強度があらかじめ定められた閾値以上である場合に、該エッジ強度の算出に用いた前記エッジ検出フィルタに対応づけられたエッジ方向を絵柄に関する特徴量として導出し、前記最大強度が前記閾値より小さい場合にエッジなしを絵柄に関する特徴量として導出するエッジ方向検出手段と、
   を含む請求項１乃至３のいずれか１項に記載のシステム。
5. 前記判定手段は、前記エッジ方向検出手段によって導出された絵柄に関する特徴量がエッジなし以外の場合に条件を満たすと判断する、請求項４に記載のシステム。
6. 前記問合せ画像及び前記参照画像は、それぞれ、複数の画像からなる問合せ画像列及び参照画像列である請求項１乃至５のいずれか１項に記載のシステム。
7. 第１の画像と第２の画像をそれぞれ分割した小領域の特徴量を比較することによって、前記第１の画像と前記第２の画像とが同一内容の画像とみなせるか否かを識別する画像識別システムであって、
   前記第１の画像と前記第２の画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する判定手段と、
   前記判定手段の判定結果に基づいて、前記第１の画像及び前記第２の画像における比較対象とする小領域を選定する小領域選定手段と、
   前記比較対象として選定された小領域毎に前記第１の画像と前記第２の画像との間の類似度を算出する類似度算出手段と、
   前記類似度に基づいて、前記第１の画像と前記第２の画像とが同一内容の画像とみなせるか否かを識別する識別手段と、
   を備え、
   前記小領域選定手段は、
   絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントするカウント手段と、
   前記カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、全ての小領域を選定し、前記小領域の数が前記閾値以下である場合には、前記判定手段によって特徴量が所定の条件を満たしていると判定された小領域を選定する選定手段と、
   を含む、画像識別システム。
8. 第１の画像と第２の画像をそれぞれ分割した小領域の特徴量を比較することによって、前記第１の画像と前記第２の画像とが同一内容の画像とみなせるか否かを識別する画像識別システムであって、
   前記第１の画像と前記第２の画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する判定手段と、
   前記判定手段の判定結果に基づいて、前記第１の画像及び前記第２の画像における絵柄の比較対象とする小領域を選定する小領域選定手段と、
   前記絵柄の比較対象として選定された小領域毎に、小領域の絵柄に関する特徴量を用いて、前記第１の画像と前記第２の画像との間の絵柄の類似度を算出する絵柄類似度算出手段と、
   前記絵柄の比較対象として選定されなかった小領域毎に、小領域の色に関する特徴量を用いて、前記第１の画像と前記第２の画像との間の色の類似度を算出する色類似度算出手段と、
   前記絵柄の類似度または前記色の類似度に基づいて、前記第１の画像と前記第２の画像とが同一内容の画像とみなせるか否かを識別する識別手段と、
   を備え、
   前記小領域選定手段は、
   絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントするカウント手段と、
   前記カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、全ての小領域を選定し、前記小領域の数が前記閾値以下である場合には、前記判定手段によって特徴量が所定の条件を満たしていると判定された小領域を選定する選定手段と、
   を含む、画像識別システム。
9. 第１の画像と第２の画像をそれぞれ分割した小領域の特徴量を比較することによって、前記第１の画像と前記第２の画像とが同一内容の画像とみなせるか否かを識別する画像識別システムであって、
   前記第１の画像と前記第２の画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する判定手段と、
   前記判定手段の判定結果に基づいて、絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントするカウント手段と、
   前記カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、絵柄の特徴量による類似度算出を選択し、前記小領域の数が前記閾値以下である場合には、絵柄以外の特徴量による類似度算出を選択する類似度算出方法切替手段と、
   前記絵柄の特徴量による類似度算出が選択された場合に、絵柄に関する特徴量を用いて、前記第１の画像と前記第２の画像との間の第１の類似度を算出する第１の類似度算出手段と、
   前記絵柄以外の特徴量による類似度算出が選択された場合に、絵柄以外に関する特徴量を用いて、前記第１の画像と前記第２の画像間の第２の類似度を算出する第２の類似度算出手段と、
   前記第１の類似度または前記第２の類似度に基づいて、前記第１の画像と前記第２の画像とが同一内容の画像とみなせるか否かを識別する識別手段と、
   を備える画像識別システム。
10. あらかじめ参照画像の各小領域の絵柄に関する特徴量を記憶部に記憶させ、入力画像として入力される問合せ画像を分割した小領域の特徴量と前記参照画像の小領域の特徴量とを比較することによって、前記問合せ画像と前記参照画像とが同一内容の画像とみなせるか否かを識別する画像識別方法であって、
    前記問合せ画像の各小領域の絵柄に関する特徴量を導出する段階と、
    前記問合せ画像と前記参照画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する段階と、
    前記判定する段階での判定結果に基づいて、前記問合せ画像及び前記参照画像における比較対象とする小領域を選定する段階と、
    比較対象として選定された前記小領域毎に前記問合せ画像と前記参照画像との間の類似度を算出する段階と、
    前記算出された類似度に基づいて、前記問合せ画像と前記参照画像とが同一内容の画像とみなせるか否かを識別する段階と、
    を有し、
    前記小領域を選定する段階は、
    絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントする段階と、
    前記カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、全ての小領域を選定し、前記小領域の数が前記閾値以下である場合には、前記判定する段階において特徴量が所定の条件を満たしていると判定された小領域を選定する段階と、
    を有する画像識別方法。
11. あらかじめ参照画像の各小領域の絵柄に関する特徴量と色に関する特徴量を記憶部に記憶させ、入力画像として入力される問合せ画像を分割した小領域の特徴量と前記参照画像の小領域の特徴量とを比較することによって、前記問合せ画像と前記参照画像とが同一内容の画像とみなせるか否かを識別する画像識別方法であって、
    前記問合せ画像の各小領域の絵柄に関する特徴量と色に関する特徴量を導出する段階と、
    前記問合せ画像と前記参照画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する段階と、
    前記判定する段階での判定結果に基づいて、前記問合せ画像及び前記参照画像における絵柄の比較対象とする小領域を選定する段階と、
    前記比較対象として選定された小領域毎に、小領域の絵柄に関する特徴量を用いて、前記問合せ画像と前記参照画像との間の絵柄の類似度を算出する段階と、
    前記比較対象として選定されなかった小領域毎に、小領域の色に関する特徴量を用いて、前記問合せ画像と前記参照画像との間の色の類似度を算出する段階と、
    前記絵柄の類似度または前記色の類似度に基づいて、前記問合せ画像と前記参照画像とが同一内容の画像とみなせるか否かを識別する段階と、
    を有し、
    前記小領域を選定する段階は、
    絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントする段階と、
    前記カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、全ての小領域を選定し、前記小領域の数が前記閾値以下である場合には、前記判定する段階において特徴量が所定の条件を満たしていると判定された小領域を選定する段階と、
    を有する画像識別方法。
12. あらかじめ参照画像の各小領域の少なくとも絵柄に関する特徴量を含む２種類の特徴量を記憶部に記憶させ、入力画像として入力される問合せ画像を分割した小領域の特徴量と前記参照画像の小領域の特徴量とを比較することによって、前記問合せ画像と前記参照画像とが同一内容の画像とみなせるか否かを識別する画像識別方法であって、
    前記問合せ画像の各小領域の少なくとも絵柄に関する特徴量を含む２種類の特徴量を導出する段階と、
    前記問合せ画像と前記参照画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する段階と、
    前記判定する段階での判定結果に基づいて、絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントする段階と、
    前記カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、絵柄の特徴量による類似度算出を選択し、前記小領域の数が前記閾値以下である場合には、絵柄以外の特徴量による類似度算出を選択する段階と、
    前記絵柄の特徴量による類似度算出が選択された場合に、絵柄に関する特徴量を用いて、前記問合せ画像と前記参照画像との間の第１の類似度を算出する段階と、
    前記絵柄以外の特徴量による類似度算出が選択された場合に、絵柄以外に関する特徴量を用いて、前記問合せ画像と前記参照画像との間の第２の類似度を算出する段階と、
    前記第１の類似度または前記第２の類似度に基づいて、前記問合せ画像と前記参照画像とが同一内容の画像とみなせるか否かを識別する段階と、
    を有する画像識別方法。
13. 前記特徴量を導出する段階は、
    導出対象の画像に対して２方向以上のエッジ検出フィルタを適用することにより、各フィルタにおけるエッジ強度を算出する段階と、
    前記算出されたエッジ強度のうち最大となる最大強度があらかじめ定められた閾値以上である場合に、当該エッジ強度の算出に用いたエッジ検出フィルタに対応づけられたエッジ方向を絵柄に関する特徴量として導出し、前記最大強度が前記閾値より小さい場合にエッジなしを絵柄に関する特徴量として導出する段階と、
    を有する、請求項１０乃至１２のいずれか１項に記載の方法。
14. 前記判定する段階は、前記導出された絵柄に関する特徴量がエッジなし以外の場合に条件を満たすと判断する段階を有する、請求項１３に記載の方法。
15. 前記問合せ画像及び前記参照画像は、それぞれ、複数の画像からなる問合せ画像列及び参照画像列である請求項１０乃至１４のいずれか１項に記載の方法。
16. 第１の画像と第２の画像をそれぞれ分割した小領域の特徴量を比較することによって、前記第１の画像と前記第２の画像とが同一内容の画像とみなせるか否かを識別する画像識別方法であって、
    前記第１の画像と前記第２の画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する段階と、
    前記判定する段階での判定結果に基づいて、前記第１の画像及び前記第２の画像の比較対象とする小領域を選定する段階と、
    前記比較対象として選定された小領域毎に前記第１の画像と前記第２の画像との間の類似度を算出する段階と、
    前記類似度に基づいて、前記第１の画像と前記第２の画像とが同一内容の画像とみなせるか否かを識別する段階と、
    を有し、
    前記小領域を選定する段階は、
    絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントする段階と、
    前記カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、全ての小領域を選定し、前記小領域の数が前記閾値以下である場合には、前記判定する段階において特徴量が所定の条件を満たしていると判定された小領域を選定する段階と、
    を有する画像識別方法。
17. 第１の画像と第２の画像をそれぞれ分割した小領域の特徴量を比較することによって、前記第１の画像と前記第２の画像とが同一内容の画像とみなせるか否かを識別する画像識別方法であって、
    前記第１の画像と前記第２の画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する段階と、
    前記判定する段階での判定結果に基づいて、前記第１の画像及び前記第２の画像における絵柄の比較対象とする小領域を選定する段階と、
    前記絵柄の比較対象として選定された小領域毎に、小領域の絵柄に関する特徴量を用いて、前記第１の画像と前記第２の画像との間の絵柄の類似度を算出する段階と、
    前記絵柄の比較対象として選定されなかった小領域毎に、小領域の色に関する特徴量を用いて、前記第１の画像と前記第２の画像との間の色の類似度を算出する段階と、
    前記絵柄の類似度または前記色の類似度に基づいて、前記第１の画像と前記第２の画像とが同一内容の画像とみなせるか否かを識別する段階と、
    を有し、
    前記小領域を選定する段階は、
    絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントする段階と、
    前記カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、全ての小領域を選定し、前記小領域の数が前記閾値以下である場合には、前記判定する段階において特徴量が所定の条件を満たしていると判定された小領域を選定する段階と、
    を有する画像識別方法。
18. 第１の画像と第２の画像のそれぞれを分割した小領域の特徴量を比較することによって、前記第１の画像と前記第２の画像とが同一内容の画像とみなせるか否かを識別する画像識別方法であって、
    前記第１の画像と前記第２の画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する段階と、
    前記判定する段階での判定結果に基づいて、絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントする段階と、
    前記カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、絵柄の特徴量による類似度算出を選択し、前記小領域の数が前記閾値以下である場合には、絵柄以外の特徴量による類似度算出を選択する段階と、
    前記絵柄の特徴量による類似度算出が選択された場合に、絵柄に関する特徴量を用いて、前記第１の画像と前記第２の画像との間の第１の類似度を算出する段階と、
    前記絵柄以外の特徴量による類似度算出が選択された際に、絵柄以外に関する特徴量を用いて、前記第１の画像と前記第２の画像との間の第２の類似度を算出する段階と、
    前記第１の類似度または前記第２の類似度に基づいて、前記第１の画像と前記第２の画像とが同一内容の画像とみなせるか否かを識別する段階と、
    を有する画像識別方法。
19. 参照画像の各小領域の絵柄に関する特徴量を記憶可能な記憶部を有するコンピュータに、入力画像として入力される問合せ画像を分割した小領域の特徴量と前記参照画像の小領域の特徴量とを比較することによって、前記問合せ画像と前記参照画像とが同一内容の画像とみなせるか否かを識別させるプログラムであって、
    前記コンピュータに、
    前記問合せ画像の各小領域の絵柄に関する特徴量を導出する処理と、
    前記問合せ画像と前記参照画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する処理と、
    前記判定する処理での判定結果に基づいて、前記問合せ画像及び前記参照画像における比較対象とする小領域を選定する処理と、
    比較対象として選定された前記小領域毎に前記問合せ画像と前記参照画像との間の類似度を算出する処理と、
    前記算出された類似度に基づいて、前記問合せ画像と前記参照画像とが同一内容の画像とみなせるか否かを識別する処理と、
    を実行させ、
    前記小領域を選定する処理は、
    絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントする処理と、
    前記カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、全ての小領域を選定し、前記小領域の数が前記閾値以下である場合には、前記判定する処理において特徴量が所定の条件を満たしていると判定された小領域を選定する処理と、
    を有するプログラム。
20. 参照画像の各小領域の絵柄に関する特徴量と色に関する特徴量とを記憶可能な記憶部を有するコンピュータに、入力画像として入力される問合せ画像を分割した小領域の特徴量と前記参照画像の小領域の特徴量とを比較することによって、前記問合せ画像と前記参照画像とが同一内容の画像とみなせるか否かを識別させるプログラムであって、
    前記コンピュータに、
    前記問合せ画像の各小領域の絵柄に関する特徴量と色に関する特徴量を導出する処理と、
    前記問合せ画像と前記参照画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する処理と、
    前記判定する処理での判定結果に基づいて、前記問合せ画像及び前記参照画像における絵柄の比較対象とする小領域を選定する処理と、
    前記比較対象として選定された小領域毎に、小領域の絵柄に関する特徴量を用いて、前記問合せ画像と前記参照画像との間の絵柄の類似度を算出する処理と、
    前記比較対象として選定されなかった小領域毎に、小領域の色に関する特徴量を用いて、前記問合せ画像と前記参照画像との間の色の類似度を算出する処理と、
    前記絵柄の類似度または前記色の類似度に基づいて、前記問合せ画像と前記参照画像とが同一内容の画像とみなせるか否かを識別する処理と、を実行させ、
    前記小領域を選定する処理は、
    絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントする処理と、
    前記カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、全ての小領域を選定し、前記小領域の数が前記閾値以下である場合には、前記判定する処理において特徴量が所定の条件を満たしていると判定された小領域を選定する処理と、
    を有するプログラム。
21. あらかじめ参照画像の各小領域の少なくとも絵柄に関する特徴量を含む２種類の特徴量を記憶可能な記憶部を有するコンピュータに、入力画像として入力される問合せ画像を分割した小領域の特徴量と前記参照画像の小領域の特徴量とを比較することによって、前記問合せ画像と前記参照画像とが同一内容の画像とみなせるか否かを識別させるプログラムであって、
    前記コンピュータに、
    前記問合せ画像の各小領域の少なくとも絵柄に関する特徴量を含む２種類の特徴量を導出する処理と、
    前記問合せ画像と前記参照画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する処理と、
    前記判定する処理での判定結果に基づいて、絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントする処理と、
    前記カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、絵柄の特徴量による類似度算出を選択し、前記小領域の数が前記閾値以下である場合には、絵柄以外の特徴量による類似度算出を選択する処理と、
    前記絵柄の特徴量による類似度算出が選択された場合に、絵柄に関する特徴量を用いて、前記問合せ画像と前記参照画像との間の第１の類似度を算出する処理と、
    前記絵柄以外の特徴量による類似度算出が選択された場合に、絵柄以外に関する特徴量を用いて、前記問合せ画像と前記参照画像との間の第２の類似度を算出する処理と、
    前記第１の類似度または前記第２の類似度に基づいて、前記問合せ画像と前記参照画像とが同一内容の画像とみなせるか否かを識別する処理と、
    を実行させるプログラム。
22. コンピュータに、第１の画像と第２の画像をそれぞれ分割した小領域の特徴量を比較することによって、前記第１の画像と前記第２の画像とが同一内容の画像とみなせるか否かを識別させるプログラムであって、
    前記コンピュータに、
    前記第１の画像と前記第２の画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する処理と、
    前記判定する処理での判定結果に基づいて、前記第１の画像及び前記第２の画像の比較対象とする小領域を選定する処理と、
    前記比較対象として選定された小領域毎に前記第１の画像と前記第２の画像との間の類似度を算出する処理と、
    前記類似度に基づいて、前記第１の画像と前記第２の画像とが同一内容の画像とみなせるか否かを識別する処理と、
    を実行させ、
    前記小領域を選定する処理は、
    絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントする処理と、
    前記カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、全ての小領域を選定し、前記小領域の数が前記閾値以下である場合には、前記判定する処理において特徴量が所定の条件を満たしていると判定された小領域を選定する処理と、
    を有するプログラム。
23. コンピュータに、第１の画像と第２の画像をそれぞれ分割した小領域の特徴量を比較することによって、前記第１の画像と前記第２の画像とが同一内容の画像とみなせるか否かを識別させるプログラムであって、
    前記コンピュータに、
    前記第１の画像と前記第２の画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する処理と、
    前記判定する処理での判定結果に基づいて、前記第１の画像及び前記第２の画像における絵柄の比較対象とする小領域を選定する処理と、
    前記絵柄の比較対象として選定された小領域毎に、小領域の絵柄に関する特徴量を用いて、前記第１の画像と前記第２の画像との間の絵柄の類似度を算出する処理と、
    前記絵柄の比較対象として選定されなかった小領域毎に、小領域の色に関する特徴量を用いて、前記第１の画像と前記第２の画像との間の色の類似度を算出する処理と、
    前記絵柄の類似度または前記色の類似度に基づいて、前記第１の画像と前記第２の画像とが同一内容の画像とみなせるか否かを識別する処理と、
    を実行させ、
    前記小領域を選定する処理は、
    絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントする処理と、
    前記カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、全ての小領域を選定し、前記小領域の数が前記閾値以下である場合には、前記判定する処理において特徴量が所定の条件を満たしていると判定された小領域を選定する処理と、
    を有するプログラム。
24. コンピュータに、第１の画像と第２の画像をそれぞれ分割した小領域の特徴量を比較することによって、前記第１の画像と前記第２の画像とが同一内容の画像とみなせるか否かを識別させるプログラムであって、
    前記第１の画像と前記第２の画像の一方または双方の各小領域の絵柄に関する特徴量が所定の条件を満たしているか否かを判定する処理と、
    前記判定する処理での判定結果に基づいて、絵柄に関する特徴量が所定の条件を満たしていると判定された小領域の数をカウントする処理と、
    前記カウントされた小領域の数があらかじめ定められた閾値より大きい値である場合には、絵柄の特徴量による類似度算出を選択し、前記小領域の数が前記閾値以下である場合には、絵柄以外の特徴量による類似度算出を選択する処理と、
    前記絵柄の特徴量による類似度算出が選択された場合に、絵柄に関する特徴量を用いて、前記第１の画像と前記第２の画像との間の第１の類似度を算出する処理と、
    前記絵柄以外の特徴量による類似度算出が選択された際に、絵柄以外に関する特徴量を用いて、前記第１の画像と前記第２の画像との間の第２の類似度を算出する処理と、
    前記第１の類似度または前記第２の類似度に基づいて、前記第１の画像と前記第２の画像とが同一内容の画像とみなせるか否かを識別する処理と、
    実行させるプログラム。

Images