JP4985993B2 - オブジェクト領域抽出装置 - Google Patents

Description

本発明は、入力された画像の中から特定のオブジェクトに類似する領域を抽出するオブジェクト領域抽出装置、オブジェクト領域抽出方法およびオブジェクト領域抽出プログラムに関する。

画像に含まれるオブジェクトの種類を自動的に識別するオブジェクト識別装置が提案されている。特許文献１には、入力された検索キー画像と類似している画像を検索する画像検索装置が記載されている。特許文献１に記載された画像検索装置は、色、模様等のパラメータに基づいて画像を複数の領域に分割し、分割した各画像領域の特徴量と検索キー画像の特徴量とを比較して、検索キー画像と類似している画像領域を特定する。また、特許文献１には、オブジェクト領域を含む矩形領域の特徴量と、オブジェクト領域の特徴量とをデータベースに登録することが記載されている。

特許文献２には、入力された画像データに対して、エッジ検出等を行って部分領域を抽出して記憶する画像認識装置が記載されている。特許文献２には、特定の物体についてのモデルの部分領域毎（例えば、目、鼻、口等の部分領域毎）にその形状、大きさ、位置等の特徴にかかるデータを記憶することや、これらの間の結合関係等の特徴にかかるデータを記憶することが記載されている。また、入力画像の部分領域とモデルの部分領域との類似度を算出し、認識対象をモデルと対象付けることが記載されている。

特許文献３には、容器やキャップなどの色の違いや、文字の汚れや欠けや印刷ずれなどを検査する外観検査装置が記載されている。特許文献３に記載された外観検査装置は、対象とする連結パターンを面積の大きさの順に並べ、参照パターンの面積と順次に比較する。特許文献３には、パターンの面積はパターンが回転したりパターンの位置がずれたりしても変化しないため、対象パターンが参照パターンと一致するかどうかの判定を正確に行うことができることが記載されている。

また、非特許文献１には、空のオブジェクト辞書として青色空領域と雲領域をパーツとして登録し、画像を視覚的特徴に基づいて分割し、複数の分割領域の組み合わせとマッチングする空領域抽出方式が記載されている。非特許文献１には、オブジェクトを視覚的な特徴が同一な領域単位に分割したパーツの視覚的特徴量とオブジェクト全体の視覚的特徴量とを登録した辞書を用いることが記載されている。非特許文献１には、入力画像の分割領域から登録パーツと類似するものを抽出し、組み合わせることにより候補領域を作成し、候補領域とオブジェクト全体の視覚特徴量とのマッチングを行うことでオブジェクト領域の抽出を行うことが記載されている。

また、非特許文献２には、領域分割の方法が記載されている。また、非特許文献３には、色や模様の特徴量の求め方が記載されている。非特許文献４には、形状の特徴量の求め方が記載されている。

特開２００２−２４５０４８号公報（段落００２４，００３１） 特開２００５−４６１２号公報（段落０１１５−０１２４） 特開平０９−２３１３６２号公報（段落００２３） 高橋祐介，平田恭二，「オブジェクト構成辞書に基づく空領域検出」，電子情報通信学会大会講演論文集，２００６，ＶＯＬ．２００６，情報・システム ２，ｐ．１６３ Kyoji Hirata，Eiji Kasutani ，Yoshinori Hara，"On ImageSegmentation for Object-based Image Retrieval"，"Pattern Recognition, 2002. Proceedings.16th International Conferenceon, Volume3"，２００２年，ｐ．１０３１−１０３４ B.S.Manjunath，Jens-Rainer Ohm，Vinod V.Vasudevan，Akio Yamada，"Color and Texture Descriptor"，"IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY,VOL11, No.6"，２００１年６月，ｐ．７０３−７１５ S.Manjunath，Philippe Salembier，Thomas Sikora，"Introduction to MPEG-7 Multimedia ContentDescription Interface"，John Wiley& Sons , LTD.，ｐ．１３８−１４１

しかし、特許文献１に記載されている方式では、オブジェクトが構成要素（パーツ）の集合体として登録されていない。したがって、入力画像内の複数の分割領域の組み合わせに基づいてオブジェクト領域を抽出することはできない。

また、特許文献２に記載されている方式では、マッチングした部分領域の相互位置関係により、オブジェクト全体を認識している。すなわち、部分領域同士の相互位置関係の類似度を算出し、その算出結果に基づいて、モデルの表記する物体と入力画像とが一致するか否かを認識する。したがって、人物の顔のように、部分領域同士の相互位置関係に大きな差がない場合にしか適用できない。

また、特許文献１，２および非特許文献１に記載されている方法を組み合わせると、入力画像を複数の分割領域に分割し、各分割領域の特徴量と辞書に登録された各パーツの特徴量との類似度を判定し、さらに、類似する分割領域（候補領域と記す。）を組み合わせた結合領域の特徴量とオブジェクト全体の特徴量との類似度を判定することにより、オブジェクト領域を抽出することが可能である。

しかし、各分割領域の特徴量と各パーツの特徴量との類似度を判定する処理と、結合領域の特徴量とオブジェクト全体の特徴量との類似度を判定する処理は、それぞれ繰り返し処理であって、処理量が大きい。また、結合領域の特徴量とオブジェクト全体の特徴量との類似度を判定する処理の処理回数は、候補領域を組み合わせる際の組み合わせ数の増加に伴って処理量が増大することになる。さらに、辞書の入力は、人手による領域登録作業であるため、入力作業の効率化が課題となる。

また、特許文献３に記載されている方式では、連結パターンと参照パターンとを面積の大きさ順に並べた後、連結パターンと参照パターンとの類似度判定を、回転やノイズに対して不変な特徴量として面積の特徴量を用いて行う。したがって、参照パターンと連結パターンとの面積が類似していない場合には、非類似のパターンであると認識されてしまう。例えば、あるパターンとその拡大図とは、非類似のパターンであると認識されてしまう。

そこで、本発明は、静止画や動画等の映像中から、特定のオブジェクトに類似する領域を抽出することができるとともに、領域の抽出処理を効率的に行うことができるオブジェクト領域抽出装置、オブジェクト領域抽出方法およびオブジェクト領域抽出プログラムを提供することを目的とする。

本発明によるオブジェクト領域抽出装置は、特定のオブジェクトの全体領域の視覚的特徴量と、当該オブジェクトを視覚的特徴が類似する領域毎に分割した各部分領域の視覚的特徴量とを記憶する記憶手段と、入力された画像を視覚的特徴が類似する領域に分割する領域分割手段と、分割された分割領域の視覚的特徴量を抽出する部分特徴量抽出手段と、部分領域の視覚的特徴量と分割領域の視覚的特徴量との類似度を算出し、算出した類似度と第１の閾値とが所定の関係にあるか否かを判定する部分照合処理を実行し、所定の関係にある場合に該分割領域を特定のオブジェクトの部分となる候補領域とする部分照合手段と、各候補領域を結合することによって構成される結合領域を生成し、生成した結合領域の視覚的特徴量を抽出する全体特徴量抽出手段と、全体領域の視覚的特徴量と結合領域の視覚的特徴量との類似度を算出し、算出した類似度と第２の閾値とが所定の関係を満たしているときに、結合領域が特定のオブジェクトに類似する領域であると判定する全体照合手段とを備え、部分照合手段は、視覚的特徴量とともに取得する部分領域および分割領域の面積の大きい順に各々の領域の視覚的特徴量を選択し、候補領域が検出されたときに次に面積の小さい部分領域の視覚的特徴量を選択し、候補領域が検出されなかったときに次に面積の小さい分割領域の視覚的特徴量を選択して、部分照合処理を実行することを特徴とする。

部分照合手段は、色に関する特徴量、模様に関する特徴量、大きさに関する特徴量および位置に関する特徴量のうちの少なくとも一つを用いて、記憶手段に記憶されている部分領域の視覚的特徴量と、部分特徴量抽出手段によって抽出された視覚的特徴量との類似度を算出してもよい。

全体照合手段は、色に関する特徴量、模様に関する特徴量、形状に関する特徴量、大きさに関する特徴量および位置に関する特徴量のうちの少なくとも一つを用いて、記憶手段に記憶されている全体領域の視覚的特徴量と、全体特徴量抽出手段によって抽出された視覚的特徴量との類似度を算出してもよい。

全体特徴量抽出手段によって抽出された結合領域の視覚的特徴量をオブジェクトの全体領域の視覚的特徴量として記憶手段に登録し、部分照合手段によって照合された候補領域の視覚的特徴量を各部分領域の視覚的特徴量として記憶手段に登録する登録手段を備えてもよい。そのような構成によれば、オブジェクトの全体領域の視覚的特徴量と部分領域の視覚的特徴量とを効率よく登録することができる。

本発明によるオブジェクト領域抽出方法は、記憶手段に記憶されている、特定のオブジェクトの全体領域の視覚的特徴量と、当該オブジェクトを視覚的特徴が類似する領域毎に分割した各部分領域の視覚的特徴量とを用いて、入力された画像から特定のオブジェクトに類似する領域を抽出するオブジェクト領域抽出方法であって、入力された画像を視覚的特徴が類似する領域に分割し、分割された分割領域の視覚的特徴量を抽出し、視覚的特徴量とともに取得する部分領域および分割領域の面積の大きい順に各々の領域の視覚的特徴量を選択し、候補領域が検出されたときに次に面積の小さい部分領域の視覚的特徴量を選択し、候補領域が検出されなかったときに次に面積の小さい分割領域の視覚的特徴量を選択して、部分領域の視覚的特徴量と分割領域の視覚的特徴量との類似度を算出し、算出した類似度と第１の閾値とが所定の関係にあるか否かを判定し、所定の関係にある場合に該分割領域を特定のオブジェクトの部分となる候補領域とし、各候補領域を結合することによって構成される結合領域を生成し、生成した結合領域の視覚的特徴量を抽出し、全体領域の視覚的特徴量と結合領域の視覚的特徴量との類似度を算出し、算出した類似度と第２の閾値とが所定の関係を満たしているときに、結合領域が特定のオブジェクトに類似する領域であると判定することを特徴とする。

色に関する特徴量、模様に関する特徴量、大きさに関する特徴量および位置に関する特徴量のうちの少なくとも一つを用いて、部分領域の視覚的特徴量と、抽出された視覚的特徴量との類似度を算出してもよい。

色に関する特徴量、模様に関する特徴量、形状に関する特徴量、大きさに関する特徴量および位置に関する特徴量のうちの少なくとも一つを用いて、全体領域の視覚的特徴量と、抽出された視覚的特徴量との類似度を算出してもよい。

抽出された結合領域の視覚的特徴量をオブジェクトの全体領域の視覚的特徴量として記憶手段に登録し、照合された候補領域の視覚的特徴量を各部分領域の視覚的特徴量として記憶手段に登録するようにしてもよい。そのような構成によれば、オブジェクトの全体領域の視覚的特徴量と部分領域の視覚的特徴量とを効率よく登録することができる。

本発明によるオブジェクト領域抽出プログラムは、特定のオブジェクトの全体領域の視覚的特徴量と、当該オブジェクトを視覚的特徴が類似する領域毎に分割した各部分領域の視覚的特徴量とを用いて、入力された画像から特定のオブジェクトに類似する領域を抽出するためのオブジェクト領域抽出プログラムであって、コンピュータに、入力された画像を視覚的特徴が類似する領域に分割し、分割された分割領域の視覚的特徴量を抽出する部分特徴量抽出処理と、視覚的特徴量とともに取得する部分領域および分割領域の面積の大きい順に各々の領域の視覚的特徴量を選択し、候補領域が検出されたときに次に面積の小さい部分領域の視覚的特徴量を選択し、候補領域が検出されなかったときに次に面積の小さい分割領域の視覚的特徴量を選択して、部分領域の視覚的特徴量と分割領域の視覚的特徴量との類似度を算出し、算出した類似度と第１の閾値とが所定の関係にあるか否かを判定し、所定の関係にある場合に該分割領域を特定のオブジェクトの部分となる候補領域とする部分照合処理と、各候補領域を結合することによって構成される結合領域を生成し、生成した結合領域の視覚的特徴量を抽出する全体特徴量抽出処理と、全体領域の視覚的特徴量と結合領域の視覚的特徴量との類似度を算出し、算出した類似度と第２の閾値とが所定の関係を満たしているときに、結合領域が特定のオブジェクトに類似する領域であると判定する全体照合処理とを実行させることを特徴とする。

本発明によるオブジェクト領域抽出装置の好ましい一態様は、例えば、認識対象とするオブジェクトの全体像および部分領域の視覚的特徴量の組を辞書データとして記憶する記憶手段と、入力映像を一つまたは複数に分割する領域分割手段と、分割された領域の視覚的特徴量を抽出する特徴量抽出手段と、領域分割手段で分割された領域および記憶手段に登録されている部分領域の面積順に特徴量を並び替える面積ソート手段と、面積ソート手段で得られた、記憶手段に記憶されている部分領域の視覚的特徴量および特徴量抽出手段の視覚的特徴量との類似度を面積順に算出し、算出した類似度と第１の閾値とが所定の関係にあるときに、特徴量抽出手段によって抽出された視覚的特徴量に対応する領域をオブジェクトの部分となる候補領域とする部分照合手段と、特徴量と記憶手段に記憶されている全体の特徴量との類似度を算出する全体照合手段と、類似度を用いて組み合わせ領域が対象オブジェクトかの判定を行う判定手段とを備えることを特徴とする。

本発明によれば、類似度を算出する処理の回数を削減することができ、領域抽出の対象となるオブジェクトを分割した部分領域の数が増加しても、オブジェクトに類似する領域の抽出処理を効率よく行うことができる。

本発明によるオブジェクト領域抽出装置の実施の形態を示すブロック図である。 全体オブジェクトと、全体オブジェクトを構成する各パーツを示す説明図である。 本発明によるオブジェクト領域抽出装置の動作の例を示すフローチャートである。 本発明によるオブジェクト領域抽出装置の動作の例を示すフローチャートである。 本発明によるオブジェクト領域抽出装置の動作の例を示すフローチャートである。 領域分割の例を示す説明図である。 面積順にパーツの領域の候補となる分割領域を探索する処理の例を示す説明図である。 パーツの領域の候補とされた分割領域の例を示す説明図である。

符号の説明

１ 画像取得手段
２ 記憶手段
３ 領域分割手段
４ 特徴量抽出手段
５，６ 面積ソート手段
７ 部分照合手段
８ 全体特徴量抽出手段
９ 全体照合手段
１０ 判定手段
１１ 登録手段

以下、本発明の実施の形態を図面を参照して説明する。図１は、本発明によるオブジェクト領域抽出装置の実施の形態を示すブロック図である。本発明によるオブジェクト領域抽出装置は、画像取得手段１と、記憶手段２と、領域分割手段３と、部分特徴量抽出手段４と、面積ソート手段５と、面積ソート手段６と、部分照合手段７と、全体特徴量抽出手段８と、全体照合手段９と、判定手段１０と、登録手段１１とを備える。

画像取得手段１は、画像を撮影し、撮影した画像を領域分割手段３に出力する。画像取得手段１は、例えば、ＣＣＤカメラによって実現される。また、画像取得手段１は、画像を撮影するのではなく、予め撮影された画像が入力される入力デバイスであってもよい。

本発明によるオブジェクト領域抽出装置は、画像の中に特定のオブジェクトに類似する領域が存在しているならば、画像の中から、そのオブジェクトに類似する領域を抽出する。画像取得手段１によって撮影される画像は、特定のオブジェクトに類似する領域が存在するか否かが判定される判定対象となる画像である。また、画像取得手段１によって撮影される画像は、静止画であっても動画であってもよい。なお、オブジェクトとは、画像に含まれる被写体である。

領域分割手段３は、画像取得手段１から入力された画像が表す全体の領域を、視覚的特徴に基づいて（例えば、色やエッジによって）複数の領域に分割する。このように、映像を複数の領域に分割することを領域分割（セグメンテーション）と記す。また、分割された各領域を分割領域と記す。

部分特徴量抽出手段４は、分割領域における視覚的特徴量を抽出する。視覚的特徴量として、例えば、色の特徴量、模様の特徴量、形状の特徴量、大きさ（サイズ）の特徴量等が挙げられる。部分特徴量抽出手段４は、分割領域におけるこれらの特徴量の一部または全部を抽出してもよい。また、他の特徴量を抽出してもよい。

記憶手段２は、情報を記憶する記憶装置である。記憶手段２は、オブジェクトの全体像の視覚的特徴量（全体特徴量）３１と、オブジェクトを構成する各部分の視覚的特徴量（部分特徴量）３２とを記憶する。オブジェクト全体を構成する各部分となる領域をパーツと呼ぶ。パーツは、オブジェクト全体を、視覚的特徴が類似する領域毎に分割した領域であり、オブジェクトである物体の具体的な構成に対応しているわけではない。視覚的特徴が類似する領域は、オブジェクト全体を色やエッジにより分割することによって得られる。すなわち、色分けされた領域の境界でオブジェクト全体を分割したり、オブジェクト内におけるエッジを境界として画像を分割したりすることにより得られる。また、撮影される物体が部品Ａ，Ｂを備えていても、撮影により得られたオブジェクトの全体像において、部品Ａ，Ｂの境界となるエッジがなく、部品Ａ，Ｂの色が同一ならば、部品Ａ，Ｂに相当する領域は一つのパーツとなる。記憶手段２には、画像中に特定のオブジェクトに類似する領域が存在するか否かを判定する前に、事前に全体特徴量３１および部分特徴量３２を記憶する。記憶手段２に全体特徴量３１および部分特徴量３２を記憶させる動作については、後述する。

また、記憶手段２は、画像中に類似する領域が存在するか否かを判定される特定のオブジェクトに関して全体特徴量３１および部分特徴量３２を記憶していればよい。例えば、本発明によるオブジェクト領域抽出装置が、画像の中に家に類似する領域が存在している場合に、画像の中からその領域を抽出するものとする。すなわち、家に類似する領域が抽出対象となる領域であるとする。この場合、記憶手段２は、家オブジェクト全体の視覚的特徴量３１と、家オブジェクトを構成する各部分（各パーツ）の部分特徴量３２とを記憶する。

図２は、全体を示すオブジェクト（全体オブジェクト）と、全体オブジェクトを構成する各パーツを示す説明図である。図２（ａ）では、全体オブジェクトとして家全体を示すオブジェクトを例示している。また、図２（ｂ）に示す４つのパーツは、図２（ａ）に示す全体オブジェクトを視覚的特徴により分割して得られる各部分である（本例では、境界を示すエッジで分割した場合を示す。）。家に類似する領域が抽出対象となる領域である場合、記憶手段２は、図２（ａ）に例示する家の全体オブジェクトの視覚的特徴量（全体特徴量）３１と、図２（ｂ）に例示する各パーツの視覚的特徴量（部分特徴量）３２とを記憶する。

また、オブジェクト領域抽出装置が特定のオブジェクトに類似する領域を抽出する場合、記憶手段２は、その特定のオブジェクトに関する一つの画像についての全体特徴量および部分特徴量だけを記憶するのではなく、その特定のオブジェクトに関する複数種類の画像についての全体特徴量および部分特徴量を記憶してもよい。例えば、家に類似する領域が抽出対象となる領域であるとする。このとき、記憶手段２は、家を一方向から撮影して得られる全体オブジェクトおよびそのパーツの視覚的特徴量だけを記憶するのではなく、その家を様々な方向から撮影して得られる各全体オブジェクトおよびそのパーツの視覚的特徴量を記憶してもよい。

例えば、記憶手段２に全体特徴量が記憶される全体オブジェクトのうち、ｊ番目の全体オブジェクトをＯｊのように表す。また、各全体オブジェクトは、パーツに分割されている。ｊ番目の全体オブジェクトのｋ番目のパーツを、例えば、Ｏｊｋのように表す。記憶手段２は、全体オブジェクト毎に全体特徴量と部分特徴量とを対応付けて記憶して、部分特徴量から全体特徴量を参照可能とし、また、全体特徴量から部分特徴量を参照可能とする。すなわち、記憶手段２は、全体オブジェクトの全体特徴量およびその全体オブジェクトのパーツの部分特徴量の組を記憶する。また、記憶手段２は、全体オブジェクトを構成するパーツ数（ｖとする。）も記憶しておいてもよい。

記憶手段２が記憶する全体オブジェクトの視覚的特徴量およびパーツの視覚的特徴量は、辞書データとして参照される。

面積ソート手段５は、部分特徴量抽出手段４から各分割領域の特徴量を取得し、領域の面積の大きい順に特徴量をソートする。すなわち、分割領域の特徴量（例えば、色の特徴量）は、分割領域の面積を示す情報（例えば、面積の特徴量）に対応付けて取得され、分割領域の面積を示す情報（例えば、面積の特徴量）をキーとしてソートされる。分割領域の面積として、分割領域に含まれる画素（ピクセル）数を用いるとよい。

面積は予め領域の特徴量として抽出しておく。もしくは、抽出時に領域分割手段３の出力を用いて抽出してもよい。分割領域の面積として、例えば、予め抽出されたサイズの特徴量（例えば、分割領域に含まれる画素数）を用いる場合、面積ソート手段５は、各分割領域の特徴量（例えば、色の特徴量）を、サイズの特徴量と対応付けて取得し、サイズの特徴量の大きい順にソートする。

面積ソート手段は６は、記憶手段２から部分特徴量３２を読み込み、読み込んだ部分特徴量３２を、領域の面積の大きい順に特徴量をソートする。すなわち、部分特徴量３２（例えば、色の特徴量）は、対応するパーツの面積を示す情報（例えば、面積の特徴量）に対応付けて取得され、パーツの面積を示す情報（例えば、面積の特徴量）をキーとしてソートされる。パーツの面積として、領域に含まれる画素（ピクセル）数を用いるとよい。面積は予め領域の特徴量として記憶されている。パーツの面積として、例えば、予め抽出されたサイズの特徴量（例えば、パーツに含まれる画素数）を用いる場合、面積ソート手段６は、各パーツの特徴量（例えば、色の特徴量）を、サイズの特徴量と対応付けて取得し、サイズの特徴量の大きい順にソートする。また、あらかじめ部分特徴量３２を面積の大きい順に記憶手段２に登録しておき、記憶手段２から部分特徴量３２を面積の大きい順に読みこんでもよい。

部分照合手段７は、面積ソート手段６から面積の大きい順に部分特徴量３２を読み込むとともに、面積ソート手段５から部分特徴量抽出手段４によって抽出された分割領域の視覚的特徴量を面積の大きい順に読み込み、これらの特徴量の類似性を判定する。

部分照合手段７は、面積が最大である部分特徴量３２を読み込むと、類似性が基準より高いと判定されるまで、面積ソート手段５から部分特徴量抽出手段４によって抽出された分割領域の視覚的特徴量を面積の大きい順に読み込み、類似性判定を繰り返す。

類似性が基準より高いと判定された場合、部分照合手段７は、面積ソート手段６から次に面積の大きい部分特徴量３２を読み込む。続いて、部分照合手段７は、面積ソート手段５から、まだ類似度の算出がされていない視覚的特徴量の中から、面積が最大である分割領域の視覚的特徴量を読み込み、類似性判定を繰り返す。この類似度判定を全ての部分特徴量３２に対して行うまで繰り返す。

部分照合手段７は、類似性が高いと判定された分割領域（候補領域と記す。）を表す情報を、全体特徴量抽出手段８に出力する。類似の度合いを数値化して表した値を類似度と記す。本実施の形態では、類似度の値が小さいほど類似性が高いことになる。よって、類似度が閾値以下である場合に、類似性が基準より高いことになる。類似度の計算方法については、後述する。

全体特徴量抽出手段８は、部分照合手段７から入力される候補領域を表す情報に基づいて、候補領域を領域分割手段３の抽出結果を用いて組み合わせ、この組み合わせによって得られる領域（結合領域と記す。）における視覚的特徴量を抽出する。すなわち、全体特徴量抽出手段８は、結合領域として、全ての候補領域によって構成される分割前の画像を生成する。

全体照合手段９は、記憶手段２から全体特徴量３１を読み込み、その全体特徴量３１と、全体特徴量抽出手段７によって抽出された結合領域の視覚的特徴量との類似性を算出する。

判定手段１０は、全体照合手段９で算出された類似性の高さが基準より高ければ（類似の度合いを数値化した類似度が閾値以下であるならば）、その結合領域を画像から抽出された領域とする。なお、本実施の形態では、類似の度合いを数値化した類似度が小さいほど類似性が高いことになるので、類似度が閾値以下である場合に、類似性が基準より高いことになる。

登録手段１１は、判定手段１０によって出力された全体特徴量抽出手段８によって抽出された結合領域の視覚的特徴量と部分照合手段７によって照合された候補領域の視覚的特徴量とを、それぞれ全体特徴量３１および部分特徴量３２として記憶手段２に登録する。

領域分割手段３、部分特徴量抽出手段４、面積ソート手段５、面積ソート手段６、部分照合手段７、全体特徴量抽出手段８、全体照合手段９、判定手段１０、登録手段１１は、プログラムにしたがって動作するコンピュータであってもよい。また、領域分割手段３、部分特徴量抽出手段４、面積ソート手段５、面積ソート手段６、部分照合手段７、全体特徴量抽出手段８、全体照合手段９、判定手段１０、登録手段１１が、プログラムにしたがって動作する１台のコンピュータによって実現されてもよい。プログラムは、コンピュータが備える記憶装置に記憶され、コンピュータは、そのプログラムを読み込んで動作する。

次に、動作について説明する。以下の説明では、オブジェクト領域抽出装置が、画像の中に家に類似する領域が存在している場合に、画像の中からその領域を抽出するものとする。すなわち、家に類似する領域が抽出対象となる領域であるとする。そして、記憶装置２には、複数の家のオブジェクトに関する情報（例えば、同一の家を異なる角度から撮影することによって得られたオブジェクトの全体特徴量および部分特徴量）を記憶しているものとする。記憶手段２は、各家オブジェクト全体の全体特徴量と、各家オブジェクトの各パーツの部分特徴量とを記憶する。

視覚的特徴量が全体特徴量３１として記憶手段２に記憶されている家オブジェクトをＴＯｊとする。ここで、ｊは、ｊ番目の家オブジェクトであることを表す添え字である。また、一つの家オブジェクトＴＯｊ全体の全体特徴量をＴＯＰｊと表すことにする。家オブジェクトの種類がＫ種類である場合、記憶手段２には、各全体特徴量ＴＯＰｊ（ｊ＝１〜Ｋ）が記憶される。また、パーツの総数がＮであり、各パーツをＴＰｊ（ｊ＝１〜Ｎ）と表すこととする。そして、パーツＴＰｊの視覚的特徴量をＦＴＰｊと表すことにする。記憶手段２には、各部分特徴量ＦＴＰｊ（ｊ＝１〜Ｎ）が記憶される。

図３、図４および図５は、本発明によるオブジェクト領域抽出装置の動作の例を示すフローチャートである。

まず、画像取得手段１は、画像を撮影し、撮影した画像を領域分割手段３に出力する（ステップＳ１）。

続いて、領域分割手段３は、画像取得手段１から入力された画像に対して色やエッジによって領域分割（セグメンテーション）を行う（ステップＳ２）。例えば、領域分割手段３は、色分けされた領域の境界で画像を分割したり、画像内におけるエッジを境界として画像を分割する。このように分割するということは、領域分割手段３が、入力された画像を、視覚的特徴が類似する領域毎に分割することを意味する。領域分割手段３は、非特許文献２に記載された方法（色、エッジ、境界の複雑度を利用して行うセグメンテーション方法）で領域分割を行ってもよい。

画像がｐ個の分割領域に分割された場合、各分割領域をＲｉ（ｉ＝１〜ｐ）とする。

図６は、領域分割の例を示す説明図である。画像取得手段１が図６（ａ）に例示する画像を撮影し、画像取得手段１から領域分割手段３に、図６（ａ）に示す画像が入力されたとする。領域分割手段３は、色分けされた領域の境界で画像を分割したり、画像内におけるエッジを境界として画像を分割したりする。図６（ｂ）は、この結果得られた各分割領域Ｒｉ（ｉ＝１〜９）を表している。領域分割手段３は、領域分割によって得た各分割領域を部分特徴量抽出手段４および全体特徴量抽出手段８に送る。

部分特徴量抽出手段４は、一つの分割領域を選択して、その分割領域の視覚的特徴量を抽出する（ステップＳ３）。既に説明したように、視覚的特徴量として、例えば、色の特徴量、模様の特徴量、形状の特徴量、サイズ（面積）の特徴量、位置の特徴量等が挙げられる。

色の特徴として、例えば、ＭＰＥＧ−７／Ｖｉｓｕａｌで定義されているビジュアル記述子の色の特徴（ドミナント・カラーやカラー・レイアウト）がある。部分特徴量抽出手段４は、非特許文献３に記載された方法で、色の特徴量を求めればよい。例えば、選択した分割領域における最も支配的な色のＲＧＢ値（０〜２２５の範囲の値）を抽出し、その値を色の特徴量とすればよい。

模様の特徴として、例えば、ＭＰＥＧ−７／Ｖｉｓｕａｌで定義されているビジュアル記述子の模様の特徴（エッジ・ヒストグラム）がある。部分特徴量抽出手段４は、非特許文献３に記載された方法で、模様の特徴量を求めればよい。例えば、選択した分割領域で、縦、横、斜め、その他の成分がどの程度含まれているかを数値化し、その数値を模様の特徴量とすればよい。

形状の特徴として、例えば、ＭＰＥＧ−７／Ｖｉｓｕａｌで定義されているビジュアル記述子の形状の特徴（リージョン・ベースド形状記述子）がある。部分特徴量抽出手段４は、非特許文献４に記載された方法で、形状の特徴量を求めればよい。例えば、以下に示すように、形状の特徴量を求めればよい。部分特徴量抽出手段４は、選択した領域の横方向の幅を、分割領域上部から分割領域下部にかけて算出する。すなわち、分割領域上部における横方向の幅を求め、さらに少し縦方向に下がった位置での横方向の幅を求めることを繰り返す。同様に、部分特徴量抽出手段４は、選択した領域の縦方向の高さを、分割領域左側から分割領域右側にかけて算出する。すなわち、分割領域の左側における縦方向の高さを求め、さらに少し右方向にずらした位置での縦方向の高さを求めることを繰り返す。

サイズの特徴として、例えば、選択した領域に含まれる画素（ピクセル）の数がある。部分特徴量抽出手段４は、選択した領域に含まれる画素（ピクセル）の数をサイズの特徴量として抽出すればよい。

位置の特徴として、例えば、選択した領域の外接矩形の左上頂点および右下頂点の座標値がある。部分特徴量抽出手段４は、選択した領域の外接矩形の左上頂点および右下頂点の座標値を位置の特徴量として抽出すればよい。

部分特徴量抽出手段４は、分割領域における色、模様、形状、サイズ、位置の特徴量の一部または全部を抽出してもよいし、他の要素の特徴量を抽出してもよい。また、ステップＳ３において、部分特徴量抽出手段４は、色、模様、形状、サイズ、位置の特徴量の一部または全部をベクトルの要素として、視覚的特徴量をベクトルとして求める。ベクトルの要素として、色、模様、形状以外の要素の特徴量が含まれていてもよい。分割領域Ｒｉにおける視覚的特徴量をＦＲｉとすると、部分特徴量抽出手段４は、分割領域Ｒｉの視覚的特徴量を、例えば、ＦＲｉ＝（ドミナント・カラー，カラー・レイアウト，エッジ・ヒストグラム，リージョン・ベースド形状記述子，・・・）等のベクトルとして求めればよい。

部分特徴量抽出手段４は、色の特徴量、模様の特徴量、形状の特徴量、サイズの特徴量、位置の特徴量のうち少なくとも一つ（あるいは、色の特徴量、模様の特徴量、サイズの特徴量、位置の特徴量のうち少なくとも一つ）を含むベクトルとして視覚的特徴量ＦＲｉを求める。

なお、記憶手段２も、視覚的特徴量（全体特徴量３１，部分特徴量３２）も上述のようなベクトルとして記憶する。

ステップＳ３の後、面積ソート手段５は、分割領域Ｒｉにおける視覚的特徴量ＦＲｉを部分特徴量抽出手段４から読み込み、視覚的特徴量ＦＲｉを面積の大きい順に並び替え(ソート)を行い、その結果を記録する（ステップＳ４）。

ステップＳ４の後、面積ソート手段６は、一つのオブジェクトを構成するパーツの視覚的特徴量（部分特徴量３２）を記憶手段２から読み込む（ステップＳ５）。

面積ソート手段６は、例えば、一つのオブジェクトを構成する複数のパーツの面積に関する特徴量や、色に関する特徴量や模様に関する特徴量を読み込み、そのうちの面積に関する特徴量を用いて面積の大きい順にソートを行い、その結果を記録しておく（ステップＳ６）。

部分照合手段７は、ステップＳ６で面積順にソートした結果から、最も面積の大きいパーツ（Ｐｉとする。）の視覚的特徴量ＦＰｉを取得する（ステップＳ７）。

次に、部分照合手段７は、ステップＳ４で面積順にソートした結果から、最も面積の大きい分割領域（Ｒｊとする。）の視覚的特徴量ＦＲｊを取得する（ステップＳ８）。

図７は、面積順にパーツの領域の候補となる分割領域を探索する動作の例を示す説明図である。図７には、ステップＳ６で、パーツＰ２，Ｐ１，Ｐ４，Ｐ３の順にソートされ、ステップＳ４で、分割領域Ｒ１，Ｒ５，Ｒ９，Ｒ３，Ｒ４，Ｒ２，Ｒ７，Ｒ８，Ｒ６の順にソートされた場合を例示する。図７に示す例では、最も面積の大きいパーツはＰ２であり、最も面積の大きい分割領域はＲ１である。この場合、部分照合手段７は、ステップＳ７において、最も面積の大きいパーツはＰ２の視覚的特徴量ＦＰ２を取得し、ステップＳ８において、最も面積の大きい分割領域Ｒ１の視覚的特徴量ＦＲ１を取得する。

部分照合手段７は、ステップＳ７で取得した視覚的特徴量ＦＰｊと、ステップＳ８で取得した視覚的特徴量ＦＲｊとの類似度を算出する（ステップＳ９）。なお、パーツＰｉの視覚的特徴量ＦＰｉと分割領域Ｒｊの視覚的特徴量ＦＲｊとの類似度をＳｉｊと表す。

類似度Ｓｉｊは、視覚的特徴間の距離として表すことができる。すなわち、各特徴を表す数値の差分の二乗和の平方根を類似度（特徴間の距離）として表すことができる。例えば、色の特徴に関して、ある色の特徴Ａが（Ｒ＝１，Ｇ＝４，Ｂ＝２）と表され、他の色の特徴Ｂが（Ｒ＝５，Ｇ＝２，Ｂ＝０）と表されているとする。この場合、視覚的特徴の類似度（本例では色の特徴の類似度）は、各ＲＧＢ値の差分の二乗和の平方根を計算することにより得られる。すなわち、以下のように類似度を計算することができる。

√（（１−５）^２＋（４−２）^２＋（２−０）^２）＝√（２４）＝４．９
尚、演算子の“^”は、べき乗を表す。

ここでは、視覚的特徴が色の特徴である場合を示したが、他の場合に関しても、同様に、各特徴を表す数値の差分の二乗和の平方根を類似度として計算することができる。

ステップＳ９において、部分照合手段７は、各特徴を表す数値の差分の二乗和の平方根を計算することによって、Ｓｉｊを求めればよい。このように求めた類似度Ｓｉｊでは、値が小さいほど、類似性が高いことを表す。

続いて、部分照合手段７は、ステップＳ９で求めた類似度Ｓｉｊが予め定められた閾値（Ｔｈ１と記す。）以下であるか否かを判定する（ステップＳ１０）。Ｓｉｊが、閾値Ｔｈ１以下であれば、類似性を求めた二つの視覚的特徴量の類似性が基準より高いことになる。また、Ｓｉｊが、閾値Ｔｈ１より大きな値であれば、類似性が基準より低いことになる。

閾値Ｔｈ１は、例えば、以下のように定めればよい。記憶手段２に記憶されている各パーツの視覚的特徴量の全ての組み合わせについて視覚的特徴量の類似度を算出し、その類似度の平均値または最大値を閾値として定めればよい。記憶手段２に記憶されている各パーツの視覚的特徴量の全ての組み合わせについて視覚的特徴量の類似度を算出し、その最大値を閾値Ｔｈ１と定める場合には、類似性の高さの判定基準が低くなる。

類似度Ｓｉｊが閾値Ｔｈ１以下であれば（ステップＳ１０のＹ）、部分照合手段７は、ステップＳ８で選択された領域がパーツの領域の候補であると判定し、ステップＳ１１に移行する。

類似度Ｓｉｊが閾値Ｔｈ１よりも大きい場合は（ステップＳ１０のＮ）、パーツに対応する分割領域の候補を探すため、ステップＳ８に移行し、次に面積の大きい分割領域の特徴量の抽出を繰り返す。

ステップ１１では、部分照合手段７は、ステップＳ５で取得された全てのパーツの視覚的特徴量について、ステップＳ８で選択された分割領域の視覚的特徴量との照合（類似度の算出）を行ったか否かを判定する。ステップＳ５で取得された全てのパーツの視覚的特徴量について照合が完了していなければ（ステップＳ１１のＮ）、ステップＳ７に移行して、ステップＳ７以降の処理を繰り返す。ステップＳ５で取得された全てのパーツの視覚的特徴量について照合が完了しているならば（ステップＳ１１のＹ）、ステップＳ１２に移行する。

例えば、ステップＳ９において、パーツＰ２の視覚的特徴量ＦＰ２と分割領域Ｒ１の視覚的特徴量ＦＲ１との類似度Ｓ２１が算出された場合について説明する。類似度Ｓ２１が閾値Ｔｈ１よりも大きい場合には（ステップＳ１０のＮ）、ステップＳ８に移行し、Ｒ１の次に面積の大きい分割領域Ｒ５の視覚的特徴量ＦＲ５が抽出される。

続いて、ステップＳ９において、パーツＰ２の視覚的特徴量ＦＰ２と分割領域Ｒ５の視覚的特徴量ＦＲ５との類似度Ｓ２５が算出される。つまり、Ｐ２とＲ５の照合を行う。例えば、ステップＳ１０において、類似度Ｓ２５が閾値Ｔｈ１以下となる場合（ステップＳ１０のＹ）、ステップＳ１１に移行する。

ステップ１１において、全パーツについて処理が終了していない場合には、ステップＳ７に移行し、パーツＰ２の次に面積の大きいＰ１が選択され、視覚的特徴量ＦＰ１が取得される。また、ステップＳ８において、分割領域Ｒ５の次に面積の大きい分割領域Ｒ９の視覚的特徴量ＦＲ９が抽出される。部分照合手段７は、ステップＳ９において、視覚的特徴量ＦＰ１と視覚的特徴量ＦＲ９との類似度判定を行う。パーツＰ３と類似する分割領域を抽出するまで、ステップＳ７からステップＳ１１までの処理が繰り返される。部分照合手段５は、全てのパーツに対して候補となる分割領域の組を抽出し、その結果を全体特徴量抽出手段８に送る。

あるオブジェクトを抽出する際、面積順にソートを行って特徴量の照合を行うことにより、分割領域数をｍとした場合、ステップＳ９における照合処理回数はｍ回となる。面積順にソートを行わない場合は、辞書に登録されているパーツ数をｖとすると、照合処理回数はｖｍ回となる。したがって、パーツの視覚的特徴量と分割領域の視覚的特徴量との類似度を判定する処理を軽減することができる。

また、全てのパーツを用いずに、選択されたパーツの総面積が一定の割合以上になるまで照合を繰り返すようにしてもよい。パーツの選択は面積の大きい順に行われるため、選択されたパーツの総領域がオブジェクト全体の一定の割合（例えば８０％）以上になったら照合処理を終了しても良い。残りのパーツは面積が小さく、全体照合において影響力は少ないと考えられるため、処理を省略することで計算コストを低く抑えることができる。

図８は、パーツの領域の候補とされた候補領域の例を示す説明図である。以下、ステップＳ１２に移行した時点で、その以前に実行されたステップＳ１０の処理で、図８に例示するＲ５，Ｒ４，Ｒ８，Ｒ６がパーツの領域の候補として判定され、その各候補領域の情報が部分照合手段７から全体特徴量抽出手段８に送られていたものとして説明する。

全体特徴量抽出手段８は、パーツの領域の候補として判定された候補領域を組み合わせ、結合領域を生成する（ステップＳ１２）。全体特徴量抽出手段８には、領域分割手段３から各分割領域が入力されている。また、パーツの領域の候補とされた候補領域を示す情報（本例では、各領域Ｒ５，Ｒ４，Ｒ８，Ｒ６を示す情報）が部分照合手段７から入力されている。従って、全体特徴量抽出手段８は、領域分割手段３から入力された情報が示す分割領域を組み合わせて結合領域を生成することができる。すなわち、全体特徴量抽出手段８は、結合領域として、全候補領域によって構成される分割前の画像を生成する。

ステップＳ１２において、分割領域を組み合わせる組み合わせ数は１通りであるため、ステップＳ１５における結合領域の特徴量とオブジェクト全体の特徴量との類似度を判定する処理の処理回数は１回となる。

全体特徴量抽出手段８は、ステップＳ１２において生成された結合領域の視覚的特徴量を抽出する(ステップ１３)。ステップＳ１３での視覚的特徴量の抽出は、ステップＳ３において部分特徴量抽出手段４が行う視覚的特徴量の抽出と同様に行えばよい。ステップＳ１３では、色に関する特徴量、模様に関する特徴量、形状に関する特徴量を算出して、それらの特徴量を用いて、ステップＳ１５における類似度算出処理を行うとよい。このとき、色に関する特徴量、模様に関する特徴量、形状に関する特徴量のうち少なくとも一つを算出して、その特徴量を用いてステップＳ１５での類似度算出を行うとよい。色に関する特徴量、模様に関する特徴量、形状に関する特徴量のうち少なくとも一つを算出して、その特徴量を用いて類似度算出を行うというのは、好ましい一例であり、類似度算出の態様はそのような態様に限定されるわけではない。全体特徴量抽出手段８は、結合領域の視覚的特徴量を算出したならば、その視覚的特徴量を全体照合手段９に出力する。

ステップＳ１４では、全体照合手段９は、一つの家オブジェクト全体の視覚的特徴量（全体特徴量）を記憶手段２から読み込む（ステップＳ１４）。ステップＳ１４で全体照合手段９が読み込んだ一つの家オブジェクト全体の視覚的特徴量をＴＯＰｊとする。

全体照合手段９は、全体特徴量抽出手段８から入力された結合領域の視覚的特徴量と、ステップＳ１４で記憶手段２から読み込んだ一つの家オブジェクト全体の視覚的特徴量との類似度を算出する（ステップＳ１５）。ステップＳ１５での類似度の算出は、ステップＳ９での類似度算出と同様に行えばよい。すなわち、結合領域の視覚的特徴量および記憶手段２から読み込んだ一つの家オブジェクト全体の視覚的特徴量において、各特徴を表す数値の差分の二乗和の平方根を算出すればよい。そして、全体照合手段９は、算出した類似度を判定手段１０に出力する。

ここで、非特許文献１における照合処理回数を考える。非特許文献１において、候補領域数をｄとし、辞書に登録されているパーツ数をｖとする。入力画像中にオブジェクトが存在すると仮定すると、入力画像内には、オブジェクトのパーツと、パーツに類似する領域とが存在するため、候補領域数ｄは、パーツ数ｖよりも大きくなる。
ｄ＞ｖ

入力画像中の分割領域のすべてが候補領域とならないため、以下の式が成り立つ。
ｍ＞ｄ
このとき、非特許文献１における照合処理回数は、候補領域ｄを組み合わせる際の組み合わせ数であるため、ｄＣｖである。

通常の画像において、分割領域数ｍは５０程度である。また、オブジェクトのパーツ数ｖは４以上であり、候補領域数ｄはパーツ数ｖの約２倍以上であると考えられる。このため、
ｄ＝αｖ（α≧２）
とおくと、ｄＣｖは以下のように計算され、パーツ数ｖに関する単調増加係数となる。

例えば、ｖ＝４である場合、ｄＣｖ＝７０となる。ｍは５０程度であるため、ｖ≧４の場合には、ｄＣｖ＞＞ｍとなる。

したがって、非特許文献１に記載された方式では、パーツ数の増加に伴って、結合領域の特徴量とオブジェクト全体の特徴量との類似度を判定する処理の処理回数が増大するが、本実施の形態によれば、ステップＳ１５における照合処理回数が１回となるため、処理量を軽減することができる。

判定手段１０は、全体照合手段９から入力された類似度が、予め定められている閾値以下であるか否かを判定する（ステップＳ１６）。ステップＳ１６で用いられる閾値をＴｈ２とする。

ステップＳ１６で用いられる閾値Ｔｈ２は、記憶手段２に記憶されている各全体オブジェクトの視覚的特徴量（全体特徴量）同士の各組み合わせにおける類似度の平均および類似度の分散を用いて定めればよい。例えば、以下のように閾値Ｔｈ２を定めればよい。ただし、各全体オブジェクトの視覚的特徴量（全体特徴量）同士の各組み合わせにおける類似度の平均をＬとし、その類似度の分散をＤとする。
Ｔｈ２＝係数Ａ×Ｌ＋係数Ｂ×√（Ｄ）

すなわち、類似度の平均、分散の平方根のうち正の値それぞれに係数を乗じた値の和を閾値Ｔｈ２と定めればよい。分散の平方根のうち正の値である「√（Ｄ）」は、類似度の標準偏差である。従って、閾値Ｔｈ２は、類似度の平均および標準偏差を用いて定めているということもできる。全体オブジェクト同士の類似性は、パーツ同士の類似性と比較して、統計的に偏りがあると考えられる。従って、上記のように、類似度の平均および分散（または標準偏差）を用いて閾値を定めることにより、適切な基準として閾値を定めることができる。

全体照合手段９から入力された類似度が閾値Ｔｈ２以下であるならば（ステップＳ１６のＹ）、例えば、全体照合手段９は、ステップＳ１２で特定された組み合わせ（結合領域）が、特定のオブジェクトに類似する領域であるものとして、その結合領域をディスプレイ装置等の出力手段（図１において図示せず。）に出力（表示）させる（ステップＳ１７）。このとき、そのオブジェクトの名称も出力手段に出力させてもよい。本例では、家に類似する領域を抽出することが予め定められているので、「家」という名称を予め記憶手段２に記憶させておき、その名称を領域とともに出力手段に出力（表示）させてもよい。

全体照合手段９から入力された類似度が閾値Ｔｈ２より大きい値であるならば（ステップＳ１６のＮ）、特定のオブジェクトに類似する領域は、入力画像にふくまれていないものとして、処理を終了する。

なお、ここでは、オブジェクト領域抽出装置が、画像の中に家に類似する領域が存在している場合に、画像の中からその領域を判定する場合について説明した。家以外のオブジェクトに関しても同様の処理を行う場合、そのオブジェクトについて、ステップＳ５以降の処理を同様に行えばよい。このように複数種類のオブジェクトの認識を行う場合には、オブジェクト毎に、記憶手段２に全体特徴量３１および部分特徴量３２を記憶しておき、記憶手段２に記憶された個々の全体特徴量や部分特徴量がどのオブジェクトの特徴量であるのか識別できるようにしておけばよい。例えば、家に関する全体特徴量および部分特徴量には、家に関する特徴量であることを示す識別情報を付し、「木」に関する全体特徴量および部分特徴量には、「木」に関する特徴量であることを示す識別情報を付しておけばよい。

本発明は、１つのオブジェクトを構成する分割領域のソート順が、オブジェクトに応じた一般的な順列に決定されることを利用している。例えば、家のオブジェクトに着目すると、一般的に、壁の領域は、屋根、ドア、窓等よりも大きいはずである。そのため、原則として、壁、屋根、ドア、窓等の領域の順列は、オブジェクトによって決定される。また、記憶手段２に記憶される各パーツの面積も入力画像における各分割領域の面積も、一般的な面積順にソートされる場合が多いと考えられる。したがって、上述したように、パーツの視覚的特徴量と分割領域の視覚的特徴量とを簡易な方式によって照合しても、ほぼ正確に候補領域を抽出することができる。また、パーツおよび分割領域の面積自体は類似しない場合（例えば、分割領域が、パーツの拡大図である場合）であっても、オブジェクトにおけるパーツおよび分割領域のソート順が同じであれば、候補領域を抽出することができる。

なお、例外的に、同じ家オブジェクトであっても、ドアが窓よりも大きかったり、窓がドアより大きかったりすることがある。その場合には、ドアまたは窓の領域が抽出されない可能性がある。しかし、面積の大きい順にソートすることから、オブジェクトのうち大きな面積を占める部分、例えば、壁や屋根の領域が抽出され、抽出したいオブジェクトに近い領域を検出することができる。

また、同じオブジェクトを含む異なる２つの入力画像において、背景や他のオブジェクトの面積が異なれば、ソート結果は異なる。しかし、他のオブジェクトの面積によらず、１つのオブジェクトを構成する分割領域のソート順は一定に保たれる。例えば、背景の月オブジェクト（分割領域）Ｒ２の面積が、分割領域Ｒ６の面積よりも小さい入力画像の場合、ステップＳ４におけるソート結果は、Ｒ１，Ｒ５，Ｒ９，Ｒ３，Ｒ４，Ｒ７，Ｒ８，Ｒ６，Ｒ２の順となる。しかし、例えば、家オブジェクトを構成する分割領域Ｒ４，Ｒ５，Ｒ６，Ｒ８のみに着目すると、分割領域Ｒ４，Ｒ５，Ｒ６，Ｒ８の面積ソート順は、分割領域Ｒ２の面積によらず、Ｒ５，Ｒ４，Ｒ８，Ｒ６の順となり、一定である。したがって、入力画像によって背景や他のオブジェクトが異なる場合であっても、ほぼ正確に候補領域を抽出することができる。

次に、記憶手段２に全体特徴量３１および部分特徴量３２を記憶させる動作について説明する。記憶手段２に全体特徴量３１および部分特徴量３２を記憶させる場合、まず、画像取得手段１に、全体オブジェクトの画像が入力される。例えば、画像中に家に類似する領域が存在している場合に、画像の中からその領域を抽出するのであれば、「家」全体の画像が画像取得手段１に入力される。

全体特徴量抽出手段８は、画像取得手段１に入力された画像（全体オブジェクト）の視覚的特徴量を抽出する。この処理は、ステップＳ１４と同様に行えばよい。そして、全体特徴量抽出手段８は、抽出した視覚的特徴量を全体オブジェクトの全体特徴量として記憶手段２に記憶させる。

また、領域分割手段３は、画像取得手段１に入力された画像における全体オブジェクトを分割領域に分割する。この処理は、ステップＳ２と同様に行えばよい。すなわち、領域分割手段３は、色やエッジにより全体オブジェクトを複数の領域に分割する。

部分特徴量抽出手段４は、分割された各領域（パーツ）毎に、視覚的特徴量を抽出する。この処理は、ステップＳ３と同様に行えばよい。そして、部分特徴量抽出手段４は、各分割領域の視覚的特徴量を部分特徴量として記憶手段２に記憶させる。

また、入力された画像を分割領域に分割し、その中から全体オブジェクトを構成するパーツ（分割領域）の選択をオペレータに促してもよい。この場合、全体オブジェクトを含んだ画像が画像取得手段１に入力される（または、全体オブジェクトを含む画像を画像取得手段１が撮影する。）。画像分割手段３には、画像取得手段３からその画像が入力される。そして、画像分割手段３は、入力された画像に対して、ステップＳ２と同様に領域分割を行う。さらに、画像分割手段３は、ディスプレイ装置等の出力手段（図示せず。）に各分割領域を表示して、オペレータに、全体オブジェクトを構成する分割領域の選択を促す。

オペレータによって全体オブジェクトを構成する分割領域が選択されると、全体特徴量抽出手段８は、選択された各分割領域からなる結合領域を生成し、その結合領域における視覚的特徴量をステップＳ１３と同様に抽出する。そして、全体特徴量抽出手段８は、その視覚的特徴量を全体特徴量として記憶手段２に記憶させる。

また、部分特徴量抽出手段４は、オペレータによって選択された個々の分割領域における視覚的特徴量をそれぞれステップＳ３と同様に抽出し、抽出したそれぞれの視覚的特徴量を部分特徴量として記憶手段２に記憶させる。

上記の説明では、全体特徴量抽出手段８および部分特徴量抽出手段４が、それぞれ記憶手段２に全体特徴量３１および部分特徴量３２を記憶させる場合を例示したが、例えば、登録手段１１が記憶手段２に全体特徴量３１および部分特徴量３２を記憶させてもよい。

記憶手段２には、全体特徴量３１および部分特徴量３２が予め記憶されているとする。オブジェクト領域抽出装置は、一部に家オブジェクトを含んでいる画像を画像取得手段１に入力し、家オブジェクト領域の抽出を行う。判定手段１０は、全体特徴量抽出手段８によって抽出された結合領域の視覚的特徴量と、部分照合手段７によって照合された候補領域の視覚的特徴量とを、それぞれ全体特徴量３１および部分特徴量３２として登録手段１１に出力する。登録手段１１は、出力された全体特徴量３１および部分特徴量３２を記憶手段２に登録することができる。

以上に説明したように、上記の実施の形態によれば、記憶手段が、オブジェクト全体の視覚的特徴量と、そのオブジェクトを視覚的特徴が類似する領域毎に分割したパーツの視覚的特徴とを記憶する。そして、入力された画像を色やエッジにより分割し、分割した領域の特徴量を抽出する。そして、その分割領域の組み合わせにおける視覚的特徴量と、記憶されているオブジェクト全体の視覚的特徴量とが類似するならば、その組み合わせの領域をオブジェクトに類似する領域とする。したがって、特定のオブジェクトの有無が未知である画像であっても、画像の中にオブジェクトに類似する領域が存在していれば、そのオブジェクトに類似する領域を抽出することができる。

また、上記の実施の形態によれば、記憶されているオブジェクトのパーツの視覚的特徴量と分割領域の視覚的特徴量とをそれぞれ面積順にソートし、面積の大きい順に特徴量の照合を行い、パーツと類似する領域の候補を抽出する。したがって、パーツの視覚的特徴量と分割領域の視覚的特徴量との類似度を判定する処理の処理回数を削減することができる。そして、抽出した領域候補を結合して１つの結合領域を生成し、結合領域の特徴量とオブジェクト全体の特徴量との類似度を算出することから、結合領域の特徴量とオブジェクト全体の特徴量との類似度を判定する処理の処理回数を削減することができる。

本発明は、入力された画像の中から特定のオブジェクトに類似する領域を抽出するために効果的に適用できる。

尚、本出願は、２００６年７月７日に出願された日本出願特願２００６−１８７８２１号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (9)

1. 特定のオブジェクトの全体領域の視覚的特徴量と、視覚的特徴が類似する領域毎に当該オブジェクトを分割した各部分領域の視覚的特徴量とが記憶されている記憶手段と、
   入力された画像を視覚的特徴が類似する領域に分割する領域分割手段と、
   前記分割された分割領域の視覚的特徴量を抽出する部分特徴量抽出手段と、
   前記部分領域の視覚的特徴量と前記分割領域の視覚的特徴量との類似度を算出し、算出した類似度と第１の閾値とが所定の関係にあるか否かを判定する部分照合処理を実行し、所定の関係にある場合に該分割領域を特定のオブジェクトの部分となる候補領域とする部分照合手段と、
   各候補領域を結合することによって構成される結合領域を生成し、生成した結合領域の視覚的特徴量を抽出する全体特徴量抽出手段と、
   前記全体領域の視覚的特徴量と前記結合領域の視覚的特徴量との類似度を算出し、算出した類似度と第２の閾値とが所定の関係を満たしているときに、前記結合領域が特定のオブジェクトに類似する領域であると判定する全体照合手段とを備え、
   前記部分照合手段は、視覚的特徴量とともに取得する前記部分領域および前記分割領域の面積の大きい順に各々の領域の視覚的特徴量を選択し、前記候補領域が検出されたときに次に面積の小さい部分領域の視覚的特徴量と次に面積の小さい分割領域の視覚的特徴量を選択して、前記部分照合処理を実行する
   ことを特徴とするオブジェクト領域抽出装置。
2. 部分照合手段は、色に関する特徴量、模様に関する特徴量、大きさに関する特徴量および位置に関する特徴量のうちの少なくとも一つを用いて、記憶手段に記憶されている部分領域の視覚的特徴量と、部分特徴量抽出手段によって抽出された視覚的特徴量との類似度を算出することを特徴とする請求項１に記載のオブジェクト領域抽出装置。
3. 全体照合手段は、色に関する特徴量、模様に関する特徴量、形状に関する特徴量、大きさに関する特徴量および位置に関する特徴量のうちの少なくとも一つを用いて、記憶手段に記憶されている全体領域の視覚的特徴量と、全体特徴量抽出手段によって抽出された視覚的特徴量との類似度を算出することを特徴とする請求項１または請求項２に記載のオブジェクト領域抽出装置。
4. 全体特徴量抽出手段によって抽出された結合領域の視覚的特徴量をオブジェクトの全体領域の視覚的特徴量として記憶手段に登録し、部分照合手段によって照合された候補領域の視覚的特徴量を各部分領域の視覚的特徴量として記憶手段に登録する登録手段を備えたことを特徴とする請求項１から請求項３のいずれかに記載のオブジェクト領域抽出装置。
5. 記憶手段に記憶されている、特定のオブジェクトの全体領域の視覚的特徴量と、視覚的特徴が類似する領域毎に当該オブジェクトを分割した各部分領域の視覚的特徴量とを用いて、入力された画像から特定のオブジェクトに類似する領域を抽出するオブジェクト領域抽出方法であって、
   入力された画像を視覚的特徴が類似する領域に分割し、
   分割された分割領域の視覚的特徴量を抽出し、
   視覚的特徴量とともに取得する前記部分領域および前記分割領域の面積の大きい順に各々の領域の視覚的特徴量を選択し、前記候補領域が検出されたときに次に面積の小さい部分領域の視覚的特徴量と次に面積の小さい分割領域の視覚的特徴量を選択して、前記部分領域の視覚的特徴量と前記分割領域の視覚的特徴量との類似度を算出し、
   算出した類似度と第１の閾値とが所定の関係にあるか否かを判定し、所定の関係にある場合に該分割領域を特定のオブジェクトの部分となる候補領域とし、
   各候補領域を結合することによって構成される結合領域を生成し、生成した結合領域の視覚的特徴量を抽出し、
   前記全体領域の視覚的特徴量と前記結合領域の視覚的特徴量との類似度を算出し、算出した類似度と第２の閾値とが所定の関係を満たしているときに、前記結合領域が特定のオブジェクトに類似する領域であると判定する
   ことを特徴とするオブジェクト領域抽出方法。
6. 色に関する特徴量、模様に関する特徴量、大きさに関する特徴量および位置に関する特徴量のうちの少なくとも一つを用いて、部分領域の視覚的特徴量と、抽出された視覚的特徴量との類似度を算出することを特徴とする請求項５に記載のオブジェクト領域抽出方法。
7. 色に関する特徴量、模様に関する特徴量、形状に関する特徴量、大きさに関する特徴量および位置に関する特徴量のうちの少なくとも一つを用いて、全体領域の視覚的特徴量と抽出された視覚的特徴量との類似度を算出することを特徴とする請求項５または請求項６に記載のオブジェクト領域抽出方法。
8. 抽出された結合領域の視覚的特徴量をオブジェクトの全体領域の視覚的特徴量として記憶手段に登録し、照合された候補領域の視覚的特徴量を各部分領域の視覚的特徴量として記憶手段に登録することを特徴とする請求項５から請求項７のいずれかに記載のオブジェクト領域抽出方法。
9. 特定のオブジェクトの全体領域の視覚的特徴量と、視覚的特徴が類似する領域毎に当該オブジェクトを分割した各部分領域の視覚的特徴量とを用いて、入力された画像から特定のオブジェクトに類似する領域を抽出するためのオブジェクト領域抽出プログラムであって、
   前記オブジェクト領域抽出プログラムはコンピュータに、
   入力された画像を視覚的特徴が類似する領域に分割する領域分割処理と、
   分割された分割領域の視覚的特徴量を抽出する部分特徴量抽出処理と、
   視覚的特徴量とともに取得する前記部分領域および前記分割領域の面積の大きい順に各々の領域の視覚的特徴量を選択し、前記候補領域が検出されたときに次に面積の小さい部分領域の視覚的特徴量と次に面積の小さい分割領域の視覚的特徴量を選択して、前記部分領域の視覚的特徴量と前記分割領域の視覚的特徴量との類似度を算出し、算出した類似度と第１の閾値とが所定の関係にあるか否かを判定し、所定の関係にある場合に該分割領域を特定のオブジェクトの部分となる候補領域とする部分照合処理と、
   各候補領域を結合することによって構成される結合領域を生成し、生成した結合領域の視覚的特徴量を抽出する全体特徴量抽出処理と、
   前記全体領域の視覚的特徴量と前記結合領域の視覚的特徴量との類似度を算出し、算出した類似度と第２の閾値とが所定の関係を満たしているときに、前記結合領域が特定のオブジェクトに類似する領域であると判定する全体照合処理と
   を実行させることを特徴とするオブジェクト領域抽出プログラム。

Images