JP3569641B2 - 画像中の物体の検出装置、方法およびこの方法を記録した記録媒体 - Google Patents
画像中の物体の検出装置、方法およびこの方法を記録した記録媒体 Download PDFInfo
- Publication number
- JP3569641B2 JP3569641B2 JP04766199A JP4766199A JP3569641B2 JP 3569641 B2 JP3569641 B2 JP 3569641B2 JP 04766199 A JP04766199 A JP 04766199A JP 4766199 A JP4766199 A JP 4766199A JP 3569641 B2 JP3569641 B2 JP 3569641B2
- Authority
- JP
- Japan
- Prior art keywords
- detection target
- target object
- image
- region
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像中の物体を検出する検出装置、検出方法に係り、特に検出対象となる物体が写された複数の画像から検出対象物体の認識モデルを作成し、この認識モデルに基づいて、未知画像内に検出対象物体が含まれるか否かを判定し、含まれる場合にはその物体が写っている局所領域を検出する装置、方法に関するものである。
【０００２】
【従来の技術】
画像中の物体を認識し検出するための認識モデルの作成に関する装置は、近年多くの技術が提案されている。その中の一つに、検出対象となる物体が写された複数の画像から直接その物体の認識モデルを作成する装置がある。
【０００３】
この従来の装置は、検出対象物体が写された画像、あるいは検出対象物体が写された画像の、物体が含まれる局所矩形領域による部分画像等からなる事例集合に対してＫＬ（カルフーネン・レーヴ）変換等の画像処理方法を適用することで検出対象物体の２次元的なテンプレート画像を作成し、このテンプレート画像自身により検出対象物体の認識モデルを作成するというものであり、入力未知画像の多くの局所領域とこのテンプレート画像との照合計算に基づいて物体を検出するものである。例えば、次の文献がある。
【０００４】
参考文献１：Ｍ．Ｔｕｒｋ ａｎｄ Ａ．Ｐｅｎｔｌａｎｄ，”Ｅｉｇｅｎｆａｃｅｓ ｆｏｒ Ｒｅｃｏｇｎｉｔｉｏｎ”，Ｊ．Ｃｏｇｎｉｔｉｖｅ Ｎｅｕｒｏｓｃｉｅｎｃｅ，Ｖｏｌ．３，Ｎｏ．１，ｐｐ．７１−８６（１９９１）
この参考文献１では画像から人間の顔を認識し検出するために、複数の人間の正面から撮影した顔画像の集合に対してＫＬ変換を適用することによって、未知画像から正面を向いた顔画像が検出可能な顔画像認識モデルを作成している。
【０００５】
【発明が解決しようとする課題】
画像から検出対象物体を検出するために、検出対象物体が写された画像、あるいは検出対象物体が写された画像の、物体が含まれる局所矩形領域の部分画像等の事例集合に対してＫＬ変換等の画像処理方法を適用することで対象物体の２次元的なテンプレート画像を認識モデルとして作成する従来の装置においては、未知画像内の物体を認識しその領域を検出する際、照合計算において、未知画像の各局所領域とテンプレート画像との画像全体に関する類似性を照合評価として測るため、局所領域内に検出対象物体が写っている場合であっても、検出対象物体に向きやオクルージョン等の見かけ上の変化が多少でもある場合には、画像全体での類似性が評価されないために検出対象物体を検出できないという問題がある。
【０００６】
本発明が解決しようとする課題は、未知画像内において検出対象物体が写されている場合で、向きやオクルージョン等の見かけ上の変化が多少ある場合に対しても、物体の検出が可能な認識モデルを作成し、この認識モデルに基づいて検出対象物体を検出する装置および方法を提案することにある。
【０００７】
【課題を解決するための手段】
上記の課題を解決するための本発明の画像中の物体の検出装置は、検出対象物体が写された複数の画像から作成する認識モデルに基づいて、入力された未知画像内に検出対象物体が含まれるか否かを判定し、含まれる場合にはその物体が写っている局所領域を検出する画像中の物体の検出装置であって、
前記認識モデルの作成手段は、
前記検出対象物体が写された複数の画像を入力する手段と、
前記検出対象物体以外が写された複数の画像を入力する手段と、
前記検出対象物体および検出対象物体以外の各入力画像から色、エッジ、テクスチャ、あるいはこれらの結合による特徴ベクトルを抽出する手段と、
前記抽出された検出対象物体および検出対象物体以外の特徴ベクトルによって、特徴空間の各軸を２等分して２の次元数乗個の方形領域に分割する手段と、
前記各方形領域について、含まれる特徴ベクトルが前記検出対象物体の要素のみである場合はその領域を正領域とし、含まれる特徴ベクトルが前記検出対象物体以外の要素のみである場合は負領域とし、前記検出対象物体および検出対象物体以外のいずれの要素も含まない場合は負領域とする、正負領域の分類と前記各方形領域の分割を繰り返す手段と、
前記正領域の要素が含まれる各方形領域の和集合領域を、前記検出対象物体の画像特徴の特徴付け領域として生成することで、前記検出対象物体の認識モデルを作成する手段とを備えたことを特徴とする。
【０００９】
また、上記の課題を解決するための本発明の画像中の物体の検出方法は、検出対象物体が写された複数の画像から作成する認識モデルに基づいて、入力された未知画像内に検出対象物体が含まれるか否かを判定し、含まれる場合にはその物体が写っている局所領域を検出する画像中の物体の検出方法であって、
前記認識モデルの作成は、
前記検出対象物体が写された複数の画像を入力し、
前記検出対象物体以外が写された複数の画像を入力し、
前記検出対象物体および検出対象物体以外の各入力画像から色、エッジ、テクスチャ、あるいはこれらの結合による特徴ベクトルを抽出し、
前記抽出された検出対象物体および検出対象物体以外の特徴ベクトルによって、特徴空間の各軸を２等分して２の次元数乗個の方形領域に分割し、
前記各方形領域について、含まれる特徴ベクトルが前記検出対象物体の要素のみである場合はその領域を正領域とし、含まれる特徴ベクトルが前記検出対象物体以外の要素のみである場合は負領域とし、前記検出対象物体および検出対象物体以外のいずれの要素も含まない場合は負領域とする、正負領域の分類と前記各方形領域の分割を繰り返し、
前記正領域の要素が含まれる各方形領域の和集合領域を、前記検出対象物体の画像特徴の特徴付け領域として生成することで、前記検出対象物体の認識モデルを作成することを特徴とする。
【００１１】
また、上記検出方法における処理手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする。
【００１２】
【発明の実施の形態】
以下に、本発明の実施形態について、図面を参照して説明する。
【００１３】
図１は、本発明における認識モデル作成のための装置構成である。この装置構成の手段１０１，１０２，１１１〜１１３は、マウス、イメージスキャナ、ディスプレイ、ＣＰＵ及びメモリ装置等からなるいわゆるコンピュータシステムを使用して実現されるが、その構成は周知であるので図示は省略する。
【００１４】
まず、画像入力手段１０１は、イメージスキャナ等を利用して、検出対象となる物体が写された複数の画像を入力し、メモリ等に格納する。ここで、検出対象物体が入力画像の局所的な矩形領域に含まれている場合には、マウス等でその矩形領域を指定し、新たに部分画像を作成した上で、この部分画像をメモリ等に格納する。
【００１５】
次に、画像入力手段１０２は、検出対象物体以外が写された複数の画像を入力し、メモリ等に格納する。
【００１６】
次いで、手段１１１〜１１３は、ＣＰＵ上で以下の処理を実行し、検出対象物体の認識モデルを処理系において自動的に作成する。
【００１７】
まず、特徴ベクトル抽出処理手段１１１は、画像入力手段１０１および１０２で入力された検出対象物体およびそれ以外が写された各入力画像から色、エッジ、テクスチャ、あるいはこれらの結合による特徴ベクトルを抽出する。
【００１８】
次いで、階層的分類処理手段１１２は、抽出された検出対象物体および検出対象物体以外の両者の特徴ベクトルの集合によって特徴空間を階層的に分類し、分類された特徴空間の局所領域内にはこの両集合の要素が同時に含まれないようにする。
【００１９】
最後に、認識モデル作成処理手段１１３は、検出対象物体の特徴ベクトルが含まれる特徴空間上の各局所領域に対してその和集合を生成し、検出対象物体の画像特徴の特徴付け領域として生成することで検出対象物体の認識モデルを作成する。
【００２０】
次に、本発明による認識モデル作成に関する具体的な処理例を図２、図３を参照して説明する。
【００２１】
まず、画像入力手段１０１により検出対象物体が写された複数の画像を入力する。ただし、検出対象物体が入力画像中のある局所矩形領域に含まれる場合には、検出対象物体が含まれ、かつ背景ができるだけ含まれないように外接矩形領域を指定し、新たに部分画像を作成した上で、この部分画像を入力する。
【００２２】
次に、画像入力手段１０２により検出対象物体以外が写された複数の画像を入力する。
【００２３】
次に、特徴ベクトル抽出処理手段１１１において、入力された検出対象物体および検出対象物体以外の各画像から、色、エッジ、テクスチャ、あるいはこれらの結合による特徴ベクトルを抽出する。
【００２４】
なお、特徴ベクトル抽出に関しては、例えば、「Ｙ−Ｉ Ｏｈｔａ，Ｔ．Ｋａｎｄａ ａｎｄ Ｔ．Ｓａｓａｋｉ，”Ｃｏｌｏｒ ｉｎｆｏｍａｔｉｏｎ ｆｏｒ ｒｅｇｉｏｎ ｓｅｇｍｅｎｔａｔｉｏｎ”，Ｃｏｍｐ．ａｎｄ Ｉｍｇ．Ｐｒｏｃ．，１３：２２２−２４１（１９８０）」（参考文献２）や「水野陽一、小林亜樹、吉田俊之、酒井善則、エッジ方向特徴量による画像検索、信学技報、ＩＥ９８−６２（１９９８）」（参考文献３）において詳述されている。
【００２５】
例えば、色特徴ベクトルとしては、ＨＳＩ表色系の色相を１６分割した色ヒストグラム（次元数１６）を採用することができる。また、エッジ特徴ベクトルとしては、方向数が４のエッジ方向ヒストグラム（次元数４）を採用することができる。これは、まず、画像の各画素に対して、水平、垂直、４５°、１３５°の４方向に関するガウス方向微分の絶対値をそれぞれ求め、これら４つの絶対値の最大値がある閾値を満たす場合にその画素をエッジ点と判定し、さらに最大値を与える方向をその画素のエッジ方向と定める。次に、水平、垂直、４５°、１３５°の各方向について、画像内の対応するエッジ点の個数をカウントすることによりヒストグラムを作成する。なお、色及びエッジのヒストグラムの各成分は、画像の全画素数で割って正規化する。
【００２６】
次に、階層的分類処理手段１１２は、図２に示すブロック構成にされ、検出対象物体の各画像から抽出された特徴ベクトルの集合Ｓｐｏｓと、検出対象物体以外の各画像から抽出された特徴ベクトルの集合Ｓｎｅｇとによって、以下の方法により特徴空間Ｖを階層的に分類し、分類によってできる特徴空間Ｖの各局所領域中にＳｐｏｓの要素とＳｎｅｇの要素とが同時に含まれないようにする。以下では、特徴空間Ｖ内の検出対象物体の画像特徴が特徴付けられる領域を正領域、それ以外を負領域と呼ぶことにする。
【００２７】
まず、分割処理手段２０１では、特徴空間Ｖの各軸を２等分して特徴空間Ｖを２ｄｉｍＶ（ｄｉｍＶは特徴空間Ｖの次元数、上記の色とエッジではｄｉｍＶ＝２０）個の方形領域に分割する。
【００２８】
次に、正負判定処理手段２０２では、図３に示すように、分割処理手段２０１によってできる特徴空間Ｖの各方形領域に対して、以下の要領で正領域か負領域かの判定を行なう。この判定は、
（ａ）方形領域が集合Ｓｐｏｓの要素のみを含むならば、その領域は正領域と定める。
【００２９】
（ｂ）方形領域が集合Ｓｎｅｇの要素のみを含むならば、その領域は負領域と定める。集合Ｓｐｏｓ、Ｓｎｅｇのいずれの要素も含まない場合も負領域と定める。
【００３０】
最後に、終了判定処理手段２０３では、特徴空間Ｖの方形領域がすべて正負いずれかに分類されているならば処理を終了する。正負に分類されていない方形領域Ｗ１、…、Ｗｎ（集合ＳｐｏｓとＳｎｅｇの要素を同時に含む）がある場合には、方形領域Ｗ１、…、Ｗｎに対し、分割処理手段２０１と正負判定処理手段２０２に戻ってその処理を行ない、正負いずれかに分類されるまで、方形領域Ｗ１、…、Ｗｎを細分化していく。
【００３１】
最後に、認識モデル作成処理手段１１３において、集合Ｓｐｏｓの要素が含まれる各局所領域に対してその和集合領域を生成し、検出対象物体の画像特徴の特徴付け領域として生成することで、検出対象物体の認識モデルを作成する。
【００３２】
図４は、上述のようにして作成した認識モデルに基づく本発明の物体の検出装置の構成図である。この装置構成においても実際にはコンピュータシステム上で実現される。
【００３３】
まず、未知画像入力手段３０１は、カメラや画像記録媒体等から未知画像を入力する。探索ウインドウスキャン処理手段３１１は、入力手段３０１から入力された未知画像に対し、様々なスケールの探索ウインドウを画像全体にわたってスキャンして照合を行なうための局所矩形領域を多数選択する。
【００３４】
次に、特徴ベクトル抽出処理手段３１２は、探索ウインドウスキャン処理手段３１１で選択された各局所矩形領域から特徴ベクトルを抽出する。
【００３５】
最後に、認識モデル照合処理手段３１３は、抽出された各特徴ベクトルと上述の認識モデル作成装置を用いて作成し保存しておいた認識モデルとの照合計算によって、未知画像内に検出対象物体が写っているか否かを判定し、写っている場合にはその領域を検出する。
【００３６】
次に、本発明の認識モデルに基づいた未知画像からの物体の検出装置の具体的な処理例を図５を参照して説明する。
【００３７】
未知画像Ｘを入力し、探索ウインドウスキャン処理手段３１１において、図５のように様々なスケールの矩形状探索ウインドウを画像全体にわたってスキャンして照合を行なうための局所矩形領域を多数選択する。
【００３８】
次に、特徴ベクトル抽出処理手段３１２において、選択された各局所矩形領域から特徴ベクトルを抽出する。ただし、未知画像内の各局所矩形領域から抽出する特徴ベクトルは、検出対象物体の認識モデル作成に用いた特徴ベクトルと同じものである。
【００３９】
最後に、認識モデル照合処理手段３１３において、検出対象物体の認識モデルとの照合計算によって、未知画像Ｘに検出対象物体が含まれるか否かを判定し、含まれる場合にはその局所領域を検出する。すなわち、未知画像Ｘ内の選択された局所矩形領域から抽出した特徴ベクトルが一つでも、特徴空間のＲ領域、すなわち検出対象物体の画像特徴の特徴付け領域に含まれる場合には、この未知画像Ｘには検出対象物体が含まれると判定し、かつＲ領域に含まれる特徴ベクトルの抽出元の局所矩形領域内にこの物体は含まれるとしてその領域を検出する。
【００４０】
なお、本発明は、図１、図２及び図４に示した装置の一部又は全部をコンピュータを用いて機能させることができる。また、各図の手段をコンピュータプログラムで記載してそれを実行できるようにし、それをコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して提供し、配布することが可能である。
【００４１】
【発明の効果】
以上説明したように、本発明によれば、検出対象となる物体および検出対象物体以外が写された複数の画像を与えることによって、処理系で、検出対象物体の色、エッジ、テクスチャ、あるいはこれらの結合に関する画像特徴を学習して検出対象物体の認識モデルを自動的に作成する。色、エッジ、テクスチャ等の画像特徴は、物体のローカルな画像特徴であるため、実際の処理において抽出が安定かつロバストに実現される。このため、未知画像からの物体の検出処理においても、未知画像内に検出対象物体が写されている場合で、かつ向きやオクルージョン等の見かけ上の変化が多少程度ある場合であっても、検出対象物体を含みかつ背景をほとんど含まない局所矩形領域が照合対象として選択された場合には、その領域からの所望の画像特徴の抽出が可能となるため、上述の方法により学習した認識モデルに基づいてこの領域内の物体の認識・同定が可能となる。故に、未知画像からの検出対象物体の領域の検出も可能となる。
【図面の簡単な説明】
【図１】本発明の認識モデル作成に係る処理構成図。
【図２】特徴空間を検出対象物体の画像特徴の特徴付け領域と、それ以外の領域とに分類する処理構成図。
【図３】特徴空間を検出対象物体の画像特徴の特徴付け領域と、それ以外の領域とに分類する例。
【図４】本発明の画像中の対象物体の検出に係る処理構成図。
【図５】未知画像に対象物体が含まれるか否かを判定して、含まれる場合にはその局所矩形領域を検出する具体的な処理例。
【符号の説明】
１０１…検出対象物体が写された画像入力手段
１０２…検出対象物体以外が写された画像入力手段
１１１…特徴ベクトル抽出処理手段
１１２…階層的分類処理手段
１１３…認識モデル作成処理手段
２０１…分割処理手段
２０２…正負判定処理手段
２０３…終了判定処理手段
３０１…未知画像入力手段
３１１…探索ウインドウスキャン処理手段
３１２…特徴ベクトル抽出処理手段
３１３…認識モデル照合処理手段
【発明の属する技術分野】
本発明は、画像中の物体を検出する検出装置、検出方法に係り、特に検出対象となる物体が写された複数の画像から検出対象物体の認識モデルを作成し、この認識モデルに基づいて、未知画像内に検出対象物体が含まれるか否かを判定し、含まれる場合にはその物体が写っている局所領域を検出する装置、方法に関するものである。
【０００２】
【従来の技術】
画像中の物体を認識し検出するための認識モデルの作成に関する装置は、近年多くの技術が提案されている。その中の一つに、検出対象となる物体が写された複数の画像から直接その物体の認識モデルを作成する装置がある。
【０００３】
この従来の装置は、検出対象物体が写された画像、あるいは検出対象物体が写された画像の、物体が含まれる局所矩形領域による部分画像等からなる事例集合に対してＫＬ（カルフーネン・レーヴ）変換等の画像処理方法を適用することで検出対象物体の２次元的なテンプレート画像を作成し、このテンプレート画像自身により検出対象物体の認識モデルを作成するというものであり、入力未知画像の多くの局所領域とこのテンプレート画像との照合計算に基づいて物体を検出するものである。例えば、次の文献がある。
【０００４】
参考文献１：Ｍ．Ｔｕｒｋ ａｎｄ Ａ．Ｐｅｎｔｌａｎｄ，”Ｅｉｇｅｎｆａｃｅｓ ｆｏｒ Ｒｅｃｏｇｎｉｔｉｏｎ”，Ｊ．Ｃｏｇｎｉｔｉｖｅ Ｎｅｕｒｏｓｃｉｅｎｃｅ，Ｖｏｌ．３，Ｎｏ．１，ｐｐ．７１−８６（１９９１）
この参考文献１では画像から人間の顔を認識し検出するために、複数の人間の正面から撮影した顔画像の集合に対してＫＬ変換を適用することによって、未知画像から正面を向いた顔画像が検出可能な顔画像認識モデルを作成している。
【０００５】
【発明が解決しようとする課題】
画像から検出対象物体を検出するために、検出対象物体が写された画像、あるいは検出対象物体が写された画像の、物体が含まれる局所矩形領域の部分画像等の事例集合に対してＫＬ変換等の画像処理方法を適用することで対象物体の２次元的なテンプレート画像を認識モデルとして作成する従来の装置においては、未知画像内の物体を認識しその領域を検出する際、照合計算において、未知画像の各局所領域とテンプレート画像との画像全体に関する類似性を照合評価として測るため、局所領域内に検出対象物体が写っている場合であっても、検出対象物体に向きやオクルージョン等の見かけ上の変化が多少でもある場合には、画像全体での類似性が評価されないために検出対象物体を検出できないという問題がある。
【０００６】
本発明が解決しようとする課題は、未知画像内において検出対象物体が写されている場合で、向きやオクルージョン等の見かけ上の変化が多少ある場合に対しても、物体の検出が可能な認識モデルを作成し、この認識モデルに基づいて検出対象物体を検出する装置および方法を提案することにある。
【０００７】
【課題を解決するための手段】
上記の課題を解決するための本発明の画像中の物体の検出装置は、検出対象物体が写された複数の画像から作成する認識モデルに基づいて、入力された未知画像内に検出対象物体が含まれるか否かを判定し、含まれる場合にはその物体が写っている局所領域を検出する画像中の物体の検出装置であって、
前記認識モデルの作成手段は、
前記検出対象物体が写された複数の画像を入力する手段と、
前記検出対象物体以外が写された複数の画像を入力する手段と、
前記検出対象物体および検出対象物体以外の各入力画像から色、エッジ、テクスチャ、あるいはこれらの結合による特徴ベクトルを抽出する手段と、
前記抽出された検出対象物体および検出対象物体以外の特徴ベクトルによって、特徴空間の各軸を２等分して２の次元数乗個の方形領域に分割する手段と、
前記各方形領域について、含まれる特徴ベクトルが前記検出対象物体の要素のみである場合はその領域を正領域とし、含まれる特徴ベクトルが前記検出対象物体以外の要素のみである場合は負領域とし、前記検出対象物体および検出対象物体以外のいずれの要素も含まない場合は負領域とする、正負領域の分類と前記各方形領域の分割を繰り返す手段と、
前記正領域の要素が含まれる各方形領域の和集合領域を、前記検出対象物体の画像特徴の特徴付け領域として生成することで、前記検出対象物体の認識モデルを作成する手段とを備えたことを特徴とする。
【０００９】
また、上記の課題を解決するための本発明の画像中の物体の検出方法は、検出対象物体が写された複数の画像から作成する認識モデルに基づいて、入力された未知画像内に検出対象物体が含まれるか否かを判定し、含まれる場合にはその物体が写っている局所領域を検出する画像中の物体の検出方法であって、
前記認識モデルの作成は、
前記検出対象物体が写された複数の画像を入力し、
前記検出対象物体以外が写された複数の画像を入力し、
前記検出対象物体および検出対象物体以外の各入力画像から色、エッジ、テクスチャ、あるいはこれらの結合による特徴ベクトルを抽出し、
前記抽出された検出対象物体および検出対象物体以外の特徴ベクトルによって、特徴空間の各軸を２等分して２の次元数乗個の方形領域に分割し、
前記各方形領域について、含まれる特徴ベクトルが前記検出対象物体の要素のみである場合はその領域を正領域とし、含まれる特徴ベクトルが前記検出対象物体以外の要素のみである場合は負領域とし、前記検出対象物体および検出対象物体以外のいずれの要素も含まない場合は負領域とする、正負領域の分類と前記各方形領域の分割を繰り返し、
前記正領域の要素が含まれる各方形領域の和集合領域を、前記検出対象物体の画像特徴の特徴付け領域として生成することで、前記検出対象物体の認識モデルを作成することを特徴とする。
【００１１】
また、上記検出方法における処理手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする。
【００１２】
【発明の実施の形態】
以下に、本発明の実施形態について、図面を参照して説明する。
【００１３】
図１は、本発明における認識モデル作成のための装置構成である。この装置構成の手段１０１，１０２，１１１〜１１３は、マウス、イメージスキャナ、ディスプレイ、ＣＰＵ及びメモリ装置等からなるいわゆるコンピュータシステムを使用して実現されるが、その構成は周知であるので図示は省略する。
【００１４】
まず、画像入力手段１０１は、イメージスキャナ等を利用して、検出対象となる物体が写された複数の画像を入力し、メモリ等に格納する。ここで、検出対象物体が入力画像の局所的な矩形領域に含まれている場合には、マウス等でその矩形領域を指定し、新たに部分画像を作成した上で、この部分画像をメモリ等に格納する。
【００１５】
次に、画像入力手段１０２は、検出対象物体以外が写された複数の画像を入力し、メモリ等に格納する。
【００１６】
次いで、手段１１１〜１１３は、ＣＰＵ上で以下の処理を実行し、検出対象物体の認識モデルを処理系において自動的に作成する。
【００１７】
まず、特徴ベクトル抽出処理手段１１１は、画像入力手段１０１および１０２で入力された検出対象物体およびそれ以外が写された各入力画像から色、エッジ、テクスチャ、あるいはこれらの結合による特徴ベクトルを抽出する。
【００１８】
次いで、階層的分類処理手段１１２は、抽出された検出対象物体および検出対象物体以外の両者の特徴ベクトルの集合によって特徴空間を階層的に分類し、分類された特徴空間の局所領域内にはこの両集合の要素が同時に含まれないようにする。
【００１９】
最後に、認識モデル作成処理手段１１３は、検出対象物体の特徴ベクトルが含まれる特徴空間上の各局所領域に対してその和集合を生成し、検出対象物体の画像特徴の特徴付け領域として生成することで検出対象物体の認識モデルを作成する。
【００２０】
次に、本発明による認識モデル作成に関する具体的な処理例を図２、図３を参照して説明する。
【００２１】
まず、画像入力手段１０１により検出対象物体が写された複数の画像を入力する。ただし、検出対象物体が入力画像中のある局所矩形領域に含まれる場合には、検出対象物体が含まれ、かつ背景ができるだけ含まれないように外接矩形領域を指定し、新たに部分画像を作成した上で、この部分画像を入力する。
【００２２】
次に、画像入力手段１０２により検出対象物体以外が写された複数の画像を入力する。
【００２３】
次に、特徴ベクトル抽出処理手段１１１において、入力された検出対象物体および検出対象物体以外の各画像から、色、エッジ、テクスチャ、あるいはこれらの結合による特徴ベクトルを抽出する。
【００２４】
なお、特徴ベクトル抽出に関しては、例えば、「Ｙ−Ｉ Ｏｈｔａ，Ｔ．Ｋａｎｄａ ａｎｄ Ｔ．Ｓａｓａｋｉ，”Ｃｏｌｏｒ ｉｎｆｏｍａｔｉｏｎ ｆｏｒ ｒｅｇｉｏｎ ｓｅｇｍｅｎｔａｔｉｏｎ”，Ｃｏｍｐ．ａｎｄ Ｉｍｇ．Ｐｒｏｃ．，１３：２２２−２４１（１９８０）」（参考文献２）や「水野陽一、小林亜樹、吉田俊之、酒井善則、エッジ方向特徴量による画像検索、信学技報、ＩＥ９８−６２（１９９８）」（参考文献３）において詳述されている。
【００２５】
例えば、色特徴ベクトルとしては、ＨＳＩ表色系の色相を１６分割した色ヒストグラム（次元数１６）を採用することができる。また、エッジ特徴ベクトルとしては、方向数が４のエッジ方向ヒストグラム（次元数４）を採用することができる。これは、まず、画像の各画素に対して、水平、垂直、４５°、１３５°の４方向に関するガウス方向微分の絶対値をそれぞれ求め、これら４つの絶対値の最大値がある閾値を満たす場合にその画素をエッジ点と判定し、さらに最大値を与える方向をその画素のエッジ方向と定める。次に、水平、垂直、４５°、１３５°の各方向について、画像内の対応するエッジ点の個数をカウントすることによりヒストグラムを作成する。なお、色及びエッジのヒストグラムの各成分は、画像の全画素数で割って正規化する。
【００２６】
次に、階層的分類処理手段１１２は、図２に示すブロック構成にされ、検出対象物体の各画像から抽出された特徴ベクトルの集合Ｓｐｏｓと、検出対象物体以外の各画像から抽出された特徴ベクトルの集合Ｓｎｅｇとによって、以下の方法により特徴空間Ｖを階層的に分類し、分類によってできる特徴空間Ｖの各局所領域中にＳｐｏｓの要素とＳｎｅｇの要素とが同時に含まれないようにする。以下では、特徴空間Ｖ内の検出対象物体の画像特徴が特徴付けられる領域を正領域、それ以外を負領域と呼ぶことにする。
【００２７】
まず、分割処理手段２０１では、特徴空間Ｖの各軸を２等分して特徴空間Ｖを２ｄｉｍＶ（ｄｉｍＶは特徴空間Ｖの次元数、上記の色とエッジではｄｉｍＶ＝２０）個の方形領域に分割する。
【００２８】
次に、正負判定処理手段２０２では、図３に示すように、分割処理手段２０１によってできる特徴空間Ｖの各方形領域に対して、以下の要領で正領域か負領域かの判定を行なう。この判定は、
（ａ）方形領域が集合Ｓｐｏｓの要素のみを含むならば、その領域は正領域と定める。
【００２９】
（ｂ）方形領域が集合Ｓｎｅｇの要素のみを含むならば、その領域は負領域と定める。集合Ｓｐｏｓ、Ｓｎｅｇのいずれの要素も含まない場合も負領域と定める。
【００３０】
最後に、終了判定処理手段２０３では、特徴空間Ｖの方形領域がすべて正負いずれかに分類されているならば処理を終了する。正負に分類されていない方形領域Ｗ１、…、Ｗｎ（集合ＳｐｏｓとＳｎｅｇの要素を同時に含む）がある場合には、方形領域Ｗ１、…、Ｗｎに対し、分割処理手段２０１と正負判定処理手段２０２に戻ってその処理を行ない、正負いずれかに分類されるまで、方形領域Ｗ１、…、Ｗｎを細分化していく。
【００３１】
最後に、認識モデル作成処理手段１１３において、集合Ｓｐｏｓの要素が含まれる各局所領域に対してその和集合領域を生成し、検出対象物体の画像特徴の特徴付け領域として生成することで、検出対象物体の認識モデルを作成する。
【００３２】
図４は、上述のようにして作成した認識モデルに基づく本発明の物体の検出装置の構成図である。この装置構成においても実際にはコンピュータシステム上で実現される。
【００３３】
まず、未知画像入力手段３０１は、カメラや画像記録媒体等から未知画像を入力する。探索ウインドウスキャン処理手段３１１は、入力手段３０１から入力された未知画像に対し、様々なスケールの探索ウインドウを画像全体にわたってスキャンして照合を行なうための局所矩形領域を多数選択する。
【００３４】
次に、特徴ベクトル抽出処理手段３１２は、探索ウインドウスキャン処理手段３１１で選択された各局所矩形領域から特徴ベクトルを抽出する。
【００３５】
最後に、認識モデル照合処理手段３１３は、抽出された各特徴ベクトルと上述の認識モデル作成装置を用いて作成し保存しておいた認識モデルとの照合計算によって、未知画像内に検出対象物体が写っているか否かを判定し、写っている場合にはその領域を検出する。
【００３６】
次に、本発明の認識モデルに基づいた未知画像からの物体の検出装置の具体的な処理例を図５を参照して説明する。
【００３７】
未知画像Ｘを入力し、探索ウインドウスキャン処理手段３１１において、図５のように様々なスケールの矩形状探索ウインドウを画像全体にわたってスキャンして照合を行なうための局所矩形領域を多数選択する。
【００３８】
次に、特徴ベクトル抽出処理手段３１２において、選択された各局所矩形領域から特徴ベクトルを抽出する。ただし、未知画像内の各局所矩形領域から抽出する特徴ベクトルは、検出対象物体の認識モデル作成に用いた特徴ベクトルと同じものである。
【００３９】
最後に、認識モデル照合処理手段３１３において、検出対象物体の認識モデルとの照合計算によって、未知画像Ｘに検出対象物体が含まれるか否かを判定し、含まれる場合にはその局所領域を検出する。すなわち、未知画像Ｘ内の選択された局所矩形領域から抽出した特徴ベクトルが一つでも、特徴空間のＲ領域、すなわち検出対象物体の画像特徴の特徴付け領域に含まれる場合には、この未知画像Ｘには検出対象物体が含まれると判定し、かつＲ領域に含まれる特徴ベクトルの抽出元の局所矩形領域内にこの物体は含まれるとしてその領域を検出する。
【００４０】
なお、本発明は、図１、図２及び図４に示した装置の一部又は全部をコンピュータを用いて機能させることができる。また、各図の手段をコンピュータプログラムで記載してそれを実行できるようにし、それをコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して提供し、配布することが可能である。
【００４１】
【発明の効果】
以上説明したように、本発明によれば、検出対象となる物体および検出対象物体以外が写された複数の画像を与えることによって、処理系で、検出対象物体の色、エッジ、テクスチャ、あるいはこれらの結合に関する画像特徴を学習して検出対象物体の認識モデルを自動的に作成する。色、エッジ、テクスチャ等の画像特徴は、物体のローカルな画像特徴であるため、実際の処理において抽出が安定かつロバストに実現される。このため、未知画像からの物体の検出処理においても、未知画像内に検出対象物体が写されている場合で、かつ向きやオクルージョン等の見かけ上の変化が多少程度ある場合であっても、検出対象物体を含みかつ背景をほとんど含まない局所矩形領域が照合対象として選択された場合には、その領域からの所望の画像特徴の抽出が可能となるため、上述の方法により学習した認識モデルに基づいてこの領域内の物体の認識・同定が可能となる。故に、未知画像からの検出対象物体の領域の検出も可能となる。
【図面の簡単な説明】
【図１】本発明の認識モデル作成に係る処理構成図。
【図２】特徴空間を検出対象物体の画像特徴の特徴付け領域と、それ以外の領域とに分類する処理構成図。
【図３】特徴空間を検出対象物体の画像特徴の特徴付け領域と、それ以外の領域とに分類する例。
【図４】本発明の画像中の対象物体の検出に係る処理構成図。
【図５】未知画像に対象物体が含まれるか否かを判定して、含まれる場合にはその局所矩形領域を検出する具体的な処理例。
【符号の説明】
１０１…検出対象物体が写された画像入力手段
１０２…検出対象物体以外が写された画像入力手段
１１１…特徴ベクトル抽出処理手段
１１２…階層的分類処理手段
１１３…認識モデル作成処理手段
２０１…分割処理手段
２０２…正負判定処理手段
２０３…終了判定処理手段
３０１…未知画像入力手段
３１１…探索ウインドウスキャン処理手段
３１２…特徴ベクトル抽出処理手段
３１３…認識モデル照合処理手段
Claims (3)
- 検出対象物体が写された複数の画像から作成する認識モデルに基づいて、入力された未知画像内に検出対象物体が含まれるか否かを判定し、含まれる場合にはその物体が写っている局所領域を検出する画像中の物体の検出装置であって、
前記認識モデルの作成手段は、
前記検出対象物体が写された複数の画像を入力する手段と、
前記検出対象物体以外が写された複数の画像を入力する手段と、
前記検出対象物体および検出対象物体以外の各入力画像から色、エッジ、テクスチャ、あるいはこれらの結合による特徴ベクトルを抽出する手段と、
前記抽出された検出対象物体および検出対象物体以外の特徴ベクトルによって、特徴空間の各軸を２等分して２の次元数乗個の方形領域に分割する手段と、
前記各方形領域について、含まれる特徴ベクトルが前記検出対象物体の要素のみである場合はその領域を正領域とし、含まれる特徴ベクトルが前記検出対象物体以外の要素のみである場合は負領域とし、前記検出対象物体および検出対象物体以外のいずれの要素も含まない場合は負領域とする、正負領域の分類と前記各方形領域の分割を繰り返す手段と、
前記正領域の要素が含まれる各方形領域の和集合領域を、前記検出対象物体の画像特徴の特徴付け領域として生成することで、前記検出対象物体の認識モデルを作成する手段と、
を備えたことを特徴とする画像中の物体の検出装置。 - 検出対象物体が写された複数の画像から作成する認識モデルに基づいて、入力された未知画像内に検出対象物体が含まれるか否かを判定し、含まれる場合にはその物体が写っている局所領域を検出する画像中の物体の検出方法であって、
前記認識モデルの作成は、
前記検出対象物体が写された複数の画像を入力し、
前記検出対象物体以外が写された複数の画像を入力し、
前記検出対象物体および検出対象物体以外の各入力画像から色、エッジ、テクスチャ、あるいはこれらの結合による特徴ベクトルを抽出し、
前記抽出された検出対象物体および検出対象物体以外の特徴ベクトルによって、特徴空間の各軸を２等分して２の次元数乗個の方形領域に分割し、
前記各方形領域について、含まれる特徴ベクトルが前記検出対象物体の要素のみである場合はその領域を正領域とし、含まれる特徴ベクトルが前記検出対象物体以外の要素のみである場合は負領域とし、前記検出対象物体および検出対象物体以外のいずれの要素も含まない場合は負領域とする、正負領域の分類と前記各方形領域の分割を繰り返し、
前記正領域の要素が含まれる各方形領域の和集合領域を、前記検出対象物体の画像特徴の特徴付け領域として生成することで、前記検出対象物体の認識モデルを作成する、
ことを特徴とする画像中の物体の検出方法。 - 請求項２に記載の画像中の物体の検出方法における処理手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする画像中の物体の検出方法を記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04766199A JP3569641B2 (ja) | 1999-02-25 | 1999-02-25 | 画像中の物体の検出装置、方法およびこの方法を記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04766199A JP3569641B2 (ja) | 1999-02-25 | 1999-02-25 | 画像中の物体の検出装置、方法およびこの方法を記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000242782A JP2000242782A (ja) | 2000-09-08 |
| JP3569641B2 true JP3569641B2 (ja) | 2004-09-22 |
Family
ID=12781459
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04766199A Expired - Lifetime JP3569641B2 (ja) | 1999-02-25 | 1999-02-25 | 画像中の物体の検出装置、方法およびこの方法を記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3569641B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7257268B2 (en) * | 2003-02-28 | 2007-08-14 | Aperio Technologies, Inc. | Systems and methods for image pattern recognition |
| US7920725B2 (en) | 2003-09-09 | 2011-04-05 | Fujifilm Corporation | Apparatus, method, and program for discriminating subjects |
| JP4541806B2 (ja) * | 2003-09-09 | 2010-09-08 | 富士フイルム株式会社 | 対象物識別装置および方法並びにプログラム |
| US8644600B2 (en) * | 2007-06-05 | 2014-02-04 | Microsoft Corporation | Learning object cutout from a single example |
| CN115424189B (zh) * | 2022-08-17 | 2024-01-23 | 扬州市职业大学(扬州开放大学) | 一种可对象状态识别防漏检的图像识别***及方法 |
-
1999
- 1999-02-25 JP JP04766199A patent/JP3569641B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000242782A (ja) | 2000-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Doretto et al. | Appearance-based person reidentification in camera networks: problem overview and current approaches | |
| Davis et al. | Fusion-based background-subtraction using contour saliency | |
| US6661907B2 (en) | Face detection in digital images | |
| Malik et al. | Contour and texture analysis for image segmentation | |
| Bak et al. | Person re-identification using spatial covariance regions of human body parts | |
| TWI281126B (en) | Image detection method based on region | |
| Hong et al. | Drivers drowsiness detection in embedded system | |
| CN102375974A (zh) | 信息处理设备和信息处理方法 | |
| Zhang et al. | Fast moving pedestrian detection based on motion segmentation and new motion features | |
| Kheirkhah et al. | A hybrid face detection approach in color images with complex background | |
| Yokono et al. | Oriented filters for object recognition: an empirical study | |
| Socarrás Salas et al. | Improving hog with image segmentation: Application to human detection | |
| Sridharan et al. | Real-time vision on a mobile robot platform | |
| JP3569641B2 (ja) | 画像中の物体の検出装置、方法およびこの方法を記録した記録媒体 | |
| Mitsui et al. | Object detection by joint features based on two-stage boosting | |
| Farajzadeh et al. | Vehicle logo recognition using image matching and textural features | |
| Zhang et al. | Pedestrian detection with EDGE features of color image and HOG on depth images | |
| JP3962517B2 (ja) | 顔面検出方法及びその装置、コンピュータ可読媒体 | |
| Kaur et al. | 2-D geometric shape recognition using canny edge detection technique | |
| Choi et al. | Retrieval of identical clothing images based on local color histograms | |
| Gottumukkal et al. | Real time face detection from color video stream based on PCA method | |
| Chuang et al. | χ2 test for feature detection | |
| Schwartz et al. | Robust human detection under occlusion by integrating face and person detectors | |
| Amjed et al. | A robust geometric skin colour face detection method under unconstrained environment of smartphone database | |
| JP4812743B2 (ja) | 顔認識装置、顔認識方法、顔認識プログラムおよびそのプログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040615 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040621 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090625 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090625 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100625 Year of fee payment: 6 |