JP4497236B2 - 検出用情報登録装置、電子機器、検出用情報登録装置の制御方法、電子機器の制御方法、検出用情報登録装置制御プログラム、電子機器の制御プログラム - Google Patents

Description

本発明は、物体の登録および検出の少なくともいずれか一方を行う装置、特に、物体の情報を登録し、登録した情報に基づき物体を検出する検出用情報登録装置、対象物体検出装置、電子機器、検出用情報登録装置の制御方法、対象物体検出装置の制御方法、検出用情報登録装置制御プログラム、対象物体検出装置制御プログラムに関するものである。

近年、デジタルスチールカメラやデジタルビデオカメラ等の撮像機器で、最適な画像を得るために、撮影対象を自動認識するニーズが高まってきている。例えば、デジタルカメラでは、人の顔を自動的に検出し、検出した人の顔に最適なフォーカスや露出を合わせる機能などが搭載されたものが存在している。

また、カメラ撮影では、ペットなどの動物を撮影対象とする機会も多く、人の顔を検出するのと同様に、撮影対象である動物を自動的に検出し、フォーカスや露出を補正する機能が求められている。

しかしながら、現在の技術では、人の顔を検出する技術は実用レベルに達しているが、人以外の動物を検出する技術は限定的なものしかなされていない。その理由の１つとして以下のことが考えられる。すなわち、何らかの撮影対象を検出する場合、まず、予めその撮影対象の特徴を定義しておく必要がある。この点、人の顔は、特徴が共通している部分が多く、定義しやすい。一方、動物は人に比べて多種多様であり、予め定義するのは難しい。例えば、犬を定義する場合を考えると、同じ犬であっても種類によって、顔や胴体の形、色、毛の長さ、耳の形状など人に比べ差が大きい。よって、予め犬の特徴を定義することは難しく、予め定義できない犬を自動検出することは、困難である。さらに、撮影する場合を考えると、動物は人のように撮影者の方に正対するとは限らず、いろんな方向を向いたり、また、姿勢もいろいろであるので、この点においても、自動認識を行うことをより技術的に困難にしている。

物体を自動認識する技術としては、以下のものがある。特許文献１には、顔認識機能を備えた電子カメラにおいて、認識した被写体の情報に基づいて各種処理を行う技術が開示されている。

また、特許文献２には、複数台のカメラで撮影した画像を共通の画像処理装置に入力し、画像処理装置で、データベースに登録されているモデルデータとカメラで撮影した画像との照合を行うことで、物体の存在位置や、物体の種類、物体までのおおまかな距離を検出する技術が記載されている。

また、特許文献３には、物体の見え方の変化を推定してモデル化し、モデル化したデータと入力された画像情報とを照合する技術が記載されている。

また、特許文献４には、監視空間に存在する検知対象を検知する画像認識装置において、背景画像と入力画像とが変化した場合に、小動物指標を用いて、この変化が小動物によるものか否かを判断する技術が記載されている。

また、特許文献５には、熱源画像を用いて車両認識し、その種類を判別・分類する技術が開示されている。

また、特許文献６には、動物の鼻全体の画像から鼻の輪郭、２つの鼻孔とそれぞれの輪郭を抽出し、動物を識別するための情報を作成する技術が開示されている。
特開２００７−２８２１１９号公報（２００７年１０月２５日公開） 特開２００２−８３２９７号公報（２００２年３月２２日公開） 特開２００１−３０７０９６号公報（２００１年１１月２日公開） 特開２００６−１５５１６７号公報（２００６年６月１５日公開） 特開平８−１６９８７号公報（１９９６年１月１９日公開） 特開２００７−１３５５０１号公報（２００７年６月７日公開）

しかしながら、上記従来の構成では、以下のような問題を生じる。すなわち、特許文献１に記載の技術は、人の顔を認証するものであり、上述したように動物は、そもそも予め定義することが困難であるので、人の顔と同様に動物を検出することは困難である。

また、特許文献２に記載の技術を動物に適用した場合、膨大な量のモデルデータを登録する必要がある。さらに、登録には、様々な向きや様々な位置からのデータを登録する必要があるが、どのような向きや位置からどれだけの量を登録すればよいのかユーザには分からず、ユーザにとって登録は容易なものではない。

また、特許文献３に記載の技術では、登録時にモデル化を行うために、撮影環境(向きや姿勢など)の情報を正確に計算する必要があるので、対象物を切り出す必要がある。しかしながら、静止画像から対象物を切り出すのは難しく、そのための手間がかかり、登録は容易ではない。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、検出対象となる動物をユーザが容易に登録できる装置、および入力された画像から登録された動物を検出する装置である検出用情報登録装置、対象物体検出装置等を実現することにある。

上記課題を解決するために、本発明に係る検出用情報登録装置は、撮影による動画像に含まれる対象物体を検出するための情報であって、該対象物体を特徴付ける情報である検出用特徴情報を登録する検出用情報登録装置であって、情報を記憶する記憶部と、上記動画像におけるフレーム画像を取得する画像取得手段と、撮影による動画像に含まれる対象物体を追尾するための情報であって、該対象物体を特徴付ける情報である追尾用特徴情報を、上記フレーム画像から抽出して上記記憶部に記憶する追尾用特徴抽出手段と、上記追尾用特徴抽出手段が抽出した追尾用特徴情報と、上記記憶部に記憶された過去の上記フレーム画像に関する上記追尾用特徴情報との変化から、上記対象物体の画像領域を検出する対象物体領域検出手段と、該対象物体領域検出手段が検出した上記対象物体の画像領域から、上記検出用特徴情報を抽出する検出用特徴抽出手段と該検出用特徴抽出手段が抽出した上記検出用特徴情報の一部または全部を上記記憶部に登録する検出用特徴登録手段とを備えていることを特徴としている。

また、本発明に係る検出用情報登録装置の制御方法は、上記動画像におけるフレーム画像を取得する画像取得ステップと、撮影による動画像に含まれる対象物体を追尾するための情報であって、該対象物体を特徴付ける情報である追尾用特徴情報を、上記フレーム画像から抽出して記憶部に記憶する追尾用特徴抽出ステップと、上記追尾用特徴抽出ステップで抽出した追尾用特徴情報と、記憶部に記憶された過去の上記フレーム画像に関する上記追尾用特徴情報との変化から、上記対象物体の画像領域を検出する対象物体領域検出ステップと、該対象物体領域検出ステップで検出した上記対象物体の画像領域から、上記検出用特徴情報を抽出する検出用特徴抽出ステップと該検出用特徴抽出ステップで抽出した上記検出用特徴情報の一部または全部を記憶部に登録する検出用特徴登録ステップとを含むことを特徴としている。

上記の構成および方法によれば、動画像からフレーム画像が取得される。そして、取得されたフレーム画像から、動画像における対象物体を追尾するための追尾用特徴情報が抽出され、記憶部に記憶される。そして、記憶部に記憶されている過去の追尾用特徴情報と現在の追尾用特徴情報との変化から対象物体の画像領域が検出される。そして、対象物体の画像領域から検出用特徴情報が抽出され、記憶部に記憶される。

これにより、対象物体を動画撮影するのみで、対象物体を検出するための検出用特徴情報が登録されるので、容易に対象物体の特徴を登録することができる。

本発明に係る検出用情報登録装置では、上記追尾用特徴抽出手段が抽出した追尾用特徴情報と、上記記憶部に記憶された過去の上記フレーム画像に関する上記追尾用特徴情報との変化と、上記対象物体領域検出手段が検出した対象物体領域の情報とに基づいて、上記対象物体の上記フレーム画像における運動の変化量を算出する運動変化量算出手段と、上記検出用特徴抽出手段が抽出した検出用特徴情報と、上記記憶部に記憶された検出用特徴情報との類似度を算出する類似度算出手段と、上記対象物体を含む被写体の撮影による任意の撮影画像から、上記対象物体を検出するために必要と推定される検出用特徴情報の量に対する、上記記憶部に記憶された検出用特徴情報の量の度合を示す充実度を、上記運動変化量算出手段が算出した運動の変化量と、上記類似度算出手段が算出した類似度とに基づいて算出する充実度算出手段とをさらに備えているものであってもよい。

上記の構成によれば、運動変化量算出手段が、追尾用特徴抽出手段が抽出した追尾用特徴情報と、記憶部に記憶された過去のフレーム画像に関する追尾用特徴情報との変化と、対象物体領域検出手段が検出した対象物体領域の情報とに基づいて、対象物体のフレーム画像における運動の変化量を算出する。そして、充実度算出手段が、運動変化量算出手段が算出した運動の変化量と、類似度算出手段が算出した類似度とに基づいて、充実度を算出する。

ここで、上記運動の変化量の例としては、移動量や向きの変化量などが挙げられる。

これにより、記憶されている検出用特徴情報の量が、対象物体を検出するために必要と推定される検出用特徴情報の量に対して、どのくらいの度合であるのかを示す充実度が算出される。

よって、例えば、充実度を報知することで、対象物体を検出するために必要と推定される検出用特徴情報の量まで検出用特徴情報を登録させるようにユーザに対し促すことができる。

本発明に係る検出用情報登録装置では、動画像における対象物体の初期位置の情報を予め取得して上記記憶部に記憶する初期位置取得手段をさらに備えており、上記追尾用特徴抽出手段および上記対象物体領域検出手段は、上記画像取得手段が取得した最初のフレーム画像に対し、上記記憶部に記憶された初期位置の情報を利用するものであってもよい。

上記の構成のよれば、初期位置取得手段は、対象物体の初期位置の情報を予め取得して記憶部に記憶させる。そして、追尾用特徴抽出手段および対象物体領域検出手段は、画像取得手段が取得した最初のフレーム画像に対し、上記記憶部に記憶された初期位置の情報を利用する。

これにより、対象物体の初期位置が、予め指定されるので、追尾用特徴抽出手段および対象物体領域検出手段は、より正確に対象物体が存在する領域を検出することができる。

本発明に係る検出用情報登録装置では、上記記憶部に記憶された複数の検出用特徴情報の全てまたは一部に共通する１または複数の検出用共通特徴情報を特定する共通特徴特定手段をさらに備えており、上記検出用特徴登録手段は、上記共通特徴特定手段が特定した検出用共通特徴情報をさらに上記記憶部に登録するものであることが好ましい。

上記の構成によれば、共通特徴特定手段は、上記記憶部に記憶された複数の検出用特徴情報の全てまたは一部に共通する１または複数の検出用共通特徴情報を特定する。そして、特定した検出用共通特徴情報を記憶部に記憶させる。

これにより、必要なときに、検出用共通特徴情報を用いることが可能となる。

例えば、対象物体を検出する場合に、検出用共通特徴情報を用いることで、画像全体に中から、対象物体が存在する可能性の高い領域を検出することが可能となる。

本発明に係る検出用情報登録装置では、上記記憶部に記憶される検出用特徴情報は、複数の上記対象物体を識別する識別情報に対応づけて記憶されているものであってもよい。

上記の構成によれば、検出用特徴情報は、複数の上記対象物体を識別する識別情報に対応づけて記憶される。

これにより、複数の対象物体を登録することが可能となる。

上記課題を解決するために、本発明に係る対象物体検出装置は、撮影による動画像に含まれる対象物体を検出する対象物体検出装置であって、上記対象物体を検出するための情報であって、該対象物体を特徴付ける情報である複数の検出用特徴情報と、該複数の検出用特徴情報の全てまたは一部に共通する１または複数の検出用共通特徴情報とを記憶する記憶部と、上記動画像におけるフレーム画像を取得する画像取得手段と、該画像取得手段が取得したフレーム画像から、検出用特徴情報を抽出する検出用特徴抽出手段と、該検出用特徴抽出手段が抽出した検出用特徴情報と、上記記憶部の検出用共通特徴情報とを用いて、上記検出用共通特徴情報と類似する検出用特徴情報を有する領域を、上記フレーム画像に上記対象物体が存在する可能性を有する領域である候補領域として探索する候補領域探索手段と、上記候補領域探索手段が探索した候補領域に含まれる検出用特徴情報と、上記記憶部の検出用特徴情報との類似度を算出する類似度算出手段と、該類似度算出手段が算出した類似度に基づいて、上記候補領域が、上記フレーム画像に上記対象物体が存在する領域であるかを判定する判定手段と、を備えていることを特徴としている。

また、本発明に係る対象物体検出装置の制御方法は、撮影による動画像に含まれる対象物体を検出する対象物体検出装置の制御方法であって、上記動画像におけるフレーム画像を取得する画像取得ステップと、該画像取得ステップで取得したフレーム画像から、検出用特徴情報を抽出する検出用特徴抽出ステップと、該検出用特徴抽出ステップで抽出した検出用特徴情報と、記憶部に記憶されている対象物体を特徴付ける情報である複数の検出用特徴情報の全てまたは一部に共通する１または複数の検出用共通特徴情報とを用いて、上記検出用共通特徴情報と類似する検出用特徴情報を有する領域を、上記フレーム画像に上記対象物体が存在する可能性を有する領域である候補領域として探索する候補領域探索ステップと、上記候補領域探索ステップで探索した候補領域に含まれる検出用特徴情報と、記憶部に記憶されている検出用特徴情報との類似度を算出する類似度算出ステップと、該類似度算出ステップで算出した類似度に基づいて、上記候補領域が、上記フレーム画像に上記対象物体が存在する領域であるかを判定する判定ステップと、を含むことを特徴としている。

上記の構成および方法によれば、記憶部に記憶されている、対象物体を特徴付ける情報である複数の検出用特徴情報の全てまたは一部に共通する１または複数の検出用共通特徴情報を用いて、撮影による動画像から取得したフレーム画像上における、上記検出用共通特徴情報と類似する検出用特徴情報を有する領域である候補領域が探索される。

そして、探索された候補領域の検出用特徴情報と上記検出用特徴情報との類似度が算出され、算出した類似度に基づいて、上記候補領域が対象物体が存在する領域であるか否かが判定される。

これにより、記憶部に記憶されている検出用特徴情報と類似した検出用特徴情報の領域を、対象物体が存在する領域として判定することができる。

例えば、ユーザの飼い犬の検出用特徴情報を登録しておけば、対象物体検出装置で画像を撮影しているときに、ユーザの飼い犬が撮影範囲に存在すれば、該犬が存在する領域を検出することができる。

本発明に係る対象物体検出装置では、上記所望の物体が存在する領域を追尾する追尾手段を備えているものであってもよい。

上記の構成によれば、追尾手段は、所望の物体が存在する領域を追尾する。これにより、一度、所望の物体が存在する領域が検出されれば、再び検出動作を行わなくても、所望の物体が存在する領域を検出し続けることができる。

上記検出用情報登録装置と上記対象物体検出装置とを含む電子機器であっても、上述した効果を奏することができる。

本発明に係る電子機器では、上記充実度算出手段が算出した充実度に基づいて、ユーザに対し報知を行う報知手段を備えているものであってもよい。

これにより、充実度に基づいた報知ユーザに対して行われる。これにより、ユーザは、充実度に基づいた処理を行うことができる。

例えば、充実度算出手段が算出した充実度が、予め定めた閾値を超えると、報知手段は、登録が完了可能である旨をユーザに対し報知するものであれば、ユーザは、登録対象物体を特定可能な程度の特徴量が記憶されていることを認識することができる。

ここで、予め定めた閾値とは、充実度が当該閾値を超えると、特徴量記憶部に記憶されている特徴量が、対象物体を特定するのに充分な量となるような値である。

また、充実度算出手段が算出した充実度が、予め定めた閾値を超えないとき、報知手段は、上記充実度が予め定めた閾値を超えていない旨、および、上記充実度が予め定めた閾値を超えるために必要な動作の指示の少なくともいずれか一方をユーザに対し報知するものであってもよい。これにより、充実度が予め定めた閾値を超えないとき、ユーザは、充実度が予め定めた閾値を超えていない旨、および、充実度が予め定めた閾値を超えるために必要な動作の指示の少なくともいずれか一方を認識することができる。

なお、上記検出用情報登録装置および対象物体検出装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記検出用情報登録装置および対象物体検出装置をコンピュータにて実現させる検出用情報登録装置制御プログラムおよび対象物体検出装置制御プログラム、およびそれらを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

以上のように、本発明に係る検出用情報登録装置は、撮影による動画像に含まれる対象物体を検出するための情報であって、該対象物体を特徴付ける情報である検出用特徴情報を登録する検出用情報登録装置であって、情報を記憶する記憶部と、上記動画像におけるフレーム画像を取得する画像取得手段と、撮影による動画像に含まれる対象物体を追尾するための情報であって、該対象物体を特徴付ける情報である追尾用特徴情報を、上記フレーム画像から抽出して上記記憶部に記憶する追尾用特徴抽出手段と、上記追尾用特徴抽出手段が抽出した追尾用特徴情報と、上記記憶部に記憶された過去の上記フレーム画像に関する上記追尾用特徴情報との変化から、上記対象物体の画像領域を検出する対象物体領域検出手段と、該対象物体領域検出手段が検出した上記対象物体の画像領域から、上記検出用特徴情報を抽出する検出用特徴抽出手段と該検出用特徴抽出手段が抽出した上記検出用特徴情報の一部または全部を上記記憶部に登録する検出用特徴登録手段とを備えている構成である。

また、本発明に係る検出用情報登録装置の制御方法は、上記動画像におけるフレーム画像を取得する画像取得ステップと、撮影による動画像に含まれる対象物体を追尾するための情報であって、該対象物体を特徴付ける情報である追尾用特徴情報を、上記フレーム画像から抽出して記憶部に記憶する追尾用特徴抽出ステップと、上記追尾用特徴抽出ステップで抽出した追尾用特徴情報と、記憶部に記憶された過去の上記フレーム画像に関する上記追尾用特徴情報との変化から、上記対象物体の画像領域を検出する対象物体領域検出ステップと、該対象物体領域検出ステップで検出した上記対象物体の画像領域から、上記検出用特徴情報を抽出する検出用特徴抽出ステップと該検出用特徴抽出ステップで抽出した上記検出用特徴情報の一部または全部を記憶部に登録する検出用特徴登録ステップとを含む方法である。

これにより、対象物体を動画撮影するのみで、対象物体を検出するための検出用特徴情報が登録されるので、容易に対象物体の特徴を登録することができる。

また、本発明に係る対象物体検出装置は、撮影による動画像に含まれる対象物体を検出する対象物体検出装置であって、上記対象物体を検出するための情報であって、該対象物体を特徴付ける情報である複数の検出用特徴情報と、該複数の検出用特徴情報の全てまたは一部に共通する１または複数の検出用共通特徴情報とを記憶する記憶部と、上記動画像におけるフレーム画像を取得する画像取得手段と、該画像取得手段が取得したフレーム画像から、検出用特徴情報を抽出する検出用特徴抽出手段と、該検出用特徴抽出手段が抽出した検出用特徴情報と、上記記憶部の検出用共通特徴情報とを用いて、上記検出用共通特徴情報と類似する検出用特徴情報を有する領域を、上記フレーム画像に上記対象物体が存在する可能性を有する領域である候補領域として探索する候補領域探索手段と、上記候補領域探索手段が探索した候補領域に含まれる検出用特徴情報と、上記記憶部の検出用特徴情報との類似度を算出する類似度算出手段と、該類似度算出手段が算出した類似度に基づいて、上記候補領域が、上記フレーム画像に上記対象物体が存在する領域であるかを判定する判定手段と、を備えている構成である。

また、本発明に係る対象物体検出装置の制御方法は、撮影による動画像に含まれる対象物体を検出する対象物体検出装置の制御方法であって、上記動画像におけるフレーム画像を取得する画像取得ステップと、該画像取得ステップで取得したフレーム画像から、検出用特徴情報を抽出する検出用特徴抽出ステップと、該検出用特徴抽出ステップで抽出した検出用特徴情報と、記憶部に記憶されている対象物体を特徴付ける情報である複数の検出用特徴情報の全てまたは一部に共通する１または複数の検出用共通特徴情報とを用いて、上記検出用共通特徴情報と類似する検出用特徴情報を有する領域を、上記フレーム画像に上記対象物体が存在する可能性を有する領域である候補領域として探索する候補領域探索ステップと、上記候補領域探索ステップで探索した候補領域に含まれる検出用特徴情報と、記憶部に記憶されている検出用特徴情報との類似度を算出する類似度算出ステップと、該類似度算出ステップで算出した類似度に基づいて、上記候補領域が、上記フレーム画像に上記対象物体が存在する領域であるかを判定する判定ステップと、を含む方法である。

上記の構成および方法によれば、記憶部に記憶されている、対象物体を特徴付ける情報である複数の検出用特徴情報の全てまたは一部に共通する１または複数の検出用共通特徴情報を用いて、撮影による動画像から取得したフレーム画像上における、上記検出用共通特徴情報と類似する検出用特徴情報を有する領域である候補領域が探索される。

これにより、記憶部に記憶されている検出用特徴情報と類似した検出用特徴情報の領域を、対象物体が存在する領域として判定することができる。

例えば、ユーザの飼い犬の検出用特徴情報を登録しておけば、対象物体検出装置で画像を撮影しているときに、ユーザの飼い犬が撮影範囲に存在すれば、該犬が存在する領域を検出することができる。

本発明の一実施の形態について図１から図１２に基づいて説明すれば、以下のとおりである。

図２は、本実施の形態に係るデジタルカメラ１の構成を示すブロック図である。図２に示すように、デジタルカメラ１は、記憶部２、操作受付部３、撮像部４、表示部５、および制御部６を含む構成である。

デジタルカメラ１は、検出対象となる物体（対象物体）を容易に登録し、撮影している画像の中から所望の物体を、検出用に登録した物体の情報（検出用特徴情報）を用いて検出し、検出結果を報知するものである。

例えば、デジタルカメラ１にユーザの飼っているペットの検出用特徴情報を登録しておき、当該ペットを含む画像を撮影すると、撮影画像におけるペットが存在している領域を検出することができる。

さらに、検出した領域に対して、ピントや露出を自動的に合わせる機能を有していれば、自動的にペットに対しピントや露出を合わせることができる。

次に、デジタルカメラ１の各部について説明する。

記憶部２は、デジタルカメラ１で撮影した画像や、検出処理に用いるデータ、追尾処理に用いるデータ等を記憶している。そして、フレームバッファ２１、モデル情報記憶部（特徴量記憶部）２２、および追尾情報記憶部２３を含む構成である。この、フレームバッファ２１、モデル情報記憶部２２、および追尾情報記憶部２３の詳細については後述する。この記憶部２の具体例としてはフラッシュメモリが挙げられる。また、一時的に記憶できればよいものであれば（フレームバッファ２１等）、ＲＡＭ（Random Access Memory）を用いることも可能であるし、プログラム等の読み出しのみできればよいものであれば、ＲＯＭ（Read Only Memory）を用いることも可能である。

操作受付部３は、デジタルカメラ１に対する操作を受け付けるものである。例えば、登録対象物体を示すＩＤ（identification、識別情報）や、表示部５上において、対象物体がどの位置にあるかを示す操作を受け付ける。この対象物体の位置については、画面がタッチパネル形式になっており、画面上で対象物体の位置を指定するものであってもよいし、画面上にカーソルを表示させ、当該カーソルを用いて位置を指定するものであってもよい。なお、操作受付部３の具体例としては各種ボタンやタッチパネル等が挙げられる。

撮像部４は、対象物体等の被写体の撮影を行って映像データを生成するものである。具体的には、撮像部４は、被写体からの光を電気信号に変換するＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-oxide Semiconductor）イメージセンサなどの撮像素子と、撮像素子からの電気信号をＲＧＢ各色のデジタル映像データに変換する映像処理回路とを備える構成が挙げられる。そして、撮像部４は、生成した映像データを制御部６に送信する。なお、撮像部４は、ＡＦ（オートフォーカス）機能を有してもよい。

表示部５は、撮像部４で撮像している画像や、デジタルカメラ１の状態、検出結果等を表示するものである。この表示部５としては、情報の表示が可能な表示装置であればどのような装置によって実現されてもよいが、具体的な例としては、液晶ディスプレイ、有機ＥＬ（electroluminescence）ディスプレイ、プラズマディスプレイが挙げられる。

制御部６は、フレーム画像取り出し部１１、登録処理部１２、追尾処理部（追尾手段）１３、および検出処理部１４を含む構成である。そして、制御部６は、検出しようとする物体の登録、追尾、検出を行うものである。登録処理部１２、追尾処理部１３、および検出処理部１４の詳細については後述する。

フレーム画像取り出し部１１は、撮像部４から送信されてきた映像データからフレーム画像を取り出し、取り出したフレーム画像をフレームバッファ２１へ記憶させるものである。

フレームバッファ２１は、フレーム画像取り出し部１１が取り出したフレーム画像を記憶するものである。

次に、登録処理部１２について図１を用いて説明する。図１は、本実施の形態に係るデジタルカメラ１の登録処理部１２の構成を示すブロック図である。図１に示すように、登録処理部１２は、フレーム画像取得部（画像取得手段）５１、検出用特徴量抽出部（対象物体領域検出手段、検出用特徴抽出手段）５２、類似度算出部（類似度算出手段）５３、登録部（検出用特徴登録手段）５４、充実度算出部（運動変化量算出手段、充実度算出手段）５５、結果出力部５６、共通特徴量抽出部（共通特徴特定手段）５７、および初期位置取得部（初期位置取得手段）５８を含む構成である。

そして、登録処理部１２は、取得したフレーム画像における対象物体の特徴量（検出用特徴情報）を抽出してモデル情報記憶部２２に記憶させるものである。そして、モデル情報記憶部２２には、図３に示すように次のものが記憶されている。図３は、モデル情報記憶部２２に記憶されている内容を示す説明図である。モデル情報記憶部２２には、対象物体を示すＩＤ、該対象物体のフレーム毎のそれぞれの特徴量を示す特徴量情報、該フレーム毎の特徴量に共通する特徴量である共通特徴量を示す共通特徴量情報が記憶されている。

また、ＩＤが複数存在すれば、該複数のＩＤ分の上記情報が記憶されている。

フレーム画像取得部５１は、フレームバッファ２１からフレーム画像を取得し、検出用特徴量抽出部５２へ送信する。

検出用特徴量抽出部５２は、フレーム画像取得部５１から取得したフレーム画像から、対象物体の特徴量を抽出する。そして抽出した特徴量を類似度算出部５３へ送信する。対象物体の特徴量の抽出は次にようにして行う。すなわち、ユーザが操作受付部３を用いて指定した対象物体の位置、および追尾処理部１３による特徴点情報のフレーム画像における変化から、対象物体領域を検出する。

なお、複数のフレーム画像における画像上位の変化から背景領域と対象物体領域とを分離することにより、対象物体領域を検出するものであってもよい。

そして、検出した対象物体領域の特徴量を抽出することで行う。また、特徴量とは、画像から得られる色情報やエッジ情報などの対象物体の特徴を表現したものである。

また、一度、対象物体領域として検出された領域は、以降、追尾処理部によって追尾されることで、対象物体領域を常に検出することができ、特徴量を抽出することができる。なお、追尾処理の詳細については、後述する。

類似度算出部５３は、モデル情報記憶部２２に登録しようとしている対象物体と同じ対象物体を示す特徴量が記憶されていれば、取得した特徴量とモデル情報記憶部２２に記憶されている同じ対象物体の特徴量との類似度を算出する。そして、算出した結果を登録部５４へ送信する。

登録部５４は、類似度算出部５３から取得した類似度が所定の値の範囲にあれば、検出用特徴量抽出部５２が抽出した特徴量を対象物体を示すものとしてモデル情報記憶部２２へ記憶させる。そして、登録が終了した旨を示す情報を充実度算出部５５へ送信する。

ここで、類似度が所定の範囲にある場合のみ、特徴量を記憶させるのは、以下の理由による。すなわち、類似度が大きすぎる場合、換言すれば、既に登録されている特徴量とこれから登録しようとする特徴量とが似すぎている場合は登録する意味がなくなってしまうためである。また、逆に類似度が小さすぎる場合、換言すれば、既に登録されている特徴量とこれから登録しようとする特徴量とが違いすぎる場合は、同じ対象物体を示すものとして不適切であるためである。

充実度算出部５５は、登録部５４から登録が終了した旨を示す情報を取得すると、モデル情報記憶部２２に記憶されている特徴量が、対象物体をどの程度特定できるものかを示す充実度を算出する。そして算出した充実度が、対象物体を特定できる程度のものを示すものであれば、登録完了可能を示す旨を報知するための情報を、そうでなければ、登録データがまだ必要である旨を報知するための情報を結果出力部５６へ送信する。

なお、充実度は、移動量算出による回転角の変化量によって対象物体の向きを、同じ位置での回転である場合の特徴量の差分により姿勢を推定して算出する。

ここで、類似度、向きの変位、充実度について説明する。

登録データ数がｍ個、特徴量の次元がｎ個であり、ｉ番目の登録データの特徴量をＦ_ｉ、その登録データの特徴量が有するｋ番目の特徴をＦ_ｉ［ｋ］とするとき、２つの登録データのバラツキ(数字が大きいほど相違が大きい)は以下の計算式で計算される。

また、類似度はＳ_ｉ，ｊは以下で計算される。
Ｓ_ｉ，ｊ＝Ｄ_ｍａｘ−Ｄ_ｉ，ｊ
(Ｄ_ｍａｘはバラツキの最大値)
また、向きの変位は以下で求める。

各登録データは登録開始フレーム（１番目の登録データ）からの推定向き（回転角度）を保持している。なお、この回転角度には３次元のｘ軸、ｙ軸、ｚ軸を中心軸とする回転α(roll)、β(pitch)、γ(yaw)で表現する、「ロール・ピッチ・ヨー角」などを使用することが可能である。

「ロール・ピッチ・ヨー角」を使用した場合、ｉ番目の登録データの回転角をｒ_ｉ（α_ｉ，β_ｉ，γ_ｉ）、回転行列をＲ［ｉ］とした場合、ｉ番目の回転行列は以下で求められる。
Ｒ［ｉ］＝Ｒ_ｚ（γ_ｉ）・Ｒ_ｘ（α_ｉ）・Ｒ_ｙ（β_ｉ）

そして、ｉ番目の登録データからｊ番目の登録データへの回転行列は以下の式で表現することができる。
Ｒ［ｉ→ｊ］＝Ｒ［ｊ］・Ｒ［ｉ］^−１
このときの回転角の大きさ（ｉ番目の登録データとｊ番目の登録データの向きの変位）は以下となる。

また、充実度の求め方としては、以下の方法を挙げることができる。なお、充実度は登録データのバリエーションを表すものである。

第１の方法として、向きの変位の大きさにより充実度を求めることが挙げられる。これは、登録済みデータの全組み合わせによる向きの変位の大きさの合計で充実度を表現するものであり、以下の式で求めることができる。

第２の方法として、特徴量ばらつきにより充実度を求めることが挙げられる。これは、登録済みデータの全組み合わせによる特徴量のバラツキの合計として充実度を計算するものであり、以下の式で求めることができる。

第３の方法として、向きの変位の大きさと特徴量のバラツキとの両方を用いて充実度を求めることが挙げられる。これは、２つの登録データの組み合わせ、向きの変位が大きいときは向きの変位の大きさ、向きの変位が小さい場合は特徴量のバラツキを用いて充実度を計算するものであり、以下の式で求めることができる。

結果出力部５６は、充実度算出部５５から取得した情報から、該情報が示す内容を報知する。

共通特徴量抽出部は、モデル情報記憶部２２に記憶されているフレーム毎の特徴量に共通する特徴量（検出用共通特徴情報）を抽出し、対象物体を示す共通特徴量としてモデル情報記憶部２２に記憶させる。

初期位置取得部５８は、操作受付部３で受け付けた位置を示すデータを取得して、フレーム画像取得部５１へ送信するものである。

次に、追尾処理部１３について、図４を用いて説明する。図４は、本実施の形態に係るデジタルカメラ１の追尾処理部１３の構成を示すブロック図である。

図４に示すように、追尾処理部１３は、移動領域予測部３１、特徴点抽出部（追尾用特徴抽出手段）３２、移動量算出部３３、追尾対象領域算出部３４、フレーム情報更新部３５、および追尾情報初期設定部３６を含む構成である。そして、追尾処理部１３は、追尾情報記憶部２３に記憶されている追尾情報を用いて、追尾処理を行うものである。図５は、追尾情報記憶部２３に記憶されている追尾情報を示す説明図である。

図５に示すように、追尾情報記憶部２３には、追尾対象を示す追尾用ＩＤ、追尾対象を検出済みか否かおよび追尾中か否かを示すステータス、フレーム情報を記憶している。また、これらの情報は、ＩＤ毎に記憶されている。すなわち、複数のＩＤが存在すれば、当該ＩＤ分の上記情報が記憶されている。

そして、フレーム情報には、追尾対象の中心位置座標を示す位置情報、特徴点情報（追尾用特徴情報）、追尾対象の画像上の領域情報である追尾対象領域情報、初期フレームおよび前フレームからの移動量を示すフレーム移動量が含まれている。また、ステータスが追尾中の場合、追尾を行っているフレーム分の情報が記憶されている。なお、過去数フレーム分を記憶しているものであってもよい。

移動領域予測部３１は、追尾情報記憶部２３に記憶されている、フレーム移動量から、現フレームにおける追尾対象の存在領域を予測する。

特徴点抽出部３２は、追尾対象の特徴点を抽出する。特徴点とは、追尾対象の特徴を現す部分点における色やエッジ情報等である。なお、特徴点は、点に限らず領域であってもよい。

移動量算出部３３は、特徴点抽出部３２が抽出した特徴点の推移から追尾対象の相対移動量を計算する。追尾対象の移動量は相対位置（ｘ，ｙ，ｚ）の変化、および、追尾対象の回転（α，β，γ）等で表現することが可能である。

追尾対象領域算出部３４は、特徴点抽出部３２が抽出した特徴点の推移から追尾対象領域と背景領域とを分離し、追尾対象の領域を特定する。

フレーム情報更新部３５は、現フレームにおける特徴点の位置、特徴点情報、追尾対象領域情報、フレーム移動量等に、追尾情報記憶部２３に記憶されている情報を更新する。

追尾情報初期設定部３６は、追尾情報記憶部２３に記憶されている情報を、初期値に設定する。この初期値は、追尾が開始されるときのフレームにおける位置情報、特徴点情報、追尾対象領域情報である。

次に、図６を用いて、検出処理部１４について説明する。図６は、本実施の形態に係るデジタルカメラ１の検出処理部１４の構成を示すブロック図である。図６に示すように、検出処理部１４は、フレーム画像取得部（画像取得手段）４１、特徴量抽出部（検出用特徴抽出手段）４２、候補領域探索部（候補領域探索手段）４３、候補領域特徴量抽出部４４、類似度算出部（類似度算出手段）４５、中心位置算出部（判定手段）４６、および結果出力部（報知手段）４７を含む構成である。

そして、検出処理部１４は、フレーム画像中のどこに、モデル情報記憶部２２に記憶されている対象物体が存在するかを探索し、結果を出力するものである。

フレーム画像取得部４１は、フレームバッファ２１からフレーム画像を取得する。そして、取得したフレーム画像を特徴量抽出部４２へ送信する。

特徴量抽出部４２は、フレーム画像取得部４１から取得したフレーム画像の特徴量を抽出する。

候補領域探索部４３は、フレーム画像取得部４１が取得したフレーム画像を走査し、モデル情報記憶部２２に記憶されている共通特徴量を用いて、対象物体が存在する可能性の高い領域（候補領域）を探索する。そして、探索した結果である候補領域を候補領域特徴量抽出部４４へ送信する。なお、１フレーム画像において複数領域が探索される場合もある。

候補領域特徴量抽出部４４は、候補領域探索部４３から取得した候補領域の特徴量を抽出する。そして、抽出した特徴量を類似度算出部４５へ送信する。

類似度算出部４５は、候補領域特徴量抽出部４４から取得した特徴量と、モデル情報記憶部２２に記憶されている特徴量とを比較し、類似度を算出する。

中心位置算出部４６は、類似度算出部４５が算出した類似度が閾値を超える値の場合に、候補領域探索部４３が探索した候補領域が、対象物体の存在領域であるとして、該領域の中心位置を算出する。そして、中心位置を示す情報を結果出力部４７へ送信する。

結果出力部４７は、中心位置算出部４６から取得した中心位置を表示部５に表示させる。

次に、デジタルカメラ１における対象物体の登録、追尾、検出の処理の流れについて図７〜図１０を用いて説明する。図７は、デジタルカメラ１における対象物体の登録処理の流れを示すフローチャートである。

図７に示すように、ユーザから操作受付部３を介して対象物体の位置を受け付けると（Ｓ７０１）、フレーム画像取り出し部１１は撮像している動画像からフレーム画像を取り出す（Ｓ７０２）。そして、登録処理部１２は登録を完了するか否かを判断し（Ｓ７０３）、登録が完了していない場合（Ｓ７０３でＮＯ）、追尾処理部１３は、フレーム画像取り出し部１１が取り出したフレーム画像が初期フレームか否かを判断する（Ｓ７０４）。

そして、初期フレームであれば（Ｓ７０４でＹＥＳ）、追尾処理部１３は、追尾用ＩＤを作成し、追尾処理の初期化を行う（Ｓ７０６）。追尾処理の初期化については後述する。そして、Ｓ７０２へ戻る。一方、初期フレームでなければ（Ｓ７０４でＮＯ）、追尾処理部１３は追尾処理を開始する（Ｓ７０７）。追尾処理については後述する。

そして、検出用特徴量抽出部５２は、追尾情報記憶部２３に記憶されているステータス、フレーム情報を確認し（Ｓ７０８）、ステータスに不正がないか判断する（Ｓ７０９）。そしてステータスが不正であれば（Ｓ７０９でＮＯ）、表示部５はエラー表示を行い（Ｓ７１９）、登録処理を終了する。一方、ステータスに不正がなければ（Ｓ７０９でＹＥＳ）、検出用特徴量抽出部５２は、対象物体の特徴量を抽出する（Ｓ７１０）。

ここで、ステータスの不正とは、追尾処理が正常に終了しなかった場合である。また、ステータスとは、追尾の状態を示すものであり、「未認識」、「認識済み」、「トラッキング中」の３つの状態が存在する。「未認識」とは、初期化された状態を示す。「認識済み」とは、トラッキング（追尾）が初期化されていない状態を示す。また、「トラッキング中」とは、トラッキング（追尾）中であることを示す。

また、ステータスが「未認識」から「認識済み」になるのは、Ｓ７０５からＳ７０６に進むとき、または後述するＳ１０１３からＳ１０１４に進むときである。また、ステータスが「認識済み」から「トラッキング中」になるのは、後述するＳ８０２においてである。さらに、ステータスが「トラッキング中」から「未認識」になるのは、Ｓ７１６の前か、後述するＳ９０７の前である。

そして、類似度算出部５３は、検出用特徴量抽出部５２が抽出した対象物体の特徴量と既に登録済みの同じ対象物体の特徴量とを比較し、類似度を算出する（Ｓ７１１）。そして、類似度が所定の範囲内になければ（Ｓ７１２でＮＯ）、登録を行わずにＳ７０２へ戻る。一方、類似度が所定の範囲内にあれば（Ｓ７１２でＹＥＳ）、登録部５４は、対象物体の特徴量をモデル情報記憶部２２に記憶させる（Ｓ７１３）。

そして、充実度算出部５５は、モデル情報記憶部２２に記憶されている特徴量の充実度を算出する（Ｓ７１４）。そして、表示部５は結果を表示する（Ｓ７１５）。そして、Ｓ７０２へ戻る。

一方、充実度が閾値を超える等により、登録を完了する場合（Ｓ７０３でＹＥＳ）、共通特徴量抽出部５７は、モデル情報記憶部２２に記憶されているフレーム毎の特徴量の共通特徴量を算出する（Ｓ７１６）。そして、当該対象物体のＩＤを受け付け（Ｓ７１７）、表示部５は、登録結果を表示して（Ｓ７１８）、登録処理が終了する。

以上が、登録処理の流れである。次に、追尾処理の初期化の流れについて図８を用いて説明する。図８は、デジタルカメラ１における追尾処理の初期化の流れを示すフローチャートである。

図８に示すように、追尾処理の初期化を行う場合、特徴点抽出部３２は、追尾対象の特徴点を抽出する（Ｓ８０１）。そして、追尾情報初期設定部３６は、特徴点抽出部３２が抽出した特徴点の位置情報のみを追尾情報記憶部２３に記憶させ、他の情報はリセットする（Ｓ８０２）。以上で、追尾処理の初期化の流れが終了する。

次に、追尾処理について図９を用いて説明する。図９は、デジタルカメラ１における追尾処理の流れを示すフローチャートである。

図９に示すように、追尾処理を行う場合、追尾処理部１３は、過去のフレームの追尾対象の移動量から現フレームでの位置を予測する（Ｓ９０１）。そして、特徴点抽出部３２は、特徴点を抽出し（Ｓ９０２）、移動量算出部３３は、過去のフレームと現フレームとの特徴点の位置の変化から追尾対象の移動量を算出する（Ｓ９０３）。そして、追尾対象領域算出部３４は、前フレームと現フレームとの画像を比較してマッチング度を算出し、算出したマッチング度が基準値より大きいか否かを判断する（Ｓ９０４）。そして、マッチング度が基準値以下であれば（Ｓ９０４でＮＯ）、フレーム情報更新部３５は、追尾情報記憶部２３に記憶されている追尾情報をクリアにする。なぜなら、前フレームと現フレームとがあまりにも違う場合は、追尾を行えないと考えられるためである。

一方、マッチング度が基準値より大きい場合は（Ｓ９０４でＹＥＳ）、追尾対象領域算出部３４は、移動量算出部３３が算出した移動量から、追尾対象と背景との境界を算出し、追尾対象領域を算出する（Ｓ９０５）。そして、フレーム情報更新部３５はフレーム情報を更新する（Ｓ９０６）。

次に、検出処理の流れについて図１０を用いて説明する。図１０は、デジタルカメラ１において、対象物体を検出する処理の流れを示すフローチャートである。

図１０に示すように、まず、フレーム画像取り出し部１１は撮像している動画像からフレーム画像を取り出す（Ｓ１００１）。次に、検出処理部１４は、モデル情報記憶部２２に対象物体を示すＩＤが登録されているか否かを判断する（Ｓ１００２）。そして、ＩＤが登録されていなかった場合（Ｓ１００２でＮＯ）、そのまま結果表示を行う（Ｓ１０１６）。一方、ＩＤが登録されていれば（Ｓ１００２でＹＥＳ）、特徴量抽出部４２は、フレーム画像の特徴量を抽出する（Ｓ１００３）。そして、追尾処理部１３は追尾情報のステータスを確認し（Ｓ１００４）、ステータスが追尾中であれば（Ｓ１００５でＹＥＳ）、追尾処理を行う（Ｓ１００６）。一方、ステータスが追尾中でなければ（Ｓ１００５でＮＯ）、候補領域探索部４３は、フレーム画像から対象物体が存在すると考えられる領域である候補領域を探索する（Ｓ１００７）。

そして、候補領域が存在すれば（Ｓ１００８でＹＥＳ）、候補領域特徴量抽出部４４は、候補領域の特徴量を抽出する（Ｓ１００９）。そして、類似度算出部４５が抽出された特徴量と、モデル情報記憶部２２に記憶されている特徴量とを比較し、類似度を算出する（Ｓ１０１０）。そして、全ての候補領域について特徴量の抽出および類似度の算出が終了すると（Ｓ１０１１でＹＥＳ）、類似度算出部４５は、算出した類似度の最大値が閾値以上か否かを判断する（Ｓ１０１２）。

そして、類似度の最大値が閾値以上であれば（Ｓ１０１２でＹＥＳ）、中心位置算出部４６は、候補領域の中心位置を算出する（Ｓ１０１３）。そして、すべてのＩＤについて上記処理が終了すると（Ｓ１０１５でＹＥＳ）、中心位置を示す表示を行う（Ｓ１０１６）。

一方、候補領域がなければ（Ｓ１００８でＮＯ）、Ｓ１０１５へ進む。また、類似度の最大値が閾値を超えなければ（Ｓ１０１２でＮＯ）、Ｓ１０１５へ進む。

以上で、検出処理が終了する。

以上のように、本実施の形態では、対象物体を登録する場合に、動画で対象物体を撮影する。そして、登録を開始するフレームにおいて、対象物体が存在する位置を受け付ける。これにより、動画の各フレームの変化をみることで、対象物体と背景とを分離することができ、対象物体の領域を確定することできる。よって、容易に対象物体を登録することができる。

また、対象物体を検出する場合に、登録されているフレーム毎の特徴量の共通特徴量を用いて、撮影画像において、対象物体が存在すると考えられる領域（候補領域）を探索する。そして、探索した候補領域の特徴量を、フレーム毎の特徴量と比較することで当該候補領域が対象物体の存在する領域か否かを判断する。これにより、容易に対象物体を検出することができる。

さらに、追尾処理を行うことで、一度検出された対象物体は、自動的に追尾できる。よって、登録されていない姿勢や向きであっても追尾することができるので、対象物体の存在する領域を検出することができる。

次に、図１１および図１２を用いて本実施の形態を具体的に用いた例について説明する。ここでは、対象物体として「犬」を考える。図１１は、犬を登録する場合についての説明図であり、同図（ａ）は、犬が存在している領域の１点を指定している状態を示し、同図（ｂ）は、登録する犬の領域を判別している状態を示している。

図１１の（ａ）に示すように、犬を登録する場合、まず、犬が存在している領域の１点を指定点１１０として指定する。そして、上述した方法で犬を追従し、犬が存在している領域（太線で囲った領域）から特徴量を抽出し、登録する。

また、図１２は、犬を検出する場合についての説明図であり、同図の（ａ）は、撮影中の画像の中に犬が存在している状態を示し、同図の（ｂ）は、候補領域を示し、同図の（ｃ）は、検出した犬の存在している領域を示している。

図１２の（ａ）に示すように、撮影中の画像に登録されている犬が存在している場合に、候補領域を探索すると、同図の（ｂ）に示すような領域が探索される。そして、探索された候補領域の特徴量と登録されている犬の特徴量とを比較し、犬が存在している領域と判断されれば、同図の（ｃ）に示すように犬が存在している領域を示す表示が行われる。

本発明は上述した実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

最後に、デジタルカメラ１の各ブロック、特に制御部６は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵ（central processing unit）を用いてソフトウェアによって実現してもよい。

すなわち、デジタルカメラ１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデジタルカメラ１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記デジタルカメラ１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（microprocessor unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（compact disc read-only memory）／ＭＯ（magneto-optical）／ＭＤ（Mini Disc）／ＤＶＤ（digital versatile disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ（erasable programmable read-only memory）／ＥＥＰＲＯＭ（electrically erasable and programmable read-only memory）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、デジタルカメラ１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（local area network）、ＩＳＤＮ（integrated services digital network）、ＶＡＮ（value-added network）、ＣＡＴＶ（community antenna television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ（institute of electrical and electronic engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（asynchronous digital subscriber loop）回線等の有線でも、ＩｒＤＡ（infrared data association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

従来は検出が困難であった動物も含めて、容易に登録・検出を行うことができるので、動物等を含めて撮影する装置、例えばデジタルカメラ等に好適である。

本発明の実施の形態を示すものであり、デジタルカメラの登録処理部の構成を示すブロック図である。 上記実施の形態に係るデジタルカメラの構成を示すブロック図である。 上記実施の形態に係るデジタルカメラのモデル情報記憶部に記憶されている内容を示す説明図である。 上記実施の形態に係るデジタルカメラの追尾処理部の構成を示すブロック図である。 上記実施の形態に係るデジタルカメラの追尾情報記憶部に記憶されている追尾情報を示す説明図である。 上記実施の形態に係るデジタルカメラの検出処理部の構成を示すブロック図である。 上記実施の形態に係るデジタルカメラにおける対象物体の登録処理の流れを示すフローチャートである。 上記実施の形態に係るデジタルカメラにおける追尾処理の初期化の流れを示すフローチャートである。 上記実施の形態に係るデジタルカメラにおける追尾処理の流れを示すフローチャートである。 上記実施の形態に係るデジタルカメラ１における対象物体を検出する処理の流れを示すフローチャートである。 上記実施の形態において、犬を登録する場合についての説明図であり、同図（ａ）は、犬が存在している領域の１点を指定している状態を示す図であり、同図（ｂ）は、登録する犬の領域を判別している状態を示す図である。 上記実施の形態において、犬を検出する場合についての説明図であり、同図の（ａ）は、撮影中の画像の中に犬が存在している状態を示す図であり、同図の（ｂ）は、候補領域を示す図であり、同図の（ｃ）は、検出した犬の存在している領域を示す図である。

符号の説明

１ デジタルカメラ
２ 記憶部
３ 操作受付部
４ 撮像部
５ 表示部
６ 制御部
１１ フレーム画像取り出し部
１２ 登録処理部
１３ 追尾処理部（追尾手段）
１４ 検出処理部
２１ フレームバッファ
２２ モデル情報記憶部
２３ 追尾情報記憶部
３１ 移動領域予測部
３２ 特徴点抽出部（追尾用特徴抽出手段）
３３ 移動量算出部
３４ 追尾対象領域算出部
３５ フレーム情報更新部
３６ 追尾情報初期設定部
４１、５１ フレーム画像取得部（画像取得手段）
４２ 特徴量抽出部（検出用特徴抽出手段）
４３ 候補領域探索部（候補領域探索手段）
４４ 候補領域特徴量抽出部
４５、５３ 類似度算出部（類似度算出手段）
４６ 中心位置算出部（判定手段）
４７、５６ 結果出力部（報知手段）
５２ 検出用特徴量抽出部（対象物体領域検出手段、検出用特徴抽出手段）
５４ 登録部（検出用特徴登録手段）
５５ 充実度算出部（運動変化量算出手段、充実度算出手段）
５７ 共通特徴量抽出部（共通特徴特定手段）
５８ 初期位置取得部（初期位置取得手段）

Claims (11)

1. 撮影による動画像に含まれる対象物体を検出するための情報であって、該対象物体を特徴付ける情報である検出用特徴情報を登録する検出用情報登録装置であって、
   情報を記憶する記憶部と、
   上記動画像におけるフレーム画像を取得する画像取得手段と、
   撮影による動画像に含まれる対象物体を追尾するための情報であって、該対象物体を特徴付ける情報である追尾用特徴情報を、上記フレーム画像から抽出して上記記憶部に記憶する追尾用特徴抽出手段と、
   上記追尾用特徴抽出手段が抽出した追尾用特徴情報から、上記対象物体の画像領域と背景領域とを分離することにより、上記対象物体の画像領域を検出する対象物体領域検出手段と、
   該対象物体領域検出手段が検出した上記対象物体の画像領域から、上記検出用特徴情報を抽出する検出用特徴抽出手段と
   該検出用特徴抽出手段が抽出した上記検出用特徴情報を上記記憶部に登録する検出用特徴登録手段と、
   上記追尾用特徴抽出手段が抽出した追尾用特徴情報の位置および向き情報と、上記記憶部に記憶された過去の上記フレーム画像に関する上記追尾用特徴情報の位置および向き情報との変化に基づいて、上記対象物体の上記フレーム画像における運動の変化量を算出する運動変化量算出手段と、
   上記検出用特徴抽出手段が抽出した検出用特徴情報と、上記記憶部に記憶された検出用特徴情報との類似度を算出する類似度算出手段と、
   上記対象物体を含む被写体の撮影による任意の撮影画像から、上記対象物体を検出するために必要と推定される検出用特徴情報の量に対する、上記記憶部に記憶された検出用特徴情報の量の度合を示す充実度を、異なる２つのフレーム画像に関して上記運動変化量算出手段が算出した上記運動の変化量における向きの変化量と、上記２つのフレーム画像に関して上記検出用特徴登録手段がそれぞれ登録した２つの検出用特徴情報のバラツキとのうち、一方または大きい方を、上記画像取得手段が取得した全てのフレーム画像に関しての合計を求めることにより算出する充実度算出手段と、
   上記充実度算出手段が算出した充実度に基づいて、登録完了が可能かを出力する結果出力手段と、を備えていることを特徴とする検出用情報登録装置。
2. 動画像における対象物体の初期位置の情報を予め取得して上記記憶部に記憶する初期位置取得手段をさらに備えており、
   上記追尾用特徴抽出手段および上記対象物体領域検出手段は、上記画像取得手段が取得した最初のフレーム画像に対し、上記記憶部に記憶された初期位置の情報を利用することを特徴とする請求項１に記載の検出用情報登録装置。
3. 上記記憶部に記憶された複数の検出用特徴情報のそれぞれに含まれる複数の情報うち、全てまたは一部の検出用特徴情報において共通する１または複数の情報を、検出用共通特徴情報として特定する共通特徴特定手段をさらに備えており、
   上記検出用特徴登録手段は、上記共通特徴特定手段が特定した検出用共通特徴情報をさらに上記記憶部に登録することを特徴とする請求項１または２に記載の検出用情報登録装置。
4. 上記記憶部に記憶される検出用特徴情報は、複数の上記対象物体を識別する識別情報に対応づけて記憶されていることを特徴とする請求項１〜３のいずれか１項に記載の検出用情報登録装置。
5. 請求項１〜４のいずれか１項に記載の検出用情報登録装置と、撮影による動画像に含まれる対象物体を検出する対象物体検出装置とを備えた電子機器であって、
   上記対象物体検出装置は、
   上記対象物体を検出するための情報であって、該対象物体を特徴付ける情報である複数の検出用特徴情報と、該複数の検出用特徴情報の全てまたは一部に共通する１または複数の検出用共通特徴情報とを記憶する記憶部と、
   上記動画像におけるフレーム画像を取得する画像取得手段と、
   該画像取得手段が取得したフレーム画像から、検出用特徴情報を抽出する検出用特徴抽出手段と、
   該検出用特徴抽出手段が抽出した検出用特徴情報と、上記記憶部の検出用共通特徴情報とを用いて、上記検出用共通特徴情報と類似する検出用特徴情報を有する領域を、上記フレーム画像に上記対象物体が存在する可能性を有する領域である候補領域として探索する候補領域探索手段と、
   上記候補領域探索手段が探索した候補領域に含まれる検出用特徴情報と、上記記憶部の検出用特徴情報との類似度を算出する類似度算出手段と、
   該類似度算出手段が算出した類似度に基づいて、上記候補領域が、上記フレーム画像に上記対象物体が存在する領域であるかを判定する判定手段と、を備えていることを特徴とする電子機器。
6. 上記対象物体検出装置は、上記対象物体が存在する領域を追尾する追尾手段を備えていることを特徴とする請求項５に記載の電子機器。
7. 上記充実度算出手段が算出した充実度に基づいて、ユーザに対し報知を行う報知手段を備えていることを特徴とする請求項５または６に記載の電子機器。
8. 撮影による動画像に含まれる対象物体を検出するための情報であって、該対象物体を特徴付ける情報である検出用特徴情報を登録する検出用情報登録装置の制御方法であって、
   上記動画像におけるフレーム画像を取得する画像取得ステップと、
   撮影による動画像に含まれる対象物体を追尾するための情報であって、該対象物体を特徴付ける情報である追尾用特徴情報を、上記フレーム画像から抽出して記憶部に記憶する追尾用特徴抽出ステップと、
   上記追尾用特徴抽出ステップで抽出した追尾用特徴情報から、上記対象物体の画像領域と背景領域とを分離することにより、上記対象物体の画像領域を検出する対象物体領域検出ステップと、
   該対象物体領域検出ステップで検出した上記対象物体の画像領域から、上記検出用特徴情報を抽出する検出用特徴抽出ステップと
   該検出用特徴抽出ステップで抽出した上記検出用特徴情報を記憶部に登録する検出用特徴登録ステップと、
   上記追尾用特徴抽出ステップで抽出した追尾用特徴情報の位置および向き情報と、上記記憶部に記憶された過去の上記フレーム画像に関する上記追尾用特徴情報の位置および向き情報との変化に基づいて、上記対象物体の上記フレーム画像における運動の変化量を算出する運動変化量算出ステップと、
   上記検出用特徴抽出ステップで抽出した検出用特徴情報と、上記記憶部に記憶された検出用特徴情報との類似度を算出する類似度算出ステップと、
   上記対象物体を含む被写体の撮影による任意の撮影画像から、上記対象物体を検出するために必要と推定される検出用特徴情報の量に対する、上記記憶部に記憶された検出用特徴情報の量の度合を示す充実度を、異なる２つのフレーム画像に関して上記運動変化量算出ステップで算出した上記運動の変化量における向きの変化量と、上記２つのフレーム画像に関して上記検出用特徴登録ステップでそれぞれ登録した２つの検出用特徴情報のバラツキとのうち、一方または大きい方を、上記画像取得ステップで取得した全てのフレーム画像に関しての合計を求めることにより算出する充実度算出ステップと、
   上記充実度算出ステップで算出した充実度に基づいて、登録完了が可能かを出力する結果出力ステップと、を含むことを特徴とする検出用情報登録装置の制御方法。
9. 請求項１〜４のいずれか１項に記載の検出用情報登録装置と、撮影による動画像に含まれる対象物体を検出する対象物体検出装置とを備えた電子機器の制御方法であって、
   上記動画像におけるフレーム画像を取得する画像取得ステップと、
   該画像取得ステップで取得したフレーム画像から、検出用特徴情報を抽出する検出用特徴抽出ステップと、
   該検出用特徴抽出ステップで抽出した検出用特徴情報と、記憶部に記憶されている対象物体を特徴付ける情報である複数の検出用特徴情報の全てまたは一部に共通する１または複数の検出用共通特徴情報とを用いて、上記検出用共通特徴情報と類似する検出用特徴情報を有する領域を、上記フレーム画像に上記対象物体が存在する可能性を有する領域である候補領域として探索する候補領域探索ステップと、
   上記候補領域探索ステップで探索した候補領域に含まれる検出用特徴情報と、記憶部に記憶されている検出用特徴情報との類似度を算出する類似度算出ステップと、
   該類似度算出ステップで算出した類似度に基づいて、上記候補領域が、上記フレーム画像に上記対象物体が存在する領域であるかを判定する判定ステップと、を含むことを特徴とする電子機器の制御方法。
10. 撮影による動画像に含まれる対象物体を検出するための情報であって、該対象物体を特徴付ける情報である検出用特徴情報を登録する検出用情報登録装置の制御方法であって、
    上記動画像におけるフレーム画像を取得する画像取得ステップと、
    撮影による動画像に含まれる対象物体を追尾するための情報であって、該対象物体を特徴付ける情報である追尾用特徴情報を、上記フレーム画像から抽出して記憶部に記憶する追尾用特徴抽出ステップと、
    上記追尾用特徴抽出ステップで抽出した追尾用特徴情報から、上記対象物体の画像領域と背景領域とを分離することにより、上記対象物体の画像領域を検出する対象物体領域検出ステップと、
    該対象物体領域検出ステップで検出した上記対象物体の画像領域から、上記検出用特徴情報を抽出する検出用特徴抽出ステップと
    該検出用特徴抽出ステップで抽出した上記検出用特徴情報を記憶部に登録する検出用特徴登録ステップと、
    上記追尾用特徴抽出ステップで抽出した追尾用特徴情報の位置および向き情報と、上記記憶部に記憶された過去の上記フレーム画像に関する上記追尾用特徴情報の位置および向き情報との変化に基づいて、上記対象物体の上記フレーム画像における運動の変化量を算出する運動変化量算出ステップと、
    上記検出用特徴抽出ステップで抽出した検出用特徴情報と、上記記憶部に記憶された検出用特徴情報との類似度を算出する類似度算出ステップと、
    上記対象物体を含む被写体の撮影による任意の撮影画像から、上記対象物体を検出するために必要と推定される検出用特徴情報の量に対する、上記記憶部に記憶された検出用特徴情報の量の度合を示す充実度を、異なる２つのフレーム画像に関して上記運動変化量算出ステップで算出した上記運動の変化量における向きの変化量と、上記２つのフレーム画像に関して上記検出用特徴登録ステップでそれぞれ登録した２つの検出用特徴情報のバラツキとのうち、一方または大きい方を、上記画像取得ステップで取得した全てのフレーム画像に関しての合計を求めることにより算出する充実度算出ステップと、
    上記充実度算出ステップで算出した充実度に基づいて、登録完了が可能かを出力する結果出力ステップとを、コンピュータに実行させるための検出用情報登録装置制御プログラム。
11. 請求項１〜４のいずれか１項に記載の検出用情報登録装置と、撮影による動画像に含まれる対象物体を検出する対象物体検出装置とを備えた電子機器の制御プログラムであって、
    上記動画像におけるフレーム画像を取得する画像取得ステップと、
    該画像取得ステップで取得したフレーム画像から、検出用特徴情報を抽出する検出用特徴抽出ステップと、
    該検出用特徴抽出ステップで抽出した検出用特徴情報と、記憶部に記憶されている対象物体を特徴付ける情報である複数の検出用特徴情報の全てまたは一部に共通する１または複数の検出用共通特徴情報とを用いて、上記検出用共通特徴情報と類似する検出用特徴情報を有する領域を、上記フレーム画像に上記対象物体が存在する可能性を有する領域である候補領域として探索する候補領域探索ステップと、
    上記候補領域探索ステップで探索した候補領域に含まれる検出用特徴情報と、記憶部に記憶されている検出用特徴情報との類似度を算出する類似度算出ステップと、
    該類似度算出ステップで算出した類似度に基づいて、上記候補領域が、上記フレーム画像に上記対象物体が存在する領域であるかを判定する判定ステップとを、コンピュータに実行させるための電子機器の制御プログラム。

Images