JP4334898B2 - データベース構築装置、データベース構築プログラム、画像検索装置、画像検索プログラム、及び画像記録再生装置 - Google Patents
データベース構築装置、データベース構築プログラム、画像検索装置、画像検索プログラム、及び画像記録再生装置 Download PDFInfo
- Publication number
- JP4334898B2 JP4334898B2 JP2003084906A JP2003084906A JP4334898B2 JP 4334898 B2 JP4334898 B2 JP 4334898B2 JP 2003084906 A JP2003084906 A JP 2003084906A JP 2003084906 A JP2003084906 A JP 2003084906A JP 4334898 B2 JP4334898 B2 JP 4334898B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- search
- information
- person
- recording medium
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、記録媒体に記録された動画像データから特定のシーンの検索を容易に行えるようにする技術にかかり、データベース構築装置、データベース構築プログラム、画像検索装置、画像検索プログラム、及び画像記録再生装置に関する。
【０００２】
【従来の技術】
まず、ここで、本明細書で用いる言葉について定義する。動画像は静止画像の列で構成され、動画像全体の一部を構成する任意の静止画像の列をシーンとする。そして、シーン情報とは、シーンを構成する静止画像の画像データそのものとは区別され、個々のシーンに付与され、シーンを特定し得る情報である。また、動画像の画像データを動画像データ、静止画像の画像データを静止画像データとし、動画像データ、静止画像データと区別する必要がない場合は、単に画像データと称する。
【０００３】
今日、記録媒体への動画像の記録が簡単にできるようになり、記録した動画像の編集を効率よく行い得る技術の開発が望まれている。しかしながら、動画像を再生して、ユーザ自らが画面を見つめながら動画像に含まれている特定の対象物や事象を含んだシーンを探し当てるのは冗長であり、かつ目的のシーンを短時間で探し当てることは困難である。
【０００４】
そこで、従来から、動画像を構成する各シーンに対して、シーンに関する情報（以下、シーン情報）を与え、これをデータベース化しておき、シーン情報を用いて動画像データを検索することが行われている。
【０００５】
シーン情報として、例えば特許文献１には、動画像中での位置（例えば開始・終了フレーム番号、タイム・コード）、シーンの意味内容（例えばキーワード、属性、代表フレーム）、シーン相互の関係（例えば親または子のシーンの識別子）、シーン変化の情報（例えば変化点の動画像中での位置、変化のタイプ、確からしさ）等の情報が挙げられている。
【０００６】
図８に、該文献に記載されている、シーン情報の入力システムの構成図を示す。これにおいて、シーン情報エディタ１１２は、複数のシーンについて、それを代表する静止画像データを代表フレームファイル１２２から取り出し、静止画像を時間軸とともに、かつその時間軸に沿って時間順に、ディスプレイ１１４の画面に表示する。そして、入力装置１１５を通してユーザからの指示を受けると、指示されたところの時間軸の一部に対応する期間について、動画像データをＬＤ１１６から取り出し、ＴＶモニター１１８に表示する。
【０００７】
また、シーン情報エディタ１１２は、それらのシーンに与えられた情報であるシーン情報をシーン情報ファイル１２１から取り出し、ディスプレイ１１４の画面に同時に図形的に表示する。そして、ユーザが入力装置１１５を通じて編集コマンドを入力したときには、それを実行し、シーン情報ファイル１２１を編集する。
【０００８】
図９に、該文献に記載されているシーン情報を構築していくための手順を示す。これは、時間的に連続するフレーム列で構成される動画像を、部分フレーム列であるところのシーンに分割し、シーンへの分割を確認・修正し、シーン情報を入力し、入力した情報を動画像データベースに登録するまでの処理の流れを示している。
【０００９】
シーン変化点を検出するステップａ）、検出されたシーン変化点に基づいてシーン情報を生成し、シーン情報ファイルに格納するステップｂ）、シーン情報をディスプレイに図形的に表示するステップｃ）、入力手段を使ってユーザより指示された編集コマンドを実行して、シーン情報ファイルを編集するステップｄ）、およびシーン情報ファイルのシーン情報をデータベース手段に登録するステップｅ）よりなる。
【００１０】
【特許文献１】
特開平５−３３４３７４号公報（１９９３年１２月１７日）
【００１１】
【発明が解決しようとする課題】
動画像を検索するにおいて、シーン情報のデータベース化は有意な中核技術であるが、上記した文献に記載されている技術は、ユーザ自らがシーン情報を入力してデータベースを構築するものであるため、やはりユーザにとって困難な作業と言わざるを得ない。
【００１２】
そこで、シーン情報を自動で入力できるシステムが求められるが、自動によるシーン情報の完全な情報としての入力は非常に難しいものとなる。それは、シーン情報の内容が、人物、そこに存在する物全ての名称、構成要素それぞれの配置場所、構成要素それぞれの明るさなど非常に多岐にわたり、これら全てが入力対象になるからである。
【００１３】
上記した文献の技術は、シーン情報のデータベースを構築する助けとなる発明ではあるが、シーン情報として、画像データの内容に関する全ての情報を扱う必要があるという点では、その文献の従来技術と同じであり、自動化は難しい。
【００１４】
また、上記した文献の技術では、シーンの変化をとらえてシーンを分けるようにようになっている。しかしながら、変化が小さい映像では変化の判断が難しく、また、局所的（画面の一部）に変化が起こった場合なども、変化の発生箇所の探索まで含めると、非常に難しい変化の判断機能が要求される。
【００１５】
このような理由で、上記した文献のシステムで構築されたデータベース（動画像データベース）は、シーン情報の内容が緻密である一方で、どんな種類の画像に対しても有効なデータベースとはなり得ない。
【００１６】
例えば、人物主体の動画像で、スナップ写真的に動画像から静止画像を切り出したい要望が生じたときなど、シーンの変化が局所的であったり、小さかったりした複数のシーンは、シーン情報検索に使うキーワードの選択によっては、同時に検索されてしまうことになる。
【００１７】
本発明は、上記課題に鑑みなされたもので、動画像データを構成する静止画像データをさらに細分化し、静止画像に含まれる人物、或いは人物とその付加情報の組み合わせとしてシーン情報を取得することで、人物画像主体の動画像データに対しては、シーン情報を人物を含む画像情報としてユーザの手を煩わせることなく自動に取得できるようにして、シーン情報のデータベース化を容易にするとともに、局所的なシーン変化なども容易に判別でき、人物の動きに沿った画像検索等も可能にする、データベース構築装置、データベース構築プログラム、画像検索装置、画像検索プログラム、及び画像記録再生装置を提供することを目的としている。
【００１８】
【課題を解決するための手段】
本発明のデータベース構築装置は、上記課題を解決するために、第１のドライブにて再生された第１の記録媒体の動画像データから静止画像データを取得する静止画像データ取得手段と、上記静止画像データ取得手段にて取得された静止画像データを蓄積していく蓄積手段と、該蓄積手段が蓄積した静止画像データに含まれる人物を探索し、人物が含まれている場合は人物を含む所定領域を部分画像データとして抽出する探索抽出手段と、該探索抽出手段にて部分画像データが抽出されると、抽出された部分画像データを抽出元である静止画像データの上記第１の記録媒体上のアドレス情報と対応付けて第２のドライブを用いて第２の記録媒体に記録させる記録手段とを有することを特徴としている。
【００１９】
これによれば、静止画像データ取得手段が、第１のドライブにて再生された第１の記録媒体の動画像データから静止画像データを取得する。取得された静止画像データは、蓄積手段に蓄積されていき、探索抽出手段が、該蓄積手段が蓄積した静止画像データに含まれる人物を探索して、人物が含まれている場合は人物を含む所定領域を部分画像データとして抽出する。探索抽出手段にて抽出された部分画像データは、記録手段にて、抽出された部分画像データを抽出元である静止画像データの上記第１の記録媒体上のアドレス情報と対応付けて第２のドライブを用いて第２の記録媒体に記録されることとなる。
【００２０】
第２の記録媒体に記録される部分画像データには、その人物の行為など、そこには既にこれを抽出した静止画像データ、つまりその静止画像データを構成要素とする動画像のあるシーンを特徴付ける情報が含まれているので、部分画像データを表示させることで、部分画像データ自体がシーン情報となる。また、その部分画像データから複数の人物情報が得られる場合も、その複数人の人物構成などが重要なシーン情報となる。つまり、これらの部分画像データは、そのままでもユーザにとってはシーン変化を検出するために得られる情報と相当のシーン情報となる。
【００２１】
そして、このようなシーン情報は、人物を含む領域を切り出した部分画像データであるので、既存の技術にてユーザの手を煩わせることなく自動にて取得して、データベースを構築することができる。
【００２２】
これにより、人物画像主体の動画像データに適した、シーン情報をユーザの手を煩わせることなく自動に取得可能な、シーン情報のデータベース構築装置を提供することができる。
【００２３】
そして、このようなデータベース構築装置を画像記録再生装置に搭載させることで、局所的なシーン変化なども容易に判別でき、人物の動きに沿った画像検索等も可能な、人物を主体とした動画像データの内容編集等を容易に行うことのできる画像記録再生装置を提供することができる。
【００２４】
また、本発明のデータベース構築装置においては、さらに、上記探索抽出手段は、部分画像データを抽出する際に、当該部分画像データ内に含まれる人物の数を表す数情報を含む付加情報を併せて取得し、上記記録手段は、部分画像データと共に対応する付加情報を、部分画像データに連なるツリー構造で関係付け得るように上記第２の記録媒体に記録することを特徴とすることもできる。
【００２５】
これによれば、部分画像データ内に含まれる人物の数を表す数情報を含む付加情報が取得され、部分画像データと共に対応する付加情報が、部分画像データに連なるツリー構造で関係付け得るように第２の記録媒体に記録されるので、たとえ、人物を含む部分画像データの切り出しが、人物が二人重なっている画像として取得した場合でも、第２の記録媒体に記録されたデータ側では、二人の人物に分離して管理することができる。
【００２６】
また、上記付加情報には、さらに、各人物の色的特徴を表す色情報、及び/又は、各人物の形状的特徴を表す形状情報を含めておくこともできる。
【００２７】
色情報を利用すれば、例えば動画像全体の中で特定の人物が着ている衣装をキーに、特定のシーンを検索することが可能となる。また、別の例で、形状情報を利用すれば、その形状変化を捉えて、特定の人物の行動をキーに、特定のシーンを検索することが可能である。
【００２８】
したがって、人物を含み領域を抜き出した部分画像データをシーン情報とし、これをもとに動画像データの検索を行う場合、検索のキーとなる項目が増え、より効果な検索を行いえるデータベースを構築することができる。
【００２９】
また、本発明のデータベース構築装置においては、上記探索抽出手段は、静止画像データに含まれる全ての人物が何れかの部分画像データに含まれるように部分画像データの抽出を行うことが好ましい。
【００３０】
これによれば、静止画像データに含まれる全人物が、独立して或いはほかの人物と共に、部分画像データとして取得されるので、シーン情報の内容としてより確度の高い情報となる。
【００３１】
また、本発明のデータベース構築装置においては、上記探索抽出手段は、人物を探索する際の探索領域を適宜変更しながら行うことを特徴とすることができる。
【００３２】
これによれば、人物を探索する際の探索領域を適宜変更しながら行うので、探索時に、人物情報の静止画像データに占める割合が任意に変化する動画像データなどに対しても、探索領域を画面最大範囲から段階的に縮小していくなど、探索領域を常に適切に定めていくことができ、探索をより効率良く行うことができる。また、最初の探索で複数の人物を含む領域として探索した際にも、より情報確度を上げるため、探索領域を変えて再度探索を行うといったことも容易に行える。
【００３３】
また、本発明のデータベース構築装置においては、上記探索抽出手段は、静止画像データを予め複数の領域に分割し、分割した領域を探索領域として探索することを特徴とすることもできる。
【００３４】
これによれば、静止画像データを予め複数の領域に分割してから分割した各領域を探索領域として探索するので、切り出した静止画像データに予め多数の人物が記録されていると予想される動画像データの場合、一回の探索で見つけて切り出すところの人物が含まれる領域に存在する人物数を適宜少なくでき、個別人物情報の数を少なくできる。また、分割した各領域にて独立して探索処理を行うようにすれば、静止画像データからの人物の抽出をより短時間で行うことができる。
【００３５】
また、このよう予め静止画像データを分割する場合、静止画像データに含まれる人物の数の状態を判定し、判定に基づいて静止画像データの分割数を決定する分割数決定手段を備え、上記探索抽出手段は、該分割数決定手段にて決定された分割数にて画像データを分割する構成とすることがより好ましい。
【００３６】
これにより、静止画像データの分割が、静止画像データに含まれる人物の数の状態に応じて行われるので、静止画像データの分割数が静止画像データに含まれる人物の数の状態にあったものとなり、分割数が固定されている構成よりも、個別人物情報の数をより的確にできる。
【００３７】
また、本発明のデータベース構築装置では、上記第１のドライブにおける上記第１の記録媒体の動画像データの再生が初めてか否かを判定し、初めてである場合は、上記静止画像データ取得手段による静止画像データの取得を開始させる開始指示手段を備えている構成とすることもできる。
【００３８】
これによれば、第１のドライブにおける上記第１の記録媒体の動画像データの再生が初めてである場合、開始指示手段にて、静止画像データ取得手段による静止画像データの取得が開始されるので、ユーザは第１のドライブで第１の記録媒体を再生させるだけで特別な指示を行うことなく、シーン情報のデータベースを取得することができる。
【００３９】
本発明の画像記録再生装置は、上記課題を解決するために、第１の記録媒体に記録されている情報を再生する第１のドライブと、第２の記録媒体に情報を記録・再生する第２のドライブとを備えた画像記録再生装置において、上記請求項１〜９に記載のデータベース構築装置を備えたことを特徴としている。
【００４０】
既にデータベース構築装置として説明したように、本発明のデータベース構築装置は、人物画像主体の動画像データに適した、シーン情報をユーザの手を煩わせることなく自動に取得し得るシーン情報のデータベース構築装置である。
【００４１】
したがって、このようなデータベース構築装置を搭載してなる本発明の画像記録再生装置は、局所的なシーン変化なども容易に判別でき、人物の動きに沿った画像検索等も可能な、人物を主体とした動画像データの内容編集等を容易に行うことのが可能な優れた画像記録再生装置となる。
【００４２】
本発明の画像検索方法は、本発明の画像記録再生装置の画像検索方法であって、上記第２の記録媒体に記録されている部分画像データをシーン情報として用いて、上記第１の記録媒体に記録されている動画像データにおける任意のシーンの検索を行うことを特徴としている。
【００４３】
上述したように、第２の記録媒体に記録される部分画像データには、その人物の行為など、そこには既にこれを抽出した静止画像データ、つまりその静止画像データを構成要素とする動画像のあるシーンを特徴付ける情報が含まれているので、部分画像データを表示させることで、部分画像データ自体がシーン情報となる。また、その部分画像データから複数の人物情報が得られる場合も、その複数人の人物構成などが重要なシーン情報となる。つまり、これらの部分画像データは、そのままでもユーザにとってはシーン変化を検出するために得られる情報と相当のシーン情報となる。
【００４４】
したがって、画像に含まれる人物の動作まで含めた細かいレベルでのシーン情報を用いて検索するので、人物が中心の動画データ再生時の検索においてなど、より効率の良い画像検索が可能になる。
【００４５】
また、本発明の画像検索装置は、上記画像記録再生装置に備えられる画像検索装置であって、上記第２ドライブを用いて上記第２の記録媒体に記録されている部分画像データ群を再生し、表示手段に表示させる部分画像データ表示手段と、
ユーザからの表示されている部分画像データに対する選択を受けつける入力手段と、上記入力手段にて選択された部分画像データをもとに、第１の記録媒体に記録されている動画像データに対して、該部分画像データの抽出元となる静止画像データの検索を行う検索手段とからなることを特徴としている。
【００４６】
これによれば、部分画像データ再生表示手段が、像上記第２ドライブを用いて上記第２の記録媒体に記録されている部分画像データ群を再生し、表示手段に表示させる。ユーザが表示されている部分画像データの１つを入力手段を用いて選択すると、検索手段が、上記入力手段にて選択された部分画像データの抽出元となる静止画像データを動画像データより検索する。
【００４７】
したがって、第２の記録媒体に記録されている人物の動作、表情などを直接に見て必要な画像データの検索（シーン検索）を行うことができるので、例えば動画像検索を、静止画像全体を表示して行う場合よりもきめ細かい検索が可能になる。例えば、元の静止画像内で人物が記録された領域の占める割合が全体の中で小さい場合にも、人物情報をキーにした画像検索ができる。つまり、画面内を絞って表示するので、ユーザにとってはより見やすく、かつ情報確度の高い検索が可能になる。
【００４８】
本発明の画像検索装置では、さらに、部分画像データ再生表示手段は、上記第１の記録媒体に記録されている動画像データの再生が指示された場合、動画像データの再生前に部分画像データの一部を表示することを特徴とすることもできる。
【００４９】
これによれば、第１の記録媒体の動画像データの部分画像データ群が第２の記録媒体にある場合は、動画像データの再生を前にして部分画像データの一部が自動的に再生されるので、例えばユーザはその部分画像データをみて、見たいシーンのみ選択的に再生させるといった使い方が可能となる。
【００５０】
また、本発明のデータベース構築プログラム及び記録媒体は、上記した本発明のデータベース構築装置における各手段としてコンピュータを機能させるプログラム及びそれを記録した記録媒体である。
【００５１】
また、本発明の画像検索プログラム及び記録媒体は、上記した本発明の画像検索装置における各手段としてコンピュータを機能させるプログラム及びそれを記録した記録媒体である。
【００５２】
これにより、上記したデータベース構築プログラム、或いは画像検索プログラムをコンピュータによって実行させれば、特定の特定のデータベース構築装置、画像検索装置、画像記録再生装置ではなく、不特定の画像記録再生装置に対しても本発明のデータベース構築装置、画像検索装置、画像記録再生装置を実現させることが可能となる。
【００５３】
そしてまた、本発明は、以下のように表現することもできる。つまり、本発明の画像記録再生装置は、第１の記録媒体を記録再生可能な第１のドライブと、第２の記録媒体を記録再生可能な第２のドライブと、第１のドライブから再生された画像データを一時的に格納するためのバッファメモリと、画像処理のためのプログラムを記憶するメモリと、第１ドライブで再生されたデータ、および第２ドライブで再生されたデータの少なくとも一方を表示する表示装置とからなり、第１の記録媒体、第２の記録媒体を同時に少なくとも記録、再生の一方が可能な再生装置において、第１の記録媒体からの再生画像データを少なくとも一つのバッファメモリに蓄積し、前記バッファメモリに蓄積された画像データから人物が含まれる領域を探索し、かつ、人物が含まれる領域が少なくとも一つ以上探索できた場合に、前記領域を少なくとも一つ以上の部分画像データとして抜き出し、前記部分画像データを、前記部分画像データを抜き出した元画像データの第１の記録媒体におけるアドレス情報と結び付け、第２の記録媒体に記録することを特徴としている。
【００５４】
また、ここで、前記第１の記録媒体から人物が含まれる領域を探索して得られた前記部分画像データに対し、前記探索時に得られた、人数情報、色情報、形状情報の三つの情報を少なくとも含む、前記第1の記録媒体の画像データに関する複数の情報を、前記個々の部分画像データに連なるツリー構造で関係付けられるように、前記第２の記録媒体に記録することが好ましい。
【００５５】
また、第１の記録媒体からの再生画像データを少なくとも一つのバッファメモリに蓄積する動作と、前記バッファメモリに蓄積された画像データから人物が含まれる領域を探索し、かつ、人物が含まれる領域が少なくとも一つ以上探索できた場合に、前記領域を少なくとも一つ以上の部分画像データとして抜き出し、前記部分画像データを、前記部分画像データを抜き出した元画像データの第１の記録媒体におけるアドレス情報と結び付け、第２の記録媒体に記録する動作とを独立して実行可能な上記画像記録再生装置であって、かつ、人物が含まれる領域の探索を画像データ内の探索領域を順次変えていくことで行うことを特徴とすることもできる。
【００５６】
また、第１の記録媒体からの再生画像データを少なくとも一つのバッファメモリに蓄積する動作と、前記バッファメモリに蓄積された画像データから人物が含まれる領域を探索し、かつ、人物が含まれる領域が少なくとも一つ以上探索できた場合に、前記領域を少なくとも一つ以上の部分画像データとして抜き出し、前記部分画像データを、前記部分画像データを抜き出した元画像データの第１の記録媒体におけるアドレス情報と結び付け、第2の記録媒体に記録する動作とを独立して実行可能な請求項１記載の画像記録再生装置であって、かつ、第１の記録媒体から再生した画像データを予め複数の探索領域に分けてから、人物が含まれる領域の探索を行うことを特徴とすることもできる。
【００５７】
また、本発明の画像記録再生装置における画像検索システムは、前記第２記録媒体に記録した人物を含む部分画像データを、前記第１の記録媒体の画像データのシーン情報として用いることを特徴としている。
【００５８】
また、本発明の画像記録再生装置における画像検索システムは、前記第1の記録媒体の画像データを再生することで、第２の記録媒体に自動記録された部分画像データ群の一部を、第２の記録媒体も再生して前記第１の記録媒体の２回目以降の再生前に表示し、前記部分画像データを選択することで、部分画像データを第１の記録媒体記録された画像データの検索キーとすることを特徴としている。
【００５９】
【発明の実施の形態】
〔実施の形態１〕
本発明の実施の一形態について図１ないし図５に基づいて説明すれば、以下の通りである。
【００６０】
図１は、本発明のデータベース構築装置並びに画像検索装置を具備する本実施の形態の画像記録再生装置の構成図である。
【００６１】
本画像記録再生装置は、第１及び第２の２つのドライブ１１・１２と、バッファメモリ３と、表示装置５と、ＣＰＵ６と、メモリ４とを少なくとも備えている。
【００６２】
第１のドライブ１１は、第１の記録媒体１を記録再生可能な装置であり、第２のドライブ１２は、第２の記録媒体２を記録再生可能な装置である。
【００６３】
バッファメモリ（蓄積手段）３は、第１のドライブ１１から再生された動画像データ（静止画像データの列からなる）より、所定のタイミングで取得された静止画像データを一時的に格納するものである。サンプリングされた静止画像データは、必要に応じて、後述のようにさらに細分化されて第２のドライブ１２へ転送される。
【００６４】
表示装置（表示手段）５は、第１のドライブ１１で再生された画像データ、及び第２のドライブ１２で再生された画像データを表示するものである。再生された画像データの表示は独立して行われ、表示装置５は、第１及び第２のドライブ１１・１２で再生された何れか一方の画像データを表示する。
【００６５】
メモリ４は、ハードディスク等からなり、画像処理のためのプログラムを始め、各種のアプリケーションプログラムを格納している。
【００６６】
ＣＰＵ６は、図示しないＲＡＭを作業領域として備えており、上記した第１及び第２のドライブ１１・１２、バッファメモリ３、表示装置５の各種動作を制御する制御中枢である。また、上記メモリ４よりアプリケーションプログラムを読み出して実行するものであり、本発明のデータベース構築装置並びに画像検索装置を具現化するものでもある。つまり、ＣＰＵ６とメモリ４にて、静止画像データ取得手段、探索抽出手段、記録手段、開始指示手段、部分画像データ表示手段、検索手段等の機能を有している。
【００６７】
また、上記した第１のドライブ１１と第２のドライブ１２とは、対応する記録媒体である記録媒体１或いは第２の記録媒体２に対して、同時に少なくとも記録、再生の一方が可能となっている。
【００６８】
上記第１及び第２の記録媒体として、特に大きな制約はないが、本実施の形態では、一例として、第１の記録媒体１にはＤＶＲディスク（大容量の相変化光ディスク）を、第２の記録媒体２にはＤＶＤ−ＲＷをそれぞれ用いている。
【００６９】
そして、本画像記録再生装置では、第１のドライブ１１にて第１の記録媒体１の動画像データを再生する際に、動画像データの構成要素である静止画像データを所定のタイミングでサンプリングし、静止画像データのさらに一部である部分画像データを抽出して第２のドライブ１２にて第２の記録媒体２に記録するようになっている。
【００７０】
そしてさらに、本画像記録再生装置では、例えば、第１の記録媒体１に記録されている動画像データの内容編集等の目的で、動画像データに含まれる特定のシーン或いは画像を検索する必要が生じた場合は、第２の記録媒体２に記録されている上記した部分画像データ群を、画像検索のための情報として用いるようになっている。
【００７１】
動画像データのシーンを検索するために用いる情報は、シーン情報と称される。本発明では、動画像データを構成する静止画像データの一部である部分画像データをシーン情報とする。より詳細には、静止画像データにおける人物とその周辺の画像とからなる部分画像データをシーン情報とする。
【００７２】
前述した従来の構成では、シーン情報を、動画像中での位置、シーンの意味内容、シーン相互の関係、シーン変化の情報等の情報からなる構成としていた。そのため、シーン情報を自動にて完全な情報として取得することは難しかった。しかしながら、動画像データを構成する静止画像データにおける人物とその周辺画像とからなるシーン情報であれば、既存の技術にて自動的に取得していくことが可能となる。
【００７３】
また、シーン情報を、人物とその周辺画像とに絞ることで、人物主体の動画像データにおける検索情報を、その人物の動作も含めてより具体的なものにすることができる。
【００７４】
つまり、図２（ａ）（ｂ）に、人物情報をそのある程度周囲の周辺画像と共に抜き出す。人物情報を抜き出す際、人物情報そのものだけを抜き出すのではなく、破線にて示すように、人物をある程度周囲にある周辺画像とともに抜き出す。
【００７５】
また、シーン情報の内容としてより確度の高い情報とするために、その静止画像データに含まれる人物全てが何れかの部分画像データに含まれるように、部分画像データは複数であることが望ましい。つまり、その静止画像データから取得した部分画像データ全体で、その静止画像データに登場する全ての人物を網羅していることが望ましい。
【００７６】
そこで、図２（ａ）に示すように、画像に人物の重なりがない場合は、部分画像データの取得は比較的容易である。例えば、大きな探索領域から出発して、その探索領域内に一人の人物が入り、人物探索が上手くいくことも増える。一方、図２（ｂ）に示すように、画像に人物の重なりがある場合は、探索領域の形状と大きさを変えていき、例えば探索領域が大きい場合では重なった人物二人の部分画像データを重なった二人の人物双方情報として抜き出して取得する。また、探索領域が小さい場合では、一人の人物を含む部分画像データとして抜き出して取得することもできる。
【００７７】
静止画像データ内に含まれる複数の画像の中で、画像が人物か否かの判定は、例えば以下のように、人物情報を基本フレームの組み合わせとして捉えることで行うことができる。
【００７８】
ここで言う、基本フレームとは、顔フレーム、身体パーツフレーム（手、胴体、足など）から構成される。顔フレームについては、顔が観測方向によって平面的形態が変わることを応用して、その形態の変化に応じた判定基準情報として複数パターンの顔フレームを、メモリ４に記憶させておく。顔フレームのパターンを判定基準情報としていくつ用意するか、つまりその個数Ｎは、システムの条件によって変わるが、顔フレームの個数としては、所望の観測方向の角度分解能を（△φ,△θ: △φはあおり、△θは回転）とした場合はＮ＝（１８０／△φ）×（３６０／△θ）となる。また、顔フレームの情報形態は、その構成要素（目や鼻、口等）を複数の線情報に置き換えたものである。
【００７９】
人物かどうかの判定にあたり、まず、画像処理が行われ、静止画像データの輪郭画像（画像をいくつかの複数の線情報に加工した画像、既存技術で形成される）を形成する。そして、その輪郭画像に含まれるいくつかの輪郭群の中のいずれかと、その判定基準となるＮ個の顔フレームを形成するための輪郭モデルとの間で、顔フレームの各構成要素の配置を比較することで行う。Ｎ個の顔フレームの中に近い輪郭があるかどうかをチェックする。これが、人物であるかどうかの第１段階の判定となる。
【００８０】
次に、第１段階の判定結果を受けて、顔フレームの近傍に身体パーツフレームがあるかどうかで、最終判断を行う。判断用の身体パーツフレームは、腕フレーム、胴フレームなどがある。例えば判定用に複数の腕フレームを用いた場合、腕フレームの輪郭モデルが、顔フレームと所定の距離の範囲にあるかどうかを判断し、この距離的な条件が満たされた場合、その顔フレームの判定で得られた画像情報が人物と判断するというような判断方法がある。このようなほぼ二段階の判定方法で人物かどうかの判定を行うことができる。
【００８１】
なお、このような人物判定の方法については、例えば、『Labeled Graph Matchingを用いた動画像に対する人物頭部及び表情変化を伴う部位の抽出』電子情報通信学会論文誌 Vol.J85-D-II No.11 pp.1656-1663 2002年11月等に記載されている。
【００８２】
また、これらの部分画像データを、人物を含む画像データ情報として抜き出す際に、部分画像データに関する付加情報として、少なくとも人数情報を含む情報を取得することが好ましい。人数情報は、部分画像データに含まれる人物の数を表す情報である。また、より好ましくは、付加情報に、各人物の色を特徴付ける色情報或いは各人物の形状を特徴付ける形状情報の一方或いは両方（より好い）を含めておくことである。
【００８３】
このように付加情報を部分画像データと共に取得させておくことで、画像に人物の重なりがあり、抜き出した１つの部分画像データに複数の人物が含まれていても、得られた部分画像データに含まれる個別人物情報を、図３に示すようなツリー構造で情報管理される付加データ（付加情報）を同時に取得することで、部分画像データの中に含まれる複数の人物情報を取得でき、シーン情報として活用することができるようになる。
【００８４】
色情報及び形状情報は、より詳細に言えば、部分画像データを取り込んで、取り込んだ画像の中で、人物毎に、後述する顔フレームや身体パーツフレームなど、顔フレーム群、身体フレーム群におけるどのパターンかを判別した後で、さらにこれらを特徴付けるために用いる情報である。例えば、色情報は、画像を取り込んで判断用に適合させたフレーム（顔フレームや身体パーツフレームなど）全体の色調を表現する情報のことで、形状情報は、判断用に適合させたフレームのまさにその形状を現す情報のことである。
【００８５】
また、付加情報に、動きの情報を含めてもよい。動きの情報とは、判断用に適合させたフレーム（顔フレームや、身体パーツフレームなど）が、次の静止画像データの取り込み操作で、同フレーム群の先とは異なるフレーム群の別のフレームに適合するようになったことを示す情報である。さらに、顔フレームの中の構成要素（目や鼻、口等）を別のフレーム群化することで、表情変化などにも対応した処理が可能になる。
【００８６】
人物が複数重なった画像では、人物かどうか判定するための顔フレームや身体パーツフレームが、不完全な形でしかも、近接した形で複数存在するので、判定の基準になる。顔フレームや身体パーツフレーム、それぞれの色情報、形状情報は人物固有であるから、この各フレームの色、及び形状情報で、複数人それぞれの情報を得ることができる。そして、さらにその部分画像データを特徴づけるための情報量として、＜人数情報＞×＜人物判断用フレームの数＞×＜形状情報＋色情報＞という情報量として、部分画像に関する情報を管理できるので、画像情報を特徴づけしやすい。また、ツリー構造で管理することで、検索の際にも検索が容易になる。
【００８７】
このような色情報、形状情報は、人物かどうかを判断するのに用いた、顔フレームや身体フレームに近いと判断した輪郭モデルを、輪郭モデル専用の一時記憶装置（図示せず）が情報として取り込み、輪郭モデルのもとになっている人物かどうかの判定のために取り込んだ画像データと参照して、その輪郭モデルの位置に相当する部分で、もとの画像での色や形状といった情報を、色情報専用の一時記憶装置（図示せず）、形状情報専用の一時記憶装置（図示せず）が情報として取り込むことで取得できる。
【００８８】
また、人数情報は、抜き出した部分画像データの中に、人物と判断された人物情報がいくつあったかの情報であるから、これも人数情報専用の一時記憶装置（図示せず）が、同一の部分画像データの中で何度輪郭モデルを取得したかを、カウントしてこれを記憶することで取得できる。
【００８９】
また、静止画像データより人物を含む領域を探索する際、探索の単位となる探索領域を、静止画像データの最大サイズ以下の範囲で適宜変更することが好ましい。探索領域を変更するとはつまり、探索領域の形状（通常は矩形）と大きさとを変更することである。探索領域を適宜切り換えることで、探索領域を人物画像に合った適切な形とでき、人物に関する確度の高い情報を短時間で取得することができる。
【００９０】
探索領域の設定の仕方としては、例えば顔フレームを利用する方法がある。次のタイミングで取得した静止画像データと前のタイミングで取得した静止画像データとで、同じ人物の大きさが変化する場合は、顔フレームの大きさの変化を検出して、その変化率に合わせて探索領域を小さくする。この場合は、顔フレームの大きさの変化率が元の７０％になったなら、探索領域も元の７０％にするといった具合である。
【００９１】
また、複数の人物を含む領域が探索された場合については、顔フレームが例えば５つあった場合は、その顔フレームの数が３つになるように、領域を設定直すことで、探索領域に含まれる個々の人物情報は多くなり、確度が上がることになる。
【００９２】
そして、このように、顔フレームを基準に探索領域を小さくする場合には、顔フレームの存在する場所を探索領域の対角要素の基点にする方法が有効である。
【００９３】
具体的には、図４に示すように、顔フレームのサイズｘ１×ｙ１とｘ２×ｙ２と顔フレーム間の距離Ｘ，Ｙ、さらにはその探索部分を十分に確保するためのマージンとして設けた、元の顔フレームのサイズを基準に予め定めた（ｍ１，ｍ２，ｎ１，ｎ２は任意の数）範囲を組み合わせて探索領域サイズは、｛（ｍ１＋１）・ｘ１＋Ｘ＋（ｍ２＋１）・ｘ２｝×｛（ｎ１＋１）・ｙ１＋Ｙ＋（ｎ２＋１）・ｙ２｝で与えられる。
【００９４】
以上に示した、人物を含む部分画像データによるシーン情報の取得により、シーンの変化様々な情報を考慮して異なるシーンであると判別して、その変化を階層構造で管理するなどの概念はなくなり、それらの人物が何をするか等にも着目した情報が管理できることになる。
【００９５】
次に、図５のフローチャートを用いて、人物を含む部分画像データを抜き出す操作を説明する。
【００９６】
図５では、静止画像データ内の人物を含む領域を部分画像データとして抜き出す際に、人物を探索する探索領域を適宜変更しながら行う場合の部分画像データの取得までの流れを示す。
【００９７】
第１のドライブ１１で、第１の記録媒体１の動画像再生中に開始信号が検出されると、第１のドライブ１１で再生される動画像データの一コマを取得するタイミング情報を発生させ、静止画像データの取得を開始する（Ｓ１）。
【００９８】
動画像データを取得するタイミング情報が与えられると、それに同期して、バッファメモリ３に、動画像データの一コマである静止画像データを、そのアドレスデータ（第１の記録媒体１上のアドレス）と共に蓄積する（Ｓ２、Ｓ３）。
【００９９】
次に、開始直後であるか否かを判断し（Ｓ４）、開始直後以外は、続けて画像データ転送要求のトリガが検出されたか否かを確認する（Ｓ５）。開始直後以外で、画像データ転送要求のトリガが検出されなければ、Ｓ１〜Ｓ５を繰り返して、画像蓄積を続けていく。
【０１００】
一方、開始直後である場合、及び、画像データ転送要求のトリガが検出された場合は、バッファメモリ３に取り込んだ静止画像データを、人物情報検出系に送る（Ｓ７）。ここまでの処理は、静止画像データを蓄積する画像蓄積系の処理である。
【０１０１】
以下に人物情報検出系について説明する。転送された静止画像データに対し、まず、画像処理を行って、上述した輪郭画像を形成する（Ｓ８）。次に、探索領域の見直しを行いながら、人物を含む領域を探索していく（Ｓ９）。
【０１０２】
Ｓ９では、静止画像データから得られた輪郭画像に対して、探索領域を所定の画素ずつ（輪郭画像の分解能に合わせて決める）水平方向にずらしていき、その探索で読み込まれる線分をベクトルと見ての方向と長さの情報を検出する。そして、方向と長さ情報を取得しながら探索を進める。また、１水平方向の探索走査が終了したら、垂直方向に所定の画素だけずらして、再度水平方向に探索走査を開始する。この探索を輪郭画像データ全体に対して、人物と判断できる情報が得られるところまで続け、線分の有無の情報と、線分が有る場合は、その方向と長さの情報とが輪郭画像情報として、一時記憶装置に格納されていく。
【０１０３】
この探索で、輪郭画像内の線分の情報が定量的に得られるので、顔フレームや、身体パーツフレームといった、人物かどうか判断するための各フレームの輪郭モデルとの間で、その類似性を数値的に比較し、上記各フレームの輪郭モデルと一致した際には、人物が含まれると判断する（Ｓ１０）。
【０１０４】
人物が含まれると判断すると、その一致部分を含む一定の範囲を、人物を含む部分画像データとして切り出す（Ｓ１２）。また、この際、切り出した部分画像データが静止画像データのどこにあったかもわかるようにフィールド情報を併せて取得する（Ｓ１１）。フィールド情報とは、静止画像内のどの位置に人物画像が存在するかを示す情報である。
【０１０５】
切り出した部分画像データとフィールド情報とは、当該部分画像データが含まれていた静止画像データの第１の記録媒体１上の位置を示すアドレス情報と対応付けて、第２のドライブ１２を用いて第２の記録媒体２に記録する（Ｓ１３）。
【０１０６】
次に、輪郭画像全体の探索を完了していない段階では、未探索部分への探索を続行し、探索領域の見直しを行いながら、人物画像の探索を続ける（Ｓ１４、Ｓ１５）。Ｓ１６にて人物情報が他にないことを確認するまで、Ｓ１２〜Ｓ１５の処理を繰り返す。
【０１０７】
また、より望ましくは、一度得られた部分画像データの範囲内をさらにそれより小さい探索領域にて探索することである。これにより、顔の表情といった、よりそのシーンを特徴付けられる確度の高い情報を短時間で得ることができる。
【０１０８】
一方、Ｓ１０にて、静止画像データの全体を探索しても人物が含まれると判断しなかった場合、及びＳ１６にて人物情報が他にないことを確認すると、人物情報検出系の処理が終了する。
【０１０９】
この人物情報の検出系の処理が終わった時点で、次の静止画像データを人物情報検出系に送るための画像データ転送要求のトリガを発生させ（Ｓ１７）、そのトリガデータを、静止画像データを蓄積しているバッファメモリ３に送る。これにて、画像蓄積系より人物情報検出系へ、次の静止画像データの転送処理がなされる（Ｓ７）。
【０１１０】
この探索の際には、人物を含む領域を探索する人物情報検出系と、画像データを蓄積する画像蓄積系とは別の動きをしている。したがって、動画像データの再生が終了して後しばらくしてから、人物を含む領域を探索する処理が終了することになる。探索の終了に際しては、第１のドライブ１１で再生される動画像データのエンド情報が転送されたことをもとに終了動作に入る（Ｓ６）。
【０１１１】
なお、上記したＳ１における、再生された動画像データを構成する静止画像データをサンプリングし、バッファメモリ３に蓄積していく時間間隔（サンプリングのタイミング）は、人物を含む領域の探索と記録に要する時間を考慮して設定するのが好ましい。
【０１１２】
また、ユーザがサンプリングのタイミングを自由に設定できるようにしてもよい。第１の記録媒体１の動画像データを再生して、シーン情報となる部分画像データを取得しているときに、ユーザは表示装置５に映し出される動画像をもとに、その内容を把握することができるので、その内容に合わせて静止画像データを取得するタイミングを適宜設定すれば、動画像の内容に応じたサンプリングが可能となる。
【０１１３】
次に、本画像記録再生装置における動画像データの画像検索について説明する。
【０１１４】
上記のようにして取得した部分画像データは、その人物の行為など、そこには既にこれを抽出した静止画像データ、つまりその静止画像データを構成要素とする動画像のあるシーンを特徴付ける情報が含まれているので、部分画像データ自体を表示装置５に表示させることで、部分画像データ自体がシーン情報となる。
【０１１５】
また、その部分画像データから複数の人物情報が得られる場合も、その複数人の人物構成などが重要なシーン情報となる。つまり、これらの部分画像データは、そのままでもユーザにとってはシーン変化を検出するために得られる情報と相当のシーン情報を提供することになる。
【０１１６】
そこで、上述したように、本画像記録再生装置では、第１の記録媒体１に記録された動画像データの数あるシーンの中から、ある特定のシーン（画像）を検索したい場合、本動画像データより取得され、既に第２の記録媒体２に記録されている部分画像データ群を、画像検索のための情報として用いるようになっている。
【０１１７】
画像検索において、表示装置５には、部分画像データ群より部分画像データが、動画像データの時間軸に沿った順番等で表示される。このとき、部分画像データをサムネイル表示してもよい。また、全ての部分画像データを表示する必要はなく、その一部を時間的に間引いて表示することもできる。
【０１１８】
そして、このように部分画像データを表示している状態で、図示しない入力装置を介して、ユーザからの表示されている部分画像データに対する選択を受けつけ、選択された部分画像データをもとに、第１の記録媒体１に記録されている動画像データに対して、該部分画像データの抽出元となる静止画像データの検索を行い、選択された部分画像データの抽出元の静止画像データから（その前後を含む）、動画像データの再生を開始する。
【０１１９】
また、本画像記録再生装置では、第１の記録媒体１の動画像データを初めて本装置で再生する際に、人物情報とその周辺情報に人物を含む部分画像データを自動的に取得しておくようになっている。そしてまた、本画像記録再生装置では、第１の記録媒体１に記録された動画像データの２回目以降の再生が指示されたとき、動画像データの再生前に、取得した部分画像データの一部を、図１の枠２０に示すように、表示装置５の画面にサムネイル表示するようになっている。
【０１２０】
部分画像データの表示は、動画像データの時間軸方向に、単純に取得した部分画像データ（静止画）を所定数（図１，６では８個）ずつ所定時間表示しても、部分画像データの中のいくつかだけを選択してから表示してもよい。さらに、その選択表示方法には、元の動画像全体の中の一定時間ごとに表示用部分画像を選択しておいて、その選択した部分画像データを表示するなどの方法がある。
【０１２１】
このような部分画像データは、既に、人物の動作、表情などに絞られているので、通常の静止画像全体のサムネイル表示よりも、ユーザにとってはより見やすくなる。そして、このような既に絞り込まれた部分画像データをもとにした検索は、通常の静止画像全体のサムネイル表示に秘して、情報確度が高く、かつ、よりきめ細かい画像検索（シーン検索）が可能になる。
【０１２２】
例えば、元の静止画像内で人物が記録された領域の占める割合が全体の中で小さい場合、静止画像像全体のサムネイル表示では、人物の特定さえ難しくなっていたが、本画像記録再生装置の場合は、人物画像がクローズアップされて表示されるので、人物情報をキーにした画像検索が可能となる。
【０１２３】
また、部分画像は人物情報が基本に管理されるので、例えば、身体パーツフレームに関する色情報を利用すれば、例えば動画像全体の中で特定の人物が着ている衣装をキーに、部分画像データ群よりその衣装を含む部分画像データのみを選択的に表示させるといったことも可能となり、より効果的なシーン検索が可能となる。
【０１２４】
また、別の例で、身体パーツフレームに関する形状情報を利用すれば、足の形状の情報を動きの情報と複合したり、腕の形状の情報を動きの情報と複合したりして、特定の人物の行動をキーに、シーンを検索することが可能である。また、フィールド情報を利用すれば、特定の人物が移動しているシーンを、それが歩いているか、走っているかを区別して検索することができる。
【０１２５】
〔実施の形態２〕
本発明の実施の他の形態について図６、図７に基づいて説明すれば、以下の通りである。なお、説明の便宜上、実施の形態１で用いた部材と同じ機能を有する部材には同じ符号を付して説明を省略する。
【０１２６】
本実施の形態の画像記録再生装置は、図６に示すように、独立して書込み読出しが可能なバッファメモリ群３０を備えている点が、実施の形態１の画像記録再生装置（図１）と大きく異なる点である。実施の形態１の画像記録再生装置では、ＣＰＵ６は、１つのバッファメモリ３を用いて、静止画像データ内で探索領域を移動しながら静止画像データ全体に対して探索を行っていたが、ここでは、複数のバッファメモリからなるバッファメモリ群３０を用いて、静止画像データを予め複数の領域に分割し、各分割領域内で独自に人物の探索を行い、部分画像データの抽出を行うようになっている。つまり、探索領域の移動を行わない。
【０１２７】
図７のフローチャートを用いて、人物を含む部分画像データを抜き出す操作を説明する。
【０１２８】
図７では、静止画像データ内の人物を含む領域を部分画像データとして抜き出す際に、人物を探索する探索領域を予め分割しておいて探索を行い、部分画像データを取得するまでの流れを示す。
【０１２９】
第１のドライブ１１で、第１の記録媒体１の動画再生中に開始信号が検出されれると、第１のドライブ１１で再生される動画像データの一コマを取得するタイミング情報を発生させ、静止画像データの取得を開始する（Ｓ２１）。
【０１３０】
この取得後に、静止画像データの分割数Ｎを決定する(Ｓ２２)。例えば、画面上に多数の人物が存在するかという情報を、静止画像データの輪郭画像データのレベルで粗く探索して画像全体の人物数の状態を分析し、分析結果をもとに分割数を決定する。判定には、図７には示していないが、メモリ４に格納してある簡易な画像分析プログラムをＣＰＵ６が起動して、自動判定作業をするという機能が含まれる。尚、分割数Ｎは最大、バッファメモリ群３０を構成するバッファメモリ数となる。
【０１３１】
Ｎ個に分割された静止画像データは、分割と同時に、Ｎ個の独立して書込み及び読出し動作が可能な、バッファメモリ群３０の１〜Ｎに、静止画像データをＮ分割したＮ個の画像データ群として、画像分割前の第１の記録媒体１でのアドレスデータと共に一括蓄積される（Ｓ２３、Ｓ２４）。
【０１３２】
次に、開始直後であるかを判断し（Ｓ２５）、開始直後以外は、続けて画像データ転送要求のトリガが検出されたか否かを確認する（Ｓ２６）。開始直後以外で、画像データ転送要求のトリガが検出されなければ、Ｓ２１〜Ｓ２６を繰り返して、分割された静止画像データ（以下、分割画像データと称する）のバッファメモリ群３０への画像蓄積を続けていく。
【０１３３】
一方、開始直後である場合、及び、画像データ転送要求のトリガが検出された場合は、バッファメモリ群３０に取り込んだ分割画像データを人物情報検出系に一括して送る（Ｓ２７）。ここまでの処理は、分割画像データを蓄積する画像蓄積系の処理である。
【０１３４】
ここで、静止画像データはＮ個に分割され、１〜Ｎまでのバッファメモリに蓄積されているので、人物情報検出系はＮ個存在することとなる。Ｎ個の各人物情報検出系ではそれぞれ、転送された分割画像データに対し、まず、画像処理を行って、上述した輪郭画像を形成する（Ｓ２８）。次に、人物を含む領域を探索する（Ｓ２９）。但し、ここでは、探索領域の見直しを行うことなく探索する。
【０１３５】
そして、実施の形態１で説明したと同様の判定して、Ｓ３０で人物が含まれると判断すると、その一致部分を含む一定の範囲を、人物を含む部分画像データとして切り出す（Ｓ３２）。また、この際も、切り出した部分画像データが静止画像データのどこにあったかもわかるようにフィールド情報を併せて取得する（Ｓ３１）。
【０１３６】
切り出された部分画像データとフィールド情報とは、当該部分画像データが含まれていた静止画像データの第１の記録媒体１上の位置を示すアドレス情報と対応付けて、第２のドライブ１２を用いて第２の記録媒体２に記録される（Ｓ３６）。
【０１３７】
但し、ここでは、Ｎ個の人物情報検出系が独立し、並行して処理を行っているので、Ｓ３４及びＳ３５の処理を経て、ＣＰＵ６との間で通信しながら、第２のドライブ１２への記録要求に関する許可を待って行われる。Ｎ個の人物情報検出系は、個々に図６には示さないが、一時記憶機能を有している。
【０１３８】
Ｓ３０にて分割画像データには人物が含まれないと判断し探索抽出手段場合、及び、Ｓ３６にて第２の記録媒体２への記録が完了すると、次の人物情報検出系のＳ３５に進み。
【０１３９】
上述したように、この実施の形態では、探索領域を変えての再探索は行わない。たとえ、複数の人物が重なる人物情報が仮に取得されても、個別の人物情報については付加情報として別途記録する方法で補うことができる。
【０１４０】
最終の人物情報検出系で、第２の記録媒体２への分割画像データの記録が完了する、或いはＳ３０にて人物が含まれていないと判断すると、Ｎ個の人物情報検出系の処理が終了する。
【０１４１】
Ｎ個の人物情報検出系の処理が終わった時点で、次の分割画像データを各人物情報検出系に送るための画像データ転送要求のトリガを発生させ（Ｓ３７）、そのトリガデータを、分割画像データを蓄積しているＮ個のバッファメモリに送る。これにて、画像蓄積系より人物情報検出系へ、次の分割画像データが一括して転送処理がなされる（Ｓ２７）。
【０１４２】
この探索の際においても、人物を含む領域を探索する人物情報検出系と、画像データを蓄積する画像蓄積系とは別の動きをしている。したがって、動画像データの再生が終了して後しばらくしてから、人物を含む領域を探索する処理が終了することになる。また、探索の終了に際しては、第１のドライブ１１で再生される元の動画像データのエンド情報が転送されたことをもとに終了動作に入る（Ｓ３８）。
【０１４３】
なお、上記したＳ２１における、再生された動画像データを構成する静止画像データをサンプリングし、分割してバッファメモリ群３０に蓄積していく時間間隔（サンプリングのタイミング）は、人物を含む領域の探索と記録に要する時間を考慮して設定するのが好ましく、また、ユーザがサンプリングのタイミングを自由に設定できるようにしてもよい。
【０１４４】
このように、本実施の形態の画像記録再生装置は、実施の形態１の画像記録再生装置と比べて、探索領域を移動させることもなく、また、探索領域を変化させることもない。したがって、繰り返し探索などの動作がない分、静止画像データが多数の人物が含まれるような動画像データの場合は、このような静止画像データを予めＮ個に分割して人物情報を検出する処理の方が、効率良い探索が可能になる。
【０１４５】
なお、本画像記録再生装置においても、第２の記録媒体２に部分画像データ群を用いた画像検索は実施の形態１の画像記録再生装置と同じであるので、説明は省略する。
【０１４６】
以上説明した、実施の形態１，２の画像記録再生装置は、コンピュータ読み取り可能な記録媒体にプログラムとして記録することも可能である。例えば、コンピュータを、静止画像データ取得手段、探索抽出手段、記録手段、開始指示手段、部分画像データ表示手段、検索手段として機能させるデータベース構築プログラム、画像検索プログラムが記録された記録媒体が考えられる。
【０１４７】
本発明の目的は、このような手段をコンピュータに実現させるソフトウエアであるデータベース構築プログラム、画像検索プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を、コンピュータが読み取り得るように記録媒体に記録させ、該記録媒体を、画像記録再生装置に供給し、そのコンピュータが記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。この場合、記録媒体から読み出されたプログラムコード自体が上述した手順を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０１４８】
ここで、上記プログラムメディアとしての記録媒体は、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【０１４９】
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的手段に含まれる。
【０１５０】
【発明の効果】
本発明のデータベース構築装置は、以上のように、第１のドライブにて再生された第１の記録媒体の動画像データから静止画像データを取得する静止画像データ取得手段と、上記静止画像データ取得手段にて取得された静止画像データを蓄積していく蓄積手段と、該蓄積手段が蓄積した静止画像データに含まれる人物を探索し、人物が含まれている場合は人物を含む所定領域を部分画像データとして抽出する探索抽出手段と、該探索抽出手段にて部分画像データが抽出されると、抽出された部分画像データを抽出元である静止画像データの上記第１の記録媒体上のアドレス情報と対応付けて第２のドライブを用いて第２の記録媒体に記録させる記録手段とを有することを特徴としている。
【０１５１】
これによれば、第２の記録媒体には、人物を含む領域を抽出してなる部分画像データが記録されデータベース化される。このような部分画像データは、それ自身を表示させることで、部分画像データ自体がシーン情報となる。また、その部分画像データから複数の人物情報が得られる場合も、その複数人の人物構成などが重要なシーン情報となる。つまり、これらの部分画像データは、そのままでもユーザにとってはシーン変化を検出するために得られる情報と相当のシーン情報となる。
【０１５２】
しかも、このようなシーン情報は、人物を含む領域を切り出した部分画像データであるので、既存の技術にてユーザの手を煩わせることなく自動にて取得して、データベースを構築することができる。
【０１５３】
したがって、これにより、人物画像主体の動画像データに適した、シーン情報をユーザの手を煩わせることなく自動に取得可能な、シーン情報のデータベース構築装置を提供することができるという効果を奏する。
【０１５４】
そしてまた、このようなデータベース構築装置を画像記録再生装置に搭載させることで、局所的なシーン変化なども容易に判別でき、人物の動きに沿った画像検索等も可能な、人物を主体とした動画像データの内容編集等を容易に行うことのできる画像記録再生装置を提供することができるという効果を奏する。
【０１５５】
また、本発明のデータベース構築装置においては、さらに、上記探索抽出手段は、部分画像データを抽出する際に、当該部分画像データ内に含まれる人物の数を表す数情報を含む付加情報を併せて取得し、上記記録手段は、部分画像データと共に対応する付加情報を、部分画像データに連なるツリー構造で関係付け得るように上記第２の記録媒体に記録することを特徴とすることもできる。
【０１５６】
これによれば、部分画像データ内に含まれる人物の数を表す数情報を含む付加情報が取得され、部分画像データと共に対応する付加情報が、部分画像データに連なるツリー構造で関係付け得るように第２の記録媒体に記録されるので、たとえ、人物を含む部分画像データの切り出しが、人物が二人重なっている画像として取得した場合でも、第２の記録媒体に記録されたデータ側では、二人の人物に分離して管理することができるという効果を併せて奏する。
【０１５７】
また、上記付加情報には、さらに、各人物の色的特徴を表す色情報、及び/又は、各人物の形状的特徴を表す形状情報を含めておくこともできる。
【０１５８】
色情報を利用すれば、例えば動画像全体の中で特定の人物が着ている衣装をキーに、特定のシーンを検索することが可能となる。また、別の例で、形状情報を利用すれば、その形状変化を捉えて、特定の人物の行動をキーに、特定のシーンを検索することが可能である。
【０１５９】
したがって、人物を含み領域を抜き出した部分画像データをシーン情報とし、これをもとに動画像データの検索を行う場合、検索のキーとなる項目が増え、より効果な検索を行いえるデータベースを構築することができるという効果を併せて奏する。
【０１６０】
また、本発明のデータベース構築装置においては、上記探索抽出手段は、静止画像データに含まれる全ての人物が何れかの部分画像データに含まれるように部分画像データの抽出を行うことが好ましい。
【０１６１】
これによれば、静止画像データに含まれる全人物が、独立して或いはほかの人物と共に、部分画像データとして取得されるので、シーン情報の内容としてより確度の高い情報となるという効果を併せて奏する。
【０１６２】
また、本発明のデータベース構築装置においては、上記探索抽出手段は、人物を探索する際の探索領域を適宜変更しながら行うことを特徴とすることができる。
【０１６３】
これによれば、人物を探索する際の探索領域を適宜変更しながら行うので、探索時に、人物情報の静止画像データに占める割合が任意に変化する動画像データなどに対しても、探索領域を画面最大範囲から段階的に縮小していくなど、探索領域を常に適切に定めていくことができ、探索をより効率良く行うことができる。また、最初の探索で複数の人物を含む領域として探索した際にも、より情報確度を上げるため、探索領域を変えて再度探索を行うといったことも容易に行えるという効果を併せて奏する。
【０１６４】
また、本発明のデータベース構築装置においては、上記探索抽出手段は、静止画像データを予め複数の領域に分割し、分割した領域を探索領域として探索することを特徴とすることもできる。
【０１６５】
これによれば、静止画像データを予め複数の領域に分割してから分割した各領域を探索領域として探索するので、切り出した静止画像データに予め多数の人物が記録されていると予想される動画像データの場合、一回の探索で見つけて切り出すところの人物が含まれる領域に存在する人物数を適宜少なくでき、個別人物情報の数を少なくできる。また、分割した各領域にて独立して探索処理を行うようにすれば、静止画像データからの人物の抽出をより短時間で行うことができるという効果を併せて奏する。
【０１６６】
また、このよう予め静止画像データを分割する場合、静止画像データに含まれる人物の数の状態を判定し、判定に基づいて静止画像データの分割数を決定する分割数決定手段を備え、上記探索抽出手段は、該分割数決定手段にて決定された分割数にて画像データを分割する構成とすることがより好ましい。
【０１６７】
これにより、静止画像データの分割が、静止画像データに含まれる人物の数の状態に応じて行われるので、静止画像データの分割数が静止画像データに含まれる人物の数の状態にあったものとなり、分割数が固定されている構成よりも、個別人物情報の数をより的確にできるという効果を併せて奏する。
【０１６８】
また、本発明のデータベース構築装置では、上記第１のドライブにおける上記第１の記録媒体の動画像データの再生が初めてか否かを判定し、初めてである場合は、上記静止画像データ取得手段による静止画像データの取得を開始させる開始指示手段を備えている構成とすることもできる。
【０１６９】
これによれば、第１のドライブにおける上記第１の記録媒体の動画像データの再生が初めてである場合、開始指示手段にて、静止画像データ取得手段による静止画像データの取得が開始されるので、ユーザは第１のドライブで第１の記録媒体を再生させるだけで特別な指示を行うことなく、シーン情報のデータベースを取得することができるという効果を併せて奏する。
【０１７０】
本発明の画像記録再生装置は、上記課題を解決するために、第１の記録媒体に記録されている情報を再生する第１のドライブと、第２の記録媒体に情報を記録・再生する第２のドライブとを備えた画像記録再生装置において、上記請求項１〜９に記載のデータベース構築装置を備えたことを特徴としている。
【０１７１】
既にデータベース構築装置として説明したように、本発明のデータベース構築装置は、人物画像主体の動画像データに適した、シーン情報をユーザの手を煩わせることなく自動に取得し得るシーン情報のデータベース構築装置である。
【０１７２】
したがって、このようなデータベース構築装置を搭載してなる本発明の画像記録再生装置は、局所的なシーン変化なども容易に判別でき、人物の動きに沿った画像検索等も可能な、人物を主体とした動画像データの内容編集等を容易に行うことのが可能な優れた画像記録再生装置となるという効果を奏する。
【０１７３】
本発明の画像検索方法は、本発明の画像記録再生装置の画像検索方法であって、上記第２の記録媒体に記録されている部分画像データをシーン情報として用いて、上記第１の記録媒体に記録されている動画像データにおける任意のシーンの検索を行うことを特徴としている。
【０１７４】
上述したように、第２の記録媒体に記録される部分画像データには、その人物の行為など、そこには既にこれを抽出した静止画像データ、つまりその静止画像データを構成要素とする動画像のあるシーンを特徴付ける情報が含まれているので、部分画像データを表示させることで、部分画像データ自体がシーン情報となる。また、その部分画像データから複数の人物情報が得られる場合も、その複数人の人物構成などが重要なシーン情報となる。つまり、これらの部分画像データは、そのままでもユーザにとってはシーン変化を検出するために得られる情報と相当のシーン情報となる。
【０１７５】
したがって、画像に含まれる人物の動作まで含めた細かいレベルでのシーン情報を用いて検索するので、人物が中心の動画データ再生時の検索においてなど、より効率の良い画像検索が可能になるという効果を併せて奏する。
【０１７６】
また、本発明の画像検索装置は、上記画像記録再生装置に備えられる画像検索装置であって、上記第２ドライブを用いて上記第２の記録媒体に記録されている部分画像データ群を再生し、表示手段に表示させる部分画像データ表示手段と、ユーザからの表示されている部分画像データに対する選択を受けつける入力手段と、上記入力手段にて選択された部分画像データをもとに、第１の記録媒体に記録されている動画像データに対して、該部分画像データの抽出元となる静止画像データの検索を行う検索手段とからなることを特徴としている。
【０１７７】
これによれば、部分画像データ再生表示手段が、像上記第２ドライブを用いて上記第２の記録媒体に記録されている部分画像データ群を再生し、表示手段に表示させる。ユーザが表示されている部分画像データの１つを入力手段を用いて選択すると、検索手段が、上記入力手段にて選択された部分画像データの抽出元となる静止画像データを動画像データより検索する。
【０１７８】
したがって、第２の記録媒体に記録されている人物の動作、表情などを直接に見て必要な画像データの検索（シーン検索）を行うことができるので、例えば動画像検索を、静止画像全体を表示して行う場合よりもきめ細かい検索が可能になる。例えば、元の静止画像内で人物が記録された領域の占める割合が全体の中で小さい場合にも、人物情報をキーにした画像検索ができる。つまり、画面内を絞って表示するので、ユーザにとってはより見やすく、かつ情報確度の高い検索が可能になるという効果を奏する。
【０１７９】
本発明の画像検索装置では、さらに、部分画像データ再生表示手段は、上記第１の記録媒体に記録されている動画像データの再生が指示された場合、動画像データの再生前に部分画像データの一部を表示することを特徴とすることもできる。
【０１８０】
これによれば、第１の記録媒体の動画像データの部分画像データ群が第２の記録媒体にある場合は、動画像データの再生を前にして部分画像データの一部が自動的に再生されるので、例えばユーザはその部分画像データをみて、見たいシーンのみ選択的に再生させるといった使い方が可能となるという効果を併せて奏する。
【０１８１】
また、本発明のデータベース構築プログラム及び記録媒体は、上記した本発明のデータベース構築装置における各手段としてコンピュータを機能させるプログラム及びそれを記録した記録媒体である。
【０１８２】
また、本発明の画像検索プログラム及び記録媒体は、上記した本発明の画像検索装置における各手段としてコンピュータを機能させるプログラム及びそれを記録した記録媒体である。
【０１８３】
これにより、上記したデータベース構築プログラム、或いは画像検索プログラムをコンピュータによって実行させれば、特定のデータベース構築装置、画像検索装置、画像記録再生装置ではなく、不特定の画像記録再生装置に対しても本発明のデータベース構築装置、画像検索装置、画像記録再生装置を実現させることが可能となるという効果を併せて奏する。
【図面の簡単な説明】
【図１】本発明の実施の一形態の画像記録再生装置の構成を示すブロック図である。
【図２】図２（ａ）（ｂ）は、上記画像記録再生装置におけるシーン情報の取得例を示す説明図である。
【図３】上記画像記録再生装置における人物情報検索における情報付加構造を示す説明図である。
【図４】上記画像記録再生装置における人物探索の際の探索領域の変更方法を示す説明図である。
【図５】上記画像記録再生装置における人物情報自動取得の手順を示すフローチャートである。
【図６】本発明の実施の他の形態の画像記録再生装置の構成を示すブロック図である。
【図７】上記画像記録再生装置における人物情報自動取得の手順を示すフローチャートである。
【図８】従来公報に開示された発明のシーン情報入力システムを示す図である。
【図９】上記従公報に開示された発明のシーン情報入力の手順を示す流れ図である。
【符号の説明】
１ 第１の記録媒体
２ 第２の記録媒体
３ バッファメモリ（蓄積手段）
４ メモリ（静止画像データ取得手段、探索抽出手段、記録手段、開始指示手段、部分画像データ表示手段、検索手段）
５ 表示手段
６ ＣＰＵ（静止画像データ取得手段、探索抽出手段、記録手段、開始指示手段、部分画像データ表示手段、検索手段）
１１ 第１のドライブ
１２ 第２のドライブ
３０ バッファメモリ群（蓄積手段）
【発明の属する技術分野】
本発明は、記録媒体に記録された動画像データから特定のシーンの検索を容易に行えるようにする技術にかかり、データベース構築装置、データベース構築プログラム、画像検索装置、画像検索プログラム、及び画像記録再生装置に関する。
【０００２】
【従来の技術】
まず、ここで、本明細書で用いる言葉について定義する。動画像は静止画像の列で構成され、動画像全体の一部を構成する任意の静止画像の列をシーンとする。そして、シーン情報とは、シーンを構成する静止画像の画像データそのものとは区別され、個々のシーンに付与され、シーンを特定し得る情報である。また、動画像の画像データを動画像データ、静止画像の画像データを静止画像データとし、動画像データ、静止画像データと区別する必要がない場合は、単に画像データと称する。
【０００３】
今日、記録媒体への動画像の記録が簡単にできるようになり、記録した動画像の編集を効率よく行い得る技術の開発が望まれている。しかしながら、動画像を再生して、ユーザ自らが画面を見つめながら動画像に含まれている特定の対象物や事象を含んだシーンを探し当てるのは冗長であり、かつ目的のシーンを短時間で探し当てることは困難である。
【０００４】
そこで、従来から、動画像を構成する各シーンに対して、シーンに関する情報（以下、シーン情報）を与え、これをデータベース化しておき、シーン情報を用いて動画像データを検索することが行われている。
【０００５】
シーン情報として、例えば特許文献１には、動画像中での位置（例えば開始・終了フレーム番号、タイム・コード）、シーンの意味内容（例えばキーワード、属性、代表フレーム）、シーン相互の関係（例えば親または子のシーンの識別子）、シーン変化の情報（例えば変化点の動画像中での位置、変化のタイプ、確からしさ）等の情報が挙げられている。
【０００６】
図８に、該文献に記載されている、シーン情報の入力システムの構成図を示す。これにおいて、シーン情報エディタ１１２は、複数のシーンについて、それを代表する静止画像データを代表フレームファイル１２２から取り出し、静止画像を時間軸とともに、かつその時間軸に沿って時間順に、ディスプレイ１１４の画面に表示する。そして、入力装置１１５を通してユーザからの指示を受けると、指示されたところの時間軸の一部に対応する期間について、動画像データをＬＤ１１６から取り出し、ＴＶモニター１１８に表示する。
【０００７】
また、シーン情報エディタ１１２は、それらのシーンに与えられた情報であるシーン情報をシーン情報ファイル１２１から取り出し、ディスプレイ１１４の画面に同時に図形的に表示する。そして、ユーザが入力装置１１５を通じて編集コマンドを入力したときには、それを実行し、シーン情報ファイル１２１を編集する。
【０００８】
図９に、該文献に記載されているシーン情報を構築していくための手順を示す。これは、時間的に連続するフレーム列で構成される動画像を、部分フレーム列であるところのシーンに分割し、シーンへの分割を確認・修正し、シーン情報を入力し、入力した情報を動画像データベースに登録するまでの処理の流れを示している。
【０００９】
シーン変化点を検出するステップａ）、検出されたシーン変化点に基づいてシーン情報を生成し、シーン情報ファイルに格納するステップｂ）、シーン情報をディスプレイに図形的に表示するステップｃ）、入力手段を使ってユーザより指示された編集コマンドを実行して、シーン情報ファイルを編集するステップｄ）、およびシーン情報ファイルのシーン情報をデータベース手段に登録するステップｅ）よりなる。
【００１０】
【特許文献１】
特開平５−３３４３７４号公報（１９９３年１２月１７日）
【００１１】
【発明が解決しようとする課題】
動画像を検索するにおいて、シーン情報のデータベース化は有意な中核技術であるが、上記した文献に記載されている技術は、ユーザ自らがシーン情報を入力してデータベースを構築するものであるため、やはりユーザにとって困難な作業と言わざるを得ない。
【００１２】
そこで、シーン情報を自動で入力できるシステムが求められるが、自動によるシーン情報の完全な情報としての入力は非常に難しいものとなる。それは、シーン情報の内容が、人物、そこに存在する物全ての名称、構成要素それぞれの配置場所、構成要素それぞれの明るさなど非常に多岐にわたり、これら全てが入力対象になるからである。
【００１３】
上記した文献の技術は、シーン情報のデータベースを構築する助けとなる発明ではあるが、シーン情報として、画像データの内容に関する全ての情報を扱う必要があるという点では、その文献の従来技術と同じであり、自動化は難しい。
【００１４】
また、上記した文献の技術では、シーンの変化をとらえてシーンを分けるようにようになっている。しかしながら、変化が小さい映像では変化の判断が難しく、また、局所的（画面の一部）に変化が起こった場合なども、変化の発生箇所の探索まで含めると、非常に難しい変化の判断機能が要求される。
【００１５】
このような理由で、上記した文献のシステムで構築されたデータベース（動画像データベース）は、シーン情報の内容が緻密である一方で、どんな種類の画像に対しても有効なデータベースとはなり得ない。
【００１６】
例えば、人物主体の動画像で、スナップ写真的に動画像から静止画像を切り出したい要望が生じたときなど、シーンの変化が局所的であったり、小さかったりした複数のシーンは、シーン情報検索に使うキーワードの選択によっては、同時に検索されてしまうことになる。
【００１７】
本発明は、上記課題に鑑みなされたもので、動画像データを構成する静止画像データをさらに細分化し、静止画像に含まれる人物、或いは人物とその付加情報の組み合わせとしてシーン情報を取得することで、人物画像主体の動画像データに対しては、シーン情報を人物を含む画像情報としてユーザの手を煩わせることなく自動に取得できるようにして、シーン情報のデータベース化を容易にするとともに、局所的なシーン変化なども容易に判別でき、人物の動きに沿った画像検索等も可能にする、データベース構築装置、データベース構築プログラム、画像検索装置、画像検索プログラム、及び画像記録再生装置を提供することを目的としている。
【００１８】
【課題を解決するための手段】
本発明のデータベース構築装置は、上記課題を解決するために、第１のドライブにて再生された第１の記録媒体の動画像データから静止画像データを取得する静止画像データ取得手段と、上記静止画像データ取得手段にて取得された静止画像データを蓄積していく蓄積手段と、該蓄積手段が蓄積した静止画像データに含まれる人物を探索し、人物が含まれている場合は人物を含む所定領域を部分画像データとして抽出する探索抽出手段と、該探索抽出手段にて部分画像データが抽出されると、抽出された部分画像データを抽出元である静止画像データの上記第１の記録媒体上のアドレス情報と対応付けて第２のドライブを用いて第２の記録媒体に記録させる記録手段とを有することを特徴としている。
【００１９】
これによれば、静止画像データ取得手段が、第１のドライブにて再生された第１の記録媒体の動画像データから静止画像データを取得する。取得された静止画像データは、蓄積手段に蓄積されていき、探索抽出手段が、該蓄積手段が蓄積した静止画像データに含まれる人物を探索して、人物が含まれている場合は人物を含む所定領域を部分画像データとして抽出する。探索抽出手段にて抽出された部分画像データは、記録手段にて、抽出された部分画像データを抽出元である静止画像データの上記第１の記録媒体上のアドレス情報と対応付けて第２のドライブを用いて第２の記録媒体に記録されることとなる。
【００２０】
第２の記録媒体に記録される部分画像データには、その人物の行為など、そこには既にこれを抽出した静止画像データ、つまりその静止画像データを構成要素とする動画像のあるシーンを特徴付ける情報が含まれているので、部分画像データを表示させることで、部分画像データ自体がシーン情報となる。また、その部分画像データから複数の人物情報が得られる場合も、その複数人の人物構成などが重要なシーン情報となる。つまり、これらの部分画像データは、そのままでもユーザにとってはシーン変化を検出するために得られる情報と相当のシーン情報となる。
【００２１】
そして、このようなシーン情報は、人物を含む領域を切り出した部分画像データであるので、既存の技術にてユーザの手を煩わせることなく自動にて取得して、データベースを構築することができる。
【００２２】
これにより、人物画像主体の動画像データに適した、シーン情報をユーザの手を煩わせることなく自動に取得可能な、シーン情報のデータベース構築装置を提供することができる。
【００２３】
そして、このようなデータベース構築装置を画像記録再生装置に搭載させることで、局所的なシーン変化なども容易に判別でき、人物の動きに沿った画像検索等も可能な、人物を主体とした動画像データの内容編集等を容易に行うことのできる画像記録再生装置を提供することができる。
【００２４】
また、本発明のデータベース構築装置においては、さらに、上記探索抽出手段は、部分画像データを抽出する際に、当該部分画像データ内に含まれる人物の数を表す数情報を含む付加情報を併せて取得し、上記記録手段は、部分画像データと共に対応する付加情報を、部分画像データに連なるツリー構造で関係付け得るように上記第２の記録媒体に記録することを特徴とすることもできる。
【００２５】
これによれば、部分画像データ内に含まれる人物の数を表す数情報を含む付加情報が取得され、部分画像データと共に対応する付加情報が、部分画像データに連なるツリー構造で関係付け得るように第２の記録媒体に記録されるので、たとえ、人物を含む部分画像データの切り出しが、人物が二人重なっている画像として取得した場合でも、第２の記録媒体に記録されたデータ側では、二人の人物に分離して管理することができる。
【００２６】
また、上記付加情報には、さらに、各人物の色的特徴を表す色情報、及び/又は、各人物の形状的特徴を表す形状情報を含めておくこともできる。
【００２７】
色情報を利用すれば、例えば動画像全体の中で特定の人物が着ている衣装をキーに、特定のシーンを検索することが可能となる。また、別の例で、形状情報を利用すれば、その形状変化を捉えて、特定の人物の行動をキーに、特定のシーンを検索することが可能である。
【００２８】
したがって、人物を含み領域を抜き出した部分画像データをシーン情報とし、これをもとに動画像データの検索を行う場合、検索のキーとなる項目が増え、より効果な検索を行いえるデータベースを構築することができる。
【００２９】
また、本発明のデータベース構築装置においては、上記探索抽出手段は、静止画像データに含まれる全ての人物が何れかの部分画像データに含まれるように部分画像データの抽出を行うことが好ましい。
【００３０】
これによれば、静止画像データに含まれる全人物が、独立して或いはほかの人物と共に、部分画像データとして取得されるので、シーン情報の内容としてより確度の高い情報となる。
【００３１】
また、本発明のデータベース構築装置においては、上記探索抽出手段は、人物を探索する際の探索領域を適宜変更しながら行うことを特徴とすることができる。
【００３２】
これによれば、人物を探索する際の探索領域を適宜変更しながら行うので、探索時に、人物情報の静止画像データに占める割合が任意に変化する動画像データなどに対しても、探索領域を画面最大範囲から段階的に縮小していくなど、探索領域を常に適切に定めていくことができ、探索をより効率良く行うことができる。また、最初の探索で複数の人物を含む領域として探索した際にも、より情報確度を上げるため、探索領域を変えて再度探索を行うといったことも容易に行える。
【００３３】
また、本発明のデータベース構築装置においては、上記探索抽出手段は、静止画像データを予め複数の領域に分割し、分割した領域を探索領域として探索することを特徴とすることもできる。
【００３４】
これによれば、静止画像データを予め複数の領域に分割してから分割した各領域を探索領域として探索するので、切り出した静止画像データに予め多数の人物が記録されていると予想される動画像データの場合、一回の探索で見つけて切り出すところの人物が含まれる領域に存在する人物数を適宜少なくでき、個別人物情報の数を少なくできる。また、分割した各領域にて独立して探索処理を行うようにすれば、静止画像データからの人物の抽出をより短時間で行うことができる。
【００３５】
また、このよう予め静止画像データを分割する場合、静止画像データに含まれる人物の数の状態を判定し、判定に基づいて静止画像データの分割数を決定する分割数決定手段を備え、上記探索抽出手段は、該分割数決定手段にて決定された分割数にて画像データを分割する構成とすることがより好ましい。
【００３６】
これにより、静止画像データの分割が、静止画像データに含まれる人物の数の状態に応じて行われるので、静止画像データの分割数が静止画像データに含まれる人物の数の状態にあったものとなり、分割数が固定されている構成よりも、個別人物情報の数をより的確にできる。
【００３７】
また、本発明のデータベース構築装置では、上記第１のドライブにおける上記第１の記録媒体の動画像データの再生が初めてか否かを判定し、初めてである場合は、上記静止画像データ取得手段による静止画像データの取得を開始させる開始指示手段を備えている構成とすることもできる。
【００３８】
これによれば、第１のドライブにおける上記第１の記録媒体の動画像データの再生が初めてである場合、開始指示手段にて、静止画像データ取得手段による静止画像データの取得が開始されるので、ユーザは第１のドライブで第１の記録媒体を再生させるだけで特別な指示を行うことなく、シーン情報のデータベースを取得することができる。
【００３９】
本発明の画像記録再生装置は、上記課題を解決するために、第１の記録媒体に記録されている情報を再生する第１のドライブと、第２の記録媒体に情報を記録・再生する第２のドライブとを備えた画像記録再生装置において、上記請求項１〜９に記載のデータベース構築装置を備えたことを特徴としている。
【００４０】
既にデータベース構築装置として説明したように、本発明のデータベース構築装置は、人物画像主体の動画像データに適した、シーン情報をユーザの手を煩わせることなく自動に取得し得るシーン情報のデータベース構築装置である。
【００４１】
したがって、このようなデータベース構築装置を搭載してなる本発明の画像記録再生装置は、局所的なシーン変化なども容易に判別でき、人物の動きに沿った画像検索等も可能な、人物を主体とした動画像データの内容編集等を容易に行うことのが可能な優れた画像記録再生装置となる。
【００４２】
本発明の画像検索方法は、本発明の画像記録再生装置の画像検索方法であって、上記第２の記録媒体に記録されている部分画像データをシーン情報として用いて、上記第１の記録媒体に記録されている動画像データにおける任意のシーンの検索を行うことを特徴としている。
【００４３】
上述したように、第２の記録媒体に記録される部分画像データには、その人物の行為など、そこには既にこれを抽出した静止画像データ、つまりその静止画像データを構成要素とする動画像のあるシーンを特徴付ける情報が含まれているので、部分画像データを表示させることで、部分画像データ自体がシーン情報となる。また、その部分画像データから複数の人物情報が得られる場合も、その複数人の人物構成などが重要なシーン情報となる。つまり、これらの部分画像データは、そのままでもユーザにとってはシーン変化を検出するために得られる情報と相当のシーン情報となる。
【００４４】
したがって、画像に含まれる人物の動作まで含めた細かいレベルでのシーン情報を用いて検索するので、人物が中心の動画データ再生時の検索においてなど、より効率の良い画像検索が可能になる。
【００４５】
また、本発明の画像検索装置は、上記画像記録再生装置に備えられる画像検索装置であって、上記第２ドライブを用いて上記第２の記録媒体に記録されている部分画像データ群を再生し、表示手段に表示させる部分画像データ表示手段と、
ユーザからの表示されている部分画像データに対する選択を受けつける入力手段と、上記入力手段にて選択された部分画像データをもとに、第１の記録媒体に記録されている動画像データに対して、該部分画像データの抽出元となる静止画像データの検索を行う検索手段とからなることを特徴としている。
【００４６】
これによれば、部分画像データ再生表示手段が、像上記第２ドライブを用いて上記第２の記録媒体に記録されている部分画像データ群を再生し、表示手段に表示させる。ユーザが表示されている部分画像データの１つを入力手段を用いて選択すると、検索手段が、上記入力手段にて選択された部分画像データの抽出元となる静止画像データを動画像データより検索する。
【００４７】
したがって、第２の記録媒体に記録されている人物の動作、表情などを直接に見て必要な画像データの検索（シーン検索）を行うことができるので、例えば動画像検索を、静止画像全体を表示して行う場合よりもきめ細かい検索が可能になる。例えば、元の静止画像内で人物が記録された領域の占める割合が全体の中で小さい場合にも、人物情報をキーにした画像検索ができる。つまり、画面内を絞って表示するので、ユーザにとってはより見やすく、かつ情報確度の高い検索が可能になる。
【００４８】
本発明の画像検索装置では、さらに、部分画像データ再生表示手段は、上記第１の記録媒体に記録されている動画像データの再生が指示された場合、動画像データの再生前に部分画像データの一部を表示することを特徴とすることもできる。
【００４９】
これによれば、第１の記録媒体の動画像データの部分画像データ群が第２の記録媒体にある場合は、動画像データの再生を前にして部分画像データの一部が自動的に再生されるので、例えばユーザはその部分画像データをみて、見たいシーンのみ選択的に再生させるといった使い方が可能となる。
【００５０】
また、本発明のデータベース構築プログラム及び記録媒体は、上記した本発明のデータベース構築装置における各手段としてコンピュータを機能させるプログラム及びそれを記録した記録媒体である。
【００５１】
また、本発明の画像検索プログラム及び記録媒体は、上記した本発明の画像検索装置における各手段としてコンピュータを機能させるプログラム及びそれを記録した記録媒体である。
【００５２】
これにより、上記したデータベース構築プログラム、或いは画像検索プログラムをコンピュータによって実行させれば、特定の特定のデータベース構築装置、画像検索装置、画像記録再生装置ではなく、不特定の画像記録再生装置に対しても本発明のデータベース構築装置、画像検索装置、画像記録再生装置を実現させることが可能となる。
【００５３】
そしてまた、本発明は、以下のように表現することもできる。つまり、本発明の画像記録再生装置は、第１の記録媒体を記録再生可能な第１のドライブと、第２の記録媒体を記録再生可能な第２のドライブと、第１のドライブから再生された画像データを一時的に格納するためのバッファメモリと、画像処理のためのプログラムを記憶するメモリと、第１ドライブで再生されたデータ、および第２ドライブで再生されたデータの少なくとも一方を表示する表示装置とからなり、第１の記録媒体、第２の記録媒体を同時に少なくとも記録、再生の一方が可能な再生装置において、第１の記録媒体からの再生画像データを少なくとも一つのバッファメモリに蓄積し、前記バッファメモリに蓄積された画像データから人物が含まれる領域を探索し、かつ、人物が含まれる領域が少なくとも一つ以上探索できた場合に、前記領域を少なくとも一つ以上の部分画像データとして抜き出し、前記部分画像データを、前記部分画像データを抜き出した元画像データの第１の記録媒体におけるアドレス情報と結び付け、第２の記録媒体に記録することを特徴としている。
【００５４】
また、ここで、前記第１の記録媒体から人物が含まれる領域を探索して得られた前記部分画像データに対し、前記探索時に得られた、人数情報、色情報、形状情報の三つの情報を少なくとも含む、前記第1の記録媒体の画像データに関する複数の情報を、前記個々の部分画像データに連なるツリー構造で関係付けられるように、前記第２の記録媒体に記録することが好ましい。
【００５５】
また、第１の記録媒体からの再生画像データを少なくとも一つのバッファメモリに蓄積する動作と、前記バッファメモリに蓄積された画像データから人物が含まれる領域を探索し、かつ、人物が含まれる領域が少なくとも一つ以上探索できた場合に、前記領域を少なくとも一つ以上の部分画像データとして抜き出し、前記部分画像データを、前記部分画像データを抜き出した元画像データの第１の記録媒体におけるアドレス情報と結び付け、第２の記録媒体に記録する動作とを独立して実行可能な上記画像記録再生装置であって、かつ、人物が含まれる領域の探索を画像データ内の探索領域を順次変えていくことで行うことを特徴とすることもできる。
【００５６】
また、第１の記録媒体からの再生画像データを少なくとも一つのバッファメモリに蓄積する動作と、前記バッファメモリに蓄積された画像データから人物が含まれる領域を探索し、かつ、人物が含まれる領域が少なくとも一つ以上探索できた場合に、前記領域を少なくとも一つ以上の部分画像データとして抜き出し、前記部分画像データを、前記部分画像データを抜き出した元画像データの第１の記録媒体におけるアドレス情報と結び付け、第2の記録媒体に記録する動作とを独立して実行可能な請求項１記載の画像記録再生装置であって、かつ、第１の記録媒体から再生した画像データを予め複数の探索領域に分けてから、人物が含まれる領域の探索を行うことを特徴とすることもできる。
【００５７】
また、本発明の画像記録再生装置における画像検索システムは、前記第２記録媒体に記録した人物を含む部分画像データを、前記第１の記録媒体の画像データのシーン情報として用いることを特徴としている。
【００５８】
また、本発明の画像記録再生装置における画像検索システムは、前記第1の記録媒体の画像データを再生することで、第２の記録媒体に自動記録された部分画像データ群の一部を、第２の記録媒体も再生して前記第１の記録媒体の２回目以降の再生前に表示し、前記部分画像データを選択することで、部分画像データを第１の記録媒体記録された画像データの検索キーとすることを特徴としている。
【００５９】
【発明の実施の形態】
〔実施の形態１〕
本発明の実施の一形態について図１ないし図５に基づいて説明すれば、以下の通りである。
【００６０】
図１は、本発明のデータベース構築装置並びに画像検索装置を具備する本実施の形態の画像記録再生装置の構成図である。
【００６１】
本画像記録再生装置は、第１及び第２の２つのドライブ１１・１２と、バッファメモリ３と、表示装置５と、ＣＰＵ６と、メモリ４とを少なくとも備えている。
【００６２】
第１のドライブ１１は、第１の記録媒体１を記録再生可能な装置であり、第２のドライブ１２は、第２の記録媒体２を記録再生可能な装置である。
【００６３】
バッファメモリ（蓄積手段）３は、第１のドライブ１１から再生された動画像データ（静止画像データの列からなる）より、所定のタイミングで取得された静止画像データを一時的に格納するものである。サンプリングされた静止画像データは、必要に応じて、後述のようにさらに細分化されて第２のドライブ１２へ転送される。
【００６４】
表示装置（表示手段）５は、第１のドライブ１１で再生された画像データ、及び第２のドライブ１２で再生された画像データを表示するものである。再生された画像データの表示は独立して行われ、表示装置５は、第１及び第２のドライブ１１・１２で再生された何れか一方の画像データを表示する。
【００６５】
メモリ４は、ハードディスク等からなり、画像処理のためのプログラムを始め、各種のアプリケーションプログラムを格納している。
【００６６】
ＣＰＵ６は、図示しないＲＡＭを作業領域として備えており、上記した第１及び第２のドライブ１１・１２、バッファメモリ３、表示装置５の各種動作を制御する制御中枢である。また、上記メモリ４よりアプリケーションプログラムを読み出して実行するものであり、本発明のデータベース構築装置並びに画像検索装置を具現化するものでもある。つまり、ＣＰＵ６とメモリ４にて、静止画像データ取得手段、探索抽出手段、記録手段、開始指示手段、部分画像データ表示手段、検索手段等の機能を有している。
【００６７】
また、上記した第１のドライブ１１と第２のドライブ１２とは、対応する記録媒体である記録媒体１或いは第２の記録媒体２に対して、同時に少なくとも記録、再生の一方が可能となっている。
【００６８】
上記第１及び第２の記録媒体として、特に大きな制約はないが、本実施の形態では、一例として、第１の記録媒体１にはＤＶＲディスク（大容量の相変化光ディスク）を、第２の記録媒体２にはＤＶＤ−ＲＷをそれぞれ用いている。
【００６９】
そして、本画像記録再生装置では、第１のドライブ１１にて第１の記録媒体１の動画像データを再生する際に、動画像データの構成要素である静止画像データを所定のタイミングでサンプリングし、静止画像データのさらに一部である部分画像データを抽出して第２のドライブ１２にて第２の記録媒体２に記録するようになっている。
【００７０】
そしてさらに、本画像記録再生装置では、例えば、第１の記録媒体１に記録されている動画像データの内容編集等の目的で、動画像データに含まれる特定のシーン或いは画像を検索する必要が生じた場合は、第２の記録媒体２に記録されている上記した部分画像データ群を、画像検索のための情報として用いるようになっている。
【００７１】
動画像データのシーンを検索するために用いる情報は、シーン情報と称される。本発明では、動画像データを構成する静止画像データの一部である部分画像データをシーン情報とする。より詳細には、静止画像データにおける人物とその周辺の画像とからなる部分画像データをシーン情報とする。
【００７２】
前述した従来の構成では、シーン情報を、動画像中での位置、シーンの意味内容、シーン相互の関係、シーン変化の情報等の情報からなる構成としていた。そのため、シーン情報を自動にて完全な情報として取得することは難しかった。しかしながら、動画像データを構成する静止画像データにおける人物とその周辺画像とからなるシーン情報であれば、既存の技術にて自動的に取得していくことが可能となる。
【００７３】
また、シーン情報を、人物とその周辺画像とに絞ることで、人物主体の動画像データにおける検索情報を、その人物の動作も含めてより具体的なものにすることができる。
【００７４】
つまり、図２（ａ）（ｂ）に、人物情報をそのある程度周囲の周辺画像と共に抜き出す。人物情報を抜き出す際、人物情報そのものだけを抜き出すのではなく、破線にて示すように、人物をある程度周囲にある周辺画像とともに抜き出す。
【００７５】
また、シーン情報の内容としてより確度の高い情報とするために、その静止画像データに含まれる人物全てが何れかの部分画像データに含まれるように、部分画像データは複数であることが望ましい。つまり、その静止画像データから取得した部分画像データ全体で、その静止画像データに登場する全ての人物を網羅していることが望ましい。
【００７６】
そこで、図２（ａ）に示すように、画像に人物の重なりがない場合は、部分画像データの取得は比較的容易である。例えば、大きな探索領域から出発して、その探索領域内に一人の人物が入り、人物探索が上手くいくことも増える。一方、図２（ｂ）に示すように、画像に人物の重なりがある場合は、探索領域の形状と大きさを変えていき、例えば探索領域が大きい場合では重なった人物二人の部分画像データを重なった二人の人物双方情報として抜き出して取得する。また、探索領域が小さい場合では、一人の人物を含む部分画像データとして抜き出して取得することもできる。
【００７７】
静止画像データ内に含まれる複数の画像の中で、画像が人物か否かの判定は、例えば以下のように、人物情報を基本フレームの組み合わせとして捉えることで行うことができる。
【００７８】
ここで言う、基本フレームとは、顔フレーム、身体パーツフレーム（手、胴体、足など）から構成される。顔フレームについては、顔が観測方向によって平面的形態が変わることを応用して、その形態の変化に応じた判定基準情報として複数パターンの顔フレームを、メモリ４に記憶させておく。顔フレームのパターンを判定基準情報としていくつ用意するか、つまりその個数Ｎは、システムの条件によって変わるが、顔フレームの個数としては、所望の観測方向の角度分解能を（△φ,△θ: △φはあおり、△θは回転）とした場合はＮ＝（１８０／△φ）×（３６０／△θ）となる。また、顔フレームの情報形態は、その構成要素（目や鼻、口等）を複数の線情報に置き換えたものである。
【００７９】
人物かどうかの判定にあたり、まず、画像処理が行われ、静止画像データの輪郭画像（画像をいくつかの複数の線情報に加工した画像、既存技術で形成される）を形成する。そして、その輪郭画像に含まれるいくつかの輪郭群の中のいずれかと、その判定基準となるＮ個の顔フレームを形成するための輪郭モデルとの間で、顔フレームの各構成要素の配置を比較することで行う。Ｎ個の顔フレームの中に近い輪郭があるかどうかをチェックする。これが、人物であるかどうかの第１段階の判定となる。
【００８０】
次に、第１段階の判定結果を受けて、顔フレームの近傍に身体パーツフレームがあるかどうかで、最終判断を行う。判断用の身体パーツフレームは、腕フレーム、胴フレームなどがある。例えば判定用に複数の腕フレームを用いた場合、腕フレームの輪郭モデルが、顔フレームと所定の距離の範囲にあるかどうかを判断し、この距離的な条件が満たされた場合、その顔フレームの判定で得られた画像情報が人物と判断するというような判断方法がある。このようなほぼ二段階の判定方法で人物かどうかの判定を行うことができる。
【００８１】
なお、このような人物判定の方法については、例えば、『Labeled Graph Matchingを用いた動画像に対する人物頭部及び表情変化を伴う部位の抽出』電子情報通信学会論文誌 Vol.J85-D-II No.11 pp.1656-1663 2002年11月等に記載されている。
【００８２】
また、これらの部分画像データを、人物を含む画像データ情報として抜き出す際に、部分画像データに関する付加情報として、少なくとも人数情報を含む情報を取得することが好ましい。人数情報は、部分画像データに含まれる人物の数を表す情報である。また、より好ましくは、付加情報に、各人物の色を特徴付ける色情報或いは各人物の形状を特徴付ける形状情報の一方或いは両方（より好い）を含めておくことである。
【００８３】
このように付加情報を部分画像データと共に取得させておくことで、画像に人物の重なりがあり、抜き出した１つの部分画像データに複数の人物が含まれていても、得られた部分画像データに含まれる個別人物情報を、図３に示すようなツリー構造で情報管理される付加データ（付加情報）を同時に取得することで、部分画像データの中に含まれる複数の人物情報を取得でき、シーン情報として活用することができるようになる。
【００８４】
色情報及び形状情報は、より詳細に言えば、部分画像データを取り込んで、取り込んだ画像の中で、人物毎に、後述する顔フレームや身体パーツフレームなど、顔フレーム群、身体フレーム群におけるどのパターンかを判別した後で、さらにこれらを特徴付けるために用いる情報である。例えば、色情報は、画像を取り込んで判断用に適合させたフレーム（顔フレームや身体パーツフレームなど）全体の色調を表現する情報のことで、形状情報は、判断用に適合させたフレームのまさにその形状を現す情報のことである。
【００８５】
また、付加情報に、動きの情報を含めてもよい。動きの情報とは、判断用に適合させたフレーム（顔フレームや、身体パーツフレームなど）が、次の静止画像データの取り込み操作で、同フレーム群の先とは異なるフレーム群の別のフレームに適合するようになったことを示す情報である。さらに、顔フレームの中の構成要素（目や鼻、口等）を別のフレーム群化することで、表情変化などにも対応した処理が可能になる。
【００８６】
人物が複数重なった画像では、人物かどうか判定するための顔フレームや身体パーツフレームが、不完全な形でしかも、近接した形で複数存在するので、判定の基準になる。顔フレームや身体パーツフレーム、それぞれの色情報、形状情報は人物固有であるから、この各フレームの色、及び形状情報で、複数人それぞれの情報を得ることができる。そして、さらにその部分画像データを特徴づけるための情報量として、＜人数情報＞×＜人物判断用フレームの数＞×＜形状情報＋色情報＞という情報量として、部分画像に関する情報を管理できるので、画像情報を特徴づけしやすい。また、ツリー構造で管理することで、検索の際にも検索が容易になる。
【００８７】
このような色情報、形状情報は、人物かどうかを判断するのに用いた、顔フレームや身体フレームに近いと判断した輪郭モデルを、輪郭モデル専用の一時記憶装置（図示せず）が情報として取り込み、輪郭モデルのもとになっている人物かどうかの判定のために取り込んだ画像データと参照して、その輪郭モデルの位置に相当する部分で、もとの画像での色や形状といった情報を、色情報専用の一時記憶装置（図示せず）、形状情報専用の一時記憶装置（図示せず）が情報として取り込むことで取得できる。
【００８８】
また、人数情報は、抜き出した部分画像データの中に、人物と判断された人物情報がいくつあったかの情報であるから、これも人数情報専用の一時記憶装置（図示せず）が、同一の部分画像データの中で何度輪郭モデルを取得したかを、カウントしてこれを記憶することで取得できる。
【００８９】
また、静止画像データより人物を含む領域を探索する際、探索の単位となる探索領域を、静止画像データの最大サイズ以下の範囲で適宜変更することが好ましい。探索領域を変更するとはつまり、探索領域の形状（通常は矩形）と大きさとを変更することである。探索領域を適宜切り換えることで、探索領域を人物画像に合った適切な形とでき、人物に関する確度の高い情報を短時間で取得することができる。
【００９０】
探索領域の設定の仕方としては、例えば顔フレームを利用する方法がある。次のタイミングで取得した静止画像データと前のタイミングで取得した静止画像データとで、同じ人物の大きさが変化する場合は、顔フレームの大きさの変化を検出して、その変化率に合わせて探索領域を小さくする。この場合は、顔フレームの大きさの変化率が元の７０％になったなら、探索領域も元の７０％にするといった具合である。
【００９１】
また、複数の人物を含む領域が探索された場合については、顔フレームが例えば５つあった場合は、その顔フレームの数が３つになるように、領域を設定直すことで、探索領域に含まれる個々の人物情報は多くなり、確度が上がることになる。
【００９２】
そして、このように、顔フレームを基準に探索領域を小さくする場合には、顔フレームの存在する場所を探索領域の対角要素の基点にする方法が有効である。
【００９３】
具体的には、図４に示すように、顔フレームのサイズｘ１×ｙ１とｘ２×ｙ２と顔フレーム間の距離Ｘ，Ｙ、さらにはその探索部分を十分に確保するためのマージンとして設けた、元の顔フレームのサイズを基準に予め定めた（ｍ１，ｍ２，ｎ１，ｎ２は任意の数）範囲を組み合わせて探索領域サイズは、｛（ｍ１＋１）・ｘ１＋Ｘ＋（ｍ２＋１）・ｘ２｝×｛（ｎ１＋１）・ｙ１＋Ｙ＋（ｎ２＋１）・ｙ２｝で与えられる。
【００９４】
以上に示した、人物を含む部分画像データによるシーン情報の取得により、シーンの変化様々な情報を考慮して異なるシーンであると判別して、その変化を階層構造で管理するなどの概念はなくなり、それらの人物が何をするか等にも着目した情報が管理できることになる。
【００９５】
次に、図５のフローチャートを用いて、人物を含む部分画像データを抜き出す操作を説明する。
【００９６】
図５では、静止画像データ内の人物を含む領域を部分画像データとして抜き出す際に、人物を探索する探索領域を適宜変更しながら行う場合の部分画像データの取得までの流れを示す。
【００９７】
第１のドライブ１１で、第１の記録媒体１の動画像再生中に開始信号が検出されると、第１のドライブ１１で再生される動画像データの一コマを取得するタイミング情報を発生させ、静止画像データの取得を開始する（Ｓ１）。
【００９８】
動画像データを取得するタイミング情報が与えられると、それに同期して、バッファメモリ３に、動画像データの一コマである静止画像データを、そのアドレスデータ（第１の記録媒体１上のアドレス）と共に蓄積する（Ｓ２、Ｓ３）。
【００９９】
次に、開始直後であるか否かを判断し（Ｓ４）、開始直後以外は、続けて画像データ転送要求のトリガが検出されたか否かを確認する（Ｓ５）。開始直後以外で、画像データ転送要求のトリガが検出されなければ、Ｓ１〜Ｓ５を繰り返して、画像蓄積を続けていく。
【０１００】
一方、開始直後である場合、及び、画像データ転送要求のトリガが検出された場合は、バッファメモリ３に取り込んだ静止画像データを、人物情報検出系に送る（Ｓ７）。ここまでの処理は、静止画像データを蓄積する画像蓄積系の処理である。
【０１０１】
以下に人物情報検出系について説明する。転送された静止画像データに対し、まず、画像処理を行って、上述した輪郭画像を形成する（Ｓ８）。次に、探索領域の見直しを行いながら、人物を含む領域を探索していく（Ｓ９）。
【０１０２】
Ｓ９では、静止画像データから得られた輪郭画像に対して、探索領域を所定の画素ずつ（輪郭画像の分解能に合わせて決める）水平方向にずらしていき、その探索で読み込まれる線分をベクトルと見ての方向と長さの情報を検出する。そして、方向と長さ情報を取得しながら探索を進める。また、１水平方向の探索走査が終了したら、垂直方向に所定の画素だけずらして、再度水平方向に探索走査を開始する。この探索を輪郭画像データ全体に対して、人物と判断できる情報が得られるところまで続け、線分の有無の情報と、線分が有る場合は、その方向と長さの情報とが輪郭画像情報として、一時記憶装置に格納されていく。
【０１０３】
この探索で、輪郭画像内の線分の情報が定量的に得られるので、顔フレームや、身体パーツフレームといった、人物かどうか判断するための各フレームの輪郭モデルとの間で、その類似性を数値的に比較し、上記各フレームの輪郭モデルと一致した際には、人物が含まれると判断する（Ｓ１０）。
【０１０４】
人物が含まれると判断すると、その一致部分を含む一定の範囲を、人物を含む部分画像データとして切り出す（Ｓ１２）。また、この際、切り出した部分画像データが静止画像データのどこにあったかもわかるようにフィールド情報を併せて取得する（Ｓ１１）。フィールド情報とは、静止画像内のどの位置に人物画像が存在するかを示す情報である。
【０１０５】
切り出した部分画像データとフィールド情報とは、当該部分画像データが含まれていた静止画像データの第１の記録媒体１上の位置を示すアドレス情報と対応付けて、第２のドライブ１２を用いて第２の記録媒体２に記録する（Ｓ１３）。
【０１０６】
次に、輪郭画像全体の探索を完了していない段階では、未探索部分への探索を続行し、探索領域の見直しを行いながら、人物画像の探索を続ける（Ｓ１４、Ｓ１５）。Ｓ１６にて人物情報が他にないことを確認するまで、Ｓ１２〜Ｓ１５の処理を繰り返す。
【０１０７】
また、より望ましくは、一度得られた部分画像データの範囲内をさらにそれより小さい探索領域にて探索することである。これにより、顔の表情といった、よりそのシーンを特徴付けられる確度の高い情報を短時間で得ることができる。
【０１０８】
一方、Ｓ１０にて、静止画像データの全体を探索しても人物が含まれると判断しなかった場合、及びＳ１６にて人物情報が他にないことを確認すると、人物情報検出系の処理が終了する。
【０１０９】
この人物情報の検出系の処理が終わった時点で、次の静止画像データを人物情報検出系に送るための画像データ転送要求のトリガを発生させ（Ｓ１７）、そのトリガデータを、静止画像データを蓄積しているバッファメモリ３に送る。これにて、画像蓄積系より人物情報検出系へ、次の静止画像データの転送処理がなされる（Ｓ７）。
【０１１０】
この探索の際には、人物を含む領域を探索する人物情報検出系と、画像データを蓄積する画像蓄積系とは別の動きをしている。したがって、動画像データの再生が終了して後しばらくしてから、人物を含む領域を探索する処理が終了することになる。探索の終了に際しては、第１のドライブ１１で再生される動画像データのエンド情報が転送されたことをもとに終了動作に入る（Ｓ６）。
【０１１１】
なお、上記したＳ１における、再生された動画像データを構成する静止画像データをサンプリングし、バッファメモリ３に蓄積していく時間間隔（サンプリングのタイミング）は、人物を含む領域の探索と記録に要する時間を考慮して設定するのが好ましい。
【０１１２】
また、ユーザがサンプリングのタイミングを自由に設定できるようにしてもよい。第１の記録媒体１の動画像データを再生して、シーン情報となる部分画像データを取得しているときに、ユーザは表示装置５に映し出される動画像をもとに、その内容を把握することができるので、その内容に合わせて静止画像データを取得するタイミングを適宜設定すれば、動画像の内容に応じたサンプリングが可能となる。
【０１１３】
次に、本画像記録再生装置における動画像データの画像検索について説明する。
【０１１４】
上記のようにして取得した部分画像データは、その人物の行為など、そこには既にこれを抽出した静止画像データ、つまりその静止画像データを構成要素とする動画像のあるシーンを特徴付ける情報が含まれているので、部分画像データ自体を表示装置５に表示させることで、部分画像データ自体がシーン情報となる。
【０１１５】
また、その部分画像データから複数の人物情報が得られる場合も、その複数人の人物構成などが重要なシーン情報となる。つまり、これらの部分画像データは、そのままでもユーザにとってはシーン変化を検出するために得られる情報と相当のシーン情報を提供することになる。
【０１１６】
そこで、上述したように、本画像記録再生装置では、第１の記録媒体１に記録された動画像データの数あるシーンの中から、ある特定のシーン（画像）を検索したい場合、本動画像データより取得され、既に第２の記録媒体２に記録されている部分画像データ群を、画像検索のための情報として用いるようになっている。
【０１１７】
画像検索において、表示装置５には、部分画像データ群より部分画像データが、動画像データの時間軸に沿った順番等で表示される。このとき、部分画像データをサムネイル表示してもよい。また、全ての部分画像データを表示する必要はなく、その一部を時間的に間引いて表示することもできる。
【０１１８】
そして、このように部分画像データを表示している状態で、図示しない入力装置を介して、ユーザからの表示されている部分画像データに対する選択を受けつけ、選択された部分画像データをもとに、第１の記録媒体１に記録されている動画像データに対して、該部分画像データの抽出元となる静止画像データの検索を行い、選択された部分画像データの抽出元の静止画像データから（その前後を含む）、動画像データの再生を開始する。
【０１１９】
また、本画像記録再生装置では、第１の記録媒体１の動画像データを初めて本装置で再生する際に、人物情報とその周辺情報に人物を含む部分画像データを自動的に取得しておくようになっている。そしてまた、本画像記録再生装置では、第１の記録媒体１に記録された動画像データの２回目以降の再生が指示されたとき、動画像データの再生前に、取得した部分画像データの一部を、図１の枠２０に示すように、表示装置５の画面にサムネイル表示するようになっている。
【０１２０】
部分画像データの表示は、動画像データの時間軸方向に、単純に取得した部分画像データ（静止画）を所定数（図１，６では８個）ずつ所定時間表示しても、部分画像データの中のいくつかだけを選択してから表示してもよい。さらに、その選択表示方法には、元の動画像全体の中の一定時間ごとに表示用部分画像を選択しておいて、その選択した部分画像データを表示するなどの方法がある。
【０１２１】
このような部分画像データは、既に、人物の動作、表情などに絞られているので、通常の静止画像全体のサムネイル表示よりも、ユーザにとってはより見やすくなる。そして、このような既に絞り込まれた部分画像データをもとにした検索は、通常の静止画像全体のサムネイル表示に秘して、情報確度が高く、かつ、よりきめ細かい画像検索（シーン検索）が可能になる。
【０１２２】
例えば、元の静止画像内で人物が記録された領域の占める割合が全体の中で小さい場合、静止画像像全体のサムネイル表示では、人物の特定さえ難しくなっていたが、本画像記録再生装置の場合は、人物画像がクローズアップされて表示されるので、人物情報をキーにした画像検索が可能となる。
【０１２３】
また、部分画像は人物情報が基本に管理されるので、例えば、身体パーツフレームに関する色情報を利用すれば、例えば動画像全体の中で特定の人物が着ている衣装をキーに、部分画像データ群よりその衣装を含む部分画像データのみを選択的に表示させるといったことも可能となり、より効果的なシーン検索が可能となる。
【０１２４】
また、別の例で、身体パーツフレームに関する形状情報を利用すれば、足の形状の情報を動きの情報と複合したり、腕の形状の情報を動きの情報と複合したりして、特定の人物の行動をキーに、シーンを検索することが可能である。また、フィールド情報を利用すれば、特定の人物が移動しているシーンを、それが歩いているか、走っているかを区別して検索することができる。
【０１２５】
〔実施の形態２〕
本発明の実施の他の形態について図６、図７に基づいて説明すれば、以下の通りである。なお、説明の便宜上、実施の形態１で用いた部材と同じ機能を有する部材には同じ符号を付して説明を省略する。
【０１２６】
本実施の形態の画像記録再生装置は、図６に示すように、独立して書込み読出しが可能なバッファメモリ群３０を備えている点が、実施の形態１の画像記録再生装置（図１）と大きく異なる点である。実施の形態１の画像記録再生装置では、ＣＰＵ６は、１つのバッファメモリ３を用いて、静止画像データ内で探索領域を移動しながら静止画像データ全体に対して探索を行っていたが、ここでは、複数のバッファメモリからなるバッファメモリ群３０を用いて、静止画像データを予め複数の領域に分割し、各分割領域内で独自に人物の探索を行い、部分画像データの抽出を行うようになっている。つまり、探索領域の移動を行わない。
【０１２７】
図７のフローチャートを用いて、人物を含む部分画像データを抜き出す操作を説明する。
【０１２８】
図７では、静止画像データ内の人物を含む領域を部分画像データとして抜き出す際に、人物を探索する探索領域を予め分割しておいて探索を行い、部分画像データを取得するまでの流れを示す。
【０１２９】
第１のドライブ１１で、第１の記録媒体１の動画再生中に開始信号が検出されれると、第１のドライブ１１で再生される動画像データの一コマを取得するタイミング情報を発生させ、静止画像データの取得を開始する（Ｓ２１）。
【０１３０】
この取得後に、静止画像データの分割数Ｎを決定する(Ｓ２２)。例えば、画面上に多数の人物が存在するかという情報を、静止画像データの輪郭画像データのレベルで粗く探索して画像全体の人物数の状態を分析し、分析結果をもとに分割数を決定する。判定には、図７には示していないが、メモリ４に格納してある簡易な画像分析プログラムをＣＰＵ６が起動して、自動判定作業をするという機能が含まれる。尚、分割数Ｎは最大、バッファメモリ群３０を構成するバッファメモリ数となる。
【０１３１】
Ｎ個に分割された静止画像データは、分割と同時に、Ｎ個の独立して書込み及び読出し動作が可能な、バッファメモリ群３０の１〜Ｎに、静止画像データをＮ分割したＮ個の画像データ群として、画像分割前の第１の記録媒体１でのアドレスデータと共に一括蓄積される（Ｓ２３、Ｓ２４）。
【０１３２】
次に、開始直後であるかを判断し（Ｓ２５）、開始直後以外は、続けて画像データ転送要求のトリガが検出されたか否かを確認する（Ｓ２６）。開始直後以外で、画像データ転送要求のトリガが検出されなければ、Ｓ２１〜Ｓ２６を繰り返して、分割された静止画像データ（以下、分割画像データと称する）のバッファメモリ群３０への画像蓄積を続けていく。
【０１３３】
一方、開始直後である場合、及び、画像データ転送要求のトリガが検出された場合は、バッファメモリ群３０に取り込んだ分割画像データを人物情報検出系に一括して送る（Ｓ２７）。ここまでの処理は、分割画像データを蓄積する画像蓄積系の処理である。
【０１３４】
ここで、静止画像データはＮ個に分割され、１〜Ｎまでのバッファメモリに蓄積されているので、人物情報検出系はＮ個存在することとなる。Ｎ個の各人物情報検出系ではそれぞれ、転送された分割画像データに対し、まず、画像処理を行って、上述した輪郭画像を形成する（Ｓ２８）。次に、人物を含む領域を探索する（Ｓ２９）。但し、ここでは、探索領域の見直しを行うことなく探索する。
【０１３５】
そして、実施の形態１で説明したと同様の判定して、Ｓ３０で人物が含まれると判断すると、その一致部分を含む一定の範囲を、人物を含む部分画像データとして切り出す（Ｓ３２）。また、この際も、切り出した部分画像データが静止画像データのどこにあったかもわかるようにフィールド情報を併せて取得する（Ｓ３１）。
【０１３６】
切り出された部分画像データとフィールド情報とは、当該部分画像データが含まれていた静止画像データの第１の記録媒体１上の位置を示すアドレス情報と対応付けて、第２のドライブ１２を用いて第２の記録媒体２に記録される（Ｓ３６）。
【０１３７】
但し、ここでは、Ｎ個の人物情報検出系が独立し、並行して処理を行っているので、Ｓ３４及びＳ３５の処理を経て、ＣＰＵ６との間で通信しながら、第２のドライブ１２への記録要求に関する許可を待って行われる。Ｎ個の人物情報検出系は、個々に図６には示さないが、一時記憶機能を有している。
【０１３８】
Ｓ３０にて分割画像データには人物が含まれないと判断し探索抽出手段場合、及び、Ｓ３６にて第２の記録媒体２への記録が完了すると、次の人物情報検出系のＳ３５に進み。
【０１３９】
上述したように、この実施の形態では、探索領域を変えての再探索は行わない。たとえ、複数の人物が重なる人物情報が仮に取得されても、個別の人物情報については付加情報として別途記録する方法で補うことができる。
【０１４０】
最終の人物情報検出系で、第２の記録媒体２への分割画像データの記録が完了する、或いはＳ３０にて人物が含まれていないと判断すると、Ｎ個の人物情報検出系の処理が終了する。
【０１４１】
Ｎ個の人物情報検出系の処理が終わった時点で、次の分割画像データを各人物情報検出系に送るための画像データ転送要求のトリガを発生させ（Ｓ３７）、そのトリガデータを、分割画像データを蓄積しているＮ個のバッファメモリに送る。これにて、画像蓄積系より人物情報検出系へ、次の分割画像データが一括して転送処理がなされる（Ｓ２７）。
【０１４２】
この探索の際においても、人物を含む領域を探索する人物情報検出系と、画像データを蓄積する画像蓄積系とは別の動きをしている。したがって、動画像データの再生が終了して後しばらくしてから、人物を含む領域を探索する処理が終了することになる。また、探索の終了に際しては、第１のドライブ１１で再生される元の動画像データのエンド情報が転送されたことをもとに終了動作に入る（Ｓ３８）。
【０１４３】
なお、上記したＳ２１における、再生された動画像データを構成する静止画像データをサンプリングし、分割してバッファメモリ群３０に蓄積していく時間間隔（サンプリングのタイミング）は、人物を含む領域の探索と記録に要する時間を考慮して設定するのが好ましく、また、ユーザがサンプリングのタイミングを自由に設定できるようにしてもよい。
【０１４４】
このように、本実施の形態の画像記録再生装置は、実施の形態１の画像記録再生装置と比べて、探索領域を移動させることもなく、また、探索領域を変化させることもない。したがって、繰り返し探索などの動作がない分、静止画像データが多数の人物が含まれるような動画像データの場合は、このような静止画像データを予めＮ個に分割して人物情報を検出する処理の方が、効率良い探索が可能になる。
【０１４５】
なお、本画像記録再生装置においても、第２の記録媒体２に部分画像データ群を用いた画像検索は実施の形態１の画像記録再生装置と同じであるので、説明は省略する。
【０１４６】
以上説明した、実施の形態１，２の画像記録再生装置は、コンピュータ読み取り可能な記録媒体にプログラムとして記録することも可能である。例えば、コンピュータを、静止画像データ取得手段、探索抽出手段、記録手段、開始指示手段、部分画像データ表示手段、検索手段として機能させるデータベース構築プログラム、画像検索プログラムが記録された記録媒体が考えられる。
【０１４７】
本発明の目的は、このような手段をコンピュータに実現させるソフトウエアであるデータベース構築プログラム、画像検索プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を、コンピュータが読み取り得るように記録媒体に記録させ、該記録媒体を、画像記録再生装置に供給し、そのコンピュータが記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。この場合、記録媒体から読み出されたプログラムコード自体が上述した手順を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０１４８】
ここで、上記プログラムメディアとしての記録媒体は、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【０１４９】
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的手段に含まれる。
【０１５０】
【発明の効果】
本発明のデータベース構築装置は、以上のように、第１のドライブにて再生された第１の記録媒体の動画像データから静止画像データを取得する静止画像データ取得手段と、上記静止画像データ取得手段にて取得された静止画像データを蓄積していく蓄積手段と、該蓄積手段が蓄積した静止画像データに含まれる人物を探索し、人物が含まれている場合は人物を含む所定領域を部分画像データとして抽出する探索抽出手段と、該探索抽出手段にて部分画像データが抽出されると、抽出された部分画像データを抽出元である静止画像データの上記第１の記録媒体上のアドレス情報と対応付けて第２のドライブを用いて第２の記録媒体に記録させる記録手段とを有することを特徴としている。
【０１５１】
これによれば、第２の記録媒体には、人物を含む領域を抽出してなる部分画像データが記録されデータベース化される。このような部分画像データは、それ自身を表示させることで、部分画像データ自体がシーン情報となる。また、その部分画像データから複数の人物情報が得られる場合も、その複数人の人物構成などが重要なシーン情報となる。つまり、これらの部分画像データは、そのままでもユーザにとってはシーン変化を検出するために得られる情報と相当のシーン情報となる。
【０１５２】
しかも、このようなシーン情報は、人物を含む領域を切り出した部分画像データであるので、既存の技術にてユーザの手を煩わせることなく自動にて取得して、データベースを構築することができる。
【０１５３】
したがって、これにより、人物画像主体の動画像データに適した、シーン情報をユーザの手を煩わせることなく自動に取得可能な、シーン情報のデータベース構築装置を提供することができるという効果を奏する。
【０１５４】
そしてまた、このようなデータベース構築装置を画像記録再生装置に搭載させることで、局所的なシーン変化なども容易に判別でき、人物の動きに沿った画像検索等も可能な、人物を主体とした動画像データの内容編集等を容易に行うことのできる画像記録再生装置を提供することができるという効果を奏する。
【０１５５】
また、本発明のデータベース構築装置においては、さらに、上記探索抽出手段は、部分画像データを抽出する際に、当該部分画像データ内に含まれる人物の数を表す数情報を含む付加情報を併せて取得し、上記記録手段は、部分画像データと共に対応する付加情報を、部分画像データに連なるツリー構造で関係付け得るように上記第２の記録媒体に記録することを特徴とすることもできる。
【０１５６】
これによれば、部分画像データ内に含まれる人物の数を表す数情報を含む付加情報が取得され、部分画像データと共に対応する付加情報が、部分画像データに連なるツリー構造で関係付け得るように第２の記録媒体に記録されるので、たとえ、人物を含む部分画像データの切り出しが、人物が二人重なっている画像として取得した場合でも、第２の記録媒体に記録されたデータ側では、二人の人物に分離して管理することができるという効果を併せて奏する。
【０１５７】
また、上記付加情報には、さらに、各人物の色的特徴を表す色情報、及び/又は、各人物の形状的特徴を表す形状情報を含めておくこともできる。
【０１５８】
色情報を利用すれば、例えば動画像全体の中で特定の人物が着ている衣装をキーに、特定のシーンを検索することが可能となる。また、別の例で、形状情報を利用すれば、その形状変化を捉えて、特定の人物の行動をキーに、特定のシーンを検索することが可能である。
【０１５９】
したがって、人物を含み領域を抜き出した部分画像データをシーン情報とし、これをもとに動画像データの検索を行う場合、検索のキーとなる項目が増え、より効果な検索を行いえるデータベースを構築することができるという効果を併せて奏する。
【０１６０】
また、本発明のデータベース構築装置においては、上記探索抽出手段は、静止画像データに含まれる全ての人物が何れかの部分画像データに含まれるように部分画像データの抽出を行うことが好ましい。
【０１６１】
これによれば、静止画像データに含まれる全人物が、独立して或いはほかの人物と共に、部分画像データとして取得されるので、シーン情報の内容としてより確度の高い情報となるという効果を併せて奏する。
【０１６２】
また、本発明のデータベース構築装置においては、上記探索抽出手段は、人物を探索する際の探索領域を適宜変更しながら行うことを特徴とすることができる。
【０１６３】
これによれば、人物を探索する際の探索領域を適宜変更しながら行うので、探索時に、人物情報の静止画像データに占める割合が任意に変化する動画像データなどに対しても、探索領域を画面最大範囲から段階的に縮小していくなど、探索領域を常に適切に定めていくことができ、探索をより効率良く行うことができる。また、最初の探索で複数の人物を含む領域として探索した際にも、より情報確度を上げるため、探索領域を変えて再度探索を行うといったことも容易に行えるという効果を併せて奏する。
【０１６４】
また、本発明のデータベース構築装置においては、上記探索抽出手段は、静止画像データを予め複数の領域に分割し、分割した領域を探索領域として探索することを特徴とすることもできる。
【０１６５】
これによれば、静止画像データを予め複数の領域に分割してから分割した各領域を探索領域として探索するので、切り出した静止画像データに予め多数の人物が記録されていると予想される動画像データの場合、一回の探索で見つけて切り出すところの人物が含まれる領域に存在する人物数を適宜少なくでき、個別人物情報の数を少なくできる。また、分割した各領域にて独立して探索処理を行うようにすれば、静止画像データからの人物の抽出をより短時間で行うことができるという効果を併せて奏する。
【０１６６】
また、このよう予め静止画像データを分割する場合、静止画像データに含まれる人物の数の状態を判定し、判定に基づいて静止画像データの分割数を決定する分割数決定手段を備え、上記探索抽出手段は、該分割数決定手段にて決定された分割数にて画像データを分割する構成とすることがより好ましい。
【０１６７】
これにより、静止画像データの分割が、静止画像データに含まれる人物の数の状態に応じて行われるので、静止画像データの分割数が静止画像データに含まれる人物の数の状態にあったものとなり、分割数が固定されている構成よりも、個別人物情報の数をより的確にできるという効果を併せて奏する。
【０１６８】
また、本発明のデータベース構築装置では、上記第１のドライブにおける上記第１の記録媒体の動画像データの再生が初めてか否かを判定し、初めてである場合は、上記静止画像データ取得手段による静止画像データの取得を開始させる開始指示手段を備えている構成とすることもできる。
【０１６９】
これによれば、第１のドライブにおける上記第１の記録媒体の動画像データの再生が初めてである場合、開始指示手段にて、静止画像データ取得手段による静止画像データの取得が開始されるので、ユーザは第１のドライブで第１の記録媒体を再生させるだけで特別な指示を行うことなく、シーン情報のデータベースを取得することができるという効果を併せて奏する。
【０１７０】
本発明の画像記録再生装置は、上記課題を解決するために、第１の記録媒体に記録されている情報を再生する第１のドライブと、第２の記録媒体に情報を記録・再生する第２のドライブとを備えた画像記録再生装置において、上記請求項１〜９に記載のデータベース構築装置を備えたことを特徴としている。
【０１７１】
既にデータベース構築装置として説明したように、本発明のデータベース構築装置は、人物画像主体の動画像データに適した、シーン情報をユーザの手を煩わせることなく自動に取得し得るシーン情報のデータベース構築装置である。
【０１７２】
したがって、このようなデータベース構築装置を搭載してなる本発明の画像記録再生装置は、局所的なシーン変化なども容易に判別でき、人物の動きに沿った画像検索等も可能な、人物を主体とした動画像データの内容編集等を容易に行うことのが可能な優れた画像記録再生装置となるという効果を奏する。
【０１７３】
本発明の画像検索方法は、本発明の画像記録再生装置の画像検索方法であって、上記第２の記録媒体に記録されている部分画像データをシーン情報として用いて、上記第１の記録媒体に記録されている動画像データにおける任意のシーンの検索を行うことを特徴としている。
【０１７４】
上述したように、第２の記録媒体に記録される部分画像データには、その人物の行為など、そこには既にこれを抽出した静止画像データ、つまりその静止画像データを構成要素とする動画像のあるシーンを特徴付ける情報が含まれているので、部分画像データを表示させることで、部分画像データ自体がシーン情報となる。また、その部分画像データから複数の人物情報が得られる場合も、その複数人の人物構成などが重要なシーン情報となる。つまり、これらの部分画像データは、そのままでもユーザにとってはシーン変化を検出するために得られる情報と相当のシーン情報となる。
【０１７５】
したがって、画像に含まれる人物の動作まで含めた細かいレベルでのシーン情報を用いて検索するので、人物が中心の動画データ再生時の検索においてなど、より効率の良い画像検索が可能になるという効果を併せて奏する。
【０１７６】
また、本発明の画像検索装置は、上記画像記録再生装置に備えられる画像検索装置であって、上記第２ドライブを用いて上記第２の記録媒体に記録されている部分画像データ群を再生し、表示手段に表示させる部分画像データ表示手段と、ユーザからの表示されている部分画像データに対する選択を受けつける入力手段と、上記入力手段にて選択された部分画像データをもとに、第１の記録媒体に記録されている動画像データに対して、該部分画像データの抽出元となる静止画像データの検索を行う検索手段とからなることを特徴としている。
【０１７７】
これによれば、部分画像データ再生表示手段が、像上記第２ドライブを用いて上記第２の記録媒体に記録されている部分画像データ群を再生し、表示手段に表示させる。ユーザが表示されている部分画像データの１つを入力手段を用いて選択すると、検索手段が、上記入力手段にて選択された部分画像データの抽出元となる静止画像データを動画像データより検索する。
【０１７８】
したがって、第２の記録媒体に記録されている人物の動作、表情などを直接に見て必要な画像データの検索（シーン検索）を行うことができるので、例えば動画像検索を、静止画像全体を表示して行う場合よりもきめ細かい検索が可能になる。例えば、元の静止画像内で人物が記録された領域の占める割合が全体の中で小さい場合にも、人物情報をキーにした画像検索ができる。つまり、画面内を絞って表示するので、ユーザにとってはより見やすく、かつ情報確度の高い検索が可能になるという効果を奏する。
【０１７９】
本発明の画像検索装置では、さらに、部分画像データ再生表示手段は、上記第１の記録媒体に記録されている動画像データの再生が指示された場合、動画像データの再生前に部分画像データの一部を表示することを特徴とすることもできる。
【０１８０】
これによれば、第１の記録媒体の動画像データの部分画像データ群が第２の記録媒体にある場合は、動画像データの再生を前にして部分画像データの一部が自動的に再生されるので、例えばユーザはその部分画像データをみて、見たいシーンのみ選択的に再生させるといった使い方が可能となるという効果を併せて奏する。
【０１８１】
また、本発明のデータベース構築プログラム及び記録媒体は、上記した本発明のデータベース構築装置における各手段としてコンピュータを機能させるプログラム及びそれを記録した記録媒体である。
【０１８２】
また、本発明の画像検索プログラム及び記録媒体は、上記した本発明の画像検索装置における各手段としてコンピュータを機能させるプログラム及びそれを記録した記録媒体である。
【０１８３】
これにより、上記したデータベース構築プログラム、或いは画像検索プログラムをコンピュータによって実行させれば、特定のデータベース構築装置、画像検索装置、画像記録再生装置ではなく、不特定の画像記録再生装置に対しても本発明のデータベース構築装置、画像検索装置、画像記録再生装置を実現させることが可能となるという効果を併せて奏する。
【図面の簡単な説明】
【図１】本発明の実施の一形態の画像記録再生装置の構成を示すブロック図である。
【図２】図２（ａ）（ｂ）は、上記画像記録再生装置におけるシーン情報の取得例を示す説明図である。
【図３】上記画像記録再生装置における人物情報検索における情報付加構造を示す説明図である。
【図４】上記画像記録再生装置における人物探索の際の探索領域の変更方法を示す説明図である。
【図５】上記画像記録再生装置における人物情報自動取得の手順を示すフローチャートである。
【図６】本発明の実施の他の形態の画像記録再生装置の構成を示すブロック図である。
【図７】上記画像記録再生装置における人物情報自動取得の手順を示すフローチャートである。
【図８】従来公報に開示された発明のシーン情報入力システムを示す図である。
【図９】上記従公報に開示された発明のシーン情報入力の手順を示す流れ図である。
【符号の説明】
１ 第１の記録媒体
２ 第２の記録媒体
３ バッファメモリ（蓄積手段）
４ メモリ（静止画像データ取得手段、探索抽出手段、記録手段、開始指示手段、部分画像データ表示手段、検索手段）
５ 表示手段
６ ＣＰＵ（静止画像データ取得手段、探索抽出手段、記録手段、開始指示手段、部分画像データ表示手段、検索手段）
１１ 第１のドライブ
１２ 第２のドライブ
３０ バッファメモリ群（蓄積手段）
Claims (17)
- 第１のドライブにて再生された第１の記録媒体の動画像データから静止画像データを取得する静止画像データ取得手段と、
上記静止画像データ取得手段にて取得された静止画像データを蓄積していく蓄積手段と、
該蓄積手段が蓄積した静止画像データに含まれる人物を、当該静止画像データを複数の線情報に加工した輪郭画像と、人物を判断するための顔フレーム及び身体フレームとを比較することによって探索し、当該静止画像データに含まれる全ての人物のそれぞれについて、人物を含む所定領域を部分画像データとして抽出する探索抽出手段と、
該探索抽出手段にて部分画像データが抽出されると、抽出された部分画像データを抽出元である静止画像データの上記第１の記録媒体上のアドレス情報と対応付けて第２のドライブを用いて第２の記録媒体に記録すると共に、上記探索抽出手段が顔フレーム及び身体フレームに類似性が高いと判断した輪郭を示す輪郭モデルを記録する記録手段とを有することを特徴とするデータベース構築装置。 - 上記探索抽出手段は、部分画像データを抽出する際に、上記記録手段が上記輪郭モデルを記録した回数を、当該部分画像データ内に含まれる人物の数としてカウントし、この数を表す数情報を含む付加情報を併せて取得し、
上記記録手段は、部分画像データと共に対応する付加情報を、部分画像データに連なるツリー構造で関係付け得るように上記第２の記録媒体に記録することを特徴とする請求項１に記載のデータベース構築装置。 - 上記付加情報は、各人物の色的特徴を表す色情報として、上記探索抽出手段が部分画像データを抽出した静止画像データにおける、上記輪郭モデルの位置に相当する部分の色を示す情報を含むことを特徴とする請求項２に記載のデータベース構築装置。
- 上記付加情報は、各人物の形状的特徴を表す形状情報として、上記探索抽出手段が部分画像データを抽出した静止画像データにおける、上記輪郭モデルの位置に相当する部分の形状を示す情報を含むことを特徴とする請求項２又は３に記載のデータベース構築装置。
- 上記探索抽出手段は、静止画像データに含まれる全ての人物が何れかの部分画像データに含まれるように部分画像データの抽出を行うことを特徴とする請求項１〜４の何れかに記載のデータベース構築装置。
- 上記探索抽出手段は、人物を探索する際の探索領域を適宜変更しながら行うことを特徴とする請求項１〜４の何れかに記載のデータベース構築装置。
- 上記探索抽出手段は、静止画像データを予め複数の領域に分割し、分割した領域を探索領域として探索することを特徴とする請求項１〜４の何れかに記載のデータベース構築装置。
- 上記静止画像データに含まれる人物の数の状態を判定し、判定に基づいて静止画像データの分割数を決定する分割数決定手段を有しており、
上記探索抽出手段は、該分割数決定手段にて決定された分割数にて画像データを分割することを特徴とする請求項７に記載のデータベース構築装置。 - 上記第１のドライブにおける上記第１の記録媒体の動画像データの再生が初めてか否かを判定し、初めてである場合は、上記静止画像データ取得手段による静止画像データの取得を開始させる開始指示手段を備えていることを特徴とする請求項１に記載のデータベース構築装置。
- 第１の記録媒体に記録されている情報を再生する第１のドライブと、
第２の記録媒体に情報を記録・再生する第２のドライブとを備えた画像記録再生装置において、
上記請求項１〜９に記載のデータベース構築装置を備えたことを特徴とする画像記録再生装置。 - 上記請求項１０に記載の画像記録再生装置の画像検索方法であって、
上記第２の記録媒体に記録されている部分画像データをシーン情報として用いて、上記第１の記録媒体に記録されている動画像データにおける任意のシーンの検索を行うことを特徴とする画像検索方法。 - 上記請求項１０に記載の画像記録再生装置に備えられる画像検索装置であって、
上記第２ドライブを用いて上記第２の記録媒体に記録されている部分画像データ群を再生し、表示手段に表示させる部分画像データ表示手段と、
ユーザからの表示されている部分画像データに対する選択を受けつける入力手段と、
上記入力手段にて選択された部分画像データをもとに、第１の記録媒体に記録されている動画像データに対して、該部分画像データの抽出元となる静止画像データの検索を行う検索手段とからなる画像検索装置。 - 上記部分画像データ表示手段は、上記第１の記録媒体に記録されている動画像データの再生が指示された場合に、動画像データの再生前に部分画像データの一部を表示することを特徴とする請求項１２に記載の画像検索装置。
- 上記請求項１〜９の何れかに記載のデータベース構築装置における各手段としてコンピュータを機能させるデータベース構築プログラム。
- 請求項１４に記載のデータベース構築プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 上記請求項１２又は１３に記載の画像検索装置における各手段としてコンピュータを機能させる画像検索プログラム。
- 請求項１６に記載の画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003084906A JP4334898B2 (ja) | 2003-03-26 | 2003-03-26 | データベース構築装置、データベース構築プログラム、画像検索装置、画像検索プログラム、及び画像記録再生装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003084906A JP4334898B2 (ja) | 2003-03-26 | 2003-03-26 | データベース構築装置、データベース構築プログラム、画像検索装置、画像検索プログラム、及び画像記録再生装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004297305A JP2004297305A (ja) | 2004-10-21 |
| JP4334898B2 true JP4334898B2 (ja) | 2009-09-30 |
Family
ID=33399959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003084906A Expired - Fee Related JP4334898B2 (ja) | 2003-03-26 | 2003-03-26 | データベース構築装置、データベース構築プログラム、画像検索装置、画像検索プログラム、及び画像記録再生装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4334898B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4532320B2 (ja) * | 2005-03-29 | 2010-08-25 | 株式会社日立国際電気 | 画像表示装置 |
| JP2006309661A (ja) * | 2005-05-02 | 2006-11-09 | Fuji Photo Film Co Ltd | 画像再生装置及び画像再生プログラム |
| JP4553134B2 (ja) * | 2005-07-19 | 2010-09-29 | カシオ計算機株式会社 | 画像生成装置及びそのプログラム |
| JP4597803B2 (ja) * | 2005-07-26 | 2010-12-15 | パナソニック株式会社 | 映像シーン情報生成装置 |
| JP4254802B2 (ja) * | 2006-05-11 | 2009-04-15 | ソニー株式会社 | 画像処理装置および方法、プログラム並びに記録媒体 |
| JP5667773B2 (ja) * | 2010-03-18 | 2015-02-12 | キヤノン株式会社 | 情報作成装置及びその制御方法 |
| WO2011148562A1 (ja) * | 2010-05-26 | 2011-12-01 | パナソニック株式会社 | 画像情報処理装置 |
| CN111931567B (zh) * | 2020-07-01 | 2024-05-28 | 珠海大横琴科技发展有限公司 | 人体识别的方法及装置、电子设备、存储介质 |
-
2003
- 2003-03-26 JP JP2003084906A patent/JP4334898B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004297305A (ja) | 2004-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3615657B2 (ja) | 映像検索方法及び装置ならびに記録媒体 | |
| JP2994177B2 (ja) | ビデオ・セグメント間の境界部の位置を特定するためのシステム及び方法 | |
| US7873258B2 (en) | Method and apparatus for reviewing video | |
| JPH08249348A (ja) | 映像検索方法および装置 | |
| JP4765732B2 (ja) | 動画編集装置 | |
| US8644683B2 (en) | Moving image data processing apparatus and method | |
| US7110592B2 (en) | Image recording apparatus, image reproducing apparatus and methods therefor | |
| JP4996404B2 (ja) | 人物行動検索装置 | |
| JP2010518673A (ja) | ビデオの索引付けとビデオシノプシスのための、方法およびシステム | |
| JP2007280325A (ja) | 動画表示装置 | |
| JP4536940B2 (ja) | 画像処理装置、画像処理方法、記憶媒体、及びコンピュータプログラム | |
| JP2011090476A (ja) | 類似画像検索システム、および、類似画像検索方法 | |
| JP4334898B2 (ja) | データベース構築装置、データベース構築プログラム、画像検索装置、画像検索プログラム、及び画像記録再生装置 | |
| JP6203188B2 (ja) | 類似画像検索装置 | |
| JP2006079457A (ja) | 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム | |
| JP3372096B2 (ja) | 画像情報アクセス装置 | |
| JP2006081021A (ja) | 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム | |
| JP6214762B2 (ja) | 画像検索システム、検索画面表示方法 | |
| JP5826513B2 (ja) | 類似画像検索システム | |
| JP2002262233A (ja) | 行動計測システム | |
| JP6210634B2 (ja) | 画像検索システム | |
| JP5012644B2 (ja) | プレゼンテーション記録装置、プレゼンテーション再生装置及びプログラム | |
| JP2002344849A (ja) | 動画像処理装置、動画像処理方法、記録媒体、及び制御プログラム | |
| JP2020119368A (ja) | 映像情報管理システムおよび映像情報管理方法 | |
| JP2004110096A (ja) | ユーザ操作ログ可視化方法、ユーザ操作ログ可視化装置、プログラム及びその記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050810 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070903 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071030 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071228 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081020 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090623 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090624 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |