JP4999589B2 - 画像処理装置及び方法 - Google Patents

Description

本発明は、画像処理装置及び方法に関する。

近年、ＢＳデジタル放送又は地上波デジタル放送等のデジタルテレビ放送番組を、ハードディスク又は光ディスク等のディスク媒体に記録再生する映像記録再生装置が普及している。また、ネットワークに対応し、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）上のパーソナルコンピュータやデジタル家電機器との間で動画像データを送受信可能な映像記録再生装置が商品化されている。

ホームネットワークで動画像データの共有を目指す仕組みとして、ＤＬＮＡ（Digital Living Network Alliance）があり、ＤＬＮＡが策定した実装ガイドラインに対応した製品も増えてきている。

近年、ハードディスクの大容量化に伴い、大量のテレビ放送番組や動画像データを記録できるようになっている。例えば、ハードディスクの容量が２５０ＧＢ（ギガバイト）のものでは、標準画質モードで１００時間以上、長時間モードでは２００時間以上のテレビ放送を記録できる。その結果、装置内部に保存できる番組数は、数十本から百本以上と膨大な数になる。特許文献１には、このように大量に録画された番組から希望の番組を簡単に検索するための技術が記載されている。
特開２００２−３５９８０３号公報

従来の検索技術は、文字情報に基づいて所望の番組を検索するものであり、依然として煩わしさが残ってしまう。また、ユーザが自分でデジタルカメラやデジタルビデオカメラで撮影した動画像データには、ユーザ自身が文字情報を入力しない限り、適用できない。

従って、依然として、ハードディスクに記録された大量の動画像データの中からユーザが観賞したいコンテンツを探しだすには、非常な手間と時間がかかるといった問題がある。

本発明は、大量の動画像から希望の動画像を迅速に検索できる画像処理装置及び方法を提示することを目的とする。

本発明に係る画像処理装置は、動画像を記録媒体に記録する記録手段と、前記動画像に含まれる複数の特定のオブジェクトの出現期間を検出し、複数の前記特定のオブジェクト毎の前記出現期間に関するオブジェクト関連情報を生成する手段と、画像を取得する取得手段と、前記取得手段により取得された画像から特定のオブジェクトを検出する検出手段と、前記オブジェクト関連情報と前記検出手段の検出結果とに基づいて、前記記録媒体に記録された動画像のうち前記検出手段が検出した特定のオブジェクトの出現期間を選択して再生するためのプレイリストを生成するプレイリスト生成手段とを備え、前記検出手段が、前記取得手段により取得された１画面の画像から、前記動画像に含まれる複数の前記特定のオブジェクトのうちの第１の特定のオブジェクトと第２の特定のオブジェクトとを検出した場合、前記プレイリスト生成手段は、前記第１の特定のオブジェクトと前記第２の特定のオブジェクトとが共に出現する期間を選択して再生するための第１のプレイリストと、前記第１の特定のオブジェクトの出現期間を選択して再生するための第２のプレイリストと、前記第２の特定のオブジェクトの出現期間を選択して再生するための第３のプレイリストとを生成することを特徴とする。

本発明に係る画像処理方法は、記録媒体に記録された動画像を処理する方法であって、前記動画像に含まれる複数の特定のオブジェクトの出現期間を検出し、複数の前記特定のオブジェクト毎の前記出現期間に関するオブジェクト関連情報を生成するステップと、画像を取得する取得ステップと、前記取得された画像から特定のオブジェクトを検出する検出ステップと、前記オブジェクト関連情報と前記検出ステップの検出結果とに基づいて、前記記録媒体に記録された動画像のうち前記検出ステップが検出した特定のオブジェクトの出現期間を選択して再生するためのプレイリストを生成するステップとを備え、前記検出ステップが、前記取得された１画面の画像から、前記動画像に含まれる複数の前記特定のオブジェクトのうちの第１の特定のオブジェクトと第２の特定のオブジェクトとを検出した場合、前記プレイリストを生成するステップは、前記第１の特定のオブジェクトと前記第２の特定のオブジェクトとが共に出現する期間を選択して再生するための第１のプレイリストと、前記第１の特定のオブジェクトの出現期間を選択して再生するための第２のプレイリストと、前記第２の特定のオブジェクトの出現期間を選択して再生するための第３のプレイリストとを生成することを特徴とする。

本発明によれば、記録媒体に大量の動画像が蓄積されている場合においても、特定のオブジェクト、例えば、特定の人物が映る動画像を再生候補としてユーザに素早く提供することが可能になる。これにより、ユーザが視聴したい可能性が高いコンテンツを素早くユーザに再生させることが可能になり、大量の動画像から希望の動画像を探しだす手間と時間を軽減できる。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明に係る記録再生装置の一実施例の概略構成ブロック図を示し、図２は、周辺の装置との接続例を示す。

本発明の一実施例である記録再生装置１０に、ＵＳＢケーブル又はＩＥＥＥ１３９４ケーブルを介して、撮像手段としてのカメラ１２が接続する。カメラ１２は、本実施例では、動画像を出力するビデオカメラであるが、ワンショットの撮影画像を出力するデジタルスチルカメラであってもよい。

記録再生装置１０には更に、ＬＡＮ１４を介してビデオカメラ１６が接続する。本実施例では、ビデオカメラ１６が出力する動画像及び音声がＬＡＮ１４を介して記録再生装置１０に供給され、記録再生装置１０の記録媒体に記録される。特に除外する場合を除き、動画像は、音声を含む。記録再生装置１０の映像音声出力は、映像音声モニタ１８に供給される。映像音声モニタ１８は、記録再生装置１０からの再生映像を映像表示装置１８ａの画面に表示し、再生音声をスピーカ１８ｂから出力する。

記録再生装置１０の構成と基本動作を説明する。ビデオカメラ１６からの動画像は、ＬＡＮ１４を介して、記録再生装置１０の通信処理装置２０に入力する。通信処理装置２０は、ＨＴＴＰ（Hyper Text Transfer Protocol）又はＦＴＰ（File Transfer Protocol）等の周知のプロトコルでＬＡＮ１４からのデータを受信できる。ビデオカメラ１６及び通信処理装置２０は、それぞれ適切なＩＰアドレスを設定されており、お互いのＩＰアドレスを知っているとする。例えば、よく知られているＵＰｎＰ（Universal Play and Play）規格の機能を利用する。

記録再生装置１０は、ユーザが操作する操作キー、操作ボタン又はリモートコントロール装置等からなるユーザインターフェース（ＵＩ）２２を具備する。ユーザはユーザインターフェース２２を使って、動作モード、及び記録・再生の開始・終了等を記録再生装置１０に指示できる。

記録モードでは、通信処理装置２０は、ビデオカメラ１６からの動画像を記録処理装置２４及び顔認識処理装置２６に供給する。ＬＡＮ１４経由の動画像伝送のために、ビデオカメラ１６が動画像を圧縮符号化してＬＡＮ１４に出力している場合、記録再生装置１０は、対応する画像伸長装置（図示せず）を有することは明らかである。

記録開始の指示に従い、記録処理装置２４は、通信処理装置２０からの動画像を記録媒体であるハードディスク（ＨＤＤ）２８に記録する。ＨＤＤ２８への動画像記録に特定の画像圧縮方式を使用する場合に、記録処理装置２４は、そのための画像圧縮装置を含む。

顔認識処理装置２６は、通信処理装置２０からの動画像のフレーム画像又は一定フレーム周期のフレーム画像から画像認識により人物の顔を認識し、顔特徴量（第１のオブジェクト特徴量）を抽出する。これは、第１のオブジェクト認識処理による第１のオブジェクト特徴量の抽出に相当する。例えば、顔認識処理装置２６は、１０フレーム周期、又は、フレームレートの１／５の周期で、顔を認識する。顔認識処理装置２６は、顔のサイズが所定サイズ以上の場合に、顔認識を実行する。顔認識処理装置２６の顔認識処理技術には、公知の種々の方法を適用できる。例えば、エッジ検出で顔の輪郭を検出し、目、鼻及び口などの位置を特徴量として抽出する方法でもよい。顔認識処理装置２６は、抽出した顔特徴量を顔判別処理装置３０に供給する。

顔判別処理装置３０は、顔認識処理装置２６からの顔特徴量をキーとして顔特徴量データベース３２を検索し、人物を判別する。顔特徴量データベース３２は、顔特徴量と人物（実際には、人物を特定する顔識別子）とを対応付けるレコードからなる。顔判別処理装置３０は、顔特徴量データベース３２の検索の結果、判別した人物を示す情報、すなわち、人物識別子を管理テーブル３４に格納する。顔特徴量データベース３２及び管理テーブル３４は、ＨＤＤ２８に格納されても、ＨＤＤ２８とは別の記憶媒体に格納されても良い。

管理テーブル３４には最終的に、ビデオカメラ１６から供給され、ＨＤＤ２８に記録される動画像にどの人物が、どの期間に含まれているかを示す情報が、人物の出現単位で格納される。即ち、各行のレコードは、顔識別子フィールド４２の顔識別子で識別される人物が、コンテンツ名フィールドで特定される動画像内に映っている期間を示す。この点で、管理テーブル３４は、動画像に含まれる人物（オブジェクト）の登場履歴を記憶する、いわばオブジェクト履歴テーブルである。

図３は、管理テーブル３４の構造例を示す。管理テーブル３４は、判別識別子フィールド４０、顔識別子フィールド４２、コンテンツ名フィールド４４、開始タイムフィールド４６、終了タイムフィールド４８、及び時間フィールド５０からなる。管理テーブル３４は、ＨＤＤ２８に記録される動画像に特定のオブジェクト（この実施例では人物の顔）がどのコンテンツのどの期間に出現するかを記述するものであり、特許請求の範囲のオブジェクト関連情報に対応する。管理テーブル３４を生成する顔判別処理装置３０の機能が、特許請求の範囲のオブジェクト関連情報生成手段に相当する。

判別識別子フィールド４０の判別識別子は、顔認識処理において新しく顔が認識された時、又は、顔が再び認識された時に顔判別処理装置３０により生成される一意の識別子である。顔識別子フィールド４２の顔識別子は、顔を一意に特定する識別子である。顔判別処理装置３０は、顔認識処理装置２６からの顔特徴量が顔特徴量データベース３２に登録済みの場合に、顔特徴量データベース３２から当該顔特徴量に対応する顔識別子を読み出し、顔識別子フィールド４２に格納する。

コンテンツ名フィールド４４のコンテンツ名は、ビデオカメラ１６から受信する動画像データに対し、図示していないアプリケーションが付与する名前である。すなわち、顔判別処理装置３０は、図示していないアプリケーションから提供されるファイル名などのコンテンツ名を管理テーブル３４のコンテンツ名フィールド４４に格納する。

開始タイムフィールド４６には、フレーム画像に顔が初めて又は再び出現した時のタイムコードが格納され、終了タイムフィールド４８には、その顔が認識されなくなった時のタイムコードが格納される。タイムコードは、動画像データの最初のフレーム画像を００：００：００としたときの経過時間であり、動画像データのフレームレートに合わせて値が増加する。例えば、フレームレートが３０フレーム／秒で、顔認識処理を６フレーム毎に行っている場合、タイムコードは５フレーム毎に１秒、増加する。即ち、開始タイムフィールド４６の開始タイムから、終了タイムフィールド４８の終了タイムの直前までの間、顔識別子フィールド４２の顔識別子で特定される人物が、記録中の動画像に含まれていることになる。

時間フィールド５０には、顔識別子フィールド４２で特定される人物が動画像に出現していた期間、具体的には、終了タイムフィールド４８の値から開始タイムフィールド４６の値を差し引いた結果が格納される。

ビデオカメラ１６からの動画像をＨＤＤ２８に記録する動作を説明したが、ビデオカメラ１６からのワンショットの動画像、即ち、静止画像を、同様のプロセスでＨＤＤ２８に記録することができる。勿論、最近の多くのビデオカメラは、デジタルスチルカメラとしても利用できる程の高解像度の静止画像を撮影できるので、この静止画撮影機能を使えばよい。

また、動画像の記録と同時に、顔認識処理と顔判別処理を実行する動作を説明したが、動画像の記録終了後に、例えば待機状態の時に、顔認識処理と顔判別処理を実行してもよい。

本実施例の記録再生装置１０は、再生モードで、ＨＤＤ２８に記録される任意の画像（動画像又は静止画像）を再生することができる。本実施例は特に、特定の人物が撮影されている動画像のプレイリストを作成し、そのプレイリストに従って、ＨＤＤ２８の記録画像を再生できる。即ち、ＨＤＤ２８に記録された動画像のうち、プレイリストにて指定された部分の動画像を選択して再生することができる。この動作モードをプレイリスト作成モードと呼ぶ。

プレイリスト作成モードでは、カメラ１２の出力画像信号は、デジタルインターフェース３８を介して顔認識処理装置２６に供給される。デジタルインターフェース３８は、例えば、ＵＳＤＢ又はＩＥＥＥ１３９４等に準拠するインターフェース、又は、アナログ画像信号をデジタル画像信号に変換する画像キャプチャ装置である。顔認識処理装置２６は、カメラ１２の撮影画像から、記録モードの場合と同様に、映っている人物の顔を認識する。勿論、カメラ１２がスチルカメラの場合には、顔認識処理装置２６は、カメラ１２からのワンショットの撮影画像（静止画）から顔を認識する。顔認識処理装置２６は、顔認識により抽出された顔特徴量（第２のオブジェクト特徴量）を顔判別処理装置３０に供給する。これは、第２のオブジェクト認識処理による第２のオブジェクト特徴量の抽出に相当する。

顔判別処理装置３０は、顔認識処理装置２６からの顔特徴量を検索キーとして顔特徴量データベース３２を検索し、更に、顔特徴量データベース３２の検索で合致した人物の顔識別子を検索キーとして管理テーブル３４を検索する。顔判別処理装置３０は、最終的に、カメラ１２で撮影された人物が含まれるコンテンツを示すプレイリストを管理テーブル３４から生成し、再生処理装置３６に供給する。即ち、顔判別処理装置３０は、特許請求の範囲のプレイリスト生成手段に相当する。

再生処理装置３６は、顔判別処理装置３０からのプレイリストを参照して、ユーザにプレイリストの存在を通知し、自動で、又はユーザの指示に従い、ＨＤＤ２８から該当するコンテンツを再生する。再生処理装置３６は、再生映像信号及び再生音声信号を映像音声モニタ１８に供給する。

図４は、本実施例による動画像の記録と顔認識の動作フローチャートを示す。図示しないアプリケーションが起動し、例えばＨＴＴＰのＰＯＳＴリクエストを使ってビデオカメラ１６から記録再生装置１０への動画像データの送信を開始する。通信処理装置２０が、ビデオカメラ１６からの動画像データを受信する（Ｓ１）。このとき、記録再生装置１０は、受信する動画像データにコンテンツ名を付与する。本実施例では、例えば動画像データであれば、ＭＯＶＩＥ−Ｘ．ＭＰＧとし、静止画データであれば、ＩＭＡＧＥ−Ｘ．ＪＰＧとする。Ｘは連続番号である。

顔認識処理装置２６は、上述したように、通信処理装置２０からの動画像データから所定間隔のフレーム画像を抽出し、顔認識処理を実施する（Ｓ２）。フレーム画像内に顔を認識した場合（Ｓ３）、抽出した顔特徴量を顔判別処理装置３０に供給し、フレーム画像内に顔を認識できなかった場合（Ｓ３）、顔認識処理を終了する。

顔判別処理装置３０は、顔認識処理装置２６からの顔特徴量が顔特徴量データベース３２に登録されているかいなかを意志ラベル（Ｓ４）。抽出された顔特徴量が顔特徴量データベース３２に登録されていない場合（Ｓ４）、新しくユニークな顔識別子を生成し、顔特徴量とともに顔特徴量データベース３２に登録する（Ｓ５）。一方、抽出された顔特徴量が顔特徴量データベース３２に登録されている場合（Ｓ４）、顔特徴量データベース３２から、顔特徴量に対応する顔識別子を取得する（Ｓ６）。

生成した顔識別子（Ｓ５）又は取得した顔識別子（Ｓ６）を管理テーブル３４に記録する（Ｓ７）。新規に顔を認識した際に、管理テーブル３４に判別識別子フィールド４０、顔識別子フィールド４２，コンテンツ名フィールド４４及び開始タイムフィールド４６を書き込んだ新レコードを追加する。この新レコードの終了タイムフィールド４８には、この顔が認識されなくなった時のタイムコードが書き込まれ、時間フィールド５０には、開始タイムから終了タイムへの経過時間が書き込まれる。管理テーブル３４の各レコードは、顔識別子フィールド４２の顔識別子で識別される人物が動画像内に映っている期間を示す。

動画像データの受信を完了するまで、以上の処理（Ｓ２〜Ｓ７）を繰り返す（Ｓ８）。動画像データの受信を完了すると、図４に示すフローを終了する。

図５、図６及び図７は、管理テーブル３４の内容と変遷の例を示す。図５は、記録再生装置１０が動画像データ（コンテンツ名：ＭＯＶＩＥ−１．ＭＰＧ）を受信し記録した時の管理テーブル３４の内容例を示す。図６は、図５に続いて、静止画データ（コンテンツ名：ＩＭＡＧＥ−１．ＪＰＧ）をビデオカメラ１６から受信し記録した時の管理テーブル３４の内容例を示す。図７は、図６に続いて動画像データ（コンテンツ名：ＭＯＶＩＥ−２．ＭＰＧ）をビデオカメラ１６から受信し記録した時の管理テーブル３４の内容例を示す。顔判別処理装置３０が、図５、図６及び図７に示すように管理テーブル３４を更新する。

カメラ１２で撮影した人物を検索キーとして当該人物が撮影されている画像のプレイリストを作成するプレイリスト再生モードの動作を説明する。図８は、プレイリスト作成モードの動作フローチャートを示す。

図示しないアプリケーションが、カメラ１２の撮影画像データを取り込む（Ｓ１１）。これにより、カメラ１２の撮影画像データは、デジタルインターフェース３８を介して顔認識処理装置２６に供給される。デジタルインターフェース３８にＩＥＥＥ１３９４インターフェースを使用する場合、ＩＥＥＥ１３９４のＡＶ／Ｃプロトコルを利用できる。顔認識処理装置２６は、記録モードの際と同様に、カメラ１２の撮影画像データから人物の顔を認識する（Ｓ１２）。

顔を認識した場合（Ｓ１３）、顔認識処理装置２６は、抽出した顔特徴量を顔判別処理装置３０に供給する。顔を認識できなかった場合（Ｓ１３）、顔認識処理装置２６は、顔認識処理を終了して、Ｓ１７に進む。

顔判別処理装置３０は、顔認識処理装置２６からの顔特徴量を検索キーとして顔特徴量データベース３２を検索する（Ｓ１４）。カメラ１２の撮影画像データから抽出された顔特徴量が、顔特徴量データベース３２に登録済みでない場合（Ｓ１４）には、顔判別処理装置３０は顔判別処理を終了して、Ｓ１７に進む。

カメラ１２の撮影画像データから抽出された顔特徴量が顔特徴量データベース３２に登録済みの場合（Ｓ１４）、顔判別処理装置３０は、当該顔特徴量に対応する顔識別子を顔特徴量データベース３２から読み出す。そして、顔判別処理装置３０は、顔特徴量データベース３２からの顔識別子を検索キーとして管理テーブル３４を検索し、この顔識別子を含む画像のプレイリストを管理テーブル３４から生成する（Ｓ１５）。

例えば、管理テーブル３４が図７に示す内容からなる場合で、Ｓ１４において顔識別子として“Ｆ−０１”を取得したとする。この場合、顔判別処理装置３０は、図７に示す管理テーブル３４を顔識別子＝“Ｆ−０１”でフィルタリングし、図９に示すプレイリストを生成する。即ち、顔識別子＝“Ｆ−０１”のレコードを管理テーブル３４から抽出する。

顔判別処理装置３０は、プレイリスト生成のイベントをプレイリストと共に再生処理装置３６に通知する。再生処理装置３６は、このイベントに応じて、ユーザにプレイリストの存在を通知する（Ｓ１６）。具体的には、再生処理装置３６は、映像表示装置１８ａの画面にプレイリストの存在を表示し、又は、スピーカ１８ｂからプレイリストの存在を音声で出力する。図１０は、映像表示装置１８ａの表示例を示す。図１０に示す例では、プレイリスト再生のための“再生する”ボタンを映像表示装置１８ａに表示しており、ユーザがユーザインターフェース２２を用いて再生を指示した場合、再生処理装置３６は、この指示に応じて、プレイリストの再生を開始する。

ユーザからの指示又はタイムアウト等によってカメラ１２からの映像信号の取り込みが終了するまで、ステップＳ１２〜Ｓ１６を繰り返す（Ｓ１７）。

ユーザから一定時間、何の指示もない場合、プレイリストに従い、プレイリストに記述される画像を順番に自動再生してもよい。

このようにして、本実施例では、カメラ１２で撮影した人物を含むプレイリストを記録画像から自動生成することができ、ユーザの指示に応じて又は自動的に、プレイリストを実行できる。

ＬＡＮ経由で送られる動画像を録画と顔認識の対象とする実施例を説明したが、テレビ放送される映像信号を録画と顔認識の対象とすることができることは明らかである。また、記録再生装置１０を映像音声モニタ１８と一体化してもよい。

プレイリスト作成のキーとして、人物の顔を例示したが、その他のオブジェクト一般、例えば、犬、猫等の特定の動物、特定の風景等にも、本発明は適用可能であることは明らかである。この点で、顔認識処理装置２６は、オブジェクト認識処理手段の一例である。

図８に示すフローでは、カメラ１２で撮影する一人の人物のプレイリストを作成した。顔認識処理装置２６として高速に動作するものを使用することで、１画面内で複数人の顔を認識することが可能である。その場合、複数人のそれぞれを映す画像のプレイリストを作成するだけでなく、これら複数人を同時に映す画像のプレイリストを作成する。図１１は、その動作フローチャートを示す。

図示しないアプリケーションが、カメラ１２の撮影画像データを取り込む（Ｓ２１）。これにより、カメラ１２の撮影画像データは、デジタルインターフェース３８を介して顔認識処理装置２６に供給される。顔認識処理装置２６は、記録モードの際と同様に、カメラ１２の撮影画像データから人物の顔を認識する（Ｓ２２）。複数の人間が映っている場合、複数人の顔を認識する。

認識した各顔について、顔認識処理装置２６は、抽出した顔特徴量を顔判別処理装置３０に供給し（Ｓ２３）、顔判別処理装置３０は、顔特徴量データベース３２に登録済みかどうかを調べる（Ｓ２４）。顔特徴量が顔特徴量データベース３２に登録済みの場合（Ｓ２４）、顔判別処理装置３０は、登録済みの各顔特徴量に対応する顔識別子を顔特徴量データベース３２から読み出す。

顔判別処理装置３０は、顔特徴量データベース３２から読み出した各顔識別子を検索キーとして管理テーブル３４を検索し、これらの顔識別子を単独で含む画像のプレイリストと、全部の顔識別子を含むプレイリストを作成する（Ｓ２５）。

例えば、管理テーブル３４が図７に示す内容からなる場合で、Ｓ２４において顔識別子として”Ｆ−０１”と”Ｆ−０２”を取得したとする。この場合、顔判別処理装置３０は、顔識別子＝“Ｆ−０１”に対する図９に示すプレイリストに加えて、図１２及び図１３に示すプレイリストを作成する。図１２は、顔識別子＝“Ｆ−０２”に対するプレイリストを示す。図１３は、顔識別子として“Ｆ−０１”と“Ｆ−０２”の両方を同時に含むプレイリストを示す。

図１３に示すプレイリストでは、開始タイム、終了タイム及び時間は、顔識別子＝“Ｆ−０１”が映っている期間と、顔識別子＝“Ｆ−０２”が映って期間が重複する期間を規定する。即ち、図１３に示すプレイリストは、図１０に示すプレイリストと、図１２に示すプレイリストの論理積に相当する。

顔判別処理装置３０は、プレイリスト生成のイベントをプレイリストと共に再生処理装置３６に通知する。再生処理装置３６は、このイベントに応じて、ユーザにプレイリストの存在を通知する（Ｓ２６）。具体的には、再生処理装置３６は、映像表示装置１８ａの画面にプレイリストの存在を表示し、又は、スピーカ１８ｂからプレイリストの存在を音声で出力する。図１４は、映像表示装置１８ａの表示例を示す。図１０に示すプレイリストに対するメッセージ６０、図１２に示すプレイリストに対するメッセージ６２、図１３に示すプレイリストに対するメッセージ６４が、同時に表示される。その他の構成は、図１４と同じである。

ユーザからの指示又はタイムアウト等によってカメラ１２からの映像信号の取り込みが終了するまで、ステップＳ２２〜Ｓ２６を繰り返す（Ｓ２７）。

ユーザから一定時間、何の指示もない場合、プレイリストに従い、プレイリストに記述される画像を順番に自動再生してもよい。

このようにして、本実施例では、カメラ１２で同時に撮影された複数の人物を同時に含むプレイリストをも記録画像から自動生成できる。各人に対するプレイリストの論理和により、複数の人物の一人が必ず含まれるプレイリストを生成できることは明らかである。

本発明の一実施例の概略構成ブロック図である。 本実施例の周辺装置との接続構成図である。 管理テーブル３４の構成を示す図である。 本実施例の動画記録時の動作フローチャートである。 管理テーブルの内容例である。 図５に続く管理テーブルの内容例である。 図６に続く管理テーブルの内容例である。 プレイリスト作成モードの動作フローチャートである。 作成されたプレイリスト例である。 ステップＳ１６のプレイリスト作成メッセージの表示例である。 同時に撮影された複数の人物に対応するプレイリスト作成モードの動作フローチャートである。 図１１に示すフローで生成されるプレイリスト例である。 図１１に示すフローで生成される複数人を同時に含む画像のプレイリスト例である。 ステップＳ２６のプレイリスト作成メッセージの表示例である。

符号の説明

１０：記録再生装置
１２：カメラ
１４：ＬＡＮ
１６：ビデオカメラ
１８：映像音声モニタ
１８ａ：映像表示装置
１８ｂ：スピーカ
２０：通信処理装置
２２：ユーザインターフェース（ＵＩ）
２４：記録処理装置
２６：顔認識処理装置
２８：ハードディスク（ＨＤＤ）
３０：顔判別処理装置
３２：顔特徴量データベース
３４：管理テーブル
３６：再生処理装置
３８：デジタルインターフェース
４０：判別識別子フィールド
４２：顔識別子フィールド
４４：コンテンツ名フィールド
４６：開始タイムフィールド
４８：終了タイムフィールド
５０：時間フィールド

Claims (6)

1. 動画像を記録媒体に記録する記録手段と、
   前記動画像に含まれる複数の特定のオブジェクトの出現期間を検出し、複数の前記特定のオブジェクト毎の前記出現期間に関するオブジェクト関連情報を生成する手段と、
   画像を取得する取得手段と、
   前記取得手段により取得された画像から特定のオブジェクトを検出する検出手段と、
   前記オブジェクト関連情報と前記検出手段の検出結果とに基づいて、前記記録媒体に記録された動画像のうち前記検出手段が検出した特定のオブジェクトの出現期間を選択して再生するためのプレイリストを生成するプレイリスト生成手段
   とを備え、
   前記検出手段が、前記取得手段により取得された１画面の画像から、前記動画像に含まれる複数の前記特定のオブジェクトのうちの第１の特定のオブジェクトと第２の特定のオブジェクトとを検出した場合、前記プレイリスト生成手段は、前記第１の特定のオブジェクトと前記第２の特定のオブジェクトとが共に出現する期間を選択して再生するための第１のプレイリストと、前記第１の特定のオブジェクトの出現期間を選択して再生するための第２のプレイリストと、前記第２の特定のオブジェクトの出現期間を選択して再生するための第３のプレイリストとを生成する
   ことを特徴とする画像処理装置。
2. 前記オブジェクト関連情報は、複数の前記オブジェクト毎の出現開始時間と出現停止時間の情報を含み、前記プレイリスト生成手段は、前記オブジェクト関連情報に含まれる前記検出手段が検出した特定のオブジェクトの出現開始時間と出現停止時間の情報に基づいて前記プレイリストを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記検出手段は、前記動画像の記録時において前記記録媒体に記録される動画像に含まれる前記特定のオブジェクトを検出し、前記オブジェクト関連情報を生成する手段は、前記記録媒体に記録される動画像に含まれる前記特定のオブジェクトの検出結果に基づいて前記オブジェクト関連情報を生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記記録媒体に記録された動画像に含まれる複数の前記特定のオブジェクトそれぞれの特徴量と複数の前記特定のオブジェクトの識別子とを含む特徴量情報を生成する手段を備え、
   前記オブジェクト関連情報を生成する手段は、複数の前記特定のオブジェクトの識別子と複数の前記特定のオブジェクト毎の前記出現期間を示す情報を関連付けた前記オブジェクト関連情報を生成し、
   前記プレイリスト生成手段は、前記検出手段が検出した特定のオブジェクトの特徴量と前記特徴量情報とに基づいて、前記検出手段が検出した特定のオブジェクトの識別子を検出し、前記検出した識別子に対応する出現期間を前記オブジェクト関連情報から検出することにより前記プレイリストを生成する
   ことを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
5. 前記特定のオブジェクトとしての人物の顔を認識する顔認識手段を備え、前記オブジェクト関連情報を生成する手段は、前記顔認識手段による前記動画像からの顔認識結果に基づいて前記特定のオブジェクトの出現期間を検出し、前記検出手段は、前記顔認識手段による前記取得手段により取得された１画面の画像からの顔認識結果に基づいて前記取得手段により取得された１画面の画像に含まれる前記特定のオブジェクトを検出することを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
6. 記録媒体に記録された動画像を処理する方法であって、
   前記動画像に含まれる複数の特定のオブジェクトの出現期間を検出し、複数の前記特定のオブジェクト毎の前記出現期間に関するオブジェクト関連情報を生成するステップと、
   画像を取得する取得ステップと、
   前記取得された画像から特定のオブジェクトを検出する検出ステップと、
   前記オブジェクト関連情報と前記検出ステップの検出結果とに基づいて、前記記録媒体に記録された動画像のうち前記検出ステップが検出した特定のオブジェクトの出現期間を選択して再生するためのプレイリストを生成するステップ
   とを備え、
   前記検出ステップが、前記取得された１画面の画像から、前記動画像に含まれる複数の前記特定のオブジェクトのうちの第１の特定のオブジェクトと第２の特定のオブジェクトとを検出した場合、前記プレイリストを生成するステップは、前記第１の特定のオブジェクトと前記第２の特定のオブジェクトとが共に出現する期間を選択して再生するための第１のプレイリストと、前記第１の特定のオブジェクトの出現期間を選択して再生するための第２のプレイリストと、前記第２の特定のオブジェクトの出現期間を選択して再生するための第３のプレイリストとを生成する
   ことを特徴とする画像処理方法。

Images