JP2006101324A - 記録再生装置および記録再生方法 - Google Patents

Abstract

【課題】たとえば、放送番組の記録再生に適用した場合、顔の知らない登場人物が出演しているシーンまで番組をスキップすることができ、かつ、顔照合の結果、大量の顔画像が一致とみなされたり、一致とみなされる顔画像が１つもないという事態を避けることができる記録再生装置を提供する。
【解決手段】放送番組を記録（録画）したりその記録した番組を再生したりする記録再生装置において、利用者が指定した登場人物の顔画像と記録された番組内に登場する登場人物の顔画像とを照合し、両画像の一致が得られた場合、当該照合を開始してから最初に一致が得られた時点から当該番組を再生する。
【選択図】 図１

Description

本発明は、たとえば、テレビ放送番組を記録（録画）したりその記録した番組を再生したりする記録再生装置および記録再生方法に関する。

従来、たとえば、テレビ放送番組を記録（録画）したりその記録した番組を再生したりする記録再生装置において、利用者が指定した登場人物が出演しているシーンまで番組をスキップして再生したい場合があるが、それが不可能であった。
このような記録再生装置などにおいて、記録した番組内から登場人物を検索する画像検索装置が知られている（たとえば、特許文献１参照）。この画像検索装置は、映像から顔に特価した検出を行ない、さらに検出した顔の識別を行なうことで、映像中に登場する人物の顔を区別して表示するものである。
特開２００１−１６７１１０号公報

上記した従来の画像検索装置は、利用者が指定した顔画像と記録映像中の登場人物の顔画像とを照合することにより検索する方法であるため、顔を知らない登場人物の検索を行なうのが困難である。
また、顔照合の判定には閾値を使用しているため、場合によっては照合の結果、大量の顔画像が一致とみなされたり、一致とみなされる顔画像が１つもないということが起こり得るという問題がある。

そこで、本発明は、たとえば、放送番組の記録再生に適用した場合、顔の知らない登場人物が出演しているシーンまで番組をスキップすることができ、かつ、顔照合の結果、大量の顔画像が一致とみなされたり、一致とみなされる顔画像が１つもないという事態を避けることができる記録再生装置および記録再生方法を提供することを目的とする。

本発明の記録再生装置は、映像および当該映像内に登場する特定物の情報をそれぞれ記録する記録手段と、あらかじめ特定物の画像を記憶している記憶手段と、前記記録手段により記録された特定物の情報に基づき利用者が指定した特定物の画像を前記記憶手段から取得する特定物画像取得手段と、この特定物画像取得手段により取得された特定物の画像と前記記録手段により記録された映像内に登場する特定物の画像とを照合し、その照合結果を出力する照合手段と、この照合手段による照合の結果、両画像の一致が得られた場合、当該照合を開始してから最初に一致が得られた時点から前記記録手段により記録された映像を再生する再生手段とを具備している。

本発明の記録再生装置は、受信した放送番組および当該番組内に登場する登場人物の情報をそれぞれ記録する記録手段と、あらかじめ登場人物の顔画像を記憶している記憶手段と、前記記録手段により記録された登場人物の情報に基づき利用者が指定した登場人物の顔画像を前記記憶手段から取得する顔画像取得手段と、この顔画像取得手段により取得された顔画像と前記記録手段により記録された番組内に登場する登場人物の顔画像とを照合し、その照合結果を出力する照合手段と、この照合手段による照合の結果、両顔画像の一致が得られた場合、当該照合を開始してから最初に一致が得られた時点から前記記録手段により記録された番組を再生する再生手段とを具備している。

本発明の記録再生方法は、映像および当該映像内に登場する特定物の情報をそれぞれ記録し、この記録された特定物の情報に基づき利用者が指定した特定物の画像をあらかじめ特定物の画像を記憶している記憶手段から取得し、この取得した特定物の画像と前記記録された映像内に登場する特定物の画像とを照合し、両画像の一致が得られた場合、当該照合を開始してから最初に一致が得られた時点から前記記録された映像を再生することを特徴とする。

本発明によれば、たとえば、放送番組の記録再生に適用した場合、顔の知らない登場人物が出演しているシーンまで番組をスキップすることができ、かつ、顔照合の結果、大量の顔画像が一致とみなされたり、一致とみなされる顔画像が１つもないという事態を避けることができる記録再生装置および記録再生方法を提供できる。

以下、本発明の実施の形態について図面を参照して説明する。
なお、以下の説明では、一例としてテレビ放送あるいはネットワーク等から取得したテレビ放送番組の記録再生に適用した場合について述べるが、本発明はこれに限定されるものではなく、たとえば、テレビカメラで撮影した映像などの記録再生にも同様に適用できる。また、検索する物体も登場人物に限らず、たとえば、食品や商品などの他の特定物であってもよい。

図１は、本発明の実施の形態に係る記録再生装置の構成を概略的に示すものである。この記録再生装置は、記録手段および再生手段としての記録装置１１、リモートコントローラ（以後、単にリモコンと略称する）１２、表示手段としての表示装置１３、および、記憶手段としての顔データベース１４から構成されている。

記録装置１１は、表示装置１３と接続されているとともに、インターネット回線１５を介して顔データベース１４と接続されていて、リモコン１２からの操作情報を受信し、たとえば、テレビ放送番組および当該番組内に登場する登場人物の情報をそれぞれ記録したり、その記録した番組の再生を行なったりする。また、後述するような顔照合処理を行なう。なお、記録媒体としては、磁気テープ、ハードディスクあるいはＤＶＤなどが用いられる。

リモコン１２は、利用者Ｍが検索の指示、番組の指定、登場人物の指定、照合結果画像の指定などを行なうもので、その操作情報が赤外線通信などにより記録装置１１に対し送信される。
表示装置１３は、記録装置１１で記録あるいは再生される番組の表示や、登場人物の表示、顔照合結果の表示などを行なう。

顔データベース１４は、あらかじめ番組内に登場する登場人物の顔画像を記憶（登録）するもので、その一例を図２に示す。図２によれば、登場人物名（グループ名）と当該登場人物の顔画像のファイル名が登録される。ここに、登場人物の顔画像の登録は、たとえば、記録した番組を再生して、この再生中の画像から登場人物の顔画像を抽出して登録してもよいし、登場人物の静止画を用意して、その静止画をスキャナなどで読取って登録してもよい。さらに、インターネットを利用して登場人物の顔画像を取得し、登録してもよい。

次に、このような構成において動作を説明する。
まず、記録装置１１による番組および登場人物の情報の記録処理について図３に示すフローチャートを参照して説明する。利用者Ｍが指定する記録すべき番組名および当該番組に登場する登場人物名を、電子番組表（図示しない）から取得し、これらを例えば図４に示すような表の形で記録する（ステップＳ１）。図４によれば、番組名、登場人物名および記録日時が対応させて登録される。次に、登録された記録日時に基づきテレビ放送を受信し、登録された番組名の番組を記録（録画）する（ステップＳ２）。ここに、ステップＳ１，Ｓ２の処理が本発明における記録手段に対応している。
これで１つの番組および登場人物の情報の記録処理が終了し、記録すべき番組名が複数登録されていれば、上記動作を繰り返す。

次に、記録した番組を再生する第１の処理例について図５に示すフローチャートを参照して説明する。利用者Ｍがリモコン１２から検索指示を送ることにより（ステップＳ１１）、それを受信した記録装置１１は、現在番組を再生中か否かを判定し（ステップＳ１２）、番組を再生中であれば、再生中の番組の登場人物一覧を表示する（ステップＳ１３）。すなわち、あらかじめ登録された図４に示す登場人物の情報の中から再生中の番組の登場人物名を抽出し、その一覧を表示装置１３に表示させる。

ステップＳ１２における判定の結果、番組を再生中でなければ、記録されている番組の一覧を表示する（ステップＳ１４）。すなわち、あらかじめ登録された図４に示す登場人物の情報の中から番組名を抽出し、その一覧を表示装置１３に表示させる。
ここで、利用者Ｍは、表示装置１３に表示された番組一覧の中から、リモコン１２の操作により、再生希望の番組名を指定する（ステップＳ１５）。それを受信した記録装置１１は、指定された番組の登場人物一覧を表示する（ステップＳ１６）。すなわち、あらかじめ登録された図４に示す登場人物の情報の中から指定された番組の登場人物名を抽出し、その一覧を表示装置１３に表示させる。

ここで、利用者Ｍは、表示装置１３に表示された登場人物一覧の中から、リモコン１２の操作により、検索対象の登場人物名を指定する（ステップＳ１７）。それを受信した記録装置１１は、指定された登場人物名の顔画像を、インターネット回線１５を介して顔データベース１４から取得する（ステップＳ１８）。すなわち、指定された登場人物名の顔画像を、あらかじめ登録された図２に示す顔データベース１４のデータ内から取得する。ここに、ステップＳ１７，Ｓ１８の処理が本発明における顔画像取得手段（特定物画像取得手段）に対応している。

次に、記録装置１１は、顔データベース１４から取得した顔画像と当該番組内に登場する人物の顔画像とを照合し（ステップＳ１９）、当該照合を開始した時点から最初に照合一致が得られた時点から当該番組の再生を開始する（ステップＳ２０）。ここに、ステップＳ１９の処理が本発明における照合手段に対応し、ステップＳ２０の処理が本発明における再生手段に対応している。

次に、記録した番組を再生する第２の処理例について図６に示すフローチャートを参照して説明する。利用者Ｍがリモコン１２から検索指示を送ることにより（ステップＳ２１１）、それを受信した記録装置１１は、現在番組を再生中か否かを判定し（ステップＳ２２）、番組を再生中であれば、再生中の番組の登場人物一覧を表示する（ステップＳ２３）。すなわち、あらかじめ登録された図４に示す登場人物の情報の中から再生中の番組の登場人物名を抽出し、その一覧を表示装置１３に表示させる。

ステップＳ２２における判定の結果、番組を再生中でなければ、記録されている番組の一覧を表示する（ステップＳ２４）。すなわち、あらかじめ登録された図４に示す登場人物の情報の中から番組名を抽出し、その一覧を表示装置１３に表示させる。
ここで、利用者Ｍは、表示装置１３に表示された番組一覧の中から、リモコン１２の操作により、再生希望の番組名を指定する（ステップＳ２５）。それを受信した記録装置１１は、指定された番組の登場人物一覧を表示する（ステップＳ２６）。すなわち、あらかじめ登録された図４に示す登場人物の情報の中から指定された番組の登場人物名を抽出し、その一覧を表示装置１３に表示させる。

ここで、利用者Ｍは、表示装置１３に表示された登場人物一覧の中から、リモコン１２の操作により、検索対象の登場人物名を指定する（ステップＳ２７）。それを受信した記録装置１１は、指定された登場人物名の顔画像を、インターネット回線１５を介して顔データベース１４から取得する（ステップＳ２８）。すなわち、指定された登場人物名の顔画像を、あらかじめ登録された図２に示す顔データベース１４のデータ内から取得する。ここに、ステップＳ２７，Ｓ２８の処理が本発明における顔画像取得手段（特定物画像取得手段）に対応している。

次に、記録装置１１は、顔データベース１４から取得した顔画像と当該番組内に登場する人物の顔画像とを照合し（ステップＳ２９）、照合一致が得られた時点の画像（場面）の一覧を表示装置１３に表示させる（ステップＳ３０）。ここに、ステップＳ２９の処理が本発明における照合手段に対応し、ステップＳ３０の処理が本発明における表示手段に対応している。

ここで、利用者Ｍは、表示装置１３に表示された一覧の中から、リモコン１２の操作により、検索対象の画像を選択する（ステップＳ３１）。それを受信した記録装置１１は、ステップＳ３１で選択された画像の時点から当該番組の再生を開始する（ステップＳ３２）。ここに、ステップＳ３１，Ｓ３２の処理が本発明における再生手段に対応している。

なお、上記説明は照合一致した時点から番組を再生する例であるが、照合一致した時点から一定時間（数秒）溯った時点から番組を再生することもできる。

次に、図５のステップＳ１９および図６のステップＳ２９における照合処理について詳細に説明する。
まず、照合処理の第１の例について図７に示すフローチャートを参照して詳細に説明する。照合処理の第１の例では、検索対象の顔画像と番組内で抽出された個々の顔画像との類似度を計算し、相対的に類似度の高い少なくとも１つの顔画像を照合一致画像とみなすものである。

すなわち、まず、再生する番組内に登場する全ての人物の顔画像を抽出する（ステップＳ４１）。次に、抽出された全ての顔画像と検索対象の顔画像（顔データベース１４から取得した顔画像）との類似度をそれぞれ計算する（ステップＳ４２）。次に、計算した類似度の中で一番高い類似度の顔画像を照合一致画像とみなす（ステップＳ４３）。

次に、照合処理の第２の例について図８に示すフローチャートを参照して詳細に説明する。照合処理の第２の例では、検索対象の顔画像と番組内で抽出された個々の顔画像との類似度を計算し、所定の類似度（たとえば、類似度７００）以上の顔画像が１つもない場合に、相対的に類似度の高い少なくとも１つのの顔画像（たとえば、類似度が上位５個の画像）を照合一致画像とみなすものである。

すなわち、まず、再生する番組内に登場する全ての人物の顔画像を抽出する（ステップＳ５１）。次に、抽出された全ての顔画像と検索対象の顔画像（顔データベース１４から取得した顔画像）との類似度をそれぞれ計算する（ステップＳ５２）。次に、計算した類似度の中で所定の類似度以上（たとえば、類似度７００以上）の顔画像が存在するか否かを判定し（ステップＳ５３）、存在すれば所定の類似度以上の顔画像を照合一致画像とみなし（ステップＳ５４）、存在しなければ類似度の高い順に上位から所定数（たとえば、５個）の顔画像を照合一致画像とみなす（ステップＳ５５）。

次に、照合処理の第３の例について図９に示すフローチャートを参照して詳細に説明する。照合処理の第３の例では、検索対象の顔画像と番組内で抽出された個々の顔画像との類似度を計算し、所定の類似度（たとえば、類似度７００）以上の顔画像が所定の数（たとえば２０個）以上存在する場合に、類似度の高い順に一定の数（たとえば、５個）の画像を照合一致画像とみなすものである。

すなわち、まず、再生する番組内に登場する全ての人物の顔画像を抽出する（ステップＳ６１）。次に、抽出された全ての顔画像と検索対象の顔画像（顔データベース１４から取得した顔画像）との類似度をそれぞれ計算する（ステップＳ６２）。次に、計算した類似度の中で所定の類似度以上（たとえば、類似度７００以上）の顔画像が所定数以上（たとえば、２０個以上）存在するか否かを判定し（ステップＳ６３）、存在すれば類似度の高い順に上位から所定数（たとえば、５個）の顔画像を照合一致画像とみなし（ステップＳ６４）、存在しなければ所定の類似度以上の顔画像を照合一致画像とみなす（ステップＳ６５）。

本発明の実施の形態に係る記録再生装置の構成を概略的に示す模式図。 顔データベースの内容例を示す図。 記録装置による番組および登場人物の情報の記録処理について説明するフローチャート。 記録する登場人物の情報の一例を示す図。 記録した番組を再生する第１の処理例について説明するフローチャート。 記録した番組を再生する第２の処理例について説明するフローチャート。 照合処理の第１の例について説明するフローチャート。 照合処理の第２の例について説明するフローチャート。 照合処理の第３の例について説明するフローチャート。

符号の説明

Ｍ…利用者、１１…記録装置（記録手段および再生手段）、１２…リモートコントローラ、１３…表示装置（表示手段）、１４…顔データベース（記憶手段）、１５…インターネット回線。

Claims (11)

1. 映像および当該映像内に登場する特定物の情報をそれぞれ記録する記録手段と、
   あらかじめ特定物の画像を記憶している記憶手段と、
   前記記録手段により記録された特定物の情報に基づき利用者が指定した特定物の画像を前記記憶手段から取得する特定物画像取得手段と、
   この特定物画像取得手段により取得された特定物の画像と前記記録手段により記録された映像内に登場する特定物の画像とを照合し、その照合結果を出力する照合手段と、
   この照合手段による照合の結果、両画像の一致が得られた場合、当該照合を開始してから最初に一致が得られた時点から前記記録手段により記録された映像を再生する再生手段と、
   を具備したことを特徴とする記録再生装置。
2. 映像および当該映像内に登場する特定物の情報をそれぞれ記録する記録手段と、
   あらかじめ特定物の画像を記憶している記憶手段と、
   前記記録手段により記録された特定物の情報に基づき利用者が指定した特定物の画像を前記記憶手段から取得する特定物画像取得手段と、
   この特定物画像取得手段により取得された特定物の画像と前記記録手段により記録された映像内に登場する特定物の画像とを照合し、その照合結果を出力する照合手段と、
   この照合手段による照合の結果、両画像の一致が得られた場合、その一致が得られた時点の映像の画像を表示する表示手段と、
   この表示手段により表示された画像から利用者が選択した画像の時点から前記記録手段により記録された映像を再生する再生手段と、
   を具備したことを特徴とする記録再生装置。
3. 受信した放送番組および当該番組内に登場する登場人物の情報をそれぞれ記録する記録手段と、
   あらかじめ登場人物の顔画像を記憶している記憶手段と、
   前記記録手段により記録された登場人物の情報に基づき利用者が指定した登場人物の顔画像を前記記憶手段から取得する顔画像取得手段と、
   この顔画像取得手段により取得された顔画像と前記記録手段により記録された番組内に登場する登場人物の顔画像とを照合し、その照合結果を出力する照合手段と、
   この照合手段による照合の結果、両顔画像の一致が得られた場合、当該照合を開始してから最初に一致が得られた時点から前記記録手段により記録された番組を再生する再生手段と、
   を具備したことを特徴とする記録再生装置。
4. 前記再生手段は、最初に一致が得られた時点から一定時間溯った時点から前記記録手段により記録された番組を再生することを特徴とする請求項３記載の記録再生装置。
5. 受信した放送番組および当該番組内に登場する登場人物の情報をそれぞれ記録する記録手段と、
   あらかじめ登場人物の顔画像を記憶している記憶手段と、
   前記記録手段により記録された登場人物の情報に基づき利用者が指定した登場人物の顔画像を前記記憶手段から取得する顔画像取得手段と、
   この顔画像取得手段により取得された顔画像と前記記録手段により記録された番組内に登場する登場人物の顔画像とを照合し、その照合結果を出力する照合手段と、
   この照合手段による照合の結果、両顔画像の一致が得られた場合、その一致が得られた時点の番組の画像を表示する表示手段と、
   この表示手段により表示された画像から利用者が選択した画像の時点から前記記録手段により記録された番組を再生する再生手段と、
   を具備したことを特徴とする記録再生装置。
6. 前記再生手段は、利用者が選択した画像の時点から一定時間溯った時点から前記記録手段により記録された番組を再生することを特徴とする請求項５記載の記録再生装置。
7. 前記照合手段は、前記記録手段により記録された番組内から登場人物の顔画像を抽出し、この抽出した個々の顔画像と前記顔画像取得手段により取得された顔画像との類似度をそれぞれ計算し、一番高い類似度の顔画像を照合一致画像とみなすことを特徴とする請求項３または請求項５記載の記録再生装置。
8. 前記照合手段は、前記記録手段により記録された番組内から登場人物の顔画像を抽出し、この抽出した個々の顔画像と前記顔画像取得手段により取得された顔画像との類似度をそれぞれ計算し、所定の類似度以上の顔画像が存在しない場合、類似度の高い順に上位から所定数の顔画像を照合一致画像とみなすことを特徴とする請求項３または請求項５記載の記録再生装置。
9. 前記照合手段は、前記記録手段により記録された番組内から登場人物の顔画像を抽出し、この抽出した個々の顔画像と前記顔画像取得手段により取得された顔画像との類似度をそれぞれ計算し、所定の類似度以上の顔画像が所定数以上存在する場合、類似度の高い順に上位から所定数の顔画像を照合一致画像とみなすことを特徴とする請求項３または請求項５記載の記録再生装置。
10. 映像および当該映像内に登場する特定物の情報をそれぞれ記録し、この記録された特定物の情報に基づき利用者が指定した特定物の画像をあらかじめ特定物の画像を記憶している記憶手段から取得し、この取得した特定物の画像と前記記録された映像内に登場する特定物の画像とを照合し、両画像の一致が得られた場合、当該照合を開始してから最初に一致が得られた時点から前記記録された映像を再生することを特徴とする記録再生方法。
11. 映像および当該映像内に登場する特定物の情報をそれぞれ記録し、この記録された特定物の情報に基づき利用者が指定した特定物の画像をあらかじめ特定物の画像を記憶している記憶手段から取得し、この取得した特定物の画像と前記記録された映像内に登場する特定物の画像とを照合し、両画像の一致が得られた場合、その一致が得られた時点の映像の画像を表示し、この表示した画像から利用者が選択した画像の時点から前記記録された映像を再生することを特徴とする記録再生方法。

Images