JP2011203821A - 情報処理装置、情報処理方法、プログラム - Google Patents

Abstract

【課題】サムネイル画像を用いたシーンサーチを良好に行うことのできる情報処理装置を提供する。
【解決手段】動画コンテンツの視聴時にユーザより入力される操作情報などをもとに、特徴フレーム毎のサムネイル表示回数、動画の表示回数などを調べてユーザ操作ログ情報として記録しておく。このユーザ操作ログ情報をもとに特徴フレーム毎の第２の重要度を算出し、この第２の重要度と、特徴フレームの特徴を強さを反映した第１の重要度からサムネイル化する特徴フレームを決定し、この特徴フレームに対応するサムネイル画像を表示する。特徴フレーム毎に、特徴の強さを反映した第１の重要度とユーザがサーチで見逃している可能性の高さを反映した第２の重要度とからサムネイル化する特徴フレームが決定されるので、ユーザに良好なシーンサーチ環境を提供することができる。
【選択図】図１

Description

本発明は、動画コンテンツのサムネイル画像を表示してユーザによるシーンサーチが可能な情報処理装置、情報処理方法、プログラムに関する。

録画機能を有するテレビジョン装置やパーソナルコンピュータなどの情報処理装置では、録画された映像コンテンツのユーザによるシーンサーチを補助するために、録画された映像コンテンツの一部のフレームをサムネイル化して表示することが行われる。その際、ユーザが素早く視覚的に目的のシーンを検索することが可能なように、映像コンテンツの一定時間（例えば１０秒、１０分）置きのフレームをサムネイル化して時系列順に一覧表示する方法も知られている。さらには、（重要な）被写体の顔が映っているフレームや、シーンの切り替わり位置のフレームなど、ハイライトと推定されるフレームを検出して、これらのフレームのサムネイル画像を生成する方法も知られている（例えば特許文献１参照）。

また、特許文献１においては、ユーザがサムネイル画像の時系列であるフィルム・ロール上の任意のサムネイルを選択することにより、動画のその位置から再生処理が起動することとされている。ここで、フィルム・ロールは、動画の時刻に対応するサムネイル画像を含む、複数のサムネイル画像による横一列の時系列で構成され、再生中の動画の時刻とともに進行することとされている。

特開２００６−０８６６１２号公報（段落[０１２１−０１２４]、図１６、図１７）

しかしながら、画像や音声のマッチング処理の精度の限界などにより、ユーザにとって興味のある被写体を含むフレームがシステム側で特徴的なフレームとして判定されるとは限らない。このためユーザがサーチしようとしている被写体を含むフレームが動画コンテンツ内に存在しているにもかかわらず、そのフレームに対応するサムネイル画像が表示されないことがあった。

以上のような事情に鑑み、本発明の目的は、サムネイル画像を用いたシーンサーチを良好に行うことのできる情報処理装置、情報処理方法、プログラムを提供することにある。

上記目的を達成するため、本発明の一形態に係る情報処理装置は、複数のフレームを含む動画から特徴となる１以上のフレームを特徴フレームとして抽出する特徴フレーム抽出部と、前記特徴フレーム毎の重要度を算出する重要度算出部と、前記重要度算出部により算出された特徴フレーム毎の重要度をもとに、前記抽出された１以上の前記特徴フレームの中の少なくとも一部の特徴フレームをサムネイルフレームとして決定する決定部と、前記決定されたサムネイルフレームの中から、ユーザより入力された第１の操作情報をもとに１以上のサムネイルフレームを選択する選択部と、前記選択された１以上のサムネイルフレームに対応するサムネイル画像を表示するサムネイル画像表示部と、前記ユーザより入力された第１の操作情報を記録する操作情報記録部とを具備し、前記重要度算出部は、前記記録された第１の操作情報をもとに、前記サムネイル画像として表示されたことのない特徴フレームが表示されたことのある特徴フレームよりも優先的に前記決定部で前記サムネイルフレームとして決定されるようにそれぞれの前記特徴フレームに重要度を与えるものである。

本発明では、重要度算出部が、記録された第１の操作情報をもとに、サムネイル画像として表示されたことのない特徴フレームが表示されたことのある特徴フレームよりも優先的に決定部で前記サムネイルフレームとして決定されるようにそれぞれの特徴フレームに重要度を与える。これにより、サムネイル画像として表示されたことのない特徴フレームに対応するサムネイル画像が表示される確率が高くなり、それまでユーザがサーチ範囲から外していた時間区間のサムネイル画像を対象にシーンサーチを行うことが可能になる。

本発明の情報処理装置は、前記動画を再生可能な再生処理部と、前記ユーザより入力された第２の操作情報をもとに前記再生処理部に前記動画の再生を開始させる制御部とをさらに具備し、前記操作情報記録部は、前記第２の操作情報をさらに記録し、前記重要度算出部は、前記記録された第２の操作情報をもとに、前記動画として再生されたことのない時間範囲の１以上の前記特徴フレームが、前記動画として再生されたことのある時間範囲の１以上の前記特徴フレームよりも優先的に前記決定部で前記サムネイルフレームとして決定されるようにそれぞれの前記特徴フレームに重要度を与えるようにしてもよい。
これにより、動画として再生されたことのない時間範囲の特徴フレームに対応するサムネイル画像が表示される確率が高くなり、それまでユーザがサーチ範囲から外していた時間区間のサムネイル画像を対象にシーンサーチを行うことが可能になる。

本発明の情報処理装置は、前記抽出された特徴フレームの特徴に応じた特徴重要度を算出する特徴重要度算出部をさらに具備し、前記決定部は、前記算出された特徴重要度と、前記重要度算出部により算出された重要度をもとに、前記抽出された１以上の前記特徴フレームの中の少なくとも一部の特徴フレームをサムネイルフレームとして決定するものであってもよい。

本発明の情報処理装置は、ユーザの嗜好データが記録される嗜好データ記録部をさらに具備し、前記重要度算出部は、前記特徴フレーム抽出部により抽出された前記特徴フレームの特徴データと前記嗜好データ記録部に記録された前記嗜好データとの相関度を加味して前記特徴フレームに重要度を与えるものであってもよい。

本発明の他の形態に係る情報処理方法は、特徴フレーム抽出部が、複数のフレームを含む動画から特徴となる１以上のフレームを特徴フレームとして抽出し、決定部が、前記特徴フレーム毎の重要度をもとに、前記抽出された１以上の前記特徴フレームの中の少なくとも一部の特徴フレームをサムネイルフレームとして決定し、選択部が、前記決定されたサムネイルフレームの中から、ユーザより入力された第１の操作情報をもとに１以上のサムネイルフレームを選択し、サムネイル画像表示部が、前記選択された１以上のサムネイルフレームに対応するサムネイル画像を表示し、操作情報記録部が、前記ユーザより入力された第１の操作情報を記録し、前記重要度算出部は、前記記録された第１の操作情報をもとに、前記サムネイル画像として表示されたことのない特徴フレームが表示されたことのある特徴フレームよりも優先的に前記決定部で前記サムネイルフレームとして決定されるようにそれぞれの前記特徴フレームに重要度を与えることによるものである。

本発明のさらに他の形態に係るプログラムは、複数のフレームを含む動画から特徴となる１以上のフレームを特徴フレームとして抽出する特徴フレーム抽出部と、前記特徴フレーム毎の重要度を算出する重要度算出部と、前記重要度算出部により算出された特徴フレーム毎の重要度をもとに、前記抽出された１以上の前記特徴フレームの中の少なくとも一部の特徴フレームをサムネイルフレームとして決定する決定部と、前記決定されたサムネイルフレームの中から、ユーザより入力された第１の操作情報をもとに１以上のサムネイルフレームを選択する選択部と、前記選択された１以上のサムネイルフレームに対応するサムネイル画像を表示するサムネイル画像表示部と、前記ユーザより入力された第１の操作情報を記録する操作情報記録部としてコンピュータを機能させ、かつ前記重要度算出部は、前記記録された第１の操作情報をもとに、前記サムネイル画像として表示されたことのない特徴フレームが表示されたことのある特徴フレームよりも優先的に前記決定部で前記サムネイルフレームとして決定されるようにそれぞれの前記特徴フレームに重要度を与えるようにコンピュータを機能させるものである。

本発明のさらに他の形態に係る情報処理装置は、複数のフレームを含む動画から特徴となる１以上のフレームを特徴フレームとして抽出する特徴フレーム抽出部と、ユーザの嗜好データが記録される嗜好データ記録部と、前記特徴フレーム毎の重要度を算出する重要度算出部と、前記重要度算出部により算出された特徴フレーム毎の重要度をもとに、前記抽出された１以上の前記特徴フレームの中の少なくとも一部の特徴フレームをサムネイルフレームとして決定する決定部とを具備し、前記重要度算出部は、前記特徴フレーム抽出部により抽出された前記特徴フレームの特徴データと前記嗜好データ記録部に記録された前記嗜好データとの相関度を求め、前記嗜好データとの前記相関度の高い特徴データを有する前記特徴フレームが、優先的に前記決定部で前記サムネイルフレームとして決定されるように当該特徴フレームに重要度を与えるものとする。

本発明では、重要度算出部が、特徴フレーム抽出部により抽出された特徴フレームの特徴データと嗜好データ記録部に記録された嗜好データとの相関度を求め、嗜好データとの相関度の高い特徴データを有する特徴フレームが、優先的に決定部でサムネイルフレームとして決定されるように当該特徴フレームに重要度を与える。これにより、ユーザの嗜好との相関を反映した重要度とからサムネイル化する特徴フレームが決定されるので、ユーザに良好なシーンサーチ環境を提供することができる。

本発明によれば、サムネイル画像を用いたシーンサーチを良好に行うことができる。

本発明の第１の実施形態に係る情報処理装置の構成を示すブロック図である。 図１の情報処理装置による動画コンテンツの特徴フレームの検出に関するフローチャートである。 図１の情報処理装置によるサムネイル表示処理に関するフローチャートである。 図１の情報処理装置によるサムネイル表示処理のタイミング図である。 図１の情報処理装置による特徴フレームの第１の重要度の第１の計算例を示す図である。 図１の情報処理装置による特徴フレームの第１の重要度の第２の計算例を示す図である。 図１の情報処理装置による特徴フレームの第１の重要度の第３の計算例を示す図である。 ユーザ操作ログの例を示す図である。 図１の情報処理装置のユーザ情報処理部による特徴フレームの第２の重要度の計算例を示す図である。 図１の情報処理装置によるページ単位のサムネイル画像の配置方法を示す図である。 図１の情報処理装置のサムネイル表示枚数決定部によるサムネイル表示枚数の算定手順を示すフローチャートである。 サムネイル表示枚数の算定方法の説明図である。 図１の情報処理装置の表示サムネイル選択部による表示サムネイルページの選択方法に関する第１の説明図である。 図１３の表示サムネイル選択部による表示サムネイルページの選択方法に関する第２の説明図である。 図１の情報処理装置におけるシステム状態およびユーザからの操作情報と、サムネイル画像の表示形態との関係を示す図である。 図１の情報処理装置における通常再生時のシーンサーチ画面の例を示す図である。 図１の情報処理装置において通常再生時に動画の時刻の切り替えが発生してからユーザがサムネイル画像に対する操作を何もしないで所定の時間が経過した時点でのシーンサーチ画面の例を示す図である。 図１の情報処理装置における動画の高速再生時のシーンサーチ画面の例を示す図である。 動画の高速再生時にポップアップ表示の移動速度が一定とならない場合を説明する図である。 図１の情報処理装置においてポップアップ表示の移動速度が一定となるように動画の再生速度を制御する方法を説明する図である。 図１の情報処理装置においてポップアップ表示対象の複数のサムネイルフレームが複数ページに跨る場合の処理に関する説明図である。 図１の情報処理装置においてポップアップ表示対象として判定された複数のサムネイルフレームが複数の行に跨る場合の処理に関する説明図である。 図１の情報処理装置において特徴フレームの重要度をサムネイル画像の表示形態に反映させたシーンサーチ画面の例である。 本発明の第２の実施形態に係る情報処理装置の構成を示すブロック図である。 第２の実施形態の情報処理装置におけるユーザ情報処理部による特徴フレームの第２の重要度の計算例を示す図である。 本発明の第３の実施形態に係る情報処理装置の構成を示すブロック図である。 第２の実施形態の情報処理装置におけるユーザ情報処理部による特徴フレームの最終的な第２の重要度の計算例を示す図である。 サムネイル間引き処理の例を示す図である。 表示サムネイルページの選択からサムネイル間引き処理までのフローチャートである。

以下、図面を参照しながら、本発明の実施形態を説明する。
＜第１の実施形態＞
［情報処理装置の構成］
図１は本発明の第１の実施形態に係る情報処理装置の構成を示すブロック図である。

本実施形態の情報処理装置は、少なくとも映像信号と音声信号とが多重化された動画コンテンツを伝送媒体を通じて受信し、蓄積して、映像と音声をそれぞれ再生することが可能な機器である。映像信号と音声信号とが多重化された動画コンテンツは、より具体的には、例えば、地上デジタル放送、衛星デジタル放送などの放送波や、ＩＰ（Internet Protocol）回線などの伝送媒体を通じて伝送されるＭＰＥＧ（Moving Picture Expert Group）−２トランスポートストリームなどである。

図１に示すように、本実施形態の情報処理装置１００は、映像・音声信号記録部１１１、再生処理部１１２、表示処理部１１３、特徴フレーム抽出部１１４、特徴フレーム情報記録部１１５、画音特徴判定部１１６、サムネイルフレーム決定部１１７、サムネイル表示枚数決定部１１８、表示サムネイル選択部１１９、静止画作成部１２０、静止画記録部１２１、サムネイル表示加工部１２２、Ｉ／Ｆ部１２３、システムコントローラ１２４、ユーザ情報処理部１２５、ユーザ操作ログ処理部１２６、およびユーザ操作ログ記録部１２７を有する。

映像・音声信号記録部１１１は、本情報処理装置１００にて取得した動画コンテンツの映像信号および音声信号が記録される記録領域である。

再生処理部１１２は、映像・音声信号記録部１１１に記録された映像信号および音声信号をそれぞれ復号して再生するための処理を行う部分である。

表示処理部１１３は、再生処理部１１２によって再生された映像と、後述するサムネイル表示加工部１２２によって作成されたサムネイル画像それぞれの表示データを生成し、物理的な画面を有する表示手段に動画として出力する部分である。物理的な画面を有する表示手段は、本情報処理装置１００に接続された外部の表示装置であってもよいし、本情報処理装置１００に内蔵された表示装置であってもよい。

特徴フレーム抽出部１１４は、取得した映像信号からカット点、フェード区間の中間点など、映像において特徴的な場面のフレームを特徴フレームとして検出し、この特徴フレームの動画コンテンツにおけるフレームの時間位置である時刻情報を「特徴フレーム情報」として得る。

特徴フレーム情報記録部１１５は、特徴フレーム抽出部１１４にて得られた特徴フレーム情報が記録される記録領域である。

画音特徴判定部１１６（特徴重要度算出部）は、特徴フレーム情報記録部１１５に記録された特徴フレーム情報に対応する特徴フレーム毎の映像信号および音声信号をもとに特徴データを生成し、この特徴の強さを反映した重要度を第１の重要度（特徴重要度）として計算する部分である。

ユーザ操作ログ処理部１２６は、ユーザからシステムコントローラ１２４に入力される指示操作の内容を示す操作情報、ならびにシステムの動作情報を日時情報とともにシステムコントローラ１２４よりユーザ操作ログとして取得する。ユーザ操作ログ処理部１２６は、取得したユーザ操作ログから、特徴フレーム毎の重要度計算に利用しやすい情報を生成してユーザ操作ログ情報（第１の操作情報）としてユーザ操作ログ記録部１２７に記録する。

ユーザ操作ログ記録部１２７（操作情報記録部）は、ユーザ操作ログ処理部１２６により生成されたユーザ操作ログ情報の記録保存が行われる領域である。

ユーザ情報処理部１２５（重要度算出部）は、ユーザ操作ログ記録部１２７に保存されたユーザ操作ログ情報をもとに、特徴フレーム毎の重要度を第２の重要度（重要度）として算出する処理をユーザ情報処理として行う。

サムネイルフレーム決定部１１７（決定部）は、画音特徴判定部１１６により得られた第１の重要度とユーザ情報処理部１２５により得られた第２の重要度をもとにサムネイル対象とする１以上のフレームをそれぞれ「サムネイルフレーム」として決定し、そのサムネイルフレームの動画コンテンツにおける時間位置である時刻情報を「サムネイルフレーム情報」としてサムネイル表示枚数決定部１１８に出力する。

サムネイル表示枚数決定部１１８は、サムネイルフレーム決定部１１７より供給されたサムネイルフレーム情報などをもとに、総てのサムネイルフレームを時系列的に連続する複数のサムネイルフレームの集合からなるページの単位に分割するように、１画面に表示するサムネイルの数を「サムネイル表示枚数」としてページ毎に決定する。そして、サムネイル表示枚数決定部１１８は、ページ毎のサムネイル表示枚数と、ページ毎のサムネイルフレーム情報を表示サムネイル選択部１１９に供給する。

表示サムネイル選択部１１９（選択部）は、再生中の動画の時刻に最も近いサムネイルフレームを「最近サムネイルフレーム」として、この最近サムネイルフレームを含むページ単位のサムネイルフレームを、サムネイル画像の表示対象として選択する部分である。また、表示サムネイル選択部１１９（選択部）は、サムネイルフレームの中から、ユーザより入力された"再生"、"ジャンプ"、"サーチ"などの操作情報をもとに、サムネイル画像として表示させるページ単位のサムネイルフレームを選択することが可能である。

静止画作成部１２０は、サムネイルフレーム決定部１１７により決定されたサムネイルフレームに対応する静止画を映像・音声信号記録部１１１に記録された映像信号を用いて作成する部分である。

静止画記録部１２１は、静止画作成部１２０により作成されたサムネイルフレーム毎の静止画が記録される記録領域である。

サムネイル表示加工部１２２（サムネイル画像表示部）は、表示サムネイル選択部１１９により選択された最近サムネイルフレームを含むページ単位のサムネイルフレームについて、静止画記録部１２１に記録された対応する静止画を用いてサムネイル画像を作成する。また、サムネイル表示加工部１２２は、ページ単位のサムネイル画像を時系列的に行列状に配置した形で連結するなどして、その結果を表示処理部１１３に供給する。

Ｉ／Ｆ部１２３は、ユーザからの、サムネイル表示のオン／オフの切り替え、動画の再生速度（サーチ速度）、動画の再生位置を指定するためのサムネイルフレームの選択など、各種の操作情報の入力を受け付けてシステムコントローラ１２４に供給するインタフェースである。具体的には、キー入力装置、マウス、タッチパネルセンサー、リモートコントローラなどである。

システムコントローラ１２４（制御部）は、例えば、Ｉ／Ｆ部１２３を通じてユーザより入力された各種の操作情報をもとにサムネイル表示に関する制御などを行う。

以上説明した情報処理装置１００における各部は、より具体的には、ＣＰＵ（Central Processing Unit）、メインメモリを含む典型的なコンピュータ・ハードウェアとこれを動作させるプログラムによって実現される。映像・音声信号記録部１１１、特徴フレーム情報記録部１１５、静止画記録部１２１、ユーザ操作ログ記録部１２７は、より具体的には、メインメモリや、ＨＤＤ（Hard disk drive）、ＳＤＤ（Solid State Drive）、ＯＤＤ（Optical Disc Drive）などのストレージ装置である。

なお、情報処理装置１００は、図１に示される構成のほか、放送信号処理部を備える。放送信号処理部は、伝送媒体を通じてデジタル放送信号を受信する放送受信部と、受信したデジタル放送信号から動画コンテンツの映像信号および音声信号などを分離する信号処理部とを備える。上記の放送受信部は、より具体的には、放送局から地上波、衛星波などの放送媒体を介してデジタル放送信号をアンテナを介して選局して受信するチューナや、ＩＰ（Internet Protocol）回線を通じてＩＰマルチキャスト放送信号を受信するＩＰネットワーク接続部である。

本実施形態の情報処理装置１００では、ユーザによる動画コンテンツのシーンサーチが可能なように、特徴フレームのうち特に重要度の高いフレームに対応するサムネイル画像を時系列的に配置して表示し、特にユーザがシーンを確認したいと思った時刻をサムネイル画像の選択によって指定することができる。サムネイル画像がユーザによって選択されると、そのサムネイル画像に対応するサムネイルフレームの時刻に動画の再生時刻がジャンプして、その時刻から動画の再生が継続される。本実施形態の情報処理装置１００は、このようなサムネイル画像を用いたシーンサーチを、より良好に行うことを目的とし、特に、特徴フレームの中からサムネイル化するのに適した特徴フレームを選択するために用いられる特徴フレームの重要度の生成方式に着目してなされたものである。

［情報処理装置１００の動作概要］
次に、図２から図４を用いて、本実施形態の情報処理装置１００によるサムネイル表示処理の動作の概要を説明する。図２は、本実施形態の情報処理装置１００による動画コンテンツの特徴フレームの検出に関するフローチャートである。図３は、本実施形態の情報処理装置１００によるサムネイル表示処理に関するフローチャートである。図４は、上記のサムネイル表示処理の例のタイミング図である。同図において、ｔは動画コンテンツの時間軸である。

まず、図２のフローチャートにおいて、情報処理装置１００は、図示しない放送信号処理部にて、動画コンテンツの受信と、受信した動画コンテンツからの映像信号および音声信号の分離などを行う（ステップＳ１０１）。このようにして得られた動画コンテンツの映像信号および音声信号は、映像・音声信号記録部１１１に記録されるとともに、映像信号は特徴フレーム抽出部１１４にも供給される。

特徴フレーム抽出部１１４は、映像信号からカット点、フェード区間の中間点（フェードイン点とフェードアウト点との間の中間点）などの特徴フレームの検出を行う（ステップＳ１０２）。特徴フレーム抽出部１１４は、検出した特徴フレームの、動画コンテンツにおける時間位置である時刻情報を特徴フレーム情報として特徴フレーム情報記録部１１５に動画コンテンツの指定情報と関連付けて記録する（ステップＳ１０３）。特徴フレーム情報記録部１１５には、動画コンテンツ毎の複数の特徴フレーム情報が記録される。図４の例は、ｆ１からｆ１４の特徴フレームが検出された場合を示している。このように特徴フレームは動画コンテンツの時間軸ｔ上の不規則な時間位置（時刻）にある。なお、特徴フレーム情報記録部１１５には、１つの動画コンテンツの特徴フレーム情報だけではなく、複数の動画コンテンツの特徴フレーム情報を記録可能である。

以後、ユーザは、動画コンテンツの特徴フレーム情報が特徴フレーム情報記録部１１５に記録された動画コンテンツの中から、シーンサーチを実行したい動画コンテンツを指定してシーンサーチの指示を与えることができる。

次に、図３のフローチャートにおいて、ユーザより、シーンサーチ対象の動画コンテンツの指定情報と再生速度情報（サーチ速度情報）を含む、シーンサーチの起動指示の操作情報が、Ｉ／Ｆ部１２３を通じてシステムコントローラ１２４に入力されたこととする（ステップＳ２０１）。なお、再生速度（サーチ速度）は、例えば、１倍速刻みで、通常再生（等倍速＝１倍速）からｎ倍速の高速再生までの間でユーザが自由に選択することができる。なお、ユーザ操作ログ記録部１２７には現時点までのユーザの操作ログが記録されているものとする。ユーザ操作ログ記録部１２７へのユーザ操作ログの記録について後で説明する。

システムコントローラ１２４は、シーンサーチの起動指示の操作情報を入力すると、画音特徴判定部１１６に当該動画コンテンツの指定情報を含む起動命令を出力する。画音特徴判定部１１６は、起動命令を受けると、当該動画コンテンツの指定情報をもとに、特徴フレーム情報記録部１１５から該当する動画コンテンツの各特徴フレーム情報を読み込む。画音特徴判定部１１６は、それぞれの特徴フレーム情報をもとに映像・音声信号記録部１１１から対応する時刻の特徴フレームの映像信号および音声信号を読み込み、予め設定された様々なオブジェクトの映像および音声の基準パターンとのマッチング処理などによって判定された特徴データから特徴フレームの第１の重要度を計算する（ステップＳ２０２）。例えば、図４では、ｆ１からｆ１４の特徴フレームに対して、"１"から"８"までの重要度が与えられる。"１"は重要度の最小値、"８"は重要度の最大値である。特徴フレームの第１の重要度を計算する具体的な方法については後で説明する。画音特徴判定部１１６は、計算された特徴フレーム毎の第１の重要度をサムネイルフレーム決定部１１７に供給する。

一方、ユーザ情報処理部１２５は、ユーザ操作ログ記録部１２７に保存されたユーザ操作ログ情報をもとに特徴フレーム毎の第２の重要度として算出する（ステップＳ２０３）。この処理を以後「ユーザ情報処理」と記述する。ユーザ情報処理では、例えば、図４では、ｆ１からｆ１４の特徴フレームに対して、"１"から"３"までの重要度が与えられる。"１"は重要度の最小値、"３"は重要度の最大値である。ユーザ情報処理のより具体的な方法については後で説明する。ユーザ情報処理部１２５は、計算された特徴フレーム毎の第２の重要度をサムネイルフレーム決定部１１７に供給する。

この後、サムネイルフレーム決定部１１７は、画音特徴判定部１１６より供給された特徴フレームの第１の重要度とユーザ情報処理部１２５により得られた同じ特徴フレームの第２の重要度をもとにサムネイルフレームを決定し、そのサムネイルフレームの時間位置を示す情報をサムネイルフレーム情報として表示サムネイル選択部１１９に出力するとともに、サムネイルフレームの総数をサムネイル表示枚数決定部１１８に通知する（ステップＳ２０４）。例えば、図４では、重要度が５以上の特徴フレームがサムネイルフレームとして決定される。この結果、ｆ２，ｆ３，ｆ５，ｆ６，ｆ８，ｆ１１，ｆ１３，ｆ１４の特徴フレームがサムネイルフレームとして決定される。サムネイルフレームを決定するための、より具体的な方法については後で説明する。

次に、サムネイル表示枚数決定部１１８は、サムネイルフレーム決定部１１７より供給されたサムネイルフレーム総数などをもとに、総てのサムネイルフレームを時系列的に連続する複数のサムネイルフレームの集合からなるページの単位に分割するように、１画面に表示するサムネイルの数を「サムネイル表示枚数」として決定する（ステップＳ２０５）。そしてサムネイル表示枚数決定部１１８は、サムネイル表示枚数を表示サムネイル選択部１１９に供給する。例えば、図４では、サムネイルフレーム総数Ｎ、コンテンツ時間長Ｔなどからサムネイル表示枚数Ｍが求められる。なお、サムネイル表示枚数を決定する具体的な方法については後で説明する。

サムネイル表示枚数が決定されたところで、システムコントローラ２４は再生処理部１１２に、当該動画コンテンツのシーンサーチのための動画再生を指示する。再生処理部１１２は、当該指示を受けると、映像・音声信号記録部１１１から当該動画コンテンツの映像信号を読み出し、復号して、先頭からの動画の再生を開始する（ステップＳ２０６）。

一方、表示サムネイル選択部１１９は、サムネイルフレーム決定部１１７からのサムネイルフレーム情報をサムネイル表示枚数決定部１１８からのサムネイル表示枚数をもとに、ページ単位のサムネイルフレーム情報に分割する。動画の再生が開始されると、表示サムネイル選択部１１９は、再生中の動画の時刻に最も近いサムネイルフレームを「最近サムネイルフレーム」として判定し、この最近サムネイルフレームを含むページ単位のサムネイルフレーム情報をサムネイル表示加工部１２２に供給する（ステップＳ２０７）。例えば、図４では、動画の時刻Ｔ１に最も近いｆ５の特徴フレームが最近サムネイルフレームとして判定され、この最近サムネイルフレームｆ５を含むページ１に属するＭ個のサムネイルフレームｆ２，ｆ３，ｆ５のサムネイルフレーム情報がサムネイル表示加工部１２２に供給される。なお、図４の例では、ページ単位のサムネイルフレームの数を３としているが、実際には各サムネイル画像は行列状に並べて配置されるようになっており、サムネイル表示枚数の値Ｍは、行列の行数をＲ、列数をＣとして、Ｒ×Ｃの値である。

次に、サムネイル表示加工部１２２は、表示サムネイル選択部１１９よりページ単位のサムネイルフレーム情報を受け取ると、それぞれのサムネイルフレーム情報をもとに静止画記録部１２１から該当する時刻の特徴フレームの静止画をそれぞれ読み出す。そして、サムネイル表示加工部１２２は、読み出した静止画からサムネイル画像を作成し、表示処理部１１３に供給する（ステップＳ２０８）。サムネイル画像を作成するための具体的な方法については後で説明する。

表示処理部１１３は、サムネイル表示加工部１２２より供給されたページ単位のサムネイル画像の表示データを作成し、物理的な表示手段に出力する。これにより、再生中の動画の時刻に対応するページ単位のサムネイル画像が画面に表示される（ステップＳ２０９）。

この後、システムコントローラ１２４は、ユーザからのシーンサーチの終了の指示の有無を調べる（ステップＳ２０９）。ユーザからのシーンサーチの終了の指示がない場合には（ステップＳ２１０のＮＯ）、システムコントローラ１２４は、続いてシーンサーチ対象の動画コンテンツを変更する指示の有無を調べる（ステップＳ２１１）。シーンサーチ対象の動画コンテンツを変更する指示が発生していない場合（ステップＳ２１１のＮＯ）、システムコントローラ１２４は表示サムネイル選択部１１９に再生中の動画の時刻を通知する。

表示サムネイル選択部１１９は、動画の時刻を取得すると、この時刻が現在表示中のページ単位のサムネイル画像（サムネイルフレーム）の時刻の範囲内であるかどうかを判定する（ステップＳ２１２）。動画の時刻が現在表示中のページ単位のサムネイル画像の時刻の範囲内であれば（ステップＳ２１２のＹＥＳ）、表示サムネイル選択部１１９は、サムネイル画像の表示の更新が不要であることを判定し、現在のサムネイル画像の表示状態を継続する。この後、表示サムネイル選択部１１９は、再度ステップＳ２１０に戻って、ユーザからのシーンサーチの終了の指示の有無を判定する。

一方、再生中の動画の時刻が現在表示中のページ単位のサムネイル画像の時刻の範囲内でないことが判定された場合（ステップＳ２１２のＮＯ）、表示サムネイル選択部１１９は、ステップＳ２０６に戻って再度、最近サムネイルフレームを含むページ単位のサムネイルフレーム情報をサムネイル表示加工部１２２に供給する。この結果、ステップＳ２０８で、再生中の動画の時刻に対応する、新たなページ単位のサムネイル画像が画面に表示され、サムネイルフレームの表示が更新される。

また、ステップＳ２１１で、システムコントローラ１２４は、シーンサーチ対象の動画コンテンツを変更する指示の発生を判定した場合（ステップＳ２１１のＹＥＳ）、ステップＳ２０１に戻って、ユーザより、新たなシーンサーチ対象の動画コンテンツの指定情報と再生速度情報（サーチ速度情報）を含む、シーンサーチの起動指示の操作情報を入力する。以後の動作は前記の同様である。

そしてシステムコントローラ１２４は、ステップＳ２１０で、ユーザよりＩ／Ｆ部１２３を通じてシーンサーチ終了の指示を受けたとき（ステップＳ２１０のＹＥＳ）、動画の再生およびサムネイル画像の表示を終了する。

次に、上記の画音特徴判定、ユーザ情報処理、サムネイルフレーム決定、サムネイル表示枚数決定、表示サムネイルページ選択、サムネイル表示加工についての詳細を説明する。

［画音特徴判定その１］
特徴フレームの第１の重要度は、その特徴フレームの動画（映像と音声）の内容から求めることができる。第１の重要度の高い特徴フレームとしては、例えば、次のようなものがある。
・人の顔を含む特徴フレーム
・テロップ等の文字情報を含む特徴フレーム
・チャプターの開始直後の特徴フレーム
・音声の盛り上がり途中の特徴フレーム
・誘目度（人目を引きやすい色）が高い特徴フレーム
・ディテールのある領域が多く含む特徴フレーム
例えば、上記各々の特徴フレームの特徴に対して第１の重要度を予め設定しておき、１つの特徴フレームに含まれる全ての特徴に対する第１の重要度の合計を、その特徴フレームの第１の重要度の計算結果とすればよい。但し、ＣＭ中の特徴フレームやフェードアウト直後の特徴フレームは、第１の重要度の計算対象外とする。

図５は特徴フレームの第１の重要度の計算例を示す図である。ここでは、説明の簡単のため、第１の重要度を"低"、"中"、"高"の３段階に求める場合を示している。"低"、"中"、"高"は実際には数値データである。ｆ３の特徴フレームには顔が１つ含まれていることから第１の重要度は"中"とされ、ｆ５の特徴フレームには顔が２つ含まれていることから第１の重要度は"高"とされている。このように顔の数を第１の重要度に反映してもよい。また、ｆ６の特徴フレームには顔が１つしか含まれていないが、特徴フレーム内で顔が占める割合が高いことから、第１の重要度は"高"とされている。ｆ７の特徴フレームにはテロップが含まれていることから第１の重要度は"中"とされている。ｆ８の特徴フレームにはテロップと１つの顔が含まれていることから第１の重要度は"高"とされている。そして、ｆ１１の特徴フレームには１つの顔が含まれ、かつ音声の盛り上がり途中であることから第１の重要度は"高"とされている。

［画音特徴判定その２］
画音特徴判定部１１６は、特徴フレームの第１の重要度を、その特徴フレームと過去の特徴フレームとの相関から求めるようにしてもよい。例えば、次のようなルールが考えられる。
・ルール１：過去の特徴フレームに対して新しい顔が出現した特徴フレームの第１の重要度を"高"とする。
・ルール２：過去の特徴フレームに出現したことのある顔が再び出現した特徴フレームであることと、それぞれの特徴フレームの時間差が閾値以上であることを満足する場合には第１の重要度を"高"とする。
・ルール３：過去の特徴フレームに出現したことのある顔が再び出現した特徴フレームであることと、それぞれの特徴フレームの背景が異なることを満足する場合には第１の重要度を"中"とする。
・ルール４：過去の特徴フレームに出現したことのある顔が再び出現した特徴フレームであることと、それぞれの特徴フレームの背景が同じであることを満足する場合には第１の重要度を"低"とする。

図６は上記のルールに基づく特徴フレームの第１の重要度の計算例を示す図である。ここで、ｆ２１の特徴フレームはルール１により第１の重要度は"高"とされている。ｆ１７の特徴フレームはルール４により第１の重要度は"低"とされている。ｆ２０の特徴フレームはルール３により第１の重要度は"中"とされている。そしてｆ３１の特徴フレームはルール２により第１の重要度は"高"とされている。

［画音特徴判定その３］
画音特徴判定部１１６は、予め決められた時間区間を越えて連続する特徴フレームを単位に特徴フレームの第１の重要度を求めるようにしてもよい。例えば、次のようなルールが考えられる。
・ルール１：予め決められた時間区間を越えて同一の人物が連続して、あるいは高い頻度で出現する特徴フレームの連続において、その人物の顔全体や全身がもっともはっきりと認識できる特徴フレームの第１の重要度を"高"とする。
・ルール２：ルール１の特徴フレームの連続において第１の重要度が"高"とされた特徴フレーム以外の特徴フレームの第１の重要度を"低"とする。

図７は上記のルールに基づく特徴フレームの第１の重要度の計算例を示す図である。ここで、ｆ４２からｆ５９までの区間の特徴フレームに同一の人物が連続して、あるいは高い頻度で出現しており、その時間区間が予め決められた時間区間を越えたこととする。そして、ｆ４８の特徴フレームがその人物の顔全体が最もはっきりと認識できるフレームであるとする。この場合にはｆ４８の特徴フレームの第１の重要度はルール１により"高"とされ、ｆ４２からｆ５９までの時間区間内のｆ４８以外の特徴フレームの第１の重要度はルール２により"低"とされる。

なお、上記では説明の簡単のため、第１の重要度を"１"から"８"の８段階や"低"、"中"、"高"の３段階に計算する場合について説明したが、本発明にこれに限定されるものではなく、適宜計算に適した段階数を選定すればよい。

［ユーザ情報処理］
ユーザ情報処理部１２５は、ユーザ操作ログ記録部１２７に保存されたユーザ操作ログ情報をもとに特徴フレーム毎の重要度を第２の重要度として算出するユーザ情報処理を行う。このユーザ情報処理を行うためには、事前にユーザ操作ログ処理部１２６によってユーザ操作ログ情報がユーザ操作ログ記録部１２７に記録されている必要がある。そこで、このユーザ操作ログ処理部１２６によるユーザ操作ログの記録処理を説明する。

ユーザ操作ログ処理部１２６は、動画コンテンツを視聴しながらユーザからシステムコントローラ１２４に入力される指示操作の内容を示す操作情報、ならびにシステムの動作情報を日時情報とともにシステムコントローラ１２４よりユーザ操作ログとして取得する。

図８は、取得されるユーザ操作ログの例を示す。この例は、ユーザにより１つの動画コンテンツの視聴およびシーンサーチの際に得られた一連のユーザ操作ログである。同図に示すように、ユーザ操作ログは、日時、ユーザ操作・システム動作の内容、コンテンツ情報、サムネイル情報などで構成される。

本例において、最初のユーザ操作ログ４１のユーザ操作・システム動作の内容は"コンテンツ切換"、コンテンツ情報は"ＭＨＫニュース"である。このユーザ操作ログ４１は"ＭＨＫニュース"という動画コンテンツへの切り替えのユーザ操作に基づくログである。

次のユーザ操作ログ４２のユーザ操作・システム動作の内容は"再生"、コンテンツ情報は"ＭＨＫニュース"である。このユーザ操作ログ４２は当該動画コンテンツの再生開始に関するシステム動作に基づくログである。このユーザ操作ログ４２には、当該動画コンテンツの再生が開始された先頭の時間位置を示す情報が付加される。"TIME00:00:00"はその先頭の時間位置を示す情報の例である。

次の２つのユーザ操作ログ４３、４４それぞれのユーザ操作・システム動作の内容は"サーチ、３０倍速"、コンテンツ情報は"ＭＨＫニュース"である。これらのユーザ操作ログ４３、４４は、当該動画コンテンツの３０倍速での高速サーチに関するユーザ操作・システム動作に基づくログである。このとき画面には３０倍速で高速再生された動画が表示されるとともに、再生中の動画の時間位置に最も近いサムネイルフレームを含むページ単位の複数のサムネイル画像が表示される。このときの表示方式の詳細については後で説明する。また、これらのユーザ操作ログ４３、４４には、動画コンテンツの高速サーチの時間区間を示す情報つまりその時間区間に表示されたサムネイル画像の時間位置を示すサムネイルフレーム情報が付加される。

次のユーザ操作ログ４５のユーザ操作・システム動作の内容は"決定"、コンテンツ情報は"ＭＨＫニュース"である。このユーザ操作ログ４５は当該動画コンテンツの高速サーチの終了決定に関するユーザ操作に基づくログである。また、このユーザ操作ログ４５には、当該動画コンテンツの高速サーチの終了直前に表示されたページ単位のサムネイル画像の時間位置を示すサムネイルフレーム情報が付加される。

次のユーザ操作ログ４６のユーザ操作・システム動作の内容は"サーチ、１倍速"、コンテンツ情報は"ＭＨＫニュース"である。このユーザ操作ログ４６は当該動画コンテンツの１倍速でのサーチに関するユーザ操作・システム動作に基づくログである。このとき画面には、１倍速で再生された動画が表示されるとともに、表示中の動画の時間位置に最も近いサムネイルフレームを含むページ単位の複数のサムネイル画像が表示される。このユーザ操作ログ４６にも、システムの動作情報として、当該動画コンテンツの高速サーチの終了直前に表示されたページ単位のサムネイル画像の時間位置を示すサムネイルフレーム情報が付加される。

次のユーザ操作ログ４７のユーザ操作・システム動作の内容は"ジャンプ"、コンテンツ情報は"ＭＨＫニュース"である。このユーザ操作ログ４７は、再生中の動画の時間位置をジャンプさせるためのユーザによるサムネイル画像の選択に関するユーザ操作に基づくログである。このユーザ操作ログ４７には、選択されたサムネイル画像に対応するサムネイルフレーム情報が付加される。なお、サムネイル画像の選択により再生中の動画の時間位置をジャンプさせる処理の詳細については後で説明する。

次のユーザ操作ログ４８のユーザ操作・システム動作の内容は"再生"、コンテンツ情報は"ＭＨＫニュース"である。このユーザ操作ログ４８は、上記のサムネイル画像の選択による再生中の動画の時間位置のジャンプに関するシステム動作に基づくログである。このユーザ操作ログ４８には、動画のジャンプ先の時間位置を示す情報が付加される。"TIME00:10:00"はその動画のジャンプ先の時間位置を示す情報の例である。

次のユーザ操作ログ４９のユーザ操作・システム動作の内容は"終了"、コンテンツ情報は"ＭＨＫニュース"である。このユーザ操作ログ４９は、当該動画コンテンツの動画の再生の終了に関するシステム動作に基づくログである。このユーザ操作ログ４９には、動画の再生の終了の時間位置を示す情報が付加される。

次のユーザ操作ログ５０のユーザ操作・システム動作の内容は"コンテンツ切換"、コンテンツ情報は"ドラマ＊＊＊"である。このユーザ操作ログ５０は"ドラマ＊＊＊"という動画コンテンツへの切り替えのユーザ操作に基づくログであり、上記の最初のユーザ操作ログ４１と同様である。

ユーザ操作ログ処理部１２６は、取得した上記のようなユーザ操作ログから、特徴フレーム毎の第２の重要度を算出するために必要な情報をユーザ操作ログ情報として生成する。例えば、ユーザ操作ログ処理部１２６は、動画コンテンツ中の各々の特徴フレームについて、サムネイル画像として表示された回数（以下「サムネイル表示回数Ｃ１」と記述する。）、ジャンプ先として選択された回数（以下「サムネイル選択回数Ｃ２」と記述する。）、動画ウィンドウ内に動画として表示された回数（以下「ウィンドウ動画表示回数Ｃ３」と記述する。）、フル画面で動画として表示された回数（以下「フル動画表示回数Ｃ４」と記述する。）などをユーザ操作ログ情報として生成する。そしてユーザ操作ログ処理部１２６は、生成されたユーザ操作ログ情報をユーザ操作ログ記録部１２７に記録する。ユーザ情報処理部１２５は、このユーザ操作ログ記録部１２７に保存されたユーザ操作ログ情報をもとに、特徴フレーム毎の重要度を第２の重要度として算出する処理をユーザ情報処理として行う。次に、このユーザ情報処理について説明する。

図９は、ユーザ情報処理部１２５による特徴フレームの第２の重要度の計算例を示す図である。ここでｔは時間軸、ｆ１−ｆ７はそれぞれ特徴フレームである。但し同図は、各特徴フレームｆ１−ｆ７の時間的な前後の関係のみを示し、時間の距離的な関係は省略されているものとする。本例のユーザ情報処理では、ユーザ操作ログ情報として、上記のサムネイル表示回数Ｃ１、サムネイル選択回数Ｃ２、ウィンドウ動画表示回数Ｃ３、およびフル動画表示回数Ｃ４が用いられることとする。

ユーザ情報処理部１２５は、上記のユーザ操作ログ情報と所定のルールに基づいて第２の重要度を計算する。ここで、前述した第１の重要度は特徴フレームの特徴の強さに応じて与えられるものであるのに対し、第２の重要度はユーザがサーチで見逃している可能性の高さに応じて与えられる重要度である。例えば、ユーザがはじめからサーチの範囲から外してしまったフレームは、ユーザにとって興味深いフレームであったとしてもユーザに発見されないことになる。このためルールとしては、例えば、
・ルール１：動画をフル画面で表示したことのある特徴フレームは重要度を"低"とする。
・ルール２：サムネイル画像として表示されたことのない特徴フレームの重要度を"高"とする。
・ルール３：サムネイル画像として表示されたことのがあるものの、選択されたことのない特徴フレームは重要度を"中"とする。
・ルール４：サムネイル画像として表示されたことがあり、かつ選択されたこともある特徴フレームは重要度を"低"とする。
等が用いられる。

これらのルールに拠ると、
特徴フレームｆ１のユーザ操作ログ情報は、Ｃ１＝０、Ｃ２＝０、Ｃ３＝０、Ｃ４＝１であるから、ルール１に該当し、この結果、第２の重要度は"低"と計算される。
特徴フレームｆ２のユーザ操作ログ情報は、Ｃ１＝０、Ｃ２＝０、Ｃ３＝０、Ｃ４＝０、つまり全て"０"であるから、ルール２に該当し、この結果、第２の重要度は"高"と計算される。
特徴フレームｆ３のユーザ操作ログ情報は、Ｃ１＝５、Ｃ２＝０、Ｃ３＝０、Ｃ４＝０であるから、ルール３に該当し、この結果、第２の重要度は"中"と計算される。
特徴フレームｆ４のユーザ操作ログ情報は、Ｃ１＝１、Ｃ２＝０、Ｃ３＝０、Ｃ４＝０であるから、ルール３に該当し、この結果、第２の重要度は"中"と計算される。
特徴フレームｆ５のユーザ操作ログ情報は、Ｃ１＝１、Ｃ２＝０、Ｃ３＝０、Ｃ４＝１であるから、ルール１に該当し、この結果、第２の重要度は"低"と計算される。
特徴フレームｆ６のユーザ操作ログ情報は、Ｃ１＝２、Ｃ２＝１、Ｃ３＝２、Ｃ４＝０であるから、ルール４に該当し、この結果、第２の重要度は"低"と計算される。
特徴フレームｆ７のユーザ操作ログ情報は、Ｃ１＝１、Ｃ２＝１、Ｃ３＝１、Ｃ４＝１であるから、ルール１とルール４に該当し、この結果、第２の重要度は"低"と計算される。

なお、上記では説明の簡単のため、第２の重要度を"１"から"８"の８段階や"低"、"中"、"高"の３段階に計算する場合について説明したが、本発明にこれに限定されるものではなく、適宜計算に適した段階数を選定すればよい。

［サムネイルフレーム決定］
サムネイルフレーム決定部１１７は、例えば、画音特徴判定部１１６より供給された特徴フレームの第１の重要度とユーザ情報処理部１２５により得られた同じ特徴フレームの第２の重要度との積を重要度の統合値として求め、この統合値が予め設定されたサムネイルフレーム決定用の閾値以上の特徴フレームをサムネイルフレームとして決定する。あるいは、サムネイルフレーム決定部１１７は、重要度の統合値の高い上位所定数の特徴フレームをサムネイルフレームとして決定するようにしてもよい。

図４に戻ってサムネイルフレーム決定の具体例を説明する。ここでサムネイルフレーム決定用の閾値を"１０"とする。特徴フレームｆ１の第１の重要度は"１"、第２の重要度は"３"であるから統合値は"３"となり、閾値"１０"より小さいため、特徴フレームｆ１はサムネイルフレームとされない。特徴フレームｆ２の第１の重要度は"８"、第２の重要度は"３"であるから統合値は"２４"となり、閾値"１０"より大きいため、特徴フレームｆ２はサムネイルフレームとして決定される。このようにして特徴フレームｆ２、ｆ３，ｆ５，ｆ６，ｆ８，ｆ１１，ｆ１３，ｆ１４がサムネイルフレームとして決定される。

［サムネイル表示枚数決定］
サムネイル表示枚数決定部１１８は、サムネイルフレーム決定部１１７より供給されたサムネイルフレーム総数などをもとに、総てのサムネイルフレームを時系列的に連続する複数のサムネイルフレームの集合からなるページの単位に分割するように、１画面に表示するサムネイル画像の数を「サムネイル表示枚数」として決定する。

図１０はページ単位のサムネイル画像の配置方法を示す図である。同図に示すように、画面Ｄにおいて、それぞれサムネイル画像３１は行列状に配置して表示される。行列内での時間の向きは、例えば、行列内の左上端の位置を（０，０）、右下端の位置を（Ｒ，Ｃ）として、（０，０）→（１，０）→（２，０）→・・・→（Ｒ，０）→（０，１）→（１，１）→・・・→（Ｒ，Ｃ）である。したがって、１画面に表示されるサムネイル画像の数（サムネイル表示枚数）はＲ×Ｃとなる。

次に、このサムネイル表示枚数決定部１１８によるサムネイル表示枚数の算定方法の一例を説明する。
図１１はサムネイル表示枚数決定部１１８によるサムネイル表示枚数の算定手順を示すフローチャートである。図１２は図１１のサムネイル表示枚数の算定方法の説明図である。ここで、行数Ｒおよび列数Ｃはそれぞれの初期値が予め決められており、コンテンツ時間長に対応するページ数Ｐも予め決められている。

サムネイル表示枚数決定部１１８は、まず、動画コンテンツの時間長を入力する（ステップＳ２０１）。動画コンテンツの時間長の情報は、例えば、ＭＰＥＧ−２トランスポートストリームに映像信号に多重化されて配信されるＳＩ（Service Information）、ＥＩＴ（Event Information Table）などの番組情報の中に含まれている。情報処理装置１００は、受信したＭＰＥＧ−２トランスポートストリームに多重化されたデータ信号を分離し、デコードすることで動画コンテンツの時間長の情報を得ることができる。

次に、サムネイル表示枚数決定部１１８は、行数Ｒおよび列数Ｃそれぞれの初期値を設定するとともに、ページ数Ｐの初期値を設定する（ステップＳ３０２）。ここで、行数Ｒおよび列数Ｃそれぞれの初期値は予め決められた値である。ページ数Ｐの初期値も、例えば、コンテンツ時間長との相関により予め決められている。したがって、ステップＳ３０１で取得したコンテンツ時間長からページ数Ｐの初期値が得られる。

次に、サムネイル表示枚数決定部１１８は、サムネイルフレーム決定部１１７により決定されたサムネイルフレームの総数Ｆｉを取得する（ステップＳ３０３）。そして、サムネイル表示枚数決定部１１８は、行数Ｒ、列数Ｃ、ページ数Ｐ、サムネイルフレームの総数Ｆｉが以下の条件を満足するかどうかを判定する（ステップＳ３０４）。
Ｆｉ＜＝Ｐ×Ｒ×Ｃ ・・・（１）

条件を満足しない場合（ステップＳ３０４のＮＯ）、サムネイル表示枚数決定部１１８は、図１２に示すように、行数Ｒの値をインクリメントして（ステップＳ３０５）、上記の条件を満足するかどうかを再度判定する（ステップＳ３０６）。それでも条件を満足しない場合には、サムネイル表示枚数決定部１１８は、列数Ｃの値をインクリメントして（ステップＳ３０７）、上記の条件を満足するかどうかを再度判定する（ステップＳ３０８）。それでも条件を満足しない場合には、サムネイル表示枚数決定部１１８は、ステップＳ３０５に戻り、以降、条件を満足するまでステップＳ３０５からステップＳ３０８までの処理を繰り返す。

サムネイル表示枚数決定部１１８は、条件を満足すると、次式（２）によりページ数Ｐを再計算する（ステップＳ３０９）。
Ｐ＝Ｆｉ／（Ｒ×Ｃ） 但し、Ｐは小数点を繰り上げる。 ・・・（２）
この計算されたＰの値は、（現在画面に表示されているページ番号）／（ページ総数）の形式で画面に表示されるページ情報（例えば図１６の符号３３）の中のページ総数として用いられる。
以上のようにしてサムネイル表示枚数（Ｒ×Ｃ）が決定される。

ところで、１つのサムネイル画像の表示サイズを固定とした場合、サムネイル表示枚数（Ｒ×Ｃ）を増やすと、画面にページ単位の総てのサムネイル画像を表示しきれなくなる可能性がある。そこで、全体的なサムネイル表示領域が略一定となるように、サムネイル表示枚数（Ｒ×Ｃ）に応じて１つのサムネイル画像の表示サイズを可変にしてもよい。あるいは、サムネイル表示枚数（Ｒ×Ｃ）の上限値を予め決めておき、サムネイル表示枚数（Ｒ×Ｃ）が予め決められた上限値を超える場合には、ページ数Ｐを増やすようにしてもよい。

［表示サムネイルページの選択］
表示サムネイル選択部１１９は、図４に示したように、再生中の動画の時刻Ｔ１が表示中のサムネイル画像のページ１の時刻範囲にあるように表示するページ（以下「表示サムネイルページ」と記述する。）を選択する。したがって、例えば、図１３に示すように、再生中の動画の時刻がＴａからＴｂに進んでも、これら動画の２つの時刻Ｔａ、Ｔｂはいずれも同一のページ２の時刻範囲にあるので、表示サムネイルページは変化しないことになる。その後、例えば、図１４に示すように、再生中の動画の時刻がＴｂからＴｃに進むと、この時刻Ｔｃはページ３の時刻範囲にあるので、表示サムネイルページはページ２からページ３に変化する。このようにサムネイル画像はページの単位で切り替えて表示されるので、ユーザは表示サムネイルページ内での各々のサムネイル画像と表示位置とを自身の記憶の中で関連付けてシーンサーチを行うことができ、結果的にシーンサーチの効率を向上させることができる。

［サムネイル表示加工］
サムネイル表示加工部１２２は、表示サムネイル選択部１１９により選択された表示サムネイルページに属する各サムネイルフレームについて、静止画記録部１２１に記録された対応する静止画をベースにサムネイル画像を作成し、これらを表示サムネイル選択部１１９により供給された行列数の情報に従って行列状に並べた表示画像を生成する。また、サムネイル表示加工部１２２は、特徴フレームの重要度などをサムネイル画像の表示形態に反映させたり、システム状態と、ユーザからの操作情報によって、サムネイル画像の表示形態を個別に変えたりすることが可能である。これにより、シーンサーチを行うユーザは、サムネイル画像の中で重要度の高いものを即座に認識することができ、効率的にシーンサーチを行うことができる。

静止画からサムネイル画像を作成する処理の例としては次のようなものである。
・サムネイル表示加工部１２２は、静止画を単純縮小することによってサムネイル画像を生成する。
・サムネイル表示加工部１２２は、静止画の中央部のみ切り抜いて縮小したものをサムネイル画像とする。この場合、サムネイル表示加工部１２２は、静止画の中央部を、例えば縦横１：１比の正方形で切り抜いたり、縦横４：３比の矩形で切り抜いたり、サムネイル表示枚数に応じて最適な縦横比で切り抜いたものをサムネイル画像とする。
・サムネイル表示加工部１２２は、静止画から人の顔部分や、テロップなどの文字情報のように重要部分を矩形で切り抜き縮小したものをサムネイル画像として生成する。

特徴フレームの重要度をサムネイル画像の表示形態に反映させる処理の例としては次のようなものがある。図２３は、特徴フレームの重要度をサムネイル画像の表示形態に反映させたシーンサーチ画面の例である。
・サムネイル表示加工部１２２は、重要度の高いサムネイル画像をカラー画像とし、重要度が低いサムネイル画像はモノクロ画像にするなど、重要度が低いものほど画像を表現する色情報を制限する。
・サムネイル表示加工部１２２は、重要度の高いサムネイル画像を鮮明な画像とし、重要度が低いサムネイル画像をぼかすなど、重要度が低いサムネイル画像ほど、強いぼかし処理をかける。

なお、サムネイル画像の表示形態に反映させる重要度は、第１の重要度であっても、第２の重要度であってもよい。もしくは第１の重要度と第２の重要度との積や和などの統合値であってもよい。

［サムネイル画像の表示形態］
次に、システム状態およびユーザからの操作情報によってサムネイル画像の表示形態を変更する処理の例を説明する。

サムネイル画像の表示形態に関係するシステム状態としては、例えば、通常再生状態と高速再生状態（高速サーチ）がある。通常再生時は、ページ単位のサムネイル画像が１倍速で再生された動画とともに表示される。高速再生（高速サーチ）時は、ページ単位のサムネイル画像が高速再生された動画とともに表示される。これらのシステム状態は、ユーザからの操作情報により更新される。ユーザからの操作情報には、例えば、ページ単位のサムネイル画像の中から１つのサムネイル画像を選択する操作情報、動画の再生速度を指示する操作情報などがある。動画の再生速度には、通常再生のための１倍速と、早送りや早戻し再生のためのＮ倍速がある。

サムネイル表示加工部１２２は、ユーザからの操作情報とシステム状態に基づいてサムネイル画像の表示形態を次のように変更することが可能である。
図１５はシステム状態およびユーザからの操作情報と、サムネイル画像の表示形態との関係を示す図である。

通常再生時に、例えば、ユーザによる十字カーソルキー、マウス、あるいはタッチセンサーパネルなどの操作手段の操作により、任意の時刻のサムネイル画像が選択されると、このサムネイル画像の選択に関する操作情報がシステムコントローラ１２４を通じてサムネイル表示加工部１２２に通知される。サムネイル表示加工部１２２は、この操作情報をもとに、選択された時刻に対応するサムネイル画像の表示形態を表示形態Ａから表示形態Ｂへと変更する。なお、サムネイル画像の表示をオフにして動画のみでのシーンサーチも行うことが可能である。

図１６は、通常再生時のシーンサーチ画面の例を示す図である。同図に示すように、通常再生時のシーンサーチ画面には、行列状に配置された複数のサムネイル画像３１とともに動画表示領域としての動画ウィンドウ３２が表示される。なお、同図では、行列の左上端と右下端だけにサムネイル画像が存在しているように記載されているが、実際には行列中の全ての位置にサムネイル画像が表示されている。この行列状に配置された複数のサムネイル画像３１において、ユーザによって任意のサムネイル画像が選択されたとき、そのサムネイル画像の表示形態が表示形態Ａから表示形態Ｂに変更される。例えば、図１６において、符号３１ａはユーザにより選択されたことで表示形態Ｂに変更されたサムネイル画像を示している。ここで、表示形態Ａのサムネイル画像は、例えば、静止画の中央部から正方形または矩形の部分を切り抜き縮小して得られる画像などである。表示形態Ｂのサムネイル画像は、例えば、静止画をそのまま縮小した画像に外枠を付加することによって得られ、いわゆる「ホップアップ」と呼ばれる表示形態である。各表示形態Ａ、Ｂのサイズの関係はＢ＞Ａである。

システムコントローラ１２４は、上記のように、サムネイル画像の選択に関する操作情報をサムネイル表示加工部１２２に通知する一方で、選択されたサムネイル画像の時刻情報を再生処理部１１２に通知する。再生処理部１１２は、動画ウィンドウ３２に表示する動画の時刻をシステムコントローラ１２４より通知された時刻に切り替え、そのまま動画の通常再生を継続する。このように、通常再生時は、ユーザが任意のサムネイル画像を選択する操作を行うことによって、そのサムネイル画像の時刻へと動画をジャンプさせることができる。

図１７は、通常再生時に動画の時刻の切り替えが発生してからユーザがサムネイル画像に対する操作を何もしないで所定の時間（数秒程度）が経過した時点でのシーンサーチ画面の例を示す図である。動画の時刻が切り替えられた後、ユーザからのシーンサーチに関する操作情報が何も入力されないままでいると、そのまま動画の再生が通常再生の速度で進んで行く。そしてシステムコントローラ１２４は、ユーザからの指示による動画の時刻の切り替えが発生してから所定時間が経過したところで、サムネイル表示加工部１２２に対して現在の動画の時刻を通知する。サムネイル表示加工部１２２は、システムコントローラ１２４から通知された動画の時刻に最も近いサムネイル画像を判定する。サムネイル表示加工部１２２は、判定したサムネイル画像がそれまでポップアップで表示されていたサムネイル画像以外である場合には、例えば図１７に示すように、動画の時刻に最も近いサムネイル画像３１ｂの表示形態を表示形態Ａから表示形態Ｂに変更するとともに、それまでポップアップで表示されていたサムネイル画像の表示形態を表示形態Ｂから表示形態Ａに変更する。このようにしてページ単位で表示される複数のサムネイル画像において、動画の時刻に最も近いサムネイル画像をポップアップで表示することができる。

上記のように、ポップアップで表示されたサムネイル画像は、動画の時刻に同期する「動画同期サムネイル画像」として、表示中の他のサムネイル画像に対して識別可能な形態で表示される。これにより、シーンサーチを行うユーザは、動画に同期するサムネイル画像を一目で捉えることができ、両方を参照しながら目的のシーンをサーチすることができる。さらに、ユーザは興味のあるサムネイル画像を見つけたなら、そのサムネイル画像を選択することによって、そのサムネイル画像の時刻に動画をジャンプさせ、動画からさらにそのシーン内容を確認することなどによっても効率的にシーンサーチを行うことができる。

図１８は、動画の高速再生時のシーンサーチ画面の例を示す図である。動画の高速再生時は、動画の時刻に最も近いサムネイル画像を含む１行分のサムネイル画像３１ｃが表示形態Ｃで表示される。この１行分のサムネイル画像３１ｃは、例えば、上記１行分のサムネイルフレームについて、静止画の中央部から正方形または矩形の部分を切り抜き縮小して互いに連結し、さらにこの連結画像に外枠が付加されることによって得られる。なお、動画の高速再生時も、ポップアップで表示された１行分のサムネイル画像３１ｃ以外のサムネイル画像３１の表示形態には表示形態Ａが採用される。各表示形態Ａ、Ｃのサイズの関係はＣ＞Ａである。

［ポップアップ表示の移動速度制御］
ところで、時間的に隣り合うサムネイルフレームの時刻間の差は様々であることから、動画の通常再生時や高速再生時にサムネイル画像のポップアップ表示の移動速度は一定とならないことが普通である。

図１９は、動画の高速再生時にポップアップ表示の移動速度が一定とならない場合を説明する図である。ここでａからｊは時間軸上のサムネイルフレームの時間位置を示している。時間的に隣り合う２つのサムネイルフレームの時間位置の間の距離（時間間隔）は様々であるが、ここでは仮にａ−ｂ間、ｂ−ｃ間、ｃ−ｄ間の距離を２（秒）とし、ｄ−ｅ間、ｅ−ｆ間、ｆ−ｇ間の距離を６（秒）とし、ｇ−ｈ間、ｈ−ｉ間、ｉ−ｊ間の距離を４（秒）とする。１行分のサムネイル画像の数は３とし、１行目はａ，ｂ，ｃの３つのサムネイル画像で構成され、２行目はｄ，ｅ，ｆの３つのサムネイル画像で構成され、３行目はｇ，ｈ，ｉの３つのサムネイル画像で構成されることとする。ユーザによって指定された再生速度は３倍速とする。

ポップアップ表示される行は時間の経過に従って１行目、２行目、３行目の順に移動する。このとき動画の再生速度が３倍速で一定である場合、
１行目のポップアップ表示時間ｔ１は２秒（＝（２＋２＋２）／３））、
２行目のポップアップ表示時間ｔ２は６秒（＝（６＋６＋６）／３））、
３行目のポップアップ表示時間ｔ３は４秒（＝（４＋４＋４）／３））とそれぞれ計算される。
すなわち、単位時間当たりのサムネイルフレームの数によってポップアップ表示時間が違ってくる。ユーザによるシーンサーチは各サムネイル画像に対して平均的な重みで行われることが好ましい場合が多く、サムネイル画像毎のポップアップ表示時間の長短はユーザに違和感を与えるおそれがある。そこで、ポップアップ表示の移動速度が一定となるように、再生処理部１１２にて動画の再生速度を制御する方法が考えられる。次に、この方法を説明する。

図２０は、ポップアップ表示の移動速度が一定となるように動画の再生速度を制御する方法を説明する図である。ここで、ａからｊの時間軸上のサムネイルフレームの時間位置、時間的に隣り合う２つのサムネイルフレームの時間位置の間の距離（時間間隔）、ユーザによって設定された再生速度はいずれも図１７の条件と同じである。但しこの方法では、行毎のポップアップ表示時間が予め設定されている。ポップアップ表示時間の設定値はユーザにより変更可能である。ここでは、ポップアップ表示時間を４（秒）とする。

ａのサムネイルフレームの時間位置からｄのサムネイルフレームの時間位置直前までの動画の再生速度ｖ１は１．５倍速（＝（２＋２＋２）／４）、
ｄのサムネイルフレームの時間位置からｇのサムネイルフレームの時間位置直前までの動画の再生速度ｖ２は４．５倍速（＝（６＋６＋６）／４）、
ｇのサムネイルフレームの時間位置からｊのサムネイルフレームの時間位置直前までの動画の再生速度ｖ３は３．０倍速（＝（４＋４＋４）／４）と計算される。
このように単位時間当たりのサムネイルフレームの数とは無関係にポップアップ表示の移動速度を一定にすることができる。

なお、ここでは１行分のサムネイル画像がポップアップで表示される場合のポップアップ表示の移動速度を一定する場合について説明したが、１つずつサムネイル画像がポップアップで表示される場合にも、ポップアップ表示の移動速度を一定にするように再生速度を制御してもよい。また、ここでは早送り再生の場合について説明したが、早戻し再生の場合も同様である。

次に、ポップアップ表示対象の複数のサムネイルフレームが複数ページに跨る場合について説明する。この場合、サムネイル表示加工部１２２は、ポップアップ表示対象のサムネイルフレーム数がより多い方のページに属するポップアップ表示対象のサムネイルフレームのみを有効とする。例えば、図２１に示すように、ポップアップ表示数として３が判定された場合で、かつ動画の時刻に最も近いサムネイルフレームがページの先頭（または最後）にあるような場合、サムネイル表示加工部１２２は、ページＮに属するポップアップ表示対象のサムネイルフレーム３５−２、３５−３のみを有効として、これらのサムネイル画像３１ｇを生成する。ポップアップ数が５以上の奇数である場合においても同様である。複数ページに跨るポップアップ表示対象のサムネイルフレーム数が偶数である場合にも、予め決められた前後一方のページに属するサムネイルフレームのみを有効とすればよい。

なお、再生速度に応じてポップアップ表示数の制御が行われる場合、ポップアップ表示対象として判定された複数のサムネイルフレームが複数の行に跨る場合がある。このような場合、サムネイル表示加工部１２２は、図２２に示すように、そのまま複数の行に跨った状態にて、全てのサムネイルフレームに対応するサムネイル画像３１ｈをポップアップで表示する。

以上説明したように、本実施形態によれば、特徴フレーム毎に、特徴の強さを反映した第１の重要度とユーザがサーチで見逃している可能性の高さを反映した第２の重要度とからサムネイル化する特徴フレームが決定されるので、ユーザに良好なシーンサーチ環境を提供することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態を説明する。
本実施形態は、ユーザ情報処理が第１の実施形態と異なるものである。すなわち、第１の実施形態では、各々の特徴フレームに対して、ユーザ操作ログをもとにユーザがサーチで見逃している可能性の高さに応じた第２の重要度を与えることとした。これに対して第２の実施形態では、特徴フレームの画音の特徴データとユーザの嗜好データとのマッチングにより得られる相関度の高さに応じて第２の重要度を計算することとしている。

図２４は第２の実施形態に係る情報処理装置２００の構成を示すブロック図である。同図において、図１と対応するもしくは同一の部分には、２００番台の対応する符号を付してある。ユーザ嗜好データ処理部２２８は、第１の実施形態におけるユーザ操作ログ処理部１２６に代わるものである。ユーザ嗜好データ処理部２２８は、Ｉ／Ｆ部２２３を使ってユーザより入力された嗜好データを受け入れてユーザ嗜好データ記録部２２９に記録する処理を行う。ユーザ嗜好データ記録部２２９は第１の実施形態におけるユーザ操作ログ記録部１２７に代わるものであり、ユーザの嗜好データの記録保存が行われる領域である。ユーザ情報処理部２２５は、第１の実施形態におけるユーザ情報処理部１２５に代わるものである。ユーザ情報処理部２２５は、特徴フレームの画音の特徴データと、ユーザ嗜好データ記録部２２９に保存されたユーザの嗜好データとのマッチングにより得られる相関度の高さに応じてその特徴フレームの第２の重要度を計算する。図２４におけるその他のブロックの機能は第１の実施形態の図１と同様である。

［ユーザの嗜好データの記録］
次に、ユーザの嗜好データの設定について説明する。
例えば、ユーザ嗜好データ処理部２２８はＩ／Ｆ部２２３を通じてユーザに嗜好データ入力用の画面を、画像や音声などによる嗜好データ入力用のガイダンスとともに提供する。このガイダンスに従ってユーザは、嗜好データ入力用の画面に対して自分の興味ある事物のデータをＩ／Ｆ部２２３を通じて入力することができる。ユーザ嗜好データ処理部２２８はその入力データをユーザ嗜好データとして受け入れてユーザ嗜好データ記録部２２９に記録する。

ところで、ユーザによる嗜好データの選択と入力をさらに容易にするために、ユーザの嗜好データのカテゴリは階層化されている。例えば、最上位のカテゴリは、動画コンテンツを対象としたカテゴリと、コマーシャルを対象としたカテゴリとに別けられている。動画コンテンツを対象としたカテゴリは、さらにオブジェクト、トピック、ハイライトなどの下位のカテゴリに別けられ、オブジェクト、トピック、ハイライトなどの各カテゴリもそれぞれ、より具体的な下位のカテゴリに別けられている。さらに下位のカテゴリに別けられてもよい。ユーザは、各々の最下位カテゴリに自分が興味のある事物のデータをＩ／Ｆ部２２３を通じて入力することができる。ユーザからのデータ入力は、ユーザからの事物に関するテキストデータの直接入力による方式と、予め用意されていた候補データの中からの選択による方式がある。これによりユーザは、カテゴリ毎に自分の好みの事物のデータを容易に入力することができる。なお、トピックの嗜好データとは、ユーザが興味のある、例えば、時事問題、スポーツ競技の種類、天気予報といったものである。ハイライトの嗜好データは、例えば、野球・サッカーの得点シーン、相撲の取り組み中のシーン、陸上・体操競技の競技中シーンといったものである。コマーシャルを対象としたカテゴリも同様に階層化されている。コマーシャルの嗜好データは、具体的には、興味のある製品、人物などである。

［ユーザの嗜好データを用いたユーザ情報処理］
ユーザ情報処理部２２５は、特徴フレームの画音の特徴データと、ユーザ嗜好データ記録部２２９に保存されたユーザの嗜好データとのマッチングにより得られる相関度の高さに応じてその特徴フレームの第２の重要度を計算する。

図２５は、ユーザ情報処理部２２５による特徴フレームの第２の重要度の計算例を示す図である。既にユーザ嗜好データ記録部２２９には、ユーザより、例えば、前述したカテゴリ別の嗜好データの入力ガイダンスに従って、人物のカテゴリの嗜好データとして"鈴木○○"と"山田××"が記録され、食べ物のカテゴリの嗜好データとして"メロン"が記録され、トピックのカテゴリの嗜好データとして"国会"と"天気予報"が記録され、コマーシャルのカテゴリの嗜好データとして"ＴＶ（テレビジョン）"が記録されているものとする。

このような嗜好データが設定されていた場合のユーザ情報処理の例を次に説明する。
なお、この動作の説明では、説明の簡単のため、第２の重要度を"低"、"中"、"高"の３段階に求める場合を示している。"低"、"中"、"高"は実際には数値データである。また、特徴フレームの画音の特徴データと嗜好データとで一致したカテゴリ数を相関度とし、一致したカテゴリ数が"２"以上の特徴フレームの第２の重要度を"高"、一致したカテゴリ数が"１"の特徴フレームの第２の重要度を"中"、一致したカテゴリ数が"０"の特徴フレームの第２の重要度を"低"と判定されるように処理のアルゴリズムが決められていることとする。

特徴フレームｆ１の特徴データにはユーザの嗜好データと一致するものが何も含まれてなく、つまり一致したカテゴリ数は"０"であることから、ユーザ情報処理部２２５は、特徴フレームｆ１の第２の重要度として"低"を判定する。
特徴フレームｆ２の特徴データには、ユーザの嗜好データ中の"天気"が含まれており、一致したカテゴリ数は"１"であることから、ユーザ情報処理部２２５は、特徴フレームｆ２の第２の重要度として"中"を判定する。
特徴フレームｆ３の特徴データには、ユーザの嗜好データ中の"国会"と"鈴木○○"が含まれており、一致したカテゴリ数は"２"であることから、ユーザ情報処理部２２５は、特徴フレームｆ３の第２の重要度として"高"を判定する。
特徴フレームｆ４の特徴データには、ユーザの嗜好データ中の"ＴＶ"と"山田××"が含まれており、一致したカテゴリ数は"２"であることから、ユーザ情報処理部２２５は、特徴フレームｆ４の第２の重要度として"高"を判定する。
特徴フレームｆ５の特徴データには、ユーザの嗜好データ中の"メロン"が含まれており、一致したカテゴリ数は"１"であることから、ユーザ情報処理部２２５は、特徴フレームｆ５の第２の重要度として"中"を判定する。
特徴フレームｆ６の特徴データにはユーザの嗜好データと一致するものが何も含まれてなく、つまり一致したカテゴリ数は"０"であることから、ユーザ情報処理部２２５は、特徴フレームｆ６の第２の重要度として"低"を判定する。
特徴フレームｆ７の特徴データにはユーザの嗜好データと一致するものが何も含まれてなく、つまり一致したカテゴリ数は"０"であることから、ユーザ情報処理部２２５は、特徴フレームｆ７の第２の重要度として"低"を判定する。

以上のように本実施形態によれば、特徴フレーム毎に、特徴の強さを反映した第１の重要度とユーザの嗜好との相関を反映した第２の重要度とからサムネイル化する特徴フレームが決定されるので、ユーザに良好なシーンサーチ環境を提供することができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態を説明する。
本実施形態は、第１の実施形態と第２の実施形態とを組み合わせたもので、すなわち本実施形態の情報処理装置は、ユーザ操作ログ情報をもとにする第２の重要度と、特徴フレームの特徴データとユーザ嗜好データとの相関度をもとにする第２の重要度をそれぞれ暫定的な第２の重要度として計算し、それぞれの暫定的な第２の重要度を統合した結果を最終的な第２の重要度として求める。

図２６は第３の実施形態に係る情報処理装置３００の構成を示すブロック図である。同図において、図１および図２と対応するもしくは同一の部分には、３００番台の対応する符号を付してある。同図に示すように、本実施形態に係る情報処理装置３００は、第１の実施形態におけるユーザ操作ログ処理部１２６に相当するユーザ操作ログ処理部３２６、第１の実施形態におけるユーザ操作ログ記録部１２７に相当するユーザ操作ログ記録部３２７、第２の実施形態におけるユーザ嗜好データ処理部２２８に相当するユーザ嗜好データ処理部３２８、第２の実施形態におけるユーザ嗜好データ記録部２２９に相当するユーザ嗜好データ記録部３２９を有する。

ユーザ情報処理部３２５は、第１の実施形態におけるユーザ情報処理部１２５、第２の実施形態におけるユーザ情報処理部２２５に代わるものである。ユーザ情報処理部３２５は、ユーザ操作ログ記録部３２７に保存されたユーザ操作ログ情報をもとに特徴フレーム毎の第２の重要度を、ユーザ操作ログ情報をもとにする暫定的な第２の重要度として算出する。また、ユーザ情報処理部３２５は、特徴フレームの画音の特徴データと、ユーザ嗜好データ記録部３２９に保存されたユーザの嗜好データとのマッチングにより得られる相関度の高さに応じてその特徴フレームの第２の重要度を、特徴フレームの特徴データとユーザ嗜好データとの相関度をもとにする暫定的な第２の重要度として算出する。そして、ユーザ情報処理部３２５は、それぞれの暫定的な第２の重要度をもとに最終的な第２の重要度を求める。図２６におけるその他のブロックの機能は第１の実施形態および第２の実施形態と同様である。

図２７は、ユーザ情報処理部３２５による特徴フレームの最終的な第２の重要度の計算例を示す図である。説明の簡単のため、ここでは第２の重要度が"低"、"中"、"高"の３段階に得られる場合を示している。"低"、"中"、"高"は実際には数値データであり、例えば、低＝１、中＝４、高＝８とする。

特徴フレームｆ１のユーザ操作ログに基づく暫定的な第２の重要度は"低＝１"であり、特徴フレームの特徴データとユーザ嗜好データとの相関度に基づく暫定的な第２の重要度も"低＝１"である。ユーザ情報処理部３２５は、例えば、それぞれの暫定的な第２の重要度の積を最終的な第２の重要度として求めることとした場合、当該特徴フレームｆ１の最終的な第２の重要度は"１"と求められる。

特徴フレームｆ２のユーザ操作ログに基づく暫定的な第２の重要度は"中＝４"であり、特徴フレームの特徴データとユーザ嗜好データとの相関度に基づく暫定的な第２の重要度は"高＝８"である。したがって、当該特徴フレームｆ２の最終的な第２の重要度は"３２"と求められる。

特徴フレームｆ３のユーザ操作ログに基づく暫定的な第２の重要度は"高＝８"であり、特徴フレームの特徴データとユーザ嗜好データとの相関度に基づく暫定的な第２の重要度は"高＝４"である。したがって、当該特徴フレームｆ３の最終的な第２の重要度は"３２"と求められる。以下同様に最終的な第２の重要度が求められる。

なお、上記の説明では、それぞれの暫定的な第２の重要度の積を最終的な第２の重要度として求めることとしたが、それぞれの暫定的な第２の重要度の和を最終的な第２の重要度として求めるようにしてもよい。

以上のように本実施形態によれば、特徴フレーム毎に、特徴の強さを反映した第１の重要度と、ユーザがサーチで見逃している可能性の高さならびにユーザの嗜好との相関を反映した第２の重要度とからサムネイル化する特徴フレームが決定されるので、ユーザに良好なシーンサーチ環境を提供することができる。

＜変形例１＞
［サムネイル間引き処理を伴う表示サムネイルページの選択］
表示サムネイル選択部１１９は、動画の早送り、早戻しなどの高速再生中も、再生中の動画の時刻に最も近い最近サムネイルフレームを含むページを表示サムネイルページとして選択し、選択した表示サムネイルページから、再生速度情報（サーチ速度情報）に応じて一部のサムネイルフレームを間引きしてサムネイル表示枚数を減らすようにしてもよい。より具体的には、表示サムネイル選択部１１９は、再生速度が高いほど間引き率を上げてサムネイル表示枚数を少なくする。

図２８はサムネイル間引き処理の例を示す図である。
ここで、サムネイル表示枚数は８×８＝６４とする。通常再生時、表示サムネイル選択部１１９は、間引きは行わずに６４個全てのサムネイルフレームの情報をサムネイル表示加工部１２２に出力する。その結果、画面に６４個のサムネイル画像が８×８の行列状に配置して表示される。ユーザより再生速度情報（サーチ速度情報）を含む早送り再生または早戻し再生の指示がシステムコントローラ１２４に入力されると、システムコントローラ１２４から再生処理部１１２にその指示が与えられる。再生処理部１１２は、指示された速度で動画の早送りまたは早戻し再生を実行する。また、システムコントローラ１２４は、表示サムネイル選択部１１９にも再生速度情報（サーチ速度情報）を送出する。表示サムネイル選択部１１９は、入力された再生速度情報をもとに次のようにしてサムネイルフレームの間引き処理を行う。

表示サムネイル選択部１１９は、８×８の行列に割り当てられる各サムネイルフレームについて、画音特徴判定部１１６にて得られた特徴フレームの重要度の、行単位の和および列単位の和を計算する。ここで重要度は、第１の重要度であっても、第２の重要度であってもよい。もしくは第１の重要度と第２の重要度との積や和などの統合値であってもよい。表示サムネイル選択部１１９は、行単位の重要度の和が最も低い下位ｑ個の行を判定するとともに、列単位の重要度の和が最も低い下位ｑ個の列を判定する。ここで、ｑの値は、再生速度（サーチ速度）に応じて予め決められた値であり、再生速度（サーチ速度）に比例して大きくなる値である。図２９の例では、ｑ＝２とした。表示サムネイル選択部１１９は、判定したｑ個の行とｑ個の列を８×８の行列から間引き、この結果残った６×６の行列分のサムネイルフレームの情報をサムネイル表示加工部１２２に供給する。

図２９は、表示サムネイル選択部１１９による表示サムネイルページの選択からサムネイル間引き処理までのフローチャートである。
表示サムネイル選択部１１９は、サムネイル表示枚数決定部１１８にて決定されたサムネイル表示枚数Ｍ、行数Ｒ、列数Ｃの情報を取得する（ステップＳ４０１）。続いて、表示サムネイル選択部１１９は、各々のサムネイルフレームの情報（時刻情報）を取得し（ステップＳ４０２）、これらの情報とサムネイル表示枚数決定部１１８にて決定されたページ数Ｐの情報とから、各サムネイルフレームをページ別にページ分けする（ステップＳ４０３）。

次に、表示サムネイル選択部１１９は、システムコントローラ１２４より、再生中の動画の時刻の情報を取得し（ステップＳ４０４）、再生中の動画の時刻が表示サムネイルページの時刻範囲内にあるように表示サムネイルページを決定する（ステップＳ４０５）。

次に、表示サムネイル選択部１１９は、ユーザにより指定された動画の再生速度情報（サーチ速度情報）を取得し（ステップＳ４０６）、その速度が通常再生速度（１倍速）である場合（ステップＳ４０７のＮＯ）、決定した表示サムネイルページに属するサムネイルフレームの情報、行数および列数の各情報をサムネイル表示加工部１２２に出力する（ステップＳ４１１）。この後も表示サムネイル選択部１１９は、再生中の動画の時刻を監視して、表示サムネイルページの決定と、決定した表示サムネイルページに属するサムネイルフレームの情報、行数および列数の各情報のサムネイル表示加工部１２２への出力を繰り返す。

また、ユーザにより指定された動画の再生速度が高速（早送り・早戻し）である場合（ステップＳ４０７のＹＥＳ）、表示サムネイル選択部１１９においてサムネイルの間引き処理が次のように実行される。まず、表示サムネイル選択部１１９は、ユーザにより指定された動画の再生速度から、予め決められたルールに従ってサムネイルの間引き数（ｑの値）を決定する（ステップＳ４０８）。続いて、表示サムネイル選択部１１９は、表示サムネイルページに属するそれぞれサムネイルフレームについて、画音特徴判定部１１６にて得られた特徴フレームの重要度の、行単位の和および列単位の和を計算する（ステップＳ４０９）。

次に、表示サムネイル選択部１１９は、行単位の重要度の和が最も低い下位ｑ個の行と列単位の重要度の和が最も低い下位ｑ個の列を間引き対象の行および列として判定する（ステップＳ４１０）。そして、表示サムネイル選択部１１９は、ステップＳ４０５で決定された表示サムネイルページに属するサムネイルフレームから、間引き対象の行および列に対応するサムネイルフレームを除いた表示対象のサムネイルフレームの情報と、初期の行数からｑの値を差し引いた行数の情報、さらには初期の列数からｑの値を差し引いた列数の情報をサムネイル表示加工部１２２に出力する（ステップＳ４１１）。

以上のように、動画の再生速度に応じてサムネイルフレームの間引きを行うことで、シーンサーチにおいてユーザの意図する精細度を、動画の再生速度と１画面でのサムネイル画像の表示数の両方に反映させることができる。また、行および列の単位でサムネイルフレームの間引きを行うことで、再生速度の変更の前後で、行列内での各サムネイル画像の位置関係が大きく変動することを回避できる。これにより、動画の再生速度（サーチ速度）が異なる各状況下で、同一のサムネイル画像をユーザが容易に発見できるようになり、操作性の向上を期待できる。

以上の実施形態では、特徴フレームの特徴の強さを反映した第１の重要度とユーザがサーチで見逃している可能性の高さを反映した第２の重要度とからサムネイル化する特徴フレームが決定されることとした。しかしながら、本発明は、ユーザがサーチで見逃している可能性の高さを反映した第２の重要度のみからサムネイル化する特徴フレームを決定するものとして応用することが可能である。あるいは、ユーザの嗜好との相関度を反映した第２の重要度のみからサムネイル化する特徴フレームを決定するものとして応用し得る。

その他、本発明は、上述の実施形態および変形例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々更新を加え得ることは勿論である。

１００…情報処理装置
１１１…映像・音声信号記録部
１１２…再生処理部
１１３…表示処理部
１１４…特徴フレーム抽出部
１１５…特徴フレーム情報記録部
１１６…画音特徴判定部
１１７…サムネイルフレーム決定部
１１８…サムネイル表示枚数決定部
１１９…表示サムネイル選択部
１２０…静止画作成部
１２１…静止画記録部
１２２…サムネイル表示加工部
１２３…Ｉ／Ｆ部
１２４…システムコントローラ
１２５…ユーザ情報処理部
１２６…ユーザ操作ログ処理部
１２７…ユーザ操作ログ記録部

Claims (7)

1. 複数のフレームを含む動画から特徴となる１以上のフレームを特徴フレームとして抽出する特徴フレーム抽出部と、
   前記特徴フレーム毎の重要度を算出する重要度算出部と、
   前記重要度算出部により算出された特徴フレーム毎の重要度をもとに、前記抽出された１以上の前記特徴フレームの中の少なくとも一部の特徴フレームをサムネイルフレームとして決定する決定部と、
   前記決定されたサムネイルフレームの中から、ユーザより入力された第１の操作情報をもとに１以上のサムネイルフレームを選択する選択部と、
   前記選択された１以上のサムネイルフレームに対応するサムネイル画像を表示するサムネイル画像表示部と、
   前記ユーザより入力された第１の操作情報を記録する操作情報記録部とを具備し、
   前記重要度算出部は、前記記録された第１の操作情報をもとに、前記サムネイル画像として表示されたことのない特徴フレームが表示されたことのある特徴フレームよりも優先的に前記決定部で前記サムネイルフレームとして決定されるようにそれぞれの前記特徴フレームに重要度を与える
   情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記動画を再生可能な再生処理部と、
   前記ユーザより入力された第２の操作情報をもとに前記再生処理部に前記動画の再生を開始させる制御部とをさらに具備し、
   前記操作情報記録部は、前記第２の操作情報をさらに記録し、
   前記重要度算出部は、前記記録された第２の操作情報をもとに、前記動画として再生されたことのない時間範囲の１以上の前記特徴フレームが、前記動画として再生されたことのある時間範囲の１以上の前記特徴フレームよりも優先的に前記決定部で前記サムネイルフレームとして決定されるようにそれぞれの前記特徴フレームに重要度を与える
   情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記抽出された特徴フレームの特徴に応じた特徴重要度を算出する特徴重要度算出部をさらに具備し、
   前記決定部は、前記算出された特徴重要度と、前記重要度算出部により算出された重要度をもとに、前記抽出された１以上の前記特徴フレームの中の少なくとも一部の特徴フレームをサムネイルフレームとして決定する
   情報処理装置。
4. 請求項３に記載の情報処理装置であって、
   ユーザの嗜好データが記録される嗜好データ記録部をさらに具備し、
   前記重要度算出部は、前記特徴フレーム抽出部により抽出された前記特徴フレームの特徴データと前記嗜好データ記録部に記録された前記嗜好データとの相関度を加味して前記特徴フレームに重要度を与える
   情報処理装置。
5. 特徴フレーム抽出部が、複数のフレームを含む動画から特徴となる１以上のフレームを特徴フレームとして抽出し、
   決定部が、前記特徴フレーム毎の重要度をもとに、前記抽出された１以上の前記特徴フレームの中の少なくとも一部の特徴フレームをサムネイルフレームとして決定し、
   選択部が、前記決定されたサムネイルフレームの中から、ユーザより入力された第１の操作情報をもとに１以上のサムネイルフレームを選択し、
   サムネイル画像表示部が、前記選択された１以上のサムネイルフレームに対応するサムネイル画像を表示し、
   操作情報記録部が、前記ユーザより入力された第１の操作情報を記録し、
   前記重要度算出部は、前記記録された第１の操作情報をもとに、前記サムネイル画像として表示されたことのない特徴フレームが表示されたことのある特徴フレームよりも優先的に前記決定部で前記サムネイルフレームとして決定されるようにそれぞれの前記特徴フレームに重要度を与える
   情報処理方法。
6. 複数のフレームを含む動画から特徴となる１以上のフレームを特徴フレームとして抽出する特徴フレーム抽出部と、
   前記特徴フレーム毎の重要度を算出する重要度算出部と、
   前記重要度算出部により算出された特徴フレーム毎の重要度をもとに、前記抽出された１以上の前記特徴フレームの中の少なくとも一部の特徴フレームをサムネイルフレームとして決定する決定部と、
   前記決定されたサムネイルフレームの中から、ユーザより入力された第１の操作情報をもとに１以上のサムネイルフレームを選択する選択部と、
   前記選択された１以上のサムネイルフレームに対応するサムネイル画像を表示するサムネイル画像表示部と、
   前記ユーザより入力された第１の操作情報を記録する操作情報記録部としてコンピュータを機能させ、
   かつ前記重要度算出部は、前記記録された第１の操作情報をもとに、前記サムネイル画像として表示されたことのない特徴フレームが表示されたことのある特徴フレームよりも優先的に前記決定部で前記サムネイルフレームとして決定されるようにそれぞれの前記特徴フレームに重要度を与えるようにコンピュータを機能させる
   プログラム。
7. 複数のフレームを含む動画から特徴となる１以上のフレームを特徴フレームとして抽出する特徴フレーム抽出部と、
   ユーザの嗜好データが記録される嗜好データ記録部と、
   前記特徴フレーム毎の重要度を算出する重要度算出部と、
   前記重要度算出部により算出された特徴フレーム毎の重要度をもとに、前記抽出された１以上の前記特徴フレームの中の少なくとも一部の特徴フレームをサムネイルフレームとして決定する決定部とを具備し、
   前記重要度算出部は、前記特徴フレーム抽出部により抽出された前記特徴フレームの特徴データと前記嗜好データ記録部に記録された前記嗜好データとの相関度を求め、前記嗜好データとの前記相関度の高い特徴データを有する前記特徴フレームが、優先的に前記決定部で前記サムネイルフレームとして決定されるように当該特徴フレームに重要度を与える
   情報処理装置。