JP2009060539A - 表示制御装置及びその制御方法、プログラム、記録媒体 - Google Patents

Abstract

【課題】 簡易な操作で動画データ全体の内容を把握可能とする技術を提供する。
【解決手段】 動画像に含まれるフレームのサムネイルを表示手段に表示する表示制御装置は、前記動画像に含まれる第１フレームの選択を受け付ける受付手段と、前記第１フレームの、前及び後の少なくともいずれか一方から複数の第２フレームを取得する取得手段と、前記第１フレームのサムネイルと、前記複数の第２フレームのサムネイルとを前記表示手段に表示する表示制御手段と、を備え、前記取得手段は、互いに隣接する、前記第１フレーム又は前記複数の第２フレームのフレーム間隔が、該隣接するフレームが前記第１フレームから離れるに従って広がるように、前記第２フレームを取得する。
【選択図】 図１２

Description

本発明は表示制御装置及びその制御方法、プログラム、記録媒体に関し、特に、動画像に含まれるフレームのサムネイルを表示する技術に関する。

デジタルカメラやデジタルビデオカメラ、携帯電話などのデジタルデバイスの高性能・低価格化、及びこれらの機器に搭載されるストレージの大容量化によって、個人でも簡単に動画データを記録できるようになってきている。それに伴い個人が所有する動画データは多様かつ膨大なものとなっている。このような状況の中、個々の動画データの全容を簡単に短時間で把握したいというニーズや、動画データ内の所望のシーンを素早く検索して再生したいというニーズが、益々高くなってきている。

従来の動画データ内のシーン検索は、一般に、先頭からの再生および早送りによる順次検索により行われている。しかし、シーン検索は、所望とするシーンを検索する作業はユーザにとって多大な時間がかかる大変なものであった。

また、別の検索手法として、動画データから複数のフレーム（静止画）をインデックスフレームとして取り出し、これらをチャプターもしくは代表シーンとしてインデックス表示することで所望のシーンを検索できるようにすることも広く行われている。

しかし、インデックス表示で利用されるインデックスフレームは、動画データ制作者が選択したフレーム、もしくは各種画像処理技術によって自動的に選択された固定的なフレームである。このため、このようなインデックスフレームは、ユーザが所望する動画フレーム（またはシーン）と必ずしも一致しないという課題があった。結果として、表示されたインデックスフレームだけでは、動画データの全容を簡単に短時間で把握することや、所望の動画フレームを素早く検索することが困難な場合があった。

このような課題を解決するために、動画データから取り出すフレームを変更可能とし、所望とする動画フレームをユーザが検索して再生するときの操作性向上を図った構成が知られている（特許文献１、特許文献２）。これらの構成では、動画データのフレームを取り出す時間間隔で階層化し、その階層（時間間隔）を簡単な操作で切り換えることで、動画データの内容を表すインデックスフレームを任意に変更表示できるようにしている。
特開２００６−２７９２６７号公報 特開２００６−１８６６１７号公報

しかしながら、特許文献１、２の構成では、例えば一覧表示されたインデックスフレームを拡大するズームイン操作等を行って、表示するインデックスフレームの時間間隔を短くしている場合、画面に表示されるのは動画データのほんの一部分となってしまう。動画全体を再び把握するためには、例えばズームアウト操作等を行って、時間間隔の長い場合のインデックスフレームを表示し直さなければならない。結果として、目的の動画フレームに行き着くまでに階層の切り替え（ズームイン、ズームアウト）を繰り返さなければならず、ユーザの操作が煩雑であった。

本発明は上記課題に鑑みなされたものであり、簡易な操作で動画データ全体の内容を把握可能とする技術を提供することを目的とする。

上記目的を達成するため、本発明による表示制御装置は以下の構成を備える。即ち、
動画像に含まれるフレームのサムネイルを表示手段に表示する表示制御装置であって、
前記動画像に含まれる第１フレームの選択を受け付ける受付手段と、
前記第１フレームの、前及び後の少なくともいずれか一方から複数の第２フレームを取得する取得手段と、
前記第１フレームのサムネイルと、前記複数の第２フレームのサムネイルとを前記表示手段に表示する表示制御手段と、
を備え、
前記取得手段は、互いに隣接する、前記第１フレーム又は前記複数の第２フレームのフレーム間隔が、該隣接するフレームが前記第１フレームから離れるに従って広がるように、前記第２フレームを取得する。

また、上記目的を達成するため、本発明による表示制御装置の制御方法は以下の構成を備える。即ち、
動画像に含まれるフレームのサムネイルを表示手段に表示する表示制御装置の制御方法であって、
前記動画像に含まれる第１フレームの選択を受け付ける受付工程と、
前記第１フレームの、前及び後の少なくともいずれか一方から複数の第２フレームを取得する取得工程と、
前記第１フレームのサムネイルと、前記複数の第２フレームのサムネイルとを前記表示手段に表示する表示制御工程と、
を備え、
前記取得工程においては、互いに隣接する、前記第１フレーム又は前記複数の第２フレームのフレーム間隔が、該隣接するフレームが前記第１フレームから離れるに従って広がるように、前記第２フレームを取得する。

本発明によれば、簡易な操作で動画データ全体の内容を把握可能とする技術を提供することができる。

以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。また、本実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

＜＜第１実施形態＞＞
（システム構成）
図１は、本発明の第１実施形態に係る動画表示装置（表示制御装置）１００の基本的なシステム構成を示す図である。図１に示すように、動画表示装置１００には動画データが表示可能なディスプレイ１０１が接続される。ユーザからの各種操作指示はリモートコントローラ（リモコン）に代表される操作入力装置１０２で行われる。

本実施形態では、動画表示装置１００はセットトップボックスにより実現される。ただし、動画表示装置１００は、家庭用ゲーム機、デジタルビデオディスク（ＤＶＤ）プレイヤー、ＤＶＤレコーダー、デジタルカメラ、デジタルビデオカメラ、薄型テレビ受像機等のデジタル家電により実現しても構わない。或いは、パーソナルコンピュータ（ＰＣ）やワークステーション、携帯情報端末（ＰＤＡ）等の情報処理装置や、携帯電話、さらには半導体集積回路等の電子部品等で実現しても構わない。

また、操作入力装置１０２は、キーボード、ポインティングデバイス、タッチパネル等で実現してもよい。

（ハードウェア構成）
図２は本実施形態に係る動画表示装置１００のハードウェア構成図である。図２に示すように、動画表示装置１００のハードウェアは、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、ディスプレイインターフェース（ディスプレイＩ／Ｆ）２０４を備える。また、ストレージインターフェース（ストレージＩ／Ｆ）２０５、ストレージ２０６、リモコンインターフェース（リモコンＩ／Ｆ）２０７を備える。

ＣＰＵ２０１は、ストレージ２０６に格納されているアプリケーションプログラム、オペレーティングシステム（ＯＳ：Operating System）や制御プログラム等を実行する。そして、ＲＡＭ２０２にプログラムの実行に必要な情報、ファイル等を一時的に格納する制御を行う。

ＲＯＭ２０３は読み出し専用メモリであり、内部には基本Ｉ／Ｏプログラム等のプログラム、基本処理において使用するフォントデータ、テンプレート用データ等の各種データを記憶する。ＲＡＭ２０２は書き込み可能メモリであり、各種データを一時記憶し、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。

ディスプレイインターフェース２０４は、動画表示装置１００内部で生成される画面情報をディスプレイ１０１が処理可能な信号に変換する。ストレージインターフェース２０５は、動画表示装置１００内部で利用可能なデータ形式とストレージに記憶するためのデータ形式とを互いに変換する。リモコンインターフェース２０７は、操作入力装置１０２からの信号を受信し、動画表示装置１００が処理可能な情報に変換する。

また、図２には示されていないが、ＯＳをはじめ、本発明に係る各処理プログラム、デバイスドライバ等はＲＯＭ２０３に記憶され、適宜ＲＡＭ２０２に一時記憶され、ＣＰＵ２０１によって実行される。ここでＯＳはストレージ２０６に記憶されていてもよく、その場合は電源投入時にＲＡＭ２０２に適宜ＯＳが読み込まれ、ＣＰＵ２０１によって起動される。ストレージ２０６には動画表示装置１００が検索・再生するデータが膨大に記録されており、動画表示装置１００内部に搭載されていても良いし、イーサネット（登録商標）やＵＳＢなどの各種インターフェースを介して接続されていてもよい。またその際ストレージ２０６は複数台接続されていても構わない。

尚、以下、特に断らない限り、他図を用いて説明されたものは同一の符号を付し、その説明を省略する。

（機能構成）
図３は本実施形態に係る動画表示装置１００の機能ブロック図である。図３に示すように、動画表示装置１００は、操作取得部３０１、表示出力部３０２、表示切替部３０３、インデックス画面作成部３０４、インデックスフレーム生成部３０５、フレームグループ化部３０６、フレーム位置検知部３０７を備える。更に、動画データ記憶部３０８、フレームデータ取得部３０９、デコーダ３１０、操作解析部３１１を備える。これらの各機能ブロックは、ハードウェア、ソフトウェアの組み合わせによって様々な形で実現できる。

動画データ記憶部３０８には、動画表示装置１００で検索・再生する動画データが膨大に記憶されている。本実施形態では、動画データ記憶部３０８に記憶されている動画は複数のフレームからなる動画データである。ただし、動画データ記憶部３０８に記憶される動画は、複数の動画フレームからなるもののみに限定されず、本実施形態で利用可能なフレーム形式に変換可能ならば、どのようなフォーマットの動画データであっても構わない。例えば、ＭＰＥＧ−２データはＩ、Ｐ、Ｂのフレームを有するが、本実施形態では、他のフレームとの差違をもとにしたフレーム間圧縮がなされたＰフレーム、Ｂフレームは記憶せず、空間型圧縮のみがなされたＩフレームのみを記憶することができる。また、例えば、ＭｏｔｉｏｎＪＰＥＧでは全フレームを動画データ記憶部３０８に記憶すればよい。

フレームデータ取得部３０９は、動画データ記憶部３０８からフレームのデータを順次読み出す。フレーム位置検知部３０７は読み出されたフレームの動画データ内での位置を検知する。検知されたフレーム位置情報は動画表示装置１００のＲＡＭ２０２に保持され、フレームグループ化部３０６に利用される。

フレームグループ化部３０６は、検知したフレーム位置からの距離に比例した異なるフレーム間隔でグループ化を行う。インデックスフレーム生成部３０５はフレームグループ化部３０６でグループ化されたグループから代表となるフレームを取り出し、インデックスフレームを作成する。

インデックス画面作成部３０４はインデックスフレーム生成部３０５で作成された複数枚のインデックスフレームをフレーム順に配列した画面を作成する。作成されたインデックス画面は表示切替部３０３を介して表示出力部３０２からデジタルＴＶ等のディスプレイ１０１に出力される。

操作取得部３０１は、ユーザからの操作内容をリモコンインターフェース２０７から取得する。操作解析部３１１は、操作取得部３０１が取得した操作内容を解析する。表示切り替え部３０３は、操作解析部３１１による解析結果に基づいて、ユーザが所望するようにインデックス画面の表示を切り替える。また、フレームデータ取得部３０９は、操作解析部３１１による解析結果に基づきユーザ所望の動画を取得する。デコーダ３１０は、フレームデータ取得部３０９が取得したフレームをデコードして画像を取得する。

（操作入力装置）
ユーザはディスプレイ１０１に出力された画面を確認し、操作入力装置１０２を利用することによって、動画表示装置１００への各種操作を行う。図４は動画表示装置１００を操作するための操作入力装置１０２の一例を示す図である。

本実施形態において操作入力装置はリモコン４００である。リモコン４００は、フォーカスしているフレームを変更するための左右ボタン４０２、４０５、フォーカスしているフレームの選択を確定するためのＯＫボタン４０３を備えている。本実施形態では、ＯＫボタン４０３でフレームの選択確定操作を行うと該選択したフレーム位置から動画データを再生することができる。また本実施形態では利用しないが、リモコン４００は上下ボタン４０１、４０４も備えている。

ユーザがリモコン４００を使って指示する各種操作は、操作取得部３０１を経由して動画表示装置１００に取り込まれ、操作解析部で解析された結果が表示切替部３０３、フレームデータ取得部３０９へフィードバックされる。

（俯瞰用インデックス表示処理）
図５は、本実施形態において動画表示装置１００が実行する俯瞰用インデックス表示処理のメインフローを示すフローチャートである。このフローチャートを参照して、本実施形態における俯瞰用インデックス表示処理の詳細を説明する。以下の各ステップの処理は、ＣＰＵ２０１の制御に基づいて実行される。

図５に示すように、動画表示装置１００において俯瞰用インデックス表示が開始されると、動画表示装置１００は、まず、インデックス表示を行う動画データのフレーム総数を取得する（ステップＳ１０）。取得した値は変数ｓｕｍに保持する。

次に、動画表示装置１００は、インデックス表示を行う動画データの先頭フレームにフォーカスをあわせる（ステップＳ１１）。

次に、その先頭フレームをもとに初期表示されるインデックス表示画面を作成する（ステップＳ１２）。このときに作成される初期インデックス表示画面について、図１１を参照して説明する。図１１は初期インデックス表示画面の一例を示す図である。

図１１に示すように、フォーカス（第１フレーム）しているフレームおよびインデックスフレーム（第２フレーム）はフレーム順に整列して表示される。本実施形態では、フォーカスしているフレームをインデックスフレームより大きいサイズで表示することで区別しているが、色や形などで区別して表示しても構わない。インデックス画面を表示する処理の詳細は後述する。

ユーザはディスプレイ１０１に表示された初期のインデックス表示画面とリモコン４００を利用して、動画表示装置１００に指示を行う。リモコン４００の左右キー（４０２、４０５）が押下されると（ステップＳ１３でＹＥＳ）、動画表示装置１００は、フォーカスされているフレームを左または右に移動する（ステップＳ１４）。

そして、その新たにフォーカスされたフレームをもとにインデックス表示画面を再び作成する（ステップＳ１５）。インデックス画面を表示する処理の詳細は後述する。

次に、ディスプレイ１０１に更新表示する（ステップＳ１６）。この時作成されるインデックス表示画面について、図１２を参照して説明する。図１２はインデックス表示画面の一例を示す図である。

図１２に示すように、動画表示装置１００は、フォーカスしているフレームの近傍を細かな（小さい）フレーム間隔で、遠方を粗い（大きな）フレーム間隔でインデックス表示を行う。ユーザは、このように表示されているフレームを、リモコン４００のＯＫボタン４０３を押下することによって選択することで、選択されたフレームからの動画再生が可能である。

インデックス表示終了の指示がなされる（ステップＳ１７でＹＥＳ）と、動画表示装置１００は、図１１に示す俯瞰用インデックス表示処理のメインフローを終了する。

（インデックス画面作成処理）
次に、図５のフローチャートのステップＳ１２、Ｓ１５で実行するインデックス画面作成処理について、図６〜図８を参照して説明する。図６は、本実施形態におけるインデックス画面作成のアルゴリズムを説明する図であり、図７、図８は、インデックス画面作成処理のフローを示すフローチャートである。

図６のように、インデックス画面作成処理では、フォーカスしているフレームの位置ｘから前後の等しい距離、即ち、等しいフレーム間隔でフレームをグループ化し、そのグループから代表となるインデックスフレームを取り出す処理を実行する。以下、図７、図８を参照してインデックス画面作成処理のフローを説明する。

図７に示されるように、インデックス画面作成処理が開始されると、まず最初に初期化処理（ステップＳ２０）を行う。図９は、初期化処理の処理フローを示すフローチャートである。

初期化処理では、まず増分フレーム間隔の設定を行う（ステップＳ５０）。動画表示装置１００において生成されるインデックスフレームは異なるフレーム間隔でグループ化されたグループの代表フレームである。この増分フレーム間隔を適切に設定することによって、様々なフレーム間隔でのグループ化が可能となる。本実施形態においては、前記のように増分フレーム間隔をΔｆに設定し、フレーム間隔をフォーカスフレームの位置からの距離に比例して広げるようにする。ただし、これ以外にも、例えば、増分フレーム間隔をフォーカスフレームの位置に応じて減少するように設定したり、二次曲線的に増加するようにしても構わない。

次に初期フレームの間隔をＦ０１＝０、Ｆ０２＝０に設定し（ステップＳ５１）、インデックス表示枚数をＩに設定する（ステップＳ５２）。インデックス表示枚数Ｉは画面に表示するインデックスフレームの数を示す定数であり、例えば、インデックス表示に６枚のインデックスフレームを表示する場合はＩ＝６が設定される。

次に、インデックス画面作成処理で作成されたインデックスフレームの数を保持しておくための変数ｉを０に初期化する（ステップＳ５３）。そして、処理回数の初期化ｃｎｔ＿０１＝１、ｃｎｔ＿０２＝１（ステップＳ５４）とチェックフラグの初期化ｃｈｋ＿０１＝ｆａｌｓｅ、ｃｈｋ＿０２＝ｆａｌｓｅ（ステップＳ５５）を行う。

ここで、チェックフラグｃｈｋ＿０１は、フォーカスしているフレームの後からのフレーム取得を完了したか否か、言い換えると、フォーカスしているフレームの後のフレームを更に取得できるか否かを示すフラグである。ｃｈｋ＿０１＝ｆａｌｓｅはフレーム取得が完了していないこと、即ち、更にフレームを取得できることを示しており、ｃｈｋ＿０１＝ｔｒｕｅはフレーム取得が完了したことを示す。同様に、チェックフラグｃｈｋ＿０２は、フォーカスしているフレームの前からのフレーム取得を完了したか否か、言い換えると、フォーカスしているフレームの前のフレームを更に取得できるか否かを示すフラグである。これで初期化処理のフローは終了し、インデックス画面作成処理フローにリターンする。

図７の説明に戻る。初期化処理（ステップＳ２０）が終了すると、フォーカスしているフレームの動画データ内での位置を検知して、変数ｘに保持する（ステップＳ２１）。

次に、ｃｈｋ＿０１＝＝ｆａｌｓｅの判定、即ちｃｈｋ＿０１がｆａｌｓｅであるか否かの判定を行う（ステップＳ２２）。ｃｈｋ＿０１がｔｕｒｅならば（ステップＳ２２でＮＯ）ステップＳ２３へ進み、ｆａｌｓｅならば（ステップＳ２２でＹＥＳ）ステップＳ２４へ進む。

ステップＳ２３では、さらにｃｈｋ＿０２＝＝ｔｕｒｅの判定を行う。ｃｈｋ＿０２がｆａｌｓｅならば（ステップＳ２３でＮＯ）ステップＳ３４へ移行し、ｔｒｕｅならば（ステップＳ２３でＹＥＳ）ステップＳ４５へ処理フローは移行する。

ステップＳ２４では、ｘからのフレーム間隔がＦ０１のフレームｎを取得する。次に、ｓｕｍ＞＝ｎの判定を行い（ステップＳ２５）、ｓｕｍ＜ｎであれば（ステップＳ２５でＮＯ）ステップＳ２６へ移行し、ｓｕｍ＞＝ｎであれば（ステップＳ２５でＹＥＳ）ステップＳ２７へ移行する。

ステップＳ２６では、ｃｈｋ＿０１にｔｒｕｅを設定する。そして、処理フローはステップＳ３４へ移行する。

ステップＳ２７では、さらにｘからのフレーム間隔がＦ０１＝Ｆ０１＋ｃｎｔ＿０１＊Δｆのフレームｎ＿１を取得する（ステップＳ２７）。次に、ｓｕｍ＞＝ｎ＿１の判定を行い（ステップＳ２８）、ｓｕｍ＞＝ｎ＿１であれば（ステップＳ２８でＹＥＳ）ステップＳ２９へ移行し、ｓｕｍ＜ｎ＿１であれば（ステップＳ２８でＮＯ）ステップＳ３０へ移行する。

ステップＳ２９では、ｎ〜ｎ＿１間のフレームをグループ化する。そして、ステップＳ３１へ進む。

一方、ステップＳ３０では、ｎ〜ｓｕｍ間のフレームをグループ化する。そして、ステップＳ３１へ進む。

ステップＳ３１では、このグループ化されたフレームからインデックスフレームをインデックスフレーム生成処理によって生成する。インデックスフレームの生成処理（ステップＳ３１）については後で、その詳細を説明する。

グループ化したフレームからインデックスフレームを生成する（ステップＳ３１）と、次に、処理回数ｃｎｔ＿０１および生成したインデックスフレームの枚数ｉをそれぞれインクリメントする（ステップＳ３２）。

次に、この時生成されたインデックスフレーム総数が表示可能なインデックスフレーム枚数Ｉと等しいか否かを判定する。等しくない場合（ステップＳ３３でＮＯ）はステップＳ３４へ移行し、等しい場合（ステップＳ３３でＹＥＳ）はステップＳ４５へ移行する。

次に、図８を参照してインデックス画面作成処理の後半の動作を詳細に説明する。ステップＳ３４では、ｃｈｋ＿０２＝＝ｆａｌｓｅの判定を行う。ｃｈｋ＿０２がｔｕｒｅならば（ステップＳ３４でＮＯ）ステップＳ３５へ進み、ｃｈｋ＿０２がｆａｌｓｅならば（ステップＳ３４でＹＥＳ）ステップＳ３６へ進む。

ステップＳ３５では、さらにｃｈｋ＿０１＝＝ｔｕｒｅの判定を行う。ｃｈｋ＿０１がｔｒｕｅならば（ステップＳ３５でＹＥＳ）ステップＳ４５へ移行し、ｆａｌｓｅならば（ステップＳ３５でＮＯ）ステップＳ２２へ移行する。

一方、ステップＳ３６では、ｘからのフレーム間隔がＦ０２のフレームｍを取得する。次に、ｍ＞１の判定を行い（ステップＳ３７）、ｍ＜＝１ならば（ステップＳ３７でＮＯ）ステップＳ３４へ移行し、ｍ＞１ならば（ステップＳ３７でＹＥＳ）ステップＳ３８へ移行する。

ステップＳ３４では、ｃｈｋ＿０２にｔｕｒｅを設定し、処理フローはステップＳ２２へ移行する。

一方、ステップＳ３８では、さらにｘからのフレーム間隔がＦ０２＝Ｆ０２−ｃｎｔ＿０２＊Δｆのフレームｍ＿１を取得する。

次に、ｍ＿１＞＝１の判定を行う（ステップＳ３９）。ｍ＿１＞＝１の場合（ステップＳ３９でＹＥＳ）はステップＳ４０へ進み、ｍ＿１＜１の場合（ステップＳ３９でＮＯ）はステップＳ４１へ進む。

ステップＳ４０では、ｍ〜ｍ＿１間のフレームをグループ化する。そして、ステップＳ４２へ進む。

ステップＳ４１では、１〜ｍ間のフレームをグループ化する。そして、ステップＳ４２へ進む。

ステップＳ４２では、ステップＳ４０又はＳ４１でグループ化されたフレームからインデックスフレームをインデックスフレーム生成処理により生成する。インデックスフレームの生成処理（ステップＳ４２）については後で、その詳細を説明する。

グループ化したフレームからインデックスフレームが生成される（ステップＳ４２）と、処理回数ｃｎｔ＿０２と生成したインデックスフレームの枚数ｉとをそれぞれインクリメントする（ステップＳ４３）。

次に、この時までに生成されたインデックスフレーム総数ｉが表示可能なインデックスフレーム枚数Ｉと等しいか否かを判定する。等くない場合（ステップＳ４４でＮＯ）はステップＳ２２へ進み、等しい場合（ステップＳ４４でＹＥＳ）はステップＳ４５へ進む。 ステップＳ４５では、フォーカスしているフレームと生成したインデックスフレームをフレーム順に整列する。そして、ステップＳ４６において、出力画面として俯瞰用インデックス画面を作成する。

以上の処理でインデックス画面作成処理は完了し、作成されたインデックス画面が動画表示装置１００のメインフローにリターンされ、ディスプレイ１０１に表示される。

（インデックスフレーム生成処理）
次に図１０を参照して、本実施形態におけるインデックスフレーム生成処理（ステップＳ３１，Ｓ４２）の動作を説明する。図１０は、インデックスフレーム生成処理のフローを示すフローチャートである。

インデックスフレーム生成処理が開始されると、まずグループから代表となるフレームの切り出し（取得）を行う（ステップＳ６０）。本実施形態ではグループを代表するフレームとして、グループの末尾のフレームを切り出すようにした。もちろんグループ先頭のフレーム、もしくは画像処理技術で選択されたフレーム、もしくは動画データに予め記録されているチャプターフレームなどを優先的に代表フレームとして切り出しても構わない。

次に切り出したフレームの付加情報を保持し（ステップＳ６０）、それらの情報をもとにインデックスフレームを生成する（ステップＳ６２）。以上の処理でインデックスフレーム生成処理は完了し呼び出し元の処理にその結果がリターンされる。

以上のように、本実施形態に係る構成は、動画像に含まれるフォーカスフレーム（第１フレーム）の選択を受け付ける受付処理を行い、フォーカスフレームの前及び後の少なくともいずれかから複数のインデックスフレーム（第２フレーム）を取得する。そして、フォーカスフレームのサムネイルと、複数のインデックスフレームのサムネイルとをディスプレイ１０１に表示する表示制御処理を行う。ここで、動画表示装置１００互いに隣接するフォーカスフレーム又は複数のインデックスフレームのフレーム間隔が、該隣接するフレームがフォーカスフレームから離れるに従って広がるように、インデックスフレームを取得する。

このため、本実施形態に係る構成によれば、動画フレームの選択に応じて動画コンテンツを俯瞰するためのインデックスフレームが表示されるため、ユーザは動画コンテンツの大まかな流れを容易に把握することができる。また、インデックスフレームの間隔は、フォーカスフレーム位置の近傍では狭く、遠方では広く設定されるため、異なるフレーム間隔で動画の流れを把握することができる。そして、ユーザは、注目しているフォーカスフレームの近傍ではフレームを細かく確認できると同時に、フォーカスフレームの遠方では動画のおおまかな変化を確認することができ、所望とするシーンを容易に探し当てることができる。従って、ユーザは簡易な操作で動画データ全体の内容を把握可能である。

また、動画表示装置１００は、動画像の時間軸に対応するスクロール領域をディスプレイ１０１に表示するとともに、フォーカスするフレーム位置をユーザからのスクロール操作に応じてスクロール領域においてスクロールしてディスプレイ１０１に表示する。そして、ユーザのスクロール操作に応じて、フォーカスされたフレーム位置に対応するフレームをフォーカスフレームの選択として受け付ける。このため、ユーザはスクロールという簡易な操作のみで動画データ全体の内容を把握することができる。

また、動画表示装置１００は、互いに隣接するインデックスフレームのフレーム間隔が、フォーカスフレームと該フォーカスフレームに隣接するインデックスフレームとの距離の倍数となるように、インデックスフレームを取得する。このようにインデックスフレームは規則的に取得されるため、ユーザは簡易な操作で動画データ全体の内容を把握可能である。

また、動画表示装置１００は、動画像に含まれるフレームを複数のグループに分けるとともに、このグループのそれぞれから代表となるフレームをインデックスフレームとして取得する。このように、インデックスフレームは各グループを代表するフレームであるため、ユーザはインデックスフレームのサムネイルを参照することで動画データ全体の内容を容易に把握可能である。

また、動画表示装置１００は、ユーザからの指示に応じてフォーカスフレームから動画像を再生するように制御する。このため、ユーザは所望とするフレームから動画を再生して内容を確認することができる。

また、動画表示装置１００は、フォーカスされているフレームの移動にともなって、俯瞰用インデックス表示を次々に更新する。これにより、単に動画フレームを１枚１枚表示していくよりも簡単かつ短時間に、動画データの大まかな流れを把握することが可能となる。

＜＜第２実施形態＞＞
次に、本発明の第２実施形態について図面を参照して詳細に説明する。本実施形態は、インデックス画面作成処理で作成される俯瞰用インデックス表示を動画フレームのスクロール表示と一緒に出力することが第１実施形態と異なっている。

ここで、システム構成図、ハードウェア構成図は図１、図２を用いて説明した第１実施形態と同様である。また機能ブロック図は図３を用いた第１実施形態と同様である。また動画表示装置１００を操作するための操作入力装置は図４を用いて説明した第１実施形態と同様である。また動画表示装置１００のメインフロー処理および俯瞰用インデックス表示処理フローも図５〜図１０を参照して説明した第１実施形態と同様である。尚、本実施形態においても、特に断らない限り、他図を用いて説明されたものには同一の符号を付し、その説明を省略する。

図１３、図１４は、本実施形態において出力される画面表示の一例を示す図である。図１３は動画表示装置１００が俯瞰インデックス表示を開始する際の初期のインデックス表示である。フォーカスしているフレームがスクロールするのに応じて、図１４に示すようなインデックス表示に逐次更新して表示する。ユーザは、この時表示されているフレームを、リモコン４００のＯＫボタン４０３を押下して選択することで、選択されたフレームからの動画再生が可能である。

本実施形態では動画フレームのスクロール表示を表示画面下部に表示し、俯瞰用インデックス表示を表示画面上部に表示する例を示したが、この限りではない。また動画フレームのスクロール表示において、フォーカスされているフレームを他のフレームと区別するために、フォーカスされたフレームを他のフレームより大きいサイズで表示しているが、色や形などで区別して表示しても構わない。

本実施形態では、動画フレームのスクロール表示に加えて、スクロール表示位置に応じて逐次更新されるインデックス表示を俯瞰表示として同時に表示する。これにより、動画フレーム検索時のスクロール操作に対する操作性を向上することができる。このことを図１５を用いて簡単に説明する。図１５は、動画フレーム検索において操作性が向上することを説明する図である。

例えば動画データ内でフォーカスされているフレームが図１５のような位置にあり、ＣＭが図に示すような長さ（１５０５）存在する場合、本実施形態における動画表示装置１００を用いることで簡単にＣＭをスキップすることが可能となる。ここで１５０１〜１５０４はフレームグループ化部３０６でグループ化されたフレーム間隔の異なるグループを表している。また各グループから切り出されるインデックスフレームはインデックスフレーム生成部３０５で生成され、本実施形態においては各グループの末尾のフレームとなっている。

この時、フレームグループ１５０１のインデックスフレームを参照することで、このフレーム範囲はまだＣＭ中であることが確認できる。さらにグループ１５０２のインデックスフレームを参照し、このフレーム範囲もまだＣＭ中であることが確認できる。同様にグループ１５０３のフレーム範囲もＣＭ中であることが確認できる。そしてグループ１５０４のインデックスサムネイルを参照するともう既にＣＭが終了し、本編がはじまっていることが確認できる。従って、上記よりフレームグループ１５０１〜１５０３の間のフレームはスクロールによって高速にスキップしてよいと判断できる。

以上のように本実施形態では、フォーカスされているフレームの近傍を細かなフレーム間隔、遠方を粗いフレームという具合に異なるフレーム間隔（粒度）でインデックスフレームを表示する。これによりユーザは、スキップできるフレーム範囲を簡単に判断することができる。細かなフレーム間隔でのみインデックスフレームを表示すれば、スキップ判定するまでの判定回数が増加する。逆に粗いフレーム間隔でのみインデックスフレームを表示すれば、ＣＭと本編の切れ目をとらえられない可能性が高くなる。これに対して、本実施形態では、動画データを検索している際に、所望の動画シーンが近くにない場合、異なる間隔（粒度）でインデックスフレームを表示することができる。従って、ユーザは、より少ない判定回数でより多くのフレームをスキップすることが可能となる。

また、動画表示装置１００は、フォーカスフレームの、前及び後の少なくともいずれか一方から、予め定められた数の連続するフレームのサムネールをディスプレイ１０１に表示する。このため、ユーザはフォーカスフレームの前後を確認して、より容易かつ適切にフォーカスフレームを選択することができる。

＜＜その他の実施形態＞＞
以上、本発明の実施形態例について詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様を取ることが可能である。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

尚、本発明の目的は、前述した実施形態の機能を実現するプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成してもよい。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の技術的範囲に含まれる。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含む。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、次のものが含まれる。即ち、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）等が含まれる。

その他、プログラムの供給形態としては、次のようなものも考えられる。即ち、クライアント装置のブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明に係るコンピュータプログラム、或いは、圧縮され自動インストール機能を含むファイルをＨＤ等の記録媒体にダウンロードする形態も考えられる。また、本発明に係るプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、次のような供給形態も考えられる。即ち、まず、本発明に係るプログラムを暗号化してＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記憶媒体に格納してユーザに配布する。そして、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報の使用により暗号化されたプログラムを実行してコンピュータにインストールさせて本発明に係る構成を実現する。このような供給形態も可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、次のような実現形態も想定される。即ち、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づいても前述した実施形態の機能が実現される。即ち、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

上記のように、本構成によれば、ユーザは、逐次更新されるインデックス表示を利用することにより、動画データの大まかな流れをより簡単かつ短時間に把握することが可能となる。

また、本構成は、動画フレームのスクロール表示の際に加えて、該スクロール表示位置に連動して逐次更新されるインデックス表示を俯瞰表示として同時に表示する。これにより、動画フレーム検索時のスクロール操作に対する操作性を向上することが可能となる。このとき、本構成は、スクロール位置からの距離に比例して異なるフレーム間隔でフレームをグループ化し、該グループからインデックスフレームを取り出す。これにより、ユーザは、異なるフレーム間隔（粒度）で動画の流れを把握することが可能となる。つまり所望の動画シーンが近くにない場合に、ユーザは、この異なるフレーム間隔（粒度）で表示される俯瞰用インデックス表示を利用することで、どこまで動画フレームを飛ばしてスクロールすれば良いかを判断することができる。

動画表示装置の基本的なシステム構成を示す図である。 動画表示装置のハードウェア構成図である。 動画表示装置の機能ブロック図である。 動画表示装置を操作するための操作入力装置の一例を示す図である。 俯瞰用インデックス表示処理のメインフローを示すフローチャートである。 インデックス画面作成のアルゴリズムを説明する図である。 インデックス画面作成処理のフローを示すフローチャートである。 インデックス画面作成処理のフローを示すフローチャートである。 初期化処理の処理フローを示すフローチャートである。 インデックスフレーム生成処理のフローを示すフローチャートである。 初期インデックス表示画面の一例を示す図である。 インデックス表示画面の一例を示す図である。 出力される画面表示の一例を示す図である。 出力される画面表示の一例を示す図である。 動画フレーム検索において操作性が向上することを説明する図である。

Claims (9)

1. 動画像に含まれるフレームのサムネイルを表示手段に表示する表示制御装置であって、
   前記動画像に含まれる第１フレームの選択を受け付ける受付手段と、
   前記第１フレームの、前及び後の少なくともいずれか一方から複数の第２フレームを取得する取得手段と、
   前記第１フレームのサムネイルと、前記複数の第２フレームのサムネイルとを前記表示手段に表示する表示制御手段と、
   を備え、
   前記取得手段は、互いに隣接する、前記第１フレーム又は前記複数の第２フレームのフレーム間隔が、該隣接するフレームが前記第１フレームから離れるに従って広がるように、前記第２フレームを取得する
   ことを特徴とする表示制御装置。
2. 前記表示制御手段は、
   前記動画像の時間軸に対応するスクロール領域を前記表示手段に表示するとともに、フォーカスするフレーム位置をユーザからのスクロール操作に応じて該スクロール領域においてスクロールして前記表示手段に表示し、
   前記受付手段は、
   前記スクロール操作に応じて、前記フォーカスされたフレーム位置に対応するフレームを前記第１フレームの選択として受け付ける
   ことを特徴とする請求項１に記載の表示制御装置。
3. 前記取得手段は、
   互いに隣接する第２フレームのフレーム間隔が、前記第１フレームと該第１フレームに隣接する第２フレームとの距離の倍数となるように、前記第２フレームを取得する
   ことを特徴とする請求項１又は２に記載の表示制御装置。
4. 前記動画像に含まれるフレームを複数のグループに分けるグループ化を更に備え、
   前記取得手段は、前記グループのそれぞれから代表となるフレームを前記第２フレームとして取得する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の表示制御装置。
5. 前記表示制御手段は、更に、
   前記第１フレームの、前及び後の少なくともいずれか一方から、予め定められた数の連続するフレームのサムネールを前記表示手段に表示する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の表示制御装置。
6. ユーザからの指示に応じて前記第１フレームから前記動画像を再生するように制御する制御手段を更に備える
   ことを特徴とする請求項１乃至５のいずれか１項に記載の表示制御装置。
7. 動画像に含まれるフレームのサムネイルを表示手段に表示する表示制御装置の制御方法であって、
   前記動画像に含まれる第１フレームの選択を受け付ける受付工程と、
   前記第１フレームの、前及び後の少なくともいずれか一方から複数の第２フレームを取得する取得工程と、
   前記第１フレームのサムネイルと、前記複数の第２フレームのサムネイルとを前記表示手段に表示する表示制御工程と、
   を備え、
   前記取得工程においては、互いに隣接する、前記第１フレーム又は前記複数の第２フレームのフレーム間隔が、該隣接するフレームが前記第１フレームから離れるに従って広がるように、前記第２フレームを取得する
   ことを特徴とする表示制御装置の制御方法。
8. コンピュータを請求項１乃至６のいずれか１項に記載の表示制御装置として機能させるためのプログラム。
9. 請求項８に記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。

Images