JP2008311847A - 表示制御装置、表示制御方法、プログラム - Google Patents

表示制御装置、表示制御方法、プログラム Download PDF

Info

Publication number
JP2008311847A
JP2008311847A JP2007156439A JP2007156439A JP2008311847A JP 2008311847 A JP2008311847 A JP 2008311847A JP 2007156439 A JP2007156439 A JP 2007156439A JP 2007156439 A JP2007156439 A JP 2007156439A JP 2008311847 A JP2008311847 A JP 2008311847A
Authority
JP
Japan
Prior art keywords
scene
image data
image
display
bit rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007156439A
Other languages
English (en)
Inventor
Satoshi Ebato
聡 江波戸
Atsushi Okumura
敦史 奥村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007156439A priority Critical patent/JP2008311847A/ja
Publication of JP2008311847A publication Critical patent/JP2008311847A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】シーンに相当するビデオコンテンツについての検索一覧表示に関して、これまでよりも高い一覧性、検索性を有し、ユーザにとっても利便性、有用性の高められたものを提供する。
【解決手段】選択されたシーンのビデオコンテンツについて、その再生時間経過により変化するビットレートを認識する。シーン内インデックス画像のデータをビデオコンテンツから抜き出すのにあたり、そのための時間間隔(抽出時間間隔)について、ビットレートが一定未満の区間では抽出時間間隔Tm1を設定し、一定以上の区間では、Tm1より短い抽出時間間隔Tm2を設定する。そして、この抽出時間間隔設定により抜き出したとされるシーン内インデックス画像を、ビデオコンテンツの再生時間進行に対応する配列順により配列させるようにしてシーン内インデックス領域に貼り付ける画像処理を実行する。
【選択図】図10

Description

本発明は、表示デバイスの表示画面部位に対して画像を表示出力させるための表示制御を実行する表示制御装置とその方法に関する。また、このような表示制御装置が実行するプログラムに関する。
例えば記憶媒体に記憶されている動画像コンテンツについての検索一覧表示を行う手法として、タイトル単位若しくはチャプタ単位に相当するサムネイル画像やアイコンを配列表示させることが、広く行われている。また、このような検索一覧表示は、サムネイル画像などとして表示されたタイトル、チャプタを選択することにより、その選択されたタイトル、チャプタからの再生を開始させるようにされたGUI(Graphical User Interface)として構成されていることが通常である。例えば、特許文献1には、このような技術として、動画撮影が可能な撮像装置(インテリジェントビデオカメラ)において、これまでに撮影記録したシーンにつき1つの代表画像を生成し、これらの代表画像(アイコン)を1画面上に表示させるものが開示されている。
なお、上記の「シーン」とは、撮像装置による動画記録の開始から終了までに対応して得られる動画像コンテンツの単位を指すものであり、他に「カット」「ショット」などともいわれる。
しかし、上記のような動画像コンテンツの一覧表示では、1シーンにつき、そのシーン内から抽出した或る1フレーム分相当の1枚のサムネイル画像のみを提示するものであるために、各シーンの中身の内容をユーザが把握しにくく、この点で、動画像コンテンツを検索する手法としては決して使い易いものであるとはいえない。一般に、撮像装置により撮影記録されるシーンの記録時間長は、数秒程度から数十分程度とかなりばらつくが、上記の問題は、シーンが長尺になるほど顕著になる。
そこで、特許文献2のようにして、検索一覧表示として、一連(1シーン分)の動画像から時系列に沿って所定タイミング(所定の一定時間間隔)で抽出した複数のインデックス画像(サムネイル画像)を、上記の時系列に沿わせるようにして配列表示させる技術が考え出されている。
このような検索一覧表示であれば、1シーン内から抜き出したとされる静止画像が一定時間間隔ごとに時系列で提示されることとなるので、シーン内の内容を把握することが可能となる。また、この検索一覧表示において選択したサムネイル画像が対応する再生時間位置からのシーン再生、即ちシーン途中からの再生を行うことも可能になる。このようにして、特許文献2に記載される技術によっては、シーン内における画内容の検索、一覧が可能となるものであり、この点で、動画像コンテンツの一覧性、検索性の向上が図られているものである。
特開平10−28250号公報 特開平6−153157号公報
そして本発明としては、上記特許文献2に代表されるようなシーンに相当する動画像情報内についての検索一覧表示に関して、これまでと比較しても、さらに高い一覧性、検索性を有し、ユーザにとっても利便性、有用性の高められたものを提供することを目的とする。
そこで本発明は上記した課題を考慮して、表示制御装置として次のように構成する。
つまり、指定が行われた再生時間に対応する単位動画像データにおける画内容を抽出したものに相当する抽出静止画像データを取得する静止画情報取得手段と、この静止画情報取得手段により、それぞれが異なる再生時間に対応して抽出した複数の抽出静止画像データの画像を、単位動画像データの再生時間経過に従って所定の態様により配列表示させた画内容を有する、単位動画像内一覧画像としての表示用画像データを生成する表示画像生成処理手段と、単位動画像データの再生時間経過に応じたビットレートを認識するビットレート認識手段と、上記複数の抽出静止画像データについての、再生時間が前後関係にある2つの上記抽出静止画像データが対応する再生時間の間隔である抽出時間間隔のそれぞれを、認識したビットレートに基づいて決定するようにされた抽出時間間隔設定手段と、決定された抽出時間間隔に基づいて、静止画情報取得手段が抽出する上記複数の抽出静止画像データごとに対応する再生時間を指定する再生時間指定手段とを備えることとした。
上記構成にあって、単位動画像データは、シーンといわれる動画像単位に相当する。そして、本願発明の下で得られる単位動画像内一覧画像は、1つの単位動画像データにおける異なる再生時間から抽出するようにして取得した静止画像を時系列に沿って(単位動画像データの再生時間経過に対応させるようにして)配列させた態様を持つ。そのうえで、この単位動画像内一覧画像において配列表示される静止画像は、その元となる単位動画像データの再生時間経過に応じたビットレートに基づいて設定された抽出時間間隔により、その単位動画像データにおけるしかるべき再生時間から抽出したものとなるようにされている。つまり、本願発明の単位動画像内一覧画像において時系列に従って配列表示される静止画像の間隔は、元の単位動画像データのビットレートに応じて変化するようにして提示される。
ここで、単位動画像データのビットレートの高低は、画像の変化の大小に対応するものであり、一般に画像の変化が大きいほど、画像内容としての重要性、注目度は高まってくるものであるとみることができる。即ち、本願発明による単位動画像内一覧画像としては、単位動画像データにおける画内容の重要性、注目度に応じて、時系列で配列表示される静止画像の間隔が変化するようにされているといえる。
このようして、単位動画像データにおける画内容の重要性、注目度に応じて、時系列で配列表示される静止画像の間隔が変化するようにされていることで、本願発明による単位動画像内一覧画像についての検索性、一覧性は、例えば静止画像の間隔が一定とされているこれまでのものと比較して格段に向上されることになる。
図1は、本願発明を実施するための最良の形態(以下、実施の形態という)としての装置である、ビデオカメラ装置1の構成例を示すブロック図である。
この図において、先ず、光学系部11は、レンズ光学系、フォーカス機構、ズーム機構、絞り(アイリス)機構などを備えて成り、入射された光を撮像光として撮像部12が備えるものとされる撮像素子(光電変換素子)の受光面に結像させる。
また、ここでの光学系部11におけるフォーカス機構、ズーム機構、絞り機構の駆動は、マイクロプロセッサ17による制御に応じて、カメラ制御部13が上記各機構に駆動信号を出力するによって行われるものとしている。
撮像部12は、例えばCMOSセンサ、CCD(Charge Coupled Device)などの撮像素子を備えて成り、上記のようにして受光面にて受光した撮像光についての光電変換を行う。そして、受光面にて受光された撮像光に応じて蓄積された電荷を、例えば、マイクロプロセッサ17の制御に応じてカメラ制御部13から出力されるタイミング信号に応じた、しかるべきタイミングで順次出力するようにされる。これにより、所定の画素数サイズによる撮像画像に対応した電気信号を出力する。このようにして出力された信号は、カメラ信号処理部14に対して入力される。
カメラ信号処理部14では、上記のようにして撮像部12から入力される電気信号について、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などの波形成形を行ったうえでデジタル信号に変換し、記録再生処理回路15に出力する。
記録再生処理回路15では、カメラ信号処理部14から出力されたデジタル信号を入力して、記録信号処理を実行する。例えば所定方式による圧縮符号化をはじめとして、所定の動画像記録フォーマットに対応した記録用ビデオ信号データを生成するようにされる。そして、このようにして生成されるビデオ信号データをHDD16に書き込んで記録する。この結果、HDD16には、撮像により得られたビデオコンテンツのデータが記憶保存されるようにして管理されることになる。また、撮像装置による撮影記録の開始から終了までの間に得られた動画像は、シーン(あるいはカット、ショット)などともいわれるが、上記のようにしてHDD16に記録されるビデオコンテンツとしても、このシーン単位により管理される。即ち、原則としては、シーン単位のビデオコンテンツのデータが所定形式の動画像ファイルとしてファイルシステムにより管理される。ただし、1シーンの記録時間が非常に長尺になって、1動画ファイルにおける最大データ量、若しくは最大時間を越えた場合には、複数の動画像ファイルに分割して、これら複数の動画像ファイルを1シーン相当のビデオコンテンツとして管理するようにされる。
また、記録再生処理回路15は、撮影記録モード時においては表示部20に対してスルー画を表示させるための処理も実行するようにされる。スルー画とは、そのときに光学系部11により撮像しているとされる画像のことをいうもので、ユーザは、表示部20に表示されるスルー画を見ることで撮影されている画内容を確認することができる。このスルー画表示のためには、記録再生処理回路15は、カメラ信号処理部14から入力したデジタル信号を利用して、表示部20による画像表示に適合した解像などを有するスルー画用のビデオ信号を生成し、このスルー画用ビデオ信号を重畳処理部19を介して表示部20に対して出力する。
また、記録再生処理回路15は、HDD16に記憶保存されたビデオコンテンツのデータを読み出して、記録信号処理に対応した復号処理などを実行して動画像としてのビデオ信号を再生することも可能とされる。このようにして再生されたビデオ信号は、例えばマイクロプロセッサ17の制御に応じて、重畳処理部19を介して表示部20に対して出力することで、この表示部20にて画像として表示させることができるようになっている。
なお、実際のビデオコンテンツとしては、ビデオ信号とともに、少なくとも、このビデオ信号とリップシンクするようにして再生されるべきオーディオ信号も含む構造を有するものであるが、ここでは、説明を簡単なものとすることの便宜上、このオーディオ信号についての記録再生処理についての構成の図示及び説明は省略する。
マイクロプロセッサ17は、例えばCPU、ROM、RAMなどを有して構成されるもので、例えば内部のROMに記憶されるプログラムを実行することにより、ビデオカメラ装置1における各種の制御を実行する。これにより、ビデオカメラ装置1としての各種の動作が得られることとなる。
OSD(On Screen Display)処理部18及び重畳処理部19は、表示部20に対して、そのときのビデオカメラ装置1の動作に応じた各種のGUI(Graphical User Interface)としての画像を表示させるために備えられる。
GUI画像を表示させるべきとき、マイクロプロセッサ17は、OSD(On Screen Display)処理部18により、そのGUI画像としての画内容を有する表示用ビデオ信号(表示用画像データ)を生成させ、この表示用ビデオ信号を重畳処理部19に対して出力させる。重畳処理部19では、OSD処理部18から出力される表示用ビデオ信号を表示部20に出力するが、この際、そのGUI画像が、例えばスルー画や再生画像上に重畳させるべきものである場合には、記録再生処理回路15から入力されてくるスルー画や再生画像などのビデオ信号に、GUI画像の表示用ビデオ信号を重畳、合成し、この合成後のビデオ信号を表示部20に出力するようにされる。
操作部21は、ビデオカメラ装置1本体に備えられるハードウェアキー、ボタンなどの各種操作子と、この操作子に対する操作に応じた操作信号をマイクロプロセッサ17に出力する操作信号出力部位を一括して示しているものとされる。例えば、この操作部21における操作子としては、写真撮影時に操作されるシャッターボタン、撮影モードなどを選択する操作子、パラメータのアップ/ダウンを行うための操作子などが含まれる。また、特にこの図においては、操作部21を成す操作子として、ホームキー21a、及びフィルムロールキー21bが示されている。ホームキー21aを操作することによっては、ホームメニューといわれる大元のメニュー画面としてのGUI画像を表示部20に表示させることができる。また、フィルムロールキー21bを操作することによっては、後述するフィルムロールインデックス画面としてのGUI画像を表示部20に表示させることができる。
また、本実施の形態のビデオカメラ装置1では、上記操作部21としてのキー、ボタンのほかに、操作入力部として、タッチパネル21Aを備える。このタッチパネル21Aは、実際においては、表示部20の表示画面と一体化される態様で設けられる。即ち、本実施の形態のビデオカメラ装置1では、GUI画像が表示された表示部20の画面上に対して直接指を振れるなどの操作が可能なGUIを提供するものである。なお、GUIの内容によっては、表示部20に表示されるGUI画像に対する操作が、操作部21における所定のキー、ボタンに対する操作により行われるようにされてもよいものである。
上記の構成から分かるように、ビデオカメラ装置1では、HDD16に対して、撮像記録により得たビデオコンテンツを記憶保存させることが可能とされている。ここでHDDは、ランダムアクセスが可能なもののうち、現状においてはGB(ギガバイト)クラスでの大容量を技術的、コスト的に容易に実現できる記憶媒体の1つであり、従って、圧縮符号化データを主体とするビデオコンテンツデータとしても多数を記憶保存することが可能となる。
このようにして多数のビデオコンテンツが記憶可能であることを考慮すると、ビデオカメラの機能として、記憶保存されたビデオコンテンツに関する一覧表示機能を与えて、その検索性が高められるようにすることが、ユーザにとっての利便性向上などを求めた場合には好ましくなってくる。そこで、本実施の形態のビデオカメラ装置1も、GUIの一機能として、このようなビデオコンテンツに関しての一覧・検索表示機能を実装するものである。つまり、ビデオカメラ装置1は、表示部20の表示画面上に対して、HDD16に記憶保存されたビデオコンテンツを対象として、一覧・検索を行うことのできるGUI画像を表示するものである。また、ランダムアクセスが可能な記憶媒体に対応しては、このような一覧・検索画像上でのコンテンツの再生操作を行えるようにされたものが一般的であるが、本実施の形態としても、一覧・検索画面上でのコンテンツの再生操作が可能なようにされる。
図2により、本実施の形態のビデオカメラ装置1における一覧・検索画面の表示に関連した操作態様例について説明する。
ここで、例えば本実施の形態のビデオカメラ装置1が撮影待機モードにあるとする。撮影待機モード下では、ビデオカメラ装置1は、図2(a)に示すようにして、表示部20の表示画面部20A上にて、そのときに光学系部11により撮影しているとされる画像であるいわゆるスルー画を表示させる動作を実行しながら、撮影記録開始操作を待機している状態にある。そして、例えばこの状態の下で撮影記録の開始を指示する操作(撮影開始操作)が行われたとすれば、その操作タイミング以降において撮影記録が開始される。この撮影記録は、撮影記録の終了を指示する撮影終了操作が行われるまで実行される。なお、確認のために述べておくと、前述もしたように、本実施の形態のHDD16に記憶保存される1単位のビデオコンテンツは、原則、上記の撮影開始操作から撮影終了操作までに対応する撮影記録により得られる動画像データ(ファイル)の単位に相当するものであって、この単位は、映像内容としては、シーン、カット、ショットなどともいわれるものとなる。なお、本実施の形態では、この単位名称については、以降、「シーン」で統一する。
ここで、本実施の形態のビデオカメラ装置1により表示するスルー画の画像内においては、図2(a)に示されているようにして、画面内ホームボタンBt1が表示されるようになっている。なお、この場合には画面内ホームボタンBt1の画像を、表示画面部20Aにおける左上に位置させているが、他の位置において表示させるようにして構わない。
上記のホームボタンBt1は、ホームメニューの画面に移行させる操作を行うためのボタンとして機能する。ユーザが、タッチパネル21Aに対する操作として、このスルー画面上におけるホームボタンBt1の表示位置に触れる操作を行ったとされると、図2(a)から図2(b)への遷移として示すようにして、表示画面部20Aは、これまでのスルー画表示から、ホームメニューの画面表示に移行することになる。
また、先に図1にて説明したように、本実施の形態のビデオカメラ装置1の本体には、ハードウェアの操作子の1つとして、ホームキー(ハードウェアホームキー)21aが設けられている。このホームキー21aを操作することによっても、同じく、図2(a)から図2(b)への遷移として示すようにして、表示画面部20Aは、これまでのスルー画表示から、ホームメニューの画面表示に移行することができる。
図2(b)に示されるホームメニューは、タッチパネル操作が可能とされるGUIとしてのメニュー画面のうちで、その大元となるものである。従って、このホームメニューから操作を始めてしかるべきメニュー画面へと辿っていくようにすることで、ユーザは、ビデオカメラ装置1についての各種多様な操作を行うことが可能とされる。
ここでは、図2(b)のホームメニューの画面において、ボタン画像として、先ず、クローズボタンBt2が表示されている。
このクローズボタンBt2に対するタッチパネル上での押し操作(タッチパネル押操作)を行った場合には、現在表示中のホームメニュー画面が閉じられて、今回のホームメニュー画面の表示前に表示されていた画面に戻るようにされる。この場合には、図2(b)から図2(a)への遷移として示すように、撮影待機モード下でのスルー画表示に切り換わる。
また、ホームメニュー画面においては、さらに、通常インデックスボタンBt11、フィルムロールインデックスボタンBt12、プレイリストボタンBt13が表示されている。
通常インデックスボタンBt11に対するタッチパネル押操作を行った場合には、ここでは図示していないが、表示画面部20Aにおいて、この図2(b)のホームメニュー画面から、通常インデックス画像の表示に移行する。また、フィルムロールインデックスボタンBt12に対するタッチパネル押操作を行った場合には、図2(b)から図2(c)への遷移へと示すようにして、フィルムロールインデックス画面の表示に移行する。
また、本実施の形態では、ビデオカメラ装置1の本体に対して、ハードウェアキーのひとつであるフィルムロールキー21bが設けられている。本実施の形態では、フィルムロールインデックス画面以外の他の何らかの表示を行っている状態の下で、このフィルムロールキー21bを操作することによっても、フィルムロールインデックス画面への表示の切り換えが行われるようになっている。図2においては、フィルムロールキー21bの操作に応じて、図2(a)のスルー画、図2(b)のホームメニュー画面、あるいは図2(d)のシーン再生画面からフィルムロールインデックス画面に移行できることを示している。これにより、後述するようにして本実施の形態において特徴となるフィルムロールインデックス画面への表示切り換えを、例えばタッチパネル操作により行うような場合よりも、直接的に、迅速に行える。
また、プレイリストボタンBt11に対する操作を行った場合には、ここでは図示していないが、表示画面部20Aにおいて、プレイリスト画面に表示が切り換わることになる。プレイリスト画面は、例えばHDD16に記憶されているビデオコンテンツについての、ユーザが作成したプレイリストを提示する画面とされる。
上記の説明において挙げられた「通常インデックス画面」と「フィルムロールインデックス画面」は、本実施の形態のビデオカメラ装置1において表示可能なビデオコンテンツの一覧・検索画面とされる。
先ず「通常インデックス画面」は、その表示態様例についての図示は省略するが、HDD16に記憶保存されているビデオコンテンツ(動画像ファイル)について、これらをビデオコンテンツ単位主体で提示するようにされた表示態様の一覧・検索画面をいう。この「通常インデックス画面」では、1つのビデオコンテンツ(シーン)につき1つのサムネイル画像が対応するようにされ、これらのサムネイル画像が、予め設定されたソート順に従って配列表示される。つまり、シーンのリストを、シーンごとに対応したサムネイル画像により示すようにされる。そして、例えば、ユーザが通常インデックス画面に表示されているサムネイル画像のうちから、或る1つのものを選択決定するための所定操作を行ったとされると、ビデオカメラ装置1は、この選択決定されたサムネイル画像が対応するビデオコンテンツの再生を開始するようにされる。
これに対して、図2(c)に示される「フィルムロールインデックス画面」は、詳細については後述するが、HDD16に記憶保存されているビデオコンテンツのうちから選択した1つのビデオコンテンツについて、そのシーンにおける内容を、再生時間経過に応じて或る時間タイミングから抜き出すようにして抽出した画像内容を持つサムネイル画像の配列によって示すようにされる。フィルムロールインデックス画面における「フィルムロール」との名称は、1つのシーンを1つのフィルムロールと捉えたうえで、上記のサムネイル画像の表示態様が、あたかも、このフィルムロールを拡げてコマの内容を見ているイメージと重なることに由来する。
そして、このフィルムロールインデックス画面において表示されているサムネイル画像のうちから、或る1つのものを選択決定するための所定操作を行ったとされると、ビデオカメラ装置1は、この選択決定されたサムネイル画像が対応する再生時間から、そのビデオコンテンツの再生を開始する。つまり、1つのビデオコンテンツにおける中途位置からの再生を開始させることができる。
上記したことによれば、上記「通常インデックス画面」、「フィルムロールインデックス画面」としての一覧・検索画面において配列されるサムネイル画像は、前者にあっては、HDD16に記録されるビデオコンテンツの単位に対応した索引、見出しであると捉えることができ、後者にあっては、1ビデオコンテンツ(1シーン)としての開始時間から終了時間までの間において設定した再生時間位置ごとに対応した索引、見出しであると捉えることができる。上記2つの一覧・検索画面の名称全体における「インデックス画面」との名称部分は、索引、見出しを提示する画面であるということに由来したものである。また、以降においては、インデックス画面上において、個々の索引、見出しとして機能するサムネイル画像については、インデックス画像ともいうことにする。
次に、図3を参照して、表示画面部20Aにおいて表示されるフィルムロールインデックス画面の表示態様例と、その機能動作例について説明しておくこととする。この図3に示されるフィルムロールインデックス画面は、例えば図2(c)に示される内容を拡大したものとされる。
先ず、このフィルムロールインデックス画面内の領域は、先ず、大きくは、シーン単位インデックス領域AR1、シーン内インデックス領域AR2から成るものとされる。
シーン単位インデックス領域AR1においては、HDD16に記憶保存されているビデオコンテンツ(シーン)単位に対応したインデックス画像(サムネイル画像)であるシーン単位インデックス画像が、縦方向に沿って、所定のソート順に従って配列されるようにして表示される。この場合には、シーン単位インデックス領域AR1においては、3つのシーン単位インデックス画像(P1、P2、P3)が表示されることとなっており、そのうえで、中央に位置させたシーン単位インデックス画像P2が、選択中にあるシーン(ビデオコンテンツ)を示しているものとされる。選択すべき(中央に位置させるべき)シーン単位インデックス画像、即ちビデオコンテンツ(シーン)を他のものに変更するときには、送りボタンBt31と戻りボタンBt32に対して適宜タッチパネル押操作を行うようにされる。この送りボタンBt31、戻りボタンBt32に対する操作ごとに、シーン単位インデックス画像が1つずつ、順次、上方向あるいは下方向にスクロールされ、これに応じて、中央に位置するシーン単位インデックス画像が切り換わっていく。また、シーン単位インデックス領域AR1においては、シーン単位インデックス画像が配列される領域の左側に沿ってスクロールバーBr1が表示される。このスクロールバーBr1におけるノブの位置により、現在、シーン単位インデックス領域AR1において表示されているシーン単位インデックス画像が、全体においてどのあたりの順序にあるものなのかが示される。また、ノブに対するタッチパネル上でのドラッグ操作をスクロールバーBr1に沿って行うことで、送りボタンBt31、戻りボタンBt32を操作する場合よりも、大きな単位移動量でもってシーン単位インデックス画像をスクロールさせることができる。
次に、シーン内インデックス領域AR2においては、上記シーン単位インデックス領域AR1において選択されているシーン(選択シーン)、即ち(シーン単位インデックス領域AR1において中央に配置されるシーン単位インデックス画像P2が対応するシーン(ビデオコンテンツ)についての、その内容が下記のようにして表示される。
この場合のシーン内インデックス領域AR2においては、シーン内インデックス領域AR2を3つの行領域clm1、clm2、clm3に分割するようにしたうえで、先ず、行領域clm1において左から右にかけて順に、シーン内インデックス画像P101、P102、P103を配置し、次の行領域clm2において左から右にかけて順に、シーン内インデックス画像P104、P105、P106、P107を配置し、さらに次の行領域clm3において左から右にかけて順に、シーン内インデックス画像P108、P109、P110を配置している。これは、シーン内インデックス画像が、P101、P102、P103・・・P109、P110の順で配列されていることを表している。
そして、これらのシーン内インデックス画像P101〜P110は、選択シーンの再生時間進行(再生時間経過)に従って、後述する時間間隔により或る再生時間に対応して表示される画像内容を、その選択シーンから抽出するようにして生成したサムネイル画像であり、その配列順も、選択シーンの再生時間進行に従ったものとなっている。
また、行領域clm1におけるシーン内インデックス画像P101(即ち、表示中のシーン内インデックス画像のうちで、最も早い再生時間に対応するもの)の左側には、送りボタンBt41が配置され、行領域clm3におけるシーン内インデックス画像P110(即ち、表示中のシーン内インデックス画像のうちで、最も遅い再生時間に対応するもの)の右側には、戻しボタンBt42が配置されている。シーンの時間長にもよるがシーン内インデックス領域AR2において表示されるインデックス画像は、通常、そのシーンにて得られるシーン内インデックス画像のうちの一部の再生区間にて得られるものが表示されている。これら送りボタンBt41、戻しボタンBt42に対してタッチパネル押操作を行うことで、シーン再生時間を先へ進める、あるいは遡るようにして、シーン内インデックス画像を1つずつ送る、あるいは戻していくことができる。
また、シーン内インデックス領域AR2の下側においては、横方向に延びるスクロールバーBr2が配置されている。このスクロールバーBr2のノブをドラッグ操作することにより、送りボタンBt31、戻りボタンBt32を操作する場合よりも、大きな単位移動量でもってシーン内インデックス画像を送り・戻しさせることができる。
上記の説明から理解されるようにして、シーン内インデックス領域AR2においては、選択シーン内の或る場面に対応する画内容を持つシーン内インデックス画像が、シーン内容の時系列に沿うようにして配列表示される。この表示を見ることで、ユーザは、選択シーンの中の画像内容を容易に把握することが可能になる。なお、本実施の形態としては、シーン内インデックス領域AR2において配列される、再生時間が前後となるシーン内インデックス画像を抜き出したとされる再生時間の間隔設定に特徴を有し、これによりフィルムロールインデックス画面としての機能性が向上されるのであるが、この点については後述する。
また、フィルムロールインデックス画面においては、クローズボタンBt2と、関連機能ボタンBt3が配置されている。
クローズボタンBt2をタッチパネル押操作することによっては、これまでのフィルムロールインデックス画面の表示を消去して、フィルムロールインデックス画面の表示前の状態に戻すようにされる。例えば、ホームメニュー画面から今回のフィルムロールインデックス画面の表示に切り換わったのであれば、ホームメニュー画面に戻ることになる。
関連機能ボタンBt3は、そのときに表示されている画面に関連した設定項目、メニュー画面などにジャンプさせるための操作を行うボタンである。フィルムロールインデックス画面が表示されている下で関連機能ボタンBt3を操作した場合には、例えば、図5により後述するようにして、フィルムロールインデックス画面に関連した所定項目についての設定を行うための操作画面(関連メニュー画面)に移行することになる。
そして、例えばユーザが、シーン内インデックス領域AR2に表示されているシーン内インデックス画像の1つに対するタッチパネル押操作(選択決定操作)を行ったとされると、ビデオカメラ装置1は、選択シーンについて、今回の選択決定操作により指定されたシーン内インデックス画像が対応する再生時間からの中途再生を開始するようにされる。これに伴って、表示画面部20Aにおいては、図2(c)から図2(d)への遷移として示すようにして、選択シーンを再生表示する画内容のシーン再生画面に切り換わることになる。また、確認のために述べておくと、図2(d)の再生画面に切り換わったときには、今回の選択決定操作により指定されたシーン内インデックス画像と同じ内容の画の表示から始まるものである。
図2(d)に示されるシーン再生画面上には、ソフトウェアボタンとして、戻るボタンBt14、シーン単位送りボタンBt25、シーン単位戻しボタンBt26、再生開始/一時停止ボタンBt21、停止ボタンBt22、早送りボタンBt23、早戻しボタンBt24、関連機能ボタンBt3が表示されている。ユーザは、シーン単位送りボタンBt25、シーン単位戻しボタンBt26、再生開始/一時停止ボタンBt21、停止ボタンBt22、早送りボタンBt23、早戻しボタンBt24に対するタッチパネル押操作により、シーン(ビデオコンテンツ)について、ユーザの意図するようにして再生を行わせることができる。
また、戻るボタンBt14を操作すれば、今回のシーン再生画面の表示に移行する前に表示されていた画面に戻るようにされる。先の説明のようにして、図2(c)のフィルムロールインデックス画面からシーン再生画面に切り換わったのであれば、フィルムロールインデックス画面に戻るようにされる。
また、シーン再生画面上に配置表示されている関連機能ボタンBt3に対する操作を行った場合、図示は省略するが、シーン再生に関連した所定の設定項目、メニューなどが表示された操作画面に移行するようにされる。
上記のようにして、本実施の形態のビデオカメラ装置1は、表示画面部20Aに対して、スルー画、メニュー画面、シーン再生画面などのほか、インデックス画面として、フィルムロールインデックス画面の表示が行えるようにされている。
このフィルムロールインデックス画面内に表示されるシーン内インデックス画像としての静止画内容を、選択シーンとしての動画内容から抽出するのにあたり、最も順当であると考えられる手法は、予め一定時間長を設定しておくこととし、この一定時間長による間隔ごとに対応した再生時間位置から、順次、静止画内容を抽出するようにするものである。
しかし、このような手法を採った場合、例えば同じような場面が長時間続くようなシーン内区間では、フィルムロールインデックス画面において、代わり映えのしないほぼ同じ画内容のシーン内インデックス画像ばかりが配列表示されてしまうことになる。すると、シーン内容を容易に把握可能にするという、フィルムロールインデックス画面としての主たる役割が充分に果たせなくなる場合がでてくる。
そこで、本実施の形態としては、シーン内インデックス画像をシーンから抜き出すタイミングについて、以降の説明のようにして設定することで、上記の問題を解決して、さらにこれまでよりも、使い易く、見やすいフィルムロールインデックス画面を提供するものである。
図3のシーン内インデックス領域AR2には、10枚のシーン内インデックス画像P101〜P110を配列表示させた状態を示している。ここでは先ず、この図3に示されているシーン内インデックス画像P101〜P110を例に挙げ、これらを選択シーンから抜き出した時間タイミングをどのようにして決定しているのかについて、次の図4を参照して説明する。
先ず図4(a)には、選択シーンとしての動画像のストリームデータ(ビデオストリーム)を再生時間経過に沿ったバー形式により模式的に示している。このビデオストリームとしてのバーの左端に対応する時点t0が、選択シーンとしてのビデオコンテンツの再生開始時間であり、以降、右方向に延びていくのに従い再生時間が経過していくことが表現される。
図4(b)には、上記図4(a)に示されるビデオストリームについてのビットレートが、閾値thとともに示されている。本実施の形態のビデオカメラ装置1の記録再生処理回路では、HDD16に撮影記録される動画像としてのビデオコンテンツは、VBR(Variable Bit Rate)により画像圧縮符号化が施されることとなっている。
周知のようにしてVBRは、映像・音声などを圧縮符号化データに変換するエンコード方式の1つであり、映像の場合であれば、動きや色の変化が大きくなるのに応じて、より多くのビット量を割り当てるようにして圧縮符号化を行う方式である。即ち、画の動き量であるとか色彩の複雑さなどの画内容についての時間的、二次元的相関性に応じて、符号量を変化させる。これにより、画内容の変化の激しい映像区間では多くの符号量を割り当てて良好な画質を維持する一方、ビット量が少なくても画質劣化の少ない画内容の変化が乏しい映像区間では、少ない符号量を割り当てるようにするものである。これにより、一定以上の再生画質を維持しつつも、データサイズを必要最小限に抑えることができる。そして、このようなエンコードを行う結果、単位時間あたりのデータ量に相当するビットレートは、再生時間進行に応じて変化することとなる。このことを以て、かかるエンコード方式はVBRといわれる。
図4(c)には、図3に示したシーン内インデックス画像P101〜P110を、ビデオストリームから抜き出したとされる再生時間タイミングとの対応により示している。
この場合においては、先ず、選択シーンの再生開始時間である時点t0において、ビデオストリームの先頭フレームに相当する静止画内容を抽出し、これを、一番目のシーン内インデックス画像P101として生成している。なお、ここでは、シーン単位インデックス領域AR1に配置されるシーン単位インデックス画像についても、対応するシーンのビデオストリームの先頭フレーム画像から生成するものとしており、図4(c)においては、再生開始時間である時点t0において、シーン内インデックス画像P101とともに、シーン単位インデックス画像P2も生成していることが示されている。
このビデオストリームの再生開始時間である時点t0以降のビットレートを見てみると、ここでは、時点t1に至るまでは、閾値thよりも低い状態あるものとされている。このようにして、ビデオストリームのビットレートが閾値thよりも低いときには、シーン内インデックス画像をビデオストリームから抜き出す時間間隔(抽出時間間隔)については、所定の時間長による第1抽出時間間隔Tm1を設定するようにされる。これにより、シーン内インデックス画像P101に続く2番目のシーン内インデックス画像P102を抜き出すべき再生時間(抽出再生時間)は、図示するようにして、時点t0から第1抽出時間間隔Tm1が経過した時点となるものである。また、例えば2番目のシーン内インデックス画像P102の抽出再生時間においてもビットレートが閾値thより低かったことにより、続く3番目のシーン内インデックス画像P103の抽出再生時間も、シーン内インデックス画像P102の抽出再生時間から第1抽出時間間隔Tm1を経過した時点となっている。
そして、この場合には、3番目のシーン内インデックス画像P103の抽出再生時間よりも少し前のタイミングとなる時点t1において、ビットレートが閾値th以上となる状態に変化したものとされている。
本実施の形態では、このようにしてビットレートが閾値th以上となると、シーン内インデックス画像をビデオストリームから抜き出す時間間隔について、上記第1抽出時間間隔Tm1よりも短い所定の時間長による第2抽出時間間隔Tm2を設定するようにされる。
これにより、先ず、4番目のシーン内インデックス画像P104の抽出再生時間については、3番目のシーン内インデックス画像P103の抽出再生時間から第2抽出時間間隔Tm2を経過した時点を設定するようにされる。
そして、ビットレートが閾値th以上となる状態は、上記の時点t1から時点t2まで継続しており、この間、抽出時間間隔としては、第2抽出時間間隔Tm2が設定され続けることになる。これに応じて、ここでは、上記の4番目のシーン内インデックス画像P104以降、7番目のシーン内インデックス画像P107まで、第2抽出時間間隔Tm2が経過した都度のタイミングで、シーン内インデックス画像の抽出を行うようにされている。
次に、ここでの時点t2は、7番目のシーン内インデックス画像P107の抽出再生時間に対して少し前となるタイミングとされており、この時点t2を経過すると、ビットレートは再び閾値thより低くなり、或る期間、この状態を維持することになる。これに応じて、7番目のシーン内インデックス画像P107と、これに続く8番目のシーン内インデックス画像P108との間の抽出時間間隔は、第1抽出時間間隔Tm1に変更されることになる。また、ここでは図示していないが、図3おいて示されている、残る9番目、10番目のシーン内インデックス画像P109、P110も、第1抽出時間間隔Tm1が経過した都度のタイミングで抽出再生時間が設定される。
つまり、本実施の形態では、選択シーンのビデオストリームのビットレートが一定以下である状態に対応させては、シーン内インデックス画像を抜き出す時間間隔(抽出時間間隔)を長めに設定し、上記ビットレートが一定以上である状態に対応させては、シーン内インデックス画像を抽出する時間間隔(抽出時間間隔)を短めに設定している、ということがいえる。
また、先にも述べたように、動画像データでは、ビットレートが高くなるほど、フレーム画像間の動き量が多くなり、ビットレートが低くなるほど、フレーム画像間の動き量が少なくなる。このことからすると、図4の処理は、動画における画の動き一定以上で相応に激しいとされるシーン内区間からは短い抽出時間間隔(Tm2)によりシーン内インデックス画像を抽出し、画の動きが一定以下で平板とされるシーン内区間からは長い抽出時間間隔(Tm1)によりシーン内インデックス画像を抽出しようとする処理である、とみることができる。
すると、上記図4の処理に従って抽出されたシーン内インデックス画像P101〜P110が配列された図3のシーン内インデックス領域AR2では、先ず、シーン内インデックス画像P101、P102、P103の各間において、長い抽出時間間隔Tm1に対応する再生時間間隔が設定され、次のシーン内インデックス画像P104〜P107の各間において、短い抽出時間間隔Tm2に対応する再生時間間隔が設定され、さらに続くシーン内インデックス画像P108〜P110の各間において、再び、長い方の抽出時間間隔Tm1に対応する再生時間間隔が設定されていることになる。
そのうえでさらに、先ず冒頭のシーン内インデックス画像P101、P102が対応する再生時間の画像は、選択シーン内において比較的に変化の少ないとされるシーン内区間に含まれ、シーン内インデックス画像P103〜P106が対応する再生時間の画像は、選択シーン内において比較的大きな動きがあるとされる次のシーン内区間に含まれ、さらに続くシーン内インデックス画像P107〜P110が対応する再生時間の画像は、選択シーン内において比較的に平板で変化の少ないとされる、さらに次のシーン内区間に含まれていることになる。
これまでにも述べたように、シーン内インデックス画像の配列順は、選択シーンの画内容の再生時間進行に従っているのであるが、上記のようにしてシーン内インデックス画像が表示されることで、先ず、画内容の変化の乏しいシーン内区間では、同じような画内容のインデックス画像が多数配列表示されてしまうような無駄が生じないことになる。その一方で、画内容の変化が大きなシーン内区間では、短い時間間隔でインデックス画像が抜き出されることになるので、これらのインデックス画像の配置により、画内容の大きな変化を時系列に従って表すことが可能となる。
このようにして、本実施の形態のフィルムロールインデックス画面としては、例えば単純に、シーン内インデックス画像の抽出時間間隔について適当な一定間隔とする場合と比較して、より、シーン内容についての把握がしやすいように配慮されているものである。これにより、フィルムロールインデックス画面の機能であるシーン内の内容についての一覧性(把握容易性)・検索性が向上されることになる。
そのうえで、さらに本実施の形態においては、シーン内インデックス領域AR2において、画内容の変化の少ないとされるシーン内区間と、画内容の変化が大きいとされるシーン内区間ごとに対応させて、その区分が示されるようにして表示を行うようにされる。
つまり、図3の場合であれば、行領域clm1、clm2、clm3の単位でシーン内インデックス領域AR2において、画内容の変化の少ないとされるシーン内区間が対応する領域部分は、先ず、シーン内インデックス画像P101、P102が配列されている部分と、シーン内インデックス画像P107〜P110が配列される部分となる。これらの領域部分を、第1レベル内容領域AR11として区分する。ここでの第1レベルとは画内容の変化量が一定以下であることを指している。また、シーン内インデックス領域AR2において、画内容の変化の大きいとされるシーン内区間が対応する領域部分は、シーン内インデックス画像P103〜P106が配列されている部分となる。この領域部分は、画内容の変化量が一定以上である、即ち第2レベルであることに因み、第2レベル内容領域AR12として区分する。
そして、これらの第1レベル内容領域AR11と第2レベル内容領域AR12とで、シーン内インデックス画像が配置されている行領域clm1、clm2、clm3ごとにおける背景について、互いに異なる所定の表示態様を与えるようにされる。例えば、その表示態様として、1つには、第1レベル内容領域AR11と第2レベル内容領域AR12とで、それぞれ異なる所定の背景色とすることが考えられる。また、それぞれ異なる明度を設定することも考えられる。また、背景の絵柄などをそれぞれ異なるものに変更することも考えられる。
このようにして、第1レベル内容領域AR11と第2レベル内容領域AR12とで、その背景の表示態様について異なる態様を与えるようにすることで、シーン内インデックス領域AR2におけるシーン内インデックス画像の配列により表現される選択シーンの時系列において、どの区間が動きが大きく、また、小さいのかを、ユーザは、容易に判断することが可能となるものである。これにより、フィルムロールインデックス画面でのシーン内容の一覧性・検索性はさらに向上されることになる。
また、ここで、フィルムロールインデックス画面における関連機能ボタンBt3を操作した場合についての説明をしておくこととする。
先にも述べたようにして、関連機能ボタンBt3は、そのときに表示されている操作画面などに対応・関連した他の機能操作などのための画面(例えばメニュー画面など)に即座に移行するために用意されるものであり、どのような画面に移行するのかは、上記操作画面の内容に応じて異なってくる。
そして、フィルムロールインデックス画面において配置される関連機能ボタンBt3に対するタッチパネル押操作を行った場合には、例えば図5(a)から図5(b)への遷移として示すようにして、表示画面部20Aは、フィルムロールインデックス画面対応の関連メニュー画面に移行するようにされる。
この図5(b)に示される関連メニュー画面においては、HD/SD切替用ボタンBt51、時間間隔設定用ボタンBt52と、戻るボタンBt14が配置表示されている。なお、戻るボタンBt14を操作すれば、この関連メニュー画面が表示される前の状態である、図5(a)のフィルムロールインデックス画面に移行する。
次に、HD/SD切替用ボタンBt51は、本実施の形態のビデオカメラ装置1により記録再生するビデオ信号形式を、HD(High Definition)とSD(Standard Definition)との間で切り換えるための操作画面に移行させるためのものとされる。
そして、時間間隔設定用ボタンBt52に対するタッチパネル押操作を行った場合には、図5(c)に示す時間間隔設定画面に移行することになる。
この時間間隔設定画面には、図6に示すようにして、第1時間間隔設定領域AR21と、第2時間間隔設定領域AR22とが配置されている。
第1時間間隔設定領域AR21は、ユーザが第1抽出時間間隔Tm1を変更設定することのできる操作画面領域である。この第1時間間隔設定領域AR21においては、プラスボタンBt61、マイナスボタンBt62、設定時間表示ウィンドウwd1、及び設定時間イメージアイコンIcn11が示されている。ユーザは、プラスボタンBt61、マイナスボタンBt62を適宜操作して、設定時間表示ウィンドウwd1内に表示されている第1抽出時間間隔Tm1としての時間長を増減させ、自身が望む時間長を設定するようにされる。また、設定時間イメージアイコンIcn11は、コマが配列されたフィルムを模した態様を有し、設定された第1抽出時間間隔Tm1としての時間長に応じて、コマの前後の間隔(長さ)が変化して表示されるようになっている。この設定時間イメージアイコンIcn11により、ユーザは、自身が設定している第1抽出時間間隔Tm1としての時間長について視覚的なイメージとして把握することができる。
第2時間間隔設定領域AR22は、ユーザが第2抽出時間間隔Tm2を変更設定することのできる操作画面領域であり、上記第1時間間隔設定領域AR21と同様の配置態様により、プラスボタンBt71、マイナスボタンBt72、設定時間表示ウィンドウwd2、及び設定時間イメージアイコンIcn12が示されている。そして、この第2時間間隔設定領域AR22にあっても、プラスボタンBt71、マイナスボタンBt72を適宜操作して、設定時間表示ウィンドウwd2内に表示されている第2抽出時間間隔Tm2としての時間長を増減させ、自身が望む時間長を設定することができる。また、設定時間イメージアイコンIcn12により、操作に応じて変更設定される第2抽出時間間隔Tm2の時間長が示される。
ただし、これまでの説明から理解されるように、第2抽出時間間隔Tm2と、第1抽出時間間隔Tm1の時間長の関係については、Tm2<Tm1が成立していなければならない。このために、第1時間間隔設定領域AR21と第2時間間隔設定領域AR22に対する操作によっては、Tm2≧Tm1の関係となるような第1抽出時間間隔Tm1、第2抽出時間間隔Tm2の設定は行えないようにされている。
また、時間間隔設定画面内の戻るボタンBt14に対するタッチパネル押操作を行った場合には、図5(c)から図5(a)への遷移として示すように、フィルムロールインデックス画面に移行するようにされている。つまり、この場合には、時間間隔設定画面が関連メニュー画面の階層化のメニュー画面であることにより、関連メニュー画面の表示前の状態に戻ることとしている。
続いて、本実施の形態のフィルムロールインデックス画面の形成にあたって、主に図3、図4により説明したようにして、抽出時間間隔を変更してシーン内インデックス画像の抽出を行うための技術構成例について説明を行っていくこととする。
フィルムロールインデックス画面は、そもそも、HDD16に記憶管理されているシーン単位相当のビデオコンテンツを対象として行われるものであるが、本実施の形態によるシーン内インデックス画像の抽出処理は、HDD16に記憶されるビデオコンテンツをどのような方式により管理しているのかにより、異なってくる部分がでてくる。
そこで、先ず、本実施の形態のビデオカメラ装置1による、HDD16に記憶されるビデオコンテンツについての管理態様例として、4例を挙げておくこととする。後において、これら4例に対応したシーン内インデックス画像の抽出処理についての説明を行う。
先ず、図7により、上記4例のうちの第1例となる、ビデオコンテンツの管理態様例を説明する。
図7においては、HDD16の記憶内容例を模式的に示している。この場合、HDDには、シーン単位に対応する単位動画データ(ファイル)である、n個のビデオコンテンツ1〜nが記憶されているものとしている。そして、このビデオコンテンツのデータとともに、ビデオコンテンツ管理ファイルもHDD16に記憶させているものである。
このビデオコンテンツ管理ファイルは、同じHDD16に記憶されるビデオコンテンツの再生(ここでは通常再生、早送り、早戻しなどをはじめとする変則再生、また、プレイリスト再生などを総括して「再生」といっている)を管理するために必要なファイルであり、例えばその内容としては、図示するようにして、HDD16に記憶されるビデオコンテンツ1〜nのそれぞれに対応した管理情報部1〜nを有して形成されている。例えばビデオコンテンツ1についての再生管理を行うときには、ビデオコンテンツ管理ファイルにおける管理情報部1を利用することになる。
なお、実際において、このビデオコンテンツ管理ファイルのようにして、ビデオコンテンツ管理用のファイルを、ビデオコンテンツのファイルとは個別に持つようにされた規格・フォーマットとしては、AVCHDなどを挙げることができる。また、HDDではないが、DVD−Video、DVD+VR、DVD−VRに対して、標準信号形式(SD形式)により記録するような場合にも、このようなビデオコンテンツ管理用のファイルを記録することが行われている。
次に、第2例について説明する。
この第2例は、上記第1例にあるようなビデオコンテンツ管理ファイルを有さないフォーマットとなる。この場合には、ビデオコンテンツのデータストリーム内の拡張領域に対して、ビデオコンテンツ管理のための情報を埋め込むようにされる。このような第2例に対応するビデオコンテンツデータの構造例を図8に示す。
図8(a)には、ビデオコンテンツデータを、時系列に従ったデータ書込単位のシーケンスにより示している。例えばビデオカメラ装置1は、記録メディアであるHDD16に対して、ビデオコンテンツのデータを書き込んで記録するのにあたり、記録再生処理回路15にて、ビデオコンテンツの記録用データを生成して、これを一時的にバッファに蓄積していくようにされる。そして、このバッファに蓄積された或るまとまったサイズの記録用データの集合を、所定のタイミングで以て、一度に読み出してHDD16に書き込むようにされる。ここでのデータ書込単位は、このバッファに蓄積されて一度に書き込まれるデータが対応するものであり、ここでは、データ書込単位はほぼ一定であるものとされる。
このデータ書込単位は、この場合には、図8(b)に示すようにして、GOP(Group Of Picture)のシーケンスにより成るものとされる。GOPは、周知のようにして、画像圧縮符号化処理により得られる1つの再生単位(圧縮・伸長単位)であり、これ自体で、独立して復調処理を行って、或る時間分の動画を正常に再生することができる。また、これも周知のようにして、GOP内には、少なくとも1つのI(intra)ピクチャを含むようにされている。確認のために、Iピクチャは、他のP(Predictive)ピクチャ、B(Bi-directional Predictive)ピクチャなどのようにして、予測符号化により生成された画像ではなく、1つの独立したフレーム画像から生成される画像データである。
そして、この場合のGOP内の構造としては、図8(c)に示すようにして、或る所定単位により分割されたビデオ(Video)データ、オーディオ(Audio)データ、及び、例えば先頭に配置される管理パック情報を含んで成るものとされる。この管理パック情報が、上記のデータストリーム内に埋め込んだビデオコンテンツ管理のための情報となる。例えば、個々の管理パック情報には、自身が含まれるGOPに関する所要の管理情報を格納するようにされる。
この図8に示されるような方式は、実際においては、DVD系以外で、例えばHDDであるとか、フラッシュメモリによるリムーバブルメディアなどに対して、SD形式の動画像を記録するような場合に採用されている。
また、確認のために述べておくと、第1例として図7に示したビデオコンテンツは、図8から管理パック情報を省略した構造を有しているものであり、従って、第1例に対応するビデオコンテンツもGOPの連続により形成されるものである。
また、先に本出願人は、上記図7、図8に示したビデオコンテンツ管理ファイルや管理パック情報とはさらに別の、コンテンツ管理用の情報 (以降、コンテンツDBファイルという)により、コンテンツ管理を行う技術を提案している。上記のビデオコンテンツ管理ファイルや管理パック情報が、ビデオコンテンツの再生管理を行うためのものであるのに対して、このコンテンツDBファイルは、コンテンツファイルの属性をはじめとする各種のメタデータであるとか、サムネイル画像を管理するものであり、これらのメタデータであるとかサムネイル画像を、例えばデータベース化するような形式で保持した情報単位とされる。例えば大容量のコンテンツファイルなどでは、コンテンツファイルに格納されるヘッダなどにアクセスして各種のメタデータを取得しようとすると、そのアクセスに時間がかかってしまうなどして効率的でない。そこで、コンテンツDBファイルを設けることとすれば、このコンテンツDBファイルにアクセスしてメタデータなどを取得することができ、メタデータなどに基づいたコンテンツ管理を効率的に行うことが可能となる。
そして、第3例としては、第1例のビデオコンテンツ管理ファイルを持つ管理態様に対して、さらにコンテンツDBファイルを持たせたものとなる。この第3例としてのHDD16の記憶内容例を図9(a)に示す。
図9(a)においては、先ず、図7と同様にして、ビデオコンテンツ1〜nと、これらのビデオコンテンツに対応する管理情報部1〜nを有して形成されるビデオコンテンツ管理ファイルとがHDD16にて記憶されている。そのうえで、HDD16には、さらにコンテンツDBファイルが記憶される。そして、このコンテンツDBファイルによっても、ビデオコンテンツ1〜nを対象として管理することが可能とされている。なお、コンテンツDBファイルの形式例などについては後述する。
また、第4例としては、先の第2例のようにしてビデオコンテンツ管理情報を備えない代わりに、データストリーム内に管理パック情報を埋め込む方式に、コンテンツDBファイルを持たせた態様とされる。この第4例に対応するHDD16の記憶内容としては、例えば図9(b)に示すようにして、ビデオコンテンツ1〜nとともに、コンテンツDBファイルが記憶されるものとなる。また、確認のために述べておくと、各ビデオコンテンツの構造は、図8と同様になるものであり、例えばGOPなどの単位ごとに管理パック情報が埋め込まれる。
図10のフローチャートは、先に図7に示した第1例のビデオコンテンツ管理を行う場合を前提として、本実施の形態のビデオカメラ装置1が実行するものとされる、フィルムロールインデックス画面内のシーン内インデックス領域AR2についての表示制御に関する処理手順例を示している。
なお、この図に示す処理は、マイクロプロセッサ17において、例えばCPUが、ROM或いは不揮発性メモリなどに記憶されるプログラムを実行することで実現されるものとしてみることができる。また、このプログラムは、上記のようにして、例えばROMなどに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにしてマイクロプロセッサ17内の不揮発性の記憶領域に記憶させることが考えられる。また、USBやIEEE1394などのデータインターフェイス経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、ビデオカメラ装置1にネットワーク機能を持たせることとし、サーバからダウンロードして取得できるように構成することも考えられる。この点については、以降説明する図11、図14、図15のフローチャートについても同様である。
例えば、他の画面からフィルムロールインデックス画面に表示を移行させる操作、若しくは、フィルムロールインデックス画面が表示されている状態の下で、シーン単位インデックス領域AR1における選択シーンを変更する操作が行われて、シーン内インデックス領域AR2の表示内容を、選択シーンの変更に応じて変更すべきこととなったとされると、マイクロプロセッサ17は、図10のステップS101から始まる処理手順を実行するようにされる。
先ず、ステップS100においては、HDD16に記憶されているビデオコンテンツ管理ファイルから、現在の選択シーンに対応するビデオコンテンツに対応する管理情報部を読み込んで取得するようにされる。
ここで、ビデオコンテンツ管理ファイルの管理情報部は、対応するビデオコンテンツに関しての各種の管理情報項目を備えて成るものとされるが、これらの管理情報項目のうちで、この図10に示される処理が利用するものとしては、以降の説明からも理解されるように、GOP単位のデータサイズを示すサイズ情報や、ビデオデータ(ストリーム)についての再生時間情報などとなる。
また、以降においては、上記ステップS100により読み込んで取得した管理情報については、「取得管理情報部」ということにする。
次のステップS101においては、先ず、フィルムロールインデックス画面の表示用画像データに対する画像処理として、現在の選択シーンにおけるシーン先頭の画像内容を有するサムネイル画像データを取得して、これを、時系列に従っての配列順において最初となるシーン内インデックス画像として、シーン内インデックス領域AR2としての画像領域に貼り付けるようにされる。このようにして貼り付けられた画像は、図3との対応では、先ず、シーン先頭の画内容を示すものとされるシーン内インデックス画像P101に相当する。
なお、このシーン先頭のシーン内インデックス画像としてのサムネイル画像を得るのにあたっては、本実施の形態においては、シーン単位インデックス領域にAR1において表示されている、選択シーンのシーン単位インデックス画像P2の基となるサムネイル画像データを流用すればよい。本実施の形態のビデオカメラ装置1においては、シーン単位インデックス画像は、シーン先頭の画内容をサムネイル画像化したものであるとしているからである。あるいは、選択シーンに対応するビデオコンテンツの先頭に対応するフレーム画像データ(例えばIピクチャ)をHDD16から読み出して、この画像データを基にして生成することとしてもよい。この場合には、例えば、HDD16に記憶されているビデオコンテンツの先頭の画像データ位置は、ステップS101により読み込んで取得した取得管理情報部の内容を参照することにより認識できるものとされる。
続くステップS102以降の手順が、図3に示される2番目以降の配列順のシーン内インデックス画像(P102以降)を得て表示させるための制御となる。
ステップS102においては、選択シーンに対応するビデオコンテンツを形成するとされるGOPのシーケンスのうちから、先頭に位置するGOP(先頭GOP)を参照GOPとする。参照GOPとは、これも以降の説明から理解されることであるが、現参照GOP(正確には現参照GOPからシーン内インデックス画像として抽出されたIピクチャ)を起点として次のシーン内インデックス画像を抽出するための抽出時間間隔として、第1抽出時間間隔Tm1と第2抽出時間間隔Tm2(図4参照)との何れを設定するのかを決定するために、その決定の根拠となるビットレートの値を取得する対象となるGOPをいう。
ステップS103においては、取得管理情報部から、現在の参照GOPについてのサイズ(データ量)を示すサイズ情報 (sz_gop)を取得する。即ち、サイズ認識処理を実行する。なお、このステップS103が、ステップS102を実行した後の次の手順、つまり、ステップS103〜S113までによるループ処理における最初の処理となる場合には、先頭GOPのサイズ認識を実行することになる。
続くステップS104では、上記ステップS103により取得した参照GOPのサイズ情報(sz_gop)から、同じ参照GOPについてのビットレート(brate)を算出して取得する。本実施の形態のビデオコンテンツはVBRによりエンコードされて記録されていることから、GOPのデータサイズとしても、そのGOPの画内容の二次元的、再生時間的な相関関係が薄い(動きや色彩の変化が大きい)ほど、大きくなる。このことに基づけば、GOPのデータサイズから、そのGOPに相当する映像区間において得られているとされるビットレートを一義的に求めることは可能とされる。例えば実際において、参照GOPのサイズ情報(sz_gop)から、同じ参照GOPについてのビットレート(brate)を求めるのにあたっては、予め用意したビットレート(brate)を求めるための関数、演算式におけるしかるべき項に対して(sz_gop)を代入して、演算を実行するように構成すればよい。あるいは、GOPのサイズとビットレートとについて一義的な相関性があることに基づいて、(sz_gop)と(brate)との対応を示すテーブル情報を作成して、これをマイクロプロセッサ17に保持させておくようにした上で、このテーブル情報を参照して、ステップS103により得られたサイズ情報(sz_gop)に対応するビットレート(brate)を検索するようにしてもよい。
続くステップS105においては、上記ステップS104により取得した、参照GOPのビットレート(brate)を利用して、単位オフセット値(ut_offset)を決定する。
この単位オフセット値(ut_offset)は、例えば時間値として表されるもので、図4により説明した、第1抽出時間間隔Tm1、第2抽出時間間隔Tm2の何れか一方に相当する。即ち、図4によっても説明したとおりに、ステップS105では、例えばステップS104により取得した参照GOPのビットレート(brate)と、所定の閾値thとの比較を行い、ビットレート(brate)が閾値th未満であれば、単位オフセット値(ut_offset)として第1抽出時間間隔Tm1に相当する値を決定し、ビットレート(brate)が閾値th以上であれば、単位オフセット値(ut_offset)として第2抽出時間間隔Tm2に相当する値を決定するようにされる。
続くステップS106においては絶対オフセット値(absl_offset)を更新設定する。この絶対オフセット値(absl_offset)は、
absl_offset←absl_offset+ut_offset・・・(式1)として表されるように、
これまでに設定されていた絶対オフセット値(absl_offset)に対して、上記ステップS105にて取得した単位オフセット値(ut_offset)を加算することにより得られるものである。そしてこの絶対オフセット値(absl_offset)は、選択シーンに対応するビデオコンテンツの再生開始時間(時刻)を起点とする再生時間のオフセット値をいうものとされる。
なお、今回のステップS106が、ステップS100から処理を開始して最初の処理である場合には、これまでに設定されていた絶対オフセット値(absl_offset)については、再生開始時間に対応する0とする。
ステップS107においては、取得管理情報部を参照することにより、上記ステップS106により更新した絶対オフセット値(absl_offset)により示されるビデオコンテンツの再生時間の前後において、時間としてみて最も近い位置に在るとされるIピクチャの位置を探索するようにされる。このときの探索結果であるIピクチャの位置としては、例えばビデオコンテンツにおける再生時間により表現される。また、このステップS107にて探索されたIピクチャは、シーン単位インデックス画像としてシーン内インデックス領域AR2内に貼付表示されるべきサムネイル画像データの基となるものである。
そして、ステップS108においては、HDD16に記録されている選択シーンのビデオコンテンツのストリームデータにおける、上記ステップS107により探索したIピクチャの再生時間位置に対応するデータ位置にアクセスする。これにより、探索したIピクチャの実データへのアクセスが行われたこととなる。そして、このアクセスしたIピクチャのデータを読み出して取得するようにされる。
ステップS109においては、上記ステップS108により取得したIピクチャのデータから、シーン内インデックス画像としての表示サイズに適合した画サイズによるサムネイル画像データを生成する、そして、ステップS110により、上記ステップS109により生成したサムネイル画像データを、シーン内インデックス領域AR2において、シーン内インデックス画像の配列順に従って決まる領域部分に対して貼り付けるようにして、フィルムロールインデックス画面としての表示用画像データについての画像処理を実行するようにされる。
ステップS111では、直前の上記ステップS110(最後のステップS110)の画像処理により貼り付けられたサムネイル画像データが、シーン内インデックス領域AR2においてシーン内インデックス画像を貼り付けるべき領域のうちで、配列順が最も後となる領域に貼り付けられたものであったか否かについて判別する。ここで先ず、肯定の判別結果が得られた場合には、これより以降において、シーン内インデックス領域AR2内にシーン内インデックス画像を貼り付けることのできる領域は無い、ということになる。
そこでこの場合には、シーン内インデックス画像を貼り付けるためのループ処理であるステップS103〜S113までの処理手順を抜け、ステップSS114、S115の画像処理を実行する。なお、ステップS114、S115としての画像処理については後述する。
一方、ステップS111にて否定の判別結果が得られた場合には、ステップS112に進む。
ステップS112においては、最後のステップS110により貼り付けられたサムネイル画像データが、選択シーンから抜き出すべきインデックスデータのうちで、最後となるインデックスデータであるか否かについて判別する。
例えば、ステップS103〜S113までのループ処理を繰り返し実行している過程において、ステップS106にて得られる絶対オフセット値(absl_offset)が、ビデオストリームの終端位置に対して或る程度以上に近づいたとされると、ステップS107によっては、ビデオストリームにおける最後のIピクチャが探索されることになる。ステップS112は、ステップS107により探索されたIピクチャが、この最後のものであるのかを確認することにより判定結果を得ることができる。
ステップS112にて否定の判別結果が得られた場合には、未だ、インデックス領域AR2に対して貼り付けるべきインデックス画像が残っているということになる。そこで、この場合には、ステップS113の手順を実行する。
ステップS113においては、次のステップS103からのループ処理においての処理対象となる参照GOPについて、最後のステップS107により探索されたIピクチャを含むGOPが新たに設定されるようにして更新を行うようにされる。そして、ステップS103に戻るようにされる。
このようにして、図10の手順にあっては、ステップS103〜S113によるループ処理が実行されることになるが、このループ処理は、結果的に、選択シーンに対応するビデオコンテンツについての再生時間経過に応じたビットレートを、その先頭(開始位置)から認識していくとともに、このようにして認識されたビットレートに応じて、ビデオコンテンツの開始位置から順に、シーン内インデックス画像としてのサムネイル画像データを抽出する再生時間を決めていく、という処理を含んでいるということがいえる。
一方、ステップS112にて肯定の判別結果が得られた場合には、以降においてインデックス領域AR2に貼り付けることのできるシーン内インデックス画像は無い、ということになる。そこで、この場合にも、ステップS111にて肯定の判別結果が得られた場合と同様に、ステップS114、S115の手順に移行することになる。
これまでに説明した処理を経たことによっては、シーン内インデックス領域AR2において表示されるべきインデックス画像としてのサムネイル画像データは、全て貼り付けが完了した状態にある。図3により前述したフィルムロールインデックス画面では、シーン内インデックス領域AR2において、第1レベル内容領域AR11と、第2レベル内容領域AR12の背景について、それぞれ異なる表示態様を与えるようにされる。
そこで、先ず、ステップS114では、第1レベル内容領域AR11がシーン内インデックス領域AR2においてどの領域部分になるのかを特定した上で、この特定した領域部分の背景を、第1レベル内容領域AR11に対応する態様の画内容とするための画像処理を実行するようにされる。
ここで、シーン内インデックス領域AR2において第1レベル内容領域AR11となる領域部分は、図3の場合であれば、シーン内インデックス画像P101〜P103が配置された領域と、シーン内インデックス画像P106〜P110が配置された領域となる。これらのシーン内インデックス画像は、図4と図10の処理とを照らし合わせてみると、ステップS105において設定された単位オフセット値 (ut_offset)が第1抽出時間間隔Tm1であるとして決定された段階時に設定されていた参照GOP内から既に取得したIピクチャに基づいて生成したシーン内インデックス画像であるという点で共通する。従って、ステップS114においては、このことに基づいて、第1レベル内容領域AR11となる領域部分を特定することができる。
次のステップS115においては、上記ステップS114の処理に準じて、第2レベル内容領域AR12がシーン内インデックス領域AR2においてどの領域部分になるのかを特定した上で、この特定した領域部分の背景を、第2レベル内容領域AR12に対応する態様の画内容とするための画像処理を実行するようにされる。
なお、第2レベル内容領域AR12内に表示されるシーン内インデックス画像は、ステップS105において設定された単位オフセット値(ut_offset)が第2抽出時間間隔Tm1であるとして決定された段階において設定されていた参照GOP内から取得したIピクチャに基づいて生成したものとなる。従って、ステップS115にあっても、このことに基づいて、第2レベル内容領域AR12となる領域部分を特定することができる。
続いて、図11のフローチャートにより、先に図8により説明した第2例のビデオコンテンツ管理を行う場合を前提とする、シーン内インデックス領域AR2についての表示制御に関する処理手順例について説明する。
この第2例の場合には、図8に示したように、第1例の場合のようにビデオコンテンツデータに対して独立にビデオコンテンツ管理ファイルは設けられておらず、その代わりに、ビデオコンテンツデータのストリームにおいてGOPごとに管理パック情報を格納している(図8参照)。そこで、ステップS200においては、HDD16に記録されているビデオコンテンツのうちで、現在の選択シーンに対応するビデオコンテンツのデータ(ファイル)における、ストリームの先頭にアクセスするようにされる。
次のステップS201においては、先のステップS101と同様にして、フィルムロールインデックス画面の表示用画像データに対する画像処理として、現在の選択シーンにおけるシーン先頭の画像内容を有するサムネイル画像データを取得して、これを、時系列に従っての配列順の最初となるシーン内インデックス画像として、シーン内インデックス領域AR2としての画像領域に貼り付けるようにされる。
この場合においては、ステップS200にてビデオコンテンツの先頭にアクセスしている。そこで、ステップS201においては、さらに、ビデオコンテンツにおける先頭GOPに格納されている最初のIピクチャにアクセスすることで、シーン先頭のシーン内インデックス画像(サムネイル画像)の基となる画像データを得ることができる。
この場合にも、続くステップS202以降の手順が、図3に示される2番目以降の配列順のシーン内インデックス画像(P102以降)を得て表示させるための制御となる。そして、ステップS202においては、選択シーンに対応するビデオコンテンツのストリームを形成するGOPのうちで、先頭に位置するGOP(先頭GOP)を参照GOPとして設定するようにされる。
ステップS203においては、現在の参照GOP(現参照GOP)内に格納される管理パック情報(現管理パック情報)の読み込みを行って、この現管理パック情報から、再生時間(時刻)を示す時間情報を取得する。つまり、現参照GOPの再生時間を認識するものである。
続くステップS204においては、現参照GOPについてのサイズ(データ量)認識を行うために、同じく、現管理パック情報から、サイズ情報 (sz_gop)を取得する。なお、このステップS204が、ステップS202を実行した後において最初に実行されたものである場合には、先頭GOPのサイズ認識を実行することになる。
次のステップS205では、例えばステップS104と同様にして、上記ステップS204により取得した現参照GOPのサイズ情報(sz_gop)から、現参照GOPについてのビットレート(brate)を求める。
ステップS206においては、上記ステップS205により取得した、ビットレート(brate)を利用して、目標オフセット値(trg_offset)を決定する。この場合の目標オフセット値(trg_offset)は、図10のステップS105により決定される単位オフセット値(ut_offset)と同じ意義を有するものである。従って、目標オフセット値(trg_offset)の決定の仕方としては、図10のステップS105と同様の処理を実行すればよい。
次のステップS207においては、上記ステップS206により決定された目標オフセット値(trg_offset)により示されるビデオコンテンツ上のデータ位置が、現データ書込単位内に存在するか否かについての判別を行う。つまり、現参照GOP(厳密には現参照GOPからシーン内インデックス画像として抽出されたIピクチャ)の再生時間から、目標オフセット値(trg_offset)分だけ再生時間を進行させたとするデータ位置が、現データ書込単位のなかに含まれているかどうかについて判別するものである。データ書込単位は、図8(a)(b)の関係から理解されるように、ビデオコンテンツのストリームにおいて複数連続するGOPにより形成される。
また、この判別処理としては、例えば先ず、目標オフセット値(trg_offset)により示されるビデオコンテンツ上のデータ位置について、ステップS203により取得した参照GOPの時間情報が示す再生時間に、目標オフセット値(trg_offset)を加算することで、ビデオコンテンツの再生開始時間を起点とした絶対再生時間を得るようにされる。そのうえで、ステップS203により取得した参照GOPの時間情報が示す再生時間と、上記の絶対再生時間との間のデータ区間において、データ書込単位の区切り位置が含まれるか否かを判別すればよい。また、ビデオコンテンツ上のデータ書込単位の区切り位置としての再生時間位置は、データ書込単位の各GOP内に含まれるものとされる管理パケット内の参照情報から容易に特定される。
ステップS207において否定の判別結果が得られた場合には、目標オフセット値(trg_offset)により示されるビデオコンテンツ上のデータ位置は、再生時間としては、現データ書込単位よりも先のデータ書込単位に存在することになる。そこで、この場合には、ステップS208により、現データ書込単位に対して再生時間が次となるデータ書込単位の(先頭)アドレスにアクセスして、再度ステップS207による判別処理を行うようにされる。そして、ステップS207において肯定の判別結果が得られることとなったのであれば、ステップS209に進む。
ステップS209では、HDD16に記憶されている選択シーンに対応するビデオコンテンツのデータ上において、目標オフセット値が示すデータ位置に最も近いGOP(目標オフセット値が示すデータ位置を含むGOPも含む)にアクセスする。次に、ステップS210により、このアクセスしたGOPから所定規則に従って選択した1つのIピクチャを取得する。そして、次のステップS211、S212によっては、図10のステップS109、S110と同様に、取得したIピクチャからサムネイル画像データを生成し、これをシーン内インデックス画像として、シーン内インデックス領域AR2内に対して配列順に従って貼り付ける画像処理を実行するようにされる。
ステップS212の後に実行する、ステップS213〜ステップS217までの手順は、図10のステップS111〜115と同様となることから、ここでの説明は省略する。
続いては、図9(a)(b)に示した、第3例、第4例としてのビデオコンテンツの管理態様例に対応したシーン内インデックス領域AR2の表示制御について説明する。第3例及び第4例では、ビデオコンテンツ管理ファイル、又は管理パック情報のほかに、コンテンツDBファイルによってもビデオコンテンツを管理する態様であるが、ここで先ず、本実施の形態としてのシーン内インデックス領域AR2の表示制御に関連して定義したコンテンツDBファイルの内容例について述べておくこととする。
先ず、ビデオコンテンツ管理ファイルが、本来はコンテンツの再生などの限定された機能に対応して管理することを主目的としたものであるのに対して、第3例、第4例の管理態様例において採用されるコンテンツDBファイルは、例えば管理情報として、各種多様のメタデータを主体とするもので、再生以外の多様で高度な管理が行えるようにすることを目的としている。そこで、本実施の形態としては、シーン内インデックス領域AR2の表示制御を行うことに対応させて、コンテンツDBファイルが有するビデオコンテンツごとの情報として、再生時間経過に応じて変化するビットレートを示し得る、ビットレート情報を定義する。コンテンツDBファイルにおけるコンテンツ単位の管理情報は、コンテンツのデータが新規に記録されたことに応じて、新規に作成されるようになっている。上記ビットレート情報についても、ビデオコンテンツ(撮像動画像データ)の記録時において、逐次ビットレートの情報を保持しておくようにして、このビデオコンテンツの記録が完了した段階では、このビデオコンテンツに対応して新規作成された管理情報に、ビットレート情報を格納しておくようにされる。これにより、コンテンツDBファイルを有する場合には、シーン内インデックス領域AR2の表示制御を実行するのにあたり、図10、図11のようにして、GOPのサイズ情報(sz_gop)の取得(ステップS103、S204)と、これに続く、ビットレートの算出(ステップS104、A205)という複数段階の処理手順を踏むことなく、コンテンツDBファイルから直接読み出して取得できることになる。
なお、コンテンツDBファイルにどのようにしてビットレート情報を格納するのかについてであるが、例えば1つには、GOPごとに対応させてビットレートを格納することが考えられる。このようにすれば、GOP単位でビットレートを認識することが可能であり、従って、高い精度、信頼性でもって、第1抽出時間間隔Tm1、Tm2の何れとするのかを決定することが可能となる。
しかしながら、GOPごとにビットレート情報を用意することとした場合、ビデオコンテンツが長尺である場合には、ビットレート情報のサイズが相当なものとなり、従って、コンテンツDBファイルとしても相当のサイズとなる可能性がでてくる。コンテンツDBファイルのサイズが大きすぎてしまうと、先ず、記憶媒体(HDD16)の容量の圧迫であるとか、コンテンツDBファイルの処理が重くなるなどの可能性が出てくる。
そこで、本実施の形態としては、1ビデオコンテンツごとのビットレート情報として、予め定めた一定量以上のビットレートの変化が生じたとされるタイミングごとに対応させて、このタイミングの再生時間と、そのときのビットレート値を少なくとも有して成る単位情報(ビットレート変化点情報)をコンテンツDBファイルに格納することとする。
ここで、図12、図13により、上記のビットレート情報を格納するようにされたコンテンツDBファイルの形式(フォーマット)例について説明しておくこととする。なお、これらの図に示す形式は、あくまでもその一例を模式的に示したものであり、この図に示した内容に基づいたものに限定されるべきものではない。
図12には、コンテンツDBファイルのディレクトリ構造例を示している。
コンテンツDBファイルは、例えばファイルシステム上では、1つのファイル単位として扱われるのであるが、その実際の内容は、以降の説明から理解されるようにして、所定の管理情報内容が記述されるものとして定義された単位情報(ここでは、単位管理情報ということにする)に細分化できる構造を有している。これに伴い、コンテンツDBファイルのフォーマットでは、この図に示すようにして、単位管理情報をディレクトリ構造により管理することができる。
コンテンツDBファイルとしてのディレクトリ構成にあっては、先ず、図示するようにして、Contents_DB_Rootが置かれ、この直下のサブディレクトリとして、Original_RootとFavorite_Rootを置くことができるようにされている。Original_Rootは必須のディレクトリであり、その配下には、ビデオカメラ装置1により撮像して得られたコンテンツ(ビデオコンテンツ)に関するリストを、所定のディレクトリ分類(ここでは、撮影記録年月日)により格納して管理するようにされている。Favorite_Rootはオプションであり、その配下には、HDD16に記憶されているビデオコンテンツのうちから、例えばユーザが「お気に入り」として選択指定したものについての所定の単位管理情報を、所定のディレクトリ分類に従って格納する。
Original_Rootの配下においては、撮影記録年月日の分類によりビデオコンテンツのリストを格納することに対応して、例えばOriginal_Rootの直下には、撮影記録年月日に対応するディレクトリを配置することとしている。この図では、例として、ディレクトリ名「2007/3/1」のディレクトリと、ディレクトリ名「2007/3/5」のディレクトリとの2つのディレクトリが少なくとも置かれている場合を示している。これらのディレクトリ名が、そのディレクトリが対応する撮影記録年月日を示す。
そして、これらの撮影記録年月日のディレクトリに対して、その撮影記録年月日において撮影記録してHDD16に保存されたとするビデオコンテンツについての単位管理情報を格納するようにされる。
先にも述べたように、単位管理情報としてはその定義内容に従った複数種類があるものとされるが、ここでは、本実施の形態のシーン内インデックス領域AR2の表示制御との対応を分かりやすくするために、単位管理情報については、ビットレート情報としての管理情報内容を有するもののみを示している。このビットレート情報を有する単位管理情報については、ビットレート対応単位管理情報ということにする。図においては、ディレクトリ名「2007/3/1」のディレクトリ以下のContent1、Content2に対して、それぞれ、タイトル名「Bitrate1」「Bitrate2」が付された、2つのビットレート対応単位管理情報を格納している。また、ディレクトリ名「2007/3/5」の以下のContent3に対して、タイトル名「Bitrate3」が付された1つのビットレート対応単位管理情報を格納している。
確認のために述べておくと、これらのタイトル名「Bitrate1」「Bitrate2」「Bitrate3」が付されたビットレート対応単位管理情報は、それぞれ、前述した、特定の1つのビデオコンテンツについての、ビットレート変化点情報を格納している。ビットレート変化点情報とは、前述したように、予め定めた一定量以上のビットレートの変化が生じたとされるタイミングごとに対応させて、このタイミングの再生時間と、そのときのビットレート値を有して成るものである。
また、コンテンツDBファイルでは、管理対象とするビデオコンテンツ(シーン)ごとに対応して生成した、シーンを代表する1つのサムネイル画像(シーン代表サムネイル)を管理できるようにされている。この図では、このシーン代表サムネイルをビットレート対応単位管理情報ごとに対応させて示しており、タイトル名「Bitrate1」「Bitrate2」「Bitrate3」のビットレート対応単位管理情報ごとに、シーン代表サムネイルthm1、thm2、thm3が対応付けられている。
なお、図12のディレクトリ構造において、各ディレクトリ、単位管理情報(及びシーン代表サムネイル)ごとに示される#1以降の番号は、ディレクトリ管理のために付されるディレクトリ番号とされる。
図13は、上記図12のディレクトリ構成に対応する、コンテンツDBファイルの実体的な内容例を模式的に示したものである。
この図に示されるようにして、コンテンツDBファイルは、先ずプロパティファイルが有るようにされたうえで、このプロパティファイルに管理されるものとして、メタデータファイルと、サムネイルファイルとを少なくとも有して成るものとされる。
先ず、プロパティファイルは、ファイルヘッダに続けて、スロットといわれる単位領域が配置されて形成される。このスロットは、それぞれが、図12に例示したディレクトリ、単位管理情報ごとに対応する。図においては、スロットごとに、対応するディレクトリ番号を示している。
1つのスロットは、対応するディレクトリに対応する所定の管理情報内容として、ディレクトリ名、親子関係にあるディレクトリを指し示す情報のほか、そのディレクトリに配置される単位管理情報やサムネイル画像データとしての実データを格納する位置を示すポインタなどを格納する。
図12によれば、例えばタイトル名「Bitrate1」のビットレート対応単位管理情報のディレクトリ番号は#21とされている。そこで、図13に示すプロパティファイルにおいてディレクトリ番号#21に対応するスロットを参照すると、ここには、メタデータファイル内におけるタイトル名「Bitrate1」のビットレート対応単位管理情報の格納位置を示すポインタが格納されているものである。換言すれば、目的とするディレクトリの番号が対応しているスロットにアクセスして、ここに格納されるポインタを読み込むことで、図12に示したディレクトリ構造を辿るようにして、目的とする単位管理情報としての実データにアクセスできる。
同様にして、メタデータファイル内のタイトル名「Bitrate2」のビットレート対応単位管理情報にアクセスするためには、プロパティファイル内のディレクトリ番号#22に対応するスロットからビットレート対応単位管理情報を示すポインタを取得するようにされる。
また、メタデータファイル内のタイトル名「Bitrate3」のビットレート対応単位管理情報にアクセスするためには、プロパティファイル内のディレクトリ番号#24に対応するスロットからビットレート対応単位管理情報をポインタを取得するようにされる。
また、ここでは、ビットレート対応単位管理情報に対応するプロパティファイル内のスロットに、対応するビデオコンテンツについてのシーン代表サムネイルのデータの所在を指し示すポインタも格納しているものとされる。例えば、プロパティファイル内のディレクトリ番号#21が対応するスロットには、1つの共通のビデオコンテンツに対応して、タイトル名「Bitrate1」のビットレート対応単位管理情報についてのメタデータファイル内の位置を示すポインタと、サムネイルファイル内におけるシーン代表サムネイルthm1の画像データの位置を示すポインタとを示すこととしているものである。
なお、この管理態様例は、あくまでも一例であって、これは例えば、共通のビデオコンテンツに対応するプロパティファイル内のスロットにより、ビットレート対応単位管理情報やシーン代表サムネイル画像データなどを一括して管理可能とされていることを示唆するものである。
図14のフローチャートは、先に図9(a)に示した第3例としてのビデオコンテンツ管理態様例に対応する、シーン内インデックス領域AR2の表示制御のための処理手順を示している。
この図においては、先ず、ステップS300により、図10のステップS100と同様にして、HDD16に記憶されているビデオコンテンツ管理ファイルから、現在の選択シーンに対応するビデオコンテンツに対応する管理情報部を読み込んで取得し、次のステップS301により、図10のステップS101と同様にして、選択シーンにおいて先頭となるシーン内インデックス画像をシーン内インデックス領域AR2に貼り付けるための画像処理を実行する。
なお、この第3例の場合には、先に図12、図13により示したように、コンテンツDBファイルにより、ビデオコンテンツごとにシーン代表サムネイルとしてのサムネイル画像データを保持して管理するようにされている。そこで、このシーン代表サムネイルとして、シーンにおける最初のフレーム画像データから生成するものとしている場合には、先ず、フィルムロールインデックス画面のシーン単位インデックス領域AR1におけるシーン単位インデックス画像の表示のために、このシーン代表サムネイルの画像データを利用することができる。そのうえで、さらに、ステップS301により貼り付けるべき、先頭のシーン内インデックス画像にも、このシーン代表サムネイルの画像データを利用することが可能である。
ステップS302においては、コンテンツDBファイルから、選択シーンに対応するビットレート変化点情報を取得するようにされる。このためには、図12、図13による説明からも理解されるように、例えばコンテンツDBファイルのディレクトリを辿るようにしながら、メタデータファイル内の、選択シーンとしてのビデオコンテンツに対応するビットレート対応単位管理情報にアクセスするようにされる。そして、このビットレート対応単位管理情報の内容を取得することで、ビットレート変化点情報が得られるものとなる。
ステップS303においては、選択シーンに対応するビデオコンテンツを形成するとされるGOPのシーケンスのうちから、先頭に位置するGOP(先頭GOP)を参照GOPとする。
ステップS304においては、ビデオコンテンツ管理ファイルから、現参照GOPの単位に対応してその再生時間を示す再生時間情報(t_info)を取得する。
ステップS305においては、先のステップS302にて取得したビットレート変化点情報と、上記ステップS304により取得した現GOPについての再生時間情報(t_info)とを利用して、現参照GOPのビットレート(brate)を求めるようにされる。
ビットレート変化点情報は、ビットレートが一定量以上に変化したときの再生時間と、その変化後のビットレートが示される。そこで、ステップS305としては、例えば、ビットレート変化点情報にて示される再生時間を区切り位置として得られる時間区間のどこに再生時間情報(t_info)(即ちGOP)が位置するのかを認識するようにされる。また、この再生時間情報(t_info)が位置する時間区間内のビットレートを、その区間の始点と終点に対応した再生時間に対応付けられているビットレートから推定して求めるようにされる。このようにして求められたビットレートが、ステップS305にて求めるべきビットレート(brate)となる。
ステップS306では、図10のステップS105と同様に、ビットレート(brate)を利用して単位オフセット値(ut_offset)を求め、ステップS307により、図10のステップS106と同様にして絶対オフセット値(absl_offset)を更新設定する。
さらに、ステップS308〜ステップS316までの手順についても、図10のステップS107〜S115のそれぞれと同様の処理を実行するようにされる。
図15のフローチャートは、先に図9(b)に示した第4例としてのビデオコンテンツ管理態様例に対応する、シーン内インデックス領域AR2の表示制御のための処理手順を示している。
この図においては、先ず、ステップS400により、図11のステップS200と同様にして、HDD16に記録されているビデオコンテンツのうちで、現在の選択シーンに対応するビデオコンテンツのデータ(ファイル)における、ストリームの先頭にアクセスする。
ステップS401は、図14のステップS301などと同様にして、選択シーンにおいて先頭となるシーン内インデックス画像をシーン内インデックス領域AR2に貼り付けるための画像処理を実行する。
ステップS402、S403では、図14のステップ302、S303と同様にして、コンテンツDBファイルから、選択シーンに対応するビットレート変化点情報を取得し、選択シーンに対応するビデオコンテンツを形成するとされるGOPのシーケンスのうちから、先頭GOPを、参照GOPとして設定する。
ステップS404においては、HDD16に記録されている現参照GOPとしての実データ内に格納される管理パック情報に格納されている再生時間情報から、現参照GOPの単位に対応してその再生時間を示す再生時間情報(t_info)を取得する。確認のために述べておくと、ここで取得される再生時間情報(t_info)は、図14のステップS204にて取得する再生時間情報(t_info)と同じ意義内容を持つものである。
ステップS405においては、図14のステップS305と同様にして、先のステップS402にて取得したビットレート変化点情報と、上記ステップS404により取得した現GOPについての再生時間情報(t_info)とを利用して、現参照GOPのビットレート(brate)を求めるようにされる。
ステップS406では、図11のステップS206の処理に準じて、ビットレート(brate)を利用して目標オフセット値(trg_offset)を求めるようにされる。次に、ステップS407、S408、S409により、図11のステップS207、S208、S209と同様の処理によって、最終的に、HDD上で、目標オフセット値が示すデータ位置に最も近いGOP(目標オフセット値が示すデータ位置を含むGOPも含む)にアクセスする。
ステップS410〜S415までの手順は、例えば図14のステップS210〜S215のそれぞれと同様の処理を実行する。
なお、コンテンツDBファイルが設けられる場合において、そのファイルサイズの増加が許容される条件であれば、例えばGOP単位ごとのビットレートを示すビットレート情報を、ビデオコンテンツの記録に際してコンテンツDBファイルに予め格納しておき、このビットレート情報を参照して、シーン内インデックス領域AR2についての表示制御を行うように構成可能であることは、前述したとおりである。この場合には、GOPごとのビットレートの値を、コンテンツDBファイルを参照して直ちに認識できることから、その分、処理が効率的なものとなるという点で利点が生まれてくる。
このことに基づけば、コンテンツDBファイルに対して、予め、シーン内インデックス画像のサムネイル画像データを格納しておくような構成とすることも、本願発明の下では考えられるものであり、これまでの説明のようにしてシーン内インデックス領域の表示制御時においてシーン内インデックス画像のサムネイル画像データを生成する処理を実行する必要が無くなり、処理の効率化が図られる。このためには、先ず、動画(ビデオコンテンツ)の撮影記録時においては、圧縮符号化処理過程で即時的に得られるビットレートを閾値thと比較するようにする。そして、この比較結果に従って決まる抽出時間間隔(Tm1あるいはTm2)ごとに、撮影により得られたビデオ信号から、シーン内インデックス画像としてのサムネイル画像データを生成して取得する。即ち、この場合には、本願発明における抽出静止画像データの取得を、ビデオコンテンツ(単位動画像データ)の記録時に対応させて実行するようにされる。そして、この動作を、撮像により得られたビデオコンテンツのHDD16への書き込みと併行して実行するようにされる。そして、これらの生成したサムネイル画像データについて、例えば第1レベル内容領域AR11と第2レベル内容領域AR12の何れに属するのかを示す情報、対応する再生時間情報などをはじめとする所要の情報を付加して、コンテンツDBファイルに格納するようにされる。
続いては、シーン内インデックス領域AR2における、シーン単位インデックス画像の配列表示に関する他の態様例について説明する。
図3に示されるフィルムロールインデックス画面のシーン内インデックス領域AR2においては、第1レベル内容領域AR11と第2レベル内容領域AR12とでその背景について異なる表示態様を与え、これにより、シーンにおける変化の大きな区間と小さな区間との区別についての視認性(視覚的弁別性)が高められるように配慮している。
しかしながら、第1レベル内容領域AR11と第2レベル内容領域AR12についての視覚的弁別性を向上させることを目的とするのであれば、このための表示態様としては、図3により説明したもの以外にも考えることができる。そこで、このような表示態様の他の例について、2例を変形例として挙げておくこととする。
第1の変形例を、図16に示す。
この図には、フィルムロールインデックス画面における、シーン内インデックス領域AR2を抜き出して示している。この図において、図3と同一部分については同一符号を付して説明を省略する。
この第1の変形例としては、第1レベル内容領域AR11内に配列表示させるシーン単位インデックス画像と、第2レベル内容領域AR12内に配列表示させるシーン単位インデックス画像とで、その表示サイズを変更するものである。
つまり、例えば図において、シーン単位インデックス画像P101と、シーン単位インデックス画像P103とに示されているように、第1レベル内容領域AR11内のシーン内インデックス画像の表示サイズを、w1×h1により表し、第2レベル内容領域AR12内のシーン内インデックス画像の表示サイズをw2×h2により表したとすると、w1×h1とw2×h2とで、互いに異なる所定値を設定するようにされる。そのうえで、この場合には、w1×h1に対してw2×h2が大きくなる関係となるようにしている。つまり、この場合においては、相対的に、第1レベル内容領域AR11内に配列表示させるシーン単位インデックス画像を小さいサイズで表示し、第2レベル内容領域AR12内に配列表示させるシーン単位インデックス画像を大きいサイズで表示するものである。ここで、第2レベル内容領域AR12内のシーン単位インデックス画像のほうを大きいサイズで表示しているのは、第2レベル内容領域に対応するシーン内区間のほうが、第1レベル内容領域に対応するシーン内区間よりも、画像の変化が大きく、従って、ユーザにとっての重要度も高いものとして捉えられることに基づき、その重要度の高さが、表示サイズの大きさとして反映されるように配慮したものである。
そして、このような表示態様を採ることによっても、第1レベル内容領域AR11と第2レベル内容領域AR12とについての視覚的弁別性は向上することになる。
図17には、第2の変形例としてのシーン内インデックス領域AR2の表示態様例を示している。この図において、図3と、図16と同一部分については同一符号を付して説明を省略する。
この第2の変形例では、第1レベル内容領域AR11と第2レベル容量領域AR12とで、シーン内インデックス画像が配列される間隔の距離(距離間隔)について、下記のようにして、互いに異なる長さを設定するようにされる。
ここで、図中のシーン内インデックス画像P109、P110に対応して示される長さL1は、それぞれのシーン内インデックス画像を四角形としてみた場合の対角線の交点間の距離であり、第1レベル内容領域AR11内において設定される距離間隔を示すものとされる。同様に、シーン内インデックス画像P103、P104に対応して示される長さL2は、第2レベル内容領域AR12内において設定される距離間隔を示す。そして、これらの距離間隔L1、L2についてはL1>L2の関係が成立するようにして、それぞれの所定の長さを設定するようにされる。
これにより、シーン内インデックス領域AR2において配列されるシーン内インデックス画像間の距離は、相対的に、第1レベル内容領域AR11のほうが長く、第2レベル内容領域AR12のほうが短くなるのであるが、これは、シーン(ビデオコンテンツのストリーム)からシーン内インデックス画像を抜き出したとされる時間間隔(抽出時間間隔)の長短を反映しているものとしてみることができる。
このような表示態様を採ることによっても、第1レベル内容領域AR11と第2レベル内容領域AR12とについての視覚的弁別性が向上することになる。
表示制御処理として、変形例の第1例としての表示態様を与えるためには、シーン内インデックス画像としてのサムネイル画像データを生成する処理(図10のステップS109、図11のステップS211、図14のステップS311、図15のステップ411)を実行するのにあたり、第1レベル内容領域AR11内に配列させるべきものについては、表示画サイズw1×h1に対応する表示用の水平・垂直画素数によるものを生成し、第2レベル内容領域AR12内に配列させるべきものについては、表示画サイズw2×h2に対応する表示用の水平・垂直画素数によるものを生成するようにすればよい。このようにして設定した表示用の水平・垂直画素数が、表示時においては、表示画サイズw1×h1、w2×h2の相違として反映されることになる。
また、第2例としての表示態様を与えるためには、シーン内インデックス画像として生成したサムネイル画像データをシーン内インデックス領域AR2内に貼り付ける画像処理(図10のステップS110、図11のステップS212、図14のステップS312、図15のステップ412)を実行する際に、第1レベル内容領域AR11内に貼り付けていくときには、前回貼り付けたシーン内インデックス画像(サムネイル画像データ)の中心位置(対角線の交点となる位置)に対して、距離間隔L1だけ離れた位置に対応する画像領域部分に対して貼り付けるようにされる。また、同様にして、第2レベル内容領域AR12内に貼り付けていくときには、前回貼り付けたサムネイル画像に対して、距離間隔L2だけ離れた位置に対応する画像領域部分に対して貼り付けるようにされる。
なお、これまでの説明により、シーン内インデックス領域AR2における、第1レベル内容領域AR11と第2レベル内容領域AR12の視覚的弁別性を得る(高める)ための表示態様例としては、図3に示した背景の表示態様を変更する例と、上記の変形例における第1例と、第2例の3例を挙げたことになる。例えばこれら三者の表示態様は、何れか1つを採用してもよいし、何れか2つを選択して採用することとしてもよい。さらに、三者の全てを採用してもよい。
また、本願発明の下では、第1レベル内容領域AR11と第2レベル内容領域AR12の視覚的弁別性を得るための表示態様としては、上記の3例に限定されるべきものではなく、第1レベル内容領域AR11内に配置されるべきものとして分類されるシーン内インデックス画像と、第2レベル内容領域AR12内に配置されるべきものとして分類されるシーン内インデックス画像とを視覚的に区別可能なようにされていさえすればよいものである。
また、本願発明にあっては、先ず、シーン内インデックス領域AR2において、ビットレートに応じて設定された抽出時間間隔によりビデオコンテンツのストリームから抜き出したものとされるシーン内インデックス画像が配列表示される態様を採る限り、フィルムロールインデックス画面における表示態様等の変更は適宜行われてよいものとされる。
また、実施の形態にあっては、抽出時間間隔としては、1つの閾値thを基準とした、Tm1、Tm2による2段階としているが、2以上の閾値を設定することで、3段階以上が設定されるようにしてもよいものである。
さらに、シーン内インデックス領域の表示制御としての処理手順についても、図10、図11、図14、図15のフローチャートにより説明した内容のみに限定されるべきではなく、実際に応じて適宜変更されてよい。
また、実施の形態では、本願発明の構成をビデオカメラ装置に適用しているが、これ以外にも、例えば動画撮影機能を有するようにされたデジタルスチルカメラ、携帯電話などをはじめ、他の電子機器に対しても適用が可能である。
本発明の実施の形態としてのビデオカメラ装置1の構成例を示すブロック図である。 本実施の形態のビデオカメラ装置における一覧・検索画面の表示に関連した操作に応じて表示画面部に表示される画像の内容例を示す図である。 実施の形態に対応するフィルムロールインデックス画面の表示内容例を示す図である。 シーン内インデックス画像についての抽出時間間隔の設定例を説明するための図である。 フィルムロールインデックス画面を基点とする、関連メニュー画面、時間間隔設定画面との間での遷移例を示す図である。 時間間隔設定画面の表示態様例を示す図である。 実施の形態としてのビデオコンテンツの管理態様例(第1例)を説明するための図である。 実施の形態としてのビデオコンテンツの管理態様例(第2例)を説明するための図である。 実施の形態としてのビデオコンテンツの管理態様例(第3例、第4例)を説明するための図である。 第1例としてのビデオコンテンツの管理態様例に対応する、シーン内インデックス領域の表示制御のための処理手順例を示すフローチャートである。 第2例としてのビデオコンテンツの管理態様例に対応する、シーン内インデックス領域の表示制御のための処理手順例を示すフローチャートである。 シーン内インデックス領域の表示制御に対応してビットレート情報を格納させることとしたコンテンツDBファイルの形式例として、ディレクトリ構成を示す図である。 シーン内インデックス領域の表示制御に対応してビットレート情報を格納させることとしたコンテンツDBファイルの形式例として、内部のファイル構成を示す図である。 第3例としてのビデオコンテンツの管理態様例に対応する、シーン内インデックス領域の表示制御のための処理手順例を示すフローチャートである。 第4例としてのビデオコンテンツの管理態様例に対応する、シーン内インデックス領域の表示制御のための処理手順例を示すフローチャートである。 変形例として、シーン内インデックス領域における第1・第2レベル内容領域が視覚的に区分できるようにするための、他の表示態様例(第1例)を示す図である。 変形例として、シーン内インデックス領域における第1・第2レベル内容領域が視覚的に区分できるようにするための、他の表示態様例(第2例)を示す図である。
符号の説明
1 ビデオカメラ装置、11 光学系部、12 撮像部、13 カメラ制御部、14 カメラ信号処理部、15 記録再生処理回路、16 HDD、17 マイクロプロセッサ、18 OSD処理部、19 重畳処理部、20 表示部、20A 表示画面部、21 ハードウェア操作部、21A タッチパネル部、21a ホームキー、21b フィルムロールキー、AR1 シーン単位インデックス領域、AR2 シーン内インデックス領域、AR11 第1レベル内容領域、AR12 第2レベル内容領域、P1〜P3シーン単位インデックス画像、P101〜P110 シーン内インデックス画像

Claims (9)

  1. 指定が行われた再生時間に対応する単位動画像データにおける画内容を抽出したものに相当する抽出静止画像データを取得する静止画情報取得手段と、
    上記静止画情報取得手段により、それぞれが異なる再生時間に対応して抽出した複数の抽出静止画像データの画像を、単位動画像データの再生時間経過に従って所定の態様により配列表示させた画内容を有する、単位動画像内一覧画像としての表示用画像データを生成する表示画像生成処理手段と、
    上記単位動画像データの再生時間経過に応じたビットレートを認識するビットレート認識手段と、
    上記複数の抽出静止画像データについての、再生時間が前後関係にある2つの上記抽出静止画像データが対応する再生時間の間隔である抽出時間間隔のそれぞれを、認識した上記ビットレートに基づいて決定するようにされた抽出時間間隔設定手段と、
    決定された上記抽出時間間隔に基づいて、上記静止画情報取得手段が抽出する上記複数の抽出静止画像データごとに対応する再生時間を指定する再生時間指定手段と、
    を備えることを特徴とする表示制御装置。
  2. 上記単位動画像データは、所定の再生単位が連続して形成されるものとされ、
    上記ビットレート認識手段は、
    単位動画像データに対応して設けられる管理情報に含まれる、上記再生単位ごとのデータサイズを示す情報を少なくとも利用して、上記再生時間経過に応じたビットレートを認識するようにされている、
    ことを特徴とする請求項1に記載の表示制御装置。
  3. 上記ビットレート認識手段は、
    単位動画像データに対応して設けられる管理情報に含まれる、再生時間経過に応じたビットレートの変化を示し得る内容を有するビットレート変化情報を少なくとも利用して、上記再生時間経過に応じたビットレートを認識するようにされている、
    ことを特徴とする請求項1に記載の表示制御装置。
  4. 上記表示画像生成処理手段は、
    上記単位動画像内一覧画像において配列表示される複数の抽出静止画データの画像について、上記抽出時間間隔に基づいて設定した分類が反映された所定の表示態様が得られるようにして、上記単位動画像内一覧画像としての表示用画像データを生成する、
    ことを特徴とする請求項1に記載の表示制御装置。
  5. 上記表示画像生成処理手段は、
    上記単位動画像内一覧画像において、上記複数の抽出静止画データの画像が配列表示される領域の背景画について、上記分類ごとに異なる所定色となるようにして、上記単位動画像内静止画配列画像としての表示用画像データを生成する、
    ことを特徴とする請求項4に記載の表示制御装置。
  6. 上記表示画像生成処理手段は、
    上記複数の抽出静止画像データの画像について、上記分類ごとに異なる所定の表示サイズとなるようにして、上記単位動画像内一覧画像としての表示用画像データを生成する、
    ことを特徴とする請求項4に記載の表示制御装置。
  7. 上記表示画像生成処理手段は、
    再生時間上で前後となる抽出静止画像データの画像についての配列位置間の距離が、上記分類ごとに異なるものとなるようにして、上記単位動画像内一覧画像としての表示用画像データを生成する、
    ことを特徴とする請求項4に記載の表示制御装置。
  8. 指定が行われた再生時間に対応する単位動画像データにおける画内容を抽出したものに相当する抽出静止画像データを取得する静止画情報取得手順と、
    上記静止画情報取得手順により、それぞれが異なる再生時間に対応して抽出した複数の抽出静止画像データの画像を、単位動画像データの再生時間経過に従って所定の態様により配列表示させた画内容を有する、単位動画像内一覧画像としての表示用画像データを生成する表示画像生成処理手順と、
    上記単位動画像データの再生時間経過に応じたビットレートを認識するビットレート認識手順と、
    上記複数の抽出静止画像データについての、再生時間が前後関係にある2つの上記抽出静止画像データが対応する再生時間の間隔である抽出時間間隔のそれぞれを、認識した上記ビットレートに基づいて決定する抽出時間間隔設定手順と、
    決定された上記抽出時間間隔に基づいて、上記静止画情報取得手順が抽出する上記複数の抽出静止画像データごとに対応する再生時間を指定する再生時間指定手順と、
    を実行することを特徴とする表示制御方法。
  9. 指定が行われた再生時間に対応する単位動画像データにおける画内容を抽出したものに相当する抽出静止画像データを取得する処理を実行させる静止画情報取得制御手順と、
    上記静止画情報取得制御手順により、それぞれが異なる再生時間に対応して抽出した複数の抽出静止画像データの画像を、単位動画像データの再生時間経過に従って所定の態様により配列表示させた画内容を有する、単位動画像内一覧画像としての表示用画像データを生成させる表示画像生成処理手順と、
    上記単位動画像データの再生時間経過に応じたビットレートを認識するビットレート認識手順と、
    上記複数の抽出静止画像データについての、再生時間が前後関係にある2つの上記抽出静止画像データが対応する再生時間の間隔である抽出時間間隔のそれぞれを、認識した上記ビットレートに基づいて決定する抽出時間間隔設定手順と、
    決定された上記抽出時間間隔に基づいて、上記静止画情報取得手順により抽出する上記複数の抽出静止画像データごとに対応する再生時間を指定する再生時間指定手順と、
    を表示制御装置に実行させるプログラム。
JP2007156439A 2007-06-13 2007-06-13 表示制御装置、表示制御方法、プログラム Pending JP2008311847A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007156439A JP2008311847A (ja) 2007-06-13 2007-06-13 表示制御装置、表示制御方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007156439A JP2008311847A (ja) 2007-06-13 2007-06-13 表示制御装置、表示制御方法、プログラム

Publications (1)

Publication Number Publication Date
JP2008311847A true JP2008311847A (ja) 2008-12-25

Family

ID=40239072

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007156439A Pending JP2008311847A (ja) 2007-06-13 2007-06-13 表示制御装置、表示制御方法、プログラム

Country Status (1)

Country Link
JP (1) JP2008311847A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010283538A (ja) * 2009-06-03 2010-12-16 Sony Corp 撮像装置、画像処理方法及びプログラム
WO2014196009A1 (ja) * 2013-06-03 2014-12-11 Miyaji Chikara 動画再生システム、及び動画データのサムネイル画像の表示方法
CN113261302A (zh) * 2018-12-25 2021-08-13 佳能株式会社 电子装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010283538A (ja) * 2009-06-03 2010-12-16 Sony Corp 撮像装置、画像処理方法及びプログラム
WO2014196009A1 (ja) * 2013-06-03 2014-12-11 Miyaji Chikara 動画再生システム、及び動画データのサムネイル画像の表示方法
JP5954756B2 (ja) * 2013-06-03 2016-07-20 独立行政法人日本スポーツ振興センター 動画再生システム
CN113261302A (zh) * 2018-12-25 2021-08-13 佳能株式会社 电子装置
CN113261302B (zh) * 2018-12-25 2023-08-01 佳能株式会社 电子装置

Similar Documents

Publication Publication Date Title
JP4935551B2 (ja) 表示制御装置、表示制御方法、プログラム
EP3185539B1 (en) Information processing apparatus, imaging apparatus, image display control method and computer program
JP4354806B2 (ja) 動画像管理装置及び方法
US9990958B2 (en) Playback apparatus, method for the same, and recording medium
JP4194272B2 (ja) 動画像管理装置及び方法
US9113124B2 (en) Method and system for still image capture from video footage
JP4510718B2 (ja) 画像出力装置及びその制御方法
US8704931B2 (en) Apparatus and method of photographing moving image
CN100594549C (zh) 删除数据和还原删除数据的方法、介质和设备
JP2010109788A (ja) 画像処理装置、画像表示方法および画像表示プログラム
JP2011028534A (ja) 表示処理装置、表示処理方法および表示処理プログラム
JP5701017B2 (ja) 動画再生装置、動画再生方法、コンピュータプログラム、記憶媒体
JP3495709B2 (ja) データ記録装置
KR20090131220A (ko) 영상 장치 및 그 제어 방법
JP3754320B2 (ja) 画像信号処理装置
JP2006060653A (ja) 画像編集装置,方法およびプログラム
JP2006166208A (ja) コマ分類情報付与装置及びプログラム
JP2006211324A (ja) ディジタルカメラ装置、画像再生方法および画像再生プログラム、ならびに、データ構造体
JP2008311847A (ja) 表示制御装置、表示制御方法、プログラム
JP2006060652A (ja) デジタルスチルカメラ
JP4698961B2 (ja) 電子カメラ、及び電子カメラの制御プログラム
JP5282632B2 (ja) 表示制御装置、表示制御方法、プログラム
JP5828251B2 (ja) 画像処理装置およびデジタルカメラ
JP2005318618A (ja) 動画像管理装置及び方法
JP2005136892A (ja) 画像記録装置およびその制御方法ならびに撮像システム