JP4957561B2 - 画像抽出方法、情報処理装置、表示装置、プログラム、及び媒体 - Google Patents

Description

本発明は、メディアに記録された動画映像を他メディアへとバックアップコピーさせる操作画面における、対象映像区間選択用のサムネイル選択・表示方法及び選択映像のコピー方法、及び装置等に関するものである。

近年のビデオカメラでは記録媒体として、長く使われてきたテープ方式から、ＳＤカードや内蔵型ＨＤＤが多く採用されるようになった。ＳＤカードや内蔵型ＨＤＤは、使い回しが容易であるという利点の反面、容量あたりのコストが高いというデメリットを持っているため、記録データを一旦他のメディアへとバックアップした後、別の映像用への再利用が一般的な使い方となっている。そのため、ユーザはこれらメディアへと記録した映像に対し、ＤＶＤメディアやパソコン内ＨＤＤ等へのバックアップコピーを行うことが必須の作業となっている。一方、近年のビデオカメラには、前述の様に大容量ＳＤ、ＨＤＤメディアが採用されているものが多いため、バックアップコピー先のメディア容量に対してバックアップ元の容量が相対的に大きいケースも増え、中には容量が逆転するものも出てきている。これら状況に対応するため、元映像を一定ルールの下に時系列分割を行った後、各区間の先頭映像をサムネイルとして自動的に映像一覧表示させた上で、任意サムネイルをユーザに選択させるという操作形態を提供することで動画の特定区間のみのバックアップコピーを実現させる動画一覧表示装置が多く採用されている。

従来の動画一覧表示装置では動画を一覧表示させる際、大きく２通りの方法が採られていた。１つ目は、動画を撮影日付単位で１つの塊とみなし、それらの先頭画像をサムネイルとして表示、その単位でユーザにバックアップすべき動画区間の選択を行わせていた。もう１つの方法は、動画の録画ボタンを押した時点から録画停止ボタンを押した時点までを１単位として捉え、その各区間の先頭箇所をサムネイルとして一覧表示させるものである。図６に、この両者の方法を包含する従来の動画一覧表示装置の構成図例を示す。図６において、元メディア１０１は、ビデオカメラで撮影された映像を保存する。抽出ステップ１０２は、記録された動画を時系列順に読み込みあらかじめ定められた条件を満たしたポイントの映像を静止画像として抽出する。サムネイル表示ステップ１０６は、与えられた静止画像をサムネイルとして画面に表示する。この装置が、日付単位で動画を区別する場合の動作例を、次に説明する。抽出ステップ１０２は、元メディア１０１に記録された動画データを順に読み込み、日付変化直後、もしくは録画ボタン押下箇所の先頭の画像をサムネイル画像用として抽出する。サムネイル表示ステップ１０６は、抽出ステップ１０２で抽出されたサムネイルをバックアップコピー対象の選択用として一覧表示する。
図７、図８は、従来例によるサムネイル一覧表示例である。図７では、動画の撮影日付を単位としてサムネイル表示し、図８では、録画ボタンの押下から録画停止ボタンの押下までの間隔を単位としてサムネイル表示している。これら２種類の装置は、抽出ステップ１０２における判定方法の変更により実現可能である。
特開２００１―２２８５２８号公報

近年、ＳＤカードメディアやＨＤＤは、技術革新により急速な容量増加が続いており、これらメディアを搭載するビデオカメラは長時間の記録が可能となっている。６０ＧＢ等の内蔵型ＨＤＤを搭載しているビデオカメラや、容量３２ＧＢのＳＤカードの登場により、２４時間近い映像の記録や、１０００シーン（録画開始ボタン押下から録画停止ボタン押下までの区間）以上の動画撮影等、従来機器の組み合わせでは考えられなかった記録が可能となっている。また、一方、ハイビジョン画質の機器の普及と高画質化に伴い、動画の単位時間当たりの消費ビット数もまた急激に増加しており３０分強程度の動画であっても１２ｃｍのＤＶＤメディア容量いっぱいになるという状況も発生している。これら背景から、ビデオカメラによって記録されたメディアには、シーン数も動画のファイルサイズもかなり幅広いケースが生じるようになっている。

前述した従来の構成では、ファイルとしてみた時の容量と関係なくサムネイルの表示単位として常に日付変化点もしくはシーン変化点を用いるため、図７の例では１つのサムネイル（選択単位）しか表示されず内容確認が困難になる場合や、１単位となる動画区間のファイル容量が大きすぎるために選択しても対象バックアップメディアに容量的に収まらない場合があった。また、図８の例では、数日に渡る旅行を数回繰り返した場合の大量シーン記録済メディアに対しても、旅行の時期と関係なく大量のサムネイルが並列表示されてしまい、ユーザによる所望区間の抽出と選択が困難になるという課題を有していた。これら課題は、前述の近年のビデオカメラの進化に伴い、さらに深刻度を増す。

本発明は、本課題を解決するもので、バックアップコピー元の動画を動画の撮影日時の分散状況とバックコピー先メディアの空容量とに応じサムネイル一覧画面にサムネイル表示単位を調節することで一覧性を向上させ、複数メディアへのバックアップコピー時にイベントごとのかたまりごとに記録することで整理しやすいメディア作成を行うことを目的とする。

前記従来の課題を解決するために、本発明の動画一覧表示画像抽出方法装置は、個々の動画間の撮影日時が一定値以上離れているか判定し離れている点で映像を別グループ化する粗密適応選定ステップと、バックアップ先記録媒体の容量情報を取得するバックアップ先容量取得ステップと、粗密適応選定ステップにて選定された各動画区間がバックアップ先容量取得ステップにて取得した容量を超えている場合に容量内に収まるよう動画を分断し表示単位の動画容量をメディア容量内サイズにする分断ステップと、を有し、バックアックコピー先メディアでのコピー状況に応じたサムネイル表示を行う。

本構成によって、サムネイル一覧表示画面において、日付単位での元動画の撮影確認だけでなくバックアップコピー先メディアにおける元動画の配分状況の確認を行うことや、撮影のきっかけとなったイベントごとにまとまった単位でのメディアコピーが容易に可能となる。

また、本発明の動画一覧表示画像抽出方法装置は、バックアップ先記録媒体の容量情報を取得するバックアップ先容量取得ステップと各動画区間がバックアップ先容量取得ステップにて取得した容量にあらかじめ指定された数値を乗算して得られる閾値以上のサイズである時、その閾値内に収まるよう動画を分断し表示単位の動画容量をその閾値以内にする分断ステップを有し、容量が大きすぎてバックアップ先メディアにコピーできない動画に対し適切なサイズへと分断してユーザの所望の範囲のみを選択的に取り込むことを可能とするもので、これはパソコンのシステム側での使用容量分を残す必要のあるパソコン内ＨＤＤへの取り込み時に特に効果的である。

本発明のバックアップ対象選択を目的とした動画一覧表示装置によれば、サムネイル一覧表示画面において、日付単位での元動画の撮影確認だけでなくバックアップコピー先メディアにおける元動画の配分状況の確認や、撮影イベントの単位でのメディア作成が容易に可能となる。

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
（実施の形態）
図１は、本発明の実施の形態１におけるバックアップ対象選択を目的とした動画一覧表示装置の構成図である。図１において、図１０１と同じ構成要素については同じ符号を使い、説明を省略する。
図１において、抽出ステップ１０２は、抽出された録画のシーンごとの先頭画像とそれらの撮影日を抽出する。
粗密適応選定ステップ１０３は、前記抽出ステップ１０２で抽出されたシーンの撮影日をひとつ前のシーンの撮影日と比較
する。ひとつ前のシーンとの日付が１日より開いていた場合、これをイベントの分断点と判定する。
バックアップ先容量取得ステップ１０４は、バックアップコピーを行う先のメディアの空き容量を取得する。
分断ステップ１０５は、前記粗密適応選定ステップ１０３において抽出された、各イベントの分断点間のファイルサイズを取得し、その値が前記バックアップ先容量取得ステップ１０４において取得した空容量よりも大きい場合はその空き容量のサイズにてさらに分断点の追加を行う。
サムネイル表示ステップ１０６は、前記粗密適応選定ステップ１０３と、前記分断ステップ１０５とで抽出された分断点のサムネイル情報を表示し、ユーザに選択を促す。
以下、本実施の形態１の装置の動作例を説明する。
図２は、本実施の形態の動作を示すフローチャートである。このフローチャートを順に追いつつ、本実施の形態の振る舞いを説明する。まずバックアップ先容量取得ステップ１０４でコピー先メディアの空き容量を取得する（１）。続いて抽出ステップ１０２でコピー先メディアから動画を１区間分取得する。この際、録画開始ボタン押下から録画停止場尾短押下までの区間が１区間分として抽出される（２）。次に（２）で抽出した動画の先頭部分の撮影日を抽出し、粗密適応選定ステップ１０３において一つ前のタイミングで抽出した動画の撮影日と１日より大きく離れているかを確認する（３）。（３）の結果、１日以内の差分であるならば（５）にすすみ、１日より大きく離れている場合は動画の先頭部分の画像をサムネイル表示ステップ１０６に登録し（５）にすすむ（４）。前回サムネイル表示ステップ１０６に登録した時点からここまでの区間の動画ファイル容量がコピー先メディアより大きくなっているかを判定する（５）。（５）の判定の結果コピー先メディアの空き容量の方が小さい場合は、（７）に進む。（５）の判定の結果、大きくなっている場合は、分断ステップ１０５においてコピー先メディアの容量の地点にて動画を分断しその先頭画像をサムネイル表示ステップ１０６へと登録し、（７）に進む。元メディア１０１より抽出ステップ１０２で全動画を抽出したかを確認し、まだ全動画を抽出し終えていない場合は（２）へと進み、全動画の抽出を終えていた場合は処理を完了する。

図３は、本実施の形態の特徴的な動作となる、粗密適応選定ステップと、分断ステップの動作を詳細に示すものである。図３（ａ）は、バックアップコピーしようとする元メディア内動画の記録状態を表しており、メディア内には、１月２０日、１月２１日２月３日２月４日、３月９日の５日間に渡り撮影されたデータが入っている。この時、抽出ステップ１０２は、この５日間分の撮影日の先頭箇所に対し、サムネイルとその撮影日を抽出する。この時、粗密適応選定ステップ１０３は、撮影日付間が１日より大きく離れている、１月２１日の最後の部分と２月３日の先頭部分の間、および、２月４日と３月９日とをイベントの変化点とみなし、個々のイベントの先頭部分である１月２０日と、２月３日、３月９日の先頭サムネイルとその撮影日をイベントの先頭箇所として抽出する。個人用ビデオカメラは、旅行に行く特定の週末に数日間単位でまとめて撮影される機会が多く、この考え方でイベントを判定する方法は有効である。
図３（ｂ）は、粗密適応判定ステップ１０３にて抽出された個々のイベント区間に対し、分断ステップ１０５においてさらに分断する際の振る舞いついて説明している。図３（ａ）において、１月２０日と１月２１日、２月４日と５日、３月９日の３つのイベント区間が検出されているが、それらとバックアップコピー先メディアであるＤＶＤの空き容量を比較した結果、１月２０日と２１日との合計サイズが、ＤＶＤ空き容量の２倍以上、３倍未満であったため、１月２０日から１月２１の区間を３つの区間へと分断している。２月４日と５日は同様に、１倍以上、２倍未満であったため、２つの区間へと分断している。

図４は、作成メディア例を示している。入力として１月２０日、１月２１日、２月３日、２月４日、３月９日に撮影された動画を使用した場合について、本実施の形態１を用いた典型的な出力例（ａ）と、従来の実施例における典型的な出力例（ｂ）を示す。出力例（ａ）では、同じイベントと思われる、１月２０日と１月２１日、２月３日と２月４日、３月９日の３つのグループは連続してメディアに記録されている。一方、従来例では、２枚目と３枚目のメディアには複数のイベントが混在した形で記録されている。通常、ユーザがメディアの中身を確認する際は、まず、そのメディアの先頭に記録されている動画を確認するため、（ａ）の方がユーザにとって管理しやすいＤｉｓｃとなる。

図４は、本実施例でのサムネイル表示ステップ１０６の表示の一例を示す。粗密適応判定ステップ１０３において抽出されたイベント単位にて大項目が構成されており、各イベントの代表画像がそれぞれ大きなアイコン１つずつ示されている。分断ステップ１０５において分断された各区間の先頭画像は少し小さなサムネイルで表示されている。このように表示することにより、ユーザは容易にイベント単位でのバックアップコピーの実施を行うこと、そして、バックアップコピー時に必要なメディアの数を視覚的、直感的に知ることが可能となる。

上記の様に、かかる構成によれば、日付ごとの分断とバックアップメディアの空き容量サイズに応じた分断方法を決定しそれを視覚的に提示することにより、簡単操作で撮影イベントごとに保存用メディアへと記録することが可能となり、また、コピー前の段階でユーザは作成結果のイメージを知ることができる。

なお、本実施の形態１では、粗密適応選定ステップ１０３において前期抽出ステップ１０２で抽出されたシーンごとの撮影日時間隔の閾値を１日に設定した場合の振る舞いを例示したが、本閾値をユーザ指定可能としても効果的となる、また、同じく粗密適応選定ステップ１０３での分断結果の総数を画面で容易に一覧表示可能様にあらかじめ定められた数となる迄、シーン間の間隔が小さい部分より削除していくことにより閾値を適応的に自動設定することもまた、効果的である。また、本実施の形態１では、粗密適応選定ステップ１０３において、イベントの分断点の判定に撮影日情報を使用したが、ビデオカメラによって記録されるＧＰＳ情報、動画撮影時点のビットレート設定を用いても効果的となる。
なお、動画のストリーム内から撮影日を取得する説明を書いたが、管理情報ファイルから取得してもよい。

本発明にかかる動画一覧表示装置は、サムネイル一覧表示画面において、日付単位での元動画の撮影確認だけでなくバックアップコピー先メディアにおける元動画の配分状況の確認や、撮影のきっかけとなったイベントごとにまとまった単位での容易なメディアコピーが可能になるので、動画の特定区間をバックアップコピーさせるバックアップ対象選択方法として有用である。

本発明の実施の形態に於ける動画一覧表示装置の全体ブロック図 実施の形態のフローチャート 実施の形態の主要構成部の動作を表した図 実施の形態の作成メディア例を表した図 実施の形態の画面表示例を表した図 従来の例に於ける動画一覧表示装置の全体ブロック図 従来技術に於ける表示例を表した図 従来技術に於ける別の表示例を表した図

符号の説明

１０１ 元メディア
１０２ 抽出手段
１０３ 粗密適応選定手段
１０４ バックアップ先容量取得手段
１０５ 分断手段
１０６ サムネイル表示手段

Claims (7)

1. 記録元の記録媒体から動画を抽出する抽出部と、
   前記抽出した動画に関連付けて記憶された撮影情報に基づいて、前記動画を複数個のグループに分断する第一の分断部と、
   記録先の記録媒体の記録容量に関する情報を取得する取得部と、
   前記第一の分断部により分断された前記動画のそれぞれのグループを、前記取得した記録容量に関する情報に基づいて、前記記録先の記録媒体に記録可能なサイズになるよう更に小グループに分断する第二の分断部と、
   前記抽出した動画について、前記第一の分断部により分断された複数のグループを示すそれぞれの代表画像および、前記第二の分断部により分断された小グループを示すそれぞれの代表画像を表示装置に表示するよう制御する表示制御部と、
   ユーザによる選択を受けて、前記第二の分断部により分断された小グループ単位にて、前記動画を前記記録先の記録媒体に記録するよう制御する記録制御部と、
   を備えた、画像情報処理装置。
2. 前記第一の分断部は、
   ユーザによる指定を受け付けて、前記抽出した動画において、撮影情報に基づいて同一のグループとして分断する間隔を調節する、
   請求項１に記載の画像情報処理装置。
3. 前記第一の分断部は、互いに共通した撮影情報を有するグループに分断する、
   請求項１又は２に記載の画像情報処理装置。
4. 前記撮影情報は、撮影日時に関する情報であり、
   前記第一の分断部は、個々の動画間の撮影日時が一定値以上離れているか否かに基づいて、前記動画を複数個のグループに分断する、
   請求項１から３のいずれかに記載の画像情報処理装置。
5. 前記撮影情報は、ＧＰＳ情報であり、
   前記第一の分断部は、前記ＧＰＳ情報に基づいて、前記動画を複数個のグループに分断する、
   請求項１から３のいずれかに記載の画像情報処理装置。
6. 記録元の記録媒体から動画を抽出する抽出ステップと、
   前記抽出した動画に関連付けて記憶された撮影情報に基づいて、前記動画を複数個のグループに分断する第一の分断ステップと、
   記録先の記録媒体の記録容量に関する情報を取得する取得ステップと、
   前記第一の分断ステップにおいて分断された前記動画のそれぞれのグループを、前記取得した記録容量に関する情報に基づいて、前記記録先の記録媒体に記録可能なサイズになるよう更に小グループに分断する第二の分断ステップと、
   前記抽出した動画について、前記第一の分断ステップにより分断された複数のグループを示すそれぞれの代表画像および、前記第二の分断ステップにより分断された小グループを示すそれぞれの代表画像を表示装置に表示するよう制御する表示制御部と、
   ユーザによる選択を受けて、前記第二の分断ステップにおいて分断された小グループ単位にて、各記録先の記録媒体にそれぞれ記録するよう制御する記録制御ステップと、
   を有する、画像情報処理方法。
7. 請求項６に記載の画像情報処理方法を記述したプログラム。

Images