JP4208458B2 - データ処理装置、データ処理方法及びコンピュータ読み取り可能な記録媒体 - Google Patents
データ処理装置、データ処理方法及びコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP4208458B2 JP4208458B2 JP2001368747A JP2001368747A JP4208458B2 JP 4208458 B2 JP4208458 B2 JP 4208458B2 JP 2001368747 A JP2001368747 A JP 2001368747A JP 2001368747 A JP2001368747 A JP 2001368747A JP 4208458 B2 JP4208458 B2 JP 4208458B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- recording
- moving image
- time
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Description
【発明の属する技術分野】
本発明はデータ処理装置、データ処理方法及びコンピュータ読み取り可能な記録媒体に関し、特には複数の動画像データ列の再生手順の制御に関する。
【0002】
【従来の技術】
従来、映像データの編集処理にあっては、複数の映像データをつなぎ合わせ、ワイプ、フェードなどの特殊効果を加えることが行われる。また、スタジオ機器では、ひとつの被写体を異なるアングルから撮影した映像データを合成し、マルチアングルの映像を生成する処理も行われている。
【0003】
このようにマルチアングル映像を作成する場合、専用の編集装置を用い、記録時に付加されたタイムコードや再生された映像の内容を確認しながら編集作業を行う必要がある。
【0004】
また、近年では、デジタルVTRやデジタルカメラなどのデジタル映像機器の普及やパーソナルコンピュータの性能の向上などにより、家庭においてもいわゆるノンリニア編集が行われるようになっている。
【0005】
【発明が解決しようとする課題】
しかし、前述のようにマルチアングル映像を作成するためには、スタジオに於いて用いられている専用の機材が必要であり、一般のユーザには手軽にマルチアングル映像を作成することが困難であった。
【0006】
また、専用の機材を用いて編集を行う場合でも、異なる映像データの内容を確認しながら編集作業を行う必要があり、肉体的、精神的にユーザの負担が大きい。
【0007】
本発明はこのような問題を解決することを目的とする。
【0008】
本発明の他の目的は、一般ユーザであっても手軽にマルチアングル映像を作成可能とする処にある。
【0009】
また、本発明の更に他の目的は、ユーザに負担をかけず、容易に編集処理を実行可能とする処にある。
【0010】
【課題を解決するための手段】
前記課題を解決するため、本発明においては、記録媒体に記録された複数の動画像データ列の記録日時に係る記録日時情報に基づいて、前記複数の動画像データ列のうち、互いに記録日時が一致する部分を検出する一致部分検出手段と、前記記録日時情報と前記一致部分検出手段の検出結果とに基づいて、前記複数の動画像データ列を各動画像データ列の記録日時の順に前記記録媒体から再生すると共に、前記複数の動画像データ列において互いに記録日時が一致する部分の画像を同一画面上に表示するよう前記複数の動画像データ列の再生手順を制御するための再生リストを生成する再生リスト処理手段と、前記再生リスト処理手段により生成された再生リストを前記記録媒体に記録する記録手段とを備える構成とした。
【0011】
【発明の実施の形態】
以下、本発明の実施形態について説明する。
【0012】
図1は本発明が適用されるデジタル映像編集装置100の必要最小限の電気的構成を示すブロック図である。図1において、記録再生部101は編集装置100に対して不図示のスロットを介して着脱されるディスクDに対して映像データやその他のデータを記録再生する。なお、本形態では、ディスクDとしてDVD−RAMディスクなどの光磁気ディスクを用いるが、これ以外にも、例えば、フロッピディスク,ハードディスク、光ディスクなどの他のディスク媒体や、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。その場合、記録再生部101は扱う媒体に適した構成を採ることになる。
【0013】
103はHDDなどを含む蓄積部で、記録再生部101により再生された動画像データを記憶する。105は解析部で、蓄積部103に記憶された画像データの内容を後述のように解析する。107は操作部、109は制御部111の処理に用いられるメモリ、111は装置100の動作を制御する制御部である。制御部111では各部の制御を行うプロセスが動作しており、また各プロセスが処理に必要な領域はメモリ109に設けられている。113は表示部であり、CRTなどの表示デバイスやメモリ、表示制御回路などを含む。115が画像処理部であり、制御部111からの指示に従い後述のように再生リストに従う画像データを生成する。117はデータバスである。
【0014】
本形態では、ディスクDには、HDデジタルVCR評議会にて規定されるSDスペック(以下SDフォーマット)の映像データが記録されているものとする。図5はこのSDフォーマットのデータの磁気テープ上での様子を示す図である。通常デジタルビデオカメラ等においてはテープ500に対して図の様に多数の斜めトラックに対して画像、音声、サブコードデータを記録する。
【0015】
また、各トラックの構成は501の様になっており、AUDIO503には音声データとその付加情報が、VIDEO505には画像データとその付加情報が、SUBCODE507には記録データ全体に関するサブコード(付加情報)が記録されており、各付加情報は5バイトのパックデータによって定義される。VIDEOエリア505とAUDIOエリア503には付加情報として記録年日を示すREC DATEと、記録時刻を示すREC TIMEがそれぞれ図6、図7の構造でパックデータとして記録されている。
【0016】
図6、図7において、601、701はそれぞれのパックデータを示すタグである。602には、グリニッジ標準時刻を基準としたタイムゾーンが記録され、603、604、605にはそれぞれ、日、月、年が記録されている。また、702にはフレームナンバーが記録され、703、704、705にはそれぞれ、秒、分、時間が記録されている。なお、SDフォーマットでは、NTSC方式の場合には1フレームのデータをテープ上の10本のトラックに記録する。
【0017】
本形態では、磁気テープ上にこのように記録されるSDフォーマットのデータの一つあるいは複数のシーン(カット)をまとめて一つのファイルを形成し、ディスクD上の論理クラスタに連続して記録している。
【0018】
ディスクDにはこのように生成された複数のファイルが記録されているが、各ファイルの情報は、FAT(File Allocation Table)によって管理される。FATでは、各ファイルは図2に示すエントリで識別される。エントリは32バイトで構成され、内容はそれぞれ、ファイル名201、拡張子202、属性203、作成時刻204、作成日205、アクセス日206、最終更新時刻207、最終更新日208、開始クラスタ番号209、及びファイルサイズ210によって構成され、それ以外のフィールドは予約領域である。
【0019】
各ファイルのエントリがFAT200としてファイルシステムによって管理され、アプリケーションからFAT200にアクセスするためにはファイルシステムのインターフェースを用いて行う。図3は制御部113、記録再生部101によって構成されるアプリケーションプロセス301が、ファイルシステム302を介してディスクDに記録された各ファイルにアクセスする状態を示している。
【0020】
例えば、アプリケーションプロセス301は、ファイルシステム302に対してルートディレクトリのエントリを全て取得するような命令を送信する。ファイルシステム302は記録再生部101によってディスクDのFATエントリを読み出す。エントリの属性203によってファイルであるかディレクトリであるかを判別し、ファイルであれば、記録媒体上において開始クラスタ番号209で示される位置から、実際のデータを取得できる。ディレクトリであれば、さらにその下のエントリを取得し同様の処理を行う。ファイルとして映像コンテンツに対するアクセスは、前述の様にFAT200によって管理されているシステムを利用可能だが、例えばUDF(Universal Disk Format)などによって管理されているファイルでも同様の方法によってアクセス可能である。
【0021】
次に、編集装置100においてマルチアングルデータを生成する編集処理の動作について説明する。
【0022】
ユーザにより操作部107が操作され、編集モードが指示されると、制御部111は表示部113を制御し、ユーザがマルチアングルコンテンツとして生成したい複数の映像コンテンツを選択するための、図4に示すような画面400を表示する。また、表示部113には、ユーザが別の処理を行うために必要な別の画面が表示されても良い。
【0023】
画面400上には、記録再生部101より再生し、蓄積部103に蓄積された各映像ファイルの内容を示すサムネイル画像401が表示されており、ユーザは各ファイルの内容を容易に理解できる。サムネイル画像は通常、各ファイルの先頭シーンの1フレームの画像データが選択される。各サムネイル画像401は前述のファイルシステムを介して取得された各映像ファイルのエントリからディスクDに記録されている実際のデータを検索し、その中の先頭1画面分を読み出すことで取得可能である。
【0024】
次に、ユーザは、操作部107のポインティングデバイスやカーソル等で画像データのセレクタアイコン403を操作して、マルチアングル画像として表示したい映像データを示すサムネイルにセレクタアイコン403を移動し、選択ボタン405を押すことでこれら複数の画像ファイルからマルチアングル画像として表示すべきファイルを選択する。選択済のデータは402の様に強調表示される。マルチアングル再生したい複数の映像データを選択し終えたら、解析ボタン407を押すことで、解析部103において解析処理が行われる。
【0025】
ユーザにより画像データが選択されると、制御部111では、アプリケーションプロセス301が前述の方法により、ユーザが選択した複数の映像データを含むファイルのうち一つ目の映像データをディスクDよりファイルシステム302を介して読み出す。ファイルシステム302ではこの映像ファイルを示すエントリから、映像データが記録されているディスクDの先頭クラスタを取得し、そこからデータを読み出すように、記録再生部101を制御する。記録再生部101は指定されたファイルのデータをディスクDより読み出す。読み出されたデータは蓄積部103に一時的に記録され、解析部105において解析が行われる。
【0026】
次に、解析部105における処理について説明する。
【0027】
解析部105では、読み出されたデータの中から図6、図7に示した各フレームのパックデータを読み出し、記録日時を検出する。そして、この記録日時の情報に基づき、映像データが記録(撮影)された時刻のタイムテーブルを作成する。
【0028】
図8はユーザによって選択された複数の映像データのうちの一つ目のデータであるコンテンツA801の記録時間を時系列で示したものである。コンテンツA801は一つのファイルに含まれる画像データであり、2001年4月1日の11時36分8秒からの11時57分36秒までの撮影シーン802と13時48分12秒から14時10分20秒までの撮影シーン803が含まれている。
【0029】
図9は解析部105によって生成されたタイムテーブルである。図9において、901は映像コンテンツを示す識別子、902は映像コンテンツ内の各シーンの識別番号、903、904は撮影開始日付と時刻、905、906は撮影終了日付と時刻である。即ち、図9において、907は図8のシーン802のタイムテーブルを示し、908は図8のシーン803のタイムテーブルを示している。
【0030】
一つの映像データのタイムテーブルの生成が終わると、制御部111のアプリケーションプロセス301は、ユーザによって選択された次の映像データを同様の方法で読み出し、解析部105によって解析を行う。
【0031】
図10は、ユーザによって選択された三つの映像データコンテンツA1001、コンテンツB1002、コンテンツC1003の記録時間を時系列で示したものである。これらの映像データの内容を前述の方法によって解析すると、図11に示すタイムテーブルが生成される。コンテンツA1001は二つのカット(シーン)を含むので各シーン別のテーブル1101、1102を生成し、コンテンツB1002及びコンテンツC1003はそれぞれテーブル1103、1104を生成する。
【0032】
次に解析部105は、このタイムテーブルから、各データにおいて互いに記録時間が重なっている記録部分を検索する。そして、各画像データを記録日時の順に再生すると共に、記録時間が重なっている部分については同時にマルチアングルとして再生するようその再生手順を決定し、再生順序テーブルを生成する。
【0033】
図10において、コンテンツA1001が最初に撮影記録を開始しているが、期間1004ではコンテンツA1001のみ再生する。次に期間1005においては、コンテンツA1001とコンテンツB1002の記録時間が重なっている。従ってこの期間1005では、コンテンツA1001とコンテンツB1002を同時に再生する。
【0034】
期間1006はコンテンツB1002のみを再生し、期間1007ではコンテンツB1002とコンテンツC1003の記録日時が重なっているので、コンテンツB1002とコンテンツC1003を同時に再生する。
【0035】
期間1008では、コンテンツA1001、コンテンツB1002、コンテンツC1003の記録日時が重なっているので、コンテンツA1001、コンテンツB1002、コンテンツC1003を同時に再生する。期間1009では、コンテンツA1001とコンテンツC1003の記録日時が重なっているので、コンテンツA1001とコンテンツC1003を同時に再生する。期間1010はコンテンツC1003のみが存在するので、コンテンツC1003のみ再生する。
【0036】
図12はこのように決定した再生手順に従い各コンテンツの再生順序と時間を示した再生順序テーブルである。図において、1211は再生コンテンツ、1212はこの再生手順における再生開始時刻、1213は各コンテンツの再生時間、1214は各コンテンツのイン点を示している。また、図10の期間1004〜1010の内容は、テーブル1201〜1207にて示される。
【0037】
解析部105は、このように作成した再生順序テーブルの内容に従い、この再生手順にて各データを再生するための再生リストを生成する。図13に再生リストの例を示す。
【0038】
図13は、W3C(World Wide Web Consortium)で規定される“SMIL(Synchronized Multimedia Integration Language )1.0Specification”に基づいて記述した再生リストを示す図である。詳細なタグの説明は、規格書に記述されているためここでの説明は省略する。ここでは、解析部105によって解析され、再生リストに記述された情報について説明する。
【0039】
図13において、コンテンツA1001、コンテンツB1002、コンテンツC1003の画像データはそれぞれ“A.mov”、“B.mov”、“C.mov”である。
【0040】
1301は表示部113に表示される各コンテンツの表示領域を示している。図13の例では、各表示領域とも同じ大きさの縦200画素、横300画素で表示されるように初期設定がなされているものとする。また実際に表示する際には、画像処理部115によって指定されたサイズに拡大または縮小されて表示される。1302は期間1004、即ち再生開始から00:09:52sまでコンテンツA1001を再生することを示している。その後で、1303は期間1005、即ち00:09:52sから00:21:24sまでコンテンツA1001とコンテンツB1002を同時に再生することを示している。ここで再生されるコンテンツA1001はすでに00:09:52sまで再生されているので、そこを起点として再生されるが、コンテンツB1002はファイルの先頭から再生される。1304は期間1006、即ちコンテンツB1002の00:11:32sの地点から00:59:47s間のデータを、00:21:24sから01:21:11sまで再生することを示している。
【0041】
1305は期間1007、即ちコンテンツB1002の01:11:19sの地点から、またコンテンツC1003はファイルの先頭から00:50:53s間の内容を、01:21:11sから02:12:04sまで再生することを示している。1306は、コンテンツA1001の00:21:24sの地点から、またコンテンツB1002の02:02:12sの地点から、またコンテンツC1003の00:50:53sの地点から00:09:51s間の内容を、02:12:04sから02:21:55sまで再生することを示している。
【0042】
1307は、コンテンツA1001の00:31:15sの地点から、またコンテンツC1003の01:00:44sの地点から00:12:17s間の内容を、02:21:55sから02:34:12sまで再生することを示している。1308は、コンテンツC1003の01:13:01sの地点から00:13:27s間の内容を、02:34:12sから02:47:39sまで再生することを示している。
【0043】
解析部105によりこのような再生リストが生成されると、制御部111はこの再生リストのデータを解析部105より読み出し、図3のファイルシステム302により記録再生部101を介して一つのファイルとしてディスクD上に記録する。
【0044】
以上の処理を図14のフローチャートを用いて説明する。
【0045】
図14は解析部105及び制御部111によるマルチアングルデータ生成処理に伴う再生リスト生成動作を説明するためのフローチャートである。
【0046】
まず、ステップS1401で、表示部113に表示される図4の画面400を利用して、ユーザによってマルチアングルデータを生成するための映像データが選択される。ステップS1402で、ユーザによって選択された複数の映像データが図3に示すファイルシステムを介して記録再生部101によってディスクDより読み出される。
【0047】
この時、解析部105により、図6及び図7に示したREC TIME、REC DATEのパックデータを各フレームより検出し、ステップS1403においてその記録時間を判別して図11に示すような記録日時のテーブルを生成する。ステップS1404にて一つのコンテンツに対するテーブル作成処理が終了したか否かを検出し、一つのコンテンツに対する処理が終了すると、ステップS1405にて選択された全ての画像データに対するテーブル作成が終了したか否かを判別する。
【0048】
そして、全ての選択されたデータに対する再生時間テーブル作成処理が終了するまで処理を続ける。
【0049】
全ての選択されたデータのタイムテーブル生成処理が終了したら、ステップS1406にてこの再生時間テーブルに基づき、各コンテンツの間で互いに記録時間が一致する部分を判別する。そして、ステップS1407にてこの判別結果に基づいて図12に示した再生手順テーブルを生成する。次に、ステップS1408において、解析部105によってこの再生手順テーブルに従い図13に示した再生リストを生成し、ステップS1409で、記録再生部101によって図3のファイルシステムを介してディスクDに記録する。
【0050】
このように生成された再生リストに従いディスクDより画像データを再生した場合、マルチアングルとなる部分では、図15に示すように、縦400画素、横600画素の表示部113の全体領域1501に対して縦200画素、横300画素の領域1502、1503、1504に三つの画像コンテンツが表示される。
【0051】
しかし、実際にはマルチアングルの主となる映像を大きく表示する方がユーザにとっては望ましい。そこで、本形態では、マルチアングル表示を行う場合に、各コンテンツの表示領域をユーザが任意に設定できるようにした。
【0052】
図16はマルチアングル表示データの編集処理において、各コンテンツの表示領域を設定するために表示部113に表示される画面を示す図である。図16に示した画面1601を用いて再生表示領域を設定することで、ユーザは所望のマルチアングルデータを得ることができる。ユーザにより、マルチアングル編集に先立ち、操作部107により表示領域の設定が指示されると、制御部111は表示部113を制御して図16の画面1601を表示する。
【0053】
図16において、1602は再生時のマルチアングル画像を表示する全体領域であり、上下キー1609によって変更可能である。また1603、1604、1605は各映像コンテンツを表示するサブウィンドウであり、ADDボタン1607、DELボタン1612によって追加、削除できる。またサブウィンドウ指定カーソル1606をサブウィンドウに合わせた状態で上下キー1610と1611によってサブウィンドウのサイズ、位置を指定できる。また、マウスのようなポインティングデバイスによってもサブウィンドウの位置やサイズを指定できる。
【0054】
そして、テンプレート生成ボタン1608を押すことで、図13の再生リストにおける1301にて指定される値を設定するための情報が生成される。例えば、メインウィンドウサイズが縦525、横720画素、サブウィンドウが3つでそれぞれ、縦500画素、横500が素のサブウィンドウAが一つと、縦200画素、横200画素のサブウィンドウB、Cというように設定された場合には、図14のステップS1408にて生成されるSMILを利用した再生リストには、図17の1701ように記述される。
【0055】
ここで、各コンテンツをどのサブウィンドウに表示するかの指定が必要となる。本形態では、図4の選択画面400によって選択された画像が、図16の設定画面1601で設定された領域のどこに表示されるかを指定できるようにしている。
【0056】
即ち、図4の選択画面400においてマルチアングル画像コンテンツを選択した後、ユーザが操作部107を操作して表示コンテンツと表示領域の設定を指示すると、制御部111は表示部113を制御し、図18に示す設定画面を表示する。
【0057】
図18の設定画面1800において、1801には図4の選択画面400において選択されたコンテンツが表示され、1802によって表示領域を選択する。ここで設定された情報は、再生リストの作成時に反映される。例えば、コンテンツA(A.mov)をサブウィンドウAに表示するように設定した場合には、再生リストには、図17の1702のように記述される。
【0058】
また、ユーザは選択した全てのコンテンツを鑑賞したいわけではなく、メインとなる被写体映像以外は、見る必要が無いかもしれない。そこで、主となるメインコンテンツを図18のマーカ1803により選択し、再生リストを生成する際に、図4の選択画面で選択された複数のコンテンツのうち、メインとなるコンテンツ以外だけが再生される期間を設けないように記述することで、メインとなるコンテンツの映像を必ず表示させることが可能となる。
【0059】
例えば、図13の再生リストにおいて、予めコンテンツAをメインコンテンツとして設定した場合には、解析部105は、コンテンツA以外の再生を指示した記述1304、1305、1308を図13の再生リストから削除した形式の図19に示した再生リストを生成する。
【0060】
そして、再生リストを解釈して再生手順を制御する機能、例えばSMILを解釈してその内容に従い再生手順を制御する機能を持つ再生装置により、本形態の再生リストが記録されたディスクDを再生することで、マルチアングル画像を再生することができる。
【0061】
この様に、本形態によれば、ユーザにより選択された画像データのうち互いに記録日時が一致する部分を自動的に検出し、この一致した部分においては各画像データをマルチアングルにて同時に表示するよう、再生手順を制御する再生リストを生成している。
【0062】
そのため、ユーザは再生したい画像データを選択するという極めて簡単な操作だけで、マルチアングル画像データを再生するための再生リストを得ることができる。
【0063】
次に、本発明の第2の実施形態について説明する。
【0064】
第1の実施形態においては、選択された画像データの記録日時情報に基づいてマルチアングル再生コンテンツの判別を行っていたが、本形態においては、マルチアングル記録されたことを示す識別データが付加されており、かつ、記録日時が一致している部分のデータをマルチアングルデータと判別し、マルチアングル再生リストを生成する。
【0065】
即ち、本形態にて扱う画像データのうち、撮影時(記録時)にマルチアングルデータとして記録された画像データはその旨を示す付加データが付加されている。図20は画像データのサブコード領域に記録されるマルチアングル識別データの様子を示す図である。マルチアングル識別データはパックデータの形式で記録されており、パックの識別子2001は、マルチアングルタグとして識別するためのIDが指定され、マルチアングル撮影時には、2002のビットが付加される。ビット2002が0の場合には、マルチアングル撮影とは識別されない。
【0066】
本形態においても、編集装置100の電気的構成は図1と同じものであるが、解析部105の動作処理フローが異なる。
【0067】
図21は本形態における解析部105及び制御部111の処理を示すフローチャートである。
【0068】
まず、ステップS2101で、表示部113に表示される図4の画面400を利用して、ユーザによってマルチアングルデータを生成するための映像データが選択される。ステップS2102で、ユーザによって選択された複数の映像データが図3に示すファイルシステムを介して記録再生部101によってディスクDより読み出される。
【0069】
この時、解析部105により、前述のマルチアングル識別タグの有無を検出し、一つの動画像データ内で一部でもマルチアングル識別データが付加されていた場合、ステップS2104において再生された画像データに付加されているREC TIME、REC DATEのパックデータを各フレームより検出し、その記録時間を判別して図11に示すような記録日時のテーブルを生成する。
【0070】
また、ステップS2103の検出は1フレーム毎に行い、ステップS2105にて一つのコンテンツの全てのフレームについて処理が終了するまでステップS2103〜S2105の処理を繰返す。
【0071】
ステップS2105にて一つのコンテンツに対する処理が終了すると、ステップS2106にて選択された全ての画像データに対するテーブル作成が終了したか否かを判別する。
【0072】
このように処理を行った結果、ステップS2106において、選択された画像データのうち、マルチアングル識別タグが付加されたコンテンツが二つ以上存在したか否かを判別し、もし存在しなかった場合にはマルチアングル再生用の再生リストの生成は不要と判断し、処理を終了する。
【0073】
また、マルチアングル識別データが付加された画像データが二つ以上存在した場合、ステップS2108においてこの識別データが付加されたコンテンツの再生時間テーブルに基づき、各コンテンツの間で互いに記録時間が一致する部分を判別する。そして、ステップS2109にてこの判別結果に基づいて図12に示した再生手順テーブルを生成する。次に、ステップS2110において、解析部105によってこの再生手順テーブルに従い再生リストを生成し、ステップS2111で、記録再生部101によって図3のファイルシステムを介してディスクDに記録する。
【0074】
今、例えば撮影者が二人いて、撮影者どうしでマルチアングル映像を撮影しようという意向を相互に伝えることによって、例えば撮影機材のマルチアングル撮影ボタン等を押すことによりマルチアングルタグ(図20)を付加してマルチアングルコンテンツ再生用リストの自動生成を実現することができる。
【0075】
しかし、この様な意思の疎通が無くてもシームレスにその様な情報が撮影データに付加されることが望ましい。そこで、撮影機材が有する通信手段によって通信していることを示す識別子を生成し、それぞれの撮影機材が撮影時に、他機材との通信があればその識別子を図20のパックの領域2003に書き込むことで、ユーザがマルチアングル撮影ボタン等を押さなくてもマルチアングル識別タグを撮影データに付加することができる。
【0076】
このように本形態によれば、マルチアングル再生を意識して記録された画像データに付加されている識別データを検出し、この識別データが付加されている画像データのうち、記録日時が一致する部分を同時に再生するよう再生手順を制御するための再生リストを生成するので、画像データを記録したユーザの意思を反映したマルチアングルデータを容易に作成することができる。
【0077】
次に、本発明の第3の実施形態について説明する。
【0078】
前述の各実施形態では、記録日時情報やマルチアングル識別情報を用いてマルチアングルコンテンツ再生リストを生成していたが、本実施形態においては、画像データに付加されている位置情報も判別に利用してマルチアングルコンテンツ再生用リストの生成を行う。
【0079】
本形態では、位置情報として緯度経度がサブコードエリア内にパックデータとして記録されている。
【0080】
また、本形態の編集装置100の電気的構成は図1と同様であるが、解析部105の動作が異なる。
【0081】
図22は本形態における解析部105及び制御部111による再生リスト生成処理を示すフローチャートである。
【0082】
まず、ステップS2201で、表示部113に表示される図4の画面400を利用して、ユーザによってマルチアングルデータを生成するための映像データが選択される。次に、ステップS2202において、図3に示すファイルシステムにより、ユーザに選択された各画像データの先頭の1フレームに付加されている記録位置データをディスクDより読み出す。
【0083】
次に、これら各画像データの記録位置情報を比較し、所定の条件に一致するか否かを判別する。
【0084】
本形態では、各コンテンツの記録時の互いの距離、例えば、図23における撮影地点A2301と撮影地点B2302の距離C2303が規定の閾値より小さいか否か、つまり二つのコンテンツの撮影場所が所定の距離よりも近いか否かを全ての選択されたコンテンツについて判別する。
【0085】
その結果、この条件に一致するコンテンツが存在しなかった場合、マルチアングル再生用の再生リストの生成は不要と判断し、処理を終了する。
【0086】
また、条件に一致するコンテンツが二つ以上存在した場合には、ステップS2204にてこれらの画像データを読み出し、ステップS2204において記録日時データに基づいて再生時間テーブルを生成する。そして、ステップS2206、S2207により、条件に一致する全てのコンテンツに対してこの処理を行う。
【0087】
次に、ステップS2208において、記録位置の条件が一致したコンテンツの再生時間テーブルに基づき、各コンテンツの間で互いに記録時間が一致する部分を判別する。そして、ステップS2209にてこの判別結果に基づいて図12に示した再生手順テーブルを生成する。次に、ステップS2210において、解析部105によってこの再生手順テーブルに従い再生リストを生成し、ステップS2211で、記録再生部101によって図3のファイルシステムを介してディスクDに記録する。
【0088】
このように、本形態によれば、記録位置が互いに近接している画像データを検出し、この画像データにおいて、記録日時が一致する部分を同時に再生するよう再生手順を制御するための再生リストを生成するので、マルチアングル再生にふさわしい画像データに基づいてマルチアングルデータを容易に作成することができる。
【0089】
最後に、このようにディスクDに記録された再生リストに従い画像データを再生する際の動作について説明する。
【0090】
図1において、操作部107により再生リストによる再生が指示されると、制御部111は図3のファイルシステムを用いて記録再生部101によりディスクDから再生リストのファイルを再生し、メモリ109に記憶する。そして、メモリ109に記憶された図13の如き再生リストの内容を解釈し、ここに記載されている再生手順に従ってディスクDから画像データを再生する。また、再生リストの内容に従って画像処理部115を制御し、再生データをデコードすると共に各画像ファイルの表示位置やサイズなどを変更し、表示部113に出力する。
【0091】
表示部113は画像処理部115より出力された画像データを表示する。
【0092】
なお、前述の各実施形態では、各ファイルはSDフォーマットに従って圧縮、符号化された画像データ、音声データ及びサブコードデータであったが、これ以外にも、例えば、MPEG2−TSなどの他の符号化方法に従って符号化されたデータを扱うことももちろん可能である。
【0093】
また、再生リストをSMIL以外の他の記述言語を用いて記述することも可能である。
【0094】
また、前述の第2の実施形態において、ユーザにより選択された動画コンテンツの中から識別データが付加されているものを選択したが、例えば、ディスクDに記録されている全ての動画コンテンツから識別データを持つものを自動的に検出し、これら検出された動画コンテンツを用いてマルチアングルデータを再生するための再生リストを自動生成するよう構成することも可能である。
【0095】
この場合には、各動画コンテンツの全てのフレームについてマルチアングル識別データが付加されているか否かを調べるのは手間がかかるので、各ファイルの先頭の1フレームについてのみ調べるようにしてもよい。
【0096】
また、第3の実施形態において、ユーザにより選択された動画コンテンツの中で記録位置が近接しているものを選択したが、例えば、ディスクDに記録されている全ての動画コンテンツの記録位置データに基づいて記録位置が近接しているものを自動的に検出し、これら検出された動画コンテンツを用いてマルチアングルデータを再生するための再生リストを自動生成するよう構成することも可能である。
【0097】
また、第3の実施形態において、記録位置情報として、緯度経度だけでなく撮影方向を示す情報が含まれている場合には、ステップS2203において各動画像データの撮影地点間の距離がある閾値より小さく、且つ、各撮影地点の撮影方向において他の撮影地点の撮影方向との交点、たとえば図24に示すように撮影地点2401の撮影方向と撮影地点2402の撮影方向線上における交点2403までの距離2404がある閾値より小さいと判断した場合にはこれら二つの動画像コンテンツを選択するようにすることも可能である。
【0098】
また、図14、図21、図22に示した如き本発明の実施形態による各機能をマイクロコンピュータを用いたソフトウェアにて実現することも可能である。その場合、コンピュータの動作プログラムを記憶した記録媒体も本発明を構成することになる。
【0099】
【発明の効果】
以上説明したように、本発明によれば、一般ユーザであっても手軽にマルチアングル映像を作成することができる。
【図面の簡単な説明】
【図1】本発明が適用される編集装置の構成を示す図である。
【図2】FATのエントリを示す図である。
【図3】ファイルシステムの構成を示す図である。
【図4】編集画面を示す図である。
【図5】磁気テープ上の記録フォーマットを示す図である。
【図6】記録日時情報を示す図である。
【図7】記録時間情報を示す図である。
【図8】画像コンテンツの記録時間の様子を示す図である。
【図9】画像コンテンツの記録時間を示すタイムテーブルである。
【図10】複数の画像コンテンツの記録時間の様子を示す図である。
【図11】複数の画像コンテンツの記録時間を示すタイムテーブルである。
【図12】再生手順を示すタイムテーブルである。
【図13】再生リストの例を示す図である。
【図14】編集処理を示すフローチャートである。
【図15】マルチアングルコンテンツの表示画面の様子を示す図である。
【図16】編集画面の様子を示す図である。
【図17】再生リストの例を示す図である。
【図18】編集画面の様子を示す図である。
【図19】再生リストの例を示す図である。
【図20】マルチアングル識別タグの様子を示す図である。
【図21】編集処理を示すフローチャートである。
【図22】編集処理を示すフローチャートである。
【図23】記録位置の様子を示す図である。
【図24】記録位置の様子を示す図である。
Claims (15)
- 記録媒体に記録された複数の動画像データ列の記録日時に係る記録日時情報に基づいて、前記複数の動画像データ列のうち、互いに記録日時が一致する部分を検出する一致部分検出手段と、
前記記録日時情報と前記一致部分検出手段の検出結果とに基づいて、前記複数の動画像データ列を各動画像データ列の記録日時の順に前記記録媒体から再生すると共に、前記複数の動画像データ列において互いに記録日時が一致する部分の画像を同一画面上に表示するよう前記複数の動画像データ列の再生手順を制御するための再生リストを生成する再生リスト処理手段と、
前記再生リスト処理手段により生成された再生リストを前記記録媒体に記録する記録手段とを備えるデータ処理装置。 - 前記記録媒体に記録された複数の動画像データ列のうち、任意の動画像データ列を複数選択する選択手段を備え、前記一致部分検出手段は前記選択された複数の動画像データ列のうち、互いに記録日時が一致する部分を検出することを特徴とする請求項1記載のデータ処理装置。
- 前記複数の動画像データ列における記録日時が一致した部分の画像の表示領域を任意に設定可能な設定手段を備え、前記再生リスト処理手段は前記設定手段により設定された表示領域に従う領域に前記動画像データ列における記録日時が一致した部分の画像を表示するよう再生手順を制御するための再生リストを生成することを特徴とする請求項1記載のデータ処理装置。
- 前記再生リスト処理手段は更に、前記複数の動画像データ列のうち、主となる動画像データ列以外の他のデータ列において前記主となるデータ列の記録日時と一致しない部分については再生を禁止するよう再生手順を制御するための再生リストを生成することを特徴とする請求項1記載のデータ処理装置。
- 前記複数の動画像データ列より前記主となる動画像データ列を任意に選択可能な選択手段を備えたことを特徴とする請求項4記載のデータ処理装置。
- 前記複数の動画像データ列のうち、マルチアングル記録であることを示す識別データが付加されている動画像データ列を検出する識別データ検出手段を備え、前記一致部分検出手段は前記識別データ検出手段により検出された動画像データ列についてのみ記録日時の一致部分を検出することを特徴とする請求項1記載のデータ処理装置。
- 前記複数の動画像データ列の記録位置に基づいて所定の動画像データ列を検出する記録位置検出手段を備え、前記一致部分検出手段は前記記録位置検出手段により検出された所定の動画像データ列についてのみ記録日時の一致部分を検出することを特徴とする請求項1記載のデータ処理装置。
- 前記記録位置検出手段は前記複数のデータ列のうち、記録位置が所定の条件に一致するものを前記所定の動画像データ列として検出することを特徴とする請求項7記載のデータ処理装置。
- 前記記録位置検出手段は前記複数の動画像データ列のうち、記録位置が近接している複数の動画像データ列を前記所定のデータ列として検出することを特徴とする請求項8記載のデータ処理装置。
- 前記記録位置検出手段は前記動画像データ列に付加されて前記記録媒体に記録されている記録位置データに基づいて前記所定の動画像データ列を検出することを特徴とする請求項7から請求項9の何れか1項に記載のデータ処理装置。
- 前記記録媒体から前記複数の動画像データ列と前記再生リストとを再生する再生手段と、前記再生手段により再生された再生リストに従い前記再生手段による前記複数の動画像データ列の再生動作を制御する制御手段とを備えたことを特徴とする請求項1記載のデータ処理装置。
- 前記再生リストはSMILに従って記述されていることを特徴とする請求項1から請求項11の何れか1項に記載のデータ処理装置。
- 前記複数の動画像データ列はそれぞれ一つのファイルとして前記記録媒体に記録されており、前記記録手段は前記再生リストを一つのファイルとして前記記録媒体に記録することを特徴とする請求項1から請求項12の何れか1項に記載のデータ処理装置。
- 記録媒体に記録された複数の動画像データ列の記録日時に係る記録日時情報に基づいて、前記複数の動画像データ列のうち、互いに記録日時が一致する部分を検出する一致部分検出手順と、
前記記録日時情報と前記一致部分検出手順による検出結果とに基づいて、前記複数の動画像データ列を各動画像データ列の記録日時の順に前記記録媒体から再生すると共に、前記複数の動画像データ列において互いに記録日時が一致する部分の画像を同一画面上に表示するよう前記複数の動画像データ列の再生手順を制御するための再生リストを生成する再生リスト処理手順と、
前記再生リスト処理手順により生成された再生リストを前記記録媒体に記録する記録手順とを備えるデータ処理方法。 - 記録媒体に記録された複数の動画像データ列の記録日時に係る記録日時情報に基づいて、前記複数の動画像データ列のうち、互いに記録日時が一致する部分を検出する一致部分検出手順と、
前記記録日時情報と前記一致部分検出手順による検出結果とに基づいて、前記複数の動画像データ列を各動画像データ列の記録日時の順に前記記録媒体から再生すると共に、前記複数の動画像データ列において互いに記録日時が一致する部分の画像を同一画面上に表示するよう前記複数の動画像データ列の再生手順を制御するための再生リストを生成する再生リスト処理手順と、
前記再生リスト処理手順により生成された再生リストを前記記録媒体に記録する記録手順とをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001368747A JP4208458B2 (ja) | 2001-12-03 | 2001-12-03 | データ処理装置、データ処理方法及びコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001368747A JP4208458B2 (ja) | 2001-12-03 | 2001-12-03 | データ処理装置、データ処理方法及びコンピュータ読み取り可能な記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003169297A JP2003169297A (ja) | 2003-06-13 |
JP4208458B2 true JP4208458B2 (ja) | 2009-01-14 |
Family
ID=19178292
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001368747A Expired - Fee Related JP4208458B2 (ja) | 2001-12-03 | 2001-12-03 | データ処理装置、データ処理方法及びコンピュータ読み取り可能な記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4208458B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2005202866A1 (en) * | 2005-06-29 | 2007-01-18 | Canon Kabushiki Kaisha | Storing video data in a video file |
US9240214B2 (en) * | 2008-12-04 | 2016-01-19 | Nokia Technologies Oy | Multiplexed data sharing |
JP6004475B2 (ja) * | 2012-10-19 | 2016-10-12 | カシオ計算機株式会社 | 再生制御装置、再生制御方法及びプログラム |
-
2001
- 2001-12-03 JP JP2001368747A patent/JP4208458B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003169297A (ja) | 2003-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4261644B2 (ja) | マルチメディア編集方法及び装置 | |
US6970639B1 (en) | System and method for editing source content to produce an edited content sequence | |
JP4354806B2 (ja) | 動画像管理装置及び方法 | |
JP4348821B2 (ja) | 編集装置、編集方法 | |
KR101240562B1 (ko) | 정보 처리 장치, 정보 처리 방법, 및 기록 매체 | |
JP3569191B2 (ja) | オーディオ情報の記録、編集、再生方法及び情報記憶媒体 | |
JP2003274352A (ja) | コンテンツ記録再生装置およびコンテンツ編集方法 | |
JP2005536915A (ja) | マルチメディアデータをリンクするための方法および装置 | |
JP4269465B2 (ja) | 画像表示システム、及び画像表示方法 | |
US20020197058A1 (en) | Recording apparatus | |
US7844163B2 (en) | Information editing device, information editing method, and computer product | |
JP4208458B2 (ja) | データ処理装置、データ処理方法及びコンピュータ読み取り可能な記録媒体 | |
JP4136491B2 (ja) | 再生装置 | |
JP4820485B2 (ja) | 画像処理装置 | |
JP4464012B2 (ja) | 記録装置及びその方法 | |
JP3988266B2 (ja) | 記録再生装置、記録再生方法、及び記録媒体 | |
JP2002135709A (ja) | 編集装置、記録再生装置、編集方法、及び記録媒体 | |
JP4114317B2 (ja) | 編集装置 | |
KR100513100B1 (ko) | 방송 문서 자동 제작 방법 및 그 방법이 기록된 저장 매체 | |
JP2000217055A (ja) | 画像処理装置 | |
JP2983642B2 (ja) | ビデオカメラを用いた映像音声情報取材システムとその編集システム | |
JPH0644318A (ja) | 電子的撮像装置 | |
JP3530858B2 (ja) | 電子的撮像装置 | |
JP4280975B2 (ja) | データ記録制御装置および方法、データ再生装置および方法、並びにプログラム | |
JP3442770B2 (ja) | 電子的撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041025 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080108 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080304 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081007 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081021 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131031 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |