JP3583970B2

JP3583970B2 - Image structure editing apparatus, structural element reconstructing apparatus, and computer-readable recording medium storing a program for causing a computer to execute as each means of the apparatus

Info

Publication number: JP3583970B2
Application number: JP2000046645A
Authority: JP
Inventors: 由喜脇田; 孝之國枝; 望高橋
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2000-02-23
Filing date: 2000-02-23
Publication date: 2004-11-04
Anticipated expiration: 2020-02-23
Also published as: JP2001238172A

Description

【０００１】
【発明の属する技術分野】
本発明は、映像または音声を含む映像からなる映像ストリームを構造化して構造情報を作成したり、該構造情報を編集する際に使用する映像構造編集装置、構造要素再構成装置およびその装置の各手段としてコンピュータを実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体に関し、より詳細には、映像ストリームの構造そのものの編集と構造要素への内容記述を行うための映像構造編集装置、さらに１つまたは複数の映像ストリームから構造要素を選択して論理的に結合可能な再構成が行える構造要素再構成装置、および記録媒体に関するものである。これら映像構造の編集、内容記述、構造要素の再構成の技術は、映像管理、映像の検索結果のブラウズ、ダイジェスト作成などの技術分野に応用される。
【０００２】
【従来の技術】
近年、映像のみの映像ストリームや、映像と音声を含む映像ストリームにおいても、映像ストリームを構造化して構造情報を作成し、この構造情報を用いて映像の管理・編集・活用するための種々の方法が開発されている。
【０００３】
映像ストリームを構造化する例として、例えば、映像ストリーム中の任意のフレームの範囲をセグメントとして定義し、１つのセグメントで定義された範囲と同一の範囲を他の複数のセグメントの集合で表現できる場合に複数のセグメントの集合をパッケージとして定義することにより、映像ストリームの階層構造を作成する方法が提案されている。
【０００４】
また、従来の映像編集装置における映像の表示例として、時系列に映像クリップを並べて映像を画像アイコンで示す方法がしばしば用いられているが、このような映像編集装置は、映像そのものを編集するためのものであり、構造化された映像ストリームの構造要素を利用して映像ストリームを編集したり、構造そのものを再構成する装置は提供されていなかった。
【０００５】
換言すれば、映像編集ソフトやノンリニア映像編集機では、各ビデオクリップを配置し、重ね合わせて編集する過程で最も細かい縮尺の場合には連続フレームを一列に並べて表示する場合もあるが、これはあくまでも各ビデオ素材を重ねることを目的としているものであり、映像ストリームを構造化したり、構造化された映像ストリームの構造を再編集するための使い易い支援ツールは提供されていなかった。
【０００６】
【発明が解決しようとする課題】
そこで、本出願人は、映像ストリーム中の任意のフレームの範囲をセグメントとして定義し、１つのセグメントで定義された範囲と同一の範囲を他の複数のセグメントの集合で表現できる場合に複数のセグメントの集合をパッケージとして定義することにより、映像ストリームの階層構造を定義した構造情報を用いて、映像ストリームの構造を編集する映像構造編集装置を提案する。
【０００７】
また、構造化された映像ストリームのセグメントの分割状態や長さ（フレームの範囲）を視覚的に分かりやすく表示すると共に、映像ストリームの構造情報を構成するセグメントやパッケージ等の構造要素を簡単に作成できる映像構造編集装置を提案する。
【０００８】
また、従来より、構造化された複数の映像ストリームの構造要素を対象として、検索結果のブラウジングや、ダイジェスト作成など横断的にある視点でまとめて連続的に再生したり、ファイルに保存したり、新たな映像ストリームとして生成したりしたいといった要求があったが、このような作業・処理は、映像編集処理ではなく、映像ストリームの構造要素の横断的収集（または検索）であるため、従来の映像編集装置では実現できなかった。
【０００９】
本発明は上記に鑑みてなされたものであって、映像ストリームの階層構造を定義した構造情報を用いて一目で映像ストリームの構造が把握できるように表示を行うと共に、直感的な分かりやすい操作で、構造化された映像ストリームの構造を再編集できる映像構造編集装置を提供することを目的とする。
【００１０】
また、本発明は上記に鑑みてなされたものであって、１つまたは複数の映像ストリームから構造要素を選択して、選択した構造要素を論理的に編集し、１つの映像ストリームとして再構成することができる構造要素再構成装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記の目的を達成するために、請求項１に係る映像構造編集装置は、映像ストリーム中の任意のフレームの範囲をセグメントとして定義し、１つのセグメントで定義された範囲と同一の範囲を、編集で用いる目的に応じて分割し、他の複数のセグメントの集合を形成した場合、該他の複数のセグメントの集合をパッケージとして定義することにより、このパッケージを親パッケージとし、この親パッケージを構成する該他の複数のセグメントのうち一つのセグメントの範囲と同一の範囲がさらに他の複数のセグメントに分割され、さらに分割された他の複数のセグメントの集合を子パッケージとして定義し、これにより前記映像ストリームの階層構造を定義した構造情報を対象にして、前記映像ストリームの階層構造、パッケージおよびセグメントの範囲を表示すると共に、表示したパッケージおよびセグメントの選択が可能な構造構成表示手段と、前記構造構成表示手段で選択されているセグメントの範囲と同一の範囲を他の複数のセグメントの集合に分割した場合、該他の複数のセグメントの集合の各セグメントの一対の開始フレームおよび終了フレームの縮小画像で表示するセグメント範囲表示手段と、前記構造構成表示手段で選択されているパッケージにおいて、該パッケージを示すセグメントの集合の各セグメントを代表する代表フレームを表示する代表フレーム表示手段と、前記構造構成表示手段で表示されているセグメントに属するフレーム範囲から２つのフレームを選択し、選択されたフレームの一方を開始フレーム、他方を終了フレームとして該セグメントを代表するフレームの代表範囲として表示する代表範囲表示手段と、を備えたものである。
【００１２】
また、請求項２に係る映像構造編集装置は、請求項１に記載の映像構造編集装置において、前記構造構成表示手段、セグメント範囲表示手段、代表フレーム表示手段および代表範囲表示手段が、それぞれ情報の表示およびコマンドの入力が可能な編集画面として構成されており、かつ、個別の映像ストリームごとに各編集画面を纏めた１つのウィンドウ画面として表示されるものである。
【００１３】
また、請求項３に係る映像構造編集装置は、請求項２に記載の映像構造編集装置において、前記ウィンドウ画面の各編集画面は、表示されているセグメント、パッケージ、代表フレームまたは代表範囲を選択すると、選択されたセグメント、パッケージ、代表フレームまたは代表範囲の表示状態を変化させて表示し、さらに１つまたは複数のセグメントあるいはパッケージを選択して、移動、削除などの編集操作を行うと、その結果を反映して表示するものである。
【００１４】
また、請求項４に係る映像構造編集装置は、請求項３に記載の映像構造編集装置において、前記編集操作とは、選択したセグメントの分割操作、選択したセグメントの範囲変更、選択したセグメントの階層構造中における階層の変更、選択した複数のセグメントをマージして新たな１つのセグメントを生成することを含むものである。
【００１５】
また、請求項５に係る映像構造編集装置は、請求項１〜３のいずれか一つに記載の映像構造編集装置において、前記構造構成表示手段でパッケージが選択されると、前記セグメント範囲表示手段が、選択されたパッケージに含まれる全てのセグメントに対応させて前記縮小画像を表示し、前記代表フレーム表示手段が、選択されたパッケージに含まれる全てのセグメントに対応させて前記代表フレームを表示し、前記代表範囲表示手段が、選択されたパッケージに含まれる全てのセグメントに対応させて前記代表範囲を表示するものである。
【００１６】
また、請求項６に係る映像構造編集装置は、請求項２〜５のいずれか一つに記載の映像構造編集装置において、前記セグメント範囲表示手段、代表フレーム表示手段および代表範囲表示手段に対応する各編集画面は、前記ウィンドウ画面中において表示および非表示を指定することが可能であり、これら編集画面の少なくとも１つの非表示が指定されると、指定された編集画面が前記ウィンドウ画面中において非表示となり、前記構造構成表示手段に対応する編集画面が前記非表示となった編集画面の領域分拡がり、他の編集画面が前記非表示となった編集画面の領域を埋めるように移動するものである。
【００１７】
また、請求項７に係る映像構造編集装置は、請求項２〜６のいずれか一つに記載の映像構造編集装置において、前記セグメント範囲表示手段、代表フレーム表示手段および代表範囲表示手段に対応する各編集画面は、前記ウィンドウ画面から取り外して別の１つのウィンドウ画面として表示可能であるものである。
【００１８】
また、請求項８に係る映像構造編集装置は、請求項１〜７のいずれか一つに記載の映像構造編集装置において、前記構造構成表示手段は、前記セグメントの範囲の先頭または終了部分に、該当するセグメントの開始フレームまたは終了フレームの縮小画像を、前記セグメントの範囲を表示する縦方向表示サイズに合わせて変倍して表示するか、または該当するセグメントの範囲の横方向表示サイズに合わせて変倍して表示するものである。
【００１９】
また、請求項９に係る映像構造編集装置は、請求項８に記載の映像構造編集装置において、前記構造構成表示手段は、前記縮小画像を変倍して表示する際に、変倍率があらかじめ設定した割合よりも小さい場合に前記縮小画像を省略するものである。
【００２０】
また、請求項１０に係る映像構造編集装置は、請求項８または９に記載の映像構造編集装置において、前記構造構成表示手段は、前記縮小画像の表示および非表示を指定することが可能であるものである。
【００２１】
また、請求項１１に係る映像構造編集装置は、請求項１〜１０のいずれか一つに記載の映像構造編集装置において、前記構造構成表示手段は、各セグメントに対応する代表フレームの位置を示す位置情報を、セグメントの範囲の該当する位置に表示し、表示した位置情報が選択されると、選択された位置情報の表示状態を変更し、前記代表フレーム表示手段は、前記構造構成表示手段に表示されているセグメントの代表フレームを所定数一列に並べて表示し、前記セグメントの総数が所定数以上である場合には、スクロールバーを表示して表示する代表フレームの範囲を変更可能とすると共に、表示されている代表フレームの中から任意の代表フレームを選択すると、選択された代表フレームの表示状態を変更し、さらに前記構造構成表示手段の位置情報および代表フレーム表示手段の代表フレームは、それぞれ対応する位置情報および代表フレームの表示状態がリンクされており、一方が選択されると他方の表示状態も変更されるものである。
【００２２】
また、請求項１２に係る映像構造編集装置は、請求項１〜１０のいずれか一つに記載の映像構造編集装置において、前記構造構成表示手段は、各セグメントに属する代表範囲の位置を示す範囲情報を、セグメントの範囲の該当する位置に表示し、表示した範囲情報が選択されると、選択された範囲情報の表示状態を変更し、前記代表範囲表示手段は、代表範囲を一対の開始フレームおよび終了フレームの縮小画像で表示し、前記一対の縮小画像の総数が所定数以上である場合には、スクロールバーを表示して表示する一対の縮小画像の範囲を変更可能とすると共に、表示されている一対の縮小画像の中から任意の一対の縮小画像を選択すると、選択された一対の縮小画像の表示状態を変更し、さらに前記構造構成表示手段の範囲情報および代表フレーム表示手段の一対の縮小画像は、それぞれ対応する範囲情報および一対の縮小画像の表示状態がリンクされており、一方が選択されると他方の表示状態も変更されるものである。
【００２３】
また、請求項１３に係る映像構造編集装置は、請求項１〜１２のいずれか一つに記載の映像構造編集装置において、前記構造構成表示手段は、各セグメントに属する代表範囲の位置を示す範囲情報を、セグメントの範囲の該当する位置に矩形または長楕円で表示し、複数の範囲情報の表示が重なる場合には、直前の範囲情報の矩形または長楕円の表示の下に、矩形または長楕円の表示分だけずらして表示するものである。
【００２４】
また、請求項１４に係る映像構造編集装置は、請求項１〜１３のいずれか一つに記載の映像構造編集装置において、さらに、前記代表フレームまたは代表範囲の持つ属性を選択する属性選択手段を有し、前記代表フレーム表示手段または代表範囲表示手段は、前記属性選択手段で属性が選択されると、選択された属性を有する代表フレームまたは代表範囲のみを表示するものである。
【００２５】
また、請求項１５に係る映像構造編集装置は、請求項１〜１４のいずれか一つに記載の映像構造編集装置において、前記構造構成表示手段は、選択したセグメントの再生を指定する再生指定手段と、前記再生指定手段で指定されたセグメントで定義された範囲のフレームを再生するセグメント映像再生手段と、前記セグメント映像再生手段で再生中のセグメントの再生、停止、巻き戻し、早送り、一時停止、指定フレームへのスキップ等の操作を行うための映像再生操作手段と、を有するものである。
【００２６】
また、請求項１６に係る映像構造編集装置は、請求項１〜１５のいずれか一つに記載の映像構造編集装置において、さらに、前記セグメント映像再生手段で所望のフレームが再生された際に目的フレームとして指定し、指定されたフレームを含む所定数の連続フレームを一列に並べて表示する連続フレーム表示手段を備え、前記代表フレーム表示手段は、前記連続フレーム表示手段で表示されている連続フレームの中から任意のフレームをドラッグしてドロップすると、該当するフレームを前記セグメント映像再生手段で再生中のセグメントの代表フレームとして生成して表示するものである。
【００２７】
また、請求項１７に係る映像構造編集装置は、請求項１６に記載の映像構造編集装置において、前記代表範囲表示手段は、前記連続フレーム表示手段で表示されている連続フレームの中から２つのフレームを選択し、ドラッグしてドロップすると、２つのフレームのうち先頭のフレームを開始フレームとし、もう一方を終了フレームとして選択中のセグメントの新たな代表範囲を生成して表示するものである。
【００２８】
また、請求項１８に係る映像構造編集装置は、請求項１〜１７のいずれか一つに記載の映像構造編集装置において、さらに、前記構造構成表示手段、セグメント範囲表示手段、代表フレーム表示手段または代表範囲表示手段で選択したセグメント、パッケージ、代表フレームまたは代表範囲の内容についての記述を入力、編集および表示するための内容記述表示手段を備え、前記内容記述表示手段は、選択されている対象要素の内容として、「誰が（Ｗｈｏ）、何時（Ｗｈｅｎ）、どこで（Ｗｈｅｒｅ）、何を（Ｗｈａｔ）、なぜ（Ｗｈｙ）、どのように（Ｈｏｗ）」に相当する５Ｗ１Ｈ情報および任意の情報である自由記述情報の入力および変更が可能であり、かつ、前記５Ｗ１Ｈ情報を登録することにより、次回から候補として表示され、次回から入力しなくても選択可能であるものである。
【００２９】
また、請求項１９に係る映像構造編集装置は、請求項１８に記載の映像構造編集装置において、前記構造構成表示手段は、あるパッケージ以下のセグメントの５Ｗ１Ｈ情報および自由記述情報を表形式の一覧で表示し、編集するための一覧表示手段を有することを特徴とする。
【００３０】
また、請求項２０に係る記録媒体は、前記請求項１〜１９のいずれか一つに記載された映像構造編集装置の各手段としてコンピュータに実行させるプログラムを記録したものである。これによって、そのプログラムを機械読み取り可能となり、請求項１〜１９の動作をコンピュータによって実現することが可能となる。
【００３１】
また、請求項２１に係る構造要素再構成装置は、前記請求項１〜１９のいずれか一つに記載された映像構造編集装置を用いて表示された１つまたは複数の映像ストリームから、複数のパッケージまたはセグメントを選択し、選択したパッケージまたはセグメントからなる構造要素の表示順を再構成し、表示順に再生して得られる映像ストリームを新たな映像ストリームとして生成する構造要素再構成装置であって、前記構造要素を前記構造要素のフレームの範囲の長さに応じた矩形で順に表示し編集する再構成表示手段と、フレーム数または時間などの計測単位を必要に応じて切り替えて表示可能な目盛り表示手段と、を備えたものである。
【００３２】
また、請求項２２に係る構造要素再構成装置は、請求項２１に記載の構造要素再構成装置において、さらに、前記再構成表示手段は、前記構造要素を選択および操作するためのマウス操作手段を有し、前記再構成表示手段は、各構造要素をその結合順に横一列に並べて矩形で表示し、前記マウス操作手段を用いて、前記表示された１つまたは複数の映像ストリームから新たな構造要素を選択してドラッグして所望の位置にドロップすると、その前後の構造要素の間に前記新たな構造要素が組み込まれて再配列され、また任意の構造要素を選択して削除すると、前記任意の構造要素の前後の構造要素が結合されて再配列されるものである。
【００３３】
また、請求項２３に係る構造要素再構成装置は、請求項２２に記載の構造要素再構成装置において、前記再構成表示手段は、横一列に並べて表示された構造要素の列から、前記マウス操作手段を用いて任意の構造要素をドラッグして所望の位置にドロップすると、指定の位置に構造要素を移動して再配列するものである。
【００３４】
また、請求項２４に係る構造要素再構成装置は、請求項２１〜２３のいずれか一つに記載の構造要素再構成装置において、前記再構成表示手段は、前記構造要素をそれぞれが属していた元の映像ストリーム毎に統一した色で表示し、前記構造要素のうちパッケージは、セグメントの集合を表すと共に、パッケージ毎に網掛けの矩形で表示し、パッケージ単位での操作のみを許可するものである。
【００３５】
また、請求項２５に係る構造要素再構成装置は、請求項２４に記載の構造要素再構成装置において、前記再構成表示手段は、前記パッケージ単位の操作を解除して、パッケージを構成するセグメントの集合をセグメント単位で操作できるものである。
【００３６】
また、請求項２６に係る構造要素再構成装置は、請求項２１〜２５のいずれか一つに記載の構造要素再構成装置において、前記再構成表示手段は、前記マウス操作手段を介してマウスポインタを構造要素に合わせると、該当する構造要素の属する元の映像ストリームや、フレームの範囲などの詳細情報を表示するものである。
【００３７】
また、請求項２７に係る構造要素再構成装置は、請求項２１〜２６のいずれか一つに記載の構造要素再構成装置において、前記再構成表示手段および目盛り表示手段は、それぞれ情報の表示およびコマンドの入力が可能な編集画面として構成されており、かつ、１つのウィンドウ画面として表示され、前記ウィンドウ画面を縦方向または横方向に拡大縮小することで自由に編集画面の大きさを変更できるものである。
【００３８】
また、請求項２８に係る構造要素再構成装置は、請求項２１〜２７のいずれか一つに記載の構造要素再構成装置において、前記再構成表示手段は、セグメントの範囲の先頭または終了部分に、該当するセグメントの開始フレームまたは終了フレームの縮小画像を、前記セグメントの範囲を表示する縦方向表示サイズに合わせて変倍して表示するか、または該当するセグメントの範囲の横方向表示サイズに合わせて変倍して表示するものである。
【００３９】
また、請求項２９に係る構造要素再構成装置は、請求項２８に記載の構造要素再構成装置において、前記再構成表示手段は、前記縮小画像を変倍して表示する際に、変倍率があらかじめ設定した割合よりも小さい場合に前記縮小画像を省略するものである。
【００４０】
また、請求項３０に係る構造要素再構成装置は、請求項２１〜２９のいずれか一つに記載の構造要素再構成装置において、前記再構成表示手段は、再構成した構造要素を１つの映像ストリームとして再生可能であるものである。
【００４１】
また、請求項３１に係る構造要素再構成装置は、請求項２１〜３０のいずれか一つに記載の構造要素再構成装置において、前記再構成表示手段は、構造要素を選択することにより、対応するフレームの範囲を再生可能であるものである。
【００４２】
また、請求項３２に係る構造要素再構成装置は、請求項２１〜３１のいずれか一つに記載の構造要素再構成装置において、前記再構成表示手段は、再構成した構造要素を１つの映像ストリームとして記録媒体に保存可能であるものである。
【００４３】
また、請求項３３に係る構造要素再構成装置は、請求項３２に記載の構造要素再構成装置において、前記再構成表示手段は、前記再構成した構造要素を１つの映像ストリームとして記録媒体に保存する際に、ＳＭＩＬ等のブラウズ方法を表す汎用言語で表現して保存するものである。
【００４４】
また、請求項３４に係る記録媒体は、前記請求項２１〜３３のいずれか一つに記載された構造要素再構成装置の各手段としてコンピュータに実行させるプログラムを記録したことを特徴とする。これによって、そのプログラムを機械読み取り可能となり、請求項２１〜３３の動作をコンピュータによって実現することが可能となる。
【００４５】
【発明の実施の形態】
以下、本発明の映像構造編集装置および構造要素再構成装置の実施の形態について、実施の形態１、実施の形態２の順で添付の図面を参照して詳細に説明する。
【００４６】
実施の形態１．
先ず、実施の形態１の映像構造編集装置について、〔映像構造編集装置の概略構成〕、〔構造情報の構成〕、〔構造表示ソフトによる構造情報の表示例〕、〔構造編集ソフトの機能の具体的な説明〕の順序で、添付の図面を参照して詳細に説明する。
【００４７】
〔映像構造編集装置の概略構成〕
図１は、実施の形態１の映像構造編集装置１００の一例を示す概略構成図である。映像構造編集装置１００は、映像ストリームおよび／または映像ストリームを構造化した構造情報を記憶した記憶手段１０３から映像ストリームを入力して映像ストリームの構造を解析すると共に、解析した結果に基づいて、映像ストリームの構造を表示画面１０２に視覚的に表示する処理を行うコンピュータ１０１で構成される。
【００４８】
ここで、記憶手段１０３としては、コンピュータ１０１中に内蔵されたハードディスクを用いても良いが、ここでは、ネットワークを介してコンピュータ１０１と接続されている映像情報ライブラリや、フロッピーディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等の記録媒体を用いるものとする。また、記憶手段１０３は、映像ストリームまたは構造情報のいずれか一方が記憶されているものや、映像ストリームと構造情報の両方が記憶されているもののどちらでも良く、映像構造編集装置１００で構造編集を行う前に、対象となる映像ストリームと構造情報をコンピュータ１０１内に読み込んで置くことができれば良い。
【００４９】
図２は、図１に示したコンピュータ１０１のブロック構成図である。コンピュータ１０１は、後述するソフトウエアに基づく処理を実行するＣＰＵ２０１と、ブートプログラム等を記憶したＲＯＭ２０２と、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３と、各種の入力操作を行なうためのキーボード２０４およびマウス２０５と、映像ストリームの解析過程や映像ストリームの構造を表示するための表示画面１０２を有したＣＲＴや液晶ディスプレイ等の表示装置２０６と、実施の形態１に係る映像構造編集装置の機能を実現するための構造解析ソフト２０７，構造編集ソフト２０８，構造表示ソフト２０９等の各種アプリケーションプログラムやデータを記憶したハードディスク２１０と、図１に示した記憶手段１０３とコンピュータ１０１とを接続する各種ドライバー，ネットワークアダプタ等のインタフェース部２１１と、上記各部を接続するバス２１２と、を少なくとも備えている。
【００５０】
なお、図１および図２に示した映像構造編集装置１００の構成は、あくまでも一例を示すものであって、後述する実施の形態１の各機能を実現することが可能であれば、いかなるシステム構成であっても良い。また、映像ストリームを解析して構造情報を生成し、その構造を表示画面に表示する構造表示方法の基本的な技術としては、本出願人によって特願平１０−２４９５９８号で提案された技術を適用することができる。さらに映像ストリームの構造化の方法は、特に限定するものではないが、少なくとも、映像ストリーム中の任意の範囲をセグメントとして定義し、或るセグメントで定義された範囲と同一の範囲を他の複数のセグメントの集合で表現できる場合に、複数のセグメントの集合をパッケージとして定義し、また、これら複数のセグメントを上記或るセグメントの部分セグメントとして定義することにより、映像ストリームの全体を構造化したものを対象とする。
【００５１】
〔構造情報の構成〕
次に、図３を参照して、実施の形態１の映像構造編集装置で使用する構造情報の構造例について説明する。実施の形態１では、一つの映像ストリーム全体の構造の入口をルートＲとして定義し、このルートＲの下に階層的に存在する構造を表す構造要素として、映像ストリーム中の任意の範囲をセグメントＳとして定義し、或るセグメントＳで定義された範囲と同一の範囲を他の複数のセグメントＳの集合で表現できる場合に、これら複数のセグメントＳの集合をパッケージＰとして定義する。
【００５２】
すなわち、図３に示す構造例において、ルートＲの直下にある第１階層には、映像全体を表すパッケージＰ（符号Ａ参照）とそのパッケージＰを構成する１つのセグメントＳが存在する。
また、第２階層には、パッケージＰ（符号Ｂ参照）とそのパッケージＰを構成する６つのセグメントＳと、パッケージＰ（符号Ｃ参照）とそのパッケージＰを構成する３つのセグメントＳと、パッケージＰ（符号Ｄ参照）とそのパッケージＰを構成する２つのセグメントＳとが存在する。
また、第３階層には、パッケージＰ（符号Ｅ参照）とそのパッケージＰを構成する３つのセグメントＳと、パッケージＰ（符号Ｆ参照）とそのパッケージＰを構成する２つのセグメントＳと、パッケージＰ（符号Ｇ参照）とそのパッケージＰを構成する１つのセグメントＳと、パッケージＰ（符号Ｈ参照）とそのパッケージＰを構成する２つのセグメントＳと、パッケージＰ（符号Ｉ参照）とそのパッケージＰを構成する５つのセグメントＳとが存在する。
また、第４階層には、パッケージＰ（符号Ｊ参照）とそのパッケージＰを構成する２つのセグメントＳとが存在する。
【００５３】
なお、図３の構造例では、階層として第１階層〜第４階層が存在するが、この階層の深さおよび各階層のパッケージＰの数は特に限定するものではなく、必要に応じて設定されたものである。また、実施の形態１では、上位の階層のセグメントで定義された範囲と同一の範囲を下位の複数のセグメントの集合で表現できる場合に、これら複数のセグメントを上位の階層のセグメントに対する部分セグメントと定義する。
【００５４】
次に、パッケージＰをどのような基準で生成するかについて、例を挙げて説明する。たとえば、図３に示した構造の映像ストリームが、映画を記録した映像ストリームである場合に、第２階層の３つのパッケージＰのうち、１番目のパッケージＰ（符号Ｂ参照）は、映像を静止画の特徴により分けたものであり、２番目のパッケージＰ（符号Ｃ参照）は登場人物別に分けたものであり、３番目のパッケージＰ（符号Ｄ参照）は時間で分けたものである。この例では、親セグメント（上位の階層のセグメント）を分割する形式で部分セグメント（親セグメントの一つ下の階層のセグメント）を生成しているので、１つのパッケージを構成する部分セグメントの範囲は互いに重ならずに、部分セグメントの範囲を集めると親セグメントの範囲となっている。
【００５５】
また、前述したように映像ストリームの構造は、あらかじめ生成された構造情報から抽出または読み出してもよく、映像ストリームを読み込んで、その場で直接構造化し、構造情報を生成しても良い。
【００５６】
〔構造表示ソフトによる構造情報の表示例〕
図４は、実施の形態１の構造表示ソフト２０９による構造編集画面４０１の表示例を示す説明図である。この構造表示ソフト２０９が本発明の構造構成表示手段に相当し、以下に示すように、構造情報に基づいて映像ストリームの階層構造を表示する。ただし、ここでは説明を簡単にするために表示画面１０２の１画面のサイズで全ての構造情報の表示が可能な映像ストリームを例とし、さらに構造表示ソフト２０９の基本的な機能のみを表示した構造編集画面４０１を示すものとする。
【００５７】
構造編集画面４０１は、図４に示すように、各パッケージをノード３０１ａとして構造情報をツリー状の親子関係で表した構造情報３０１を表示する構造表示部４０１Ａと、各パッケージの範囲を示すパッケージ識別表示３０２ａおよびパッケージ識別表示３０２ａの構成要素となる各セグメントの範囲を示すセグメント識別表示３０２ｂから成る構成情報３０２を該当するノードの表示行に合わせて表示すると共に、各セグメントの範囲を数値目盛と対応させて認識するためのスケール３０３を表示する構成表示部４０１Ｂとから構成される。なお、３０４は、構造表示部４０１Ａと構成表示部４０１Ｂの対応する表示行を視覚的に認識し易くするための行表示部を示し、３０５は選択したセグメントの再生を指定する再生指定手段としての再生ボタンアイコンを示す。
【００５８】
以上の構成において、図４および図５の実施の形態１における表示画面１０２の表示例を参照して、その動作について説明する。先ず、図３に示したような映像ストリームの構造を表示画面１０２に表示すると、図５に示すようになる。ここで、構造表示部４０１Ａに表示される構造情報３０１および構成表示部４０１Ｂに表示される構成情報３０２は、以下の▲１▼〜▲５▼のルール（条件）に基づいて表示されている。なお、ここでは各ノード３０１ａを区別して分かり易くするために、ノードを示す□（または点線の□）の表示内に図３に示した符号Ａ〜Ｊを記述する。同様の理由からパッケージ識別表示３０２ａおよびセグメント識別表示３０２ｂをＰＡ，ＳＡ等で記述する。
【００５９】
ルール▲１▼
ツリー状の親子関係において、同一の階層に属するノードは、同一の表示行または表示列に表示され、それぞれ直線で結ばれる。なお、このルール▲１▼は、以下のように換言することができる。すなわち、構造情報３０１のツリー状の親子関係の配置において、任意のパッケージを親パッケージとした際に、親パッケージの構成要素の一つであるセグメントの範囲と同一の範囲を他の複数のセグメントの集合で表現した子パッケージが複数定義されている場合には、当該複数の子パッケージ同士を兄弟パッケージとして定義し、これら兄弟パッケージを示す複数のノードを縦方向に並べて配置し、かつ、これらのノードを線で結んで表示する。また、ツリー状の親子関係において、任意のパッケージを親パッケージとした際に、親パッケージの構成要素である複数のセグメントのいずれか一つのセグメントの範囲と同一の範囲を他の複数のセグメントの集合で表現した子パッケージが複数定義されており、かつ、当該複数の子パッケージの範囲が重ならない場合には、これらの複数の子パッケージを示す複数のノード同士を横方向に並べて配置し、かつ、これらのノードを線で結んで表示する。
【００６０】
したがって、図５において、ノードＢとノードＣとノードＤは同一の表示列に表示され、かつ、直線で結ばれているので、同一の階層であり、これらのノードＢ，Ｃ，Ｄに対応したパッケージは兄弟パッケージである。また、ノードＧとノードＨとノードＩは同一の表示行に表示され、かつ、直線で結ばれているので、同一の階層であるが、これらのノードＧ，Ｈ，Ｉに対応したパッケージは兄弟パッケージではない。
【００６１】
ルール▲２▼
ツリー状の親子関係において、映像ストリームの全体を表すパッケージのノードは最上位のパッケージとして定義し、対応するノードを構造情報３０１（構造表示部４０１Ａ）の左上部に配置する。したがって、映像全体を表すパッケージＰを示すノードＡが構造情報３０１の左上部に配置されている。
【００６２】
ルール▲３▼
ツリー状の親子関係において、任意のパッケージを親パッケージとした際に、親パッケージの構成要素の一つであるセグメントの範囲と同一の範囲を他の複数のセグメントの集合で表現した子パッケージが定義されてる場合には、当該子パッケージを示すノードを親パッケージを示すノードの右下に配置し、かつ、これらのノードを折れ線で結んで表示する。たとえば、ノードＥを親パッケージとした場合、その子パッケージであるノードＪは、構造表示部４０１Ａの表示においてノードＥの右下に配置され、かつ、ノードＥと折れ線で結ばれている。
【００６３】
ルール▲４▼
ツリー状の親子関係において、兄弟パッケージを親パッケージとする子パッケージが存在する場合、当該子パッケージを示すノードを該当する兄弟パッケージを示すノードの右下に配置し、かつ、該当する兄弟パッケージの下方に位置する兄弟パッケージを右下に配置した子パッケージの位置より下方になるように配置する。
【００６４】
したがって、図５において、ノードＥとノードＦとノードＪに注目すると、ノードＥとノードＦのそれぞれのパッケージは、兄弟パッケージの関係にあり、ノードＥとノードＪのそれぞれのパッケージは、親パッケージと子パッケージの関係にある。そのため、ノードＥの右下にノードＪが配置され、ノードＦはノードＪの存在する行の次の行に配置されている。
【００６５】
ルール▲５▼
構成表示部４０１Ｂは、画面の横方向を時系列方向としており、構造表示部４０１Ａの行表示部３０４で特定される各ノードに対応する行に、該当するパッケージの範囲に対応した長さで、かつ、時系列上の該当する位置に細い帯状のパッケージ識別表示３０２ａを表示する。また、パッケージ識別表示３０２ａで表示されたパッケージを構成する各セグメント毎に、セグメントの範囲に対応させた長さで、かつ、時系列上の該当する位置にブロック形状のセグメント識別表示３０２ｂを表示する。
【００６６】
したがって、図５において、たとえば、ノードＡに対応するパッケージ識別表示（符号ＰＡ）は、ノードＡと同一行で、かつ、映像ストリームの全体を示す長さの細い帯状で表示される。また、ノードＡに対応するセグメント識別表示（符号ＳＡ）は、ノードＡと同一行で、かつ、セグメントの範囲（ここでは映像ストリームの全体）に対応した長さのブロック形状で表示される。
【００６７】
また、ノードＥに対応するパッケージ識別表示（符号ＰＥ）は、ノードＥと同一行に、ノードＥに対応するパッケージの長さで、かつ、時系列上の該当する位置に細い帯状で表示される。また、ノードＥに対応するセグメント識別表示（符号ＳＥ１〜ＳＥ３）は、ノードＥと同一行に、それぞれのセグメントの範囲で、かつ、時系列上の該当する位置にブロック形状で表示される。
【００６８】
実施の形態１の映像構造編集装置１００は、構造表示ソフト２０９でルール▲１▼〜▲５▼を実行することにより、構造情報の内部の論理構造を視覚化して容易に把握できるようにすると共に、各セグメントのもつ範囲の割合を直感的に知ることができ、複数のパッケージの構造やセグメントの構成を簡単に比較検討することができ、さらに構造情報全体の構造中における各パッケージまたはセグメントの範囲や配置を直感的かつ定量的に理解できるように表示することができる。
【００６９】
また、実施の形態１の構造表示ソフト２０９を応用することにより、たとえば、後述する構造編集ソフト２０８によるセグメントの追加、削除、範囲変更などの編集結果を随時反映し表示することが容易であることは明らかである。また、このような構造表示方法を用いて編集した構造は、検索やブラウズのための情報として利用することができ、後日、利用するために再度記憶手段１０３に保存するとよい。
【００７０】
〔構造編集ソフトの機能の具体的な説明〕
次に、図６の表示画面を参照して、構造編集ソフト２０８の機能ついて説明する。実施の形態１において構造編集ソフト２０８は前述した構造表示ソフト２０９と連動して動作することにより、本発明のセグメント範囲表示手段、代表フレーム表示手段、代表範囲表示手段および属性選択手段の役割を果たすものである。
【００７１】
なお、４０２はセグメント範囲編集画面、４０３は代表フレーム編集画面、４０４は代表範囲編集画面、４０５は属性選択画面を示し、図示の如く、構造編集画面４０１と共に、各編集画面４０１〜４０５が１つのウィンドウ画面として表示される。
【００７２】
構造編集画面４０１には、前述した映像ストリームの階層構造と、パッケージおよびセグメントの範囲の表示に加えて、各セグメントの範囲の先頭（または終了）部分に、該当するセグメントの開始フレーム（または終了フレーム）の縮小画像を、図中の６０１で示すようにセグメントの範囲を表示する縦方向表示サイズに合わせて変倍して表示するか、図中の６０２で示すように該当するセグメントの範囲の横方向表示サイズに合わせて変倍して表示する。
【００７３】
また、構造編集画面４０１は、縮小画像を変倍して表示する際に、変倍率があらかじめ設定した割合よりも小さい場合に、換言すれば、縮小画像を変倍（縮小）して表示すると画像の識別が困難になる場合に、縮小画像の表示を省略する。さらに、構造編集画面４０１において、例えば、図示しないアイコン等によって開始フレームの縮小画像の表示および非表示を指定することが可能であり、表示を選択すると図６の構造編集画面４０１の表示状態となり、非表示を選択すると図４に示した構造編集画面４０１の表示状態となる。
【００７４】
さらに、図６の構造編集画面４０１では、６０３で示すパッケージ識別表示の２つのパッケージ（セグメントの集合）が選択された状態を示しており、他のパッケージ識別表示６０４と表示状態を異ならせて（例えば、表示色を変えて）表示している。また、図６の構造編集画面４０１では、全てのセグメントを１画面で表示できないため、構造編集画面４０１の下側にスクロールバーが表示し、必要に応じてスクロール可能としている。また、図６ではパッケージが選択された例を示したが、１つまたは複数のセグメントを選択することもできる。この場合には選択されたセグメントの表示状態を異ならせ、表示する。
【００７５】
セグメント範囲編集画面４０２は、本発明のセグメント範囲表示手段に相当し、図示の如く、パッケージ識別表示６０３で選択されているセグメントの集合の各セグメントの範囲を一対の開始フレームおよび終了フレームの縮小画像６０５，６０６で表示する。また、このセグメント範囲編集画面４０２は、ウィンドウ画面から取り外して別の１つのウィンドウ画面として表示することも可能である。具体的な操作としては、例えば、予めツールバー等に編集画面のウィンドウ化を指定するアイコンを登録しておき、セグメント範囲編集画面４０２を指定した後、該当するアイコンを選択することで、容易に実現することができる。さらに、セグメント範囲編集画面４０２の下側に表示されたスクロールバーを操作することにより、１画面で表示できないセグメントの範囲（縮小画像の対）をスクロールさせて表示させることができる。
【００７６】
代表フレーム編集画面４０３は、本発明の代表フレーム表示手段に相当し、図示の如く、構造編集画面４０１で選択されているセグメント（ここでは、パッケージ識別表示６０３で選択された２つのパッケージに属する全てのセグメント）を代表する代表フレーム６０７を表示する。なお、代表フレーム６０７は、１つのセグメントに対して複数設定することができ、設定されている全ての代表フレームが代表フレーム６０７として表示される。ただし、１画面で表示できない代表フレーム６０７がある場合には、代表フレーム編集画面４０３の下側に表示されたスクロールバーを操作することにより、代表フレーム６０７をスクロールさせて表示させることができる。
【００７７】
代表範囲編集画面４０４は、選択されているセグメントに属するフレーム範囲からそのセグメントを代表するフレームの範囲を代表範囲として表示するものである。ただし、図６の代表範囲編集画面４０４は、代表範囲が表示されていない状態を示している。代表範囲の表示状態については、後述する構造編集画面４０１とのリンク関係において詳述する。代表範囲編集画面４０４においても、１画面で表示できない場合には、代表範囲編集画面４０４の下側にスクロールバーが表示され、スクロールバーを操作することにより、代表範囲をスクロールさせて表示させることができる。
【００７８】
属性選択画面４０５は、代表フレームまたは代表範囲の持つ属性を選択する属性選択手段の役割を果たす。例えば、代表フレーム編集画面４０３の操作中に、属性選択画面４０５の『ＳｐａｔｉａｌＫｅｙ：場所・空間的な属性を指定するキー』を操作して、場所に関する属性を入力または選択すると、該当する代表フレームのみが代表フレーム編集画面４０３の代表フレーム６０７として表示される。
【００７９】
なお、各編集画面４０１〜４０４は、表示されているセグメント、パッケージ、代表フレームまたは代表範囲を選択すると、選択されたセグメント、パッケージ、代表フレームまたは代表範囲の表示状態を変化させて表示し、さらに１つまたは複数のセグメントあるいはパッケージを選択して、移動、削除などの編集操作を行うと、その結果を反映して表示するものである。
【００８０】
また、編集操作としては、選択したセグメントの分割操作、選択したセグメントの範囲変更、選択したセグメントの階層構造中における階層の変更、選択した複数のセグメントをマージして新たな１つのセグメントを生成することなどが挙げられる。この編集操作の具体的な技術は、本出願人によって既に出願済みの構造表示方法等を用いて容易に実現することができる。
【００８１】
次に、図７を参照して、実施の形態１の映像構造編集装置１００で２つの映像ストリームの構造を同時に表示する場合の表示例について説明する。ウィンドウ画面７０１，７０２は、それぞれ個別の映像ストリームごとに各編集画面（編集画面４０１〜４０５）を纏めた１つのウィンドウ画面として表示されている。このように複数の映像ストリームの映像編集を同時に行うことができる。このように１つの映像ストリームに１つのウィンドウ画面が用意されるので、複数の映像ストリームの操作、比較が行い易い。また、後述する実施の形態２の構造要素再構成装置を利用する際に、構造要素の再構成の作業を容易にすることができる。
【００８２】
次に、図８を参照して、セグメント範囲編集画面４０２、代表フレーム編集画面４０３および代表範囲編集画面４０４の各編集画面の表示／非表示の選択処理について説明する。実施の形態１では、各編集画面４０２〜４０４に対して、ウィンドウ画面中において表示および非表示を指定することが可能である。具体的には、例えば、予めツールバー等に編集画面の表示／非表示を指定するアイコンを登録しておき、所望の編集画面を指定した後、該当するアイコンを選択することで、容易に実現することができる。
【００８３】
図８は、図６のウィンドウ画面からセグメント範囲編集画面４０２と代表範囲編集画面４０４とを非表示にした状態を示している。図示の如く、編集画面４０２〜４０４の少なくとも１つの非表示が指定されると、指定された編集画面（ここでは、編集画面４０２，４０４）がウィンドウ画面中において非表示となり、構造編集画面４０１が非表示となった編集画面の領域分拡がり、他の編集画面（ここでは、編集画面４０３）が非表示となった編集画面の領域を埋めるように移動する。
【００８４】
ウィンドウ画面では、全部で５種類の表示（編集画面４０１〜４０５）が行われるが、映像ストリームの構造編集を行う場合の目的によっては、必要のない編集画面も存在する。また、特に重視したい部分にのみ注目して表示したり、ウィンドウの表示速度を重視して映像ストリームの構造だけを見たい場合など、様々な利用方法が想定される。そこで、５種類の表示（編集画面４０１〜４０５）のうち、不可欠な構造編集画面４０１を常に表示し、それ以外の部分の表示／非表示を選択可能とし、必要に応じて非表示を指示することで操作性の向上を図ることができる。
【００８５】
なお、図６のウィンドウ画面からセグメント範囲編集画面４０２と代表範囲編集画面４０４とを別のウィンドウ画面として取り外した場合も、ウィンドウ画面は、図８と同様に表示される。
【００８６】
図８のウィンドウ画面の表示状態から、構造編集画面４０１の横方向の縮小により、セグメントの表示サイズが変わり、開始フレームの表示が変化した様子を図９に示す。図示の如く、構造編集画面４０１の開始フレームは、横方向にのみ縮小されていたり、表示状態から非表示状態に変わっている。
【００８７】
また、図９のウィンドウ画面の表示状態から、構造編集画面４０１のセグメントの開始フレームの表示を非表示とした場合の変化を図１０に示す。ここで、さらに図１０を参照して、代表範囲編集画面４０４の位置情報の表示状態および代表範囲編集画面４０４と代表フレーム編集画面４０３のリンク関係について説明する。構造編集画面４０１は、各セグメントに対応する代表フレームの位置を示す位置情報１００１を、セグメントの範囲の該当する位置に表示し、表示した位置情報１００１が選択されると、選択された位置情報１００１Ａの表示状態を変更して、選択状態とする。
【００８８】
一方、代表フレーム編集画面４０３は、選択されているパッケージ識別表示６０３の各セグメントの代表フレーム１００２を所定数一列に並べて表示し、セグメントの総数が所定数以上（図１０では、所定数＝９）である場合には、スクロールバーを表示して表示する代表フレーム１００２の表示範囲を変更可能とする。また、表示されている代表フレーム１００２の中から任意の代表フレーム１００２Ａを選択すると、選択された代表フレーム１００２Ａの表示状態を変更して、選択状態とする。
【００８９】
さらに、この構造編集画面４０１の位置情報１００１および代表フレーム編集画面４０３の代表フレーム１００２は、それぞれ対応する位置情報１００１および代表フレーム１００２の表示状態がリンクされており、一方が選択されると他方の表示状態も変更される。例えば、図１０において、構造編集画面４０１の位置情報１００１Ａが選択されると、代表フレーム編集画面４０３の対応する代表フレーム１００２Ａの表示状態も選択状態に変化する。このとき、構造編集画面４０１で選択された位置情報と対応する代表フレームが代表フレーム編集画面４０３に表示されていない場合には、代表フレーム編集画面４０３は該当する代表フレームが表示されるように、自動的に画面をスクロールする。
【００９０】
次に、図１１を参照して、代表範囲編集画面４０４の代表範囲の表示状態および代表範囲編集画面４０４と構造編集画面４０１のリンク関係について説明する。代表範囲編集画面４０４には、図示の如く、構造編集画面４０１で選択されているパッケージ識別表示１１０１（ここでは、１つのセグメント）に属するフレーム範囲からそのセグメントを代表するフレームの範囲が代表範囲１１０３として複数表示されている。なお、代表範囲編集画面４０４は、選択されたパッケージに含まれる全てのセグメントに対応させて、かつ、全ての代表範囲を表示する。
【００９１】
ここで、代表範囲１１０３の表示方法としては、図示の如く、代表範囲を一対の開始フレームおよび終了フレームの縮小画像で表示し、一対の縮小画像の総数が所定数以上である場合には、スクロールバーを表示する。スクロールバーを操作することにより、一対の縮小画像の範囲を変更して表示されていない代表範囲を表示させることができる。また、表示されている一対の縮小画像１１０３の中から任意の一対の縮小画像１１０３Ａを選択すると、選択された一対の縮小画像１１０３Ａの表示状態を変更して、選択状態とする。
【００９２】
一方、構造編集画面４０１は、各セグメントに属する代表範囲の位置を示す範囲情報１１０２を、セグメントの範囲の該当する位置に表示し、表示した範囲情報１１０２が選択されると、選択された範囲情報１１０２Ａの表示状態を変更し、選択状態とする。代表範囲の位置を示す範囲情報１１０２は、セグメントの範囲の該当する位置に矩形または長楕円で表示し、複数の範囲情報１１０２の表示が重なる場合には、範囲情報１１０２Ａで示すように、直前の範囲情報１１０２の矩形または長楕円の表示の下に、矩形または長楕円の表示分だけずらして表示する。
【００９３】
さらに、この構造編集画面４０１の範囲情報１１０２と代表範囲編集画面４０４の一対の縮小画像１１０３は、それぞれ対応する範囲情報および一対の縮小画像の表示状態がリンクされており、一方が選択されると他方の表示状態も変更される。例えば、図１１において、構造編集画面４０１の範囲情報１１０２Ａが選択されると、代表範囲編集画面４０４の対応する一対の縮小画像（代表範囲）１１０３Ａの表示状態も選択状態に変化する。このとき、構造編集画面４０１で選択された範囲情報と対応する一対の縮小画像（代表範囲）が代表範囲編集画面４０４に表示されていない場合には、代表範囲編集画面４０４は該当する一対の縮小画像（代表範囲）が表示されるように、自動的に画面をスクロールする。
【００９４】
次に、構造編集画面４０１の再生ボタンアイコン３０５を用いてセグメントの再生を行った場合の動作について説明する。例えば、図５の構造編集画面４０１において、再生するセグメント（以下、再生セグメントと記載する）として再生セグメント３０６を選択し、再生ボタンアイコン３０５で再生を指定すると、先ず、表示装置２０６の表示画面１０２上に、図１２（ａ），（ｂ）に示すような、セグメント映像再生ウィンドウ１２０１および再生操作ウィンドウ１２０２が表示される。セグメント映像再生ウィンドウ１２０１および再生操作ウィンドウ１２０２は、構造編集画面４０１で選択されたセグメントを再生セグメント３０６として、該再生セグメント３０６で定義された範囲のフレームを再生するものであり、本発明のセグメント映像再生手段に相当する。
【００９５】
また、再生操作ウィンドウ１２０２の各種キーを操作することにより、再生セグメント３０６の再生開始、セグメント映像再生ウィンドウ４０１で再生中の再生セグメントの再生速度の調整、巻き戻し、早送り、一時停止、再生終了、指定フレームへのスキップを行うことができる。特に、『ｐｌａｙ／ｄｅｔｅｃｔ』キーを押下することにより、一時停止中であれば再生を開始し、再生中であれば再生中の再生セグメントから所望のフレームを目的フレームとして指定することができる。
【００９６】
また、セグメント映像再生ウィンドウ１２０１および再生操作ウィンドウ１２０２を介して目的フレームが指定されると、表示装置２０６の表示画面１０２上には、図１３に示すような、連続フレーム表示ウィンドウ１３０１が表示される。連続フレーム表示ウィンドウ１３０１は、再生操作ウィンドウ４０２上の所定キー（『ｐｌａｙ／ｄｅｔｅｃｔ』キー）が操作されたタイミングでフレームを特定し、特定したフレーム１３０１ａを中心とする所定数の連続フレームを一列に並べて表示するものであり、本発明の連続フレーム表示手段に相当する。なお、図１３では、所定数の連続フレームとして９個の連続するフレームを一列に並べて表示した例を示すが、この数は特に限定するものではなく、オペレータが必要に応じて適宜変更可能なものとする。また、特定したフレーム１３０１ａの上部には他のフレームと区別するために識別バー１３０１ｂが表示されている。
【００９７】
また、連続フレーム表示ウィンドウ１３０１には、特定したフレーム１３０１ａを中心とする所定数の連続フレームを一列に並べて表示した後、表示する連続フレームをスクロールするためのスクロールバー１３０１ｃが設けられており、このスクロールバー１３０１ｃを操作することにより、再生セグメントの範囲内（換言すれば、再生セグメントの開始フレームから終了フレームの間）で連続フレームとして表示するフレームを変更することができる。
【００９８】
また、連続フレーム表示ウィンドウ１３０１で表示されている連続フレームの中から任意のフレームをドラッグ＆ドロップで同一表示画面上にマルチウィンドウで表示されている代表フレーム編集画面４０３にプロットすると、代表フレーム編集画面４０３は、ドロップされたフレームをセグメント映像再生ウィンドウ１２０１で再生中の再生セグメント３０６を代表する代表フレームとして生成し、表示する。
【００９９】
図１４は、前述した再生操作ウィンドウ１２０２および連続フレーム表示ウィンドウ１３０１と、構造編集画面４０１および代表範囲編集画面４０４を含むウィンドウ画面とが、表示画面１０２にマルチウィンドウで表示された状態を示している。代表範囲編集画面４０４は、連続フレーム表示ウィンドウ１３０１で表示されている連続フレームの中から２つのフレームを選択し、ドラッグしてドロップすると、２つのフレームのうち先頭のフレームを開始フレーム１４０１とし、もう一方を終了フレーム１４０２として選択中のセグメントの新たな代表範囲を生成して表示する。
【０１００】
次に、図１５を参照して、内容記述ウィンドウ１５０１について説明する。内容記述ウィンドウ１５０１は、構造編集画面４０１、セグメント範囲編集画面４０２、代表フレーム編集画面４０３または代表範囲編集画面４０４で選択したセグメント、パッケージ、代表フレームまたは代表範囲の内容についての記述を入力、編集および表示する機能を有している。
【０１０１】
内容記述ウィンドウ１５０１には、選択されている対象要素の内容として、「誰が（Ｗｈｏ）、何時（Ｗｈｅｎ）、どこで（Ｗｈｅｒｅ）、何を（Ｗｈａｔ）、なぜ（Ｗｈｙ）、どのように（Ｈｏｗ）」に相当する５Ｗ１Ｈ情報１５０２および任意の情報である自由記述情報１５０３の入力および変更を行う領域が設けられている。
【０１０２】
また、図中の『Ａｄｄ』ボタンを用いて登録を指定し、５Ｗ１Ｈ情報１５０２を登録することにより、登録された内容が５Ｗ１Ｈ情報１５０２の領域に次回から候補として表示され、次回から入力しなくても選択可能となる。
【０１０３】
例えば、構造編集画面４０１でセグメントを選択すると、そのセグメントの内容が予め保存されている場合、内容記述ウィンドウ１５０１の該当する領域にその記述内容が表示される。また、新規入力や、変更の場合には『Ａｐｐｌｙ』ボタンで指示する。他のセグメントを選択するとその内容記述が表示される。
【０１０４】
図１６は、このように内容記述ウィンドウ１５０１を用いて入力した記述内容を、表形式の一覧で表示する一覧表示画面１６０１を示す説明図である。一覧表示画面１６０１は、構造編集画面４０１において所定のキー操作を行うことで表示される。例えば、構造編集画面４０１で、あるパッケージ以下のセグメントの５Ｗ１Ｈ情報および自由記述情報を表形式の一覧表示を指定すると、一覧表示画面１６０１のように表示される。
【０１０５】
なお、一覧表示画面１６０１の各項目は、項目ごとの境界を自由に移動させることができ、内容記述の項目が多い場合には、カラムを拡大・縮小させることで、必要な項目を見やすくすることができる。また、表示する項目を選択して、表示／非表示を行えるようにしても良い。
【０１０６】
また、内容記述の一覧には、編集モードと読取モードとを用意し、いずれか選択したモードで作業するようにする。このとき、モードの違いは背景色の違いで表現する。
【０１０７】
また、１つのカラムに記述が入りきらないときは、枠の色を変えて表示し、その部分にカーソルを入れ、キーで上下移動させるか、スクロールバーを動的に用意して、スクロールさせて表示させることにより、全ての記述を表示できるようにする。
【０１０８】
セグメントなどの構造要素に対する付加価値の高い内容記述は、映像ストリーム（コンテンツ）の流れを見ながら記述することが必要である。内容記述ウィンドウ１５０１のように、対象セグメントの情報（代表フレーム、内容記述、範囲など）だけが表示された状態で記述する方法でも良いが、これだけでは、前のセグメントや次のセグメントに対する記述内容の参照や対比がしにくく、同じレベルで記述を行うことが難しい。文章を書くとき、何度も前から読みなおしながら記述すると作業性が向上するが、文書を単語ごと、あるいは文節ごとに別のウィンドウに対して記述し、しかもそれらのウィンドウが同じに参照できない状況を考えれば、同じレベルで記述することが困難であるのは明らかである。
【０１０９】
前述したように実施の形態１の映像構造編集装置によれば、映像ストリームの階層構造を定義した構造情報を用いて一目で映像ストリームの構造が把握できるように表示を行うと共に、直感的な分かりやすい操作で、構造化された映像ストリームの構造を再編集できる映像構造編集装置を提供することができる。
【０１１０】
また、実施の形態１の映像構造編集装置の各手段を実現するプログラムは、ハードディスク、フロッピーディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、このプログラムは、上述したような記録媒体を介して配布したり、またはインターネット等の通信ネットワークを介して配布することができる。
【０１１１】
実施の形態２．
実施の形態２は、実施の形態１の映像構造編集装置を用いて表示された１つまたは複数の映像ストリームから、複数のパッケージまたはセグメントを選択し、選択したパッケージまたはセグメントからなる構造要素の表示順を再構成し、表示順に再生して得られる映像ストリームを新たな映像ストリームとして生成する構造要素再構成装置に関する。実施の形態２の構造要素再構成装置のハード構成は、実施の形態１の映像構造編集装置と同様であるため、ここでは異なる部分のみ説明する。
【０１１２】
図１７〜図１９は、実施の形態２の構造要素再構成装置の表示画面１７０１（ウィンドウ画面）を示し、セグメントおよびパッケージなどの構造要素を、各構造要素のフレームの範囲の長さに応じた矩形で順に表示し編集する再構成表示部１７０２と、フレーム数または時間などの計測単位を必要に応じて切り替えて表示可能な目盛り表示手段としてのスケール表示部１７０３とを備えている。
【０１１３】
また、再構成表示部１７０２は、セグメントやパッケージなどの構造要素を選択および操作するためのマウス操作手段を有している。なお、このマウス操作手段としは、一般的なマウスなどのポインデイングデバイスで容易に実現できる。再構成表示部１７０２は、図１７に示すように、各構造要素（例えば、セグメント１７０５、パッケージ１７０６、パッケージ１７０７）をその結合順に横一列に並べて矩形で表示し、マウス操作手段を用いて、実施の形態１の構造要素再構成装置で表示された１つまたは複数の映像ストリームから新たな構造要素を選択してドラッグして、例えば、所望の位置１７０８にドロップすると、図１８に示すように、その前後の構造要素（ここでは、パッケージ１７０６、パッケージ１７０７）の間に新たな構造要素（セグメント１８０１）が組み込まれて再配列される。
【０１１４】
また、例えば、図１８の状態の再構成表示部１７０２において、セグメント１８０１を選択して削除を指定すると、セグメント１８０１の前後の構造要素（ここでは、パッケージ１７０６、パッケージ１７０７）が結合されて、図１７に示すように再配列される。
【０１１５】
また、再構成表示部１７０２は、横一列に並べて表示された構造要素の列から、マウス操作手段を用いて任意の構造要素をドラッグして所望の位置にドロップすると、指定の位置に構造要素を移動して再配列する。例えば、図１７において、セグメント１７０５をドラッグしてパッケージ１７０７の後の位置にドロップすると、セグメント１７０５が最後の位置に移動する。
【０１１６】
また、再構成表示部１７０２は、構造要素をそれぞれが属していた元の映像ストリーム毎に統一した色で表示する。構造要素のうちパッケージは、セグメントの集合を表すと共に、パッケージ毎に網掛けの矩形で表示され、パッケージ単位での操作のみを許可する。例えば、図１７において、パッケージ１７０６およびパッケージ１７０７は、それぞれのパッケージに属するセグメントの集合が確認できる状態で、かつ、網かけ（図中の斜線部分）の矩形で表示されている。
【０１１７】
このようにパッケージの網かけの矩形内に表示されているセグメントの集合は、直接操作することができないが、例えば、図示しないパッケージ解除ボタンなどを操作してパッケージ単位の操作を解除することにより、パッケージを構成するセグメントの集合がセグメント単位で操作できるようになる。具体的には、図１８において、パッケージ１７０７の解除を行うと、図１９に示すように、網かけの矩形表示部分がなくなり、パッケージ１７０７のセグメントの集合であるセグメント１９０１〜１９０４がセグメント単位で操作可能となる。図１９では、セグメント１９０１を選択した状態を示している。
【０１１８】
さらに、図１７に示すように、再構成表示部１７０２は、マウス操作手段を介してマウスポインタを所望の構造要素に合わせると、該当する構造要素の属する元の映像ストリームや、フレームの範囲などの詳細情報１７０４を表示する。
【０１１９】
また、再構成表示部１７０２およびスケール表示部１７０３は、それぞれ情報の表示およびコマンドの入力が可能な編集画面として構成されている。したがって、前述したように他のウィンドウ画面からドラッグしてドロップすることで、構造要素を入力したり、表示することができる。また、１つのウィンドウ画面として表示されているので、ウィンドウ画面を縦方向または横方向に拡大縮小することで自由に編集画面の大きさを変更でき、マルチウィンドウで表示している場合、必要な画面の大きさで作業を効率よく行うことができる。
【０１２０】
再構成表示部１７０２においても、実施の形態１の構造編集画面４０１のように、セグメントの範囲の先頭または終了部分に、該当するセグメントの開始フレームまたは終了フレームの縮小画像を、セグメントの範囲を表示する縦方向表示サイズに合わせて変倍して表示するか、または該当するセグメントの範囲の横方向表示サイズに合わせて変倍して表示するようにしても良い。また、縮小画像を変倍して表示する際に、変倍率があらかじめ設定した割合よりも小さい場合に縮小画像を省略するようにしても良い。
【０１２１】
また、実施の形態１の構造編集画面４０１の再生ボタンアイコン３０５のように、再構成表示部１７０２上に再生ボタンアイコンを設けて、実施の形態１と同様の方法で、再構成表示部１７０２で再構成した構造要素を１つの映像ストリームとして再生しても良い。構造要素を選択することにより、対応するフレームの範囲を再生しても良い。
【０１２２】
さらに、構造要素再構成装置で再構成した構造要素を１つの映像ストリームとして記録媒体に保存しても良い。このとき、再構成した構造要素を１つの映像ストリームとして記録媒体に保存する際に、ＳＭＩＬ等のブラウズ方法を表す汎用言語で表現して保存することにより、汎用のブラウザで再構成情報（再構成した構造要素の集合）をそのまま再生することが可能となる。
【０１２３】
前述したように実施の形態２の構造要素再構成装置は、１つまたは複数の映像ストリームから構造要素を選択して、選択した構造要素を論理的に編集し、１つの映像ストリームとして再構成することができる。
【０１２４】
また、実施の形態２の構造要素再構成装置の各手段を実現するプログラムは、ハードディスク、フロッピーディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、このプログラムは、上述したような記録媒体を介して配布したり、またはインターネット等の通信ネットワークを介して配布することができる。
【０１２５】
【発明の効果】
以上説明したように、本発明の映像構造編集装置（請求項１〜１７）は、映像ストリーム中の任意のフレームの範囲をセグメントとして定義し、１つのセグメントで定義された範囲と同一の範囲を、編集で用いる目的に応じて分割し、他の複数のセグメントの集合を形成した場合、該他の複数のセグメントの集合をパッケージとして定義することにより、このパッケージを親パッケージとし、この親パッケージを構成する該他の複数のセグメントのうち一つのセグメントの範囲と同一の範囲がさらに他の複数のセグメントに分割され、さらに分割された他の複数のセグメントの集合を子パッケージとして定義し、これにより前記映像ストリームの階層構造を定義した構造情報を対象にして、前記映像ストリームの階層構造、パッケージおよびセグメントの範囲を表示すると共に、表示したパッケージおよびセグメントの選択が可能な構造構成表示手段と、前記構造構成表示手段で選択されているセグメントの範囲と同一の範囲を他の複数のセグメントの集合に分割した場合、該他の複数のセグメントの集合の各セグメントの一対の開始フレームおよび終了フレームの縮小画像で表示するセグメント範囲表示手段と、前記構造構成表示手段で選択されているパッケージにおいて、該パッケージを示すセグメントの集合の各セグメントを代表する代表フレームを表示する代表フレーム表示手段と、前記構造構成表示手段で表示されているセグメントに属するフレーム範囲から２つのフレームを選択し、選択されたフレームの一方を開始フレーム、他方を終了フレームとして該セグメントを代表するフレームの代表範囲として表示する代表範囲表示手段とを備えたため、映像ストリームの階層構造を定義した構造情報を用いて一目で映像ストリームの構造が把握できるように表示を行うと共に、直感的な分かりやすい操作で、構造化された映像ストリームの構造を再編集できる映像構造編集装置を提供することができる。
【０１２６】
また、構造構成表示手段、セグメント範囲表示手段、代表フレーム表示手段および代表範囲表示手段が、それぞれ情報の表示およびコマンドの入力が可能な編集画面として構成されており、かつ、個別の映像ストリームごとに各編集画面を纏めた１つのウィンドウ画面として表示されるため、複数の映像ストリームの構造編集を同時に行うことができると共に、複数の映像ストリームの操作や比較を行うことが容易である。
【０１２７】
また、ウィンドウ画面の各編集画面が、表示されているセグメント、パッケージ、代表フレームまたは代表範囲を選択すると、選択されたセグメント、パッケージ、代表フレームまたは代表範囲の表示状態を変化させて表示し、さらに１つまたは複数のセグメントあるいはパッケージを選択して、移動、削除などの編集操作を行うと、その結果を反映して表示するため、操作性の向上を図ることができる。加えて、選択したセグメントの分割操作、選択したセグメントの範囲変更、選択したセグメントの階層構造中における階層の変更、選択した複数のセグメントをマージして新たな１つのセグメントを生成することにより、さらに構造編集の作業を効率良く行うことができる。
【０１２８】
また、構造構成表示手段でパッケージが選択されると、セグメント範囲表示手段が、選択されたパッケージに含まれる全てのセグメントに対応させて縮小画像を表示し、代表フレーム表示手段が、選択されたパッケージに含まれる全てのセグメントに対応させて代表フレームを表示し、代表範囲表示手段が、選択されたパッケージに含まれる全てのセグメントに対応させて代表範囲を表示するため、直感的に構造を把握することが容易となり、操作性の向上を図ることができる。
【０１２９】
また、セグメント範囲表示手段、代表フレーム表示手段および代表範囲表示手段に対応する各編集画面は、ウィンドウ画面中において表示および非表示を指定することが可能であり、これら編集画面の少なくとも１つの非表示が指定されると、指定された編集画面がウィンドウ画面中において非表示となり、構造構成表示手段に対応する編集画面が非表示となった編集画面の領域分拡がり、他の編集画面が非表示となった編集画面の領域を埋めるように移動するため、目的に応じて必要な部分または必要でない部分を選択的に表示したり、非表示にすることができ、さらに操作性の向上を図ることができる。
【０１３０】
また、セグメント範囲表示手段、代表フレーム表示手段および代表範囲表示手段に対応する各編集画面は、ウィンドウ画面から取り外して別の１つのウィンドウ画面として表示可能であるため、必要に応じて作業中の各編集画面のレイアウトを変更でき、作業効率の向上および操作性の向上を図ることができる。
【０１３１】
また、構造構成表示手段は、セグメントの範囲の先頭または終了部分に、該当するセグメントの開始フレームまたは終了フレームの縮小画像を、セグメントの範囲を表示する縦方向表示サイズに合わせて変倍して表示するか、または該当するセグメントの範囲の横方向表示サイズに合わせて変倍して表示するため、常に表示されている内容の見やすさを保つことができる。
【０１３２】
また、構造構成表示手段は、縮小画像を変倍して表示する際に、変倍率があらかじめ設定した割合よりも小さい場合に縮小画像を省略するため、常に表示されている内容の見やすさを保つことができる。
【０１３３】
また、構造構成表示手段は、縮小画像の表示および非表示を指定することが可能であるため、作業内容に応じた適切な表示状態を選択することができる。また、画面上に表示する画像の量を調整できるので、縮小画像の非表示を利用して、処理速度の向上を図ることができ、また、代表フレームや代表範囲の位置を明確にしたい場合などにも、不要な縮小画像をなくして見やすくすることができる。
【０１３４】
また、構造構成表示手段は、各セグメントに対応する代表フレームの位置を示す位置情報を、セグメントの範囲の該当する位置に表示し、表示した位置情報が選択されると、選択された位置情報の表示状態を変更し、代表フレーム表示手段は、構造構成表示手段に表示されているセグメントの代表フレームを所定数一列に並べて表示し、セグメントの総数が所定数以上である場合には、スクロールバーを表示して表示する代表フレームの範囲を変更可能とすると共に、表示されている代表フレームの中から任意の代表フレームを選択すると、選択された代表フレームの表示状態を変更し、さらに構造構成表示手段の位置情報および代表フレーム表示手段の代表フレームは、それぞれ対応する位置情報および代表フレームの表示状態がリンクされており、一方が選択されると他方の表示状態も変更されるため、片方を操作するだけで他方の該当部分を自動的に特定でき、作業効率化を図ることができると共に、操作性の向上を図ることができる。
【０１３５】
また、構造構成表示手段は、各セグメントに属する代表範囲の位置を示す範囲情報を、セグメントの範囲の該当する位置に表示し、表示した範囲情報が選択されると、選択された範囲情報の表示状態を変更し、代表範囲表示手段は、代表範囲を一対の開始フレームおよび終了フレームの縮小画像で表示し、一対の縮小画像の総数が所定数以上である場合には、スクロールバーを表示して表示する一対の縮小画像の範囲を変更可能とすると共に、表示されている一対の縮小画像の中から任意の一対の縮小画像を選択すると、選択された一対の縮小画像の表示状態を変更し、さらに構造構成表示手段の範囲情報および代表フレーム表示手段の一対の縮小画像は、それぞれ対応する範囲情報および一対の縮小画像の表示状態がリンクされており、一方が選択されると他方の表示状態も変更されるため、片方を操作するだけで他方の該当部分を自動的に特定でき、作業効率化を図ることができると共に、操作性の向上を図ることができる。
【０１３６】
また、構造構成表示手段は、各セグメントに属する代表範囲の位置を示す範囲情報を、セグメントの範囲の該当する位置に矩形または長楕円で表示し、複数の範囲情報の表示が重なる場合には、直前の範囲情報の矩形または長楕円の表示の下に、矩形または長楕円の表示分だけずらして表示するため、複数の範囲情報が存在する場合でも、できるだけ重ならないで見やすくすることができる。
【０１３７】
また、代表フレームまたは代表範囲の持つ属性を選択する属性選択手段を有し、代表フレーム表示手段または代表範囲表示手段は、属性選択手段で属性が選択されると、選択された属性を有する代表フレームまたは代表範囲のみを表示するため、表示内容の絞り込みを行うことができ、作業効率化および操作性の向上を図ることができる。
【０１３８】
また、構造構成表示手段は、選択したセグメントの再生を指定する再生指定手段と、再生指定手段で指定されたセグメントで定義された範囲のフレームを再生するセグメント映像再生手段と、セグメント映像再生手段で再生中のセグメントの再生、停止、巻き戻し、早送り、一時停止、指定フレームへのスキップ等の操作を行うための映像再生操作手段と、を有するため、セグメントの再生を容易に行えると共に、セグメント選択によって映像再生の対象部分が限定され、その範囲を越えて再生されることはなく、また映像ストリームの全体に対する対象セグメントの位置も明確になるので、全体の構造を把握しながら再生でき、映像全体の再生よりも分かりやすいという効果を奏する。
【０１３９】
また、セグメント映像再生手段で所望のフレームが再生された際に目的フレームとして指定し、指定されたフレームを含む所定数の連続フレームを一列に並べて表示する連続フレーム表示手段を備え、代表フレーム表示手段は、連続フレーム表示手段で表示されている連続フレームの中から任意のフレームをドラッグしてドロップすると、該当するフレームをセグメント映像再生手段で再生中のセグメントの代表フレームとして生成して表示するため、一連の操作が簡単であり、作業を効率的に行うことができる。
【０１４０】
また、代表範囲表示手段は、連続フレーム表示手段で表示されている連続フレームの中から２つのフレームを選択し、ドラッグしてドロップすると、２つのフレームのうち先頭のフレームを開始フレームとし、もう一方を終了フレームとして選択中のセグメントの新たな代表範囲を生成して表示するため、一連の操作が簡単であり、作業を効率的に行うことができる。
【０１４１】
また、本発明の映像構造編集装置（請求項１８）は、構造構成表示手段、セグメント範囲表示手段、代表フレーム表示手段または代表範囲表示手段で選択したセグメント、パッケージ、代表フレームまたは代表範囲の内容についての記述を入力、編集および表示するための内容記述表示手段を備え、内容記述表示手段は、選択されている対象要素の内容として、「誰が（Ｗｈｏ）、何時（Ｗｈｅｎ）、どこで（Ｗｈｅｒｅ）、何を（Ｗｈａｔ）、なぜ（Ｗｈｙ）、どのように（Ｈｏｗ）」に相当する５Ｗ１Ｈ情報および任意の情報である自由記述情報の入力および変更が可能であり、かつ、５Ｗ１Ｈ情報を登録することにより、次回から候補として表示され、次回から入力しなくても選択可能であるため、内容の記述を容易に行うことができる。また、５Ｗ１Ｈ情報によって記述内容の全体の統一をとることができる。
【０１４２】
また、本発明の映像構造編集装置（請求項１９）は、あるパッケージ以下のセグメントの５Ｗ１Ｈ情報および自由記述情報を表形式の一覧で表示し、編集するための一覧表示手段を有するため、前のセグメントや次のセグメントに対する記述内容の参照や対比を容易に行え、常に同じレベルで記述を行うことができる。
【０１４３】
また、本発明の記録媒体（請求項２０）は、請求項１〜１９のいずれか一つに記載された各手段をコンピュータに実行させるプログラムを記録したため、そのプログラムを機械読み取り可能となり、請求項１〜１９の動作をコンピュータによって実現することが可能な記録媒体を得られるという効果を奏する。
【０１４４】
また、本発明の構造要素再構成装置（請求項２１〜３３）は、請求項１〜１９のいずれか一つに記載された映像構造編集装置を用いて表示された１つまたは複数の映像ストリームから、複数のパッケージまたはセグメントを選択し、選択したパッケージまたはセグメントからなる構造要素の表示順を再構成し、表示順に再生して得られる映像ストリームを新たな映像ストリームとして生成する構造要素再構成装置であって、構造要素を構造要素のフレームの範囲の長さに応じた矩形で順に表示し編集する再構成表示手段と、フレーム数または時間などの計測単位を必要に応じて切り替えて表示可能な目盛り表示手段と、を備えたため、１つまたは複数の映像ストリームから構造要素を選択して、選択した構造要素を論理的に編集し、１つの映像ストリームとして再構成することができる構造要素再構成装置を提供できる。
【０１４５】
また、再構成表示手段は、構造要素を選択および操作するためのマウス操作手段を有し、再構成表示手段は、各構造要素をその結合順に横一列に並べて矩形で表示し、マウス操作手段を用いて、表示された１つまたは複数の映像ストリームから新たな構造要素を選択してドラッグして所望の位置にドロップすると、その前後の構造要素の間に新たな構造要素が組み込まれて再配列され、また任意の構造要素を選択して削除すると、任意の構造要素の前後の構造要素が結合されて再配列されるため、簡単なマウス操作により構造要素の編集が可能となり、操作性の向上を図ることができる。
【０１４６】
また、再構成表示手段は、横一列に並べて表示された構造要素の列から、マウス操作手段を用いて任意の構造要素をドラッグして所望の位置にドロップすると、指定の位置に構造要素を移動して再配列するため、簡単なマウス操作により構造要素の編集が可能となり、操作性の向上を図ることができる。
【０１４７】
また、再構成表示手段は、構造要素をそれぞれが属していた元の映像ストリーム毎に統一した色で表示し、構造要素のうちパッケージは、セグメントの集合を表すと共に、パッケージ毎に網掛けの矩形で表示し、パッケージ単位での操作のみを許可するため、各構造要素の持つ情報を視覚的に認識して、構造要素の操作をセグメント単位およびパッケージ単位で行い、操作性の向上を図ることができる。
【０１４８】
また、再構成表示手段は、パッケージ単位の操作を解除して、パッケージを構成するセグメントの集合をセグメント単位で操作できるため、必要な時にパッケージ単位の操作からセグメント単位の操作に移ることができ、作業の効率化および操作性の向上を図ることができる。
【０１４９】
また、再構成表示手段は、マウス操作手段を介してマウスポインタを構造要素に合わせると、該当する構造要素の属する元の映像ストリームや、フレームの範囲などの詳細情報を表示するため、構造要素の属性を明確に認識することができ、作業を正確に行うことができる。
【０１５０】
また、再構成表示手段および目盛り表示手段は、それぞれ情報の表示およびコマンドの入力が可能な編集画面として構成されており、かつ、１つのウィンドウ画面として表示され、ウィンドウ画面を縦方向または横方向に拡大縮小することで自由に編集画面の大きさを変更できるため、作業の効率的に行うことができる。
【０１５１】
また、再構成表示手段は、セグメントの範囲の先頭または終了部分に、該当するセグメントの開始フレームまたは終了フレームの縮小画像を、セグメントの範囲を表示する縦方向表示サイズに合わせて変倍して表示するか、または該当するセグメントの範囲の横方向表示サイズに合わせて変倍して表示するため、縮小画像の見やすく表示することができ、作業の効率的に行うことができる。
【０１５２】
また、再構成表示手段は、縮小画像を変倍して表示する際に、変倍率があらかじめ設定した割合よりも小さい場合に縮小画像を省略するため、常に表示されている内容の見やすさを保つことができる。
【０１５３】
また、再構成表示手段は、再構成した構造要素を１つの映像ストリームとして再生可能であるため、検索結果のブラウジングが可能となる。
【０１５４】
また、再構成表示手段は、構造要素を選択することにより、対応するフレームの範囲を再生可能であるため、構造要素の再構成を行う際の利便性の向上を図ることができる。また、保存前に内容を確認することができる。
【０１５５】
また、再構成表示手段は、再構成した構造要素を１つの映像ストリームとして記録媒体に保存可能であるため、構造要素再構成装置で構造要素を再構成して保存することで、ダイジェスト映像などの作成が可能となる。また、再構成した構造要素を１つの映像ストリームとして記録媒体に保存する際に、ＳＭＩＬ等のブラウズ方法を表す汎用言語で表現して保存することにより、汎用のブラウザでそのまま再生することが可能となる。
【０１５６】
また、本発明の記録媒体（請求項３４）は、請求項２１〜３３のいずれか一つに記載された各手段をコンピュータに実行させるプログラムを記録したため、そのプログラムを機械読み取り可能となり、請求項２１〜３３の動作をコンピュータによって実現することが可能な記録媒体を得られるという効果を奏する。
【図面の簡単な説明】
【図１】実施の形態１の映像構造編集装置の一例を示す概略構成図である。
【図２】図１に示したコンピュータのブロック構成図である。
【図３】実施の形態１の映像構造編集装置で使用する構造情報の構造例を示す説明図である。
【図４】実施の形態１の構造表示ソフトによる構造編集画面の表示例を示す説明図である。
【図５】実施の形態１の構造表示ソフトによる構造編集画面の表示例を示す説明図である。
【図６】実施の形態１の構造編集ソフトの機能を示す説明図である。
【図７】実施の形態１の映像構造編集装置で２つの映像ストリームの構造を同時に表示する場合の表示例を示す説明図である。
【図８】図６のウィンドウ画面からセグメント範囲編集画面と代表範囲編集画面とを非表示にした状態を示す説明図である。
【図９】構造編集画面の横方向の縮小による開始フレームの表示状態の変化を示す説明図である。
【図１０】代表範囲編集画面の位置情報の表示状態および代表範囲編集画面と代表フレーム編集画面のリンク関係を示す説明図である。
【図１１】代表範囲編集画面の代表範囲の表示状態および代表範囲編集画面と構造編集画面のリンク関係を示す説明図である。
【図１２】セグメント映像再生ウィンドウおよび再生操作ウィンドウが表示画面を示す説明図である。
【図１３】連続フレーム表示ウィンドウを示す説明図である。
【図１４】再生操作ウィンドウおよび連続フレーム表示ウィンドウと、構造編集画面を含むウィンドウ画面が表示画面にマルチウィンドウで表示された状態を示す説明図である。
【図１５】内容記述ウィンドウを示す説明図である。
【図１６】内容記述ウィンドウを用いて入力した記述内容を、表形式の一覧で表示する一覧表示画面を示す説明図である。
【図１７】実施の形態２の構造要素再構成装置の表示画面（ウィンドウ画面）を示す説明図である。
【図１８】実施の形態２の構造要素再構成装置の表示画面（ウィンドウ画面）を示す説明図である。
【図１９】実施の形態２の構造要素再構成装置の表示画面（ウィンドウ画面）を示す説明図である。
【符号の説明】
１００映像構造編集装置
１０１コンピュータ
１０２表示画面
１０３記憶手段
２０７構造解析ソフト
２０８構造編集ソフト
２０９構造表示ソフト[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention provides a video structure editing device, a structural element reconstructing device, and a device for creating structure information by structuring a video stream composed of a video including a video or an audio and using the structure information. As a means, the present invention relates to a computer-readable recording medium on which a program for executing a computer is recorded, and more particularly, to a video structure editing apparatus for editing the structure itself of a video stream and describing the content in a structural element, The present invention relates to a structural element reconstructing apparatus capable of performing a logically reconfigurable reconstruction by selecting a structural element from a plurality of video streams, and a recording medium. The techniques for editing the video structure, describing the contents, and reconstructing the structural elements are applied to technical fields such as video management, browsing of video search results, and digest creation.
[0002]
[Prior art]
In recent years, in a video stream including only video or a video stream including video and audio, various methods for structuring the video stream to create structure information, and using the structure information to manage, edit, and utilize the video. Is being developed.
[0003]
As an example of structuring a video stream, for example, a case where a range of an arbitrary frame in the video stream is defined as a segment, and the same range as the range defined by one segment can be expressed by a set of other segments A method for creating a hierarchical structure of a video stream by defining a set of a plurality of segments as a package has been proposed.
[0004]
Also, as a display example of a video in a conventional video editing device, a method of arranging video clips in chronological order and showing a video by an image icon is often used. However, such a video editing device edits the video itself. No apparatus has been provided for editing a video stream by using structural elements of a structured video stream or reconstructing the structure itself.
[0005]
In other words, in video editing software and non-linear video editing machines, in the process of arranging each video clip and superimposing and editing, in the case of the smallest scale, continuous frames may be displayed in a line, but this is not the case. The purpose is merely to overlap each video material, and no easy-to-use support tool for structuring a video stream or reediting the structure of the structured video stream has been provided.
[0006]
[Problems to be solved by the invention]
Therefore, the present applicant defines a range of an arbitrary frame in a video stream as a segment, and sets a plurality of segments when the same range defined by one segment can be represented by a set of other segments. A video structure editing apparatus that edits the structure of a video stream using structure information that defines the hierarchical structure of the video stream by defining a set of.
[0007]
In addition, the segmentation state and length (frame range) of the segment of the structured video stream are displayed in a visually easy-to-understand manner, and the structure elements such as segments and packages that constitute the structure information of the video stream are easily created. We propose a video structure editing device that can do it.
[0008]
In addition, conventionally, for the structural elements of a plurality of structured video streams, browsing search results, creating digests, etc., and playing back continuously from a certain viewpoint, saving them to files, Although there was a request to generate a new video stream, such work / processing is not a video editing process but a cross-sectional collection (or search) of the structural elements of the video stream. It could not be realized with an editing device.
[0009]
The present invention has been made in view of the above, and performs display so that the structure of a video stream can be grasped at a glance by using structural information that defines the hierarchical structure of the video stream, and provides an intuitive and easy-to-understand operation. It is another object of the present invention to provide a video structure editing device capable of reediting the structure of a structured video stream.
[0010]
In addition, the present invention has been made in view of the above, and selects a structural element from one or a plurality of video streams, logically edits the selected structural element, and reconfigures as one video stream. It is an object of the present invention to provide a structural element reconstructing device capable of performing the above.
[0011]
[Means for Solving the Problems]
In order to achieve the above object, a video structure editing apparatus according to claim 1 defines a range of an arbitrary frame in a video stream as a segment, and defines the same range as a range defined by one segment.For editing purposesDependingSplit and othersSet of multiple segments ofFormedIn this case, by defining a set of the other segments as a package,This package is defined as a parent package, and the same range as the range of one segment among the other plurality of segments constituting the parent package is further divided into other plural segments, and further divided into other plural segments. Is defined as a child package,For the structural information defining the hierarchical structure of the video stream, displaying the hierarchical structure of the video stream, a range of packages and segments, and a structure configuration display unit capable of selecting the displayed package and segment; Range of the segment selected in the structure displayIf the same range is divided into a set of other segments, each segment of the set of other segmentsA segment range display unit for displaying a reduced image of a pair of start frame and end frame, and a segment range display unit selected by the structure configuration display unitIn a package, each of a set of segments indicating the packageRepresentative frame display means for displaying a representative frame representing a segment, and two frames selected from a frame range belonging to the segment displayed by the structure display means, one of the selected frames as a start frame and the other as a start frame. Representative range display means for displaying the end frame as a representative range of a frame representing the segment.
[0012]
The video structure editing apparatus according to claim 2 is the video structure editing apparatus according to claim 1, wherein the structure configuration display unit, the segment range display unit, the representative frame display unit, and the representative range display unit each include information of information. It is configured as an editing screen on which display and command input can be performed, and is displayed as one window screen in which the editing screens are combined for each individual video stream.
[0013]
According to a third aspect of the present invention, in the video structure editing apparatus according to the second aspect, when each of the edit screens of the window screen selects a displayed segment, package, representative frame, or representative range. When the display state of the selected segment, package, representative frame or representative range is changed and displayed, and one or more segments or packages are selected and editing operations such as moving and deleting are performed, the result is obtained. Is displayed reflecting the
[0014]
In the video structure editing apparatus according to a fourth aspect, in the video structure editing apparatus according to the third aspect, the editing operation includes dividing a selected segment, changing a range of the selected segment, and a hierarchy of the selected segment. This includes changing the hierarchy in the structure and merging a plurality of selected segments to generate one new segment.
[0015]
According to a fifth aspect of the present invention, in the video structure editing apparatus according to any one of the first to third aspects, when a package is selected by the structure configuration display means, the segment range display means is displayed. Displays the reduced image corresponding to all the segments included in the selected package, and the representative frame display means displays the representative frame corresponding to all the segments included in the selected package. The representative range display means displays the representative range in association with all the segments included in the selected package.
[0016]
A video structure editing apparatus according to claim 6 corresponds to the video structure editing apparatus according to any one of claims 2 to 5, corresponding to the segment range display means, the representative frame display means, and the representative range display means. Each edit screen can be designated to be displayed or hidden in the window screen. When at least one of these edit screens is designated to be hidden, the designated edit screen is hidden in the window screen. Display, the edit screen corresponding to the structure configuration display means is expanded by the area of the hidden edit screen, and another edit screen is moved to fill the hidden edit screen area. is there.
[0017]
A video structure editing device according to claim 7 corresponds to the video structure editing device according to any one of claims 2 to 6, corresponding to the segment range display unit, the representative frame display unit, and the representative range display unit. Each editing screen can be detached from the window screen and displayed as another window screen.
[0018]
Also, in the video structure editing apparatus according to claim 8, in the video structure editing apparatus according to any one of claims 1 to 7, the structure configuration display means may include: The reduced image of the start frame or the end frame of the corresponding segment is scaled and displayed according to the vertical display size for displaying the range of the segment, or is displayed according to the horizontal display size of the range of the corresponding segment. It is displayed by changing the magnification.
[0019]
In the video structure editing apparatus according to a ninth aspect, in the video structure editing apparatus according to the eighth aspect, the structure configuration display means sets a scaling factor in advance when scaling the reduced image and displaying the reduced image. If the ratio is smaller than the ratio, the reduced image is omitted.
[0020]
According to a tenth aspect of the present invention, in the video structure editing apparatus according to the eighth or ninth aspect, the structure configuration display means can designate display and non-display of the reduced image. Things.
[0021]
According to an eleventh aspect of the present invention, in the video structure editing apparatus according to any one of the first to tenth aspects, the structure configuration display means indicates a position of a representative frame corresponding to each segment. The position information is displayed at a corresponding position in the range of the segment, and when the displayed position information is selected, the display state of the selected position information is changed, and the representative frame display unit displays the structure configuration display unit. A predetermined number of representative frames of the displayed segment are arranged and displayed in a line, and when the total number of the segments is equal to or more than a predetermined number, a scroll bar is displayed and the range of the representative frame to be displayed can be changed. When an arbitrary representative frame is selected from the displayed representative frames, the display state of the selected representative frame is changed, and the structure configuration display method is further changed. The representative frame positional information and representative frame display means are display state of the corresponding position information and the representative frame is linked, in which if one is selected the other display state is also changed.
[0022]
According to a twelfth aspect of the present invention, in the video structure editing apparatus according to any one of the first to tenth aspects, the structure configuration display means includes a range indicating a position of a representative range belonging to each segment. Information is displayed at a corresponding position in the range of the segment, and when the displayed range information is selected, the display state of the selected range information is changed, and the representative range display means displays the representative range as a pair of start frames. When the total number of the pair of reduced images is equal to or more than a predetermined number, the range of the pair of reduced images to be displayed by displaying the scroll bar can be changed and displayed. When an arbitrary pair of reduced images is selected from the pair of reduced images, the display state of the selected pair of reduced images is changed. A pair of reduced images of the frame display means is a display state links corresponding range information and the pair of the reduced image, in which if one is selected also the other display state is changed.
[0023]
According to a thirteenth aspect of the present invention, in the video structure editing apparatus according to any one of the first to twelfth aspects, the structure configuration display means includes a range indicating a position of a representative range belonging to each segment. The information is displayed as a rectangle or an ellipse at the corresponding position in the segment range, and if multiple range information displays overlap, a rectangle or an ellipse is displayed below the display of the rectangle or ellipse of the previous range information. Are shifted by the amount of the display.
[0024]
According to a fourteenth aspect of the present invention, in the video structure editing apparatus according to any one of the first to thirteenth aspects, the image structure editing apparatus further comprises: The representative frame display means or the representative range display means displays only a representative frame or a representative range having the selected attribute when an attribute is selected by the attribute selecting means.
[0025]
A video structure editing apparatus according to a fifteenth aspect, in the video structure editing apparatus according to any one of the first to fourteenth aspects, wherein the structure configuration display means specifies a reproduction of a selected segment. And a segment video playback unit that plays back a frame in a range defined by the segment specified by the playback designation unit; and playback, stop, rewind, fast forward, pause, and playback of the segment being played back by the segment video playback unit. Video playback operation means for performing operations such as skipping to a designated frame.
[0026]
A video structure editing apparatus according to a sixteenth aspect is the video structure editing apparatus according to any one of the first to fifteenth aspects, further comprising: A continuous frame display unit for displaying a predetermined number of continuous frames including the specified frame in a line, wherein the representative frame display unit includes one of the continuous frames displayed by the continuous frame display unit. When the user drags and drops an arbitrary frame from, the corresponding frame is generated and displayed as a representative frame of the segment being reproduced by the segment video reproducing means.
[0027]
In the video structure editing apparatus according to a seventeenth aspect, in the video structure editing apparatus according to the sixteenth aspect, the representative range display means includes two frames out of the continuous frames displayed by the continuous frame display means. Is selected, dragged and dropped, a new representative range of the selected segment is generated and displayed with the first frame as the start frame and the other frame as the end frame.
[0028]
The video structure editing device according to claim 18 is the video structure editing device according to any one of claims 1 to 17, further comprising: the structure configuration display unit, the segment range display unit, the representative frame display unit, A description unit for inputting, editing, and displaying a description of the contents of the segment, package, representative frame, or representative range selected by the representative range display unit, wherein the content description display unit includes a selected target element; 5W1H information and arbitrary information corresponding to "Who (Who), When (When), Where (Where), What (What), Why (Why), How (How)". Descriptive information can be entered and changed, and by registering the 5W1H information, it will be displayed as a candidate from the next time. Even without input from the next are those that can be selected.
[0029]
According to a nineteenth aspect of the present invention, in the video structure editing apparatus according to the eighteenth aspect, the structure configuration display means displays the 5W1H information and the free description information of a segment below a certain package in a tabular list. It is characterized by having a list display means for displaying and editing.
[0030]
A recording medium according to a twentieth aspect stores a program to be executed by a computer as each means of the video structure editing apparatus according to any one of the first to nineteenth aspects. As a result, the program can be machine-readable, and the operations of claims 1 to 19 can be realized by a computer.
[0031]
Also, a structuring element reconstructing apparatus according to claim 21 converts a plurality of video streams displayed by using the video structure editing apparatus according to any one of claims 1 to 19 from a plurality of video streams. A structural element reconstructing apparatus for selecting a package or a segment, reconstructing the display order of the structural elements composed of the selected package or segment, and generating a video stream obtained by reproducing in the display order as a new video stream, Reconstruction display means for sequentially displaying and editing the structural elements in a rectangle corresponding to the length of the range of the frame of the structural element, and a scale display capable of switching and displaying measurement units such as the number of frames or time as necessary. Means.
[0032]
The structural element reconstructing apparatus according to claim 22 is the structural element reconstructing apparatus according to claim 21, further comprising: a mouse operating means for selecting and operating the structural element. The reconstructing display means displays the respective structural elements in a rectangle in a row in the order in which they are combined in a rectangular form, and uses the mouse operating means to display new structural elements from the displayed one or more video streams. And dragging and dropping it at the desired position, the new structural element is incorporated and rearranged between the structural elements before and after the selected structural element. The structural elements before and after the structural element are combined and rearranged.
[0033]
According to a twenty-third aspect of the present invention, in the structural element reconstructing apparatus according to the twenty-second aspect, the reconstructing display means performs the mouse operation from a row of the structural elements displayed side by side. When an arbitrary structural element is dragged and dropped to a desired position by using a means, the structural element is moved to a specified position and rearranged.
[0034]
The structural element reconstructing apparatus according to claim 24 is the structural element reconstructing apparatus according to any one of claims 21 to 23, wherein the reconstructing display unit belongs to each of the structural elements. Displayed in a unified color for each original video stream, and among the structural elements, packages represent a set of segments, are displayed in shaded rectangles for each package, and allow only operations in package units. is there.
[0035]
Further, in the structural element reconstructing apparatus according to claim 25, in the structural element reconstructing apparatus according to claim 24, the reconstructing display unit cancels the operation in units of the package and displays the segments constituting the package. A set can be operated on a segment basis.
[0036]
The structural element reconstructing apparatus according to claim 26 is the structural element reconstructing apparatus according to any one of claims 21 to 25, wherein the reconstructing display means includes a mouse pointer via the mouse operating means. Is displayed on the original video stream to which the corresponding structural element belongs, and detailed information such as the range of the frame.
[0037]
The structural element reconstructing apparatus according to claim 27 is the structural element reconstructing apparatus according to any one of claims 21 to 26, wherein the reconstructing display unit and the scale display unit are configured to display information and display information, respectively. An edit screen that can be used to input commands and is displayed as a single window screen, and the size of the edit screen can be freely changed by scaling the window screen vertically or horizontally. It is.
[0038]
A structural element reconstructing apparatus according to claim 28 is the structural element reconstructing apparatus according to any one of claims 21 to 27, wherein the reconstructing display means is provided at a start or end portion of a segment range. The reduced image of the start frame or the end frame of the corresponding segment is displayed in a scaled manner in accordance with the vertical display size for displaying the range of the segment, or is displayed in accordance with the horizontal display size of the range of the corresponding segment. Is displayed in a zoomed state.
[0039]
Further, in the structural element reconstructing apparatus according to claim 29, in the structural element reconstructing apparatus according to claim 28, the reconstructing display means displays a reduced magnification when the reduced image is scaled and displayed. When the ratio is smaller than a preset ratio, the reduced image is omitted.
[0040]
According to a twentieth aspect of the present invention, in the structuring element reconstructing device according to any one of the twenty-first to twenty-ninth aspects, the reconstructing display means displays the reconstructed structuring element in one image. It can be reproduced as a stream.
[0041]
A structural element reconstructing apparatus according to claim 31 is the structural element reconstructing apparatus according to any one of claims 21 to 30, wherein the reconstructing display means selects a structural element to respond. The range of the frame to be reproduced can be reproduced.
[0042]
Also, in the structural element reconstructing apparatus according to claim 32, in the structural element reconstructing apparatus according to any one of claims 21 to 31, the reconstructing display means displays the reconstructed structural element in one image. It can be stored on a recording medium as a stream.
[0043]
A structuring element reconstructing device according to claim 33 is the structuring element reconstructing device according to claim 32, wherein the reconstructing display means stores the reconstructed structuring element as one video stream in a recording medium. In doing so, it is expressed and stored in a general-purpose language representing a browsing method such as SMIL.
[0044]
A recording medium according to a thirty-fourth aspect is characterized by recording a program to be executed by a computer as each means of the structural element reconstructing device according to any one of the twenty-first to twenty-third aspects. As a result, the program can be read by a machine, and the operations of claims 21 to 33 can be realized by a computer.
[0045]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of a video structure editing apparatus and a structural element reconstructing apparatus of the present invention will be described in detail in the order of Embodiment 1 and Embodiment 2 with reference to the accompanying drawings.
[0046]
Embodiment 1 FIG.
First, regarding the video structure editing apparatus of Embodiment 1, [Schematic Configuration of Video Structure Editing Apparatus], [Configuration of Structure Information], [Example of Displaying Structure Information by Structure Display Software], [Specific Functions of Structure Edit Software] Detailed description] will be described in detail with reference to the accompanying drawings.
[0047]
[Schematic configuration of video structure editing device]
FIG. 1 is a schematic configuration diagram illustrating an example of a video structure editing device 100 according to the first embodiment. The video structure editing apparatus 100 inputs a video stream from the storage unit 103 that stores the video stream and / or structure information obtained by structuring the video stream, analyzes the structure of the video stream, and, based on the analysis result, analyzes the video stream. It comprises a computer 101 that performs a process of visually displaying the stream structure on a display screen 102.
[0048]
Here, a hard disk built in the computer 101 may be used as the storage unit 103, but here, a video information library connected to the computer 101 via a network, a floppy disk, a CD-ROM, It is assumed that a recording medium such as an MO or a DVD is used. The storage unit 103 may store either the video stream or the structure information, or may store both the video stream and the structure information. It is sufficient that the target video stream and the structure information can be read and placed in the computer 101 before the execution.
[0049]
FIG. 2 is a block diagram of the computer 101 shown in FIG. The computer 101 includes a CPU 201 that executes processing based on software described later, a ROM 202 storing a boot program and the like, a RAM 203 used as a work area of the CPU 201, a keyboard 204 and a mouse 205 for performing various input operations. And a display device 206 such as a CRT or a liquid crystal display having a display screen 102 for displaying a video stream analysis process and a video stream structure, and a function of the video structure editing device according to the first embodiment. A hard disk 210 storing various application programs and data such as structural analysis software 207, structure editing software 208, and structure display software 209, various drivers for connecting the storage unit 103 and the computer 101 shown in FIG. An interface unit 211 and the like, and includes at least a bus 212 that connects the above units, the.
[0050]
The configuration of the video structure editing apparatus 100 shown in FIGS. 1 and 2 is merely an example, and any system configuration may be used as long as each function of the first embodiment described later can be realized. It may be. Further, as a basic technique of a structure display method of analyzing a video stream to generate structure information and displaying the structure on a display screen, a technique proposed by the present applicant in Japanese Patent Application No. 10-249598 is disclosed. Can be applied. Further, the method of structuring the video stream is not particularly limited, but at least an arbitrary range in the video stream is defined as a segment, and the same range as a range defined by a certain segment is defined by a plurality of other segments. When a set of segments can be represented by a set of segments, a set of a plurality of segments is defined as a package, and the plurality of segments is defined as a sub-segment of the certain segment, so that the entire video stream is structured. set to target.
[0051]
[Structure of structural information]
Next, an example of the structure of the structure information used in the video structure editing apparatus according to the first embodiment will be described with reference to FIG. In the first embodiment, the entrance of the structure of one entire video stream is defined as a root R, and an arbitrary range in the video stream is defined as a segment S as a structural element representing a structure hierarchically below the root R. If the same range as the range defined by a certain segment S can be represented by a set of other segments S, the set of these segments S is defined as a package P.
[0052]
That is, in the structural example shown in FIG. 3, a package P (refer to a symbol A) representing the entire video and one segment S constituting the package P exist in the first hierarchy immediately below the root R.
The package P (see reference numeral B) and six segments S that constitute the package P, the package P (see reference numeral C) and three segments S that constitute the package P, and the package P (See symbol D) and two segments S constituting the package P.
In the third layer, a package P (see reference numeral E) and three segments S constituting the package P, a package P (see reference numeral F) and two segments S constituting the package P, and a package P (See reference numeral G) and one segment S that constitutes the package P, package P (see reference numeral H) and two segments S that constitute the package P, package P (see reference numeral I), and the package P There are five segments S to configure.
Further, in the fourth layer, there are a package P (refer to a reference numeral J) and two segments S constituting the package P.
[0053]
In the structure example of FIG. 3, the first to fourth layers exist as layers, but the depth of the layers and the number of packages P in each layer are not particularly limited, and may be set as necessary. It is a thing. Further, in the first embodiment, when the same range as the range defined by the segment of the higher hierarchy can be expressed by a set of a plurality of lower segments, the plurality of segments are defined as partial segments with respect to the segment of the higher hierarchy. Define.
[0054]
Next, the criteria for generating the package P will be described with reference to an example. For example, when the video stream having the structure shown in FIG. 3 is a video stream in which a movie is recorded, of the three packages P in the second hierarchy, the first package P (see reference numeral B) freezes the video. The second package P (see symbol C) is divided according to the characters, and the third package P (see symbol D) is divided by time. In this example, a partial segment (a segment at a level immediately below the parent segment) is generated by dividing the parent segment (a segment at a higher hierarchy), so the range of the partial segment that constitutes one package is When the ranges of the partial segments are collected without overlapping each other, they become the ranges of the parent segment.
[0055]
Further, as described above, the structure of the video stream may be extracted or read from the structure information generated in advance, or the video stream may be read and directly structured on the spot to generate the structure information.
[0056]
[Example of structure information display by structure display software]
FIG. 4 is an explanatory diagram showing a display example of the structure editing screen 401 by the structure display software 209 according to the first embodiment. This structure display software 209 corresponds to the structure configuration display means of the present invention, and displays the hierarchical structure of the video stream based on the structure information as described below. However, for the sake of simplicity, here, a video stream capable of displaying all structural information in one screen size of the display screen 102 is taken as an example, and further, only a basic function of the structural display software 209 is displayed. An edit screen 401 is shown.
[0057]
As shown in FIG. 4, the structure edit screen 401 includes a structure display unit 401A that displays structure information 301 in which each package is a node 301a and that represents structure information in a tree-like parent-child relationship, and a package identification unit that indicates the range of each package. The configuration information 302 including the segment identification display 302b indicating the range of each segment serving as a component of the display 302a and the package identification display 302a is displayed in accordance with the display line of the corresponding node, and the range of each segment corresponds to a numerical scale. And a configuration display unit 401B for displaying a scale 303 for recognition. Reference numeral 304 denotes a line display unit for making it easy to visually recognize the corresponding display lines of the structure display unit 401A and the configuration display unit 401B, and 305 denotes a reproduction designation unit for designating reproduction of the selected segment. Shows a play button icon.
[0058]
The operation of the above configuration will be described with reference to the display example of the display screen 102 according to the first embodiment in FIGS. First, when the structure of the video stream as shown in FIG. 3 is displayed on the display screen 102, it becomes as shown in FIG. Here, the structure information 301 displayed on the structure display unit 401A and the structure information 302 displayed on the structure display unit 401B are displayed based on the following rules (conditions) (1) to (5). Here, in order to distinguish each node 301a for easy understanding, the symbols A to J shown in FIG. 3 are described in the display of □ (or dotted □) indicating the node. For the same reason, the package identification 302a and the segment identification 302b are described by PA, SA, and the like.
[0059]
Rule ▲ 1 ▼
In a tree-like parent-child relationship, nodes belonging to the same hierarchy are displayed in the same display row or display column, and are connected by straight lines. The rule (1) can be rephrased as follows. That is, in the arrangement of the tree-like parent-child relationship in the structure information 301, when an arbitrary package is set as a parent package, the same range as the range of a segment, which is one of the components of the parent package, is assigned to other segments. When a plurality of child packages represented by a set are defined, the plurality of child packages are defined as sibling packages, a plurality of nodes indicating the sibling packages are arranged in a vertical direction, and these nodes are arranged. Is displayed by connecting with a line. In addition, in a tree-like parent-child relationship, when an arbitrary package is set as a parent package, the same range as the range of any one of the plurality of segments which is a component of the parent package is set to a set of other plurality of segments. If a plurality of child packages represented by are defined, and the ranges of the plurality of child packages do not overlap, a plurality of nodes indicating the plurality of child packages are arranged side by side in a horizontal direction, and These nodes are displayed by connecting them with lines.
[0060]
Therefore, in FIG. 5, the nodes B, C and D are displayed in the same display column and are connected by a straight line, so that they have the same hierarchy and correspond to these nodes B, C and D. The package is a sibling package. The nodes G, H, and I are displayed on the same display line and are connected by a straight line, and therefore have the same hierarchy. However, the packages corresponding to these nodes G, H, and I are siblings. Not a package.
[0061]
Rule ▲ 2 ▼
In the tree-like parent-child relationship, the node of the package representing the entire video stream is defined as the top package, and the corresponding node is arranged at the upper left of the structure information 301 (structure display unit 401A). Therefore, the node A indicating the package P representing the entire video is arranged at the upper left of the structure information 301.
[0062]
Rule ▲ 3 ▼
In a tree-like parent-child relationship, when an arbitrary package is set as a parent package, a child package is defined that expresses the same range as the range of a segment, which is one of the components of the parent package, as a set of other segments. If so, the node indicating the child package is arranged at the lower right of the node indicating the parent package, and these nodes are connected by a broken line and displayed. For example, when the node E is a parent package, the node J, which is a child package thereof, is arranged at the lower right of the node E in the display of the structure display section 401A, and is connected to the node E by a broken line.
[0063]
Rule ▲ 4 ▼
In a tree-like parent-child relationship, if there is a child package having a sibling package as a parent package, a node indicating the child package is arranged at the lower right of the node indicating the corresponding sibling package, and below the corresponding sibling package. Is arranged below the position of the child package arranged at the lower right.
[0064]
Therefore, in FIG. 5, focusing on the nodes E, F, and J, the packages of the nodes E and F are in a sibling package relationship, and the packages of the nodes E and J are the same as the parent package. It is in the relationship of a child package. Therefore, the node J is arranged at the lower right of the node E, and the node F is arranged on the line next to the line where the node J exists.
[0065]
Rule ▲ 5 ▼
The configuration display unit 401B sets the horizontal direction of the screen as the time-series direction, and sets a row corresponding to each node specified by the row display unit 304 of the structure display unit 401A with a length corresponding to the range of the corresponding package. In addition, a thin band-shaped package identification display 302a is displayed at a corresponding position in the time series. In addition, for each segment constituting the package displayed by the package identification display 302a, a block-shaped segment identification display 302b having a length corresponding to the range of the segment and a corresponding position in a time series is displayed. .
[0066]
Therefore, in FIG. 5, for example, the package identification display (symbol PA) corresponding to node A is displayed on the same line as node A and in a narrow band shape showing the entire video stream. The segment identification display (reference code SA) corresponding to the node A is displayed in the same row as the node A and in a block shape having a length corresponding to the segment range (here, the entire video stream).
[0067]
Further, the package identification display (symbol PE) corresponding to the node E is displayed in the same line as the node E in the length of the package corresponding to the node E and in a thin band shape at a corresponding position in time series. . The segment identification display (symbols SE1 to SE3) corresponding to the node E is displayed in the same line as the node E in the range of each segment and at a corresponding position in a time series in a block shape.
[0068]
The video structure editing apparatus 100 according to the first embodiment executes the rules (1) to (5) with the structure display software 209 so that the logical structure inside the structure information can be visualized and easily grasped. Intuitively know the ratio of the range of each segment, easily compare and examine the structure of multiple packages and the configuration of segments, and furthermore, the range of each package or segment in the structure of the entire structure information And arrangement can be displayed in an intuitive and quantitative manner.
[0069]
Further, by applying the structure display software 209 of the first embodiment, for example, it is easy to reflect and display an edit result such as addition, deletion, and range change of a segment by the structure edit software 208 described later, as needed. Is clear. The structure edited using such a structure display method can be used as information for searching and browsing, and may be stored in the storage unit 103 again for use at a later date.
[0070]
[Specific explanation of the functions of the structure editing software]
Next, the function of the structure editing software 208 will be described with reference to the display screen of FIG. In the first embodiment, the structure editing software 208 operates in conjunction with the structure display software 209 to play the role of a segment range display unit, a representative frame display unit, a representative range display unit, and an attribute selection unit of the present invention. Things.
[0071]
Reference numeral 402 denotes a segment range editing screen, 403 denotes a representative frame editing screen, 404 denotes a representative range editing screen, and 405 denotes an attribute selection screen. As shown in the drawing, together with the structure editing screen 401, each of the editing screens 401 to 405 has one editing screen. Displayed as a window screen.
[0072]
On the structure edit screen 401, in addition to the display of the hierarchical structure of the video stream and the range of the package and the segment, the start frame (or end frame) of the corresponding segment is displayed at the beginning (or end) of the range of each segment. ) Is displayed in a scaled manner in accordance with the vertical display size for displaying the range of the segment as indicated by reference numeral 601 in the figure, or is displayed horizontally as indicated by reference numeral 602 in the figure. The image is scaled according to the direction display size and displayed.
[0073]
Further, when the reduced image is displayed at a reduced magnification when the reduced image is displayed at a reduced ratio, in other words, when the reduced image is displayed at a reduced (reduced) scale, the structure editing screen 401 is displayed. When it becomes difficult to identify the image, the display of the reduced image is omitted. Further, on the structure editing screen 401, for example, it is possible to specify display and non-display of the reduced image of the start frame by using an icon or the like (not shown). When the display is selected, the display state of the structure editing screen 401 in FIG. When non-display is selected, the structure editing screen 401 shown in FIG. 4 is displayed.
[0074]
Further, the structure editing screen 401 in FIG. 6 shows a state in which two packages (a set of segments) of the package identification display indicated by 603 are selected, and the display state is different from that of the other package identification display 604 ( (For example, the display color is changed). Further, in the structure editing screen 401 shown in FIG. 6, since all segments cannot be displayed on one screen, a scroll bar is displayed below the structure editing screen 401 so that scrolling is possible as necessary. FIG. 6 shows an example in which a package is selected, but one or a plurality of segments may be selected. In this case, the display state of the selected segment is changed and displayed.
[0075]
The segment range edit screen 402 corresponds to the segment range display means of the present invention, and as shown in the drawing, displays the range of each segment of the set of segments selected by the package identification display 603 as a reduced image of a pair of start frame and end frame. Displayed at 605 and 606. The segment range edit screen 402 can be removed from the window screen and displayed as another window screen. As a specific operation, for example, an icon for designating a window of the edit screen is registered in a toolbar or the like in advance, and after specifying the segment range edit screen 402, the corresponding icon is selected to easily realize the operation. can do. Further, by operating a scroll bar displayed on the lower side of the segment range editing screen 402, it is possible to scroll and display a segment range (a pair of reduced images) that cannot be displayed on one screen.
[0076]
The representative frame edit screen 403 corresponds to the representative frame display means of the present invention, and as shown in the drawing, the segment selected on the structure edit screen 401 (here, all the segments belonging to the two packages selected on the package identification display 603) The representative frame 607 is displayed. A plurality of the representative frames 607 can be set for one segment, and all the set representative frames are displayed as the representative frames 607. However, when there is a representative frame 607 that cannot be displayed on one screen, the representative frame 607 can be scrolled and displayed by operating a scroll bar displayed on the lower side of the representative frame editing screen 403.
[0077]
The representative range editing screen 404 displays a range of frames representing the selected segment from a frame range belonging to the segment as a representative range. However, the representative range editing screen 404 in FIG. 6 shows a state where the representative range is not displayed. The display state of the representative range will be described in detail in a link relationship with the structure edit screen 401 described later. When the representative range editing screen 404 cannot be displayed on one screen, a scroll bar is displayed below the representative range editing screen 404, and the representative range can be scrolled and displayed by operating the scroll bar. it can.
[0078]
The attribute selection screen 405 plays a role of an attribute selection unit that selects an attribute of the representative frame or the representative range. For example, during the operation of the representative frame editing screen 403, when the user operates the “Spatial Key: key for specifying a place / spatial attribute” on the attribute selection screen 405 to input or select an attribute related to the place, the corresponding representative frame is displayed. Only the representative frame edit screen 403 is displayed as the representative frame 607.
[0079]
Each of the edit screens 401 to 404 changes the display state of the selected segment, package, representative frame or representative range when the displayed segment, package, representative frame or representative range is selected, and further displays the selected screen. When one or a plurality of segments or packages are selected and an editing operation such as movement or deletion is performed, the result is reflected and displayed.
[0080]
The editing operation includes a division operation of the selected segment, a change in the range of the selected segment, a change in the hierarchy of the selected segment in the hierarchical structure, and a merge of a plurality of selected segments to generate one new segment. And the like. The specific technique of this editing operation can be easily realized by using a structure display method or the like which has already been filed by the present applicant.
[0081]
Next, a display example in the case where the structure of two video streams is displayed simultaneously by the video structure editing apparatus 100 according to the first embodiment will be described with reference to FIG. The window screens 701 and 702 are displayed as one window screen in which the editing screens (editing screens 401 to 405) are combined for each individual video stream. In this way, video editing of a plurality of video streams can be performed simultaneously. As described above, since one window screen is prepared for one video stream, it is easy to operate and compare a plurality of video streams. In addition, when using a structural element reconfiguring apparatus according to a second embodiment described later, the operation of reconfiguring the structural elements can be facilitated.
[0082]
Next, with reference to FIG. 8, a description will be given of a process of selecting display / non-display of each edit screen of the segment range edit screen 402, the representative frame edit screen 403, and the representative range edit screen 404. In the first embodiment, it is possible to designate display and non-display of each of the edit screens 402 to 404 in the window screen. Specifically, for example, an icon for designating the display / non-display of the edit screen is registered in a toolbar or the like in advance, and after a desired edit screen is designated, the corresponding icon is selected, thereby easily realizing. be able to.
[0083]
FIG. 8 shows a state where the segment range editing screen 402 and the representative range editing screen 404 are not displayed from the window screen of FIG. As shown in the drawing, when at least one of the edit screens 402 to 404 is designated to be hidden, the designated edit screens (here, the edit screens 402 and 404) are hidden in the window screens, and the structure edit screen 401 is displayed. The area is expanded by the area of the non-displayed editing screen, and the other editing screen (here, the editing screen 403) is moved to fill the non-displayed area of the editing screen.
[0084]
On the window screen, a total of five types of displays (edit screens 401 to 405) are performed.No editingScreens also exist. In addition, various usage methods are conceivable, such as a case where attention is focused on only a portion that is particularly important and a case where only the structure of a video stream is viewed with importance on the display speed of a window. Therefore, there are five types of display (edit screens 401 to 405).homeThe operability can be improved by always displaying the indispensable structure editing screen 401 and selecting display / non-display of other parts, and instructing non-display as necessary.
[0085]
When the segment range editing screen 402 and the representative range editing screen 404 are removed from the window screen of FIG. 6 as separate window screens, the window screen is displayed in the same manner as in FIG.
[0086]
FIG. 9 shows how the display size of the segment changes and the display of the start frame changes from the display state of the window screen of FIG. 8 due to the horizontal reduction of the structure editing screen 401. As shown, the start frame of the structure edit screen 401 is reduced only in the horizontal direction, or has changed from the display state to the non-display state.
[0087]
FIG. 10 shows a change when the display of the start frame of the segment on the structure editing screen 401 is not displayed from the display state of the window screen of FIG. Here, the display state of the position information on the representative range editing screen 404 and the link relationship between the representative range editing screen 404 and the representative frame editing screen 403 will be described with reference to FIG. The structure editing screen 401 displays position information 1001 indicating the position of the representative frame corresponding to each segment at a corresponding position in the segment range, and when the displayed position information 1001 is selected, the selected position information 1001A is displayed. Is changed to the selected state.
[0088]
On the other hand, the representative frame edit screen 403 displays the representative frames 1002 of each segment of the selected package identification display 603 in a predetermined number in a line, and the total number of segments is equal to or more than a predetermined number (in FIG. 10, the predetermined number = 9). ), The display range of the representative frame 1002 for displaying and displaying the scroll bar can be changed. When an arbitrary representative frame 1002A is selected from the displayed representative frames 1002, the display state of the selected representative frame 1002A is changed to the selected state.
[0089]
Further, the position information 1001 of the structure edit screen 401 and the representative frame 1002 of the representative frame edit screen 403 are linked with the display states of the corresponding position information 1001 and representative frame 1002, respectively. The display state is also changed. For example, in FIG. 10, when the position information 1001A on the structure editing screen 401 is selected, the display state of the corresponding representative frame 1002A on the representative frame editing screen 403 also changes to the selected state. At this time, if the representative frame corresponding to the position information selected on the structure editing screen 401 is not displayed on the representative frame editing screen 403, the representative frame editing screen 403 is displayed such that the corresponding representative frame is displayed. Scroll the screen automatically.
[0090]
Next, the display state of the representative range on the representative range edit screen 404 and the link relationship between the representative range edit screen 404 and the structure edit screen 401 will be described with reference to FIG. As shown in the drawing, the representative range edit screen 404 displays a range of frames representing the segment from a frame range belonging to the package identification display 1101 (here, one segment) selected on the structure edit screen 401 as a representative range 1103. Are displayed as multiple. Note that the representative range editing screen 404 displays all the representative ranges corresponding to all the segments included in the selected package.
[0091]
Here, as a method of displaying the representative range 1103, as shown in the drawing, the representative range is displayed as reduced images of a pair of start frames and end frames, and when the total number of the pair of reduced images is equal to or more than a predetermined number, scrolling is performed. Display a bar. By operating the scroll bar, the range of the pair of reduced images can be changed to display a representative range that is not displayed. When an arbitrary pair of reduced images 1103A is selected from the displayed pair of reduced images 1103, the display state of the selected pair of reduced images 1103A is changed to a selected state.
[0092]
On the other hand, the structure editing screen 401 displays range information 1102 indicating the position of the representative range belonging to each segment at a corresponding position of the segment range, and when the displayed range information 1102 is selected, the selected range information is displayed. The display state of 1102A is changed to the selected state. The range information 1102 indicating the position of the representative range is displayed as a rectangle or an ellipse at the corresponding position in the segment range, and when the display of a plurality of range information 1102 overlaps, as shown by the range information 1102A, Below the display of the rectangle or the ellipse in the range information 1102, the display is shifted by the display of the rectangle or the ellipse.
[0093]
Further, the range information 1102 of the structure edit screen 401 and the pair of reduced images 1103 of the representative range edit screen 404 are respectively linked to the corresponding range information and the display state of the pair of reduced images, and when one of them is selected. The other display state is also changed. For example, in FIG. 11, when the range information 1102A on the structure edit screen 401 is selected, the display state of the corresponding pair of reduced images (representative ranges) 1103A on the representative range edit screen 404 also changes to the selected state. At this time, if a pair of reduced images (representative ranges) corresponding to the range information selected on the structure editing screen 401 is not displayed on the representative range editing screen 404, the representative range editing screen 404 displays the corresponding pair of reduced images. The screen is automatically scrolled so that an image (representative range) is displayed.
[0094]
Next, an operation when a segment is played using the play button icon 305 on the structure editing screen 401 will be described. For example, in the structure editing screen 401 shown in FIG. 5, when a playback segment 306 is selected as a segment to be played (hereinafter referred to as a playback segment) and playback is designated by a play button icon 305, first, the display screen 102 of the display device 206 is displayed. At the top, a segment video playback window 1201 and a playback operation window 1202 are displayed as shown in FIGS. The segment video playback window 1201 and the playback operation window 1202 are used for playing back a frame in a range defined by the playback segment 306 using the segment selected on the structure editing screen 401 as a playback segment 306. It corresponds to a reproducing means.
[0095]
By operating various keys in the playback operation window 1202, playback of the playback segment 306 is started, adjustment of the playback speed of the playback segment being played back in the segment video playback window 401, rewinding, fast forward, pause, playback end, Skip to the specified frame can be performed. In particular, by pressing the “play / detect” key, playback can be started if paused, and a desired frame can be specified as a target frame from the playback segment being played back during playback.
[0096]
When a target frame is specified via the segment video playback window 1201 and the playback operation window 1202, a continuous frame display window 1301 as shown in FIG. 13 is displayed on the display screen 102 of the display device 206. . The continuous frame display window 1301 specifies a frame at a timing when a predetermined key (“play / detect” key) on the playback operation window 402 is operated, and a predetermined number of continuous frames centered on the specified frame 1301a are arranged in a line. They are displayed side by side, and correspond to the continuous frame display means of the present invention. FIG. 13 shows an example in which nine continuous frames are displayed in a line as a predetermined number of continuous frames, but this number is not particularly limited, and the number can be appropriately changed as needed by an operator. And An identification bar 1301b is displayed above the identified frame 1301a to distinguish it from other frames.
[0097]
The continuous frame display window 1301 is provided with a scroll bar 1301c for scrolling the displayed continuous frames after displaying a predetermined number of continuous frames centered on the specified frame 1301a in a line. By operating the scroll bar 1301c, it is possible to change the frame displayed as a continuous frame within the range of the playback segment (in other words, between the start frame and the end frame of the playback segment).
[0098]
Also, when an arbitrary frame from the continuous frames displayed in the continuous frame display window 1301 is plotted by dragging and dropping on the representative frame editing screen 403 displayed in a multi-window on the same display screen, the representative frame editing screen is displayed. 403 generates and displays the dropped frame as a representative frame representing the playback segment 306 being played back in the segment video playback window 1201.
[0099]
FIG. 14 shows a state in which the above-described playback operation window 1202 and continuous frame display window 1301 and a window screen including the structure editing screen 401 and the representative range editing screen 404 are displayed on the display screen 102 in a multi-window manner. . On the representative range editing screen 404, if two frames are selected from the continuous frames displayed in the continuous frame display window 1301 and dragged and dropped, the first frame of the two frames is set as a start frame 1401, and One is set as an end frame 1402 to generate and display a new representative range of the selected segment.
[0100]
Next, the content description window 1501 will be described with reference to FIG. A content description window 1501 is used to input, edit, and edit descriptions of the contents of the segment, package, representative frame, or representative range selected on the structure edit screen 401, the segment range edit screen 402, the representative frame edit screen 403, or the representative range edit screen 404. It has the function of displaying.
[0101]
The content description window 1501 displays the content of the selected target element as "Who (Who), When (When), Where (Where), What (What), Why (Why), How (How). The area for inputting and changing 5W1H information 1502 corresponding to "" and free description information 1503 which is arbitrary information is provided.
[0102]
Further, registration is designated using the “Add” button in the figure, and the 5W1H information 1502ToBy registering, the registered contents are displayed as candidates in the area of the 5W1H information 1502 from the next time, and can be selected without inputting from the next time.
[0103]
For example, when a segment is selected on the structure editing screen 401, if the content of the segment is stored in advance, the description content is displayed in a corresponding area of the content description window 1501. In the case of a new input or a change, an instruction is given by an “Apply” button. When another segment is selected, its description is displayed.
[0104]
FIG. 16 is an explanatory diagram showing a list display screen 1601 that displays the description contents input using the content description window 1501 in a tabular list. The list display screen 1601 is displayed by performing a predetermined key operation on the structure editing screen 401. For example, when the 5W1H information and the free description information of a segment under a certain package are designated to be displayed in a tabular form on the structure editing screen 401, a list display screen 1601 is displayed.
[0105]
Note that each item on the list display screen 1601 can be moved freely at the boundary of each item.CanIf there are many items in the content description, the necessary items can be easily seen by expanding / reducing the column. In addition, an item to be displayed may be selected so that display / non-display can be performed.
[0106]
In addition, an edit mode and a read mode are prepared in the list of content descriptions, and work is performed in one of the selected modes. At this time, the difference in the mode is expressed by the difference in the background color.
[0107]
If the description does not fit in one column, change the color of the frame and display it, put the cursor in that part, move it up and down with the key, or dynamically prepare the scroll bar and scroll By displaying, all descriptions can be displayed.
[0108]
It is necessary to describe a content description having a high added value to a structural element such as a segment while observing the flow of a video stream (content). As in the content description window 1501, a method may be used in which only the information (representative frame, content description, range, etc.) of the target segment is displayed, but with this alone, the description content of the previous segment or the next segment is displayed. It is difficult to refer and compare, and it is difficult to write at the same level. When writing sentences, it is easier to work while re-reading from the beginning many times, but the situation will be improved, but the document is described in separate windows for each word or each clause, and those windows can not be referenced in the same way Given that, it is clear that it is difficult to describe at the same level.
[0109]
As described above, according to the video structure editing apparatus of the first embodiment, the display is performed so that the structure of the video stream can be grasped at a glance using the structure information that defines the hierarchical structure of the video stream, and the intuitive It is possible to provide a video structure editing device capable of re-editing the structure of a structured video stream with an easy operation.
[0110]
Further, a program that implements each means of the video structure editing apparatus of the first embodiment is recorded on a computer-readable recording medium such as a hard disk, a floppy disk, a CD-ROM, an MO, and a DVD, and is read from the recording medium by the computer. It is executed by being read. Further, this program can be distributed via the above-described recording medium, or can be distributed via a communication network such as the Internet.
[0111]
Embodiment 2 FIG.
In the second embodiment, a plurality of packages or segments are selected from one or a plurality of video streams displayed by using the video structure editing device of the first embodiment, and a structural element including the selected packages or segments is displayed. The present invention relates to a structural element reconstructing apparatus that reconstructs the order and generates a video stream obtained by reproducing the display order as a new video stream. Since the hardware configuration of the structural element reconstructing device according to the second embodiment is the same as that of the video structure editing device according to the first embodiment, only different portions will be described here.
[0112]
FIGS. 17 to 19 show a display screen 1701 (window screen) of the structural element reconstructing apparatus according to the second embodiment, in which structural elements such as segments and packages are arranged according to the length of the frame range of each structural element. A reconstruction display unit 1702 for displaying and editing rectangles in order and a scale display unit 1703 as scale display means capable of switching and displaying measurement units such as the number of frames or time as needed.
[0113]
In addition, the reconstruction display unit 1702 has a mouse operation unit for selecting and operating a structural element such as a segment or a package. The mouse operation means can be easily realized by a pointing device such as a general mouse. As shown in FIG. 17, the reconfiguration display unit 1702 arranges each structural element (for example, the segment 1705, the package 1706, and the package 1707) in a row in the order in which the structural elements are joined and displays the rectangle in a rectangular shape. By selecting and dragging a new structuring element from one or more video streams displayed by the structuring element reconstructing apparatus according to the first aspect, and dropping it at a desired position 1708, for example, as shown in FIG. A new structural element (segment 1801) is incorporated between the structural elements before and after that (here, the package 1706 and the package 1707) and rearranged.
[0114]
Also, for example, in the reconfiguration display unit 1702 in the state of FIG. 18, when the segment 1801 is selected and deletion is designated, the structural elements (in this case, the package 1706 and the package 1707) before and after the segment 1801 are combined, and Rearranged as shown in FIG.
[0115]
Further, the reconstructed display unit 1702 drags an arbitrary structural element from the row of structural elements displayed in a row and displays the structural element at a specified position by dragging the structural element to a desired position using a mouse operating unit. Move and rearrange. For example, in FIG. 17, when the segment 1705 is dragged and dropped at a position after the package 1707, the segment 1705 moves to the last position.
[0116]
Also, the reconstructed display unit 1702 displays the structural elements in a uniform color for each original video stream to which they belonged. Among the structural elements, a package represents a set of segments, is displayed in a shaded rectangle for each package, and permits only an operation on a package basis. For example, in FIG. 17, the package 1706 and the package 1707 are displayed as shaded rectangles (shaded portions in the figure) in a state where a set of segments belonging to each package can be confirmed.
[0117]
As described above, the set of segments displayed in the shaded rectangle of the package cannot be directly operated, but, for example, by operating a package release button (not shown) or the like to release the operation of each package, A set of segments constituting a package can be operated on a segment basis. In particular,In FIG.When the package 1707 is released, as shown in FIG. 19, the shaded rectangular display portion disappears, and segments 1901 to 1904, which are a set of segments of the package 1707, can be operated in segment units. FIG. 19 shows a state where the segment 1901 is selected.
[0118]
Further, as shown in FIG. 17, when the mouse pointer is moved to a desired structural element via the mouse operating means, the reconfiguration display unit 1702 displays the original video stream to which the relevant structural element belongs, the frame range, and the like. The detailed information 1704 is displayed.
[0119]
The reconfiguration display unit 1702 and scale display unit 1703 are each configured as an edit screen on which information can be displayed and commands can be input. Therefore, as described above, by dragging and dropping from another window screen, a structural element can be input or displayed. Also, since it is displayed as one window screen, the size of the edit screen can be freely changed by scaling the window screen vertically or horizontally, and when displaying in a multi-window, the necessary screen is displayed. The work can be performed efficiently with the size of.
[0120]
Also in the reconstruction display unit 1702, as in the structure editing screen 401 of the first embodiment, a reduced image of the start frame or end frame of the corresponding segment is displayed at the beginning or end of the segment range, and the segment range is displayed. The display may be scaled according to the vertical display size to be displayed, or may be scaled according to the horizontal display size of the range of the corresponding segment. Further, when displaying the reduced image at a variable magnification, the reduced image may be omitted if the magnification is smaller than a preset ratio.
[0121]
Also, like the play button icon 305 on the structure edit screen 401 of the first embodiment, a play button icon is provided on the reconfiguration display unit 1702, and the reconfiguration display unit 1702 is displayed in the same manner as in the first embodiment. Reconstructed structural elementsToIt may be reproduced as one video stream. By selecting a structural element, the range of the corresponding frame may be reproduced.
[0122]
Further, the structural element reconstructed by the structural element reconstructing device may be stored in a recording medium as one video stream. At this time, when the reconstructed structural element is stored as a single video stream on a recording medium, the reconstructed structural element is represented and stored in a general-purpose language representing a browsing method such as SMIL, so that the reconstructed information (reconstructed (A set of structured elements) can be reproduced as it is.
[0123]
As described above, the structuring element reconstructing apparatus according to the second embodiment selects a structuring element from one or a plurality of video streams, logically edits the selected structuring element, and reconstructs it as one video stream. be able to.
[0124]
Further, a program for realizing each unit of the structural element reconstructing apparatus according to the second embodiment is recorded on a computer-readable recording medium such as a hard disk, a floppy disk, a CD-ROM, an MO, and a DVD. It is executed by being read from. Further, this program can be distributed via the above-described recording medium, or can be distributed via a communication network such as the Internet.
[0125]
【The invention's effect】
As described above, the video structure editing apparatus of the present invention (claims 1 to 17) defines a range of an arbitrary frame in a video stream as a segment, and defines the same range as the range defined by one segment.For editing purposesDependingSplit and othersSet of multiple segments ofFormedIn this case, by defining a set of the other segments as a package,This package is defined as a parent package, and the same range as the range of one segment among the other plurality of segments constituting the parent package is further divided into other plural segments, and further divided into other plural segments. Is defined as a child package,For the structural information defining the hierarchical structure of the video stream, displaying the hierarchical structure of the video stream, a range of packages and segments, and a structure configuration display unit capable of selecting the displayed package and segment; Range of the segment selected in the structure displayIf the same range is divided into a set of other segments, each segment of the set of other segmentsA segment range display unit for displaying a reduced image of a pair of start frame and end frame, and a segment range display unit selected by the structure configuration display unitIn a package, each of a set of segments indicating the packageRepresentative frame display means for displaying a representative frame representing a segment, and two frames selected from a frame range belonging to the segment displayed by the structure display means, one of the selected frames as a start frame and the other as a start frame. Since a representative range display means for displaying the end frame as a representative range of a frame representing the segment is provided, the display is performed so that the structure of the video stream can be grasped at a glance using the structure information defining the hierarchical structure of the video stream. In addition, it is possible to provide a video structure editing device capable of re-editing the structure of a structured video stream with an intuitive and easy-to-understand operation.
[0126]
Further, the structure configuration display means, the segment range display means, the representative frame display means, and the representative range display means are each configured as an edit screen on which information can be displayed and a command can be input. Since each editing screen is displayed as one window screen, the structure editing of a plurality of video streams can be performed simultaneously, and it is easy to operate and compare a plurality of video streams.
[0127]
Further, when each of the editing screens of the window screen selects a displayed segment, package, representative frame or representative range, the display state of the selected segment, package, representative frame or representative range is changed and displayed. When one or a plurality of segments or packages are selected and an editing operation such as movement or deletion is performed, the result is reflected and displayed, so that operability can be improved. In addition, by dividing the selected segment, changing the range of the selected segment, changing the hierarchy of the selected segment in the hierarchical structure, and merging the selected plurality of segments to generate one new segment, Structure editing work can be performed efficiently.
[0128]
Further, when a package is selected by the structure configuration display means, the segment range display means displays reduced images corresponding to all segments included in the selected package, and the representative frame display means displays the selected package. The representative frame is displayed corresponding to all the segments included in the selected package, and the representative range display means displays the representative range corresponding to all the segments included in the selected package. This facilitates operation and improves operability.
[0129]
Each of the edit screens corresponding to the segment range display means, the representative frame display means, and the representative range display means can be specified to be displayed or hidden in a window screen. Is specified, the specified editing screen is hidden in the window screen, the editing screen corresponding to the structure configuration display means is expanded by the area of the editing screen that is hidden, and other editing screens are hidden. It is possible to selectively display or hide the necessary or unnecessary part according to the purpose to move it so as to fill the area of the edited editing screen, which further improves operability. it can.
[0130]
Each editing screen corresponding to the segment range display means, the representative frame display means, and the representative range display means can be removed from the window screen and displayed as another window screen. The layout of the editing screen can be changed, so that work efficiency and operability can be improved.
[0131]
Further, the structure configuration display means displays a reduced image of the start frame or end frame of the corresponding segment at the beginning or end of the segment range by scaling the size to the vertical display size for displaying the segment range. Or the display is scaled according to the horizontal display size of the range of the corresponding segment, so that the displayed content can always be kept legible.
[0132]
In addition, when displaying the reduced image in a scaled manner, the structure configuration display unit omits the reduced image when the scaling ratio is smaller than a preset ratio, so that the displayed content is always easy to read. be able to.
[0133]
Further, since the structure configuration display means can designate display or non-display of the reduced image, it is possible to select an appropriate display state according to the work content. In addition, since the amount of the image displayed on the screen can be adjusted, the processing speed can be improved by using the non-display of the reduced image, and when the position of the representative frame or the representative range is to be clarified. In addition, unnecessary reduced images can be eliminated to make it easier to see.
[0134]
Further, the structure configuration display means displays position information indicating the position of the representative frame corresponding to each segment at a corresponding position in the range of the segment, and when the displayed position information is selected, the selected position information is displayed. The display state is changed, and the representative frame display means displays a predetermined number of representative frames of the segments displayed on the structure display means in a line, and if the total number of segments is equal to or more than a predetermined number, a scroll bar is displayed. Is displayed, and the range of the representative frame to be displayed can be changed. When an arbitrary representative frame is selected from the displayed representative frames, the display state of the selected representative frame is changed, and further, the structure configuration display is performed. The position information of the means and the representative frame of the representative frame display means are linked with the corresponding position information and the display state of the representative frame, respectively. When one is selected, the display state of the other is also changed, so that only the operation of one can automatically identify the corresponding part of the other, improving work efficiency and improving operability. Can be achieved.
[0135]
Further, the structure configuration display means displays range information indicating the position of the representative range belonging to each segment at a corresponding position in the range of the segment, and when the displayed range information is selected, the display of the selected range information is performed. Changing the state, the representative range display means displays the representative range as a reduced image of a pair of start frame and end frame, and displays a scroll bar when the total number of the pair of reduced images is a predetermined number or more. While making it possible to change the range of a pair of reduced images to be displayed and selecting an arbitrary pair of reduced images from the displayed pair of reduced images, the display state of the selected pair of reduced images is changed, Further, the range information of the structural configuration display means and the pair of reduced images of the representative frame display means are linked with the corresponding range information and the display state of the pair of reduced images, respectively. When is selected, the display state of the other is also changed, so that only the operation of one can automatically specify the corresponding part of the other, thereby improving work efficiency and improving operability. it can.
[0136]
Further, the structure configuration display means displays range information indicating the position of the representative range belonging to each segment as a rectangle or an ellipse at a position corresponding to the range of the segment, and when the display of a plurality of range information overlaps, Since the display is shifted by the display of the rectangle or the ellipse below the display of the rectangle or the ellipse of the immediately preceding range information, even if there are a plurality of range information, it is possible to make it easier to see without overlapping as much as possible.
[0137]
In addition, the image processing apparatus further includes attribute selection means for selecting an attribute of the representative frame or the representative range. When the attribute is selected by the attribute selection means, the representative frame display means or the representative range display means displays the representative frame having the selected attribute. Alternatively, since only the representative range is displayed, the display contents can be narrowed down, and work efficiency and operability can be improved.
[0138]
Further, the structure configuration display means includes: a playback designation means for designating playback of the selected segment; a segment video playback means for playing back a frame in a range defined by the segment designated by the playback designation means; and a segment video playback means. A video playback operation means for performing operations such as playing, stopping, rewinding, fast-forwarding, pausing, and skipping to a designated frame of a segment being played, so that segment playback can be easily performed and segment selection can be performed. The target part of the video playback is limited by this, it will not be played beyond the range, and the position of the target segment with respect to the entire video stream will be clear, so it is possible to play while grasping the entire structure and the entire video This has the effect that it is easier to understand than the reproduction of the music.
[0139]
Further, when a desired frame is reproduced by the segment video reproducing means, a continuous frame displaying means for designating as a target frame and displaying a predetermined number of continuous frames including the designated frame in a line is provided. When dragging and dropping an arbitrary frame from the continuous frames displayed on the continuous frame display means, the corresponding frame is generated and displayed as a representative frame of the segment being reproduced by the segment video reproduction means, A series of operations is simple, and work can be performed efficiently.
[0140]
Also, the representative range display means selects two frames from the continuous frames displayed by the continuous frame display means, drags and drops, and sets the first frame of the two frames as the start frame, and Is generated as the end frame and a new representative range of the selected segment is generated and displayed, so that a series of operations is simple and the work can be performed efficiently.
[0141]
Further, the video structure editing apparatus of the present invention (claim 18) may include a structure, a segment, a package, a representative frame, or a representative range selected by the structure display unit, the segment range display unit, the representative frame display unit, or the representative range display unit. The content description display means for inputting, editing, and displaying the description of the object, the content description display means includes, as the content of the selected target element, "who (Who), what time (When), where (Where), It is possible to input and change 5W1H information corresponding to "What", "Why", and "How", and free description information as arbitrary information, and register 5W1H information. Is displayed as a candidate from the next time, and can be selected without inputting from the next time. . In addition, the whole description contents can be unified by the 5W1H information.
[0142]
Also, the video structure editing apparatus of the present invention (claim 19) has a list display means for displaying and editing 5W1H information and free description information of segments under a certain package in a tabular format. Easily refer to and compare the description of a segment or the next segment, and always write at the same levelbe able to.
[0143]
Further, the recording medium of the present invention (claim 20) records a program for causing a computer to execute each means described in any one of claims 1 to 19, so that the program can be machine-readable. There is an effect that a recording medium capable of realizing the operations 1 to 19 by a computer can be obtained.
[0144]
According to a twelfth aspect of the present invention, there is provided a structuring element reconstructing apparatus comprising one or a plurality of video streams displayed using the video structure editing apparatus according to any one of the first to nineteenth aspects. , A plurality of packages or segments are selected, a display order of the structural elements composed of the selected packages or segments is reconfigured, and a video stream obtained by reproducing in the display order is generated as a new video stream. Reconstruction display means for sequentially displaying and editing the structural elements in a rectangle corresponding to the length of the range of the frame of the structural element, and a unit of measurement such as the number of frames or time can be switched and displayed as necessary And graduation display means for selecting a structural element from one or more video streams, logically editing the selected structural element, and It can provide structural elements reconstructor which can be reconstituted as a stream.
[0145]
Further, the reconstruction display means has a mouse operation means for selecting and operating a structural element, and the reconstruction display means arranges the respective structural elements in a line in a horizontal order in a joining order and displays them in a rectangle. When a new structuring element is selected from one or more displayed video streams and dragged and dropped to a desired position, the new structuring element is incorporated between the preceding and following structuring elements and rearranged. Also, if you select and delete an arbitrary structural element, the structural elements before and after the arbitrary structural element are combined and rearranged, making it possible to edit the structural element with a simple mouse operation and improve operability Can be achieved.
[0146]
In addition, the reconstructing display means moves a structural element to a specified position by dragging an arbitrary structural element from a row of structural elements displayed side by side using the mouse operating means and dropping the structural element at a desired position. Then, the structural elements can be edited by a simple mouse operation, and the operability can be improved.
[0147]
The reconstruction display means displays the structural elements in a uniform color for each of the original video streams to which each of the structural elements belongs, and the package among the structural elements represents a set of segments, and a shaded rectangle for each package. In order to allow only operations in package units, it is possible to visually recognize the information of each structural element and operate the structural elements in segment units and package units to improve operability. it can.
[0148]
Further, the reconfiguration display means can release the operation of the package unit and operate the set of segments constituting the package in the unit of a segment, so that the operation can be shifted from the operation in the package unit to the operation in the segment unit when necessary. Work efficiency and operability can be improved.
[0149]
When the mouse pointer is moved to the structural element via the mouse operating means, the reconfiguration display means displays the original video stream to which the corresponding structural element belongs and detailed information such as a frame range. Attributes can be clearly recognized, and work can be performed accurately.
[0150]
The reconfiguration display means and the scale display means are each configured as an edit screen on which information can be displayed and a command can be input, and are displayed as one window screen. Since the size of the edit screen can be freely changed by scaling, work can be performed efficiently.
[0151]
Also, the reconstruction display means displays a reduced image of the start frame or end frame of the corresponding segment at the beginning or end of the segment range by scaling it to the vertical display size for displaying the segment range. Alternatively, since the image is scaled and displayed according to the horizontal display size of the range of the corresponding segment, the reduced image can be displayed in an easily viewable manner, and the work can be performed efficiently.
[0152]
In addition, when displaying the reduced image in a scaled manner, the reconstructed display means omits the reduced image when the scaling ratio is smaller than a preset ratio, so that the displayed content is always easy to read. be able to.
[0153]
In addition, since the reconstructed display unit can reproduce the reconstructed structural element as one video stream, it is possible to browse the search results.
[0154]
In addition, the reconstruction display means can reproduce the range of the corresponding frame by selecting the structural element, so that the convenience in reconstructing the structural element can be improved. Also, the contents can be checked before saving.
[0155]
In addition, since the reconstructed display means can save the reconstructed structural element as a single video stream on a recording medium, the reconstructed structural element is reconstructed and stored by the structural element reconstructing apparatus, and thus the reconstructed structural element can be used for digest video or the like. Can be created. Also, when the reconstructed structural element is stored as a single video stream on a recording medium, it can be reproduced as it is with a general-purpose browser by expressing and storing it in a general-purpose language representing a browsing method such as SMIL. Become.
[0156]
Further, the recording medium of the present invention (claim 34) records a program for causing a computer to execute each means described in any one of claims 21 to 33, so that the program can be machine-readable. There is an effect that a recording medium capable of realizing the operations 21 to 33 by a computer can be obtained.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram illustrating an example of a video structure editing device according to a first embodiment.
FIG. 2 is a block diagram of the computer shown in FIG. 1;
FIG. 3 is a structural example of structure information used in the video structure editing apparatus according to the first embodiment;FIG.
FIG. 4 is an explanatory diagram showing a display example of a structure editing screen by the structure display software according to the first embodiment;
FIG. 5 is an explanatory diagram showing a display example of a structure editing screen by the structure display software according to the first embodiment;
FIG. 6 is an explanatory diagram showing functions of the structure editing software according to the first embodiment;
FIG. 7 is an explanatory diagram showing a display example in a case where the structures of two video streams are displayed simultaneously by the video structure editing device of the first embodiment.
8 is an explanatory diagram showing a state in which a segment range editing screen and a representative range editing screen are not displayed from the window screen of FIG. 6;
FIG. 9 is an explanatory diagram showing a change in the display state of a start frame due to a reduction in the structure editing screen in the horizontal direction.
FIG. 10 is an explanatory diagram showing a display state of position information on a representative range editing screen and a link relationship between the representative range editing screen and the representative frame editing screen.
FIG. 11 is an explanatory diagram showing a display state of a representative range on the representative range edit screen and a link relationship between the representative range edit screen and the structure edit screen.
FIG. 12 is an explanatory diagram showing display screens of a segment video playback window and a playback operation window.
FIG. 13 is an explanatory diagram showing a continuous frame display window.
FIG. 14 is an explanatory diagram showing a state in which a reproduction operation window, a continuous frame display window, and a window screen including a structure editing screen are displayed in a multi-window on the display screen.
FIG. 15 is an explanatory diagram showing a content description window.
FIG. 16 is an explanatory diagram showing a list display screen that displays description contents input using a content description window in a tabular list.
FIG. 17 is an explanatory diagram showing a display screen (window screen) of the structural element reconfiguration device according to the second embodiment.
FIG. 18 is an explanatory diagram illustrating a display screen (window screen) of the structural element reconfiguration device according to the second embodiment.
FIG. 19 is an explanatory diagram showing a display screen (window screen) of the structural element reconstructing apparatus according to the second embodiment.
[Explanation of symbols]
100 Video structure editing device
101 Computer
102 Display screen
103 storage means
207 Structure analysis software
208 Structure editing software
209 Structure display software

Claims

映像ストリーム中の任意のフレームの範囲をセグメントとして定義し、１つのセグメントで定義された範囲と同一の範囲を、編集で用いる目的に応じて分割し、他の複数のセグメントの集合を形成した場合、該他の複数のセグメントの集合をパッケージとして定義することにより、このパッケージを親パッケージとし、この親パッケージを構成する該他の複数のセグメントのうち一つのセグメントの範囲と同一の範囲がさらに他の複数のセグメントに分割され、さらに分割された他の複数のセグメントの集合を子パッケージとして定義し、これにより前記映像ストリームの階層構造を定義した構造情報を対象にして、前記映像ストリームの階層構造、パッケージおよびセグメントの範囲を表示すると共に、表示したパッケージおよびセグメントの選択が可能な構造構成表示手段と、
前記構造構成表示手段で選択されているセグメントの範囲と同一の範囲を他の複数のセグメントの集合に分割した場合、該他の複数のセグメントの集合の各セグメントの一対の開始フレームおよび終了フレームの縮小画像で表示するセグメント範囲表示手段と、
前記構造構成表示手段で選択されているパッケージにおいて、該パッケージを示すセグメントの集合の各セグメントを代表する代表フレームを表示する代表フレーム表示手段と、
前記構造構成表示手段で表示されているセグメントに属するフレーム範囲から２つのフレームを選択し、選択されたフレームの一方を開始フレーム、他方を終了フレームとして該セグメントを代表するフレームの代表範囲として表示する代表範囲表示手段と、
を備えたことを特徴とする映像構造編集装置。When the range of an arbitrary frame in the video stream is defined as a segment, and the same range as the range defined by one segment is divided according to the purpose used in editing to form a set of other multiple segments By defining a set of the other plurality of segments as a package, the package is defined as a parent package, and the same range as the range of one segment of the other plurality of segments constituting the parent package is further defined. Is divided into a plurality of segments, and a set of other divided segments is further defined as a child package, thereby targeting the structure information defining the hierarchical structure of the video stream, and defining the hierarchical structure of the video stream. , Package and segment ranges, and the displayed packages and segment A structural display means capable of selecting,
When the same range as the range of the segment selected by the structure configuration display unit is divided into a set of other plural segments, a pair of the start frame and the end frame of each segment of the set of the other plural segments is set . Segment range display means for displaying a reduced image;
In the package selected by the structure configuration display means, representative frame display means for displaying a representative frame representing each segment of a set of segments indicating the package ,
Two frames are selected from a frame range belonging to the segment displayed by the structure display unit, and one of the selected frames is displayed as a start frame and the other as an end frame as a representative range of a frame representing the segment. Representative range display means,
A video structure editing device comprising:

前記構造構成表示手段、セグメント範囲表示手段、代表フレーム表示手段および代表範囲表示手段は、それぞれ情報の表示およびコマンドの入力が可能な編集画面として構成されており、かつ、個別の映像ストリームごとに各編集画面を纏めた１つのウィンドウ画面として表示されることを特徴とする請求項１に記載の映像構造編集装置。The structure configuration display means, the segment range display means, the representative frame display means and the representative range display means are each configured as an edit screen capable of displaying information and inputting a command, and are provided for each individual video stream. The video structure editing apparatus according to claim 1, wherein the video structure editing apparatus is displayed as one window screen in which the editing screens are combined.

前記ウィンドウ画面の各編集画面は、表示されているセグメント、パッケージ、代表フレームまたは代表範囲を選択すると、選択されたセグメント、パッケージ、代表フレームまたは代表範囲の表示状態を変化させて表示し、さらに１つまたは複数のセグメントあるいはパッケージを選択して、移動、削除などの編集操作を行うと、その結果を反映して表示することを特徴とする請求項２に記載の映像構造編集装置。When each of the edit screens of the window screen selects a displayed segment, package, representative frame or representative range, the display state of the selected segment, package, representative frame or representative range is changed and displayed. 3. The video structure editing apparatus according to claim 2, wherein when one or a plurality of segments or packages are selected and an editing operation such as moving or deleting is performed, the result is reflected and displayed.

前記編集操作とは、選択したセグメントの分割操作、選択したセグメントの範囲変更、選択したセグメントの階層構造中における階層の変更、選択した複数のセグメントをマージして新たな１つのセグメントを生成することを含むことを特徴とする請求項３に記載の映像構造編集装置。The editing operation includes dividing the selected segment, changing the range of the selected segment, changing the hierarchy of the selected segment in the hierarchical structure, and merging a plurality of selected segments to generate one new segment. The video structure editing apparatus according to claim 3, further comprising:

前記構造構成表示手段でパッケージが選択されると、前記セグメント範囲表示手段は、選択されたパッケージに含まれる全てのセグメントに対応させて前記縮小画像を表示し、前記代表フレーム表示手段は、選択されたパッケージに含まれる全てのセグメントに対応させて前記代表フレームを表示し、前記代表範囲表示手段は、選択されたパッケージに含まれる全てのセグメントに対応させて前記代表範囲を表示することを特徴とする請求項１〜３のいずれか一つに記載の映像構造編集装置。When a package is selected by the structural configuration display unit, the segment range display unit displays the reduced image in association with all segments included in the selected package, and the representative frame display unit is selected. Displaying the representative frame corresponding to all the segments included in the selected package, and the representative range display means displays the representative range corresponding to all the segments included in the selected package. The video structure editing device according to any one of claims 1 to 3.

前記セグメント範囲表示手段、代表フレーム表示手段および代表範囲表示手段に対応する各編集画面は、前記ウィンドウ画面中において表示および非表示を指定することが可能であり、これら編集画面の少なくとも１つの非表示が指定されると、指定された編集画面が前記ウィンドウ画面中において非表示となり、前記構造構成表示手段に対応する編集画面が前記非表示となった編集画面の領域分拡がり、他の編集画面が前記非表示となった編集画面の領域を埋めるように移動することを特徴とする請求項２〜５のいずれか一つに記載の映像構造編集装置。Each of the edit screens corresponding to the segment range display means, the representative frame display means, and the representative range display means can be specified to be displayed or hidden in the window screen, and at least one of the edit screens is not displayed. Is specified, the specified editing screen is hidden in the window screen, the editing screen corresponding to the structure configuration display means is expanded by the area of the hidden editing screen, and other editing screens are displayed. The video structure editing apparatus according to any one of claims 2 to 5, wherein the movement is performed so as to fill an area of the non-displayed editing screen.

前記セグメント範囲表示手段、代表フレーム表示手段および代表範囲表示手段に対応する各編集画面は、前記ウィンドウ画面から取り外して別の１つのウィンドウ画面として表示可能であることを特徴とする請求項２〜６のいずれか一つに記載の映像構造編集装置。7. The editing screen corresponding to the segment range display means, the representative frame display means, and the representative range display means can be removed from the window screen and displayed as another window screen. The video structure editing device according to any one of the above.

前記構造構成表示手段は、前記セグメントの範囲の先頭または終了部分に、該当するセグメントの開始フレームまたは終了フレームの縮小画像を、前記セグメントの範囲を表示する縦方向表示サイズに合わせて変倍して表示するか、または該当するセグメントの範囲の横方向表示サイズに合わせて変倍して表示することを特徴とする請求項１〜７のいずれか一つに記載の映像構造編集装置。The structural configuration display means may scale a reduced image of a start frame or an end frame of a corresponding segment at the beginning or end of the range of the segment according to a vertical display size for displaying the range of the segment. The video structure editing apparatus according to any one of claims 1 to 7, wherein the video structure editing apparatus displays the image or scales it according to a horizontal display size of a range of a corresponding segment.

前記構造構成表示手段は、前記縮小画像を変倍して表示する際に、変倍率があらかじめ設定した割合よりも小さい場合に前記縮小画像を省略することを特徴とする請求項８に記載の映像構造編集装置。9. The image according to claim 8, wherein the structure configuration display unit omits the reduced image when scaling the reduced image and displaying the reduced image when the scaling ratio is smaller than a preset ratio. Structure editing device.

前記構造構成表示手段は、前記縮小画像の表示および非表示を指定することが可能であることを特徴とする請求項８または９に記載の映像構造編集装置。10. The video structure editing apparatus according to claim 8, wherein the structure configuration display unit is capable of designating display and non-display of the reduced image.

前記構造構成表示手段は、各セグメントに対応する代表フレームの位置を示す位置情報を、セグメントの範囲の該当する位置に表示し、表示した位置情報が選択されると、選択された位置情報の表示状態を変更し、
前記代表フレーム表示手段は、前記構造構成表示手段に表示されているセグメントの代表フレームを所定数一列に並べて表示し、前記セグメントの総数が所定数以上である場合には、スクロールバーを表示して表示する代表フレームの範囲を変更可能とすると共に、表示されている代表フレームの中から任意の代表フレームを選択すると、選択された代表フレームの表示状態を変更し、
さらに前記構造構成表示手段の位置情報および代表フレーム表示手段の代表フレームは、それぞれ対応する位置情報および代表フレームの表示状態がリンクされており、一方が選択されると他方の表示状態も変更されることを特徴とする請求項１〜１０のいずれか一つに記載の映像構造編集装置。The structural configuration display means displays position information indicating the position of the representative frame corresponding to each segment at a corresponding position in the range of the segment, and when the displayed position information is selected, the display of the selected position information is performed. Change the state,
The representative frame display means displays a predetermined number of representative frames of the segments displayed on the structural configuration display means in a line, and displays a scroll bar when the total number of the segments is equal to or more than a predetermined number. The range of the representative frame to be displayed can be changed, and when an arbitrary representative frame is selected from the displayed representative frames, the display state of the selected representative frame is changed,
Further, the position information of the structural configuration display means and the representative frame of the representative frame display means are linked with the corresponding position information and the display state of the representative frame, and when one is selected, the display state of the other is also changed. The video structure editing apparatus according to any one of claims 1 to 10, wherein:

前記構造構成表示手段は、各セグメントに属する代表範囲の位置を示す範囲情報を、セグメントの範囲の該当する位置に表示し、表示した範囲情報が選択されると、選択された範囲情報の表示状態を変更し、
前記代表範囲表示手段は、代表範囲を一対の開始フレームおよび終了フレームの縮小画像で表示し、前記一対の縮小画像の総数が所定数以上である場合には、スクロールバーを表示して表示する一対の縮小画像の範囲を変更可能とすると共に、表示されている一対の縮小画像の中から任意の一対の縮小画像を選択すると、選択された一対の縮小画像の表示状態を変更し、
さらに前記構造構成表示手段の範囲情報および代表フレーム表示手段の一対の縮小画像は、それぞれ対応する範囲情報および一対の縮小画像の表示状態がリンクされており、一方が選択されると他方の表示状態も変更されることを特徴とする請求項１〜１０のいずれか一つに記載の映像構造編集装置。The structure configuration display means displays range information indicating the position of the representative range belonging to each segment at a corresponding position in the range of the segment, and when the displayed range information is selected, the display state of the selected range information is displayed. Change
The representative range display means displays the representative range as reduced images of a pair of start frames and end frames, and displays and displays a scroll bar when the total number of the pair of reduced images is equal to or greater than a predetermined number. The range of the reduced images can be changed, and when an arbitrary pair of reduced images is selected from the displayed pair of reduced images, the display state of the selected pair of reduced images is changed,
Further, the range information of the structural configuration display means and the pair of reduced images of the representative frame display means are respectively linked with the corresponding range information and the display state of the pair of reduced images, and when one is selected, the display state of the other is displayed. The video structure editing apparatus according to any one of claims 1 to 10, wherein the video structure editing apparatus is also changed.

前記構造構成表示手段は、各セグメントに属する代表範囲の位置を示す範囲情報を、セグメントの範囲の該当する位置に矩形または長楕円で表示し、複数の範囲情報の表示が重なる場合には、直前の範囲情報の矩形または長楕円の表示の下に、矩形または長楕円の表示分だけずらして表示することを特徴とする請求項１〜１２のいずれか一つに記載の映像構造編集装置。The structure configuration display means displays range information indicating the position of the representative range belonging to each segment as a rectangle or an ellipse at a position corresponding to the range of the segment, and when the display of a plurality of range information overlaps, 13. The video structure editing apparatus according to claim 1, wherein the display is shifted by a rectangular or elliptical display under the rectangular or elliptical display of the range information.

さらに、前記代表フレームまたは代表範囲の持つ属性を選択する属性選択手段を有し、
前記代表フレーム表示手段または代表範囲表示手段は、前記属性選択手段で属性が選択されると、選択された属性を有する代表フレームまたは代表範囲のみを表示することを特徴とする請求項１〜１３のいずれか一つに記載の映像構造編集装置。Further, an attribute selecting means for selecting an attribute of the representative frame or the representative range,
14. The representative frame display unit or the representative range display unit, when an attribute is selected by the attribute selection unit, displays only a representative frame or a representative range having the selected attribute. The video structure editing device according to any one of the above.

前記構造構成表示手段は、選択したセグメントの再生を指定する再生指定手段と、前記再生指定手段で指定されたセグメントで定義された範囲のフレームを再生するセグメント映像再生手段と、前記セグメント映像再生手段で再生中のセグメントの再生、停止、巻き戻し、早送り、一時停止、指定フレームへのスキップ等の操作を行うための映像再生操作手段と、を有することを特徴とする請求項１〜１４のいずれか一つに記載の映像構造編集装置。The structure configuration display means includes: a reproduction designation means for designating reproduction of a selected segment; a segment video reproduction means for reproducing frames in a range defined by the segment designated by the reproduction designation means; and the segment video reproduction means 15. A video playback operating means for performing operations such as playing, stopping, rewinding, fast-forwarding, pausing, skipping to a designated frame, etc. of the segment being played back. The video structure editing apparatus according to any one of the above.

さらに、前記セグメント映像再生手段で所望のフレームが再生された際に目的フレームとして指定し、指定されたフレームを含む所定数の連続フレームを一列に並べて表示する連続フレーム表示手段を備え、
前記代表フレーム表示手段は、前記連続フレーム表示手段で表示されている連続フレームの中から任意のフレームをドラッグしてドロップすると、該当するフレームを前記セグメント映像再生手段で再生中のセグメントの代表フレームとして生成して表示することを特徴とする請求項１〜１５のいずれか一つに記載の映像構造編集装置。Further, when a desired frame is reproduced by the segment video reproducing means, designated as a target frame, comprising a continuous frame display means for displaying a predetermined number of continuous frames including the specified frame in a line,
The representative frame display means, when dragging and dropping any frame from the continuous frames displayed on the continuous frame display means, sets the corresponding frame as a representative frame of the segment being reproduced by the segment video reproduction means. The video structure editing apparatus according to any one of claims 1 to 15, wherein the video structure editing apparatus generates and displays the generated video structure.

前記代表範囲表示手段は、前記連続フレーム表示手段で表示されている連続フレームの中から２つのフレームを選択し、ドラッグしてドロップすると、２つのフレームのうち先頭のフレームを開始フレームとし、もう一方を終了フレームとして選択中のセグメントの新たな代表範囲を生成して表示することを特徴とする請求項１６に記載の映像構造編集装置。The representative range display means selects two frames from the continuous frames displayed by the continuous frame display means, drags and drops the frame, sets the first frame of the two frames as the start frame, and 17. The video structure editing apparatus according to claim 16, wherein a new representative range of the selected segment is generated and displayed as an end frame.

さらに、前記構造構成表示手段、セグメント範囲表示手段、代表フレーム表示手段または代表範囲表示手段で選択したセグメント、パッケージ、代表フレームまたは代表範囲の内容についての記述を入力、編集および表示するための内容記述表示手段を備え、
前記内容記述表示手段は、選択されている対象要素の内容として、「誰が（Ｗｈｏ）、何時（Ｗｈｅｎ）、どこで（Ｗｈｅｒｅ）、何を（Ｗｈａｔ）、なぜ（Ｗｈｙ）、どのように（Ｈｏｗ）」に相当する５Ｗ１Ｈ情報および任意の情報である自由記述情報の入力および変更が可能であり、かつ、前記５Ｗ１Ｈ情報を登録することにより、次回から候補として表示され、次回から入力しなくても選択可能であることを特徴とする請求項１〜１７のいずれか一つに記載の映像構造編集装置。Further, a content description for inputting, editing and displaying a description of the content of the segment, package, representative frame or representative range selected by the structural configuration display means, segment range display means, representative frame display means or representative range display means. Display means,
The content description display means displays, as the content of the selected target element, "Who (Who), When (When), Where (Where), What (What), Why (Why), How (How) Can be entered and changed as well as free description information, which is arbitrary information, and by registering the 5W1H information, it is displayed as a candidate from the next time, and can be selected without inputting from the next time. 18. The video structure editing apparatus according to claim 1, wherein the apparatus is capable of editing.

前記構造構成表示手段は、あるパッケージ以下のセグメントの５Ｗ１Ｈ情報および自由記述情報を表形式の一覧で表示し、編集するための一覧表示手段を有することを特徴とする請求項１８に記載の映像構造編集装置。19. The video structure according to claim 18, wherein said structure configuration display means has a list display means for displaying and editing 5W1H information and free description information of segments under a certain package in a table format. Editing device.

前記請求項１〜１９のいずれか一つに記載された映像構造編集装置の各手段としてコンピュータに実行させるプログラムを記録したことを特徴とするコンピュータ読取り可能な記録媒体。20. A computer-readable recording medium having recorded thereon a program to be executed by a computer as each means of the video structure editing apparatus according to any one of claims 1 to 19.

前記請求項１〜１９のいずれか一つに記載された映像構造編集装置を用いて表示された１つまたは複数の映像ストリームから、複数のパッケージまたはセグメントを選択し、選択したパッケージまたはセグメントからなる構造要素の表示順を再構成し、表示順に再生して得られる映像ストリームを新たな映像ストリームとして生成する構造要素再構成装置であって、
前記構造要素を前記構造要素のフレームの範囲の長さに応じた矩形で順に表示し編集する再構成表示手段と、
フレーム数または時間などの計測単位を必要に応じて切り替えて表示可能な目盛り表示手段と、を備えたことを特徴とする構造要素再構成装置。20. A plurality of packages or segments are selected from one or a plurality of video streams displayed by using the image structure editing apparatus according to any one of claims 1 to 19, and the selected packages or segments are formed. A structural element reconstructing apparatus that reconstructs the display order of the structural elements and generates a video stream obtained by reproducing the display order as a new video stream,
Reconstruction display means for sequentially displaying and editing the structural elements in a rectangle corresponding to the length of the range of the frame of the structural element,
And a scale display unit capable of switching and displaying a measurement unit such as the number of frames or time as necessary.

さらに、前記再構成表示手段は、前記構造要素を選択および操作するためのマウス操作手段を有し、
前記再構成表示手段は、各構造要素をその結合順に横一列に並べて矩形で表示し、前記マウス操作手段を用いて、前記表示された１つまたは複数の映像ストリームから新たな構造要素を選択してドラッグして所望の位置にドロップすると、その前後の構造要素の間に前記新たな構造要素が組み込まれて再配列され、また任意の構造要素を選択して削除すると、前記任意の構造要素の前後の構造要素が結合されて再配列されることを特徴とする請求項２１に記載の構造要素再構成装置。Further, the reconstruction display means has a mouse operation means for selecting and operating the structural element,
The reconstruction display means arranges the respective structural elements in a row in a horizontal order and displays them in a rectangle, and uses the mouse operating means to select a new structural element from the displayed one or more video streams. When dragging and dropping at the desired position, the new structural element is incorporated and rearranged between the structural elements before and after it, and when any structural element is selected and deleted, the arbitrary structural element is deleted. The structural element reconstructing apparatus according to claim 21, wherein the structural elements before and after are combined and rearranged.

前記再構成表示手段は、横一列に並べて表示された構造要素の列から、前記マウス操作手段を用いて任意の構造要素をドラッグして所望の位置にドロップすると、指定の位置に構造要素を移動して再配列することを特徴とする請求項２２に記載の構造要素再構成装置。The reconfiguration display means moves the structural element to a specified position by dragging an arbitrary structural element from the row of structural elements displayed in a horizontal line and using the mouse operating means and dropping the structural element at a desired position. The structural element reconstructing apparatus according to claim 22, wherein the structural element is rearranged.

前記再構成表示手段は、前記構造要素をそれぞれが属していた元の映像ストリーム毎に統一した色で表示し、前記構造要素のうちパッケージは、セグメントの集合を表すと共に、パッケージ毎に網掛けの矩形で表示し、パッケージ単位での操作のみを許可することを特徴とする請求項２１〜２３のいずれか一つに記載の構造要素再構成装置。The reconstruction display means displays the structural elements in a uniform color for each of the original video streams to which each of the structural elements belongs, and the package among the structural elements represents a set of segments and is shaded for each package. The structural element reconstructing apparatus according to any one of claims 21 to 23, wherein the structural element reconstructing apparatus is displayed as a rectangle, and permits only an operation in units of packages.

前記再構成表示手段は、前記パッケージ単位の操作を解除して、パッケージを構成するセグメントの集合をセグメント単位で操作できることを特徴とする請求項２４に記載の構造要素再構成装置。25. The structural element reconstructing apparatus according to claim 24, wherein the reconstructing display unit is capable of canceling the operation on a package basis and operating a set of segments constituting the package on a segment basis.

前記再構成表示手段は、前記マウス操作手段を介してマウスポインタを構造要素に合わせると、該当する構造要素の属する元の映像ストリームや、フレームの範囲などの詳細情報を表示することを特徴とする請求項２１〜２５のいずれか一つに記載の構造要素再構成装置。The reconfiguration display means displays detailed information such as an original video stream to which the corresponding structural element belongs and a frame range when the mouse pointer is set to a structural element via the mouse operating means. An apparatus for reconstructing a structural element according to any one of claims 21 to 25.

前記再構成表示手段および目盛り表示手段は、それぞれ情報の表示およびコマンドの入力が可能な編集画面として構成されており、かつ、１つのウィンドウ画面として表示され、前記ウィンドウ画面を縦方向または横方向に拡大縮小することで自由に編集画面の大きさを変更できることを特徴とする請求項２１〜２６のいずれか一つに記載の構造要素再構成装置。The reconstruction display means and the scale display means are each configured as an edit screen capable of displaying information and inputting a command, and are displayed as one window screen, and the window screen is displayed in a vertical direction or a horizontal direction. The structural element reconstructing apparatus according to any one of claims 21 to 26, wherein the size of the editing screen can be freely changed by scaling.

前記再構成表示手段は、セグメントの範囲の先頭または終了部分に、該当するセグメントの開始フレームまたは終了フレームの縮小画像を、前記セグメントの範囲を表示する縦方向表示サイズに合わせて変倍して表示するか、または該当するセグメントの範囲の横方向表示サイズに合わせて変倍して表示することを特徴とする請求項２１〜２７のいずれか一つに記載の構造要素再構成装置。The reconstruction display means displays a reduced image of the start frame or the end frame of the corresponding segment at the beginning or end of the segment range by scaling the image to the vertical display size for displaying the segment range. The structural element reconstructing apparatus according to any one of claims 21 to 27, wherein the image is displayed in a scaled manner in accordance with a horizontal display size of a range of a corresponding segment.

前記再構成表示手段は、前記縮小画像を変倍して表示する際に、変倍率があらかじめ設定した割合よりも小さい場合に前記縮小画像を省略することを特徴とする請求項２８に記載の構造要素再構成装置。29. The structure according to claim 28, wherein the reconstructed display unit omits the reduced image when the reduced image is displayed at a reduced magnification when the magnification is smaller than a preset ratio. Element reconstruction device.

前記再構成表示手段は、再構成した構造要素を１つの映像ストリームとして再生可能であることを特徴とする請求項２１〜２９のいずれか一つに記載の構造要素再構成装置。The structural element reconstructing apparatus according to any one of claims 21 to 29, wherein the reconstructing display unit can reproduce the reconstructed structural element as one video stream.

前記再構成表示手段は、構造要素を選択することにより、対応するフレームの範囲を再生可能であることを特徴とする請求項２１〜３０のいずれか一つに記載の構造要素再構成装置。31. The structural element reconstructing apparatus according to claim 21, wherein the reconstructing display unit can reproduce a range of a corresponding frame by selecting a structural element.

前記再構成表示手段は、再構成した構造要素を１つの映像ストリームとして記録媒体に保存可能であることを特徴とする請求項２１〜３１のいずれか一つに記載の構造要素再構成装置。32. The structural element reconstructing apparatus according to claim 21, wherein said reconstructing display means can store the reconstructed structural element as one video stream on a recording medium.

前記再構成表示手段は、前記再構成した構造要素を１つの映像ストリームとして記録媒体に保存する際に、ＳＭＩＬ等のブラウズ方法を表す汎用言語で表現して保存することを特徴とする請求項３２に記載の構造要素再構成装置。33. The reconstructing display means, when saving the reconstructed structural element as one video stream on a recording medium, expresses and saves the reconstructed structural element in a general-purpose language such as SMIL or the like, which indicates a browsing method. The structural element reconstruction device according to claim 1.

前記請求項２１〜３３のいずれか一つに記載された構造要素再構成装置の各手段としてコンピュータに実行させるプログラムを記録したことを特徴とするコンピュータ読取り可能な記録媒体。A computer-readable recording medium having recorded thereon a program to be executed by a computer as each means of the structural element reconstructing apparatus according to any one of claims 21 to 33.