JP2001223944A - Video image structure edit device and computer-readable recording medium for recording program for execution of computer as each means of the device - Google Patents
Video image structure edit device and computer-readable recording medium for recording program for execution of computer as each means of the deviceInfo
- Publication number
- JP2001223944A JP2001223944A JP2000032458A JP2000032458A JP2001223944A JP 2001223944 A JP2001223944 A JP 2001223944A JP 2000032458 A JP2000032458 A JP 2000032458A JP 2000032458 A JP2000032458 A JP 2000032458A JP 2001223944 A JP2001223944 A JP 2001223944A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- segment
- display
- displayed
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Studio Circuits (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、映像または音声を
含む映像からなる映像ストリームを構造化して構造情報
を作成したり、該構造情報を編集する際に使用する映像
構造編集装置およびその装置の各手段としてコンピュー
タを実行させるプログラムを記録したコンピュータ読み
取り可能な記録媒体に関し、より詳細には、映像ストリ
ームを再生しながらオペレータが手動で分割点を指定し
て映像範囲を決定し、またその映像範囲の代表となるフ
レームを指定することによって、構造情報を作成および
編集し、さらに構造情報を必要に応じて階層的に編集す
る映像構造編集装置および記録媒体に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video structure editing apparatus for structuring a video stream composed of a video including video or audio to create structure information, and to edit the structure information, and to a video structure editing apparatus. The present invention relates to a computer-readable recording medium on which a program for executing a computer is recorded as each means. More specifically, while reproducing a video stream, an operator manually designates a division point to determine a video range, and The present invention relates to a video structure editing apparatus and a recording medium for creating and editing structure information by designating a frame as a representative of the image structure and for hierarchically editing the structure information as necessary.
【０００２】[0002]
【従来の技術】近年、映像のみの映像ストリームや、映
像と音声を含む映像ストリームにおいても、映像ストリ
ームを構造化して構造情報を作成し、この構造情報を用
いて映像の管理・編集・活用するための種々の方法が開
発されている。2. Description of the Related Art In recent years, even in a video stream including only video or a video stream including video and audio, structure information is created by structuring the video stream, and video management, editing, and utilization are performed using the structure information. Various methods have been developed for this.
【０００３】映像ストリームの構造化は、映像検索、編
集、ダイジェスト作成のための基本となる重要な技術で
ある。従来、この映像ストリームの構造化は、人間が手
動で行うか、または映像中の画像特徴の変化を利用して
映像のショットやカットの変化点（物理的な分割点）を
自動抽出し構造化する自動セグメンテーション技術を利
用する方法が一般的である。[0003] Structuring a video stream is an important and fundamental technique for video retrieval, editing and digest creation. Conventionally, this video stream is structured manually by humans or automatically by using changes in image features in the video to automatically extract the change points (physical division points) of shots and cuts in the video. A common method is to use an automatic segmentation technique.
【０００４】[0004]
【発明が解決しようとする課題】しかしながら、映像中
の画像特徴を利用してコンテンツベースで映像のショッ
トやカットの変化点（物理的な分割点）を自動抽出し構
造化する技術は、映像ストリームの構造化のための支援
ツールとして効果的であるが、その結果は人間の感覚に
対して１００％正しいものではなく、特に人間にとって
意味のある単位（論理的な分割点で分割した単位）での
高度な構造化を目的とする場合には、手動による構造化
が必須であり、それを支援するツールの開発が望まれて
いる。However, a technology for automatically extracting and structuring a change point (physical division point) of a shot or cut of a video on a content basis by using an image feature in the video is known as a video stream. Is effective as a support tool for the structuring of humans, but the result is not 100% correct for human senses, and especially in units meaningful to humans (units divided by logical division points) For the purpose of high-level structuring, manual structuring is indispensable, and development of a tool to support it is desired.
【０００５】換言すれば、上記従来の画像特徴による自
動セグメンテーションの技術だけでは、結果が得られた
後に人間の手動によるマージ処理や手直しが必要であ
り、自動セグメンテーションで構造化された映像ストリ
ームに対して、人間が話の流れを見ながら指示を出し、
さらに内容的な構造化のための編集を行う必要があるた
め、構造化された映像ストリームの構造を容易に再編集
可能な装置の提供が望まれていた。[0005] In other words, the above-mentioned conventional technique of automatic segmentation based on image features alone requires manual merging and reworking after a result is obtained, so that a video stream structured by automatic segmentation is required. Humans give instructions while watching the flow of the story,
Further, since it is necessary to perform editing for structuring the content, it has been desired to provide a device capable of easily re-editing the structure of a structured video stream.
【０００６】一方、人間が手動のみで映像ストリームを
構造化する場合、たとえば、ＶＴＲ再生装置で再生し、
こま送りを繰り返しながら分割点を探し、その箇所を記
録することが一般的であり、非常に時間がかかるという
不具合があった。On the other hand, when a person structures a video stream only manually, for example, the video stream is reproduced by a VTR reproducing apparatus.
It is common to search for a division point while repeating frame feed and record that location, which has the disadvantage that it takes a very long time.
【０００７】また、映像編集ソフトやノンリニア映像編
集機では、各ビデオクリップを配置し、重ね合わせて編
集する過程で最も細かい縮尺の場合には連続フレームを
一列に並べて表示する場合もあるが、これはあくまでも
各ビデオ素材を重ねることを目的としているものであ
り、映像ストリームを構造化したり、構造化された映像
ストリームの構造を再編集するための使い易い支援ツー
ルは提供されていなかった。In video editing software and non-linear video editors, in the process of arranging video clips and superimposing and editing them, in the case of the smallest scale, continuous frames may be displayed in a line. The purpose of this is merely to superimpose each video material, and an easy-to-use support tool for structuring a video stream or reediting the structure of the structured video stream has not been provided.
【０００８】本発明は上記に鑑みてなされたものであっ
て、構造化された映像ストリームに対して手動で構造の
再編集を容易に行うことができる映像構造編集装置を提
供することを目的とする。The present invention has been made in view of the above, and has as its object to provide a video structure editing apparatus capable of easily re-editing the structure of a structured video stream manually. I do.
【０００９】また、本発明は上記に鑑みてなされたもの
であって、人間が手動で映像ストリームを構造化した
り、構造化された映像ストリームの構造を再編集する際
に、使い易い支援ツールを提供することを目的とする。The present invention has been made in view of the above, and provides an easy-to-use support tool for manually structuring a video stream or re-editing the structure of a structured video stream. The purpose is to provide.
【００１０】[0010]
【課題を解決するための手段】上記の目的を達成するた
めに、請求項１に係る映像構造編集装置は、映像ストリ
ーム中の任意のフレーム間の範囲をセグメントとして定
義し、１つのセグメントで定義された範囲と同一の範囲
を他の複数のセグメントの集合で表現できる場合に前記
複数のセグメントを前記１つのセグメントの部分セグメ
ントとして定義することにより、前記映像ストリームの
階層構造を定義した構造情報を用いて、前記映像ストリ
ームの全体の構造を編集する映像構造編集装置であっ
て、前記構造情報に基づいて前記映像ストリームの階層
構造を表示する階層構造表示手段と、前記階層構造表示
手段で表示された階層構造の中から任意のセグメントを
再生セグメントとして選択すると、選択した再生セグメ
ントで定義された範囲のフレームを再生するセグメント
映像再生手段と、前記セグメント映像再生手段で所望の
フレームが再生された際に目的フレームとして指定する
と、指定されたタイミングでフレームを特定し、特定し
たフレームを含む所定数の連続フレームを一列に並べて
表示する連続フレーム表示手段と、前記セグメント映像
再生手段で再生中の再生セグメントの範囲を示す開始フ
レームおよび終了フレームを表示すると共に、再生セグ
メントを代表するフレームが指定されている場合に該当
するフレームを代表フレームとして表示するセグメント
情報表示手段と、前記連続フレーム表示手段で表示され
ている連続フレームの中からセグメントの分割点となる
分割フレームを選択する分割点選択手段と、を備え、前
記セグメント情報表示手段は、前記分割点選択手段で分
割フレームが選択されると、選択された分割フレームに
基づいて前記再生セグメントを２分割し、前記再生セグ
メントの開始フレーム側を第１部分セグメントとして生
成し、前記再生セグメントの終了フレーム側を第２部分
セグメントとして生成し、前記第１部分セグメントおよ
び第２部分セグメントのそれぞれの開始フレームおよび
終了フレームを表示し、前記階層構造表示手段は、生成
された第１部分セグメントおよび第２部分セグメントの
構造を用いて前記構造情報を変更し、変更後の構造情報
を用いて前記映像ストリームの階層構造を表示すること
を特徴とする。In order to achieve the above object, a video structure editing apparatus according to claim 1 defines a range between arbitrary frames in a video stream as a segment, and defines the range as one segment. By defining the plurality of segments as partial segments of the one segment when the same range as the set range can be represented by a set of other plurality of segments, the structure information defining the hierarchical structure of the video stream is obtained. A video structure editing device that edits the entire structure of the video stream by using a hierarchical structure display unit that displays a hierarchical structure of the video stream based on the structure information; When an arbitrary segment is selected from the selected hierarchical structure as a playback segment, the range defined by the selected playback segment is selected. A segment video playback unit for playing back a frame, and when a desired frame is played back by the segment video playback unit, when the target frame is designated as a target frame, the frame is identified at the designated timing, and a predetermined number of frames including the identified frame are specified. A continuous frame display means for displaying the continuous frames in a line, a start frame and an end frame indicating the range of the playback segment being played back by the segment video playback means, and a frame representing the playback segment is designated. Segment information display means for displaying a frame corresponding to the case as a representative frame, and division point selection means for selecting a division frame to be a division point of a segment from the continuous frames displayed by the continuous frame display means, The segment information display means includes When the divided frame is selected by the point selecting means, the reproduction segment is divided into two based on the selected divided frame, a start frame side of the reproduction segment is generated as a first partial segment, and an end frame of the reproduction segment is generated. Side as a second partial segment, displaying the start frame and the end frame of the first partial segment and the second partial segment, respectively, wherein the hierarchical structure display means generates the generated first partial segment and the second partial segment. The structure information is changed using a segment structure, and the hierarchical structure of the video stream is displayed using the changed structure information.
【００１１】また、請求項２に係る映像構造編集装置
は、請求項１に記載の映像構造編集装置において、前記
再生セグメントが複数の部分セグメントを有する場合、
前記セグメント情報表示手段が、それぞれの部分セグメ
ントの開始フレームおよび終了フレームをフレーム対に
して表示すると共に、それぞれの部分セグメントを代表
するフレームが指定されている場合に該当するフレーム
をそれぞれの部分セグメントの代表フレームとしてそれ
ぞれの部分セグメントの表示行または表示列に合わせて
表示することを特徴とする。According to a second aspect of the present invention, in the video structure editing apparatus according to the first aspect, when the playback segment has a plurality of partial segments,
The segment information display means displays the start frame and the end frame of each partial segment as a frame pair, and, when a frame representing each partial segment is designated, specifies a frame corresponding to each partial segment. The representative frame is displayed in accordance with the display row or display column of each partial segment.
【００１２】また、請求項３に係る映像構造編集装置
は、請求項２に記載の映像構造編集装置において、前記
セグメント情報表示手段は、それぞれの部分セグメント
のフレーム対を表示する際に、開始時刻順に並べて表示
することを特徴とする。According to a third aspect of the present invention, in the video structure editing apparatus according to the second aspect, when the segment information display means displays a frame pair of each partial segment, a start time is displayed. It is characterized by being displayed in order.
【００１３】また、請求項４に係る映像構造編集装置
は、請求項３に記載の映像構造編集装置において、さら
に、前記セグメント情報表示手段に表示された前記複数
の部分セグメントのフレーム対のうち、任意の部分セグ
メントの開始フレームの削除・非削除を指定する開始フ
レーム削除・非削除指定手段を備え、前記セグメント情
報表示手段は、前記開始フレーム削除・非削除指定手段
で削除が指定されると、削除が指定された開始フレーム
およびその開始フレームの直前の終了フレームの表示を
第１の表示状態から第２の表示状態に変更して、前記削
除が指定された開始フレームに対応する部分セグメント
とその直前の部分セグメントとを統合し、前記開始フレ
ーム削除・非削除指定手段で非削除が指定されると、非
削除が指定された開始フレームおよびその開始フレーム
の直前の終了フレームの表示を第２の表示状態から第１
の表示状態に変更して、前記統合した部分セグメントを
元の２つの部分セグメントに戻すことを特徴とする。According to a fourth aspect of the present invention, in the video structure editing apparatus according to the third aspect, the video structure editing apparatus further includes a frame pair of the plurality of partial segments displayed on the segment information display means. A start frame deletion / non-deletion designation unit for designating deletion / non-deletion of a start frame of an arbitrary partial segment is provided. The display of the start frame specified to be deleted and the end frame immediately before the start frame are changed from the first display state to the second display state, and the partial segment corresponding to the start frame specified to be deleted and its partial segment are displayed. When the non-deletion is specified by the start frame deletion / non-deletion specifying means by integrating the immediately preceding partial segment, the start frame specified as non-deletion is specified. Frame and the display of the end frame immediately before the start frame from the second display state first
, And the integrated partial segments are returned to the original two partial segments.
【００１４】また、請求項５に係る映像構造編集装置
は、請求項４に記載の映像構造編集装置において、さら
に、前記開始フレーム削除・非削除指定手段で削除が指
定された開始フレームおよびその直前の終了フレームの
表示・非表示を切り換える表示切換手段を備え、前記セ
グメント情報表示手段は、前記表示切換手段の表示・非
表示の切り換えに応じて、削除が指定された開始フレー
ムおよびその直前の終了フレームを表示したり、非表示
にすることを特徴とする。According to a fifth aspect of the present invention, there is provided the video structure editing apparatus according to the fourth aspect, further comprising: a start frame designated to be deleted by the start frame deletion / non-deletion designation means; Display switching means for switching the display / non-display of the end frame of the display frame, wherein the segment information display means responds to the switching of the display / non-display of the display switching means and the start frame designated to be deleted and the end immediately before the start frame. It is characterized in that a frame is displayed or hidden.
【００１５】また、請求項６に係る映像構造編集装置
は、請求項２〜５のいずれか一つに記載の映像構造編集
装置において、前記再生セグメントが複数の部分セグメ
ントを有する場合、前記セグメント情報表示手段は、前
記分割点選択手段で分割フレームが選択されると、選択
された分割フレームを含む部分セグメントを特定した
後、選択された分割フレームに基づいて特定した部分セ
グメントを２分割し、前記特定した部分セグメントの開
始フレーム側を第１部分セグメントとして生成し、前記
特定した部分セグメントの終了フレーム側を第２部分セ
グメントとして生成し、前記第１部分セグメントおよび
第２部分セグメントのそれぞれの開始フレームおよび終
了フレームを表示することを特徴とする。According to a sixth aspect of the present invention, in the video structure editing apparatus according to any one of the second to fifth aspects, when the playback segment includes a plurality of partial segments, When a division frame is selected by the division point selection unit, the display unit specifies a partial segment including the selected division frame, and divides the specified partial segment into two based on the selected division frame. A start frame side of the specified partial segment is generated as a first partial segment, an end frame side of the specified partial segment is generated as a second partial segment, and a start frame of each of the first partial segment and the second partial segment is generated. And displaying an end frame.
【００１６】また、請求項７に係る映像構造編集装置
は、請求項１〜６のいずれか一つに記載の映像構造編集
装置において、前記連続フレーム表示手段は、特定した
フレームを中心とする所定数の連続フレームを一列に並
べて表示した後、表示する連続フレームを前記再生セグ
メントの範囲内でスクロールして変更させることが可能
であることを特徴とする。According to a seventh aspect of the present invention, in the video structure editing apparatus according to any one of the first to sixth aspects, the continuous frame display means includes a predetermined frame centered on the specified frame. After displaying a number of continuous frames in a line, the displayed continuous frames can be scrolled and changed within the range of the playback segment.
【００１７】また、請求項８に係る映像構造編集装置
は、請求項１〜７のいずれか一つに記載の映像構造編集
装置において、前記連続フレーム表示手段は、特定した
フレームを中心とする所定数の連続フレームが表示され
た直後に行われたスクロールの方向および量を所定回数
分記憶し、記憶されている所定回数分のスクロールの方
向および量の平均値を前記指定されたタイミングで特定
したフレームと実際の所望のフレームとのフレームずれ
量として設定し、前記指定されたタイミングでフレーム
を特定する際に、前記フレームずれ量の分を補正してフ
レームを特定することを特徴とする。According to an eighth aspect of the present invention, in the video structure editing apparatus according to any one of the first to seventh aspects, the continuous frame display means includes a predetermined frame centered on the specified frame. The direction and amount of scrolling performed immediately after the display of the number of consecutive frames are stored for a predetermined number of times, and the average value of the stored direction and amount of scrolling for the predetermined number of times is specified at the specified timing. A frame shift amount between a frame and an actual desired frame is set, and when a frame is specified at the designated timing, a frame is specified by correcting the frame shift amount.
【００１８】また、請求項９に係る映像構造編集装置
は、請求項８に記載の映像構造編集装置において、前記
連続フレーム表示手段は、前記フレームずれ量を用いた
補正を行うか否かを指定する補正指定手段を有し、前記
補正指定手段で補正を行うことが指定された場合に、前
記フレームずれ量を用いた補正を行うことを特徴とす
る。According to a ninth aspect of the present invention, in the video structure editing apparatus according to the eighth aspect, the continuous frame display means designates whether or not to perform correction using the frame shift amount. A correction designation unit for performing the correction using the frame shift amount when the correction designation unit designates the correction.
【００１９】また、請求項１０に係る映像構造編集装置
は、請求項２〜９のいずれか一つに記載の映像構造編集
装置において、さらに、前記連続フレーム表示手段で表
示されている連続フレームの中から部分セグメントを代
表する代表フレームを指定する代表フレーム指定手段を
備え、前記セグメント情報表示手段は、前記代表フレー
ム指定手段で代表フレームが指定されると、該当するフ
レームを部分セグメントの代表フレームとしてセグメン
トの表示行または表示列に合わせて表示することを特徴
とする。According to a tenth aspect of the present invention, there is provided the video structure editing apparatus according to any one of the second to ninth aspects, further comprising: A representative frame designating means for designating a representative frame representing a partial segment from among them, wherein the segment information display means, when a representative frame is designated by the representative frame designating means, sets the corresponding frame as a representative frame of the partial segment. The display is performed in accordance with the display row or display column of the segment.
【００２０】また、請求項１１に係る映像構造編集装置
は、請求項１０に記載の映像構造編集装置において、さ
らに、前記セグメント情報表示手段で表示されている代
表フレームの削除または非削除を指定する削除・非削除
指定手段を備え、前記セグメント情報表示手段は、前記
削除・非削除指定手段で削除が指定された代表フレーム
の表示を第１の表示状態から第２の表示状態に変更し、
前記削除・非削除指定手段で非削除が指定された代表フ
レームの表示を第２の表示状態から第１の表示状態に変
更することを特徴とする。[0020] The video structure editing apparatus according to claim 11 is the video structure editing apparatus according to claim 10, further comprising designating deletion or non-deletion of a representative frame displayed by the segment information display means. Deletion / non-deletion designation means, wherein the segment information display means changes the display of the representative frame designated to be deleted by the deletion / non-deletion designation means from a first display state to a second display state,
The display of the representative frame designated as non-deleted by the deletion / non-deletion designation means is changed from the second display state to the first display state.
【００２１】また、請求項１２に係る映像構造編集装置
は、請求項１１に記載の映像構造編集装置において、さ
らに、前記削除・非削除指定手段で削除が指定された代
表フレームの表示・非表示を切り換える切換手段を備
え、前記セグメント情報表示手段は、前記切換手段の表
示・非表示の切り換えに応じて、削除が指定された代表
フレームを表示したり、非表示にすることを特徴とす
る。According to a twelfth aspect of the present invention, there is provided the video structure editing apparatus according to the eleventh aspect, further comprising: displaying / non-displaying a representative frame designated to be deleted by the deletion / non-deletion designation means. The segment information display means displays or hides a representative frame designated to be deleted in accordance with switching between display and non-display by the switching means.
【００２２】また、請求項１３に係る映像構造編集装置
は、請求項１〜１２のいずれか一つに記載の映像構造編
集装置において、前記分割点選択手段は、前記連続フレ
ーム表示手段に表示されている前記特定したフレームを
基準位置として、映像ストリームの物理的な分割点を検
出する際の検出方向を指定する方向指定手段と、前記方
向指定手段で指定された検出方向に向かって前記基準位
置から一定の範囲の連続フレームを対象とし、予め設定
されているアルゴリズムを用いて映像ストリームの物理
的な分割点を検出する分割点検出手段と、前記連続フレ
ーム表示手段に表示されている連続フレームの中から分
割点となる分割フレームを指定するための分割フレーム
指定手段と、を備え、前記連続フレーム表示手段は、前
記分割点検出手段で物理的な分割点が検出されると、前
記物理的な分割点を分割候補点とし、前記分割候補点を
中心とした所定数の連続フレームを一列に並べて表示す
ることを特徴とする。According to a thirteenth aspect of the present invention, in the video structure editing apparatus according to any one of the first to twelfth aspects, the division point selecting means is displayed on the continuous frame display means. Direction specifying means for specifying a detection direction when detecting a physical division point of a video stream, using the specified frame as a reference position, and the reference position toward the detection direction specified by the direction specification means. And a division point detection unit that detects a physical division point of the video stream using a preset algorithm for a continuous frame of a certain range, and a continuous frame displayed on the continuous frame display unit. Division frame designating means for designating a division frame to be a division point from among them, wherein the continuous frame display means comprises: When physical division point is detected, the physical division point and the candidate dividing point, and displaying side by side a predetermined number of consecutive frames centered on the candidate dividing points in a row.
【００２３】また、請求項１４に係る映像構造編集装置
は、請求項１３に記載の映像構造編集装置において、前
記連続フレーム表示手段は、前記分割点検出手段で物理
的な分割点が複数検出された場合、前記基準位置に最も
近い分割候補点を中心とした所定数の連続フレームを一
列に並べて表示すると共に、分割候補点となるフレーム
と他のフレームとを区別可能に表示することを特徴とす
る。According to a fourteenth aspect of the present invention, in the video structure editing apparatus according to the thirteenth aspect, the continuous frame display means detects a plurality of physical division points by the division point detection means. In this case, a predetermined number of consecutive frames centered on the division candidate point closest to the reference position are arranged and displayed in a line, and the frame serving as the division candidate point is displayed so as to be distinguishable from other frames. I do.
【００２４】また、請求項１５に係る映像構造編集装置
は、請求項１４に記載の映像構造編集装置において、前
記分割点選択手段は、さらに前記分割点検出手段で物理
的な分割点が複数検出された場合に、検出された物理的
な分割点の総数および前記連続フレーム表示手段に現在
表示されている物理的な分割点が何番目であるかを示す
分割点情報を表示する分割点情報表示手段と、前記分割
点検出手段で物理的な分割点が複数検出された場合に、
何番目の分割点を表示するかを指定する表示分割点指定
手段と、を備え、前記連続フレーム表示手段は、前記表
示分割点指定手段で何番目の分割点を表示するかが指定
されると、指定された分割点を中心とした所定数の連続
フレームを一列に並べて表示することを特徴とする。According to a fifteenth aspect of the present invention, in the video structure editing apparatus according to the fourteenth aspect, the dividing point selecting means further comprises a plurality of physical dividing points detected by the dividing point detecting means. In the case where the division is made, the division point information display for displaying the total number of the detected physical division points and the division point information indicating the number of the physical division point currently displayed on the continuous frame display means. Means, when a plurality of physical division points are detected by the division point detection means,
Display division point designating means for designating what division point is to be displayed, wherein the continuous frame display means is configured to designate which division point to be displayed by the display division point designation means. A predetermined number of continuous frames centered on a designated division point are displayed in a line.
【００２５】また、請求項１６に係る映像構造編集装置
は、請求項１３〜１５のいずれか一つに記載の映像構造
編集装置において、前記分割点検出手段は、物理的な分
割点を検出するためアルゴリズムを複数有しており、選
択されたアルゴリズムを用いて映像ストリームの物理的
な分割点を検出することを特徴とする。According to a sixteenth aspect of the present invention, in the video structure editing apparatus according to any one of the thirteenth to fifteenth aspects, the division point detecting means detects a physical division point. Therefore, a plurality of algorithms are provided, and a physical division point of the video stream is detected using the selected algorithm.
【００２６】また、請求項１７に係る記録媒体は、前記
請求項１〜１６のいずれか一つに記載された映像構造編
集装置の各手段としてコンピュータに実行させるプログ
ラムを記録したことを特徴とする。これによって、その
プログラムを機械読み取り可能となり、請求項１〜１６
の動作をコンピュータによって実現することが可能とな
る。According to a seventeenth aspect of the present invention, there is provided a recording medium storing a program to be executed by a computer as each means of the video structure editing apparatus according to any one of the first to sixteenth aspects. . This makes the program machine-readable.
Can be realized by a computer.
【００２７】[0027]
【発明の実施の形態】以下、本発明の映像構造編集装置
の実施の形態について、実施の形態１〜実施の形態４の
順で添付の図面を参照して詳細に説明する。BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram of a video structure editing apparatus according to an embodiment of the present invention.
【００２８】実施の形態１．先ず、実施の形態１の映像
構造編集装置について、〔映像構造編集装置の概略構
成〕、〔構造情報の構成〕、〔構造表示ソフトによる構
造情報の表示例〕、〔構造編集ソフトの機能の具体的な
説明〕の順序で、添付の図面を参照して詳細に説明す
る。Embodiment 1 First, regarding the video structure editing apparatus according to the first embodiment, [Schematic Configuration of Video Structure Editing Apparatus], [Configuration of Structure Information], [Example of Displaying Structure Information by Structure Display Software], [Specific Functions of Structure Editing Software] Detailed description] will be described in detail with reference to the accompanying drawings.
【００２９】〔映像構造編集装置の概略構成〕図１は、
実施の形態１の映像構造編集装置１００の一例を示す概
略構成図である。映像構造編集装置１００は、映像スト
リームおよび／または映像ストリームを構造化した構造
情報を記憶した記憶手段１０３から映像ストリームを入
力して映像ストリームの構造を解析すると共に、解析し
た結果に基づいて、映像ストリームの構造を表示画面１
０２に視覚的に表示する処理を行うコンピュータ１０１
で構成される。[Schematic Configuration of Video Structure Editing Apparatus] FIG.
FIG. 1 is a schematic configuration diagram illustrating an example of a video structure editing device 100 according to a first embodiment. The video structure editing apparatus 100 receives the video stream from the storage unit 103 storing the video stream and / or the structure information obtained by structuring the video stream, analyzes the structure of the video stream, and, based on the analysis result, analyzes the video stream. Display screen 1 of stream structure
02 that performs a process of visually displaying the image on the computer 02
It consists of.
【００３０】ここで、記憶手段１０３としては、コンピ
ュータ１０１中に内蔵されたハードディスクを用いても
良いが、ここでは、ネットワークを介してコンピュータ
１０１と接続されている映像情報ライブラリや、フロッ
ピーディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等の記録媒
体を用いるものとする。また、記憶手段１０３は、映像
ストリームまたは構造情報のいずれか一方が記憶されて
いるものや、映像ストリームと構造情報の両方が記憶さ
れているもののどちらでも良く、映像構造編集装置１０
０で構造編集を行う前に、対象となる映像ストリームと
構造情報をコンピュータ１０１内に読み込んで置くこと
ができれば良い。Here, as the storage means 103, a hard disk built in the computer 101 may be used, but here, a video information library connected to the computer 101 via a network, a floppy disk, -It is assumed that a recording medium such as a ROM, an MO, and a DVD is used. The storage unit 103 may store either the video stream or the structure information, or may store both the video stream and the structure information.
It is sufficient that the target video stream and the structure information can be read and placed in the computer 101 before the structure editing is performed at 0.
【００３１】図２は、図１に示したコンピュータ１０１
のブロック構成図である。コンピュータ１０１は、後述
するソフトウエアに基づく処理を実行するＣＰＵ２０１
と、ブートプログラム等を記憶したＲＯＭ２０２と、Ｃ
ＰＵ２０１のワークエリアとして使用されるＲＡＭ２０
３と、各種の入力操作を行なうためのキーボード２０４
およびマウス２０５と、映像ストリームの解析過程や映
像ストリームの構造を表示するための表示画面１０２を
有したＣＲＴや液晶ディスプレイ等の表示装置２０６
と、実施の形態１に係る映像構造編集装置の機能を実現
するための構造解析ソフト２０７，構造編集ソフト２０
８，構造表示ソフト２０９等の各種アプリケーションプ
ログラムやデータを記憶したハードディスク２１０と、
図１に示した記憶手段１０３とコンピュータ１０１とを
接続する各種ドライバー，ネットワークアダプタ等のイ
ンタフェース部２１１と、上記各部を接続するバス２１
２と、を少なくとも備えている。FIG. 2 shows the computer 101 shown in FIG.
FIG. 2 is a block diagram of the configuration. The computer 101 includes a CPU 201 that executes processing based on software described later.
ROM 202 storing a boot program and the like;
RAM 20 used as work area of PU 201
3 and a keyboard 204 for performing various input operations
And a mouse 205 and a display device 206 such as a CRT or a liquid crystal display having the display screen 102 for displaying the process of analyzing the video stream and the structure of the video stream.
And the structure analysis software 207 and the structure edit software 20 for realizing the functions of the video structure edit device according to the first embodiment.
8. a hard disk 210 storing various application programs and data such as structure display software 209;
An interface unit 211 such as various drivers and a network adapter for connecting the storage unit 103 and the computer 101 shown in FIG.
2 at least.
【００３２】なお、図１および図２に示した映像構造編
集装置１００の構成は、あくまでも一例を示すものであ
って、後述する実施の形態１の各機能を実現することが
可能であれば、いかなるシステム構成であっても良い。
また、映像ストリームを解析して構造情報を生成し、そ
の構造を表示画面に表示する構造表示方法の基本的な技
術としては、本出願人によって特願平１０−２４９５９
８号で提案された技術を適用することができる。さらに
映像ストリームの構造化の方法は、特に限定するもので
はないが、少なくとも、映像ストリーム中の任意の範囲
をセグメントとして定義し、或るセグメントで定義され
た範囲と同一の範囲を他の複数のセグメントの集合で表
現できる場合に、複数のセグメントの集合をパッケージ
として定義し、また、これら複数のセグメントを上記或
るセグメントの部分セグメントとして定義することによ
り、映像ストリームの全体を構造化したものを対象とす
る。The configuration of the video structure editing apparatus 100 shown in FIGS. 1 and 2 is merely an example, and if the functions of the first embodiment described later can be realized, Any system configuration may be used.
Further, as a basic technique of a structure display method of analyzing a video stream to generate structure information and displaying the structure on a display screen, Japanese Patent Application No. 10-24959 by the present applicant discloses a structure display method.
The technology proposed in No. 8 can be applied. Further, the method of structuring the video stream is not particularly limited, but at least an arbitrary range in the video stream is defined as a segment, and the same range as the range defined by a certain segment is defined by a plurality of other segments. When the set can be represented by a set of segments, a set of a plurality of segments is defined as a package, and by defining the plurality of segments as partial segments of the certain segment, the entire video stream is structured. set to target.
【００３３】〔構造情報の構成〕次に、図３を参照し
て、実施の形態１の映像構造編集装置で使用する構造情
報の構造例について説明する。実施の形態１では、一つ
の映像ストリーム全体の構造の入口をルートＲとして定
義し、このルートＲの下に階層的に存在する構造を表す
構成要素として、映像ストリーム中の任意の範囲をセグ
メントＳとして定義し、或るセグメントＳで定義された
範囲と同一の範囲を他の複数のセグメントＳの集合で表
現できる場合に、これら複数のセグメントＳの集合をパ
ッケージＰとして定義する。[Structure of Structural Information] Next, an example of the structure of the structural information used in the video structure editing apparatus according to the first embodiment will be described with reference to FIG. In the first embodiment, the entrance of the entire structure of one video stream is defined as a root R, and an arbitrary range in the video stream is defined as a segment S as a component that represents a structure hierarchically below the root R. If the same range as the range defined by a certain segment S can be represented by a set of other segments S, the set of these segments S is defined as a package P.
【００３４】すなわち、図３に示す構造例において、ル
ートＲの直下にある第１階層には、映像全体を表すパッ
ケージＰ（符号Ａ参照）とそのパッケージＰを構成する
１つのセグメントＳが存在する。また、第２階層には、
パッケージＰ（符号Ｂ参照）とそのパッケージＰを構成
する６つのセグメントＳと、パッケージＰ（符号Ｃ参
照）とそのパッケージＰを構成する３つのセグメントＳ
と、パッケージＰ（符号Ｄ参照）とそのパッケージＰを
構成する２つのセグメントＳとが存在する。また、第３
階層には、パッケージＰ（符号Ｅ参照）とそのパッケー
ジＰを構成する３つのセグメントＳと、パッケージＰ
（符号Ｆ参照）とそのパッケージＰを構成する２つのセ
グメントＳと、パッケージＰ（符号Ｇ参照）とそのパッ
ケージＰを構成する１つのセグメントＳと、パッケージ
Ｐ（符号Ｈ参照）とそのパッケージＰを構成する２つの
セグメントＳと、パッケージＰ（符号Ｉ参照）とそのパ
ッケージＰを構成する５つのセグメントＳとが存在す
る。また、第４階層には、パッケージＰ（符号Ｊ参照）
とそのパッケージＰを構成する２つのセグメントＳとが
存在する。That is, in the example of the structure shown in FIG. 3, a package P (refer to a symbol A) representing the entire video and one segment S constituting the package P exist in the first hierarchy immediately below the root R. . Also, on the second level,
Package P (see reference symbol B) and six segments S forming the package P, and package P (see reference symbol C) and three segments S forming the package P
And a package P (see reference symbol D) and two segments S constituting the package P. Also, the third
In the hierarchy, a package P (see reference numeral E), three segments S constituting the package P, and a package P
(See symbol F), two segments S that make up the package P, package P (see code G), one segment S that makes up the package P, package P (see code H), and the package P. There are two segments S that make up, a package P (see symbol I), and five segments S that make up the package P. The package P (see reference numeral J) is located on the fourth level.
And two segments S constituting the package P.
【００３５】なお、図３の構造例では、階層として第１
階層〜第４階層が存在するが、この階層の深さおよび各
階層のパッケージＰの数は特に限定するものではなく、
必要に応じて設定されたものである。また、実施の形態
１では、上位の階層のセグメントで定義された範囲と同
一の範囲を下位の複数のセグメントの集合で表現できる
場合に、これら複数のセグメントを上位の階層のセグメ
ントに対する部分セグメントと定義する。In the example of the structure shown in FIG.
Although there are a hierarchy to a fourth hierarchy, the depth of this hierarchy and the number of packages P in each hierarchy are not particularly limited.
It is set as needed. Further, in the first embodiment, when the same range as the range defined by the segment of the higher hierarchy can be expressed by a set of a plurality of lower segments, the plurality of segments are defined as partial segments with respect to the segment of the higher hierarchy. Define.
【００３６】次に、パッケージＰをどのような基準で生
成するかについて、例を挙げて説明する。たとえば、図
３に示した構造の映像ストリームが、映画を記録した映
像ストリームである場合に、第２階層の３つのパッケー
ジＰのうち、１番目のパッケージＰ（符号Ｂ参照）は、
映像を静止画の特徴により分けたものであり、２番目の
パッケージＰ（符号Ｃ参照）は登場人物別に分けたもの
であり、３番目のパッケージＰ（符号Ｄ参照）は時間で
分けたものである。この例では、親セグメント（上位の
階層のセグメント）を分割する形式で部分セグメント
（親セグメントの一つ下の階層のセグメント）を生成し
ているので、１つのパッケージを構成する部分セグメン
トの範囲は互いに重ならずに、部分セグメントの範囲を
集めると親セグメントの範囲となっている。Next, the criteria for generating the package P will be described with reference to an example. For example, when the video stream having the structure shown in FIG. 3 is a video stream in which a movie is recorded, of the three packages P on the second layer, the first package P (see reference numeral B) is:
The video is divided according to the characteristics of the still image, the second package P (see reference numeral C) is divided according to the characters, and the third package P (see reference numeral D) is divided according to time. is there. In this example, a partial segment (a segment at a level immediately below the parent segment) is generated by dividing a parent segment (a segment at a higher hierarchy), so the range of the partial segment constituting one package is If the ranges of the partial segments are collected without overlapping each other, they become the ranges of the parent segment.
【００３７】また、前述したように映像ストリームの構
造は、あらかじめ生成された構造情報から抽出または読
み出してもよく、映像ストリームを読み込んで、その場
で直接構造化し、構造情報を生成しても良い。As described above, the structure of the video stream may be extracted or read from the structure information generated in advance, or the video stream may be read and directly structured on the spot to generate the structure information. .
【００３８】〔構造表示ソフトによる構造情報の表示
例〕図４は、実施の形態１の構造表示ソフト２０９によ
る構造情報の表示例を示す説明図である。この構造表示
ソフト２０９が本発明の階層構造表示手段に相当し、以
下に示すように、構造情報に基づいて映像ストリームの
階層構造を表示する。表示画面１０２は、図４に示すよ
うに、各パッケージをノード３０１ａとして構造情報を
ツリー状の親子関係で表した構造情報３０１を表示する
構造表示部１０２Ａと、各パッケージの範囲を示すパッ
ケージ識別表示３０２ａおよびパッケージ識別表示３０
２ａの構成要素となる各セグメントの範囲を示すセグメ
ント識別表示３０２ｂから成る構成情報３０２を該当す
るノードの表示行に合わせて表示すると共に、各セグメ
ントの範囲を数値目盛と対応させて認識するためのスケ
ール３０３を表示する構成表示部１０２Ｂとから構成さ
れる。なお、３０４は、構造表示部１０２Ａと構成表示
部１０２Ｂの対応する表示行を視覚的に認識し易くする
ための行表示部を示し、３０５は選択したセグメントの
手動構造化を指定する手動構造化アイコンを示し、３０
６は手動構造化によって生成した部分セグメントの構造
情報を全体の構造に反映させるか否かを指定する適用Ｏ
Ｎ／ＯＦＦアイコンを示す。[Example of Display of Structure Information by Structure Display Software] FIG. 4 is an explanatory diagram showing an example of display of structure information by the structure display software 209 of the first embodiment. This structure display software 209 corresponds to the hierarchical structure display means of the present invention, and displays the hierarchical structure of the video stream based on the structure information as described below. As shown in FIG. 4, the display screen 102 includes a structure display unit 102A that displays structure information 301 in which structure information is represented by a tree-like parent-child relationship with each package as a node 301a, and a package identification display that indicates a range of each package. 302a and package identification display 30
In order to display the configuration information 302 including the segment identification display 302b indicating the range of each segment serving as the component of 2a in accordance with the display line of the corresponding node, and to recognize the range of each segment in association with the numerical scale And a configuration display unit 102B for displaying a scale 303. Note that reference numeral 304 denotes a row display unit for making it easier to visually recognize the corresponding display rows of the structure display unit 102A and the configuration display unit 102B, and 305 denotes a manual structuring that specifies manual structuring of the selected segment. Icon, 30
6 is an application O for designating whether or not to reflect the structure information of the partial segment generated by the manual structuring on the entire structure.
Shows the N / OFF icon.
【００３９】以上の構成において、図４および図５の実
施の形態１における表示画面１０２の表示例を参照し
て、その動作について説明する。先ず、図３に示したよ
うな映像ストリームの構造を表示画面１０２に表示する
と、図５に示すようになる。ここで、構造表示部１０２
Ａに表示される構造情報３０１および構成表示部１０２
Ｂに表示される構成情報３０２は、以下の〜のルー
ル（条件）に基づいて表示されている。なお、ここでは
各ノード３０１ａを区別して分かり易くするために、ノ
ードを示す□の表示内に図３に示した符号Ａ〜Ｊを記述
する。同様の理由からパッケージ識別表示３０２ａおよ
びセグメント識別表示３０２ｂをＰＡ，ＳＡ等で記述す
る。The operation of the above configuration will be described with reference to the display example of the display screen 102 in the first embodiment shown in FIGS. First, when the structure of the video stream as shown in FIG. 3 is displayed on the display screen 102, it becomes as shown in FIG. Here, the structure display unit 102
A: Structure information 301 and configuration display unit 102 displayed on A
The configuration information 302 displayed in B is displayed based on the following rules (conditions). Here, in order to distinguish and easily understand each node 301a, reference numerals A to J shown in FIG. For the same reason, the package identification 302a and the segment identification 302b are described in PA, SA, and the like.
【００４０】ルール ツリー状の親子関係において、同一の階層に属するノー
ドは、同一の表示行または表示列に表示され、それぞれ
直線で結ばれる。なお、このルールは、以下のように
換言することができる。すなわち、構造情報３０１のツ
リー状の親子関係の配置において、任意のパッケージを
親パッケージとした際に、親パッケージの構成要素の一
つであるセグメントの範囲と同一の範囲を他の複数のセ
グメントの集合で表現した子パッケージが複数定義され
ている場合には、当該複数の子パッケージ同士を兄弟パ
ッケージとして定義し、これら兄弟パッケージを示す複
数のノードを縦方向に並べて配置し、かつ、これらのノ
ードを線で結んで表示する。また、ツリー状の親子関係
において、任意のパッケージを親パッケージとした際
に、親パッケージの構成要素である複数のセグメントの
いずれか一つのセグメントの範囲と同一の範囲を他の複
数のセグメントの集合で表現した子パッケージが複数定
義されており、かつ、当該複数の子パッケージの範囲が
重ならない場合には、これらの複数の子パッケージを示
す複数のノード同士を横方向に並べて配置し、かつ、こ
れらのノードを線で結んで表示する。In the rule tree-like parent-child relationship, nodes belonging to the same hierarchy are displayed in the same display row or display column, and are connected by straight lines. This rule can be paraphrased as follows. That is, in the arrangement of the tree-like parent-child relationship in the structure information 301, when an arbitrary package is set as a parent package, the same range as the range of a segment, which is one of the components of the parent package, is assigned to other segments. When a plurality of child packages represented by a set are defined, the plurality of child packages are defined as sibling packages, a plurality of nodes indicating the sibling packages are arranged in a vertical direction, and these nodes are arranged. Is displayed by connecting with a line. Also, in a tree-like parent-child relationship, when an arbitrary package is set as a parent package, the same range as the range of any one of the plurality of segments which are constituent elements of the parent package is set to a set of other plurality of segments. When a plurality of child packages represented by are defined and the ranges of the plurality of child packages do not overlap, a plurality of nodes indicating the plurality of child packages are arranged side by side in a horizontal direction, and These nodes are displayed by connecting them with lines.
【００４１】したがって、図５において、ノードＢとノ
ードＣとノードＤは同一の表示列に表示され、かつ、直
線で結ばれているので、同一の階層であり、これらのノ
ードＢ，Ｃ，Ｄに対応したパッケージは兄弟パッケージ
である。また、ノードＧとノードＨとノードＩは同一の
表示行に表示され、かつ、直線で結ばれているので、同
一の階層であるが、これらのノードＧ，Ｈ，Ｉに対応し
たパッケージは兄弟パッケージではない。Therefore, in FIG. 5, the nodes B, C and D are displayed in the same display column and are connected by a straight line, so that the nodes B, C, and D have the same hierarchy. The package corresponding to is a sibling package. The nodes G, H, and I are displayed on the same display line and are connected by a straight line, and therefore have the same hierarchy. However, the packages corresponding to these nodes G, H, and I are siblings. Not a package.
【００４２】ルール ツリー状の親子関係において、映像ストリームの全体を
表すパッケージのノードは最上位のパッケージとして定
義し、対応するノードを構造情報３０１（構造表示部１
０２Ａ）の左上部に配置する。したがって、映像全体を
表すパッケージＰを示すノードＡが構造情報３０１の左
上部に配置されている。In a tree-like parent-child relationship, a node of a package representing the entire video stream is defined as a top-level package, and the corresponding node is defined in the structure information 301 (structure display unit 1).
02A). Therefore, the node A indicating the package P representing the entire video is arranged at the upper left of the structure information 301.
【００４３】ルール ツリー状の親子関係において、任意のパッケージを親パ
ッケージとした際に、親パッケージの構成要素の一つで
あるセグメントの範囲と同一の範囲を他の複数のセグメ
ントの集合で表現した子パッケージが定義されてる場合
には、当該子パッケージを示すノードを親パッケージを
示すノードの右下に配置し、かつ、これらのノードを折
れ線で結んで表示する。たとえば、ノードＥを親パッケ
ージとした場合、その子パッケージであるノードＪは、
構造表示部１０２Ａの表示においてノードＥの右下に配
置され、かつ、ノードＥと折れ線で結ばれている。In a rule tree-like parent-child relationship, when an arbitrary package is set as a parent package, the same range as the range of a segment which is one of the constituent elements of the parent package is represented by a set of other plural segments. When a child package is defined, the node indicating the child package is arranged at the lower right of the node indicating the parent package, and these nodes are connected by a broken line and displayed. For example, if node E is a parent package, its child package, node J,
In the display of the structure display unit 102A, it is arranged at the lower right of the node E, and is connected to the node E by a broken line.
【００４４】ルール ツリー状の親子関係において、兄弟パッケージを親パッ
ケージとする子パッケージが存在する場合、当該子パッ
ケージを示すノードを該当する兄弟パッケージを示すノ
ードの右下に配置し、かつ、該当する兄弟パッケージの
下方に位置する兄弟パッケージを右下に配置した子パッ
ケージの位置より下方になるように配置する。In a rule tree-like parent-child relationship, if there is a child package having a sibling package as a parent package, the node indicating the child package is arranged at the lower right of the node indicating the corresponding sibling package, and The sibling package located below the sibling package is arranged below the position of the child package arranged at the lower right.
【００４５】したがって、図５において、ノードＥとノ
ードＦとノードＪに注目すると、ノードＥとノードＦの
それぞれのパッケージは、兄弟パッケージの関係にあ
り、ノードＥとノードＪのそれぞれのパッケージは、親
パッケージと子パッケージの関係にある。そのため、ノ
ードＥの右下にノードＪが配置され、ノードＦはノード
Ｊの存在する行の次の行に配置されている。Therefore, in FIG. 5, focusing on the nodes E, F, and J, the packages of the nodes E and F are in a sibling package relationship, and the packages of the nodes E and J are Parent package and child package. Therefore, the node J is arranged at the lower right of the node E, and the node F is arranged on the line next to the line where the node J exists.
【００４６】ルール 構成表示部１０２Ｂは、画面の横方向を時系列方向とし
ており、構造表示部１０２Ａの行表示部３０４で特定さ
れる各ノードに対応する行に、該当するパッケージの範
囲に対応した長さで、かつ、時系列上の該当する位置に
細い帯状のパッケージ識別表示３０２ａを表示する。ま
た、パッケージ識別表示３０２ａで表示されたパッケー
ジを構成する各セグメント毎に、セグメントの範囲に対
応させた長さで、かつ、時系列上の該当する位置にブロ
ック形状のセグメント識別表示３０２ｂを表示する。The rule configuration display unit 102B sets the horizontal direction of the screen as the time-series direction, and the row corresponding to each node specified by the row display unit 304 of the structure display unit 102A corresponds to the range of the corresponding package. A thin band-shaped package identification display 302a is displayed at a corresponding position in the time series with the length. In addition, for each segment constituting the package displayed by the package identification display 302a, a block-shaped segment identification display 302b having a length corresponding to the range of the segment and at a corresponding position in a time series is displayed. .
【００４７】したがって、図５において、たとえば、ノ
ードＡに対応するパッケージ識別表示（符号ＰＡ）は、
ノードＡと同一行で、かつ、映像ストリームの全体を示
す長さの細い帯状で表示される。また、ノードＡに対応
するセグメント識別表示（符号ＳＡ）は、ノードＡと同
一行で、かつ、セグメントの範囲（ここでは映像ストリ
ームの全体）に対応した長さのブロック形状で表示され
る。Therefore, in FIG. 5, for example, the package identification (PA) corresponding to node A is:
It is displayed on the same line as the node A and in a thin strip shape showing the entire video stream. The segment identification display (reference code SA) corresponding to the node A is displayed in the same row as the node A and in a block shape having a length corresponding to the range of the segment (here, the entire video stream).
【００４８】また、ノードＥに対応するパッケージ識別
表示（符号ＰＥ）は、ノードＥと同一行に、ノードＥに
対応するパッケージの長さで、かつ、時系列上の該当す
る位置に細い帯状で表示される。また、ノードＥに対応
するセグメント識別表示（符号ＳＥ１〜ＳＥ３）は、ノ
ードＥと同一行に、それぞれのセグメントの範囲で、か
つ、時系列上の該当する位置にブロック形状で表示され
る。The package identification (PE) corresponding to the node E has the length of the package corresponding to the node E on the same line as the node E, and a narrow band at a corresponding position in the time series. Is displayed. In addition, the segment identification display (symbols SE1 to SE3) corresponding to the node E is displayed in the same row as the node E, in the range of each segment, and at a corresponding position in time series in a block shape.
【００４９】実施の形態１の映像構造編集装置１００
は、構成表示ソフト２０９でルール〜を実行するこ
とにより、構造情報の内部の論理構造を視覚化して容易
に把握できるようにすると共に、各セグメントのもつ範
囲の割合を直感的に知ることができ、複数のパッケージ
の構造やセグメントの構成を簡単に比較検討することが
でき、さらに構造情報全体の構造中における各パッケー
ジまたはセグメントの範囲や配置を直感的かつ定量的に
理解できるように表示することができる。The video structure editing apparatus 100 according to the first embodiment
By executing rules 1 through the configuration display software 209, the logical structure inside the structure information can be visualized and easily grasped, and the ratio of the range of each segment can be intuitively known. , Allowing easy comparison of the structure of multiple packages and segment configurations, and displaying intuitive and quantitative understanding of the range and arrangement of each package or segment in the overall structure information structure Can be.
【００５０】また、実施の形態１の構造表示ソフト２０
９を応用することにより、たとえば、後述する構造編集
ソフト２０８によるセグメントの追加、削除、範囲変更
などの編集結果を随時反映し表示することが容易である
ことは明らかである。また、このような構造表示方法を
用いて編集した構造は、検索やブラウズのための情報と
して利用することができ、後日、利用するために再度記
憶手段１０３に保存するとよい。The structure display software 20 according to the first embodiment
It is apparent that the application of No. 9 makes it easy to reflect and display an editing result such as addition, deletion, or range change of a segment by the structure editing software 208 described later. The structure edited using such a structure display method can be used as information for searching or browsing, and may be stored in the storage unit 103 again for use at a later date.
【００５１】〔構造編集ソフトの機能の具体的な説明〕
次に、図６〜図９のウィンドウ画面を参照して、本発明
の要部である構造編集ソフト２０８を実現するセグメン
ト映像再生ウィンドウ４０１，再生操作ウィンドウ４０
２，セグメント情報表示ウィンドウ４０３，連続フレー
ム表示ウィンドウ４０５および分割点選択ボタン４０６
の基本的な機能について説明する。構造編集ソフト２０
８は、図４および図５で示した構造表示ソフト２０９の
表示画面上において、たとえば、構造の再編集を行いた
い所望のセグメントをクリック（選択）して手動構造化
アイコン３０５をクリックすることにより、起動する。[Specific Description of Functions of Structure Editing Software]
Next, with reference to the window screens of FIGS. 6 to 9, a segment video playback window 401 and a playback operation window 40 for realizing the structure editing software 208 as a main part of the present invention.
2. Segment information display window 403, continuous frame display window 405, and division point selection button 406
The basic functions of will be described. Structure editing software 20
8, for example, by clicking (selecting) a desired segment whose structure is to be re-edited on the display screen of the structure display software 209 shown in FIGS. 4 and 5, and clicking the manual structuring icon 305 ,to start.
【００５２】手動構造化アイコン３０５がクリックされ
ると、構造編集ソフト２０８が起動して、先ず、表示装
置２０６の表示画面１０２上に、図６（ａ），（ｂ）に
示すような、セグメント映像再生ウィンドウ４０１およ
び再生操作ウィンドウ４０２が表示される。セグメント
映像再生ウィンドウ４０１および再生操作ウィンドウ４
０２は、構造表示ソフト２０９の表示画面上で選択され
たセグメントを再生セグメントとして、該再生セグメン
トで定義された範囲のフレームを再生するものであり、
本発明のセグメント映像再生手段に相当する。When the manual structuring icon 305 is clicked, the structure editing software 208 is started, and first, a segment as shown in FIGS. 6A and 6B is displayed on the display screen 102 of the display device 206. A video playback window 401 and a playback operation window 402 are displayed. Segment video playback window 401 and playback operation window 4
02 reproduces frames in a range defined by the segment selected on the display screen of the structure display software 209 as a reproduction segment,
It corresponds to the segment video reproducing means of the present invention.
【００５３】また、再生操作ウィンドウ４０２の各種キ
ーを操作することにより、再生セグメントの再生開始、
セグメント映像再生ウィンドウ４０１で再生中の再生セ
グメントの再生速度の調整、巻き戻し、早送り、一時停
止、再生終了を行うことができる。特に、『ｐｌａｙ／
ｄｅｔｅｃｔ』キーを押下することにより、一時停止中
であれば再生を開始し、再生中であれば再生中の再生セ
グメントの映像においてオペレータの感覚によって論理
的に分割したいと感じた所望のフレームを目的フレーム
として指定することができる。By operating various keys in the playback operation window 402, playback of a playback segment can be started,
In the segment video playback window 401, adjustment of the playback speed of the playback segment being played back, rewinding, fast forward, pause, and end of playback can be performed. In particular, "play /
By pressing the "detect" key, the reproduction is started if the video is paused, and if the video is being reproduced, the desired frame which is logically divided by the operator's sense in the video of the reproduction segment being reproduced is intended. Can be specified as a frame.
【００５４】また、セグメント映像再生ウィンドウ４０
１が表示されると同時に、表示装置２０６の表示画面１
０２上には、図７に示すような、セグメント情報表示ウ
ィンドウ４０３が表示される。セグメント情報表示ウィ
ンドウ４０３は、部分セグメント列表示部５０１に、セ
グメント映像再生ウィンドウ４０１で再生中の再生セグ
メントの範囲を示す開始フレーム４０３ａおよび終了フ
レーム４０３ｂのフレーム対を表示し、再生セグメント
を代表するフレームが指定されている場合、代表フレー
ム表示部５０２に該当するフレームを代表フレーム４０
３ｃ（ただし、図７では代表フレームが指定されていな
い場合を示し、代表フレーム４０３ｃの位置のみを点線
で示す）として表示するものであり、本発明のセグメン
ト情報表示手段に相当する。The segment video playback window 40
1 is displayed and the display screen 1 of the display device 206 is displayed at the same time.
A segment information display window 403 as shown in FIG. The segment information display window 403 displays a frame pair of a start frame 403a and an end frame 403b indicating the range of the playback segment being played back in the segment video playback window 401 on the partial segment row display unit 501, and a frame representing the playback segment. Is designated, the frame corresponding to the representative frame display unit 502 is displayed in the representative frame 40.
3c (however, FIG. 7 shows a case where a representative frame is not designated, only the position of the representative frame 403c is indicated by a dotted line), and corresponds to the segment information display means of the present invention.
【００５５】また、セグメント情報表示ウィンドウ４０
３は、再生セグメントが複数の部分セグメントを有する
場合、図８に示すように、部分セグメント列表示部５０
１に、それぞれの部分セグメント４０４ａ〜４０４ｅの
開始フレーム４０３ａおよび終了フレーム４０３ｂをフ
レーム対にして表示する。また、それぞれの部分セグメ
ント４０４ａ〜４０４ｅを代表するフレームが指定され
ている場合には、該当するフレームをそれぞれの部分セ
グメントの代表フレーム４０３ａとしてそれぞれの部分
セグメント４０４ａ〜４０４ｅの表示行に合わせて代表
フレーム表示部５０２に表示する。また、このとき、そ
れぞれの部分セグメント４０４ａ〜４０４ｅのフレーム
対を表示する際に、開始時刻順に並べて表示する。The segment information display window 40
3, when the playback segment has a plurality of partial segments, as shown in FIG.
1, a start frame 403a and an end frame 403b of each of the partial segments 404a to 404e are displayed as a frame pair. When a frame representing each of the partial segments 404a to 404e is designated, the corresponding frame is set as a representative frame 403a of each of the partial segments, and the representative frame is set to the display row of each of the partial segments 404a to 404e. It is displayed on the display unit 502. Also, at this time, when displaying the frame pairs of the respective partial segments 404a to 404e, they are displayed in order of the start time.
【００５６】なお、図８では開始フレーム４０３ａおよ
び終了フレーム４０３ｂを行方向に並べて配置している
が、列方向に並べて配置しても良い、ただし、この場合
には、代表フレーム４０３ａはそれぞれの部分セグメン
ト４０４ａ〜４０４ｅの表示列に合わせて表示する。In FIG. 8, the start frame 403a and the end frame 403b are arranged side by side in the row direction, but they may be arranged side by side in the column direction. The display is performed in accordance with the display columns of the segments 404a to 404e.
【００５７】また、セグメント映像再生ウィンドウ４０
１および再生操作ウィンドウ４０２を介して目的フレー
ムが指定されると、表示装置２０６の表示画面１０２上
には、図９に示すような、連続フレーム表示ウィンドウ
４０５が表示される。連続フレーム表示ウィンドウ４０
５は、再生操作ウィンドウ４０２上の所定キーが操作さ
れたタイミングでフレームを特定し、特定したフレーム
４０５ａを中心とする所定数の連続フレームを一列に並
べて表示するものであり、本発明の連続フレーム表示手
段に相当する。なお、図９では、所定数の連続フレーム
として９個の連続するフレームを一列に並べて表示した
例を示すが、この数は特に限定するものではなく、オペ
レータが必要に応じて適宜変更可能なものとする。ま
た、特定したフレーム４０５ａの上部には他のフレーム
と区別するために識別バー４０５ｂが表示されている。The segment video playback window 40
When the target frame is designated through the “1” and the reproduction operation window 402, a continuous frame display window 405 is displayed on the display screen 102 of the display device 206 as shown in FIG. Continuous frame display window 40
Reference numeral 5 denotes a frame that is specified at a timing when a predetermined key on the reproduction operation window 402 is operated, and a predetermined number of continuous frames centered on the specified frame 405a are displayed in a line. It corresponds to display means. Note that FIG. 9 shows an example in which nine continuous frames are displayed in a line as a predetermined number of continuous frames, but this number is not particularly limited, and the number can be appropriately changed as needed by an operator. And An identification bar 405b is displayed above the specified frame 405a to distinguish it from other frames.
【００５８】また、連続フレーム表示ウィンドウ４０５
には、特定したフレーム４０５ａを中心とする所定数の
連続フレームを一列に並べて表示した後、表示する連続
フレームをスクロールするためのスクロールバー４０５
ｃが設けられており、このスクロールバー４０５ｃを操
作することにより、再生セグメントの範囲内（換言すれ
ば、再生セグメントの開始フレームから終了フレームの
間）で連続フレームとして表示するフレームを変更する
ことができる。The continuous frame display window 405
After displaying a predetermined number of continuous frames centered on the specified frame 405a in a line, a scroll bar 405 for scrolling the displayed continuous frames is displayed.
By operating the scroll bar 405c, it is possible to change the frame displayed as a continuous frame within the range of the playback segment (in other words, between the start frame and the end frame of the playback segment). it can.
【００５９】また、連続フレーム表示ウィンドウ４０５
で表示されている連続フレームの中から部分セグメント
を代表する代表フレームを指定する代表フレーム指定手
段（図示せず）を備えている。この代表フレーム指定手
段としては、専用のボタンを設けても良い。この場合に
は、所望のフレームを指定した後、該当するボタンをク
リックすることで容易に代表フレームの指定を行うこと
ができる。また、連続フレーム表示ウィンドウ４０５で
表示する連続フレームをアイコン化しておき、所望のフ
レームをドラッグ＆ドロップで同一表示画面上にマルチ
ウィンドウで表示されているセグメント情報表示ウィン
ドウ４０３にプロットして代表フレーム４０３ｃとして
指定することもできる。このとき、セグメント情報表示
ウィンドウ４０３は、代表フレーム指定手段で代表フレ
ームが指定されると、該当するフレームをセグメントの
代表フレーム４０３ｃとして部分セグメントの表示行
（または表示列）に合わせて表示する。The continuous frame display window 405
And a representative frame designating means (not shown) for designating a representative frame representing a partial segment from among the continuous frames indicated by. A dedicated button may be provided as the representative frame designating means. In this case, after designating a desired frame, a representative frame can be easily designated by clicking a corresponding button. The continuous frame displayed in the continuous frame display window 405 is iconified, and a desired frame is plotted in the segment information display window 403 displayed in a multi-window on the same display screen by dragging and dropping to represent the representative frame 403c. Can also be specified as At this time, when the representative frame is specified by the representative frame specifying means, the segment information display window 403 displays the corresponding frame as the representative frame 403c of the segment along with the display row (or display column) of the partial segment.
【００６０】オペレータは、連続フレーム表示ウィンド
ウ４０５で表示されている連続フレームの中にセグメン
トの分割点となるフレームが存在する場合、該当するフ
レームを分割フレームとして選択する。このとき分割フ
レームを選択するために分割点選択手段を用いる。分割
点選択手段としては、例えば、図９の連続フレーム表示
ウィンドウ４０５中に専用の分割点選択ボタン４０６を
設けても良い。この場合、所望のフレームを選択した
後、分割点選択ボタン４０６をクリックすることで、分
割フレームの選択を容易に実現できる。When a frame serving as a segment dividing point exists in the continuous frames displayed in the continuous frame display window 405, the operator selects the corresponding frame as the divided frame. At this time, a division point selection unit is used to select a division frame. As the division point selection means, for example, a dedicated division point selection button 406 may be provided in the continuous frame display window 405 of FIG. In this case, selection of a divided frame can be easily realized by clicking a division point selection button 406 after selecting a desired frame.
【００６１】以上の構成において、構造編集ソフト２０
８の動作を具体的に説明する。先ず、図５で示した構造
表示ソフト２０９の表示画面上において、構造の再編集
を行う対象となるセグメントをクリック（選択）して手
動構造化アイコン３０５をクリックすると、構造編集ソ
フト２０８が起動して、セグメント映像再生ウィンドウ
４０１，再生操作ウィンドウ４０２，セグメント情報表
示ウィンドウ４０３および連続フレーム表示ウィンドウ
４０５の準備が行われる。In the above configuration, the structure editing software 20
8 will be specifically described. First, on the display screen of the structure display software 209 shown in FIG. 5, clicking (selecting) a segment whose structure is to be re-edited and clicking the manual structuring icon 305 causes the structure editing software 208 to be activated. Thus, a segment video playback window 401, a playback operation window 402, a segment information display window 403, and a continuous frame display window 405 are prepared.
【００６２】次に、図７に示すように、セグメント情報
表示ウィンドウ４０３の部分セグメント列表示部５０１
の先頭に、当該セグメント全体の範囲を表す開始フレー
ム４０３ａと終了フレーム４０３ｂが表示され、同時に
表示画面上にマルチウィンドウ形式で、セグメント映像
再生ウィンドウ４０１と再生操作ウィンドウ４０２が表
示される。Next, as shown in FIG. 7, the partial segment column display section 501 of the segment information display window 403
At the beginning, a start frame 403a and an end frame 403b representing the entire range of the segment are displayed, and at the same time, a segment video playback window 401 and a playback operation window 402 are displayed in a multi-window format on the display screen.
【００６３】前述したようにセグメント映像再生ウィン
ドウ４０１には、構造表示ソフト２０９の表示画面上で
選択された再生セグメントが再生可能な状態で設定され
ており、再生操作ウィンドウ４０２を介して再生開始を
指示すると再生セグメントの映像を再生する。あるフレ
ームが表示されたタイミングで指示を送ることにより、
映像再生が一時的に停止し、同時に連続フレーム表示ウ
ィンドウ４０５に目的フレームを中心としてその前後の
一連の連続フレームがフィルムのように表示される。な
お、この目的フレームの指示は、キーボード２０４のボ
タンの操作でも、マウスクリックでも、あるいは音声入
力で行うようにしても良い。As described above, in the segment video reproduction window 401, the reproduction segment selected on the display screen of the structure display software 209 is set in a reproducible state, and the reproduction is started via the reproduction operation window 402. When instructed, the video of the reproduction segment is reproduced. By sending an instruction when a certain frame is displayed,
Video playback is temporarily stopped, and at the same time, a series of continuous frames before and after the target frame are displayed in the continuous frame display window 405 like a film. The instruction of the target frame may be performed by operating a button on the keyboard 204, clicking the mouse, or inputting a voice.
【００６４】ところで、連続フレーム表示ウィンドウ４
０５に表示される目的フレームは、オペレータの指示動
作の機敏さ（換言すれば、オペレータが視認してから指
示を出すまでの反応性）に応じて、ずれが発生する。こ
のずれ量を無視して、指示されたタイミングで連続フレ
ーム表示ウィンドウ４０５に目的フレームを表示する
と、オペレータが所望したフレームと表示された目的フ
レームは常にずれていることになる。このため、指示の
発せられたタイミングで特定されたフレームよりも、実
際に表示するフレームは所定量前のフレームとし、その
量を調整可能として最適化を図るようにしても良い。By the way, the continuous frame display window 4
A shift occurs in the target frame displayed in 05 according to the agility of the instruction operation of the operator (in other words, the reactivity from the visual recognition of the operator to the issuing of the instruction). When the target frame is displayed in the continuous frame display window 405 at the designated timing, ignoring this shift amount, the frame desired by the operator and the displayed target frame are always shifted. For this reason, the frame to be actually displayed may be a frame that is a predetermined amount earlier than the frame specified at the timing when the instruction is issued, and the amount may be adjusted so as to optimize the frame.
【００６５】続いて、オペレータは、必要に応じてスク
ロールバー４０５ｃを操作して連続フレーム表示ウィン
ドウ４０５に表示された連続フレームをスクロールさせ
て、分割点に相応しいと思われるフレーム（分割フレー
ム）を探す。Subsequently, the operator operates the scroll bar 405c as necessary to scroll the continuous frames displayed in the continuous frame display window 405, and searches for a frame (divided frame) which is considered to be suitable for the division point. .
【００６６】連続フレーム表示ウィンドウ４０５上に分
割点に相応しいフレームが見つかった場合、所望のフレ
ームを選択した後、分割点選択ボタン４０６をクリック
することで分割フレームとして選択する。この場合に選
択するフレームは、映像のシーンが変化するフレーム
や、登場する話者が代わるフレームなどの分割候補とな
るフレームである。When a frame suitable for a division point is found on the continuous frame display window 405, a desired frame is selected, and then a division point selection button 406 is clicked to select the frame as a division frame. The frame selected in this case is a frame that is a candidate for division, such as a frame in which the scene of the video changes or a frame in which the appearing speaker changes.
【００６７】分割フレームが選択されると、セグメント
情報表示ウィンドウ４０３は、選択された分割フレーム
に基づいて再生セグメントを２分割し、再生セグメント
の開始フレーム側を第１部分セグメントとして生成し、
再生セグメントの終了フレーム側を第２部分セグメント
として生成し、第１部分セグメントおよび第２部分セグ
メントのそれぞれの開始フレームおよび終了フレームを
表示する。なお、再生セグメントが複数の部分セグメン
トを有する場合には、再生セグメントの２分割に代え
て、選択された分割フレームを含む部分セグメントを２
分割し、部分セグメントの開始フレーム側を第１部分セ
グメントとして生成し、部分セグメントの終了フレーム
側を第２部分セグメントとして生成し、第１部分セグメ
ントおよび第２部分セグメントのそれぞれの開始フレー
ムおよび終了フレームを表示する。When a divided frame is selected, the segment information display window 403 divides the reproduction segment into two based on the selected division frame, generates the start frame side of the reproduction segment as a first partial segment,
The end frame side of the playback segment is generated as a second partial segment, and the start frame and end frame of the first partial segment and the second partial segment are displayed. When the playback segment has a plurality of partial segments, the partial segment including the selected divided frame is replaced by two instead of dividing the playback segment into two.
Dividing, generating the first frame side of the partial segment as the first partial segment, generating the end frame side of the partial segment as the second partial segment, and respectively starting and ending the first and second partial segments. Is displayed.
【００６８】具体的には、たとえば、図９において、フ
レーム番号ＩＤ：５３３で示されるフレームを分割フレ
ームとして選択すると、当初、図７のセグメント情報表
示ウィンドウ４０３に表示されていた１つのセグメント
（開始フレームのフレーム番号ＩＤ：５００、終了フレ
ームのフレーム番号ＩＤ：９９９）は、フレーム番号Ｉ
Ｄ：５３３の分割フレームによって分割され、図１０に
示すように、フレーム番号ＩＤ：５００の開始フレーム
と分割フレームの直前のフレーム番号ＩＤ：５３２の終
了フレームによって表される前半部の部分セグメント
（第１部分セグメント）と、分割フレームと同じフレー
ム番号ＩＤ：５３３の開始フレームとフレーム番号Ｉ
Ｄ：９９９の終了フレームとによって表される後半部の
部分セグメント（第２部分セグメント）が表示される。
これによって、選択した分割フレームによって１つのセ
グメント（または部分セグメント）が２つに分割された
ことになる。Specifically, for example, in FIG. 9, when a frame indicated by frame number ID: 533 is selected as a divided frame, one segment (starting) initially displayed in the segment information display window 403 in FIG. The frame number ID of the frame: 500, the frame number ID of the end frame: 999) is the frame number I.
As illustrated in FIG. 10, the first half segment (the first segment) represented by the start frame of the frame number ID: 500 and the end frame of the frame number ID: 532 immediately before the divided frame is divided as shown in FIG. 1 segment), the start frame having the same frame number ID: 533 as the divided frame, and the frame number I
A second half segment (second segment) represented by the D: 999 end frame is displayed.
As a result, one segment (or partial segment) is divided into two by the selected divided frame.
【００６９】また、このようにして生成した部分セグメ
ントに対して、部分セグメントの内容を最も良く表現し
ている代表フレームを選択する場合、連続フレーム表示
ウィンドウ４０５に表示されている連続フレームのアイ
コンから代表フレームにしたいフレームのアイコンをセ
グメント情報表示ウィンドウ４０３の代表フレーム表示
部５０２の任意の位置にプロットすると、当該フレーム
が属する部分セグメントの代表フレーム４０３ｃとして
表示される。たとえば、開始フレーム（フレーム番号Ｉ
Ｄ：５００）と終了フレーム（フレーム番号ＩＤ：５３
２）で表される部分セグメントの代表フレームとしてフ
レーム番号：５２４のフレームをセグメント情報表示ウ
ィンドウ４０３の代表フレーム表示部５０２の任意の位
置にプロットすると、図１１に示すように、フレーム番
号：５２４のフレームを部分セグメントの代表フレーム
４０３ａとして該当する部分セグメントの表示行に合わ
せて表示する。When a representative frame that best represents the content of the partial segment is selected for the partial segment generated in this way, the icon of the continuous frame displayed in the continuous frame display window 405 is selected. When the icon of the frame desired to be the representative frame is plotted at an arbitrary position in the representative frame display section 502 of the segment information display window 403, it is displayed as the representative frame 403c of the partial segment to which the frame belongs. For example, the start frame (frame number I
D: 500) and the end frame (frame number ID: 53)
When the frame of the frame number: 524 is plotted at an arbitrary position of the representative frame display section 502 of the segment information display window 403 as the representative frame of the partial segment represented by 2), as shown in FIG. The frame is displayed as the representative frame 403a of the partial segment along with the display line of the corresponding partial segment.
【００７０】その後、セグメント映像再生ウィンドウ４
０１，再生操作ウィンドウ４０２，セグメント情報表示
ウィンドウ４０３，連続フレーム表示ウィンドウ４０５
および分割点選択ボタン４０６等を用いて、上記の作業
を繰り返すことにより、図８に示したように、セグメン
ト情報表示ウィンドウ４０３の部分セグメント列表示部
５０１に部分セグメント４０４ａ〜４０４ｅのフレーム
対が表示され、また、代表フレーム表示部５０２にそれ
ぞれの代表フレームが表示される。Thereafter, the segment video reproduction window 4
01, playback operation window 402, segment information display window 403, continuous frame display window 405
By repeating the above operation using the division point selection button 406 and the like, the frame pairs of the partial segments 404a to 404e are displayed on the partial segment row display portion 501 of the segment information display window 403 as shown in FIG. The representative frame is displayed on the representative frame display section 502.
【００７１】前述したように再生セグメントの手動によ
る構造化が終了すると、図５に示した構造表示ソフト２
０９の表示画面１０２に戻って、セグメント情報表示ウ
ィンドウ４０３で生成した部分セグメントの構造を映像
ストリームの階層構造に反映させるか否かを指定する。
図５において、適用ＯＮ／ＯＦＦアイコン３０６をＯＮ
状態にすると、セグメント情報表示ウィンドウ４０３で
生成した部分セグメントの構造を映像ストリームの階層
構造に反映する。一方、適用ＯＮ／ＯＦＦアイコン３０
６をＯＦＦ状態にすると、部分セグメントの構造は映像
ストリームの階層構造に反映されずに元の状態のままと
なる。When the manual segmentation of the playback segment is completed as described above, the structure display software 2 shown in FIG.
Returning to the display screen 102 at 09, the user specifies whether or not to reflect the structure of the partial segment generated in the segment information display window 403 on the hierarchical structure of the video stream.
In FIG. 5, the application ON / OFF icon 306 is turned ON.
In this state, the structure of the partial segment generated in the segment information display window 403 is reflected on the hierarchical structure of the video stream. On the other hand, the application ON / OFF icon 30
When 6 is set to the OFF state, the structure of the partial segment is not reflected in the hierarchical structure of the video stream and remains in the original state.
【００７２】たとえば、図５において、３０７で示すセ
グメントが再生セグメントとして選択された状態で、手
動による構造化が実行されて最終的に図８に示す５つの
部分セグメントが生成されたものとする。この場合に、
適用ＯＮ／ＯＦＦアイコン３０６をＯＮ状態にして、セ
グメント情報表示ウィンドウ４０３で生成した部分セグ
メントの構造を映像ストリームの階層構造に反映する
と、映像ストリームの階層構造は、図１２に示すよう
に、部分セグメント３０８が反映された階層構造として
表示される。For example, in FIG. 5, it is assumed that manual structuring is performed and the five partial segments shown in FIG. 8 are finally generated in a state where the segment indicated by 307 is selected as a reproduction segment. In this case,
When the application ON / OFF icon 306 is set to the ON state and the structure of the partial segment generated in the segment information display window 403 is reflected on the hierarchical structure of the video stream, the hierarchical structure of the video stream becomes as shown in FIG. 308 is displayed as a hierarchical structure in which it is reflected.
【００７３】なお、実施の形態１では、適用ＯＮ／ＯＦ
Ｆアイコン３０６を構造表示ソフト２０９の表示画面１
０２上に配置し、生成した部分セグメントの構造を映像
ストリームの階層構造に反映するか否かのみを選択可能
としたが、たとえば、セグメント情報表示ウィンドウ４
０３に、各部分セグメント毎にその構造を全体の階層構
造に反映させるか否かをマーク等を付けて指定する機能
を付加し、必要な部分セグメントの構造だけを全体の階
層構造に反映するようにしても良い。このような機能を
付加することにより、より目的にあった付加価値の高い
構造の生成が可能となる。一例として、再生セグメント
が講義記録ビデオである場合を例とすると、その内容の
構造化を想定した際に、必要な部分として講義部分の録
画、不要な部分として休憩部分の録画が考えられる。こ
のとき、必要な構造として講義部分だけを表すために有
効な機能となる。In the first embodiment, the applied ON / OF
The F icon 306 is displayed on the display screen 1 of the structure display software 209.
02, it is possible to select only whether or not to reflect the structure of the generated partial segment in the hierarchical structure of the video stream.
03, a function is added for designating whether or not to reflect the structure in the entire hierarchical structure for each partial segment by marking or the like, so that only the structure of the necessary partial segment is reflected in the entire hierarchical structure. You may do it. By adding such a function, it is possible to generate a structure having a higher added value that is more suitable for the purpose. As an example, assuming that the playback segment is a lecture recording video, assuming that the content is structured, recording of a lecture portion as a necessary portion and recording of a break portion as an unnecessary portion can be considered. At this time, this is an effective function for expressing only the lecture part as a necessary structure.
【００７４】前述したように実施の形態１の映像構造編
集装置によれば、構造の中の１つのセグメント範囲に注
目し、その内部の構造を手動で簡単に作成することがで
きる。また、セグメント映像再生ウィンドウ４０１，再
生操作ウィンドウ４０２，セグメント情報表示ウィンド
ウ４０３，連続フレーム表示ウィンドウ４０５および分
割点選択ボタン４０６等を用いて、セグメント内部の分
割点（分割フレーム）や代表フレームを選択し、分割点
によって生成された部分セグメントの範囲と選択した代
表フレームとをチェックしながらセグメント内部の構造
を作成する操作は、直感的で分かりやすく、使い勝手が
良い。As described above, according to the video structure editing apparatus of the first embodiment, attention can be paid to one segment range in the structure, and the internal structure can be easily created manually. Further, a division point (division frame) or a representative frame within the segment is selected using the segment video reproduction window 401, the reproduction operation window 402, the segment information display window 403, the continuous frame display window 405, the division point selection button 406, and the like. The operation of creating the internal structure of the segment while checking the range of the partial segment generated by the division point and the selected representative frame is intuitive, easy to understand, and convenient.
【００７５】また、前述したように映像を再生しながら
目的のフレームをおおまかに選択した後、一連の連続フ
レームを表示して、フィルムをチェックするようにその
フレームの周辺の変化を確認することで、目的のフレー
ム（分割フレーム）が視覚的、直感的に即座に特定、選
択できる。すなわち、セグメント映像再生ウィンドウ４
０１ではおおまかな変化を、連続フレーム表示ウィンド
ウ４０５では詳細な変化をチェックすることができる。As described above, after a target frame is roughly selected while reproducing an image, a series of continuous frames is displayed, and changes around the frame are checked as if checking a film. The target frame (divided frame) can be immediately identified and selected visually and intuitively. That is, segment video playback window 4
01, a rough change can be checked, and in the continuous frame display window 405, a detailed change can be checked.
【００７６】また、連続フレーム表示ウィンドウ４０５
に表示するフレームをアイコン化した場合には、選択し
たフレームのアイコンをそのままセグメント情報表示ウ
ィンドウ４０３の部分セグメント列表示部５０１にプロ
ットすることで、そのセグメントの分割点を簡単に指示
することができる。換言すれば、フレームを特定するの
に再生フレーム番号やタイムコードを指定することな
く、視覚的、直感的に操作できるので操作性の向上を図
ることができる。さらに、部分セグメント列表示部５０
１の任意の位置にプロットするだけで、そのフレームを
含む部分セグメントの分割が自動的に行えるので操作性
が良い。The continuous frame display window 405
When the frame to be displayed is iconified, the icon of the selected frame is plotted as it is on the partial segment row display unit 501 of the segment information display window 403, so that the division point of the segment can be easily specified. . In other words, the operation can be performed visually and intuitively without specifying a reproduction frame number or a time code for specifying a frame, so that operability can be improved. Further, a partial segment column display section 50
By simply plotting at an arbitrary position in 1, the partial segment including that frame can be automatically divided, so that operability is good.
【００７７】同様に、選択したフレームのアイコンをそ
のまま代表フレーム表示部５０２にプロットすること
で、そのフレームを含む部分セグメントの代表フレーム
を作成できる。換言すれば、フレームを特定するのに再
生フレーム番号やタイムコードを指定するのではなく、
視覚的、直感的に操作できるので操作性の向上を図るこ
とができる。さらに、代表フレーム表示部５０２の任意
の位置にプロットするだけで、そのフレームを含む部分
セグメントが自動的に特定され、その行に対応して当該
フレームが代表フレームとして表示されるので操作性が
良い。Similarly, by plotting the icon of the selected frame on the representative frame display section 502 as it is, a representative frame of a partial segment including that frame can be created. In other words, instead of specifying a playback frame number or time code to identify a frame,
Since the operation can be performed visually and intuitively, the operability can be improved. Further, by simply plotting at an arbitrary position on the representative frame display unit 502, a partial segment including the frame is automatically specified, and the frame is displayed as a representative frame corresponding to the line, so that operability is good. .
【００７８】実施の形態２．実施の形態２の映像構造編
集装置は、実施の形態１の映像構造編集装置と同様の構
成において、さらにセグメント情報表示ウィンドウ４０
３の機能として、部分セグメントの生成（すなわち、セ
グメントの分割）に加えて、さらに生成されている部分
セグメント間の分割点を削除して部分セグメント同士を
統合する機能と、生成されている代表フレームを削除す
る機能とを追加したものである。なお、基本的な構成お
よび動作は実施の形態１と同様につき、ここでは異なる
部分のみを説明する。Embodiment 2 The video structure editing apparatus according to the second embodiment has the same configuration as the video structure editing apparatus according to the first embodiment, and further includes a segment information display window 40
The third function is, in addition to the generation of the partial segments (that is, the division of the segments), the function of deleting the division points between the generated partial segments to integrate the partial segments, and the representative frame being generated. And a function to delete the. The basic configuration and operation are the same as those in the first embodiment, and only different portions will be described here.
【００７９】図１３〜図１６は、実施の形態２のセグメ
ント情報表示ウィンドウ４０３を示し、図示の如く、部
分セグメントの削除／代表フレームの削除を指定する削
除ボタン６０１と、部分セグメントの削除の取り消し／
代表フレームの削除の取り消しを指定する取り消しボタ
ン６０２と、削除状態の表示・非表示を切り換える表示
・非表示ボタン６０３と、が設けられている。FIGS. 13 to 16 show a segment information display window 403 according to the second embodiment. As shown, a delete button 601 for specifying deletion of a partial segment / deletion of a representative frame, and cancellation of deletion of a partial segment /
A cancel button 602 for designating cancellation of deletion of a representative frame, and a display / non-display button 603 for switching display / non-display of a deleted state are provided.
【００８０】図１３のセグメント情報表示ウィンドウ４
０３に表示されている複数の部分セグメント４０３ａ〜
４０４ｅのフレーム対のうち、たとえば、部分セグメン
ト４０４ｄの開始フレームアイコンをクリック（選択）
し、削除ボタン６０１を選択すると、図１４のセグメン
ト情報表示ウィンドウ４０３のように、削除が指定され
た開始フレーム（ＩＤ：７７４）およびその開始フレー
ムの直前の終了フレーム（ＩＤ：７７３）が網掛け表示
され、当該部分セグメント４０４ｄが直線の部分セグメ
ント４０４ｃに統合されたことが示される。この場合、
削除された部分セグメント４０４ｄに属する代表フレー
ムは直前の部分セグメント４０４ｃに統合される。ここ
で、取り消しボタン６０２を用いて網掛け部分に取り消
しを指定すると元に戻る。The segment information display window 4 shown in FIG.
03 are displayed.
In the frame pair of 404e, for example, the start frame icon of the partial segment 404d is clicked (selected).
When the delete button 601 is selected, as shown in the segment information display window 403 of FIG. 14, the start frame (ID: 774) designated to be deleted and the end frame (ID: 773) immediately before the start frame are shaded. Is displayed, indicating that the partial segment 404d has been merged into the linear partial segment 404c. in this case,
The representative frame belonging to the deleted partial segment 404d is integrated into the immediately preceding partial segment 404c. Here, when the cancel button 602 is used to designate cancellation in the shaded portion, the process returns to the original state.
【００８１】次に、図１４の状態から代表フレームに対
して削除を指定すると、図１５に示すように、指定され
た代表フレームが網掛け表示となり、削除状態を表す。
ここで、取り消しボタン６０２を用いて網掛け部分に取
り消しを指定すると元に戻る。Next, when the deletion of the representative frame is designated from the state of FIG. 14, the designated representative frame is shaded as shown in FIG. 15, indicating the deleted state.
Here, when the cancel button 602 is used to designate cancellation in the shaded portion, the process returns to the original state.
【００８２】さらに、図１５の状態から表示・非表示ボ
タン６０３を押下すると、網掛け表示されている削除部
分の表示が非表示となり、図１６に示すように、４つの
部分セグメントの表示のみとなる。なお、実施の形態２
では、統合によって１つになった部分セグメントの開始
フレーム（ＩＤ：５９３）と終了フレーム（ＩＤ：７９
２）の間に統合された履歴を示す履歴マーク６０４を表
示する。ここで、再度表示・非表示ボタン６０３を押下
すると、図１６の非表示状態から、元の図１５の表示状
態に戻る。Further, when the display / non-display button 603 is pressed from the state shown in FIG. 15, the display of the deleted portion which is shaded is hidden, and only the display of the four partial segments is performed as shown in FIG. Become. Embodiment 2
Then, the start frame (ID: 593) and the end frame (ID: 79) of the partial segments that have become one by the integration
A history mark 604 indicating the history integrated during 2) is displayed. Here, when the display / non-display button 603 is pressed again, the non-display state of FIG. 16 returns to the original display state of FIG.
【００８３】前述したように実施の形態２によれば、削
除された部分セグメントの分割点（削除された開始フレ
ームおよび終了フレーム）または代表フレームを即座に
削除するのではなく、削除候補として網掛けで表示する
ことで操作の履歴を残し、オペレータの試行錯誤の状態
を分かりやすくしている。たとえば、削除した後、暫く
して、以前どうなっていたかを確認したい場合に、単な
る取り消し操作を提供するだけでは、他の操作も元に戻
ってしまい不便であるが、このように履歴を残すこと
で、セグメント情報表示ウィンドウ４０３を、部分セグ
メントや代表フレームの候補を配置する作業スペースと
して絵の具のパレットのように自在に利用することがで
きる。また、削除状態の非表示は、実際に削除した場合
にどのように見えるかをチェックする場合に有効であ
る。As described above, according to the second embodiment, the division points (deleted start frame and end frame) or the representative frames of the deleted partial segment are not immediately deleted, but are shaded as deletion candidates. The operation history is displayed by displaying the information so that the operator can easily understand the state of trial and error. For example, if you want to check what happened before after a while, if you provide a simple undo operation, it would be inconvenient that other operations would return to their original state, but this would leave a history Thus, the segment information display window 403 can be freely used as a work space for arranging partial segments and representative frame candidates, like a palette of paints. Also, hiding the deleted state is effective in checking how the deleted state looks when actually deleted.
【００８４】実施の形態３．実施の形態３の映像構造編
集装置は、実施の形態１または実施の形態２の映像構造
編集装置と同様の構成において、さらに連続フレーム表
示ウィンドウ４０５の機能として、特定したフレームを
中心とする所定数の連続フレームが表示された直後に行
われたスクロールの方向および量を所定回数分記憶し、
記憶されている所定回数分のスクロールの方向および量
の平均値を当該指定されたタイミングで特定したフレー
ムと実際の所望のフレームとのフレームずれ量として設
定し、指定されたタイミングでフレームを特定する際
に、フレームずれ量の分を補正してフレームを特定する
機能とを追加したものである。なお、基本的な構成およ
び動作は実施の形態１と同様につき、ここでは異なる部
分のみを説明する。Embodiment 3 The video structure editing apparatus according to the third embodiment has the same configuration as the video structure editing apparatus according to the first or second embodiment, and further has a function of a continuous frame display window 405 in which a predetermined number of frames centered on a specified frame is used. The direction and amount of scrolling performed immediately after the display of the consecutive frames are stored a predetermined number of times,
An average value of the stored directions and amounts of scrolling for a predetermined number of times is set as a frame shift amount between the frame specified at the specified timing and the actual desired frame, and the frame is specified at the specified timing. At this time, a function of correcting a frame shift amount and specifying a frame is added. The basic configuration and operation are the same as those in the first embodiment, and only different portions will be described here.
【００８５】図１７は、実施の形態３の連続フレーム表
示ウィンドウ４０５を示す説明図である。実施の形態３
の連続フレーム表示ウィンドウ４０５は、フレームずれ
量を用いた補正を行うか否かを指定するタイミング補正
ボタン４０７を有し、タイミング補正ボタン４０７で補
正を行うことが指定された場合に、フレームずれ量を用
いた補正処理を実行する。FIG. 17 is an explanatory diagram showing a continuous frame display window 405 according to the third embodiment. Embodiment 3
The continuous frame display window 405 has a timing correction button 407 for specifying whether or not to perform correction using the frame shift amount. When the timing correction button 407 specifies that the correction is performed, the frame shift amount The correction process using is performed.
【００８６】タイミング補正ボタン４０７で補正が指定
されると、オペレータがセグメント映像再生ウィンドウ
４０１で再生中の映像に対して指定したタイミングで得
られたフレームと、実際に希望したフレームとの差を調
べるために、フレーム指定の直後に行われたスクロール
の方向と量を所定回数分（たとえば、５回分）記録し、
差の平均をとってタイミングのずれ量を予測し、実際に
得られたフレームからずれ量の予測分を補正して連続フ
レームの中心とすべきフレームを決定する。When the timing is specified by the timing correction button 407, the difference between the frame obtained at the timing specified by the operator for the video being reproduced in the segment video reproduction window 401 and the actually desired frame is checked. For this purpose, the direction and amount of scrolling performed immediately after the frame designation is recorded a predetermined number of times (for example, five times),
The difference in timing is predicted by taking the average of the differences, and the predicted amount of the difference is corrected from the actually obtained frame to determine the frame to be the center of the continuous frames.
【００８７】このように実施の形態３では、連続フレー
ム表示ウィンドウ４０５で中心に配置して表示する目的
フレームに対してタイミング補正を行うので、中心に表
示されるフレームの精度の向上によって、オペレータの
作業性・操作性の向上を図ることができる。As described above, in the third embodiment, the timing correction is performed on the target frame which is arranged and displayed at the center in the continuous frame display window 405. Therefore, by improving the accuracy of the frame displayed at the center, the operator's accuracy can be improved. Workability and operability can be improved.
【００８８】また、オペレータがフレームを指定するタ
イミングは当該フレームの表示より多少遅れるため、オ
ペレータが指定したフレームと、オペレータが希望して
いて実際に中心とすべきフレーム（目的フレーム）の決
定方法は最適化すべきである。実施の形態３では、必要
に応じて決定方法を最適化するための手段を利用可能で
あるので、オペレータの希望にあったフレーム指定が可
能となる。Further, since the timing at which the operator specifies a frame is slightly delayed from the display of the frame, the method of determining the frame specified by the operator and the frame (target frame) desired by the operator and which should be actually centered is as follows. Should be optimized. In the third embodiment, since means for optimizing the determination method can be used as needed, it is possible to specify a frame as desired by the operator.
【００８９】なお、タイミングのずれ量を算出する際の
所定回数としては、オペレータの作業時間または作業量
がどの程度であるかによって、適正な回数が異なってく
る。たとえば、数カ所の部分セグメントを分割する程度
の作業であれば、３〜１０回程度で良いが、一人のオペ
レータが長時間にわたって１つの映像ストリームの構造
化を行う場合には、所定回数として２０回のようにサン
プル数を増加されることにより、個人仕様で最適化を図
ることができる。The appropriate number of times for calculating the amount of timing deviation differs depending on the operation time or amount of work of the operator. For example, if the operation is to divide several partial segments, the number of times may be about 3 to 10 times. However, if one operator performs structuring of one video stream for a long time, the predetermined number of times is 20 times. By increasing the number of samples as described above, optimization can be achieved with personal specifications.
【００９０】ただし、オペレータがフレーム指定の直後
にスクロールを行うのは、必ずしも実際に希望した目的
フレームを連続フレームの中心に移動させる場合のみで
はないため、サンプリングに適さないスクロール動作を
行った場合に、直前のスクロールの方向と量を所定回数
としてサンプリングしないようにキャンセル可能とする
ことにより、さらに信頼性を高めることができる。However, the scrolling performed immediately after the frame designation by the operator is not necessarily performed only when the actually desired target frame is moved to the center of the continuous frame, and therefore, when the scrolling operation which is not suitable for sampling is performed. By making it possible to cancel the sampling by setting the direction and amount of the immediately preceding scroll to a predetermined number, the reliability can be further improved.
【００９１】実施の形態４．実施の形態４の映像構造編
集装置は、実施の形態１〜実施の形態３で示した手動で
構造化を行う際に、予め設定されているアルゴリズムを
用いて映像ストリームの物理的な分割点を自動的に検出
する処理を追加したものである。すなわち、人間が手動
で構造化を行う作業の補助として一部分に分割点の自動
的検出処理を採用するものである。なお、基本的な構成
および動作は実施の形態１〜実施の形態３と同様につ
き、ここでは異なる部分のみを説明する。Embodiment 4 The video structure editing apparatus according to the fourth embodiment, when performing the manual structuring described in the first to third embodiments, uses a preset algorithm to determine a physical division point of the video stream. This is a process to add automatic detection. In other words, automatic detection of a division point is partially adopted as a part of assisting a manual structuring operation by a human. The basic configuration and operation are the same as those of the first to third embodiments, and only different portions will be described here.
【００９２】図１８は、実施の形態４の連続フレーム表
示ウィンドウ４０５を示す説明図である。図示の如く、
実施の形態４の連続フレーム表示ウィンドウ４０５に
は、分割点の自動的検出処理を行うための操作パネル７
０１が設けられている。この操作パネル７０１が実施の
形態４の分割点検出手段に相当する。FIG. 18 is an explanatory diagram showing a continuous frame display window 405 according to the fourth embodiment. As shown
In the continuous frame display window 405 according to the fourth embodiment, an operation panel 7 for performing a process of automatically detecting a division point is provided.
01 is provided. The operation panel 701 corresponds to a division point detecting unit according to the fourth embodiment.
【００９３】操作パネル７０１には、連続フレーム表示
ウィンドウ４０５に表示されている特定したフレームを
基準位置として、映像ストリームの物理的な分割点を検
出する際の検出方向を指定する方向指定手段としての矢
印キー７０２，７０３と、映像ストリームの物理的な分
割点を検出する際に、複数のアルゴリズムの中から使用
するアルゴリズムを選択するためのアルゴリズム選択ボ
タン７０４と、物理的な分割点が複数検出された場合
に、検出された物理的な分割点の総数および現在表示さ
れている物理的な分割点が何番目であるかを示す分割点
情報（表示候補／全候補数）を表示する分割点情報表示
部７０５と、分割点の自動的検出処理を行う範囲（フレ
ーム数）を設定するフレーム範囲設定部７０６と、現在
表示されている分割点を分割フレームとして指定するた
めの指定部（ＯＫ）７０７と、分割点の自動的検出処理
をやり直す場合のリセット（Ｒｅｓｅｔ）７０８と、を
備えている。なお、物理的な分割点が複数検出された場
合に、矢印キー７０２，７０３を操作すると分割点情報
表示部７０５の分割点情報が変化し、何番目の分割点を
表示するかを指定することが可能である。The operation panel 701 has a direction specifying means for specifying a detection direction for detecting a physical division point of a video stream with the specified frame displayed in the continuous frame display window 405 as a reference position. Arrow keys 702 and 703, an algorithm selection button 704 for selecting an algorithm to be used from among a plurality of algorithms when detecting a physical division point of a video stream, and a plurality of physical division points are detected. In this case, division point information indicating the total number of detected physical division points and division point information indicating the number of the currently displayed physical division point (display candidates / total number of candidates) A display unit 705, a frame range setting unit 706 for setting a range (the number of frames) in which automatic detection processing of a division point is performed, and a currently displayed division The designating section for designating a division frame and (OK) 707, and a, a reset (Reset) 708 when again the automatic detection process division point. When a plurality of physical division points are detected, operating the arrow keys 702 and 703 changes the division point information of the division point information display unit 705, and specifies the number of the division point to be displayed. Is possible.
【００９４】操作パネル７０１は、矢印キー７０２，７
０３で指定された検出方向に向かって基準位置から一定
の範囲の連続フレームを対象とし、カット点検出処理ア
ルゴリズムあるいはショット変化検出処理アルゴリズム
等の中から選択されたアルゴリズムを用いて映像ストリ
ームの物理的な分割点を検出する。ここで検出対象とな
る一定の範囲の連続フレームは、フレーム範囲設定部７
０６で設定したフレーム数に基づいて決定される。The operation panel 701 has arrow keys 702, 7
In the detection direction specified in 03, a continuous frame within a certain range from the reference position is targeted, and the physical stream of the video stream is selected using an algorithm selected from among a cut point detection processing algorithm or a shot change detection processing algorithm. Divide points are detected. Here, a continuous range of a certain range to be detected is determined by the frame range setting unit 7.
06 is determined based on the number of frames set.
【００９５】連続フレーム表示ウィンドウ４０５は、操
作パネル７０１の処理によって物理的な分割点が検出さ
れると、検出された物理的な分割点を分割候補点とし、
分割候補点を中心とした所定数の連続フレームを一列に
並べて表示する。このとき、物理的な分割点が複数検出
された場合には、基準位置に最も近い分割候補点を中心
とした所定数の連続フレームを一列に並べて表示すると
共に、分割候補点となるフレームと他のフレームとを区
別可能に表示する。When a physical division point is detected by the processing of the operation panel 701, the continuous frame display window 405 sets the detected physical division point as a division candidate point,
A predetermined number of continuous frames centering on the division candidate points are displayed in a line. At this time, when a plurality of physical division points are detected, a predetermined number of continuous frames centering on the division candidate point closest to the reference position are displayed in a line, and the frame serving as the division candidate point and another frame are displayed. Is displayed so as to be distinguishable from the frame of
【００９６】また、物理的な分割点が複数検出された場
合には、何番目の分割点を表示するかが指定されると、
指定された分割点を中心とした所定数の連続フレームを
一列に並べて表示する。具体的には、矢印キー７０２，
７０３を操作すると矢印キー７０２，７０３の方向およ
び操作回数に応じて、分割点情報表示部７０５の分割点
情報（表示候補／全候補数）の表示候補の数値が変化
し、数値で示される順番の分割候補点が指定され、該当
する分割候補点を中心とした所定数の連続フレームが表
示される。When a plurality of physical division points are detected, the number of division points to be displayed is specified.
A predetermined number of continuous frames centered on the designated division point are displayed in a line. Specifically, the arrow keys 702,
When 703 is operated, the numerical value of the display candidates of the division point information (display candidates / total number of candidates) of the division point information display section 705 changes according to the direction of the arrow keys 702 and 703 and the number of operations, and the order indicated by the numerical values Are designated, and a predetermined number of continuous frames centered on the corresponding division candidate point are displayed.
【００９７】なお、変化点（分割点）を検出するための
処理は特に限定するものではなく、何らかの候補点を見
つけ出すアルゴリズムであれば何でもよい。The process for detecting a change point (division point) is not particularly limited, and may be any algorithm that finds some candidate points.
【００９８】さらに、矢印キー７０２，７０３を指定す
ると、指定方向の次の候補フレーム（分割候補点）を中
心とした連続フレーム表示になり、候補フレームがマー
クをつけて表示される。ここで指定部（ＯＫ）７０７を
指示すると、マークのついた候補フレームを部分セグメ
ントの分割点としてセグメント情報表示ウィンドウ４０
３に表示する。Further, when the arrow keys 702 and 703 are designated, a continuous frame is displayed around the next candidate frame (divided candidate point) in the designated direction, and the candidate frame is displayed with a mark. Here, when the designation unit (OK) 707 is designated, the candidate frame with the mark is set as a division point of the partial segment and the segment information display window 40 is displayed.
3 is displayed.
【００９９】新たに別のアルゴリズムを適用する場合に
は、リセット（Ｒｅｓｅｔ）７０８を指示した後、同様
にアルゴリズム選択ボタン７０４でアルゴリズムを選択
し、矢印キー７０２，７０３で方向を選択する。When another algorithm is to be newly applied, after instructing a reset (Reset) 708, the algorithm is similarly selected by the algorithm selection button 704, and the direction is selected by the arrow keys 702 and 703.
【０１００】人間が意味を考えながら構造化を行う場
合、実施の形態１〜実施の形態３で示した手動のセグメ
ンテーション効果が有効である。画像特徴による映像変
化点探索作業の支援を行うことにより、単純な変化点を
探す手間が大幅に改善され、さらに効率が向上する。カ
ット検出処理や、ショット変化抽出処理だけでなく、あ
る程度時間のかかる処理であっても、それをセグメント
や映像ストリーム全体に対して適用するのではなく、オ
ペレータが指定したフレームの周囲にだけ適用するの
で、処理時間も短く、効率的である。When a human performs structuring while considering the meaning, the manual segmentation effect described in the first to third embodiments is effective. By supporting the video change point search operation using the image feature, the trouble of searching for a simple change point is greatly reduced, and the efficiency is further improved. Not only cut detection processing and shot change extraction processing, but also processing that takes some time, is not applied to the entire segment or video stream, but is applied only around the frame specified by the operator. Therefore, the processing time is short and efficient.
【０１０１】画像特徴による自動セグメンテーションだ
けでは、結果が得られた後に人間のマージ処理や手直し
が必要である。したがって、自動セグメンテーションは
素材テープなどに対しては効果があるが、編集、完成さ
れた映像に対しては内容的な構造化が必要である。これ
に対して、実施の形態４の映像構造編集装置では、手動
の構造化を支援するため、人間が話しの流れを見ながら
指示を出せばあとは自動ででき、非常に有効な構造化の
手段を提供することができる。With only the automatic segmentation based on the image features, it is necessary to perform a human merging process and rework after the result is obtained. Therefore, automatic segmentation is effective for material tapes and the like, but requires content structuring for edited and completed videos. On the other hand, in the video structure editing apparatus according to the fourth embodiment, in order to support manual structuring, if a human gives an instruction while watching the flow of speech, the operation can be automatically performed, and a very effective structuring method can be realized. Means can be provided.
【０１０２】また、実施の形態１〜実施の形態４の映像
構造編集装置の各手段を実現するプログラムは、ハード
ディスク、フロッピーディスク、ＣＤ−ＲＯＭ、ＭＯ、
ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記
録され、コンピュータによって記録媒体から読み出され
ることによって実行される。また、このプログラムは、
上述したような記録媒体を介して配布したり、またはイ
ンターネット等の通信ネットワークを介して配布するこ
とができる。A program for realizing each means of the video structure editing apparatus according to the first to fourth embodiments includes a hard disk, a floppy disk, a CD-ROM, an MO,
The program is recorded on a computer-readable recording medium such as a DVD, and is executed by being read from the recording medium by the computer. This program also
It can be distributed via the recording medium as described above, or can be distributed via a communication network such as the Internet.
【０１０３】[0103]
【発明の効果】以上説明したように、本発明の映像構造
編集装置（請求項１〜３）は、階層構造表示手段で表示
された階層構造の中から任意のセグメントを再生セグメ
ントとして選択すると、セグメント映像再生手段が再生
セグメントで定義された範囲のフレームを再生し、所望
のフレームが再生された際に目的フレームとして指定す
ると、連続フレーム表示手段が指定されたタイミングで
フレームを特定し、特定したフレームを含む所定数の連
続フレームを一列に並べて表示し、セグメント情報表示
手段が再生中の再生セグメントの範囲を示す開始フレー
ムおよび終了フレームを表示すると共に、再生セグメン
トを代表するフレームが指定されている場合に該当する
フレームを代表フレームとして表示し、分割点選択手段
を用いて連続フレームの中からセグメントの分割点とな
る分割フレームを選択すると、セグメント情報表示手段
が、選択された分割フレームに基づいて再生セグメント
を２分割し、再生セグメントの開始フレーム側を第１部
分セグメントとして生成し、再生セグメントの終了フレ
ーム側を第２部分セグメントとして生成し、第１部分セ
グメントおよび第２部分セグメントのそれぞれの開始フ
レームおよび終了フレームを表示し、階層構造表示手段
が、生成された第１部分セグメントおよび第２部分セグ
メントの構造を用いて構造情報を変更し、変更後の構造
情報を用いて映像ストリームの階層構造を表示するた
め、構造化された映像ストリームに対して手動で構造の
再編集を容易に行うことができる映像構造編集装置を提
供することができる。また、人間が手動で映像ストリー
ムを構造化したり、構造化された映像ストリームの構造
を再編集する際に、使い易い支援ツールを提供すること
ができる。As described above, the video structure editing apparatus (claims 1 to 3) of the present invention, when an arbitrary segment is selected as a playback segment from the hierarchical structure displayed by the hierarchical structure display means, When the segment video reproducing means reproduces a frame in the range defined by the reproducing segment and designates it as the target frame when the desired frame is reproduced, the continuous frame display means identifies the frame at the designated timing and identifies the frame. A predetermined number of continuous frames including frames are arranged and displayed in a line, the segment information display means displays a start frame and an end frame indicating the range of the playback segment being played, and a frame representing the playback segment is designated. The corresponding frame is displayed as the representative frame, and the continuous frame is When a segment frame which is a segment dividing point is selected from the programs, the segment information display means divides the playback segment into two based on the selected segment frame, and generates the start frame side of the playback segment as the first partial segment. Then, the end frame side of the playback segment is generated as a second partial segment, the start frame and the end frame of the first partial segment and the second partial segment are displayed, and the hierarchical structure display means displays the generated first partial segment. The structure information is changed using the structure of the segment and the second partial segment, and the hierarchical structure of the video stream is displayed using the changed structure information. Can be provided easily. Further, it is possible to provide an easy-to-use support tool when a human manually structures a video stream or re-edits the structure of the structured video stream.
【０１０４】また、本発明の映像構造編集装置（請求項
４）は、さらに、セグメント情報表示手段に表示された
複数の部分セグメントのフレーム対のうち、任意の部分
セグメントの開始フレームの削除・非削除を指定する開
始フレーム削除・非削除指定手段を備え、セグメント情
報表示手段は、開始フレーム削除・非削除指定手段で削
除が指定されると、削除が指定された開始フレームおよ
びその開始フレームの直前の終了フレームの表示を第１
の表示状態から第２の表示状態に変更して、削除が指定
された開始フレームに対応する部分セグメントとその直
前の部分セグメントとを統合し、開始フレーム削除・非
削除指定手段で非削除が指定されると、非削除が指定さ
れた開始フレームおよびその開始フレームの直前の終了
フレームの表示を第２の表示状態から第１の表示状態に
変更して、統合した部分セグメントを元の２つの部分セ
グメントに戻すため、換言すれば、削除された部分セグ
メントの分割点を即座に削除（消去）するのではなく、
削除候補として第２の表示状態に変更して表示すること
で操作の履歴を残しているため、作業中のオペレータの
試行錯誤の状態を分かりやすくし、操作性・作業性の向
上を図ることができる。Further, the video structure editing apparatus of the present invention (claim 4) further comprises the step of deleting / non-deleting a start frame of an arbitrary partial segment from a plurality of partial segment frame pairs displayed on the segment information display means. A start frame deletion / non-deletion designation unit for designating deletion is provided, and when the deletion is designated by the start frame deletion / non-deletion designation unit, the segment information display unit includes the start frame designated for deletion and the immediately preceding start frame. Display the end frame of the first
Is changed from the display state to the second display state, the partial segment corresponding to the start frame specified to be deleted and the partial segment immediately before it are integrated, and non-deletion is designated by the start frame deletion / non-deletion designation means. Then, the display of the start frame for which non-deletion is specified and the end frame immediately before the start frame are changed from the second display state to the first display state, and the integrated partial segment is changed to the two original parts. In order to revert to the segment, in other words, instead of immediately deleting (erasing) the split points of the deleted partial segments,
Since the operation history is retained by changing the display state to the second display state and displaying it as a deletion candidate, it is possible to easily understand the state of the trial and error of the operator during the work, and to improve the operability and workability. it can.
【０１０５】また、本発明の映像構造編集装置（請求項
５）は、請求項４に記載の映像構造編集装置において、
さらに、開始フレーム削除・非削除指定手段で削除が指
定された開始フレームおよびその直前の終了フレームの
表示・非表示を切り換える表示切換手段を備え、セグメ
ント情報表示手段は、表示切換手段の表示・非表示の切
り換えに応じて、削除が指定された開始フレームおよび
その直前の終了フレームを表示したり、非表示にするた
め、削除状態を非表示にすることで、実際に削除した場
合にどのように見えるかをチェックすることができ、作
業性を行う際の有効な手段を提供することができる。Further, the video structure editing apparatus of the present invention (claim 5) is the video structure editing apparatus according to claim 4,
Further, there is provided display switching means for switching display / non-display of a start frame designated to be deleted by the start frame deletion / non-deletion designation means and an end frame immediately before the start frame, and the segment information display means includes a display / non-display of the display switching means. Depending on the display switching, the start frame specified for deletion and the end frame immediately before it are displayed or hidden, so by deleting the deletion state, It is possible to check whether it is visible, and it is possible to provide an effective means for performing workability.
【０１０６】また、本発明の映像構造編集装置（請求項
６）は、請求項２〜５のいずれか一つに記載の映像構造
編集装置において、再生セグメントが複数の部分セグメ
ントを有する場合、セグメント情報表示手段は、分割点
選択手段で分割フレームが選択されると、選択された分
割フレームを含む部分セグメントを特定した後、選択さ
れた分割フレームに基づいて特定した部分セグメントを
２分割し、特定した部分セグメントの開始フレーム側を
第１部分セグメントとして生成し、特定した部分セグメ
ントの終了フレーム側を第２部分セグメントとして生成
し、第１部分セグメントおよび第２部分セグメントのそ
れぞれの開始フレームおよび終了フレームを表示するた
め、再生セグメントが複数の部分セグメントを有する場
合でも、分割点を選択するだけで、後は自動で該当する
部分セグメントを適切に分割することができる。In the video structure editing apparatus according to the present invention (claim 6), when the playback segment has a plurality of partial segments in the video structure editing apparatus according to any one of claims 2 to 5, When a division frame is selected by the division point selection means, the information display means specifies a partial segment including the selected division frame, divides the specified partial segment into two based on the selected division frame, and specifies The start frame side of the specified partial segment is generated as a first partial segment, the end frame side of the specified partial segment is generated as a second partial segment, and the start frame and end frame of the first partial segment and the second partial segment, respectively. Is displayed even if the playback segment has multiple sub-segments. Just-option, after the can appropriately divide the partial segments corresponding automatically.
【０１０７】また、本発明の映像構造編集装置（請求項
７）は、連続フレーム表示手段で、特定したフレームを
中心とする所定数の連続フレームを一列に並べて表示し
た後、表示する連続フレームを再生セグメントの範囲内
でスクロールして変更させることが可能であるため、分
割点の選択作業を容易に行うことができる。Further, in the video structure editing apparatus according to the present invention, the continuous frame display means displays a predetermined number of continuous frames centered on the specified frame in a line, and then displays the continuous frames to be displayed. Since the scroll segment can be changed within the range of the reproduction segment, the operation of selecting the division point can be easily performed.
【０１０８】また、本発明の映像構造編集装置（請求項
８または９）は、連続フレーム表示手段が、特定したフ
レームを中心とする所定数の連続フレームが表示された
直後に行われたスクロールの方向および量を所定回数分
記憶し、記憶されている所定回数分のスクロールの方向
および量の平均値を指定されたタイミングで特定したフ
レームと実際の所望のフレームとのフレームずれ量とし
て設定し、指定されたタイミングでフレームを特定する
際に、フレームずれ量の分を補正してフレームを特定す
るため、中心に表示されるフレームの精度の向上によっ
て、オペレータの作業性・操作性の向上を図ることがで
きる。Further, according to the video structure editing apparatus of the present invention (claim 8 or 9), the continuous frame display means performs scrolling performed immediately after a predetermined number of continuous frames centered on the specified frame are displayed. The direction and amount are stored for a predetermined number of times, and the average value of the stored scroll direction and amount for the predetermined number of times is set as a frame shift amount between the frame specified at the designated timing and the actual desired frame, When specifying a frame at a specified timing, the amount of frame shift is corrected to specify the frame. Therefore, by improving the accuracy of the frame displayed at the center, the workability and operability of the operator are improved. be able to.
【０１０９】また、本発明の映像構造編集装置（請求項
１０）は、連続フレーム表示手段で表示されている連続
フレームの中から部分セグメントを代表する代表フレー
ムを指定する代表フレーム指定手段を備え、セグメント
情報表示手段は、代表フレーム指定手段で代表フレーム
が指定されると、該当するフレームを部分セグメントの
代表フレームとしてセグメントの表示行または表示列に
合わせて表示するため、各部分セグメントの代表フレー
ムの指定を簡単な操作で行える。また、各部分セグメン
トと代表フレームを視覚的に良いに認識しながら、作業
を行うことができる。Further, the video structure editing apparatus according to the present invention (claim 10) comprises a representative frame designating means for designating a representative frame representing a partial segment from the continuous frames displayed by the continuous frame display means, When the representative frame is designated by the representative frame designating means, the segment information display means displays the corresponding frame as the representative frame of the partial segment in accordance with the display row or display column of the segment. Specification can be done with simple operations. In addition, the work can be performed while visually recognizing each partial segment and the representative frame.
【０１１０】また、本発明の映像構造編集装置（請求項
１１）は、さらに、セグメント情報表示手段で表示され
ている代表フレームの削除または非削除を指定する削除
・非削除指定手段を備え、セグメント情報表示手段は、
削除・非削除指定手段で削除が指定された代表フレーム
の表示を第１の表示状態から第２の表示状態に変更し、
削除・非削除指定手段で非削除が指定された代表フレー
ムの表示を第２の表示状態から第１の表示状態に変更す
るため、換言すれば、削除された代表フレームを即座に
削除（消去）するのではなく、削除候補として第２の表
示状態に変更して表示することで操作の履歴を残してい
るため、作業中のオペレータの試行錯誤の状態を分かり
やすくし、操作性・作業性の向上を図ることができる。Further, the video structure editing apparatus of the present invention (claim 11) further comprises a deletion / non-deletion designation means for designating deletion or non-deletion of the representative frame displayed on the segment information display means. The information display means is
Changing the display of the representative frame designated to be deleted by the deletion / non-deletion specifying means from the first display state to the second display state;
In order to change the display of the representative frame for which non-deletion has been designated by the deletion / non-deletion designation means from the second display state to the first display state, in other words, the deleted representative frame is immediately deleted (erased). Instead, the operation history is retained by changing to the second display state and displaying it as a deletion candidate, so that the operator in operation can easily understand the trial and error state, and the operability and workability are improved. Improvement can be achieved.
【０１１１】また、本発明の映像構造編集装置（請求項
１２）は、さらに、削除・非削除指定手段で削除が指定
された代表フレームの表示・非表示を切り換える切換手
段を備え、セグメント情報表示手段は、切換手段の表示
・非表示の切り換えに応じて、削除が指定された代表フ
レームを表示したり、非表示にするため、削除状態を非
表示にすることで、実際に削除した場合にどのように見
えるかをチェックすることができ、作業性を行う際の有
効な手段を提供することができる。Further, the video structure editing apparatus of the present invention (claim 12) further comprises switching means for switching display / non-display of the representative frame designated to be deleted by the deletion / non-deletion designation means, and further comprising segment information display. The means displays or hides the representative frame designated for deletion in accordance with the switching of the display / non-display of the switching means. It can check how it looks and can provide an effective means for performing workability.
【０１１２】また、本発明の映像構造編集装置（請求項
１３〜１６）は、分割点選択手段が、連続フレーム表示
手段に表示されている特定したフレームを基準位置とし
て、映像ストリームの物理的な分割点を検出する際の検
出方向を指定する方向指定手段と、方向指定手段で指定
された検出方向に向かって基準位置から一定の範囲の連
続フレームを対象とし、予め設定されているアルゴリズ
ムを用いて映像ストリームの物理的な分割点を検出する
分割点検出手段と、連続フレーム表示手段に表示されて
いる連続フレームの中から分割点となる分割フレームを
指定するための分割フレーム指定手段と、を備え、連続
フレーム表示手段は、分割点検出手段で物理的な分割点
が検出されると、物理的な分割点を分割候補点とし、分
割候補点を中心とした所定数の連続フレームを一列に並
べて表示するため、単純な変化点を探す手間が大幅に改
善され、さらに効率が向上する。また、ある程度時間の
かかる処理であっても、それをセグメントや映像ストリ
ーム全体に対して適用するのではなく、指定したフレー
ムの周囲にだけ適用するので、処理時間も短く、効率的
である。さらに、手動の構造化を支援することができ、
人間が話しの流れを見ながら指示を出せばあとは自動で
できるので、非常に有効な構造化の手段を提供すること
ができる。Further, in the video structure editing apparatus of the present invention (claims 13 to 16), the division point selecting means sets the specified frame displayed on the continuous frame display means as a reference position and sets the physical position of the video stream as a reference position. A direction designating unit for designating a detection direction when detecting a division point, and using a preset algorithm for a continuous frame within a certain range from a reference position toward the detection direction designated by the direction designating unit. Division point detection means for detecting a physical division point of the video stream, and division frame designation means for designating a division frame to be a division point from among the continuous frames displayed on the continuous frame display means. When a physical division point is detected by the division point detection means, the continuous frame display means sets the physical division point as a division candidate point, and And for displaying in a row a predetermined number of consecutive frames, a simple effort to find a change point is greatly improved, further efficiency can be improved. Further, even if the processing takes a certain amount of time, it is not applied to the segment or the entire video stream, but is applied only around the designated frame, so that the processing time is short and efficient. In addition, it can help with manual structuring,
If humans give instructions while watching the flow of the conversation, the rest can be done automatically, providing a very effective means of structuring.
【０１１３】また、本発明の記録媒体（請求項１７）
は、請求項１〜１６のいずれか一つに記載された各手段
をコンピュータに実行させるプログラムを記録したた
め、そのプログラムを機械読み取り可能となり、請求項
１〜１６の動作をコンピュータによって実現することが
可能な記録媒体を得られるという効果を奏する。The recording medium of the present invention (claim 17)
Records a program for causing a computer to execute each means described in any one of claims 1 to 16, so that the program can be machine-readable, and the operations of claims 1 to 16 can be realized by a computer. There is an effect that a possible recording medium can be obtained.
【図１】実施の形態１の映像構造編集装置の一例を示す
概略構成図である。FIG. 1 is a schematic configuration diagram illustrating an example of a video structure editing device according to a first embodiment.
【図２】図１に示したコンピュータのブロック構成図で
ある。FIG. 2 is a block diagram of the computer shown in FIG. 1;
【図３】実施の形態１の映像構造編集装置で使用する構
造情報の構造例について説明する。FIG. 3 illustrates a structure example of structure information used in the video structure editing device according to the first embodiment.
【図４】実施の形態１の構造表示ソフトによる構造情報
の表示例を示す説明図である。FIG. 4 is an explanatory diagram showing a display example of structure information by the structure display software according to the first embodiment;
【図５】実施の形態１の構造表示ソフトによる構造情報
の表示例を示す説明図である。FIG. 5 is an explanatory diagram showing a display example of structure information by the structure display software according to the first embodiment;
【図６】セグメント映像再生ウィンドウおよび再生操作
ウィンドウを示す説明図である。FIG. 6 is an explanatory diagram showing a segment video playback window and a playback operation window.
【図７】セグメント情報表示ウィンドウを示す説明図で
ある。FIG. 7 is an explanatory diagram showing a segment information display window.
【図８】セグメント情報表示ウィンドウを示す説明図で
ある。FIG. 8 is an explanatory diagram showing a segment information display window.
【図９】連続フレーム表示ウィンドウを示す説明図であ
る。FIG. 9 is an explanatory diagram showing a continuous frame display window.
【図１０】部分セグメントの生成状態を示す説明図であ
る。FIG. 10 is an explanatory diagram showing a generation state of a partial segment.
【図１１】代表フレームの生成状態を示す説明図であ
る。FIG. 11 is an explanatory diagram showing a generation state of a representative frame.
【図１２】生成した部分セグメントの構造を映像ストリ
ームの階層構造に反映させた例を示す説明図である。FIG. 12 is an explanatory diagram showing an example in which the structure of a generated partial segment is reflected in a hierarchical structure of a video stream.
【図１３】実施の形態２のセグメント情報表示ウィンド
ウを示す説明図である。FIG. 13 is an explanatory diagram showing a segment information display window according to the second embodiment.
【図１４】実施の形態２のセグメント情報表示ウィンド
ウの表示状態を示す説明図である。FIG. 14 is an explanatory diagram illustrating a display state of a segment information display window according to the second embodiment.
【図１５】実施の形態２のセグメント情報表示ウィンド
ウの表示状態を示す説明図である。FIG. 15 is an explanatory diagram illustrating a display state of a segment information display window according to the second embodiment.
【図１６】実施の形態２のセグメント情報表示ウィンド
ウの表示状態を示す説明図である。FIG. 16 is an explanatory diagram showing a display state of a segment information display window according to the second embodiment.
【図１７】実施の形態３の連続フレーム表示ウィンドウ
を示す説明図である。FIG. 17 is an explanatory diagram showing a continuous frame display window according to the third embodiment.
【図１８】実施の形態４の連続フレーム表示ウィンドウ
４０５を示す説明図である。FIG. 18 is an explanatory diagram showing a continuous frame display window 405 according to the fourth embodiment.
１００ 映像構造編集装置 １０１ コンピュータ １０２ 表示画面 １０３ 記憶手段 ２０７ 構造解析ソフト ２０８ 構造編集ソフト ２０９ 構造表示ソフト ３０５ 手動構造化アイコン ３０６ 適用ＯＮ／ＯＦＦアイコン ４０１ セグメント映像再生ウィンドウ（セグメント
映像再生手段） ４０２ 再生操作ウィンドウ（セグメント映像再生手
段） ４０３ セグメント情報表示ウィンドウ（セグメント
情報表示手段） ４０５ 連続フレーム表示ウィンドウ（連続フレーム
表示手段） ４０６ 分割点選択ボタン（分割点選択手段） ６０１ 削除ボタン ６０２ 取り消しボタン ６０３ 表示・非表示ボタン ６０４ 履歴マーク ７０１ 操作パネル（分割点選択手段）REFERENCE SIGNS LIST 100 video structure editing apparatus 101 computer 102 display screen 103 storage means 207 structure analysis software 208 structure editing software 209 structure display software 305 manual structuring icon 306 applied ON / OFF icon 401 segment video playback window (segment video playback means) 402 playback operation Window (segment video playback unit) 403 Segment information display window (segment information display unit) 405 Continuous frame display window (continuous frame display unit) 406 Division point selection button (division point selection unit) 601 Delete button 602 Cancel button 603 Display / non-display Display button 604 History mark 701 Operation panel (division point selection means)
【手続補正書】[Procedure amendment]
【提出日】平成１３年２月８日（２００１．２．８）[Submission date] February 8, 2001 (2001.2.8)
【手続補正１】[Procedure amendment 1]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００４９[Correction target item name] 0049
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００４９】実施の形態１の映像構造編集装置１００
は、構造表示ソフト２０９でルール〜を実行するこ
とにより、構造情報の内部の論理構造を視覚化して容易
に把握できるようにすると共に、各セグメントのもつ範
囲の割合を直感的に知ることができ、複数のパッケージ
の構造やセグメントの構成を簡単に比較検討することが
でき、さらに構造情報全体の構造中における各パッケー
ジまたはセグメントの範囲や配置を直感的かつ定量的に
理解できるように表示することができる。The video structure editing apparatus 100 according to the first embodiment
By executing a rule-in structure display software 209, as well as to be easily grasped by visualizing the internal logical structure of the structure information, to know the ratio of the range with the respective segment intuitive You can easily compare and examine the structure of multiple packages and the configuration of segments, and display intuitively and quantitatively the range and arrangement of each package or segment in the overall structure information. be able to.
【手続補正２】[Procedure amendment 2]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００５５[Correction target item name] 0055
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００５５】また、セグメント情報表示ウィンドウ４０
３は、再生セグメントが複数の部分セグメントを有する
場合、図８に示すように、部分セグメント列表示部５０
１に、それぞれの部分セグメント４０４ａ〜４０４ｅの
開始フレーム４０３ａおよび終了フレーム４０３ｂをフ
レーム対にして表示する。また、それぞれの部分セグメ
ント４０４ａ〜４０４ｅを代表するフレームが指定され
ている場合には、該当するフレームをそれぞれの部分セ
グメントの代表フレーム４０３ｃとしてそれぞれの部分
セグメント４０４ａ〜４０４ｅの表示行に合わせて代表
フレーム表示部５０２に表示する。また、このとき、そ
れぞれの部分セグメント４０４ａ〜４０４ｅのフレーム
対を表示する際に、開始時刻順に並べて表示する。The segment information display window 40
3, when the playback segment has a plurality of partial segments, as shown in FIG.
1, a start frame 403a and an end frame 403b of each of the partial segments 404a to 404e are displayed as a frame pair. Further, when a frame representative of each of the partial segments 404a~404e is specified, in accordance with the display line for each sub-segment 404a~404e the corresponding frame as a representative frame 403 c of each of the partial segments representative The image is displayed on the frame display unit 502. Also, at this time, when displaying the frame pairs of the respective partial segments 404a to 404e, they are displayed in order of the start time.
【手続補正３】[Procedure amendment 3]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００５６[Correction target item name] 0056
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００５６】なお、図８では開始フレーム４０３ａおよ
び終了フレーム４０３ｂを行方向に並べて配置している
が、列方向に並べて配置しても良い、ただし、この場合
には、代表フレーム４０３ｃはそれぞれの部分セグメン
ト４０４ａ〜４０４ｅの表示列に合わせて表示する。[0056] Note that although arranged a start frame 403a and the end frame 403b in FIG. 8 in the row direction, may be arranged side by side in the column direction, however, in this case, the representative frame 403 c are each The display is performed in accordance with the display columns of the partial segments 404a to 404e.
【手続補正４】[Procedure amendment 4]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００６９[Correction target item name] 0069
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００６９】また、このようにして生成した部分セグメ
ントに対して、部分セグメントの内容を最も良く表現し
ている代表フレームを選択する場合、連続フレーム表示
ウィンドウ４０５に表示されている連続フレームのアイ
コンから代表フレームにしたいフレームのアイコンをセ
グメント情報表示ウィンドウ４０３の代表フレーム表示
部５０２の任意の位置にプロットすると、当該フレーム
が属する部分セグメントの代表フレーム４０３ｃとして
表示される。たとえば、開始フレーム（フレーム番号Ｉ
Ｄ：５００）と終了フレーム（フレーム番号ＩＤ：５３
２）で表される部分セグメントの代表フレームとしてフ
レーム番号：５２４のフレームをセグメント情報表示ウ
ィンドウ４０３の代表フレーム表示部５０２の任意の位
置にプロットすると、図１１に示すように、フレーム番
号：５２４のフレームを部分セグメントの代表フレーム
４０３ｃとして該当する部分セグメントの表示行に合わ
せて表示する。When a representative frame that best represents the content of the partial segment is selected for the partial segment generated in this way, the icon of the continuous frame displayed in the continuous frame display window 405 is selected. When the icon of the frame desired to be the representative frame is plotted at an arbitrary position in the representative frame display section 502 of the segment information display window 403, it is displayed as the representative frame 403c of the partial segment to which the frame belongs. For example, the start frame (frame number I
D: 500) and the end frame (frame number ID: 53)
When the frame of the frame number: 524 is plotted at an arbitrary position of the representative frame display section 502 of the segment information display window 403 as the representative frame of the partial segment represented by 2), as shown in FIG. display in accordance with the display rows of the partial segments to the appropriate frame as a representative frame 403 c of the partial segments.
【手続補正５】[Procedure amendment 5]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００８０[Correction target item name] 0080
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００８０】図１３のセグメント情報表示ウィンドウ４
０３に表示されている複数の部分セグメント４０４ａ〜
４０４ｅのフレーム対のうち、たとえば、部分セグメン
ト４０４ｄの開始フレームアイコンをクリック（選択）
し、削除ボタン６０１を選択すると、図１４のセグメン
ト情報表示ウィンドウ４０３のように、削除が指定され
た開始フレーム（ＩＤ：７７４）およびその開始フレー
ムの直前の終了フレーム（ＩＤ：７７３）が網掛け表示
され、当該部分セグメント４０４ｄが直線の部分セグメ
ント４０４ｃに統合されたことが示される。この場合、
削除された部分セグメント４０４ｄに属する代表フレー
ムは直前の部分セグメント４０４ｃに統合される。ここ
で、取り消しボタン６０２を用いて網掛け部分に取り消
しを指定すると元に戻る。The segment information display window 4 shown in FIG.
A plurality of partial segments which are displayed on 03 40 4 a to
In the frame pair of 404e, for example, the start frame icon of the partial segment 404d is clicked (selected).
When the delete button 601 is selected, as shown in the segment information display window 403 of FIG. 14, the start frame (ID: 774) designated to be deleted and the end frame (ID: 773) immediately before the start frame are shaded. Is displayed, indicating that the partial segment 404d has been merged into the linear partial segment 404c. in this case,
The representative frame belonging to the deleted partial segment 404d is integrated into the immediately preceding partial segment 404c. Here, when the cancel button 602 is used to designate cancellation in the shaded portion, the process returns to the original state.
【手続補正６】[Procedure amendment 6]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】０１０９[Correction target item name]
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【０１０９】また、本発明の映像構造編集装置（請求項
１０）は、連続フレーム表示手段で表示されている連続
フレームの中から部分セグメントを代表する代表フレー
ムを指定する代表フレーム指定手段を備え、セグメント
情報表示手段は、代表フレーム指定手段で代表フレーム
が指定されると、該当するフレームを部分セグメントの
代表フレームとしてセグメントの表示行または表示列に
合わせて表示するため、各部分セグメントの代表フレー
ムの指定を簡単な操作で行える。また、各部分セグメン
トと代表フレームを視覚的に容易に認識しながら、作業
を行うことができる。Further, the video structure editing apparatus according to the present invention (claim 10) comprises a representative frame designating means for designating a representative frame representing a partial segment from the continuous frames displayed by the continuous frame display means, When the representative frame is designated by the representative frame designating means, the segment information display means displays the corresponding frame as the representative frame of the partial segment in accordance with the display row or display column of the segment. Specification can be done with simple operations. In addition, the work can be performed while visually recognizing each partial segment and the representative frame easily .
【手続補正７】[Procedure amendment 7]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】図３[Correction target item name] Figure 3
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【図３】実施の形態１の映像構造編集装置で使用する構
造情報の構造例を示す説明図である。 FIG. 3 is an explanatory diagram showing an example of the structure of structure information used in the video structure editing device according to the first embodiment ;
───────────────────────────────────────────────────── フロントページの続き (72)発明者 國枝 孝之 東京都大田区中馬込１丁目３番６号 株式 会社リコー内 (72)発明者 岩崎 雅二郎 東京都大田区中馬込１丁目３番６号 株式 会社リコー内 Ｆターム(参考） 5B075 ND12 NK43 PQ02 PQ46 5C023 AA02 AA14 AA34 AA35 AA38 DA02 DA03 DA08 5C052 AA03 AA04 DD04 DD10 ──────────────────────────────────────────────────続 き Continuing on the front page (72) Takayuki Kunieda 1-3-6 Nakamagome, Ota-ku, Tokyo Inside Ricoh Company, Ltd. (72) Masajiro Iwasaki 1-3-6 Nakamagome, Ota-ku, Tokyo F-term in Ricoh Co., Ltd. (reference) 5B075 ND12 NK43 PQ02 PQ46 5C023 AA02 AA14 AA34 AA35 AA38 DA02 DA03 DA08 5C052 AA03 AA04 DD04 DD10
Claims (17)
範囲をセグメントとして定義し、１つのセグメントで定
義された範囲と同一の範囲を他の複数のセグメントの集
合で表現できる場合に前記複数のセグメントを前記１つ
のセグメントの部分セグメントとして定義することによ
り、前記映像ストリームの階層構造を定義した構造情報
を用いて、前記映像ストリームの全体の構造を編集する
映像構造編集装置であって、 前記構造情報に基づいて前記映像ストリームの階層構造
を表示する階層構造表示手段と、 前記階層構造表示手段で表示された階層構造の中から任
意のセグメントを再生セグメントとして選択すると、選
択した再生セグメントで定義された範囲のフレームを再
生するセグメント映像再生手段と、 前記セグメント映像再生手段で所望のフレームが再生さ
れた際に目的フレームとして指定すると、指定されたタ
イミングでフレームを特定し、特定したフレームを含む
所定数の連続フレームを一列に並べて表示する連続フレ
ーム表示手段と、 前記セグメント映像再生手段で再生中の再生セグメント
の範囲を示す開始フレームおよび終了フレームを表示す
ると共に、再生セグメントを代表するフレームが指定さ
れている場合に該当するフレームを代表フレームとして
表示するセグメント情報表示手段と、 前記連続フレーム表示手段で表示されている連続フレー
ムの中からセグメントの分割点となる分割フレームを選
択する分割点選択手段と、 を備え、 前記セグメント情報表示手段は、前記分割点選択手段で
分割フレームが選択されると、選択された分割フレーム
に基づいて前記再生セグメントを２分割し、前記再生セ
グメントの開始フレーム側を第１部分セグメントとして
生成し、前記再生セグメントの終了フレーム側を第２部
分セグメントとして生成し、前記第１部分セグメントお
よび第２部分セグメントのそれぞれの開始フレームおよ
び終了フレームを表示し、 前記階層構造表示手段は、生成された第１部分セグメン
トおよび第２部分セグメントの構造を用いて前記構造情
報を変更し、変更後の構造情報を用いて前記映像ストリ
ームの階層構造を表示することを特徴とする映像構造編
集装置。1. A range between arbitrary frames in a video stream is defined as a segment, and when the same range defined by one segment can be represented by a set of other segments, the plurality of segments are defined. Is defined as a partial segment of the one segment, thereby using a structure information defining a hierarchical structure of the video stream to edit the entire structure of the video stream. A hierarchical structure display means for displaying a hierarchical structure of the video stream based on a selected one of the hierarchical structures displayed on the hierarchical structure display means as a playback segment. Segment video playback means for playing back a range of frames; When a desired frame is specified as a target frame when reproduced, a continuous frame display means for specifying a frame at a specified timing and displaying a predetermined number of continuous frames including the specified frame in a line, and the segment video Segment information display means for displaying a start frame and an end frame indicating the range of the playback segment being played back by the playback means, and displaying the corresponding frame as a representative frame when a frame representing the playback segment is designated; A division point selection unit for selecting a division frame to be a division point of a segment from the continuous frames displayed on the continuous frame display unit; Is selected, based on the selected split frame Dividing the reproduction segment into two parts, generating a start frame side of the reproduction segment as a first partial segment, generating an end frame side of the reproduction segment as a second partial segment, and generating the first partial segment and the second partial segment. The hierarchical structure display means changes the structure information using the generated structures of the first partial segment and the second partial segment, and uses the changed structure information. A video structure editing device for displaying a hierarchical structure of the video stream.
ントを有する場合、前記セグメント情報表示手段は、そ
れぞれの部分セグメントの開始フレームおよび終了フレ
ームをフレーム対にして表示すると共に、それぞれの部
分セグメントを代表するフレームが指定されている場合
に該当するフレームをそれぞれの部分セグメントの代表
フレームとしてそれぞれの部分セグメントの表示行また
は表示列に合わせて表示することを特徴とする請求項１
に記載の映像構造編集装置。2. When the playback segment has a plurality of partial segments, the segment information display means displays a start frame and an end frame of each partial segment as a frame pair and represents each partial segment. 2. The method according to claim 1, wherein when a frame is designated, the corresponding frame is displayed as a representative frame of each partial segment in accordance with a display row or display column of each partial segment.
3. The video structure editing apparatus according to claim 1.
れの部分セグメントのフレーム対を表示する際に、開始
時刻順に並べて表示することを特徴とする請求項２に記
載の映像構造編集装置。3. The video structure editing apparatus according to claim 2, wherein said segment information display means displays the frame pairs of each of the partial segments in order of start time.
表示された前記複数の部分セグメントのフレーム対のう
ち、任意の部分セグメントの開始フレームの削除・非削
除を指定する開始フレーム削除・非削除指定手段を備
え、 前記セグメント情報表示手段は、前記開始フレーム削除
・非削除指定手段で削除が指定されると、削除が指定さ
れた開始フレームおよびその開始フレームの直前の終了
フレームの表示を第１の表示状態から第２の表示状態に
変更して、前記削除が指定された開始フレームに対応す
る部分セグメントとその直前の部分セグメントとを統合
し、前記開始フレーム削除・非削除指定手段で非削除が
指定されると、非削除が指定された開始フレームおよび
その開始フレームの直前の終了フレームの表示を第２の
表示状態から第１の表示状態に変更して、前記統合した
部分セグメントを元の２つの部分セグメントに戻すこと
を特徴とする請求項３に記載の映像構造編集装置。4. A start frame deletion / non-deletion designation means for designating deletion / non-deletion of a start frame of an arbitrary partial segment among frame pairs of the plurality of partial segments displayed on the segment information display means. The segment information display means, when deletion is designated by the start frame deletion / non-deletion designation means, displays a start frame designated to be deleted and an end frame immediately before the start frame as a first display. The state is changed from the state to the second display state, and the partial segment corresponding to the start frame designated to be deleted and the partial segment immediately before it are integrated, and non-deletion is designated by the start frame deletion / non-deletion designation means. Then, the display of the start frame for which non-deletion is designated and the end frame immediately before the start frame are changed from the second display state to the second display state. Change the display state, the image structure editing apparatus according to claim 3, characterized in that to return the part segments the integrated based on the two sub-segments.
指定手段で削除が指定された開始フレームおよびその直
前の終了フレームの表示・非表示を切り換える表示切換
手段を備え、 前記セグメント情報表示手段は、前記表示切換手段の表
示・非表示の切り換えに応じて、削除が指定された開始
フレームおよびその直前の終了フレームを表示したり、
非表示にすることを特徴とする請求項４に記載の映像構
造編集装置。5. The display apparatus according to claim 1, further comprising: display switching means for switching display / non-display of a start frame designated to be deleted by the start frame deletion / non-deletion designation means and an end frame immediately before the start frame. According to the switching of display / non-display of the display switching means, the start frame designated to be deleted and the end frame immediately before it are displayed,
The video structure editing apparatus according to claim 4, wherein the video structure editing apparatus does not display the image.
ントを有する場合、前記セグメント情報表示手段は、前
記分割点選択手段で分割フレームが選択されると、選択
された分割フレームを含む部分セグメントを特定した
後、選択された分割フレームに基づいて特定した部分セ
グメントを２分割し、前記特定した部分セグメントの開
始フレーム側を第１部分セグメントとして生成し、前記
特定した部分セグメントの終了フレーム側を第２部分セ
グメントとして生成し、前記第１部分セグメントおよび
第２部分セグメントのそれぞれの開始フレームおよび終
了フレームを表示することを特徴とする請求項２〜５の
いずれか一つに記載の映像構造編集装置。6. When the reproduction segment has a plurality of partial segments, the segment information display means specifies a partial segment including the selected divided frame when the divided frame is selected by the division point selecting means. Then, the specified partial segment is divided into two parts based on the selected divided frame, a start frame side of the specified partial segment is generated as a first partial segment, and an end frame side of the specified partial segment is defined as a second partial segment. The video structure editing apparatus according to any one of claims 2 to 5, wherein the video structure editing apparatus is generated as a segment, and displays a start frame and an end frame of each of the first partial segment and the second partial segment.
フレームを中心とする所定数の連続フレームを一列に並
べて表示した後、表示する連続フレームを前記再生セグ
メントの範囲内でスクロールして変更させることが可能
であることを特徴とする請求項１〜６のいずれか一つに
記載の映像構造編集装置。7. The continuous frame display means displays a predetermined number of continuous frames centered on a specified frame in a line, and then scrolls and changes the displayed continuous frames within the range of the playback segment. 7. The video structure editing apparatus according to claim 1, wherein the video structure editing apparatus is capable of performing the following.
フレームを中心とする所定数の連続フレームが表示され
た直後に行われたスクロールの方向および量を所定回数
分記憶し、記憶されている所定回数分のスクロールの方
向および量の平均値を前記指定されたタイミングで特定
したフレームと実際の所望のフレームとのフレームずれ
量として設定し、前記指定されたタイミングでフレーム
を特定する際に、前記フレームずれ量の分を補正してフ
レームを特定することを特徴とする請求項１〜７のいず
れか一つに記載の映像構造編集装置。8. The continuous frame display means stores, for a predetermined number of times, the direction and amount of scrolling performed immediately after a predetermined number of continuous frames centered on the specified frame are displayed, and stores the stored predetermined number of times. When the average value of the direction and amount of scrolling for the number of times is set as a frame shift amount between the frame specified at the specified timing and the actual desired frame, and when specifying the frame at the specified timing, 8. The video structure editing apparatus according to claim 1, wherein a frame is specified by correcting a frame shift amount.
ームずれ量を用いた補正を行うか否かを指定する補正指
定手段を有し、前記補正指定手段で補正を行うことが指
定された場合に、前記フレームずれ量を用いた補正を行
うことを特徴とする請求項８に記載の映像構造編集装
置。9. The continuous frame display means includes a correction designating means for designating whether or not to perform the correction using the frame shift amount, and when the correction designating means designates the correction, 9. The video structure editing apparatus according to claim 8, wherein correction is performed using the frame shift amount.
表示されている連続フレームの中から部分セグメントを
代表する代表フレームを指定する代表フレーム指定手段
を備え、 前記セグメント情報表示手段は、前記代表フレーム指定
手段で代表フレームが指定されると、該当するフレーム
を部分セグメントの代表フレームとしてセグメントの表
示行または表示列に合わせて表示することを特徴とする
請求項２〜９のいずれか一つに記載の映像構造編集装
置。10. A representative frame designating means for designating a representative frame representing a partial segment from the continuous frames displayed by the continuous frame display means, wherein the segment information display means comprises the representative frame designating means. 10. The method according to claim 2, wherein when a representative frame is designated by the means, the corresponding frame is displayed as a representative frame of the partial segment in accordance with the display row or display column of the segment. Video structure editing device.
で表示されている代表フレームの削除または非削除を指
定する削除・非削除指定手段を備え、 前記セグメント情報表示手段は、前記削除・非削除指定
手段で削除が指定された代表フレームの表示を第１の表
示状態から第２の表示状態に変更し、前記削除・非削除
指定手段で非削除が指定された代表フレームの表示を第
２の表示状態から第１の表示状態に変更することを特徴
とする請求項１０に記載の映像構造編集装置。11. A deletion / non-deletion designation means for designating deletion or non-deletion of a representative frame displayed on the segment information display means, wherein the segment information display means is a deletion / non-deletion designation means. The display of the representative frame designated to be deleted is changed from the first display state to the second display state, and the display of the representative frame designated for non-deletion by the deletion / non-deletion designation means is changed to the second display state. 11. The video structure editing apparatus according to claim 10, wherein the display state is changed from the first to the first display state.
削除が指定された代表フレームの表示・非表示を切り換
える切換手段を備え、 前記セグメント情報表示手段は、前記切換手段の表示・
非表示の切り換えに応じて、削除が指定された代表フレ
ームを表示したり、非表示にすることを特徴とする請求
項１１に記載の映像構造編集装置。12. The apparatus according to claim 11, further comprising switching means for switching between display and non-display of a representative frame designated to be deleted by said deletion / non-deletion specifying means, wherein said segment information display means displays / displays said switching means.
12. The video structure editing apparatus according to claim 11, wherein a representative frame designated to be deleted is displayed or hidden according to the switching of non-display.
ーム表示手段に表示されている前記特定したフレームを
基準位置として、映像ストリームの物理的な分割点を検
出する際の検出方向を指定する方向指定手段と、前記方
向指定手段で指定された検出方向に向かって前記基準位
置から一定の範囲の連続フレームを対象とし、予め設定
されているアルゴリズムを用いて映像ストリームの物理
的な分割点を検出する分割点検出手段と、前記連続フレ
ーム表示手段に表示されている連続フレームの中から分
割点となる分割フレームを指定するための分割フレーム
指定手段と、を備え、 前記連続フレーム表示手段は、前記分割点検出手段で物
理的な分割点が検出されると、前記物理的な分割点を分
割候補点とし、前記分割候補点を中心とした所定数の連
続フレームを一列に並べて表示することを特徴とする請
求項１〜１２のいずれか一つに記載の映像構造編集装
置。13. A direction for specifying a detection direction when detecting a physical division point of a video stream, using the specified frame displayed on the continuous frame display means as a reference position. Specifying means, and detecting a physical division point of the video stream using a preset algorithm for a continuous frame within a certain range from the reference position toward the detection direction specified by the direction specifying means. Division point detection means, and division frame designation means for designating a division frame to be a division point from among the continuous frames displayed on the continuous frame display means, and the continuous frame display means, When a physical division point is detected by the division point detecting means, the physical division point is set as a division candidate point, and a predetermined number of points around the division candidate point are set. Video structure editing apparatus according to any one of claims 1 to 12 successive frames in a row and displaying.
割点検出手段で物理的な分割点が複数検出された場合、
前記基準位置に最も近い分割候補点を中心とした所定数
の連続フレームを一列に並べて表示すると共に、分割候
補点となるフレームと他のフレームとを区別可能に表示
することを特徴とする請求項１３に記載の映像構造編集
装置。14. The continuous frame display means, when a plurality of physical division points are detected by the division point detection means,
A method according to claim 1, wherein a predetermined number of continuous frames centered on the division candidate point closest to the reference position are arranged and displayed in a line, and a frame serving as a division candidate point and another frame are displayed so as to be distinguishable. 14. The video structure editing apparatus according to claim 13.
割点検出手段で物理的な分割点が複数検出された場合
に、検出された物理的な分割点の総数および前記連続フ
レーム表示手段に現在表示されている物理的な分割点が
何番目であるかを示す分割点情報を表示する分割点情報
表示手段と、前記分割点検出手段で物理的な分割点が複
数検出された場合に、何番目の分割点を表示するかを指
定する表示分割点指定手段と、を備え、 前記連続フレーム表示手段は、前記表示分割点指定手段
で何番目の分割点を表示するかが指定されると、指定さ
れた分割点を中心とした所定数の連続フレームを一列に
並べて表示することを特徴とする請求項１４に記載の映
像構造編集装置。15. The dividing point selecting means further includes, when a plurality of physical dividing points are detected by the dividing point detecting means, a total number of detected physical dividing points and a current Division point information display means for displaying division point information indicating the number of the physical division point being displayed; and what if a plurality of physical division points are detected by the division point detection means, Display division point designating means for designating whether to display a third division point, the continuous frame display means, when the number of division points to be displayed is designated by the display division point designation means, 15. The video structure editing apparatus according to claim 14, wherein a predetermined number of continuous frames centered on the designated division point are displayed in a line.
点を検出するためアルゴリズムを複数有しており、選択
されたアルゴリズムを用いて映像ストリームの物理的な
分割点を検出することを特徴とする請求項１３〜１５の
いずれか一つに記載の映像構造編集装置。16. The dividing point detecting means has a plurality of algorithms for detecting a physical dividing point, and detects a physical dividing point of a video stream using a selected algorithm. The video structure editing apparatus according to any one of claims 13 to 15, wherein:
記載された映像構造編集装置の各手段としてコンピュー
タに実行させるプログラムを記録したことを特徴とする
コンピュータ読み取り可能な記録媒体。17. A computer-readable recording medium having recorded thereon a program to be executed by a computer as each means of the video structure editing apparatus according to any one of claims 1 to 16.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000032458A JP3515939B2 (en) | 2000-02-09 | 2000-02-09 | Image structure editing apparatus and computer-readable recording medium storing a program for causing a computer to execute as each means of the apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000032458A JP3515939B2 (en) | 2000-02-09 | 2000-02-09 | Image structure editing apparatus and computer-readable recording medium storing a program for causing a computer to execute as each means of the apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001223944A true JP2001223944A (en) | 2001-08-17 |
| JP3515939B2 JP3515939B2 (en) | 2004-04-05 |
Family
ID=18557057
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000032458A Expired - Lifetime JP3515939B2 (en) | 2000-02-09 | 2000-02-09 | Image structure editing apparatus and computer-readable recording medium storing a program for causing a computer to execute as each means of the apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3515939B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008130050A (en) * | 2006-11-24 | 2008-06-05 | Canon Inc | Image retrieval device and method therefor |
-
2000
- 2000-02-09 JP JP2000032458A patent/JP3515939B2/en not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008130050A (en) * | 2006-11-24 | 2008-06-05 | Canon Inc | Image retrieval device and method therefor |
| US8265397B2 (en) | 2006-11-24 | 2012-09-11 | Canon Kabushiki Kaisha | Image retrieval apparatus and method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3515939B2 (en) | 2004-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Casares et al. | Simplifying video editing using metadata | |
| US5513306A (en) | Temporal event viewing and editing system | |
| US5537528A (en) | System and method for inputting scene information | |
| US8555170B2 (en) | Tool for presenting and editing a storyboard representation of a composite presentation | |
| US5274758A (en) | Computer-based, audio/visual creation and presentation system and method | |
| US6789109B2 (en) | Collaborative computer-based production system including annotation, versioning and remote interaction | |
| JP4065142B2 (en) | Authoring apparatus and authoring method | |
| US9110688B2 (en) | System and method for representation of object animation within presentations of software application programs | |
| KR101661772B1 (en) | Copying of animation effects from a source object to at least one target object | |
| EP2180700A1 (en) | Interface system for editing video data | |
| US20040001106A1 (en) | System and process for creating an interactive presentation employing multi-media components | |
| US20150234571A1 (en) | Re-performing demonstrations during live presentations | |
| US7734612B2 (en) | Information search apparatus, information search method, information search program, and graphical user interface | |
| JP2007531940A (en) | Automated system and method for performing usability tests | |
| JPH05282379A (en) | Method and device for retrieval of dynamic image | |
| EP0403118A2 (en) | Audio/visual compilation in a data processing system | |
| US20070162839A1 (en) | Syndicated audio authoring | |
| JP2836550B2 (en) | Scenario editing device | |
| JP4404172B2 (en) | Media scene information display editing apparatus, method, and storage medium storing program according to the method | |
| JP3583970B2 (en) | Image structure editing apparatus, structural element reconstructing apparatus, and computer-readable recording medium storing a program for causing a computer to execute as each means of the apparatus | |
| JPH06119229A (en) | Link editing method, and link editing device, media and reproducing device using its method | |
| JP3478331B2 (en) | Structure display method and computer-readable recording medium storing a program for causing a computer to execute the method | |
| JP3595871B2 (en) | Apparatus for displaying / editing continuous media information, method for displaying / editing continuous media information, and recording medium recording the processing procedure thereof | |
| JP3515939B2 (en) | Image structure editing apparatus and computer-readable recording medium storing a program for causing a computer to execute as each means of the apparatus | |
| JPH06231030A (en) | Multi-media authoring system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040113 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040119 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3515939 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080123 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090123 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100123 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110123 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130123 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140123 Year of fee payment: 10 |
|
| EXPY | Cancellation because of completion of term |