JP3453312B2 - Display method of structure analysis process of video stream - Google Patents

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は、映像ストリームの
構造解析過程表示方法に関し、より詳細には、解析過程
を表示することによって映像情報の解析処理を円滑・簡
単・正確に行うことを可能とし、さらに、映像情報を解
析した結果を用いて映像情報の内部の論理構造を視覚的
に表現可能にした映像ストリームの構造解析過程表示方
法に関する。TECHNICAL FIELD The present invention relates to a video stream .
Related to structural analysis process display how, and more particularly, it possible to perform analysis processing of video information smoothly, easy and accurate by displaying the analysis process, further, using the result of analyzing the image information structure analysis process display side of the video stream to visually capable of expressing a logic structure inside video information Te
About the law.

【０００２】[0002]

【従来の技術】近年、コンピュータ関連技術、情報処理
技術の発展や、インターネット、イントラネット、エク
ストラネット等の電子ネットワークの普及に伴って、日
常の生活・業務・サービス等で利用される身の回りのあ
らゆる情報が電子化され、電子情報として伝達された
り、あるいはコンピュータ世界のデータベース等に蓄積
されて、利用・活用されている。2. Description of the Related Art In recent years, with the development of computer-related technology and information processing technology and the spread of electronic networks such as the Internet, intranets and extranets, all kinds of personal information used in daily life, business, services, etc. Are digitized and transmitted as electronic information, or are accumulated and used in databases in the computer world to be used and utilized.

【０００３】したがって、電子情報は、その情報がアナ
ログデータであるか、デジタルデータであるかに関わら
ず、様々な形で利用・活用（例えば、情報の加工・情報
の検索・情報の伝達等）されており、この電子情報その
ものを利用・活用し易い形式・データ構造で扱う技術が
種々提供されている。Therefore, electronic information is used and utilized in various forms (for example, information processing, information retrieval, information transmission, etc.) regardless of whether the information is analog data or digital data. Therefore, various technologies for handling the electronic information itself in a format and data structure that are easy to use and utilize are provided.

【０００４】例えば、電子情報の一つであるテキスト情
報は、その論理的な構造を表現するために、ＳＧＭＬ、
ＨＴＭＬ、ＸＭＬ等の論理構造を表現する構造タグが定
義され、情報を伝達するときに、内容とその論理構造で
表現することができるようになっている。このため、テ
キスト情報を利用・活用する際に、例えば、内部の論理
構造を用いて、効率的な検索・適切な要約文の生成・処
理速度の高速化等を図ることができる。For example, text information, which is one type of electronic information, is represented by SGML, in order to express its logical structure.
A structure tag that expresses a logical structure such as HTML or XML is defined, and when transmitting information, it can be expressed by the content and its logical structure. Therefore, when utilizing / utilizing the text information, for example, it is possible to use the internal logical structure to efficiently search, generate an appropriate summary sentence, and speed up the processing speed.

【０００５】また、映像情報についても、映像情報を解
析して構造化し、構造化した映像情報を管理するための
種々の手法が提案されている。Regarding video information, various methods have been proposed for analyzing the video information and structuring the video information, and managing the structured video information.

【０００６】[0006]

【発明が解決しようとする課題】しかしながら、従来に
おける映像情報の解析処理は、映像情報を再生しつつ、
作業者が映像情報の分割点を見つけ出すという処理が主
流であるため、作業者は映像情報の解析を行うために非
常に長い時間をとられ、また、映像再生中常に映像に集
中していなければならないことから、身心への負担も大
きいという問題点があった。However, in the conventional image information analysis processing, while reproducing the image information,
Since the mainstream process is for the worker to find the division point of the video information, it takes a very long time to analyze the video information, and if the worker is not always focused on the video during playback. Since it does not happen, there was a problem that the burden on the body and mind was large.

【０００７】また、上記のような作業者への負担を軽減
すべく、映像情報の分割点を自動的に判定するような装
置も個別には存在しているが、これらの装置は単に映像
情報の物理的な分割点を特定し、該当するサムネイル画
像を表示するだけであるため、実際に必要とされる意味
のある映像の集合を分割するための論理的な分割点と、
単純に画面の表示状態が大きく変化する映像の物理的な
分割点とを区別することは困難であるという問題点があ
った。In addition, there are individual devices that automatically determine the division points of the video information in order to reduce the burden on the operator as described above, but these devices simply use the video information. It only specifies the physical division point of and displays the corresponding thumbnail image. Therefore, a logical division point for dividing the meaningful set of videos that is actually needed,
There is a problem in that it is difficult to simply distinguish from a physical division point of an image in which the display state of the screen greatly changes.

【０００８】さらに、従来において映像情報を解析して
構造化した結果を表示する場合においては、一般に構造
化した単位の映像の集合を表すサムネイル画像を単に並
べて表示するのみであるため、作業者が映像情報の内部
の論理構造を把握するには表示されたサムネイル画像か
ら論理構造を想像する必要があり、映像情報の内部の論
理構造を直感的に把握することができないという不都合
な点があった。換言すれば、映像情報内部の論理構造を
容易に把握することができるようなユーザ・インターフ
ェースの手法が提供されていないという問題点があっ
た。Further, in the case of displaying the result of analyzing the image information by structuring it in the related art, in general, the thumbnail images representing the set of the image of the structured unit are simply displayed side by side. In order to understand the internal logical structure of the video information, it is necessary to imagine the logical structure from the displayed thumbnail images, which is a disadvantage that the internal logical structure of the video information cannot be intuitively understood. . In other words, there is a problem in that a user interface method for easily grasping the logical structure inside the video information is not provided.

【０００９】[0009]

【００１０】本発明は、上記に鑑みてなされたものであ
って、映像情報の解析過程を表示して、映像情報の解析
過程を視覚的に確認することができるようにし、解析処
理を円滑・簡単・正確に行うことを可能とする映像スト
リームの構造解析過程表示方法を提供することを目的と
する。The present invention has been made in view of the above, and displays the analysis process of video information so that the analysis process of video information can be visually confirmed, thereby facilitating smooth analysis processing. It is an object of the present invention to provide a method for displaying a structure analysis process of a video stream that can be easily and accurately performed.

【００１１】また、本発明は上記に鑑みてなされたもの
であって、映像情報の解析を行った過程を再現できるよ
うにして解析過程を検証可能とすることにより、映像情
報の解析処理を円滑・簡単・正確に行うことを可能とす
る映像ストリームの構造解析過程表示方法を提供するこ
とを目的とする。Further, the present invention has been made in view of the above, and enables the analysis process of video information to be verified by making it possible to reproduce the process of analyzing the video information, thereby facilitating the analysis process of the video information. -It is an object of the present invention to provide a method for displaying a structure analysis process of a video stream that can be easily and accurately performed.

【００１２】[0012]

【００１３】[0013]

【００１４】[0014]

【００１５】[0015]

【課題を解決するための手段】 上記目的を達成するた
め、請求項１ の映像ストリームの構造解析過程表示方法
は、映像ストリームの構造を解析する解析過程を表示す
るための映像ストリームの構造解析過程表示方法であっ
て、前記映像ストリーム中の任意のフレームを基準フレ
ームとして設定し、設定した基準フレームの画像を表示
する第１の工程と、前記映像ストリームの時系列におい
て、前記設定した基準フレームから第１の間隔分進めた
位置にフレームが存在するか否かを判定し、フレームが
存在する場合に、該当するフレームを選択して第１の選
択フレームとして設定し、設定した第１の選択フレーム
の画像を前記基準フレームの画像と共に表示し、フレー
ムが存在しない場合に、最後のフレームを第１のフレー
ムとして設定し、設定した第１の選択フレームの画像を
前記基準フレームの画像と共に表示する第２の工程と、
前記第１の選択フレームおよび基準フレームを比較し、
前記第１の選択フレームおよび基準フレームの画像の特
徴量の差が所定の閾値以上の場合に、前記第１の選択フ
レームの位置を記憶し、閾値以上でない場合に、前記第
１の選択フレームを前記基準フレームとして設定し、設
定した基準フレームの画像を現在表示している基準フレ
ームの画像に代えて表示して、前記第２の工程に戻る第
３の工程と、前記第３の工程で前記第１の選択フレーム
の位置を記憶した場合に、前記記憶された第１の選択フ
レームより前に前記第２の工程で第１の選択フレームと
して設定されたフレーム以降のフレームを前記第１の間
隔より細かい第２の間隔で順次選択し、選択したフレー
ムを第２の選択フレームとして設定し、設定した第２の
選択フレームの画像を現在表示している第１の選択フレ
ームの画像に代えて表示する第４の工程と、前記第２の
選択フレームおよび基準フレームを比較し、前記第２の
選択フレームおよび基準フレームの画像の特徴量の差が
所定の閾値以上の場合に、前記第２の選択フレームの位
置を記憶し、閾値以上でない場合に、前記第４の工程に
戻る第５の工程と、前記第５の工程で前記第２の選択フ
レームの位置を記憶した場合に、前記第２の選択フレー
ムを前記基準フレームとして設定し、設定した基準フレ
ームの画像を現在表示している基準フレームの画像に代
えて表示する第６の工程と、前記第６の工程で新たに基
準フレームが設定された場合に、映像ストリーム中にお
いて、前記設定した基準フレームから前記第１の間隔分
進めた位置にフレームが存在するか否かを判定し、フレ
ームが存在する場合に、前記第２の工程に戻り、フレー
ムが存在しない場合に、最後のフレームを第１の選択フ
レームとして前記第２の工程に戻る第７の工程と、前記
基準フレームが最後のフレームであった場合に、処理を
終了する第８の工程と、を含み、さらに、前記第３の工
程および第５の工程で得た前記基準フレームと前記第１
の選択フレームおよび第２の選択フレームとの特徴量の
差を順次プロットし、前記映像ストリーム中の各フレー
ムの特徴量の変化をグラフで表示する第９の工程を含む
ものである。 In order to solve the problem] was to achieve the above purpose
Therefore, the method for displaying a structure analysis process of a video stream according to claim 1 is a method for displaying a structure analysis process of a video stream for displaying an analysis process for analyzing the structure of the video stream, and an arbitrary frame in the video stream. Is set as a reference frame and an image of the set reference frame is displayed, and whether a frame exists at a position advanced by a first interval from the set reference frame in the time series of the video stream. If there is a frame, the corresponding frame is selected and set as the first selected frame, and the image of the set first selected frame is displayed together with the image of the reference frame. If it does not exist, the last frame is set as the first frame, and the image of the set first selected frame is set as the reference frame. A second step of displaying together with the image,
Comparing the first selected frame and the reference frame,
The position of the first selected frame is stored when the difference between the feature amounts of the images of the first selected frame and the reference frame is greater than or equal to a predetermined threshold, and when the difference is not greater than or equal to the threshold, the first selected frame is stored. The third step of setting the reference frame, displaying the set reference frame image in place of the currently displayed reference frame image, and returning to the second step, and the third step When the position of the first selected frame is stored, the frames after the frame set as the first selected frame in the second step before the stored first selected frame are set to the first interval. The images are sequentially selected at smaller second intervals, the selected frame is set as the second selection frame, and the set second selection frame image is replaced with the currently displayed first selection frame image. The fourth step of displaying is compared with the second selected frame and the reference frame, and when the difference between the feature amounts of the images of the second selected frame and the reference frame is equal to or more than a predetermined threshold value, the second A fifth step of storing the position of the selected frame and returning to the fourth step when it is not more than a threshold value, and the second step when the position of the second selected frame is stored in the fifth step. Of the selected reference frame is set as the reference frame, and the image of the set reference frame is displayed instead of the image of the currently displayed reference frame; and a new reference frame is set in the sixth step. If the frame is present, it is determined whether or not there is a frame at the position advanced by the first interval from the set reference frame in the video stream, and if the frame is present, the second frame is detected. If there is no frame, the seventh step of returning the last frame to the second step with the last frame as the first selection frame, and ending the process when the reference frame is the last frame And an eighth step of performing the reference frame and the first frame obtained in the third step and the fifth step.
And a second step of plotting the difference between the feature amounts of the selected frame and the second selected frame in sequence, and displaying the change in the feature amount of each frame in the video stream in a graph.

【００１６】また、請求項２の映像ストリームの構造解
析過程表示方法は、映像ストリームの構造を解析する解
析過程を表示するための映像ストリームの構造解析過程
表示方法であって、前記映像ストリーム中の任意のフレ
ームを基準フレームとして設定し、設定した基準フレー
ムの画像を表示する第１の工程と、前記映像ストリーム
の時系列において、前記基準フレーム以降のフレームを
第１の間隔で順次選択し、選択したフレームを第１の選
択フレームとして設定し、設定した第１の選択フレーム
の画像を前記基準フレームの画像と共に表示する第２の
工程と、前記第１の選択フレームおよび基準フレームを
比較し、前記第１の選択フレームおよび基準フレームの
画像の特徴量の差が所定の閾値以上の場合に、前記第１
の選択フレームの位置を記憶し、閾値以上でない場合
に、前記第２の工程に戻る第３の工程と、前記第３の工
程で前記第１の選択フレームの位置を記憶した場合に、
前記記憶された第１の選択フレームより前に前記第２の
工程で第１の選択フレームとして設定されたフレーム以
降のフレームを前記第１の間隔より細かい第２の間隔で
順次選択し、選択したフレームを第２の選択フレームと
して設定し、設定した第２の選択フレームの画像を現在
表示している第１の選択フレームの画像に代えて表示す
る第４の工程と、前記第２の選択フレームおよび基準フ
レームを比較し、前記第２の選択フレームおよび基準フ
レームの画像の特徴量の差が所定の閾値以上の場合に、
前記第２の選択フレームの位置を記憶し、閾値以上でな
い場合に、前記第４の工程に戻る第５の工程と、前記第
５の工程で前記第２の選択フレームの位置を記憶した場
合に、前記第２の選択フレームを前記基準フレームとし
て設定し、設定した基準フレームの画像を現在表示して
いる基準フレームの画像に代えて表示する第６の工程
と、前記第６の工程で新たに基準フレームが設定された
場合に、映像ストリーム中において、前記設定した基準
フレームから前記第１の間隔分進めた位置にフレームが
存在するか否かを判定し、フレームが存在する場合に、
前記第２の工程に戻り、フレームが存在しない場合に、
最後のフレームを前記第１の選択フレームとして前記第
２の工程に戻る第７の工程と、前記基準フレームが最後
のフレームであった場合に、処理を終了する第８の工程
と、を含み、さらに、前記第３の工程および第５の工程
で得た前記基準フレームと前記第１の選択フレームおよ
び第２の選択フレームとの特徴量の差を順次プロット
し、前記映像ストリーム中の各フレームの特徴量の変化
をグラフで表示する第９の工程を含むものである。The video stream structure analysis process display method according to claim 2 is a video stream structure analysis process display method for displaying an analysis process for analyzing the structure of the video stream. A first step of setting an arbitrary frame as a reference frame and displaying an image of the set reference frame, and sequentially selecting and selecting frames after the reference frame at a first interval in a time series of the video stream. The selected frame is set as the first selected frame and the image of the set first selected frame is displayed together with the image of the reference frame, and the first selected frame and the reference frame are compared, When the difference between the feature amounts of the images of the first selected frame and the reference frame is greater than or equal to a predetermined threshold value, the first
If the position of the first selected frame is stored in the third step of returning to the second step when the position of the selected frame of
The frames subsequent to the frame set as the first selection frame in the second step before the stored first selection frame are sequentially selected and selected at a second interval smaller than the first interval. A fourth step of setting a frame as a second selection frame, and displaying the set second selection frame image in place of the currently displayed first selection frame image; and the second selection frame And comparing the reference frames, and when the difference between the feature amounts of the images of the second selected frame and the reference frame is equal to or more than a predetermined threshold,
A fifth step of storing the position of the second selected frame and returning to the fourth step when it is not more than a threshold value, and a case of storing the position of the second selected frame in the fifth step A sixth step of setting the second selected frame as the reference frame and displaying the set reference frame image in place of the currently displayed reference frame image; and a new step in the sixth step. When the reference frame is set, it is determined whether or not there is a frame at the position advanced by the first interval from the set reference frame in the video stream, and when the frame is present,
Returning to the second step, if there is no frame,
A seventh step of returning the last frame to the second step as the first selection frame, and an eighth step of terminating the process when the reference frame is the last frame, Furthermore, the differences in the feature amounts between the reference frame obtained in the third step and the fifth step and the first selected frame and the second selected frame are sequentially plotted, and the difference between the feature values of each frame in the video stream is plotted. It includes a ninth step of displaying the change in the characteristic amount in a graph.

【００１７】また、請求項３の映像ストリームの構造解
析過程表示方法は、請求項１または２に記載の映像スト
リームの構造解析過程表示方法において、前記第９の工
程が、前記基準フレームに対して閾値以上の特徴量を有
する第２の選択フレームの位置を前記グラフ中に表示す
るものである。According to a third aspect of the present invention, in the method of displaying the structural analysis process of the video stream according to the first or second aspect, the ninth step is performed with respect to the reference frame. The position of the second selected frame having the characteristic amount equal to or more than the threshold value is displayed in the graph.

【００１８】また、請求項４の映像ストリームの構造解
析過程表示方法は、請求項１〜３のいずれか一つに記載
の映像ストリームの構造解析過程表示方法において、さ
らに、前記映像ストリームを構成する各フレームの位置
に対応させて、解析処理の進行状況を示すグラフを表示
する第１０の工程を含み、前記第１０の工程が、さら
に、前記第１の選択フレームまたは第２の選択フレーム
として選択されたフレームの位置および前記基準フレー
ムに対して閾値以上の特徴量を有する第２の選択フレー
ムの位置を前記グラフ中に表示するものである。The method of displaying a structure analysis process of a video stream according to claim 4 is the method of displaying a structure analysis process of a video stream according to any one of claims 1 to 3 , further comprising the video stream. The method further includes a tenth step of displaying a graph showing the progress of the analysis process corresponding to the position of each frame, wherein the tenth step is further selected as the first selection frame or the second selection frame. The position of the selected frame and the position of the second selected frame having the characteristic amount equal to or more than the threshold value with respect to the reference frame are displayed in the graph.

【００１９】また、請求項５の映像ストリームの構造解
析過程表示方法は、請求項１〜４のいずれか一つに記載
の映像ストリームの構造解析過程表示方法において、さ
らに、前記第１の工程から第１０の工程で実行された処
理の過程を記録する第１１の工程と、前記第１１の工程
で記録した処理の過程を任意のタイミングで再現する第
１２の工程と、を含むものである。The method for displaying a structure analysis process of a video stream according to claim 5 is the method for displaying a structure analysis process for a video stream according to any one of claims 1 to 4 , further comprising the steps from the first step. It includes an eleventh step of recording the process step executed in the tenth step and a twelfth step of reproducing the process step recorded in the eleventh step at an arbitrary timing.

【００２０】[0020]

【００２１】[0021]

【００２２】[0022]

【００２３】[0023]

【００２４】[0024]

【００２５】[0025]

【発明の実施の形態】以下、本発明に係る映像ストリー
ムの構造解析過程表示方法の一実施の形態について、 （１）システム構成 （２）映像ストリームの構造解析 （３）映像インデックス情報 （４）映像ストリームの構造表示 （５）映像情報の検索結果の表示 （６）応用例 の順で、添付の図面を参照して詳細に説明する。BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, a video stream according to the present invention.
About one embodiment of a method for displaying the structure analysis process of a system, (1) system configuration (2) structure analysis of video stream (3) video index information (4) structure display of video stream (5) search result of video information The display (6) will be described in detail in the order of application examples with reference to the accompanying drawings.

【００２６】（１）システム構成 図１は、本実施の形態に係る映像ストリームの構造解析
過程表示方法を実現するためのシステムの一例を示す概
略構成図である。図１に示すシステムは、複数の映像情
報を記憶した映像情報ライブラリ１０１と、映像情報ラ
イブラリ１０１の各映像情報に対応して生成された複数
の映像インデックス情報（「（３）映像インデックス情
報」のところで説明する）を記憶した映像インデックス
情報データベース１０２と、映像情報ライブラリ１０１
中の映像情報の映像ストリームの構造を解析すると共
に、解析した結果に基づいて、映像ストリームの構造を
視覚的に表示する処理を行うコンピュータ１０３と、を
有している。(1) System Configuration FIG. 1 is a structural analysis of a video stream according to this embodiment.
It is a schematic block diagram which shows an example of the system for implement | achieving a process display method . The system shown in FIG. 1 includes a video information library 101 storing a plurality of video information, and a plurality of video index information (“(3) video index information” of a plurality of video index information generated corresponding to each video information of the video information library 101. A video index information database 102 that stores (described below) and a video information library 101.
The computer 103 that analyzes the structure of the video stream of the inside video information and that performs a process of visually displaying the structure of the video stream based on the analyzed result.

【００２７】この図１に示す映像情報ライブラリ１０１
および映像インデックス情報データベース１０２は、コ
ンピュータ１０３中に内蔵することにしても良いが、こ
こでは一例として、ネットワークを介してコンピュータ
１０３と接続されているものとする。The video information library 101 shown in FIG.
The video index information database 102 may be built in the computer 103, but here, as an example, it is assumed that the computer 103 is connected to the computer 103 via a network.

【００２８】図２は、図１に示したコンピュータ１０３
のブロック構成図である。コンピュータ１０３は、後述
するソフトウエアに基づく処理を実行するＣＰＵ２０１
と、ブートプログラム等を記憶したＲＯＭ２０２と、Ｃ
ＰＵ２０１のワークエリアとして使用されるＲＡＭ２０
３と、各種の入力操作を行なうためのキーボード２０４
およびマウス２０５と、映像ストリームの解析過程や映
像ストリームの構造を表示するためのＣＲＴや液晶ディ
スプレイ等の表示装置２０６と、本実施の形態に係る映
像ストリームの構造解析過程表示方法を実現するための
構造解析ソフト２０７，インデックス生成ソフト２０
８，構造表示ソフト２０９等の各種アプリケーションプ
ログラムやデータを記憶したハードディスク２１０と、
図１に示した映像情報ライブラリ１０１および映像イン
デックス情報データベース１０２とコンピュータ１０３
とを接続するネットワークアダプタ２１１と、上記各部
を接続するバス２１２と、を少なくとも備えている。FIG. 2 shows the computer 103 shown in FIG.
It is a block configuration diagram of. The computer 103 is a CPU 201 that executes processing based on software described below.
And a ROM 202 storing a boot program and the like, C
RAM 20 used as a work area for PU 201
3 and a keyboard 204 for performing various input operations
And a mouse 205, a display device 206 such as a CRT or a liquid crystal display for displaying the structure of the analysis process and the video stream of the video stream, film according to the embodiment
Structure analysis software 207 and index generation software 20 for realizing a structure analysis process display method of an image stream
8. A hard disk 210 storing various application programs such as structure display software 209 and data,
The video information library 101, the video index information database 102, and the computer 103 shown in FIG.
At least a network adapter 211 for connecting to each other and a bus 212 for connecting each of the above units are provided.

【００２９】なお、図１および図２に示したシステム構
成は、あくまでも一例を示すものであって、後述する本
実施の形態に係る方法を実現することが可能であれば、
いかなるシステム構成であっても良い。The system configurations shown in FIGS. 1 and 2 are merely examples, and if the method according to the present embodiment described later can be realized,
Any system configuration may be used.

【００３０】（２）映像ストリームの構造解析 つぎに、前述したようなシステムにおいて実現される映
像ストリームの構造解析処理について説明する。映像ス
トリームの構造解析処理を実行する際には、図２に示し
た構造解析ソフト２０７が使用される。(2) Structure Analysis of Video Stream Next, the structure analysis process of the video stream realized in the system as described above will be explained. When executing the structure analysis process of the video stream, the structure analysis software 207 shown in FIG. 2 is used.

【００３１】構造解析ソフト２０７は、構造解析の対象
となる映像ストリーム中のフレーム同士を比較して両方
の画像の特徴量の差を求めることにより、映像ストリー
ム中の各フレームの画像が有する特徴量の変化を求める
処理を実行する。換言すれば、構造解析ソフト２０７
は、各フレームの画像が有する特徴量の変化を求めるこ
とにより、映像ストリームを複数に分割する分割点を特
定して、映像ストリームから特徴量の差が少ない連続す
るフレームの集合を抽出し、映像ストリームを任意の連
続するフレーム単位に分割できるようにするものであ
る。なお、ここでいう特徴量にはフレームの画像の色・
配色・構造・形状・曲率等がある。The structural analysis software 207 compares the frames in the video stream to be subjected to the structural analysis and obtains the difference in the characteristic amounts of the two images to obtain the characteristic amount of each frame image in the video stream. The process for obtaining the change of is executed. In other words, the structural analysis software 207
Determines the change in the feature amount of each frame image to identify the division points that divide the video stream into multiple parts, extract a set of consecutive frames from the video stream with a small difference in feature amount, and It allows a stream to be divided into arbitrary continuous frame units. Note that the feature amount here is the color of the frame image.
There are colors, structures, shapes, curvatures, etc.

【００３２】構造解析ソフト２０７を起動すると、図３
に示すような構造解析過程表示ウインドウ３０１が表示
装置２０６に画面表示される。この構造解析過程表示ウ
インドウ３０１は、構造解析ソフト２０７が映像ストリ
ームの構造解析を行っている過程をユーザに対して表示
するものである。ここでは、映像ストリームの構造解析
処理を説明する前に、構造解析過程表示ウインドウ３０
１の構成を説明することにする。When the structural analysis software 207 is started, FIG.
A structural analysis process display window 301 as shown in FIG. This structural analysis process display window 301 displays to the user the process in which the structural analysis software 207 is performing structural analysis of the video stream. Before explaining the structure analysis process of the video stream, the structure analysis process display window 30 will be described.
The configuration of No. 1 will be described.

【００３３】構造解析過程表示ウインドウ３０１は、映
像ストリーム中の比較対象となる２つのフレームを表示
する比較フレーム表示部３０２を有している。本実施の
形態においては、この比較フレーム表示部３０２中の左
側に表示されるフレームを基準フレームと、右側に表示
されるフレームを選択フレーム（第１の選択フレームま
たは第２の選択フレーム）とそれぞれ定義し、比較フレ
ーム表示部３０２において、基準フレームを表示する領
域を基準フレーム表示部３０２ａ、選択フレームを表示
する領域を選択フレーム表示部３０２ｂと呼ぶことにす
る。The structural analysis process display window 301 has a comparison frame display section 302 for displaying two frames to be compared in the video stream. In the present embodiment, the frame displayed on the left side of the comparison frame display unit 302 is the reference frame, and the frame displayed on the right side is the selected frame (first selected frame or second selected frame). In the comparison frame display unit 302, the area displaying the reference frame will be referred to as a reference frame display section 302a, and the area displaying the selected frame will be referred to as a selection frame display section 302b.

【００３４】構造解析ソフト２０７は、ノーマル比較モ
ードおよび詳細比較モードの２つのモードを切り換えつ
つ映像ストリームの構造解析処理を実行する。ノーマル
比較モードにおいて、構造解析ソフト２０７は、基準フ
レームと比較する選択フレームを予め設定されている第
１の間隔で選択し、選択フレーム表示部３０２ｂに表示
する。本実施の形態においては、この第１の間隔を３０
フレームとし、構造解析ソフト２０７は、３０フレーム
間隔で選択フレームとなるフレームを選択し、基準フレ
ームと比較する処理を実行する。このようなノーマル比
較モードによる構造解析処理を実行することにより、映
像ストリーム中の各フレームの特徴量の変化を大まかに
つかむことが可能となり、フレーム一つひとつを基準フ
レームと比較していく場合に比べて構造解析処理の高速
化を図ることが可能となる。なお、このノーマル比較モ
ードにおいて、前述した選択フレームとして選択される
フレームを第１の選択フレームと呼ぶことにする。The structure analysis software 207 executes the structure analysis process of the video stream while switching between the normal comparison mode and the detailed comparison mode. In the normal comparison mode, the structural analysis software 207 selects the selected frame to be compared with the reference frame at the preset first interval and displays it on the selected frame display unit 302b. In the present embodiment, this first interval is 30
The structural analysis software 207 selects a frame to be a selected frame at intervals of 30 frames, and executes a process of comparing with a reference frame. By executing the structural analysis processing in such a normal comparison mode, it is possible to roughly grasp the change in the feature amount of each frame in the video stream, compared to the case where each frame is compared with the reference frame. It is possible to speed up the structural analysis processing. In this normal comparison mode, the frame selected as the above-mentioned selected frame will be referred to as a first selected frame.

【００３５】一方、詳細比較モードは、ノーマル比較モ
ードの実行中に映像ストリームの分割点となるような特
徴量が大きく変化する第１の選択フレームが発見された
場合に、その第１の選択フレームより前に第１の選択フ
レームとして選択されたフレーム以降のフレームを第１
の間隔より細かい第２の間隔で順次選択し、基準フレー
ムとの比較処理を実行するものである。本実施の形態に
おいては、この第２の間隔を１フレームとする。このよ
うな詳細比較モードによる構造解析処理を実行すること
により、確実に映像ストリームの分割点となるフレーム
を特定することができる。なお、この詳細比較モードに
おいて選択フレームとして選択されるフレームを、ノー
マル比較モードにおける第１の選択フレームに対し、第
２の選択フレームと呼ぶことにする。On the other hand, in the detailed comparison mode, when the first selected frame in which the feature amount greatly changes such that it becomes the division point of the video stream is found during execution of the normal comparison mode, the first selected frame is detected. The frames after the frame selected as the first selected frame before
This is to sequentially select at a second interval that is smaller than the interval and to perform the comparison process with the reference frame. In the present embodiment, this second interval is one frame. By executing the structure analysis processing in such a detailed comparison mode, it is possible to reliably identify the frame that is the division point of the video stream. The frame selected as the selected frame in the detailed comparison mode will be referred to as the second selected frame in contrast to the first selected frame in the normal comparison mode.

【００３６】なお、ここでは、ノーマル比較モードにお
いて３０フレーム間隔でフレーム同士を比較し、詳細比
較モードにおいて１フレーム間隔でフレーム同士を比較
することにするが、１フレーム間隔でフレーム同士を比
較する前に、例えば、５フレーム間隔でフレーム同士を
比較して映像ストリームの分割点となるような特徴量が
大きく変化するフレームの位置を絞り込む処理を行い、
最終的に１フレーム間隔でフレーム同士を比較して、映
像ストリームの分割点となるような特徴量が大きく変化
するフレームの位置を特定するという処理を行うことに
しても良い。Here, it is assumed that the frames are compared at 30-frame intervals in the normal comparison mode and the frames are compared at 1-frame intervals in the detailed comparison mode, but before the frames are compared at 1-frame intervals. In addition, for example, a process of comparing the frames at intervals of 5 frames and narrowing down the positions of the frames in which the feature amount that greatly serves as the division point of the video stream is narrowed,
Finally, it is possible to perform a process of comparing the frames at an interval of one frame and specifying the position of the frame in which the feature amount greatly changes so as to become the division point of the video stream.

【００３７】構造解析過程表示ウインドウ３０１は、構
造解析処理中においてノーマル比較モードおよび詳細比
較モードのいずれのモードによる構造解析処理が実行さ
れているかを選択フレーム表示部３０２ｂの下方に表示
する。The structural analysis process display window 301 displays below the selected frame display section 302b whether the structural analysis process is being executed in the normal comparison mode or the detailed comparison mode during the structural analysis process.

【００３８】また、構造解析過程表示ウインドウ３０１
は、比較フレーム表示部３０２の左側に、３つのフレー
ム表示部３０３ａ〜３０３ｃを有している。このフレー
ム表示部３０３は、比較処理が終了したフレームを順番
に表示していくものである。具体的には、比較処理が終
了すると、基準フレーム表示部３０２ａに表示されてい
た基準フレームがフレーム表示部３０３ａに送られ、選
択フレーム表示部３０２ｂに表示されていた選択フレー
ムが基準フレーム表示部３０２ａに送られ、さらに、選
択フレーム表示部３０２ｂには新たな選択フレームが表
示される。つまり、比較処理が終了する毎に、比較フレ
ーム表示部３０２およびフレーム表示部３０３ａ〜３０
３ｃに表示されているフレームがそれぞれ左方向に送ら
れることになる。Further, the structural analysis process display window 301
Has three frame display sections 303a to 303c on the left side of the comparison frame display section 302. The frame display unit 303 sequentially displays the frames for which the comparison process has been completed. Specifically, when the comparison process ends, the reference frame displayed on the reference frame display unit 302a is sent to the frame display unit 303a, and the selection frame displayed on the selection frame display unit 302b is changed to the reference frame display unit 302a. Further, a new selected frame is displayed on the selected frame display portion 302b. That is, each time the comparison process ends, the comparison frame display unit 302 and the frame display units 303a to 30a
The frames displayed in 3c are respectively sent to the left.

【００３９】構造解析過程表示ウインドウ３０１は、ま
た、比較フレーム表示部３０２に表示された２つのフレ
ームを比較することによって得た２つのフレームの特徴
量の差をプロットし、映像ストリーム中の各フレームの
特徴量の変化を表す折れ線グラフを表示するためのグラ
フ表示部３０４を有している。グラフ表示部３０４中に
は、区切り線３０４ａが表示されており、区切り線３０
４ａに囲まれた領域Ａ・領域Ｂ・領域Ｃ・領域Ｄは、そ
れらの上方に表示されているフレームにそれぞれ対応し
ている。例えば、基準フレーム表示部３０２ａの下方の
領域Ｄには、基準フレームおよび選択フレームの特徴量
の差が表示されている。The structural analysis process display window 301 also plots the difference between the feature amounts of the two frames obtained by comparing the two frames displayed in the comparison frame display section 302, and displays each frame in the video stream. The graph display unit 304 has a graph display unit 304 for displaying a line graph representing the change in the feature amount. A dividing line 304a is displayed in the graph display unit 304, and the dividing line 30a
Area A, area B, area C, and area D surrounded by 4a respectively correspond to the frames displayed above them. For example, in the area D below the reference frame display unit 302a, the difference between the feature amounts of the reference frame and the selected frame is displayed.

【００４０】また、グラフ表示部３０４の領域Ａ，領域
Ｂおよび領域Ｄのように、折れ線グラフが直線で示され
ている領域は前述した第１の間隔でフレームを選択する
ノーマル比較モードで比較処理が実行されたことを意味
している。例えば、領域Ａは、フレーム表示部３０３ｃ
に表示されているフレームとフレーム表示部３０３ｂに
表示されているフレームとがノーマル比較モードで比較
された際の２つのフレームの画像の特徴量の差を示して
いる。Further, areas such as the area A, the area B and the area D of the graph display unit 304 where the line graph is shown by a straight line are compared in the normal comparison mode for selecting frames at the above-mentioned first interval. Has been executed. For example, the area A is the frame display portion 303c.
The difference between the feature amounts of the images of the two frames when the frame displayed in 1) and the frame displayed in the frame display unit 303b are compared in the normal comparison mode is shown.

【００４１】一方、１つの領域中に複数のプロット点が
表示されている領域Ｃは、対応するフレーム表示部３０
３ａに表示されているフレームと、基準フレーム表示部
３０２ａに表示されたフレームより前に存在する複数の
フレームとが詳細比較モードで比較されたことを意味し
ている。すなわち、領域Ｃ中のプロット点は、第２の間
隔で選択され、フレーム表示部３０３ａに表示されてい
る（比較処理の際には基準フレーム表示部３０２ａに表
示されていた）フレームと比較されたフレームの数に対
応している。On the other hand, the area C in which a plurality of plot points are displayed in one area corresponds to the corresponding frame display section 30.
This means that the frame displayed in 3a and the plurality of frames existing before the frame displayed in the reference frame display unit 302a are compared in the detailed comparison mode. That is, the plot points in the area C are selected at the second interval and compared with the frame displayed on the frame display unit 303a (displayed on the reference frame display unit 302a during the comparison process). Corresponds to the number of frames.

【００４２】さらに、領域Ｃ中の折れ線グラフが急激に
変化している様子から明らかなように、比較された２つ
のフレーム間の特徴量の差が所定の閾値以上の場合、構
造解析ソフト２０７によってその比較されたフレームの
間が映像ストリームの分割点と判定され、判定された分
割点を示す分割線３０４ｂがグラフ表示部３０４中に表
示される。Further, as is clear from the sharp change in the line graph in the area C, when the difference in the feature amount between the two compared frames is equal to or more than a predetermined threshold value, the structural analysis software 207 The space between the compared frames is determined to be a division point of the video stream, and a division line 304b indicating the determined division point is displayed in the graph display unit 304.

【００４３】なお、グラフ表示部３０４中に表示された
グラフは、比較処理が行われる毎に対応するフレームが
左に送られることに伴い、同様に左に送られて表示され
ることになる。The graph displayed in the graph display section 304 is also sent to the left and displayed as the corresponding frame is sent to the left every time the comparison process is performed.

【００４４】また、グラフ表示部３０４の下方に示され
ている「色」・「配色」・「構造」・「形状」・「曲
率」は、フレーム同士を比較する際に用いる特徴量を示
しており、該当するチェックボックスをチェックするこ
とにより、その特徴量の差を示す折れ線グラフがグラフ
表示部３０４に表示される。ただし、各特徴量の値が異
なるため、図３に示すグラフ表示部３０４には全ての特
徴量の差が表示されてはいないが、倍率設定部３０６中
のボタンを選択して倍率を変更することにより、グラフ
表示部３０４に表示される折れ線グラフのレンジを変更
でき、全ての特徴量を表示できるようにしたり、各フレ
ーム間の特徴量の変化を詳細に表示したり、ラフに表示
したりすることが可能となる。Further, "color", "color scheme", "structure", "shape", and "curvature" shown below the graph display section 304 indicate the feature quantities used when comparing frames. By checking the corresponding check box, a line graph showing the difference between the feature amounts is displayed on the graph display unit 304. However, since the values of the respective characteristic amounts are different, all the differences in the characteristic amounts are not displayed on the graph display unit 304 shown in FIG. 3, but the button in the magnification setting unit 306 is selected to change the magnification. By doing so, it is possible to change the range of the line graph displayed in the graph display unit 304, display all the feature amounts, display the change in the feature amount between each frame in detail, and display it roughly. It becomes possible to do.

【００４５】また、「スコア」に該当するチェックボッ
クスをチェックすると、「色」・「配色」・「構造」・
「形状」・「曲率」の全ての特徴量の差を総合的に示す
折れ線グラフがグラフ表示部３０４に表示される。本実
施の形態において単に特徴量という場合は、この「スコ
ア」によって示される量を意味するものとする。When the check box corresponding to "score" is checked, "color", "color scheme", "structure",
A line graph that comprehensively shows the differences in all the feature amounts of “shape” and “curvature” is displayed on the graph display unit 304. In the present embodiment, the term “feature amount” simply means the amount indicated by this “score”.

【００４６】さらに、構造解析過程表示ウインドウ３０
１は、映像ストリーム中の最初のフレームから最後のフ
レームまでの処理の進行状況および処理結果を表示する
バー３０５を有している。バー３０５には、映像ストリ
ーム全体に対し、現在比較フレーム表示部３０２に表示
されて比較処理が行われるフレームの位置が順次表示さ
れていく。その結果、バー３０５中には、比較処理に用
いられたフレームの位置が全て表示されることになる。
バー３０５において、３０５ａで示す複数の波線が比較
処理に用いられたフレームの位置を示すフレーム位置表
示ラインを示している。このバー３０５がフレーム位置
表示ライン３０５ａによって満たされると、１つの映像
ストリームの解析処理が終了することになる。Further, the structural analysis process display window 30
Reference numeral 1 has a bar 305 for displaying the progress of processing and the processing result from the first frame to the last frame in the video stream. On the bar 305, the positions of the frames currently displayed on the comparison frame display unit 302 and subjected to the comparison process are sequentially displayed for the entire video stream. As a result, all the positions of the frames used for the comparison process are displayed in the bar 305.
In the bar 305, a plurality of wavy lines 305a indicate frame position display lines indicating the positions of the frames used in the comparison process. When the bar 305 is filled with the frame position display line 305a, the analysis processing of one video stream ends.

【００４７】また、３０５ｂは分割フレーム位置表示ラ
インを示し、この分割フレーム位置表示ライン３０５ｂ
は、グラフ表示部３０４の分割線３０４ｂに対応してお
り、分割点の直後のフレームの位置を表示するものであ
る。この分割フレーム位置表示ライン３０５ｂをバー３
０５中に表示することにより、映像ストリーム中のどこ
に分割点が位置しているのかを一目で認識することが可
能となる。Reference numeral 305b denotes a divided frame position display line, and this divided frame position display line 305b.
Corresponds to the dividing line 304b of the graph display unit 304 and displays the position of the frame immediately after the dividing point. This divided frame position display line 305b is displayed on the bar 3
By displaying it in 05, it becomes possible to recognize at a glance where the division point is located in the video stream.

【００４８】なお、図３において、３０７は各種の設定
値を表示する設定値表示部を、３０８は後に説明する解
析処理の過程の再現を行う際に再現速度を設定するため
の再現速度調整部を、３０９は解析対象である映像情報
の映像を表示する映像表示部を、３１０は解析処理の開
始を指示するための開始ボタンを、３１１は中断した解
析処理の再開を指示するための再開ボタンを、３１２は
解析処理を終了して構造解析過程表示ウインドウ３０１
を閉じるための閉じるボタンをそれぞれ示している。In FIG. 3, 307 is a set value display section for displaying various set values, and 308 is a reproduction speed adjusting section for setting a reproduction speed when reproducing the process of the analysis processing described later. 309, a video display unit for displaying the video of the video information to be analyzed, 310 a start button for instructing the start of the analysis process, 311 a restart button for instructing the restart of the interrupted analysis process. 312 indicates the structural analysis process display window 301 after finishing the analysis process.
Each shows a close button for closing.

【００４９】続いて、映像ストリームの構造解析処理を
具体的に説明する。図４は、映像ストリームの構造解析
処理を示すフローチャートである。例えば、映像ストリ
ームの構造を解析する対象となる映像情報が映像情報ラ
イブラリ１０１から選択され、構造解析過程表示ウイン
ドウ３０１中の開始ボタン３１０がクリックされると、
構造解析ソフト２０７は図４に示す処理を開始する。な
お、ここでは「花のレポート」を映像情報の例とし、そ
の映像情報の映像ストリームの最初のフレーム（ＩＤ：
１）からノーマル比較モードによる処理を開始するもの
とする。Next, the structure analysis process of the video stream will be specifically described. FIG. 4 is a flowchart showing the structure analysis process of the video stream. For example, when the video information to be analyzed for the structure of the video stream is selected from the video information library 101 and the start button 310 in the structure analysis process display window 301 is clicked,
The structural analysis software 207 starts the processing shown in FIG. Note that here, "Flower Report" is taken as an example of video information, and the first frame (ID:
The process in the normal comparison mode is started from 1).

【００５０】まず、構造解析ソフト２０７は、ＩＤが１
のフレームを基準フレームとして設定し、図５に示すよ
うに、その画像を基準フレーム表示部３０２ａに表示す
ると共に、バー３０５に映像ストリーム中の該当する位
置を示すフレーム位置表示ライン３０５ａを表示する
（Ｓ４０１）。First, the structural analysis software 207 has an ID of 1
5 is set as the reference frame, and as shown in FIG. 5, the image is displayed on the reference frame display unit 302a, and the bar 305 displays the frame position display line 305a indicating the corresponding position in the video stream ( S401).

【００５１】基準フレームを表示した後、構造解析ソフ
ト２０７は、この基準フレームが映像ストリーム中の最
後のフレームであるか否かを判定する（Ｓ４０１ａ）。
基準フレームが映像ストリーム中の最後のフレームであ
ると判定した場合、構造解析ソフト２０７は図４に示す
構造解析処理を終了する。After displaying the reference frame, the structure analysis software 207 determines whether this reference frame is the last frame in the video stream (S401a).
When it is determined that the reference frame is the last frame in the video stream, the structure analysis software 207 ends the structure analysis process shown in FIG.

【００５２】一方、基準フレームが映像ストリーム中の
最後のフレームでないと判定した場合、設定した基準フ
レームから第１の間隔分（３０フレーム分）進めた位置
にフレームが存在するか否かを判定する（Ｓ４０２）。
第１の間隔分（３０フレーム分）進めた位置にフレーム
が存在しない場合、構造解析ソフト２０７は、映像スト
リーム中の最後のフレームを基準フレームと比較する第
１の選択フレームとして設定し（Ｓ４１５）、ステップ
Ｓ４０４に進む。On the other hand, when it is determined that the reference frame is not the last frame in the video stream, it is determined whether or not there is a frame at the position advanced by the first interval (30 frames) from the set reference frame. (S402).
When there is no frame at the position advanced by the first interval (30 frames), the structural analysis software 207 sets the last frame in the video stream as the first selected frame to be compared with the reference frame (S415). , And proceeds to step S404.

【００５３】また、第１の間隔分進めた位置にフレーム
が存在する場合、構造解析ソフト２０７は、該当するフ
レームを基準フレームと比較する第１の選択フレームと
して設定し、図５に示すように、その画像を選択フレー
ム表示部３０２ｂに表示すると共に、バー３０５に映像
ストリーム中の該当する位置を示すフレーム位置表示ラ
イン３０５ａを表示する（Ｓ４０３）。When a frame exists at the position advanced by the first interval, the structural analysis software 207 sets the corresponding frame as the first selected frame for comparison with the reference frame, and as shown in FIG. The image is displayed on the selected frame display unit 302b, and the frame position display line 305a indicating the corresponding position in the video stream is displayed on the bar 305 (S403).

【００５４】続いて、構造解析ソフト２０７は、図５に
示した基準フレームおよび第１の選択フレームの画像を
比較し（Ｓ４０４）、基準フレームおよび第１の選択フ
レームの画像の特徴量の差が所定の閾値以上であるか否
かを判定する（Ｓ４０５）。Subsequently, the structural analysis software 207 compares the images of the reference frame and the first selected frame shown in FIG. 5 (S404), and the difference in the feature amount between the images of the reference frame and the first selected frame is determined. It is determined whether or not it is equal to or more than a predetermined threshold value (S405).

【００５５】ステップＳ４０５において基準フレームお
よび第１の選択フレームの画像の特徴量の差が所定の閾
値以上ではないと判定した場合、構造解析ソフト２０７
は、図５に示すように、基準フレームに該当するグラフ
表示部３０４の領域に、第１の選択フレームと比較して
得た特徴量の差を折れ線グラフで記録する（Ｓ４０
６）。ただし、ここではノーマル処理モードであるた
め、記録されたグラフは直線となる。When it is determined in step S405 that the difference between the feature amounts of the images of the reference frame and the first selected frame is not equal to or larger than the predetermined threshold value, the structural analysis software 207
As shown in FIG. 5, in the area of the graph display unit 304 corresponding to the reference frame, the difference in the characteristic amount obtained by comparison with the first selected frame is recorded as a line graph (S40).
6). However, since the normal processing mode is used here, the recorded graph is a straight line.

【００５６】その後、構造解析ソフト２０７は、ステッ
プＳ４０１に戻り、基準フレーム表示部３０２ａに表示
されている基準フレームの画像を左隣のフレーム表示部
３０３ａに表示した後、選択フレーム表示部３０２ｂに
表示されている第１の選択フレームを基準フレームとし
て設定し、図６に示すように基準フレーム表示部３０２
ａに表示する（Ｓ４０１）。なお、構造解析ソフト２０
７は、基準フレーム表示部３０２ａに表示されていた基
準フレームの画像をフレーム表示部３０３ａに表示する
処理に併せ、対応するグラフ表示部３０４の領域も左に
シフトさせる。After that, the structural analysis software 207 returns to step S401, displays the image of the reference frame displayed on the reference frame display section 302a on the frame display section 303a on the left side, and then displays it on the selected frame display section 302b. The selected first selected frame is set as a reference frame, and as shown in FIG.
It is displayed on a (S401). Structural analysis software 20
7 shifts the corresponding area of the graph display unit 304 to the left, in addition to the process of displaying the image of the reference frame displayed on the reference frame display unit 302a on the frame display unit 303a.

【００５７】そして、構造解析ソフト２０７は、設定し
た基準フレームが映像ストリーム中の最後のフレームで
あるか否かを判定する（Ｓ４０１ａ）。基準フレームが
映像ストリーム中の最後のフレームであると判定した場
合、構造解析ソフト２０７は図４に示す構造解析処理を
終了し、基準フレームが映像ストリーム中の最後のフレ
ームでないと判定した場合、設定した基準フレームから
第１の間隔分（３０フレーム分）進めた位置にフレーム
が存在するか否かを判定する（Ｓ４０２）。第１の間隔
分（３０フレーム分）進めた位置にフレームが存在しな
い場合、構造解析ソフト２０７は、映像ストリーム中の
最後のフレームを基準フレームと比較する第１の選択フ
レームとして設定し（Ｓ４１５）、ステップＳ４０４に
進む。Then, the structure analysis software 207 determines whether or not the set reference frame is the last frame in the video stream (S401a). When it is determined that the reference frame is the last frame in the video stream, the structure analysis software 207 ends the structure analysis processing shown in FIG. 4, and when it is determined that the reference frame is not the last frame in the video stream, the setting is performed. It is determined whether or not there is a frame at the position advanced by the first interval (30 frames) from the reference frame (S402). When there is no frame at the position advanced by the first interval (30 frames), the structural analysis software 207 sets the last frame in the video stream as the first selected frame to be compared with the reference frame (S415). , And proceeds to step S404.

【００５８】一方、第１の間隔分進めた位置にフレーム
が存在する場合、構造解析ソフト２０７は、該当するフ
レームを基準フレームと比較する第１の選択フレームと
して設定し、図６に示すように、その画像を選択フレー
ム表示部３０２ｂに表示すると共に、バー３０５に映像
ストリーム中の該当する位置を示すフレーム位置表示ラ
イン３０５ａを表示する（Ｓ４０３）。On the other hand, when the frame exists at the position advanced by the first interval, the structural analysis software 207 sets the corresponding frame as the first selected frame for comparison with the reference frame, and as shown in FIG. The image is displayed on the selected frame display unit 302b, and the frame position display line 305a indicating the corresponding position in the video stream is displayed on the bar 305 (S403).

【００５９】なお、ステップＳ４０５で特徴量の差が閾
値以上でないと判定した場合に、ステップＳ４０１に戻
って第１の選択フレームを基準フレームとする処理を行
うことにしたが、特徴量の差が閾値以上でない限り、必
ずしも基準フレームを変更する必要はない。すなわち、
基準フレームおよび第１の選択フレームの画像の特徴量
の差が閾値以上でないということは、比較した２つのフ
レームの画像はほぼ等しいといえ、つぎのフレームと比
較する際にいずれを用いても同様な比較処理を行うこと
ができるからである。If it is determined in step S405 that the difference between the feature amounts is not equal to or larger than the threshold value, the process returns to step S401 and the process using the first selected frame as the reference frame is performed. The reference frame does not necessarily have to be changed unless it is equal to or larger than the threshold value. That is,
The fact that the difference between the feature amounts of the images of the reference frame and the first selected frame is not greater than or equal to the threshold means that the images of the two frames that have been compared are almost the same, and the same applies regardless of which one is used when comparing with the next frame. This is because it is possible to perform various comparison processes.

【００６０】ただし、ここで基準フレームを変更する場
合と変更しない場合とにより、異なる構造解析を行うこ
とが可能となる。基準フレームを変更する場合において
は、ほぼ隣接するフレーム間で比較処理が行われるた
め、フレーム間の特徴量の差が大きく異なる場合にの
み、分割点が設定されるという特徴がある。一方、前述
した場合に基準フレームを変更しない場合、離れた位置
のフレーム同士の特徴量の差を見ることになるため、フ
レーム間の特徴の差分が蓄積され、基準フレームを変更
する場合に比べて分割点の数が多くなる可能性が高いと
いう特徴がある。However, different structural analyzes can be performed depending on whether the reference frame is changed or not. When the reference frame is changed, the comparison processing is performed between almost adjacent frames, so that the division point is set only when the difference in the feature amount between the frames is significantly different. On the other hand, if the reference frame is not changed in the above-mentioned case, the difference in the feature amount between the frames at the distant positions is to be seen, so the difference in the feature between the frames is accumulated, and compared to the case of changing the reference frame. The feature is that the number of division points is likely to increase.

【００６１】再び構造解析処理の説明に戻り、基準フレ
ームおよび第１の選択フレームの画像の特徴量の差が閾
値以上と判定されることなく、図７に示す状態まで映像
ストリームの構造解析処理が進んだものとする。図７
は、基準フレームとしてＩＤが９３１のフレームが表示
されており、基準フレームと比較する第１の選択フレー
ムとしてＩＤが９６１のフレームが表示されている。Returning to the explanation of the structure analysis process again, the structure analysis process of the video stream can be performed up to the state shown in FIG. 7 without determining that the difference between the feature amounts of the images of the reference frame and the first selected frame is greater than or equal to the threshold value. It is assumed to have advanced. Figure 7
Shows a frame having an ID of 931 as a reference frame, and a frame having an ID of 961 as a first selection frame to be compared with the reference frame.

【００６２】構造解析ソフト２０７は、図４のステップ
Ｓ４０４において２つのフレームを比較し、ステップＳ
４０５で２つのフレームの特徴量の差が所定の閾値以上
であると判定したものとする。すなわち、図７に示すよ
うに、基準フレームは「花」の画像であるが、第１の選
択フレームは「レポーター」の画像であり、これら２つ
の画像は大きく異なっていることがわかる。The structural analysis software 207 compares the two frames in step S404 of FIG.
It is assumed that it is determined in 405 that the difference between the feature amounts of the two frames is equal to or larger than a predetermined threshold value. That is, as shown in FIG. 7, it can be seen that the reference frame is the “flower” image, but the first selected frame is the “reporter” image, and these two images are significantly different.

【００６３】続いて、構造解析ソフト２０７は、選択フ
レーム表示部３０２ｂに表示されている第１の選択フレ
ームの位置を記憶し（Ｓ４０７）、比較した２つのフレ
ームの間に位置するいずれのフレームの画像の特徴量が
基準フレームの画像の特徴量と大きく異なるかをチェッ
クする詳細比較モード処理を実行する。換言すれば、構
造解析ソフト２０７は、詳細比較モード処理を実行する
ことにより、図７に示す第１の選択フレームのようなフ
レームが最初に登場する場所を探し出し、映像ストリー
ムを分割することが可能な分割点を特定する。Subsequently, the structural analysis software 207 stores the position of the first selected frame displayed on the selected frame display section 302b (S407), and determines which frame located between the two compared frames. A detailed comparison mode process is executed to check whether the image feature amount is significantly different from the reference frame image feature amount. In other words, the structural analysis software 207 can perform a detailed comparison mode process to find a place where a frame such as the first selected frame shown in FIG. 7 first appears, and divide the video stream. Specify the correct division point.

【００６４】構造解析ソフト２０７は、位置を記憶した
第１の選択フレーム（ＩＤ：９６１）より前であって、
基準フレーム（ＩＤ：９３１）以降のフレームを第１の
間隔より細かい第２の間隔（１フレーム）で選択し、選
択したフレームを基準フレームと比較する第２の選択フ
レームとして設定し、選択フレーム表示部３０２ｂに表
示すると共に、バー３０５に映像ストリーム中の該当す
る位置を示すフレーム位置表示ライン３０５ａを表示す
る（Ｓ４０８）。構造解析ソフト２０７は、基準フレー
ム以降に位置するフレームを順次第２の選択フレームと
して選択し、選択した第２の選択フレームおよび基準フ
レームを比較する。The structural analysis software 207 is before the first selection frame (ID: 961) in which the position is stored,
Frames after the reference frame (ID: 931) are selected at a second interval (1 frame) smaller than the first interval, the selected frame is set as a second selected frame to be compared with the reference frame, and the selected frame is displayed. The frame position display line 305a indicating the corresponding position in the video stream is displayed on the bar 305 while being displayed on the section 302b (S408). The structural analysis software 207 sequentially selects the frames located after the reference frame as the second selected frame, and compares the selected second selected frame and the reference frame.

【００６５】そして、構造解析ソフト２０７は、基準フ
レームおよび第２の選択フレームの画像を比較し（Ｓ４
０９）、基準フレームおよび第２の選択フレームの画像
の特徴量の差が所定の閾値以上であるか否かを判定する
（Ｓ４１０）。Then, the structural analysis software 207 compares the images of the reference frame and the second selected frame (S4
09), it is determined whether the difference between the feature amounts of the images of the reference frame and the second selected frame is equal to or more than a predetermined threshold value (S410).

【００６６】ステップＳ４１０において基準フレームお
よび第２の選択フレームの画像の特徴量の差が所定の閾
値以上ではないと判定した場合、構造解析ソフト２０７
は、基準フレームおよびステップＳ４０７で位置を記憶
した第１の選択フレームの間のフレームを全て処理した
か否かを判定する（Ｓ４１２）。つまり、構造解析ソフ
ト２０７は、基準フレームおよび第１の選択フレームの
間のフレームであって、第２の間隔に該当するフレーム
の全てについて基準フレームと比較する処理が終了した
か否かを判定する。When it is determined in step S410 that the difference between the feature amounts of the images of the reference frame and the second selected frame is not equal to or larger than the predetermined threshold value, the structural analysis software 207
Determines whether all the frames between the reference frame and the first selected frame whose position has been stored in step S407 have been processed (S412). That is, the structural analysis software 207 determines whether or not the process of comparing the reference frame with all the frames between the reference frame and the first selected frame and corresponding to the second interval has been completed. .

【００６７】ステップＳ４１２において基準フレームお
よび第１の選択フレームの間のフレームを全て処理して
いないと判定した場合、基準フレームに該当するグラフ
表示部３０４の領域に、第２の選択フレームと比較して
得た特徴量の差を折れ線グラフで記録する（Ｓ４１
３）。When it is determined in step S412 that all the frames between the reference frame and the first selected frame are not processed, the area of the graph display unit 304 corresponding to the reference frame is compared with the second selected frame. The difference between the obtained feature quantities is recorded as a line graph (S41).
3).

【００６８】そして、構造解析ソフト２０７はステップ
Ｓ４０８に戻り、第２の間隔でフレームを選択して第２
の選択フレームとして設定し、選択フレーム表示部３０
２ｂに表示すると共に、バー３０５に映像ストリーム中
の該当する位置を示すフレーム位置表示ライン３０５ａ
を表示する。Then, the structural analysis software 207 returns to step S408, selects frames at the second interval, and then selects the second frame.
Set as the selected frame of the
2b and a frame position display line 305a indicating the corresponding position in the video stream on the bar 305.
Is displayed.

【００６９】図８は、前述したステップＳ４０８〜ステ
ップＳ４１３の処理を複数回行った後において、構造解
析過程表示ウインドウ３０１に表示された解析過程の一
例を示す説明図である。ノーマル比較モードの場合にお
いては、基準フレームおよび第１の選択フレームの比較
が行われるのみであるため、その際の基準フレームに対
応するグラフ表示部３０４の領域に表示される折れ線グ
ラフは直線となる（図８中の左側の３つのフレームに対
応するグラフを参照）。一方、詳細比較モードの場合、
基準フレームと複数の第２の選択フレームとの比較処理
が行われるため、図８に示すように、基準フレームに対
応するグラフ表示部３０４の領域には、比較処理を行っ
た第２の選択フレームの数に応じた点がプロットされ、
複数点からなる折れ線グラフが表示されることになる。
すなわち、基準フレーム（ＩＤ：９３１）と複数の第２
の選択フレーム（ＩＤ：９３２〜９３８）が順次比較さ
れた結果に基づいて、基準フレームの画像とそれらの選
択フレームの画像との特徴量の差がプロットされ、折れ
線グラフとして基準フレームに該当するグラフ表示部３
０４の領域に表示される。FIG. 8 is an explanatory diagram showing an example of the analysis process displayed in the structural analysis process display window 301 after the above-described steps S408 to S413 have been performed a plurality of times. In the case of the normal comparison mode, since the reference frame and the first selected frame are only compared, the line graph displayed in the area of the graph display unit 304 corresponding to the reference frame at that time is a straight line. (See the graph corresponding to the three frames on the left side in FIG. 8). On the other hand, in the detailed comparison mode,
Since the comparison process of the reference frame and the plurality of second selected frames is performed, the area of the graph display unit 304 corresponding to the reference frame has the second selected frame subjected to the comparison process as shown in FIG. Points are plotted according to the number of
A line graph consisting of multiple points will be displayed.
That is, the reference frame (ID: 931) and a plurality of second frames
Based on the result of sequentially comparing the selected frames (ID: 932 to 938), the difference in the feature amount between the images of the reference frames and the images of the selected frames is plotted, and the graph corresponding to the reference frame is a line graph. Display 3
It is displayed in the area 04.

【００７０】図９は、図４のステップＳ４０８〜ステッ
プＳ４１３の処理がさらに繰り返された後において、構
造解析過程表示ウインドウ３０１に表示された解析過程
の一例を示す説明図である。さらに複数の第２の選択フ
レームとの比較処理が行われた結果、基準フレームに対
応するグラフ表示部３０４の領域には、図８に示したも
のと比べて多くの点からなる折れ線グラフが表示されて
いる。図８および図９に示すように、基準フレームに対
応するグラフ表示部３０４の領域には、基準フレームお
よび第１の選択フレームの間に位置するフレームから選
択された第２の選択フレームと基準フレームとの比較結
果が全て表示されることになる。すなわち、構造解析ソ
フト３０７は、第２の選択フレームとの比較処理の回数
に応じて、基準フレームに対応するグラフ表示部３０４
の領域に表示する折れ線グラフの点同士の間隔を調整し
つつ、折れ線グラフの表示処理を行う。FIG. 9 is an explanatory diagram showing an example of the analysis process displayed in the structural analysis process display window 301 after the processes of steps S408 to S413 of FIG. 4 are further repeated. As a result of the comparison process with the plurality of second selected frames, a line graph having more points than that shown in FIG. 8 is displayed in the area of the graph display unit 304 corresponding to the reference frame. Has been done. As shown in FIGS. 8 and 9, in the region of the graph display unit 304 corresponding to the reference frame, the second selection frame and the reference frame selected from the frames located between the reference frame and the first selection frame. All comparison results with will be displayed. That is, the structural analysis software 307 causes the graph display unit 304 corresponding to the reference frame to correspond to the number of times of comparison processing with the second selected frame.
The display processing of the line graph is performed while adjusting the interval between the points of the line graph displayed in the area.

【００７１】再び図４のステップＳ４０８に戻り、第２
の選択フレームとして図１０に示すフレーム（ＩＤ：９
５１）が選択されたものとする。図１０において、基準
フレームは「花」の画像であり、第２の選択フレームは
「レポーター」の画像を示している。構造解析ソフト２
０７は、基準フレームおよび第２の選択フレームの画像
を比較し（Ｓ４０９）、基準フレームおよび第２の選択
フレームの画像の特徴量の差が所定の閾値以上であるか
否かを判定する（Ｓ４１０）。Returning again to step S408 in FIG. 4, the second
10 as the selection frame of the frame (ID: 9
51) is selected. In FIG. 10, the reference frame is the “flower” image, and the second selection frame is the “reporter” image. Structural analysis software 2
07 compares the images of the reference frame and the second selected frame (S409), and determines whether the difference between the feature amounts of the images of the reference frame and the second selected frame is equal to or more than a predetermined threshold value (S410). ).

【００７２】ステップＳ４１０において基準フレームお
よび第２の選択フレームの画像の特徴量の差が所定の閾
値以上であると判定した場合、構造解析ソフト２０７
は、第２の選択フレームの位置を映像ストリームの分割
点として記憶し（Ｓ４１１）、基準フレームの画像およ
び第２の選択フレームの画像の特徴量の差をグラフに記
録する（Ｓ４０６）。When it is determined in step S410 that the difference between the feature amounts of the images of the reference frame and the second selected frame is greater than or equal to a predetermined threshold value, the structural analysis software 207.
Stores the position of the second selected frame as a division point of the video stream (S411) and records the difference between the feature amounts of the image of the reference frame and the image of the second selected frame in the graph (S406).

【００７３】その後、構造解析ソフト２０７は、ステッ
プＳ４０１に戻り、再びノーマル比較モードによる構造
解析処理を実行する。すなわち、ステップＳ４１１で位
置を記憶した第２の選択フレームを基準フレームとして
設定し、設定した基準フレームが映像ストリーム中の最
後のフレームでない場合（Ｓ４０１ａ）、設定した基準
フレームから第１の間隔分（３０フレーム分）進めた位
置にフレームが存在するか否かを判定する（Ｓ４０
２）。第１の間隔分進めた位置にフレームが存在する場
合、構造解析ソフト２０７は、該当するフレームを基準
フレームと比較する第１の選択フレームとして設定し
（Ｓ４０３）、第１の間隔分進めた位置にフレームが存
在しない場合、構造解析ソフト２０７は、最後のフレー
ムを第１の選択フレームとして設定する（Ｓ４１５）。After that, the structure analysis software 207 returns to step S401 to execute the structure analysis process in the normal comparison mode again. That is, when the second selected frame whose position is stored in step S411 is set as the reference frame and the set reference frame is not the last frame in the video stream (S401a), the first interval ( It is determined whether or not there is a frame at the advanced position (for 30 frames) (S40).
2). When there is a frame at the position advanced by the first interval, the structural analysis software 207 sets the corresponding frame as the first selected frame for comparison with the reference frame (S403), and the position advanced by the first interval. If the frame does not exist, the structural analysis software 207 sets the last frame as the first selected frame (S415).

【００７４】図１１は、ステップＳ４１１を経由してス
テップＳ４０３（またはステップＳ４１５）まで進んだ
後において、構造解析過程表示ウインドウ３０１に表示
されている解析過程の一例を示す説明図である。構造解
析ソフト２０７は、ステップＳ４０６においてステップ
Ｓ４１１で位置を記憶した第２の選択フレームおよび代
表フレームの画像の特徴量の差をグラフに記録すると共
に、映像ストリームを分割可能な分割点であることを示
す分割線３０４ｂをグラフ表示部３０４中に表示する。
また、構造解析ソフト２０７は、映像ストリーム全体の
どの位置に分割点が位置しているかを明らかにするた
め、ステップＳ４１１で記憶したフレームに該当するバ
ー３０５中の位置に分割フレーム位置表示ライン３０５
ｂを表示する。FIG. 11 is an explanatory diagram showing an example of the analysis process displayed in the structural analysis process display window 301 after proceeding to step S403 (or step S415) via step S411. In step S406, the structural analysis software 207 records in the graph the difference between the feature amounts of the images of the second selected frame and the representative frame whose positions are stored in step S411, and determines that the video stream is a division point that can be divided. The dividing line 304b shown is displayed in the graph display unit 304.
In addition, the structure analysis software 207 identifies the position where the division point is located in the entire video stream, in order to clarify the position where the division point is located, the division frame position display line 305 is located at the position in the bar 305 corresponding to the frame stored in step S411.
Display b.

【００７５】なお、図４のステップＳ４１２において基
準フレームおよび第１の選択フレームとの間のフレーム
を全て処理したと判定した場合、構造解析ソフト２０７
は、ステップＳ４０７において位置を記憶した第１の選
択フレームを映像ストリームの分割点として記憶し（Ｓ
４１４）、基準フレームの画像および第１の選択フレー
ムの画像の特徴量の差をグラフに記録した後（Ｓ４０
６）、ステップＳ４０１に戻る。第１の選択フレームか
第２の選択フレームであるかという違いがあるものの、
この場合においても図１１を用いて説明した処理と同様
の処理が行われる。If it is determined in step S412 in FIG. 4 that all the frames between the reference frame and the first selected frame have been processed, the structural analysis software 207
Stores the first selected frame whose position is stored in step S407 as a division point of the video stream (S
414), after recording the difference between the feature amounts of the image of the reference frame and the image of the first selected frame in the graph (S40).
6) and returns to step S401. Although there is a difference between the first selection frame and the second selection frame,
Also in this case, the same processing as the processing described using FIG. 11 is performed.

【００７６】図１２は、図４のステップＳ４０１ａにお
いて、ステップＳ４０１で設定した基準フレームが最後
のフレームであると判定され、構造解析処理が終了した
場合に、構造解析過程表示ウインドウ３０１に表示され
ている解析過程の一例を示す説明図である。図１２にお
いて注目すべき点はバー３０５である。バー３０５に
は、比較処理に用いられた全てのフレームの位置に合わ
せてフレーム位置表示ライン３０５ａが表示されている
ため、ユーザはバー３０５から解析処理の進度および解
析処理が終了したことを理解することができる。また、
バー３０５中に分割フレーム位置表示ライン３０５ｂが
表示されるため、ユーザは構造解析処理が行われた映像
ストリームのどの辺りに分割点が位置するのかを容易に
理解することができる。さらに、分割フレーム位置表示
ライン３０５ｂの間に位置するフレームについて、ユー
ザは特徴量の差が少ない連続するフレームの集合と認識
することができる。構造解析ソフト２０７は、映像スト
リームの中からこの特徴量の差が少ない連続するフレー
ムの集合を抽出し、映像フレームを任意の連続するフレ
ーム単位に分割可能にするものである。In FIG. 12, in step S401a of FIG. 4, when it is determined that the reference frame set in step S401 is the last frame and the structural analysis processing is completed, the structural analysis process display window 301 displays the frame. It is explanatory drawing which shows an example of the analysis process which exists. In FIG. 12, the point to be noted is the bar 305. Since the frame position display line 305a is displayed on the bar 305 in accordance with the positions of all the frames used for the comparison process, the user understands from the bar 305 that the analysis process progresses and that the analysis process has ended. be able to. Also,
Since the divided frame position display line 305b is displayed in the bar 305, the user can easily understand where the divided point is located in the video stream on which the structure analysis processing has been performed. Further, the frame located between the divided frame position display lines 305b can be recognized by the user as a set of continuous frames having a small difference in feature amount. The structural analysis software 207 extracts a set of continuous frames having a small difference in feature amount from the video stream, and allows the video frame to be divided into arbitrary continuous frame units.

【００７７】また、構造解析ソフト２０７は、図４のフ
ローチャートを用いて説明した解析処理の過程を全て記
録している。ユーザは、解析処理の終了後、開始ボタン
３１０をクリックすることにより、解析処理の過程を何
度でも再現することができる。この際、ユーザは、再現
速度調整部３０８で再現速度を調整することにより、好
みの速度で解析処理の過程を再現することができる。Further, the structural analysis software 207 records all the steps of the analysis processing described using the flowchart of FIG. The user can reproduce the process of the analysis process any number of times by clicking the start button 310 after the end of the analysis process. At this time, the user can reproduce the analysis process at a desired speed by adjusting the reproduction speed with the reproduction speed adjusting unit 308.

【００７８】ここで、解析処理の過程を記録しておき、
解析処理の過程を再現可能にすることによって以下のよ
うな効果が得られる。つまり、実際に解析処理を行うわ
けではなく、記録しておいた解析処理の過程を再現する
ため、解析に要する時間を省くことができ、上述したよ
うに好みの速度で解析処理の過程を再現することができ
る。Here, the process of analysis processing is recorded,
By making the process of analysis processing reproducible, the following effects can be obtained. In other words, the analysis process is not actually performed, but the recorded process of the analysis process is reproduced, so the time required for the analysis can be saved and the process of the analysis process can be reproduced at the desired speed as described above. can do.

【００７９】また、構造解析ソフト２０７によって決定
された映像ストリームの分割点は、各フレームの画像の
特徴量という物理的な観点に基づいて決定されるもので
ある。したがって、例えば、背景がめまぐるしく変化す
る映像情報にあっては、変化する背景に応じて多くの分
割点が設定されることが予想される。換言すれば、この
分割点は、実際に必要とされる意味のある任意の連続す
るフレーム単位に映像ストリームを分割するための論理
的な分割点を示しているとは限らない。そのため、解析
処理の過程を再現することにより、ユーザが意図する分
割点が得られているかをチェックすることができるた
め、分割点の修正や変更を簡単に行うことができる。特
に、分割点の前後に当たる２つのフレームが構造解析過
程表示ウインドウ３０１中の比較フレーム表示部３０２
に表示されると共に、特徴量の差がグラフ表示部３０４
に折れ線グラフで表示されるため、どのような解析処理
がなされて分割点が決定されたかを容易に理解すること
ができ、分割点の修正や変更を簡単に行うことができ
る。The division points of the video stream determined by the structure analysis software 207 are determined based on the physical viewpoint of the feature amount of the image of each frame. Therefore, for example, in video information in which the background changes rapidly, it is expected that many division points are set according to the changing background. In other words, this division point does not always indicate a logical division point for dividing the video stream into arbitrary meaningful continuous frame units actually needed. Therefore, by reproducing the process of the analysis process, it is possible to check whether or not the dividing point intended by the user is obtained, and thus the dividing point can be easily corrected or changed. In particular, two frames corresponding to the front and rear of the division point are compared frame display section 302 in structural analysis process display window 301.
Is displayed on the graph display unit 304.
Since it is displayed as a line graph, it is possible to easily understand what kind of analysis processing has been performed to determine the dividing points, and it is possible to easily correct or change the dividing points.

【００８０】なお、実際に映像ストリームの構造を解析
する処理の実行中にあっても、比較される２つのフレー
ムが構造解析過程表示ウインドウ３０１中の比較フレー
ム表示部３０２に表示されると共に、特徴量の差がグラ
フ表示部３０４に折れ線グラフで表示されるため、どの
ような解析処理がなされているかを容易に把握すること
ができ、解析中にあっても一旦処理を中断し、分割点の
修正や変更を簡単に行うことができる。It should be noted that even while the process of actually analyzing the structure of the video stream is being executed, the two frames to be compared are displayed in the comparison frame display section 302 in the structure analysis process display window 301, and Since the difference in amount is displayed as a line graph on the graph display unit 304, it is possible to easily understand what kind of analysis processing is being performed. It is easy to make corrections and changes.

【００８１】（３）映像インデックス情報 つぎに、前述した構造解析ソフト２０７による映像スト
リームの構造解析結果に基づいて生成される映像インデ
ックス情報について説明する。映像インデックス情報
は、映像情報を構造化して管理すると共に、映像情報の
内部の論理構造を表現するために用いられるものであ
る。映像インデックス情報は、構造解析ソフト２０７に
よる解析結果に基づいて、任意のタイミングで図２に示
したインデックス生成ソフト２０８によって生成される
ものとする。以下では、映像インデックス情報につい
て、 映像インデックス情報のデータ構造 映像インデックス情報の生成方法 の順で説明する。(3) Video Index Information Next, the video index information generated based on the structure analysis result of the video stream by the structure analysis software 207 described above will be described. The video index information is used to structure and manage the video information and to express the internal logical structure of the video information. The video index information is generated by the index generation software 208 shown in FIG. 2 at an arbitrary timing based on the analysis result of the structure analysis software 207. The video index information will be described below in order of the data structure of the video index information and the method of generating the video index information.

【００８２】 映像インデックス情報のデータ構造 図１３は、映像インデックス情報のデータ構造を示す説
明図である。映像インデックス情報５００は、図１３に
示すように、複数の構造要素オブジェクトを階層化した
構造を有しており、この映像インデックス情報５００そ
のものを一つのデータ・ファイル（インデックス・ファ
イル）として取り扱うことができる。したがって、映像
インデックス情報５００は、映像情報と一体で保存する
ことも可能であり、また映像情報と分離して保存するこ
とも可能である。Data Structure of Video Index Information FIG. 13 is an explanatory diagram showing the data structure of the video index information. As shown in FIG. 13, the video index information 500 has a hierarchical structure of a plurality of structural element objects, and the video index information 500 itself can be handled as one data file (index file). it can. Therefore, the video index information 500 can be stored together with the video information, or can be stored separately from the video information.

【００８３】映像インデックス情報５００の構造要素オ
ブジェクトは、ツリー情報５０１と、フレーム情報５０
２（５０２Ａ〜５０２Ｆ）と、サウンド情報５０３（５
０３Ａ〜５０３Ｆ）と、セグメント情報５０４（５０４
Ａ〜５０４Ｆ）と、パッケージ情報５０５（５０５Ａ〜
５０５Ｃ）と、から構成される。The structural element objects of the video index information 500 are tree information 501 and frame information 50.
2 (502A to 502F) and sound information 503 (5
03A-503F) and segment information 504 (504
A-504F) and package information 505 (505A-
505C).

【００８４】ツリー情報５０１は、１つの映像インデッ
クス情報５００のツリー構造の最上位に設定される情報
であり、１つの映像情報に関する全ての構造要素オブジ
ェクトがこの下位の層に配置されている。換言すれば、
１つの映像インデックス情報５００の入口を宣言する情
報である。また、このツリー情報５０１の下位には、映
像情報（音声および動画）全体を表す１つのパッケージ
情報５０５Ａが配置されており、このパッケージ情報５
０５Ａの下には、前述した映像ストリームの構造解析処
理によって構造が解析された映像情報全体を表す１つの
セグメント情報５０４Ａが配置されている。The tree information 501 is information set at the top of the tree structure of one video index information 500, and all the structural element objects related to one video information are arranged in the lower layer. In other words,
This is information that declares the entrance of one video index information 500. Further, below this tree information 501, one package information 505A representing the entire video information (audio and video) is arranged.
Below the 05A, one piece of segment information 504A representing the entire video information whose structure has been analyzed by the above-described video stream structure analysis processing is arranged.

【００８５】フレーム情報５０２は、映像情報中の任意
の連続するフレーム（例えば、構造解析ソフト２０７に
よって映像ストリームから抽出された特徴量の差が少な
い連続するフレームの集合）を１単位の情報として管理
するための情報であり、ツリー構造中のノードＩＤ、そ
のフレーム情報で管理する連続するフレームの範囲、お
よび映像情報における位置を示すポインタを有してい
る。The frame information 502 manages an arbitrary continuous frame in the video information (for example, a set of continuous frames extracted from the video stream by the structural analysis software 207 and having a small difference in feature amount) as one unit of information. It is information for doing so, and has a node ID in the tree structure, a range of consecutive frames managed by the frame information, and a pointer indicating a position in the video information.

【００８６】サウンド情報５０３は、映像情報中の任意
の範囲に対応した音声を１単位の情報として管理するた
めの情報であり、ツリー構造中のノードＩＤ、そのサウ
ンド情報で管理する任意の範囲、および映像情報におけ
る位置を示すポインタを有している。なお、前述した映
像ストリームの構造解析処理において音声については触
れなかったが、この音声は映像情報に付随しているもの
である。The sound information 503 is information for managing the sound corresponding to an arbitrary range in the video information as one unit of information, and is a node ID in the tree structure, an arbitrary range managed by the sound information, And a pointer indicating the position in the video information. Although the audio has not been mentioned in the above-described video stream structure analysis processing, the audio is incidental to the video information.

【００８７】セグメント情報５０４は、１単位の情報で
あるフレーム情報５０２およびサウンド情報５０３を分
類して、所望の意味のある集合として管理するための情
報であると共に、そのセグメント情報５０４が管理する
フレーム情報５０２およびサウンド情報５０３と同一の
範囲のフレームおよび音声を用いて生成された他のセグ
メント情報５０４を複数まとめて管理するためのパッケ
ージ情報５０５を管理するための情報である。なお、セ
グメント情報５０４は、ツリー構造中のノードＩＤ、そ
のセグメント情報５０４で管理するフレーム情報・サウ
ンド情報・パッケージ情報を特定するための特定情報、
および、そのセグメント情報５０４が属する上位のパッ
ケージ情報５０５へのポインタを有している。The segment information 504 is information for classifying the frame information 502 and the sound information 503, which are one unit of information, and managing them as a desired meaningful set, and also the frame managed by the segment information 504. This is information for managing package information 505 for collectively managing a plurality of other segment information 504 generated using frames and voices in the same range as the information 502 and the sound information 503. The segment information 504 is a node ID in the tree structure, specific information for specifying frame information / sound information / package information managed by the segment information 504,
It also has a pointer to upper package information 505 to which the segment information 504 belongs.

【００８８】図１３において、セグメント情報５０４Ａ
は、フレーム情報５０２Ａ、サウンド情報５０３Ａおよ
びパッケージ情報５０５Ｂを管理するための情報であ
り、セグメント情報５０４ＡのノードＩＤと、フレーム
情報５０２Ａ・サウンド情報５０３Ａ・パッケージ情報
５０５Ｂを特定するための特定情報と、そのセグメント
情報５０４Ａが属する上位のパッケージ情報５０５Ａへ
のポインタとを有している。In FIG. 13, segment information 504A
Is information for managing the frame information 502A, the sound information 503A, and the package information 505B, the node ID of the segment information 504A, and specific information for specifying the frame information 502A, the sound information 503A, and the package information 505B. It has a pointer to upper package information 505A to which the segment information 504A belongs.

【００８９】パッケージ情報５０５は、セグメント情報
５０４を複数まとめて管理するための情報であり、ツリ
ー構造中のノードＩＤ、そのパッケージ情報５０５で管
理するセグメント情報５０４のリスト、および、そのパ
ッケージ情報５０５が属する上位のセグメント情報５０
４へのポインタを有している。The package information 505 is information for collectively managing a plurality of segment information 504 and includes a node ID in the tree structure, a list of the segment information 504 managed by the package information 505, and the package information 505. Upper segment information 50 to which it belongs
It has a pointer to 4.

【００９０】例えば、図１３において、パッケージ情報
５０５Ｂは、３つのセグメント情報５０４Ｂ〜５０４Ｄ
をまとめて管理するための情報であり、ツリー構造中の
ノードＩＤ、そのパッケージ情報５０５Ｂで管理するセ
グメント情報５０４Ｂ〜５０４Ｃのリスト、および、そ
のパッケージ情報５０５Ｂが属する上位のセグメント情
報５０４Ａへのポインタを有している。For example, in FIG. 13, the package information 505B is the three pieces of segment information 504B to 504D.
Information for collectively managing a node ID in the tree structure, a list of segment information 504B to 504C managed by the package information 505B, and a pointer to a higher-order segment information 504A to which the package information 505B belongs. Have

【００９１】なお、上記の如く、映像インデックス情報
５００は、各構造要素オブジェクトからなるツリー構造
において、１つのセグメント情報５０４の下位に、フレ
ーム情報５０２およびサウンド情報５０３に加えてパッ
ケージ情報５０５を配置することができる。As described above, in the video index information 500, package information 505 is arranged in addition to frame information 502 and sound information 503 under one segment information 504 in a tree structure composed of each structural element object. be able to.

【００９２】さらに映像インデックス情報５００は、ツ
リー構造中に任意の属性オブジェクトを配置することが
可能であり、この属性オブジェクトを用いて、上記構造
要素オブジェクトに対応させて必要なデータを保持する
ことができる。なお、この属性オブジェクトとして、各
構造要素オブジェクトが直接または間接的に管理するフ
レームまたは／音声の内容を検索するための検索情報を
設定することにより、映像インデックス情報によって構
造化された映像情報の詳細な検索を容易に行うことが可
能となる。Further, in the video index information 500, an arbitrary attribute object can be arranged in the tree structure, and this attribute object can be used to hold necessary data in association with the structural element object. it can. Details of the video information structured by the video index information are set as the attribute object by setting search information for searching the content of the frame or / the audio that each structural element object directly or indirectly manages. It is possible to easily perform various searches.

【００９３】 映像インデックス情報の生成処理 つぎに、前述したデータ構造を有する映像インデックス
情報５００を生成する処理の一例を簡単に説明する。以
下の処理は、インデックス生成ソフト２０８が行う処理
として説明するが、ユーザがインデックス生成ソフト２
０８を操作して行うこともできる。Processing for Generating Video Index Information Next, an example of processing for generating the video index information 500 having the above-described data structure will be briefly described. The following process will be described as a process performed by the index generation software 208.
It is also possible to operate 08.

【００９４】映像インデックス情報５００におけるセグ
メント情報５０４は、分割された映像（動画および音
声）のフレーム連続および音声連続の塊を表し、構造化
された映像の１単位の情報として定義できる。１つの長
大な映像情報も、はじめは全体をひと塊とみなすことが
できるので、１つのセグメント情報５０４Ａ（図１３参
照）として存在する。セグメント情報５０４Ａ以外の他
のセグメント情報５０４は、親となるセグメント情報５
０４を分割した一部分である。例えば、セグメント情報
５０４Ｂ〜５０４Ｄはそれぞれ親となるセグメント情報
５０４Ａを分割した一部分であり、セグメント情報５０
４Ｅ、５０４Ｆはそれぞれ親となるセグメント情報５０
４Ｃを分割した一部分である。The segment information 504 in the video index information 500 represents a block of continuous frames and continuous audio of divided video (moving picture and audio), and can be defined as one unit of structured video. Even one piece of long video information can be regarded as one block at first, and therefore exists as one piece of segment information 504A (see FIG. 13). The segment information 504 other than the segment information 504A is the parent segment information 5
This is a part of 04. For example, the segment information 504B to 504D is a part obtained by dividing the parent segment information 504A.
4E and 504F are the segment information 50 which is the parent respectively.
It is a part obtained by dividing 4C.

【００９５】また、親となるセグメント情報５０４（例
えば、セグメント情報５０４Ｂ）を複数に分割した場
合、その分割された一部分であるセグメント情報５０４
（ここでは、５０４Ｅ、５０４Ｆ）同士をまとめて管理
するものがパッケージ情報５０５であるということがで
きる。When the parent segment information 504 (eg, segment information 504B) is divided into a plurality of pieces, the segment information 504 which is a part of the division.
It can be said that the package information 505 collectively manages (here, 504E and 504F).

【００９６】インデックス生成ソフト２０８は、構造解
析ソフト２０７によって特定された映像ストリームの分
割点に基づいて、前述した性質を有するセグメント情報
５０４やパッケージ情報等を生成していく。The index generation software 208 generates the segment information 504 and package information having the above-mentioned properties based on the division points of the video stream specified by the structure analysis software 207.

【００９７】図１４（ａ）〜図１４（ｃ）は、前述した
構造解析ソフト２０７を用いて映像情報を段階的に２回
分割する分割点を特定した場合において、インデックス
生成ソフト２０８によって生成されるセグメント情報５
０４とパッケージ情報５０５を示す説明図である。な
お、図１４の右側はインデックス生成ソフト２０８によ
って生成されるセグメント情報５０４およびパッケージ
情報５０５を示し、左側は構造解析ソフト２０７によっ
て構造解析された映像情報の状態をフレームの連続で示
したものである。ただし、この映像情報の状態は、説明
を分かりやすくするために映像インデックス情報５００
中のフレーム情報５０２およびサウンド情報５０３を抽
象化（イメージ化）して表したものであり、実際に生の
映像情報（オリジナルの映像情報）の状態を示している
ものではない。FIGS. 14 (a) to 14 (c) are generated by the index generation software 208 in the case where the above-mentioned structural analysis software 207 is used to specify the division points at which the video information is divided stepwise twice. Segment information 5
It is an explanatory view showing 04 and package information 505. Note that the right side of FIG. 14 shows the segment information 504 and the package information 505 generated by the index generation software 208, and the left side shows the state of the video information structurally analyzed by the structural analysis software 207 as a series of frames. . However, the state of this video information is the video index information 500 for the sake of clarity.
The frame information 502 and the sound information 503 in the inside are represented by being abstracted (imaged), and do not actually show the state of the raw video information (original video information).

【００９８】まず、図１４（ａ）に示すように、インデ
ックス生成ソフト２０８は、構造解析ソフト２０７によ
って解析された映像情報の映像ストリーム全体に対応し
て、ツリー情報５０１，１つのパッケージ情報５０５お
よびセグメント情報５０４を生成する。すなわち、イン
デックス生成ソフト２０８は、１つの映像インデックス
情報５００の入口を宣言するツリー情報５０１を生成
し、そのツリー情報５０１の下位に、映像ストリーム全
体を表す１つのパッケージ情報５０５Ａを生成する。そ
して、このパッケージ情報５０５Ａの下位に、映像スト
リーム全体を表す１つのセグメント情報５０４Ａを生成
する。First, as shown in FIG. 14A, the index generation software 208 corresponds to the entire video stream of the video information analyzed by the structure analysis software 207, tree information 501, one package information 505 and The segment information 504 is generated. That is, the index generation software 208 generates tree information 501 that declares the entrance of one video index information 500, and generates one piece of package information 505A that represents the entire video stream below the tree information 501. Then, one piece of segment information 504A representing the entire video stream is generated below the package information 505A.

【００９９】続いて、インデックス生成ソフト２０８
は、図１４（ａ）の左側に示すように、構造解析ソフト
２０７によって決定された映像ストリームの分割点に従
い、映像ストリームを連続するフレームの集合に分割す
る。Next, the index generation software 208
14A divides the video stream into a set of continuous frames according to the division points of the video stream determined by the structure analysis software 207, as shown on the left side of FIG.

【０１００】図１４（ｂ）の左側には、構造解析ソフト
２０７によって決定された分割点に基づいて映像情報の
映像ストリーム全体を３つに分割した例が示されてお
り、インデックス生成ソフト２０８は、これに対応し
て、セグメント情報５０４Ａの下位に３つのセグメント
情報５０４Ｂ〜５０４Ｄを生成すると共に、これらの３
つのセグメント情報５０４Ｂ〜５０４Ｄをまとめるパッ
ケージ情報５０５Ｂを生成する。なお、インデックス生
成ソフト２０８は、セグメント情報５０４Ａおよびパッ
ケージ情報５０５Ｂを関連付け、パッケージ情報５０５
Ｂがセグメント情報５０４Ａによって管理されるように
する。On the left side of FIG. 14B, an example in which the entire video stream of video information is divided into three parts based on the division points determined by the structure analysis software 207 is shown. Correspondingly, three pieces of segment information 504B to 504D are generated under the segment information 504A, and these 3
Package information 505B that collects one piece of segment information 504B to 504D is generated. The index generation software 208 associates the segment information 504A with the package information 505B to create the package information 505.
B is managed by the segment information 504A.

【０１０１】また、構造解析ソフト２０７を用いて詳細
にまたは別の視点から映像ストリームの構造を解析する
ことにより、分割された映像情報を例えば図１４（ｂ）
の左側の矢印で示す部分でさらに分割することも可能で
ある。By analyzing the structure of the video stream in detail or from another point of view using the structure analysis software 207, the divided video information can be displayed, for example, in FIG. 14 (b).
It is also possible to further divide at the portion indicated by the arrow on the left side of.

【０１０２】このような構造解析処理が行われた場合、
インデックス生成ソフト２０８は、図１４（ｃ）の右側
に示すように、各セグメント情報５０４Ｂ〜５０４Ｄに
それぞれ関連付けてパッケージ情報５０５Ｃ〜５０５Ｅ
を生成し、分割したセグメント情報５０４Ｅおよび５０
４Ｆをパッケージ情報５０５Ｃに関連付け、分割したセ
グメント情報５０４Ｇおよび５０４Ｈをパッケージ情報
５０５Ｄに関連付け、分割したセグメント情報５０４Ｉ
および５０４Ｊをパッケージ情報５０５Ｅに関連付け
る。When such a structure analysis process is performed,
As shown on the right side of FIG. 14C, the index generation software 208 associates with each piece of segment information 504B to 504D and package information 505C to 505E.
Segment information 504E and 50
4F is associated with the package information 505C, the divided segment information 504G and 504H is associated with the package information 505D, and the segment information 504I is divided.
And 504J are associated with the package information 505E.

【０１０３】このようにして生成される映像インデック
ス情報５００は、下位の構成要素オブジェクトにいくほ
ど細かく構造化されたものとなる。The video index information 500 generated in this way becomes more detailedly structured in the subordinate component objects.

【０１０４】また、図１５（ａ）〜図１５（ｃ）を参照
して、図１４に示した映像インデックス情報５００とは
異なる構造の映像インデックス情報の生成方法を簡単に
説明する。A method of generating video index information having a structure different from that of the video index information 500 shown in FIG. 14 will be briefly described with reference to FIGS. 15 (a) to 15 (c).

【０１０５】ここでは、同一の映像情報の映像ストリー
ムについて、構造解析ソフト２０７を用いて異なる視点
で構造解析処理を２回行い、図１５（ａ）の左側に示す
ように１つの解析結果から映像ストリーム全体を３つに
分割する分割点が得られ、図１５（ｂ）の左側に示すよ
うにもう１つの解析結果から映像ストリーム全体を２つ
に分割する分割点が得られたものとする。Here, structural analysis processing is performed twice on the video streams of the same video information by using the structural analysis software 207 from different viewpoints, and as shown on the left side of FIG. It is assumed that a division point that divides the entire stream into three is obtained, and a division point that divides the entire video stream into two is obtained from another analysis result, as shown on the left side of FIG.

【０１０６】インデックス生成ソフト２０８は、図１５
（ａ）に示すように、映像情報全体を管理するツリー情
報５０１，パッケージ情報５０５Ａおよびセグメント情
報５０４Ａを生成する。そして、分割点によって３つに
分割される映像情報を管理するための３つのセグメント
情報５０４Ｂ〜５０４Ｄを生成すると共に、セグメント
情報５０４Ｂ〜５０４Ｄを管理するパッケージ情報５０
５Ｂを生成し、セグメント情報５０４Ａに関連付ける。
続いて、インデックス生成ソフト２０８は、図１４
（ｂ）に示すように、分割点によって２つに分割される
映像情報を管理するための２つのセグメント情報５０４
Ｅおよび５０４Ｆを生成すると共に、２つのセグメント
情報５０４Ｅおよび５０４Ｆを管理するパッケージ情報
５０５Ｃを生成する。その結果、図１４（ｃ）に示すよ
うに、セグメント情報５０４Ａの下位に２つのパッケー
ジ情報５０５Ｂおよび５０５Ｃが関連付けられた構造の
映像インデックス情報５００を得ることができる。The index generation software 208 is shown in FIG.
As shown in (a), tree information 501, package information 505A, and segment information 504A that manage the entire video information are generated. Then, three pieces of segment information 504B to 504D for managing the video information divided into three by the division points are generated, and the package information 50 for managing the segment information 504B to 504D is generated.
5B is generated and associated with the segment information 504A.
Then, the index generation software 208 is executed by
As shown in (b), two segment information 504 for managing the video information divided into two by the division point.
E and 504F are generated, and package information 505C that manages two pieces of segment information 504E and 504F is generated. As a result, as shown in FIG. 14C, it is possible to obtain the video index information 500 having a structure in which the two pieces of package information 505B and 505C are associated with the lower portion of the segment information 504A.

【０１０７】なお、各セグメント情報５０４に対応する
フレーム情報５０２およびサウンド情報５０３は、図１
３に示したように、対応するセグメント情報５０４の下
位に保持される。また、サウンド情報５０３は、構造解
析ソフト２０７によって解析された結果に基づいてイン
デックス生成ソフト２０８が映像情報を構造化する際
に、映像ストリームの分割点に合わせて分割されるもの
とする。The frame information 502 and the sound information 503 corresponding to each segment information 504 are shown in FIG.
As shown in FIG. 3, it is held in the lower order of the corresponding segment information 504. In addition, the sound information 503 is divided according to the division points of the video stream when the index generation software 208 structures the video information based on the result analyzed by the structure analysis software 207.

【０１０８】このように、インデックス生成ソフト２０
８は、構造解析ソフト２０７から得た解析結果に基づい
て、ツリー情報５０１，フレーム情報５０２，サウンド
情報５０３，セグメント情報５０４およびパッケージ情
報５０５という構造要素オブジェクトを生成して映像イ
ンデックス情報５００を生成し、映像情報を構造化す
る。生成された映像インデックス情報５００は、図１に
示した映像インデックス情報データベース１０２に保存
される。In this way, the index generation software 20
8 generates structure element objects of tree information 501, frame information 502, sound information 503, segment information 504 and package information 505 based on the analysis result obtained from the structure analysis software 207 to generate the video index information 500. , Structure video information. The generated video index information 500 is stored in the video index information database 102 shown in FIG.

【０１０９】（４）映像ストリームの構造表示 つぎに、インデックス生成ソフト２０８で生成された映
像インデックス情報５００に基づいて、映像情報の映像
ストリームの構造をどのようにして表示するかについて
説明する。(4) Displaying Structure of Video Stream Next, how to display the structure of the video stream of the video information based on the video index information 500 generated by the index generation software 208 will be described.

【０１１０】図１６は、映像インデックス情報５００に
基づいて表示した映像情報の構造の画面表示例を示す説
明図である。ユーザは、図２に示した構造表示ソフト２
０９を起動させ、図１に示した映像インデックス情報デ
ータベース１０２に保存されている映像インデックス情
報５００を指定することにより、所望の映像情報がどの
ような構造を有しているかを構造表示ウインドウ６０１
中に表示することができる。FIG. 16 is an explanatory diagram showing a screen display example of the structure of the video information displayed based on the video index information 500. The user can use the structure display software 2 shown in FIG.
09, and by designating the video index information 500 stored in the video index information database 102 shown in FIG. 1, the structure display window 601 shows the structure of the desired video information.
Can be displayed inside.

【０１１１】構造表示ソフト２０９は、映像インデック
ス情報５００中の各構造要素オブジェクトが有している
構造要素オブジェクト情報同士の関係を示す情報を参照
し、図１６に示すようにツリー構造で各構造要素オブジ
ェクトを表示する。The structure display software 209 refers to the information indicating the relationship between the structure element object information held by each structure element object in the video index information 500, and as shown in FIG. Show objects.

【０１１２】図１６は、図１５に示したようにして生成
された映像インデックス情報５００を画面表示したもの
であって、映像インデックス情報５００によって管理さ
れる映像情報のファイル名または映像情報のタイトルを
表示するツリー情報５０１を上位に配置し、ツリー情報
５０１の下位に、パッケージ情報５０５Ａを配置し、パ
ッケージ情報５０５Ａの下位に、そのパッケージ情報５
０４Ａによって管理されているセグメント情報５０４Ａ
を配置する。さらに、セグメント情報５０４Ａの下位
に、そのセグメント情報５０４Ａによって管理されてい
るパッケージ情報５０５Ｂおよび５０５Ｃを配置すると
共に、パッケージ情報５０５Ｂの下位に、そのパッケー
ジ情報５０５Ｂによって管理されているセグメント情報
５０４Ｂ〜５０４Ｉが配置され、さらに、パッケージ情
報５０５Ｃの下位に、そのパッケージ情報５０５Ｃによ
って管理されているセグメント情報５０４Ｊ〜５０４Ｍ
が配置されている。FIG. 16 is a screen display of the video index information 500 generated as shown in FIG. 15, in which the file name of the video information or the title of the video information managed by the video index information 500 is displayed. The tree information 501 to be displayed is arranged in an upper position, the package information 505A is arranged in a lower position of the tree information 501, and the package information 5 is arranged in a lower position of the package information 505A.
Segment information 504A managed by 04A
To place. Further, the package information 505B and 505C managed by the segment information 504A are arranged below the segment information 504A, and the segment information 504B to 504I managed by the package information 505B is below the package information 505B. The segment information 504J to 504M arranged and further managed under the package information 505C is subordinate to the package information 505C.
Are arranged.

【０１１３】なお、図１３に示したフレーム情報５０２
およびサウンド情報５０３については、それらを管理す
るセグメント情報５０４と一体となって表示されている
ものとする。The frame information 502 shown in FIG.
The sound information 503 is displayed together with the segment information 504 that manages them.

【０１１４】また、セグメント情報５０４は、前述した
ように、そのセグメント情報が管理するフレームの集合
を用いて生成された他のセグメント情報を複数まとめて
管理するためのパッケージ情報を管理することが可能で
ある。図示は省略するが、そのようなセグメント情報５
０４がある場合、構造表示ソフト２０９は、そのセグメ
ント情報５０４の下位にパッケージ情報５０５を配置し
て表示すると共に、そのパッケージ情報５０５の下位
に、そのパッケージ情報によって管理されるセグメント
情報５０４を配置してツリー構造で表示する。Further, as described above, the segment information 504 can manage package information for collectively managing a plurality of other segment information generated by using a set of frames managed by the segment information. Is. Although not shown, such segment information 5
If there is 04, the structure display software 209 arranges and displays the package information 505 under the segment information 504, and arranges the segment information 504 managed by the package information under the package information 505. Display in a tree structure.

【０１１５】このように、各構成オブジェクトがツリー
構造によって階層化されて表示されるため、ユーザは、
映像情報の内部の論理構造を一目で把握することが可能
となる。As described above, since each constituent object is displayed hierarchically in the tree structure, the user can
It is possible to grasp the internal logical structure of video information at a glance.

【０１１６】ここで、ユーザが、図１６に示すパッケー
ジ情報５０５Ｂをクリックしたものとする。構造表示ソ
フト２０９は、ユーザの入力操作に応じて、各セグメン
ト情報５０４が管理しているフレーム情報５０２を参照
し、各セグメント情報５０４が管理している連続するフ
レーム中の代表フレームをサムネイル表示する。図１７
は、パッケージ情報５０５Ｂが管理している各セグメン
ト情報５０４Ｂ〜５０４Ｉの代表フレーム６０２をそれ
ぞれ表示した例を示す説明図である。図１７には、各セ
グメント情報５０４が管理している連続するフレームの
先頭のフレームを代表フレーム６０２として表示した例
が示されているが、代表フレーム６０２として表示され
るフレームは各セグメント情報５０４が管理しているフ
レームの先頭フレームに限定されるものではない。すな
わち、セグメント情報５０４が管理しているフレームの
集合の中から代表フレームを任意に選択することがで
き、また、代表フレームは１つのみならず、２つ以上で
あっても良い。Here, it is assumed that the user clicks the package information 505B shown in FIG. The structure display software 209 refers to the frame information 502 managed by each segment information 504 according to the user's input operation, and displays thumbnails of the representative frames in the continuous frames managed by each segment information 504. . FIG. 17
FIG. 6 is an explanatory diagram showing an example in which representative frames 602 of each piece of segment information 504B to 504I managed by the package information 505B are displayed. FIG. 17 shows an example in which the leading frame of the continuous frames managed by each segment information 504 is displayed as the representative frame 602. However, in the frame displayed as the representative frame 602, each segment information 504 is It is not limited to the first frame of the managed frames. That is, the representative frame can be arbitrarily selected from the set of frames managed by the segment information 504, and the number of representative frames is not limited to one and may be two or more.

【０１１７】また、構造表示ソフト２０９は、セグメン
ト情報５０４のいずれかがユーザによってクリックされ
た場合であっても、クリックされたセグメント情報５０
４の代表フレーム６０２を表示する。Further, the structure display software 209 allows the segment information 50 clicked even if any of the segment information 504 is clicked by the user.
4 representative frames 602 are displayed.

【０１１８】このように、ユーザがパッケージ情報５０
５またはセグメント情報５０４をクリックすることによ
り、該当するセグメント５０４の代表フレーム６０２が
サムネイル表示されるため、実際の映像を再生するまで
もなく、各セグメント情報５０４の内容を把握すること
が可能となる。As described above, the user can select the package information 50.
5 or the segment information 504 is clicked, the representative frame 602 of the corresponding segment 504 is displayed as a thumbnail, so that it is possible to grasp the content of each segment information 504 without actually reproducing the video. .

【０１１９】加えて、パッケージ情報５０５を選択し、
図示しないメニューから再生を指定すると（またはダブ
ルクリックすると）、そのパッケージ情報５０５の下位
に表示されている全てのセグメント情報５０５が管理し
ている映像が再生される。また、セグメント情報５０４
を選択し、図示しないメニューから再生を指定すると
（またはダブルクリックすると）、そのセグメント情報
５０４が管理している映像が再生される。In addition, the package information 505 is selected,
When reproduction is specified (or double-clicked) from a menu (not shown), the video managed by all the segment information 505 displayed under the package information 505 is reproduced. Also, segment information 504
Is selected and playback is specified from a menu (not shown) (or double-clicked), the video managed by the segment information 504 is played back.

【０１２０】なお、詳細な説明については省略するが、
各セグメント情報５０４は図１３に示したフレーム情報
５０２およびサウンド情報５０３を管理しているため、
ここにいう映像の再生には、フレーム情報５０２および
サウンド情報５０３の両方を利用した再生（音声を含む
場合）と、フレーム情報５０２のみを利用した再生（音
声を含まない場合）という２通りが考えられる。また、
サウンド情報５０３のみを利用することにより、パッケ
ージ５０５単位またはセグメント単位５０４で音声のみ
を再生することも可能である。Although a detailed description is omitted,
Since each segment information 504 manages the frame information 502 and the sound information 503 shown in FIG. 13,
There are two ways to reproduce the video here: reproduction using both frame information 502 and sound information 503 (when audio is included) and reproduction using only frame information 502 (when audio is not included). To be Also,
By using only the sound information 503, it is possible to reproduce only the sound in the package 505 unit or the segment unit 504.

【０１２１】（５）映像情報の検索結果の表示 前述したように、セグメント情報５０４およびパッケー
ジ情報５０５を生成する際に、利用・活用する目的に応
じて所望の情報を属性オブジェクト（例えば，検索情
報）として生成し、後で検索等に利用することもでき
る。例えば、属性オブジェクトとしてテキスト情報を用
いて各構造要素オブジェクトの特徴となるキーワード等
を設定し、後にキーワードを用いて検索したり、分類し
たりすることができる。例えば、タイトルのみの検索だ
けでなく、映像情報の内容で、『〜が登場し、〜と喋っ
た映像』とか、『このシーンに似ているシーンがある映
像』、『この音楽が使われている映像』といったように
映像情報の内容の情報に及んだ検索を行うことができ
る。(5) Display of Search Result of Video Information As described above, when the segment information 504 and the package information 505 are generated, desired information is changed to an attribute object (for example, search information) according to the purpose of use / utilization. ) Can be generated and used later for search or the like. For example, it is possible to set a keyword or the like that is a feature of each structural element object using text information as an attribute object, and later search or classify using the keyword. For example, in addition to searching only for titles, the content of the video information may be used to describe "a video that has appeared and spoke with", "a video that has a scene similar to this scene,""This music is used. It is possible to perform a search that covers the contents of the video information, such as "the present video".

【０１２２】図１６に示した構造表示ウインドウ６０１
上で、検索条件の入力や、検索処理の実行の指定、検索
結果の表示等を行うことができるようにすることも可能
である。この場合、映像インデックス情報５００に基づ
いて、検索条件に一致した映像情報の映像ストリームの
構造を検索結果として図１８に示すツリー構造で表示す
ることができる。図１８は、２つの映像情報が検索条件
に一致したことを示している。このように、検索結果の
映像情報の構造を表示することにすることにより、様々
な角度から検索結果を検証することができ、検索結果を
利用して編集作業等を行うことも可能となる。The structure display window 601 shown in FIG.
It is also possible to input search conditions, specify execution of search processing, display search results, and the like. In this case, based on the video index information 500, the structure of the video stream of the video information that matches the search condition can be displayed as the search result in the tree structure shown in FIG. FIG. 18 shows that the two pieces of video information match the search conditions. In this way, by displaying the structure of the video information of the search result, the search result can be verified from various angles, and the editing work can be performed using the search result.

【０１２３】加えて、検索条件に一致する映像情報の構
造をツリー構造で表示した際に、検索条件に一致する構
造要素オブジェクトを他の構成要素オブジェクトと区別
して表示することができる。図１８においては、検索条
件に一致したセグメント情報５０４に対し、一致マーク
６０３を表示することにしている。このように、検索条
件に一致する構成要素オブジェクトを区別して表示する
ことにより、検索条件に一致するシーンを直ちに再生す
ることが可能となる。In addition, when the structure of the video information matching the search condition is displayed in a tree structure, the structure element object matching the search condition can be displayed separately from the other component object. In FIG. 18, a match mark 603 is displayed for the segment information 504 that matches the search condition. In this way, by distinguishing and displaying the component objects that match the search condition, it is possible to immediately reproduce the scene that matches the search condition.

【０１２４】（６）応用例 つぎに、映像ストリームの構造表示に関する応用例を説
明する。図１９は、映像インデックス情報５００のデー
タ構造を示す説明図である。なお、図１３に示した映像
インデックス情報５００と共通の構成は同一の符号を付
して説明を省略する。(6) Application Example Next, an application example relating to the structure display of the video stream will be described. FIG. 19 is an explanatory diagram showing the data structure of the video index information 500. The same components as those of the video index information 500 shown in FIG. 13 are designated by the same reference numerals, and the description thereof will be omitted.

【０１２５】映像インデックス情報５００は、少なくと
も映像情報中の任意の連続するフレームの範囲を管理す
るための複数のセグメント情報５０４と、複数のセグメ
ント情報５０４をどのような順序でたどるかを示すセグ
メント情報間のリンクリストからなるビュー情報７０１
（７０１Ａ〜７０１Ｃ）と、を有している。The video index information 500 is at least a plurality of segment information 504 for managing a range of arbitrary continuous frames in the video information, and segment information indicating the order in which the plurality of segment information 504 is traced. View information 701 consisting of a link list between
(701A to 701C).

【０１２６】ビュー情報７０１は複数設定可能であり、
あらかじめ映像情報を構成する複数のセグメント情報５
０４の中から、所望の数のセグメント情報５０４を所望
の順序でたどるリンクリストを複数（ここでは、３つ）
生成し、各々のリンクリストに対応するビュー情報７０
１Ａ〜７０１Ｃとして設定する。A plurality of view information 701 can be set,
A plurality of segment information 5 that constitutes video information in advance
A plurality of link lists (here, three) that follow the desired number of segment information 504 in the desired order from 04
View information 70 generated and corresponding to each link list
Set as 1A to 701C.

【０１２７】ビュー情報７０１は、１つの映像情報をあ
る視点で表現するために、セグメント情報５０４（また
はパッケージ情報５０５）のたどりかたをリンクリスト
として表現したものである。なお、セグメント情報５０
４だけのリンクリスト、パッケージ情報５０５だけのリ
ンクリスト、混在するリンクリストの何れでも表現可能
であるが、基本的にはセグメント情報５０４のリンクリ
ストと同一のものである。また、ビュー情報７０１の作
成方法については省略するが、専用の作成モジュールに
よって容易に作成可能である。The view information 701 is a link list representing how to trace the segment information 504 (or package information 505) in order to represent one piece of video information from a certain viewpoint. In addition, segment information 50
It is possible to express any of a linked list of only four, a linked list of only package information 505, and a mixed linked list, but it is basically the same as the linked list of the segment information 504. Although a method of creating the view information 701 is omitted, it can be easily created by a dedicated creating module.

【０１２８】次に、図２０を参照して、ビュー情報７０
１のリンクリストについて具体的に説明する。ビュー情
報７０１のリンクリストの設定の仕方によって、１つの
ビュー情報７０１で映像情報全体を特定の視点で観たダ
イジェスト（要約）を作成することもでき、または単純
に２つのセグメント情報５０４をつなぐことも自由であ
る。Next, referring to FIG. 20, the view information 70
The link list No. 1 will be specifically described. Depending on how to set the link list of the view information 701, it is possible to create a digest (summary) in which one piece of view information 701 views the entire video information from a specific viewpoint, or simply connect two segment information 504. Is also free.

【０１２９】図２０において、例えば、映像情報全体を
ある目的で分割したパッケージ情報Ｂのセグメント情報
をおおまかに再生する場合を例として、リンクリストに
ついて説明する。ここで、このパッケージ情報Ｂは３つ
のセグメント情報で構成されており、またパッケージ情
報Ｂの先頭部分のセグメント情報には、下位パッケージ
情報Ｅ、Ｆが存在する。With reference to FIG. 20, the link list will be described by taking the case of roughly reproducing the segment information of the package information B obtained by dividing the entire video information for a certain purpose as an example. The package information B is composed of three pieces of segment information, and the segment information at the beginning of the package information B includes lower package information E and F.

【０１３０】先ず、パッケージ情報Ｂのみを指定して単
純に再生すると、パッケージ情報Ｂ中の３つのセグメン
ト情報Ｂ１〜Ｂ３がそのまま再生される。ここで、リン
クリストとして「セグメント情報Ｅ１→Ｅ２→Ｂ２→Ｂ
３」を作成すると、図２０中の（１）に示す順序でセグ
メント情報が再生される。すなわち、セグメント情報Ｂ
１のうち、セグメント情報Ｆ１に相当する部分が再生さ
れないことと同じであり、セグメント情報Ｂ１がおおま
かに再生されたことになる。First, if only the package information B is designated and simply reproduced, the three segment information B1 to B3 in the package information B are reproduced as they are. Here, as the link list, “segment information E1 → E2 → B2 → B
3 ”is created, the segment information is reproduced in the order shown in (1) of FIG. That is, segment information B
This is the same as the portion corresponding to the segment information F1 of 1 is not reproduced, and the segment information B1 is roughly reproduced.

【０１３１】このようにビュー情報７０１のリンクリス
トを作成することにより、所望の順序でセグメント情報
を指定することができる。By thus creating the link list of the view information 701, the segment information can be designated in a desired order.

【０１３２】また、リンクリストを「セグメント情報Ｇ
１→Ｇ２→Ｇ３→Ｃ３→Ｄ１」として作成すると図２０
中の（２）で示す順序でセグメント情報が再生される。
リンクリストを「セグメント情報Ｇ１→Ｇ２→Ｇ３→Ｃ
３→Ｉ１→Ｉ２」として作成すると図２０中の（３）で
示す順序でセグメント情報が再生される。In addition, the link list is displayed as "segment information G
When created as "1 → G2 → G3 → C3 → D1", FIG.
The segment information is reproduced in the order shown by (2).
Change the link list to "Segment information G1 → G2 → G3 → C
3 → I1 → I2 ”, the segment information is reproduced in the order shown by (3) in FIG.

【０１３３】また、セグメント情報そのものを再生する
ことに代えて、各セグメント情報の代表フレーム（例え
ば、各セグメント情報の先頭の所定時間分のフレーム情
報）を再生するようにすると、さらにダイジェスト再生
（要約再生）を顕著にすることができる。具体的には、
セグメント情報そのものをたどることに代えて、セグメ
ント情報中のフレーム情報をたどる場合を想定するとリ
ンクリストの効果が実感し易い。例えば、図２０中の
（１）の場合、パッケージ情報Ｂは１時間ビデオを２０
分ずつの３つのセグメント情報Ｂ１〜Ｂ３に分け、セグ
メント情報Ｂ１を分けたパッケージ情報Ｅが５分ずつの
２つのセグメント情報Ｅ１、Ｅ２で構成され、パッケー
ジ情報Ｆが１０分のセグメント情報Ｆ１で構成されてい
る場合、それぞれのセグメント情報から各１分ずづのフ
レーム情報を再生することで、内容的に１／５、１／
５、１／２０、１／２０の粗さとなり、ダイジェストの
意図を反映することができる。Further, instead of reproducing the segment information itself, if a representative frame of each segment information (for example, frame information for a predetermined time at the beginning of each segment information) is reproduced, digest reproduction (summary) is further performed. Reproduction) can be made noticeable. In particular,
If it is assumed that the frame information in the segment information is traced instead of tracing the segment information itself, the effect of the linked list can be easily realized. For example, in the case of (1) in FIG. 20, the package information B is 20 hours of video for 1 hour.
The segment information B1 is divided into three pieces of segment information B1 to B3, and the package information E obtained by dividing the segment information B1 is composed of two pieces of segment information E1 and E2 of 5 minutes each, and the package information F is composed of segment information F1 of 10 minutes. In this case, by reproducing the frame information every one minute from the respective segment information, the content is 1/5, 1 /
The roughness becomes 5, 1/20, 1/20, and the intention of the digest can be reflected.

【０１３４】なお、図２０では、リンクリストは、セグ
メント情報を時系列にたどる例のみを示したが、例え
ば、リンクリストとして「セグメント情報Ｅ２→Ｇ３→
Ｈ２→Ｉ２→Ｄ２」のように飛び飛びにリンクしても良
い。また、時系列を無視して、所望の順序でリンクリス
トを作成しても良い。In FIG. 20, the link list shows only an example in which the segment information is traced in time series. For example, as the link list, “segment information E2 → G3 →
Links may be made in a scattered manner such as “H2 → I2 → D2”. Alternatively, the link list may be created in a desired order, ignoring the time series.

【０１３５】また、予め映像情報の内容に応じて、例え
ば、暴力シーンを除いたセグメント情報のみをリンクし
たリンクリストを有するビュー情報や、激写シーンのセ
グメント情報のみをリンクしたリンクリストを有するビ
ュー情報等のように、利用・活用する目的に応じたビュ
ー情報を複数設定しておき、必要に応じて所望のビュー
情報を選択することにより、１つの映像情報（コンテン
ツ）を多目的な立場から観ることが可能となる。[0135] Also, depending on the contents of the video information, for example, view information having a link list linking only segment information excluding violent scenes, or view information having a link list linking only segment information of intense shooting scenes. For example, by setting multiple pieces of view information according to the purpose of use and selecting the desired view information as necessary, one video information (content) can be viewed from a multipurpose standpoint. Is possible.

【０１３６】構造表示ソフト２０９は、図１６に示した
ように映像インデックス情報５００を構成する構造要素
オブジェクトをツリー構造で表示する際に、前述した機
能を有するビュー情報７０１を併せて表示することがで
きる。その結果、ユーザが構造表示ウインドウ６０１中
に表示されたビュー情報７０１を選択することにより、
図２０を用いて説明したような方法で映像情報を再生す
ることが可能となる。すなわち、リンクリストを有する
ビュー情報７０１を構造表示ウインドウ６０１中の構造
要素オブジェクトとして表示することにより、映像情報
の再現方法の自由度を高めて、映像情報を効率的・効果
的に利用・活用できるユーザ・インターフェースを提供
することができるようになる。The structure display software 209 can also display the view information 701 having the above-mentioned function when displaying the structure element objects forming the video index information 500 in a tree structure as shown in FIG. it can. As a result, when the user selects the view information 701 displayed in the structure display window 601,
The video information can be reproduced by the method described with reference to FIG. That is, by displaying the view information 701 having the link list as the structural element object in the structure display window 601, the degree of freedom in the method of reproducing the video information is increased, and the video information can be used / utilized efficiently and effectively. The user interface can be provided.

【０１３７】このように、本発明の実施の形態によれ
ば、図４で説明した映像ストリームの構造解析処理によ
り、映像情報を解析する際の作業者への負担を軽減する
ことが可能となる。As described above, according to the embodiment of the present invention, by the structure analysis processing of the video stream described in FIG. 4, it is possible to reduce the burden on the operator when analyzing the video information. .

【０１３８】また、映像ストリームの構造を解析する際
に、構造解析過程表示ウインドウ３０１を表示して映像
情報の解析過程を表示するため、映像情報の解析過程を
視覚的に確認することができると共に、解析過程を検証
することが可能となり、映像情報の解析処理を円滑・簡
単・正確に行うことができる。When analyzing the structure of the video stream, the structure analysis process display window 301 is displayed to display the video information analysis process, so that the video information analysis process can be visually confirmed. The analysis process can be verified, and the analysis process of video information can be performed smoothly, easily and accurately.

【０１３９】さらに、映像ストリームの解析結果に基づ
いて生成された映像インデックス情報を利用して、映像
情報の内部の論理構造をツリー構造で表現可能としたこ
とにより、映像情報内部の論理構造を容易に把握するこ
とができるようになる。Further, by using the video index information generated based on the analysis result of the video stream, the internal logical structure of the video information can be expressed by a tree structure, so that the internal logical structure of the video information can be easily realized. You will be able to understand.

【０１４０】なお、図２に示したように、本発明の実施
の形態にあっては、映像ストリームの構造解析，映像イ
ンデックス情報の生成および映像インデックス情報に基
づく映像ストリームの構造表示を構造解析ソフト２０
７，インデックス生成ソフト２０８および構造表示ソフ
ト２０９という３つのアプリケーションプログラムで実
現することを前提として説明した。しかし、これらのア
プリケーションプログラムはあくまでも一例であって、
本発明を実現するためのアプリケーションプログラムを
限定することを意図したものではない。As shown in FIG. 2, in the embodiment of the present invention, the structure analysis software performs structure analysis of the video stream, generation of video index information, and structure display of the video stream based on the video index information. 20
7, the index generation software 208 and the structure display software 209 have been described as a premise that they are implemented by three application programs. However, these application programs are just examples,
It is not intended to limit the application program for implementing the present invention.

【０１４１】また、上記アプリケーションプログラム
は、フロッピーディスク，ＣＤ−ＲＯＭ，ＭＯ，ＤＶ
Ｄ，メモリカード等のコンピュータ読み取り可能な記録
媒体に格納して提供することができる。また、図１およ
び図２に示したコンピュータ１０３に対し、ネットワー
クを介して上記アプリケーションプログラムを提供する
ことも可能である。コンピュータ１０３は、このように
して提供されるアプリケーションプログラムを読み込ん
で実行することにより、前述した各種の処理を実現す
る。The application program is a floppy disk, CD-ROM, MO, DV.
It can be provided by being stored in a computer-readable recording medium such as a D or a memory card. It is also possible to provide the above-mentioned application program to the computer 103 shown in FIGS. 1 and 2 via a network. The computer 103 realizes the above-described various processes by reading and executing the application program thus provided.

【０１４２】[0142]

【０１４３】[0143]

【０１４４】[0144]

【発明の効果】 以上説明したように、本発明の映像スト
リームの構造解析過程表示方法（請求項１）によれば、
映像ストリーム中の任意のフレームを基準フレームとし
て設定し、設定した基準フレームの画像を表示し、映像
ストリームの時系列において、設定した基準フレームか
ら第１の間隔分進めた位置にフレームが存在するか否か
を判定し、フレームが存在する場合に該当するフレーム
を選択して第１の選択フレームとして設定し、設定した
第１の選択フレームの画像を基準フレームの画像と共に
表示し、フレームが存在しない場合に最後のフレームを
第１のフレームとして設定し、設定した第１の選択フレ
ームの画像を基準フレームの画像と共に表示し、第１の
選択フレームおよび基準フレームを比較し、第１の選択
フレームおよび基準フレームの画像の特徴量の差が所定
の閾値以上の場合に第１の選択フレームの位置を記憶
し、閾値以上でない場合に第１の選択フレームを基準フ
レームとして設定し、設定した基準フレームの画像を現
在表示している基準フレームの画像に代えて表示して、
第１の選択フレームを選択する処理に戻り、第１の選択
フレームの位置を記憶した場合に、記憶された第１の選
択フレームより前に第１の選択フレームとして設定され
たフレーム以降のフレームを第１の間隔より細かい第２
の間隔で順次選択し、選択したフレームを第２の選択フ
レームとして設定し、設定した第２の選択フレームの画
像を現在表示している第１の選択フレームの画像に代え
て表示し、第２の選択フレームおよび基準フレームを比
較し、第２の選択フレームおよび基準フレームの画像の
特徴量の差が所定の閾値以上の場合に、第２の選択フレ
ームの位置を記憶し、閾値以上でない場合に、第２の選
択フレームを選択する処理に戻り、第２の選択フレーム
の位置を記憶した場合に、第２の選択フレームを基準フ
レームとして設定し、設定した基準フレームの画像を現
在表示している基準フレームの画像に代えて表示し、新
たに基準フレームが設定された場合に、映像ストリーム
中において、設定した基準フレームから第１の間隔分進
めた位置にフレームが存在するか否かを判定し、フレー
ムが存在する場合に第１の選択フレームを選択する処理
に戻り、フレームが存在しない場合に最後のフレームを
第１の選択フレームとし、第１の選択フレームを設定す
る処理に戻り、基準フレームが最後のフレームであった
場合に処理を終了すると共に、上記処理の過程におい
て、基準フレームと第１の選択フレームおよび第２の選
択フレームとの特徴量の差を順次プロットし、映像スト
リーム中の各フレームの特徴量の変化をグラフで表示す
るため、映像情報の解析過程を視覚的に確認することが
できると共に、解析過程を容易に検証することができる
ことから、映像情報の解析処理を円滑・簡単・正確に行
うことが可能となる。 As described above, the video stream of the present invention is
According to the method for displaying the structural analysis process of the ream (claim 1),
Set an arbitrary frame in the video stream as the reference frame, display the image of the set reference frame, and check whether the frame exists at the position advanced by the first interval from the set reference frame in the time series of the video stream. It is determined whether or not there is a frame, the corresponding frame is selected and set as the first selected frame, the set first selected frame image is displayed together with the reference frame image, and the frame does not exist. In this case, the last frame is set as the first frame, the image of the set first selected frame is displayed together with the image of the reference frame, the first selected frame and the reference frame are compared, and the first selected frame and Stores the position of the first selected frame when the difference between the feature amounts of the images of the reference frames is greater than or equal to a predetermined threshold, and is not greater than or equal to the threshold. The first selected frame is set as a reference frame in case, to display in place of the image of the reference frame that is currently displaying the image of the reference frame set,
Returning to the process of selecting the first selection frame, when the position of the first selection frame is stored, the frames after the frame set as the first selection frame before the stored first selection frame are stored. Second smaller than first interval
Are sequentially selected at intervals of, and the selected frame is set as the second selected frame, and the image of the set second selected frame is displayed instead of the image of the first selected frame currently displayed, The selected frame and the reference frame are compared with each other. If the difference between the feature amounts of the images of the second selected frame and the reference frame is equal to or larger than a predetermined threshold, the position of the second selected frame is stored. Returning to the process of selecting the second selected frame, when the position of the second selected frame is stored, the second selected frame is set as the reference frame, and the image of the set reference frame is currently displayed. When the reference frame is displayed instead of the image and a new reference frame is set, the frame is moved to the position advanced by the first interval from the set reference frame in the video stream. If there is a frame, the process returns to the process of selecting the first selected frame. If there is no frame, the last frame is set as the first selected frame, and the first selected frame is selected. The process returns to the process of setting the reference frame, the process is terminated when the reference frame is the last frame, and in the process of the above process, the difference in feature amount between the reference frame and the first selected frame and the second selected frame Is sequentially plotted and the change in the feature amount of each frame in the video stream is displayed as a graph, so that the analysis process of the video information can be visually confirmed and the analysis process can be easily verified. Therefore, it becomes possible to smoothly, easily and accurately analyze the video information.

【０１４５】また、本発明の映像ストリームの構造解析
過程表示方法（請求項２）によれば、映像ストリーム中
の任意のフレームを基準フレームとして設定し、設定し
た基準フレームの画像を表示し、映像ストリームの時系
列において、基準フレーム以降のフレームを第１の間隔
で順次選択し、選択したフレームを第１の選択フレーム
として設定し、設定した第１の選択フレームの画像を基
準フレームの画像と共に表示し、第１の選択フレームお
よび基準フレームを比較し、第１の選択フレームおよび
基準フレームの画像の特徴量の差が所定の閾値以上の場
合に第１の選択フレームの位置を記憶し、閾値以上でな
い場合に第１の選択フレームを選択する処理に戻り、第
１の選択フレームの位置を記憶した場合に、記憶された
第１の選択フレームより前に第１の選択フレームとして
設定されたフレーム以降のフレームを第１の間隔より細
かい第２の間隔で順次選択し、選択したフレームを第２
の選択フレームとして設定し、設定した第２の選択フレ
ームの画像を現在表示している第１の選択フレームの画
像に代えて表示し、第２の選択フレームおよび基準フレ
ームを比較し、第２の選択フレームおよび基準フレーム
の画像の特徴量の差が所定の閾値以上の場合に第２の選
択フレームの位置を記憶し、閾値以上でない場合に第２
の選択フレームを選択する処理に戻り、第２の選択フレ
ームの位置を記憶した場合に、第２の選択フレームを基
準フレームとして設定し、設定した基準フレームの画像
を現在表示している基準フレームの画像に代えて表示
し、新たに基準フレームが設定された場合に、映像スト
リーム中において、設定した基準フレームから第１の間
隔分進めた位置にフレームが存在するか否かを判定し、
フレームが存在する場合に第１の選択フレームを選択す
る処理に戻り、フレームが存在しない場合に最後のフレ
ームを第１の選択フレームとし、第１の選択フレームを
設定する処理に戻り、基準フレームが最後のフレームで
あった場合に処理を終了すると共に、上記処理の過程に
おいて、基準フレームと第１の選択フレームおよび第２
の選択フレームとの特徴量の差を順次プロットし、映像
ストリーム中の各フレームの特徴量の変化をグラフで表
示するため、映像情報の解析過程を視覚的に確認するこ
とができると共に、解析過程を容易に検証することがで
きることから、映像情報の解析処理を円滑・簡単・正確
に行うことが可能となる。According to the method of displaying a structure analysis process of a video stream of the present invention ( claim 2 ), an arbitrary frame in the video stream is set as a reference frame, and an image of the set reference frame is displayed to display the image. In the stream time series, frames after the reference frame are sequentially selected at the first interval, the selected frame is set as the first selection frame, and the image of the set first selection frame is displayed together with the image of the reference frame. Then, the first selected frame and the reference frame are compared, and the position of the first selected frame is stored when the difference between the feature amounts of the images of the first selected frame and the reference frame is equal to or more than a predetermined threshold, and the value is equal to or more than the threshold. Otherwise, the process returns to the process of selecting the first selection frame, and if the position of the first selection frame is stored, the stored first selection frame is stored. The frames after the frame set as the first selected frame before the frame are sequentially selected at the second interval smaller than the first interval, and the selected frame is selected as the second frame.
Of the second selected frame, the image of the second selected frame that has been set is displayed in place of the image of the first selected frame that is currently displayed, the second selected frame and the reference frame are compared, and the second selected frame is compared with the second selected frame. The position of the second selected frame is stored when the difference between the feature amounts of the images of the selected frame and the reference frame is equal to or larger than a predetermined threshold, and the second position is stored when the difference is not equal to or larger than the threshold.
When the position of the second selected frame is stored, the second selected frame is set as the reference frame, and the image of the set reference frame is set to the reference frame currently displayed. When a new reference frame is displayed instead of the image, it is determined whether or not there is a frame at the position advanced by the first interval from the set reference frame in the video stream,
If the frame exists, the process returns to the process of selecting the first selected frame. If the frame does not exist, the last frame is set as the first selected frame, and the process returns to the process of setting the first selected frame. When it is the last frame, the processing is terminated, and in the course of the above processing, the reference frame, the first selected frame, and the second frame.
The difference in the feature amount from the selected frame is sequentially plotted, and the change in the feature amount of each frame in the video stream is displayed in a graph, so that the analysis process of the video information can be visually confirmed and the analysis process can be performed. Since it can be easily verified, it becomes possible to smoothly, easily and accurately analyze the video information.

【０１４６】また、本発明の映像ストリームの構造解析
過程表示方法（請求項３）によれば、基準フレームに対
して閾値以上の特徴量を有する第２の選択フレームの位
置をグラフ中に表示するため、映像ストリームの分割点
の位置を容易に特定でき、どのような解析によって分割
点が決定されたのかを容易に知ることができる。According to the method for displaying the structure analysis process of the video stream of the present invention ( claim 3 ), the position of the second selected frame having the characteristic amount equal to or more than the threshold value with respect to the reference frame is displayed in the graph. Therefore, it is possible to easily specify the position of the division point of the video stream and easily know what kind of analysis has determined the division point.

【０１４７】また、本発明の映像ストリームの構造解析
過程表示方法（請求項４）によれば、さらに、映像スト
リームを構成する各フレームの位置に対応させて、解析
処理の進行状況を示すグラフを表示すると共に、第１の
選択フレームまたは第２の選択フレームとして選択され
たフレームの位置および基準フレームに対して閾値以上
の特徴量を有する第２の選択フレームの位置をグラフ中
に表示するため、映像ストリーム全体に対する各フレー
ムの位置関係を容易に把握することができる。特に、閾
値以上の特徴量を有する第２の選択フレームの位置がグ
ラフ中に表示されるため、映像ストリームの分割点がど
の位置にあり、映像ストリームをいくつに分割できるの
かを容易に把握することができる。According to the video stream structure analysis process display method of the present invention ( claim 4 ), a graph showing the progress of the analysis processing is further displayed in correspondence with the position of each frame constituting the video stream. In addition to displaying, the position of the frame selected as the first selected frame or the second selected frame and the position of the second selected frame having a feature amount equal to or more than the threshold with respect to the reference frame are displayed in the graph. It is possible to easily grasp the positional relationship of each frame with respect to the entire video stream. In particular, since the position of the second selected frame having a feature amount equal to or larger than the threshold value is displayed in the graph, it is easy to understand where the division point of the video stream is and how many divisions the video stream can be divided into. You can

【０１４８】また、本発明の映像ストリームの構造解析
過程表示方法（請求項５）によれば、さらに、解析過程
を記録し、記録した解析過程を任意のタイミングで再現
することを可能にしたため、ユーザが意図する分割点が
得られているかをチェックすることができ、分割点の修
正や変更を簡単に行うことができる。また、実際に解析
処理を再度行うわけではなく、記録しておいた解析処理
の過程を再現するため、解析に要する時間を省くことが
でき、好みの速度で解析処理の過程を再現することも可
能となる。Further, according to the structure analysis process display method of the video stream of the present invention ( claim 5 ), it is possible to record the analysis process and reproduce the recorded analysis process at an arbitrary timing. It is possible to check whether the division point intended by the user has been obtained, and it is possible to easily correct or change the division point. In addition, since the analysis process that has been recorded is reproduced without actually performing the analysis process again, the time required for the analysis can be saved, and the analysis process can be reproduced at a desired speed. It will be possible.

【０１４９】[0149]

【０１５０】[0150]

【０１５１】[0151]

【０１５２】[0152]

【０１５３】[0153]

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の実施の形態に係る映像ストリームの構
造解析過程表示方法を実現するためのシステムの一例を
示す概略構成図である。FIG. 1 is a structure of a video stream according to an embodiment of the present invention.
It is a schematic block diagram which shows an example of the system for implement | achieving the manufacturing analysis process display method .

【図２】図１のシステムを構成するコンピュータのブロ
ック構成図である。FIG. 2 is a block diagram of a computer constituting the system of FIG.

【図３】本発明の実施の形態に係る映像ストリームの構
造解析処理において、解析処理の過程を表示するための
構造解析過程表示ウインドウの構成例を示す説明図であ
る。FIG. 3 is an explanatory diagram showing a configuration example of a structure analysis process display window for displaying a process of the analysis process in the structure analysis process of the video stream according to the embodiment of the present invention.

【図４】本発明の実施の形態に係る映像ストリームの構
造解析処理を示すフローチャートである。FIG. 4 is a flowchart showing a structure analysis process of a video stream according to the embodiment of the present invention.

【図５】本発明の実施の形態に係る映像ストリームの構
造解析処理において、構造解析過程表示ウインドウに表
示される解析過程の一例を示す説明図である。FIG. 5 is an explanatory diagram showing an example of an analysis process displayed in a structure analysis process display window in the structure analysis process of the video stream according to the embodiment of the present invention.

【図６】本発明の実施の形態に係る映像ストリームの構
造解析処理において、構造解析過程表示ウインドウに表
示される解析過程の一例を示す説明図である。FIG. 6 is an explanatory diagram showing an example of an analysis process displayed in a structure analysis process display window in the structure analysis process of the video stream according to the embodiment of the present invention.

【図７】本発明の実施の形態に係る映像ストリームの構
造解析処理において、構造解析過程表示ウインドウに表
示される解析過程の一例を示す説明図である。FIG. 7 is an explanatory diagram showing an example of an analysis process displayed in a structure analysis process display window in the structure analysis process of the video stream according to the embodiment of the present invention.

【図８】本発明の実施の形態に係る映像ストリームの構
造解析処理において、構造解析過程表示ウインドウに表
示される解析過程の一例を示す説明図である。FIG. 8 is an explanatory diagram showing an example of an analysis process displayed in the structure analysis process display window in the structure analysis process of the video stream according to the embodiment of the present invention.

【図９】本発明の実施の形態に係る映像ストリームの構
造解析処理において、構造解析過程表示ウインドウに表
示される解析過程の一例を示す説明図である。FIG. 9 is an explanatory diagram showing an example of an analysis process displayed in a structure analysis process display window in the structure analysis process of the video stream according to the embodiment of the present invention.

【図１０】本発明の実施の形態に係る映像ストリームの
構造解析処理において、構造解析過程表示ウインドウに
表示される解析過程の一例を示す説明図である。FIG. 10 is an explanatory diagram showing an example of an analysis process displayed in the structure analysis process display window in the structure analysis process of the video stream according to the embodiment of the present invention.

【図１１】本発明の実施の形態に係る映像ストリームの
構造解析処理において、構造解析過程表示ウインドウに
表示される解析過程の一例を示す説明図である。FIG. 11 is an explanatory diagram showing an example of an analysis process displayed in a structure analysis process display window in the structure analysis process of the video stream according to the embodiment of the present invention.

【図１２】本発明の実施の形態に係る映像ストリームの
構造解析処理において、構造解析過程表示ウインドウに
表示される解析過程の一例を示す説明図である。FIG. 12 is an explanatory diagram showing an example of an analysis process displayed in a structure analysis process display window in the structure analysis process of the video stream according to the embodiment of the present invention.

【図１３】本発明の実施の形態に係る映像インデックス
情報のデータ構造を示す説明図である。FIG. 13 is an explanatory diagram showing a data structure of video index information according to the embodiment of the present invention.

【図１４】本発明の実施の形態に係る映像インデックス
情報の生成処理を示す説明図である。FIG. 14 is an explanatory diagram showing a process of generating video index information according to the embodiment of the present invention.

【図１５】本発明の実施の形態に係る映像インデックス
情報の生成処理を示す説明図である。FIG. 15 is an explanatory diagram showing a process of generating video index information according to the embodiment of the present invention.

【図１６】本発明の実施の形態に係る映像インデックス
情報に基づいて表示した映像情報の構造の画面表示例を
示す説明図である。FIG. 16 is an explanatory diagram showing a screen display example of a structure of video information displayed based on video index information according to the embodiment of the present invention.

【図１７】図１６に示すパッケージ情報が選択され、各
セグメント情報の代表フレームが表示された様子を示す
説明図である。FIG. 17 is an explanatory diagram showing a state where the package information shown in FIG. 16 is selected and a representative frame of each segment information is displayed.

【図１８】本発明の実施の形態に係る映像インデックス
情報を用いて映像情報の検索処理が行われた際に、検索
結果として得た映像情報の構造を表示した様子を示す説
明図である。FIG. 18 is an explanatory diagram showing a state in which a structure of video information obtained as a search result is displayed when the video information search process is performed using the video index information according to the embodiment of the present invention.

【図１９】本発明の実施の形態に応用例として用いられ
る映像インデックス情報のデータ構造を示す説明図であ
る。FIG. 19 is an explanatory diagram showing a data structure of video index information used as an application example in the embodiment of the present invention.

【図２０】図１９に示す映像インデックス情報中に設け
られたビュー情報のリンクリストを示す説明図である。20 is an explanatory diagram showing a link list of view information provided in the video index information shown in FIG.

【符号の説明】[Explanation of symbols]

１０１ 映像情報ライブラリ １０２ 映像インデックス情報データベース １０３ コンピュータ ２０７ 構造解析ソフト ２０８ インデックス生成ソフト ２０９ 構造表示ソフト ３０１ 構造解析過程表示ウインドウ ３０２ 比較フレーム表示部 ３０２ａ 基準フレーム表示部 ３０２ｂ 選択フレーム表示部 ３０３ａ〜３０３ｃ フレーム表示部 ３０４ グラフ表示部 ３０４ａ 区切り線 ３０４ｂ 分割線 ３０５ バー ３０５ａ フレーム位置表示ライン ３０５ｂ 分割フレーム位置表示ライン ３０８ 再現速度調整部 ５００ 映像インデックス情報 ５０１ ツリー情報 ５０２ フレーム情報 ５０３ サウンド情報 ５０４ セグメント情報 ５０５ パッケージ情報 ６０１ 構造表示ウインドウ ６０２ 代表フレーム ６０３ 一致マーク 101 Video Information Library 102 Video index information database 103 computer 207 Structural analysis software 208 Index generation software 209 Structure display software 301 Structural analysis process display window 302 Comparison frame display section 302a Reference frame display section 302b Selection frame display section 303a to 303c Frame display section 304 Graph display 304a separating line 304b dividing line 305 bar 305a Frame position display line 305b Division frame position display line 308 Reproduction speed adjustment unit 500 video index information 501 tree information 502 frame information 503 sound information 504 segment information 505 Package Information 601 Structure display window 602 representative frame 603 Match mark

フロントページの続き (56)参考文献 特開 平８−214315（ＪＰ，Ａ) 特開 平５−334374（ＪＰ，Ａ) 特開 平８−227462（ＪＰ，Ａ) 特開 平６−209451（ＪＰ，Ａ) 特開 平３−52070（ＪＰ，Ａ) 特開2000−148796（ＪＰ，Ａ) 特開 平４−111181（ＪＰ，Ａ) 特開 平４−207878（ＪＰ，Ａ) 特開 平２−184181（ＪＰ，Ａ) 特開 平５−204990（ＪＰ，Ａ) ．Ｉｎｆｏｒｍｅｄａ：ＣＭＵディジ タルビデオライブラリプロジェクト，情 報処理，日本，1996年 ９月，Ｖｏｌ. 37 Ｎｏ．９，ｐｐ．841−847 認識技術を応用した対話型映像編集方 式の提案，電子情報通信学会論文誌，日 本，1992年 ２月，Ｖｏｌ．Ｊ75−Ｄ− ＩＩ Ｎｏ．２，ｐｐ．216−225 Ｅ89−33 動画像データベースハンド リングに関する検討，電子情報通信学会 技術研究報告，日本，1989年 ７月21 日，Ｖｏｌ．89 Ｎｏ．150，ｐｐ．49 −56 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/20 G06T 13/00 H04N 5/781 Continuation of the front page (56) Reference JP-A-8-214315 (JP, A) JP-A-5-334374 (JP, A) JP-A-8-227462 (JP, A) JP-A-6-209451 (JP , A) JP 3-52070 (JP, A) JP 2000-148796 (JP, A) JP 4-111181 (JP, A) JP 4-207878 (JP, A) JP 2 -184181 (JP, A) JP-A-5-204990 (JP, A). Informationa: CMU Digital Video Library Project, Information Processing, Japan, September 1996, Vol. 37 No. 9, pp. 841-847 Proposal of interactive video editing method applying recognition technology, IEICE Transactions, Japan, February 1992, Vol. J75-D-II No. 2, pp. 216-225 E89-33 A study on moving image database handling, IEICE technical report, Japan, July 21, 1989, Vol. 89 No. 150, pp. 49-56 (58) Fields investigated (Int.Cl. ⁷ , DB name) G06T ^7/ 00-7/20 G06T 13/00 H04N 5/781

Claims (5)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】 映像ストリームの構造を解析する解析過
程を表示するための映像ストリームの構造解析過程表示
方法であって、 前記映像ストリーム中の任意のフレームを基準フレーム
として設定し、設定した基準フレームの画像を表示する
第１の工程と、 前記映像ストリームの時系列において、前記設定した基
準フレームから第１の間隔分進めた位置にフレームが存
在するか否かを判定し、フレームが存在する場合に、該
当するフレームを選択して第１の選択フレームとして設
定し、設定した第１の選択フレームの画像を前記基準フ
レームの画像と共に表示し、フレームが存在しない場合
に、最後のフレームを第１のフレームとして設定し、設
定した第１の選択フレームの画像を前記基準フレームの
画像と共に表示する第２の工程と、 前記第１の選択フレームおよび基準フレームを比較し、
前記第１の選択フレームおよび基準フレームの画像の特
徴量の差が所定の閾値以上の場合に、前記第１の選択フ
レームの位置を記憶し、閾値以上でない場合に、前記第
１の選択フレームを前記基準フレームとして設定し、設
定した基準フレームの画像を現在表示している基準フレ
ームの画像に代えて表示して、前記第２の工程に戻る第
３の工程と、 前記第３の工程で前記第１の選択フレームの位置を記憶
した場合に、前記記憶された第１の選択フレームより前
に前記第２の工程で第１の選択フレームとして設定され
たフレーム以降のフレームを前記第１の間隔より細かい
第２の間隔で順次選択し、選択したフレームを第２の選
択フレームとして設定し、設定した第２の選択フレーム
の画像を現在表示している第１の選択フレームの画像に
代えて表示する第４の工程と、 前記第２の選択フレームおよび基準フレームを比較し、
前記第２の選択フレームおよび基準フレームの画像の特
徴量の差が所定の閾値以上の場合に、前記第２の選択フ
レームの位置を記憶し、閾値以上でない場合に、前記第
４の工程に戻る第５の工程と、 前記第５の工程で前記第２の選択フレームの位置を記憶
した場合に、前記第２の選択フレームを前記基準フレー
ムとして設定し、設定した基準フレームの画像を現在表
示している基準フレームの画像に代えて表示する第６の
工程と、 前記第６の工程で新たに基準フレームが設定された場合
に、映像ストリーム中において、前記設定した基準フレ
ームから前記第１の間隔分進めた位置にフレームが存在
するか否かを判定し、フレームが存在する場合に、前記
第２の工程に戻り、フレームが存在しない場合に、最後
のフレームを前記第１の選択フレームとして前記第２の
工程に戻る第７の工程と、 前記基準フレームが最後のフレームであった場合に、処
理を終了する第８の工程と、を含み、 さらに、前記第３の工程および第５の工程で得た前記基
準フレームと前記第１の選択フレームおよび第２の選択
フレームとの特徴量の差を順次プロットし、前記映像ス
トリーム中の各フレームの特徴量の変化をグラフで表示
する第９の工程を含むことを特徴とする映像ストリーム
の構造解析過程表示方法。1. A method of displaying a structure analysis process of a video stream for displaying an analysis process of analyzing a structure of a video stream, wherein an arbitrary frame in the video stream is set as a reference frame, and the set reference frame is set. The first step of displaying the image, and in the time series of the video stream, it is determined whether or not there is a frame at a position advanced by the first interval from the set reference frame. , The corresponding frame is selected and set as the first selected frame, the image of the set first selected frame is displayed together with the image of the reference frame, and when there is no frame, the last frame is set to the first frame. And a second step of displaying the image of the set first selected frame together with the image of the reference frame, Compare 1 selected frame and reference frame,
The position of the first selected frame is stored when the difference between the feature amounts of the images of the first selected frame and the reference frame is greater than or equal to a predetermined threshold, and when the difference is not greater than or equal to the threshold, the first selected frame is stored. A third step of setting the reference frame, displaying the set reference frame image in place of the currently displayed reference frame image, and returning to the second step; When the position of the first selected frame is stored, the frames after the frame set as the first selected frame in the second step before the stored first selected frame are set to the first interval. The images are sequentially selected at smaller second intervals, the selected frame is set as the second selection frame, and the set second selection frame image is replaced with the currently displayed first selection frame image. And a fourth step of displaying and comparing the second selection frame and the reference frame,
If the difference between the feature amounts of the images of the second selected frame and the reference frame is greater than or equal to a predetermined threshold value, the position of the second selected frame is stored, and if not, the process returns to the fourth step. Fifth step, and when the position of the second selected frame is stored in the fifth step, the second selected frame is set as the reference frame, and the image of the set reference frame is currently displayed. A sixth step of displaying the reference frame instead of the image, and a new reference frame is set in the sixth step, in the video stream, the first interval from the set reference frame. It is determined whether or not there is a frame at the position advanced by the amount. If a frame is present, the process returns to the second step. If no frame is present, the last frame is set to the first selection frame. A seventh step of returning to the second step as a program, and an eighth step of terminating the process when the reference frame is the last frame, and further including the third step and The difference between the feature amounts of the reference frame and the first selected frame and the second selected frame obtained in the fifth step is sequentially plotted, and the change in the feature amount of each frame in the video stream is displayed in a graph. 9. A method for displaying a structure analysis process of a video stream, comprising the ninth step of: 【請求項２】 映像ストリームの構造を解析する解析過
程を表示するための映像ストリームの構造解析過程表示
方法であって、 前記映像ストリーム中の任意のフレームを基準フレーム
として設定し、設定した基準フレームの画像を表示する
第１の工程と、 前記映像ストリームの時系列において、前記基準フレー
ム以降のフレームを第１の間隔で順次選択し、選択した
フレームを第１の選択フレームとして設定し、設定した
第１の選択フレームの画像を前記基準フレームの画像と
共に表示する第２の工程と、 前記第１の選択フレームおよび基準フレームを比較し、
前記第１の選択フレームおよび基準フレームの画像の特
徴量の差が所定の閾値以上の場合に、前記第１の選択フ
レームの位置を記憶し、閾値以上でない場合に、前記第
２の工程に戻る第３の工程と、 前記第３の工程で前記第１の選択フレームの位置を記憶
した場合に、前記記憶された第１の選択フレームより前
に前記第２の工程で第１の選択フレームとして設定され
たフレーム以降のフレームを前記第１の間隔より細かい
第２の間隔で順次選択し、選択したフレームを第２の選
択フレームとして設定し、設定した第２の選択フレーム
の画像を現在表示している第１の選択フレームの画像に
代えて表示する第４の工程と、 前記第２の選択フレームおよび基準フレームを比較し、
前記第２の選択フレームおよび基準フレームの画像の特
徴量の差が所定の閾値以上の場合に、前記第２の選択フ
レームの位置を記憶し、閾値以上でない場合に、前記第
４の工程に戻る第５の工程と、 前記第５の工程で前記第２の選択フレームの位置を記憶
した場合に、前記第２の選択フレームを前記基準フレー
ムとして設定し、設定した基準フレームの画像を現在表
示している基準フレームの画像に代えて表示する第６の
工程と、 前記第６の工程で新たに基準フレームが設定された場合
に、映像ストリーム中において、前記設定した基準フレ
ームから前記第１の間隔分進めた位置にフレームが存在
するか否かを判定し、フレームが存在する場合に、前記
第２の工程に戻り、フレームが存在しない場合に、最後
のフレームを前記第１の選択フレームとして前記第２の
工程に戻る第７の工程と、 前記基準フレームが最後のフレームであった場合に、処
理を終了する第８の工程と、を含み、 さらに、前記第３の工程および第５の工程で得た前記基
準フレームと前記第１の選択フレームおよび第２の選択
フレームとの特徴量の差を順次プロットし、前記映像ス
トリーム中の各フレームの特徴量の変化をグラフで表示
する第９の工程を含むことを特徴とする映像ストリーム
の構造解析過程表示方法。2. A method for displaying a structure analysis process of a video stream for displaying an analysis process for analyzing a structure of a video stream, wherein an arbitrary frame in the video stream is set as a reference frame, and the set reference frame is set. In the time series of the video stream, the frames after the reference frame are sequentially selected at a first interval, and the selected frame is set and set as a first selected frame. Comparing a second step of displaying an image of a first selected frame with an image of the reference frame with the first selected frame and the reference frame;
If the difference between the feature amounts of the images of the first selected frame and the reference frame is greater than or equal to a predetermined threshold value, the position of the first selected frame is stored, and if not, the process returns to the second step. A third step, and when the position of the first selection frame is stored in the third step, as the first selection frame in the second step before the stored first selection frame Frames after the set frame are sequentially selected at a second interval smaller than the first interval, the selected frame is set as the second selected frame, and the image of the set second selected frame is currently displayed. Comparing the second selected frame and the reference frame with the fourth step of displaying instead of the image of the first selected frame,
If the difference between the feature amounts of the images of the second selected frame and the reference frame is greater than or equal to a predetermined threshold value, the position of the second selected frame is stored, and if not, the process returns to the fourth step. Fifth step, and when the position of the second selected frame is stored in the fifth step, the second selected frame is set as the reference frame, and the image of the set reference frame is currently displayed. A sixth step of displaying the reference frame instead of the image, and a new reference frame is set in the sixth step, in the video stream, the first interval from the set reference frame. It is determined whether or not there is a frame at the position advanced by the amount. If a frame is present, the process returns to the second step. If no frame is present, the last frame is set to the first selection frame. A seventh step of returning to the second step as a program, and an eighth step of terminating the process when the reference frame is the last frame, and further including the third step and The difference between the feature amounts of the reference frame and the first selected frame and the second selected frame obtained in the fifth step is sequentially plotted, and the change in the feature amount of each frame in the video stream is displayed in a graph. 9. A method for displaying a structure analysis process of a video stream, comprising the ninth step of: 【請求項３】 前記第９の工程は、前記基準フレームに
対して閾値以上の特徴量を有する第２の選択フレームの
位置を前記グラフ中に表示することを特徴とする請求項
１または２に記載の映像ストリームの構造解析過程表示
方法。3. The ninth step displays in the graph the position of a second selected frame having a feature amount equal to or more than a threshold value with respect to the reference frame.
1. A method for displaying a structure analysis process of a video stream according to 1 or 2 . 【請求項４】 さらに、前記映像ストリームを構成する
各フレームの位置に対応させて、解析処理の進行状況を
示すグラフを表示する第１０の工程を含み、 前記第１０の工程は、さらに、前記第１の選択フレーム
または第２の選択フレームとして選択されたフレームの
位置および前記基準フレームに対して閾値以上の特徴量
を有する第２の選択フレームの位置を前記グラフ中に表
示することを特徴とする請求項１〜３のいずれか一つに
記載の映像ストリームの構造解析過程表示方法。4. The method further includes a tenth step of displaying a graph showing the progress of the analysis processing in correspondence with the position of each frame constituting the video stream, and the tenth step further includes the step of: The position of the frame selected as the first selected frame or the second selected frame and the position of the second selected frame having a feature amount equal to or more than a threshold with respect to the reference frame are displayed in the graph. The method for displaying a structure analysis process of a video stream according to any one of claims 1 to 3 . 【請求項５】 さらに、前記第１の工程から第１０の工
程で実行された処理の過程を記録する第１１の工程と、 前記第１１の工程で記録した処理の過程を任意のタイミ
ングで再現する第１２の工程と、 を含むことを特徴とする請求項１〜４のいずれか一つに
記載の映像ストリームの構造解析過程表示方法。5. An eleventh step of recording the process steps executed in the first to tenth steps, and the process steps recorded in the eleventh step are reproduced at arbitrary timing. 12th step and structural analysis processes display method of the video stream according to any one of claims 1 to 4, characterized in that it comprises a for.