JP3453312B2 - Display method of structure analysis process of video stream - Google Patents
Display method of structure analysis process of video streamInfo
- Publication number
- JP3453312B2 JP3453312B2 JP24952898A JP24952898A JP3453312B2 JP 3453312 B2 JP3453312 B2 JP 3453312B2 JP 24952898 A JP24952898 A JP 24952898A JP 24952898 A JP24952898 A JP 24952898A JP 3453312 B2 JP3453312 B2 JP 3453312B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- information
- reference frame
- video stream
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
【0001】[0001]
【発明の属する技術分野】本発明は、映像ストリームの
構造解析過程表示方法に関し、より詳細には、解析過程
を表示することによって映像情報の解析処理を円滑・簡
単・正確に行うことを可能とし、さらに、映像情報を解
析した結果を用いて映像情報の内部の論理構造を視覚的
に表現可能にした映像ストリームの構造解析過程表示方
法に関する。TECHNICAL FIELD The present invention relates to a video stream .
Related to structural analysis process display how, and more particularly, it possible to perform analysis processing of video information smoothly, easy and accurate by displaying the analysis process, further, using the result of analyzing the image information structure analysis process display side of the video stream to visually capable of expressing a logic structure inside video information Te
About the law.
【0002】[0002]
【従来の技術】近年、コンピュータ関連技術、情報処理
技術の発展や、インターネット、イントラネット、エク
ストラネット等の電子ネットワークの普及に伴って、日
常の生活・業務・サービス等で利用される身の回りのあ
らゆる情報が電子化され、電子情報として伝達された
り、あるいはコンピュータ世界のデータベース等に蓄積
されて、利用・活用されている。2. Description of the Related Art In recent years, with the development of computer-related technology and information processing technology and the spread of electronic networks such as the Internet, intranets and extranets, all kinds of personal information used in daily life, business, services, etc. Are digitized and transmitted as electronic information, or are accumulated and used in databases in the computer world to be used and utilized.
【0003】したがって、電子情報は、その情報がアナ
ログデータであるか、デジタルデータであるかに関わら
ず、様々な形で利用・活用(例えば、情報の加工・情報
の検索・情報の伝達等)されており、この電子情報その
ものを利用・活用し易い形式・データ構造で扱う技術が
種々提供されている。Therefore, electronic information is used and utilized in various forms (for example, information processing, information retrieval, information transmission, etc.) regardless of whether the information is analog data or digital data. Therefore, various technologies for handling the electronic information itself in a format and data structure that are easy to use and utilize are provided.
【0004】例えば、電子情報の一つであるテキスト情
報は、その論理的な構造を表現するために、SGML、
HTML、XML等の論理構造を表現する構造タグが定
義され、情報を伝達するときに、内容とその論理構造で
表現することができるようになっている。このため、テ
キスト情報を利用・活用する際に、例えば、内部の論理
構造を用いて、効率的な検索・適切な要約文の生成・処
理速度の高速化等を図ることができる。For example, text information, which is one type of electronic information, is represented by SGML, in order to express its logical structure.
A structure tag that expresses a logical structure such as HTML or XML is defined, and when transmitting information, it can be expressed by the content and its logical structure. Therefore, when utilizing / utilizing the text information, for example, it is possible to use the internal logical structure to efficiently search, generate an appropriate summary sentence, and speed up the processing speed.
【0005】また、映像情報についても、映像情報を解
析して構造化し、構造化した映像情報を管理するための
種々の手法が提案されている。Regarding video information, various methods have been proposed for analyzing the video information and structuring the video information, and managing the structured video information.
【0006】[0006]
【発明が解決しようとする課題】しかしながら、従来に
おける映像情報の解析処理は、映像情報を再生しつつ、
作業者が映像情報の分割点を見つけ出すという処理が主
流であるため、作業者は映像情報の解析を行うために非
常に長い時間をとられ、また、映像再生中常に映像に集
中していなければならないことから、身心への負担も大
きいという問題点があった。However, in the conventional image information analysis processing, while reproducing the image information,
Since the mainstream process is for the worker to find the division point of the video information, it takes a very long time to analyze the video information, and if the worker is not always focused on the video during playback. Since it does not happen, there was a problem that the burden on the body and mind was large.
【0007】また、上記のような作業者への負担を軽減
すべく、映像情報の分割点を自動的に判定するような装
置も個別には存在しているが、これらの装置は単に映像
情報の物理的な分割点を特定し、該当するサムネイル画
像を表示するだけであるため、実際に必要とされる意味
のある映像の集合を分割するための論理的な分割点と、
単純に画面の表示状態が大きく変化する映像の物理的な
分割点とを区別することは困難であるという問題点があ
った。In addition, there are individual devices that automatically determine the division points of the video information in order to reduce the burden on the operator as described above, but these devices simply use the video information. It only specifies the physical division point of and displays the corresponding thumbnail image. Therefore, a logical division point for dividing the meaningful set of videos that is actually needed,
There is a problem in that it is difficult to simply distinguish from a physical division point of an image in which the display state of the screen greatly changes.
【0008】さらに、従来において映像情報を解析して
構造化した結果を表示する場合においては、一般に構造
化した単位の映像の集合を表すサムネイル画像を単に並
べて表示するのみであるため、作業者が映像情報の内部
の論理構造を把握するには表示されたサムネイル画像か
ら論理構造を想像する必要があり、映像情報の内部の論
理構造を直感的に把握することができないという不都合
な点があった。換言すれば、映像情報内部の論理構造を
容易に把握することができるようなユーザ・インターフ
ェースの手法が提供されていないという問題点があっ
た。Further, in the case of displaying the result of analyzing the image information by structuring it in the related art, in general, the thumbnail images representing the set of the image of the structured unit are simply displayed side by side. In order to understand the internal logical structure of the video information, it is necessary to imagine the logical structure from the displayed thumbnail images, which is a disadvantage that the internal logical structure of the video information cannot be intuitively understood. . In other words, there is a problem in that a user interface method for easily grasping the logical structure inside the video information is not provided.
【0009】[0009]
【0010】本発明は、上記に鑑みてなされたものであ
って、映像情報の解析過程を表示して、映像情報の解析
過程を視覚的に確認することができるようにし、解析処
理を円滑・簡単・正確に行うことを可能とする映像スト
リームの構造解析過程表示方法を提供することを目的と
する。The present invention has been made in view of the above, and displays the analysis process of video information so that the analysis process of video information can be visually confirmed, thereby facilitating smooth analysis processing. It is an object of the present invention to provide a method for displaying a structure analysis process of a video stream that can be easily and accurately performed.
【0011】また、本発明は上記に鑑みてなされたもの
であって、映像情報の解析を行った過程を再現できるよ
うにして解析過程を検証可能とすることにより、映像情
報の解析処理を円滑・簡単・正確に行うことを可能とす
る映像ストリームの構造解析過程表示方法を提供するこ
とを目的とする。Further, the present invention has been made in view of the above, and enables the analysis process of video information to be verified by making it possible to reproduce the process of analyzing the video information, thereby facilitating the analysis process of the video information. -It is an object of the present invention to provide a method for displaying a structure analysis process of a video stream that can be easily and accurately performed.
【0012】[0012]
【0013】[0013]
【0014】[0014]
【0015】[0015]
【課題を解決するための手段】 上記目的を達成するた
め、請求項1
の映像ストリームの構造解析過程表示方法
は、映像ストリームの構造を解析する解析過程を表示す
るための映像ストリームの構造解析過程表示方法であっ
て、前記映像ストリーム中の任意のフレームを基準フレ
ームとして設定し、設定した基準フレームの画像を表示
する第1の工程と、前記映像ストリームの時系列におい
て、前記設定した基準フレームから第1の間隔分進めた
位置にフレームが存在するか否かを判定し、フレームが
存在する場合に、該当するフレームを選択して第1の選
択フレームとして設定し、設定した第1の選択フレーム
の画像を前記基準フレームの画像と共に表示し、フレー
ムが存在しない場合に、最後のフレームを第1のフレー
ムとして設定し、設定した第1の選択フレームの画像を
前記基準フレームの画像と共に表示する第2の工程と、
前記第1の選択フレームおよび基準フレームを比較し、
前記第1の選択フレームおよび基準フレームの画像の特
徴量の差が所定の閾値以上の場合に、前記第1の選択フ
レームの位置を記憶し、閾値以上でない場合に、前記第
1の選択フレームを前記基準フレームとして設定し、設
定した基準フレームの画像を現在表示している基準フレ
ームの画像に代えて表示して、前記第2の工程に戻る第
3の工程と、前記第3の工程で前記第1の選択フレーム
の位置を記憶した場合に、前記記憶された第1の選択フ
レームより前に前記第2の工程で第1の選択フレームと
して設定されたフレーム以降のフレームを前記第1の間
隔より細かい第2の間隔で順次選択し、選択したフレー
ムを第2の選択フレームとして設定し、設定した第2の
選択フレームの画像を現在表示している第1の選択フレ
ームの画像に代えて表示する第4の工程と、前記第2の
選択フレームおよび基準フレームを比較し、前記第2の
選択フレームおよび基準フレームの画像の特徴量の差が
所定の閾値以上の場合に、前記第2の選択フレームの位
置を記憶し、閾値以上でない場合に、前記第4の工程に
戻る第5の工程と、前記第5の工程で前記第2の選択フ
レームの位置を記憶した場合に、前記第2の選択フレー
ムを前記基準フレームとして設定し、設定した基準フレ
ームの画像を現在表示している基準フレームの画像に代
えて表示する第6の工程と、前記第6の工程で新たに基
準フレームが設定された場合に、映像ストリーム中にお
いて、前記設定した基準フレームから前記第1の間隔分
進めた位置にフレームが存在するか否かを判定し、フレ
ームが存在する場合に、前記第2の工程に戻り、フレー
ムが存在しない場合に、最後のフレームを第1の選択フ
レームとして前記第2の工程に戻る第7の工程と、前記
基準フレームが最後のフレームであった場合に、処理を
終了する第8の工程と、を含み、さらに、前記第3の工
程および第5の工程で得た前記基準フレームと前記第1
の選択フレームおよび第2の選択フレームとの特徴量の
差を順次プロットし、前記映像ストリーム中の各フレー
ムの特徴量の変化をグラフで表示する第9の工程を含む
ものである。 In order to solve the problem] was to achieve the above purpose
Therefore, the method for displaying a structure analysis process of a video stream according to claim 1 is a method for displaying a structure analysis process of a video stream for displaying an analysis process for analyzing the structure of the video stream, and an arbitrary frame in the video stream. Is set as a reference frame and an image of the set reference frame is displayed, and whether a frame exists at a position advanced by a first interval from the set reference frame in the time series of the video stream. If there is a frame, the corresponding frame is selected and set as the first selected frame, and the image of the set first selected frame is displayed together with the image of the reference frame. If it does not exist, the last frame is set as the first frame, and the image of the set first selected frame is set as the reference frame. A second step of displaying together with the image,
Comparing the first selected frame and the reference frame,
The position of the first selected frame is stored when the difference between the feature amounts of the images of the first selected frame and the reference frame is greater than or equal to a predetermined threshold, and when the difference is not greater than or equal to the threshold, the first selected frame is stored. The third step of setting the reference frame, displaying the set reference frame image in place of the currently displayed reference frame image, and returning to the second step, and the third step When the position of the first selected frame is stored, the frames after the frame set as the first selected frame in the second step before the stored first selected frame are set to the first interval. The images are sequentially selected at smaller second intervals, the selected frame is set as the second selection frame, and the set second selection frame image is replaced with the currently displayed first selection frame image. The fourth step of displaying is compared with the second selected frame and the reference frame, and when the difference between the feature amounts of the images of the second selected frame and the reference frame is equal to or more than a predetermined threshold value, the second A fifth step of storing the position of the selected frame and returning to the fourth step when it is not more than a threshold value, and the second step when the position of the second selected frame is stored in the fifth step. Of the selected reference frame is set as the reference frame, and the image of the set reference frame is displayed instead of the image of the currently displayed reference frame; and a new reference frame is set in the sixth step. If the frame is present, it is determined whether or not there is a frame at the position advanced by the first interval from the set reference frame in the video stream, and if the frame is present, the second frame is detected. If there is no frame, the seventh step of returning the last frame to the second step with the last frame as the first selection frame, and ending the process when the reference frame is the last frame And an eighth step of performing the reference frame and the first frame obtained in the third step and the fifth step.
And a second step of plotting the difference between the feature amounts of the selected frame and the second selected frame in sequence, and displaying the change in the feature amount of each frame in the video stream in a graph.
【0016】また、請求項2の映像ストリームの構造解
析過程表示方法は、映像ストリームの構造を解析する解
析過程を表示するための映像ストリームの構造解析過程
表示方法であって、前記映像ストリーム中の任意のフレ
ームを基準フレームとして設定し、設定した基準フレー
ムの画像を表示する第1の工程と、前記映像ストリーム
の時系列において、前記基準フレーム以降のフレームを
第1の間隔で順次選択し、選択したフレームを第1の選
択フレームとして設定し、設定した第1の選択フレーム
の画像を前記基準フレームの画像と共に表示する第2の
工程と、前記第1の選択フレームおよび基準フレームを
比較し、前記第1の選択フレームおよび基準フレームの
画像の特徴量の差が所定の閾値以上の場合に、前記第1
の選択フレームの位置を記憶し、閾値以上でない場合
に、前記第2の工程に戻る第3の工程と、前記第3の工
程で前記第1の選択フレームの位置を記憶した場合に、
前記記憶された第1の選択フレームより前に前記第2の
工程で第1の選択フレームとして設定されたフレーム以
降のフレームを前記第1の間隔より細かい第2の間隔で
順次選択し、選択したフレームを第2の選択フレームと
して設定し、設定した第2の選択フレームの画像を現在
表示している第1の選択フレームの画像に代えて表示す
る第4の工程と、前記第2の選択フレームおよび基準フ
レームを比較し、前記第2の選択フレームおよび基準フ
レームの画像の特徴量の差が所定の閾値以上の場合に、
前記第2の選択フレームの位置を記憶し、閾値以上でな
い場合に、前記第4の工程に戻る第5の工程と、前記第
5の工程で前記第2の選択フレームの位置を記憶した場
合に、前記第2の選択フレームを前記基準フレームとし
て設定し、設定した基準フレームの画像を現在表示して
いる基準フレームの画像に代えて表示する第6の工程
と、前記第6の工程で新たに基準フレームが設定された
場合に、映像ストリーム中において、前記設定した基準
フレームから前記第1の間隔分進めた位置にフレームが
存在するか否かを判定し、フレームが存在する場合に、
前記第2の工程に戻り、フレームが存在しない場合に、
最後のフレームを前記第1の選択フレームとして前記第
2の工程に戻る第7の工程と、前記基準フレームが最後
のフレームであった場合に、処理を終了する第8の工程
と、を含み、さらに、前記第3の工程および第5の工程
で得た前記基準フレームと前記第1の選択フレームおよ
び第2の選択フレームとの特徴量の差を順次プロット
し、前記映像ストリーム中の各フレームの特徴量の変化
をグラフで表示する第9の工程を含むものである。The video stream structure analysis process display method according to claim 2 is a video stream structure analysis process display method for displaying an analysis process for analyzing the structure of the video stream. A first step of setting an arbitrary frame as a reference frame and displaying an image of the set reference frame, and sequentially selecting and selecting frames after the reference frame at a first interval in a time series of the video stream. The selected frame is set as the first selected frame and the image of the set first selected frame is displayed together with the image of the reference frame, and the first selected frame and the reference frame are compared, When the difference between the feature amounts of the images of the first selected frame and the reference frame is greater than or equal to a predetermined threshold value, the first
If the position of the first selected frame is stored in the third step of returning to the second step when the position of the selected frame of
The frames subsequent to the frame set as the first selection frame in the second step before the stored first selection frame are sequentially selected and selected at a second interval smaller than the first interval. A fourth step of setting a frame as a second selection frame, and displaying the set second selection frame image in place of the currently displayed first selection frame image; and the second selection frame And comparing the reference frames, and when the difference between the feature amounts of the images of the second selected frame and the reference frame is equal to or more than a predetermined threshold,
A fifth step of storing the position of the second selected frame and returning to the fourth step when it is not more than a threshold value, and a case of storing the position of the second selected frame in the fifth step A sixth step of setting the second selected frame as the reference frame and displaying the set reference frame image in place of the currently displayed reference frame image; and a new step in the sixth step. When the reference frame is set, it is determined whether or not there is a frame at the position advanced by the first interval from the set reference frame in the video stream, and when the frame is present,
Returning to the second step, if there is no frame,
A seventh step of returning the last frame to the second step as the first selection frame, and an eighth step of terminating the process when the reference frame is the last frame, Furthermore, the differences in the feature amounts between the reference frame obtained in the third step and the fifth step and the first selected frame and the second selected frame are sequentially plotted, and the difference between the feature values of each frame in the video stream is plotted. It includes a ninth step of displaying the change in the characteristic amount in a graph.
【0017】また、請求項3の映像ストリームの構造解
析過程表示方法は、請求項1または2に記載の映像スト
リームの構造解析過程表示方法において、前記第9の工
程が、前記基準フレームに対して閾値以上の特徴量を有
する第2の選択フレームの位置を前記グラフ中に表示す
るものである。According to a third aspect of the present invention, in the method of displaying the structural analysis process of the video stream according to the first or second aspect, the ninth step is performed with respect to the reference frame. The position of the second selected frame having the characteristic amount equal to or more than the threshold value is displayed in the graph.
【0018】また、請求項4の映像ストリームの構造解
析過程表示方法は、請求項1〜3のいずれか一つに記載
の映像ストリームの構造解析過程表示方法において、さ
らに、前記映像ストリームを構成する各フレームの位置
に対応させて、解析処理の進行状況を示すグラフを表示
する第10の工程を含み、前記第10の工程が、さら
に、前記第1の選択フレームまたは第2の選択フレーム
として選択されたフレームの位置および前記基準フレー
ムに対して閾値以上の特徴量を有する第2の選択フレー
ムの位置を前記グラフ中に表示するものである。The method of displaying a structure analysis process of a video stream according to claim 4 is the method of displaying a structure analysis process of a video stream according to any one of claims 1 to 3 , further comprising the video stream. The method further includes a tenth step of displaying a graph showing the progress of the analysis process corresponding to the position of each frame, wherein the tenth step is further selected as the first selection frame or the second selection frame. The position of the selected frame and the position of the second selected frame having the characteristic amount equal to or more than the threshold value with respect to the reference frame are displayed in the graph.
【0019】また、請求項5の映像ストリームの構造解
析過程表示方法は、請求項1〜4のいずれか一つに記載
の映像ストリームの構造解析過程表示方法において、さ
らに、前記第1の工程から第10の工程で実行された処
理の過程を記録する第11の工程と、前記第11の工程
で記録した処理の過程を任意のタイミングで再現する第
12の工程と、を含むものである。The method for displaying a structure analysis process of a video stream according to claim 5 is the method for displaying a structure analysis process for a video stream according to any one of claims 1 to 4 , further comprising the steps from the first step. It includes an eleventh step of recording the process step executed in the tenth step and a twelfth step of reproducing the process step recorded in the eleventh step at an arbitrary timing.
【0020】[0020]
【0021】[0021]
【0022】[0022]
【0023】[0023]
【0024】[0024]
【0025】[0025]
【発明の実施の形態】以下、本発明に係る映像ストリー
ムの構造解析過程表示方法の一実施の形態について、
(1)システム構成
(2)映像ストリームの構造解析
(3)映像インデックス情報
(4)映像ストリームの構造表示
(5)映像情報の検索結果の表示
(6)応用例
の順で、添付の図面を参照して詳細に説明する。BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, a video stream according to the present invention.
About one embodiment of a method for displaying the structure analysis process of a system, (1) system configuration (2) structure analysis of video stream (3) video index information (4) structure display of video stream (5) search result of video information The display (6) will be described in detail in the order of application examples with reference to the accompanying drawings.
【0026】(1)システム構成
図1は、本実施の形態に係る映像ストリームの構造解析
過程表示方法を実現するためのシステムの一例を示す概
略構成図である。図1に示すシステムは、複数の映像情
報を記憶した映像情報ライブラリ101と、映像情報ラ
イブラリ101の各映像情報に対応して生成された複数
の映像インデックス情報(「(3)映像インデックス情
報」のところで説明する)を記憶した映像インデックス
情報データベース102と、映像情報ライブラリ101
中の映像情報の映像ストリームの構造を解析すると共
に、解析した結果に基づいて、映像ストリームの構造を
視覚的に表示する処理を行うコンピュータ103と、を
有している。(1) System Configuration FIG. 1 is a structural analysis of a video stream according to this embodiment.
It is a schematic block diagram which shows an example of the system for implement | achieving a process display method . The system shown in FIG. 1 includes a video information library 101 storing a plurality of video information, and a plurality of video index information (“(3) video index information” of a plurality of video index information generated corresponding to each video information of the video information library 101. A video index information database 102 that stores (described below) and a video information library 101.
The computer 103 that analyzes the structure of the video stream of the inside video information and that performs a process of visually displaying the structure of the video stream based on the analyzed result.
【0027】この図1に示す映像情報ライブラリ101
および映像インデックス情報データベース102は、コ
ンピュータ103中に内蔵することにしても良いが、こ
こでは一例として、ネットワークを介してコンピュータ
103と接続されているものとする。The video information library 101 shown in FIG.
The video index information database 102 may be built in the computer 103, but here, as an example, it is assumed that the computer 103 is connected to the computer 103 via a network.
【0028】図2は、図1に示したコンピュータ103
のブロック構成図である。コンピュータ103は、後述
するソフトウエアに基づく処理を実行するCPU201
と、ブートプログラム等を記憶したROM202と、C
PU201のワークエリアとして使用されるRAM20
3と、各種の入力操作を行なうためのキーボード204
およびマウス205と、映像ストリームの解析過程や映
像ストリームの構造を表示するためのCRTや液晶ディ
スプレイ等の表示装置206と、本実施の形態に係る映
像ストリームの構造解析過程表示方法を実現するための
構造解析ソフト207,インデックス生成ソフト20
8,構造表示ソフト209等の各種アプリケーションプ
ログラムやデータを記憶したハードディスク210と、
図1に示した映像情報ライブラリ101および映像イン
デックス情報データベース102とコンピュータ103
とを接続するネットワークアダプタ211と、上記各部
を接続するバス212と、を少なくとも備えている。FIG. 2 shows the computer 103 shown in FIG.
It is a block configuration diagram of. The computer 103 is a CPU 201 that executes processing based on software described below.
And a ROM 202 storing a boot program and the like, C
RAM 20 used as a work area for PU 201
3 and a keyboard 204 for performing various input operations
And a mouse 205, a display device 206 such as a CRT or a liquid crystal display for displaying the structure of the analysis process and the video stream of the video stream, film according to the embodiment
Structure analysis software 207 and index generation software 20 for realizing a structure analysis process display method of an image stream
8. A hard disk 210 storing various application programs such as structure display software 209 and data,
The video information library 101, the video index information database 102, and the computer 103 shown in FIG.
At least a network adapter 211 for connecting to each other and a bus 212 for connecting each of the above units are provided.
【0029】なお、図1および図2に示したシステム構
成は、あくまでも一例を示すものであって、後述する本
実施の形態に係る方法を実現することが可能であれば、
いかなるシステム構成であっても良い。The system configurations shown in FIGS. 1 and 2 are merely examples, and if the method according to the present embodiment described later can be realized,
Any system configuration may be used.
【0030】(2)映像ストリームの構造解析
つぎに、前述したようなシステムにおいて実現される映
像ストリームの構造解析処理について説明する。映像ス
トリームの構造解析処理を実行する際には、図2に示し
た構造解析ソフト207が使用される。(2) Structure Analysis of Video Stream Next, the structure analysis process of the video stream realized in the system as described above will be explained. When executing the structure analysis process of the video stream, the structure analysis software 207 shown in FIG. 2 is used.
【0031】構造解析ソフト207は、構造解析の対象
となる映像ストリーム中のフレーム同士を比較して両方
の画像の特徴量の差を求めることにより、映像ストリー
ム中の各フレームの画像が有する特徴量の変化を求める
処理を実行する。換言すれば、構造解析ソフト207
は、各フレームの画像が有する特徴量の変化を求めるこ
とにより、映像ストリームを複数に分割する分割点を特
定して、映像ストリームから特徴量の差が少ない連続す
るフレームの集合を抽出し、映像ストリームを任意の連
続するフレーム単位に分割できるようにするものであ
る。なお、ここでいう特徴量にはフレームの画像の色・
配色・構造・形状・曲率等がある。The structural analysis software 207 compares the frames in the video stream to be subjected to the structural analysis and obtains the difference in the characteristic amounts of the two images to obtain the characteristic amount of each frame image in the video stream. The process for obtaining the change of is executed. In other words, the structural analysis software 207
Determines the change in the feature amount of each frame image to identify the division points that divide the video stream into multiple parts, extract a set of consecutive frames from the video stream with a small difference in feature amount, and It allows a stream to be divided into arbitrary continuous frame units. Note that the feature amount here is the color of the frame image.
There are colors, structures, shapes, curvatures, etc.
【0032】構造解析ソフト207を起動すると、図3
に示すような構造解析過程表示ウインドウ301が表示
装置206に画面表示される。この構造解析過程表示ウ
インドウ301は、構造解析ソフト207が映像ストリ
ームの構造解析を行っている過程をユーザに対して表示
するものである。ここでは、映像ストリームの構造解析
処理を説明する前に、構造解析過程表示ウインドウ30
1の構成を説明することにする。When the structural analysis software 207 is started, FIG.
A structural analysis process display window 301 as shown in FIG. This structural analysis process display window 301 displays to the user the process in which the structural analysis software 207 is performing structural analysis of the video stream. Before explaining the structure analysis process of the video stream, the structure analysis process display window 30 will be described.
The configuration of No. 1 will be described.
【0033】構造解析過程表示ウインドウ301は、映
像ストリーム中の比較対象となる2つのフレームを表示
する比較フレーム表示部302を有している。本実施の
形態においては、この比較フレーム表示部302中の左
側に表示されるフレームを基準フレームと、右側に表示
されるフレームを選択フレーム(第1の選択フレームま
たは第2の選択フレーム)とそれぞれ定義し、比較フレ
ーム表示部302において、基準フレームを表示する領
域を基準フレーム表示部302a、選択フレームを表示
する領域を選択フレーム表示部302bと呼ぶことにす
る。The structural analysis process display window 301 has a comparison frame display section 302 for displaying two frames to be compared in the video stream. In the present embodiment, the frame displayed on the left side of the comparison frame display unit 302 is the reference frame, and the frame displayed on the right side is the selected frame (first selected frame or second selected frame). In the comparison frame display unit 302, the area displaying the reference frame will be referred to as a reference frame display section 302a, and the area displaying the selected frame will be referred to as a selection frame display section 302b.
【0034】構造解析ソフト207は、ノーマル比較モ
ードおよび詳細比較モードの2つのモードを切り換えつ
つ映像ストリームの構造解析処理を実行する。ノーマル
比較モードにおいて、構造解析ソフト207は、基準フ
レームと比較する選択フレームを予め設定されている第
1の間隔で選択し、選択フレーム表示部302bに表示
する。本実施の形態においては、この第1の間隔を30
フレームとし、構造解析ソフト207は、30フレーム
間隔で選択フレームとなるフレームを選択し、基準フレ
ームと比較する処理を実行する。このようなノーマル比
較モードによる構造解析処理を実行することにより、映
像ストリーム中の各フレームの特徴量の変化を大まかに
つかむことが可能となり、フレーム一つひとつを基準フ
レームと比較していく場合に比べて構造解析処理の高速
化を図ることが可能となる。なお、このノーマル比較モ
ードにおいて、前述した選択フレームとして選択される
フレームを第1の選択フレームと呼ぶことにする。The structure analysis software 207 executes the structure analysis process of the video stream while switching between the normal comparison mode and the detailed comparison mode. In the normal comparison mode, the structural analysis software 207 selects the selected frame to be compared with the reference frame at the preset first interval and displays it on the selected frame display unit 302b. In the present embodiment, this first interval is 30
The structural analysis software 207 selects a frame to be a selected frame at intervals of 30 frames, and executes a process of comparing with a reference frame. By executing the structural analysis processing in such a normal comparison mode, it is possible to roughly grasp the change in the feature amount of each frame in the video stream, compared to the case where each frame is compared with the reference frame. It is possible to speed up the structural analysis processing. In this normal comparison mode, the frame selected as the above-mentioned selected frame will be referred to as a first selected frame.
【0035】一方、詳細比較モードは、ノーマル比較モ
ードの実行中に映像ストリームの分割点となるような特
徴量が大きく変化する第1の選択フレームが発見された
場合に、その第1の選択フレームより前に第1の選択フ
レームとして選択されたフレーム以降のフレームを第1
の間隔より細かい第2の間隔で順次選択し、基準フレー
ムとの比較処理を実行するものである。本実施の形態に
おいては、この第2の間隔を1フレームとする。このよ
うな詳細比較モードによる構造解析処理を実行すること
により、確実に映像ストリームの分割点となるフレーム
を特定することができる。なお、この詳細比較モードに
おいて選択フレームとして選択されるフレームを、ノー
マル比較モードにおける第1の選択フレームに対し、第
2の選択フレームと呼ぶことにする。On the other hand, in the detailed comparison mode, when the first selected frame in which the feature amount greatly changes such that it becomes the division point of the video stream is found during execution of the normal comparison mode, the first selected frame is detected. The frames after the frame selected as the first selected frame before
This is to sequentially select at a second interval that is smaller than the interval and to perform the comparison process with the reference frame. In the present embodiment, this second interval is one frame. By executing the structure analysis processing in such a detailed comparison mode, it is possible to reliably identify the frame that is the division point of the video stream. The frame selected as the selected frame in the detailed comparison mode will be referred to as the second selected frame in contrast to the first selected frame in the normal comparison mode.
【0036】なお、ここでは、ノーマル比較モードにお
いて30フレーム間隔でフレーム同士を比較し、詳細比
較モードにおいて1フレーム間隔でフレーム同士を比較
することにするが、1フレーム間隔でフレーム同士を比
較する前に、例えば、5フレーム間隔でフレーム同士を
比較して映像ストリームの分割点となるような特徴量が
大きく変化するフレームの位置を絞り込む処理を行い、
最終的に1フレーム間隔でフレーム同士を比較して、映
像ストリームの分割点となるような特徴量が大きく変化
するフレームの位置を特定するという処理を行うことに
しても良い。Here, it is assumed that the frames are compared at 30-frame intervals in the normal comparison mode and the frames are compared at 1-frame intervals in the detailed comparison mode, but before the frames are compared at 1-frame intervals. In addition, for example, a process of comparing the frames at intervals of 5 frames and narrowing down the positions of the frames in which the feature amount that greatly serves as the division point of the video stream is narrowed,
Finally, it is possible to perform a process of comparing the frames at an interval of one frame and specifying the position of the frame in which the feature amount greatly changes so as to become the division point of the video stream.
【0037】構造解析過程表示ウインドウ301は、構
造解析処理中においてノーマル比較モードおよび詳細比
較モードのいずれのモードによる構造解析処理が実行さ
れているかを選択フレーム表示部302bの下方に表示
する。The structural analysis process display window 301 displays below the selected frame display section 302b whether the structural analysis process is being executed in the normal comparison mode or the detailed comparison mode during the structural analysis process.
【0038】また、構造解析過程表示ウインドウ301
は、比較フレーム表示部302の左側に、3つのフレー
ム表示部303a〜303cを有している。このフレー
ム表示部303は、比較処理が終了したフレームを順番
に表示していくものである。具体的には、比較処理が終
了すると、基準フレーム表示部302aに表示されてい
た基準フレームがフレーム表示部303aに送られ、選
択フレーム表示部302bに表示されていた選択フレー
ムが基準フレーム表示部302aに送られ、さらに、選
択フレーム表示部302bには新たな選択フレームが表
示される。つまり、比較処理が終了する毎に、比較フレ
ーム表示部302およびフレーム表示部303a〜30
3cに表示されているフレームがそれぞれ左方向に送ら
れることになる。Further, the structural analysis process display window 301
Has three frame display sections 303a to 303c on the left side of the comparison frame display section 302. The frame display unit 303 sequentially displays the frames for which the comparison process has been completed. Specifically, when the comparison process ends, the reference frame displayed on the reference frame display unit 302a is sent to the frame display unit 303a, and the selection frame displayed on the selection frame display unit 302b is changed to the reference frame display unit 302a. Further, a new selected frame is displayed on the selected frame display portion 302b. That is, each time the comparison process ends, the comparison frame display unit 302 and the frame display units 303a to 30a
The frames displayed in 3c are respectively sent to the left.
【0039】構造解析過程表示ウインドウ301は、ま
た、比較フレーム表示部302に表示された2つのフレ
ームを比較することによって得た2つのフレームの特徴
量の差をプロットし、映像ストリーム中の各フレームの
特徴量の変化を表す折れ線グラフを表示するためのグラ
フ表示部304を有している。グラフ表示部304中に
は、区切り線304aが表示されており、区切り線30
4aに囲まれた領域A・領域B・領域C・領域Dは、そ
れらの上方に表示されているフレームにそれぞれ対応し
ている。例えば、基準フレーム表示部302aの下方の
領域Dには、基準フレームおよび選択フレームの特徴量
の差が表示されている。The structural analysis process display window 301 also plots the difference between the feature amounts of the two frames obtained by comparing the two frames displayed in the comparison frame display section 302, and displays each frame in the video stream. The graph display unit 304 has a graph display unit 304 for displaying a line graph representing the change in the feature amount. A dividing line 304a is displayed in the graph display unit 304, and the dividing line 30a
Area A, area B, area C, and area D surrounded by 4a respectively correspond to the frames displayed above them. For example, in the area D below the reference frame display unit 302a, the difference between the feature amounts of the reference frame and the selected frame is displayed.
【0040】また、グラフ表示部304の領域A,領域
Bおよび領域Dのように、折れ線グラフが直線で示され
ている領域は前述した第1の間隔でフレームを選択する
ノーマル比較モードで比較処理が実行されたことを意味
している。例えば、領域Aは、フレーム表示部303c
に表示されているフレームとフレーム表示部303bに
表示されているフレームとがノーマル比較モードで比較
された際の2つのフレームの画像の特徴量の差を示して
いる。Further, areas such as the area A, the area B and the area D of the graph display unit 304 where the line graph is shown by a straight line are compared in the normal comparison mode for selecting frames at the above-mentioned first interval. Has been executed. For example, the area A is the frame display portion 303c.
The difference between the feature amounts of the images of the two frames when the frame displayed in 1) and the frame displayed in the frame display unit 303b are compared in the normal comparison mode is shown.
【0041】一方、1つの領域中に複数のプロット点が
表示されている領域Cは、対応するフレーム表示部30
3aに表示されているフレームと、基準フレーム表示部
302aに表示されたフレームより前に存在する複数の
フレームとが詳細比較モードで比較されたことを意味し
ている。すなわち、領域C中のプロット点は、第2の間
隔で選択され、フレーム表示部303aに表示されてい
る(比較処理の際には基準フレーム表示部302aに表
示されていた)フレームと比較されたフレームの数に対
応している。On the other hand, the area C in which a plurality of plot points are displayed in one area corresponds to the corresponding frame display section 30.
This means that the frame displayed in 3a and the plurality of frames existing before the frame displayed in the reference frame display unit 302a are compared in the detailed comparison mode. That is, the plot points in the area C are selected at the second interval and compared with the frame displayed on the frame display unit 303a (displayed on the reference frame display unit 302a during the comparison process). Corresponds to the number of frames.
【0042】さらに、領域C中の折れ線グラフが急激に
変化している様子から明らかなように、比較された2つ
のフレーム間の特徴量の差が所定の閾値以上の場合、構
造解析ソフト207によってその比較されたフレームの
間が映像ストリームの分割点と判定され、判定された分
割点を示す分割線304bがグラフ表示部304中に表
示される。Further, as is clear from the sharp change in the line graph in the area C, when the difference in the feature amount between the two compared frames is equal to or more than a predetermined threshold value, the structural analysis software 207 The space between the compared frames is determined to be a division point of the video stream, and a division line 304b indicating the determined division point is displayed in the graph display unit 304.
【0043】なお、グラフ表示部304中に表示された
グラフは、比較処理が行われる毎に対応するフレームが
左に送られることに伴い、同様に左に送られて表示され
ることになる。The graph displayed in the graph display section 304 is also sent to the left and displayed as the corresponding frame is sent to the left every time the comparison process is performed.
【0044】また、グラフ表示部304の下方に示され
ている「色」・「配色」・「構造」・「形状」・「曲
率」は、フレーム同士を比較する際に用いる特徴量を示
しており、該当するチェックボックスをチェックするこ
とにより、その特徴量の差を示す折れ線グラフがグラフ
表示部304に表示される。ただし、各特徴量の値が異
なるため、図3に示すグラフ表示部304には全ての特
徴量の差が表示されてはいないが、倍率設定部306中
のボタンを選択して倍率を変更することにより、グラフ
表示部304に表示される折れ線グラフのレンジを変更
でき、全ての特徴量を表示できるようにしたり、各フレ
ーム間の特徴量の変化を詳細に表示したり、ラフに表示
したりすることが可能となる。Further, "color", "color scheme", "structure", "shape", and "curvature" shown below the graph display section 304 indicate the feature quantities used when comparing frames. By checking the corresponding check box, a line graph showing the difference between the feature amounts is displayed on the graph display unit 304. However, since the values of the respective characteristic amounts are different, all the differences in the characteristic amounts are not displayed on the graph display unit 304 shown in FIG. 3, but the button in the magnification setting unit 306 is selected to change the magnification. By doing so, it is possible to change the range of the line graph displayed in the graph display unit 304, display all the feature amounts, display the change in the feature amount between each frame in detail, and display it roughly. It becomes possible to do.
【0045】また、「スコア」に該当するチェックボッ
クスをチェックすると、「色」・「配色」・「構造」・
「形状」・「曲率」の全ての特徴量の差を総合的に示す
折れ線グラフがグラフ表示部304に表示される。本実
施の形態において単に特徴量という場合は、この「スコ
ア」によって示される量を意味するものとする。When the check box corresponding to "score" is checked, "color", "color scheme", "structure",
A line graph that comprehensively shows the differences in all the feature amounts of “shape” and “curvature” is displayed on the graph display unit 304. In the present embodiment, the term “feature amount” simply means the amount indicated by this “score”.
【0046】さらに、構造解析過程表示ウインドウ30
1は、映像ストリーム中の最初のフレームから最後のフ
レームまでの処理の進行状況および処理結果を表示する
バー305を有している。バー305には、映像ストリ
ーム全体に対し、現在比較フレーム表示部302に表示
されて比較処理が行われるフレームの位置が順次表示さ
れていく。その結果、バー305中には、比較処理に用
いられたフレームの位置が全て表示されることになる。
バー305において、305aで示す複数の波線が比較
処理に用いられたフレームの位置を示すフレーム位置表
示ラインを示している。このバー305がフレーム位置
表示ライン305aによって満たされると、1つの映像
ストリームの解析処理が終了することになる。Further, the structural analysis process display window 30
Reference numeral 1 has a bar 305 for displaying the progress of processing and the processing result from the first frame to the last frame in the video stream. On the bar 305, the positions of the frames currently displayed on the comparison frame display unit 302 and subjected to the comparison process are sequentially displayed for the entire video stream. As a result, all the positions of the frames used for the comparison process are displayed in the bar 305.
In the bar 305, a plurality of wavy lines 305a indicate frame position display lines indicating the positions of the frames used in the comparison process. When the bar 305 is filled with the frame position display line 305a, the analysis processing of one video stream ends.
【0047】また、305bは分割フレーム位置表示ラ
インを示し、この分割フレーム位置表示ライン305b
は、グラフ表示部304の分割線304bに対応してお
り、分割点の直後のフレームの位置を表示するものであ
る。この分割フレーム位置表示ライン305bをバー3
05中に表示することにより、映像ストリーム中のどこ
に分割点が位置しているのかを一目で認識することが可
能となる。Reference numeral 305b denotes a divided frame position display line, and this divided frame position display line 305b.
Corresponds to the dividing line 304b of the graph display unit 304 and displays the position of the frame immediately after the dividing point. This divided frame position display line 305b is displayed on the bar 3
By displaying it in 05, it becomes possible to recognize at a glance where the division point is located in the video stream.
【0048】なお、図3において、307は各種の設定
値を表示する設定値表示部を、308は後に説明する解
析処理の過程の再現を行う際に再現速度を設定するため
の再現速度調整部を、309は解析対象である映像情報
の映像を表示する映像表示部を、310は解析処理の開
始を指示するための開始ボタンを、311は中断した解
析処理の再開を指示するための再開ボタンを、312は
解析処理を終了して構造解析過程表示ウインドウ301
を閉じるための閉じるボタンをそれぞれ示している。In FIG. 3, 307 is a set value display section for displaying various set values, and 308 is a reproduction speed adjusting section for setting a reproduction speed when reproducing the process of the analysis processing described later. 309, a video display unit for displaying the video of the video information to be analyzed, 310 a start button for instructing the start of the analysis process, 311 a restart button for instructing the restart of the interrupted analysis process. 312 indicates the structural analysis process display window 301 after finishing the analysis process.
Each shows a close button for closing.
【0049】続いて、映像ストリームの構造解析処理を
具体的に説明する。図4は、映像ストリームの構造解析
処理を示すフローチャートである。例えば、映像ストリ
ームの構造を解析する対象となる映像情報が映像情報ラ
イブラリ101から選択され、構造解析過程表示ウイン
ドウ301中の開始ボタン310がクリックされると、
構造解析ソフト207は図4に示す処理を開始する。な
お、ここでは「花のレポート」を映像情報の例とし、そ
の映像情報の映像ストリームの最初のフレーム(ID:
1)からノーマル比較モードによる処理を開始するもの
とする。Next, the structure analysis process of the video stream will be specifically described. FIG. 4 is a flowchart showing the structure analysis process of the video stream. For example, when the video information to be analyzed for the structure of the video stream is selected from the video information library 101 and the start button 310 in the structure analysis process display window 301 is clicked,
The structural analysis software 207 starts the processing shown in FIG. Note that here, "Flower Report" is taken as an example of video information, and the first frame (ID:
The process in the normal comparison mode is started from 1).
【0050】まず、構造解析ソフト207は、IDが1
のフレームを基準フレームとして設定し、図5に示すよ
うに、その画像を基準フレーム表示部302aに表示す
ると共に、バー305に映像ストリーム中の該当する位
置を示すフレーム位置表示ライン305aを表示する
(S401)。First, the structural analysis software 207 has an ID of 1
5 is set as the reference frame, and as shown in FIG. 5, the image is displayed on the reference frame display unit 302a, and the bar 305 displays the frame position display line 305a indicating the corresponding position in the video stream ( S401).
【0051】基準フレームを表示した後、構造解析ソフ
ト207は、この基準フレームが映像ストリーム中の最
後のフレームであるか否かを判定する(S401a)。
基準フレームが映像ストリーム中の最後のフレームであ
ると判定した場合、構造解析ソフト207は図4に示す
構造解析処理を終了する。After displaying the reference frame, the structure analysis software 207 determines whether this reference frame is the last frame in the video stream (S401a).
When it is determined that the reference frame is the last frame in the video stream, the structure analysis software 207 ends the structure analysis process shown in FIG.
【0052】一方、基準フレームが映像ストリーム中の
最後のフレームでないと判定した場合、設定した基準フ
レームから第1の間隔分(30フレーム分)進めた位置
にフレームが存在するか否かを判定する(S402)。
第1の間隔分(30フレーム分)進めた位置にフレーム
が存在しない場合、構造解析ソフト207は、映像スト
リーム中の最後のフレームを基準フレームと比較する第
1の選択フレームとして設定し(S415)、ステップ
S404に進む。On the other hand, when it is determined that the reference frame is not the last frame in the video stream, it is determined whether or not there is a frame at the position advanced by the first interval (30 frames) from the set reference frame. (S402).
When there is no frame at the position advanced by the first interval (30 frames), the structural analysis software 207 sets the last frame in the video stream as the first selected frame to be compared with the reference frame (S415). , And proceeds to step S404.
【0053】また、第1の間隔分進めた位置にフレーム
が存在する場合、構造解析ソフト207は、該当するフ
レームを基準フレームと比較する第1の選択フレームと
して設定し、図5に示すように、その画像を選択フレー
ム表示部302bに表示すると共に、バー305に映像
ストリーム中の該当する位置を示すフレーム位置表示ラ
イン305aを表示する(S403)。When a frame exists at the position advanced by the first interval, the structural analysis software 207 sets the corresponding frame as the first selected frame for comparison with the reference frame, and as shown in FIG. The image is displayed on the selected frame display unit 302b, and the frame position display line 305a indicating the corresponding position in the video stream is displayed on the bar 305 (S403).
【0054】続いて、構造解析ソフト207は、図5に
示した基準フレームおよび第1の選択フレームの画像を
比較し(S404)、基準フレームおよび第1の選択フ
レームの画像の特徴量の差が所定の閾値以上であるか否
かを判定する(S405)。Subsequently, the structural analysis software 207 compares the images of the reference frame and the first selected frame shown in FIG. 5 (S404), and the difference in the feature amount between the images of the reference frame and the first selected frame is determined. It is determined whether or not it is equal to or more than a predetermined threshold value (S405).
【0055】ステップS405において基準フレームお
よび第1の選択フレームの画像の特徴量の差が所定の閾
値以上ではないと判定した場合、構造解析ソフト207
は、図5に示すように、基準フレームに該当するグラフ
表示部304の領域に、第1の選択フレームと比較して
得た特徴量の差を折れ線グラフで記録する(S40
6)。ただし、ここではノーマル処理モードであるた
め、記録されたグラフは直線となる。When it is determined in step S405 that the difference between the feature amounts of the images of the reference frame and the first selected frame is not equal to or larger than the predetermined threshold value, the structural analysis software 207
As shown in FIG. 5, in the area of the graph display unit 304 corresponding to the reference frame, the difference in the characteristic amount obtained by comparison with the first selected frame is recorded as a line graph (S40).
6). However, since the normal processing mode is used here, the recorded graph is a straight line.
【0056】その後、構造解析ソフト207は、ステッ
プS401に戻り、基準フレーム表示部302aに表示
されている基準フレームの画像を左隣のフレーム表示部
303aに表示した後、選択フレーム表示部302bに
表示されている第1の選択フレームを基準フレームとし
て設定し、図6に示すように基準フレーム表示部302
aに表示する(S401)。なお、構造解析ソフト20
7は、基準フレーム表示部302aに表示されていた基
準フレームの画像をフレーム表示部303aに表示する
処理に併せ、対応するグラフ表示部304の領域も左に
シフトさせる。After that, the structural analysis software 207 returns to step S401, displays the image of the reference frame displayed on the reference frame display section 302a on the frame display section 303a on the left side, and then displays it on the selected frame display section 302b. The selected first selected frame is set as a reference frame, and as shown in FIG.
It is displayed on a (S401). Structural analysis software 20
7 shifts the corresponding area of the graph display unit 304 to the left, in addition to the process of displaying the image of the reference frame displayed on the reference frame display unit 302a on the frame display unit 303a.
【0057】そして、構造解析ソフト207は、設定し
た基準フレームが映像ストリーム中の最後のフレームで
あるか否かを判定する(S401a)。基準フレームが
映像ストリーム中の最後のフレームであると判定した場
合、構造解析ソフト207は図4に示す構造解析処理を
終了し、基準フレームが映像ストリーム中の最後のフレ
ームでないと判定した場合、設定した基準フレームから
第1の間隔分(30フレーム分)進めた位置にフレーム
が存在するか否かを判定する(S402)。第1の間隔
分(30フレーム分)進めた位置にフレームが存在しな
い場合、構造解析ソフト207は、映像ストリーム中の
最後のフレームを基準フレームと比較する第1の選択フ
レームとして設定し(S415)、ステップS404に
進む。Then, the structure analysis software 207 determines whether or not the set reference frame is the last frame in the video stream (S401a). When it is determined that the reference frame is the last frame in the video stream, the structure analysis software 207 ends the structure analysis processing shown in FIG. 4, and when it is determined that the reference frame is not the last frame in the video stream, the setting is performed. It is determined whether or not there is a frame at the position advanced by the first interval (30 frames) from the reference frame (S402). When there is no frame at the position advanced by the first interval (30 frames), the structural analysis software 207 sets the last frame in the video stream as the first selected frame to be compared with the reference frame (S415). , And proceeds to step S404.
【0058】一方、第1の間隔分進めた位置にフレーム
が存在する場合、構造解析ソフト207は、該当するフ
レームを基準フレームと比較する第1の選択フレームと
して設定し、図6に示すように、その画像を選択フレー
ム表示部302bに表示すると共に、バー305に映像
ストリーム中の該当する位置を示すフレーム位置表示ラ
イン305aを表示する(S403)。On the other hand, when the frame exists at the position advanced by the first interval, the structural analysis software 207 sets the corresponding frame as the first selected frame for comparison with the reference frame, and as shown in FIG. The image is displayed on the selected frame display unit 302b, and the frame position display line 305a indicating the corresponding position in the video stream is displayed on the bar 305 (S403).
【0059】なお、ステップS405で特徴量の差が閾
値以上でないと判定した場合に、ステップS401に戻
って第1の選択フレームを基準フレームとする処理を行
うことにしたが、特徴量の差が閾値以上でない限り、必
ずしも基準フレームを変更する必要はない。すなわち、
基準フレームおよび第1の選択フレームの画像の特徴量
の差が閾値以上でないということは、比較した2つのフ
レームの画像はほぼ等しいといえ、つぎのフレームと比
較する際にいずれを用いても同様な比較処理を行うこと
ができるからである。If it is determined in step S405 that the difference between the feature amounts is not equal to or larger than the threshold value, the process returns to step S401 and the process using the first selected frame as the reference frame is performed. The reference frame does not necessarily have to be changed unless it is equal to or larger than the threshold value. That is,
The fact that the difference between the feature amounts of the images of the reference frame and the first selected frame is not greater than or equal to the threshold means that the images of the two frames that have been compared are almost the same, and the same applies regardless of which one is used when comparing with the next frame. This is because it is possible to perform various comparison processes.
【0060】ただし、ここで基準フレームを変更する場
合と変更しない場合とにより、異なる構造解析を行うこ
とが可能となる。基準フレームを変更する場合において
は、ほぼ隣接するフレーム間で比較処理が行われるた
め、フレーム間の特徴量の差が大きく異なる場合にの
み、分割点が設定されるという特徴がある。一方、前述
した場合に基準フレームを変更しない場合、離れた位置
のフレーム同士の特徴量の差を見ることになるため、フ
レーム間の特徴の差分が蓄積され、基準フレームを変更
する場合に比べて分割点の数が多くなる可能性が高いと
いう特徴がある。However, different structural analyzes can be performed depending on whether the reference frame is changed or not. When the reference frame is changed, the comparison processing is performed between almost adjacent frames, so that the division point is set only when the difference in the feature amount between the frames is significantly different. On the other hand, if the reference frame is not changed in the above-mentioned case, the difference in the feature amount between the frames at the distant positions is to be seen, so the difference in the feature between the frames is accumulated, and compared to the case of changing the reference frame. The feature is that the number of division points is likely to increase.
【0061】再び構造解析処理の説明に戻り、基準フレ
ームおよび第1の選択フレームの画像の特徴量の差が閾
値以上と判定されることなく、図7に示す状態まで映像
ストリームの構造解析処理が進んだものとする。図7
は、基準フレームとしてIDが931のフレームが表示
されており、基準フレームと比較する第1の選択フレー
ムとしてIDが961のフレームが表示されている。Returning to the explanation of the structure analysis process again, the structure analysis process of the video stream can be performed up to the state shown in FIG. 7 without determining that the difference between the feature amounts of the images of the reference frame and the first selected frame is greater than or equal to the threshold value. It is assumed to have advanced. Figure 7
Shows a frame having an ID of 931 as a reference frame, and a frame having an ID of 961 as a first selection frame to be compared with the reference frame.
【0062】構造解析ソフト207は、図4のステップ
S404において2つのフレームを比較し、ステップS
405で2つのフレームの特徴量の差が所定の閾値以上
であると判定したものとする。すなわち、図7に示すよ
うに、基準フレームは「花」の画像であるが、第1の選
択フレームは「レポーター」の画像であり、これら2つ
の画像は大きく異なっていることがわかる。The structural analysis software 207 compares the two frames in step S404 of FIG.
It is assumed that it is determined in 405 that the difference between the feature amounts of the two frames is equal to or larger than a predetermined threshold value. That is, as shown in FIG. 7, it can be seen that the reference frame is the “flower” image, but the first selected frame is the “reporter” image, and these two images are significantly different.
【0063】続いて、構造解析ソフト207は、選択フ
レーム表示部302bに表示されている第1の選択フレ
ームの位置を記憶し(S407)、比較した2つのフレ
ームの間に位置するいずれのフレームの画像の特徴量が
基準フレームの画像の特徴量と大きく異なるかをチェッ
クする詳細比較モード処理を実行する。換言すれば、構
造解析ソフト207は、詳細比較モード処理を実行する
ことにより、図7に示す第1の選択フレームのようなフ
レームが最初に登場する場所を探し出し、映像ストリー
ムを分割することが可能な分割点を特定する。Subsequently, the structural analysis software 207 stores the position of the first selected frame displayed on the selected frame display section 302b (S407), and determines which frame located between the two compared frames. A detailed comparison mode process is executed to check whether the image feature amount is significantly different from the reference frame image feature amount. In other words, the structural analysis software 207 can perform a detailed comparison mode process to find a place where a frame such as the first selected frame shown in FIG. 7 first appears, and divide the video stream. Specify the correct division point.
【0064】構造解析ソフト207は、位置を記憶した
第1の選択フレーム(ID:961)より前であって、
基準フレーム(ID:931)以降のフレームを第1の
間隔より細かい第2の間隔(1フレーム)で選択し、選
択したフレームを基準フレームと比較する第2の選択フ
レームとして設定し、選択フレーム表示部302bに表
示すると共に、バー305に映像ストリーム中の該当す
る位置を示すフレーム位置表示ライン305aを表示す
る(S408)。構造解析ソフト207は、基準フレー
ム以降に位置するフレームを順次第2の選択フレームと
して選択し、選択した第2の選択フレームおよび基準フ
レームを比較する。The structural analysis software 207 is before the first selection frame (ID: 961) in which the position is stored,
Frames after the reference frame (ID: 931) are selected at a second interval (1 frame) smaller than the first interval, the selected frame is set as a second selected frame to be compared with the reference frame, and the selected frame is displayed. The frame position display line 305a indicating the corresponding position in the video stream is displayed on the bar 305 while being displayed on the section 302b (S408). The structural analysis software 207 sequentially selects the frames located after the reference frame as the second selected frame, and compares the selected second selected frame and the reference frame.
【0065】そして、構造解析ソフト207は、基準フ
レームおよび第2の選択フレームの画像を比較し(S4
09)、基準フレームおよび第2の選択フレームの画像
の特徴量の差が所定の閾値以上であるか否かを判定する
(S410)。Then, the structural analysis software 207 compares the images of the reference frame and the second selected frame (S4
09), it is determined whether the difference between the feature amounts of the images of the reference frame and the second selected frame is equal to or more than a predetermined threshold value (S410).
【0066】ステップS410において基準フレームお
よび第2の選択フレームの画像の特徴量の差が所定の閾
値以上ではないと判定した場合、構造解析ソフト207
は、基準フレームおよびステップS407で位置を記憶
した第1の選択フレームの間のフレームを全て処理した
か否かを判定する(S412)。つまり、構造解析ソフ
ト207は、基準フレームおよび第1の選択フレームの
間のフレームであって、第2の間隔に該当するフレーム
の全てについて基準フレームと比較する処理が終了した
か否かを判定する。When it is determined in step S410 that the difference between the feature amounts of the images of the reference frame and the second selected frame is not equal to or larger than the predetermined threshold value, the structural analysis software 207
Determines whether all the frames between the reference frame and the first selected frame whose position has been stored in step S407 have been processed (S412). That is, the structural analysis software 207 determines whether or not the process of comparing the reference frame with all the frames between the reference frame and the first selected frame and corresponding to the second interval has been completed. .
【0067】ステップS412において基準フレームお
よび第1の選択フレームの間のフレームを全て処理して
いないと判定した場合、基準フレームに該当するグラフ
表示部304の領域に、第2の選択フレームと比較して
得た特徴量の差を折れ線グラフで記録する(S41
3)。When it is determined in step S412 that all the frames between the reference frame and the first selected frame are not processed, the area of the graph display unit 304 corresponding to the reference frame is compared with the second selected frame. The difference between the obtained feature quantities is recorded as a line graph (S41).
3).
【0068】そして、構造解析ソフト207はステップ
S408に戻り、第2の間隔でフレームを選択して第2
の選択フレームとして設定し、選択フレーム表示部30
2bに表示すると共に、バー305に映像ストリーム中
の該当する位置を示すフレーム位置表示ライン305a
を表示する。Then, the structural analysis software 207 returns to step S408, selects frames at the second interval, and then selects the second frame.
Set as the selected frame of the
2b and a frame position display line 305a indicating the corresponding position in the video stream on the bar 305.
Is displayed.
【0069】図8は、前述したステップS408〜ステ
ップS413の処理を複数回行った後において、構造解
析過程表示ウインドウ301に表示された解析過程の一
例を示す説明図である。ノーマル比較モードの場合にお
いては、基準フレームおよび第1の選択フレームの比較
が行われるのみであるため、その際の基準フレームに対
応するグラフ表示部304の領域に表示される折れ線グ
ラフは直線となる(図8中の左側の3つのフレームに対
応するグラフを参照)。一方、詳細比較モードの場合、
基準フレームと複数の第2の選択フレームとの比較処理
が行われるため、図8に示すように、基準フレームに対
応するグラフ表示部304の領域には、比較処理を行っ
た第2の選択フレームの数に応じた点がプロットされ、
複数点からなる折れ線グラフが表示されることになる。
すなわち、基準フレーム(ID:931)と複数の第2
の選択フレーム(ID:932〜938)が順次比較さ
れた結果に基づいて、基準フレームの画像とそれらの選
択フレームの画像との特徴量の差がプロットされ、折れ
線グラフとして基準フレームに該当するグラフ表示部3
04の領域に表示される。FIG. 8 is an explanatory diagram showing an example of the analysis process displayed in the structural analysis process display window 301 after the above-described steps S408 to S413 have been performed a plurality of times. In the case of the normal comparison mode, since the reference frame and the first selected frame are only compared, the line graph displayed in the area of the graph display unit 304 corresponding to the reference frame at that time is a straight line. (See the graph corresponding to the three frames on the left side in FIG. 8). On the other hand, in the detailed comparison mode,
Since the comparison process of the reference frame and the plurality of second selected frames is performed, the area of the graph display unit 304 corresponding to the reference frame has the second selected frame subjected to the comparison process as shown in FIG. Points are plotted according to the number of
A line graph consisting of multiple points will be displayed.
That is, the reference frame (ID: 931) and a plurality of second frames
Based on the result of sequentially comparing the selected frames (ID: 932 to 938), the difference in the feature amount between the images of the reference frames and the images of the selected frames is plotted, and the graph corresponding to the reference frame is a line graph. Display 3
It is displayed in the area 04.
【0070】図9は、図4のステップS408〜ステッ
プS413の処理がさらに繰り返された後において、構
造解析過程表示ウインドウ301に表示された解析過程
の一例を示す説明図である。さらに複数の第2の選択フ
レームとの比較処理が行われた結果、基準フレームに対
応するグラフ表示部304の領域には、図8に示したも
のと比べて多くの点からなる折れ線グラフが表示されて
いる。図8および図9に示すように、基準フレームに対
応するグラフ表示部304の領域には、基準フレームお
よび第1の選択フレームの間に位置するフレームから選
択された第2の選択フレームと基準フレームとの比較結
果が全て表示されることになる。すなわち、構造解析ソ
フト307は、第2の選択フレームとの比較処理の回数
に応じて、基準フレームに対応するグラフ表示部304
の領域に表示する折れ線グラフの点同士の間隔を調整し
つつ、折れ線グラフの表示処理を行う。FIG. 9 is an explanatory diagram showing an example of the analysis process displayed in the structural analysis process display window 301 after the processes of steps S408 to S413 of FIG. 4 are further repeated. As a result of the comparison process with the plurality of second selected frames, a line graph having more points than that shown in FIG. 8 is displayed in the area of the graph display unit 304 corresponding to the reference frame. Has been done. As shown in FIGS. 8 and 9, in the region of the graph display unit 304 corresponding to the reference frame, the second selection frame and the reference frame selected from the frames located between the reference frame and the first selection frame. All comparison results with will be displayed. That is, the structural analysis software 307 causes the graph display unit 304 corresponding to the reference frame to correspond to the number of times of comparison processing with the second selected frame.
The display processing of the line graph is performed while adjusting the interval between the points of the line graph displayed in the area.
【0071】再び図4のステップS408に戻り、第2
の選択フレームとして図10に示すフレーム(ID:9
51)が選択されたものとする。図10において、基準
フレームは「花」の画像であり、第2の選択フレームは
「レポーター」の画像を示している。構造解析ソフト2
07は、基準フレームおよび第2の選択フレームの画像
を比較し(S409)、基準フレームおよび第2の選択
フレームの画像の特徴量の差が所定の閾値以上であるか
否かを判定する(S410)。Returning again to step S408 in FIG. 4, the second
10 as the selection frame of the frame (ID: 9
51) is selected. In FIG. 10, the reference frame is the “flower” image, and the second selection frame is the “reporter” image. Structural analysis software 2
07 compares the images of the reference frame and the second selected frame (S409), and determines whether the difference between the feature amounts of the images of the reference frame and the second selected frame is equal to or more than a predetermined threshold value (S410). ).
【0072】ステップS410において基準フレームお
よび第2の選択フレームの画像の特徴量の差が所定の閾
値以上であると判定した場合、構造解析ソフト207
は、第2の選択フレームの位置を映像ストリームの分割
点として記憶し(S411)、基準フレームの画像およ
び第2の選択フレームの画像の特徴量の差をグラフに記
録する(S406)。When it is determined in step S410 that the difference between the feature amounts of the images of the reference frame and the second selected frame is greater than or equal to a predetermined threshold value, the structural analysis software 207.
Stores the position of the second selected frame as a division point of the video stream (S411) and records the difference between the feature amounts of the image of the reference frame and the image of the second selected frame in the graph (S406).
【0073】その後、構造解析ソフト207は、ステッ
プS401に戻り、再びノーマル比較モードによる構造
解析処理を実行する。すなわち、ステップS411で位
置を記憶した第2の選択フレームを基準フレームとして
設定し、設定した基準フレームが映像ストリーム中の最
後のフレームでない場合(S401a)、設定した基準
フレームから第1の間隔分(30フレーム分)進めた位
置にフレームが存在するか否かを判定する(S40
2)。第1の間隔分進めた位置にフレームが存在する場
合、構造解析ソフト207は、該当するフレームを基準
フレームと比較する第1の選択フレームとして設定し
(S403)、第1の間隔分進めた位置にフレームが存
在しない場合、構造解析ソフト207は、最後のフレー
ムを第1の選択フレームとして設定する(S415)。After that, the structure analysis software 207 returns to step S401 to execute the structure analysis process in the normal comparison mode again. That is, when the second selected frame whose position is stored in step S411 is set as the reference frame and the set reference frame is not the last frame in the video stream (S401a), the first interval ( It is determined whether or not there is a frame at the advanced position (for 30 frames) (S40).
2). When there is a frame at the position advanced by the first interval, the structural analysis software 207 sets the corresponding frame as the first selected frame for comparison with the reference frame (S403), and the position advanced by the first interval. If the frame does not exist, the structural analysis software 207 sets the last frame as the first selected frame (S415).
【0074】図11は、ステップS411を経由してス
テップS403(またはステップS415)まで進んだ
後において、構造解析過程表示ウインドウ301に表示
されている解析過程の一例を示す説明図である。構造解
析ソフト207は、ステップS406においてステップ
S411で位置を記憶した第2の選択フレームおよび代
表フレームの画像の特徴量の差をグラフに記録すると共
に、映像ストリームを分割可能な分割点であることを示
す分割線304bをグラフ表示部304中に表示する。
また、構造解析ソフト207は、映像ストリーム全体の
どの位置に分割点が位置しているかを明らかにするた
め、ステップS411で記憶したフレームに該当するバ
ー305中の位置に分割フレーム位置表示ライン305
bを表示する。FIG. 11 is an explanatory diagram showing an example of the analysis process displayed in the structural analysis process display window 301 after proceeding to step S403 (or step S415) via step S411. In step S406, the structural analysis software 207 records in the graph the difference between the feature amounts of the images of the second selected frame and the representative frame whose positions are stored in step S411, and determines that the video stream is a division point that can be divided. The dividing line 304b shown is displayed in the graph display unit 304.
In addition, the structure analysis software 207 identifies the position where the division point is located in the entire video stream, in order to clarify the position where the division point is located, the division frame position display line 305 is located at the position in the bar 305 corresponding to the frame stored in step S411.
Display b.
【0075】なお、図4のステップS412において基
準フレームおよび第1の選択フレームとの間のフレーム
を全て処理したと判定した場合、構造解析ソフト207
は、ステップS407において位置を記憶した第1の選
択フレームを映像ストリームの分割点として記憶し(S
414)、基準フレームの画像および第1の選択フレー
ムの画像の特徴量の差をグラフに記録した後(S40
6)、ステップS401に戻る。第1の選択フレームか
第2の選択フレームであるかという違いがあるものの、
この場合においても図11を用いて説明した処理と同様
の処理が行われる。If it is determined in step S412 in FIG. 4 that all the frames between the reference frame and the first selected frame have been processed, the structural analysis software 207
Stores the first selected frame whose position is stored in step S407 as a division point of the video stream (S
414), after recording the difference between the feature amounts of the image of the reference frame and the image of the first selected frame in the graph (S40).
6) and returns to step S401. Although there is a difference between the first selection frame and the second selection frame,
Also in this case, the same processing as the processing described using FIG. 11 is performed.
【0076】図12は、図4のステップS401aにお
いて、ステップS401で設定した基準フレームが最後
のフレームであると判定され、構造解析処理が終了した
場合に、構造解析過程表示ウインドウ301に表示され
ている解析過程の一例を示す説明図である。図12にお
いて注目すべき点はバー305である。バー305に
は、比較処理に用いられた全てのフレームの位置に合わ
せてフレーム位置表示ライン305aが表示されている
ため、ユーザはバー305から解析処理の進度および解
析処理が終了したことを理解することができる。また、
バー305中に分割フレーム位置表示ライン305bが
表示されるため、ユーザは構造解析処理が行われた映像
ストリームのどの辺りに分割点が位置するのかを容易に
理解することができる。さらに、分割フレーム位置表示
ライン305bの間に位置するフレームについて、ユー
ザは特徴量の差が少ない連続するフレームの集合と認識
することができる。構造解析ソフト207は、映像スト
リームの中からこの特徴量の差が少ない連続するフレー
ムの集合を抽出し、映像フレームを任意の連続するフレ
ーム単位に分割可能にするものである。In FIG. 12, in step S401a of FIG. 4, when it is determined that the reference frame set in step S401 is the last frame and the structural analysis processing is completed, the structural analysis process display window 301 displays the frame. It is explanatory drawing which shows an example of the analysis process which exists. In FIG. 12, the point to be noted is the bar 305. Since the frame position display line 305a is displayed on the bar 305 in accordance with the positions of all the frames used for the comparison process, the user understands from the bar 305 that the analysis process progresses and that the analysis process has ended. be able to. Also,
Since the divided frame position display line 305b is displayed in the bar 305, the user can easily understand where the divided point is located in the video stream on which the structure analysis processing has been performed. Further, the frame located between the divided frame position display lines 305b can be recognized by the user as a set of continuous frames having a small difference in feature amount. The structural analysis software 207 extracts a set of continuous frames having a small difference in feature amount from the video stream, and allows the video frame to be divided into arbitrary continuous frame units.
【0077】また、構造解析ソフト207は、図4のフ
ローチャートを用いて説明した解析処理の過程を全て記
録している。ユーザは、解析処理の終了後、開始ボタン
310をクリックすることにより、解析処理の過程を何
度でも再現することができる。この際、ユーザは、再現
速度調整部308で再現速度を調整することにより、好
みの速度で解析処理の過程を再現することができる。Further, the structural analysis software 207 records all the steps of the analysis processing described using the flowchart of FIG. The user can reproduce the process of the analysis process any number of times by clicking the start button 310 after the end of the analysis process. At this time, the user can reproduce the analysis process at a desired speed by adjusting the reproduction speed with the reproduction speed adjusting unit 308.
【0078】ここで、解析処理の過程を記録しておき、
解析処理の過程を再現可能にすることによって以下のよ
うな効果が得られる。つまり、実際に解析処理を行うわ
けではなく、記録しておいた解析処理の過程を再現する
ため、解析に要する時間を省くことができ、上述したよ
うに好みの速度で解析処理の過程を再現することができ
る。Here, the process of analysis processing is recorded,
By making the process of analysis processing reproducible, the following effects can be obtained. In other words, the analysis process is not actually performed, but the recorded process of the analysis process is reproduced, so the time required for the analysis can be saved and the process of the analysis process can be reproduced at the desired speed as described above. can do.
【0079】また、構造解析ソフト207によって決定
された映像ストリームの分割点は、各フレームの画像の
特徴量という物理的な観点に基づいて決定されるもので
ある。したがって、例えば、背景がめまぐるしく変化す
る映像情報にあっては、変化する背景に応じて多くの分
割点が設定されることが予想される。換言すれば、この
分割点は、実際に必要とされる意味のある任意の連続す
るフレーム単位に映像ストリームを分割するための論理
的な分割点を示しているとは限らない。そのため、解析
処理の過程を再現することにより、ユーザが意図する分
割点が得られているかをチェックすることができるた
め、分割点の修正や変更を簡単に行うことができる。特
に、分割点の前後に当たる2つのフレームが構造解析過
程表示ウインドウ301中の比較フレーム表示部302
に表示されると共に、特徴量の差がグラフ表示部304
に折れ線グラフで表示されるため、どのような解析処理
がなされて分割点が決定されたかを容易に理解すること
ができ、分割点の修正や変更を簡単に行うことができ
る。The division points of the video stream determined by the structure analysis software 207 are determined based on the physical viewpoint of the feature amount of the image of each frame. Therefore, for example, in video information in which the background changes rapidly, it is expected that many division points are set according to the changing background. In other words, this division point does not always indicate a logical division point for dividing the video stream into arbitrary meaningful continuous frame units actually needed. Therefore, by reproducing the process of the analysis process, it is possible to check whether or not the dividing point intended by the user is obtained, and thus the dividing point can be easily corrected or changed. In particular, two frames corresponding to the front and rear of the division point are compared frame display section 302 in structural analysis process display window 301.
Is displayed on the graph display unit 304.
Since it is displayed as a line graph, it is possible to easily understand what kind of analysis processing has been performed to determine the dividing points, and it is possible to easily correct or change the dividing points.
【0080】なお、実際に映像ストリームの構造を解析
する処理の実行中にあっても、比較される2つのフレー
ムが構造解析過程表示ウインドウ301中の比較フレー
ム表示部302に表示されると共に、特徴量の差がグラ
フ表示部304に折れ線グラフで表示されるため、どの
ような解析処理がなされているかを容易に把握すること
ができ、解析中にあっても一旦処理を中断し、分割点の
修正や変更を簡単に行うことができる。It should be noted that even while the process of actually analyzing the structure of the video stream is being executed, the two frames to be compared are displayed in the comparison frame display section 302 in the structure analysis process display window 301, and Since the difference in amount is displayed as a line graph on the graph display unit 304, it is possible to easily understand what kind of analysis processing is being performed. It is easy to make corrections and changes.
【0081】(3)映像インデックス情報
つぎに、前述した構造解析ソフト207による映像スト
リームの構造解析結果に基づいて生成される映像インデ
ックス情報について説明する。映像インデックス情報
は、映像情報を構造化して管理すると共に、映像情報の
内部の論理構造を表現するために用いられるものであ
る。映像インデックス情報は、構造解析ソフト207に
よる解析結果に基づいて、任意のタイミングで図2に示
したインデックス生成ソフト208によって生成される
ものとする。以下では、映像インデックス情報につい
て、
映像インデックス情報のデータ構造
映像インデックス情報の生成方法
の順で説明する。(3) Video Index Information Next, the video index information generated based on the structure analysis result of the video stream by the structure analysis software 207 described above will be described. The video index information is used to structure and manage the video information and to express the internal logical structure of the video information. The video index information is generated by the index generation software 208 shown in FIG. 2 at an arbitrary timing based on the analysis result of the structure analysis software 207. The video index information will be described below in order of the data structure of the video index information and the method of generating the video index information.
【0082】 映像インデックス情報のデータ構造
図13は、映像インデックス情報のデータ構造を示す説
明図である。映像インデックス情報500は、図13に
示すように、複数の構造要素オブジェクトを階層化した
構造を有しており、この映像インデックス情報500そ
のものを一つのデータ・ファイル(インデックス・ファ
イル)として取り扱うことができる。したがって、映像
インデックス情報500は、映像情報と一体で保存する
ことも可能であり、また映像情報と分離して保存するこ
とも可能である。Data Structure of Video Index Information FIG. 13 is an explanatory diagram showing the data structure of the video index information. As shown in FIG. 13, the video index information 500 has a hierarchical structure of a plurality of structural element objects, and the video index information 500 itself can be handled as one data file (index file). it can. Therefore, the video index information 500 can be stored together with the video information, or can be stored separately from the video information.
【0083】映像インデックス情報500の構造要素オ
ブジェクトは、ツリー情報501と、フレーム情報50
2(502A〜502F)と、サウンド情報503(5
03A〜503F)と、セグメント情報504(504
A〜504F)と、パッケージ情報505(505A〜
505C)と、から構成される。The structural element objects of the video index information 500 are tree information 501 and frame information 50.
2 (502A to 502F) and sound information 503 (5
03A-503F) and segment information 504 (504
A-504F) and package information 505 (505A-
505C).
【0084】ツリー情報501は、1つの映像インデッ
クス情報500のツリー構造の最上位に設定される情報
であり、1つの映像情報に関する全ての構造要素オブジ
ェクトがこの下位の層に配置されている。換言すれば、
1つの映像インデックス情報500の入口を宣言する情
報である。また、このツリー情報501の下位には、映
像情報(音声および動画)全体を表す1つのパッケージ
情報505Aが配置されており、このパッケージ情報5
05Aの下には、前述した映像ストリームの構造解析処
理によって構造が解析された映像情報全体を表す1つの
セグメント情報504Aが配置されている。The tree information 501 is information set at the top of the tree structure of one video index information 500, and all the structural element objects related to one video information are arranged in the lower layer. In other words,
This is information that declares the entrance of one video index information 500. Further, below this tree information 501, one package information 505A representing the entire video information (audio and video) is arranged.
Below the 05A, one piece of segment information 504A representing the entire video information whose structure has been analyzed by the above-described video stream structure analysis processing is arranged.
【0085】フレーム情報502は、映像情報中の任意
の連続するフレーム(例えば、構造解析ソフト207に
よって映像ストリームから抽出された特徴量の差が少な
い連続するフレームの集合)を1単位の情報として管理
するための情報であり、ツリー構造中のノードID、そ
のフレーム情報で管理する連続するフレームの範囲、お
よび映像情報における位置を示すポインタを有してい
る。The frame information 502 manages an arbitrary continuous frame in the video information (for example, a set of continuous frames extracted from the video stream by the structural analysis software 207 and having a small difference in feature amount) as one unit of information. It is information for doing so, and has a node ID in the tree structure, a range of consecutive frames managed by the frame information, and a pointer indicating a position in the video information.
【0086】サウンド情報503は、映像情報中の任意
の範囲に対応した音声を1単位の情報として管理するた
めの情報であり、ツリー構造中のノードID、そのサウ
ンド情報で管理する任意の範囲、および映像情報におけ
る位置を示すポインタを有している。なお、前述した映
像ストリームの構造解析処理において音声については触
れなかったが、この音声は映像情報に付随しているもの
である。The sound information 503 is information for managing the sound corresponding to an arbitrary range in the video information as one unit of information, and is a node ID in the tree structure, an arbitrary range managed by the sound information, And a pointer indicating the position in the video information. Although the audio has not been mentioned in the above-described video stream structure analysis processing, the audio is incidental to the video information.
【0087】セグメント情報504は、1単位の情報で
あるフレーム情報502およびサウンド情報503を分
類して、所望の意味のある集合として管理するための情
報であると共に、そのセグメント情報504が管理する
フレーム情報502およびサウンド情報503と同一の
範囲のフレームおよび音声を用いて生成された他のセグ
メント情報504を複数まとめて管理するためのパッケ
ージ情報505を管理するための情報である。なお、セ
グメント情報504は、ツリー構造中のノードID、そ
のセグメント情報504で管理するフレーム情報・サウ
ンド情報・パッケージ情報を特定するための特定情報、
および、そのセグメント情報504が属する上位のパッ
ケージ情報505へのポインタを有している。The segment information 504 is information for classifying the frame information 502 and the sound information 503, which are one unit of information, and managing them as a desired meaningful set, and also the frame managed by the segment information 504. This is information for managing package information 505 for collectively managing a plurality of other segment information 504 generated using frames and voices in the same range as the information 502 and the sound information 503. The segment information 504 is a node ID in the tree structure, specific information for specifying frame information / sound information / package information managed by the segment information 504,
It also has a pointer to upper package information 505 to which the segment information 504 belongs.
【0088】図13において、セグメント情報504A
は、フレーム情報502A、サウンド情報503Aおよ
びパッケージ情報505Bを管理するための情報であ
り、セグメント情報504AのノードIDと、フレーム
情報502A・サウンド情報503A・パッケージ情報
505Bを特定するための特定情報と、そのセグメント
情報504Aが属する上位のパッケージ情報505Aへ
のポインタとを有している。In FIG. 13, segment information 504A
Is information for managing the frame information 502A, the sound information 503A, and the package information 505B, the node ID of the segment information 504A, and specific information for specifying the frame information 502A, the sound information 503A, and the package information 505B. It has a pointer to upper package information 505A to which the segment information 504A belongs.
【0089】パッケージ情報505は、セグメント情報
504を複数まとめて管理するための情報であり、ツリ
ー構造中のノードID、そのパッケージ情報505で管
理するセグメント情報504のリスト、および、そのパ
ッケージ情報505が属する上位のセグメント情報50
4へのポインタを有している。The package information 505 is information for collectively managing a plurality of segment information 504 and includes a node ID in the tree structure, a list of the segment information 504 managed by the package information 505, and the package information 505. Upper segment information 50 to which it belongs
It has a pointer to 4.
【0090】例えば、図13において、パッケージ情報
505Bは、3つのセグメント情報504B〜504D
をまとめて管理するための情報であり、ツリー構造中の
ノードID、そのパッケージ情報505Bで管理するセ
グメント情報504B〜504Cのリスト、および、そ
のパッケージ情報505Bが属する上位のセグメント情
報504Aへのポインタを有している。For example, in FIG. 13, the package information 505B is the three pieces of segment information 504B to 504D.
Information for collectively managing a node ID in the tree structure, a list of segment information 504B to 504C managed by the package information 505B, and a pointer to a higher-order segment information 504A to which the package information 505B belongs. Have
【0091】なお、上記の如く、映像インデックス情報
500は、各構造要素オブジェクトからなるツリー構造
において、1つのセグメント情報504の下位に、フレ
ーム情報502およびサウンド情報503に加えてパッ
ケージ情報505を配置することができる。As described above, in the video index information 500, package information 505 is arranged in addition to frame information 502 and sound information 503 under one segment information 504 in a tree structure composed of each structural element object. be able to.
【0092】さらに映像インデックス情報500は、ツ
リー構造中に任意の属性オブジェクトを配置することが
可能であり、この属性オブジェクトを用いて、上記構造
要素オブジェクトに対応させて必要なデータを保持する
ことができる。なお、この属性オブジェクトとして、各
構造要素オブジェクトが直接または間接的に管理するフ
レームまたは/音声の内容を検索するための検索情報を
設定することにより、映像インデックス情報によって構
造化された映像情報の詳細な検索を容易に行うことが可
能となる。Further, in the video index information 500, an arbitrary attribute object can be arranged in the tree structure, and this attribute object can be used to hold necessary data in association with the structural element object. it can. Details of the video information structured by the video index information are set as the attribute object by setting search information for searching the content of the frame or / the audio that each structural element object directly or indirectly manages. It is possible to easily perform various searches.
【0093】 映像インデックス情報の生成処理
つぎに、前述したデータ構造を有する映像インデックス
情報500を生成する処理の一例を簡単に説明する。以
下の処理は、インデックス生成ソフト208が行う処理
として説明するが、ユーザがインデックス生成ソフト2
08を操作して行うこともできる。Processing for Generating Video Index Information Next, an example of processing for generating the video index information 500 having the above-described data structure will be briefly described. The following process will be described as a process performed by the index generation software 208.
It is also possible to operate 08.
【0094】映像インデックス情報500におけるセグ
メント情報504は、分割された映像(動画および音
声)のフレーム連続および音声連続の塊を表し、構造化
された映像の1単位の情報として定義できる。1つの長
大な映像情報も、はじめは全体をひと塊とみなすことが
できるので、1つのセグメント情報504A(図13参
照)として存在する。セグメント情報504A以外の他
のセグメント情報504は、親となるセグメント情報5
04を分割した一部分である。例えば、セグメント情報
504B〜504Dはそれぞれ親となるセグメント情報
504Aを分割した一部分であり、セグメント情報50
4E、504Fはそれぞれ親となるセグメント情報50
4Cを分割した一部分である。The segment information 504 in the video index information 500 represents a block of continuous frames and continuous audio of divided video (moving picture and audio), and can be defined as one unit of structured video. Even one piece of long video information can be regarded as one block at first, and therefore exists as one piece of segment information 504A (see FIG. 13). The segment information 504 other than the segment information 504A is the parent segment information 5
This is a part of 04. For example, the segment information 504B to 504D is a part obtained by dividing the parent segment information 504A.
4E and 504F are the segment information 50 which is the parent respectively.
It is a part obtained by dividing 4C.
【0095】また、親となるセグメント情報504(例
えば、セグメント情報504B)を複数に分割した場
合、その分割された一部分であるセグメント情報504
(ここでは、504E、504F)同士をまとめて管理
するものがパッケージ情報505であるということがで
きる。When the parent segment information 504 (eg, segment information 504B) is divided into a plurality of pieces, the segment information 504 which is a part of the division.
It can be said that the package information 505 collectively manages (here, 504E and 504F).
【0096】インデックス生成ソフト208は、構造解
析ソフト207によって特定された映像ストリームの分
割点に基づいて、前述した性質を有するセグメント情報
504やパッケージ情報等を生成していく。The index generation software 208 generates the segment information 504 and package information having the above-mentioned properties based on the division points of the video stream specified by the structure analysis software 207.
【0097】図14(a)〜図14(c)は、前述した
構造解析ソフト207を用いて映像情報を段階的に2回
分割する分割点を特定した場合において、インデックス
生成ソフト208によって生成されるセグメント情報5
04とパッケージ情報505を示す説明図である。な
お、図14の右側はインデックス生成ソフト208によ
って生成されるセグメント情報504およびパッケージ
情報505を示し、左側は構造解析ソフト207によっ
て構造解析された映像情報の状態をフレームの連続で示
したものである。ただし、この映像情報の状態は、説明
を分かりやすくするために映像インデックス情報500
中のフレーム情報502およびサウンド情報503を抽
象化(イメージ化)して表したものであり、実際に生の
映像情報(オリジナルの映像情報)の状態を示している
ものではない。FIGS. 14 (a) to 14 (c) are generated by the index generation software 208 in the case where the above-mentioned structural analysis software 207 is used to specify the division points at which the video information is divided stepwise twice. Segment information 5
It is an explanatory view showing 04 and package information 505. Note that the right side of FIG. 14 shows the segment information 504 and the package information 505 generated by the index generation software 208, and the left side shows the state of the video information structurally analyzed by the structural analysis software 207 as a series of frames. . However, the state of this video information is the video index information 500 for the sake of clarity.
The frame information 502 and the sound information 503 in the inside are represented by being abstracted (imaged), and do not actually show the state of the raw video information (original video information).
【0098】まず、図14(a)に示すように、インデ
ックス生成ソフト208は、構造解析ソフト207によ
って解析された映像情報の映像ストリーム全体に対応し
て、ツリー情報501,1つのパッケージ情報505お
よびセグメント情報504を生成する。すなわち、イン
デックス生成ソフト208は、1つの映像インデックス
情報500の入口を宣言するツリー情報501を生成
し、そのツリー情報501の下位に、映像ストリーム全
体を表す1つのパッケージ情報505Aを生成する。そ
して、このパッケージ情報505Aの下位に、映像スト
リーム全体を表す1つのセグメント情報504Aを生成
する。First, as shown in FIG. 14A, the index generation software 208 corresponds to the entire video stream of the video information analyzed by the structure analysis software 207, tree information 501, one package information 505 and The segment information 504 is generated. That is, the index generation software 208 generates tree information 501 that declares the entrance of one video index information 500, and generates one piece of package information 505A that represents the entire video stream below the tree information 501. Then, one piece of segment information 504A representing the entire video stream is generated below the package information 505A.
【0099】続いて、インデックス生成ソフト208
は、図14(a)の左側に示すように、構造解析ソフト
207によって決定された映像ストリームの分割点に従
い、映像ストリームを連続するフレームの集合に分割す
る。Next, the index generation software 208
14A divides the video stream into a set of continuous frames according to the division points of the video stream determined by the structure analysis software 207, as shown on the left side of FIG.
【0100】図14(b)の左側には、構造解析ソフト
207によって決定された分割点に基づいて映像情報の
映像ストリーム全体を3つに分割した例が示されてお
り、インデックス生成ソフト208は、これに対応し
て、セグメント情報504Aの下位に3つのセグメント
情報504B〜504Dを生成すると共に、これらの3
つのセグメント情報504B〜504Dをまとめるパッ
ケージ情報505Bを生成する。なお、インデックス生
成ソフト208は、セグメント情報504Aおよびパッ
ケージ情報505Bを関連付け、パッケージ情報505
Bがセグメント情報504Aによって管理されるように
する。On the left side of FIG. 14B, an example in which the entire video stream of video information is divided into three parts based on the division points determined by the structure analysis software 207 is shown. Correspondingly, three pieces of segment information 504B to 504D are generated under the segment information 504A, and these 3
Package information 505B that collects one piece of segment information 504B to 504D is generated. The index generation software 208 associates the segment information 504A with the package information 505B to create the package information 505.
B is managed by the segment information 504A.
【0101】また、構造解析ソフト207を用いて詳細
にまたは別の視点から映像ストリームの構造を解析する
ことにより、分割された映像情報を例えば図14(b)
の左側の矢印で示す部分でさらに分割することも可能で
ある。By analyzing the structure of the video stream in detail or from another point of view using the structure analysis software 207, the divided video information can be displayed, for example, in FIG. 14 (b).
It is also possible to further divide at the portion indicated by the arrow on the left side of.
【0102】このような構造解析処理が行われた場合、
インデックス生成ソフト208は、図14(c)の右側
に示すように、各セグメント情報504B〜504Dに
それぞれ関連付けてパッケージ情報505C〜505E
を生成し、分割したセグメント情報504Eおよび50
4Fをパッケージ情報505Cに関連付け、分割したセ
グメント情報504Gおよび504Hをパッケージ情報
505Dに関連付け、分割したセグメント情報504I
および504Jをパッケージ情報505Eに関連付け
る。When such a structure analysis process is performed,
As shown on the right side of FIG. 14C, the index generation software 208 associates with each piece of segment information 504B to 504D and package information 505C to 505E.
Segment information 504E and 50
4F is associated with the package information 505C, the divided segment information 504G and 504H is associated with the package information 505D, and the segment information 504I is divided.
And 504J are associated with the package information 505E.
【0103】このようにして生成される映像インデック
ス情報500は、下位の構成要素オブジェクトにいくほ
ど細かく構造化されたものとなる。The video index information 500 generated in this way becomes more detailedly structured in the subordinate component objects.
【0104】また、図15(a)〜図15(c)を参照
して、図14に示した映像インデックス情報500とは
異なる構造の映像インデックス情報の生成方法を簡単に
説明する。A method of generating video index information having a structure different from that of the video index information 500 shown in FIG. 14 will be briefly described with reference to FIGS. 15 (a) to 15 (c).
【0105】ここでは、同一の映像情報の映像ストリー
ムについて、構造解析ソフト207を用いて異なる視点
で構造解析処理を2回行い、図15(a)の左側に示す
ように1つの解析結果から映像ストリーム全体を3つに
分割する分割点が得られ、図15(b)の左側に示すよ
うにもう1つの解析結果から映像ストリーム全体を2つ
に分割する分割点が得られたものとする。Here, structural analysis processing is performed twice on the video streams of the same video information by using the structural analysis software 207 from different viewpoints, and as shown on the left side of FIG. It is assumed that a division point that divides the entire stream into three is obtained, and a division point that divides the entire video stream into two is obtained from another analysis result, as shown on the left side of FIG.
【0106】インデックス生成ソフト208は、図15
(a)に示すように、映像情報全体を管理するツリー情
報501,パッケージ情報505Aおよびセグメント情
報504Aを生成する。そして、分割点によって3つに
分割される映像情報を管理するための3つのセグメント
情報504B〜504Dを生成すると共に、セグメント
情報504B〜504Dを管理するパッケージ情報50
5Bを生成し、セグメント情報504Aに関連付ける。
続いて、インデックス生成ソフト208は、図14
(b)に示すように、分割点によって2つに分割される
映像情報を管理するための2つのセグメント情報504
Eおよび504Fを生成すると共に、2つのセグメント
情報504Eおよび504Fを管理するパッケージ情報
505Cを生成する。その結果、図14(c)に示すよ
うに、セグメント情報504Aの下位に2つのパッケー
ジ情報505Bおよび505Cが関連付けられた構造の
映像インデックス情報500を得ることができる。The index generation software 208 is shown in FIG.
As shown in (a), tree information 501, package information 505A, and segment information 504A that manage the entire video information are generated. Then, three pieces of segment information 504B to 504D for managing the video information divided into three by the division points are generated, and the package information 50 for managing the segment information 504B to 504D is generated.
5B is generated and associated with the segment information 504A.
Then, the index generation software 208 is executed by
As shown in (b), two segment information 504 for managing the video information divided into two by the division point.
E and 504F are generated, and package information 505C that manages two pieces of segment information 504E and 504F is generated. As a result, as shown in FIG. 14C, it is possible to obtain the video index information 500 having a structure in which the two pieces of package information 505B and 505C are associated with the lower portion of the segment information 504A.
【0107】なお、各セグメント情報504に対応する
フレーム情報502およびサウンド情報503は、図1
3に示したように、対応するセグメント情報504の下
位に保持される。また、サウンド情報503は、構造解
析ソフト207によって解析された結果に基づいてイン
デックス生成ソフト208が映像情報を構造化する際
に、映像ストリームの分割点に合わせて分割されるもの
とする。The frame information 502 and the sound information 503 corresponding to each segment information 504 are shown in FIG.
As shown in FIG. 3, it is held in the lower order of the corresponding segment information 504. In addition, the sound information 503 is divided according to the division points of the video stream when the index generation software 208 structures the video information based on the result analyzed by the structure analysis software 207.
【0108】このように、インデックス生成ソフト20
8は、構造解析ソフト207から得た解析結果に基づい
て、ツリー情報501,フレーム情報502,サウンド
情報503,セグメント情報504およびパッケージ情
報505という構造要素オブジェクトを生成して映像イ
ンデックス情報500を生成し、映像情報を構造化す
る。生成された映像インデックス情報500は、図1に
示した映像インデックス情報データベース102に保存
される。In this way, the index generation software 20
8 generates structure element objects of tree information 501, frame information 502, sound information 503, segment information 504 and package information 505 based on the analysis result obtained from the structure analysis software 207 to generate the video index information 500. , Structure video information. The generated video index information 500 is stored in the video index information database 102 shown in FIG.
【0109】(4)映像ストリームの構造表示
つぎに、インデックス生成ソフト208で生成された映
像インデックス情報500に基づいて、映像情報の映像
ストリームの構造をどのようにして表示するかについて
説明する。(4) Displaying Structure of Video Stream Next, how to display the structure of the video stream of the video information based on the video index information 500 generated by the index generation software 208 will be described.
【0110】図16は、映像インデックス情報500に
基づいて表示した映像情報の構造の画面表示例を示す説
明図である。ユーザは、図2に示した構造表示ソフト2
09を起動させ、図1に示した映像インデックス情報デ
ータベース102に保存されている映像インデックス情
報500を指定することにより、所望の映像情報がどの
ような構造を有しているかを構造表示ウインドウ601
中に表示することができる。FIG. 16 is an explanatory diagram showing a screen display example of the structure of the video information displayed based on the video index information 500. The user can use the structure display software 2 shown in FIG.
09, and by designating the video index information 500 stored in the video index information database 102 shown in FIG. 1, the structure display window 601 shows the structure of the desired video information.
Can be displayed inside.
【0111】構造表示ソフト209は、映像インデック
ス情報500中の各構造要素オブジェクトが有している
構造要素オブジェクト情報同士の関係を示す情報を参照
し、図16に示すようにツリー構造で各構造要素オブジ
ェクトを表示する。The structure display software 209 refers to the information indicating the relationship between the structure element object information held by each structure element object in the video index information 500, and as shown in FIG. Show objects.
【0112】図16は、図15に示したようにして生成
された映像インデックス情報500を画面表示したもの
であって、映像インデックス情報500によって管理さ
れる映像情報のファイル名または映像情報のタイトルを
表示するツリー情報501を上位に配置し、ツリー情報
501の下位に、パッケージ情報505Aを配置し、パ
ッケージ情報505Aの下位に、そのパッケージ情報5
04Aによって管理されているセグメント情報504A
を配置する。さらに、セグメント情報504Aの下位
に、そのセグメント情報504Aによって管理されてい
るパッケージ情報505Bおよび505Cを配置すると
共に、パッケージ情報505Bの下位に、そのパッケー
ジ情報505Bによって管理されているセグメント情報
504B〜504Iが配置され、さらに、パッケージ情
報505Cの下位に、そのパッケージ情報505Cによ
って管理されているセグメント情報504J〜504M
が配置されている。FIG. 16 is a screen display of the video index information 500 generated as shown in FIG. 15, in which the file name of the video information or the title of the video information managed by the video index information 500 is displayed. The tree information 501 to be displayed is arranged in an upper position, the package information 505A is arranged in a lower position of the tree information 501, and the package information 5 is arranged in a lower position of the package information 505A.
Segment information 504A managed by 04A
To place. Further, the package information 505B and 505C managed by the segment information 504A are arranged below the segment information 504A, and the segment information 504B to 504I managed by the package information 505B is below the package information 505B. The segment information 504J to 504M arranged and further managed under the package information 505C is subordinate to the package information 505C.
Are arranged.
【0113】なお、図13に示したフレーム情報502
およびサウンド情報503については、それらを管理す
るセグメント情報504と一体となって表示されている
ものとする。The frame information 502 shown in FIG.
The sound information 503 is displayed together with the segment information 504 that manages them.
【0114】また、セグメント情報504は、前述した
ように、そのセグメント情報が管理するフレームの集合
を用いて生成された他のセグメント情報を複数まとめて
管理するためのパッケージ情報を管理することが可能で
ある。図示は省略するが、そのようなセグメント情報5
04がある場合、構造表示ソフト209は、そのセグメ
ント情報504の下位にパッケージ情報505を配置し
て表示すると共に、そのパッケージ情報505の下位
に、そのパッケージ情報によって管理されるセグメント
情報504を配置してツリー構造で表示する。Further, as described above, the segment information 504 can manage package information for collectively managing a plurality of other segment information generated by using a set of frames managed by the segment information. Is. Although not shown, such segment information 5
If there is 04, the structure display software 209 arranges and displays the package information 505 under the segment information 504, and arranges the segment information 504 managed by the package information under the package information 505. Display in a tree structure.
【0115】このように、各構成オブジェクトがツリー
構造によって階層化されて表示されるため、ユーザは、
映像情報の内部の論理構造を一目で把握することが可能
となる。As described above, since each constituent object is displayed hierarchically in the tree structure, the user can
It is possible to grasp the internal logical structure of video information at a glance.
【0116】ここで、ユーザが、図16に示すパッケー
ジ情報505Bをクリックしたものとする。構造表示ソ
フト209は、ユーザの入力操作に応じて、各セグメン
ト情報504が管理しているフレーム情報502を参照
し、各セグメント情報504が管理している連続するフ
レーム中の代表フレームをサムネイル表示する。図17
は、パッケージ情報505Bが管理している各セグメン
ト情報504B〜504Iの代表フレーム602をそれ
ぞれ表示した例を示す説明図である。図17には、各セ
グメント情報504が管理している連続するフレームの
先頭のフレームを代表フレーム602として表示した例
が示されているが、代表フレーム602として表示され
るフレームは各セグメント情報504が管理しているフ
レームの先頭フレームに限定されるものではない。すな
わち、セグメント情報504が管理しているフレームの
集合の中から代表フレームを任意に選択することがで
き、また、代表フレームは1つのみならず、2つ以上で
あっても良い。Here, it is assumed that the user clicks the package information 505B shown in FIG. The structure display software 209 refers to the frame information 502 managed by each segment information 504 according to the user's input operation, and displays thumbnails of the representative frames in the continuous frames managed by each segment information 504. . FIG. 17
FIG. 6 is an explanatory diagram showing an example in which representative frames 602 of each piece of segment information 504B to 504I managed by the package information 505B are displayed. FIG. 17 shows an example in which the leading frame of the continuous frames managed by each segment information 504 is displayed as the representative frame 602. However, in the frame displayed as the representative frame 602, each segment information 504 is It is not limited to the first frame of the managed frames. That is, the representative frame can be arbitrarily selected from the set of frames managed by the segment information 504, and the number of representative frames is not limited to one and may be two or more.
【0117】また、構造表示ソフト209は、セグメン
ト情報504のいずれかがユーザによってクリックされ
た場合であっても、クリックされたセグメント情報50
4の代表フレーム602を表示する。Further, the structure display software 209 allows the segment information 50 clicked even if any of the segment information 504 is clicked by the user.
4 representative frames 602 are displayed.
【0118】このように、ユーザがパッケージ情報50
5またはセグメント情報504をクリックすることによ
り、該当するセグメント504の代表フレーム602が
サムネイル表示されるため、実際の映像を再生するまで
もなく、各セグメント情報504の内容を把握すること
が可能となる。As described above, the user can select the package information 50.
5 or the segment information 504 is clicked, the representative frame 602 of the corresponding segment 504 is displayed as a thumbnail, so that it is possible to grasp the content of each segment information 504 without actually reproducing the video. .
【0119】加えて、パッケージ情報505を選択し、
図示しないメニューから再生を指定すると(またはダブ
ルクリックすると)、そのパッケージ情報505の下位
に表示されている全てのセグメント情報505が管理し
ている映像が再生される。また、セグメント情報504
を選択し、図示しないメニューから再生を指定すると
(またはダブルクリックすると)、そのセグメント情報
504が管理している映像が再生される。In addition, the package information 505 is selected,
When reproduction is specified (or double-clicked) from a menu (not shown), the video managed by all the segment information 505 displayed under the package information 505 is reproduced. Also, segment information 504
Is selected and playback is specified from a menu (not shown) (or double-clicked), the video managed by the segment information 504 is played back.
【0120】なお、詳細な説明については省略するが、
各セグメント情報504は図13に示したフレーム情報
502およびサウンド情報503を管理しているため、
ここにいう映像の再生には、フレーム情報502および
サウンド情報503の両方を利用した再生(音声を含む
場合)と、フレーム情報502のみを利用した再生(音
声を含まない場合)という2通りが考えられる。また、
サウンド情報503のみを利用することにより、パッケ
ージ505単位またはセグメント単位504で音声のみ
を再生することも可能である。Although a detailed description is omitted,
Since each segment information 504 manages the frame information 502 and the sound information 503 shown in FIG. 13,
There are two ways to reproduce the video here: reproduction using both frame information 502 and sound information 503 (when audio is included) and reproduction using only frame information 502 (when audio is not included). To be Also,
By using only the sound information 503, it is possible to reproduce only the sound in the package 505 unit or the segment unit 504.
【0121】(5)映像情報の検索結果の表示
前述したように、セグメント情報504およびパッケー
ジ情報505を生成する際に、利用・活用する目的に応
じて所望の情報を属性オブジェクト(例えば,検索情
報)として生成し、後で検索等に利用することもでき
る。例えば、属性オブジェクトとしてテキスト情報を用
いて各構造要素オブジェクトの特徴となるキーワード等
を設定し、後にキーワードを用いて検索したり、分類し
たりすることができる。例えば、タイトルのみの検索だ
けでなく、映像情報の内容で、『〜が登場し、〜と喋っ
た映像』とか、『このシーンに似ているシーンがある映
像』、『この音楽が使われている映像』といったように
映像情報の内容の情報に及んだ検索を行うことができ
る。(5) Display of Search Result of Video Information As described above, when the segment information 504 and the package information 505 are generated, desired information is changed to an attribute object (for example, search information) according to the purpose of use / utilization. ) Can be generated and used later for search or the like. For example, it is possible to set a keyword or the like that is a feature of each structural element object using text information as an attribute object, and later search or classify using the keyword. For example, in addition to searching only for titles, the content of the video information may be used to describe "a video that has appeared and spoke with", "a video that has a scene similar to this scene,""This music is used. It is possible to perform a search that covers the contents of the video information, such as "the present video".
【0122】図16に示した構造表示ウインドウ601
上で、検索条件の入力や、検索処理の実行の指定、検索
結果の表示等を行うことができるようにすることも可能
である。この場合、映像インデックス情報500に基づ
いて、検索条件に一致した映像情報の映像ストリームの
構造を検索結果として図18に示すツリー構造で表示す
ることができる。図18は、2つの映像情報が検索条件
に一致したことを示している。このように、検索結果の
映像情報の構造を表示することにすることにより、様々
な角度から検索結果を検証することができ、検索結果を
利用して編集作業等を行うことも可能となる。The structure display window 601 shown in FIG.
It is also possible to input search conditions, specify execution of search processing, display search results, and the like. In this case, based on the video index information 500, the structure of the video stream of the video information that matches the search condition can be displayed as the search result in the tree structure shown in FIG. FIG. 18 shows that the two pieces of video information match the search conditions. In this way, by displaying the structure of the video information of the search result, the search result can be verified from various angles, and the editing work can be performed using the search result.
【0123】加えて、検索条件に一致する映像情報の構
造をツリー構造で表示した際に、検索条件に一致する構
造要素オブジェクトを他の構成要素オブジェクトと区別
して表示することができる。図18においては、検索条
件に一致したセグメント情報504に対し、一致マーク
603を表示することにしている。このように、検索条
件に一致する構成要素オブジェクトを区別して表示する
ことにより、検索条件に一致するシーンを直ちに再生す
ることが可能となる。In addition, when the structure of the video information matching the search condition is displayed in a tree structure, the structure element object matching the search condition can be displayed separately from the other component object. In FIG. 18, a match mark 603 is displayed for the segment information 504 that matches the search condition. In this way, by distinguishing and displaying the component objects that match the search condition, it is possible to immediately reproduce the scene that matches the search condition.
【0124】(6)応用例
つぎに、映像ストリームの構造表示に関する応用例を説
明する。図19は、映像インデックス情報500のデー
タ構造を示す説明図である。なお、図13に示した映像
インデックス情報500と共通の構成は同一の符号を付
して説明を省略する。(6) Application Example Next, an application example relating to the structure display of the video stream will be described. FIG. 19 is an explanatory diagram showing the data structure of the video index information 500. The same components as those of the video index information 500 shown in FIG. 13 are designated by the same reference numerals, and the description thereof will be omitted.
【0125】映像インデックス情報500は、少なくと
も映像情報中の任意の連続するフレームの範囲を管理す
るための複数のセグメント情報504と、複数のセグメ
ント情報504をどのような順序でたどるかを示すセグ
メント情報間のリンクリストからなるビュー情報701
(701A〜701C)と、を有している。The video index information 500 is at least a plurality of segment information 504 for managing a range of arbitrary continuous frames in the video information, and segment information indicating the order in which the plurality of segment information 504 is traced. View information 701 consisting of a link list between
(701A to 701C).
【0126】ビュー情報701は複数設定可能であり、
あらかじめ映像情報を構成する複数のセグメント情報5
04の中から、所望の数のセグメント情報504を所望
の順序でたどるリンクリストを複数(ここでは、3つ)
生成し、各々のリンクリストに対応するビュー情報70
1A〜701Cとして設定する。A plurality of view information 701 can be set,
A plurality of segment information 5 that constitutes video information in advance
A plurality of link lists (here, three) that follow the desired number of segment information 504 in the desired order from 04
View information 70 generated and corresponding to each link list
Set as 1A to 701C.
【0127】ビュー情報701は、1つの映像情報をあ
る視点で表現するために、セグメント情報504(また
はパッケージ情報505)のたどりかたをリンクリスト
として表現したものである。なお、セグメント情報50
4だけのリンクリスト、パッケージ情報505だけのリ
ンクリスト、混在するリンクリストの何れでも表現可能
であるが、基本的にはセグメント情報504のリンクリ
ストと同一のものである。また、ビュー情報701の作
成方法については省略するが、専用の作成モジュールに
よって容易に作成可能である。The view information 701 is a link list representing how to trace the segment information 504 (or package information 505) in order to represent one piece of video information from a certain viewpoint. In addition, segment information 50
It is possible to express any of a linked list of only four, a linked list of only package information 505, and a mixed linked list, but it is basically the same as the linked list of the segment information 504. Although a method of creating the view information 701 is omitted, it can be easily created by a dedicated creating module.
【0128】次に、図20を参照して、ビュー情報70
1のリンクリストについて具体的に説明する。ビュー情
報701のリンクリストの設定の仕方によって、1つの
ビュー情報701で映像情報全体を特定の視点で観たダ
イジェスト(要約)を作成することもでき、または単純
に2つのセグメント情報504をつなぐことも自由であ
る。Next, referring to FIG. 20, the view information 70
The link list No. 1 will be specifically described. Depending on how to set the link list of the view information 701, it is possible to create a digest (summary) in which one piece of view information 701 views the entire video information from a specific viewpoint, or simply connect two segment information 504. Is also free.
【0129】図20において、例えば、映像情報全体を
ある目的で分割したパッケージ情報Bのセグメント情報
をおおまかに再生する場合を例として、リンクリストに
ついて説明する。ここで、このパッケージ情報Bは3つ
のセグメント情報で構成されており、またパッケージ情
報Bの先頭部分のセグメント情報には、下位パッケージ
情報E、Fが存在する。With reference to FIG. 20, the link list will be described by taking the case of roughly reproducing the segment information of the package information B obtained by dividing the entire video information for a certain purpose as an example. The package information B is composed of three pieces of segment information, and the segment information at the beginning of the package information B includes lower package information E and F.
【0130】先ず、パッケージ情報Bのみを指定して単
純に再生すると、パッケージ情報B中の3つのセグメン
ト情報B1〜B3がそのまま再生される。ここで、リン
クリストとして「セグメント情報E1→E2→B2→B
3」を作成すると、図20中の(1)に示す順序でセグ
メント情報が再生される。すなわち、セグメント情報B
1のうち、セグメント情報F1に相当する部分が再生さ
れないことと同じであり、セグメント情報B1がおおま
かに再生されたことになる。First, if only the package information B is designated and simply reproduced, the three segment information B1 to B3 in the package information B are reproduced as they are. Here, as the link list, “segment information E1 → E2 → B2 → B
3 ”is created, the segment information is reproduced in the order shown in (1) of FIG. That is, segment information B
This is the same as the portion corresponding to the segment information F1 of 1 is not reproduced, and the segment information B1 is roughly reproduced.
【0131】このようにビュー情報701のリンクリス
トを作成することにより、所望の順序でセグメント情報
を指定することができる。By thus creating the link list of the view information 701, the segment information can be designated in a desired order.
【0132】また、リンクリストを「セグメント情報G
1→G2→G3→C3→D1」として作成すると図20
中の(2)で示す順序でセグメント情報が再生される。
リンクリストを「セグメント情報G1→G2→G3→C
3→I1→I2」として作成すると図20中の(3)で
示す順序でセグメント情報が再生される。In addition, the link list is displayed as "segment information G
When created as "1 → G2 → G3 → C3 → D1", FIG.
The segment information is reproduced in the order shown by (2).
Change the link list to "Segment information G1 → G2 → G3 → C
3 → I1 → I2 ”, the segment information is reproduced in the order shown by (3) in FIG.
【0133】また、セグメント情報そのものを再生する
ことに代えて、各セグメント情報の代表フレーム(例え
ば、各セグメント情報の先頭の所定時間分のフレーム情
報)を再生するようにすると、さらにダイジェスト再生
(要約再生)を顕著にすることができる。具体的には、
セグメント情報そのものをたどることに代えて、セグメ
ント情報中のフレーム情報をたどる場合を想定するとリ
ンクリストの効果が実感し易い。例えば、図20中の
(1)の場合、パッケージ情報Bは1時間ビデオを20
分ずつの3つのセグメント情報B1〜B3に分け、セグ
メント情報B1を分けたパッケージ情報Eが5分ずつの
2つのセグメント情報E1、E2で構成され、パッケー
ジ情報Fが10分のセグメント情報F1で構成されてい
る場合、それぞれのセグメント情報から各1分ずづのフ
レーム情報を再生することで、内容的に1/5、1/
5、1/20、1/20の粗さとなり、ダイジェストの
意図を反映することができる。Further, instead of reproducing the segment information itself, if a representative frame of each segment information (for example, frame information for a predetermined time at the beginning of each segment information) is reproduced, digest reproduction (summary) is further performed. Reproduction) can be made noticeable. In particular,
If it is assumed that the frame information in the segment information is traced instead of tracing the segment information itself, the effect of the linked list can be easily realized. For example, in the case of (1) in FIG. 20, the package information B is 20 hours of video for 1 hour.
The segment information B1 is divided into three pieces of segment information B1 to B3, and the package information E obtained by dividing the segment information B1 is composed of two pieces of segment information E1 and E2 of 5 minutes each, and the package information F is composed of segment information F1 of 10 minutes. In this case, by reproducing the frame information every one minute from the respective segment information, the content is 1/5, 1 /
The roughness becomes 5, 1/20, 1/20, and the intention of the digest can be reflected.
【0134】なお、図20では、リンクリストは、セグ
メント情報を時系列にたどる例のみを示したが、例え
ば、リンクリストとして「セグメント情報E2→G3→
H2→I2→D2」のように飛び飛びにリンクしても良
い。また、時系列を無視して、所望の順序でリンクリス
トを作成しても良い。In FIG. 20, the link list shows only an example in which the segment information is traced in time series. For example, as the link list, “segment information E2 → G3 →
Links may be made in a scattered manner such as “H2 → I2 → D2”. Alternatively, the link list may be created in a desired order, ignoring the time series.
【0135】また、予め映像情報の内容に応じて、例え
ば、暴力シーンを除いたセグメント情報のみをリンクし
たリンクリストを有するビュー情報や、激写シーンのセ
グメント情報のみをリンクしたリンクリストを有するビ
ュー情報等のように、利用・活用する目的に応じたビュ
ー情報を複数設定しておき、必要に応じて所望のビュー
情報を選択することにより、1つの映像情報(コンテン
ツ)を多目的な立場から観ることが可能となる。[0135] Also, depending on the contents of the video information, for example, view information having a link list linking only segment information excluding violent scenes, or view information having a link list linking only segment information of intense shooting scenes. For example, by setting multiple pieces of view information according to the purpose of use and selecting the desired view information as necessary, one video information (content) can be viewed from a multipurpose standpoint. Is possible.
【0136】構造表示ソフト209は、図16に示した
ように映像インデックス情報500を構成する構造要素
オブジェクトをツリー構造で表示する際に、前述した機
能を有するビュー情報701を併せて表示することがで
きる。その結果、ユーザが構造表示ウインドウ601中
に表示されたビュー情報701を選択することにより、
図20を用いて説明したような方法で映像情報を再生す
ることが可能となる。すなわち、リンクリストを有する
ビュー情報701を構造表示ウインドウ601中の構造
要素オブジェクトとして表示することにより、映像情報
の再現方法の自由度を高めて、映像情報を効率的・効果
的に利用・活用できるユーザ・インターフェースを提供
することができるようになる。The structure display software 209 can also display the view information 701 having the above-mentioned function when displaying the structure element objects forming the video index information 500 in a tree structure as shown in FIG. it can. As a result, when the user selects the view information 701 displayed in the structure display window 601,
The video information can be reproduced by the method described with reference to FIG. That is, by displaying the view information 701 having the link list as the structural element object in the structure display window 601, the degree of freedom in the method of reproducing the video information is increased, and the video information can be used / utilized efficiently and effectively. The user interface can be provided.
【0137】このように、本発明の実施の形態によれ
ば、図4で説明した映像ストリームの構造解析処理によ
り、映像情報を解析する際の作業者への負担を軽減する
ことが可能となる。As described above, according to the embodiment of the present invention, by the structure analysis processing of the video stream described in FIG. 4, it is possible to reduce the burden on the operator when analyzing the video information. .
【0138】また、映像ストリームの構造を解析する際
に、構造解析過程表示ウインドウ301を表示して映像
情報の解析過程を表示するため、映像情報の解析過程を
視覚的に確認することができると共に、解析過程を検証
することが可能となり、映像情報の解析処理を円滑・簡
単・正確に行うことができる。When analyzing the structure of the video stream, the structure analysis process display window 301 is displayed to display the video information analysis process, so that the video information analysis process can be visually confirmed. The analysis process can be verified, and the analysis process of video information can be performed smoothly, easily and accurately.
【0139】さらに、映像ストリームの解析結果に基づ
いて生成された映像インデックス情報を利用して、映像
情報の内部の論理構造をツリー構造で表現可能としたこ
とにより、映像情報内部の論理構造を容易に把握するこ
とができるようになる。Further, by using the video index information generated based on the analysis result of the video stream, the internal logical structure of the video information can be expressed by a tree structure, so that the internal logical structure of the video information can be easily realized. You will be able to understand.
【0140】なお、図2に示したように、本発明の実施
の形態にあっては、映像ストリームの構造解析,映像イ
ンデックス情報の生成および映像インデックス情報に基
づく映像ストリームの構造表示を構造解析ソフト20
7,インデックス生成ソフト208および構造表示ソフ
ト209という3つのアプリケーションプログラムで実
現することを前提として説明した。しかし、これらのア
プリケーションプログラムはあくまでも一例であって、
本発明を実現するためのアプリケーションプログラムを
限定することを意図したものではない。As shown in FIG. 2, in the embodiment of the present invention, the structure analysis software performs structure analysis of the video stream, generation of video index information, and structure display of the video stream based on the video index information. 20
7, the index generation software 208 and the structure display software 209 have been described as a premise that they are implemented by three application programs. However, these application programs are just examples,
It is not intended to limit the application program for implementing the present invention.
【0141】また、上記アプリケーションプログラム
は、フロッピーディスク,CD−ROM,MO,DV
D,メモリカード等のコンピュータ読み取り可能な記録
媒体に格納して提供することができる。また、図1およ
び図2に示したコンピュータ103に対し、ネットワー
クを介して上記アプリケーションプログラムを提供する
ことも可能である。コンピュータ103は、このように
して提供されるアプリケーションプログラムを読み込ん
で実行することにより、前述した各種の処理を実現す
る。The application program is a floppy disk, CD-ROM, MO, DV.
It can be provided by being stored in a computer-readable recording medium such as a D or a memory card. It is also possible to provide the above-mentioned application program to the computer 103 shown in FIGS. 1 and 2 via a network. The computer 103 realizes the above-described various processes by reading and executing the application program thus provided.
【0142】[0142]
【0143】[0143]
【0144】[0144]
【発明の効果】 以上説明したように、本発明の映像スト
リームの構造解析過程表示方法(請求項1)によれば、
映像ストリーム中の任意のフレームを基準フレームとし
て設定し、設定した基準フレームの画像を表示し、映像
ストリームの時系列において、設定した基準フレームか
ら第1の間隔分進めた位置にフレームが存在するか否か
を判定し、フレームが存在する場合に該当するフレーム
を選択して第1の選択フレームとして設定し、設定した
第1の選択フレームの画像を基準フレームの画像と共に
表示し、フレームが存在しない場合に最後のフレームを
第1のフレームとして設定し、設定した第1の選択フレ
ームの画像を基準フレームの画像と共に表示し、第1の
選択フレームおよび基準フレームを比較し、第1の選択
フレームおよび基準フレームの画像の特徴量の差が所定
の閾値以上の場合に第1の選択フレームの位置を記憶
し、閾値以上でない場合に第1の選択フレームを基準フ
レームとして設定し、設定した基準フレームの画像を現
在表示している基準フレームの画像に代えて表示して、
第1の選択フレームを選択する処理に戻り、第1の選択
フレームの位置を記憶した場合に、記憶された第1の選
択フレームより前に第1の選択フレームとして設定され
たフレーム以降のフレームを第1の間隔より細かい第2
の間隔で順次選択し、選択したフレームを第2の選択フ
レームとして設定し、設定した第2の選択フレームの画
像を現在表示している第1の選択フレームの画像に代え
て表示し、第2の選択フレームおよび基準フレームを比
較し、第2の選択フレームおよび基準フレームの画像の
特徴量の差が所定の閾値以上の場合に、第2の選択フレ
ームの位置を記憶し、閾値以上でない場合に、第2の選
択フレームを選択する処理に戻り、第2の選択フレーム
の位置を記憶した場合に、第2の選択フレームを基準フ
レームとして設定し、設定した基準フレームの画像を現
在表示している基準フレームの画像に代えて表示し、新
たに基準フレームが設定された場合に、映像ストリーム
中において、設定した基準フレームから第1の間隔分進
めた位置にフレームが存在するか否かを判定し、フレー
ムが存在する場合に第1の選択フレームを選択する処理
に戻り、フレームが存在しない場合に最後のフレームを
第1の選択フレームとし、第1の選択フレームを設定す
る処理に戻り、基準フレームが最後のフレームであった
場合に処理を終了すると共に、上記処理の過程におい
て、基準フレームと第1の選択フレームおよび第2の選
択フレームとの特徴量の差を順次プロットし、映像スト
リーム中の各フレームの特徴量の変化をグラフで表示す
るため、映像情報の解析過程を視覚的に確認することが
できると共に、解析過程を容易に検証することができる
ことから、映像情報の解析処理を円滑・簡単・正確に行
うことが可能となる。 As described above, the video stream of the present invention is
According to the method for displaying the structural analysis process of the ream (claim 1),
Set an arbitrary frame in the video stream as the reference frame, display the image of the set reference frame, and check whether the frame exists at the position advanced by the first interval from the set reference frame in the time series of the video stream. It is determined whether or not there is a frame, the corresponding frame is selected and set as the first selected frame, the set first selected frame image is displayed together with the reference frame image, and the frame does not exist. In this case, the last frame is set as the first frame, the image of the set first selected frame is displayed together with the image of the reference frame, the first selected frame and the reference frame are compared, and the first selected frame and Stores the position of the first selected frame when the difference between the feature amounts of the images of the reference frames is greater than or equal to a predetermined threshold, and is not greater than or equal to the threshold. The first selected frame is set as a reference frame in case, to display in place of the image of the reference frame that is currently displaying the image of the reference frame set,
Returning to the process of selecting the first selection frame, when the position of the first selection frame is stored, the frames after the frame set as the first selection frame before the stored first selection frame are stored. Second smaller than first interval
Are sequentially selected at intervals of, and the selected frame is set as the second selected frame, and the image of the set second selected frame is displayed instead of the image of the first selected frame currently displayed, The selected frame and the reference frame are compared with each other. If the difference between the feature amounts of the images of the second selected frame and the reference frame is equal to or larger than a predetermined threshold, the position of the second selected frame is stored. Returning to the process of selecting the second selected frame, when the position of the second selected frame is stored, the second selected frame is set as the reference frame, and the image of the set reference frame is currently displayed. When the reference frame is displayed instead of the image and a new reference frame is set, the frame is moved to the position advanced by the first interval from the set reference frame in the video stream. If there is a frame, the process returns to the process of selecting the first selected frame. If there is no frame, the last frame is set as the first selected frame, and the first selected frame is selected. The process returns to the process of setting the reference frame, the process is terminated when the reference frame is the last frame, and in the process of the above process, the difference in feature amount between the reference frame and the first selected frame and the second selected frame Is sequentially plotted and the change in the feature amount of each frame in the video stream is displayed as a graph, so that the analysis process of the video information can be visually confirmed and the analysis process can be easily verified. Therefore, it becomes possible to smoothly, easily and accurately analyze the video information.
【0145】また、本発明の映像ストリームの構造解析
過程表示方法(請求項2)によれば、映像ストリーム中
の任意のフレームを基準フレームとして設定し、設定し
た基準フレームの画像を表示し、映像ストリームの時系
列において、基準フレーム以降のフレームを第1の間隔
で順次選択し、選択したフレームを第1の選択フレーム
として設定し、設定した第1の選択フレームの画像を基
準フレームの画像と共に表示し、第1の選択フレームお
よび基準フレームを比較し、第1の選択フレームおよび
基準フレームの画像の特徴量の差が所定の閾値以上の場
合に第1の選択フレームの位置を記憶し、閾値以上でな
い場合に第1の選択フレームを選択する処理に戻り、第
1の選択フレームの位置を記憶した場合に、記憶された
第1の選択フレームより前に第1の選択フレームとして
設定されたフレーム以降のフレームを第1の間隔より細
かい第2の間隔で順次選択し、選択したフレームを第2
の選択フレームとして設定し、設定した第2の選択フレ
ームの画像を現在表示している第1の選択フレームの画
像に代えて表示し、第2の選択フレームおよび基準フレ
ームを比較し、第2の選択フレームおよび基準フレーム
の画像の特徴量の差が所定の閾値以上の場合に第2の選
択フレームの位置を記憶し、閾値以上でない場合に第2
の選択フレームを選択する処理に戻り、第2の選択フレ
ームの位置を記憶した場合に、第2の選択フレームを基
準フレームとして設定し、設定した基準フレームの画像
を現在表示している基準フレームの画像に代えて表示
し、新たに基準フレームが設定された場合に、映像スト
リーム中において、設定した基準フレームから第1の間
隔分進めた位置にフレームが存在するか否かを判定し、
フレームが存在する場合に第1の選択フレームを選択す
る処理に戻り、フレームが存在しない場合に最後のフレ
ームを第1の選択フレームとし、第1の選択フレームを
設定する処理に戻り、基準フレームが最後のフレームで
あった場合に処理を終了すると共に、上記処理の過程に
おいて、基準フレームと第1の選択フレームおよび第2
の選択フレームとの特徴量の差を順次プロットし、映像
ストリーム中の各フレームの特徴量の変化をグラフで表
示するため、映像情報の解析過程を視覚的に確認するこ
とができると共に、解析過程を容易に検証することがで
きることから、映像情報の解析処理を円滑・簡単・正確
に行うことが可能となる。According to the method of displaying a structure analysis process of a video stream of the present invention ( claim 2 ), an arbitrary frame in the video stream is set as a reference frame, and an image of the set reference frame is displayed to display the image. In the stream time series, frames after the reference frame are sequentially selected at the first interval, the selected frame is set as the first selection frame, and the image of the set first selection frame is displayed together with the image of the reference frame. Then, the first selected frame and the reference frame are compared, and the position of the first selected frame is stored when the difference between the feature amounts of the images of the first selected frame and the reference frame is equal to or more than a predetermined threshold, and the value is equal to or more than the threshold. Otherwise, the process returns to the process of selecting the first selection frame, and if the position of the first selection frame is stored, the stored first selection frame is stored. The frames after the frame set as the first selected frame before the frame are sequentially selected at the second interval smaller than the first interval, and the selected frame is selected as the second frame.
Of the second selected frame, the image of the second selected frame that has been set is displayed in place of the image of the first selected frame that is currently displayed, the second selected frame and the reference frame are compared, and the second selected frame is compared with the second selected frame. The position of the second selected frame is stored when the difference between the feature amounts of the images of the selected frame and the reference frame is equal to or larger than a predetermined threshold, and the second position is stored when the difference is not equal to or larger than the threshold.
When the position of the second selected frame is stored, the second selected frame is set as the reference frame, and the image of the set reference frame is set to the reference frame currently displayed. When a new reference frame is displayed instead of the image, it is determined whether or not there is a frame at the position advanced by the first interval from the set reference frame in the video stream,
If the frame exists, the process returns to the process of selecting the first selected frame. If the frame does not exist, the last frame is set as the first selected frame, and the process returns to the process of setting the first selected frame. When it is the last frame, the processing is terminated, and in the course of the above processing, the reference frame, the first selected frame, and the second frame.
The difference in the feature amount from the selected frame is sequentially plotted, and the change in the feature amount of each frame in the video stream is displayed in a graph, so that the analysis process of the video information can be visually confirmed and the analysis process can be performed. Since it can be easily verified, it becomes possible to smoothly, easily and accurately analyze the video information.
【0146】また、本発明の映像ストリームの構造解析
過程表示方法(請求項3)によれば、基準フレームに対
して閾値以上の特徴量を有する第2の選択フレームの位
置をグラフ中に表示するため、映像ストリームの分割点
の位置を容易に特定でき、どのような解析によって分割
点が決定されたのかを容易に知ることができる。According to the method for displaying the structure analysis process of the video stream of the present invention ( claim 3 ), the position of the second selected frame having the characteristic amount equal to or more than the threshold value with respect to the reference frame is displayed in the graph. Therefore, it is possible to easily specify the position of the division point of the video stream and easily know what kind of analysis has determined the division point.
【0147】また、本発明の映像ストリームの構造解析
過程表示方法(請求項4)によれば、さらに、映像スト
リームを構成する各フレームの位置に対応させて、解析
処理の進行状況を示すグラフを表示すると共に、第1の
選択フレームまたは第2の選択フレームとして選択され
たフレームの位置および基準フレームに対して閾値以上
の特徴量を有する第2の選択フレームの位置をグラフ中
に表示するため、映像ストリーム全体に対する各フレー
ムの位置関係を容易に把握することができる。特に、閾
値以上の特徴量を有する第2の選択フレームの位置がグ
ラフ中に表示されるため、映像ストリームの分割点がど
の位置にあり、映像ストリームをいくつに分割できるの
かを容易に把握することができる。According to the video stream structure analysis process display method of the present invention ( claim 4 ), a graph showing the progress of the analysis processing is further displayed in correspondence with the position of each frame constituting the video stream. In addition to displaying, the position of the frame selected as the first selected frame or the second selected frame and the position of the second selected frame having a feature amount equal to or more than the threshold with respect to the reference frame are displayed in the graph. It is possible to easily grasp the positional relationship of each frame with respect to the entire video stream. In particular, since the position of the second selected frame having a feature amount equal to or larger than the threshold value is displayed in the graph, it is easy to understand where the division point of the video stream is and how many divisions the video stream can be divided into. You can
【0148】また、本発明の映像ストリームの構造解析
過程表示方法(請求項5)によれば、さらに、解析過程
を記録し、記録した解析過程を任意のタイミングで再現
することを可能にしたため、ユーザが意図する分割点が
得られているかをチェックすることができ、分割点の修
正や変更を簡単に行うことができる。また、実際に解析
処理を再度行うわけではなく、記録しておいた解析処理
の過程を再現するため、解析に要する時間を省くことが
でき、好みの速度で解析処理の過程を再現することも可
能となる。Further, according to the structure analysis process display method of the video stream of the present invention ( claim 5 ), it is possible to record the analysis process and reproduce the recorded analysis process at an arbitrary timing. It is possible to check whether the division point intended by the user has been obtained, and it is possible to easily correct or change the division point. In addition, since the analysis process that has been recorded is reproduced without actually performing the analysis process again, the time required for the analysis can be saved, and the analysis process can be reproduced at a desired speed. It will be possible.
【0149】[0149]
【0150】[0150]
【0151】[0151]
【0152】[0152]
【0153】[0153]
【図1】本発明の実施の形態に係る映像ストリームの構
造解析過程表示方法を実現するためのシステムの一例を
示す概略構成図である。FIG. 1 is a structure of a video stream according to an embodiment of the present invention.
It is a schematic block diagram which shows an example of the system for implement | achieving the manufacturing analysis process display method .
【図2】図1のシステムを構成するコンピュータのブロ
ック構成図である。FIG. 2 is a block diagram of a computer constituting the system of FIG.
【図3】本発明の実施の形態に係る映像ストリームの構
造解析処理において、解析処理の過程を表示するための
構造解析過程表示ウインドウの構成例を示す説明図であ
る。FIG. 3 is an explanatory diagram showing a configuration example of a structure analysis process display window for displaying a process of the analysis process in the structure analysis process of the video stream according to the embodiment of the present invention.
【図4】本発明の実施の形態に係る映像ストリームの構
造解析処理を示すフローチャートである。FIG. 4 is a flowchart showing a structure analysis process of a video stream according to the embodiment of the present invention.
【図5】本発明の実施の形態に係る映像ストリームの構
造解析処理において、構造解析過程表示ウインドウに表
示される解析過程の一例を示す説明図である。FIG. 5 is an explanatory diagram showing an example of an analysis process displayed in a structure analysis process display window in the structure analysis process of the video stream according to the embodiment of the present invention.
【図6】本発明の実施の形態に係る映像ストリームの構
造解析処理において、構造解析過程表示ウインドウに表
示される解析過程の一例を示す説明図である。FIG. 6 is an explanatory diagram showing an example of an analysis process displayed in a structure analysis process display window in the structure analysis process of the video stream according to the embodiment of the present invention.
【図7】本発明の実施の形態に係る映像ストリームの構
造解析処理において、構造解析過程表示ウインドウに表
示される解析過程の一例を示す説明図である。FIG. 7 is an explanatory diagram showing an example of an analysis process displayed in a structure analysis process display window in the structure analysis process of the video stream according to the embodiment of the present invention.
【図8】本発明の実施の形態に係る映像ストリームの構
造解析処理において、構造解析過程表示ウインドウに表
示される解析過程の一例を示す説明図である。FIG. 8 is an explanatory diagram showing an example of an analysis process displayed in the structure analysis process display window in the structure analysis process of the video stream according to the embodiment of the present invention.
【図9】本発明の実施の形態に係る映像ストリームの構
造解析処理において、構造解析過程表示ウインドウに表
示される解析過程の一例を示す説明図である。FIG. 9 is an explanatory diagram showing an example of an analysis process displayed in a structure analysis process display window in the structure analysis process of the video stream according to the embodiment of the present invention.
【図10】本発明の実施の形態に係る映像ストリームの
構造解析処理において、構造解析過程表示ウインドウに
表示される解析過程の一例を示す説明図である。FIG. 10 is an explanatory diagram showing an example of an analysis process displayed in the structure analysis process display window in the structure analysis process of the video stream according to the embodiment of the present invention.
【図11】本発明の実施の形態に係る映像ストリームの
構造解析処理において、構造解析過程表示ウインドウに
表示される解析過程の一例を示す説明図である。FIG. 11 is an explanatory diagram showing an example of an analysis process displayed in a structure analysis process display window in the structure analysis process of the video stream according to the embodiment of the present invention.
【図12】本発明の実施の形態に係る映像ストリームの
構造解析処理において、構造解析過程表示ウインドウに
表示される解析過程の一例を示す説明図である。FIG. 12 is an explanatory diagram showing an example of an analysis process displayed in a structure analysis process display window in the structure analysis process of the video stream according to the embodiment of the present invention.
【図13】本発明の実施の形態に係る映像インデックス
情報のデータ構造を示す説明図である。FIG. 13 is an explanatory diagram showing a data structure of video index information according to the embodiment of the present invention.
【図14】本発明の実施の形態に係る映像インデックス
情報の生成処理を示す説明図である。FIG. 14 is an explanatory diagram showing a process of generating video index information according to the embodiment of the present invention.
【図15】本発明の実施の形態に係る映像インデックス
情報の生成処理を示す説明図である。FIG. 15 is an explanatory diagram showing a process of generating video index information according to the embodiment of the present invention.
【図16】本発明の実施の形態に係る映像インデックス
情報に基づいて表示した映像情報の構造の画面表示例を
示す説明図である。FIG. 16 is an explanatory diagram showing a screen display example of a structure of video information displayed based on video index information according to the embodiment of the present invention.
【図17】図16に示すパッケージ情報が選択され、各
セグメント情報の代表フレームが表示された様子を示す
説明図である。FIG. 17 is an explanatory diagram showing a state where the package information shown in FIG. 16 is selected and a representative frame of each segment information is displayed.
【図18】本発明の実施の形態に係る映像インデックス
情報を用いて映像情報の検索処理が行われた際に、検索
結果として得た映像情報の構造を表示した様子を示す説
明図である。FIG. 18 is an explanatory diagram showing a state in which a structure of video information obtained as a search result is displayed when the video information search process is performed using the video index information according to the embodiment of the present invention.
【図19】本発明の実施の形態に応用例として用いられ
る映像インデックス情報のデータ構造を示す説明図であ
る。FIG. 19 is an explanatory diagram showing a data structure of video index information used as an application example in the embodiment of the present invention.
【図20】図19に示す映像インデックス情報中に設け
られたビュー情報のリンクリストを示す説明図である。20 is an explanatory diagram showing a link list of view information provided in the video index information shown in FIG.
101 映像情報ライブラリ 102 映像インデックス情報データベース 103 コンピュータ 207 構造解析ソフト 208 インデックス生成ソフト 209 構造表示ソフト 301 構造解析過程表示ウインドウ 302 比較フレーム表示部 302a 基準フレーム表示部 302b 選択フレーム表示部 303a〜303c フレーム表示部 304 グラフ表示部 304a 区切り線 304b 分割線 305 バー 305a フレーム位置表示ライン 305b 分割フレーム位置表示ライン 308 再現速度調整部 500 映像インデックス情報 501 ツリー情報 502 フレーム情報 503 サウンド情報 504 セグメント情報 505 パッケージ情報 601 構造表示ウインドウ 602 代表フレーム 603 一致マーク 101 Video Information Library 102 Video index information database 103 computer 207 Structural analysis software 208 Index generation software 209 Structure display software 301 Structural analysis process display window 302 Comparison frame display section 302a Reference frame display section 302b Selection frame display section 303a to 303c Frame display section 304 Graph display 304a separating line 304b dividing line 305 bar 305a Frame position display line 305b Division frame position display line 308 Reproduction speed adjustment unit 500 video index information 501 tree information 502 frame information 503 sound information 504 segment information 505 Package Information 601 Structure display window 602 representative frame 603 Match mark
フロントページの続き (56)参考文献 特開 平8−214315(JP,A) 特開 平5−334374(JP,A) 特開 平8−227462(JP,A) 特開 平6−209451(JP,A) 特開 平3−52070(JP,A) 特開2000−148796(JP,A) 特開 平4−111181(JP,A) 特開 平4−207878(JP,A) 特開 平2−184181(JP,A) 特開 平5−204990(JP,A) .Informeda:CMUディジ タルビデオライブラリプロジェクト,情 報処理,日本,1996年 9月,Vol. 37 No.9,pp.841−847 認識技術を応用した対話型映像編集方 式の提案,電子情報通信学会論文誌,日 本,1992年 2月,Vol.J75−D− II No.2,pp.216−225 E89−33 動画像データベースハンド リングに関する検討,電子情報通信学会 技術研究報告,日本,1989年 7月21 日,Vol.89 No.150,pp.49 −56 (58)調査した分野(Int.Cl.7,DB名) G06T 7/00 - 7/20 G06T 13/00 H04N 5/781 Continuation of the front page (56) Reference JP-A-8-214315 (JP, A) JP-A-5-334374 (JP, A) JP-A-8-227462 (JP, A) JP-A-6-209451 (JP , A) JP 3-52070 (JP, A) JP 2000-148796 (JP, A) JP 4-111181 (JP, A) JP 4-207878 (JP, A) JP 2 -184181 (JP, A) JP-A-5-204990 (JP, A). Informationa: CMU Digital Video Library Project, Information Processing, Japan, September 1996, Vol. 37 No. 9, pp. 841-847 Proposal of interactive video editing method applying recognition technology, IEICE Transactions, Japan, February 1992, Vol. J75-D-II No. 2, pp. 216-225 E89-33 A study on moving image database handling, IEICE technical report, Japan, July 21, 1989, Vol. 89 No. 150, pp. 49-56 (58) Fields investigated (Int.Cl. 7 , DB name) G06T 7/ 00-7/20 G06T 13/00 H04N 5/781
Claims (5)
程を表示するための映像ストリームの構造解析過程表示
方法であって、 前記映像ストリーム中の任意のフレームを基準フレーム
として設定し、設定した基準フレームの画像を表示する
第1の工程と、 前記映像ストリームの時系列において、前記設定した基
準フレームから第1の間隔分進めた位置にフレームが存
在するか否かを判定し、フレームが存在する場合に、該
当するフレームを選択して第1の選択フレームとして設
定し、設定した第1の選択フレームの画像を前記基準フ
レームの画像と共に表示し、フレームが存在しない場合
に、最後のフレームを第1のフレームとして設定し、設
定した第1の選択フレームの画像を前記基準フレームの
画像と共に表示する第2の工程と、 前記第1の選択フレームおよび基準フレームを比較し、
前記第1の選択フレームおよび基準フレームの画像の特
徴量の差が所定の閾値以上の場合に、前記第1の選択フ
レームの位置を記憶し、閾値以上でない場合に、前記第
1の選択フレームを前記基準フレームとして設定し、設
定した基準フレームの画像を現在表示している基準フレ
ームの画像に代えて表示して、前記第2の工程に戻る第
3の工程と、 前記第3の工程で前記第1の選択フレームの位置を記憶
した場合に、前記記憶された第1の選択フレームより前
に前記第2の工程で第1の選択フレームとして設定され
たフレーム以降のフレームを前記第1の間隔より細かい
第2の間隔で順次選択し、選択したフレームを第2の選
択フレームとして設定し、設定した第2の選択フレーム
の画像を現在表示している第1の選択フレームの画像に
代えて表示する第4の工程と、 前記第2の選択フレームおよび基準フレームを比較し、
前記第2の選択フレームおよび基準フレームの画像の特
徴量の差が所定の閾値以上の場合に、前記第2の選択フ
レームの位置を記憶し、閾値以上でない場合に、前記第
4の工程に戻る第5の工程と、 前記第5の工程で前記第2の選択フレームの位置を記憶
した場合に、前記第2の選択フレームを前記基準フレー
ムとして設定し、設定した基準フレームの画像を現在表
示している基準フレームの画像に代えて表示する第6の
工程と、 前記第6の工程で新たに基準フレームが設定された場合
に、映像ストリーム中において、前記設定した基準フレ
ームから前記第1の間隔分進めた位置にフレームが存在
するか否かを判定し、フレームが存在する場合に、前記
第2の工程に戻り、フレームが存在しない場合に、最後
のフレームを前記第1の選択フレームとして前記第2の
工程に戻る第7の工程と、 前記基準フレームが最後のフレームであった場合に、処
理を終了する第8の工程と、を含み、 さらに、前記第3の工程および第5の工程で得た前記基
準フレームと前記第1の選択フレームおよび第2の選択
フレームとの特徴量の差を順次プロットし、前記映像ス
トリーム中の各フレームの特徴量の変化をグラフで表示
する第9の工程を含むことを特徴とする映像ストリーム
の構造解析過程表示方法。1. A method of displaying a structure analysis process of a video stream for displaying an analysis process of analyzing a structure of a video stream, wherein an arbitrary frame in the video stream is set as a reference frame, and the set reference frame is set. The first step of displaying the image, and in the time series of the video stream, it is determined whether or not there is a frame at a position advanced by the first interval from the set reference frame. , The corresponding frame is selected and set as the first selected frame, the image of the set first selected frame is displayed together with the image of the reference frame, and when there is no frame, the last frame is set to the first frame. And a second step of displaying the image of the set first selected frame together with the image of the reference frame, Compare 1 selected frame and reference frame,
The position of the first selected frame is stored when the difference between the feature amounts of the images of the first selected frame and the reference frame is greater than or equal to a predetermined threshold, and when the difference is not greater than or equal to the threshold, the first selected frame is stored. A third step of setting the reference frame, displaying the set reference frame image in place of the currently displayed reference frame image, and returning to the second step; When the position of the first selected frame is stored, the frames after the frame set as the first selected frame in the second step before the stored first selected frame are set to the first interval. The images are sequentially selected at smaller second intervals, the selected frame is set as the second selection frame, and the set second selection frame image is replaced with the currently displayed first selection frame image. And a fourth step of displaying and comparing the second selection frame and the reference frame,
If the difference between the feature amounts of the images of the second selected frame and the reference frame is greater than or equal to a predetermined threshold value, the position of the second selected frame is stored, and if not, the process returns to the fourth step. Fifth step, and when the position of the second selected frame is stored in the fifth step, the second selected frame is set as the reference frame, and the image of the set reference frame is currently displayed. A sixth step of displaying the reference frame instead of the image, and a new reference frame is set in the sixth step, in the video stream, the first interval from the set reference frame. It is determined whether or not there is a frame at the position advanced by the amount. If a frame is present, the process returns to the second step. If no frame is present, the last frame is set to the first selection frame. A seventh step of returning to the second step as a program, and an eighth step of terminating the process when the reference frame is the last frame, and further including the third step and The difference between the feature amounts of the reference frame and the first selected frame and the second selected frame obtained in the fifth step is sequentially plotted, and the change in the feature amount of each frame in the video stream is displayed in a graph. 9. A method for displaying a structure analysis process of a video stream, comprising the ninth step of:
程を表示するための映像ストリームの構造解析過程表示
方法であって、 前記映像ストリーム中の任意のフレームを基準フレーム
として設定し、設定した基準フレームの画像を表示する
第1の工程と、 前記映像ストリームの時系列において、前記基準フレー
ム以降のフレームを第1の間隔で順次選択し、選択した
フレームを第1の選択フレームとして設定し、設定した
第1の選択フレームの画像を前記基準フレームの画像と
共に表示する第2の工程と、 前記第1の選択フレームおよび基準フレームを比較し、
前記第1の選択フレームおよび基準フレームの画像の特
徴量の差が所定の閾値以上の場合に、前記第1の選択フ
レームの位置を記憶し、閾値以上でない場合に、前記第
2の工程に戻る第3の工程と、 前記第3の工程で前記第1の選択フレームの位置を記憶
した場合に、前記記憶された第1の選択フレームより前
に前記第2の工程で第1の選択フレームとして設定され
たフレーム以降のフレームを前記第1の間隔より細かい
第2の間隔で順次選択し、選択したフレームを第2の選
択フレームとして設定し、設定した第2の選択フレーム
の画像を現在表示している第1の選択フレームの画像に
代えて表示する第4の工程と、 前記第2の選択フレームおよび基準フレームを比較し、
前記第2の選択フレームおよび基準フレームの画像の特
徴量の差が所定の閾値以上の場合に、前記第2の選択フ
レームの位置を記憶し、閾値以上でない場合に、前記第
4の工程に戻る第5の工程と、 前記第5の工程で前記第2の選択フレームの位置を記憶
した場合に、前記第2の選択フレームを前記基準フレー
ムとして設定し、設定した基準フレームの画像を現在表
示している基準フレームの画像に代えて表示する第6の
工程と、 前記第6の工程で新たに基準フレームが設定された場合
に、映像ストリーム中において、前記設定した基準フレ
ームから前記第1の間隔分進めた位置にフレームが存在
するか否かを判定し、フレームが存在する場合に、前記
第2の工程に戻り、フレームが存在しない場合に、最後
のフレームを前記第1の選択フレームとして前記第2の
工程に戻る第7の工程と、 前記基準フレームが最後のフレームであった場合に、処
理を終了する第8の工程と、を含み、 さらに、前記第3の工程および第5の工程で得た前記基
準フレームと前記第1の選択フレームおよび第2の選択
フレームとの特徴量の差を順次プロットし、前記映像ス
トリーム中の各フレームの特徴量の変化をグラフで表示
する第9の工程を含むことを特徴とする映像ストリーム
の構造解析過程表示方法。2. A method for displaying a structure analysis process of a video stream for displaying an analysis process for analyzing a structure of a video stream, wherein an arbitrary frame in the video stream is set as a reference frame, and the set reference frame is set. In the time series of the video stream, the frames after the reference frame are sequentially selected at a first interval, and the selected frame is set and set as a first selected frame. Comparing a second step of displaying an image of a first selected frame with an image of the reference frame with the first selected frame and the reference frame;
If the difference between the feature amounts of the images of the first selected frame and the reference frame is greater than or equal to a predetermined threshold value, the position of the first selected frame is stored, and if not, the process returns to the second step. A third step, and when the position of the first selection frame is stored in the third step, as the first selection frame in the second step before the stored first selection frame Frames after the set frame are sequentially selected at a second interval smaller than the first interval, the selected frame is set as the second selected frame, and the image of the set second selected frame is currently displayed. Comparing the second selected frame and the reference frame with the fourth step of displaying instead of the image of the first selected frame,
If the difference between the feature amounts of the images of the second selected frame and the reference frame is greater than or equal to a predetermined threshold value, the position of the second selected frame is stored, and if not, the process returns to the fourth step. Fifth step, and when the position of the second selected frame is stored in the fifth step, the second selected frame is set as the reference frame, and the image of the set reference frame is currently displayed. A sixth step of displaying the reference frame instead of the image, and a new reference frame is set in the sixth step, in the video stream, the first interval from the set reference frame. It is determined whether or not there is a frame at the position advanced by the amount. If a frame is present, the process returns to the second step. If no frame is present, the last frame is set to the first selection frame. A seventh step of returning to the second step as a program, and an eighth step of terminating the process when the reference frame is the last frame, and further including the third step and The difference between the feature amounts of the reference frame and the first selected frame and the second selected frame obtained in the fifth step is sequentially plotted, and the change in the feature amount of each frame in the video stream is displayed in a graph. 9. A method for displaying a structure analysis process of a video stream, comprising the ninth step of:
対して閾値以上の特徴量を有する第2の選択フレームの
位置を前記グラフ中に表示することを特徴とする請求項
1または2に記載の映像ストリームの構造解析過程表示
方法。3. The ninth step displays in the graph the position of a second selected frame having a feature amount equal to or more than a threshold value with respect to the reference frame.
1. A method for displaying a structure analysis process of a video stream according to 1 or 2 .
各フレームの位置に対応させて、解析処理の進行状況を
示すグラフを表示する第10の工程を含み、 前記第10の工程は、さらに、前記第1の選択フレーム
または第2の選択フレームとして選択されたフレームの
位置および前記基準フレームに対して閾値以上の特徴量
を有する第2の選択フレームの位置を前記グラフ中に表
示することを特徴とする請求項1〜3のいずれか一つに
記載の映像ストリームの構造解析過程表示方法。4. The method further includes a tenth step of displaying a graph showing the progress of the analysis processing in correspondence with the position of each frame constituting the video stream, and the tenth step further includes the step of: The position of the frame selected as the first selected frame or the second selected frame and the position of the second selected frame having a feature amount equal to or more than a threshold with respect to the reference frame are displayed in the graph. The method for displaying a structure analysis process of a video stream according to any one of claims 1 to 3 .
程で実行された処理の過程を記録する第11の工程と、 前記第11の工程で記録した処理の過程を任意のタイミ
ングで再現する第12の工程と、 を含むことを特徴とする請求項1〜4のいずれか一つに
記載の映像ストリームの構造解析過程表示方法。5. An eleventh step of recording the process steps executed in the first to tenth steps, and the process steps recorded in the eleventh step are reproduced at arbitrary timing. 12th step and structural analysis processes display method of the video stream according to any one of claims 1 to 4, characterized in that it comprises a for.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24952898A JP3453312B2 (en) | 1998-09-03 | 1998-09-03 | Display method of structure analysis process of video stream |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24952898A JP3453312B2 (en) | 1998-09-03 | 1998-09-03 | Display method of structure analysis process of video stream |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000076463A JP2000076463A (en) | 2000-03-14 |
JP3453312B2 true JP3453312B2 (en) | 2003-10-06 |
Family
ID=17194332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24952898A Expired - Fee Related JP3453312B2 (en) | 1998-09-03 | 1998-09-03 | Display method of structure analysis process of video stream |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3453312B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7593015B2 (en) * | 2003-11-14 | 2009-09-22 | Kyocera Wireless Corp. | System and method for sequencing media objects |
JP4389160B2 (en) | 2004-03-18 | 2009-12-24 | カシオ計算機株式会社 | Movie shooting device, movie list display method, and program |
KR101564414B1 (en) * | 2008-12-23 | 2015-10-29 | 삼성전자주식회사 | Apparatus and method for displaying image in digital image processing device |
JP6191160B2 (en) * | 2012-07-12 | 2017-09-06 | ノーリツプレシジョン株式会社 | Image processing program and image processing apparatus |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2977829B2 (en) * | 1989-01-11 | 1999-11-15 | 株式会社東芝 | Moving picture reproducing apparatus and moving picture reproducing method |
JPH0352070A (en) * | 1989-07-20 | 1991-03-06 | Nippon Telegr & Teleph Corp <Ntt> | Related information reference system for moving image |
JP2863818B2 (en) * | 1990-08-31 | 1999-03-03 | 工業技術院長 | Moving image change point detection method |
JPH04207878A (en) * | 1990-11-30 | 1992-07-29 | Toshiba Corp | Moving image management device |
JP3221028B2 (en) * | 1992-01-29 | 2001-10-22 | 株式会社日立製作所 | Keyword assignment method for moving image information |
JPH0778804B2 (en) * | 1992-05-28 | 1995-08-23 | 日本アイ・ビー・エム株式会社 | Scene information input system and method |
DE69322470T2 (en) * | 1992-08-12 | 1999-07-15 | International Business Machines Corp., Armonk, N.Y. | System and method for localizing video segment transitions |
JPH08214315A (en) * | 1994-11-29 | 1996-08-20 | Matsushita Electric Ind Co Ltd | Encoded image cut detector |
JP3823333B2 (en) * | 1995-02-21 | 2006-09-20 | 株式会社日立製作所 | Moving image change point detection method, moving image change point detection apparatus, moving image change point detection system |
JP3307613B2 (en) * | 1998-09-03 | 2002-07-24 | 株式会社次世代情報放送システム研究所 | Video search system |
-
1998
- 1998-09-03 JP JP24952898A patent/JP3453312B2/en not_active Expired - Fee Related
Non-Patent Citations (3)
Title |
---|
.Informeda:CMUディジタルビデオライブラリプロジェクト,情報処理,日本,1996年 9月,Vol.37 No.9,pp.841−847 |
E89−33 動画像データベースハンドリングに関する検討,電子情報通信学会技術研究報告,日本,1989年 7月21日,Vol.89 No.150,pp.49−56 |
認識技術を応用した対話型映像編集方式の提案,電子情報通信学会論文誌,日本,1992年 2月,Vol.J75−D−II No.2,pp.216−225 |
Also Published As
Publication number | Publication date |
---|---|
JP2000076463A (en) | 2000-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4652462B2 (en) | Metadata processing method | |
US7421455B2 (en) | Video search and services | |
DE60001057T2 (en) | INTERACTIVE SYSTEM | |
JP3454764B2 (en) | Search system and search method for searching video based on content | |
US7181757B1 (en) | Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing | |
US20040125124A1 (en) | Techniques for constructing and browsing a hierarchical video structure | |
KR100493674B1 (en) | Multimedia data searching and browsing system | |
US8504357B2 (en) | Related word presentation device | |
US20020126143A1 (en) | Article-based news video content summarizing method and browsing system | |
CN1682217B (en) | Media article composition | |
CN101398843B (en) | Device and method for browsing video summary description data | |
JP3307613B2 (en) | Video search system | |
JP3208116B2 (en) | Recording medium recording video index information, video information management method using video index information, recording medium recording audio index information, and audio information management method using audio index information | |
US20110179003A1 (en) | System for Sharing Emotion Data and Method of Sharing Emotion Data Using the Same | |
JP3453312B2 (en) | Display method of structure analysis process of video stream | |
JP4404172B2 (en) | Media scene information display editing apparatus, method, and storage medium storing program according to the method | |
JP2001306579A (en) | Device and method for retrieving information and computer-readable recording medium recorded with program for computer to execute the same method | |
JP2008086030A (en) | Hint information description method | |
KR20000038290A (en) | Moving picture searching method and search data structure based on the case structure | |
JP3478331B2 (en) | Structure display method and computer-readable recording medium storing a program for causing a computer to execute the method | |
JP2001008136A (en) | Authoring device for multimedia data | |
JP4218319B2 (en) | Video browsing system and method | |
JP4228662B2 (en) | Video browsing system and method | |
JPH0944639A (en) | Method and device for classifying video blocks | |
Campanella et al. | Interactive visualization of video content and associated description for semantic annotation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070718 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080718 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090718 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090718 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100718 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130718 Year of fee payment: 10 |
|
LAPS | Cancellation because of no payment of annual fees |