JP3283205B2 - Hierarchical video recording method and presentation method - Google Patents
Hierarchical video recording method and presentation methodInfo
- Publication number
- JP3283205B2 JP3283205B2 JP03250597A JP3250597A JP3283205B2 JP 3283205 B2 JP3283205 B2 JP 3283205B2 JP 03250597 A JP03250597 A JP 03250597A JP 3250597 A JP3250597 A JP 3250597A JP 3283205 B2 JP3283205 B2 JP 3283205B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- index
- video
- block
- average
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、蓄積映像あるいは
ネットワークや放送を介して得られた映像をパーソナル
コンピュータ等のディスプレイに提示、ブラウズするシ
ステムに関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a system for presenting and browsing stored images or images obtained via a network or broadcast on a display of a personal computer or the like.
【０００２】[0002]
【従来の技術】従来、映像を閲覧する場合は、テープあ
るいはハードディスク上に記録された映像をＶＴＲと同
様に再生、早送り、巻き戻し、高速再生等の方法で再生
し、閲覧する手法がある。2. Description of the Related Art Conventionally, when browsing a video, there is a method of reproducing and browsing a video recorded on a tape or a hard disk by a method such as reproduction, fast forward, rewind, and high speed reproduction in the same manner as a VTR.
【０００３】また、映像にシーンチェンジが入る度に１
フレームの映像を静止画として２次元的に配置して、映
像全体の概要を把握する手法（ペーパービデオTM、参
考：外村，谷口，阿久津，”ＰａｐｅｒＶｉｄｅｏ：紙
を用いた新しい映像インタフェース”，信学技報ＩＥ９
４−５９，ｐｐ．１５−２０，（１９９４−０９）．）
がある。[0003] In addition, every time a scene change occurs in the video, one
A method of two-dimensionally arranging frame images as still images and grasping the outline of the entire image (Paper Video TM , Reference: Tonomura, Taniguchi, Akutsu, "PaperVideo: A New Video Interface Using Paper", Academic report IE9
4-59, pp. 15-20, (1994-09). )
There is.
【０００４】[0004]
【発明が解決しようとする課題】従来のＶＴＲと同様の
再生手法では、映像が時間的に一次元で提示され、全体
の概要を一度に把握する事が困難であり、この問題を解
決するために発明されたものが前記ペーパービデオTMで
ある。しかしながら、ペーパービデオTMで用いられてい
るフレーム分割手法で分割されたフレームは、その意味
合いにおいて全て同等であり、映像の持つ内容が、章、
節、等の階層的構造を持っていた場合に、その構造を反
映した提示手法を採っていない。With the same reproduction technique as that of the conventional VTR, the video is presented one-dimensionally in time, and it is difficult to grasp the whole outline at a time. The invention invented is the above-mentioned paper video TM . However, the frames divided by the frame division method used in the paper video TM are all equivalent in that sense, and the contents of the video are chapters,
In the case of having a hierarchical structure such as clauses, etc., a presentation method reflecting the structure is not adopted.
【０００５】本発明は、映像、例えば手話映像のよう
に、その動きに意味のある映像の概要を階層的に容易に
把握することを可能にする映像記録方法および提示方法
を提供することを課題とする。[0005] It is an object of the present invention to provide a video recording method and a video presentation method that enable a hierarchical overview of a video having a meaning in motion, such as a video, for example, a sign language video, to be easily grasped. And
【０００６】[0006]
【課題を解決するための手段】前記課題を解決するた
め、本発明による階層的映像記録方法は、映像データを
映像以外の付加データと共に記録可能な形式で記録する
方法において、画素を単位とする複数のブロックサイズ
を設定し、該サイズを小さいものから順に０，１，２，
…，ｉ，…，Ｉ（ただし、ｉ，Ｉは正整数）なるインデ
ックスと対応させ、フレーム間差分平均の閾値Ｔｈを設
定する過程と、入力された映像のフレームを参照するた
めのフレーム番号ｋ、および前記インデックスｉを初期
化する第１の過程と、入力された第ｋフレームの映像を
各インデックスｉに対応するブロックサイズのブロック
に分割した計Ｉ枚の画像を作成する第２の過程と、前記
作成されたＩ枚の各画像について各ブロック内の画素値
の平均を算出する第３の過程と、第ｋ−１フレームが存
在しなければ、すなわち第ｋフレームが最初のフレーム
であれば、次のフレームに対して前記第２、第３の過程
の処理を開始し、第ｋ−１フレームが存在すれば、第ｋ
−１フレーム上の同じ位置にあるブロックとの前記ブロ
ック内の画素値の平均のフレーム間差分をブロックサイ
ズの異なるＩ枚の全画像について算出する第４の過程
と、前記フレーム間差分値の２乗値または絶対値の第ｋ
フレーム内全ブロックにわたる平均である差分平均値Ｄ
ｉｆｆ（ｉ；ｋ）をブロックサイズの異なるＩ枚の全画
像について算出する第５の過程と、第ｋ−１フレームに
おける差分平均値Ｄｉｆｆ（ｉ；ｋ−１）と前記第ｋフ
レームにおける差分平均値Ｄｉｆｆ（ｉ；ｋ）とを比較
し、その関係において、Ｄｉｆｆ（ｉ；ｋ−１）＜Ｔｈ
かつＤｉｆｆ（ｉ；ｋ）＞Ｔｈの場合には、インデック
スｉにおいて、映像中の物体は動作開始したと判断する
第６の過程と、第ｋフレームにおいて前記映像中の物体
は動作開始したと判断された各ブロックサイズＢＳ
（ｉ）のうち、そのインデックスｉが最小のものを第ｋ
フレームの付加データ領域に、或いは第ｋフレームがイ
ンデックスｉを持つ事を明示する情報をある定められた
領域に付加して前記映像データを記録する第７の過程
と、前記第２段階から第７段階までの処理を、入力され
た映像の最後のフレームまで繰り返し実行する過程と、
を有することを特徴とする。In order to solve the above-mentioned problems, a hierarchical video recording method according to the present invention is a method of recording video data together with additional data other than a video in a recordable format, in units of pixels. A plurality of block sizes are set, and the sizes are set to 0, 1, 2,
.., I,..., I (where i and I are positive integers), a process of setting a threshold value Th of the average of differences between frames, and a frame number k for referring to a frame of an input video. And a first step of initializing the index i, and a second step of creating a total of I images by dividing the input k-th frame image into blocks of a block size corresponding to each index i. A third step of calculating the average of the pixel values in each block for each of the I created images, and if the (k-1) th frame does not exist, that is, if the kth frame is the first frame, , The processes of the second and third steps are started for the next frame, and if the (k−1) th frame exists, the kth frame
A fourth step of calculating the average inter-frame difference of the pixel values in the block from the block located at the same position on the -1 frame for all I images having different block sizes; K-th power or absolute value
Difference average value D, which is the average over all blocks in the frame
a fifth process of calculating if (i; k) for all I images having different block sizes, a difference average value Diff (i; k-1) in the (k-1) th frame and a difference average in the kth frame The value Diff (i; k) is compared with the value Diff (i; k-1) <Th.
If Diff (i; k)> Th, a sixth step of determining that the object in the video has started operating at index i, and determining that the object in the video has started operating in the k-th frame Block size BS
Of (i), the index with the smallest index i is the k-th index.
A seventh step of recording the video data by adding information specifying that the k-th frame has the index i to an additional data area of the frame or a predetermined area; A process of repeatedly executing the processing up to the stage until the last frame of the input video,
It is characterized by having.
【０００７】また、本発明による階層的映像提示方法
は、上記の映像記録方法によって記録された映像を提示
する方法であって、前記映像記録方法によって記録され
たインデックスを参照して、同じインデックスを持つフ
レーム毎に階層的に提示する過程を有することを特徴と
する。Also, a hierarchical video presenting method according to the present invention is a method of presenting a video recorded by the video recording method, wherein the same index is referred to by referring to the index recorded by the video recording method. It is characterized in that it has a process of presenting hierarchically for each frame it has.
【０００８】さらに、前記同じインデックスを持つフレ
ーム毎に階層的に提示する過程では、付加データ領域、
或いはある定められた領域にインデックスｉとマーキン
グされたフレームの画像をディスプレイ上に時系列的に
配置して提示し、インデックスｉ＋１がＩでなければ、
前記提示された任意の画像の指示後の定められたコマン
ドの指定に基づいて、前記指示された画像から同じイン
デックスｉを持つ時間的に次のフレームまでの間でイン
デックスｉ＋１を持つフレームの画像を時系列的に配置
して提示することを特徴とする。Further, in the step of hierarchically presenting each frame having the same index, the additional data area,
Alternatively, an image of a frame marked with an index i in a predetermined area is arranged in time series on a display and presented, and if the index i + 1 is not I,
On the basis of the specified command after the instruction of the presented arbitrary image, the image of the frame having the index i + 1 between the specified image and the temporally next frame having the same index i It is characterized by being arranged and presented in chronological order.
【０００９】本発明では、映像入力時には、フレーム毎
に、予め定められた大小複数のサイズ毎にブロックに分
割し、該ブロック内の画素値の平均を用いてフレーム間
差分を算出し、該フレーム間差分のフレーム毎の差分平
均値を閾値を用いて前フレームと比較して、動作停止か
ら動作開始への特定の変化を前記大小複数のブロックサ
イズ毎に判断し、その特定の変化が判断できた場合には
該ブロックサイズに対応するインデックスを記録データ
上にマーキングして映像を記録する。ブロックサイズが
小さい場合は、細かな動きまで反映した動作停止／開始
が判断でき、ブロックサイズが大きい場合は、大きい動
きを反映した動作停止／開始が判断できるので、上記イ
ンデックスの値は、章や節などといった映像の大きな区
切りや小さな区切りの開始を階層的に表していると考え
られる。そこで、映像提示時には、ユーザからの指示に
基づいて、前記マーキングされたインデックスを参照し
て提示すべきフレームを判断し、該インデックスの値に
対応して階層的に提示する。According to the present invention, at the time of video input, a frame is divided into blocks each having a predetermined large and small size, and an inter-frame difference is calculated by using an average of pixel values in the block. The average difference between frames of the inter-difference is compared with the previous frame using a threshold, a specific change from operation stop to operation start is determined for each of the large and small block sizes, and the specific change can be determined. In this case, an index corresponding to the block size is marked on the recording data to record the video. If the block size is small, it is possible to determine the operation stop / start reflecting small movements, and if the block size is large, it is possible to determine the operation stop / start reflecting large movements. It is considered that the start of a large segment or a small segment of a video such as a clause is hierarchically represented. Therefore, when presenting a video, based on an instruction from the user, a frame to be presented is determined with reference to the marked index, and presented hierarchically in accordance with the value of the index.
【００１０】[0010]
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。Next, embodiments of the present invention will be described with reference to the drawings.
【００１１】図１は、本発明で用いる映像データフォー
マットの実施形態例を示す概念図である。図中（Ａ）
は、フレーム毎にフレーム画像データおよび付加データ
を記録する領域を設けて映像記録を行う場合、（Ｂ）
は、フレーム画像データを記録する領域の前に付加デー
タ等を記録する可変長のヘッダ部を設けて映像記録を行
う場合である。なお、両方の場合とも、各フレーム画像
データおよび該フレーム画像データに関する付加データ
は、フレーム番号を元に参照することができる。FIG. 1 is a conceptual diagram showing an embodiment of a video data format used in the present invention. (A) in the figure
When video recording is performed by providing an area for recording frame image data and additional data for each frame, (B)
In the case where video recording is performed by providing a variable-length header section for recording additional data and the like in front of an area for recording frame image data. In both cases, each frame image data and additional data relating to the frame image data can be referred to based on the frame number.
【００１２】図２、図３は、本発明の第１の実施形態例
の映像記録方法における階層的映像分割アルゴリズムを
示すフローチャートである。図２と図３中の同一の○印
Ａ，Ｂ，Ｃの各同士は、矢印の方向に処理が続くことを
表している。FIGS. 2 and 3 are flowcharts showing a hierarchical video division algorithm in the video recording method according to the first embodiment of the present invention. Each of the same circles A, B, and C in FIG. 2 and FIG. 3 indicates that processing continues in the direction of the arrow.
【００１３】まずステップ１において、ブロック分割で
使用する複数のブロックサイズＢＳ（ｉ），ｉ＝０，
１，２，…，Ｉを設定する。ここでＩは整数である。た
だし、ａ，ｂを整数としてａ＜ｂならば、 ＢＳ（ａ）＜ＢＳ（ｂ） とし、各値は縦横の画素数の約数とする。例えば、３２
０×２４０画素のフレーム画像の場合、ＢＳ（０）＝
４，ＢＳ（１）＝８，ＢＳ（２）＝１６，この場合Ｉ＝
２等と設定する。First, in step 1, a plurality of block sizes BS (i), i = 0,
1, 2,..., I are set. Here, I is an integer. However, if a and b are integers and a <b, then BS (a) <BS (b), and each value is a divisor of the number of vertical and horizontal pixels. For example, 32
In the case of a frame image of 0 × 240 pixels, BS (0) =
4, BS (1) = 8, BS (2) = 16, in this case I =
Set to 2 mag.
【００１４】次にステップ２において、ｋ＝０、すなわ
ち一番最初のフレームから処理を開始するように初期設
定し、後述するステップ１１、１２および１７で用いる
閾値Ｔｈを設定する。Next, in step 2, an initial setting is made so that the process starts from k = 0, that is, the first frame, and a threshold Th used in steps 11, 12 and 17 described later is set.
【００１５】次にステップ３において、入力ビデオから
ディジタル化された第ｋフレームの画像データを読み込
み、もし、該画像データがＲＧＢ成分（Ｒｅｄ，Ｇｒｅ
ｅｎ，Ｂｌｕｅ）で構成されていれば、ステップ４にお
いて、ＲＧＢ成分からＹＩＱ成分（輝度、色差）に変換
される。以降の処理はＹ成分に対して行なう。Next, in step 3, digitized image data of the k-th frame is read from the input video, and if the image data is an RGB component (Red, Gre
en, Blue), the RGB components are converted into YIQ components (luminance, color difference) in step 4. Subsequent processing is performed on the Y component.
【００１６】フレーム画像データのＹ成分について、ス
テップ５において、各ブロックサイズＢＳ（ｉ）（ｉ＝
０，１，…，Ｉ）のブロックに分割される。ブロック分
割の概念図を図４に示す。ここでは、図示のように、フ
レーム画像のサイズは横Ｍ画素、縦Ｎ画素としている。In step 5, for each Y component of the frame image data, each block size BS (i) (i =
0, 1,..., I). FIG. 4 shows a conceptual diagram of the block division. Here, as shown, the size of the frame image is M pixels horizontally and N pixels vertically.
【００１７】次に、ステップ６において、各ブロックサ
イズＢＳ（ｉ）（ｉ＝０，１，…，Ｉ）における各ブロ
ック内の画素値平均ＢＭを式（１）によって算出する。Next, at step 6, the average pixel value BM in each block in each block size BS (i) (i = 0, 1,..., I) is calculated by equation (1).
【００１８】[0018]
【数１】 (Equation 1)
【００１９】ｆm,n（ｘ，ｙ；ｋ）：第ｋフレームＹ成
分の位置ｍ，ｎのブロック画像、 ｘ，ｙ：ブロックｆm,n内の画素位置を示すインデック
ス、整数、 ＢＭi（ｍ，ｎ；ｋ）：ブロックｆm,n内画素値平均。F m , n (x, y; k): block image at position m, n of the k-th frame Y component, x, y: index, integer, BM i indicating the pixel position in block f m , n (m, n; k): block f m, n in the average pixel value.
【００２０】次に、ステップ７において、現在のフレー
ム番号ｋを検査し、最初のフレーム（すなわちｋ＝０）
であれば、ステップ８にて式（１）で算出された各ブロ
ックサイズＢＳ（ｉ）（ｉ＝０，１，…，Ｉ）における
ブロック内画素値平均ＢＭをデータ９に保存するととも
に、ｋを１増加してステップ３に戻り、次のフレーム
（すなわちｋ＝１）の処理を行う。現在のフレームが最
初のフレームでなければ、ステップ１０において、デー
タ９に保存されている第ｋ−１フレームにおける各ブロ
ックサイズＢＳ（ｉ）（ｉ＝０，１，…，Ｉ）の前記ブ
ロック内画素値平均ＢＭとの差のフレーム全体の平均Ｄ
ｉｆｆを式（２）によって算出する。Next, in step 7, the current frame number k is checked, and the first frame (that is, k = 0) is checked.
If, the average pixel value BM in the block at each block size BS (i) (i = 0, 1,..., I) calculated by the equation (1) in step 8 is stored in the data 9 and k Is incremented by 1 and the process returns to step 3, where the process for the next frame (that is, k = 1) is performed. If the current frame is not the first frame, in step 10 the block of each block size BS (i) (i = 0, 1,..., I) in the (k-1) th frame stored in the data 9 Average D of the entire frame of the difference from the pixel value average BM
If is calculated by equation (2).
【００２１】[0021]
【数２】 (Equation 2)
【００２２】Ｄｉｆｆの値が負にならないように、ここ
では差分計算には差の２乗を用いるが、差分の絶対値を
用いてもよい。Although the difference is calculated using the square of the difference so that the value of Diff does not become negative, the absolute value of the difference may be used.
【００２３】次にステップ１１において、各ブロックサ
イズＢＳ（ｉ）（ｉ＝０，１，…，Ｉ）において第ｋフ
レームと第ｋ−１フレームの該差分値の値を比較し、ス
テップ１２において、 Ｄｉｆｆ（ｉ；ｋ−１）＜Ｔｈ ａｎｄ Ｄｉｆｆ（ｉ；ｋ）＞Ｔｈ…（３） を満たすブロックサイズＢＳ（ｉ）の内、最小のインデ
ックスｉを第ｋフレームの付加データ領域にマーキング
する。Next, in step 11, the difference value between the k-th frame and the (k-1) -th frame is compared in each block size BS (i) (i = 0, 1,..., I). , Diff (i; k-1) <Th and Diff (i; k)> Th (3) The minimum index i of the block size BS (i) satisfying the following condition is marked in the additional data area of the k-th frame. .
【００２４】次にステップ１１にて、全てのブロックサ
イズにおいて前記条件を満たさない場合、およびステッ
プ１２における処理を行なった後には、ステップ１３に
て現在のフレーム番号ｋを検査し、最後のフレームでな
ければステップ１４にて次のフレームに進み、同様の処
理を繰り返し、最後のフレームであれば、本処理を終了
する。Next, in step 11, if the above conditions are not satisfied in all block sizes, and after the processing in step 12, the current frame number k is checked in step 13, and If not, the process proceeds to the next frame in step 14, and the same processing is repeated. If it is the last frame, this processing ends.
【００２５】図５は、図３におけるステップ１２の処理
によって、図１に示す付加データ領域にマーキングされ
たインデックスの状態を示す概念図である。図中の
（Ａ）、（Ｂ）はそれぞれ図１の（Ａ）、（Ｂ）と対応
している。（Ａ）では、各フレームに付随した付加デー
タ領域にインデックスがマーキングされている状態を示
し、（Ｂ）では、インデックスがマーキングされたフレ
ームのフレーム番号がヘッダ部に記録されている状態を
示している。（Ａ）、（Ｂ）両図中、フレーム番号０、
７、１７および３１にインデックス０が、フレーム番号
２、９、１１、１５、２０および２８にインデックス１
が、フレーム番号１３、２２および２５にインデックス
２がマーキングされている。FIG. 5 is a conceptual diagram showing the state of the index marked in the additional data area shown in FIG. 1 by the processing of step 12 in FIG. (A) and (B) in the figure correspond to (A) and (B) in FIG. 1, respectively. (A) shows a state in which an index is marked in an additional data area attached to each frame, and (B) shows a state in which the frame number of the frame in which the index is marked is recorded in a header portion. I have. (A), (B) In both figures, frame number 0,
7, 17, and 31 have index 0, and frame numbers 2, 9, 11, 15, 20, and 28 have index 1
However, index 2 is marked on frame numbers 13, 22, and 25.
【００２６】図６は、本発明の第２の実施形態例による
階層的映像提示方法を示す概念図である。図６で示した
３つの枠はＰＣ上のウィンドウで各ウィンドウが１画面
上で重畳して表示される場合と、また、それぞれの枠が
１画面上で切り替わって表示される場合等が考えられ
る。図６では、図５に示したマーキングを施されたデー
タを用いて説明する。本提示方法による提示システムで
は最初に階層０と書かれた画面（ａ）が提示される。階
層０の画面には、図５におけるインデックスが０とマー
キングされた、フレーム番号０、７、１７および３１の
フレーム画像が時間順に左上から右下に向かって配置し
て提示される。これらの画像から、例えばフレーム番号
１７のフレーム画像をマウスクリック等で指示した場
合、階層１の画面には、フレーム番号１７から、次にイ
ンデックス０とマーキングされているフレーム番号３１
までの間に存在するインデックス１とマーキングされた
フレーム画像２０、２８が提示される。同様の手法で、
階層１の画面上で、例えばフレーム番号２０の画像を指
示すれば、階層２の画面には、フレーム番号２０から、
次にインデックス１とマーキングされたフレーム番号２
８までの間に存在するインデックス２とマーキングされ
たフレーム画像２２、２５が提示される。FIG. 6 is a conceptual diagram showing a hierarchical image presentation method according to a second embodiment of the present invention. The three frames shown in FIG. 6 are windows on the PC in which each window is superimposed and displayed on one screen, and each frame is switched and displayed on one screen. . In FIG. 6, description will be made using the data with the marking shown in FIG. In the presentation system according to the present presentation method, a screen (a) written as layer 0 is presented first. On the screen of the hierarchy 0, the frame images of the frame numbers 0, 7, 17 and 31 marked with the index 0 in FIG. 5 are arranged and presented from the upper left to the lower right in chronological order. For example, when the frame image of the frame number 17 is designated by a mouse click or the like from these images, the frame number 17 is displayed on the screen of the layer 1 from the frame number 17 to the frame number 31 marked with the index 0 next
The frame images 20 and 28 marked with the index 1 existing before are presented. In a similar way,
For example, if the image of the frame number 20 is indicated on the screen of the layer 1, the screen of the layer 2 is
Next, frame number 2 marked with index 1
The frame images 22, 25 marked with the index 2 existing up to 8 are presented.
【００２７】図７は、本発明において動作停止中、動作
開始、動作中、動作停止と判断される様子を、フレーム
番号ｋと差分値（Ｄｉｆｆ（ｋ））の関係を示すグラフ
を用いて表したものである。３つの折れ線は、それぞれ
３つのブロックサイズ（ｉ＝０，１，２）に対応してい
る。ここで各折れ線が閾値Ｔｈと交わる点を時間順にｔ
１〜ｔ１０とすると、式（３）の条件を満たす点ｔ１，
ｔ２，ｔ３，ｔ５，ｔ８，ｔ１０は、各ブロックサイズ
において、動作停止中から動作開始したと判断できる点
であり、ｔ１，ｔ１０においてはインデックス０が、ｔ
２，ｔ８においてはインデックス１が、ｔ３，ｔ５にお
いてはインデックス２がマーキングされる。ｔ１０のよ
うに２以上のブロックサイズで動作開始と判断された場
合には、ブロックサイズの大きい方のインデックスがマ
ーキングされる。FIG. 7 is a table showing how the operation is judged to be stopped, started, operated or stopped in the present invention, using a graph showing the relationship between the frame number k and the difference value (Diff (k)). It was done. The three broken lines respectively correspond to three block sizes (i = 0, 1, 2). Here, the point at which each polygonal line intersects the threshold value Th is represented in time order by t.
Assuming that 1 to t10, the points t1, satisfying the condition of Expression (3)
t2, t3, t5, t8, and t10 are points at which it is possible to determine that the operation has been started from the time when the operation is stopped in each block size.
At t2 and t8, index 1 is marked, and at t3 and t5, index 2 is marked. When it is determined that the operation starts with two or more block sizes as at t10, the index with the larger block size is marked.
【００２８】第ｋフレームにおいて、動作停止中、動作
開始、動作中、動作停止を判断するには、閾値Ｔｈを用
いて次のようにする。第ｋ−１フレームにおける差分平
均値Ｄｉｆｆ（ｉ；ｋ−１）と第ｋフレームにおける差
分平均値Ｄｉｆｆ（ｉ；ｋ）とを比較し、その関係にお
いて、Ｄｉｆｆ（ｉ；ｋ−１）＜ＴｈかつＤｉｆｆ
（ｉ；ｋ）＜Ｔｈの場合には、インデックスｉにおい
て、映像中の物体は動作停止中であると、Ｄｉｆｆ
（ｉ；ｋ−１）＜ＴｈかつＤｉｆｆ（ｉ；ｋ）＞Ｔｈの
場合には、インデックスｉにおいて、映像中の物体は動
作開始したと、Ｄｉｆｆ（ｉ；ｋ−１）＞ＴｈかつＤｉ
ｆｆ（ｉ；ｋ）＞Ｔｈの場合には、インデックスｉにお
いて、映像中の物体は動作中であると、Ｄｉｆｆ（ｉ；
ｋ−１）＞ＴｈかつＤｉｆｆ（ｉ；ｋ）＜Ｔｈの場合に
は、インデックスｉにおいて、映像中の物体は動作停止
したと判断する。In the k-th frame, to determine whether the operation is stopped, the operation is started, the operation is being performed, or the operation is stopped, the threshold value Th is used as follows. The difference average value Diff (i; k-1) in the k-1st frame is compared with the difference average value Diff (i; k) in the kth frame, and in the relation, Diff (i; k-1) <Th And Diff
If (i; k) <Th, the index object i indicates that the object in the video is not moving,
If (i; k-1) <Th and Diff (i; k)> Th, at index i, if the object in the video starts operating, Diff (i; k-1)> Th and Di
If ff (i; k)> Th, at index i, if the object in the video is operating, Diff (i; k;
If k-1)> Th and Diff (i; k) <Th, it is determined that the object in the video has stopped operating at the index i.
【００２９】図７は、ブロックサイズＢＳ（ｉ）が小さ
いほど差分値（Ｄｉｆｆ（ｋ））が大きくなることを示
している。その理由を図８を用いて説明する。説明を簡
単にするために、４×４の単位ブロックからなる第０
（ｋ＝０）フレームの映像が、第１（ｋ＝１）フレーム
において（Ａ）に示すように変化したとする。０，ｘは
単位ブロック内の画素値を表す。FIG. 7 shows that the smaller the block size BS (i), the larger the difference value (Diff (k)). The reason will be described with reference to FIG. For simplicity, the 0th block consisting of 4 × 4 unit blocks
It is assumed that the video of the (k = 0) frame changes in the first (k = 1) frame as shown in FIG. 0 and x represent pixel values in the unit block.
【００３０】（Ｂ）はブロックサイズが２のときの第０
フレームを分割した図であり、４つの小さいブロックに
分割される。この４つのブロックにおける各フレームの
ブロック内画素値平均ＢＭ（１）〜ＢＭ（４）は、 ｋ＝０：ＢＭ（１）＝ｘ，ＢＭ（２）＝ＢＭ（３）＝Ｂ
Ｍ（４）＝０、 ｋ＝１：ＢＭ（１）＝ＢＭ（２）＝ＢＭ（３）＝０，Ｂ
Ｍ（４）＝ｘ となる。これより、第１フレームにおける差分値を求め
ると、 Ｄｉｆｆ＝（（ｘ−０）2＋（０−０）2＋（０−０）2
＋（０−ｘ）2）／４ となる。一方、（Ｃ）はブロックサイズが４のときの第
０フレームを分割した図であり、この例では全体で１つ
の大きいブロックとなる。この１つのブロックにおける
各フレームのブロック内画素値平均ＢＭ（１）は、 ｋ＝０：ＢＭ（１）＝４ｘ／１６＝ｘ／４ ｋ＝１：ＢＭ（１）＝４ｘ／１６＝ｘ／４ となる。これより、第１フレームにおける差分値を求め
ると、 Ｄｉｆｆ＝（（ｘ／４−ｘ／４）2）／１＝０ となる。すなわち、ブロックサイズが小さくなると差分
値が大きくなる。このように、ブロックサイズが小さい
ときに差分が捉えられても、ブロックサイズが大きい場
合には平均化されて差分が現れない。つまり、ＢＳ
（ａ）＜ＢＳ（ｂ）であれば、Ｄｉｆｆ（ａ；ｋ）≧Ｄ
ｉｆｆ（ｂ；ｋ）となる。(B) shows the 0th block when the block size is 2;
FIG. 3 is a view obtained by dividing a frame, which is divided into four small blocks. The average pixel values BM (1) to BM (4) in each frame of the four blocks are as follows: k = 0: BM (1) = x, BM (2) = BM (3) = B
M (4) = 0, k = 1: BM (1) = BM (2) = BM (3) = 0, B
M (4) = x. From this, when the difference value in the first frame is obtained, Diff = ((x−0) 2 + (0−0) 2 + (0−0) 2
+ (0−x) 2 ) / 4. On the other hand, (C) is a diagram in which the 0th frame when the block size is 4 is divided, and in this example, the whole is one large block. Average pixel value BM (1) in each block in this one block is as follows: k = 0: BM (1) = 4x / 16 = x / 4 k = 1: BM (1) = 4x / 16 = x / 4 From this, when the difference value in the first frame is obtained, Diff = ((x / 4−x / 4) 2 ) / 1 = 0. That is, as the block size decreases, the difference value increases. As described above, even if a difference is detected when the block size is small, the difference is not averaged when the block size is large. That is, BS
If (a) <BS (b), Diff (a; k) ≧ D
if (b; k).
【００３１】以上のように、ブロックサイズが小さいと
きのフレーム間差分では、細かな動きや動作が反映され
るので細かな動きや動作の停止／開始が判断でき、ブロ
ックサイズが大きいときのフレーム間差分では、大きな
動きや動作が反映されるのでその大きな動きや動作の停
止／開始が判断できる。例えば、手話映像の場合のよう
に、細かな動作までもが完全に暫くの間停止すれば話題
（章）の区切りと判断することができ、細かな動きはあ
るものの大きな動作としては殆ど停止していれば、それ
は章に含まれる、より小さい区切り（節や段落）と判断
することができる。このように動きや動作の大きさを反
映したブロックサイズに対応して映像データ上にマーキ
ングされたインデックスの値は、章や節などといった映
像の区切りの開始フレームを階層的に示していると考え
られる。したがって、このインデックスにより階層的に
映像を提示することによって、必ずしもカット点の存在
しない手話映像等の映像の概要の把握を容易にすること
が可能になる。As described above, the difference between frames when the block size is small reflects minute movements and operations, so that it is possible to determine whether the movement or operation is stopped or started. The difference reflects a large movement or operation, so that the stop / start of the large movement or operation can be determined. For example, as in the case of sign language video, if even the detailed operation stops for a while, it can be determined that the topic (chapter) is a break. If so, it can be determined to be a smaller break (section or paragraph) in the chapter. In this way, the index value marked on the video data corresponding to the block size reflecting the size of the motion or motion is considered to hierarchically indicate the start frame of the video break such as a chapter or section. Can be Therefore, by presenting images hierarchically using this index, it is possible to easily grasp the outline of images such as sign language images that do not necessarily have cut points.
【００３２】[0032]
【発明の効果】以上説明したように、本発明を用いれ
ば、映像、特に手話映像のように、その動きに意味のあ
る映像の概要を階層的に把握することが容易になるとい
う効果がある。As described above, according to the present invention, there is an effect that it is easy to hierarchically grasp an outline of a video, especially a sign language video, which has a meaning in motion, such as a sign language video. .
【図１】（Ａ），（Ｂ）は、本発明で用いる映像データ
フォーマットの例を示す概念図である。FIGS. 1A and 1B are conceptual diagrams showing an example of a video data format used in the present invention.
【図２】本発明の第１の実施形態例による階層的映像分
割アルゴリズムを示すフローチャートである。FIG. 2 is a flowchart illustrating a hierarchical video segmentation algorithm according to the first embodiment of the present invention.
【図３】上記第１の実施形態例による階層的映像分割ア
ルゴリズムを示すフローチャートの続きである。FIG. 3 is a continuation of a flowchart showing a hierarchical video segmentation algorithm according to the first embodiment.
【図４】上記第１の実施形態例におけるブロック分割の
概念図である。FIG. 4 is a conceptual diagram of block division in the first embodiment.
【図５】（Ａ），（Ｂ）は、付加データ領域にマーキン
グされたインデックスの状態を示す概念図である。FIGS. 5A and 5B are conceptual diagrams showing states of indexes marked in an additional data area. FIGS.
【図６】本発明の第２の実施形態例による階層的映像提
示方法を示す概念図である。FIG. 6 is a conceptual diagram illustrating a hierarchical image presentation method according to a second embodiment of the present invention.
【図７】本発明において判断される動作状態を示す図で
ある。FIG. 7 is a diagram showing an operation state determined in the present invention.
【図８】（Ａ），（Ｂ），（Ｃ）は、本発明による動作
状態の判断手法を説明する図である。FIGS. 8A, 8B, and 8C are diagrams for explaining a method of determining an operation state according to the present invention;
１〜８、１０〜１５…ステップ ９…ブロック内画素値平均データ 1 to 8, 10 to 15 Step 9: Average pixel value data in the block
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 5/76 - 5/956 H04N 7/24 - 7/68 ──────────────────────────────────────────────────続 き Continued on the front page (58) Field surveyed (Int.Cl. 7 , DB name) H04N 5/76-5/956 H04N 7/ 24-7/68
Claims (3)
に記録可能な形式で記録する方法において、 画素を単位とする複数のブロックサイズを設定し、該サ
イズを小さいものから順に０，１，２，…，ｉ，…，Ｉ
（ただし、ｉ，Ｉは正整数）なるインデックスと対応さ
せ、フレーム間差分平均の閾値Ｔｈを設定する過程と、 入力された映像のフレームを参照するためのフレーム番
号ｋ、および前記インデックスｉを初期化する第１の過
程と、 入力された第ｋフレームの映像を各インデックスｉに対
応するブロックサイズのブロックに分割した計Ｉ枚の画
像を作成する第２の過程と、 前記作成されたＩ枚の各画像について各ブロック内の画
素値の平均を算出する第３の過程と、 第ｋ−１フレームが存在しなければ、すなわち第ｋフレ
ームが最初のフレームであれば、次のフレームに対して
前記第２、第３の過程の処理を開始し、第ｋ−１フレー
ムが存在すれば、第ｋ−１フレーム上の同じ位置にある
ブロックとの前記ブロック内の画素値の平均のフレーム
間差分をブロックサイズの異なるＩ枚の全画像について
算出する第４の過程と、 前記フレーム間差分値の２乗値または絶対値の第ｋフレ
ーム内全ブロックにわたる平均である差分平均値Ｄｉｆ
ｆ（ｉ；ｋ）をブロックサイズの異なるＩ枚の全画像に
ついて算出する第５の過程と、 第ｋ−１フレームにおける差分平均値Ｄｉｆｆ（ｉ；ｋ
−１）と前記第ｋフレームにおける差分平均値Ｄｉｆｆ
（ｉ；ｋ）とを比較し、その関係において、Ｄｉｆｆ
（ｉ；ｋ−１）＜ＴｈかつＤｉｆｆ（ｉ；ｋ）＞Ｔｈの
場合には、インデックスｉにおいて、映像中の物体は動
作開始したと判断する第６の過程と、 第ｋフレームにおいて前記映像中の物体は動作開始した
と判断された各ブロックサイズＢＳ（ｉ）のうち、その
インデックスｉが最小のものを第ｋフレームの付加デー
タ領域に、或いは第ｋフレームがインデックスｉを持つ
事を明示する情報をある定められた領域に付加して前記
映像データを記録する第７の過程と、 前記第２段階から第７段階までの処理を、入力された映
像の最後のフレームまで繰り返し実行する過程と、 を有することを特徴とする階層的映像記録方法。1. A method for recording video data in a format recordable together with additional data other than video, comprising: setting a plurality of block sizes in pixel units; ..., i, ..., I
(Where i and I are positive integers) and a process of setting a threshold value Th of the average of inter-frame differences, a frame number k for referring to a frame of an input video, and the index i being initialized. A first process of converting the input k-th frame image into blocks having a block size corresponding to each index i to generate a total of I images; A third process of calculating the average of the pixel values in each block for each image of the above, and if the (k-1) th frame does not exist, that is, if the kth frame is the first frame, The processes of the second and third steps are started, and if the (k-1) th frame exists, the average frame value of the pixel values in the block with the block at the same position on the (k-1) th frame A fourth step of calculating the inter-system difference for all I images having different block sizes; and a difference average value Dif which is an average of the square value or the absolute value of the inter-frame difference value over all blocks in the k-th frame.
a fifth process of calculating f (i; k) for all I images having different block sizes; and a difference average value Diff (i; k) in the (k-1) th frame.
-1) and the average difference value Diff in the k-th frame
(I; k), and in that relation Diff
If (i; k-1) <Th and Diff (i; k)> Th, at index i, a sixth step of determining that the object in the video has started operating; The object in the block size BS (i) that has been determined to have started to operate has the smallest index i in the additional data area of the k-th frame, or specifies that the k-th frame has index i. A step of recording the video data by adding information to a predetermined area, and a step of repeatedly performing the processing from the second step to the seventh step until the last frame of the input video A hierarchical video recording method, comprising:
録された映像を提示する方法であって、 前記映像記録方法によって記録されたインデックスを参
照して、同じインデックスを持つフレーム毎に階層的に
提示する過程を有する、 ことを特徴とする階層的映像提示方法。2. A method for presenting a video recorded by the video recording method according to claim 1, wherein the video recording method refers to the index recorded by the video recording method and hierarchically displays frames having the same index. A method for presenting a hierarchical image, comprising the step of presenting.
に階層的に提示する過程では、 付加データ領域、或いはある定められた領域にインデッ
クスｉとマーキングされたフレームの画像をディスプレ
イ上に時系列的に配置して提示し、 インデックスｉ＋１がＩでなければ、前記提示された任
意の画像の指示後の定められたコマンドの指定に基づい
て、前記指示された画像から同じインデックスｉを持つ
時間的に次のフレームまでの間でインデックスｉ＋１を
持つフレームの画像を時系列的に配置して提示する、 ことを特徴とする請求項２記載の階層的映像提示方法。3. In the step of hierarchically presenting each frame having the same index, an image of a frame marked with an index i in an additional data area or a predetermined area is arranged in time series on a display. If the index i + 1 is not I, based on the specification of a predetermined command after the instruction of the presented arbitrary image, the next temporally having the same index i from the specified image 3. The hierarchical video presentation method according to claim 2, wherein images of frames having an index i + 1 up to the frame are arranged in time series and presented.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03250597A JP3283205B2 (en) | 1997-02-18 | 1997-02-18 | Hierarchical video recording method and presentation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03250597A JP3283205B2 (en) | 1997-02-18 | 1997-02-18 | Hierarchical video recording method and presentation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10233999A JPH10233999A (en) | 1998-09-02 |
| JP3283205B2 true JP3283205B2 (en) | 2002-05-20 |
Family
ID=12360855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03250597A Expired - Fee Related JP3283205B2 (en) | 1997-02-18 | 1997-02-18 | Hierarchical video recording method and presentation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3283205B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100601618B1 (en) * | 1999-08-27 | 2006-07-14 | 삼성전자주식회사 | Apparatus for supplying the opimul data for hierachical motion estimator and method thereof |
-
1997
- 1997-02-18 JP JP03250597A patent/JP3283205B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10233999A (en) | 1998-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7149974B2 (en) | Reduced representations of video sequences | |
| US7199805B1 (en) | Method and apparatus for titling | |
| US7725837B2 (en) | Digital image browser | |
| US8830272B2 (en) | User interface for a digital production system including multiple window viewing of flowgraph nodes | |
| JP3390979B2 (en) | Method and apparatus for editing video programs | |
| US20090003712A1 (en) | Video Collage Presentation | |
| US7483619B2 (en) | System for authoring and viewing detail on demand video | |
| JP2012054619A (en) | Editing apparatus, editing method, editing program and data structure | |
| US20030210261A1 (en) | Scalable video summarization | |
| JP2003507943A (en) | System and method for performing fast forward and slow motion speed conversion in a video stream based on video content | |
| JP2003052011A (en) | Video editing method and system for editing video project | |
| JP2004274768A (en) | Method for preparing annotated video file | |
| US6272279B1 (en) | Editing method of moving images, editing apparatus and storage medium storing its editing method program | |
| JPH10243323A (en) | Scene managing device, method therefor and recording medium | |
| JP3283205B2 (en) | Hierarchical video recording method and presentation method | |
| EP1280155A2 (en) | Nonlinear editing system | |
| US7743342B2 (en) | Moving-image icon generating apparatus | |
| JP3595871B2 (en) | Apparatus for displaying / editing continuous media information, method for displaying / editing continuous media information, and recording medium recording the processing procedure thereof | |
| JP4151640B2 (en) | Image display method, image display program, and editing apparatus | |
| JP4736081B2 (en) | Content browsing system, content server, program, and storage medium | |
| JP3564233B2 (en) | Video presentation method | |
| JPH11308567A (en) | Layout video image edit method with page display function, its system and recording medium recording its program | |
| JP2925716B2 (en) | Image retrieval device | |
| JP2001036855A (en) | Moving image editing device | |
| JP2005033267A (en) | Method for converting still picture into moving picture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090301 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090301 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100301 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |