JPH06153146A - Scene change detector for moving picture and edit device - Google Patents
Scene change detector for moving picture and edit deviceInfo
- Publication number
- JPH06153146A JPH06153146A JP29483892A JP29483892A JPH06153146A JP H06153146 A JPH06153146 A JP H06153146A JP 29483892 A JP29483892 A JP 29483892A JP 29483892 A JP29483892 A JP 29483892A JP H06153146 A JPH06153146 A JP H06153146A
- Authority
- JP
- Japan
- Prior art keywords
- image
- scene change
- correlation
- value
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Complex Calculations (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
【0001】[0001]
【産業上の利用分野】本発明は画像記録媒体から動画像
を再生する際に、画像記録媒体に記録された動画像から
代表的な画像を抽出して要約画像(ブラウジング画像)
を生成することが可能な画像編集装置に関するものであ
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention extracts a representative image from a moving image recorded on an image recording medium when reproducing the moving image from the image recording medium and summarizes the image (browsing image).
The present invention relates to an image editing device capable of generating a.
【0002】[0002]
【従来の技術】従来、VTRやビデオディスクなどの動
画像記録媒体に記録された動画像を短時間で見ようとし
た場合、早送り再生の方法を用いる。2. Description of the Related Art Conventionally, when trying to view a moving image recorded on a moving image recording medium such as a VTR or a video disc in a short time, a fast-forward reproduction method is used.
【0003】VTRの早送り再生は、テープ走行速度を
通常の再生速度より高速にして再生することによって実
現する。例えば、通常の再生速度の11倍、27倍、4
5倍のテープ走行速度にして早送り再生が行われる。ま
た、ビデオディスクの早送り再生は、ディスク上の再生
トラックを一定間隔にスキップしながら再生することに
よって実現する。このように従来のVTRやビデオディ
スクの早送り再生では、これら動画像記録媒体に記録さ
れた動画像の内容とは無関係に、記録された動画像から
一定間隔で早送り再生用の画像が抽出される。The fast-forward reproduction of the VTR is realized by making the tape running speed faster than the normal reproduction speed. For example, 11 times, 27 times, 4 times the normal playback speed
Fast-forward playback is performed at a tape running speed of 5 times. Fast-forward playback of a video disc is realized by skipping playback tracks on the disc at regular intervals. As described above, in the conventional fast-forward reproduction of a VTR or a video disc, images for fast-forward reproduction are extracted at regular intervals from the recorded moving images, regardless of the contents of the moving images recorded on these moving image recording media. .
【0004】一方、VTRでは記録された動画像を管理
するための情報を、ビデオテープに動画像とともに記録
するというものがある。一例として、VISS(VHS In
dexSearch System) について説明する。VISSと
は、VHS方式のVTRにおいて高速頭出しを行うため
に開発されたものである。ビデオテープには、通常の画
像情報を記録するビデオトラック以外に、この高速頭出
しを行うためのVISS信号を記録するコントロールト
ラックが存在する。このVISS信号は、ビデオテープ
に画像情報を録画し始めたときに、コントロールトラッ
クに自動的に記録される。また、ユーザが見たい場面に
対してVISS信号を記録することもできる。このよう
にしてビデオテープ上に記録されたVISS信号を利用
して、イントロサーチと呼ばれる早送り再生を行うこと
ができる。イントロサーチとは、早送り中にVISS信
号を見つけると、ある時間だけ再生状態にし、その後再
び早送りするという動作をテープの終わりまで繰り返す
ものである。このようなイントロサーチでは、ビデオテ
ープに録画された動画像の内容に関係した早送り再生を
行うことができる。On the other hand, some VTRs record information for managing recorded moving images on a video tape together with the moving images. As an example, VISS (VHS In
dexSearch System). VISS was developed for high-speed cueing in a VHS type VTR. The video tape has a control track for recording a VISS signal for performing this high-speed cueing, in addition to a video track for recording normal image information. This VISS signal is automatically recorded on the control track when the image information is started to be recorded on the video tape. It is also possible to record the VISS signal for the scene that the user wants to see. Using the VISS signal recorded on the video tape in this way, fast-forward reproduction called intro search can be performed. The intro search is a process in which when a VISS signal is found during fast-forwarding, the playback state is maintained for a certain time and then fast-forwarding is repeated until the end of the tape. In such an intro search, fast-forward reproduction related to the content of a moving image recorded on a video tape can be performed.
【0005】[0005]
【発明が解決しようとする課題】以上のような従来例
で、動画像記録媒体に記録された動画像の内容とは無関
係に記録された動画像から一定間隔で早送り再生用の画
像を抽出する場合、画像の変化が激しい場面でも、ほと
んど変化のない場面でも同一の間隔で抽出される。この
ため、抽出する間隔を長くすると変化の激しい場面では
見ずらいものとなり、抽出する間隔を短くすると変化の
ほとんどない場面では冗長なものとなるという課題があ
る。In the above-described conventional example, images for fast-forward reproduction are extracted at regular intervals from the recorded moving image regardless of the content of the moving image recorded on the moving image recording medium. In this case, the images are extracted at the same intervals even in a scene in which the image changes drastically or in a scene in which the image hardly changes. For this reason, there is a problem that if the extraction interval is made long, it becomes difficult to see in a scene that changes drastically, and if the extraction interval is made short, it becomes redundant in a scene that hardly changes.
【0006】また、動画像記録媒体に記録された動画像
の内容に関係して記録された動画像から早送り再生用の
画像を抽出する場合、前述したようにVISS信号を記
録する必要があり、録画開始時点に自動的に記録される
VISS信号以外はユーザが手動で記録しなければなら
い。このため、動画像の内容が変化するすべての部分を
早送り再生画像として抽出しようとすると、VISS信
号の記録には膨大な手間がかかるという課題がある。さ
らに、VISS信号は単なるマーキングに過ぎず、画像
内容に関連した情報は持っていないため、VISS信号
が付けられた画像の中から自動的に画像内容を考慮した
選択を行うことは不可能である。When extracting an image for fast-forward reproduction from a moving image recorded in relation to the content of the moving image recorded on the moving image recording medium, it is necessary to record the VISS signal as described above. The user must manually record a signal other than the VISS signal that is automatically recorded at the start of recording. Therefore, if it is attempted to extract all the portions in which the content of the moving image changes as a fast-forward reproduced image, there is a problem that it takes a great deal of time to record the VISS signal. Further, since the VISS signal is merely marking and does not have information related to the image content, it is impossible to automatically select the image with the VISS signal in consideration of the image content. .
【0007】本発明はかかる点に鑑み、動画像記録媒体
に記録された動画像に対して画像内容を考慮した早送り
再生用の画像を自動生成可能な画像編集装置を提供する
ことを目的とする。In view of the above point, an object of the present invention is to provide an image editing apparatus capable of automatically generating an image for fast-forward reproduction in consideration of the image content of a moving image recorded on a moving image recording medium. .
【0008】[0008]
【課題を解決するための手段】上記課題を解決するため
に以下のような構成とする。In order to solve the above-mentioned problems, the following constitution is adopted.
【0009】画面中に複数の検出領域を設け、その各検
出領域について、所定の偏移における相関値を求める手
段と、その相関値より各検出領域ごとに動きベクトルを
求める手段と、動きベクトルの値または相関値またはそ
れらの組合せによりその検出領域の動きベクトルの信頼
性を導出する信頼性導出手段と、前記信頼性導出手段の
結果からシーンチェンジを検出する手段とを具備したシ
ーンチェンジ検出装置である。A plurality of detection areas are provided in the screen, and means for obtaining a correlation value at a predetermined deviation for each detection area, means for obtaining a motion vector for each detection area from the correlation value, and motion vector A scene change detection device comprising a reliability deriving means for deriving the reliability of a motion vector of a detection area by a value or a correlation value or a combination thereof, and means for detecting a scene change from the result of the reliability deriving means. is there.
【0010】または、画面中に複数の検出領域を設け、
その各検出領域について、所定の偏移における相関値を
求める手段と、その相関値より各検出領域ごとに動きベ
クトルを求める手段と、動きベクトルの値または相関値
またはそれらの組合せによりその検出領域の動きベクト
ルの信頼性を導出する信頼性導出手段と、画像から色の
濃度値を抽出する色抽出手段と、前記色抽出手段と前記
信頼性導出手段の結果からシーンチェンジを検出する手
段とを具備したシーンチェンジ検出装置である。Alternatively, a plurality of detection areas are provided on the screen,
For each of the detection areas, means for obtaining a correlation value at a predetermined deviation, means for obtaining a motion vector for each detection area from the correlation value, and a value of the motion vector or a correlation value or a combination thereof A reliability deriving unit for deriving the reliability of the motion vector, a color extracting unit for extracting a color density value from an image, and a unit for detecting a scene change from the results of the color extracting unit and the reliability deriving unit. This is a scene change detection device.
【0011】または、画像を圧縮する手段と、画像の圧
縮率あるいは画像間の相関を時系列データとして検出す
る画像状態検出手段と、前記時系列データを記憶する手
段と、前記時系列データをもとにシーンチェンジを検出
する手段とを具備したシーンチェンジ検出装置である。Alternatively, a means for compressing an image, an image state detecting means for detecting a compression ratio of images or a correlation between images as time series data, a means for storing the time series data, and a time series data are also included. And a scene change detecting device including means for detecting a scene change.
【0012】または、前記シーンチェンジ検出手段によ
り分割された画像あるいは音声信号に対して、文字情報
等を書き込むためのヘッダ部を前記画像あるいは音声信
号の最初あるいは最後に与えるファイル化手段と、ヘッ
ダ部に前記画像あるいは音声信号に関する情報を書き込
むヘッダ入力手段と、ファイル化された画像単位に消
去、移動、記録を行う編集手段とを具備した画像編集装
置である。Alternatively, for the image or audio signal divided by the scene change detecting means, a header portion for writing character information or the like is provided at the beginning or end of the image or audio signal, and a header portion. The image editing apparatus is provided with a header input means for writing information about the image or the audio signal, and an editing means for erasing, moving and recording in filed image units.
【0013】[0013]
【作用】画面内を複数の領域に分割し、その各々の領域
について画像間の相関から動きベクトルを求める。複数
の相関値と動きベクトルから、画面内の状態を判断す
る。また、画像間の色の類似性から、シーンチェンジが
おこったとしても、ほぼ同様の映像内容と判断する。The screen is divided into a plurality of areas, and the motion vector for each area is obtained from the correlation between the images. The state within the screen is determined from the plurality of correlation values and the motion vector. Even if a scene change occurs, it is determined that the video contents are almost the same, due to the color similarity between the images.
【0014】また、画像から求めた、相関値、動きベク
トル、色の情報を時系列データとして記憶し、再度画像
を検索するときの速度を向上させる。Further, the correlation value, motion vector, and color information obtained from the image are stored as time-series data to improve the speed of re-searching the image.
【0015】[0015]
【実施例】本発明の第1の実施例のシーンチェンジ検出
装置について説明する。図1は本発明のブロック図を示
すものであり、1は画像信号入力端子である。2は各検
出領域のベクトル検出回路である。3はベクトルの信頼
性導出手段および4はシーン決定手段である。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A scene change detection device according to a first embodiment of the present invention will be described. FIG. 1 is a block diagram of the present invention, and 1 is an image signal input terminal. 2 is a vector detection circuit for each detection area. Reference numeral 3 is a vector reliability derivation means and 4 is a scene determination means.
【0016】以上のように構成されたシーンチェンジ検
出装置において、まず入力端子1に少なくとも2フィー
ルド以上の時間的に連続する画像信号が入力される。各
検出領域のベクトル検出回路2では、図2に示すように
予め画面11内に複数のベクトル検出領域5が定められ
ており、さらに検出領域は代表点9を持った多数の小領
域8(あるいは12)に分割されている。2フィールド
の時間的に連続な画像信号が入力される。各小領域の代
表点について2フィールド間の所定の範囲の量(i,j):im
in<i<imax,jmin<j<jmax 偏移した位置10の信号との差
を相関値としてそれぞれ求め小領域の総和をとる。相関
値は(数1)で求められる。In the scene change detecting apparatus having the above-described structure, first, the input terminal 1 is supplied with a temporally continuous image signal of at least two fields. In the vector detection circuit 2 of each detection area, a plurality of vector detection areas 5 are defined in advance in the screen 11 as shown in FIG. 2, and the detection area is a large number of small areas 8 having a representative point 9 (or 12). Two-field temporally continuous image signals are input. Amount (i, j): im in a predetermined range between two fields for the representative point of each small area
in <i <imax, jmin <j <jmax Differences from the signal at the shifted position 10 are obtained as correlation values, and the sum of the small areas is calculated. The correlation value is calculated by (Equation 1).
【0017】[0017]
【数1】 [Equation 1]
【0018】相関値の最小値を与える偏移(i',j')を検
出し、これを各検出領域のベクトル6とする。またベク
トル検出回路2は、その相関値の最小値R_min、平均値R
_ave、最大値R_maxを求め、動きベクトルの値ととも
に、ベクトルの信頼性導出手段3およびシーン決定手段
4に出力する。The deviation (i ', j') that gives the minimum correlation value is detected, and this is taken as the vector 6 of each detection area. In addition, the vector detection circuit 2 calculates the minimum value R_min and the average value R of the correlation values.
_ave and the maximum value R_max are obtained and output to the vector reliability derivation means 3 and the scene determination means 4 together with the value of the motion vector.
【0019】信頼性導出手段3では、画像内容を判断す
るための値Con1とCon2を出力する。そのために動きベク
トルの信頼性(相関)を図るための(数2)を構成す
る。Con1とCon2を用いて動きベクトルが明確に検出され
ているかどうか、換言すると画像間に相関があるかどう
かがわかる。Con1、Con2はシーン決定手段4に与えられ
る。The reliability deriving means 3 outputs the values Con1 and Con2 for judging the image contents. Therefore, (Formula 2) for achieving the reliability (correlation) of the motion vector is configured. By using Con1 and Con2, it is possible to know whether the motion vector is clearly detected, in other words, whether there is a correlation between the images. Con1 and Con2 are given to the scene determination means 4.
【0020】[0020]
【数2】 [Equation 2]
【0021】シーン決定手段4では、以下のような判断
を行う。 (1)Con1の値が非常に小さい and Con2の値が非常に
大きい then 画像間の相関がない(シーンチェンジが起こった
可能性大) (2)Con1の値が小さい and Con2の値が大きい then 画像間の相関が少しある(画面内に移動物体が存
在する可能性大) (3)Con1の値が大きい and Con2の値が小さい then 画像間の相関がある(パンニングが起こった可能
性大) (4)Con1の値が小さい and Con2の値が小さい then 画像間の相関がない(画像内容が一定、模様がな
い) また、(3)の条件に当てはまる各領域の動きベクトル
を用いて、パンニングの方向、ズーム等が判別できる。The scene determination means 4 makes the following determination. (1) The value of Con1 is very small and the value of Con2 is very large then there is no correlation between the images (the possibility that a scene change has occurred) (2) The value of Con1 is small and the value of Con2 is large then There is a little correlation between images (there is a possibility that there is a moving object in the screen) (3) The value of Con1 is large and the value of Con2 is small then there is a correlation between images (the possibility that panning has occurred) (4) The value of Con1 is small and the value of Con2 is small then there is no correlation between images (the image content is constant, there is no pattern) In addition, using the motion vector of each area that meets the condition of (3), panning is performed. The direction, zoom, etc. can be identified.
【0022】この4つの判断は図2の各ベクトル検出領
域についてそれぞれ行われる。そして各検出領域からの
判断から、さらに正確な判断を複数行うことが出来る。
たとえば、一例として以下のような判断ができる。 (a)4つのベクトル検出領域のすべてが(3)に該当
し、動きベクトルが同じ方向を向いているなら、画面は
パンニング状態に入っている。 (b)4つのベクトル検出領域の中で少なくとも一つが
(3)に該当し、その他の領域が(2)に該当するな
ら、画面内に移動物体が含まれている。These four judgments are made for each vector detection area in FIG. Then, a plurality of more accurate judgments can be made from the judgments made from the respective detection areas.
For example, the following judgments can be made as an example. (A) If all four vector detection areas correspond to (3) and the motion vectors point in the same direction, the screen is in a panning state. (B) If at least one of the four vector detection areas corresponds to (3) and the other areas correspond to (2), the moving object is included in the screen.
【0023】以上のように、本発明のシーンチェンジ検
出装置は動画像の内容を検出することが可能なため、ユ
ーザの見たい場面を容易に捜し出すことができるという
特徴を有している。また、各画像にフレーム番号が予め
付与されていれば、画像記録媒体の中の内容をフレーム
番号を代表させて、シーンチェンジと判断されたフレー
ム番号をもとに自動編集することができる。なお、本実
施例では動画像記録媒体として光ディスク、ICなどの
固体メモリや磁気テープなどであってもよい。As described above, since the scene change detection device of the present invention can detect the contents of a moving image, it has the feature that the user can easily find the desired scene. If a frame number is assigned to each image in advance, the contents in the image recording medium can be represented by the frame number and automatically edited based on the frame number determined as a scene change. In this embodiment, the moving image recording medium may be an optical disk, a solid-state memory such as an IC, a magnetic tape or the like.
【0024】本発明の第2の実施例のシーンチェンジ検
出装置について説明する。図3は本発明のブロック図を
示すものであり、1は画像信号入力端子、2は各検出領
域のベクトル検出回路、3はベクトルの信頼性導出手段
であり、第1の実施例と同様なので説明を省略する。1
3はシーン決定手段、14は色抽出手段である。A scene change detection apparatus according to the second embodiment of the present invention will be described. FIG. 3 is a block diagram of the present invention, in which 1 is an image signal input terminal, 2 is a vector detection circuit for each detection region, and 3 is a vector reliability deriving means, which is the same as in the first embodiment. The description is omitted. 1
3 is a scene determination means, and 14 is a color extraction means.
【0025】色抽出手段14では、色の濃度値に対する
分類(ヒストグラム分類)を行う。画像信号端子1に
は、RGB(Red,Green,Blue)信号が各濃度値(0〜2
55)で送られてくる。各濃度値を8分割すると、画面
内の画素数を濃度値別に512分割できる。それを関数
RGB()で(数3)のように表現する。The color extracting means 14 performs classification (histogram classification) on the color density values. The image signal terminal 1 receives RGB (Red, Green, Blue) signals at respective density values (0 to 2).
It will be sent in 55). When each density value is divided into eight, the number of pixels in the screen can be divided into 512 for each density value. Function it
It is expressed in RGB () as in (Equation 3).
【0026】[0026]
【数3】 [Equation 3]
【0027】すると、フレーム間の色の相関は次式で与
えられる。Then, the color correlation between frames is given by the following equation.
【0028】[0028]
【数4】 [Equation 4]
【0029】相関値R1はその値が小さい程、画像間の相
関が高いことを示している。シーン決定手段13では、
信頼性導出手段3の結果と、(数4)から以下のような
判断ができる。The smaller the correlation value R1 is, the higher the correlation between images is. In the scene determination means 13,
The following judgment can be made from the result of the reliability derivation means 3 and (Equation 4).
【0030】(1)Con1の値が非常に小さい and Con2
の値が非常に大きい and R1が大きい then 画像間の相関がない(シーンチェンジが起こった
可能性大) (2)Con1の値が非常に小さい and Con2の値が非常に
大きい and R1が小さい then 画像間の動きの相関はないが色の相関がある(シ
ーンチェンジは起こっているが同一内容の可能性大)) (3)Con1の値が小さい and Con2の値が大きい and R1が小さい then 画像間の相関は少しあるが色の相関はある(画面
内に移動物体が存在する可能性大) (4)Con1の値が大きい and Con2の値が小さい and R1が小さい then 画像間の相関がある(パンニングが起こった可能
性大) (5)Con1の値が小さい and Con2の値が小さい and R1が小さい then 画像間の相関がない(画像内容が一定、模様がな
い) また、(4)の条件に当てはまる各領域の動きベクトル
を用いて、パンニングの方向、ズーム等が判別できる。(1) The value of Con1 is very small and Con2
Value is very large and R1 is large then there is no correlation between images (scene change is likely) (2) Con1 value is very small and Con2 value is very large and R1 is small then There is no motion correlation between images, but there is a color correlation (there is a possibility that the scene changes but the same content is likely). (3) Con1 value is small and Con2 value is large and R1 is small then image There is a little correlation between them, but there is a color correlation (there is a possibility that a moving object exists in the screen) (4) Con1 has a large value and Con2 has a small value, and R1 has a small value. (The possibility that panning has occurred) (5) The value of Con1 is small and the value of Con2 is small and R1 is small then there is no correlation between the images (the image content is constant, there is no pattern). Using the motion vector of each area that meets the conditions, the panning Direction, zoom, etc. can be determined.
【0031】以上の条件の中で、(2)の場合は、図4
(a)、(b)のように同一人物を、ほぼ同じ場所から
映していながら、複数のカメラを用いてシーンを変えた
場合に相当するので、同じ映像内容と判断することがで
きる。したがって、(2)の場合はシーンチェンジでは
ないと判定すれば、より映像内容に合致した早送り等の
検索が可能となる。In the case of (2) among the above conditions, FIG.
As in (a) and (b), the same person is projected from almost the same place, but this corresponds to the case where the scenes are changed by using a plurality of cameras, so that it can be determined that the same video content. Therefore, in the case of (2), if it is determined that it is not a scene change, it is possible to perform a search such as fast-forward that more matches the video content.
【0032】以上のように、本発明のシーンチェンジ検
出装置は動画像の内容を検出することが可能なため、ユ
ーザの見たい場面を容易に捜し出すことができるという
特徴を有している。また、各画像にフレーム番号が予め
付与されていれば、画像記録媒体の中の内容をフレーム
番号を代表させて、シーンチェンジと判断されたフレー
ム番号をもとに自動編集することができる。なお、本実
施例では動画像記録媒体として光ディスク、ICなどの
固体メモリや磁気テープなどであってもよい。As described above, since the scene change detection device of the present invention can detect the contents of a moving image, it has the feature that the user can easily find the desired scene. If a frame number is assigned to each image in advance, the contents in the image recording medium can be represented by the frame number and automatically edited based on the frame number determined as a scene change. In this embodiment, the moving image recording medium may be an optical disk, a solid-state memory such as an IC, a magnetic tape or the like.
【0033】本発明の第3の実施例のシーンチェンジ検
出装置について説明する。図5は本発明のブロック図を
示すものであり、1は画像信号入力端子、15は画像圧
縮手段、16は画像状態検出手段、17は記憶手段、1
8は画像検索手段である。A scene change detection device according to the third embodiment of the present invention will be described. 5 is a block diagram of the present invention, in which 1 is an image signal input terminal, 15 is an image compression means, 16 is an image state detection means, 17 is a storage means, 1
Reference numeral 8 is an image search means.
【0034】図6に画像圧縮手段15の詳細を示す。画
像信号入力端子1からフレームメモリ19に蓄えられた
画像は、動きベクトル予測手段20で得られる動きベク
トルを用いて補正される。その後、DCT(ディスクリ
ートコサイン変換)部21、量子化部22、ハフマン符
号化部23で圧縮される。また、動きベクトルを求める
ために、量子復合部24、IDCT部25で画像は一度
復合される。FIG. 6 shows details of the image compression means 15. The image stored in the frame memory 19 from the image signal input terminal 1 is corrected using the motion vector obtained by the motion vector predicting means 20. Then, it is compressed by a DCT (discrete cosine transform) unit 21, a quantization unit 22, and a Huffman coding unit 23. Further, in order to obtain the motion vector, the images are once decoded by the quantum decoding unit 24 and the IDCT unit 25.
【0035】画像状態検出手段16は、画像圧縮手段1
5から画像間の相関値と圧縮率を出力端子26を介して
受け取る。画像間の相関値は、動きベクトル予測部20
から複数時系列データとして得られる。また画像の圧縮
率は、時系列データとしてハフマン符号化部23より得
られる。ハフマン符号化方式は、画像データのディジタ
ル値列を短く符号化する技術である。符画像状態検出手
段16は、時系列データを記憶手段17に蓄積する。一
方画像圧縮手段15は、圧縮された動画像を出力端子2
7を介して記憶手段17に送る。画像間の相関値の時系
列データを図7に示す。時系列データの変化からシーン
チェンジが検出できる。時系列データの時刻と圧縮され
た画像のフレーム番号をあらかじめ照合させておけば、
画像を容易に検索することができる。The image state detecting means 16 is the image compressing means 1.
5 receives the correlation value between images and the compression rate via the output terminal 26. The correlation value between images is calculated by the motion vector prediction unit 20.
As multiple time series data. The image compression rate is obtained from the Huffman coding unit 23 as time series data. The Huffman coding method is a technique for coding a digital value string of image data in a short length. The mark image state detecting means 16 stores the time series data in the storage means 17. On the other hand, the image compression means 15 outputs the compressed moving image to the output terminal 2
7 to the storage means 17. FIG. 7 shows time-series data of correlation values between images. Scene changes can be detected from changes in time series data. If the time of the time series data and the frame number of the compressed image are checked in advance,
Images can be searched easily.
【0036】画像検索手段18では、以下の条件を用い
てシーンチェンジを検索する。 (1)Con1の値が非常に小さい and Con2の値が非常に
大きい and 圧縮率が非常に低い then 画像間の相関がない(シーンチェンジが起こった
可能性大) (2)Con1の値が小さい and Con2の値が大きい and
圧縮率が低い then 画像間の相関が少しある(画面内に移動物体が存
在する可能性大) (3)Con1の値が大きい and Con2の値が小さい and
圧縮率が高い then 画像間の相関がある(パンニングが起こった可能
性大) (4)Con1の値が小さい and Con2の値が小さい and
圧縮率が非常に高い then 画像間の相関がない(画像内容が一定、模様がな
い) 時系列データはすでに記憶手段に蓄積されているので、
シーンチェンジの条件の中の”大きい”、”小さ
い”、”高い”、”低い”等の言葉に相当する具体的な
しきい値(図7参照)を逐次変えて、高速に検索するこ
とが可能である。また時系列データは画像記録媒体に記
録することも可能である。The image search means 18 searches for a scene change using the following conditions. (1) The value of Con1 is very small and the value of Con2 is very large and the compression rate is very low then there is no correlation between images (there is a possibility that a scene change has occurred) (2) The value of Con1 is small The value of and Con2 is large and
The compression ratio is low, then there is a little correlation between the images (there is a high possibility that a moving object exists in the screen). (3) The value of Con1 is large and the value of Con2 is small and
High compression ratio then correlation between images (possibly panning occurred) (4) Small value of Con1 and small value of Con2 and
The compression ratio is very high then there is no correlation between the images (the image content is constant, there is no pattern) Since the time series data is already stored in the storage means,
It is possible to search at high speed by sequentially changing specific threshold values (see Fig. 7) corresponding to the words "large", "small", "high", "low" in the scene change conditions. Is. The time series data can also be recorded in the image recording medium.
【0037】以上のように、本発明のシーンチェンジ検
出装置は動画像の内容を検出することが可能なため、ユ
ーザの見たい場面を容易に捜し出すことができるという
特徴を有している。また、各画像にフレーム番号が予め
付与されていれば、画像記録媒体の中の内容をフレーム
番号を代表させて、シーンチェンジと判断されたフレー
ム番号をもとに自動編集することができる。なお、本実
施例では動画像記録媒体として光ディスク、ICなどの
固体メモリや磁気テープなどであってもよい。As described above, since the scene change detecting apparatus of the present invention can detect the contents of a moving image, it has the feature that the user can easily find the scene he or she wants to see. If a frame number is assigned to each image in advance, the contents in the image recording medium can be represented by the frame number and automatically edited based on the frame number determined as a scene change. In this embodiment, the moving image recording medium may be an optical disk, a solid-state memory such as an IC, a magnetic tape or the like.
【0038】本発明の第4の実施例の動画像編集装置に
ついて説明する。図8は本発明のブロック図を示すもの
であり、1は画像信号入力端子、28は第1、2、3の
実施例のシーン決定手段、29はファイル化手段、30
はヘッダ入力手段、31は画像の記憶手段、32は画像
編集手段である。A moving image editing apparatus according to the fourth embodiment of the present invention will be described. FIG. 8 is a block diagram of the present invention, in which 1 is an image signal input terminal, 28 is the scene determining means of the first, second and third embodiments, 29 is a filing means and 30.
Is a header input means, 31 is an image storage means, and 32 is an image editing means.
【0039】シーン決定手段28により分割された画像
あるいは音声信号に対して、ファイル化手段29は文字
情報等を書き込むためのヘッダ部を前記画像あるいは音
声信号の最初あるいは最後に与え、画像情報とともに記
憶手段31に蓄積させる。ヘッダ入力手段30は、ヘッ
ダ部に画像あるいは音声信号に関する情報を書き込む。
編集手段32は、ファイル化された画像単位に消去、移
動、記録を行う。For the image or audio signal divided by the scene determining means 28, the filing means 29 gives a header portion for writing character information or the like to the beginning or end of the image or audio signal and stores it together with the image information. It is stored in the means 31. The header input means 30 writes information regarding an image or audio signal in the header section.
The editing means 32 erases, moves, and records in file units of images.
【0040】以上のように、本発明の動画像編集装置は
動画像の内容を容易に編集できる。またユーザの見たい
場面を容易に捜し出すことができるという特徴を有して
いる。また、各画像にフレーム番号が予め付与されてい
れば、画像記録媒体の中の内容をフレーム番号で編集す
ることができる。なお、本実施例では動画像記録媒体と
して光ディスク、ICなどの固体メモリや磁気テープな
どであってもよい。As described above, the moving image editing apparatus of the present invention can easily edit the contents of a moving image. Further, it has a feature that a user can easily find a desired scene. If a frame number is assigned to each image in advance, the contents in the image recording medium can be edited with the frame number. In this embodiment, the moving image recording medium may be an optical disk, a solid-state memory such as an IC, a magnetic tape or the like.
【0041】[0041]
【発明の効果】以上説明したように、本発明のシーンチ
ェンジ検出装置および画像編集装置は動画像記録媒体に
記録する動画像からシーンチェンジ画像を自動的に検出
し、シーンチェンジ画像を記録することによって、人手
を介する必要がなく、大量の動画像データに対しても管
理情報を付与することが可能である。As described above, the scene change detection device and the image editing device of the present invention automatically detect a scene change image from a moving image recorded on a moving image recording medium and record the scene change image. This makes it possible to add management information to a large amount of moving image data without the need for human intervention.
【図1】第1の実施例のシーンチェンジ検出装置を示す
図FIG. 1 is a diagram showing a scene change detection device according to a first embodiment.
【図2】第1の実施例の動作を説明するための図FIG. 2 is a diagram for explaining the operation of the first embodiment.
【図3】第2の実施例のシーンチェンジ検出装置を示す
図FIG. 3 is a diagram showing a scene change detection device according to a second embodiment.
【図4】第2の実施例の動作を説明するための図FIG. 4 is a diagram for explaining the operation of the second embodiment.
【図5】第3の実施例のシーンチェンジ検出装置を示す
図FIG. 5 is a diagram showing a scene change detection device according to a third embodiment.
【図6】第3の実施例の画像圧縮手段の詳細構成を示す
ブロック図FIG. 6 is a block diagram showing a detailed configuration of image compression means according to a third embodiment.
【図7】第3の実施例の時系列データを示す図FIG. 7 is a diagram showing time series data of a third embodiment.
【図8】第4の実施例の画像編集装置の構成を示すブロ
ック図FIG. 8 is a block diagram showing the arrangement of an image editing apparatus according to a fourth embodiment.
1 画像信号入力端子 2 各領域のベクトル検出手段 3 信頼性導出手段 4 シーン決定手段 5 ベクトル検出回路 6 各領域の動きベクトル 7 画面全体の動きベクトル 8,12 小領域 9 代表点 10 偏移した位置 11 全画面 13、28 シーン決定手段 14 色抽出手段 15 画像圧縮手段 16 画像状態検出手段 17、31 画像の記憶手段 18 画像検索手段 19 フレームメモリ 20 動きベクトル予測部 21 DCT部 22 量子化部 23 ハフマン符号化部 24 量子化復合部 25 IDCT部 26、27 出力端子 29 ファイル化手段 30 ヘッダ入力手段 32 画像の編集手段 1 image signal input terminal 2 vector detection means for each area 3 reliability deriving means 4 scene determination means 5 vector detection circuit 6 motion vector for each area 7 motion vector for the whole screen 8, 12 small area 9 representative point 10 shifted position 11 full screen 13, 28 scene determination means 14 color extraction means 15 image compression means 16 image state detection means 17, 31 image storage means 18 image retrieval means 19 frame memory 20 motion vector prediction section 21 DCT section 22 quantization section 23 Huffman Encoding unit 24 Quantization decoding unit 25 IDCT unit 26, 27 Output terminal 29 File conversion unit 30 Header input unit 32 Image editing unit
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.5 識別記号 庁内整理番号 FI 技術表示箇所 // H04N 7/137 Z ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 5 Identification code Internal reference number FI technical display location // H04N 7/137 Z
Claims (4)
出領域について、所定の偏移における相関値を求める手
段と、その相関値より各検出領域ごとに動きベクトルを
求める手段と、動きベクトルの値または相関値またはそ
れらの組合せによりその検出領域の動きベクトルの信頼
性を導出する信頼性導出手段と、前記信頼性導出手段の
結果からシーンチェンジを検出する手段とを具備するこ
とを特徴とする動画像のシーンチェンジ検出装置。1. A plurality of detection areas are provided on a screen, and means for obtaining a correlation value at a predetermined deviation for each detection area, means for obtaining a motion vector for each detection area from the correlation value, and motion. A reliability deriving means for deriving the reliability of the motion vector of the detection area based on a vector value, a correlation value, or a combination thereof; and means for detecting a scene change from the result of the reliability deriving means. A scene change detection device for moving images.
出領域について、所定の偏移における相関値を求める手
段と、その相関値より各検出領域ごとに動きベクトルを
求める手段と、動きベクトルの値または相関値またはそ
れらの組合せによりその検出領域の動きベクトルの信頼
性を導出する信頼性導出手段と、画像から色の濃度値を
抽出する色抽出手段と、前記色抽出手段と前記信頼性導
出手段の結果からシーンチェンジを検出する手段とを具
備することを特徴とする動画像のシーンチェンジ検出装
置。2. A plurality of detection areas are provided on the screen, and means for obtaining a correlation value at a predetermined deviation for each detection area, means for obtaining a motion vector for each detection area from the correlation value, and motion. Reliability deriving means for deriving the reliability of the motion vector of the detection region based on vector values or correlation values or a combination thereof, color extracting means for extracting color density values from an image, the color extracting means and the reliability. And a scene change detecting means for detecting a scene change from the result of the sex deriving means.
いは画像間の相関を時系列データとして検出する画像状
態検出手段と、前記時系列データを記憶する手段と、前
記時系列データをもとにシーンチェンジを検出する手段
とを具備することを特徴とする動画像のシーンチェンジ
検出装置。3. A means for compressing an image, an image state detecting means for detecting a compression ratio of images or a correlation between images as time series data, a means for storing the time series data, and a time series data. And a scene change detecting means for detecting a scene change.
画像あるいは音声信号に対して、文字情報等を書き込む
ためのヘッダ部を前記画像あるいは音声信号の最初ある
いは最後に与えるファイル化手段と、ヘッダ部に前記画
像あるいは音声信号に関する情報を書き込むヘッダ入力
手段と、ファイル化された画像単位に消去、移動、記録
を行う編集手段とを具備することを特徴とする請求項
1、2または3記載の動画像編集装置。4. A filing means for giving a header portion for writing character information or the like to the image or audio signal divided by the scene change detecting means at the beginning or end of the image or audio signal, and the header portion. 4. The moving image according to claim 1, 2 or 3, further comprising: a header input unit for writing information on the image or audio signal, and an editing unit for erasing, moving and recording in filed image units. Editing device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29483892A JPH06153146A (en) | 1992-11-04 | 1992-11-04 | Scene change detector for moving picture and edit device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29483892A JPH06153146A (en) | 1992-11-04 | 1992-11-04 | Scene change detector for moving picture and edit device |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH06153146A true JPH06153146A (en) | 1994-05-31 |
Family
ID=17812909
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP29483892A Pending JPH06153146A (en) | 1992-11-04 | 1992-11-04 | Scene change detector for moving picture and edit device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH06153146A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0804034A2 (en) * | 1996-04-26 | 1997-10-29 | Fujitsu Limited | Method and device for detecting motion vectors |
WO2001003005A1 (en) * | 1999-06-30 | 2001-01-11 | Sharp Kabushiki Kaisha | Dynamic image search information recording apparatus and dynamic image searching device |
US7272183B2 (en) | 1999-08-24 | 2007-09-18 | Fujitsu Limited | Image processing device, method and storage medium thereof |
JP2008312215A (en) * | 2007-06-18 | 2008-12-25 | Sony (China) Ltd | Video-image analyzer, video-image analyzing method, automatic digest preparation system, and automatic highlight extraction system |
US7773819B2 (en) | 2006-02-24 | 2010-08-10 | Morpho, Inc. | Image processing apparatus |
US7847823B2 (en) | 2005-01-14 | 2010-12-07 | Morpho, Inc. | Motion vector calculation method and hand-movement correction device, imaging device and moving picture generation device |
-
1992
- 1992-11-04 JP JP29483892A patent/JPH06153146A/en active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0804034A2 (en) * | 1996-04-26 | 1997-10-29 | Fujitsu Limited | Method and device for detecting motion vectors |
EP0804034A3 (en) * | 1996-04-26 | 1998-05-20 | Fujitsu Limited | Method and device for detecting motion vectors |
US5894526A (en) * | 1996-04-26 | 1999-04-13 | Fujitsu Limited | Method and device for detecting motion vectors |
WO2001003005A1 (en) * | 1999-06-30 | 2001-01-11 | Sharp Kabushiki Kaisha | Dynamic image search information recording apparatus and dynamic image searching device |
US7092040B1 (en) | 1999-06-30 | 2006-08-15 | Sharp Kabushiki Kaisha | Dynamic image search information recording apparatus and dynamic image searching device |
US7884884B2 (en) | 1999-06-30 | 2011-02-08 | Sharp Kabushiki Kaisha | Dynamic image search information recording apparatus and dynamic image searching devices |
US7272183B2 (en) | 1999-08-24 | 2007-09-18 | Fujitsu Limited | Image processing device, method and storage medium thereof |
US7847823B2 (en) | 2005-01-14 | 2010-12-07 | Morpho, Inc. | Motion vector calculation method and hand-movement correction device, imaging device and moving picture generation device |
US7773819B2 (en) | 2006-02-24 | 2010-08-10 | Morpho, Inc. | Image processing apparatus |
JP2008312215A (en) * | 2007-06-18 | 2008-12-25 | Sony (China) Ltd | Video-image analyzer, video-image analyzing method, automatic digest preparation system, and automatic highlight extraction system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5493345A (en) | Method for detecting a scene change and image editing apparatus | |
JP3315766B2 (en) | Image data encoding method, image data encoding device using the method, image data restoring method, image data restoring device using the method, scene change detecting method, scene change detecting device using the method, scene change recording Device and image data scene change recording / reproducing device | |
US5513010A (en) | Digital video signal recording and reproducing apparatus that records and reproduces both still and moving pictures | |
US7486832B2 (en) | Method and device for condensed image recording and reproduction | |
JPH09322174A (en) | Reproducing method for moving image data | |
JPH06149902A (en) | Animation image recording medium, animation image recorder and animation image reproducing device | |
US7035483B2 (en) | Image search apparatus | |
US7639920B2 (en) | Recorder | |
JPH06153146A (en) | Scene change detector for moving picture and edit device | |
JP3253530B2 (en) | Video recording device | |
KR20020069724A (en) | Management method for video data of digital video recording and reproducting apparatus | |
WO1998004085A1 (en) | Moving picture recording device and moving picture reproducing device | |
JP2001119661A (en) | Dynamic image editing system and recording medium | |
US20030147012A1 (en) | Method for detecting scene changes in compressed video data | |
JP3291392B2 (en) | Method and apparatus for reproducing compressed image data | |
JPH11289513A (en) | Video recording and reproducing device | |
JP3511312B2 (en) | Optical disc, and optical disc reproducing apparatus and method | |
JP3239005B2 (en) | Digital moving image compressed data duplicating device and digital moving image compressed data reproducing device | |
JPH09200675A (en) | Device, method for recording video data and recording medium | |
JP3128107B2 (en) | Video compression method and apparatus | |
JP3277757B2 (en) | Video data playback device | |
JP3375616B2 (en) | Optical disc, recording method and recording device | |
JPH0738845A (en) | Scene extracting method for video image | |
JP2002262241A (en) | Device and method for processing image | |
JPH09326991A (en) | Method and device for recording image |