JPH06153146A - Scene change detector for moving picture and edit device - Google Patents

Scene change detector for moving picture and edit device

Info

Publication number
JPH06153146A
JPH06153146A JP29483892A JP29483892A JPH06153146A JP H06153146 A JPH06153146 A JP H06153146A JP 29483892 A JP29483892 A JP 29483892A JP 29483892 A JP29483892 A JP 29483892A JP H06153146 A JPH06153146 A JP H06153146A
Authority
JP
Japan
Prior art keywords
image
scene change
correlation
value
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP29483892A
Other languages
Japanese (ja)
Inventor
Hiroshi Ekusa
洋 江草
Hiroshi Akahori
裕志 赤堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP29483892A priority Critical patent/JPH06153146A/en
Publication of JPH06153146A publication Critical patent/JPH06153146A/en
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Complex Calculations (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

PURPOSE:To automatically provide management information in moving picture data by dividing a screen into plural areas and obtaining a motion vector from each area based on correlation between pictures so as to detect automatically a scene change picture from the moving picture. CONSTITUTION:A timewise consecutive picture signal is inputted to an input terminal 1 of a scene change detector. Plural vector detection areas 5 are decided in a screen 11 by a detection area vector detection circuit 2 and the detection area 5 is divided into lots of small areas 8 having a representative point 9. A difference of the representative point of each small area with respect to a transited position 10 is obtained as a correlation value respectively and the sum of the correlation values is taken in the small area. The vector detection circuit 2 obtains the minimum value, the mean value and the maximum value of the correlation value and outputs them to a vector reliability introduction means 3 together with the motion vector. A scene decision means 4 detects a scene change from a change in the time series data of the correlation value between pictures obtained from the vector reliability introduction means 3.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【産業上の利用分野】本発明は画像記録媒体から動画像
を再生する際に、画像記録媒体に記録された動画像から
代表的な画像を抽出して要約画像（ブラウジング画像）
を生成することが可能な画像編集装置に関するものであ
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention extracts a representative image from a moving image recorded on an image recording medium when reproducing the moving image from the image recording medium and summarizes the image (browsing image).
The present invention relates to an image editing device capable of generating a.

【０００２】[0002]

【従来の技術】従来、ＶＴＲやビデオディスクなどの動
画像記録媒体に記録された動画像を短時間で見ようとし
た場合、早送り再生の方法を用いる。2. Description of the Related Art Conventionally, when trying to view a moving image recorded on a moving image recording medium such as a VTR or a video disc in a short time, a fast-forward reproduction method is used.

【０００３】ＶＴＲの早送り再生は、テープ走行速度を
通常の再生速度より高速にして再生することによって実
現する。例えば、通常の再生速度の１１倍、２７倍、４
５倍のテープ走行速度にして早送り再生が行われる。ま
た、ビデオディスクの早送り再生は、ディスク上の再生
トラックを一定間隔にスキップしながら再生することに
よって実現する。このように従来のＶＴＲやビデオディ
スクの早送り再生では、これら動画像記録媒体に記録さ
れた動画像の内容とは無関係に、記録された動画像から
一定間隔で早送り再生用の画像が抽出される。The fast-forward reproduction of the VTR is realized by making the tape running speed faster than the normal reproduction speed. For example, 11 times, 27 times, 4 times the normal playback speed
Fast-forward playback is performed at a tape running speed of 5 times. Fast-forward playback of a video disc is realized by skipping playback tracks on the disc at regular intervals. As described above, in the conventional fast-forward reproduction of a VTR or a video disc, images for fast-forward reproduction are extracted at regular intervals from the recorded moving images, regardless of the contents of the moving images recorded on these moving image recording media. .

【０００４】一方、ＶＴＲでは記録された動画像を管理
するための情報を、ビデオテープに動画像とともに記録
するというものがある。一例として、ＶＩＳＳ（VHS In
dexSearch System） について説明する。ＶＩＳＳと
は、ＶＨＳ方式のＶＴＲにおいて高速頭出しを行うため
に開発されたものである。ビデオテープには、通常の画
像情報を記録するビデオトラック以外に、この高速頭出
しを行うためのＶＩＳＳ信号を記録するコントロールト
ラックが存在する。このＶＩＳＳ信号は、ビデオテープ
に画像情報を録画し始めたときに、コントロールトラッ
クに自動的に記録される。また、ユーザが見たい場面に
対してＶＩＳＳ信号を記録することもできる。このよう
にしてビデオテープ上に記録されたＶＩＳＳ信号を利用
して、イントロサーチと呼ばれる早送り再生を行うこと
ができる。イントロサーチとは、早送り中にＶＩＳＳ信
号を見つけると、ある時間だけ再生状態にし、その後再
び早送りするという動作をテープの終わりまで繰り返す
ものである。このようなイントロサーチでは、ビデオテ
ープに録画された動画像の内容に関係した早送り再生を
行うことができる。On the other hand, some VTRs record information for managing recorded moving images on a video tape together with the moving images. As an example, VISS (VHS In
dexSearch System). VISS was developed for high-speed cueing in a VHS type VTR. The video tape has a control track for recording a VISS signal for performing this high-speed cueing, in addition to a video track for recording normal image information. This VISS signal is automatically recorded on the control track when the image information is started to be recorded on the video tape. It is also possible to record the VISS signal for the scene that the user wants to see. Using the VISS signal recorded on the video tape in this way, fast-forward reproduction called intro search can be performed. The intro search is a process in which when a VISS signal is found during fast-forwarding, the playback state is maintained for a certain time and then fast-forwarding is repeated until the end of the tape. In such an intro search, fast-forward reproduction related to the content of a moving image recorded on a video tape can be performed.

【０００５】[0005]

【発明が解決しようとする課題】以上のような従来例
で、動画像記録媒体に記録された動画像の内容とは無関
係に記録された動画像から一定間隔で早送り再生用の画
像を抽出する場合、画像の変化が激しい場面でも、ほと
んど変化のない場面でも同一の間隔で抽出される。この
ため、抽出する間隔を長くすると変化の激しい場面では
見ずらいものとなり、抽出する間隔を短くすると変化の
ほとんどない場面では冗長なものとなるという課題があ
る。In the above-described conventional example, images for fast-forward reproduction are extracted at regular intervals from the recorded moving image regardless of the content of the moving image recorded on the moving image recording medium. In this case, the images are extracted at the same intervals even in a scene in which the image changes drastically or in a scene in which the image hardly changes. For this reason, there is a problem that if the extraction interval is made long, it becomes difficult to see in a scene that changes drastically, and if the extraction interval is made short, it becomes redundant in a scene that hardly changes.

【０００６】また、動画像記録媒体に記録された動画像
の内容に関係して記録された動画像から早送り再生用の
画像を抽出する場合、前述したようにＶＩＳＳ信号を記
録する必要があり、録画開始時点に自動的に記録される
ＶＩＳＳ信号以外はユーザが手動で記録しなければなら
い。このため、動画像の内容が変化するすべての部分を
早送り再生画像として抽出しようとすると、ＶＩＳＳ信
号の記録には膨大な手間がかかるという課題がある。さ
らに、ＶＩＳＳ信号は単なるマーキングに過ぎず、画像
内容に関連した情報は持っていないため、ＶＩＳＳ信号
が付けられた画像の中から自動的に画像内容を考慮した
選択を行うことは不可能である。When extracting an image for fast-forward reproduction from a moving image recorded in relation to the content of the moving image recorded on the moving image recording medium, it is necessary to record the VISS signal as described above. The user must manually record a signal other than the VISS signal that is automatically recorded at the start of recording. Therefore, if it is attempted to extract all the portions in which the content of the moving image changes as a fast-forward reproduced image, there is a problem that it takes a great deal of time to record the VISS signal. Further, since the VISS signal is merely marking and does not have information related to the image content, it is impossible to automatically select the image with the VISS signal in consideration of the image content. .

【０００７】本発明はかかる点に鑑み、動画像記録媒体
に記録された動画像に対して画像内容を考慮した早送り
再生用の画像を自動生成可能な画像編集装置を提供する
ことを目的とする。In view of the above point, an object of the present invention is to provide an image editing apparatus capable of automatically generating an image for fast-forward reproduction in consideration of the image content of a moving image recorded on a moving image recording medium. .

【０００８】[0008]

【課題を解決するための手段】上記課題を解決するため
に以下のような構成とする。In order to solve the above-mentioned problems, the following constitution is adopted.

【０００９】画面中に複数の検出領域を設け、その各検
出領域について、所定の偏移における相関値を求める手
段と、その相関値より各検出領域ごとに動きベクトルを
求める手段と、動きベクトルの値または相関値またはそ
れらの組合せによりその検出領域の動きベクトルの信頼
性を導出する信頼性導出手段と、前記信頼性導出手段の
結果からシーンチェンジを検出する手段とを具備したシ
ーンチェンジ検出装置である。A plurality of detection areas are provided in the screen, and means for obtaining a correlation value at a predetermined deviation for each detection area, means for obtaining a motion vector for each detection area from the correlation value, and motion vector A scene change detection device comprising a reliability deriving means for deriving the reliability of a motion vector of a detection area by a value or a correlation value or a combination thereof, and means for detecting a scene change from the result of the reliability deriving means. is there.

【００１０】または、画面中に複数の検出領域を設け、
その各検出領域について、所定の偏移における相関値を
求める手段と、その相関値より各検出領域ごとに動きベ
クトルを求める手段と、動きベクトルの値または相関値
またはそれらの組合せによりその検出領域の動きベクト
ルの信頼性を導出する信頼性導出手段と、画像から色の
濃度値を抽出する色抽出手段と、前記色抽出手段と前記
信頼性導出手段の結果からシーンチェンジを検出する手
段とを具備したシーンチェンジ検出装置である。Alternatively, a plurality of detection areas are provided on the screen,
For each of the detection areas, means for obtaining a correlation value at a predetermined deviation, means for obtaining a motion vector for each detection area from the correlation value, and a value of the motion vector or a correlation value or a combination thereof A reliability deriving unit for deriving the reliability of the motion vector, a color extracting unit for extracting a color density value from an image, and a unit for detecting a scene change from the results of the color extracting unit and the reliability deriving unit. This is a scene change detection device.

【００１１】または、画像を圧縮する手段と、画像の圧
縮率あるいは画像間の相関を時系列データとして検出す
る画像状態検出手段と、前記時系列データを記憶する手
段と、前記時系列データをもとにシーンチェンジを検出
する手段とを具備したシーンチェンジ検出装置である。Alternatively, a means for compressing an image, an image state detecting means for detecting a compression ratio of images or a correlation between images as time series data, a means for storing the time series data, and a time series data are also included. And a scene change detecting device including means for detecting a scene change.

【００１２】または、前記シーンチェンジ検出手段によ
り分割された画像あるいは音声信号に対して、文字情報
等を書き込むためのヘッダ部を前記画像あるいは音声信
号の最初あるいは最後に与えるファイル化手段と、ヘッ
ダ部に前記画像あるいは音声信号に関する情報を書き込
むヘッダ入力手段と、ファイル化された画像単位に消
去、移動、記録を行う編集手段とを具備した画像編集装
置である。Alternatively, for the image or audio signal divided by the scene change detecting means, a header portion for writing character information or the like is provided at the beginning or end of the image or audio signal, and a header portion. The image editing apparatus is provided with a header input means for writing information about the image or the audio signal, and an editing means for erasing, moving and recording in filed image units.

【００１３】[0013]

【作用】画面内を複数の領域に分割し、その各々の領域
について画像間の相関から動きベクトルを求める。複数
の相関値と動きベクトルから、画面内の状態を判断す
る。また、画像間の色の類似性から、シーンチェンジが
おこったとしても、ほぼ同様の映像内容と判断する。The screen is divided into a plurality of areas, and the motion vector for each area is obtained from the correlation between the images. The state within the screen is determined from the plurality of correlation values and the motion vector. Even if a scene change occurs, it is determined that the video contents are almost the same, due to the color similarity between the images.

【００１４】また、画像から求めた、相関値、動きベク
トル、色の情報を時系列データとして記憶し、再度画像
を検索するときの速度を向上させる。Further, the correlation value, motion vector, and color information obtained from the image are stored as time-series data to improve the speed of re-searching the image.

【００１５】[0015]

【実施例】本発明の第１の実施例のシーンチェンジ検出
装置について説明する。図１は本発明のブロック図を示
すものであり、１は画像信号入力端子である。２は各検
出領域のベクトル検出回路である。３はベクトルの信頼
性導出手段および４はシーン決定手段である。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A scene change detection device according to a first embodiment of the present invention will be described. FIG. 1 is a block diagram of the present invention, and 1 is an image signal input terminal. 2 is a vector detection circuit for each detection area. Reference numeral 3 is a vector reliability derivation means and 4 is a scene determination means.

【００１６】以上のように構成されたシーンチェンジ検
出装置において、まず入力端子１に少なくとも２フィー
ルド以上の時間的に連続する画像信号が入力される。各
検出領域のベクトル検出回路２では、図２に示すように
予め画面１１内に複数のベクトル検出領域５が定められ
ており、さらに検出領域は代表点９を持った多数の小領
域８（あるいは１２）に分割されている。２フィールド
の時間的に連続な画像信号が入力される。各小領域の代
表点について２フィールド間の所定の範囲の量(i,j):im
in<i<imax,jmin<j<jmax 偏移した位置１０の信号との差
を相関値としてそれぞれ求め小領域の総和をとる。相関
値は（数１）で求められる。In the scene change detecting apparatus having the above-described structure, first, the input terminal 1 is supplied with a temporally continuous image signal of at least two fields. In the vector detection circuit 2 of each detection area, a plurality of vector detection areas 5 are defined in advance in the screen 11 as shown in FIG. 2, and the detection area is a large number of small areas 8 having a representative point 9 (or 12). Two-field temporally continuous image signals are input. Amount (i, j): im in a predetermined range between two fields for the representative point of each small area
in <i <imax, jmin <j <jmax Differences from the signal at the shifted position 10 are obtained as correlation values, and the sum of the small areas is calculated. The correlation value is calculated by (Equation 1).

【００１７】[0017]

【数１】 [Equation 1]

【００１８】相関値の最小値を与える偏移(i',j')を検
出し、これを各検出領域のベクトル６とする。またベク
トル検出回路２は、その相関値の最小値R_min、平均値R
_ave、最大値R_maxを求め、動きベクトルの値ととも
に、ベクトルの信頼性導出手段３およびシーン決定手段
４に出力する。The deviation (i ', j') that gives the minimum correlation value is detected, and this is taken as the vector 6 of each detection area. In addition, the vector detection circuit 2 calculates the minimum value R_min and the average value R of the correlation values.
_ave and the maximum value R_max are obtained and output to the vector reliability derivation means 3 and the scene determination means 4 together with the value of the motion vector.

【００１９】信頼性導出手段３では、画像内容を判断す
るための値Con1とCon2を出力する。そのために動きベク
トルの信頼性（相関）を図るための（数２）を構成す
る。Con1とCon2を用いて動きベクトルが明確に検出され
ているかどうか、換言すると画像間に相関があるかどう
かがわかる。Con1、Con2はシーン決定手段４に与えられ
る。The reliability deriving means 3 outputs the values Con1 and Con2 for judging the image contents. Therefore, (Formula 2) for achieving the reliability (correlation) of the motion vector is configured. By using Con1 and Con2, it is possible to know whether the motion vector is clearly detected, in other words, whether there is a correlation between the images. Con1 and Con2 are given to the scene determination means 4.

【００２０】[0020]

【数２】 [Equation 2]

【００２１】シーン決定手段４では、以下のような判断
を行う。 （１）Con1の値が非常に小さい and Con2の値が非常に
大きい then 画像間の相関がない（シーンチェンジが起こった
可能性大） （２）Con1の値が小さい and Con2の値が大きい then 画像間の相関が少しある（画面内に移動物体が存
在する可能性大） （３）Con1の値が大きい and Con2の値が小さい then 画像間の相関がある（パンニングが起こった可能
性大） （４）Con1の値が小さい and Con2の値が小さい then 画像間の相関がない（画像内容が一定、模様がな
い） また、（３）の条件に当てはまる各領域の動きベクトル
を用いて、パンニングの方向、ズーム等が判別できる。The scene determination means 4 makes the following determination. (1) The value of Con1 is very small and the value of Con2 is very large then there is no correlation between the images (the possibility that a scene change has occurred) (2) The value of Con1 is small and the value of Con2 is large then There is a little correlation between images (there is a possibility that there is a moving object in the screen) (3) The value of Con1 is large and the value of Con2 is small then there is a correlation between images (the possibility that panning has occurred) (4) The value of Con1 is small and the value of Con2 is small then there is no correlation between images (the image content is constant, there is no pattern) In addition, using the motion vector of each area that meets the condition of (3), panning is performed. The direction, zoom, etc. can be identified.

【００２２】この４つの判断は図２の各ベクトル検出領
域についてそれぞれ行われる。そして各検出領域からの
判断から、さらに正確な判断を複数行うことが出来る。
たとえば、一例として以下のような判断ができる。 （ａ）４つのベクトル検出領域のすべてが（３）に該当
し、動きベクトルが同じ方向を向いているなら、画面は
パンニング状態に入っている。 （ｂ）４つのベクトル検出領域の中で少なくとも一つが
（３）に該当し、その他の領域が（２）に該当するな
ら、画面内に移動物体が含まれている。These four judgments are made for each vector detection area in FIG. Then, a plurality of more accurate judgments can be made from the judgments made from the respective detection areas.
For example, the following judgments can be made as an example. (A) If all four vector detection areas correspond to (3) and the motion vectors point in the same direction, the screen is in a panning state. (B) If at least one of the four vector detection areas corresponds to (3) and the other areas correspond to (2), the moving object is included in the screen.

【００２３】以上のように、本発明のシーンチェンジ検
出装置は動画像の内容を検出することが可能なため、ユ
ーザの見たい場面を容易に捜し出すことができるという
特徴を有している。また、各画像にフレーム番号が予め
付与されていれば、画像記録媒体の中の内容をフレーム
番号を代表させて、シーンチェンジと判断されたフレー
ム番号をもとに自動編集することができる。なお、本実
施例では動画像記録媒体として光ディスク、ＩＣなどの
固体メモリや磁気テープなどであってもよい。As described above, since the scene change detection device of the present invention can detect the contents of a moving image, it has the feature that the user can easily find the desired scene. If a frame number is assigned to each image in advance, the contents in the image recording medium can be represented by the frame number and automatically edited based on the frame number determined as a scene change. In this embodiment, the moving image recording medium may be an optical disk, a solid-state memory such as an IC, a magnetic tape or the like.

【００２４】本発明の第２の実施例のシーンチェンジ検
出装置について説明する。図３は本発明のブロック図を
示すものであり、１は画像信号入力端子、２は各検出領
域のベクトル検出回路、３はベクトルの信頼性導出手段
であり、第１の実施例と同様なので説明を省略する。１
３はシーン決定手段、１４は色抽出手段である。A scene change detection apparatus according to the second embodiment of the present invention will be described. FIG. 3 is a block diagram of the present invention, in which 1 is an image signal input terminal, 2 is a vector detection circuit for each detection region, and 3 is a vector reliability deriving means, which is the same as in the first embodiment. The description is omitted. 1
3 is a scene determination means, and 14 is a color extraction means.

【００２５】色抽出手段１４では、色の濃度値に対する
分類（ヒストグラム分類）を行う。画像信号端子１に
は、ＲＧＢ（Red,Green,Blue)信号が各濃度値（０〜２
５５）で送られてくる。各濃度値を８分割すると、画面
内の画素数を濃度値別に５１２分割できる。それを関数
RGB()で（数３）のように表現する。The color extracting means 14 performs classification (histogram classification) on the color density values. The image signal terminal 1 receives RGB (Red, Green, Blue) signals at respective density values (0 to 2).
It will be sent in 55). When each density value is divided into eight, the number of pixels in the screen can be divided into 512 for each density value. Function it
It is expressed in RGB () as in (Equation 3).

【００２６】[0026]

【数３】 [Equation 3]

【００２７】すると、フレーム間の色の相関は次式で与
えられる。Then, the color correlation between frames is given by the following equation.

【００２８】[0028]

【数４】 [Equation 4]

【００２９】相関値R1はその値が小さい程、画像間の相
関が高いことを示している。シーン決定手段１３では、
信頼性導出手段３の結果と、（数４）から以下のような
判断ができる。The smaller the correlation value R1 is, the higher the correlation between images is. In the scene determination means 13,
The following judgment can be made from the result of the reliability derivation means 3 and (Equation 4).

【００３０】（１）Con1の値が非常に小さい and Con2
の値が非常に大きい and R1が大きい then 画像間の相関がない（シーンチェンジが起こった
可能性大） （２）Con1の値が非常に小さい and Con2の値が非常に
大きい and R1が小さい then 画像間の動きの相関はないが色の相関がある（シ
ーンチェンジは起こっているが同一内容の可能性大）） （３）Con1の値が小さい and Con2の値が大きい and R1が小さい then 画像間の相関は少しあるが色の相関はある（画面
内に移動物体が存在する可能性大） （４）Con1の値が大きい and Con2の値が小さい and R1が小さい then 画像間の相関がある（パンニングが起こった可能
性大） （５）Con1の値が小さい and Con2の値が小さい and R1が小さい then 画像間の相関がない（画像内容が一定、模様がな
い） また、（４）の条件に当てはまる各領域の動きベクトル
を用いて、パンニングの方向、ズーム等が判別できる。(1) The value of Con1 is very small and Con2
Value is very large and R1 is large then there is no correlation between images (scene change is likely) (2) Con1 value is very small and Con2 value is very large and R1 is small then There is no motion correlation between images, but there is a color correlation (there is a possibility that the scene changes but the same content is likely). (3) Con1 value is small and Con2 value is large and R1 is small then image There is a little correlation between them, but there is a color correlation (there is a possibility that a moving object exists in the screen) (4) Con1 has a large value and Con2 has a small value, and R1 has a small value. (The possibility that panning has occurred) (5) The value of Con1 is small and the value of Con2 is small and R1 is small then there is no correlation between the images (the image content is constant, there is no pattern). Using the motion vector of each area that meets the conditions, the panning Direction, zoom, etc. can be determined.

【００３１】以上の条件の中で、（２）の場合は、図４
（ａ）、（ｂ）のように同一人物を、ほぼ同じ場所から
映していながら、複数のカメラを用いてシーンを変えた
場合に相当するので、同じ映像内容と判断することがで
きる。したがって、（２）の場合はシーンチェンジでは
ないと判定すれば、より映像内容に合致した早送り等の
検索が可能となる。In the case of (2) among the above conditions, FIG.
As in (a) and (b), the same person is projected from almost the same place, but this corresponds to the case where the scenes are changed by using a plurality of cameras, so that it can be determined that the same video content. Therefore, in the case of (2), if it is determined that it is not a scene change, it is possible to perform a search such as fast-forward that more matches the video content.

【００３２】以上のように、本発明のシーンチェンジ検
出装置は動画像の内容を検出することが可能なため、ユ
ーザの見たい場面を容易に捜し出すことができるという
特徴を有している。また、各画像にフレーム番号が予め
付与されていれば、画像記録媒体の中の内容をフレーム
番号を代表させて、シーンチェンジと判断されたフレー
ム番号をもとに自動編集することができる。なお、本実
施例では動画像記録媒体として光ディスク、ＩＣなどの
固体メモリや磁気テープなどであってもよい。As described above, since the scene change detection device of the present invention can detect the contents of a moving image, it has the feature that the user can easily find the desired scene. If a frame number is assigned to each image in advance, the contents in the image recording medium can be represented by the frame number and automatically edited based on the frame number determined as a scene change. In this embodiment, the moving image recording medium may be an optical disk, a solid-state memory such as an IC, a magnetic tape or the like.

【００３３】本発明の第３の実施例のシーンチェンジ検
出装置について説明する。図５は本発明のブロック図を
示すものであり、１は画像信号入力端子、１５は画像圧
縮手段、１６は画像状態検出手段、１７は記憶手段、１
８は画像検索手段である。A scene change detection device according to the third embodiment of the present invention will be described. 5 is a block diagram of the present invention, in which 1 is an image signal input terminal, 15 is an image compression means, 16 is an image state detection means, 17 is a storage means, 1
Reference numeral 8 is an image search means.

【００３４】図６に画像圧縮手段１５の詳細を示す。画
像信号入力端子１からフレームメモリ１９に蓄えられた
画像は、動きベクトル予測手段２０で得られる動きベク
トルを用いて補正される。その後、ＤＣＴ（ディスクリ
ートコサイン変換）部２１、量子化部２２、ハフマン符
号化部２３で圧縮される。また、動きベクトルを求める
ために、量子復合部２４、ＩＤＣＴ部２５で画像は一度
復合される。FIG. 6 shows details of the image compression means 15. The image stored in the frame memory 19 from the image signal input terminal 1 is corrected using the motion vector obtained by the motion vector predicting means 20. Then, it is compressed by a DCT (discrete cosine transform) unit 21, a quantization unit 22, and a Huffman coding unit 23. Further, in order to obtain the motion vector, the images are once decoded by the quantum decoding unit 24 and the IDCT unit 25.

【００３５】画像状態検出手段１６は、画像圧縮手段１
５から画像間の相関値と圧縮率を出力端子２６を介して
受け取る。画像間の相関値は、動きベクトル予測部２０
から複数時系列データとして得られる。また画像の圧縮
率は、時系列データとしてハフマン符号化部２３より得
られる。ハフマン符号化方式は、画像データのディジタ
ル値列を短く符号化する技術である。符画像状態検出手
段１６は、時系列データを記憶手段１７に蓄積する。一
方画像圧縮手段１５は、圧縮された動画像を出力端子２
７を介して記憶手段１７に送る。画像間の相関値の時系
列データを図７に示す。時系列データの変化からシーン
チェンジが検出できる。時系列データの時刻と圧縮され
た画像のフレーム番号をあらかじめ照合させておけば、
画像を容易に検索することができる。The image state detecting means 16 is the image compressing means 1.
5 receives the correlation value between images and the compression rate via the output terminal 26. The correlation value between images is calculated by the motion vector prediction unit 20.
As multiple time series data. The image compression rate is obtained from the Huffman coding unit 23 as time series data. The Huffman coding method is a technique for coding a digital value string of image data in a short length. The mark image state detecting means 16 stores the time series data in the storage means 17. On the other hand, the image compression means 15 outputs the compressed moving image to the output terminal 2
7 to the storage means 17. FIG. 7 shows time-series data of correlation values between images. Scene changes can be detected from changes in time series data. If the time of the time series data and the frame number of the compressed image are checked in advance,
Images can be searched easily.

【００３６】画像検索手段１８では、以下の条件を用い
てシーンチェンジを検索する。 （１）Con1の値が非常に小さい and Con2の値が非常に
大きい and 圧縮率が非常に低い then 画像間の相関がない（シーンチェンジが起こった
可能性大） （２）Con1の値が小さい and Con2の値が大きい and
圧縮率が低い then 画像間の相関が少しある（画面内に移動物体が存
在する可能性大） （３）Con1の値が大きい and Con2の値が小さい and
圧縮率が高い then 画像間の相関がある（パンニングが起こった可能
性大） （４）Con1の値が小さい and Con2の値が小さい and
圧縮率が非常に高い then 画像間の相関がない（画像内容が一定、模様がな
い） 時系列データはすでに記憶手段に蓄積されているので、
シーンチェンジの条件の中の”大きい”、”小さ
い”、”高い”、”低い”等の言葉に相当する具体的な
しきい値（図７参照）を逐次変えて、高速に検索するこ
とが可能である。また時系列データは画像記録媒体に記
録することも可能である。The image search means 18 searches for a scene change using the following conditions. (1) The value of Con1 is very small and the value of Con2 is very large and the compression rate is very low then there is no correlation between images (there is a possibility that a scene change has occurred) (2) The value of Con1 is small The value of and Con2 is large and
The compression ratio is low, then there is a little correlation between the images (there is a high possibility that a moving object exists in the screen). (3) The value of Con1 is large and the value of Con2 is small and
High compression ratio then correlation between images (possibly panning occurred) (4) Small value of Con1 and small value of Con2 and
The compression ratio is very high then there is no correlation between the images (the image content is constant, there is no pattern) Since the time series data is already stored in the storage means,
It is possible to search at high speed by sequentially changing specific threshold values (see Fig. 7) corresponding to the words "large", "small", "high", "low" in the scene change conditions. Is. The time series data can also be recorded in the image recording medium.

【００３７】以上のように、本発明のシーンチェンジ検
出装置は動画像の内容を検出することが可能なため、ユ
ーザの見たい場面を容易に捜し出すことができるという
特徴を有している。また、各画像にフレーム番号が予め
付与されていれば、画像記録媒体の中の内容をフレーム
番号を代表させて、シーンチェンジと判断されたフレー
ム番号をもとに自動編集することができる。なお、本実
施例では動画像記録媒体として光ディスク、ＩＣなどの
固体メモリや磁気テープなどであってもよい。As described above, since the scene change detecting apparatus of the present invention can detect the contents of a moving image, it has the feature that the user can easily find the scene he or she wants to see. If a frame number is assigned to each image in advance, the contents in the image recording medium can be represented by the frame number and automatically edited based on the frame number determined as a scene change. In this embodiment, the moving image recording medium may be an optical disk, a solid-state memory such as an IC, a magnetic tape or the like.

【００３８】本発明の第４の実施例の動画像編集装置に
ついて説明する。図８は本発明のブロック図を示すもの
であり、１は画像信号入力端子、２８は第１、２、３の
実施例のシーン決定手段、２９はファイル化手段、３０
はヘッダ入力手段、３１は画像の記憶手段、３２は画像
編集手段である。A moving image editing apparatus according to the fourth embodiment of the present invention will be described. FIG. 8 is a block diagram of the present invention, in which 1 is an image signal input terminal, 28 is the scene determining means of the first, second and third embodiments, 29 is a filing means and 30.
Is a header input means, 31 is an image storage means, and 32 is an image editing means.

【００３９】シーン決定手段２８により分割された画像
あるいは音声信号に対して、ファイル化手段２９は文字
情報等を書き込むためのヘッダ部を前記画像あるいは音
声信号の最初あるいは最後に与え、画像情報とともに記
憶手段３１に蓄積させる。ヘッダ入力手段３０は、ヘッ
ダ部に画像あるいは音声信号に関する情報を書き込む。
編集手段３２は、ファイル化された画像単位に消去、移
動、記録を行う。For the image or audio signal divided by the scene determining means 28, the filing means 29 gives a header portion for writing character information or the like to the beginning or end of the image or audio signal and stores it together with the image information. It is stored in the means 31. The header input means 30 writes information regarding an image or audio signal in the header section.
The editing means 32 erases, moves, and records in file units of images.

【００４０】以上のように、本発明の動画像編集装置は
動画像の内容を容易に編集できる。またユーザの見たい
場面を容易に捜し出すことができるという特徴を有して
いる。また、各画像にフレーム番号が予め付与されてい
れば、画像記録媒体の中の内容をフレーム番号で編集す
ることができる。なお、本実施例では動画像記録媒体と
して光ディスク、ＩＣなどの固体メモリや磁気テープな
どであってもよい。As described above, the moving image editing apparatus of the present invention can easily edit the contents of a moving image. Further, it has a feature that a user can easily find a desired scene. If a frame number is assigned to each image in advance, the contents in the image recording medium can be edited with the frame number. In this embodiment, the moving image recording medium may be an optical disk, a solid-state memory such as an IC, a magnetic tape or the like.

【００４１】[0041]

【発明の効果】以上説明したように、本発明のシーンチ
ェンジ検出装置および画像編集装置は動画像記録媒体に
記録する動画像からシーンチェンジ画像を自動的に検出
し、シーンチェンジ画像を記録することによって、人手
を介する必要がなく、大量の動画像データに対しても管
理情報を付与することが可能である。As described above, the scene change detection device and the image editing device of the present invention automatically detect a scene change image from a moving image recorded on a moving image recording medium and record the scene change image. This makes it possible to add management information to a large amount of moving image data without the need for human intervention.

【図面の簡単な説明】[Brief description of drawings]

【図１】第１の実施例のシーンチェンジ検出装置を示す
図FIG. 1 is a diagram showing a scene change detection device according to a first embodiment.

【図２】第１の実施例の動作を説明するための図FIG. 2 is a diagram for explaining the operation of the first embodiment.

【図３】第２の実施例のシーンチェンジ検出装置を示す
図FIG. 3 is a diagram showing a scene change detection device according to a second embodiment.

【図４】第２の実施例の動作を説明するための図FIG. 4 is a diagram for explaining the operation of the second embodiment.

【図５】第３の実施例のシーンチェンジ検出装置を示す
図FIG. 5 is a diagram showing a scene change detection device according to a third embodiment.

【図６】第３の実施例の画像圧縮手段の詳細構成を示す
ブロック図FIG. 6 is a block diagram showing a detailed configuration of image compression means according to a third embodiment.

【図７】第３の実施例の時系列データを示す図FIG. 7 is a diagram showing time series data of a third embodiment.

【図８】第４の実施例の画像編集装置の構成を示すブロ
ック図FIG. 8 is a block diagram showing the arrangement of an image editing apparatus according to a fourth embodiment.

【符号の説明】[Explanation of symbols]

１ 画像信号入力端子 ２ 各領域のベクトル検出手段 ３ 信頼性導出手段 ４ シーン決定手段 ５ ベクトル検出回路 ６ 各領域の動きベクトル ７ 画面全体の動きベクトル ８，１２ 小領域 ９ 代表点 １０ 偏移した位置 １１ 全画面 １３、２８ シーン決定手段 １４ 色抽出手段 １５ 画像圧縮手段 １６ 画像状態検出手段 １７、３１ 画像の記憶手段 １８ 画像検索手段 １９ フレームメモリ ２０ 動きベクトル予測部 ２１ ＤＣＴ部 ２２ 量子化部 ２３ ハフマン符号化部 ２４ 量子化復合部 ２５ ＩＤＣＴ部 ２６、２７ 出力端子 ２９ ファイル化手段 ３０ ヘッダ入力手段 ３２ 画像の編集手段 1 image signal input terminal 2 vector detection means for each area 3 reliability deriving means 4 scene determination means 5 vector detection circuit 6 motion vector for each area 7 motion vector for the whole screen 8, 12 small area 9 representative point 10 shifted position 11 full screen 13, 28 scene determination means 14 color extraction means 15 image compression means 16 image state detection means 17, 31 image storage means 18 image retrieval means 19 frame memory 20 motion vector prediction section 21 DCT section 22 quantization section 23 Huffman Encoding unit 24 Quantization decoding unit 25 IDCT unit 26, 27 Output terminal 29 File conversion unit 30 Header input unit 32 Image editing unit

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.5 識別記号 庁内整理番号 ＦＩ 技術表示箇所 // Ｈ０４Ｎ 7/137 Ｚ ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 5 Identification code Internal reference number FI technical display location // H04N 7/137 Z

Claims (4)

【特許請求の範囲】[Claims] 【請求項１】画面中に複数の検出領域を設け、その各検
出領域について、所定の偏移における相関値を求める手
段と、その相関値より各検出領域ごとに動きベクトルを
求める手段と、動きベクトルの値または相関値またはそ
れらの組合せによりその検出領域の動きベクトルの信頼
性を導出する信頼性導出手段と、前記信頼性導出手段の
結果からシーンチェンジを検出する手段とを具備するこ
とを特徴とする動画像のシーンチェンジ検出装置。1. A plurality of detection areas are provided on a screen, and means for obtaining a correlation value at a predetermined deviation for each detection area, means for obtaining a motion vector for each detection area from the correlation value, and motion. A reliability deriving means for deriving the reliability of the motion vector of the detection area based on a vector value, a correlation value, or a combination thereof; and means for detecting a scene change from the result of the reliability deriving means. A scene change detection device for moving images. 【請求項２】画面中に複数の検出領域を設け、その各検
出領域について、所定の偏移における相関値を求める手
段と、その相関値より各検出領域ごとに動きベクトルを
求める手段と、動きベクトルの値または相関値またはそ
れらの組合せによりその検出領域の動きベクトルの信頼
性を導出する信頼性導出手段と、画像から色の濃度値を
抽出する色抽出手段と、前記色抽出手段と前記信頼性導
出手段の結果からシーンチェンジを検出する手段とを具
備することを特徴とする動画像のシーンチェンジ検出装
置。2. A plurality of detection areas are provided on the screen, and means for obtaining a correlation value at a predetermined deviation for each detection area, means for obtaining a motion vector for each detection area from the correlation value, and motion. Reliability deriving means for deriving the reliability of the motion vector of the detection region based on vector values or correlation values or a combination thereof, color extracting means for extracting color density values from an image, the color extracting means and the reliability. And a scene change detecting means for detecting a scene change from the result of the sex deriving means. 【請求項３】画像を圧縮する手段と、画像の圧縮率ある
いは画像間の相関を時系列データとして検出する画像状
態検出手段と、前記時系列データを記憶する手段と、前
記時系列データをもとにシーンチェンジを検出する手段
とを具備することを特徴とする動画像のシーンチェンジ
検出装置。3. A means for compressing an image, an image state detecting means for detecting a compression ratio of images or a correlation between images as time series data, a means for storing the time series data, and a time series data. And a scene change detecting means for detecting a scene change. 【請求項４】シーンチェンジ検出手段により分割された
画像あるいは音声信号に対して、文字情報等を書き込む
ためのヘッダ部を前記画像あるいは音声信号の最初ある
いは最後に与えるファイル化手段と、ヘッダ部に前記画
像あるいは音声信号に関する情報を書き込むヘッダ入力
手段と、ファイル化された画像単位に消去、移動、記録
を行う編集手段とを具備することを特徴とする請求項
１、２または３記載の動画像編集装置。4. A filing means for giving a header portion for writing character information or the like to the image or audio signal divided by the scene change detecting means at the beginning or end of the image or audio signal, and the header portion. 4. The moving image according to claim 1, 2 or 3, further comprising: a header input unit for writing information on the image or audio signal, and an editing unit for erasing, moving and recording in filed image units. Editing device.
JP29483892A 1992-11-04 1992-11-04 Scene change detector for moving picture and edit device Pending JPH06153146A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP29483892A JPH06153146A (en) 1992-11-04 1992-11-04 Scene change detector for moving picture and edit device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29483892A JPH06153146A (en) 1992-11-04 1992-11-04 Scene change detector for moving picture and edit device

Publications (1)

Publication Number Publication Date
JPH06153146A true JPH06153146A (en) 1994-05-31

Family

ID=17812909

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29483892A Pending JPH06153146A (en) 1992-11-04 1992-11-04 Scene change detector for moving picture and edit device

Country Status (1)

Country Link
JP (1) JPH06153146A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0804034A2 (en) * 1996-04-26 1997-10-29 Fujitsu Limited Method and device for detecting motion vectors
WO2001003005A1 (en) * 1999-06-30 2001-01-11 Sharp Kabushiki Kaisha Dynamic image search information recording apparatus and dynamic image searching device
US7272183B2 (en) 1999-08-24 2007-09-18 Fujitsu Limited Image processing device, method and storage medium thereof
JP2008312215A (en) * 2007-06-18 2008-12-25 Sony (China) Ltd Video-image analyzer, video-image analyzing method, automatic digest preparation system, and automatic highlight extraction system
US7773819B2 (en) 2006-02-24 2010-08-10 Morpho, Inc. Image processing apparatus
US7847823B2 (en) 2005-01-14 2010-12-07 Morpho, Inc. Motion vector calculation method and hand-movement correction device, imaging device and moving picture generation device

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0804034A2 (en) * 1996-04-26 1997-10-29 Fujitsu Limited Method and device for detecting motion vectors
EP0804034A3 (en) * 1996-04-26 1998-05-20 Fujitsu Limited Method and device for detecting motion vectors
US5894526A (en) * 1996-04-26 1999-04-13 Fujitsu Limited Method and device for detecting motion vectors
WO2001003005A1 (en) * 1999-06-30 2001-01-11 Sharp Kabushiki Kaisha Dynamic image search information recording apparatus and dynamic image searching device
US7092040B1 (en) 1999-06-30 2006-08-15 Sharp Kabushiki Kaisha Dynamic image search information recording apparatus and dynamic image searching device
US7884884B2 (en) 1999-06-30 2011-02-08 Sharp Kabushiki Kaisha Dynamic image search information recording apparatus and dynamic image searching devices
US7272183B2 (en) 1999-08-24 2007-09-18 Fujitsu Limited Image processing device, method and storage medium thereof
US7847823B2 (en) 2005-01-14 2010-12-07 Morpho, Inc. Motion vector calculation method and hand-movement correction device, imaging device and moving picture generation device
US7773819B2 (en) 2006-02-24 2010-08-10 Morpho, Inc. Image processing apparatus
JP2008312215A (en) * 2007-06-18 2008-12-25 Sony (China) Ltd Video-image analyzer, video-image analyzing method, automatic digest preparation system, and automatic highlight extraction system

Similar Documents

Publication Publication Date Title
US5493345A (en) Method for detecting a scene change and image editing apparatus
JP3315766B2 (en) Image data encoding method, image data encoding device using the method, image data restoring method, image data restoring device using the method, scene change detecting method, scene change detecting device using the method, scene change recording Device and image data scene change recording / reproducing device
US5513010A (en) Digital video signal recording and reproducing apparatus that records and reproduces both still and moving pictures
US7486832B2 (en) Method and device for condensed image recording and reproduction
JPH09322174A (en) Reproducing method for moving image data
JPH06149902A (en) Animation image recording medium, animation image recorder and animation image reproducing device
US7035483B2 (en) Image search apparatus
US7639920B2 (en) Recorder
JPH06153146A (en) Scene change detector for moving picture and edit device
JP3253530B2 (en) Video recording device
KR20020069724A (en) Management method for video data of digital video recording and reproducting apparatus
WO1998004085A1 (en) Moving picture recording device and moving picture reproducing device
JP2001119661A (en) Dynamic image editing system and recording medium
US20030147012A1 (en) Method for detecting scene changes in compressed video data
JP3291392B2 (en) Method and apparatus for reproducing compressed image data
JPH11289513A (en) Video recording and reproducing device
JP3511312B2 (en) Optical disc, and optical disc reproducing apparatus and method
JP3239005B2 (en) Digital moving image compressed data duplicating device and digital moving image compressed data reproducing device
JPH09200675A (en) Device, method for recording video data and recording medium
JP3128107B2 (en) Video compression method and apparatus
JP3277757B2 (en) Video data playback device
JP3375616B2 (en) Optical disc, recording method and recording device
JPH0738845A (en) Scene extracting method for video image
JP2002262241A (en) Device and method for processing image
JPH09326991A (en) Method and device for recording image