JPH06153146A - 動画像のシーンチェンジ検出装置および編集装置 - Google Patents
動画像のシーンチェンジ検出装置および編集装置Info
- Publication number
- JPH06153146A JPH06153146A JP29483892A JP29483892A JPH06153146A JP H06153146 A JPH06153146 A JP H06153146A JP 29483892 A JP29483892 A JP 29483892A JP 29483892 A JP29483892 A JP 29483892A JP H06153146 A JPH06153146 A JP H06153146A
- Authority
- JP
- Japan
- Prior art keywords
- image
- scene change
- correlation
- value
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Complex Calculations (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【目的】 動画像記録媒体に記録された動画像に対し
て、画像内容を考慮したシーンチェンジ検出を自動的に
行う装置、および画像編集装置を提供することを目的と
する。 【構成】 画面を複数の領域に分割し、それぞれの領域
について画像間の相関値と動きベクトルを求める。また
画面内の色について画像間の相関を求める。色の相関と
動きの相関から画像内容を判断する。その結果に基づき
シーンチェンジの検出を行う。
て、画像内容を考慮したシーンチェンジ検出を自動的に
行う装置、および画像編集装置を提供することを目的と
する。 【構成】 画面を複数の領域に分割し、それぞれの領域
について画像間の相関値と動きベクトルを求める。また
画面内の色について画像間の相関を求める。色の相関と
動きの相関から画像内容を判断する。その結果に基づき
シーンチェンジの検出を行う。
Description
【０００１】
【産業上の利用分野】本発明は画像記録媒体から動画像
を再生する際に、画像記録媒体に記録された動画像から
代表的な画像を抽出して要約画像（ブラウジング画像）
を生成することが可能な画像編集装置に関するものであ
る。
を再生する際に、画像記録媒体に記録された動画像から
代表的な画像を抽出して要約画像（ブラウジング画像）
を生成することが可能な画像編集装置に関するものであ
る。
【０００２】
【従来の技術】従来、ＶＴＲやビデオディスクなどの動
画像記録媒体に記録された動画像を短時間で見ようとし
た場合、早送り再生の方法を用いる。
画像記録媒体に記録された動画像を短時間で見ようとし
た場合、早送り再生の方法を用いる。
【０００３】ＶＴＲの早送り再生は、テープ走行速度を
通常の再生速度より高速にして再生することによって実
現する。例えば、通常の再生速度の１１倍、２７倍、４
５倍のテープ走行速度にして早送り再生が行われる。ま
た、ビデオディスクの早送り再生は、ディスク上の再生
トラックを一定間隔にスキップしながら再生することに
よって実現する。このように従来のＶＴＲやビデオディ
スクの早送り再生では、これら動画像記録媒体に記録さ
れた動画像の内容とは無関係に、記録された動画像から
一定間隔で早送り再生用の画像が抽出される。
通常の再生速度より高速にして再生することによって実
現する。例えば、通常の再生速度の１１倍、２７倍、４
５倍のテープ走行速度にして早送り再生が行われる。ま
た、ビデオディスクの早送り再生は、ディスク上の再生
トラックを一定間隔にスキップしながら再生することに
よって実現する。このように従来のＶＴＲやビデオディ
スクの早送り再生では、これら動画像記録媒体に記録さ
れた動画像の内容とは無関係に、記録された動画像から
一定間隔で早送り再生用の画像が抽出される。
【０００４】一方、ＶＴＲでは記録された動画像を管理
するための情報を、ビデオテープに動画像とともに記録
するというものがある。一例として、ＶＩＳＳ（VHS In
dexSearch System） について説明する。ＶＩＳＳと
は、ＶＨＳ方式のＶＴＲにおいて高速頭出しを行うため
に開発されたものである。ビデオテープには、通常の画
像情報を記録するビデオトラック以外に、この高速頭出
しを行うためのＶＩＳＳ信号を記録するコントロールト
ラックが存在する。このＶＩＳＳ信号は、ビデオテープ
に画像情報を録画し始めたときに、コントロールトラッ
クに自動的に記録される。また、ユーザが見たい場面に
対してＶＩＳＳ信号を記録することもできる。このよう
にしてビデオテープ上に記録されたＶＩＳＳ信号を利用
して、イントロサーチと呼ばれる早送り再生を行うこと
ができる。イントロサーチとは、早送り中にＶＩＳＳ信
号を見つけると、ある時間だけ再生状態にし、その後再
び早送りするという動作をテープの終わりまで繰り返す
ものである。このようなイントロサーチでは、ビデオテ
ープに録画された動画像の内容に関係した早送り再生を
行うことができる。
するための情報を、ビデオテープに動画像とともに記録
するというものがある。一例として、ＶＩＳＳ（VHS In
dexSearch System） について説明する。ＶＩＳＳと
は、ＶＨＳ方式のＶＴＲにおいて高速頭出しを行うため
に開発されたものである。ビデオテープには、通常の画
像情報を記録するビデオトラック以外に、この高速頭出
しを行うためのＶＩＳＳ信号を記録するコントロールト
ラックが存在する。このＶＩＳＳ信号は、ビデオテープ
に画像情報を録画し始めたときに、コントロールトラッ
クに自動的に記録される。また、ユーザが見たい場面に
対してＶＩＳＳ信号を記録することもできる。このよう
にしてビデオテープ上に記録されたＶＩＳＳ信号を利用
して、イントロサーチと呼ばれる早送り再生を行うこと
ができる。イントロサーチとは、早送り中にＶＩＳＳ信
号を見つけると、ある時間だけ再生状態にし、その後再
び早送りするという動作をテープの終わりまで繰り返す
ものである。このようなイントロサーチでは、ビデオテ
ープに録画された動画像の内容に関係した早送り再生を
行うことができる。
【０００５】
【発明が解決しようとする課題】以上のような従来例
で、動画像記録媒体に記録された動画像の内容とは無関
係に記録された動画像から一定間隔で早送り再生用の画
像を抽出する場合、画像の変化が激しい場面でも、ほと
んど変化のない場面でも同一の間隔で抽出される。この
ため、抽出する間隔を長くすると変化の激しい場面では
見ずらいものとなり、抽出する間隔を短くすると変化の
ほとんどない場面では冗長なものとなるという課題があ
る。
で、動画像記録媒体に記録された動画像の内容とは無関
係に記録された動画像から一定間隔で早送り再生用の画
像を抽出する場合、画像の変化が激しい場面でも、ほと
んど変化のない場面でも同一の間隔で抽出される。この
ため、抽出する間隔を長くすると変化の激しい場面では
見ずらいものとなり、抽出する間隔を短くすると変化の
ほとんどない場面では冗長なものとなるという課題があ
る。
【０００６】また、動画像記録媒体に記録された動画像
の内容に関係して記録された動画像から早送り再生用の
画像を抽出する場合、前述したようにＶＩＳＳ信号を記
録する必要があり、録画開始時点に自動的に記録される
ＶＩＳＳ信号以外はユーザが手動で記録しなければなら
い。このため、動画像の内容が変化するすべての部分を
早送り再生画像として抽出しようとすると、ＶＩＳＳ信
号の記録には膨大な手間がかかるという課題がある。さ
らに、ＶＩＳＳ信号は単なるマーキングに過ぎず、画像
内容に関連した情報は持っていないため、ＶＩＳＳ信号
が付けられた画像の中から自動的に画像内容を考慮した
選択を行うことは不可能である。
の内容に関係して記録された動画像から早送り再生用の
画像を抽出する場合、前述したようにＶＩＳＳ信号を記
録する必要があり、録画開始時点に自動的に記録される
ＶＩＳＳ信号以外はユーザが手動で記録しなければなら
い。このため、動画像の内容が変化するすべての部分を
早送り再生画像として抽出しようとすると、ＶＩＳＳ信
号の記録には膨大な手間がかかるという課題がある。さ
らに、ＶＩＳＳ信号は単なるマーキングに過ぎず、画像
内容に関連した情報は持っていないため、ＶＩＳＳ信号
が付けられた画像の中から自動的に画像内容を考慮した
選択を行うことは不可能である。
【０００７】本発明はかかる点に鑑み、動画像記録媒体
に記録された動画像に対して画像内容を考慮した早送り
再生用の画像を自動生成可能な画像編集装置を提供する
ことを目的とする。
に記録された動画像に対して画像内容を考慮した早送り
再生用の画像を自動生成可能な画像編集装置を提供する
ことを目的とする。
【０００８】
【課題を解決するための手段】上記課題を解決するため
に以下のような構成とする。
に以下のような構成とする。
【０００９】画面中に複数の検出領域を設け、その各検
出領域について、所定の偏移における相関値を求める手
段と、その相関値より各検出領域ごとに動きベクトルを
求める手段と、動きベクトルの値または相関値またはそ
れらの組合せによりその検出領域の動きベクトルの信頼
性を導出する信頼性導出手段と、前記信頼性導出手段の
結果からシーンチェンジを検出する手段とを具備したシ
ーンチェンジ検出装置である。
出領域について、所定の偏移における相関値を求める手
段と、その相関値より各検出領域ごとに動きベクトルを
求める手段と、動きベクトルの値または相関値またはそ
れらの組合せによりその検出領域の動きベクトルの信頼
性を導出する信頼性導出手段と、前記信頼性導出手段の
結果からシーンチェンジを検出する手段とを具備したシ
ーンチェンジ検出装置である。
【００１０】または、画面中に複数の検出領域を設け、
その各検出領域について、所定の偏移における相関値を
求める手段と、その相関値より各検出領域ごとに動きベ
クトルを求める手段と、動きベクトルの値または相関値
またはそれらの組合せによりその検出領域の動きベクト
ルの信頼性を導出する信頼性導出手段と、画像から色の
濃度値を抽出する色抽出手段と、前記色抽出手段と前記
信頼性導出手段の結果からシーンチェンジを検出する手
段とを具備したシーンチェンジ検出装置である。
その各検出領域について、所定の偏移における相関値を
求める手段と、その相関値より各検出領域ごとに動きベ
クトルを求める手段と、動きベクトルの値または相関値
またはそれらの組合せによりその検出領域の動きベクト
ルの信頼性を導出する信頼性導出手段と、画像から色の
濃度値を抽出する色抽出手段と、前記色抽出手段と前記
信頼性導出手段の結果からシーンチェンジを検出する手
段とを具備したシーンチェンジ検出装置である。
【００１１】または、画像を圧縮する手段と、画像の圧
縮率あるいは画像間の相関を時系列データとして検出す
る画像状態検出手段と、前記時系列データを記憶する手
段と、前記時系列データをもとにシーンチェンジを検出
する手段とを具備したシーンチェンジ検出装置である。
縮率あるいは画像間の相関を時系列データとして検出す
る画像状態検出手段と、前記時系列データを記憶する手
段と、前記時系列データをもとにシーンチェンジを検出
する手段とを具備したシーンチェンジ検出装置である。
【００１２】または、前記シーンチェンジ検出手段によ
り分割された画像あるいは音声信号に対して、文字情報
等を書き込むためのヘッダ部を前記画像あるいは音声信
号の最初あるいは最後に与えるファイル化手段と、ヘッ
ダ部に前記画像あるいは音声信号に関する情報を書き込
むヘッダ入力手段と、ファイル化された画像単位に消
去、移動、記録を行う編集手段とを具備した画像編集装
置である。
り分割された画像あるいは音声信号に対して、文字情報
等を書き込むためのヘッダ部を前記画像あるいは音声信
号の最初あるいは最後に与えるファイル化手段と、ヘッ
ダ部に前記画像あるいは音声信号に関する情報を書き込
むヘッダ入力手段と、ファイル化された画像単位に消
去、移動、記録を行う編集手段とを具備した画像編集装
置である。
【００１３】
【作用】画面内を複数の領域に分割し、その各々の領域
について画像間の相関から動きベクトルを求める。複数
の相関値と動きベクトルから、画面内の状態を判断す
る。また、画像間の色の類似性から、シーンチェンジが
おこったとしても、ほぼ同様の映像内容と判断する。
について画像間の相関から動きベクトルを求める。複数
の相関値と動きベクトルから、画面内の状態を判断す
る。また、画像間の色の類似性から、シーンチェンジが
おこったとしても、ほぼ同様の映像内容と判断する。
【００１４】また、画像から求めた、相関値、動きベク
トル、色の情報を時系列データとして記憶し、再度画像
を検索するときの速度を向上させる。
トル、色の情報を時系列データとして記憶し、再度画像
を検索するときの速度を向上させる。
【００１５】
【実施例】本発明の第１の実施例のシーンチェンジ検出
装置について説明する。図１は本発明のブロック図を示
すものであり、１は画像信号入力端子である。２は各検
出領域のベクトル検出回路である。３はベクトルの信頼
性導出手段および４はシーン決定手段である。
装置について説明する。図１は本発明のブロック図を示
すものであり、１は画像信号入力端子である。２は各検
出領域のベクトル検出回路である。３はベクトルの信頼
性導出手段および４はシーン決定手段である。
【００１６】以上のように構成されたシーンチェンジ検
出装置において、まず入力端子１に少なくとも２フィー
ルド以上の時間的に連続する画像信号が入力される。各
検出領域のベクトル検出回路２では、図２に示すように
予め画面１１内に複数のベクトル検出領域５が定められ
ており、さらに検出領域は代表点９を持った多数の小領
域８（あるいは１２）に分割されている。２フィールド
の時間的に連続な画像信号が入力される。各小領域の代
表点について２フィールド間の所定の範囲の量(i,j):im
in<i<imax,jmin<j<jmax 偏移した位置１０の信号との差
を相関値としてそれぞれ求め小領域の総和をとる。相関
値は（数１）で求められる。
出装置において、まず入力端子１に少なくとも２フィー
ルド以上の時間的に連続する画像信号が入力される。各
検出領域のベクトル検出回路２では、図２に示すように
予め画面１１内に複数のベクトル検出領域５が定められ
ており、さらに検出領域は代表点９を持った多数の小領
域８（あるいは１２）に分割されている。２フィールド
の時間的に連続な画像信号が入力される。各小領域の代
表点について２フィールド間の所定の範囲の量(i,j):im
in<i<imax,jmin<j<jmax 偏移した位置１０の信号との差
を相関値としてそれぞれ求め小領域の総和をとる。相関
値は（数１）で求められる。
【００１７】
【数１】
【００１８】相関値の最小値を与える偏移(i',j')を検
出し、これを各検出領域のベクトル６とする。またベク
トル検出回路２は、その相関値の最小値R_min、平均値R
_ave、最大値R_maxを求め、動きベクトルの値ととも
に、ベクトルの信頼性導出手段３およびシーン決定手段
４に出力する。
出し、これを各検出領域のベクトル６とする。またベク
トル検出回路２は、その相関値の最小値R_min、平均値R
_ave、最大値R_maxを求め、動きベクトルの値ととも
に、ベクトルの信頼性導出手段３およびシーン決定手段
４に出力する。
【００１９】信頼性導出手段３では、画像内容を判断す
るための値Con1とCon2を出力する。そのために動きベク
トルの信頼性（相関）を図るための（数２）を構成す
る。Con1とCon2を用いて動きベクトルが明確に検出され
ているかどうか、換言すると画像間に相関があるかどう
かがわかる。Con1、Con2はシーン決定手段４に与えられ
る。
るための値Con1とCon2を出力する。そのために動きベク
トルの信頼性（相関）を図るための（数２）を構成す
る。Con1とCon2を用いて動きベクトルが明確に検出され
ているかどうか、換言すると画像間に相関があるかどう
かがわかる。Con1、Con2はシーン決定手段４に与えられ
る。
【００２０】
【数２】
【００２１】シーン決定手段４では、以下のような判断
を行う。 （１）Con1の値が非常に小さい and Con2の値が非常に
大きい then 画像間の相関がない（シーンチェンジが起こった
可能性大） （２）Con1の値が小さい and Con2の値が大きい then 画像間の相関が少しある（画面内に移動物体が存
在する可能性大） （３）Con1の値が大きい and Con2の値が小さい then 画像間の相関がある（パンニングが起こった可能
性大） （４）Con1の値が小さい and Con2の値が小さい then 画像間の相関がない（画像内容が一定、模様がな
い） また、（３）の条件に当てはまる各領域の動きベクトル
を用いて、パンニングの方向、ズーム等が判別できる。
を行う。 （１）Con1の値が非常に小さい and Con2の値が非常に
大きい then 画像間の相関がない（シーンチェンジが起こった
可能性大） （２）Con1の値が小さい and Con2の値が大きい then 画像間の相関が少しある（画面内に移動物体が存
在する可能性大） （３）Con1の値が大きい and Con2の値が小さい then 画像間の相関がある（パンニングが起こった可能
性大） （４）Con1の値が小さい and Con2の値が小さい then 画像間の相関がない（画像内容が一定、模様がな
い） また、（３）の条件に当てはまる各領域の動きベクトル
を用いて、パンニングの方向、ズーム等が判別できる。
【００２２】この４つの判断は図２の各ベクトル検出領
域についてそれぞれ行われる。そして各検出領域からの
判断から、さらに正確な判断を複数行うことが出来る。
たとえば、一例として以下のような判断ができる。 （ａ）４つのベクトル検出領域のすべてが（３）に該当
し、動きベクトルが同じ方向を向いているなら、画面は
パンニング状態に入っている。 （ｂ）４つのベクトル検出領域の中で少なくとも一つが
（３）に該当し、その他の領域が（２）に該当するな
ら、画面内に移動物体が含まれている。
域についてそれぞれ行われる。そして各検出領域からの
判断から、さらに正確な判断を複数行うことが出来る。
たとえば、一例として以下のような判断ができる。 （ａ）４つのベクトル検出領域のすべてが（３）に該当
し、動きベクトルが同じ方向を向いているなら、画面は
パンニング状態に入っている。 （ｂ）４つのベクトル検出領域の中で少なくとも一つが
（３）に該当し、その他の領域が（２）に該当するな
ら、画面内に移動物体が含まれている。
【００２３】以上のように、本発明のシーンチェンジ検
出装置は動画像の内容を検出することが可能なため、ユ
ーザの見たい場面を容易に捜し出すことができるという
特徴を有している。また、各画像にフレーム番号が予め
付与されていれば、画像記録媒体の中の内容をフレーム
番号を代表させて、シーンチェンジと判断されたフレー
ム番号をもとに自動編集することができる。なお、本実
施例では動画像記録媒体として光ディスク、ＩＣなどの
固体メモリや磁気テープなどであってもよい。
出装置は動画像の内容を検出することが可能なため、ユ
ーザの見たい場面を容易に捜し出すことができるという
特徴を有している。また、各画像にフレーム番号が予め
付与されていれば、画像記録媒体の中の内容をフレーム
番号を代表させて、シーンチェンジと判断されたフレー
ム番号をもとに自動編集することができる。なお、本実
施例では動画像記録媒体として光ディスク、ＩＣなどの
固体メモリや磁気テープなどであってもよい。
【００２４】本発明の第２の実施例のシーンチェンジ検
出装置について説明する。図３は本発明のブロック図を
示すものであり、１は画像信号入力端子、２は各検出領
域のベクトル検出回路、３はベクトルの信頼性導出手段
であり、第１の実施例と同様なので説明を省略する。１
３はシーン決定手段、１４は色抽出手段である。
出装置について説明する。図３は本発明のブロック図を
示すものであり、１は画像信号入力端子、２は各検出領
域のベクトル検出回路、３はベクトルの信頼性導出手段
であり、第１の実施例と同様なので説明を省略する。１
３はシーン決定手段、１４は色抽出手段である。
【００２５】色抽出手段１４では、色の濃度値に対する
分類（ヒストグラム分類）を行う。画像信号端子１に
は、ＲＧＢ（Red,Green,Blue)信号が各濃度値（０〜２
５５）で送られてくる。各濃度値を８分割すると、画面
内の画素数を濃度値別に５１２分割できる。それを関数
RGB()で（数３）のように表現する。
分類（ヒストグラム分類）を行う。画像信号端子１に
は、ＲＧＢ（Red,Green,Blue)信号が各濃度値（０〜２
５５）で送られてくる。各濃度値を８分割すると、画面
内の画素数を濃度値別に５１２分割できる。それを関数
RGB()で（数３）のように表現する。
【００２６】
【数３】
【００２７】すると、フレーム間の色の相関は次式で与
えられる。
えられる。
【００２８】
【数４】
【００２９】相関値R1はその値が小さい程、画像間の相
関が高いことを示している。シーン決定手段１３では、
信頼性導出手段３の結果と、（数４）から以下のような
判断ができる。
関が高いことを示している。シーン決定手段１３では、
信頼性導出手段３の結果と、（数４）から以下のような
判断ができる。
【００３０】（１）Con1の値が非常に小さい and Con2
の値が非常に大きい and R1が大きい then 画像間の相関がない（シーンチェンジが起こった
可能性大） （２）Con1の値が非常に小さい and Con2の値が非常に
大きい and R1が小さい then 画像間の動きの相関はないが色の相関がある（シ
ーンチェンジは起こっているが同一内容の可能性大）） （３）Con1の値が小さい and Con2の値が大きい and R1が小さい then 画像間の相関は少しあるが色の相関はある（画面
内に移動物体が存在する可能性大） （４）Con1の値が大きい and Con2の値が小さい and R1が小さい then 画像間の相関がある（パンニングが起こった可能
性大） （５）Con1の値が小さい and Con2の値が小さい and R1が小さい then 画像間の相関がない（画像内容が一定、模様がな
い） また、（４）の条件に当てはまる各領域の動きベクトル
を用いて、パンニングの方向、ズーム等が判別できる。
の値が非常に大きい and R1が大きい then 画像間の相関がない（シーンチェンジが起こった
可能性大） （２）Con1の値が非常に小さい and Con2の値が非常に
大きい and R1が小さい then 画像間の動きの相関はないが色の相関がある（シ
ーンチェンジは起こっているが同一内容の可能性大）） （３）Con1の値が小さい and Con2の値が大きい and R1が小さい then 画像間の相関は少しあるが色の相関はある（画面
内に移動物体が存在する可能性大） （４）Con1の値が大きい and Con2の値が小さい and R1が小さい then 画像間の相関がある（パンニングが起こった可能
性大） （５）Con1の値が小さい and Con2の値が小さい and R1が小さい then 画像間の相関がない（画像内容が一定、模様がな
い） また、（４）の条件に当てはまる各領域の動きベクトル
を用いて、パンニングの方向、ズーム等が判別できる。
【００３１】以上の条件の中で、（２）の場合は、図４
（ａ）、（ｂ）のように同一人物を、ほぼ同じ場所から
映していながら、複数のカメラを用いてシーンを変えた
場合に相当するので、同じ映像内容と判断することがで
きる。したがって、（２）の場合はシーンチェンジでは
ないと判定すれば、より映像内容に合致した早送り等の
検索が可能となる。
（ａ）、（ｂ）のように同一人物を、ほぼ同じ場所から
映していながら、複数のカメラを用いてシーンを変えた
場合に相当するので、同じ映像内容と判断することがで
きる。したがって、（２）の場合はシーンチェンジでは
ないと判定すれば、より映像内容に合致した早送り等の
検索が可能となる。
【００３２】以上のように、本発明のシーンチェンジ検
出装置は動画像の内容を検出することが可能なため、ユ
ーザの見たい場面を容易に捜し出すことができるという
特徴を有している。また、各画像にフレーム番号が予め
付与されていれば、画像記録媒体の中の内容をフレーム
番号を代表させて、シーンチェンジと判断されたフレー
ム番号をもとに自動編集することができる。なお、本実
施例では動画像記録媒体として光ディスク、ＩＣなどの
固体メモリや磁気テープなどであってもよい。
出装置は動画像の内容を検出することが可能なため、ユ
ーザの見たい場面を容易に捜し出すことができるという
特徴を有している。また、各画像にフレーム番号が予め
付与されていれば、画像記録媒体の中の内容をフレーム
番号を代表させて、シーンチェンジと判断されたフレー
ム番号をもとに自動編集することができる。なお、本実
施例では動画像記録媒体として光ディスク、ＩＣなどの
固体メモリや磁気テープなどであってもよい。
【００３３】本発明の第３の実施例のシーンチェンジ検
出装置について説明する。図５は本発明のブロック図を
示すものであり、１は画像信号入力端子、１５は画像圧
縮手段、１６は画像状態検出手段、１７は記憶手段、１
８は画像検索手段である。
出装置について説明する。図５は本発明のブロック図を
示すものであり、１は画像信号入力端子、１５は画像圧
縮手段、１６は画像状態検出手段、１７は記憶手段、１
８は画像検索手段である。
【００３４】図６に画像圧縮手段１５の詳細を示す。画
像信号入力端子１からフレームメモリ１９に蓄えられた
画像は、動きベクトル予測手段２０で得られる動きベク
トルを用いて補正される。その後、ＤＣＴ（ディスクリ
ートコサイン変換）部２１、量子化部２２、ハフマン符
号化部２３で圧縮される。また、動きベクトルを求める
ために、量子復合部２４、ＩＤＣＴ部２５で画像は一度
復合される。
像信号入力端子１からフレームメモリ１９に蓄えられた
画像は、動きベクトル予測手段２０で得られる動きベク
トルを用いて補正される。その後、ＤＣＴ（ディスクリ
ートコサイン変換）部２１、量子化部２２、ハフマン符
号化部２３で圧縮される。また、動きベクトルを求める
ために、量子復合部２４、ＩＤＣＴ部２５で画像は一度
復合される。
【００３５】画像状態検出手段１６は、画像圧縮手段１
５から画像間の相関値と圧縮率を出力端子２６を介して
受け取る。画像間の相関値は、動きベクトル予測部２０
から複数時系列データとして得られる。また画像の圧縮
率は、時系列データとしてハフマン符号化部２３より得
られる。ハフマン符号化方式は、画像データのディジタ
ル値列を短く符号化する技術である。符画像状態検出手
段１６は、時系列データを記憶手段１７に蓄積する。一
方画像圧縮手段１５は、圧縮された動画像を出力端子２
７を介して記憶手段１７に送る。画像間の相関値の時系
列データを図７に示す。時系列データの変化からシーン
チェンジが検出できる。時系列データの時刻と圧縮され
た画像のフレーム番号をあらかじめ照合させておけば、
画像を容易に検索することができる。
５から画像間の相関値と圧縮率を出力端子２６を介して
受け取る。画像間の相関値は、動きベクトル予測部２０
から複数時系列データとして得られる。また画像の圧縮
率は、時系列データとしてハフマン符号化部２３より得
られる。ハフマン符号化方式は、画像データのディジタ
ル値列を短く符号化する技術である。符画像状態検出手
段１６は、時系列データを記憶手段１７に蓄積する。一
方画像圧縮手段１５は、圧縮された動画像を出力端子２
７を介して記憶手段１７に送る。画像間の相関値の時系
列データを図７に示す。時系列データの変化からシーン
チェンジが検出できる。時系列データの時刻と圧縮され
た画像のフレーム番号をあらかじめ照合させておけば、
画像を容易に検索することができる。
【００３６】画像検索手段１８では、以下の条件を用い
てシーンチェンジを検索する。 （１）Con1の値が非常に小さい and Con2の値が非常に
大きい and 圧縮率が非常に低い then 画像間の相関がない（シーンチェンジが起こった
可能性大） （２）Con1の値が小さい and Con2の値が大きい and
圧縮率が低い then 画像間の相関が少しある（画面内に移動物体が存
在する可能性大） （３）Con1の値が大きい and Con2の値が小さい and
圧縮率が高い then 画像間の相関がある（パンニングが起こった可能
性大） （４）Con1の値が小さい and Con2の値が小さい and
圧縮率が非常に高い then 画像間の相関がない（画像内容が一定、模様がな
い） 時系列データはすでに記憶手段に蓄積されているので、
シーンチェンジの条件の中の”大きい”、”小さ
い”、”高い”、”低い”等の言葉に相当する具体的な
しきい値（図７参照）を逐次変えて、高速に検索するこ
とが可能である。また時系列データは画像記録媒体に記
録することも可能である。
てシーンチェンジを検索する。 （１）Con1の値が非常に小さい and Con2の値が非常に
大きい and 圧縮率が非常に低い then 画像間の相関がない（シーンチェンジが起こった
可能性大） （２）Con1の値が小さい and Con2の値が大きい and
圧縮率が低い then 画像間の相関が少しある（画面内に移動物体が存
在する可能性大） （３）Con1の値が大きい and Con2の値が小さい and
圧縮率が高い then 画像間の相関がある（パンニングが起こった可能
性大） （４）Con1の値が小さい and Con2の値が小さい and
圧縮率が非常に高い then 画像間の相関がない（画像内容が一定、模様がな
い） 時系列データはすでに記憶手段に蓄積されているので、
シーンチェンジの条件の中の”大きい”、”小さ
い”、”高い”、”低い”等の言葉に相当する具体的な
しきい値（図７参照）を逐次変えて、高速に検索するこ
とが可能である。また時系列データは画像記録媒体に記
録することも可能である。
【００３７】以上のように、本発明のシーンチェンジ検
出装置は動画像の内容を検出することが可能なため、ユ
ーザの見たい場面を容易に捜し出すことができるという
特徴を有している。また、各画像にフレーム番号が予め
付与されていれば、画像記録媒体の中の内容をフレーム
番号を代表させて、シーンチェンジと判断されたフレー
ム番号をもとに自動編集することができる。なお、本実
施例では動画像記録媒体として光ディスク、ＩＣなどの
固体メモリや磁気テープなどであってもよい。
出装置は動画像の内容を検出することが可能なため、ユ
ーザの見たい場面を容易に捜し出すことができるという
特徴を有している。また、各画像にフレーム番号が予め
付与されていれば、画像記録媒体の中の内容をフレーム
番号を代表させて、シーンチェンジと判断されたフレー
ム番号をもとに自動編集することができる。なお、本実
施例では動画像記録媒体として光ディスク、ＩＣなどの
固体メモリや磁気テープなどであってもよい。
【００３８】本発明の第４の実施例の動画像編集装置に
ついて説明する。図８は本発明のブロック図を示すもの
であり、１は画像信号入力端子、２８は第１、２、３の
実施例のシーン決定手段、２９はファイル化手段、３０
はヘッダ入力手段、３１は画像の記憶手段、３２は画像
編集手段である。
ついて説明する。図８は本発明のブロック図を示すもの
であり、１は画像信号入力端子、２８は第１、２、３の
実施例のシーン決定手段、２９はファイル化手段、３０
はヘッダ入力手段、３１は画像の記憶手段、３２は画像
編集手段である。
【００３９】シーン決定手段２８により分割された画像
あるいは音声信号に対して、ファイル化手段２９は文字
情報等を書き込むためのヘッダ部を前記画像あるいは音
声信号の最初あるいは最後に与え、画像情報とともに記
憶手段３１に蓄積させる。ヘッダ入力手段３０は、ヘッ
ダ部に画像あるいは音声信号に関する情報を書き込む。
編集手段３２は、ファイル化された画像単位に消去、移
動、記録を行う。
あるいは音声信号に対して、ファイル化手段２９は文字
情報等を書き込むためのヘッダ部を前記画像あるいは音
声信号の最初あるいは最後に与え、画像情報とともに記
憶手段３１に蓄積させる。ヘッダ入力手段３０は、ヘッ
ダ部に画像あるいは音声信号に関する情報を書き込む。
編集手段３２は、ファイル化された画像単位に消去、移
動、記録を行う。
【００４０】以上のように、本発明の動画像編集装置は
動画像の内容を容易に編集できる。またユーザの見たい
場面を容易に捜し出すことができるという特徴を有して
いる。また、各画像にフレーム番号が予め付与されてい
れば、画像記録媒体の中の内容をフレーム番号で編集す
ることができる。なお、本実施例では動画像記録媒体と
して光ディスク、ＩＣなどの固体メモリや磁気テープな
どであってもよい。
動画像の内容を容易に編集できる。またユーザの見たい
場面を容易に捜し出すことができるという特徴を有して
いる。また、各画像にフレーム番号が予め付与されてい
れば、画像記録媒体の中の内容をフレーム番号で編集す
ることができる。なお、本実施例では動画像記録媒体と
して光ディスク、ＩＣなどの固体メモリや磁気テープな
どであってもよい。
【００４１】
【発明の効果】以上説明したように、本発明のシーンチ
ェンジ検出装置および画像編集装置は動画像記録媒体に
記録する動画像からシーンチェンジ画像を自動的に検出
し、シーンチェンジ画像を記録することによって、人手
を介する必要がなく、大量の動画像データに対しても管
理情報を付与することが可能である。
ェンジ検出装置および画像編集装置は動画像記録媒体に
記録する動画像からシーンチェンジ画像を自動的に検出
し、シーンチェンジ画像を記録することによって、人手
を介する必要がなく、大量の動画像データに対しても管
理情報を付与することが可能である。
【図１】第１の実施例のシーンチェンジ検出装置を示す
図
図
【図２】第１の実施例の動作を説明するための図
【図３】第２の実施例のシーンチェンジ検出装置を示す
図
図
【図４】第２の実施例の動作を説明するための図
【図５】第３の実施例のシーンチェンジ検出装置を示す
図
図
【図６】第３の実施例の画像圧縮手段の詳細構成を示す
ブロック図
ブロック図
【図７】第３の実施例の時系列データを示す図
【図８】第４の実施例の画像編集装置の構成を示すブロ
ック図
ック図
１ 画像信号入力端子 ２ 各領域のベクトル検出手段 ３ 信頼性導出手段 ４ シーン決定手段 ５ ベクトル検出回路 ６ 各領域の動きベクトル ７ 画面全体の動きベクトル ８，１２ 小領域 ９ 代表点 １０ 偏移した位置 １１ 全画面 １３、２８ シーン決定手段 １４ 色抽出手段 １５ 画像圧縮手段 １６ 画像状態検出手段 １７、３１ 画像の記憶手段 １８ 画像検索手段 １９ フレームメモリ ２０ 動きベクトル予測部 ２１ ＤＣＴ部 ２２ 量子化部 ２３ ハフマン符号化部 ２４ 量子化復合部 ２５ ＩＤＣＴ部 ２６、２７ 出力端子 ２９ ファイル化手段 ３０ ヘッダ入力手段 ３２ 画像の編集手段
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.5 識別記号 庁内整理番号 ＦＩ 技術表示箇所 // Ｈ０４Ｎ 7/137 Ｚ
Claims (4)
- 【請求項１】画面中に複数の検出領域を設け、その各検
出領域について、所定の偏移における相関値を求める手
段と、その相関値より各検出領域ごとに動きベクトルを
求める手段と、動きベクトルの値または相関値またはそ
れらの組合せによりその検出領域の動きベクトルの信頼
性を導出する信頼性導出手段と、前記信頼性導出手段の
結果からシーンチェンジを検出する手段とを具備するこ
とを特徴とする動画像のシーンチェンジ検出装置。 - 【請求項２】画面中に複数の検出領域を設け、その各検
出領域について、所定の偏移における相関値を求める手
段と、その相関値より各検出領域ごとに動きベクトルを
求める手段と、動きベクトルの値または相関値またはそ
れらの組合せによりその検出領域の動きベクトルの信頼
性を導出する信頼性導出手段と、画像から色の濃度値を
抽出する色抽出手段と、前記色抽出手段と前記信頼性導
出手段の結果からシーンチェンジを検出する手段とを具
備することを特徴とする動画像のシーンチェンジ検出装
置。 - 【請求項３】画像を圧縮する手段と、画像の圧縮率ある
いは画像間の相関を時系列データとして検出する画像状
態検出手段と、前記時系列データを記憶する手段と、前
記時系列データをもとにシーンチェンジを検出する手段
とを具備することを特徴とする動画像のシーンチェンジ
検出装置。 - 【請求項４】シーンチェンジ検出手段により分割された
画像あるいは音声信号に対して、文字情報等を書き込む
ためのヘッダ部を前記画像あるいは音声信号の最初ある
いは最後に与えるファイル化手段と、ヘッダ部に前記画
像あるいは音声信号に関する情報を書き込むヘッダ入力
手段と、ファイル化された画像単位に消去、移動、記録
を行う編集手段とを具備することを特徴とする請求項
１、２または３記載の動画像編集装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29483892A JPH06153146A (ja) | 1992-11-04 | 1992-11-04 | 動画像のシーンチェンジ検出装置および編集装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29483892A JPH06153146A (ja) | 1992-11-04 | 1992-11-04 | 動画像のシーンチェンジ検出装置および編集装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06153146A true JPH06153146A (ja) | 1994-05-31 |
Family
ID=17812909
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29483892A Pending JPH06153146A (ja) | 1992-11-04 | 1992-11-04 | 動画像のシーンチェンジ検出装置および編集装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06153146A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0804034A2 (en) * | 1996-04-26 | 1997-10-29 | Fujitsu Limited | Method and device for detecting motion vectors |
| WO2001003005A1 (fr) * | 1999-06-30 | 2001-01-11 | Sharp Kabushiki Kaisha | Appareil d'enregistrement d'informations de recherche d'images dynamiques et dispositif de recherche d'images dynamiques |
| US7272183B2 (en) | 1999-08-24 | 2007-09-18 | Fujitsu Limited | Image processing device, method and storage medium thereof |
| JP2008312215A (ja) * | 2007-06-18 | 2008-12-25 | Sony (China) Ltd | 映像解析装置、映像解析方法、ダイジェスト自動作成システム及びハイライト自動抽出システム |
| US7773819B2 (en) | 2006-02-24 | 2010-08-10 | Morpho, Inc. | Image processing apparatus |
| US7847823B2 (en) | 2005-01-14 | 2010-12-07 | Morpho, Inc. | Motion vector calculation method and hand-movement correction device, imaging device and moving picture generation device |
-
1992
- 1992-11-04 JP JP29483892A patent/JPH06153146A/ja active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0804034A2 (en) * | 1996-04-26 | 1997-10-29 | Fujitsu Limited | Method and device for detecting motion vectors |
| EP0804034A3 (en) * | 1996-04-26 | 1998-05-20 | Fujitsu Limited | Method and device for detecting motion vectors |
| US5894526A (en) * | 1996-04-26 | 1999-04-13 | Fujitsu Limited | Method and device for detecting motion vectors |
| WO2001003005A1 (fr) * | 1999-06-30 | 2001-01-11 | Sharp Kabushiki Kaisha | Appareil d'enregistrement d'informations de recherche d'images dynamiques et dispositif de recherche d'images dynamiques |
| US7092040B1 (en) | 1999-06-30 | 2006-08-15 | Sharp Kabushiki Kaisha | Dynamic image search information recording apparatus and dynamic image searching device |
| US7884884B2 (en) | 1999-06-30 | 2011-02-08 | Sharp Kabushiki Kaisha | Dynamic image search information recording apparatus and dynamic image searching devices |
| US7272183B2 (en) | 1999-08-24 | 2007-09-18 | Fujitsu Limited | Image processing device, method and storage medium thereof |
| US7847823B2 (en) | 2005-01-14 | 2010-12-07 | Morpho, Inc. | Motion vector calculation method and hand-movement correction device, imaging device and moving picture generation device |
| US7773819B2 (en) | 2006-02-24 | 2010-08-10 | Morpho, Inc. | Image processing apparatus |
| JP2008312215A (ja) * | 2007-06-18 | 2008-12-25 | Sony (China) Ltd | 映像解析装置、映像解析方法、ダイジェスト自動作成システム及びハイライト自動抽出システム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5493345A (en) | Method for detecting a scene change and image editing apparatus | |
| JP3315766B2 (ja) | 画像データ符号化方法、その方法を用いた画像データ符号化装置、画像データ復元方法、その方法を用いた画像データ復元装置、シーン変化検出方法、その方法を用いたシーン変化検出装置、シーン変化記録装置、及び画像データのシーン変化記録・再生装置 | |
| US5513010A (en) | Digital video signal recording and reproducing apparatus that records and reproduces both still and moving pictures | |
| US7486832B2 (en) | Method and device for condensed image recording and reproduction | |
| JPH09322174A (ja) | 動画データの再生方法 | |
| JPH06149902A (ja) | 動画像記録媒体、動画像記録装置、及び動画像再生装置 | |
| US7035483B2 (en) | Image search apparatus | |
| US7639920B2 (en) | Recorder | |
| JPH06153146A (ja) | 動画像のシーンチェンジ検出装置および編集装置 | |
| JP3253530B2 (ja) | 動画像記録装置 | |
| KR20020069724A (ko) | 디지털 영상 기록/재생 장치의 영상 데이터 관리방법 | |
| JP2001119661A (ja) | 動画編集システムおよび記録媒体 | |
| US20030147012A1 (en) | Method for detecting scene changes in compressed video data | |
| JP3291392B2 (ja) | 圧縮画像データ再生方法及びその装置 | |
| JPH11289513A (ja) | 映像記録再生装置 | |
| JP3511312B2 (ja) | 光ディスク、および光ディスクの再生装置および方法 | |
| JP3239005B2 (ja) | デジタル動画像圧縮データ複製装置及びデジタル動画像圧縮データ再生装置 | |
| JPH09200675A (ja) | ビデオデータ記録装置とその方法、および、記録媒体 | |
| JP3128107B2 (ja) | 映像圧縮方法および装置 | |
| JP3277757B2 (ja) | ビデオデータ再生装置 | |
| JP3375616B2 (ja) | 光ディスク、記録方法及び記録装置 | |
| JPH0738845A (ja) | ビデオ映像のシーン抽出方法 | |
| JP2002262241A (ja) | 画像処理装置及び方法 | |
| JPH09326991A (ja) | 画像記録方法及び装置 | |
| JP2002152675A (ja) | 画像処理装置及び方法 |