JP3175632B2 - シーンチェンジ検出方法およびシーンチェンジ検出装置 - Google Patents

シーンチェンジ検出方法およびシーンチェンジ検出装置

Info

Publication number
JP3175632B2
JP3175632B2 JP10142997A JP10142997A JP3175632B2 JP 3175632 B2 JP3175632 B2 JP 3175632B2 JP 10142997 A JP10142997 A JP 10142997A JP 10142997 A JP10142997 A JP 10142997A JP 3175632 B2 JP3175632 B2 JP 3175632B2
Authority
JP
Japan
Prior art keywords
similarity
frame image
block
frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP10142997A
Other languages
English (en)
Other versions
JPH10294923A (ja
Inventor
伸 山田
康弘 菊池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to US08/976,013 priority Critical patent/US6219382B1/en
Publication of JPH10294923A publication Critical patent/JPH10294923A/ja
Priority to US09/628,341 priority patent/US6301302B1/en
Application granted granted Critical
Publication of JP3175632B2 publication Critical patent/JP3175632B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F1/00—Measuring the volume flow or mass flow of fluid or fluent solid material wherein the fluid passes through a meter in a continuous flow
    • G01F1/66—Measuring the volume flow or mass flow of fluid or fluent solid material wherein the fluid passes through a meter in a continuous flow by measuring frequency, phase shift or propagation time of electromagnetic or other waves, e.g. using ultrasonic flowmeters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F1/00—Measuring the volume flow or mass flow of fluid or fluent solid material wherein the fluid passes through a meter in a continuous flow
    • G01F1/66—Measuring the volume flow or mass flow of fluid or fluent solid material wherein the fluid passes through a meter in a continuous flow by measuring frequency, phase shift or propagation time of electromagnetic or other waves, e.g. using ultrasonic flowmeters
    • G01F1/662—Constructional details

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Fluid Mechanics (AREA)
  • General Physics & Mathematics (AREA)
  • Measuring Volume Flow (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、映像の検索、編
集、加工、早見、インデックス作成などを支援する方法
に係り、特にビデオテープやハードディスクに格納され
た映像を処理して、シーンチェンジを検出するシーンチ
ェンジ検出方法およびシーンチェンジ検出装置に関する
ものである。
【０００２】
【従来の技術】映像の編集、早見においては、映像の中
から見たい部分を効率よく探すためのインデックス作成
手段が不可欠である。
【０００３】インデックス作成手段として、シーンチェ
ンジを検出し、シーンの先頭などの代表画像をインデッ
クスにする方法が知られている。そのために必要なシー
ンチェンジ検出方法としては、χ２乗検定法（長坂、田
中、”カラービデオ映像における自動索引付け法と物体
検索法”、情報処理学会論文誌Vol.33,No.4(1992)）、
あるいは、特開平４−１１１１８１号公報（以下、変化
率法と呼ぶ）に開示された方法が知られている。
【０００４】χ２乗検定法では、フレーム画像を１６個
のブロックに分割してから、フレーム番号t-1（ｔは自
然数）のフレーム画像とフレーム番号ｔのフレーム画像
との間で同じ位置にあるブロックのヒストグラムを比較
し、１６個のブロック評価値（以下、変化量と呼ぶ）を
求めるものである。
【０００５】例えば、図１５のブロックａは、ブロック
ｂと比較さ、１６個の変化量のうちの小さいものから８
つの評価値を選びその総和を求め、最終変化量とする。
最終変化量が所定のしきい値よりも大きいとき、フレー
ム番号t-1とｔの間でシーンチェンジが発生したとする
ものである。
【０００６】また、一方、変化率法では、フレーム画像
を４８００個のブロックに分割してから、フレーム番号
t-1（ｔは自然数）のフレーム画像とフレーム番号ｔの
フレーム画像との間で同じ位置にあるブロックのヒスト
グラムを比較し、４８００個の変化量を求め、変化量が
第１のしきい値以上になるものを変化ブロックとするも
のである。例えば、図１６のブロックａは、ブロックｂ
と比較され、変化量が第１のしきい値以上になるとき、
変化ブロックと判定される。次に、この変化ブロックの
総数を「フレーム番号t-1のフレーム画像とフレーム番
号ｔのフレーム画像との間の相関係数」とし、この相関
係数が過去のフレームで求めた相関係数に比べて第２の
しきい値以上大きい場合に、シーンチェンジと判断す
る。
【０００７】以下、χ２乗検定法を用いた従来のシーン
チェンジ検出装置について説明する。
【０００８】図１７は従来のシーンチェンジ検出装置を
示すブロック構成図である。図１７において、１７０１
は映像再生装置である。１７０２は映像再生装置１７０
１からの映像信号を処理しながら、シーンチェンジを検
出するシーンチェンジ検出装置であり、フレーム画像を
取り込む画像取り込み手段１７０３と、フレーム画像を
複数のブロックに分割してブロックの画像データを出力
するブロック出力手段１７０４と、特定のフレーム画像
とその直前に取り込んだフレーム画像との間で同じ位置
にあるブロックのヒストグラムを比較し、変化量を求め
る変化量計算手段１７０５と、１６個の変化量を小さい
方から順番に並び替えるソート手段１７０６と、変化量
の小さい方から順番に８個の変化量を抜き出す有効変化
量出力手段１７０７と、有効変化量出力手段から出力さ
れる８個の変化量の平均値を求めて最終変化量とする平
均計算手段１７０８と、最終変化量が所定のしきい値よ
りも大きいときに、シーンチェンジを検出したことを表
す信号を出力するしきい値処理手段１７０９から構成さ
れる。１７１０は、シーンの先頭画像を記憶する記憶装
置である。
【０００９】以上のように構成されたシーンチェンジ検
出装置について、図１８に示すフローチャートを用いて
その全体の動作を説明する。
【００１０】手順１８０１では、映像の再生を開始す
る。手順１８０２では、映像が終了したかどうか判定す
る。映像が終了した場合には処理を終了し、そうでなけ
れば、手順１８０３に進む。
【００１１】手順１８０３では、再生中のフレーム画像
を取り込む。以下では、取り込んだフレーム画像をＩN
（Ｎは画像の番号を表す自然数）と表記する。
【００１２】手順１８０４では、フレーム画像ＩNの各
画素を処理して、ブロック毎の色ヒストグラムを計算す
る。以下では、画像番号Ｎのフレーム画像のｋ番目のブ
ロックの色ｃのヒストグラムをＨ(c,N,k)（ｃは色を表
す６４以下の自然数、Ｎは画像の番号を表す自然数、ｋ
はブロックの番号を表す１６以下の自然数）と表記す
る。
【００１３】手順１８０５では、フレーム画像ＩNとそ
の直前に取り込んだフレーム画像ＩN -1との間で同じ位
置にあるブロックのヒストグラムＨ(c,N,k)とＨ(c,N-1,
k)を比較し、
【００１４】
【数１】
【００１５】を用いて変化量BV(N,1)〜BV(N,16)を求め
る。同一シーン内の２枚の画像の変化量は小さい値にな
り、シーンチェンジをはさんだ２枚の画像の変化量は大
きい値になる傾向がある。
【００１６】手順１８０６では、１６個の変化量を小さ
い方から順番に並び替える。手順１８０７では、変化量
の小さい方から順番に８個の変化量を抜き出し、８個の
変化量の平均値を求めて最終変化量V(N)とする。
【００１７】手順１８０８は分岐処理であり、Ｖ(N)が
所定のしきい値θV以上になる場合に手順１８０９に進
み、そうでない場合に手順１８０２に戻る。
【００１８】手順１８０９では、取り込んだ画像をシー
ンの先頭画像として保存してから、手順１８０２に戻
る。
【００１９】
【発明が解決しようとする課題】従来のシーンチェンジ
検出装置では、図１９のように、変化する領域の面積が
画面の半分未満の場合のシーンチェンジを検出できない
課題を有していた。図１９の例では、シーン１の画像Ｉ
N-1とシーン２の画像ＩNとの間で下半分だけが変化して
いるため、上半分のブロック（ａ〜ｈ）の変化量が小さ
い値になる。小さい方から８個の変化量の平均が最終変
化量になるので、図１９に示した画像からシーンチェン
ジは検出されない。また、変化量を小さい方から選んで
いるが、大きい方から選択すると、フラッシュのような
一時的な変化や動きの激しい画面などを過剰検出すると
いう課題があった。
【００２０】本発明は上記従来技術の課題を解決するも
ので、変化する領域の面積が画面の半分未満になるシー
ンチェンジの検出もれや、画面内での激しい動きや一時
的な変化による過剰検出を抑制し、高精度なシーンチェ
ンジ検出方法を提供することを目的とする。
【００２１】
【課題を解決するための手段】この課題を解決するため
に本発明は、映像中の第１から第３のｎフレーム置きの
各フレーム画像をそれぞれ複数個のブロックに分割し、
各フレームの同じ位置のブロック間毎の類似度をそれぞ
れ求め、その類似度から各ブロック位置毎に代表類似度
を決定し、前記各ブロック間毎の類似度から各ブロック
位置毎に有効ブロック位置かを判定し、前記各有効ブロ
ック位置の代表類似度から平均類似度を求め、その平均
類似度により前記第２のフレームがシーンチェンジであ
ると判定することによりシーンチェンジを検出するよう
に構成したものである。
【００２２】これにより、変化する領域の面積が画面の
半分未満になるシーンチェンジの検出もれや、被写体の
動きやカメラ操作などの画面内での激しい動きやフラッ
シュなどの一時的な変化による過剰検出を抑制できる。
【００２３】
【発明の実施の形態】本発明の請求項１に記載の発明
は、映像中の第１から第３のｎフレーム置きの各フレー
ム画像をそれぞれ複数個のブロックに分割し、各フレー
ムの同じ位置のブロック間毎の類似度をそれぞれ求め、
その類似度から各ブロック位置毎に代表類似度を決定
し、前記各ブロック間毎の類似度から各ブロック位置毎
に有効ブロック位置かを判定し、前記各有効ブロック位
置の代表類似度から平均類似度を求め、その平均類似度
により前記第２のフレームがシーンチェンジであると判
定することによりシーンチェンジを検出するものであ
り、２枚のフレーム画像のブロックの間の変化が次のフ
レーム画像に継続するかどうか調べることで、その変化
がシーンチェンジによるものなのか違うのかを判定でき
るようになり、被写体の動きやカメラ操作などの画面内
での激しい動きやフラッシュなどの一時的な変化による
過剰検出を抑制できるという作用を有する。
【００２４】
【００２５】請求項２に記載の発明は、代表類似度は、
第１のフレーム画像と第２のフレーム画像との対応する
ブロック間の類似度とするものであり、被写体の動きや
カメラ操作などのシーンチェンジ以外の変化の影響の小
さいブロック位置とすることにより、被写体の動きやカ
メラ操作などの画面内での激しい動きによる過剰検出を
抑制できるという作用を有する。
【００２６】請求項３に記載の発明は、有効ブロック位
置の判定は、第１のフレーム画像と第２のフレーム画像
との対応するブロック間の類似度または第２のフレーム
画像と第３のフレーム画像との対応するブロック間の類
似度が任意の閾値以上のとき、有効ブロック位置に判定
するものであり、シーンチェンジの影響の大きいブロッ
ク位置を有効ブロック位置とすることにより、被写体の
動きやカメラ操作などの画面内での激しい動きによる過
剰検出を抑制できるという作用を有する。
【００２７】請求項４に記載の発明は、第１のフレーム
画像と第３のフレーム画像との対応するブロック間の類
似度が任意の閾値以上のときは、それを代表類似度とす
ると共に有効ブロック位置と判定し、それ以外の時は第
１のフレーム画像と第２のフレーム画像との対応するブ
ロック間の類似度を代表類似度とし、第１のフレーム画
像と第２のフレーム画像との対応するブロック間の類似
度または第２のフレーム画像と第３のフレーム画像との
対応するブロック間の類似度が任意の閾値以上のとき、
有効ブロック位置に判定するものであり、フラッシュな
どのシーンチェンジ以外の変化の影響の小さい類似度を
代表類似度とすることにより、フラッシュなどの一時的
な変化による過剰検出を抑制できるという作用を有す
る。
【００２８】
【００２９】
【００３０】請求項５に記載の発明は、類似度は、各ブ
ロック間の色ヒストグラム（色分布）、輝度ヒストグラ
ムまたは輝度値から求めるものであり、被写体や背景の
特徴を抽出することができ、被写体の動きやカメラ操作
などの画面内での激しい動きによる過剰検出を抑制する
ことができるという作用を有する。
【００３１】請求項６に記載の発明は、有効ブロック位
置を判定する閾値は、第１のフレーム画像と第２のフレ
ーム画像との対応するブロック間の類似度と第２のフレ
ーム画像と第３のフレーム画像との対応するブロック間
の類似度の平均値を求め、閾値とするもので、閾値を固
定ではなく相対的に変動させることで有効ブロック位置
を正確に判定することができ被写体の動きやカメラ操作
などの画面内での激しい動きによる過剰検出を抑制する
ことができるという作用を有する。
【００３２】請求項７に記載の発明は、有効ブロック位
置の数が任意の閾値未満の場合は、同一シーンと判定す
るものであり、被写体の動きやカメラ操作などの画面内
での激しい動きによる過剰検出を抑制することができる
という作用を有する。
【００３３】請求項８に記載の発明は、映像中の第１か
ら第３のｎフレーム置きの各フレーム画像を抜き出す画
像取り込み手段と、前記各フレーム画像をそれぞれ複数
個のブロックに分割して、各ブロックの画像データを出
力するブロック出力手段と、各フレームの同じ位置のブ
ロック間毎に類似度を計算する類似度計算手段と、前記
第１のフレーム画像と第２のフレーム画像との対応する
ブロック間の類似度を代表類似度とする相関計算手段
と、前記第１のフレーム画像と第２のフレーム画像との
対応するブロック間の類似度または前記第２のフレーム
画像と第３のフレーム画像との対応するブロック間の類
似度が任意の閾値以上のとき、有効ブロック位置に判定
するブロック位置判定手段と、前記各有効ブロック位置
の代表類似度から平均類似度を求め、その平均類似度に
より前記第２のフレームがシーンチェンジであると判定
する判定手段とを備えるものであり、２枚のフレーム画
像のブロックの間の変化が次のフレーム画像に継続する
かどうか調べることで、その変化がシーンチェンジによ
るものなのか違うのかを判定できるようになり、被写体
の動きやカメラ操作などの画面内での激しい動きやフラ
ッシュなどの一時的な変化による過剰検出を抑制できる
という作用を有する。
【００３４】請求項９に記載の発明は、コンピュータに
よって映像中のフレーム画像からシーンチェンジを検出
するプログラムを記憶した記録媒体であって、映像中の
第１から第３のｎフレーム置きの各フレーム画像をそれ
ぞれ複数個のブロックに分割し、各フレームの同じ位置
のブロック間毎の類似度をそれぞれ求め、その類似度か
ら各ブロック位置毎に代表類似度を決定し、前記各ブロ
ック間毎の類似度から各ブロック位置毎に有効ブロック
位置かを判定し、前記各有効ブロック位置の代表類似度
から平均類似度を求め、その平均類似度により前記第２
のフレームがシーンチェンジであると判定することを特
徴とするシーンチェンジ検出プログラムを記憶したコン
ピュータ読みとり可能な記録媒体であり、コンピュータ
に読み込むことにより、被写体の動きやカメラ操作など
の画面内での激しい動きやフラッシュなどの一時的な変
化による過剰検出を抑制できるという作用を有する。
【００３５】以下、本発明の実施の形態について、図１
から図１４を用いて説明する。 （実施の形態１）図１は、シーンチェンジ検出装置を示
すブロック構成図である。図１において、１０１は映像
再生装置である。１０２は映像再生装置１０１からの映
像信号を処理しながら、シーンチェンジを検出するシー
ンチェンジ検出装置であり、ｎフレーム置きのフレーム
画像を取り込む画像取り込み手段１０３と、フレーム画
像を複数のブロックに分割してブロックの画像データを
出力するブロック出力手段１０４と、２枚のフレーム画
像の同じ位置のブロックの間の類似度を計算する類似度
計算手段１０５と、類似度計算手段１０５から出力され
る類似度とブロック出力手段１０４から出力されるブロ
ックの画像データを処理して第３のフレーム画像までの
変化を検出し、第１のフレーム画像と第２のフレーム画
像がシーンチェンジかどうか判定する判定手段１０６と
から構成される。１１０はシーンの代表画像を記憶する
記憶装置である。
【００３６】また、判定手段１０６は、類似度計算手段
１０５から出力される類似度の代表値を、ブロック位置
毎に求めて相関値とする相関計算手段１０８と、類似度
計算手段１０５の出力を受けてブロック位置毎に有効無
効を判定するブロック位置判定手段１０９と、有効ブロ
ック位置の相関値の総和を有効ブロック位置の数で割る
平均計算手段１１０と、平均計算手段１１０から出力さ
れる評価値がしきい値未満になるときにシーンチェンジ
の発生を表現する信号を出力するしきい値処理手段１０
７とから構成される 以上のように構成されたシーンチェンジ検出装置につい
て、図２に示すフローチャートを用いてその動作を説明
する。
【００３７】手順２０１では、映像の再生を開始する。
なお、早送りで再生してもよい。手順２０２では、映像
が終了したかどうか判定する。映像が終了した場合には
処理を終了し、そうでなければ、手順２０３に進む。
【００３８】手順２０３では、再生中のフレーム画像を
取り込む。以下では、取り込んだフレーム画像をＩ
N（Ｎは画像の番号を表す自然数）と表記する。フレー
ム画像は、ｎフレーム置きに取り込みますが、ｎフレー
ム置きに連続して取り込んでもまた不連続に取り込んで
も良いものとする。
【００３９】手順２０４では、フレーム画像ＩNの各画
素を処理して、ブロック毎の色ヒストグラムを計算す
る。以下では、画像番号Ｎのフレーム画像のｋ番目のブ
ロックの色ｃのヒストグラムをＨ(c,N,k)（ｃは色の番
号を表す６４以下の自然数、Ｎは画像の番号を表す自然
数、ｋはブロックの位置の番号を表す１６以下の自然
数）と表記する。
【００４０】手順２０５では、直前に取り込んだフレー
ム画像ＩN-1とさらにその直前に取り込んだフレーム画
像ＩN-2との間で同じ位置にある各ブロックのヒストグ
ラムＨ(c,N-1,k)とＨ(c,N-2,k)を比較し、
【００４１】
【数２】
【００４２】を用いて前方類似度BVF(N,1)〜BVF(N,16)
を求める。同様に、ヒストグラムＨ(c,N,k)とＨ(c,N-1,
k)を比較し、
【００４３】
【数３】
【００４４】を用いて後方類似度BVL(N,1)〜BVL(N,16)
を求め、ヒストグラムＨ(c,N,k)とＨ(c,N-2,k)を比較
し、
【００４５】
【数４】
【００４６】を用いて前後類似度BVC(N,1)〜BVC(N,16)
を求める。ただし、Ａはあらかじめ設定した定数であ
り、類似度の値域を調節する。また、各類似度は、同一
シーン内の２枚の画像のブロックの間で大きい値にな
り、シーンチェンジをはさんだ２枚の画像のブロックの
間で小さい値になる傾向がある。類似度の最大値は1.0
である。
【００４７】手順２０６では、
【００４８】
【数５】
【００４９】を用いて、前方類似度BVF(N,k)と後方類似
度BVL(N,k)の平均値を求め、しきい値θDIVとする。
【００５０】手順２０７では、初期値として、各ブロッ
ク位置で前方類似度BVF(N,k)を相関値（または、代表類
似度と呼ぶ）に代入する。
【００５１】手順２０８では、前方類似度BVF(N,k)と後
方類似度BVL(N,k)から有効ブロック位置を判定するもの
で、前方類似度BVF(N,k)がしきい値θDIV以上になる
か、または、後方類似度BVL(N,k)がしきい値θDIV以上
になるものを有効ブロック位置と判定する。
【００５２】手順２０９では、有効ブロック位置の相関
値の総和を有効ブロック位置の数で割り、評価値LV(N)
とする。
【００５３】手順２１０では、評価値LV(N)がしきい値
θJUD未満となる場合に、シーンチェンジが発生したと
判断して手順２１１に進む。そうでなければ、手順２０
２に戻る。
【００５４】手順２１１では、フレーム画像ＩNをシー
ンの代表画像としてハードディスクやフロッピーディス
クなどの記憶装置１１０に記憶する。なお、画像は、縮
小して保存してもよい。
【００５５】手順２１１の終了後、手順２０２に戻る。
以上の処理によって得られたシーンの代表画像を保存し
たファイルは、映像再生装置で再生したビデオテープの
インデックスとして使用できる。従って、このファイル
は、多くのビデオテープの中から所望のビデオテープを
検索する映像検索装置に簡単に応用できる。このとき、
インデックスのファイルとビデオテープの名前の対応付
けが必要になるが、ビデオテープの名前をファイル名に
したり、ファイルのヘッダなどにビデオテープの名前を
記憶することで、簡単に対応付けを実現できる。
【００５６】以上の説明では、手順２０６でしきい値θ
DIVを設定しているが、あらかじめ固定値を与えておい
てもよい。また、固定値を与えてから、有効ブロック位
置の数が全ブロック数の半分以上になるように調節して
もよい。
【００５７】手順２０５では、色ヒストグラムにより類
似度を求めているが限定するものではなく、例えば輝度
ヒストグラムまたは輝度値から求めてもよい。
【００５８】本実施の形態によれば、図４のようなχ２
乗検定法で検出できなかったシーンチェンジ（変化する
領域の面積が画面の半分未満になるシーンチェンジ）を
検出できるようになる。図４の例では、シーン１の画像
ＩN-2とシーン２の画像ＩN-1との間で下半分だけが変化
しているため、図５、図６に示すように、前方類似度
（図５の×印）と後方類似度（図６の×印）の中で、下
半分のブロック（ｉ〜ｐ）の位置の前方類似度だけが小
さい値になる。しきい値θDIVは前方類似度と後方類似
度の平均なので、図５、図６にように下半分のブロック
ｉ〜ｐの位置の前方類似度だけがθDIV未満となり、す
べてのブロックの位置で前方類似度が有効な相関値とし
て選択される。χ２乗検定法では、シーンチェンジによ
る変化の影響の大きい下半分のブロック（ｉ〜ｐ）を使
用せずに最終変化量V(N)を計算するためにシーンチェン
ジを検出できなかったが、本方法では、下半分のブロッ
ク（ｉ〜ｐ）を使用して評価値LV(N)を計算するので、
シーンチェンジを検出できる。
【００５９】手順２０７では、初期値として、各ブロッ
ク位置で前方類似度BVF(N,k)を相関値（または、代表類
似度と呼ぶ）に代入するようにしたが、前後類似度BVC
(N,k)がしきい値θJUD以上の時は、前後類似度BVC(N,k)
を相関値とすると共に有効ブロック位置と判定し、それ
以外の場合は前方類似度BVF(N,k)を相関値としてもよ
い。
【００６０】前後類似度BVC(N,k)を相関値にするかどう
かの判定方法は、他にも考えられる。例えば、前後類似
度BVC(N,k)がしきい値θDIV以上のときは、前後類似度B
VC(N,k)を相関値とすると共に有効ブロックと判定し、
それ以外 の場合は前方類似度BVF(N,k)を相関値として
もよい。また、前方類似度BVF(N,k)、後方類似度BVL(N,
k)、前後類似度BVC(N,k)が BVF(N,k) ＜ θJUD BVL(N,k) ＜ θJUD BVC(N,k) ≧ θJUD を同時に満足するとき、前後類似度BVC(N,k)を相関値と
すると共に有効ブロックと判定し、それ以外の場合は前
方類似度BVF(N,k)を相関値としてもよい。
【００６１】第１のフレーム画像ＩN-2、第２のフレー
ム画像ＩN-1に続くフレーム画像ＩNを第３のフレーム画
像と考える場合は、第１のフレーム画像ＩN-2、第２の
フレーム画像ＩN-1の間の変化が次のフレーム画像まで
継続するか調べていることになる。逆に、第１のフレー
ム画像ＩN-2の前のフレーム画像ＩN-3を第３のフレーム
画像に相当する画像と考えれば、第１のフレーム画像Ｉ
N-2、第２のフレーム画像ＩN-1の間の変化が前のフレー
ム画像から継続してきたものか調べていることができ
る。従って、前後類似度BVC(N,k)がしきい値θJUD以上
の時には、前後類似度BVC(N,k)を相関値とすると共に有
効ブロック位置と判定し、一つ前の画像番号N-1におけ
る前後類似度BVC(N-1,k)がしきい値θJUD以上の時に
は、この前後類似度BVC(N-1,k)を相関値とすると共に有
効ブロック位置と判定してもよい。
【００６２】以下では、画像番号Ｎにおける前後類似度
BVC(N,k)を相関値に代入したブロック位置と、画像番号
N-1における前後類似度BVC(N-1,k)を相関値に代入した
ブロック位置を、両方とも前後類似ブロック位置と呼
ぶ。前後類似ブロック位置は、第１のフレーム画像Ｉ
N-2と第２のフレーム画像ＩN-1との間でフラッシュのよ
うな一時的な変化が発生したブロックの位置を表す。
【００６３】このとき、本実施の形態によれば、図７の
ように画面の半分の面積の物体ａが横切る部分の過剰検
出を抑制できる。図７の例では、画像Ｉ3、Ｉ4で物体ａ
の存在するブロックの位置が前後類似ブロック位置とな
り、図８と同等な変化となる。従って、評価値はすべて
最大値1.0になり、過剰検出を抑制できる。
【００６４】なお、手順２０７は、前方類似度BVF(N,k)
を相関値とし、その相関値と後方類似度BVL(N,ki)とで
動きを検出し、動きが検出されたブロックの相関値を後
方類似度BVL(N,ki)で置換するようにしても良く、以下
に詳細に説明する。説明を簡単にするために、前方類似
度BVF(N,k)と後方類似度BVL(N,k)が、 BVF(N,k) ≧ θDIV BVL(N,k) ＜ θDIV を同時に満足するブロックの位置ｋを、前方類似ブロッ
ク位置と呼び、 BVF(N,k) ＜ θDIV BVL(N,k) ≧ θDIV を同時に満足するブロックの位置ｋを、後方類似ブロッ
ク位置と呼ぶ。
【００６５】図３のように、画面上の物体（斜線部分）
が移動する場合には、１番目のフレーム画像ＩN-2中で
物体の映っているブロックの位置Ａが後方類似ブロック
位置になり、３番目のフレーム画像ＩN中で物体の映っ
ているブロックの位置Ｂが前方類似ブロック位置にな
る。このように、フレーム画像ＩN-2の前方類似ブロッ
ク位置と、フレーム画像ＩNの後方類似ブロック位置を
調べることで、動きを検出できる。
【００６６】ブロック間の動きだけが発生した場合に
は、前方類似ブロック位置の数と後方類似ブロック位置
の数が等しくなる。このように移動先が画面内に存在す
る場合には、動きとして検出し、後方類似度を相関値と
する。
【００６７】画面の外への動きがある場合や、他の物体
の陰に隠れる場合や、シーンチェンジの場合には、前方
類似ブロック位置と後方類似ブロック位置の数は、同一
にならない。後方類似ブロック位置の中で、前方類似ブ
ロックの数を越えた分については、動きとして検出せず
に、前方類似度を相関値とすればよい。この相関値は、
手順２０９で計算される評価値LV(N)を小さくする方向
に働くが、同一シーン内であれば、他のブロック位置の
相関値が評価値LV(N)を大きくする方向に働き、シーン
チェンジとして過剰検出されることは少ない。
【００６８】従って、前方類似ブロック位置の数をNBF
と呼び、後方類似ブロック位置の数をNBLと呼ぶとき、N
BFがNBL以上になる場合には、後方類似ブロック位置の
相関値を後方類似度BVL(N,k)で置換すればよい。NBFがN
BL未満になる場合には、NBF個の後方類似ブロック位置
の相関値を、後方類似度BVL(N,k)で置換すればよい。
【００６９】図９のようにフラッシュなどの一時的な変
化の発生する部分の過剰検出を抑制できる。図９におい
て、斜線部分が移動物体を表し、薄く塗りつぶした部分
がフラッシュによる変化を表す。図９の例のＩ1〜Ｉ3で
は、後方類似ブロック位置（ｂ）と前方類似ブロック位
置（ｃ）が共に４つになり、後方類似度ブロック位置の
相関値が後方類似度で置換されるので、評価値は LV(3)=1.0 となる。図９の例のＩ2〜Ｉ4では、後方類似ブロック位
置（ｄ）よりも前方類似ブロック位置（ｅ）の方が多い
ために、すべての後方類似ブロック位置で後方類似度が
相関値として採用され、評価値は、 LV(4)=1.0 となる。図９の例のＩ3〜Ｉ5では、４個のブロック
（ｆ）の位置が無効ブロック位置となり、４個のブロッ
ク（ｇ）の位置が前後類似ブロック位置となるので、最
終評価値は、 LV(5)=1.0 となり、図１０と同等な変化となる。図９の例のＩ4〜
Ｉ6では、図１０のＩ4〜Ｉ6に対する処理が実行される
ので、４個のブロック（ｈ）の位置が後方類似ブロック
位置となり、４個のブロック（ｉ）の位置が前方類似ブ
ロック位置となり、後方類似ブロック位置の相関値が後
方類似度で置換されるので、評価値は、 LV(6)=1.0 となる。従って、いずれの場合も評価値が最大値1.0に
なり、過剰検出を抑制できる。さらに、手順２０３で取
り込む画像の時間間隔が、例えば１秒のように十分長い
場合には、ディゾルブなどの全画面が徐々に変化してい
くシーンチェンジの途中で、前方類似度と後方類似度と
前後類似度がすべて小さい値になる。従って、ディゾル
ブなどの全画面が徐々に変化していくシーンチェンジを
検出できる。
【００７０】なお、手順２０５は、（数２）式を用いて
前方類似度BVF(N,1)〜BVF(N,16)を求めたが、以下の手
順で求めてもよい。
【００７１】まず、閾値θh以上の画素数存在する色の
総画素数を計算するために、 Ｈ（c,N-2,k）＞θh を満たすＨ(c,N-2,k)を、H'(c,N-2,k)とし、色の番号ｃ
を１から６４まで変化させたときのH'(c,N-2,k)の総和A
V(N-2,k)を計算する。同様に、N-2をN-1に変えてAV(N-
1,k)を計算する。
【００７２】次に、画像ＩN-2と画像ＩN-1で共通して閾
値θｈ以上の画素数存在する色の総画素数を計算するた
めに、 Ｈ(c,N-2,k)＞θh Ｈ(c,N-1,k)＞θh を同時に満たすＨ(c,N-2,k)、Ｈ(c,N-1,k)を求め、それ
ぞれHC(c,N-2,k)、HC(c,N-1,k)と呼ぶことにする。色の
番号ｃを１から６４まで変化させたときのHC(c,N-2,k)
の総和AC(N-2,k)と、HC(c,N-1,k)の総和AC(N-1,k)を計
算する。そして、 AC(N-2,k)／AV(N-2,k) ＜ AC(N-1,k)／AV(N-1,k) が成立するとき、前方類似度BVF(N,k)を BVF(N,k)＝AC(N-2,k)／AV(N-2,k) で計算し、 AC(N-2,k)／AV(N-2,k) ≧ AC(N-1,k)／AV(N-1,k) が成立するとき、前方類似度BVF(N,k)を BVF(N,k)＝AC(N-1,k)／AV(N-1,k) で計算する。
【００７３】また、後方類似度BVL(N,1)〜BVL(N,16)、
前後類似度BVC(N,1)〜BVC(N,16)も、同様の手順で、AV
(N-1,k)、AV(N,k)、AC(N-1,k)、AC(N,k)を用いて計算し
てもよい。
【００７４】また、図２に示した処理手順をシーンチェ
ンジ検出プログラムとして記録媒体に記憶することによ
り、各種コンピュータにインストールすることより実行
が可能となり、コンピュータにより記録された映像中の
フレーム画像からシーンチェンジを検出することが出来
る。
【００７５】（実施の形態２）実施の形態１では、シー
ンの代表画像のみを記憶装置に保存したが、代表画像Ｉ
N-1の時刻をシーンの先頭時刻として、代表画像と同時
に記憶装置に記憶すると、映像編集などへの応用が広が
る。そこで、実施の形態２では、シーンの先頭時刻を記
憶する一形態について述べる。
【００７６】また、しきい値θJUDのみを用いた判定で
前後類似ブロックを定義することもできるので、実施の
形態２では、この判定方法を採用する。さらに、前後類
似ブロックのデータを直接置換する代わりに、前後類似
ブロックであるかどうかの判定結果を置換することで、
処理を軽くする。
【００７７】図１１は、実施の形態２のシーンチェンジ
検出装置を示すブロック構成図である。図１１におい
て、１１０１は圧縮された映像データを伸長してフレー
ム画像を出力する映像再生装置である。１１０２は映像
再生装置１１０１で伸長されるフレーム画像を取り込ん
で、シーンチェンジを検出するシーンチェンジ検出装置
であり、伸長するフレーム画像の時刻を指定する時刻指
定手段１１０３と、フレーム画像を取り込む画像取り込
み手段１１０４と、フレーム画像を複数のブロックに分
割してブロックの画像データを出力するブロック出力手
段１１０５と、ブロック出力手段１１０５から出力され
る画像データから色のヒストグラムを計算し記憶するヒ
ストグラム管理手段１１０６と、ヒストグラム管理手段
１１０６からの出力を受けて、２枚のフレーム画像の同
じ位置のブロックの間の類似度を計算する類似度計算手
段１１０７と、類似度計算手段１１０７から出力される
前方類似度と後方類似度の平均値をしきい値θDIVに代
入する可変しきい値設定手段１１０８と、しきい値θ
DIVを用いて類似度計算手段１１０７から出力される類
似度の代表値を、ブロック位置毎に求めて相関値とする
相関計算手段１１０９と、類似度計算手段１１０７の出
力を受けてブロック位置毎に有効無効を判定するブロッ
ク位置判定手段１１１０と、相関計算手段１１０９から
出力される前後類似ブロック位置であるかどうかの判定
結果を記憶する前後類似ブロック位置管理手段１１１１
と、有効ブロック位置の相関値の総和を有効ブロック位
置の数で割る平均計算手段１１１２と、平均計算手段１
１１２から出力される評価値があらかじめ設定したしき
い値θJUD未満になるときにシーンチェンジの発生を表
現する信号を出力するしきい値処理手段１１１３と、し
きい値処理手段１１１３からの信号を受けてシーンチェ
ンジの映像中の位置（フレーム番号）と画像を出力する
シーン情報出力手段１１１４から構成される。
【００７８】また、類似度計算手段１１０７は、前方類
似度を計算する前方類似度計算手段１１１５と、後方類
似度を計算する後方類似度計算手段１１１６と、前方類
似度と後方類似度の値によって前後類似度の計算対象と
なるブロックの位置を出力するブロック限定手段１１１
７と、前後類似度を計算する前後類似度計算手段１１１
８から構成される。相関計算手段１１０９は、前後類似
ブロック位置を求める前後類似ブロック位置計算手段１
１１９と、指定された類似度を相関値に代入する相関値
代入手段１１２０と、変化相殺ブロック位置を計算する
変化相殺ブロック位置計算手段１１２１から構成され
る。１１２２はシーンの代表画像とシーンチェンジの映
像中の位置を記憶する記憶装置である。
【００７９】以上のように構成されたシーンチェンジ検
出装置について、図１２に示すフローチャートを用いて
その動作を説明する。
【００８０】手順１２０１では、伸長するフレーム画像
の時刻を０に設定する。この時刻は、映像の先頭を表
す。
【００８１】手順１２０２では、指定された時刻のフレ
ーム画像を伸長する。この時刻が映像の末尾の時刻に比
べて大きい場合、映像が終了したことになる。
【００８２】手順１２０３では、映像が終了した場合に
は処理を終了し、そうでなければ、手順１２０４に進
む。
【００８３】手順１２０４では、手順１２０２で伸長し
たフレーム画像を取り込む。以下では、取り込んだフレ
ーム画像をＩN（Ｎは画像の番号を表す自然数）と表記
する。
【００８４】手順１２０５では、フレーム画像ＩNの各
画素を処理してブロックの色ヒストグラムＨ(c,N,k)を
計算する。
【００８５】手順１２０６では、（数２）式を用いて前
方類似度BVF(N,1)〜BVF(N,16)を計算し、（数３）式を
用いて後方類似度BVL(N,1)〜BVL(N,16)を計算する。
【００８６】手順１２０７では、前方類似度BVF(N,k)と
後方類似度BVL(N,k)が同時にしきい値θJUD未満となる
ブロックの位置として、 BVF(N,k)＜θJUD BVL(N,k)＜θJUD を同時に満たすブロックの位置（以下、前後類似ブロッ
ク位置候補kmと呼ぶ）を求め、前後類似ブロック位置候
補kmに対して、ヒストグラムＨ(c,N,km)とＨ(c,N-2,km)
を比較し、（数４）式を用いて前後類似度BVC(N,km)を
求める。
【００８７】手順１２０８では、（数５）式を用いて前
方類似度BVF(N,k)と後方類似度BVL(N,k)の平均値を求
め、しきい値θDIVとする。
【００８８】手順１２０９では、初期値として、各ブロ
ック位置で前方類似度BVF(N,k)を相関値に代入する。
【００８９】手順１２１０では、前後類似ブロック位置
候補kmと有効ブロック位置候補klの両方に含まれるブロ
ックの位置klmの中で、前後類似度BVC(N,klm)がしきい
値θJ UD以上となるブロックの位置として、 BVC(N,klm)≧θJUD を満たすブロックの位置（以下、前後類似ブロック位置
と呼ぶ）を求める。ただし、有効ブロック位置候補klと
しては、前回取り込んだフレーム画像ＩN-1の前後類似
ブロック位置を除いたものを用いる。この有効ブロック
位置候補は、前回取り込んだフレーム画像ＩN-1を手順
１２１５で処理したときに計算したものである。
【００９０】手順１２１１では、前後類似ブロック位置
の前後類似度BVC(N,k)を相関値に代入することで、相関
値を修正する。
【００９１】手順１２１２では、有効ブロック位置候補
klの中で前後類似ブロック位置を除いたブロックkl'の
中から、前方類似度BVF(N,kl')だけがしきい値θDIV未
満となるブロックとして、 BVF(N,kl')＜θDIV BVL(N,kl')≧θDIV を同時に満たす後方類似ブロック位置を求める。実施の
形態１の手順２０７との違いは、全ブロックの位置の中
からではなく、有効ブロック位置候補の中で前後類似ブ
ロック位置を除いたブロックの位置の中から後方類似ブ
ロック位置を探すことにある。
【００９２】さらに同じ手順１２１２の中では、有効ブ
ロック位置候補klの中で前後類似ブロック位置を除いた
ブロックkl'の中から、後方類似度BVL(N,kl')だけがし
きい値θDIV未満となるブロックとして、 BVF(N,kl')≧θDIV BVL(N,kl')＜θDIV を同時に満たす前方類似ブロック位置を求める。そし
て、前方類似ブロック位置の数と後方類似ブロック位置
の数の内の小さい方の値である変化相殺ブロック数を求
め、後方類似ブロック位置の中で、ブロックの位置の番
号の小さい順に変化相殺ブロック数個のブロックの位置
を変化相殺ブロック位置とする。
【００９３】手順１２１３では、変化相殺ブロック位置
の後方類似度BVL(N,k)を相関値に代入することで、相関
値を修正する。
【００９４】手順１２１４では、有効ブロック位置候補
klの中で、前方類似度BVF(N,kl)と後方類似度BVL(N,kl)
が同時にしきい値θDIV未満となり、かつ、前後類似度B
VC(N,kl)がしきい値θJUD未満となるブロックとして、 BVF(N,k)＜θDIV BVL(N,k)＜θDIV BVC(N,ki)＜θJUD を同時に満たすブロックの位置を求め、無効ブロック位
置とする。有効ブロック位置候補の中で無効ブロック位
置以外のブロックの位置は、有効ブロック位置とする。
有効ブロック位置候補以外のブロックの位置は無効ブロ
ック位置とする。
【００９５】手順１２１５では、前後類似ブロック位置
を除いたブロックの位置を次回の取り込み画像に対する
有効ブロック位置候補とする。
【００９６】手順１２１６では、有効ブロック位置の数
がしきい値θVAL未満のときには、全ブロックの位置を
無効ブロック位置として手順１２２０に進む。そうでな
ければ手順１２１７に進む。
【００９７】手順１２１７では、有効ブロック位置の相
関値の総和を有効ブロック位置の数で割り、評価値LV
(N)とする。
【００９８】手順１２１８では、評価値LV(N)がしきい
値θJUD未満となる場合に、シーンチェンジが発生した
と判断して手順１２１９に進む。そうでなければ、手順
１２２０に進む。
【００９９】手順１２１９では、過去のフレーム画像の
時刻を読みとり、フレーム画像ＩN- 1の時刻をシーンの
先頭時刻とし、フレーム画像ＩN-2の時刻を前シーンの
末尾時刻とする。また、フレーム画像ＩNをシーンの代
表画像とする。これらの結果は、ハードディスクなどの
記憶装置に保存される。
【０１００】手順１２２０では、次に伸長する画像の時
刻を決定する。例えば、シーンチェンジ検出処理の開始
からの経過時間とあらかじめ設定した再生速度の積を、
次に伸長する画像の時刻に設定する。
【０１０１】手順１２２０の終了後、手順１２０２に戻
る。本実施の形態のように、シーンの代表画像とシーン
の先頭時刻と末尾時刻をハードディスクに保存すると、
検出した各シーンの先頭時刻と末尾の時刻がわかるの
で、シーンを並び替えて映像を編集することが可能にな
る。また、指定したシーンからの頭出し再生が可能とな
り、映像ファイルの中の見たいシーンだけを検索するこ
とも可能となる。例えば、ＰＤや今後実用化されるＤＶ
Ｄ−ＲＡＭなどの大容量記録媒体（以下、ディスクと呼
ぶ）に圧縮映像ファイルを記録するときに、シーンチェ
ンジ検出装置で検出したシーンの先頭時刻と代表画像
を、インデックスとして圧縮映像ファイルと同じディス
クに記録しておけば、映像全体を再生せずに、インデッ
クスを見るだけで、見たいシーンを簡単に再生できる。
【０１０２】本実施の形態によれば、前後類似ブロック
位置を次回の取り込み画像に対する有効ブロック位置か
ら除外することで、実施の形態１と同様に、図７、図９
のような部分の過剰検出を抑制できる。例えば図７を取
り上げると、画像Ｉ3、Ｉ4で物体ａの存在するブロック
の位置が前後類似ブロック位置となる。Ｉ3〜Ｉ5のよう
に物体ａが３枚の画像の先頭画像に含まれるときには、
図１３に示すように先頭画像で物体ａを含むブロック
（斜線部分）の位置が無効ブロック位置（ｂ）となる。
このとき、有効ブロック位置（ｃ）はすべて前後類似ブ
ロック位置となるので、画像Ｉ3の中の有効ブロック位
置の部分（ｄ）と画像Ｉ5の中の有効ブロック位置の部
分（Ｅ）の類似度の平均が評価値になる。この例では、
評価値が最大値1.0になり、過剰検出を抑制できる。図
７ではＩ6を表示していないが、Ｉ6とＩ5と同じ画像と
仮定すると、Ｉ4〜Ｉ6の場合でも、図１４に示すように
先頭画像で物体ａを含むブロック（斜線部分）の位置が
無効ブロック位置（ｂ）となり、有効ブロック位置
（ｃ）から計算される評価値は最大値1.0になるので、
過剰検出を抑制できる。
【０１０３】また、実施の形態１と同様に、図４のよう
なχ２乗検定法で検出できなかったシーンチェンジやデ
ィゾルブなどの全画面が徐々に変化していくシーンチェ
ンジを検出できる。
【０１０４】
【発明の効果】以上のように本発明により、映像中のフ
レーム画像をそれぞれ複数個のブロックに分割し、映像
中の第１のフレーム画像と第２のフレーム画像との特定
のブロックの間の類似度を検出して、その類似度が任意
の閾値未満の時、第３のフレーム画像のブロックまで変
化を判定することにより、変化する領域の面積が画面の
半分未満になるシーンチェンジの検出もれや、被写体の
動きやカメラ操作などの画面内での激しい動きやフラッ
シュなどの一時的な変化による過剰検出を抑制でき、高
精度なシーンチェンジ検出を行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態におけるシーンチェ
ンジ検出装置のブロック構成図
【図２】本発明の第１の実施の形態におけるシーンチェ
ンジ検出装置の動作を示すフローチャート
【図３】本発明の第１の実施の形態における後方類似ブ
ロック位置と前方類似ブロック位置の例を示す図
【図４】本発明の第１の実施の形態における変化する領
域の面積が半分未満になるシーンチェンジの例を示す図
【図５】本発明の第１の実施の形態における図４の例の
前方類似ブロック位置の分布の例を示す図
【図６】本発明の第１の実施の形態における図４の例の
後方類似ブロック位置の分布の例を示す図
【図７】本発明の第１の実施の形態における画面の半分
の面積の物体が横切る部分の例を示す図
【図８】本発明の第１の実施の形態における図７の例の
前後類似ブロック位置に対してブロックの色ヒストグラ
ムのコピーを実行した結果と同等な変化の例を示す図
【図９】本発明の第１の実施の形態におけるフラッシュ
などの一時的な変化が発生する部分の例を示す図
【図１０】本発明の第１の実施の形態における図９の例
の前後類似ブロック位置に対してブロックの色ヒストグ
ラムコピーを実行した結果と同等な変化の例を示す図
【図１１】本発明の第２の実施の形態におけるシーンチ
ェンジ検出装置のブロック構成図
【図１２】本発明の第２の実施の形態におけるシーンチ
ェンジ検出装置の動作を示すフローチャート
【図１３】本発明の第２の実施の形態における３枚の先
頭の画像の前後類似ブロック位置を無効ブロック位置と
する例を示す図
【図１４】本発明の第３の実施の形態における３枚の先
頭の画像の前後類似ブロック位置を無効ブロック位置と
する例を示す図
【図１５】従来のχ２乗検定法で比較するブロックの例
を示す図
【図１６】従来の変化率法で比較するブロックの例を示
す図
【図１７】従来のシーンチェンジ検出装置のブロック構
成図
【図１８】従来のシーンチェンジ検出装置の動作を示す
フローチャート
【図１９】従来のχ２乗検定法で検出できないシーンチ
ェンジを示す図
【符号の説明】
１０１、１１０１ 映像再生装置 １０２、１１０２ シーンチェンジ検出装置 １０３、１１０４ 画像取り込み手段 １０４、１１０５ ブロック出力手段 １０５、１１０７ 類似度計算手段 １０６ 判定手段 １０７、１１１３ しきい値処理手段 １０８、１１０９ 相関計算手段 １０９、１１１０ ブロック位置判定手段 １１０、１１１２ 平均計算手段 １１１、１１２２ 記憶装置 １１０３ 時刻指定手段 １１０６ ヒストグラム管理手段 １１１１ 前後類似ブロック位置管理手段 １１１４ シーン情報出力手段 １１１５ 前方類似度計算手段 １１１６ 後方類似度計算手段 １１１７ ブロック限定手段 １１１８ 前後類似度計算手段 １１１９ 前後類似ブロック位置計算手段 １１２０ 変化相殺ブロック位置計算手段 １１２１ 相関値代入手段
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 5/91 - 5/956 G06T 7/20

Claims (9)

    (57)【特許請求の範囲】
  1. 【請求項１】 映像中の第１から第３のｎフレーム置き
    の各フレーム画像をそれぞれ複数個のブロックに分割
    し、各フレームの同じ位置のブロック間毎の類似度をそ
    れぞれ求め、その類似度から各ブロック位置毎に代表類
    似度を決定し、前記各ブロック間毎の類似度から各ブロ
    ック位置毎に有効ブロック位置かを判定し、前記各有効
    ブロック位置の代表類似度から平均類似度を求め、その
    平均類似度により前記第２のフレームがシーンチェンジ
    であると判定することを特徴とするシーンチェンジ検出
    方法。
  2. 【請求項２】 代表類似度は、第１のフレーム画像と第
    ２のフレーム画像との対応するブロック間の類似度とす
    ることを特徴とする請求項１記載のシーンチェンジ検出
    方法。
  3. 【請求項３】 有効ブロック位置の判定は、第１のフレ
    ーム画像と第２のフレーム画像との対応するブロック間
    の類似度または第２のフレーム画像と第３のフレーム画
    像との対応するブロック間の類似度が任意の閾値以上の
    とき、有効ブロック位置に判定することを特徴とする請
    求項１または請求項２記載のシーンチェンジ検出方法。
  4. 【請求項４】 第１のフレーム画像と第３のフレーム画
    像との対応するブロック間の類似度が任意の閾値以上の
    ときは、それを代表類似度とすると共に有効ブロック位
    置と判定し、それ以外の時は第１のフレーム画像と第２
    のフレーム画像との対応するブロック間の類似度を代表
    類似度とし、第１のフレーム画像と第２のフレーム画像
    との対応するブロック間の類似度または第２のフレーム
    画像と第３のフレーム画像との対応するブロック間の類
    似度が任意の閾値以上のとき、有効ブロック位置に判定
    することを特徴とする請求項１記載のシーンチェンジ検
    出方法。
  5. 【請求項５】 類似度は、各ブロック間の色ヒストグラ
    ム（色分布）、輝度ヒストグラムまたは輝度値から求め
    ることを特徴とする請求項１乃至４のいずれかに記載の
    シーンチェンジ検出方法。
  6. 【請求項６】 有効ブロック位置を判定する閾値は、第
    １のフレーム画像と第２のフレーム画像との対応するブ
    ロック間の類似度と第２のフレーム画像と第３のフレー
    ム画像との対応するブロック間の類似度の平均値を求
    め、閾値とすることを特徴とする請求項３記載のシーン
    チェンジ検出方法。
  7. 【請求項７】 有効ブロック位置の数が任意の閾値未満
    の場合は、同一シーンと判定することを特徴とする請求
    項１乃至４のいずれかに記載のシーンチェンジ検出方
    法。
  8. 【請求項８】 映像中の第１から第３のｎフレーム置き
    の各フレーム画像を抜き出す画像取り込み手段と、前記
    各フレーム画像をそれぞれ複数個のブロックに分割し
    て、各ブロックの画像データを出力するブロック出力手
    段と、各フレームの同じ位置のブロック間毎に類似度を
    計算する類似度計算手段と、前記第１のフレーム画像と
    第２のフレーム画像との対応するブロック間の類似度を
    代表類似度とする相関計算手段と、前記第１のフレーム
    画像と第２のフレーム画像との対応するブロック間の類
    似度または前記第２のフレーム画像と第３のフレーム画
    像との対応するブロック間の類似度が任意の閾値以上の
    とき、有効ブロック位置に判定するブロック位置判定手
    段と、前記各有効ブロック位置の代表類似度から平均類
    似度を求め、その平均類似度により前記第２のフレーム
    がシーンチェンジであると判定する判定手段とを備える
    ことを特徴とするシーンチェンジ検出装置。
  9. 【請求項９】 コンピュータによって映像中のフレーム
    画像からシーンチェンジを検出するプログラムを記憶し
    た記録媒体であって、映像中の第１から第３のｎフレー
    ム置きの各フレーム画像をそれぞれ複数個のブロックに
    分割し、各フレームの同じ位置のブロック間毎の類似度
    をそれぞれ求め、その類似度から各ブロック位置毎に代
    表類似度を決定し、前記各ブロック間毎の類似度から各
    ブロック位置毎に有効ブロック位置かを判定し、前記各
    有効ブロック位置の代表類似度から平均類似度を求め、
    その平均類似度により前記第２のフレームがシーンチェ
    ンジであると判定することを特徴とするシーンチェンジ
    検出プログラムを記憶したコンピュータ読みとり可能な
    記録媒体。
JP10142997A 1996-11-25 1997-04-18 シーンチェンジ検出方法およびシーンチェンジ検出装置 Expired - Fee Related JP3175632B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US08/976,013 US6219382B1 (en) 1996-11-25 1997-11-21 Method and apparatus for locating a caption-added frame in a moving picture signal
US09/628,341 US6301302B1 (en) 1996-11-25 2000-07-28 Moving picture search system cross reference to related application

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10142397 1997-04-18

Publications (2)

Publication Number Publication Date
JPH10294923A JPH10294923A (ja) 1998-11-04
JP3175632B2 true JP3175632B2 (ja) 2001-06-11

Family

ID=14300310

Family Applications (2)

Application Number Title Priority Date Filing Date
JP10142997A Expired - Fee Related JP3175632B2 (ja) 1996-11-25 1997-04-18 シーンチェンジ検出方法およびシーンチェンジ検出装置
JP54545198A Expired - Lifetime JP3556232B2 (ja) 1997-04-18 1998-04-16 超音波流量計

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP54545198A Expired - Lifetime JP3556232B2 (ja) 1997-04-18 1998-04-16 超音波流量計

Country Status (6)

Country Link
US (1) US6216544B1 (ja)
EP (2) EP0913670B1 (ja)
JP (2) JP3175632B2 (ja)
KR (1) KR100311555B1 (ja)
CN (1) CN1134650C (ja)
WO (1) WO1998048247A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106679748A (zh) * 2016-12-30 2017-05-17 中国人民解放军国防科学技术大学 航天器超声波流量与两相流同步测量方法及装置

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3524007B2 (ja) * 1998-10-14 2004-04-26 シャープ株式会社 動画場面転換部検出装置および方法、動画場面転換部検出制御プログラムを記憶した媒体、ならびに動画処理装置
EP1161098B1 (en) 2000-04-27 2011-06-22 Nippon Telegraph And Telephone Corporation Signal detection method and apparatus
CN1217158C (zh) 2000-10-10 2005-08-31 松下电器产业株式会社 流量计
JP3690313B2 (ja) * 2001-07-19 2005-08-31 松下電器産業株式会社 動画像管理装置、情報入力方法および動画像検索方法
US7195588B2 (en) 2004-03-01 2007-03-27 Olympus Corporation Endoscope image pick-up apparatus
JP4583704B2 (ja) * 2002-11-01 2010-11-17 オリンパス株式会社 内視鏡撮像装置
JP4373698B2 (ja) * 2003-04-25 2009-11-25 株式会社東芝 超音波診断装置及び超音波診断支援プログラム
JP4561071B2 (ja) * 2003-09-26 2010-10-13 パナソニック株式会社 流量計測装置
KR100861827B1 (ko) * 2003-11-10 2008-10-07 마츠시타 덴끼 산교 가부시키가이샤 초음파 유량계와 그 제조 방법
US8214168B2 (en) * 2004-09-07 2012-07-03 Transonic Systems, Inc. Noninvasive testing of a material intermediate spaced walls
JP4579214B2 (ja) * 2006-09-20 2010-11-10 パナソニック株式会社 超音波式流体計測装置
JP4964044B2 (ja) * 2007-07-06 2012-06-27 三菱電機株式会社 顔検出装置及び顔検出方法
JPWO2009031398A1 (ja) * 2007-09-06 2010-12-09 三菱電機株式会社 類似画像判別装置、チャプタ判定装置、映像信号記録装置及び画像処理装置
US7911306B2 (en) * 2008-01-08 2011-03-22 Daniel Measurement And Control, Inc. Transformer board
JP4924447B2 (ja) * 2008-01-25 2012-04-25 ソニー株式会社 シーン切り替わり点検出器、シーン切り替わり点検出方法、記録装置、イベント生成器、イベント生成方法および再生装置
CN101255791B (zh) * 2008-04-09 2011-05-25 浙江大学 油气水多相流流量测量装置
DE102009022492A1 (de) * 2009-05-25 2010-12-02 Sensaction Ag Vorrichtung zur Bestimmung der Eigenschaften eines Mediums in Form einer Flüssigkeit oder eines weichen Materials
US8619150B2 (en) * 2010-05-25 2013-12-31 Intellectual Ventures Fund 83 Llc Ranking key video frames using camera fixation
JP2012132801A (ja) * 2010-12-22 2012-07-12 Panasonic Corp 超音波流量計
DE102011076132B4 (de) 2011-05-19 2023-03-23 Endress+Hauser Flow Deutschland Ag Vorrichtung und Verfahren zum Bestimmen von Eigenschaften eines Mediums
CN104169692A (zh) * 2011-12-02 2014-11-26 卡姆鲁普股份有限公司 具有数字化欠采样流量测量的超声波流量计
KR101878182B1 (ko) * 2011-12-02 2018-07-16 엘지디스플레이 주식회사 장면전환검출장치 및 장면전환검출방법
JP6172533B2 (ja) * 2012-06-05 2017-08-02 パナソニックＩｐマネジメント株式会社 超音波送受波器およびそれを備えた超音波流量計
JP6034702B2 (ja) * 2013-01-15 2016-11-30 日本放送協会 画像処理装置及び画像処理プログラム
US10551406B2 (en) * 2017-04-20 2020-02-04 Anemoment Llc Acoustic structural reflection interference mitigation systems, methods, and devices
CN107290564B (zh) * 2017-07-28 2020-02-04 电子科技大学 一种基于相位差的超声波流速测量方法
WO2019082268A1 (ja) * 2017-10-24 2019-05-02 三菱電機株式会社 画像処理装置及び画像処理方法
GB2568946A (en) * 2017-12-01 2019-06-05 Hydramotion Ltd Fluid property measurement by reflection of vibrational waves
KR102102164B1 (ko) * 2018-01-17 2020-04-20 오드컨셉 주식회사 영상 전처리 방법, 장치 및 컴퓨터 프로그램
USD851524S1 (en) 2018-01-18 2019-06-18 Norgas Metering Technologies, Inc. Ultrasonic flow meter
JP7177838B2 (ja) * 2018-01-19 2022-11-24 レイトラム，エル．エル．シー． スパイラルコンベヤを通る気流を測定する装置および方法
EP4088122A4 (en) 2020-01-11 2024-01-24 LI-COR, Inc. WIND SENSING DEVICES, SYSTEMS AND METHODS
CN113701835B (zh) * 2021-08-30 2023-12-08 安徽理工大学 一种高精度自校正超声波煤层气抽采管网流量计
CN115265684B (zh) * 2022-07-27 2024-03-15 杭州思筑智能设备有限公司 一种带渐变条状格栅的反射型扁平流道及流量计***
US20240102835A1 (en) * 2022-09-28 2024-03-28 Halliburton Energy Services, Inc. Machine learning-based wellbore fluid flow rate prediction

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3906791A (en) * 1973-10-01 1975-09-23 Panametrics Area averaging ultrasonic flowmeters
DE2726981C2 (de) * 1977-06-15 1984-11-22 Fried. Krupp Gmbh, 4300 Essen Vorrichtung zur Zeitmessung zwischen Impulsen
IT1144295B (it) * 1981-07-10 1986-10-29 Fiat Ricerche Dispositivo ultrasonico per la misura della portata di un fluido in un condotto
US4596133A (en) * 1983-07-29 1986-06-24 Panametrics, Inc. Apparatus and methods for measuring fluid flow parameters
JPS61144512A (ja) * 1984-12-18 1986-07-02 Fuji Electric Co Ltd 超音波流量計
IT1196886B (it) * 1986-12-30 1988-11-25 Weber Srl Dispositivo ultrasonico di misurazione della portata di fluido in un condotto
JP2775011B2 (ja) * 1989-09-28 1998-07-09 矢崎総業株式会社 流量検出装置
JPH076492Y2 (ja) * 1990-02-08 1995-02-15 株式会社カイジョー 超音波気体流速流量測定装置
DE4010148A1 (de) * 1990-03-29 1991-10-02 Siemens Ag Verbesserung fuer einen ultraschall-gas-/fluessigkeits-durchflussmesser
JP3113324B2 (ja) 1991-08-16 2000-11-27 株式会社トプコン 非接触式眼圧計
JPH0572011A (ja) * 1991-09-13 1993-03-23 Fuji Electric Co Ltd 超音波流量計
FR2683046B1 (fr) * 1991-10-25 1994-02-04 Schlumberger Industries Dispositif de mesure de la vitesse d'un fluide.
JPH05223608A (ja) * 1992-02-18 1993-08-31 Tokimec Inc 超音波流量計
JP3104817B2 (ja) 1992-06-21 2000-10-30 キヤノン株式会社 半導体レーザ素子
DE4224372C2 (de) * 1992-07-23 1995-02-02 Kromschroeder Ag G Ultraschall-Gaszähler
GB9301873D0 (en) * 1993-01-30 1993-03-17 Cambridge Consultants Method and apparatus for fluid flow metering
WO1994017371A1 (en) * 1993-01-30 1994-08-04 G.Kromschröder Aktiengesellschaft Fluid flow meter
CA2157784A1 (en) 1993-03-09 1994-09-15 Noel Bignell Mode suppression in fluid meter conduits
GB2276240B (en) * 1993-03-16 1997-01-15 British Gas Plc Fluid flowmeter
GB2279146B (en) * 1993-06-19 1996-07-03 British Aerospace Method and assembly for measuring mass flow or velocity flow of a fluid
JP3422100B2 (ja) * 1994-11-02 2003-06-30 松下電器産業株式会社 流量計測装置
JP3194270B2 (ja) * 1995-02-28 2001-07-30 経済産業省産業技術総合研究所長 超音波流量計
JPH08313316A (ja) * 1995-05-19 1996-11-29 Matsushita Electric Ind Co Ltd 超音波式流量計
JPH10170318A (ja) * 1996-12-12 1998-06-26 Osaka Gas Co Ltd 超音波流速測定装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106679748A (zh) * 2016-12-30 2017-05-17 中国人民解放军国防科学技术大学 航天器超声波流量与两相流同步测量方法及装置
CN106679748B (zh) * 2016-12-30 2017-10-10 中国人民解放军国防科学技术大学 航天器超声波流量与两相流同步测量方法及装置

Also Published As

Publication number Publication date
US6216544B1 (en) 2001-04-17
EP2045583A1 (en) 2009-04-08
KR20000016771A (ko) 2000-03-25
EP0913670A1 (en) 1999-05-06
WO1998048247A1 (fr) 1998-10-29
EP0913670A4 (en) 2002-09-04
EP0913670B1 (en) 2011-12-21
CN1134650C (zh) 2004-01-14
KR100311555B1 (ko) 2002-04-24
JPH10294923A (ja) 1998-11-04
CN1229469A (zh) 1999-09-22
JP3556232B2 (ja) 2004-08-18

Similar Documents

Publication Publication Date Title
JP3175632B2 (ja) シーンチェンジ検出方法およびシーンチェンジ検出装置
EP0729117B1 (en) Method and apparatus for detecting a point of change in moving images
US6493042B1 (en) Feature based hierarchical video segmentation
JP4981128B2 (ja) 映像からのキーフレーム抽出
US8160299B2 (en) Image processing apparatus
US7483624B2 (en) System and method for indexing a video sequence
EP0690413A2 (en) A system for locating automatically video segment boundaries and for extraction of key-frames
US20080019661A1 (en) Producing output video from multiple media sources including multiple video sources
US7075683B1 (en) Dynamic image digest automatic editing system and dynamic image digest automatic editing method
US20080019669A1 (en) Automatically editing video data
JP2000222584A (ja) 映像情報記述方法、映像検索方法及び映像検索装置
Oh et al. Content-based scene change detection and classification technique using background tracking
JPH06149902A (ja) 動画像記録媒体、動画像記録装置、及び動画像再生装置
US6301302B1 (en) Moving picture search system cross reference to related application
JP3258924B2 (ja) シーン管理装置、シーン管理方法及び記録媒体
JPH0746517A (ja) 動画像検索方法及び装置
JP2000261757A (ja) 編集用映像区間分類方法及び装置、並びにこの方法を記録した記録媒体
Volkmer et al. Gradual transition detection using average frame similarity
Lawrence et al. Motion insensitive detection of cuts and gradual transitions in digital videos
JPH07111630A (ja) 動画像編集装置及びカット統合方法
JPH0537853A (ja) 動画のカツト自動分割方法
JP2000242795A (ja) 映像差分検出装置、映像差分検出方法およびこの方法を記録した記録媒体
JP2000069420A (ja) 映像処理装置
JP3128378B2 (ja) 映像インデックス作成装置
JP3194837B2 (ja) 代表画面抽出方法および装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080406

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090406

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100406

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110406

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120406

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120406

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130406

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees