JPH0537853A - 動画のカツト自動分割方法 - Google Patents
動画のカツト自動分割方法Info
- Publication number
- JPH0537853A JPH0537853A JP3192997A JP19299791A JPH0537853A JP H0537853 A JPH0537853 A JP H0537853A JP 3192997 A JP3192997 A JP 3192997A JP 19299791 A JP19299791 A JP 19299791A JP H0537853 A JPH0537853 A JP H0537853A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- cut
- specific frame
- pixel area
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
Abstract
(57)【要約】
【目的】実時間で入力された動画または、蓄積された動
画に対して、自動的に的確にカットを切り分ける。 【構成】動画の特定のフレームと、該フレームの前後の
フレームとの間で、変化画素面積の比較を行い、その値
が、第2の閾値Bを越えた場合に、当該特定フレームを
カットの切目と判断し、動画のカットを判定する。ま
た、フィルムをビデオ映像などに変換した動画において
は、カット誤検出の原因となる駒数変換に伴って発生す
るフレーム間差分の周期変動の影響を受け難いように、
当該特定フレームと2つ離れた隣接フレームについても
変化画素面積の比較を行い、カットの切目を判定する。
画に対して、自動的に的確にカットを切り分ける。 【構成】動画の特定のフレームと、該フレームの前後の
フレームとの間で、変化画素面積の比較を行い、その値
が、第2の閾値Bを越えた場合に、当該特定フレームを
カットの切目と判断し、動画のカットを判定する。ま
た、フィルムをビデオ映像などに変換した動画において
は、カット誤検出の原因となる駒数変換に伴って発生す
るフレーム間差分の周期変動の影響を受け難いように、
当該特定フレームと2つ離れた隣接フレームについても
変化画素面積の比較を行い、カットの切目を判定する。
Description
【0001】
【産業上の利用分野】本発明は、画像処理技術に関し、
特に動画をカットに自動分割するための方法に関するも
のである。
特に動画をカットに自動分割するための方法に関するも
のである。
【0002】
【従来の技術】動画は文章データと異なり、情報量が多
く、意味的にも多義性を持っている。よって動画を便利
に取り扱うためには、使い易いインデックスを付与する
などの補助的な処理が必要である。カット分割はその1
つで、動画を取り扱い易い単位に分割する方法である。
カットに分割する方法は、動画の輝度や色の変化を利用
するものが各種提案されてきた。例えば、NTTの外村
ら《外村、安部”動画像データベースハンドリングに関
する検討”信学技報 IE89-33 p49-56 1989》による輝
度のヒストグラムのフレーム間差分量を用いる手法、北
大の長坂ら《長坂、田中”ビデオ作品の場面変わりの自
動検出法”1990情処全大(春)IQ-5》による、色度数分布
の相関度利用する手法、日立の宮武ら《宮武、吉澤、上
田”フレーム相関関数の変化率に着目したカット自動検
出法”1990信学会 秋期全大D-299》によるフレーム相
関係数の変化率を利用する手法等である。
く、意味的にも多義性を持っている。よって動画を便利
に取り扱うためには、使い易いインデックスを付与する
などの補助的な処理が必要である。カット分割はその1
つで、動画を取り扱い易い単位に分割する方法である。
カットに分割する方法は、動画の輝度や色の変化を利用
するものが各種提案されてきた。例えば、NTTの外村
ら《外村、安部”動画像データベースハンドリングに関
する検討”信学技報 IE89-33 p49-56 1989》による輝
度のヒストグラムのフレーム間差分量を用いる手法、北
大の長坂ら《長坂、田中”ビデオ作品の場面変わりの自
動検出法”1990情処全大(春)IQ-5》による、色度数分布
の相関度利用する手法、日立の宮武ら《宮武、吉澤、上
田”フレーム相関関数の変化率に着目したカット自動検
出法”1990信学会 秋期全大D-299》によるフレーム相
関係数の変化率を利用する手法等である。
【0003】
【発明が解決しようとする課題】しかし、前記従来のも
のでは、(1)カットの見落としや、誤検出が多く、
(2)映画などのフィルムから、毎秒表示する駒数がフ
ィルムと異なるNTSCなどのビデオ映像に変換した動
画に特有な、フレーム間の差分情報に生じる周期的変動
に耐性が無かった。
のでは、(1)カットの見落としや、誤検出が多く、
(2)映画などのフィルムから、毎秒表示する駒数がフ
ィルムと異なるNTSCなどのビデオ映像に変換した動
画に特有な、フレーム間の差分情報に生じる周期的変動
に耐性が無かった。
【0004】本発明の目的は、カットの検出率が高く、
さらにカットを検出する際に、フィルムから、毎秒表示
する駒数の異なるビデオ映像などに変換した、映画のビ
デオソフトのような動画に特有な、輝度変化の周期変動
に左右されにくい検出方法を提供することにある。
さらにカットを検出する際に、フィルムから、毎秒表示
する駒数の異なるビデオ映像などに変換した、映画のビ
デオソフトのような動画に特有な、輝度変化の周期変動
に左右されにくい検出方法を提供することにある。
【0005】
【課題を解決するための手段】本発明は、カットの切目
に特徴的な、輝度・色などの物理量が定常的な変化から
急激に増加し、次のカットに入るとこれが再び定常的な
変化に戻ることを利用して、動画の特定のフレームと、
該フレームの前後のフレームとの間で、変化画素面積の
比較を行い、その値が閾値を越えた場合に、当該特定フ
レームをカットの切目と判断し、動画のカットを判定す
るものであり、また、その際に、フィルムをビデオ映像
などに変換した映像においては、カット誤検出の原因と
なる駒数変換に伴って発生するフレーム間差分の周期変
動の影響を受け難いように、当該特定フレームと2つ離
れた隣接フレームまで変化画素面積の比較を行い、カッ
トの切目を判断する。
に特徴的な、輝度・色などの物理量が定常的な変化から
急激に増加し、次のカットに入るとこれが再び定常的な
変化に戻ることを利用して、動画の特定のフレームと、
該フレームの前後のフレームとの間で、変化画素面積の
比較を行い、その値が閾値を越えた場合に、当該特定フ
レームをカットの切目と判断し、動画のカットを判定す
るものであり、また、その際に、フィルムをビデオ映像
などに変換した映像においては、カット誤検出の原因と
なる駒数変換に伴って発生するフレーム間差分の周期変
動の影響を受け難いように、当該特定フレームと2つ離
れた隣接フレームまで変化画素面積の比較を行い、カッ
トの切目を判断する。
【0006】
【作用】上記手段により、実時間で入力された動画また
は、蓄積された動画に対して、動画をカットに自動的に
切り分けることが的確にできることになる。これによ
り、動画を扱いやすい単位に分けることができ、動画の
編集、検索及び内容把握が容易になる。
は、蓄積された動画に対して、動画をカットに自動的に
切り分けることが的確にできることになる。これによ
り、動画を扱いやすい単位に分けることができ、動画の
編集、検索及び内容把握が容易になる。
【0007】また、第2隣接フレームまで含めて判定す
ることで、フィルムから変換したビデオ映像などに生じ
る周期的変動が、カット切目の誤検出にならないように
することが可能になる。
ることで、フィルムから変換したビデオ映像などに生じ
る周期的変動が、カット切目の誤検出にならないように
することが可能になる。
【0008】
【実施例】〔実施例1〕以下、本発明の実施例1を図1
乃至図5を用いて説明する。
乃至図5を用いて説明する。
【0009】図1は、本例を、すでに蓄積されている映
像に対して実施するハード構成の概略図で、図2は、図
1の画像処理装置の処理の流れを示した概念図である。
図3は、TV等現在流れている映像に対し実施するハー
ド構成の概略図で、図4は、変化画素面積の時間変化を
表すグラフ、図5は、図4を用いてカットの切目を判定
する手法を説明するグラフである。
像に対して実施するハード構成の概略図で、図2は、図
1の画像処理装置の処理の流れを示した概念図である。
図3は、TV等現在流れている映像に対し実施するハー
ド構成の概略図で、図4は、変化画素面積の時間変化を
表すグラフ、図5は、図4を用いてカットの切目を判定
する手法を説明するグラフである。
【0010】図1において、計算機1は、映像再生装置
2及び画像処理装置3に対してコントロール信号を与
え、再生及び処理の開始を指示する。映像再生装置2
は、再生を開始し、画像処理装置3に対して再生映像信
号11を与え、計算機1に対して、現在のフレーム番号
Nなどの映像再生装置2の状態の情報を与える。
2及び画像処理装置3に対してコントロール信号を与
え、再生及び処理の開始を指示する。映像再生装置2
は、再生を開始し、画像処理装置3に対して再生映像信
号11を与え、計算機1に対して、現在のフレーム番号
Nなどの映像再生装置2の状態の情報を与える。
【0011】画像処理装置3は、図2に示すように、再
生映像信号11の現在のフレームと蓄積要素21を経由
した信号24の1フレーム前のフレームとを入力とし
て、フレームの画素毎の物理量の差分を画素差分要素2
2で測定する。この物理量としては、本例では、輝度を
使用するが、これは、R,G,Bの各成分でも、色相、
色差などを使用しても良いものである。この画素差分要
素22では、各画素の輝度変化の差分量が、ある閾値以
上の輝度差となった画素を1とし、以下の画素を0とし
た信号25を閾値処理要素23に出力する。閾値処理要
素23では、値が1の画素数と総画素数との比率をと
り、これを変化画素面積Aとして、出力信号12を図1
の計算機1に出力する。計算機1は、フレーム番号と変
化画像面積の対応情報を第1の記憶装置4に書き込む。
この変化画素面積Aをフレーム番号順に並べたグラフを
図4に示す。
生映像信号11の現在のフレームと蓄積要素21を経由
した信号24の1フレーム前のフレームとを入力とし
て、フレームの画素毎の物理量の差分を画素差分要素2
2で測定する。この物理量としては、本例では、輝度を
使用するが、これは、R,G,Bの各成分でも、色相、
色差などを使用しても良いものである。この画素差分要
素22では、各画素の輝度変化の差分量が、ある閾値以
上の輝度差となった画素を1とし、以下の画素を0とし
た信号25を閾値処理要素23に出力する。閾値処理要
素23では、値が1の画素数と総画素数との比率をと
り、これを変化画素面積Aとして、出力信号12を図1
の計算機1に出力する。計算機1は、フレーム番号と変
化画像面積の対応情報を第1の記憶装置4に書き込む。
この変化画素面積Aをフレーム番号順に並べたグラフを
図4に示す。
【0012】次に、計算機1におけるカットの切目を判
断する手法を図5を使用して説明する。
断する手法を図5を使用して説明する。
【0013】変化画素面積Aとカットとの関係について
述べると、同一カット内では、画面の変化は少ない。即
ち、変化画素面積Aは小さい。カットの変わり目は、画
面の変化は多い。即ち、変化画素面積Aは大きくなる。
したがって、カットの切目となるフレームの変化画素面
積Aは大きく、その前後のフレームの変化画素面積Aは
小さい。具体的には、判定しようとするフレームの番号
の変化画素面積をA(N)とし、その前のフレームの変
化画素面積をA(N−1)、後のフレームの変化画素面
積をA(N+1)とし、判定閾値をBとした場合、A
(N)−A(N−1)〉Bで、A(N+1)−A(N)
〈−Bの条件に当てはまるか否かの判定を行う。
述べると、同一カット内では、画面の変化は少ない。即
ち、変化画素面積Aは小さい。カットの変わり目は、画
面の変化は多い。即ち、変化画素面積Aは大きくなる。
したがって、カットの切目となるフレームの変化画素面
積Aは大きく、その前後のフレームの変化画素面積Aは
小さい。具体的には、判定しようとするフレームの番号
の変化画素面積をA(N)とし、その前のフレームの変
化画素面積をA(N−1)、後のフレームの変化画素面
積をA(N+1)とし、判定閾値をBとした場合、A
(N)−A(N−1)〉Bで、A(N+1)−A(N)
〈−Bの条件に当てはまるか否かの判定を行う。
【0014】したがって、図5において、上記の判断を
各フレーム毎に行うと、フレーム番号4527のフレー
ムは、上記両条件を満たしていることとなり、当該フレ
ームをカットの切目と判定する。
各フレーム毎に行うと、フレーム番号4527のフレー
ムは、上記両条件を満たしていることとなり、当該フレ
ームをカットの切目と判定する。
【0015】以上のカット判定には、2つのパラメータ
が使用されている。1つは、画素の輝度変化の差分量
が、ある値以上の輝度差となったと判定する為の第1の
閾値Cであり、2つは、画素変化面積Aの変化の第2の
閾値Bである。
が使用されている。1つは、画素の輝度変化の差分量
が、ある値以上の輝度差となったと判定する為の第1の
閾値Cであり、2つは、画素変化面積Aの変化の第2の
閾値Bである。
【0016】この輝度差判定の第1の閾値Cは、低く設
定すると、検出感度は上がるが、ノイズや、カット切目
以外の画面内の動きの影響を受けやすく、誤検出が増加
する。本例では、第1の閾値Cを輝度の全変化量の1/
8としている。また、画素変化面積の変化の閾値Bは、
その増減で、誤検出を減らすか、取り漏らしを減らすか
の選択ができる。
定すると、検出感度は上がるが、ノイズや、カット切目
以外の画面内の動きの影響を受けやすく、誤検出が増加
する。本例では、第1の閾値Cを輝度の全変化量の1/
8としている。また、画素変化面積の変化の閾値Bは、
その増減で、誤検出を減らすか、取り漏らしを減らすか
の選択ができる。
【0017】次に、画素変化面積の変化の第2の閾値B
の選択の手法について、図6及び図7を用いて説明す
る。両図は、第2の閾値Bを変化させたときの検出され
たカット数61、71と、そのうちの誤検出数62、7
2と、検出に失敗した取り漏らしカット数63、73を
示したものである。図6は、誤検出62及び取り漏らし
63がいずれも0となる閾値領域がある場合で、このよ
うな場合は、そこでカット総数の増加が0になる。よっ
て、この領域に閾値を採用すれば、最も良い結果が得ら
れる。これに対し、図7に示すような、誤検出72及び
取り漏らし73がいずれも0となる閾値領域がない場合
がある。この場合は、第2の閾値Bを下げていって、誤
検出が急激に増加することにより、検出カット総数が急
増する領域の少し前が適当な値といえる。実際の未知の
動画に対してカット検出を行う場合は、誤検出及び取り
漏らしのいずれもが0となる領域の有無は分からないの
で、第2の閾値Bの最適値付近の領域で、かつカット総
数の急増が始まるより少し大きめの値で、カット増加率
が0に近い第2の閾値Bの値を採用すれば良い。この実
施例での最適値は、約15%であった。この値は、カッ
トがすでに分かっている映像を使って求めたが、この条
件を未知の映像に適用することもできる。
の選択の手法について、図6及び図7を用いて説明す
る。両図は、第2の閾値Bを変化させたときの検出され
たカット数61、71と、そのうちの誤検出数62、7
2と、検出に失敗した取り漏らしカット数63、73を
示したものである。図6は、誤検出62及び取り漏らし
63がいずれも0となる閾値領域がある場合で、このよ
うな場合は、そこでカット総数の増加が0になる。よっ
て、この領域に閾値を採用すれば、最も良い結果が得ら
れる。これに対し、図7に示すような、誤検出72及び
取り漏らし73がいずれも0となる閾値領域がない場合
がある。この場合は、第2の閾値Bを下げていって、誤
検出が急激に増加することにより、検出カット総数が急
増する領域の少し前が適当な値といえる。実際の未知の
動画に対してカット検出を行う場合は、誤検出及び取り
漏らしのいずれもが0となる領域の有無は分からないの
で、第2の閾値Bの最適値付近の領域で、かつカット総
数の急増が始まるより少し大きめの値で、カット増加率
が0に近い第2の閾値Bの値を採用すれば良い。この実
施例での最適値は、約15%であった。この値は、カッ
トがすでに分かっている映像を使って求めたが、この条
件を未知の映像に適用することもできる。
【0018】以上の判定作業を、図1の計算機1は、各
フレームにつき測定したい映像が終わるまで続ける。そ
して、カット候補の情報を、第2の記憶装置5に書き込
み、同時に表示装置6にその内容を表示する。
フレームにつき測定したい映像が終わるまで続ける。そ
して、カット候補の情報を、第2の記憶装置5に書き込
み、同時に表示装置6にその内容を表示する。
【0019】以上の説明は、図1のように映像再生装置
2を使用した例であるが、図3の、TVのように現在流
れている映像源8に対し、カットを検出する場合は、映
像再生装置2が映像記録装置9になり、映像再生信号1
1が、現在記録している信号32に変わる点が異なる。
2を使用した例であるが、図3の、TVのように現在流
れている映像源8に対し、カットを検出する場合は、映
像再生装置2が映像記録装置9になり、映像再生信号1
1が、現在記録している信号32に変わる点が異なる。
【0020】前記パラメータの選択の方法は、図1の蓄
積されている動画については、パラメータを変えながら
検出カット数を調べ、図6の検出カット総数の急増の手
前に現れる平坦部の1部を最適パラメータとすることが
できる。また、図3の、実時間で送られてくる動画を、
受信時に逐次カットに切り分けるには、このパラメータ
を最初に決めておくことになる。これは、受信中に検出
具合を見て、入力装置7により随時調節できることはい
うまでもない。このようにすれば、番組録画時に、カッ
ト情報を作成できる。
積されている動画については、パラメータを変えながら
検出カット数を調べ、図6の検出カット総数の急増の手
前に現れる平坦部の1部を最適パラメータとすることが
できる。また、図3の、実時間で送られてくる動画を、
受信時に逐次カットに切り分けるには、このパラメータ
を最初に決めておくことになる。これは、受信中に検出
具合を見て、入力装置7により随時調節できることはい
うまでもない。このようにすれば、番組録画時に、カッ
ト情報を作成できる。
【0021】また、以上の例は、フレーム番号Nと変化
画像面積Aとの対応表を記憶装置4に書き出している
が、書き出さずにそのままカット検出を行うことも当然
可能である。このような処理手順の変更は、装置の処理
能力に依存する。例えば、画像処理装置3が実時間で処
理できない場合は、計算機1は、映像再生装置2を駒送
り再生に指示し、画像処理装置3の処理が終わった段階
で、駒を進めることで処理が可能である。
画像面積Aとの対応表を記憶装置4に書き出している
が、書き出さずにそのままカット検出を行うことも当然
可能である。このような処理手順の変更は、装置の処理
能力に依存する。例えば、画像処理装置3が実時間で処
理できない場合は、計算機1は、映像再生装置2を駒送
り再生に指示し、画像処理装置3の処理が終わった段階
で、駒を進めることで処理が可能である。
【0022】更に、フレームとして、ビデオ動画の場合
は、奇フィールドあるいは偶フィールドを使用すること
も可能である。
は、奇フィールドあるいは偶フィールドを使用すること
も可能である。
【0023】〔実施例2〕次に、本発明の実施例2を、
図8及び図9を用いて説明をする。図8は、フィルムか
らビデオ映像への変換を説明する概念図で、図9は、フ
ィールド単位で見たフィルムからビデオ映像に変換した
動画の変化画素面積を表したグラフである。
図8及び図9を用いて説明をする。図8は、フィルムか
らビデオ映像への変換を説明する概念図で、図9は、フ
ィールド単位で見たフィルムからビデオ映像に変換した
動画の変化画素面積を表したグラフである。
【0024】映画のビデオソフトの様な、フィルムから
ビデオ映像に変換した動画では、オリジナルがビデオで
あるものには見られない変化画像面積の時間変動が加わ
っている。これは、秒速24駒のフィルムを、NTSC
の30駒に変換するために起こるものである。変換方法
は幾つかの種類があるが、同期をとって変換している場
合、図8に示すように、フィルムの4駒がNTSCの5
駒にフィールドに分解されて畳み込まれている。このた
め、周期的なフレーム間差分の変化はフレーム単位で見
ると安定しないが、フィールド単位で見ると簡単にな
り、4フレームおきに同じフレームが2回続く形にな
る。図9を見ると、変化画素面積Aが0%に近いフレー
ムが5フレームに1フレームの割合で発生しているのが
分かる。これは、図8の奇フィールドの第1フレームと
第2フレーム及び第6フレームと第7フレームのよう
に、5フレームに1フレームの割合で、同一画面が続く
からである。この変化画素面積Aが0%のフレームが、
同一カット内で、輝度変化面積の大きいフレームに近い
ところで発生すると、カット切目として誤検出しやすく
なる。
ビデオ映像に変換した動画では、オリジナルがビデオで
あるものには見られない変化画像面積の時間変動が加わ
っている。これは、秒速24駒のフィルムを、NTSC
の30駒に変換するために起こるものである。変換方法
は幾つかの種類があるが、同期をとって変換している場
合、図8に示すように、フィルムの4駒がNTSCの5
駒にフィールドに分解されて畳み込まれている。このた
め、周期的なフレーム間差分の変化はフレーム単位で見
ると安定しないが、フィールド単位で見ると簡単にな
り、4フレームおきに同じフレームが2回続く形にな
る。図9を見ると、変化画素面積Aが0%に近いフレー
ムが5フレームに1フレームの割合で発生しているのが
分かる。これは、図8の奇フィールドの第1フレームと
第2フレーム及び第6フレームと第7フレームのよう
に、5フレームに1フレームの割合で、同一画面が続く
からである。この変化画素面積Aが0%のフレームが、
同一カット内で、輝度変化面積の大きいフレームに近い
ところで発生すると、カット切目として誤検出しやすく
なる。
【0025】これを解決するため、本例では、まず、偶
数、奇数のいずれか片フィールドのみで変化画素面積を
測定し、第2隣接フレームを含めて連続5フレームを総
合して判定する。つまり、前記実施例1の判定の条件に
加えて、特定フレームの2つ前のフレームの変化画素面
積をA(N−2)とし、該特定フレームの2つ後のフレ
ームの変化画素面積をA(N+2)として、A(N)−
A(N−2)〉Bで、A(N+2)−A(N)〈−Bと
いう条件を付加して、両条件を満たすフレームをカット
の切目と判断し、動画のカットを判定する。この判定
は、実施例1の判定に加えて行うものであるから、ハー
ド構成その他は、実施例1のものと同一であり、説明を
省略する。
数、奇数のいずれか片フィールドのみで変化画素面積を
測定し、第2隣接フレームを含めて連続5フレームを総
合して判定する。つまり、前記実施例1の判定の条件に
加えて、特定フレームの2つ前のフレームの変化画素面
積をA(N−2)とし、該特定フレームの2つ後のフレ
ームの変化画素面積をA(N+2)として、A(N)−
A(N−2)〉Bで、A(N+2)−A(N)〈−Bと
いう条件を付加して、両条件を満たすフレームをカット
の切目と判断し、動画のカットを判定する。この判定
は、実施例1の判定に加えて行うものであるから、ハー
ド構成その他は、実施例1のものと同一であり、説明を
省略する。
【0026】また、フィルムの駒数、ビデオの駒数は、
この例に限らず種々存在するものであるが、変換の結
果、同じフレームが3回以上続く場合には、判定に使用
する隣接フレームを、第3フレーム以上も含めるという
ように、条件式を増やせば、対応できるものである。
この例に限らず種々存在するものであるが、変換の結
果、同じフレームが3回以上続く場合には、判定に使用
する隣接フレームを、第3フレーム以上も含めるという
ように、条件式を増やせば、対応できるものである。
【0027】これを条件式を用いて説明すると、特定の
フレームの変化画素面積をA(N)とし、該特定フレー
ムのnフレーム前(nは1以上の整数)のフレームの変
化画素面積をA(N−n)とし、該特定フレームのnフ
レーム後のフレームの変化画素面積をA(N+n)とし
て、A−A(N−n)>Bで、A(N+n)−A(N)
<−Bという条件をn=1から、順次必要な数値まで計
算を行い、全ての条件を満たすとき、当該フレームをカ
ットの切目と判断すれば良いものである。
フレームの変化画素面積をA(N)とし、該特定フレー
ムのnフレーム前(nは1以上の整数)のフレームの変
化画素面積をA(N−n)とし、該特定フレームのnフ
レーム後のフレームの変化画素面積をA(N+n)とし
て、A−A(N−n)>Bで、A(N+n)−A(N)
<−Bという条件をn=1から、順次必要な数値まで計
算を行い、全ての条件を満たすとき、当該フレームをカ
ットの切目と判断すれば良いものである。
【0028】なお、n=1の場合とは、変換の結果、同
じフレームが続くことがない場合で、実施例1と同一の
結果と成る。
じフレームが続くことがない場合で、実施例1と同一の
結果と成る。
【0029】以上、本発明を、前記実施例に基づき具体
的に説明したが、本発明は、前記実施例に限定されるも
のではなく、その要旨を逸脱しない範囲において種々変
更可能であることは勿論である。
的に説明したが、本発明は、前記実施例に限定されるも
のではなく、その要旨を逸脱しない範囲において種々変
更可能であることは勿論である。
【0030】例えば、ビデオ動画のカットだけではな
く、フィルムの動画におけるカットの自動判定にも適用
できるものである。
く、フィルムの動画におけるカットの自動判定にも適用
できるものである。
【0031】
【発明の効果】本発明によれば、実時間で入力された動
画または、蓄積された動画に対して、動画を自動的にか
つ高い精度でカットに切り分けることができる。これに
より、動画を扱い易い単位に分けることができ、編集、
検索及び内容把握が容易になる。またフィルムからビデ
オ映像に変換した映像に特有な、周期的なフレーム間の
差分情報変化の発生に影響されずに、カットを検出する
ことができる。
画または、蓄積された動画に対して、動画を自動的にか
つ高い精度でカットに切り分けることができる。これに
より、動画を扱い易い単位に分けることができ、編集、
検索及び内容把握が容易になる。またフィルムからビデ
オ映像に変換した映像に特有な、周期的なフレーム間の
差分情報変化の発生に影響されずに、カットを検出する
ことができる。
【図1】 本発明を実施する第1のハード構成図。
【図2】 図1における画像処理装置の処理の流れを説
明する概念図。
明する概念図。
【図3】 本発明を実施する第2のハード構成図。
【図4】 実施例1における、変化画素面積の時間変化
を示す図。
を示す図。
【図5】 図4の変化画素面積を使った判定方法の説明
図。
図。
【図6】 カット検出が100%可能な場合の閾値を求
める図。
める図。
【図7】 カット検出が100%出来ない場合の閾値を
求める図。
求める図。
【図8】 実施例2における、フィルムからビデオ映像
への変換を説明する概念図。
への変換を説明する概念図。
【図9】 フィールド単位で見たフィルムからビデオ映
像に変換した動画の変化画素面積を表した図。
像に変換した動画の変化画素面積を表した図。
1…計算機、2…映像再生装置、3…画像処理装置、4
…第1の記憶装置、5…第2の記憶装置、6…表示装
置、7…入力装置、8…映像源、9…映像記録装置。
…第1の記憶装置、5…第2の記憶装置、6…表示装
置、7…入力装置、8…映像源、9…映像記録装置。
Claims (3)
- 【請求項1】 動画の特定のフレームと、該特定フレー
ムの前のフレームとの間で、各画素の物理量が第1の閾
値を超えた値で変化するか否かを判定し、その閾値を超
えた画素数がフレームを構成する総画素数に占める割合
を当該特定フレームの変化画素面積A(N)とし、該特
定フレームの前のフレームの変化画素面積をA(N−
1)とし、該特定フレームの後のフレームの変化画素面
積をA(N+1)とするとき、これら各変化画素面積と
第2の閾値Bとの関係が、 A(N)−A(N−1)〉Bで、A(N+1)−A
(N)〈−B の条件を満たすときに、当該特定フレームをカットの切
目と判断し、動画のカットを判定することを特徴とした
動画のカット自動分割方法。 - 【請求項2】 ある駒数の動画から異なる駒数に変換し
て得た動画のカットを自動的に分割する際、得た動画の
特定のフレームと、該特定フレームの前のフレームとの
間で、各画素の物理量が第1の閾値を超えた値で変化す
るか否かを判定し、その閾値を超えた画素数がフレーム
を構成する総画素数に占める割合を当該特定フレームの
変化画素面積A(N)とし、該特定フレームのnフレー
ム前(nは1以上の整数)のフレームの変化画素面積を
A(N−n)とし、該特定フレームのnフレーム後のフ
レームの変化画素面積をA(N+n)とするとき、これ
ら各変化画素面積と第2の閾値Bとの関係が、 A(N)−A(N−n)〉Bで、A(N+n)−A
(N)〈−B という条件をn=1から、順次必要な数値まで計算を行
い、全ての条件を満たすとき、当該フレームをカットの
切目と判断することを特徴とした動画のカット自動分割
方法。 - 【請求項3】 フレームとして、奇数フィールドまたは
偶数フィールドを使用したことを特徴とした請求項1又
は請求項2に記載の動画のカット自動分割方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP19299791A JP3067043B2 (ja) | 1991-08-01 | 1991-08-01 | 動画のカット自動分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP19299791A JP3067043B2 (ja) | 1991-08-01 | 1991-08-01 | 動画のカット自動分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0537853A true JPH0537853A (ja) | 1993-02-12 |
JP3067043B2 JP3067043B2 (ja) | 2000-07-17 |
Family
ID=16300502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP19299791A Expired - Fee Related JP3067043B2 (ja) | 1991-08-01 | 1991-08-01 | 動画のカット自動分割方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3067043B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09107517A (ja) * | 1995-10-11 | 1997-04-22 | Hitachi Ltd | 動画像の変化点検出制御方法とそれに基づく再生停止制御方法およびそれらを用いた動画像の編集システム |
US5732146A (en) * | 1994-04-18 | 1998-03-24 | Matsushita Electric Industrial Co., Ltd. | Scene change detecting method for video and movie |
US5911008A (en) * | 1996-04-30 | 1999-06-08 | Nippon Telegraph And Telephone Corporation | Scheme for detecting shot boundaries in compressed video data using inter-frame/inter-field prediction coding and intra-frame/intra-field coding |
JP2001155169A (ja) * | 1999-11-24 | 2001-06-08 | Nec Corp | ビデオ画像の分割、分類、および要約のための方法およびシステム |
WO2006129442A1 (ja) * | 2005-05-30 | 2006-12-07 | Olympus Corporation | 画像処理装置及び対象領域追跡プログラム |
-
1991
- 1991-08-01 JP JP19299791A patent/JP3067043B2/ja not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5732146A (en) * | 1994-04-18 | 1998-03-24 | Matsushita Electric Industrial Co., Ltd. | Scene change detecting method for video and movie |
JPH09107517A (ja) * | 1995-10-11 | 1997-04-22 | Hitachi Ltd | 動画像の変化点検出制御方法とそれに基づく再生停止制御方法およびそれらを用いた動画像の編集システム |
US5911008A (en) * | 1996-04-30 | 1999-06-08 | Nippon Telegraph And Telephone Corporation | Scheme for detecting shot boundaries in compressed video data using inter-frame/inter-field prediction coding and intra-frame/intra-field coding |
JP2001155169A (ja) * | 1999-11-24 | 2001-06-08 | Nec Corp | ビデオ画像の分割、分類、および要約のための方法およびシステム |
WO2006129442A1 (ja) * | 2005-05-30 | 2006-12-07 | Olympus Corporation | 画像処理装置及び対象領域追跡プログラム |
JP2006331347A (ja) * | 2005-05-30 | 2006-12-07 | Olympus Corp | 画像処理装置及び対象領域追跡プログラム |
JP4515332B2 (ja) * | 2005-05-30 | 2010-07-28 | オリンパス株式会社 | 画像処理装置及び対象領域追跡プログラム |
US8019143B2 (en) | 2005-05-30 | 2011-09-13 | Olympus Corporation | Image processing apparatus and computer program product |
Also Published As
Publication number | Publication date |
---|---|
JP3067043B2 (ja) | 2000-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6256419B1 (en) | Method and apparatus for detecting a point of change in a moving image | |
US7912303B2 (en) | Apparatus and method for generating thumbnail images | |
US5493345A (en) | Method for detecting a scene change and image editing apparatus | |
KR100464075B1 (ko) | 비디오 하이라이트 자동 생성 방법 및 장치 | |
US5801765A (en) | Scene-change detection method that distinguishes between gradual and sudden scene changes | |
US7502513B2 (en) | Commercial detector with a start of active video detector | |
US7450752B2 (en) | System and method for automatic detection of the end of a video stream | |
JP2007110193A (ja) | 画像処理装置 | |
US20090297115A1 (en) | Identification of blank segments in a set of visual recording data | |
JPH06149902A (ja) | 動画像記録媒体、動画像記録装置、及び動画像再生装置 | |
JP3240871B2 (ja) | 映像要約方法 | |
JPH0738842A (ja) | 動画編集装置 | |
JPH0537853A (ja) | 動画のカツト自動分割方法 | |
JP2007149095A (ja) | 動画像の変化点検出方法及び装置 | |
US8150167B2 (en) | Method of image analysis of an image in a sequence of images to determine a cross-fade measure | |
JP2003069946A (ja) | 映像解析装置,映像解析方法,映像解析プログラムおよびそのプログラム記録媒体 | |
JPH07236153A (ja) | 動画像のカット点検出およびカット画面グループ検出装置 | |
US8594454B2 (en) | Image production device, reproduction device, reproduction system, image production method, and reproduction method | |
JP2001119661A (ja) | 動画編集システムおよび記録媒体 | |
JP3624677B2 (ja) | 動画像の特殊効果検出装置及びプログラムを記録した記録媒体 | |
JPH07111630A (ja) | 動画像編集装置及びカット統合方法 | |
JP3941808B2 (ja) | 動画像の変化点検出方法及び装置 | |
KR20080044616A (ko) | 디지털 비디오 레코더에서의 기록 제어방법 | |
KR101362594B1 (ko) | 참고 특징 점을 이용한 피사체 영상 검색방법 | |
JPH0993526A (ja) | 映像編集装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |