JPH05236458A - 動画像処理装置 - Google Patents

動画像処理装置

Info

Publication number
JPH05236458A
JPH05236458A JP4033386A JP3338692A JPH05236458A JP H05236458 A JPH05236458 A JP H05236458A JP 4033386 A JP4033386 A JP 4033386A JP 3338692 A JP3338692 A JP 3338692A JP H05236458 A JPH05236458 A JP H05236458A
Authority
JP
Japan
Prior art keywords
frame
difference
unit
storage part
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP4033386A
Other languages
English (en)
Inventor
Masabumi Tamura
正文 田村
Atsushi Fuji
敦史 冨士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP4033386A priority Critical patent/JPH05236458A/ja
Publication of JPH05236458A publication Critical patent/JPH05236458A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】動画像の解析と画像圧縮の作業に要する時間及
びハードウェア等のコストを大幅に削減させるだけでな
く、動から静、静から動へと変化する動きのシーンの変
化点に適確に対応して検出し、誤検出を減少させる。 【構成】動画像データを直交変換により空間情報圧縮す
る直交変換部12と、この直交変換部12で得られる変換結
果の一部を圧縮された画像の特徴量として記憶する第1
の記憶部17aと、この第1の記憶部17aに記憶される画
像特徴量の隣接するフレーム間の差分を演算する演算部
18と、この演算部18で得られる差分データを記憶する第
2の記憶部17bと、この第2の記憶部17bに記憶される
当該フレームとその前に位置する一定数幅のフレーム分
及び当該フレームとその後に位置する一定数幅のフレー
ム分の2種類の差分データによりシーン変化点を検出す
る検出部19とを備える。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、時間的に連続するフレ
ームの動画像データ中のシーン変化点を検出する動画像
処理装置に関する。
【0002】
【従来の技術】近年、コンピュータを用いた動画像の蓄
積、表示技術の発達と情報のマルチメディア化とに伴な
い、動画像が頻繁に活用されるようになっている。
【0003】そのような動画像の内容把握や編集を行な
う必要から生じるインデックス化等の画像解析方法は、
現在の時点では早送り再生、頭出し機能、インデックス
付けなど、そのほとんどが手動により行なわれている。
また、画像解析をハードウェア化により行なう方法がい
くつか提案されているが、これらはいずれも専用の回路
を構築して行なうものであり、全体の回路規模が大きな
ものとなってしまう。
【0004】
【発明が解決しようとする課題】動画像は膨大な情報量
を必要とするため、コンピュータ上で十分に動画像を扱
うためには、今後、画像圧縮等の蓄積技術が必要不可欠
なものとなる。また、動画像編集等の作業には、短時間
のうちに内容を把握し、膨大な動画像データの中から所
望の部分を取り出すといった画像解析の作業が必要とな
る。
【0005】しかして、画像の圧縮と画像解析とを個別
に実行する場合、個別に専用のハードウェアが必要とな
り、回路規模が大きくなってコストがかかるという問題
があった。
【0006】本発明は上記のような実情に鑑みてなされ
たもので、その目的とするところは、画像の圧縮と画像
解析とに要する回路の少なくとも一部を兼用して回路規
模を抑え、コストを低減させることが可能な動画像処理
装置を提供することにある。
【0007】
【課題を解決するための手段及び作用】すなわち本発明
は、動画像データを直交変換により空間情報圧縮する直
交変換部と、この直交変換部で得られる変換結果の一部
を圧縮された画像の特徴量として記憶する第1の記憶部
と、この第1の記憶部に記憶される画像特徴量の隣接す
るフレーム間の差分を演算する演算部と、この演算部で
得られる差分データを記憶する第2の記憶部と、この第
2の記憶部に記憶される当該フレームとその前に位置す
る一定数幅のフレーム分及び当該フレームとその後に位
置する一定数幅のフレーム分の2種類の差分データによ
りシーン変化点を検出する検出部とを備えるようにした
もので、画像圧縮の仮定で得られる情報の一部を利用し
て画像解析としてのシーン変化点の検出及びインデック
ス情報の作成を行なうことができるため、上記作業に要
する時間及びハードウェア等のコストを大幅に削減させ
ることができるだけでなく、動きの激しいシーンから動
きの少ないシーンへの変化や、動きの少ないシーンから
動きの激しいシーンへの変化に適確に対応して検出を行
なうと共に、特に動きの激しいシーンで発生しやすいシ
ーン変化点の誤検出を減少させることができる。
【0008】
【実施例】以下図面を参照して本発明の一実施例を説明
する。
【0009】図1はその回路構成を示すもので、データ
入力部11よりRGBあるいはYUIの形で入力される動
画像データが離散コサイン変換部(以下「DCT部」と
略称する)12に送られる。このDCT部12は、入力され
た同画像データをその周波数成分に応じて直交変換する
離散コサイン変換により空間情報圧縮し、変換したデー
タを量子化部13及びDC成分演算部16に出力する。
【0010】量子化部13は、DCT部12で得られた変換
データを規定のビット数により量子化して符号化部14へ
出力する。符号化部14は、量子化部13で量子化された変
換データを可変長符号化してそのデータ量をさらに圧縮
した後に圧縮結果出力部15へ出力する。圧縮結果出力部
15は、符号化部14からの符号化された変換データを最終
的な圧縮結果として外部の例えば記録媒体に出力する。
【0011】一方、上記DC成分演算部16は、DCT部
12から得られるブロック毎の直流(DC)成分値による
1フレーム分の平均値を演算することで1フレームの平
均輝度を算出し、記憶部17とフレーム間差分部18とに出
力する。
【0012】記憶部17は、演算結果格納部17a、差分結
果格納部17b及び検出結果格納部17cの3つの領域を備
え、DC成分演算部16からの演算結果は演算結果格納部
17aに格納される。
【0013】フレーム間差分部18は、DC成分演算部16
からの演算結果と演算結果格納部17aに格納される1
フレーム前の演算結果との差分を算出し、その差分結果
を記憶部17の差分結果格納部17bへ送出して格納さ
せ、差分結果格納部17bに格納された差分結果は検出部
19に読出される。
【0014】検出部19は、差分結果格納部17bに格納さ
れた差分結果に対して統計的な手法を採ることでシーン
変化点を検出し、検出結果としてフレーム番号と変化回
数とを記憶部17の検出結果格納部17cに格納させる。
【0015】しかして、この検出結果格納部17cに格納
されたシーン変化点のフレーム番号と変化回数とを検出
結果出力部20が読出し、画像解析の結果として例えばマ
ルチ表示により出力する。上記のような構成の実施例の
動作について以下に説明する。
【0016】データ入力部11により入力される時間的に
連続した画像データは、DCT部12においてその1フレ
ーム分毎に離散コサイン変換を施す。この離散コサイン
変換は、空間情報圧縮のために用いられるもので、画像
データを周波数領域で直交変換することで空間的に相関
を除去し、一部の係数にエネルギーを集中させることで
情報量を大幅に削減可能とするものである。具体的に
は、対象となる画像データ1フレーム分をN画素×N画
素の複数のブロックに分割し、各ブロック毎に下記
(1)式に基づいた2次元離散コサイン変換を行なう。
すなわち、
【0017】
【数1】
【0018】となるもので、変換係数F(u,v)にお
いて、F(0,0)はそのブロックの平均輝度値に相当
する直流(DC)成分係数に、その他が交流(AC)成
分係数に対応するものとなる。
【0019】このようにして大幅に情報量を削減した変
換データを、量子化部13で所定ビット数に量子化し、符
号化部14で過偏重符号化した後に圧縮結果出力部15によ
り図示しない外部に出力するものである。これらDCT
部12から量子化部13、符号化部14を介しての画像データ
の圧縮に関する技術はすでに周知のものであるので、こ
れ以上の詳細な説明は省略する。
【0020】一方、DCT部12で得た変換データの内、
上述した如くそのブロックの平均輝度値に相当するDC
成分係数をDC成分演算部16が入力し、該当フレームの
すべてのブロックのDC成分係数を一括加算した後に該
ブロック数で除算してそのフレーム全体での平均輝度値
を算出する。算出された平均輝度値はそのままフレーム
間差分部18に送出されると共に、一時的に記憶部17の演
算結果格納部17aに格納される。
【0021】フレーム間差分部18は、DC成分演算部16
から送られてくる平均輝度値と演算結果格納部17aから
読出す1フレーム分前の平均輝度値との差分を演算す
る。このフレーム間差分は、一般にシーン変化点で突出
した値を示すものであり、算出したフレーム間差分がフ
レーム番号毎に差分結果格納部17bに格納される。
【0022】差分結果格納部17bにおいては、当該フレ
ームとその前後各30フレームの計61フレーム分のフ
レーム間差分を常時更新しながら格納するもので、差分
結果格納部17bに格納されている差分結果は検出部19に
読出され、ここで統計的な手法によりシーン変化点の検
出が行なわれる。具体的には検出部19が、差分結果の平
均値と分散値とを算出し、下記(2)式、すなわち、 [しきい値]=[平均値]+[分散値]×[ブロック画
素定数N] …(2) によりしきい値を計算して、差分結果に対してしきい値
処理を行なう。
【0023】この場合に検出部19は、図2に示すよう
に当該フレームとその前30フレームの計31フレーム
から算出される第1のしきい値と、当該フレームとその
後30フレームの計31フレームから算出される第2の
しきい値とを別々に設定し、それぞれしきい値に図3に
示すような経過時間の要因に応じた結果としての定数N
を上記(2)式中に代入して重み付けを施した後にしき
い値処理を行なう。
【0024】上記図3に示した定数Nの重み付けは、短
い時間の間に連続してシーンの変化が起こることは少な
いという知識に基づいて適応的に変化するような特性と
して検出部19に設定される。検出部19が上記第1のしき
い値及び第2のしきい値の少なくともいずれか一方を越
える差分結果があった場合には、そのフレームを図2中
にCで示すようにシーン変化点として検出処理する。検
出部19で得られた処理結果は、インデックス情報として
シーン番号とフレーム番号、シーンの長さ(時間)等か
らなり、これらが検出結果格納部17cに格納される。
【0025】このようにしきい値処理を行なってシーン
変化点を検出することで、一般にシーン毎に動きの激し
いシーン、動きの少ないシーンなど様々なシーンが時系
列的に連続している一般の動画像に対し、動きの激しい
シーンから動きの少ないシーンへの変化、動きの少ない
シーンから動きの激しいシーンへの変化などシーンの変
化点を適確に検出することができ、また、動きの激しい
シーンでの誤検出を減少させることができる。
【0026】検出結果出力部20では、使用者のリクエス
トに応じて検出結果格納部17cよりインデックス情報を
呼び出し、シーン変化点の映像とその他の情報を例えば
マルチ表示により出力する。
【0027】なお、上記実施例にあっては動画像データ
を離散コサイン変換し、そのDC成分によりシーン変化
点を求めるようにしたが、離散コサイン変換に限らず他
の直交変換方法でもよく、また、離散コサイン変換のA
C成分を利用することも可能である。さらにはフレーム
全体の平均輝度値を求めるのではなく、分割したフレー
ムの特定部分の平均輝度値を求めることで同様の結果を
得ることができる。
【0028】また、しきい値の決定に利用するために差
分結果格納部17bに格納するフレーム数は動画像の内容
に応じて可変することも可能であり、さらには、上述し
た如く短い時間の間に連続してシーンの変化が起こるこ
とは少ないという知識を用いて、上記(2)式中の定数
Nを上記図3に示した特性以外の特性により適応的に変
化させることも可能である。その他、本発明はその要旨
を逸脱しない範囲で種々変形して実施することができ
る。
【0029】
【発明の効果】以上詳記した如く本発明によれば、動画
像データを直交変換により空間情報圧縮する直交変換部
と、この直交変換部で得られる変換結果の一部を圧縮さ
れた画像の特徴量として記憶する第1の記憶部と、この
第1の記憶部に記憶される画像特徴量の隣接するフレー
ム間の差分を演算する演算部と、この演算部で得られる
差分データを記憶する第2の記憶部と、この第2の記憶
部に記憶される当該フレームとその前に位置する一定数
幅のフレーム分及び当該フレームとその後に位置する一
定数幅のフレーム分の2種類の差分データによりシーン
変化点を検出する検出部とを備えるようにしたので、画
像圧縮の仮定で得られる情報の一部を利用して画像解析
としてのシーン変化点の検出及びインデックス情報の作
成を行なうことができるため、上記作業に要する時間及
びハードウェア等のコストを大幅に削減させることがで
きるだけでなく、動きの激しいシーンから動きの少ない
シーンへの変化や、動きの少ないシーンから動きの激し
いシーンへの変化に適確に対応して検出を行なうと共
に、特に動きの激しいシーンで発生しやすいシーン変化
点の誤検出を減少させることが可能な動画像処理装置を
提供することができる。
【図面の簡単な説明】
【図1】本発明の一実施例に係る回路構成を示すブロッ
ク図。
【図2】図1の検出部によるしきい値の算出方法を例示
する図。
【図3】図2で得たしきい値に対する重み付け定数Nの
算出方法を示す示す図。
【符号の説明】
11…データ入力部、12…離散コサイン変換(DCT)
部、13…量子化部、14…符号化部、14…符号化部、16…
DC成分演算部、17…記憶部、17a…演算結果格納部、
17b…差分結果格納部、17c…検出結果格納部、18…フ
レーム間差分部、19…検出部、20…検出結果出力部。

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 時間的に連続するフレームの動画像デー
    タ中のシーン変化点を検出する動画像処理装置におい
    て、 上記動画像データを順次直交変換により空間情報圧縮す
    る直交変換手段と、 この直交変換手段で得られる変換結果の一部を圧縮され
    た画像の特徴量として記憶する第1の記憶手段と、 この第1の記憶手段に記憶される画像特徴量の隣接する
    フレーム間の差分を演算する演算手段と、 この演算手段で得られる差分データを記憶する第2の記
    憶手段と、 この第2の記憶手段に記憶される当該フレームとその前
    に位置する一定数幅のフレーム分及び当該フレームとそ
    の後に位置する一定数幅のフレーム分の2種類の差分デ
    ータによりシーン変化点を検出する検出手段とを具備す
    ることを特徴とした動画像処理装置。
JP4033386A 1992-02-20 1992-02-20 動画像処理装置 Pending JPH05236458A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP4033386A JPH05236458A (ja) 1992-02-20 1992-02-20 動画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4033386A JPH05236458A (ja) 1992-02-20 1992-02-20 動画像処理装置

Publications (1)

Publication Number Publication Date
JPH05236458A true JPH05236458A (ja) 1993-09-10

Family

ID=12385158

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4033386A Pending JPH05236458A (ja) 1992-02-20 1992-02-20 動画像処理装置

Country Status (1)

Country Link
JP (1) JPH05236458A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0833503A2 (en) * 1996-09-27 1998-04-01 Nextlevel Systems, Inc. Scene change detector for digital video
JP2003519946A (ja) * 1999-12-30 2003-06-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 速い動きのシーンを検出する方法及び装置
KR20040006065A (ko) * 2002-07-09 2004-01-24 삼성전자주식회사 장면전환검출장치 및 그 방법
WO2006071835A1 (en) * 2004-12-23 2006-07-06 Intel Corporation Method and algorithm for detection of scene cuts or similar images in video images
EP2070466A4 (en) * 2006-10-02 2018-01-24 Olympus Corporation Image processing device, image processing method and image processing program

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0833503A2 (en) * 1996-09-27 1998-04-01 Nextlevel Systems, Inc. Scene change detector for digital video
KR19980025070A (ko) * 1996-09-27 1998-07-06 에드워드 디. 브린 디지털 비디오에 대한 장면변화 검출기
EP0833503A3 (en) * 1996-09-27 1999-07-14 General Instrument Corporation Scene change detector for digital video
JP2003519946A (ja) * 1999-12-30 2003-06-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 速い動きのシーンを検出する方法及び装置
JP4667697B2 (ja) * 1999-12-30 2011-04-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 速い動きのシーンを検出する方法及び装置
KR20040006065A (ko) * 2002-07-09 2004-01-24 삼성전자주식회사 장면전환검출장치 및 그 방법
WO2006071835A1 (en) * 2004-12-23 2006-07-06 Intel Corporation Method and algorithm for detection of scene cuts or similar images in video images
US7382417B2 (en) 2004-12-23 2008-06-03 Intel Corporation Method and algorithm for detection of scene cuts or similar images in video images
EP2070466A4 (en) * 2006-10-02 2018-01-24 Olympus Corporation Image processing device, image processing method and image processing program

Similar Documents

Publication Publication Date Title
JP3244629B2 (ja) シーン変化点検出方法
JP2518503B2 (ja) 画面切り替え検出方法
JP3571974B2 (ja) ディジタル画像表示のビデオデータを圧縮した形で処理してシーン変化を検出する方法
KR100865248B1 (ko) 비디오 신호에서의 자막 검출
US20080192822A1 (en) Complexity-based adaptive preprocessing for multiple-pass video compression
US20040170326A1 (en) Image-processing method and image processor
JPH1075457A (ja) 動画像内の移動物体検出装置
US7352877B2 (en) Digital-watermark-embedding and picture compression unit
US6928186B2 (en) Semantic downscaling and cropping (SEDOC) of digital images
JP2002058031A (ja) 画像符号化方法及び装置、並びに、画像復号化方法及び装置
WO1999039508A2 (en) System for extracting coding parameters from video data
US20050002569A1 (en) Method and apparatus for processing images
US20110129012A1 (en) Video Data Compression
JPH05236458A (ja) 動画像処理装置
KR100963701B1 (ko) 영상 식별 장치
CN113810654A (zh) 图像视频的上传方法、装置、存储介质以及电子设备
Fernando et al. Fade-in and fade-out detection in video sequences using histograms
JPWO2010084738A1 (ja) 照合加重情報抽出装置
JPH05236449A (ja) 動画像処理装置
JP2000194727A (ja) 動画像検索装置、動画像検索方法、及び動画像検索プログラムを記録した記録媒体
JPH07236153A (ja) 動画像のカット点検出およびカット画面グループ検出装置
KR20060132977A (ko) 비디오 프로세싱 방법 및 대응하는 인코딩 디바이스
JP2002281508A (ja) スキップ領域検出型動画像符号化装置および記録媒体
JPH1023421A (ja) 動画像処理方法
JP2002218475A (ja) ビデオ画像モーション評価の計算減量方法およびその装置

Legal Events

Date Code Title Description
EXPY Cancellation because of completion of term