JP3093499B2 - シーンチェンジ検出装置 - Google Patents

シーンチェンジ検出装置

Info

Publication number
JP3093499B2
JP3093499B2 JP35161592A JP35161592A JP3093499B2 JP 3093499 B2 JP3093499 B2 JP 3093499B2 JP 35161592 A JP35161592 A JP 35161592A JP 35161592 A JP35161592 A JP 35161592A JP 3093499 B2 JP3093499 B2 JP 3093499B2
Authority
JP
Japan
Prior art keywords
frame
encoding
unit
scene change
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP35161592A
Other languages
English (en)
Other versions
JPH0622304A (ja
Inventor
宏之 熊沢
稔 尾崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP35161592A priority Critical patent/JP3093499B2/ja
Publication of JPH0622304A publication Critical patent/JPH0622304A/ja
Priority to US08/787,449 priority patent/US5815217A/en
Application granted granted Critical
Publication of JP3093499B2 publication Critical patent/JP3093499B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】この発明は、複数のシーンから構
成される動画像より、シーンの変化するフレームを自動
検出するシーンチェンジ検出装置に関するものである。
【０００２】
【従来の技術】図２４は従来のシーンチェンジ検出装置
が適用される、予測符号化方式による動画像の符号化装
置および復号化装置の一例を示すブロック図である。図
において、１は直前の１フレーム分の画像データが格納
されているフレームメモリであり、２は入力される画像
信号とこのフレームメモリ１に格納されていた画像デー
タとの差分を算出する減算器である。３は減算器２の出
力を離散コサイン変換（以下、ＤＣＴという）するＤＣ
Ｔ部、４はこのＤＣＴ部３で変換された信号を量子化す
る量子化部であり、５はこの量子化部４で量子化された
信号を符号化して通信路に送出するエントロピー符号化
部である。
【０００３】６は前記量子化部４で量子化された信号
に、前記ＤＣＴ部３とは逆の逆離散コサイン変換（以
下、逆ＤＣＴという）を施す逆ＤＣＴ部であり、７は前
記フレームメモリ１に格納されていた前フレームの画像
データにこの逆ＤＣＴ部６で逆ＤＣＴされた信号を加算
して、再度フレームメモリ１に格納する加算器である。
動画像の符号化装置はこれら各部によって形成されてい
る。
【０００４】８は前記符号化装置より通信路に送出され
た符号化データを復号するエントロピー復号化部であ
り、９はこのエントロピー復号化部８にて復号された信
号に対して逆ＤＣＴの処理を施す逆ＤＣＴ部である。１
０は直前の１フレーム分の画像データが格納されている
フレームメモリであり、１１は逆ＤＣＴ部９で逆ＤＣＴ
処理された画像信号とこのフレームメモリ１０に格納さ
れていた画像データとを加算して画像信号を再生する加
算器である。動画像の復号化装置はこれら各部によって
形成されている。
【０００５】次に動作について説明する。動画像の符号
化装置に入力された画像信号は減算器２において、フレ
ームメモリ１に蓄えられていた直前のフレームの画像デ
ータと同一位置の画素ごとに差分が計算される。この減
算器２による減算結果はＤＣＴ部３に送られ、適当な大
きさの２次元ブロック（通常は８×８画素程度のブロッ
ク）に分割された上で、各ブロックごとにＤＣＴの処理
が施される。ＤＣＴ部３の演算結果は量子化部４に送ら
れて有限個の代表値で近似されて量子化され、この量子
化部４より出力される前記代表値は、エントロピー符号
化部５と逆ＤＣＴ部６に送られ、各々の処理が加えられ
る。
【０００６】まず、エントロピー符号化部５では、量子
化部４より受けた代表値に、その生起頻度に応じた可変
長符号を割り当てて符号化し（一般に、生起頻度の高い
量子化出力ほど短い符号が割り当てられる）、符号化デ
ータを通信路に送出する。ここで、通信路とは仮想的な
ものであり、実際の通信路であったり、或いは、記憶媒
体であったりする。このことは、以下の説明においても
同様である。
【０００７】一方、逆ＤＣＴ部６では、量子化部４の出
力に対してＤＣＴ部３における操作とは逆の逆ＤＣＴが
施され、その結果が加算器７に送られる。加算器７では
この逆ＤＣＴ部６の出力とフレームメモリ１に蓄えられ
た前フレームの画像データを同一位置にある画素ごとに
加算し、加算結果をフレームメモリ１に再格納する。１
フレーム分の処理が終了すると、フレームメモリ１には
現フレームの画像データが再構成され、次のフレームの
予測処理時に直前のフレームの画像データとして利用さ
れる。
【０００８】一方、動画像の復号化装置では、通信路よ
り受け取った符号化データが、エントロピー符号化とい
う手法によって、データの出現確率に応じた可変長符号
に符号化されているものであるため（一般に、生起確率
の高いデータほど短い符号が割り当てられる）、まずエ
ントロピー復号化部８においてその復号を行う。この復
号結果はＤＣＴ処理により周波数領域に変換されたもの
であり、従って、逆ＤＣＴ部９に送って時間領域のデー
タに変換する。逆ＤＣＴ部９の出力は加算器１１におい
てフレームメモリ１０に蓄えられている直前フレームの
画像データと同一位置の画素ごとに加算される。この加
算結果は現フレームの画像信号として出力され、また、
フレームメモリ１０に記憶されて次フレームの復号に利
用される。
【０００９】なお、この場合、量子化部４の出力は代表
値に割り当てられた固定長の番号ではなく、便宜上、代
表値そのものであると仮定しているが、この仮定は特に
一般性を損なうものではない。また、以下においても、
量子化部４の出力は代表値そのものであるとして説明を
行う。
【００１０】ここで、マルチメディア処理技術の進歩に
より、動画像を計算機で自由に扱えることがマルチメデ
ィアの必須条件になりつつある。動画像は１秒当り数十
フレームの静止画像の連続として捉えることができる
が、さらに、大局的に眺めると、複数の連続するフレー
ムから構成されるシーンの連続と考えることもできる。
そして、計算機という情報処理装置で動画像を扱うこと
を考えると、前者のフレームの連続として捉えるより、
ある意味的にまとまりのあるシーンの連続として捉える
方が都合が良い。
【００１１】例えば、動画像の編集を行うことを考えて
みた場合、動画像の編集は、撮影された動画像を映像素
材として用い、これを適宜つなぎ合わせたりカットした
りすることにより、全体として編集者の意図する映像に
組み上げる作業である。この編集作業では、意味的にま
とまりのあるシーンが編集の基本単位になる場合が多
い。計算機を用いてこの動画像の編集を行う場合、従来
は熟練者がシーンの変化を識別すると共に、この識別結
果に基づいて編集作業を行うことが多かった。そして、
ここでは、計算機は単なるマンマシンインタフェースの
道具として編集環境を提供するだけであった。
【００１２】しかしながら、今後マルチメディア技術が
広く社会に広がり、家庭にまで浸透することが予想され
る状況において、熟練者のみならず、素人が計算機を用
いて動画像の編集を行うことを考慮しておく必要があ
る。このとき、計算機が動画像をシーンの集まりとして
管理していることが望ましく、さらに、自動的に動画像
のシーンの変化点を認識し、その結果を計算機が利用で
きることが望ましいことは言うまでもない。そして、そ
のための要素技術の研究が各所で進められている。
【００１３】図２５は、例えば情報処理学会第４０回
（平成２年前期）全国大会の発表論文１Ｑ−５（予稿集
第６４２〜６４３頁）“ビデオ作品の場面変わり自動検
出法”に示された、従来のシーンチェンジ検出装置のア
ルゴリズムを示すフローチャートである。図において、
ＳＴ１は画面の分割処理、ＳＴ２は色分布の計数処理、
ＳＴ３は相関度の計算処理、ＳＴ４は相関計数の計算処
理、ＳＴ５はしきい値との比較処理、ＳＴ６はシーンチ
ェンジ判定処理、ＳＴ７は非シーンチェンジ判定処理、
ＳＴ８は次フレームへの移行処理である。
【００１４】次に動作について説明する。まず、ステッ
プＳＴ１において動画像のフレームがｎ×ｎ＝ｎ2 画面
に分割され、ステップＳＴ２で各分割画面ごとの色の分
布が計測される。次にステップＳＴ３で前フレームと現
フレームの対応する分割画面ごとに色の分布の相関度を
求める。この相関度としては様々なものを考えることが
できるが、ここでは次式のカイ２乗統計量ｘk 2（Ｋ＝
１，２，・・・ｎ2 ）を用いる。
【００１５】
【数１】
【００１６】式（１）において、ｍi は現フレームの分
割画面における色ｉの分布、Ｙi は前フレームで対応す
る分割画面におけるｉという色の分布を表わしている。
そしてステップＳＴ４において、次式により相関度の総
和を計算して相関係数ｒを求める。
【００１７】
【数２】
【００１８】次に、ステップＳＴ５でこの相関係数ｒと
あらかじめ設定されているしきい値とを比較し、その大
小関係に応じて現フレームがシーンチェンジであるか否
かをステップＳＴ６もしくはＳＴ７にて判断し、その
後、ステップＳＴ８にて次のフレームへ処理を移行させ
るようになっている。
【００１９】
【発明が解決しようとする課題】従来のシーンチェンジ
検出装置は以上のように構成されているので、動画像の
フレームごとに色の分布を調べると共に、フレーム間で
の相関係数を求める、という複雑な処理を行わなければ
ならず、これらの処理を汎用的なプロセッサで実行した
場合、到底実時間処理は不可能であり、シーンチェンジ
の自動検出を実時間処理を実現するためには専用のハー
ドウェアが必要となり、また、今後計算機で動画像を扱
うことを考えると、動画像は当然ディジタル化され、し
かも、ディジタル動画像の膨大なデータ量を削減するた
め、動画像符号化技術によりデータ量を削減した後に、
計算機内部に取り込まれるものと予想されるが、その場
合にも、上記従来例の処理では動画像符号化／復号化と
は全く独立した処理であり、従って、動画像符号化ある
いは復号化に際して、動画像のフレーム間に渡って複雑
な処理が行われているにもかかわらず、その処理結果を
利用できず、動画像符号化前、あるいは復号後の画像信
号に対して上記の複雑な処理を実行しなければならない
という問題点があった。
【００２０】この発明は上記のような問題点を解消する
ためになされたものであり、動画像の符号化あるいは復
号に際して計算される様々な特徴量を用いてシーンチェ
ンジを自動検出することが可能なシーンチェンジ検出装
置を得ることを目的とする。
【００２１】
【課題を解決するための手段】請求項１に記載の発明に
係るシーンチェンジ検出装置は、フレーム間の相関を利
用して符号化された動画像の符号化データを復号する際
の、フレーム間の予測誤差に所定の演算を施す演算部
と、その演算出力を１フレームごとに累計する計数部
と、１フレームの復号が終了するごとにその計数値をし
きい値と比較して、現フレームでのシーンチェンジを判
定する比較部を設けたものである。
【００２２】また、請求項２に記載の発明に係るシーン
チェンジ検出装置は、フレーム間の相関を利用して符号
化された動画像の符号化データを復号する復号化装置に
入力される符号化データの、１フレームごとのデータ量
を計数する計数部と、１フレームの復号が終了するごと
にその計数値をしきい値と比較して、現フレームでのシ
ーンチェンジを判定する比較部を設けたものである。
【００２３】また、請求項３に記載の発明に係るシーン
チェンジ検出装置は、フレーム間の相関で予測誤差が大
きいと判定された画素をフレーム内の相関を利用して符
号化した符号化データを復号する際、予測誤差が大きい
かあるいは予測可能と判定された画素の数を１フレーム
ごとに計数する計数部と、１フレームの復号が終了する
ごとにその計数値をしきい値と比較して、現フレームで
のシーンチェンジを判定する比較部を設けたものであ
る。
【００２４】また、請求項４に記載の発明に係るシーン
チェンジ検出装置は、符号化モードを適応的に切り換
え、フレーム間の相関にて予測誤差が大きいと判定され
た画素をフレーム内の相関を利用して符号化した動画像
の符号化データより、その画素がいずれの符号化モード
で符号化されたかを抽出する多重分離部と、その符号化
モードを１フレームごとに計数して、フレーム間予測可
能あるいはフレーム間予測誤差が大きいと判定された画
素の数を算出する計数部と、その計数値を１フレームご
とにしきい値と比較して、当該フレームでのシーンチェ
ンジを判定する比較部を備えたものである。
【００２５】また、請求項５に記載の発明に係るシーン
チェンジ検出装置は、複数に分割された動画像のフレー
ムの各領域を、第１〜第４の符号化モード中のいずれを
用いて符号化するかを決定する符号化モード決定手段
と、この符号化モード決定手段の出力より、フレーム内
での各符号化モードの生起頻度を計数する計数手段、前
記動画像のフレームのフレームモードが、第１〜第３の
フレーム中のいずれかであるかを示すフレームモード決
定手段と、前記フレームモード決定手段の出力であるフ
レームモードと前記計数手段の計数結果とを少なくとも
時間的に連続する２フレーム分保持する情報保持手段、
およびこの情報保持手段に保持されている各フレームに
おける分割された複数領域毎の符号化モードの使用回数
を上記連続するフレームモードの組み合わせの種類に応
じて比較し、その比較結果に基づいてそのフレームがシ
ーンチェンジであるか否かを示す検出信号を出力する検
出信号出力手段を有するものである。
【００２６】また、請求項６に記載の発明に係るシーン
チェンジ検出装置は、動画像のフレームのフレームモー
ドを示すデータと、第１〜第４の符号化モードのいずれ
が使用されているかを示すデータとを符号化データより
抽出する多重分離手段、この多重分離手段の出力よりフ
レーム内での各符号化モードの生起頻度を計数する計数
手段、多重分離手段から得られるフレームモードを示す
データと、計数手段の計数結果とを少なくとも時間的に
連続する２フレーム分保持する情報保持手段、およびこ
の情報保持手段に保持されている各フレームにおける分
割された複数領域毎の符号化モードの使用回数をフレー
ムモードの組み合わせの種類に応じて比較し、その比較
結果に基づいてそのフレームがシーンチェンジであるか
否かを示す検出信号を出力する検出信号出力手段を有す
るものである。
【００２７】
【作用】請求項１に記載の発明における比較手段は、復
号されたフレーム間の予測誤差に対する演算部の演算結
果を１フレーム分累計した計数部の計数値を、１フレー
ムの復号が終了する度にしきい値と比較し、その大小関
係に基づいて現フレームがシーンチェンジであるか否か
を判定することにより、動画像の復号に際して計算され
る特徴量をシーンチェンジの自動検出にも利用可能とす
る。
【００２８】また、請求項２に記載の発明における比較
手段は、計数部にて１フレーム分計数された当該復号化
装置に入力される符号化データのデータ量を、１フレー
ムの復号が終了する度にしきい値と比較し、その大小関
係に基づいて現フレームがシーンチェンジであるか否か
を判定することにより、動画像の復号に際して計算され
る特徴量をシーンチェンジの自動検出にも利用可能とす
る。
【００２９】また、請求項３に記載の発明における比較
手段は、フレーム間の相関にて予測誤差が大きいと判定
された画素をフレーム内の相関を利用して符号化した符
号化データの復号に際して、計数部にて１フレーム分計
数された予測誤差が大きい画素の数を、１フレームの復
号が終了する度にしきい値と比較し、その大小関係に基
づいて現フレームがシーンチェンジであるか否かを判定
することにより、動画像の復号に際して計算される特徴
量をシーンチェンジの自動検出にも利用可能とする。
【００３０】また、請求項４に記載の発明における多重
分離部は、複数のシーンから構成される動画像の画像信
号をフレーム間の相関を利用して符号化する際に、フレ
ーム間符号化とフレーム内符号化とを適応的に切り換え
て、フレーム間の相関にて予測誤差が大きいと判定され
た画素についてはフレーム内の相関を利用して符号化し
た動画像の符号化データより、その画素がどちらの符号
化モードによって符号化されたかを抽出して計数部に入
力することにより、符号化装置もしくは復号化装置の存
在とは関係なく、単に符号化データから必要な情報だけ
を抽出して解析するだけでシーンチェンジの検出を可能
とする。
【００３１】また、請求項５に記載の発明における検出
信号出力手段は、情報保持手段に保持された時間的に連
続する２フレーム分のフレームモードの比較を行うとと
もに、計数手段で計数されて情報保持手段に保持された
時間的に連続する２フレーム分の符号化モードの生起頻
度の比較を行い、それらの比較結果があらかじめ定めら
れた条件に合致した場合に検出信号を出力する。
【００３２】また、請求項６に記載の発明における多重
分離手段は、符号化データより抽出した、動画像のフレ
ームのフレームモードを示すデータを情報保持手段に、
第１〜第４の符号化モードのいずれが使用されているか
を示すデータを、その生起頻度を計数している計数手段
に、それぞれ出力する。
【００３３】
【実施例】実施例１． 以下、この発明の一実施例を図に基づいて説明する。図
１はこの発明の一実施例を示すブロック図である。図に
おいて、１はフレームメモリ、２は減算器、３はＤＣＴ
部、４は量子化部、５はエントロピー符号化部、６は逆
ＤＣＴ部、７は加算器であり、図２５に同一符号を付し
た従来のそれらと同一、あるいは相当部分であるため詳
細な説明は省略する。
【００３４】また、１２は前記逆ＤＣＴ部６からのフレ
ーム間の予測誤差に対して所定の演算、例えばそれを二
乗する演算を施す演算部としての乗算器であり、１３は
１フレームごとにこの乗算器１２の出力を累計する計数
部である。１４は１フレームの符号化が終了する都度、
この計数部１３の計数値をしきい値と比較して、その大
小関係に基づいて現フレームがシーンチェンジであるか
否かを示すシーンチェンジ検出信号を発生する比較部で
ある。
【００３５】次に動作について説明する。ここで、入力
された画像信号が符号化されて通信路に送出されるまで
は従来の場合と同様であるためその説明は省略する。画
像信号符号化の過程で逆ＤＣＴ部６から出力されるフレ
ーム間の予測誤差の値ｘは乗算器１２にも入力され、そ
こで次式で与えられる演算が施される。
【００３６】 ｙ＝ｘ2 ・・・・・・・（３）
【００３７】ここで、式（３）におけるｙは、予測誤差
信号のエネルギーに相当し、計数部１３に送られて１フ
レーム分の累計が計数される。この計数部１３の計数値
は比較部１４に送られて、あらかじめ定められているし
きい値と１フレームごとに比較される。比較の結果、計
数部１３の計数値がしきい値より大であれば、比較部１
４は現フレームがシーンチェンジである旨を示すシーン
チェンジ検出信号を出力する。
【００３８】実施例２． 図２は実施例２を示すブロック図であり、この実施例２
は図１に示した実施例１をより単純化したものである。
即ち、図１のように処理の複雑なＤＣＴの処理を含ま
ず、減算器２で現フレームとフレームメモリ１に記憶さ
れている直前フレームの同一位置の画素どうしを減算し
た結果を直接量子化部４で量子化し、量子化結果をエン
トロピー符号化部５で符号化して通信路に送出してい
る。この場合においても、乗算器１２、計数部１３、比
較部１４によるシーンチェンジを検出する機構の動作は
図１に示した実施例１の場合と全く同じである。
【００３９】実施例３． 図３は実施例３を示すブロック図である。この実施例３
では動画像の符号化の際のフレーム間予測として動き補
償予測を用いている。図において、１５は入力された画
像信号とフレームメモリ１に格納されている前フレーム
の画像データとから動きベクトルを検出する動き検出部
であり、１６はこの動き検出部１５の検出した動きベク
トルを用いてフレームメモリ１から読み出した前フレー
ムの画像データの補償を行う動き補償部である。
【００４０】次に動作について説明する。ここで、この
動き補償予測は図１に示した実施例１のようなフレーム
間で同一位置にある画素どうしを減算するという単純な
フレーム間差分ではなく、被写体の動きを検出し、この
動きに応じてフレーム間差分をとる画素を可変にできる
方式である。即ち、動き検出部１５は現フレームにおけ
る物体、あるいは適当な大きさのブロックがフレームメ
モリ１に記憶されている前フレームのどの位置に対応す
るかを求め、これを動きベクトルとして検出する。そし
て、動き補償部１６ではこの動き検出部１５で検出され
た動きベクトルを用いて予測に用いる前フレームの画素
を決定し、減算器２で現フレームの画像信号との差分を
とる。
【００４１】例えば、動きの全くないフレームが連続す
る場合には動き検出部１５より出力される動きベクトル
は０となり、実施例１の場合の単純なフレーム間差分と
一致する。このように、動き補償予測を用いたものは、
図１に示した実施例１のフレーム間差分を高度化したも
のと考えられるが、シーンチェンジの検出機構である乗
算器１２、計数部１３、および比較部１４の動作は実施
例１の場合と全く同じである。
【００４２】実施例４． なお、図１および図３に示した実施例１および３では乗
算器１２を逆ＤＣＴ部６の出力に接続したものを示した
が、これは減算器２の出力、ＤＣＴ部３の出力、あるい
は量子化部４の出力のいずれに接続したとしてもよく、
上記実施例と同様の効果を奏する。また、前記の実施例
１および３では、フレーム間差分をＤＣＴ処理する場合
について示したが、これはＤＣＴ処理に限定されるもの
ではない。
【００４３】実施例５． さらに、図１〜図３に示した各実施例では、演算部とし
て乗算器１２を用いて式（３）を計算するものを示した
が、この演算としてはより一般的な次式を用いてもよ
い。
【００４４】 ｙ＝｜ｘ｜r （ｒは実数） ・・・・・（４）
【００４５】以上の実施例で説明したように、このシー
ンチェンジを検出する機構は、フレーム間の相関を利用
する動画像符号化のアルゴリズムには全く依存しないこ
とは明らかである。
【００４６】実施例６． 一方、上記各実施例では、シーンチェンジを検出する機
構として、演算部としての乗算器１２、および計数部１
３、比較部１４というハードウェアを用いたが、これら
は図４に示す請求項１の発明のさらに他の実施例を示す
ブロック図のように、汎用的なＣＰＵ１７を用いたソフ
トウェア処理により実現することも可能である。この実
施例では、フレームメモリ１、減算器２、量子化部４、
エントロピー符号化部５、加算器７などで形成される動
画像符号化部１８がＣＰＵ１７のバス１９上に接続さ
れ、ＣＰＵ１７からシーンチェンジ検出に必要なフレー
ム間の予測誤差を読み取れるようになっている。そし
て、ＣＰＵ１７はメモリ２０に蓄えられたプログラムに
従って、シーンチェンジ検出機構である演算部、計数
部、および比較部を実現する。
【００４７】実施例７． 図５は実施例７を示すブロック図で、図１の実施例に対
応しており、相当部分には図１と同一符号を付してその
説明を省略する。図において、２１はエントロピー符号
化部５の出力に接続され、当該動画像の符号化装置より
通信路に出力される符号化データのデータ量を１フレー
ム毎に計数し、計数値を比較部１４に出力する計数部で
ある。
【００４８】この実施例７においても、比較部１４は前
記計数部２１が計数した、エントロピー符号化部５から
通信路に出力される符号化データの１フレーム分のデー
タ量を、あらかじめ定められたしきい値と比較し、計数
部２１の計数値がしきい値より大であれば、現フレーム
がシーンチェンジである旨を示すシーンチェンジ検出信
号を出力する。
【００４９】実施例８． 図６は実施例８を示すブロック図である。この実施例８
は図２に示す実施例２に対応しており、動画像符号化部
分は図２とは全く同じ構成である。一方、シーンチェン
ジを検出する機構は図５に示した実施例７と全く同様
に、計数部２１と比較部１４とで構成されている。
【００５０】実施例９． 図７は実施例９を示すブロック図である。この実施例９
は図３に示す実施例３に対応しており、動画像符号化部
分は図３とは全く同じ構成である。一方、シーンチェン
ジを検出する機構は図５に示した実施例７と同一構成で
ある。
【００５１】実施例１０． 図８は実施例１０を示すブロック図である。この実施例
１０はフレーム内符号化とフレーム間符号化とを適応的
に切り換える動画像の符号化装置に適用した場合のもの
である。図において、２２はフレーム内符号化とフレー
ム間符号化のいずれを使用するかの判断を行う符号化制
御部であり、２３，２４はこの符号化制御部２２の制御
によってフレーム内符号化とフレーム間符号化の切り換
えを行うスイッチである。２５は入力される画像信号と
フレームメモリ１に格納されている前フレームの画像デ
ータから現フレームを予測するフレーム間予測部であ
る。
【００５２】次に動作について説明する。符号化制御部
２２は、例えば８×８画素程度のブロック単位にフレー
ム内符号化とフレーム間符号化のどちらかを使用するか
を判断し、スイッチ２３，２４、量子化部４の特性、エ
ントロピー符号化部５で使用する符号を制御すると共
に、フレーム内符号化とフレーム間符号化のどちらを用
いて符号化されたかを示すフラグを生成して通信路に送
出する。図示の状態は、スイッチ２３，２４がフレーム
間符号化を選択した状態を示しており、フレーム内符号
化を選択する場合、各々のスイッチ２３，２４はそれぞ
れ図示とは逆方向に接続される。
【００５３】スイッチ２３を通った信号は、フレーム内
符号化の場合は画像信号そのものであり、フレーム間符
号化の場合は予測誤差信号である。この信号はＤＣＴ部
３でＤＣＴ処理を受けた後、量子化部４にて量子化さ
れ、エントロピー符号化部５で符号化された後、通信路
に送出される。また、量子化部４における量子化の結果
は、逆ＤＣＴ部６に送られて逆ＤＣＴの処理を受け、ス
イッチ２４の出力と加算器７で加算され、フレームメモ
リ１に記録される。この加算結果は現フレームを復号し
た画像であり、次フレームの予測に用いられる。ここ
で、スイッチ２４の出力は、フレーム内符号化の場合は
０であり、フレーム間符号化の場合はフレーム間予測信
号である。
【００５４】フレーム間予測部２５は、フレームメモリ
１に記憶された前フレームの画像データから現フレーム
を予測する。この実施例では、図７の場合と同様の動き
補償予測が用いられており、動きベクトルが通信路に送
出される。なお、このフレーム間予測部２５は必ずしも
動き補償予測である必要はなく、単なるフレーム間差分
をとるだけであっても構わず、その場合には動きベクト
ルの伝送の必要はない。一方、シーンチェンジを検出す
る機構（計数部２１、および比較部１４）は図５に示し
た実施例７の場合と全く同じ構成となっている。
【００５５】実施例１１． 一方、上記実施例では、シーンチェンジを検出する機構
として、計数部２１および比較部１４というハードウェ
アを用いたものを示したが、これらは図４に示すよう
に、汎用的なＣＰＵを用いたソフトウェア処理によって
実現することも可能である。同図では、動画像符号化部
１８がＣＰＵ１７のバス１９上に接続され、ＣＰＵ１７
からシーンチェンジ検出に必要な符号化データ量を読み
取れるようになっている。そして、ＣＰＵ１７はメモリ
２０に蓄えられたプログラムに従って、シーンチェンジ
検出機構である計数部、および比較部を実現する。
【００５６】実施例１２． なお、図５，図７および図８に示した実施例では、減算
器２の出力をＤＣＴ変換する場合について説明したが、
これはＤＣＴ変換にのみ限定されるものではなく、さら
にＤＣＴ変換に代表される直交変換以外の方式、例えば
予測符号化であっても構わない。
【００５７】実施例１３． 図９は実施例１３を示すブロック図であり、シーンチェ
ンジを検出する機構以外は図８と全く同一であるので、
ここではシーンチェンジを検出する機構について説明す
る。図において、２６は符号化制御部２２の出力するフ
レーム内／フレーム間符号化識別フラグに基づいて、フ
レーム間の相関による予測が不可能な画素の数を計数
し、計数値を比較部１４に送る計数部である。
【００５８】次に動作について説明する。まず、計数部
２６が、１フレームごとに符号化制御部２２の出力であ
るフレーム内／フレーム間符号化識別フラグに基づいて
フレーム内符号化される画素の数を計数する。比較部１
４はあらかじめ定められたしきい値とこの計数部２６の
計数値とを１フレームごとに比較し、前記計数値がしき
い値より大であれば現フレームがシーンチェンジである
旨を示すシーンチェンジ検出信号を出力する。
【００５９】実施例１４． なお、上記実施例１３においては、フレーム間符号化と
して動き補償予測とＤＣＴの組合せ、フレーム内符号化
としてＤＣＴを用いたものを示したが、これらの方式に
限定されるものではなく、フレーム内符号化とフレーム
間符号化とを適応的に切り換える動画像符号化方式であ
れば、どのようなものにでも適用可能である。
【００６０】実施例１５． また、上記実施例では、計数部２６がフレーム内符号化
されている画素の数を計数する場合について説明した
が、これはフレーム間符号化されている画素の数を計数
部２６で計数して、計数部２６の計数値がしきい値より
小のときにシーンチェンジ信号を出力するようにしても
よく、さらにフレーム内符号化とフレーム間符号化のい
ずれを用いているかの判定が、あるブロック単位（例え
ば、８×８画素）で行われている場合には、計数部２６
でこのブロックの数を計数するようにしてもよい。
【００６１】実施例１６． 一方、上記実施例では、シーンチェンジを検出する機構
として計数部２６、および比較部１４というハードウェ
アを用いたものを示したが、これらは図４に示すよう
に、汎用的なＣＰＵを用いたソフトウェア処理により実
現することも可能である。同図では、動画像符号化部１
８がＣＰＵ１７のバス１９上に接続され、ＣＰＵ１７か
らシーンチェンジ検出に必要なフレーム内符号化される
画素数を読み取れるようになっている。そして、ＣＰＵ
１７はメモリ２０に蓄えられたプログラムに従って、シ
ーンチェンジ検出機構である計数部、および比較部を実
現する。
【００６２】実施例１７． 次にこの発明の実施例１７を図について説明する。図１
０は実施例１７を示すブロック図である。図において、
８はエントロピー復号化部、９は逆ＤＣＴ部、１０はフ
レームメモリ、１１は加算器であり、図２５に同一符号
を付した従来のそれらと同一、あるいは相当部分である
ため詳細な説明は省略する。
【００６３】また、２７は前記逆ＤＣＴ部９から復号さ
れたフレーム間の予測誤差に対して所定の演算、例えば
それを二乗する演算を施す演算部としての乗算器であ
り、２８は１フレームごとにこの乗算器２７の出力を累
計する計数部である。２９は１フレームの符号化が終了
する都度、この計数部２８の計数値をしきい値と比較し
て、その大小関係に基づいて現フレームがシーンチェン
ジであるか否かを示すシーンチェンジ検出信号を発生す
る比較部である。
【００６４】次に動作について説明する。ここで、通信
路より受けた符号化データを画像信号に復号するまでは
従来の場合と同様であるためその説明は省略する。画像
信号復号の過程で逆ＤＣＴ部９から出力されるフレーム
間の予測誤差の値ｘは乗算器２７にも入力され、そこで
次式で与えられる演算が施される。
【００６５】 ｙ＝ｘ2 ・・・・・・・（５）
【００６６】ここで、式（５）におけるｙは予測誤差信
号のエネルギーに相当し、計数部２８に送られて１フレ
ーム分の累計が計数される。この計数部２８の計数値は
比較部２９に送られて、あらかじめ定められたしきい値
と１フレームごとに比較される。比較の結果、計数部２
８の計数値がしきい値より大であれば、比較部２９は現
フレームがシーンチェンジである旨を示すシーンチェン
ジ検出信号を出力する。
【００６７】実施例１８． 図１１は実施例１８を示すブロック図であり、この実施
例１８は図１０の実施例１７をより単純化したものであ
る。即ち、符号化データとしてフレーム間差分を直接エ
ントロピー符号化したデータが伝送されてくるので、エ
ントロピー復号化部８で復号した後、加算器１１におい
てフレームメモリ１０に蓄えられている直前フレームの
画像データと同一位置の画素ごとに加算される。この加
算結果は現フレームの画像信号として出力する一方、フ
レームメモリ１０に格納して次フレームの復号に利用す
る。なお、シーンチェンジを検出する機構（乗算器２
７、計数部２８、および比較部２９）は図１０の実施例
１７と同一である。
【００６８】実施例１９． 図１２は実施例１９を示すブロック図である。この実施
例１９では動画像符号化におけるフレーム間予測として
動き補償予測を用いて符号化されたデータを復号する動
画像復号化装置の場合を示しており、図において、３０
はその動き補償を行う動き補償部である。
【００６９】ここで、この動き補償予測はフレーム間で
同一位置にある画素どうしを減算するという単純なフレ
ーム間差分ではなく、被写体の動きを検出し、この動き
に応じてフレーム間差分をとる画素を可変にできる方式
である。即ち、現フレームにおける物体、あるいは適当
な大きさのブロックが前フレームのどの位置に対応する
かを求め、これを動きベクトルとして検出する。そし
て、前記動きベクトルを用いて予測に用いる前フレーム
の画素を決定し、現フレームとの差分をとる。例えば、
動きの全くないフレームが連続する場合には動きベクト
ルは０となり、単純なフレーム間差分と一致する。従っ
て、この方式では復号の際に符号化データに加えて動き
ベクトルが必要になる。
【００７０】この復号化装置ではまず、符号化データは
図１０の場合と同じ経路、即ち、エントロピー復号化部
８、逆ＤＣＴ部９、加算器１１を経て画像信号に変換さ
れる。また、現フレームの復号結果はフレームメモリ１
０に記憶され、次フレームの復号に使用される。一方、
動き補償部３０は符号化装置より通信路に送出された動
きベクトルを用いて、予測に用いる前フレームの画素を
決定し、フレームメモリ１０からその画素値を取り出し
て加算器１１に加える。このように、動き補償予測を用
いたものは、図１０のフレーム間差分を高度化したもの
と考えられるが、シーンチェンジを検出する機構である
乗算器２７、計数部２８、および比較部２９の動作は図
１０の場合と全く同じである。
【００７１】実施例２０． なお、図１０および図１２に示した実施例では乗算器２
７が逆ＤＣＴ部９の出力に接続されたものを示したが、
それを逆ＤＣＴ部９の入力に接続してもよく、上記実施
例と同様の効果が得られる。また、図１０，図１２に示
した実施例では、フレーム間差分に対してＤＣＴ処理を
施す場合を説明したが、これはＤＣＴ処理に限定される
ものではなく、さらに、ＤＣＴに代表される直交変換以
外の方式、例えば予測符号化であっても構わない。
【００７２】実施例２１． さらに、図１０〜図１２に示した実施例では、演算部と
して乗算器２７を用いて式（５）を計算するものを示し
たが、この演算としてはより一般的な次式を用いてもよ
い。
【００７３】 ｙ＝｜ｘ｜r （ｒは実数） ・・・・・（６）
【００７４】また、以上の実施例の説明から明らかなよ
うに、このシーンチェンジを検出する機構は、フレーム
間の相関を利用する動画像符号化のアルゴリズムには全
く依存しないことは明らかである。
【００７５】実施例２２． 一方、上記各実施例では、シーンチェンジを検出する機
構として、演算部としての乗算器２７、および計数部２
８、比較部２９というハードウェアを用いたが、これら
は図１３に示すブロック図のように、汎用的なＣＰＵ３
１を用いたソフトウェア処理により実現することも可能
である。この実施例では、エントロピー復号化部、逆Ｄ
ＣＴ部９、フレームメモリ１０、加算器１１などで形成
される動画像復号化部３２がＣＰＵ３１のバス３３上に
接続され、ＣＰＵ３１からシーンチェンジ検出に必要な
フレーム間の予測誤差を読み取れるようになっている。
そして、ＣＰＵ３１はメモリ３４に蓄えられたプログラ
ムに従って、シーンチェンジ検出機構である演算部、計
数部、および比較部を実現する。
【００７６】実施例２３． 図１４は実施例２３を示すブロック図で、図１０の実施
例に対応しており、相当部分には図１０と同一符号を付
してその説明を省略する。図において、３５はエントロ
ピー復号化部８の入力に接続され、当該動画像の復号化
装置に入力される符号化データのデータ量を１フレーム
ごとに計数し、計数値を比較部２９に出力する計数部で
ある。
【００７７】次に動作について説明する。エントロピー
復号化部８の入力に接続された計数部３５は、通信路か
らの符号化データの１フレームごとのデータ量を計数し
て比較部２９に送る。比較部２９はあらかじめ定められ
たしきい値とこの計数部３５の計数値とを１フレームご
とに比較し、計数部３５の計数値がしきい値より大であ
ればシーンチェンジ検出信号を出力する。
【００７８】実施例２４． 図１５は実施例２４を示すブロック図である。この実施
例は図１１に対応しており、動画像復号化部分は図１１
と全く同じ構成である。一方、シーンチェンジを検出す
る機構は図１４に示した実施例と全く同様に、計数部３
５と比較部２９で構成されている。
【００７９】実施例２５． 図１６は請求項５に記載した発明のさらに他の実施例を
示すブロック図である。この実施例２５は図１２に対応
しており、動画像復号化部分は図１２と全く同じ構成で
ある。一方、シーンチェンジを検出する機構は図１４と
全く同じく、計数部３５と比較部２９とで構成されてい
る。
【００８０】実施例２６． 図１７は実施例２６を示すブロック図である。この実施
例２６はフレーム内符号化とフレーム間符号化とを適応
的に切り換える動画像符号化装置を用いて符号化された
データを復号する動画像復号化装置に適用した場合のも
のである。図において、３６は通信路からのフレーム内
／フレーム間符号化フラグによって、送られてきた符号
化データがフレーム内符号化によるものかフレーム間符
号化によるものかを判断する復号化制御部であり、３７
はこの復号化制御部３６によって切り換えが制御される
スイッチである。
【００８１】次に動作について説明する。復号化制御部
３６は通信路を通して送られてくるフレーム内／フレー
ム間符号化識別フラグに応じて、例えば画像の８×８画
素程度のブロック単位にフレーム内符号化とフレーム間
符号化のどちらかが使用されているかを判断し、スイッ
チ３７、およびエントロピー復号化部８で使用する符号
を制御する。図示の状態は、スイッチ３７はフレーム間
符号化で符号化された符号化データを復号する状態にな
っており、フレーム内符号化で符号化された符号化デー
タを復号する場合、このスイッチ３７は図示とは逆方向
に接続され、０を出力する。
【００８２】通信路より受け取った符号化データはエン
トロピー復号化部８でまず復号された後、逆ＤＣＴ部９
に送られて逆ＤＣＴの処理がなされ、加算器１１でスイ
ッチ３７の出力と加算される。この加算結果は現フレー
ムを復号した画像信号そのものであり、外部に出力され
るとともにフレームメモリ１０に蓄積されて次フレーム
の復号に用いられる。また、この実施例では、フレーム
間符号化として動き補償予測を用いた符号化データを復
号することを想定しており、その動作は図１２に示した
実施例の場合と同様である。ただし、このフレーム間予
測は動き補償予測に限定されるわけではない。一方、シ
ーンチェンジを検出する機構（計数部３５、比較部２
９）は図１４に示す実施例と同一の構成となっている。
【００８３】実施例２７． 一方、上記実施例では、シーンチェンジを検出する機構
として、計数部３５および比較部２９というハードウェ
アを用いたものを示したが、これらは図１３に示すよう
に、汎用的なＣＰＵを用いたソフトウェア処理によって
実現することも可能である。同図では、動画像復号化部
３２がＣＰＵ３１のバス３３上に接続され、ＣＰＵ３１
からシーンチェンジ検出に必要な１フレームごとの符号
化データ量を読み取れるようになっている。そして、Ｃ
ＰＵ３１はメモリ３４に蓄えられたプログラムに従っ
て、シーンチェンジ検出機構である計数部、および比較
部を実現する。
【００８４】実施例２８． なお、図１４，図１６，図１７に示した実施例では、動
画像符号化側においてフレーム間差分に対してＤＣＴの
処理を施すことを想定しているが、これはＤＣＴ処理に
限定するものではなく、さらに、ＤＣＴに代表される直
交変換以外の方式、例えば予測符号化であっても構わな
い。
【００８５】実施例２９． 図１８は実施例２９を示すブロック図であり、シーンチ
ェンジを検出する機構以外は図１７と全く同一であるの
で、ここではシーンチェンジを検出する機構について説
明する。図において、３８は復号化制御部３６に入力さ
れるフレーム内／フレーム間符号化識別フラグに基づい
て、フレーム間の相関による予測が不可能な画素の数を
計数し、計数値を比較部２９に送る計数部である。
【００８６】次に動作について説明する。まず、計数部
３８は、１フレームごとにフレーム内／フレーム間符号
化識別フラグに基づいてフレーム内符号化されている画
素の数を計数する。比較部２９はあらかじめ定められた
しきい値とこの計数部３８の計数値とを１フレームごと
に比較し、前記計数値がしきい値より大であればシーン
チェンジ検出信号を出力する。
【００８７】実施例３０． なお、上記実施例２９においては、フレーム間符号化と
して動き補償予測とＤＣＴの組合せ、フレーム内符号化
としてＤＣＴを用いて符号化されたデータを復号する場
合について説明したが、これらの方式に限定されるもの
ではなく、フレーム内符号化とフレーム間符号化とを適
応的に切り換える動画像符号化方式で符号化されたデー
タであれば、どのようなものにでも適用可能である。
【００８８】実施例３１． また、上記実施例では、計数部３８がフレーム内符号化
されている画素の数を計数する場合について説明した
が、これはフレーム間符号化されている画素の数を計数
部３８で計数して、計数部３８の計数値がしきい値より
小のときにシーンチェンジ検出信号を出力するようにし
てもよく、さらに、フレーム内符号化とフレーム間符号
化のいずれを用いているかの判定が、あるブロック単位
（例えば８×８画素）で行われている場合には、計数部
３８でこのブロックの数を計数するようにしてもよい。
【００８９】実施例３２． 一方、上記実施例では、シーンチェンジを検出する機構
として計数部３８および比較部２９というハードウェア
を用いたものを示したが、これらは図１３に示すよう
に、汎用的なＣＰＵを用いたソフトウェア処理により実
現することも可能である。同図では、動画像復号化部３
２がＣＰＵ３１のバス３３上に接続され、ＣＰＵ３１か
らシーンチェンジ検出に必要なフレーム内符号化される
画素数を読み取れるようになっている。そして、ＣＰＵ
３１はメモリ３４に蓄えられたプログラムに従って、シ
ーンチェンジ検出機構である計数部、および比較部を実
現する。
【００９０】実施例３３． なお、上記実施例１から３２では、比較部は計数部の計
数結果をしきい値と比較し、計数部の計数値がしきい値
より大であれば、そのフレームをシーンチェンジである
と判定するものを示したが、比較部の処理をより複雑に
することにより、シーンチェンジの検出をより正確に行
うこともできる。例えば、風景をカメラで撮影してお
り、カメラの撮影方向が左から右へと動く場合を考えて
みると、このとき、映像はフレーム毎に変化しているた
め、計数部に計数される計数値が連続するフレームにわ
たって大きくなり、従って、単純なしきい値比較だけで
は全フレームをシーンチェンジと判定してしまう可能性
がある。ところが、実際には計数部の計数値がしきい値
を越える最初のフレームをシーンチェンジと判定するこ
とが望ましい。これに対しては、連続するフレームにわ
たって計数値がしきい値を越える場合には、最初のフレ
ームだけをシーンチェンジと判定する、という処理を追
加することにより容易に対応可能である。また、比較部
のしきい値を計数部の計数結果に応じて適応的に変化さ
せることによっても対応可能である。
【００９１】実施例３４． 次にこの発明の実施例３４を図について説明する。図１
９は実施例３４を示すブロック図である。図において、
４５は前記ＣＰＵであり、４６はフレーム間の相関を利
用して複数のシーンから成る動画像の画像信号を符号化
する際に、フレーム間の相関にて予測不可能と判定され
た画素については、フレーム内の相関を利用して符号化
するというように、フレーム間符号化とフレーム内符号
化とを適応的に切り換えて符号化された動画像の符号化
データが格納されているディスクである。４７はこのデ
ィスク４６より取り込んだ動画像の符号化データより、
その画素の符号化にフレーム間符号化とフレーム内符号
化のいずれが適用されたかを示す符号化モードを抽出す
る多重分離部であり、４８はこの多重分離部４７で抽出
された符号化モードを１フレームごとに計数し、フレー
ム間予測可能あるいはフレーム間予測不可能と判定され
た画素の数を算出する計数部である。４９はフレームご
とに計数部４８で計数した計数値をしきい値と比較し
て、その大小関係に基づいて当該フレームがシーンチェ
ンジであるか否かを示す信号を発生する比較部である。
【００９２】次に動作について説明する。多重分離部４
７はディスク４１に蓄えられている動画像の符号化デー
タを順次読み出して、各画素の符号化にフレーム間符号
化とフレーム内符号化のいずれが適用されたかを示す符
号化モードを抽出する。抽出された符号化モードは計数
部４８に送られ、計数部４８は１フレームごとにそれを
計数して、フレーム間予測不可能と判定された画素の数
を算出する。その計数結果は比較部４９に送られてしき
い値と比較され、計数値がしきい値より大きい場合、比
較部４９はそのフレームがシーンチェンジである旨を示
すシーンチェンジ検出信号を出力する。そして、この比
較部４９より出力されたシーンチェンジ検出信号はＣＰ
Ｕ４５から読み取れるように構成されている。
【００９３】なお、この実施例３４における動画像符号
化データ入力部４２、計数部４３，４８、比較部４４，
４９は専用のハードウェア、あるいは汎用のＣＰＵを用
いたソフトウェアのいずれによっても実現可能である。
【００９４】実施例３５． 次にこの発明の実施例３５を図について説明する。図２
０は実施例３５を示すブロック図である。図において、
５１は複数フレーム分の画像信号が記憶されるフレーム
メモリ、５２はこのフレームメモリ５１から読み出され
た画像信号とフレーム間予測信号との差分をとる減算器
であり、５３はその差分出力を直交変換の１つである離
散コサイン変換（以下、ＤＣＴという）する変換器であ
る。５４はＤＣＴされた信号を量子化する量子化器、５
５は量子化された信号の可変長符号化を行う可変長符号
化器であり、５６は可変長符号化された信号を符号化モ
ードやフレームモードなどを示す他のデータと混合する
多重化器である。５７は量子化器５４より出力される信
号を逆量子化する逆量子化器、５８は逆量子化された信
号を逆ＤＣＴする逆変換器であり、５９はこの逆変換器
５８より出力される信号にフレーム間予測信号を加算す
る加算器、６０はこの加算器５９の出力する画像信号を
記憶するフレームメモリである。６１はこのフレームメ
モリ６０よりフレーム間予測に用いるデータを読み出し
てフレーム間予測信号を生成するフレーム間予測器、６
２はフレーム間予測に必要な動きベクトルを検出してフ
レーム間予測器６１に与える動きベクトル検出器であ
り、６３はフレーム間予測信号と接地（アース）とを切
り換えて減算器５２に供給するスイッチ、６４は同じく
フレーム間予測信号と接地（アース）とを切り換えて加
算器５９に供給するスイッチである。
【００９５】また、６５は動画像のフレームを複数の領
域に分割した領域毎の符号化モードを、現フレームの情
報を用いて符号化する第１の符号化モード、既に符号化
された時間的に過去に位置するフレームの情報を用いて
符号化する第２の符号化モード、既に符号化された時間
的に未来に位置するフレームの情報を用いて符号化する
第３の符号化モード、あるいは既に符号化された時間的
に過去に位置するフレームの情報と既に符号化された時
間的に未来に位置するフレームの情報とを用いて符号化
する第４の符号化モード中のいずれを用いるかの決定を
行う符号化モード決定手段である。６６は動画像のフレ
ームのフレームモードが、前記第１の符号化モードだけ
を用いて符号化される第１のフレーム、第１の符号化モ
ードと第２の符号化モードのいずれかを用いて符号化さ
れる第２のフレーム、あるいは第１〜第４の符号化モー
ドのいずれかを用いて符号化される第３のフレーム中の
いずれであるかを決定するフレームモード決定手段であ
る。６７は符号化モード決定手段６５の出力からフレー
ム内での各符号化モードの生起頻度を計数する計数手段
であり、６８はフレームモード決定手段６６の出力と計
数手段６７の計数結果とを少なくとも時間的に連続する
２フレーム分保持する情報保持手段である。６９はこの
情報保持手段６８に保持されている時間的に連続した２
フレーム分のフレームモードを比較するとともに、情報
保持手段６８に保持されている時間的に連続した２フレ
ーム分の符号化モードの生起頻度の比較を行い、それら
の比較結果があらかじめ定められた条件に合致する場合
に検出信号を出力する検出信号出力手段である。
【００９６】次に動作について説明する。ここで、この
実施例３５では、動画像符号化部分にはＩＳＯで標準化
が進められている蓄積メディア用動画像符号化方式であ
るＭＰＥＧ（モーション・ピクチャー・エキスパーツ・
グループ；Motion Picture Experts Group）方式を用い
ることを想定している。そこで、まず図２１を用いてこ
のＭＰＥＧ方式の概念について説明する。図２１におい
て、Ｉ，Ｐ，Ｂと記されているのはフレームモードであ
り、Ｉフレームはこの発明における第１のフレームに、
Ｐフレームは同じく第２のフレーム、Ｂフレームは第３
のフレームにそれぞれ相当している。符号化に当たっ
て、まずＩフレーム２０が独立に符号化され、次にＩフ
レーム８０を用いてＰフレーム８３が予測符号化され
る。その後、Ｉフレーム８０とＰフレーム８３を用いて
Ｂフレーム８１，８２がこの順に予測符号化される。そ
れ以降、時間的に最も近くにあるＩまたはＰフレーム
（図２１ではＰフレーム８６）を符号化し、次に時間的
に過去にさかのぼってＢフレーム（図２１ではＢフレー
ム８４，８５）の符号化を行うという操作を繰り返す。
このようにＭＰＥＧ方式の符号化では、符号化に際して
複数フレーム分のバッファが必要となる。例えば、Ｂフ
レーム８１，８２の符号化を終えるにはＩフレーム８０
とＰフレーム８３が必要となり、結局、フレーム８０〜
８３までを蓄積しておかねばならない。
【００９７】次に図２０に戻って実施例３５の動作を説
明する。外部からの画像信号はフレームメモリ５１に記
憶される。このときフレームメモリ５１には前述のよう
に複数フレームが記憶されることになる。フレームメモ
リ５１からは図２１のＭＰＥＧアルゴリズム概要で説明
した順にフレームの内容が読み出され、減算器５２でフ
レーム間予測信号であるスイッチ６３の出力との差分が
とられる。次に減算器５２出力は変換器５３にて直交変
換の一つであるＤＣＴが施され、そして、変換係数を係
数毎に割り当てられたビット配分に応じて量子化器５４
で量子化される。量子化された変換係数は可変長符号化
器５５で、その統計的性質に応じて出現確率の高いパタ
ーンに対してより短い符号を割り当てることにより、さ
らなるデータ圧縮を施された後、多重化器５６で他のデ
ータ、例えばフレームモード、符号化モードなどを示す
データと混合され、符号化データとして出力される。
【００９８】一方、量子化器５４の出力は逆量子化器５
７、および逆変換器５８によって、前記量子化器５４、
および変換器５３と逆の操作がそれぞれ施され、フレー
ム間予測信号を生成するために使われる。このとき、逆
変換器５８の出力から得られる信号は変換器５３の入力
信号に量子化誤差が加わったものとなる。逆変換器５８
の出力は加算器５９においてスイッチ６４の出力信号と
加算され、フレームメモリ６０に記憶される。ここで、
スイッチ６４の出力信号はスイッチ６３の出力と同一の
信号であり、従って、加算器５９の出力はフレームメモ
リ５１から読み出された信号に量子化誤差が加わったも
のとなる。
【００９９】次にフレーム間予測器６１はフレームのフ
レームモードが、第１〜第３のフレームのいずれである
かを決定するフレームモード決定手段６６と、第１〜第
４の符号化モードのいずれを用いるかを決定する符号化
モード決定手段６５による制御と、動きベクトル検出器
６２により与えられる動きベクトルとを受けて、フレー
ムメモリ６０からフレーム間予測に用いるデータを読み
出し、フレーム間予測信号を生成してスイッチ６３およ
び６４に与える。ここで、符号化モード決定手段６５は
可変長符号化器５５から符号化データ量を受け、最も符
号化効率が良くなる符号化モードを決定している。ま
た、スイッチ６３，６４は符号化モード決定手段６５と
フレームモード決定手段６６の制御を受け、フレームモ
ードが第１のフレームの場合には、スイッチ６３および
６４は接点“ａ”側がオンになり、接地信号が各々のス
イッチ６３，６４から減算器５２あるいは加算器５９に
出力される。さらに、フレームモードが第２または第３
のフレームの場合、符号化モードが第１の符号化モード
であれば、スイッチ６３および６４は接点“ａ”側がオ
ンになって、接地信号が減算器５２あるいは加算器５９
に出力され、符号化モードが第１の符号化モード以外で
あれば、スイッチ６３および６４は接点“ｂ”側がオン
になって、減算器５２および加算器５９にはフレーム間
予測器６１の出力が各々のスイッチ６３，６４より出力
される。
【０１００】次に、この実施例において動画像のシーン
チェンジを検出する機構について説明する。計数手段６
７は符号化モード決定手段６５の出力を受けて、現在符
号化中のフレーム内で、第１，第２，第３，第４の符号
化モードがそれぞれ何回使用されるかをカウントする。
そして、情報保持手段６８はフレームモード決定手段６
６の出力であるフレームモード、即ち、現在符号化中の
フレームが第１，第２，第３のフレームのいずれである
かを記憶するとともに、計数手段６７の計数結果も記憶
する。さらに、情報保持手段６８は少なくとも時間的に
連続する２フレームについて、前記フレームモードと、
符号化モードの計数結果を保持する。そして、検出信号
出力手段６９は情報保持手段６８より、時間的に連続す
るフレーム、即ち、注目フレームと注目フレームの１フ
レーム過去に位置するフレーム（以下それを前方フレー
ムと呼ぶ）について、前記フレームモードと、符号化モ
ードの計数結果を取り出し、以下の処理を行う。
【０１０１】まず、注目フレームについて、第１の符号
化モードの使用回数をＮ１、第２の符号化モードの使用
回数をＮ２、第３の符号化モードの使用回数をＮ３、第
４の符号化モードの使用回数をＮ４、同様に前方フレー
ムについて、第１の符号化モードの使用回数をｎ１、第
２の符号化モードの使用回数をｎ２、第３の符号化モー
ドの使用回数をｎ３、第４の符号化モードの使用回数を
ｎ４とする。このとき、検出信号出力手段６９は注目フ
レームと前方フレームの種類に応じて、以下の条件を満
たすか否かを調べ、満たす場合に注目フレームがシーン
チェンジであるという検出信号を出力する。
【０１０２】条件１；注目フレームが第１のフレーム
で、前方フレームが第１または第２のフレームの場合、
検出信号を出力しない。ＭＰＥＧ方式では、図２１から
分かるようにこの条件はほとんど発生しないと考えてよ
い。
【０１０３】条件２；注目フレームが第１のフレーム
で、前方フレームが第３のフレームの場合、あらかじめ
定められたしきい値ｚに対して次式が成立すれば、注目
フレームがシーンチェンジであるという検出信号を出力
する。この条件は、前方フレームが注目フレームの情報
を用いて予測される割合が少ないことを示すものであ
る。
【０１０４】 ｎ２／（ｎ１＋ｎ２＋ｎ３＋ｎ４）＞ｚ ・・・・・・・（８）
【０１０５】また、上記式（８）はこの条件を表わす一
例であり、前方フレームが注目フレームの情報を用いて
予測される割合が少ないことを示すものであれば、以下
に例示するようなこれ以外の条件式を用いることも可能
である。
【０１０６】 ｎ２／（ｎ３＋ｎ４）＞ｚ ・・・・・・・（９）
【０１０７】 （ｎ１＋ｎ２）／（ｎ１＋ｎ２＋ｎ３＋ｎ４）＞ｚ ・・・（１０）
【０１０８】条件３；注目フレームが第２のフレーム
で、前方フレームが第１または第２のフレームの場合、
あらかじめ定められたしきい値ｙに対して次式が成立す
れば、注目フレームがシーンチェンジであるという検出
信号を出力する。ただし、ＭＰＥＧ方式では、図２１か
ら分かるようにこの条件はほとんど発生しないと考えて
よい。この条件は、注目フレームが前方フレームの情報
を用いて予測される割合が少ないことを示すものであ
る。
【０１０９】 Ｎ１／（Ｎ１＋Ｎ２）＞ｙ ・・・・・・・・・（１１）
【０１１０】また、この式（１１）もこの条件を表わす
一例であり、注目フレームが前方フレームの情報を用い
て予測される割合が少ないことを示すものであれば、以
下に例示するようなこれ以外の条件式を用いることも可
能である。
【０１１１】 Ｎ１／Ｎ２＞ｙ ・・・・・・・・・（１２）
【０１１２】条件４；注目フレームが第２のフレーム
で、前方フレームが第３のフレームの場合、あらかじめ
定められたしきい値ｘに対して次式が成立すれば、注目
フレームがシーンチェンジであるという検出信号を出力
する。この条件は、前方フレームが注目フレームの情報
を用いて予測される割合が少ないことを示すものであ
る。
【０１１３】 ｎ２／（ｎ１＋ｎ２＋ｎ３＋ｎ４）＞ｘ ・・・・・・・（１３）
【０１１４】また、この式（１３）もこの条件を表わす
一例であり、前方フレームが注目フレームの情報を用い
て予測される割合が少ないことを示すものであれば、以
下に例示するようなこれ以外の条件式を用いることも可
能である。
【０１１５】 ｎ２／（ｎ３＋ｎ４）＞ｘ ・・・・・・・（１４）
【０１１６】 （ｎ１＋ｎ２）／（ｎ１＋ｎ２＋ｎ３＋ｎ４）＞ｘ ・・・（１５）
【０１１７】条件５；注目フレームが第３のフレーム
で、前方フレームが第１または第２のフレームの場合、
あらかじめ定められたしきい値ｗに対して次式が成立す
れば、注目フレームがシーンチェンジであるという検出
信号を出力する。この条件は、注目フレームが前方フレ
ームの情報を用いて予測される割合が少ないことを示す
ものである。
【０１１８】 Ｎ３／（Ｎ１＋Ｎ２＋Ｎ３＋Ｎ４）＞ｗ ・・・・・・（１６）
【０１１９】また、この式（１６）もこの条件を表わす
一例であり、注目フレームが前方フレームの情報を用い
て予測される割合が少ないことを示すものであれば、以
下に例示するようなこれ以外の条件式を用いることも可
能である。
【０１２０】 Ｎ３／（Ｎ２＋Ｎ４）＞ｗ ・・・・・・・・（１７）
【０１２１】 （Ｎ１＋Ｎ３）／（Ｎ１＋Ｎ２＋Ｎ３＋Ｎ４）＞ｗ ・・・（１８）
【０１２２】条件６；注目フレームが第３のフレーム
で、前方フレームが第３のフレームの場合、あらかじめ
定められたしきい値ｖに対して次式が成立すれば、注目
フレームがシーンチェンジであるという検出信号を出力
する。この条件は、注目フレームが時間的に未来に位置
するフレームの情報を用いて予測され、前方フレームが
時間的に過去に位置するフレームの情報を用いて予測さ
れる割合が多いことを示すものである。
【０１２３】 （ｎ２／（ｎ１＋ｎ２＋ｎ３＋ｎ４）） ×（Ｎ３／（Ｎ１＋Ｎ２＋Ｎ３＋Ｎ４））＞ｖ ・・・（１９）
【０１２４】また、この式（１９）もこの条件を表わす
一例であり、注目フレームが時間的に未来に位置するフ
レームの情報を用いて予測され、前方フレームが時間的
に過去に位置するフレームの情報を用いて予測される割
合が多いことを示すものであれば、以下に例示するよう
なこれ以外の条件式を用いることも可能である。
【０１２５】 （（ｎ１＋ｎ２）／（ｎ１＋ｎ２＋ｎ３＋ｎ４）） ×（（Ｎ１＋Ｎ３）／（Ｎ１＋Ｎ２＋Ｎ３＋Ｎ４））＞ｖ・・・（２０）
【０１２６】 （ｎ２／（ｎ３＋ｎ４））×（Ｎ３／（Ｎ２＋Ｎ４））＞ｖ・・・（２１）
【０１２７】以上の条件は、すべてを用いる必要はな
く、取捨選択することが可能である。例えば、ＭＰＥＧ
方式ではほとんど発生しない条件１，条件３を用いない
ようにしても構わない。
【０１２８】また、上記の条件を満たすフレームが連続
する場合、１フレーム毎にシーンが変化していると考え
ることも可能であり、あるいはこれらのフレームをひと
まとまりのシーンと考えることも可能である。後者に対
しては、検出信号出力手段６９に、上記条件を満たす最
初のフレームと上記条件が満たされなくなった最初のフ
レームに対してのみ検出信号を出力する機能を付加する
ことにより対処可能である。
【０１２９】実施例３６． 次に、この発明の実施例３６を図に基づいて説明する。
図２２は実施例３６を示すブロック図であり、この場合
も動画像符号化部分にＭＰＥＧ方式を用いることを想定
しており、図２０と同一の部分には同一符号を付してそ
の説明を省略する。図において、７０は多重化器５６か
ら出力される符号化データより、動画像のフレームが第
１〜第３のフレームのいずれであるかのフレームモード
を示すデータと、使用されている符号化モードが第１〜
第４の符号化モードのいずれであるかを示すデータとを
分離，抽出して、それらを情報保持手段６８あるいは計
数手段６７に送る多重分離手段である。
【０１３０】次に動作について説明する。多重化器５６
より出力される符号化データは外部に送出される一方、
多重分離手段７０にも入力される。多重分離手段７０は
入力された符号化データよりフレームモードを示すデー
タと符号化モードを示すデータとを分離，抽出して、符
号化モードを示すデータを計数手段６７に、またフレー
ムモードを示すデータを情報保持手段６８にそれぞれ出
力する。そして、それ以降、計数手段６７、情報保持手
段６８、および検出信号出力手段６９によって実施例３
４の場合と同様の手順でシーンチェンジの検出処理が実
行され、検出信号が出力される。
【０１３１】実施例３７． 次に、この発明の実施例３７を図に基づいて説明する。
図２３は実施例３７を示すブロック図で、この場合の動
画像復号化部分はＭＰＥＧ方式で符号化された動画像を
復号することを想定しており、図２２と同一の部分には
同一の符号を付してその説明を省略する。図において、
７１は多重分離手段７０によって符号化データよりフレ
ームモードを示すデータや符号化モードを示すデータと
分離された可変長符号化データを復号する可変長復号器
である。
【０１３２】次に動作について説明する。外部より入力
された符号化データは多重分離手段７０にて可変長符号
化データと、フレームモードを示すデータや符号化モー
ドを示すデータとに分離され、可変長符号化データは可
変長復号器７１に送られて復号される。この可変長復号
器７１による復号結果のうち、ＤＣＴ係数は逆変換器５
８で逆ＤＣＴが施され、逆量子化器５７を経て予測誤差
信号が復元される。そして、加算器５９でスイッチ６４
から与えられるフレーム間予測信号と加算され、画像信
号として外部に出力される。この加算器５９の出力はフ
レームメモリ６０にも記憶され、フレーム間予測信号を
生成するために利用される。
【０１３３】一方、可変長復号器７１によって復号され
た動きベクトルはフレーム間予測器６１に与えられる。
フレーム間予測器６１はこの動きベクトルと、多重分離
手段７０によって分離されたフレームモードを示すデー
タおよび符号化モードを示すデータに基づく制御を受け
て、フレームメモリ６０からフレーム間予測に用いるデ
ータを読み出し、フレーム間予測信号を生成してスイッ
チ６４に与える。また、スイッチ６４は多重分離手段７
０よりフレームモードを示すデータと符号化モードを示
すデータに基づく制御を受けて、フレームモードが第１
のフレームの場合には接点“ａ”側がオンになって接地
信号を出力する。また、フレームモードが第２または第
３のフレームの場合、符号化モードが第１の符号化モー
ドであれば接点“ａ”側がオンになって接地信号がスイ
ッチ６４から出力され、符号化モードが第１の符号化モ
ード以外であれば接点“ｂ”側がオンになってフレーム
間予測器６１の出力がスイッチ６４から出力される。
【０１３４】同図におけるシーンチェンジを検出する機
構は実施例３５と全く同じである。即ち、多重分離手段
７０は、入力された符号化データよりフレームモードを
示すデータと符号化モードを示すデータとを分離，抽出
し、符号化モードを示すデータを計数手段６７に、フレ
ームモードを示すデータを情報保持手段６８に受け渡
す。そして、それ以降、計数手段６７、情報保持手段６
８、および検出信号出力手段６９によって実施例３４の
場合と同様の手順でシーンチェンジの検出処理が実行さ
れ、検出信号が出力される。
【０１３５】実施例３８． なお、実施例３５，実施例３６，実施例３７は各々ハー
ドウェア，ソフトウェアのいずれでも実現可能である。
即ち、ハードウェアとして構成する場合、計数手段６７
はカウンタ、情報保持手段６８はラッチあるいはメモ
リ、検出信号出力手段６９はコンパレータと乗算器，加
算器を組み合わせることにより構成可能である。そし
て、このハードウェアと動画像符号化，復号化を実行す
るハードウェアとの間でフレームモードと符号化モード
とを受け渡すことにより、実施例３５，実施例３６，実
施例３７を実現することができる。一方、ソフトウェア
で実現する場合、計数手段６７、情報保持手段６８、検
出信号出力手段６９はＣＰＵと制御用メモリ、データメ
モリから成る汎用的な計算機構で実現でき、これと動画
像符号化，復号化を実行するハードウェアとの間でフレ
ームモードと符号化モードとを受け渡すことにより、実
施例３５，実施例３６，実施例３７を実現することがで
きる。
【０１３６】また、動画像符号化，復号化をはじめとし
て、シーンチェンジを検出する機構である計数手段６
７、情報保持手段６８、検出信号出力手段６９の全てを
計算機の中でソフトウェア的に実現することも可能であ
る。この場合、実施例３５，実施例３６，実施例３７は
特別なハードウェア無しに、計算機だけでも実現できる
ことは言うまでもない。
【０１３７】
【発明の効果】以上のように、請求項１に記載の発明に
よれば、演算部と計数部によって１フレームごとの予測
誤差を累計し、比較部にて予測誤差の１フレームごとの
累計としきい値とを比較し、その大小関係に基づいてシ
ーンチェンジ検出信号を生成するように構成したので、
計算量やハードウェアを極端に増大させることなくシー
ンチェンジを検出することが可能な動画像の復号化装置
が得られる効果がある。
【０１３８】また、請求項２に記載の発明によれば、計
数部によって１フレームごとの符号化データ量を計数
し、その計数値を比較部で１フレームごとにしきい値と
比較するように構成したので、シーンチェンジの検出に
要する付加的な計算量やハードウェアを少なくすること
ができる効果がある。
【０１３９】また、請求項３に記載の発明によれば、計
数部によって１フレームごとにフレーム内符号化（フレ
ーム間符号化）される画素数を計数し、計数値を比較部
で１フレームごとにしきい値と比較するように構成した
ので、シーンチェンジの検出に要する付加的な計算量や
ハードウェアを少なくすることができる効果がある。
【０１４０】また、請求項４に記載の発明によれば、動
画像の画像信号をフレーム間の相関を利用して符号化す
る際、符号化モードを適応的に切り換えてフレーム間の
相関にて予測誤差が大きいと判定された画素については
フレーム内の相関を利用して符号化した動画像の符号化
データより、多重分離部によってその画素がどちらの符
号化モードで符号化されたかを抽出し、計数部に入力す
るように構成したので、符号化装置や復号化装置の存在
とは関係なく、単に符号化データから必要な情報だけを
抽出して解析するだけでシーンチェンジの検出を可能と
する。
【０１４１】また、請求項５に記載の発明によれば、計
数手段によりフレーム内での符号化モードの使用回数を
計数し、情報保持手段により少なくとも連続する２フレ
ーム分について、フレームモードと、計数手段の計数結
果を保持し、検出信号出力手段により情報保持手段に保
持された情報の内容があらかじめ設定された条件を満た
すか否かを調べて検出信号を出力するように構成したの
で、動画像の符号化に際して計算される各種特徴量を用
いてシーンチェンジを自動的に検出することが可能とな
り、シーンチェンジの検出に要する付加的な計算量やハ
ードウェアを少なくすることができる効果がある。
【０１４２】また、請求項６に記載の発明によれば、多
重分離手段によって、符号化データからフレームモード
と符号化モードを示すデータを分離，抽出して、符号化
モードを示すデータを計数手段に、フレームモードを示
すデータを情報保持手段に送るように構成したので、符
号化の際の特徴量からシーンチェンジを自動的に検出す
ることが可能となり、シーンチェンジ検出のための付加
的な計算量やハードウェアを少なくできる効果がある。
【図面の簡単な説明】
【図１】この発明の実施例１を示すブロック図である。
【図２】この発明の実施例２を示すブロック図である。
【図３】この発明の実施例３を示すブロック図である。
【図４】この発明の実施例６，１１および１６を示すブ
ロック図である。
【図５】この発明の実施例７を示すブロック図である。
【図６】この発明の実施例８を示すブロック図である。
【図７】この発明の実施例９を示すブロック図である。
【図８】この発明の実施例１０を示すブロック図であ
る。
【図９】この発明の実施例１３を示すブロック図であ
る。
【図１０】この発明の実施例１７を示すブロック図であ
る。
【図１１】この発明の実施例１８を示すブロック図であ
る。
【図１２】この発明の実施例１９を示すブロック図であ
る。
【図１３】この発明の実施例２２，２７および３２を示
すブロック図である。
【図１４】この発明の実施例２３を示すブロック図であ
る。
【図１５】この発明の実施例２４を示すブロック図であ
る。
【図１６】この発明の実施例２５を示すブロック図であ
る。
【図１７】この発明の実施例２６を示すブロック図であ
る。
【図１８】この発明の実施例２９を示すブロック図であ
る。
【図１９】この発明の実施例３４を示すブロック図であ
る。
【図２０】この発明の実施例３５を示すブロック図であ
る。
【図２１】この発明の実施例３６を示すブロック図であ
る。
【図２２】ＭＰＥＧ方式の動画像符号化のアルゴリズム
を説明するための説明図である。
【図２３】この発明の実施例３７を示すブロック図であ
る。
【図２４】従来のシーンチェンジ検出装置が適用される
符号化装置および復号化装置の一例を示すブロック図で
ある。
【図２５】従来のシーンチェンジ検出装置におけるシー
ンチェンジ検出のアルゴリズムを示すフローチャートで
ある。
【図２６】従来のシーンチェンジ検出装置におけるシー
ンチェンジ検出のアルゴリズムを示すフローチャートで
ある。
【符号の説明】
１２ 演算部（乗算器） １３ 計数部 １４ 比較部 ２１ 計数部 ２６ 計数部 ２７ 演算部（乗算器） ２８ 計数部 ２９ 比較部 ３５ 計数部 ３８ 計数部 ４２ 動画像符号化データ入力部 ４３ 計数部 ４４ 比較部 ４７ 多重分離部 ４８ 計数部 ４９ 比較部 ６５ 符号化モード決定手段 ６６ フレームモード決定手段 ６７ 計数手段 ６８ 情報保持手段 ６９ 検出信号出力手段 ７０ 多重分離手段
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭62−108687（ＪＰ，Ａ) 特開 平２−254887（ＪＰ，Ａ) 特開 平４−68989（ＪＰ，Ａ) 特開 平２−261264（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/24 - 7/68 H04N 5/91 - 5/956

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項１】 複数のシーンから構成される動画像の画
    像信号を、フレーム間の相関を利用して符号化した符号
    化データを前記画像信号に復号する復号化装置にて、前
    記動画像よりシーンの変化するフレームを自動的に検出
    するためのシーンチェンジ検出装置において、復号され
    た前記フレーム間の予測誤差に対して所定の演算を施す
    演算部と、１フレームごとに前記演算部の出力を累計す
    る計数部と、１フレームの復号が終了する度に前記計数
    部の計数値をしきい値と比較し、その比較結果に基づい
    て現フレームがシーンチェンジであるか否かを示す信号
    を発生する比較部とを備えたことを特徴とするシーンチ
    ェンジ検出装置。
  2. 【請求項２】 複数のシーンから構成される動画像の画
    像信号を、フレーム間の相関を利用して符号化した符号
    化データを前記画像信号に復号する復号化装置にて、前
    記動画像よりシーンの変化するフレームを自動的に検出
    するためのシーンチェンジ検出装置において、当該動画
    像の復号化装置に入力される符号化データの１フレーム
    ごとのデータ量を計数する計数部と、１フレームの復号
    が終了する度に前記計数部の計数値をしきい値と比較
    し、その比較結果に基づいて現フレームがシーンチェン
    ジであるか否かを示す信号を発生する比較部とを備えた
    ことを特徴とするシーンチェンジ検出装置。
  3. 【請求項３】 複数のシーンから構成される動画像の画
    像信号を、フレーム間の相関を利用して符号化する際、
    前記フレーム間の相関にて予測誤差が大きいと判定され
    た画素については、フレーム内の相関を利用して符号化
    した符号化データを前記画像信号に復号する復号化装置
    にて、前記動画像よりシーンの変化するフレームを自動
    的に検出するためのシーンチェンジ検出装置において、
    １フレームごとに前記予測誤差が大きいかあるいは前記
    予測可能と判定された画素の数を計数する計数部と、１
    フレームの復号が終了する度に前記計数部の計数値をし
    きい値と比較し、その比較結果に基づいて現フレームが
    シーンチェンジであるか否かを示す信号を発生する比較
    部とを備えたことを特徴とするシーンチェンジ検出装
    置。
  4. 【請求項４】 複数のシーンから構成される動画像の画
    像信号を、フレーム間の相関を利用して符号化する際、
    フレーム間符号化とフレーム内符号化とを適応的に切り
    換えて、前記フレーム間の相関にて予測誤差が大きいと
    判定された画素についてはフレーム内の相関を利用して
    符号化した動画像の符号化データより、前記画素が前記
    フレーム間符号化とフレーム内符号化のいずれによって
    符号化されたかを示す符号化モードを抽出する多重分離
    部と、１フレームごとに前記符号化モードを計数し、前
    記フレーム間予測可能あるいはフレーム間予測誤差が大
    きいと判定された画素の数を算出する計数部と、１フレ
    ームごとに前記計数部の計数値をしきい値と比較し、そ
    の比較結果に基づいてそのフレームがシーンチェンジで
    あるか否かを示す信号を発生する比較部とを備えたシー
    ンチェンジ検出装置。
  5. 【請求項５】 動画像のフレームを複数の領域に分割し
    た各領域毎の符号化モードとして、現フレームの情報を
    用いて符号化する第１の符号化モード、既に符号化され
    た時間的に過去に位置するフレームの情報を用いて符号
    化する第２の符号化モード、既に符号化された時間的に
    未来に位置するフレームの情報を用いて符号化する第３
    の符号化モード、あるいは既に符号化された時間的に過
    去に位置するフレームの情報と既に符号化された時間的
    に未来に位置するフレームの情報とを用いて符号化する
    第４の符号化モード中のいずれを用いるかを決定する符
    号化モード決定手段と、この符号化モード決定手段の出
    力より、前記フレーム内での前記各符号化モードの生起
    頻度を計数する計数手段と、前記動画像のフレームのフ
    レームモードが、前記第１の符号化モードだけを用いて
    符号化される第１のフレーム、前記第１の符号化モード
    と第２の符号化モードのいずれかを用いて符号化される
    第２のフレーム、あるいは第１ないし第４の符号化モー
    ドのいずれかを用いて符号化される第３のフレーム中の
    いずれであるかを決定するフレームモード決定手段と、
    前記フレームモード決定手段の出力であるフレームモー
    ドとの出力、および前記計数手段の計数結果を少なくと
    も時間的に連続する２フレーム分保持する情報保持手段
    と、前記情報保持手段に保持されている各フレームにお
    ける分割された複数領域毎の符号化モードの使用回数を
    上記連続するフレームモードの組み合わせの種類に応じ
    て比較し、その比較結果に基づいてそのフレームがシー
    ンチェンジであるか否かを示す検出信号を出力する検出
    信号出力手段とを備えたシーンチェンジ検出装置。
  6. 【請求項６】 動画像のフレームを複数の領域に分割
    し、各領域毎に、現フレームの情報を用いて符号化する
    第１の符号化モードと、既に符号化された時間的に過去
    に位置するフレームの情報を用いて符号化する第２の符
    号化モードと、既に符号化された時間的に未来に位置す
    るフレームの情報を用いて符号化する第３の符号化モー
    ドと、既に符号化された時間的に過去に位置するフレー
    ムの情報と既に符号化された時間的に未来に位置するフ
    レームの情報とを用いて符号化する第４の符号化モード
    とを適応的に切り換えることにより、前記動画像のフレ
    ームを、前記第１の符号化モードだけを用いて符号化さ
    れる第１のフレームと、前記第１の符号化モードと第２
    の符号化モードのいずれかを用いて符号化される第２の
    フレームと、第１ないし第４の符号化モードのいずれか
    を用いて符号化される第３のフレームとに分けて符号化
    した符号化データから、前記フレームが前記第１ないし
    第３のフレームのいずれであるかのフレームモードを示
    すデータ、および前記第１ないし第４の符号化モードの
    いずれが使用されているかを示すデータとを抽出する多
    重分離手段と、前記多重分離手段の出力より、前記フレ
    ーム内での前記各符号化モードの生起頻度を計数する計
    数手段と、多重分離手段から得られる前記フレームモー
    ドを示すデータと前記計数手段の計数結果とを少なくと
    も時間的に連続する２フレーム分保持する情報保持手段
    と、前記情報保持手段に保持されている各フレームにお
    ける分割された複数領域毎の符号化モードの使用回数を
    フレームモードの組み合わせの種類に応じて比較し、そ
    の比較結果に基づいてそのフレームがシーンチェンジか
    否かを示す検出信号を出力する検出信号出力手段とを備
    えたシーンチェンジ検出装置。
JP35161592A 1992-03-06 1992-12-09 シーンチェンジ検出装置 Expired - Fee Related JP3093499B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP35161592A JP3093499B2 (ja) 1992-03-06 1992-12-09 シーンチェンジ検出装置
US08/787,449 US5815217A (en) 1992-03-06 1997-01-22 Scene-change detector for a moving image composed of a plurality of frames

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP8304992 1992-03-06
JP4-141089 1992-05-07
JP14108992 1992-05-07
JP4-83049 1992-05-07
JP35161592A JP3093499B2 (ja) 1992-03-06 1992-12-09 シーンチェンジ検出装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP11240073A Division JP2000078585A (ja) 1992-03-06 1999-08-26 シ―ンチェンジ検出装置

Publications (2)

Publication Number Publication Date
JPH0622304A JPH0622304A (ja) 1994-01-28
JP3093499B2 true JP3093499B2 (ja) 2000-10-03

Family

ID=27304109

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35161592A Expired - Fee Related JP3093499B2 (ja) 1992-03-06 1992-12-09 シーンチェンジ検出装置

Country Status (2)

Country Link
US (1) US5815217A (ja)
JP (1) JP3093499B2 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2606599B2 (ja) * 1994-09-09 1997-05-07 日本電気株式会社 対数増幅回路
MY118360A (en) * 1996-04-30 2004-10-30 Nippon Telegraph & Telephone Scheme for detecting shot boundaries in compressed video data using inter-frame/inter field prediction coding and intra-frame/intra-field coding
JP3377678B2 (ja) * 1996-05-30 2003-02-17 日本電信電話株式会社 符号化映像カット検出方法
JP3496907B2 (ja) * 1996-05-24 2004-02-16 株式会社日立国際電気 音声・動画像符号化データ検索方法及び検索装置
JP3377677B2 (ja) 1996-05-30 2003-02-17 日本電信電話株式会社 映像編集装置
JPH09322174A (ja) * 1996-05-30 1997-12-12 Hitachi Ltd 動画データの再生方法
US6115420A (en) * 1997-03-14 2000-09-05 Microsoft Corporation Digital video signal encoder and encoding method
JPH1132294A (ja) * 1997-07-09 1999-02-02 Sony Corp 情報検索装置および方法、並びに伝送媒体
US6137844A (en) * 1998-02-02 2000-10-24 Oki Telecom, Inc. Digital filter for noise and error removal in transmitted analog signals
JP3738939B2 (ja) * 1998-03-05 2006-01-25 Ｋｄｄｉ株式会社 動画像のカット点検出装置
JP4427827B2 (ja) * 1998-07-15 2010-03-10 ソニー株式会社 データ処理方法、データ処理装置及び記録媒体
JP4171940B2 (ja) * 1998-09-09 2008-10-29 ソニー株式会社 送信装置、受信装置、送信方法及び受信方法
KR100618972B1 (ko) * 1999-08-02 2006-09-01 삼성전자주식회사 가변장 코딩 방법 및 장치
JP3644320B2 (ja) * 1999-09-17 2005-04-27 日本電気株式会社 制御コード読み込みシステム
JP2001268575A (ja) 2000-03-14 2001-09-28 Pioneer Electronic Corp 画像変化検出装置及び画像変化検出方法、画像符号化装置並びに画像変化検出用プログラムがコンピュータで読取可能に記録された情報記録媒体
JP2001292372A (ja) 2000-04-04 2001-10-19 Pioneer Electronic Corp 画像変化検出装置及び画像変化検出方法、画像符号化装置並びに画像変化検出用プログラムがコンピュータで読取可能に記録された情報記録媒体
JP2002077723A (ja) * 2000-09-01 2002-03-15 Minolta Co Ltd 動画像処理装置、動画像処理方法および記録媒体
US7224892B2 (en) * 2001-06-26 2007-05-29 Canon Kabushiki Kaisha Moving image recording apparatus and method, moving image reproducing apparatus, moving image recording and reproducing method, and programs and storage media
US20030219232A1 (en) * 2001-10-01 2003-11-27 Shu Lin System and method for identifying data on a storage medium
JP3560958B2 (ja) 2002-04-17 2004-09-02 三菱電機株式会社 動画符号化制御方法および装置
US7116374B2 (en) * 2003-08-26 2006-10-03 Koplar Interactive Systems International, L.L.C. Method and system for enhanced modulation of video signals
JP4574983B2 (ja) * 2003-11-04 2010-11-04 オリンパス株式会社 画像表示装置、画像表示方法、及び画像表示プログラム
US7664175B1 (en) 2004-06-16 2010-02-16 Koplar Interactive Systems International, L.L.C. Mark-based content modulation and detection
CN1976604B (zh) 2005-01-28 2010-10-27 株式会社Utax 具有裆部的衣服
US8296662B2 (en) * 2007-02-05 2012-10-23 Brother Kogyo Kabushiki Kaisha Image display device
US8798133B2 (en) * 2007-11-29 2014-08-05 Koplar Interactive Systems International L.L.C. Dual channel encoding and detection
WO2014080253A1 (en) * 2012-11-26 2014-05-30 Golden Boy Technology & Innovation S.R.L. Automated filming process for sport events

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8603880D0 (en) * 1986-02-17 1986-03-26 Indep Broadcasting Authority Hybrid interpolative predictive code
US4698672A (en) * 1986-10-27 1987-10-06 Compression Labs, Inc. Coding system for reducing redundancy
US4885636A (en) * 1987-06-22 1989-12-05 Eastman Kodak Company Block adaptive linear predictive coding with adaptive gain and bias
US4942467A (en) * 1988-12-05 1990-07-17 General Electric Company Predictor controlled encoder for digital transmission systems
JPH02174387A (ja) * 1988-12-26 1990-07-05 Graphics Commun Technol:Kk 画像符号化装置
JPH02174388A (ja) * 1988-12-26 1990-07-05 Graphics Commun Technol:Kk 画像符号化装置
JP2675130B2 (ja) * 1989-03-29 1997-11-12 株式会社日立製作所 画像データ転送再生方法および転送再生装置
FR2645383B1 (fr) * 1989-03-31 1997-06-27 Thomson Consumer Electronics Procede et dispositif d'interpolation temporelle d'images, a compensation de mouvement corrigee
WO1990016130A1 (en) * 1989-06-19 1990-12-27 Fujitsu Limited Dynamic image encoder and dynamic image decoder
EP0405842A3 (en) * 1989-06-26 1993-03-03 Matsushita Electric Industrial Co., Ltd. Picture coding method
US5164828A (en) * 1990-02-26 1992-11-17 Sony Corporation Video signal transmission and method and apparatus for coding video signal used in this
US5150432A (en) * 1990-03-26 1992-09-22 Kabushiki Kaisha Toshiba Apparatus for encoding/decoding video signals to improve quality of a specific region
US5347309A (en) * 1991-04-25 1994-09-13 Matsushita Electric Industrial Co., Ltd. Image coding method and apparatus
US5151784A (en) * 1991-04-30 1992-09-29 At&T Bell Laboratories Multiple frame motion estimation
JPH04334188A (ja) * 1991-05-08 1992-11-20 Nec Corp 動画像信号の符号化方式
JP3067275B2 (ja) * 1991-05-23 2000-07-17 日本放送協会 シーンチェンジ検出装置
JPH04354488A (ja) * 1991-05-31 1992-12-08 Toshiba Corp 動画像符号化装置
US5227878A (en) * 1991-11-15 1993-07-13 At&T Bell Laboratories Adaptive coding and decoding of frames and fields of video
JPH05284369A (ja) * 1992-03-31 1993-10-29 Fujitsu Ltd 画像データ符号化・復元方法及びその装置
WO1994011992A1 (en) * 1992-11-17 1994-05-26 Fujitsu Limited Digital video communication apparatus
US5497338A (en) * 1993-04-09 1996-03-05 Sharp Kabushiki Kaisha Motion vector detecting circuit

Also Published As

Publication number Publication date
US5815217A (en) 1998-09-29
JPH0622304A (ja) 1994-01-28

Similar Documents

Publication Publication Date Title
JP3093499B2 (ja) シーンチェンジ検出装置
US7023914B2 (en) Video encoding apparatus and method
KR100873586B1 (ko) 미디어 프로세서에서 ｍｐｅｇ２ 디코딩의 동적인 복잡도예측 및 조절
KR100453714B1 (ko) Ｍｐｅｇ 영상 압축 기술을 이용한 디지털 영상 저장장치에서의 움직임 검출 장치 및 그 방법
EP2408207A2 (en) Adaptive quantization in multi-view image coding
JP2007251453A (ja) 動画像符号化装置及びプログラム
JP3633159B2 (ja) 動画像信号符号化方法及び装置、並びに動画像信号伝送方法
JP3667105B2 (ja) 動きベクトル検出方法及びその方法を実施する装置
WO2005062625A1 (ja) 動画像を符号化する方法及び装置
JP4494803B2 (ja) 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置
US6408101B1 (en) Apparatus and method for employing M-ary pyramids to enhance feature-based classification and motion estimation
EP1374595A2 (en) Video coding method and device
KR20050085730A (ko) 탄력 저장
JP3812808B2 (ja) スキップ領域検出型動画像符号化装置および記録媒体
JP4169767B2 (ja) 符号化方法
JPH10108197A (ja) 画像符号化装置、画像符号化制御方法および画像符号化制御用プログラムを記録した媒体
JP2000078585A (ja) シ―ンチェンジ検出装置
KR20150137081A (ko) 복수의 입력 화상을 인코딩하는 방법, 프로그램을 격납하는 기억 매체 및 장치
JPH10126794A (ja) 動き予測フレーム間画像信号圧縮装置
JP2005151167A (ja) 動き補償予測符号化装置及び動き補償予測符号化プログラム
JPH07298270A (ja) 動き補償フレーム間予測符号化装置
JPH06105299A (ja) 動画像圧縮装置
JP3799842B2 (ja) 静的映像検出方法、及び装置
JP3188081B2 (ja) 画像符号化方法および画像符号化装置
JPH10191347A (ja) 動き検出装置、動き検出方法、及び、記憶媒体

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070728

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080728

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090728

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100728

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100728

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110728

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees