JPH0654315A - 動画像符号化方法及び装置 - Google Patents

動画像符号化方法及び装置

Info

Publication number
JPH0654315A
JPH0654315A JP20553392A JP20553392A JPH0654315A JP H0654315 A JPH0654315 A JP H0654315A JP 20553392 A JP20553392 A JP 20553392A JP 20553392 A JP20553392 A JP 20553392A JP H0654315 A JPH0654315 A JP H0654315A
Authority
JP
Japan
Prior art keywords
frame
block
coding
encoding
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP20553392A
Other languages
English (en)
Inventor
Mitsuru Maeda
充 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP20553392A priority Critical patent/JPH0654315A/ja
Publication of JPH0654315A publication Critical patent/JPH0654315A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【目的】 検出されたシーンチェンジに応じて、効率良
く動画像を符号化する。 【構成】 複数枚のフレームで構成されている動画像を
フレーム内符号化を行うフレームと動き補償を行って符
号化するフレームとに分類して符号化する方法におい
て、シーンチェンジを検出し、シーンチェンジのフレー
ムに対してフレーム内符号化を再度行うことを特徴とす
る。また、符号化するフレームを複数のブロックに分割
し、各ブロックに対応する既に符号化されたフレームを
参照して動きベクトルを算出し、予測ブロックを求め、
予測誤差を符号化する動画像符号化装置において、符号
化の際に利用される動きベクトルを参照するフレーム毎
に計数し、該計数値によってシーンチェンジを検出する
ことを特徴とする。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は動画像を符号化するフレ
ームの前後のフレームを参照して動きベクトルを求め、
動き補償を行う動画像符号化においてシーンチェンジを
検出する動画像符号化方法に及び装置に関するものであ
る。
【0002】
【従来の技術】従来から動画像の符号化方式として、フ
レーム間相関を利用した符号化が知られている。近年で
はフレームを複数のブロックに分割して符号化済みのフ
レームの中から符号化するブロックに類似したブロック
を探索し、その位置のずれを動きベクトルとし、類似ブ
ロックを予測ブロックとして符号化するブロックとの差
分を求め、これを予測誤差として動きベクトルとともに
符号化する、動き補償符号化方式が中心である。特に符
号化特性が良好なことから、予測誤差に離散コサイン変
換を施し、得られた係数を量子化してから符号化される
方式が考えられている。さらに類似ブロックが探索でき
なかったり、予測誤差が非常に大きかったりした場合、
符号化ブロックを動き補償をせずにブロック内の符号化
を施すことによって画質の改善をはかっている。動き補
償をせずに、他の動き補償を行うフレームより多い情報
量でフレーム内符号化を実施するリフレッシュフレーム
を定期的に挿入することによって、符号化による劣化を
低減する方式が知られている。また、動き補償の手段と
して、1枚またはそれ以上のフレームを飛ばしたフレー
ムをまず符号化し、その次に飛ばされたフレームを符号
化するときにすでに符号化されたフレームが前後にある
のでこれらのフレームの両方に対して動きベクトルを求
めて動き補償を実施する符号化方式がある。これらの符
号化手法は通信のみならずメディアへの蓄積に最適な手
法であり、逆転再生等の機能を実現するのに好適な手法
である。(参考文献:「技術解説:動画像・音声の符号
化及びマルチメディア同期の国際標準化」−山田、尾上
(JVC)画像電子学会誌 第19巻第4号(199
0)pp.236〜242)図5にハードウェア化実現
の一例のブロック図を示す。同図において、501、5
02、513は動画像の1フレームを格納しておくフレ
ームメモリである。503はフレームメモリ1から順に
切り出した原ブロックについて、フレームメモリ502
を探索して動きベクトルを求める動きベクトル検出器で
ある。504は動きベクトル検出器503によって求め
られた動きベクトルによってフレームメモリ502から
予測ブロックを生成し、原ブロックとの予測誤差ブロッ
クを求める動き補償器である。505は原ブロック内部
の分散値を演算するブロック評価器である。506は予
測誤差ブロック内部の分散値を演算するブロック評価器
である。507はブロック評価器505、506からの
出力から原ブロックの符号化モードを決定する、符号化
モード決定器である。508、509はブロックを一時
格納して同期を確保するための遅延器である。510は
符号化モード決定器507からの出力に従って遅延器5
08、509からの出力を選択するセレクタである。5
11はブロック単位で符号化モード決定器507の出力
である符号化モードと、セレクタ510の出力であるブ
ロック情報、と動きベクトル検出器503の出力である
動きベクトルを入力して符号化する符号化器である。5
14は符号化された符号をいったん復号する複号器であ
る。上記のような動き補償を行い予測誤差を符号化する
動画像符号化において、画像の内容が大きく異なるシー
ンチェンジの付近では符号化効率が極端に低下したり、
画質の劣化が目だつという欠点がある。
【0003】
【発明が解決しようとしている課題】しかしながら、全
ての画素について差分の演算を行うためには大規模のハ
ードウェアが必要であり、演算時間も長くかかった。ま
た、符号化を実行する場合でも全フレームに対して全画
素の差分値を演算するので、シーンチェンジの無いフレ
ームでも演算するという無駄があった。
【0004】そこで、本発明は、検出されたシーンチェ
ンジに応じて効率の良い符号化を行うことができる動画
像符号化方法及び装置を提供することを目的とする。
【0005】
【課題を解決するための手段及び作用】上記課題を解決
するため、本発明の動画像符号化方法及び装置は、符号
化を行いながら、各ブロックが前後のどのフレームを多
く参照して動き補償を行ったかを計数する手段、または
他のフレームの参照の有無を計数する手段を設け、その
結果からシーンチェンジを検出する手段を設けることを
特徴とする。ここでシーンチェンジの判断は計数値と閾
値の比較によって行い、閾値は予め決定しておいたり、
符号化を進めながら更新する。
【0006】
【実施例】(第1実施例)図1は本発明を施した動画像
符号化器のブロック図である。同図おいて、1、2は動
画像の1フレームを格納しておくフレームメモリであ
る。3はフレームメモリ1から順に切り出した符号化す
るブロック(以下、原ブロックと呼称する)について、
フレームメモリ2を探索して動きベクトルを求める動き
ベクトル検出器である。4は動きベクトル検出器3によ
って求められた動きベクトルによってフレームメモリ2
から予測ブロックを生成し、原ブロックとの予測誤差ブ
ロックを求める動き補償器である。5は原ブロック内部
の分散値を演算するブロック評価器である。6は予測誤
差ブロック内部の分散値を演算するブロック評価器であ
る。7はブロック評価器5、6からの出力から原ブロッ
クの符号化モードを決定する、符号化モード決定器であ
る。8、9はブロックを一時格納して同期を確保するた
めの遅延器である。10は符号化モード決定器7からの
出力に従って遅延器8、9からの出力を選択するセレク
タである。11は符号化モード決定器7の出力の符号化
モードの数を計数する計数器である。12はフレームの
符号化が終了した時点で計数器11から出力された計数
値を端子17から入力された閾値と比較する比較器であ
る。13はブロック単位で符号化モード決定器7の出力
である符号化モードと、セレクタ10の出力であるブロ
ック情報、と動きベクトル検出器3の出力である動きベ
クトルを入力して符号化する符号化器である。14は符
号化された符号を復号する復号器である。15はフレー
ムメモリであり、復号化された画像を格納しておく。2
0は符号化データをフレーム毎に出力するバッファであ
る。21はシーンチェンジ検出部を表す。
【0007】実施例説明を簡単にするために図3に示す
とおり、6フレームごとにフレーム内符号化を行うリフ
レッシュフレームを挿入し、他のフレームは時間的に前
の符号化済みのフレームから動き補償を行うことにす
る。ここで、フレーム内符号にブロック単位で離散コサ
イン変換を施し、得られた変換係数に量子化を施して符
号化を行うことにする。ブロックサイズは説明のために
8×8とし画像のサイズを320×240とする。入力
する画像は輝度・色度に分離したものを例として説明す
る。
【0008】制御装置(図示せず)は符号化するフレー
ムを1枚ずつ順に読み込み、フレームのモードがフレー
ム内符号化モードか、動き補償モードかを指示し、符号
化器の動作を統制している。
【0009】制御装置は符号化に先立ち、また、各装置
の初期化を実施する。端子17から1フレーム内のブロ
ック数の半分である600を入力しておく。
【0010】符号化するフレームがフレーム内符号化モ
ードである場合は以下のように符号化を行う。端子16
から原画像の輝度・色度情報を入力し、フレームメモリ
1に格納する。符号化モード器決定器7は第1フレーム
の符号化が終わるまで、ブロック内符号化を実施するブ
ロック内符号モードに固定する。計数器は動作させな
い。バッファ20は空にしておく。制御装置からの指示
に従って、フレームメモリ1から主走査方向に、原ブロ
ックを切り出し、遅延器8を経て、セレクタ10に入力
する。符号化モード決定器7がブロック内符号化モード
を出力し続けているので、本フレームでは常に遅延器8
の出力が選択される。符号化器13は、フレームの最初
に本フレームのモードがフレーム内符号化モードである
ことと、画像サイズを符号化してバッファ20に出力す
る。これに続いて、各原ブロック毎に離散コサイン変換
を施し、得られた変換係数を量子化して符号を割り当
て、バッファ20に蓄積すると同時に復号器14に出力
する。バッファ20はフレームの全てのブロックについ
て符号化を終了した後、制御装置からの指示を待って端
子19から外部に出力する。復号側では、まず、フレー
ムモードと画像サイズを受信し、復号する。さらに復号
を続け、離散コサイン変換の量子化結果の8×8の全係
数がたまり次第、逆量子化、逆離散コサイン変換を施し
て復号画素値を得る。画像サイズからブロックの再生位
置は自然に決定され、最後のブロックが復号された後は
次のフレームモードがくるまで待機している。同様のこ
とを復号器14で実施し、フレームメモリ15に復号画
像を格納しておく。その後に制御装置はバッファ20に
対して端子19からの送信を開始させ、送信が終了した
場合にバッファ20は送信の終了を制御装置に伝える。
制御装置の送信の終了を検知した後に次のフレームの符
号化を開始する。
【0011】符号化するフレームが動き補償モードであ
る場合は以下のように符号化を行う。フレームの処理を
開始する前に、制御装置はフレームメモリ15の内容を
フレームメモリ2に移しておきフレームメモリ15をク
リアしておく。もし、直前のフレームがフレーム内符号
化モードであれば、符号化モード決定器7のフレーム内
符号化モードの固定を解除しておく。さらに、バッファ
20の内容をクリアし、計数器は計数値を0にリセット
しておく。その後、次のフレームのデータを端子16か
ら原画像の輝度・色度情報を入力し、フレームメモリ1
に格納する。
【0012】制御装置からの指示に従って、フレームメ
モリ1から主走査方法に順に原ブロックを切り出す。以
下に各ブロックの処理について記述する。切出された原
ブロックは動きベクトル検出器3に入力される。動きベ
クトル検出器3は、フレームメモリ2の画像(直前の符
号化済みのフレーム)内の原ブロック位置(これはブロ
ック数をカウントすることにより一意に決まる)を中心
として主走査、副走査方向に対して±15画素の領域に
対して類似度の高いブロックを全探索によって検出し、
動きベクトルを求める。求められた動きベクトルは動き
補償器4に入力される。動き補償器4はこの動きベクト
ルに従ってフレームメモリ2から予測ブロックを切り出
してくる。同時にフレームメモリ1から原ブロックを入
力し、予測ブロックと画素毎に差分をとり、この差分値
からなる予測誤差ブロックを求め、出力する。その後、
原ブロックと予測誤差ブロックはそれぞれ遅延器8、9
に格納される。原ブロックのデータはブロック評価器5
に入力され、まず、ブロック内平均M0 を求め、次にブ
ロック内の標準偏差値σ0 を演算する。同様に予測誤差
ブロックのデータはブロック評価器6に入力され、ブロ
ック内平均ME とブロック内標準偏差値σE を演算す
る。これらの標準偏差値σ0 ,σE は符号化モード決定
器7に入力される。符号化モード決定器7はこれらの標
準偏差の次式の大小関係からこのブロックの符号化モー
ドを決定する。
【0013】 ifσE >σ0 :符号化モードはブロック内符号化モー
ド ifσE ≦σ0 :符号化モードは動き補償モード
【0014】この符号化モードはシーンチェンジ検出部
21の計数器11に入力され、ブロック内符号化モード
であったブロックの数を計数する。同時に符号化モード
はセレクタ10にも供給され、符号化モードがブロック
内符号化である場合は遅延器8の出力である原ブロック
データを、動き補償モードであれば遅延器9の出力であ
る予測誤差ブロックをそれぞれ選択して出力する。符号
化器13は最初に本フレームのモードが動き補償フレー
ムであることと、は画像サイズを符号化してバッファ2
0に出力する。以降、ブロック毎に符号化するブロック
の符号化モードを符号化する。符号化モードがブロック
内符号化モードであれば、ブロックの符号化モードを符
号化し、原ブロックに離散コサイン変換を施して得られ
た変換係数を量子化して符号を割り当てる。符号化モー
ドが動き補償モードであれば、まず、ブロックの符号化
モード、動きベクトルの符号化を行い、続いて求められ
た予測誤差ブロックに離散コサイン変換を施し、得られ
た変換係数を量子化して符号を割り当てる。これらの符
号はバッファ20に蓄積すると同時に復号器14に出力
される。復号器14では、リフレッシュフレームと同様
にまず、フレームモードと画像サイズを受信し、復号す
る。さらに各ブロック毎に、符号化モードを復号し、符
号化モードがフレーム内符号化モードであれば離散コサ
イン変換の量子化結果の8×8の全係数がたまり次第、
逆量子化、逆離散コサイン変換を施し、復号結果の8×
8の全係数がたまり次第、逆量子化、逆離散コサイン変
換を施し、復号誤差ブロックを得る。この誤差ブロック
と前出の復号済の画素ブロックとを加算して復号画素値
を得る。画像サイズからブロックの再生位置は自然に決
定され、最後のブロックが復号された後は次のフレーム
の符号化データがくるまで待機している。同様のことを
復号器14で実施し、フレームメモリ15に復号画像を
格納しておく。
【0015】全てのブロックについて符号化処理を実施
した後に、シーンチェンジ検出部21の計数器11はブ
ロック内符号化モードの計数値を比較器12に入力し、
あらかじめ設定された閾値600と比較する。もし、ブ
ロック内符号化モードであったブロックの数が600よ
りも大きければ、端子18からシーンチェンジの検出を
制御装置に知らせる。制御装置はシーンチェンジの検出
を受けて、全体の動作をいったん停止し、符号化するフ
レームのモードを動き補償モードからフレーム内符号化
モードに変更し、再度、そのフレームの符号化をやし直
す。閾値よりも計数値が低いかまたは等しければ、制御
装置はバッファ20内のフレームの内容を端子19から
外部に出力する。
【0016】(第2実施例)図2は本発明を施した動画
像符号化器のブロック図である。同図において、10
0、101、102、103は動画像の1フレームを格
納しておくフレームメモリである。104はフレームメ
モリ100、101からの出力を選択するセレクタであ
る。105はフレームメモリ100または101から順
に切り出した原ブロックについて、フレームメモリ10
2を探索して動きベクトルを求める動きベクトル検出器
である。106はフレームメモリ100または101か
ら順に切り出した原ブロックについて、フレームメモリ
103を探索して動きベクトルを求める動きベクトル検
出器である。107は動きベクトル検出器105によっ
て求められた動きベクトルによってフレームメモリ10
2から予測ブロックを生成し、原ブロックとの予測誤差
ブロックを求める動き補償器である。108は動きベク
トル検出器106によって求められた動きベクトルによ
ってフレームメモリ103から予測ブロックを生成し、
原ブロックとの予測誤差ブロックを求める動き補償器で
ある。109は原ブロック内部の2乗和を演算するブロ
ック評価器である。110、111は予測誤差ブロック
内部の2乗和を演算するブロック評価器である。112
はブロック評価器109、110、111からの出力か
ら原ブロックの符号化モードを決定する、符号化モード
決定器である。113、114、115はブロックを一
時格納して同期を確保するための遅延器である。116
は符号化モード決定器112からの出力に従って遅延器
113、114、115からの出力を選択するセレクタ
である。117は符号化モード決定器112からの出力
に従って動きベクトル検出器106、107からの出力
を選択するセレクタである。120は符号化モード決定
器112の出力の符号化モードの数をモード毎に計数す
る計数器である。121はフレームの符号化が終了した
時点で計数器120から出力された計数値を閾値と比較
する比較器である。122は計数器120の計数値から
閾値を決定する閾値決定器である。119はブロック単
位で符号化モード決定器112の出力である符号化モー
ドと、セレクタ116、117の出力であるブロック情
報と動きベクトル情報を入力して符号化する符号化器で
ある。118は符号化された符号を復号する復号器であ
る。127はシーンチェンジ検出部を表す。
【0017】実施例説明を簡単にするために図4に示す
とおり、30フレーム毎にフレーム内符号化を行うリフ
レッシュフレームを挿入する。残りのフレームは奇数番
目のフレームは直前の奇数番目のフレームからのみの動
き補償を行う。そこで奇数番目のフレームを飛び越し符
号化フレームと呼ぶ。この飛び越し符号化フレームは直
前の偶数番目のフレームより先に符号化を実行する。偶
数番目のフレームは前後のフレームがすでに符号化され
ているので両方のフレームを参照することが可能であ
る。そこで偶数番目のフレームを両方向予測フレームと
呼ぶ。時間的に前後の符号化済みのフレームから動き補
償を行う。さらに、ここでは、フレーム内符号にブロッ
ク単位で離散コサイン変換を施し、得られた変換係数に
量子化を施して符号化を行うことにする。ブロックサイ
ズは説明のために8×8とし、画像のサイズを320×
240とする。入力する画像は輝度・色度に分離したも
のを例として説明する。
【0018】制御装置(図示せず)は符号化するフレー
ムを1枚ずつ順に読み込み、フレームのモードがフレー
ム内符号化モードか、飛び越しモードか、両方向動き補
償モードを指示し、符号化器の動作を統制している。
【0019】制御装置は符号化に先立ち、また、各装置
の初期化を実施する。比較器の閾値を600にセットし
ておく。
【0020】符号化するフレームがフレーム内符号化モ
ードである場合は以下のように符号化を行う。端子12
3から原画像を入力し、フレームメモリ100に格納す
る。符号化モード器決定器112は本フレームの符号化
が終わるまで、ブロック内符号化を実施するブロック内
符号化モードに固定し、計数器120は本フレームでは
作動させない。また、セレクタ104はバッファ126
は空にしておく。制御装置からの指示に従って、フレー
ムメモリ100から主走査方向の順に、原ブロックを切
り出し、セレクタ104に入力する。セレクタ104は
本フレームモードでは常にフレームメモリ100の出力
を選択するので、切出された原ブロックは遅延器113
を経てセレクタ116に入力される。符号化モード決定
器112がブロック内符号化モードを出力し続けている
ので、本フレームでは常に遅延器113の出力が選択さ
れる。符号化器119は、フレームの最初に本フレーム
のモードがフレーム内符号化モードであることと、画像
サイズを符号化してバッファ126に出力する。これに
続いて、符号化器119は原ブロック毎に離散コサイン
変換を施し、得られた変換係数を量子化して符号を割り
当て、バッファ126に蓄積すると同時に復号器118
に出力する。バッファ126はフレームの全てのブロッ
クについて符号化を終了した後、制御装置からの指示を
待って端子125から外部に出力する。復号側では、ま
ず、フレームモードと画像サイズを受信し、復号する。
さらに復号を続け、離散コサイン変換の量子化結果の8
×8の全係数がたまり次第、逆量子化、逆離散コサイン
変換を施して復号画素値を得る。画像サイズからブロッ
クの再生位置は自然に決定され、最後のブロックが復号
された後は次のフレームモードがくるまで待機してい
る。同様のことを復号器118で実施し、フレームメモ
リ102に復号画像を格納しておく。その後に制御装置
はバッファ126に対して端子125からの送信を開始
させる。送信が終了した場合、バッファ126は送信の
終了を制御装置に伝える。制御装置の送信の終了を検知
した後に次のフレームの符号化を開始する。
【0021】入力されるフレームが両方向動き補償モー
ドである場合には、端子123から入力されたフレーム
をフレームメモリ101に格納し、次のフレーム(飛び
越しフレームかフレーム内符号化フレーム)を入力しフ
レームメモリ101に格納し、先に飛び越しフレームま
たはフレーム内符号化フレームを符号化し、その後に両
方向動き補償フレームを処理する。
【0022】符号化するフレームが飛び越しモードであ
る場合は以下のように符号化を行う。フレームの処理を
開始する前に、もし、直前のフレームがフレーム内符号
化モードであれば、符号化モード決定器112のフレー
ム内符号化モードの固定を解除しておく。さらに、バッ
ファ126の内容をクリアし、計数器120は計数値を
0にリセットしておく。また、セレクタ104がフレー
ムメモリ101からの出力を選択するようにし、バッフ
ァ126は空にしておく。その後、次のフレームのデー
タを端子123から原画像を入力し、フレームメモリ1
00に格納する。
【0023】制御装置からの指示に従って、フレームメ
モリ100から主走査方向の順に、原ブロックを切り出
し、セレクタ104を経て、動きベクトル検出器105
に入力する。動きベクトル検出器105は入力された原
ブロックデータとフレームメモリ102の画像(直前の
符号化済みのフレーム内符号化フレーム、または符号化
済みの飛び越しフレーム)内の原ブロック位置(これは
ブロック数をカウントすることにより一意に決まる)か
ら、原ブロックの位置を中心として主走査、副走査方向
に対して±31画素の領域に対して全探索によって動き
ベクトルを検出する。検出された動きベクトルは動き補
償器107に入力される。動き補償器107はこの動き
ベクトルに従ってフレームメモリ102から予測ブロッ
クデータを切り出してくる。同時にフレームメモリ10
0からセレクタ104を経て、原ブロックを入力し、予
測ブロックと画素毎に差分をとり、この差分値からなる
予測誤差ブロックを求め、出力する。その後、原ブロッ
クと予測誤差ブロックはそれぞれ遅延器113、114
に格納される。原ブロックのデータはブロック評価器1
09に入力され、まず、ブロック内画素値の2乗和S0
を演算する。同様に予測誤差ブロックのデータはブロッ
ク評価器110に入力され、ブロック内誤差値の2乗和
E を演算する。これらの2乗和S0 ,SE は符号化モ
ード決定器112に入力される。符号化モード決定器1
12はこれらの2乗和の次式の大小関係からこのブロッ
クの符号化モードを決定する。
【0024】 ifSE >S0 :符号化モードはブロック内符号化モー
ド ifSE ≦S0 :符号化モードは動き保証モード
【0025】この符号化モードは計数器シーンチェンジ
検出器127内の120に入力され、ブロック内符号化
モードであったブロックの数符号化を計数する。同時に
符号化モードはセレクタ116、117にも供給され、
符号化モードがブロック内符号化である場合は遅延器1
13の出力である原ブロックデータを、動き補償モード
であれば遅延器114の出力である予測誤差ブロックを
それぞれ選択して出力する。符号化器119は最初に本
フレームのモードが飛び越しフレームであることと、画
像サイズを符号化してバッファ126に出力する。続い
て各ブロック毎に符号化する。まず、ブロックの符号化
モードを符号化し、これに続き、符号化モードがブロッ
ク内符号化モードであれば、原ブロックに離散コサイン
変換を施し、得られた変換係数を量子化して符号を割り
当てる。符号化モードが動き補償モードあれば、まず、
動きベクトルを符号化を行い、続いて求められた予測誤
差ブロックに離散コサイン変換を施し、得られた変換係
数を量子化して符号を割り当てる。これらの符号はバッ
ファ126に蓄積し、同時に復号器118に出力する。
復号器118では、フレーム内符号化モードと同様にま
ず、フレームモードと画像サイズを受信し、復号する。
さらに各ブロック毎に符号化モードを復号し、符号化モ
ードがフレーム内符号化モードであれば、離散コサイン
変換の量子化結果の8×8の全係数がたまり次第、逆量
子化、逆離散コサイン変換を施して復号画素値を得る。
符号化モードが動き補償モードであれば、続く動きベク
トルの値を復号する。すでに復号された前の画像から動
きベクトル分だけ移動した位置の画素ブロックを読みだ
しておく。動きベクトルに続いている離散コサイン変換
係数の量子化結果を復号し、復号結果の8×8の全係数
がたまり次第、逆量子化、逆離散コサイン変換を施し、
復号誤差ブロックえ得る。この誤差ブロックと前出の復
号済の画素ブロックとを加算して復号画素値を得る。画
像サイズからブロックの再生位置は自然に決定され、最
後のブロックが復号された後は次のフレームの符号化デ
ータがくるまで待機している。同様のことを復号器11
8で実施し、フレームメモリ103に復号画像を格納し
ておく。
【0026】全てのブロックについて符号化処理を実施
した後に、シーンチェンジ検出器127内の計数器12
0はブロック内符号化モードの計数値を比較器121に
入力し、閾値決定器122で設定された閾値と比較す
る。もし、ブロック内符号化モードであったブロックの
数が閾値よりも大きいかまたは等しければ、端子124
からのシーンチェンジの検出を制御装置に知らせる。制
御装置はシーンチェンジの検出を受けて、全体の動作を
停止し、符号化するフレームのモードを飛び越しモード
からフレーム内符号化モードに変更し、再度、フレーム
の符号化をやり直す。閾値よりも計数値が低ければ、制
御装置はバッファ126はフレームの内容を次に実行す
る両方向動き補償フレームの符号化終了まで保持する。
これに並行して計数器120から出力された計数値を閾
値決定器に入力し、計数値の2倍を飛び越しモードの新
しい閾値として更新する。
【0027】符号化するフレームが両方向動き補償モー
ドである場合は以下のように符号化を行う。フレームの
処理を開始する前に、もし、直後のフレームがフレーム
内符号化モードであれば、符号化モード決定器112の
フレーム内符号化モードの固定を解除しておく。さら
に、計数器120は計数値を0にリセットしておく。ま
た、セレクタ104がフレームメモリ101からの出力
を選択するようにし、バッファ126は空にしておく。
【0028】制御装置からの指示に従って、両方向動き
補償モードのフレームメモリ101に格納されている。
フレームメモリ101から主走査方向の順に、原ブロッ
クを切り出し、セレクタ104を経て、動きベクトル検
出器105、106に入力する。動きベクトル検出器1
05は入力された原ブロックデータとフレームメモリ1
02の画像(直前の符号化済みの飛び越しフレームまた
は符号化済みのフレーム内符号化フレーム)内の原ブロ
ック位置(これはブロック数をカウントすることにより
一意に決まる)から、原ブロックの位置を中心として主
走査、副走査方向に対して±31画素の領域に対して全
探索によって動きベクトルを検出する。同様に動きベク
トル検出器106は入力された原ブロックデータとフレ
ームメモリ103の画像(直後の符号化済みの飛び越し
フレームまたは符号化済みのフレーム内符号化フレー
ム)内の原ブロック位置から、原ブロックの位置を中心
として主走査、副走査方向に対して±31画素の領域に
対して全探索によって動きベクトルを検出する。検出さ
れた動きベクトルは動き補償器107、108にそれぞ
れ入力される。ここで、直前のフレームを参照すること
を前向きと呼び、直後のフレームを参照することを後向
きと呼ぶ。動き補償器107はこの前向き動きベクトル
に従ってフレームメモリ102から前向き予測ブロック
データを切り出してくる。同時にフレームメモリ101
からセレクタ104を経て、原ブロックを入力し、前向
き予測ブロックと画素毎に差分をとり、この差分値から
なる前向き予測誤差ブロックを求め、出力する。動き補
償器108も同様には後向き動きベクトルに従ってフレ
ームメモリ103から後向き予測ブロックデータを切り
出してくる。同時にフレームメモリ101からセレクタ
104を経て、原ブロックを入力し、後向き予測ブロッ
クと画素毎に差分をとり、この差分値からなる後向き予
測誤差ブロックを求め、出力する。その後、原ブロック
と前向き予測誤差ブロックと後向き予測誤差ブロックは
それぞれ遅延器113、114、115に格納される。
原ブロックのデータはブロック評価器109に入力さ
れ、まず、ブロック内画素値の2乗和S0 を演算する。
同様に前向き予測誤差ブロックのデータはブロック評価
器110に入力され、ブロック内誤差値の2乗和SF
演算し、後向き予測誤差ブロックのデータはブロック評
価器111に入力され、ブロック内誤差値の2乗和SB
を演算する。これらの2乗和S0 ,SF ,SB は符号化
モード決定器112に入力される。符号化モード決定器
112はこれらの2乗和の次式の大小関係からこのブロ
ックの符号化モードを決定する。
【0029】 ifmax(SF ,SB )>S0 :符号化モードはブロ
ック内符号化モード ifmax(SF ,SB )≦S ifSF >SB :符号化モードは後向き動き補償モード ifSF ≦SB :符号化モードは前向き動き補償モード
【0030】この符号化モードはシーンチェンジ検出器
127内の計数器120に入力され、各符号化モード毎
の計数を行う。同時に符号化モードはセレクタ116、
117にも供給され、符号化モードがブロック内符号化
である場合、遅延器113の出力である原ブロックデー
タを、前向き動き補償モードであれば遅延器114の出
力である予測誤差ブロックを、後向き動き補償モードで
あれば遅延器115の予測誤差ブロックをセレクタ11
6はそれぞれ選択して出力する。符号化器119は最初
に本フレームのモードが両方向動き補償フレームである
ことと、画像サイズを符号化してバッファ126に出力
する。以下はブロック毎に符号化するブロックの符号化
モードを符号化し、これに続いて、このブロックの符号
化モードがブロック内符号化モードであれば、原ブロッ
クに離散コサイン変化を施し、得られた変換係数を量子
化して符号を割り当てる。符号化モードが前向き・後向
き動き補償モードあれば、まず、動きベクトルを符号化
を行い、続いて求められた予測誤差ブロックに離散コサ
イン変換を施し、得られた変換係数を量子化して符号化
を割り当てる。これらの符号はバッファ126に蓄積す
ると同時に復号器118に出力する。復号器118で
は、飛び越しフレームと同様にまず、フレームモードと
画像サイズを受信し、復号する。さらにブロック毎に符
号化モードを復号し、符号化モードがフレーム内符号化
モードであれば、離散コサイン変換の量子化結果の8×
8の全係数がたまり次第、逆量子化、逆離散コサイン変
換を施して復号画素値を得る。符号化モードが動き補償
モードであれば、続く動きベクトルの値を復号する。す
でに復号された前または後の画像から動きベクトル分だ
け移動した位置の画素ブロックを読みだしておく。動き
ベクトルに続いている離散コサイン変換係数の量子化結
果を復号し、復号結果の8×8の全係数がたまり次第、
逆量子化、逆離散コサイン変換を施し、復号誤差ブロッ
クを得る。この誤差ブロックと前出の復号済の画素ブロ
ックとを加算して復号画素値を得る。画像サイズからブ
ロックの再生位置は自然に決定され、最後のブロックが
復号された後は次のフレームがくるまで待機している。
同様のことを復号器118で実施し、フレームメモリ1
03に復号画像を格納しておく。
【0031】全てのブロックについて符号化処理を実施
した後に、シーンチェンジ検出器127内の計数器12
0はそれぞれ符号化モードの計数値を比較器121に入
力し、閾値決定器122で設定されたそれぞれの閾値と
比較する。各符号化モードの計数値を次のようにする。
【0032】ブロック内符号化モードの計数値をBI 前向き動き補償モードの計数値をBT 後向き動き補償モードの計数値をBB
【0033】また、ブロック内符号化モードの閾値をT
1 とする。もし、ブロック内符号化モードであったブ
ロックの数B1 が閾値Th1 よりも大きいかまたは等し
ければ、端子124から前のフレームとの間のシーンチ
ェンジの検出を制御装置に知らせる。これと並行して、
前向き動き補償モードの計数値BT と後向き動き補償モ
ードの計数値BB の差分値B を次式にしたがって求
める。
【0034】BS =BF −BB
【0035】この差分値BS と閾値ThS とを比較して
S >ThS であれば、端子124から次のフレームと
の間のシーンチェンジの検出を制御装置に知らせる。制
御装置が前のフレームとの間のシーンチェンジの検出を
受けた場合、全体の動作を停止し、符号化するフレーム
のモードを両方向動き補償モードからフレーム内符号化
モードに変更し、バッファ126を空にして、再度フレ
ームの符号化をやり直す。制御装置が前のフレームとの
間のシーンチェンジの検出を受け、次のフレームの符号
化の際にシーンチェンジが検出されていない場合、全体
の動作を停止し、符号化するフレームのモードを両方向
動き補償モードからフレーム内符号化モードに変更し、
バッファ126を空にして、再度次の飛び越しフレーム
をフレーム内符号化モードでフレームの符号化をやり直
したのち、その直前の(シーンチェンジを検出した)フ
レームを両方向動き補償モードで符号化する。
【0036】それ以外の場合、制御装置はバッファ12
6はフレームの内容を端子125から外部に出力する。
これに並行して計数器120から出力された計数値を閾
値決定器に入力し、各計数値の2倍を両方向動き補償モ
ードの新しい閾値として更新する。
【0037】(その他の実施例)ブロックのサイズ、符
号化器の符号化方式、動き補償、動きベクトル探索、ブ
ロック内の評価方式、フレームメモリの構成等はこれに
限定されない。例えば、両方向動き補償フレームが複数
枚続いている構成では、フレームの位置によって差分値
S と閾値ThS との比較のほかに−BS >ThS によ
って前のフレームとの間のシーンチェンジを検出するこ
とも実現できる。
【0038】
【発明の効果】符号化以外にシーンチェンジの検出手段
を設けることなく、簡単な構成でシーンチェンジを検出
することができ、シーンチェンジを検出したフレームを
ブロック内符号化することによって復号画像の劣化を抑
えることが可能になる。また、シーンチェンジの検出の
閾値を符号化をしながら動的に変化させることにより、
動きの激しい動画像でも適切に検出できる。
【図面の簡単な説明】
【図1】本発明を実施した動画像符号化装置のブロック
図である。
【図2】本発明を実施した動画像符号化装置のブロック
図である。
【図3】第1の実施例で符号化フレームの並びを示した
図である。
【図4】第2の実施例で符号化フレームの並びを示した
図である。
【図5】動画像符号化装置の従来例を示したブロック図
である。
【符号の説明】
1,2,15,100,101,102,103,50
1,502 フレームメモリ 3,105,106,503 動きベクトル検出器 4,107,108,504 動き補償器 5,6,109,110,111,505,506 ブ
ロック評価器 7,112,507 符号化モード決定器 8,9,113,114,115,508,509 遅
延器 10,104,116,117,510 セレクタ 11,120 計数器 12,121 比較器 13,119,511 符号化器 14,118,512 復号器 16,17,18,19,123,124,125,5
14,515 端子 20,126 バッファ 21,127 シーンチェンジ検出器 122 閾値決定器

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 複数枚のフレームで構成されている動画
    像をフレーム内符号化を行うフレームと動き補償を行っ
    て符号化するフレームとに分類して符号化する方法にお
    いて、シーンチェンジを検出し、シーンチェンジのフレ
    ーム対してフレーム内符号化を再度行うことを特徴とす
    る動画像符号化方法。
  2. 【請求項2】 符号化するフレームを複数のブロックに
    分割し、各ブロックに対応する既に符号化されたフレー
    ムを参照して動きベクトルを算出し、予測ブロックを求
    め予測誤差を符号化する動画像符号化装置において、符
    号化の際に利用される動きベクトルを参照するフレーム
    毎に計数し、該計数値によってシーンチェンジを検出す
    ることを特徴とする動画像符号化装置。
  3. 【請求項3】 符号化するフレームを複数のブロックに
    分割し、各ブロックに対応する既に符号化されたフレー
    ムを参照して動きベクトルを算出し予測ブロックを求め
    予測誤差を符号化する動画像符号化装置において、符号
    化の際にブロック内で符号化を完結するブロック内符号
    化されるブロックをフレーム毎に計数し、該計数値によ
    ってシーンチェンジを検出することを特徴とする動画像
    符号化装置。
  4. 【請求項4】 符号化の際に利用する動きベクトルの各
    参照フレーム毎の計数値と予め決められた閾値と比較し
    てシーンチェンジを検出することを特徴とする請求項2
    記載の動画像符号化装置。
  5. 【請求項5】 符号化の際に利用する動きベクトルの各
    参照フレーム毎の計数値と動的に決められた閾値と比較
    してシーンチェンジを検出することを特徴とする請求項
    2記載の動画像符号化装置。
  6. 【請求項6】 符号化の際に利用する動きベクトルの各
    参照フレーム毎の計数値と予め決められた閾値と比較し
    てシーンチェンジを検出することを特徴とする請求項3
    記載の動画像符号化装置。
  7. 【請求項7】 符号化の際に利用する動きベクトルの各
    参照フレーム毎の計数値と動的に決められた閾値と比較
    してシーンチェンジを検出することを特徴とする請求項
    3記載の動画像符号化装置。
  8. 【請求項8】 符号化するフレームを複数のブロックに
    分割し、各ブロックに対応する既に符号化されたフレー
    ムを参照して動きベクトルを算出し、予測ブロックを求
    め、予測誤差を符号化するか、予測誤差が大きい場合に
    該ブロックをブロック内符号化する動画像符号化装置に
    おいて、 符号化の際に利用される動きベクトルを参照するフレー
    ム毎に計数する手段と、 該計数値と閾値と比較する手段と、 比較した結果からシーンチェンジの有無を判断する手段
    を有することを特徴とする動画像符号化装置。
  9. 【請求項9】 閾値を既に符号化したフレームのブロッ
    ク内符号化を行うブロック数の計数値からフレーム毎に
    更新する手段を有することを特徴とする請求項8記載の
    動画像符号化装置。
  10. 【請求項10】 符号化するフレームを複数のブロック
    に分割し、各ブロックに対応する既に符号化されたフレ
    ームを参照して動きベクトルを算出し、予測ブロックを
    求め、予測誤差を符号化する動画像符号化において、 符号化の際に利用される動きベクトルを参照するフレー
    ム毎に計数する手段と、 該計数値と閾値と比較する手段と、 比較した結果からシーンチェンジの有無を判断する手段
    を有することを特徴とする動画像符号化装置。
  11. 【請求項11】 閾値を既に符号化したフレームの動き
    ベクトルの計数値からフレーム毎に更新する手段を有す
    ることを特徴とする請求項10記載の動画像符号化装
    置。
JP20553392A 1992-07-31 1992-07-31 動画像符号化方法及び装置 Pending JPH0654315A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP20553392A JPH0654315A (ja) 1992-07-31 1992-07-31 動画像符号化方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20553392A JPH0654315A (ja) 1992-07-31 1992-07-31 動画像符号化方法及び装置

Publications (1)

Publication Number Publication Date
JPH0654315A true JPH0654315A (ja) 1994-02-25

Family

ID=16508468

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20553392A Pending JPH0654315A (ja) 1992-07-31 1992-07-31 動画像符号化方法及び装置

Country Status (1)

Country Link
JP (1) JPH0654315A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4847303A (en) * 1987-11-23 1989-07-11 The Procter & Gamble Company Tert-butylphenyl compounds useful as anti-inflammatory agents
US4849428A (en) * 1987-11-23 1989-07-18 The Procter & Gamble Company Cyclic anti-inflammatory derivatives of di-tert-butylphenol compounds, compositions and use
JPH08102951A (ja) * 1994-09-30 1996-04-16 Sony Corp 画像符号化装置
US5911008A (en) * 1996-04-30 1999-06-08 Nippon Telegraph And Telephone Corporation Scheme for detecting shot boundaries in compressed video data using inter-frame/inter-field prediction coding and intra-frame/intra-field coding
WO2001015459A1 (en) * 1999-08-24 2001-03-01 Fujitsu Limited Time-varying image processor, its method, and recorded medium
US6307886B1 (en) 1998-01-20 2001-10-23 International Business Machines Corp. Dynamically determining group of picture size during encoding of video sequence
JP2002010266A (ja) * 2000-06-23 2002-01-11 Sony Corp 画像情報変換装置及び方法
US6898242B2 (en) 2000-09-27 2005-05-24 Nec Corporation Moving picture high-speed coder and moving picture high-speed coding method
JP2006333519A (ja) * 2003-12-01 2006-12-07 Samsung Electronics Co Ltd スケーラブルビデオコーディング及びデコーディング方法と装置
JP2006340033A (ja) * 2005-06-02 2006-12-14 Sony Corp 映像信号処理方法および映像信号処理装置
JP2006340032A (ja) * 2005-06-02 2006-12-14 Sony Corp 映像信号処理方法および映像信号処理装置
US20150022060A1 (en) * 2013-07-19 2015-01-22 Nihon Dempa Kogyo Co., Ltd. Surface mount type quartz crystal device

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4849428A (en) * 1987-11-23 1989-07-18 The Procter & Gamble Company Cyclic anti-inflammatory derivatives of di-tert-butylphenol compounds, compositions and use
US4847303A (en) * 1987-11-23 1989-07-11 The Procter & Gamble Company Tert-butylphenyl compounds useful as anti-inflammatory agents
JPH08102951A (ja) * 1994-09-30 1996-04-16 Sony Corp 画像符号化装置
US5911008A (en) * 1996-04-30 1999-06-08 Nippon Telegraph And Telephone Corporation Scheme for detecting shot boundaries in compressed video data using inter-frame/inter-field prediction coding and intra-frame/intra-field coding
US6307886B1 (en) 1998-01-20 2001-10-23 International Business Machines Corp. Dynamically determining group of picture size during encoding of video sequence
US7272183B2 (en) 1999-08-24 2007-09-18 Fujitsu Limited Image processing device, method and storage medium thereof
WO2001015459A1 (en) * 1999-08-24 2001-03-01 Fujitsu Limited Time-varying image processor, its method, and recorded medium
JP4517465B2 (ja) * 2000-06-23 2010-08-04 ソニー株式会社 画像情報変換装置及び方法並びに符号化装置及び方法
JP2002010266A (ja) * 2000-06-23 2002-01-11 Sony Corp 画像情報変換装置及び方法
US6898242B2 (en) 2000-09-27 2005-05-24 Nec Corporation Moving picture high-speed coder and moving picture high-speed coding method
JP2006333519A (ja) * 2003-12-01 2006-12-07 Samsung Electronics Co Ltd スケーラブルビデオコーディング及びデコーディング方法と装置
JP2006340033A (ja) * 2005-06-02 2006-12-14 Sony Corp 映像信号処理方法および映像信号処理装置
JP2006340032A (ja) * 2005-06-02 2006-12-14 Sony Corp 映像信号処理方法および映像信号処理装置
JP4556773B2 (ja) * 2005-06-02 2010-10-06 ソニー株式会社 映像信号処理方法
JP4556774B2 (ja) * 2005-06-02 2010-10-06 ソニー株式会社 映像信号処理方法
US20150022060A1 (en) * 2013-07-19 2015-01-22 Nihon Dempa Kogyo Co., Ltd. Surface mount type quartz crystal device
US9876157B2 (en) 2013-07-19 2018-01-23 Nihon Dempa Kogyo Co., Ltd. Surface mount type quartz crystal device

Similar Documents

Publication Publication Date Title
EP1065883B1 (en) Image predictive decoding method
US5731850A (en) Hybrid hierarchial/full-search MPEG encoder motion estimation
JP4198206B2 (ja) 動き依存予測を使用したビデオ情報の圧縮方法と装置
US5841475A (en) Image decoding with dedicated bidirectional picture storage and reduced memory requirements
JP2002543713A (ja) デジタルビデオ用動き推定
US6480542B1 (en) Method for decoding compressed video data with a reduced memory requirement
JP2000270332A (ja) 動画像符号化方法および装置
JPH0654315A (ja) 動画像符号化方法及び装置
JPH07193822A (ja) 動き予測プロセッサ及び動き予測装置
KR100215824B1 (ko) 엠펙 디코더의 프레임 메모리 및 영상 데이타 디코딩방법
JPH0564177A (ja) 画像符号化装置
US20120163468A1 (en) Method of and apparatus for estimating motion vector based on sizes of neighboring partitions, encoder, decoding, and decoding method
US5748248A (en) Real time motion vector processing of image data
CN101822058A (zh) 使用像素抽取的视频编码
JP3240024B2 (ja) 画像処理方法
JP2000023164A (ja) デジタルビデオ処理方式
JPH0541861A (ja) 動画像符号化装置
JP2000261809A (ja) 画像特徴に応じた画像符号化装置
US20070153909A1 (en) Apparatus for image encoding and method thereof
WO1995004433A1 (en) Processing image data
JPH0366278A (ja) 映像信号の高能率符号化方法
JP2820631B2 (ja) 画像復号方法および装置
JP2000134581A (ja) 動画再生装置及び動画再生方法
JPH11341521A (ja) ステレオ動画像用符号化装置
JP2001251628A (ja) ディゾルブ画像の符号化装置