JP3200108B2 - 画像処理方法及び装置 - Google Patents
画像処理方法及び装置Info
- Publication number
- JP3200108B2 JP3200108B2 JP25778391A JP25778391A JP3200108B2 JP 3200108 B2 JP3200108 B2 JP 3200108B2 JP 25778391 A JP25778391 A JP 25778391A JP 25778391 A JP25778391 A JP 25778391A JP 3200108 B2 JP3200108 B2 JP 3200108B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- error
- screen
- component
- scene change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Processing (AREA)
Description
置、特に各画面が夫々複数の画素よりなる複数のブロッ
クに分割された画像情報を処理する方法及び装置に関す
るものである。
の画素よりなる複数のブロックに分割し、分割されたブ
ロック単位で画像を圧縮符号化する手法が知られてい
る。このような手法の中で、近年離散コサイン変換(以
下、DCTを記す)を用いて、各ブロックの各画素の振
幅値を2次元周波数成分に変換し、この2次元周波数成
分を可変長符号化する手法が注目されている。
化を行なう装置において、符号誤りが発生した場合には
誤り訂正回路によってできる限りその訂正を行うが、も
し、訂正不能の符号誤りが発生した場合にはこの符号誤
りの発生した部分の画像を他の部分の画像に置き換える
誤り修正(補間)処理を行なわなければならない。
した画素(ブロック)と同一の画面の他の画素(ブロッ
ク)にて、この誤りの発生した画素(ブロック)を置換
する、所謂フィールドもしくはフレーム内補間処理と、
誤りの発生した画素(ブロック)の前後の画面の他の画
素(ブロック)にて誤りの発生した画素(ブロック)を
置換する、所謂フィールドもしくはフレーム間補間処理
とが知られている。
ーム間補間処理とフィールドもしくはフレーム内補間処
理とを適応的に使い分ける処理の従来より知られてい
る。
如くブロック単位で符号化を行なう場合、各ブロック内
に誤り訂正不能な符号が発生した場合、当該ブロック全
体が復元不可能となる。ここで、一般に圧縮符号化を行
なうブロックは2次元に拡がりをもつので、隣接するブ
ロック間では画像の相関が薄くなりがちであり、フィー
ルドもしくはフレーム内での補間のみではある程度の画
質劣化を免れない。
置換する、フィールドもしくはフレーム間補間では、あ
る程度の画質は期待できるが、画像に大きな動きがあっ
た場合、特にシーンチェンジの部分において、大きな画
質劣化が発生する。
間補間を行ない、画像に大きな動きがあった場合にのみ
フィールドもしくはフレーム内補間を行なう適応補間を
用いることが考えられる。
での圧縮符号化を行なった場合に、各ブロックにおける
画像の動きを検出しようとすると、ブロック内の全ての
画素について画面間での比較を行なわねばならず、演算
に要する時間もしくはハードウエアを大きくせざるをえ
ない。
長圧縮を行ない画像情報を伝送した場合においては、そ
の復号に多くの処理過程を必要とし、その後にDCT逆
変換を施した後でないと上述の画像の動きが検出できな
い。したがって、画像に大きな動きがあったか否か検出
されるまでには非常に長い時間を要し、上述の如き適応
的な補間を行なう場合に障害となっていた。
々複数の画素よりなる複数のブロックに分割された画像
情報を処理する際に、画像の動きを検出する場合、その
処理時間を大幅に短縮し得る画像情報処理方法及び装置
を提供することを目的とする。
本発明の画像処理方法によれば、各画面がそれぞれ複数
の画素よりなる複数のブロックに分割された画像データ
を処理する方法であって、前記画像データ中の誤りを訂
正する誤り訂正処理と、前記誤り訂正処理が施された画
像データ中の各ブロックの直流成分の値とその前画面の
同一位置のブロックの直流成分との差分値を一画面分累
算し、この累算結果を所定の閾値と比較することにより
シーンチェンジの有無を判別する判別処理と、前記判別
処理によりシーンチェンジありと判断した場合に前記画
像データ中の訂正不能な誤りを含む誤りブロックを同一
画面の他のブロックにより補間すると共に、前記判別処
理によりシーンチェンジなしと判断した場合に前記誤り
ブロックを前画面のブロックにより補間する補間処理と
を行う。
画面がそれぞれ複数の画素よりなる複数のブロックに分
割された画像データを処理する装置であって、前記画像
データを入力する入力手段と、前記入力データ中の誤り
を訂正する誤り訂正手段と、前記誤り訂正手段より出力
された画像データ中の各ブロックの直流成分の値とその
前画面の同一位置のブロックの直流成分との差分値を一
画面分累算し、この累算結果を所定の閾値と比較するこ
とによりシーンチェンジの有無を判別する判別手段と、
前記判別手段によりシーンチェンジありと判断された場
合に前記誤り訂正手段により訂正不能な誤りを含む誤り
ブロックを同一画面の他のブロックにより補間すると共
に、前記判別手段によりシーンチェンジなしと判断され
た場合に前記誤りブロックを前画面のブロックにより補
間する補間手段とを備える。
ロックの直流成分の値(平均値)のみから画像の動きを
認識し得るので、ブロック単位での動き検出に係わるハ
ード量もしくは処理時間を軽減できる。また、特に処理
中に直流成分が抽出されるような変換を行なう処理にお
いては、ハードウエアの追加も殆どなく、且、処理時間
も大幅に短縮できる。
る。
構成を示すブロック図である。図中、11は動画像情報
を発生するビデオカメラ、12は送信側の入力端子、1
3はアナログ−デジタル(AD)変換器、14はDCT
変換器、15はDCT変換されたデータをDC成分とA
C成分に分離するスイッチ、26はランレングス符号
器、17はハフマン符号器、18はDPCM符号器、1
9はAC成分とDC成分を選択的に出力するスイッチ、
20は誤り訂正符号を形成付加する誤り訂正符号符号
器、21は送信側の出力端子である。
の伝送路22を介したデータが受信側の入力端子23に
入力される。
号を用いて符号誤りの訂正を行なう誤り訂正符号復号
器、25は伝送されてきたデータをDC成分とAC成分
とに分離するスイッチ、26はハフマン復号器、27は
ランレングス復号器、28はDPCM復号器、29はA
C成分とDC成分を選択的に出力するスイッチ、30は
1フレーム期間の遅延回路、31は減算回路、32は累
算回路、33は累算回路33の出力に応じて切り換えら
れるスイッチ、34は画面の垂直方向に1DCTブロッ
ク分(8水平走査線分)の期間の遅延回路、35は誤り
訂正符号復号器24からのエラーフラグにより切り換え
られるスイッチ、36は1フレーム期間の遅延回路、3
8はDCT復号器、39はデジタル−アナログ(DA)
変換器、40は受信側の出力端子、41は受信側端末と
してのモニタである。
る。
機側の入力端子12を介して送信機に入力され、AD変
換器13にてデジタル信号に変換された後、DCT変換
器14に入力される。
らのデジタル動画情報の各画面を(8×8)の画素より
なるブロックに分割し、分割された各ブロックについて
DCT変換を施す。DCT変換は周知の様に(8×8)
の画素よりなるブロックに付いて、各画素の振幅値を
(8×8)の2次元周波数成分に変換するものであり、
可逆変換である。
の周波数成分は所謂直流(DC)成分であり、各ブロッ
クの画素の振幅の平均値である。ここで、このDC成分
以外の周波数成分をAC成分とよぶことにすると、スイ
ッチ15はAC成分をA側端子を介してランレングス符
号器16に、DC成分をDPCM符号器18に夫々供給
する。
16にて周知の如くジグザグスキャンによって0ラン長
が長くなる様配列変換され、適宜量子化された後ランレ
ングス符号化される。そして、ハフマン符号器17にお
いて、ハフマン符号化が施され、スイッチ19のA端子
に導かれる。
より隣接ブロック間の差分値が符号化され、スイッチ1
9のD端子に導かれる。
動作について、図2、図3を用いて説明する。
ッチ15に供給されるデータ列を時系列的に示す摸式図
であり、図中矢印55の部分にてスイッチ15が反転
し、DC成分をDPCM符号器18に、AC成分をA側
端子を介してランレングス符号器16に供給する。
り訂正符号符号器20に供給されるデータ列を時系列的
に示す摸式図であり、図中矢印56の部分にてスイッチ
19が反転する。図2と図3とで、DC成分に対するA
C成分の比が異なるのはAC成分のほうが圧縮率が高い
からである。
は、長い伝送路にて外乱により符号誤りが生じた場合に
もその復元が可能な様に、誤り訂正符号符号器20にて
誤り訂正符号が形成付加され、この誤り訂正符号単位で
出力端子21に導かれ、送信出力として伝送路22に送
出される。
子23には伝送路を介して信号が授受されることになる
が、この伝送路としては、衛星、光ファイバーケーブ
ル、電話回線等様々なものが考えられる。
伝送データ列は誤り訂正符号復号器24において、誤り
訂正符号符号器20にて形成付加された誤り訂正符号を
用いて、符号誤りの訂正が行われる。この、誤り訂正符
号復号器24において訂正符号な誤りが発生した場合に
は、エラーフラグEFが「1」とされる。このエラーフ
ラグEFは誤りのない場合及び誤りが訂正された場合に
は「0」であり、後述するスイッチ35の制御信号とし
て利用される。
ータ列は、スイッチ25によりDC成分と、AC成分に
分離される。この、スイッチ25を切り換えるタイミン
グは図3の矢印56に対応しており、スイッチ19の動
作と対応する。
は、ハフマン復号器26にてハフマン復号が施され、更
にランレングス復号器27にてランレングス復号され、
逆量子化、前述のジグザグスキャンに対応する配列の逆
変換等が施された後、スイッチ29のA端子に供給され
る。
分はDPCM復号器28にてDPCM復号が施され、ス
イッチ29のB端子に供給される。スイッチ29は図2
の矢印55のタイミングでスイッチングされ、時系列化
されて図2に示すようなデータ列に戻される。
分は減算器31及び1フレーム期間の遅延線(1FD
L)30に供給され、時間的に隣接するフレームの同一
ブロックのDC成分の差分値が減算器30から得られ
る。そして、この差分値は累算器32に供給され、1フ
レーム分合計される。
ク内の全画素の振幅値の平均値であるため、各フレーム
における画像の概略はこのDC成分によって知ることが
できる。従って、上述の減算器30の出力するDC成分
の差分値が大きい場合には、2つのフレーム間でシーン
チェンジがなされているか、画像の動きが大であるかの
何れかであると考えられる。この2通りの場合の内画像
の動きが大である場合には主に背景が変化せず、主被写
体のみが変化する場合が殆どであり、フレーム間でDC
成分の差分が大となるブロックは少ない。これに対し、
シーンチェンジの場合には画面全体が直前の画面と無関
係な別の画面に変化してしまうので、殆どのブロックに
ついてフレーム間でDC成分の差分が大となる。
定の閾値より大きい場合にはシーンチェンジが発生した
と判断することができる。この原則を利用するならば、
累算器32で演算された合計値が所定の閾値以下か否か
によって、シーンチェンジの発生が検出できる。
累算器32にて行われる演算を数式で表現すると、Y=
Σ{D(X)−X}となる。ここで、XはDCTブロッ
クのDC成分、Dは1フレームの遅延を表現したもの、
Σは1フレーム分の合計を取ることを示す。
ある2値信号が出力され、スイッチ33の制御信号とさ
れる。即ち、この累算器32の出力がシーンチェンジで
あることを示すバイナリ値である場合にはスイッチ33
により8水平走査期間遅延線(8HDL)34を用いた
フレーム内補間信号がスイッチ35に供給され、累算器
32の出力がシーンチェンジではないことを示すバイナ
リ値である場合にはスイッチ33により1FDL36を
用いたフレーム間補間信号がスイッチ35に供給される
ことになる。
が考えられるが、本実施例では図4に示すように、画面
の垂直方向について隣接するブロックにより、訂正不能
な誤りの発生したブロック(図中斜線で示す)を補間す
る。図4は1枚の画面上におけるDCTブロックの配置
を模式的に示している。DCTブロックの大きさは(8
×8)画素分であるので、画面上で横一列分のブロック
が伝送される期間は8水平走査期間であり、スイッチ3
5にスイッチ29の出力から直接供給されているブロッ
クに対して、8HDL34を介して供給されるブロック
は画面上で1つ上に位置するブロックである。従って、
スイッチ33が8HDL34側に接続され、スイッチ3
5がスイッチ33側に接続されることによってフレーム
内補間がなされることになる。
は図3に示すように訂正不能な誤りの発生したブロック
(図中斜線で示す)を直前の画面の同一位置のブロック
により補間する。図5は時間的に連続する複数枚の画面
上におけるDCTブロックの配置を模式的に示してい
る。ここで、スイッチ35にスイッチ29の出力から直
接供給されているブロックに対して、1FDL36を介
して供給されるブロックは直前の画面上で同一位置にあ
るブロックである。従って、スイッチ33が1FDL3
4側に接続され、スイッチ35がスイッチ33側に接続
されることによってフレーム間補間がなされることにな
る。
ロックが発生した場合、その画面でシーンチェンジがな
されている時にはフレーム内補間、そうでない場合には
フレーム間補間がそれぞれ施されることになる。
列は、スイッチ35からDCT逆変換器38の供給さ
れ、DCT逆変換により周波数成分の値から振幅値に戻
され、DA変換器39にてアナログ信号に変換されて、
受信側の出力端子40に出力され、受信機側の端末であ
るモニタ41に供給されることになる。
ックのDC成分の値のみからシーンチェンジであるか否
かの判定を行い、フレーム間補間とフレーム内補間とを
適応的に用いるようにしているので、DCT逆変換を行
う前の少ないデータによって確実にシーンチェンジの判
定ができ、演算処理に要する時間が短縮でき、ハード規
模も小さくできると共に良好な補間を可能としている。
また、このDC成分は符号化の際に得られるものである
ので、このDC成分の算出に別途回路や処理時間を費や
すことはない。特に、本実施例ではAC成分については
処理時間の長いランレングス符号化やハフマン符号化を
行い、DC成分について比較的簡単なDPCM符号化を
行っているのでこれらの処理時間の差を有効に用いるこ
とができ、実質的には上記シーンチェンジに必要な処理
時間は0とすることができている。
信装置について説明する。
信装置の構成を示すブロック図であり、図中図1と同様
の構成要件については同一番号を付し、詳細な説明は省
略する。
チェンジを検出する。即ち、スイッチ15により分離さ
れたAC成分とDC成分のうち、DC成分を1FDL5
4及び減算器52の供給することによって、この減算器
52から隣接フレームで同一位置にあるブロックのDC
成分の差を算出する。そして、この減算器52の出力を
累算器53にて1フレーム分合計し、所定の閾値と比較
することによりシーンチェンジの発生の有無を検出し、
2値データとして出力している。
き情報付加回路50に供給され、シーンチェンジの有無
を示す動き情報をデータ列中の所定の位置、例えば各フ
レームの先頭位置に付加する。
け、該回路51にて誤り訂正符号復号器24の出力する
データ列から上記動き情報を抽出する。該回路51はこ
の動き情報に従う2値データをスイッチ33に供給し、
前述の実施例と同様にシーンチェンジの部分においては
フレーム内補間が行われ、それ以外の部分ではフレーム
間補間が行われるように構成している。
同様の動画像の復元が可能である。
側で処理時間を必要としないDC成分を用いて動き情報
を形成しているので、処理時間やハード規模の点で有利
である。更に、送信側での動き情報の形成は、AC成分
をランレングス符号化したりハフマン符号化したりする
間に行えるので、実質的に処理時間が全く増加すること
はない。
ムを普及するに際し、多数の装置が製造される可能性の
高い受信機側の構成を簡略化でき、この点で図1の実施
例に比べて有利である。
各ブロックの直流成分の画面間の差分値を一画面分累算
し、この累算結果に基づいてシーンチェンジの有無を判
別しているので、シーンチェンジの判別にかかわるバー
ド量もしくは処理時間を軽減できる。
構成を示すブロック図である。
列を時系列的に示す摸式図である。
タ列を時系列的に示す摸式図である。
明するための模式図である。
明するための模式図である。
の構成を示すブロック図である。
Claims (2)
- 【請求項1】 各画面がそれぞれ複数の画素よりなる複
数のブロックに分割された画像データを処理する方法で
あって、 前記画像データ中の誤りを訂正する誤り訂正処理と、 前記誤り訂正処理が施された画像データ中の各ブロック
の直流成分の値とその前画面の同一位置のブロックの直
流成分との差分値を一画面分累算し、この累算結果を所
定の閾値と比較することによりシーンチェンジの有無を
判別する判別処理と、 前記判別処理によりシーンチェンジありと判断した場合
に前記画像データ中の訂正不能な誤りを含む誤りブロッ
クを同一画面の他のブロックにより補間すると共に、前
記判別処理によりシーンチェンジなしと判断した場合に
前記誤りブロックを前画面のブロックにより補間する補
間処理とを備える画像処理方法。 - 【請求項2】 各画面がそれぞれ複数の画素よりなる複
数のブロックに分割された画像データを処理する装置で
あって、 前記画像データを入力する入力手段と、 前記入力データ中の誤りを訂正する誤り訂正手段と、 前記誤り訂正手段より出力された画像データ中の各ブロ
ックの直流成分の値とその前画面の同一位置のブロック
の直流成分との差分値を一画面分累算し、この累算結果
を所定の閾値と比較することによりシーンチェンジの有
無を判別する判別手段と、 前記判別手段によりシーンチェンジありと判断された場
合に前記誤り訂正手段により訂正不能な誤りを含む誤り
ブロックを同一画面の他のブロックにより補間すると共
に、前記判別手段によりシーンチェンジなしと判断され
た場合に前記誤りブロックを前画面のブロックにより補
間する補間手段とを備える画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25778391A JP3200108B2 (ja) | 1991-10-04 | 1991-10-04 | 画像処理方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25778391A JP3200108B2 (ja) | 1991-10-04 | 1991-10-04 | 画像処理方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH05103313A JPH05103313A (ja) | 1993-04-23 |
JP3200108B2 true JP3200108B2 (ja) | 2001-08-20 |
Family
ID=17311045
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25778391A Expired - Fee Related JP3200108B2 (ja) | 1991-10-04 | 1991-10-04 | 画像処理方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3200108B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6128339A (en) * | 1997-02-13 | 2000-10-03 | Samsung Electronics Co., Ltd. | Apparatus and method for masking video data errors |
US6160918A (en) * | 1997-10-02 | 2000-12-12 | At&T Corp. | Method and apparatus for fast image compression |
GB2362533A (en) * | 2000-05-15 | 2001-11-21 | Nokia Mobile Phones Ltd | Encoding a video signal with an indicator of the type of error concealment used |
JP2003009155A (ja) | 2001-06-19 | 2003-01-10 | Sanyo Electric Co Ltd | 画像復号方法とその装置、および画像符号化方法とその装置 |
WO2006046476A1 (ja) * | 2004-10-29 | 2006-05-04 | Sharp Kabushiki Kaisha | 動画像復号装置および動画像復号方法 |
JP4756594B2 (ja) * | 2006-03-23 | 2011-08-24 | パイオニア株式会社 | 画像復号化装置及び方法、並びにコンピュータプログラム |
-
1991
- 1991-10-04 JP JP25778391A patent/JP3200108B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH05103313A (ja) | 1993-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3933718B2 (ja) | 画像を表す信号を処理するシステム | |
US5886743A (en) | Object-by information coding apparatus and method thereof for MPEG-4 picture instrument | |
US6052814A (en) | Coding/decoding apparatus | |
JP3302939B2 (ja) | 独立に圧縮された偶数および奇数フィールド・データ用のビデオ信号圧縮解除装置 | |
JP2624087B2 (ja) | 映像信号復号化方法 | |
US5589884A (en) | Adaptive quantization controlled by scene change detection | |
US6748114B1 (en) | Moving picture encoding method and moving picture encoding apparatus | |
EP1040646A2 (en) | System for detecting redundant images in a video sequence | |
JP3200108B2 (ja) | 画像処理方法及び装置 | |
JPH03167985A (ja) | 画像信号伝送装置及び方法 | |
US20050259879A1 (en) | Video decoder with deblocker within decoding loop | |
JP4004597B2 (ja) | 映像信号のエラー隠ぺい装置 | |
KR100198986B1 (ko) | 블록킹 현상방지용 움직임 보상장치 | |
JP2840678B2 (ja) | 高能率符合化装置 | |
JP2629409B2 (ja) | 動き補償予測フレーム間符号化装置 | |
JPH07154825A (ja) | 画像伝送装置 | |
JPH047152B2 (ja) | ||
JP2830112B2 (ja) | 高能率符号化装置 | |
JP3507042B2 (ja) | 動画像圧縮装置 | |
JP2832949B2 (ja) | 高能率符号の復号装置 | |
JP2629997B2 (ja) | 動き補償フレーム間符号化装置 | |
JP3279927B2 (ja) | 画像符号化方法及びその装置 | |
JP2961828B2 (ja) | 画像データの復号装置及び復号方法 | |
JPH07274117A (ja) | 画像信号再生装置 | |
JPH06105299A (ja) | 動画像圧縮装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20010605 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080615 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090615 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090615 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100615 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110615 Year of fee payment: 10 |
|
LAPS | Cancellation because of no payment of annual fees |