JP2962329B2 - 画像処理方法 - Google Patents
画像処理方法Info
- Publication number
- JP2962329B2 JP2962329B2 JP3009063A JP906391A JP2962329B2 JP 2962329 B2 JP2962329 B2 JP 2962329B2 JP 3009063 A JP3009063 A JP 3009063A JP 906391 A JP906391 A JP 906391A JP 2962329 B2 JP2962329 B2 JP 2962329B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- output
- data
- correlation
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Digital Computer Display Output (AREA)
- Color Television Systems (AREA)
- Processing Of Color Television Signals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Error Detection And Correction (AREA)
Description
特にエラー訂正不能データを他のデータを用いて修正す
る画像処理方法に関する。
タを光ファイバや通信衛星などの伝送路、磁気テープな
どの記録媒体を介して伝送する画像伝送システムでは、
伝送誤りを検出訂正する誤り訂正符号が利用され、受信
側(又は再生側)で当該誤り訂正符号により伝送誤りを
訂正する。そして、誤り訂正符号によっても訂正できな
い誤りについては、周辺画素から近似値を形成する補間
処理によって修正が行われる。
招かないためには、補間に利用する周辺画素が誤りのな
いものである必要がある。近年、広く利用される高能率
符号化(画像圧縮)を採用している場合、補間に利用で
きる周辺画素が制限される。例えば、1ライン毎にリセ
ットされるDPCM(差分パルス・コード変調)方式で
は、訂正不能の誤りが発生すると、その誤りが含まれる
ラインでは元のデータを再現できない。従って、この場
合の補間には、上下ラインに含まれる画素しか利用でき
ない。また、離散コサイン変換(DCT)のような直交
変換を用いる符号化方式では、訂正不能の誤りが発生す
ると、伝送ブロック(例えば縦8画素×横8画素)に含
まれる全ての画素で、元の信号を再現できなくなり、上
下ラインを使う補間によっても画質劣化を防げない。
おうとしても、符号化方式によっては、その効果を全く
期待できないことがある。
自然な補間画像を得られる画像補間方法を提示すること
を目的とする。
法は、送信側装置より伝送されたディジタル動画像デー
タ中のエラー訂正不能データを他のデータを用いて修正
する画像処理方法であって、当該送信側装置において当
該ディジタル動画像データのフレーム間の相関を検出し
て当該フレーム間相関情報を当該ディジタル動画像デー
タと共に伝送し、当該伝送されたフレーム間相関情報に
従って選択されたフレームの画像データを用いて当該訂
正不能データを修正することを特徴とする。
ータを利用するので、フレーム内での圧縮符号化方法に
よらず自然な補間画像を得ることができる。
する。
を示す。10はアナログ画像信号の入力端子、12はア
ナログ画像信号をディジタル画像信号に変換するA/D
変換器、14はディジタル画像信号を高能率符号化する
エンコーダ、16は、磁気テープや光ディスクなどの記
録再生系、光ファイバや通信衛星などの通信伝送系など
で起こる伝送エラーを検出訂正するための誤り検出訂正
符号(ECC)を付加するECC付加回路である。18
は伝送系であり、具体的には、磁気テープや光ディスク
などの記録再生系、又は光ファイバや通信衛星などの通
信伝送系である。
C復号回路、22はエンコーダ14に対応するデコーダ
である。ECC復号回路20は、誤り訂正したデータを
デコーダ22に出力し、誤り訂正不能なデータについて
エラー訂正不能信号(フラグ)を出力する。このエラー
訂正不能信号(フラグ)は、フレーム・メモリ33,3
5により2フレーム分遅延されて、後述するスイッチ制
御回路36に供給される。24,26,28はシリアル
接続されたフレーム・メモリであり、それぞれFIFO
(先入れ先出し)メモリからなる。30はデコーダ22
の出力とフレーム・メモリ24の出力との間の相関、即
ちフレーム間相関を検出する相関検出回路、32はフレ
ーム・メモリ24,24の出力からフレーム間相関を検
出する相関検出回路である。34はフレーム・メモリ2
4,26,28の出力を選択するスイッチである。スイ
ッチ制御回路36がECC復号回路20からのエラー訂
正不能フラグ及び相関検出回路30,32の検出結果に
よりスイッチ34を切り換える。38はスイッチ34に
より選択されたデータをアナログ信号化するD/A変換
器、40は再生されたアナログ画像信号の出力端子であ
る。
成例を示す。42,44は画像データの入力端子、44
は入力端子42,44から入力する画像データの差分を
計算する減算器である。48は加算器、50は加算器4
8の出力を1サンプル期間遅延して加算器48に帰還す
るDフリップフロップであり、加算器48及びDフリッ
プフロップ50で積算器が構成される。減算器46の出
力を1フレーム分加算した加算器48の出力が出力端子
52から出力される。
は入力端子10に入力するアナログ画像信号を所定サン
プリング・レートでサンプリングし、8ビットとか16
ビットのディジタル信号に変換する。エンコーダ14は
A/D変換器12から出力されるディジタル画像信号を
圧縮、即ち、DPCM符号化とかADCT符号化により
高能率符号化する。本実施例は、高能率符号化の方式自
体によって制限されることはない。ECC付加回路16
は所定の方式により誤り検出訂正符号を付加する。
とか通信伝送系からなる伝送系18を介してECC復号
回路20に入力する。伝送系18の伝送途中で所定の確
率により伝送エラーが発生する。ECC復号回路20は
伝送路18から入力するデータについて、エラーの有
無、エラーの位置及び訂正可能か否かを検出し、訂正可
能なエラーを訂正してデコーダ22に出力する。また、
訂正不能のエラーがある場合には、エラー訂正不能フラ
グをスイッチ制御回路36に出力する。
されたデータを復号(伸長)し、元の画像データをフレ
ーム・メモリ24及び相関検出回路30に出力する。フ
レーム・メモリ24,26,28はFIFO動作をして
おり、且つ縦続接続されているので、フレーム・メモリ
24,26,28には順次連続する3つのフレーム画像
のデータが記憶される。相関検出回路30は、現在のフ
レーム(デコーダ22の出力)と、1つ前のフレーム
(フレーム・メモリ24の出力)との間の相関を検出
し、相関検出回路32は、現在(デコーダ22の出力)
に対して1つ前のフレーム(フレーム・メモリ24の出
力)と、2つ前のフレーム(フレーム・メモリ26の出
力)との間の相関を検出する。相関検出回路30,32
は入力する2フレームの画像信号の差分を1フレーム分
記憶し、相関量を求める。
26,28の出力を選択可能であり、通常はフレーム・
メモリ26の出力を選択している。スイッチ制御回路3
6はECC復号回路20からのエラー訂正不能フラグか
ら、訂正不能エラーの画面位置を知り、相関検出回路3
0,32の出力から、フレーム・メモリ26の出力画像
に対して、前画面及び後画面のどちらがより相関が高い
かを知ることができる。即ち、スイッチ制御回路36
は、ECC復号回路20からのエラー訂正不能フラグに
応じて、より相関の高い画面上の同じ位置の画像データ
を選択するようにスイッチ34を切り換える。
される画像データをアナログ信号に変換し、出力端子4
0から再生されたアナログ画像信号が出力される。
図を示す。本実施例は、高能率符号化方式として、AD
CT方式を採用している。
12はA/D変換器、114はADCT方式のエンコー
ダであり、DCTブロック、例えば8×8画素内でDC
T変換によりDC成分とAC成分に分離し、DC成分に
は前のDCTブロックとの間でDPCM符号化を行な
い、AC成分にはランレングス処理及びハフマン符号化
を行なう。116は、ADCTエンコーダ114からの
AC成分及びDC成分の符号化出力に誤り検出訂正符号
を付加するECC付加回路である。
116に対応するECC復号回路、122はADCTエ
ンコーダ14に対応するADCTデコーダである。12
4,126,128はシリアル接続されたフレーム・メ
モリであり、それぞれFIFO(先入れ先出し)メモリ
からなる。129,130はADCTデコーダ122か
らのDC成分出力を1フレーム分遅延するFIFO型の
フレーム・メモリであり、相関検出のために縦続接続さ
れている。131はデコーダ122の出力とフレーム・
メモリ129の出力との間のフレーム間相関を検出する
相関検出回路、132はフレーム・メモリ129,13
0の出力からフレーム間相関を検出する相関検出回路で
ある。134はフレーム・メモリ24,26,28の出
力を選択するスイッチである。スイッチ制御回路136
がECC復号回路120からのエラー訂正不能フラグ及
び相関検出回路131,132の検出結果によりスイッ
チ134を切り換える。138はスイッチ34により選
択されたデータをアナログ信号化するD/A変換器、1
40は再生されたアナログ画像信号の出力端子である。
器112は入力端子110に入力するアナログ画像信号
をディジタル信号に変換し、ADCTエンコーダ114
はA/D変換器112から出力されるディジタル画像信
号をDCTブロック内でDCT変換し、DC成分を前の
DCTブロックとの間でDPCM符号化し、AC成分を
ランレングス処理及びハフマン符号化する。ECC付加
回路116はADCTエンコーダ114のAC成分出力
及びDC成分出力に所定の方式により誤り検出訂正符号
を付加する。
18を介してECC復号回路120に入力する。ECC
復号回路120は伝送路118から入力するAC,DC
成分データについて、エラーの有無、エラーの位置及び
訂正可能か否かを検出し、訂正可能なエラーを訂正して
ADCTデコーダ122に出力する。また、訂正不能の
エラーがある場合には、エラー訂正不能フラグを出力す
る。このエラー訂正不能フラグはフレーム・メモリ13
3,135により2フレーム分遅延されてスイッチ制御
回路136に供給される。
CM復号し、AC成分をハフマン復号及びランレングス
復号し、逆DCT変換して、元の画像データを復元す
る。ADCTデコーダ122により復元された画像デー
タはフレーム・メモリ124に印加され、また、逆DC
T変換前のDC成分がDC成分のフレーム・メモリ12
9及び相関検出回路131に印加される。フレーム・メ
モリ124,126,128は図1のフレーム・メモリ
24,26,28と同様に、それぞれ、順次連続する3
つのフレーム画像のデータを記憶する。また、フレーム
・メモリ129,130も縦続接続されているので、隣
接するフレームのDC成分を1フレーム分記憶する。相
関検出回路131は、DC成分により、現在のフレーム
(デコーダ122の出力)と、1つ前のフレーム(フレ
ーム・メモリ129の出力)との間の相関を検出し、相
関検出回路132は、現在に対して1つ前のフレーム
(フレーム・メモリ129の出力)と、2つ前のフレー
ム(フレーム・メモリ130の出力)との間の相関を検
出する。相関検出回路131,132は図2と同じ回路
構成でよく、入力する2フレームの画像のDC成分の差
分を1フレーム分記憶する。これにより、フレーム間相
関量が得られる。
4,126,128の出力を選択可能であり、通常はフ
レーム・メモリ26の出力を選択している。スイッチ制
御回路136は図1のスイッチ制御回路36と同様に、
スイッチ134を制御する。即ち、スイッチ134は、
エラー訂正不能なデータについて、より相関の高い画面
上の同じ位置の画像データを選択する。D/A変換器1
38はスイッチ134から出力される画像データをアナ
ログ信号に変換し、出力端子140から再生されたアナ
ログ画像信号が出力される。
分を用いることにより、正確な相関検出を行なえるの
で、より自然な補間による画像修正を行なえる。
に相関検出回路を配置しているが、エンコーダ側(送信
側)に相関検出回路を配置し、フレーム間を相関情報を
フレーム毎に送信するようにしてもよい。このようにす
れば、受信側での設備負担が大幅に軽減される。これ
は、テレビ放送のように多数の受信者があり、受信装置
を小型、低コストにする必要のある伝送システムに適し
ている。
に、本発明によれば、フレーム間相関情報により複数の
フレーム中の最適なフレームを用いてエラー訂正不能デ
ータを修正するので、より自然な修正を行なえ、不自然
さの少ない再生画像(受信画像)を提供できる。
る。
る。
14:エンコーダ 16:ECC付加回路 18:伝
送系 20:ECC復号回路 22:デコーダ24,2
6,28,33,35:フレーム・メモリ 30,3
2:相関検出回路34:スイッチ 36:スイッチ制御
回路 38:D/A変換器 40:出力端子42,4
4:入力端子 44:減算器 48:加算器 50:D
フリップフロップ 52:出力端子 110:画像信号
入力端子 112:A/D変換器114:ADCTエン
コーダ 116:ECC付加回路 118:伝送系 1
20:ECC復号回路 122:ADCTデコーダ 1
24,126,128,129,130,133,13
5:フレーム・メモリ 131,132:相関検出回路
134:スイッチ 136:スイッチ制御回路 13
8:D/A変換器140:出力端子
Claims (1)
- 【請求項1】 送信側装置より伝送されたディジタル動
画像データ中のエラー訂正不能データを他のデータを用
いて修正する画像処理方法であって、当該送信側装置において当該ディジタル動画像データの
フレーム間の相関を検出して当該フレーム間相関情報を
当該ディジタル動画像データと共に伝送し、 当該伝送されたフレーム間相関情報に従って 選択された
フレームの画像データを用いて当該訂正不能データを修
正することを特徴とする画像処理方法。
Priority Applications (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3009063A JP2962329B2 (ja) | 1991-01-29 | 1991-01-29 | 画像処理方法 |
DE69132076T DE69132076T2 (de) | 1990-12-28 | 1991-12-27 | Vorrichtung zur Bildverarbeitung |
EP91312055A EP0493128B1 (en) | 1990-12-28 | 1991-12-27 | Image processing apparatus |
EP96202230A EP0744869B1 (en) | 1990-12-28 | 1991-12-27 | Image processing apparatus |
ES96202230T ES2143136T3 (es) | 1990-12-28 | 1991-12-27 | Aparato para el proceso de imagenes. |
DE69131377T DE69131377T2 (de) | 1990-12-28 | 1991-12-27 | Einrichtung zur Verarbeitung von Bildern |
US08/402,978 US5717705A (en) | 1990-12-28 | 1995-03-13 | Image processing apparatus |
US08/675,194 US5809041A (en) | 1990-12-28 | 1996-07-03 | Image processing apparatus and method for concealing errors by replacing only part of a block |
US09/084,121 US6304990B1 (en) | 1990-12-28 | 1998-05-26 | Error correction and concealment technique |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3009063A JP2962329B2 (ja) | 1991-01-29 | 1991-01-29 | 画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH04252689A JPH04252689A (ja) | 1992-09-08 |
JP2962329B2 true JP2962329B2 (ja) | 1999-10-12 |
Family
ID=11710158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP3009063A Expired - Fee Related JP2962329B2 (ja) | 1990-12-28 | 1991-01-29 | 画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2962329B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8774283B2 (en) | 2007-03-30 | 2014-07-08 | Sony Corporation | Information processing device and method |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006046476A1 (ja) * | 2004-10-29 | 2006-05-04 | Sharp Kabushiki Kaisha | 動画像復号装置および動画像復号方法 |
-
1991
- 1991-01-29 JP JP3009063A patent/JP2962329B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8774283B2 (en) | 2007-03-30 | 2014-07-08 | Sony Corporation | Information processing device and method |
KR101442278B1 (ko) * | 2007-03-30 | 2014-09-22 | 소니 주식회사 | 정보 처리 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
JPH04252689A (ja) | 1992-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5809041A (en) | Image processing apparatus and method for concealing errors by replacing only part of a block | |
KR0125581B1 (ko) | 디지탈 영상신호의 에러수정 시스템 | |
US5534928A (en) | Apparatus and method for decoding a plurality of encoded video signals | |
JPS62107526A (ja) | 高能率符号化/復号装置 | |
JPH04358486A (ja) | 高能率符号化信号処理装置 | |
JP3132184B2 (ja) | 画像データ記録再生装置 | |
KR100305520B1 (ko) | 가변길이코드워드디코더및가변길이코드워드를디코딩하기위한방법 | |
US5040060A (en) | Image information transmission system with compression based on still-image redundancy | |
US5740187A (en) | Data processing using interpolation of first and second information based on different criteria | |
JPH05115010A (ja) | 画像復号化装置 | |
JP2962329B2 (ja) | 画像処理方法 | |
JPH0799651A (ja) | 画像信号再生装置 | |
JP2822454B2 (ja) | フレーム間予測符号化方式 | |
JP2642261B2 (ja) | 画素補間回路および応用装置 | |
JPH0133993B2 (ja) | ||
JP2888523B2 (ja) | 画像処理装置 | |
JP3257156B2 (ja) | 画像信号復号装置 | |
JPS59178886A (ja) | 符号化方式 | |
JP2855621B2 (ja) | ディジタル情報処理装置 | |
JPH05308524A (ja) | 画像処理装置 | |
JPH0230284A (ja) | 復号化装置及び方法 | |
JPH073955B2 (ja) | 符号器 | |
JPH07274117A (ja) | 画像信号再生装置 | |
JP2845274B2 (ja) | ディジタル情報処理装置 | |
JP2977030B2 (ja) | ディジタル情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990707 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070806 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080806 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080806 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090806 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090806 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100806 Year of fee payment: 11 |
|
LAPS | Cancellation because of no payment of annual fees |