JPH0831960B2 - 静止画像の符号化方法とその装置 - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、静止画像の符号化装置及び動画像の復号化
装置を互いに接続し、静止画像の符号化復号化を行う方
法及びその方法を実施する装置に関する。

（従来の技術） 従来、テレコンファレンス等における静止画像の通信
は、静止画通信局と静止画通信局との間で、静止画像の
符号化装置と静止画像の復号化装置により通信を行なっ
ていた。あるいは、動画通信局と動画通信局の間におい
ては、動画像の符号化装置と動画像の復号化装置との双
方に予め用意されている静止画モードの通信により行な
われていた。

（発明が解決しようとする課題） しかしながら、従来のテレコンファレンス等における
静止画像の通信では、静止画像の符号化装置と動画像の
復号化装置の符号化処理方法が異なるため、静止画通信
局は静止画通信局と、動画通信局は動画通信局と、それ
ぞれの閉領域において行なわれ、静止画局と動画局の双
方にまたがる通信は実行不可能であり、非常に不便であ
った。

そこで、本発明の技術的課題は上記欠点に鑑み、静止
画像の符号器と動画像の復号器との通信を実現する静止
画像の符号化方法とその装置を提供することである。

（課題を解決するための手段） 本発明によれば静止画像に対して、フレーム毎にｎラ
インづつフレーム内符号化を行い、該ｎライン以外の領
域をフレーム間で無効ラインであることを示す符号に置
き換えて符号化を行うことを特徴とする静止画像の符号
化方法が得られる。

即ち、本願の第一の発明によれば、静止画像の符号化
伝送において、任意の時刻毎に定められた領域に対して
画面内の相関を用いて符号化を行ない、該符号化領域以
外は画面間の相関を利用し場合に変化がない状態として
符号化することを特徴とする静止画像の符号化方法が得
られる。

また、本願の第二の発明によれば、静止画像の符号化
において、第一の静止画像を蓄える手段と、該静止画像
を蓄える手段の出力に対し画面内の相関に基づいてフレ
ーム毎にｎラインづつ移動して符号化するフレーム内符
号化手段と、該フレーム内符号化信号を冗長度低減する
ように変換する第一の符号変換手段と、前記画面内でフ
レーム内符号化を行なわなかった前記ｎライン以外の領
域について、画面間において変化がないことを表す符号
を発生する第二の符号変換手段と、前記第一の符号変換
手段と前記第二の符号変換手段の出力のいずれかを選択
する選択手段と、該選択手段および前記静止画像を蓄え
る手段の動作を制御する制御手段とを具備することを特
徴とする静止画像の符号化装置が得られる。

（発明の概要） 第１図に示すように、静止画像符号化装置40と動画復
号化装置41とが、静止画用の伝送レートの低い伝送路42
で結ばれている。静止画像の符号化装置40は、伝送しよ
うとする静止画像が入力されると、その入力された画像
を少しづつ符号化し、符号化したデータを伝送路42に徐
々に流す。これは静止画用の伝送路42は、伝送レートが
非常に低いので、大量のデータを瞬時に流すことができ
ないためである。

一方、動画像の符号化装置（図示せず）。では、符号
化によって生じた雑音や歪み、あるいは伝送路上での符
号誤りの影響を取除くために、周期的な画像の書替（リ
フレッシュ）を行なっている。リフレッシュは、第２図
に示すように、定められた画面毎（時刻毎）にｎライン
づつ移動しながら、画面内の相関を用いたフレーム内符
号化により実行され、フレームメモリに新しい画像が書
込まれる。リフレッシュ以外の領域は、画面間の相関を
利用したフレーム間符号化が行なわれる。

そこで本発明の静止画像の符号化では、上記のリフレ
ッシュモードを利用して符号化することにより、動画像
の復号器で復号化を可能とするものである。

即ち、静止画の符号化に当っては、第３図に示すよう
に静止画像を蓄えるフレームメモリ１に、送信しようと
する静止画を書込む。そして、画面内の相関を用いたフ
レーム内符号器２で、フレーム毎にｎラインづつ移動し
ながら符号化する。フレーム内符号化された信号ｂを、
第１符号変換器４により、ハフマン符号などの効率の良
い符号を用いて、さらに冗長性を低減する。その画面内
でフレーム内符号化を行わなかったｎライン以外の領域
は、画面間での変化がないことを表現するために、第２
符号変換器５において、フレーム間で無効ラインである
ことを示す符号に置き換えられる。符号化に当っては、
制御回路３がフレームメモリ１、フレーム内符号器２、
第２符号変換器５および選択器６の制御を行ない、以下
に示すような動作となる。

制御回路３は、符号化を行なう画像の読み出し制御を
行なうリードコマンドｃをフレームメモリ１に与える。
フレームメモリ１は、リードコマンドｃが画像信号ａの
読み出しを指示しているときにのみ画像信号ａを読み出
す。制御回路３は、さらにフレーム内符号化の実行停止
を制御する符号化実行停止信号ｄを、フレーム内符号器
２と第２符号変換器５に与える。フレーム内符号器２
は、制御回路３から与えられた符号化実行停止信号ｄが
符号化の実行を示しているときには、フレーム内符号化
を実行する。符号化実行停止信号が符号化の停止を示し
ているときには、フレーム内符号器２は何も行なわず停
止状態となる。第２符号変換器５は、この符号化実行停
止信号に対応してフレーム間で無効ラインであることを
示す符号ｅを発生し、選択器６に供給する。制御回路３
から与えられる符号化実行停止信号ｄは、フレーム毎に
ｎラインづつ移動する。また、制御回路３はフレーム内
符号化の実行を示す信号をフレーム内符号器２に与えた
ときには、選択器６に第１符号変換器４の出力を選択す
る切替信号ｆを与え、フレーム内符号化が実行され符号
変換された信号ｇを選択する。フレーム内符号化を停止
させているときには、第２符号変換器５の出力を選択す
る切替信号ｆを選択器６に与える。

この様に、フレーム毎にｎラインづつフレーム内符号
化を行ない、ｎライン以外の領域をフレーム間で無効ラ
インであることを示す符号に置き換えて符号化すること
により、画面間の相関と画面内の相関を用いた動画像の
符号器で符号化を行なった場合と等価にできる。

一方、受信側では、上述の様な符号を受取れば書換え
られる画像部分については、動画像復号装置のフレーム
内復号化を利用したリフレッシュモードによって復号化
することができる。

復号装置は、第４図に示すように、画面間の相関と画
面内の相関を利用した通常の動画像復号装置41を用いる
ことができる。

送信側から伝送されてきた符号は、逆符号変換器７で
逆符号変換されて、逆量子化器８に送られる。また、逆
符号変換器７は、そのラインがフレーム内符号化が行な
われていたか、フレーム間符号化が行なわれていたかを
示す選択信号（フラッグ）を生成し、復号器の選択信号
ｈとして選択器12に供給する。逆量子化器８で逆量子化
された差分信号ｉは、加算器９で選択器12から与えられ
る予測信号ｊと加算され復号信号ｋとなる。復号信号ｋ
は、復号装置の出力として出力されるとともにフレーム
内復号器10とフレーム間復号器11に送られる。フレーム
内復号器10は、画面内の前画素あるいは前ラインなどの
符号化済みの信号から予測信号l_-1を生成し、選択器12
に与える。フレーム間復号器11は、加算器９から送られ
てきた復号信号ｋを１フレーム時間遅延し、フレーム間
予測信号l_-2として選択器12に与える。選択器12は、逆
符号変換器７から供給された選択信号ｈに従い、予測信
号l_-1,l_-2の選択を行なう。

このようにすると、例えば第２図の時刻ｔで、リフレ
ッシュされた領域は、時刻ｔ＋ｍでフレーム間符号化が
実行され、リフレッシュラインは次の領域に移る。とこ
ろがフレーム間符号化が実行されたラインは、符号化デ
ータが符号化の時に無効データに置き換えられているの
で、そのラインはフレーム間予測信号l_-2がそのまま復
号装置の出力信号となる。従って、時刻ｔ＋ｍでは、フ
レーム間符号器に蓄えられている時刻ｔでリフレッシュ
された信号が、そのまま復号装置の出力となる。そして
時刻ｔ＋ｍのリフレッシュ領域が追加される。このよう
にフレーム間の復号を行なうラインは、送信側から送ら
れてきた差分信号ｉが無効データとなっているので、前
フレームまでにリフレッシュされた信号が出力される。
そして、このフレームでリフレッシュされた信号が追加
され、フレーム毎にリフレッシュ領域がｎラインづつ移
動して、リフレッシュされた新しい画像の領域が徐々に
拡大して行き、これを繰返すことにより１枚の画像を形
成する。

フレーム内符号器２として直交変換などの変換符号化
を用いた場合の復号装置41は、第５図に示すような構成
のものを用いればよい。逆符号変換器７と逆量子化器８
は、前記のものと同様の動作をする。逆量子化器８の出
力は、加算器９とフレーム内復号器10に与えられる。加
算器９の出力は、選択器12の一方の入力に与えられる。
フレーム内復号器10の出力は、選択器12のもう一方の入
力に供給される。選択器12は、逆符号変換器７から与え
られた選択信号ｈに従い、フレーム内復号器10の出力と
加算器９の出力のどちらか一方選択を行なう。選択器12
の出力信号は、復号装置41の出力として出力されるとと
もに、フレーム間復号器11に与えられる。フレーム間復
号器11は、選択器12から与えられた信号を１フレーム時
間遅延し加算器９に送る。この場合のフレーム内復号器
10は、送信側に用いたフレーム内符号器（第３図参照）
２の逆変換とする。

以上説明したように、静止画像の符号化装置40でフレ
ーム毎にｎラインづつ移動しながらフレーム内符号化を
行ない、画面内のｎライン以外の領域は、フレーム間で
無効ラインであることを示す符号に置き換えて符号化を
行なうことにより、受信側では動画像復号装置41のフレ
ーム内復号化を利用したリフレッシュモードで復号を行
なうことができる。

（実施例） 次に本発明の一実施例を詳細に説明する。

第６図は、本実施例の符号器のブロック図である。入
力の画像信号は、線100を介してフレームメモリ１に供
給される。フレームメモリ１は、制御回路３から線31を
介して供給される読み出し制御信号ｃが、画像の読み出
しを指示しているときにのみ画像データを読み出し、線
12を介してフレーム内符号器２に供給される。

フレーム内符号器２が予測符号化方式を用いる場合に
は、第７図に示すような構成になる。画像の読み出し指
示に従ってフレームメモリ１から読み出された画像信号
ａは、線12を介して減算器21に供給される。減算器21
は、フレームメモリ１から供給された画像信号ａとフレ
ーム内予測器23から供給されるフレーム内予測信号ｐと
の減算を行ない、フレーム内差分信号Ｑを得る。減算器
21で得られたフレーム内差分信号Ｑは、量子化器22に供
給される。量子化器22は、減算器21から供給されたフレ
ーム内差分信号Ｑを量子化して、フレーム内予測器の出
力として線24を介して符号変換器４に供給するととも
に、フレーム内予測器23に供給する。フレーム内予測器
23は、今から符号化しようとする画素の近傍の画素、例
えば前画素または前ラインの画素などからフレーム内予
測信号ｐを生成し、減算器21に供給する。量子化器22お
よびフレーム内予測器23は、制御回路３から線32を介し
て供給される符号化実行停止信号ｄが、符号化の実行を
指示しているときには、それぞれの機能を実行する。符
号化実行停止信号が、符号化停止を指示しているときに
は、それぞれの機能を停止する。すなわち、量子化器22
およびフレーム内予測器23は出力をゼロとする。

次に第８図を参照しながら制御回路３について説明す
る。

クロック発振器300は、基準クロックを発生し、ライ
ンカウンタ310に供給する。ラインカウンタ310は、クロ
ック発振器300から供給されたクロを分周し、ライン番
号を数える。例えば、１画面当りの画素数が256サンプ
ル×240ラインであるとすると、256クロック毎にライン
番号を１づつ更新して数え、240ラインまで数えると先
頭のライン番号に戻る。ラインカウンタ310で得られた
ライン番号は、線3133を介してROM（リードオンリーメ
モリー）330の下位ビットのアドレスに供給される。ま
た、ラインカウンタ310は240ライン毎にキャリーを１回
発生し、線3132を介してフレームカウンタ320に供給す
る。

フレームカウンタ320は、ラインカウンタ310から線31
32を介してキャリー信号が供給される毎にフレーム番号
を１づつ更新し数え上げる。フレームカウンタ320で得
られたフレーム番号は、線3233を介してROM330の上位ビ
ットのアドレスに供給される。ROM330は、フレーム内符
号化を実行するための制御信号を発生する。フレーム毎
にｎラインづつ移動しながらフレーム内符号化を行なう
には、フレーム毎に符号化するラインを予め定めて、そ
のアドレスにフレーム内符号化を実行する信号、例えば
１を書込んでおけばフレーム毎に定められたラインにフ
レーム内符号化実行信号が移動する。画面内でフレーム
内符号化を行なわない領域は、そのラインのアドレス０
を書込んでおく。この様にして発生したフレーム内符号
化実行信号は、フレームメモリの読み出し制御信号ｃと
して線31を介してフレームメモリ１に供給される。ま
た、ROM330で発生したフレーム内符号化実行信号は、遅
延340に供給される。遅延340は、ROM330から供給された
フレーム内符号化実行信号に対し、フレームメモリ１に
読み出し制御信号ｃが与えられてからデータがフレーム
内符号器２に供給されるまでの遅延時間に相当する遅延
補償を行なう。遅延340の出力信号ｄは、線32を介して
符号化実行停止信号としてフレーム内符号器２および符
号変換器５に供給されるとともに、遅延350に供給され
る。遅延350は、符号化実行停止信号に対して、符号化
実行停止信号がフレーム内符号器２に供給されてからフ
レーム内符号化が実行されたデータが出力されるまでの
遅延時間と、第１符号変換器４で符号変換に要する遅延
時間に相当する遅延の補償を行なう。遅延350の出力
は、第１及び第２符号変換器4,5の選択信号ｆとして線3
6を介して選択器６に供給される。

第６図に戻れば第１符号変換器４は、フレーム内符号
器２から供給された量子化が施されているフレーム内差
分信号ｂを、ハフマン符号などの効率の良い符号を用い
て符号変換し、線46を介して選択器６に供給する。第２
符号変換器５は、線32を介して供給された符号化実行停
止信号ｄが、符号化の停止を示しているときには、ラン
レングス符号などの効率の良い符号を用いて、常にフレ
ーム間で無効ラインであることを示す符号ｅを発生す
る。符号変換器５の出力は、線56を介して選択器６に供
給される。選択器６は、制御回路３から供給された選択
信号ｆにより、第１及び第２符号変換器4,5の選択を行
なう。制御回路３から供給された選択信号ｆが、１でフ
レーム内符号化が実行され符号変換された信号ｇを選択
するように指示している場合には、第１符号変換器４の
出力信号を選択する。選択信号が０でフレーム間で無効
ラインであることを示す符号ｅの選択を指示している場
合には、第２符号変換器５の出力を選択する。選択器６
の出力は、線60を介して伝送路に供給される。

つぎに、第９図を参照しながら復号装置について説明
する。

第９図に示す復号装置は、画面内の相関および画面間
の相関を利用した通常の動画像復号装置41である。

送信側から送られてきた信号は、線700を介して逆符
号変換器７に供給される。逆符号変換器７は、逆符号変
換を行ない逆変換された信号を逆量子化８に供給する。
また、逆符号変換器７は、符号からフレーム内符号化が
行なわれていた信号か、フレーム間符号化が行なわれて
いた信号かを示す信号ｈを生成し、復号器10,11の選択
信号として線712を介して選択器12に供給する。逆量子
化器８は、逆符号変換器７から供給された信号を逆量子
化し、得られた差分信号ｉを加算器９に供給する。加算
器９は、逆量子化器８から供給された差分信号ｉと、選
択器12から供給される予測信号ｉとを加算し復号信号ｋ
を得る。加算器９の出力の復号信号ｋは、フレーム内復
号器10およびフレーム間復号器11に供給される。また、
加算器９の出力の復号信号ｋは、復号装置の出力として
線900を介して出力される。フレーム内復号器10は、加
算器９から供給された復号信号ｋを一時的に蓄え、今か
ら復号化しようとする画素の近傍の画素、例えば前画素
または前ラインの画素などからフレーム内予測信号l_-1
を生成し、線1012を介して選択器12に供給する。フレー
ム内復号器10の予測関数は、フレーム内符号器２のもの
と同じものを用いる。フレーム間復号器11は、加算器９
から供給された復号信号ｋを１フレーム時間遅延し、フ
レーム間予測信号l_-2として線112を介して選択器12に供
給する。選択器12は、逆符号変換器７から供給された選
択信号ｈに従い予測信号の選択を行なう。選択器12の出
力の予測信号ｉは、加算器９に供給される。

なお、以上の説明において、フレーム内符号器２とし
て予測符号化方式を用いるものとしたが、これは勿論他
の直交変換などの方式も適用可能である。この時には、
フレーム内符号器２に含まれるフレーム内予測器23の機
能と減算器21の機能を削除し、代りに入力信号に対し変
換回路を設け、変換結果を量子化すればよい。また復号
装置としては、第５図に示すような復号装置を用いれば
よい。変換方式としては、アダマール変換,DCT,その他
特に制限はない。

（発明の効果） 以上説明したように、本発明の静止画像の符号化方法
又は符号化装置を用いれば、通常の動画像復合器で復号
化を行なうことができ、静止画像の符号器と動画像の復
号器との通信が可能となる。よって、静止画局は静止画
局と、動画局は動画局と、それぞれの閉領域において行
なわれていた通信の枠を拡大することができる。

【図面の簡単な説明】

第１図は本発明の静止画像符号化装置と動画像復号化装
置との接続関係を表す概念図、第２図は本発明の周期的
な画像のリフレッシュを表す概念図、第３図は本発明の
概念を示すブロック図、第４図は通常の動画像復号装置
のブロック概念図、第５図はフレーム内符号器として変
換符号化を用いた場合に用いる通常の復号装置、第６図
は本発明の実施例に係るブロック概念図、第７図は第６
図における実施例の予測符号化方式を用いた場合のフレ
ーム内符号器のブロック概念図、第８図は第６図の実施
例の制御回路のブロック概念図、第９図は第６図におけ
る実施例に対して用いられる通常の動画像復号装置のブ
ロック概念図である。 １……フレームメモリ、２……フレーム内符号器、３…
…制御回路、４……第２符号変換器、５……第２符号変
換器、６……選択器、７……逆符号変換器、８……逆量
子化器、９……加算器、10……フレーム内復号器、11…
…フレーム間復合器、12……選択器、21……減算器、22
……量子化器、23……フレーム内予測器、300……クロ
ック発振器、310……ラインカウンタ、320……フレーム
カウンタ、330……ROM、340……遅延、350……遅延。

Claims (2)

【特許請求の範囲】
1. 【請求項１】静止画像に対して、フレーム毎にｎライン
   づつフレーム内符号化を行い、一方、該ｎライン以外の
   領域をフレーム間で無効ラインであることを示す符号に
   置き換えて符号化を行うことを特徴とする静止画像の符
   号化方法。
2. 【請求項２】静止画像の符号化において、第一の静止画
   像を蓄える手段（１）と、該静止画像を蓄える手段
   （１）の出力に対し画面内の相関に基づいてフレーム毎
   にｎラインづつ移動して符号化するフレーム内符号化手
   段（２）と、該フレーム内符号化信号を冗長度低減する
   ように変換する第一の符号変換手段（４）と、前記画面
   内でフレーム内符号化を行なわなかった前記ｎライン以
   外の領域について、画面間において変化がないことを表
   す符号を発生する第二の符号変換手段（５）と、前記第
   一の符号変換手段（４）と前記第二の符号変換手段
   （５）の出力のいずれかを選択する選択手段（６）とを
   具備することを特徴とする静止画像の符号化装置。