JPH088689B2 - 画像符号化装置 - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本願発明は、動画送信局の動画像の符号化装置を用い
て、動画像の符号化および静止画像の符号化を行ない、
動画受信局および静止画受信局との間でマルチポイント
の通信を行なうための画像符号化装置に関する。

（従来の技術） 従来、テレコンファレンス等における画像の通信は、
動画通信局は動画通信局との間で動画像の通信を行な
い、静止画通信局は、静止画通信局との間で静止画像の
通信を行なっていた。あるいは、動画通信局と動画通信
局の間で動画像符号化装置、動画像復号化装置における
静止画モードにより静止画像の通信を行なっていた。

（発明が解決しようとする課題） しかしながら、従来のテレコンファレンス等における
画像の通信は、動画像の符号化装置と静止画像の復号化
装置の符号化処理方法が異なるため、動画通信局は、動
画通信局と、静止画通信局は、静止画通信局と、それぞ
れの閉鎖域において通信が行なわれ、動画局と、静止画
局の通信は実行不可能であり、非常に不便であった。

そこで、本発明の技術的課題は、上記欠点に鑑み、動
画像の復号化装置と静止画像の復号化装置との間で同時
にマルチポイントの通信を行えるための画像符号化装置
を提供することである。

（課題を解決するための手段） 本発明によれば、画面内の相関と画面間の相関を用い
る画像符号化装置において、入力の画像を１画面蓄える
手段と、入力画像と前記画面を蓄える手段からの出力信
号のいずれかを選択する第一の選択手段と、該第一の選
択手段の出力と第三の予測信号を用いて冗長度を低減し
た信号を得る手段と、画面間の相関を用いたときの前記
冗長度を低減した信号を第三の指示によって予め定めら
れた値とすることができる前記冗長度を低減した信号を
量子化する手段と、前記予測信号と前記量子化手段の出
力を用いて局部復合信号を得る手段と、前記局部復合信
号から画面内の相関を用いた第一の予測信号を発生する
第一の予測器と、画面間の相関を用いて第二の予測信号
を発生し、前記第二の指示によって該第二の予測信号を
蓄えておくことのできる第二の予測器と、前記第一の予
測信号と前記第二の予測信号を、第一の指示によって選
択し前記第三の予測信号を発生する第二の選択手段と、
前記量子化手段の出力を符号変換し、前記第二の指示に
よって入力の如何にかかわらず無効として符号変換をす
ることのできる第一の符号変換手段と、前記量子化手段
の出力を符号変換し、前記第二の指示によって画面間の
相関を用いた結果予測誤差が全て無効として符号変換を
することのできる第二の符号変換手段と、前記第一の指
示を行なう第一の制御手段と、前記量子化手段、前記第
二の予測器、前記第一の符号変換手段、およひび前記第
二の符号変換手段に前記第二の指示を与え、前記量子化
手段に第三の指示を与える第二の制御手段とを具備する
ことを特徴とする画像符号化装置が得られる。

（発明の概要） 本願の発明は、従来不可能であった動画像符号化装置
と、静止画像復合化装置の間で静止画像の通信を実行さ
せ、同一時に動画通信局と動画通信局および静止画通信
力局との間でマルチポイントの画像通信を行なうもので
ある。

即ち第１図に示すように、動画像符号化装置40と動画
像復号化装置41および静止画像復号化装置42の間でマル
チポイントの通信を行なうには、動画像符号化装置40と
動画像復号化装置41とを、動画用の高速回線43で結び、
動画像符号化装置40と静止画復号化装置42との間は、静
止画用の低速回線44で結ぶ。そして動画像符号化装置40
と動画像復号化装置41との間では、通常の動画像通信を
行ない、動画像符号化装置40と静止画復号装置42との間
では、静止画像の通信を行なう。動画像符号化装置40に
おける静止画像の符号化は、動画像符号化装置40に伝送
しようとする静止画像を取込み、その取込んだ画像を少
しづつ符号化し、符号化したデータを伝送路に徐々に流
すことが必要である。なぜならば、静止画像の復号化装
置42につながる伝送路は、動画像の復号化装置41につな
がる伝送路に比べ、伝送レートが非常に低いので大量デ
ータを瞬時に流すことができないためである。

従って、動画像符号化装置40で静止画を少しづつ符号
化して伝送することが必要となる。

通常、第２図（ａ），（ｂ），（ｃ）に示すように動
画像の符号化では、伝送路の誤りによって生じたエラー
を取除くために、周期的な画像の書替（リフレッシュ）
を行なっている。リフレッシュは定められた画面毎にｎ
ラインづつ移動しながら、画面内の相関を用いたフレー
ム内符号化により実行され、伝送路誤りにより復号器の
フレームメモリーに生じたエラーを取除き、新しいきれ
いな画像を符号器、復合器の双方のフレームメモリー内
に書込む。リフレッシュ以外の領域は、画面間の相関を
利用したフレーム間符号化が行なわれている。

そこで、本発明の動画像符号化装置による静止画像の
符号化は、前記リフレッシュモードを利用し、フレーム
内符号化によりｎラインづつ符号化し、リフレッシュ以
外の領域はフレーム間符号化でデータが無効であること
を示す符号に置き替えて符号化し、画面毎の過大な情報
の発生を抑える。このように少しづつ符号化して伝送す
ることにより、瞬時に大量な情報が発生しないようにす
る。

静止画の符号化に当っては、第３図に示すように、静
止画像を蓄えるフレームメモリー43を動画像符号化装置
44の前に用意し、そのフレームメモリー43に送信しよう
とする静止画を書込む。そして動画像符号化装置44の入
力は、静止画用フレームメモリー43の出力を選択し、リ
フレッシュモードで定められた画面毎にｎラインずつ符
号化する。

本発明の動画像符号化装置は、第４図に示すような構
成になっており、フレーム間予測器45とフレーム内予測
器46の二つの予測器を持っていて、通常の符号化とリフ
レッシュで予測器45,46を切替えている。通常の符号化
では、予測信号として符号化効率の良いフレーム間予測
器45の出力を選択し、前画面との差分を符号化する。リ
フレッシュを行なう場合には、その期間（ｎライン）だ
け予測信号としてフレーム内予測器46の出力を選択し、
フレーム内符号化を実行する。この時、フレーム内予測
器46は、入力信号の画面内の前画素あるいは近傍の画素
の値を用いるので、伝送路誤りによるエラーが累積され
ている前画面の影響を受けることなく、正しい画像でフ
レームメモリーの内容を更新することができる。静止画
の符号化に当っては、画面内のリフレッシュライン以外
の領域、すなわちフレーム間予測を用いて符号化を行な
った領域は、符号化したデータを全てフレーム間の無効
データに置き替えて受信側に送る。すなわち、その画面
の有効データは、リフレッシュラインのみとなり、瞬時
の多量な情報量の発生を抑えることができる。このとき
の符号化データは、第２の符号変換器48でハフマン符号
などの効率の良い符号に変換され、伝送路の速度との整
合が取られ、静止画用の低速回線で少しづつデータを送
る。このとき動画像符号化装置としては、静止画像の符
号化が開始される直前のフレーム間予測信号を、フレー
ム間予測器45に蓄えておき、静止画の符号化を実行して
いる間、第１の符号変換器47の出力を無効データに置き
換えれば、動画像復号化装置は、静止画像の符号化が行
なわれる直前の画像をフリーズしておくことができる。

あるいは、動画像符号化装置への入力信号として静止
画用フレームメモリーから供給される信号を用い、あた
かも通常の動画像信号が入力されているかのように符号
化を行なってもよい。

そして、動画像符号化装置としては、動画像の符号化
を再開する際に、フレーム間予測器45に蓄えられていた
予測信号を用いることによって、新たに画面全体を画面
内の相関を利用したフレーム内符号化でリフレッシュす
ることなく、静止画像の符号化が終了した直後から画面
間の相関を利用した能率の良い動画像符号化を行なうこ
とができる。動画像復号化装置においても動画像符号化
装置と同様に、画面全体をリフレッシュすることなく、
ただちにフレーム間の復号を行なうことができる。

受信側の静止画像復号化装置は、第５図に示すよう
に、フィードバックループを持たせておけば、動画像符
号化装置から送られて来た信号を正しく復号化すること
ができる。復号信号の選択スイッチは、フレーム内符号
化が実行された時にはフレーム内復号器49の出力を選択
し、そのデータを静止画復号化装置の出力として出力す
ると共にフレームメモリーに蓄える。フレーム間符号化
が実行された領域の時にはフレーム間復号器50の出力を
選択する。このようにすると、例えば、第２図の時刻ｔ
でリフレッシュされた領域は、時刻ｔ＋１でフレーム間
符号化が実行され、リフレッシュラインは次の領域に移
るが、フレーム間符号化が実行された領域は、符号化デ
ータが符号化の時に無効データに置き換えられているの
で、フレーム間復号化を行なってもリフレッシュされて
フレームメモリーに蓄えられているデータがそのままフ
レーム間復号器50の出力となり、再びフレームメモリー
に蓄えられリフレッシュされたデータが保たれる。この
動作を繰り返すことにより、リフレッシュを実行する領
域が移動し、リフレッシュされた新しい画像の領域が徐
々に拡大され、１枚の静止画になる。

上記のように静止画像復号化装置にフィードバックル
ープを持てば、動画像符号化装置のリフレッシュモード
を利用して静止画の伝送を行なうことができる。

（実施例） 次に、本発明の一実施例を図面を参照して説明する。

−第１の実施例− 第６図は本発明の第１の実施例である符号化装置の構
成を示すブロック図である。入力の画像信号は、線100
を介してフレームメモリー１、同期分離器２およびスイ
ッチ５に供給される。フレームメモリー１は、制御回路
４から線41を介して供給される書込み信号が、書込みを
指示しているときに入力画像信号を書込み、その画面を
蓄えておく。同期分離器２は、線100を介して供給され
た入力の動画像信号から同期を分離し、分離した同期信
号を基にフレームの先頭を示すフレームパルスおよびラ
インの先頭を示すラインパルスを生成し、リフレッシュ
回路３および制御回路４に供給する。リフレッシュ回路
３は、同期分離器２から供給されたフレームパルスおよ
びラインパルスを基に、定められたフレーム毎にｎライ
ンづつ移動しながらリフレッシュを行なうリフレッシュ
制御信号を発生する。リフレッシュ回路３で発生された
リフレッシュ制御信号は、制御回路４、スイッチ11、符
号変換器12および符号変換器13に供給される。制御回路
４は、線400を介して供給される静止画信号が、静止画
の符号化を指示しているときに、書込み信号を１フレー
ム時間に渡って発生し、線41を介してフレームメモリー
１に供給する。また制御回路４は、線400を介して供給
される静止画信号が、静止画の符号化を指示していると
きには、静止画の符号化を実行するための制御信号を発
生し、線450を介してスイッチ５、フレームメモリー1
0、符号変換器12および符号変換器13に供給する。さら
に制御回路４は、線400を介して供給された静止画信号
が、静止画の符号化を指示していて、リフレッシュ回路
３から供給されたリフレッシュ制御信号が、リフレッシ
ュ以外のラインであることを示しているときに、量子化
を停止し無効データとする停止信号を量子化器７に供給
する。

スイッチ５は、制御回路４から線450を介して供給さ
れた制御信号が、動画像の符号化を示しているときに
は、線100を介して供給された入力の動画像信号を選択
し、制御信号が静止画の符号化を示しているときには、
フレームメモリー１の出力を選択する。スイッチ５の出
力信号は、減算器６に供給される。減算器６は、スイッ
チ５から供給された信号と、スイッチ11から供給される
予測信号との減算を行ない予測誤差信号を得る。減算器
６の出力信号は、量子化器７に供給される。量子化器７
は、制御回路４から供給された停止信号が停止を示して
いるときには、量子化を停止し、無効データを出力す
る。停止信号が停止でないことを示しているときには、
減算器６から供給された予測誤差信号を量子化する。

すなわち、静止画の符号化を実行中で、フレーム内符
号化を行なう領域は通常の量子化を行ない、フレーム間
符号化を行なう領域はデーターをフレーム間で無効とす
ることにより、そのフレームの符号化により発生する情
報量は、フレーム内符号化を行なったリフレッシュライ
ンのみとなる。このように静止画の符号化を実行してい
るときには、少しづつ徐々に符号化することにより過大
な情報の発生を抑える。量子化器７の出力信号は、加算
器８、符号変換器12および符号変換器13に供給される。
加算器８は、量子化器７から供給された量子化が施され
た予測誤差信号と、スイッチ11から供給される予測信号
とを加算し、局部復号信号を得る。加算器８で得られた
局部復号信号は、フレーム内予測器９およびフレームメ
モリー10に供給される。フレーム内予測器９は、加算器
８から供給された局部復号信号のうちの、今から符号化
を行なう画素の近傍の画素、例えば前画素あるいは前ラ
インなどの画素の値を用いてフレーム内予測信号を生成
し、スイッチ11に供給する。フレームメモリー10は、制
御回路４から供給された制御信号が動画像の符号化を示
しているときには、加算器８から供給された局部復号信
号を１フレーム時間遅延し、フレーム間予測信号を得る
が、制御信号が静止画の符号化を示しているときには、
加算器８から供給された局部復号信号の書込みを停止
し、前フレームの信号を保持する。フレームメモリー10
の出力のフレーム間予測信号は、スイッチ11に供給され
る。スイッチ11は、リフレッシュ回路３から供給された
リフレッシュ制御信号がリフレッシュラインであること
を示しているときには、フレーム内予測器９の出力を選
択し、リフレッシュ制御信号がリフレッシュライン以外
のラインであることを示しているときには、フレームメ
モリー10の出力を選択する。スイッチ11の出力の予測信
号は、減算器６および加算器８に供給される。

符号変換器12は、制御回路４から供給された制御信号
が、動画像の符号化を示しているときには、量子化器７
から供給された量子化が施された予測誤差信号を、ハフ
マン符号などの能率の良い符号を用いて符号変換する。
制御信号が静止画の符号化を示しているときには、符号
変換を停止し、データーが無効であることを示す符号を
出力する。また符号変換器12は、リフレッシュ回路３か
ら供給されたリフレッシュ制御信号によりリフレッシュ
用の符号化と、フレーム間用の符号化の切替を行なう。
符号変換された信号は、回線の速度との整合が取られ符
号変換器12の出力となる。符号変換器12の出力信号は、
高速回線を介して動画像復号化装置に供給される。符号
変換器13は、制御回路４から供給された制御信号が静止
画の符号化を示しているときには、量子化器７から供給
された量子化が施された予測誤差信号を、ハフマン符号
などの能率の良い符号を用いて符号変換する。制御信号
が、動画像の符号化を示しているときには、データーが
無効であることを示す符号を出力する。また、符号変換
器12と同様に符号の切替も行なう。符号変換された信号
は、回線の速度との整合が取られ符号変換器13の出力と
なる。符号変換器13の出力信号は、低速回線を介して静
止画像復号化装置に供給される。

つぎに、第７図を参照しながら静止画像復号化装置に
ついて説明する。

動画像符号化装置のリフレッシュモードで符号化され
た静止画は、静止画用の低速回線から線200を介して符
号逆変換器20に供給される。符号逆変換器20は、回線の
速度と復号の速度の整合をとりながら逆符号変換を行な
い、フレーム内符号化でリフレッシュされた領域が逆符
号変換されたときには、線2021を介してフレーム内復号
器21に供給し、フレーム間予測で符号化された領域を逆
符号変換したときには、線2022を介して加算器22に供給
する。また、符号逆変換器20は、符号からフレーム内符
号化が行なわれていた信号か、フレーム間符号化が行な
われていた信号かを検出し、フレーム内復号器21とフレ
ーム間復合器25との選択を行なう切替信号を線2024を介
してスイッチ24に供給する。フレーム内復号器21は、今
から復号化する画素の近傍の復号化済の画素、例えば前
画素あるいは前ラインなどの値を予測信号としてフレー
ム内復号化を行ないスイッチ24に供給する。このときの
予測関数は、送信側と同じ物を用いる。加算器22は、線
2022を介して供給された逆符号変換されたフレーム間の
信号と、フレームメモリー23から供給されるフレーム間
予測信号とを加算し、フレーム間復号信号を得る。この
とき符号逆変換器20から供給された信号は、符号化のと
きフレーム間で無効データーとして符号化されているの
で、フレームメモリー23から供給されるフレーム間予測
信号がそのまま加算器22の出力となる。加算器22の出力
のフレーム間復号信号はスイッチ24に供給される。スイ
ッチ24は、線2024を介して供給された切替信号に従っ
て、フレーム内復号器21、あるいは加算器22の出力を選
択する。スイッチ24の出力信号は、フレームメモリー23
に供給されると共に線240を介して出力され、静止画像
復号化装置の出力になる。フレームメモリー23は、スイ
ッチ24から供給された信号を１フレーム時間遅延し、フ
レーム間予測信号として加算器22に供給する。

一方、動画像復号化装置の場合は、動画像符号化装置
と同じ予測関数を持った通常の動画像復号化装置でよ
い。

−第２の実施例− つぎに第２の実施例について第６図を参照して説明す
る。

静止画の符号化が指示されている場合であっても、動
画像符号化装置はあたかもフレームメモリー１から出力
される信号を動画像と見なし、通常のフレーム間符号化
動作を続行することができる。すなわち、この場合に
は、リフレッシュされるラインについてはフレーム内符
号化が、他のラインについてはフレーム間符号化が適用
され、同一の予測誤差信号が符号変換器12,13に同時に
供給される。符号変換器12は通常の動画像符号化時と同
一の動作を行なう。符号変換器13は通常の静止画像符号
化時の動作を行なう。また、制御回路４から線450を介
して供給される静止画の符号化を行なうための制御信号
の如何にかかわらず、フレームメモリー10への書込みは
常に実行すればよい。

このようにすると静止画の伝送を終了した時点では、
フレームメモリー10,23の内容は、いずれもフレームメ
モリー１から供給された静止画像となる。また動画像復
号化装置内のフレーム間復号化ループのフレームメモリ
ーの内容もフレームメモリー１の内容と同じとなる。

−第３の実施例− さらに、第３図の実施例について説明する。

以上の説明においてはフレーム内符号化として予測方
式について記述したが、本実施例は直交変換などの変換
符号化を用いるものである。

第８図に示すように、直交交換器31によりフレーム間
予測誤差を変換し、その結果得られる変換係数を量子化
器32により量子化し、符号変換器12,13へ供給すると同
時に、逆直交変換器33にも供給する。逆直交変換器33は
直交変換器31における直交変換に対する逆変換を実行す
る。スイッチ36の切替は、フレーム内符号化の時にはグ
ラウンド側が選択され、フレーム間符号化の時にはグラ
ンド側が選択され、フレーム間符号化の時には、フレー
ムメモリー35の出力が選択される。

（発明の効果） 以上に詳しく説明したように、本発明の画像符号化装
置を用いれば、同画像の復号化装置と静止画像の復号化
装置との間で同時にマルチポイントの通信ができるよう
になり、従来静止画通信局は、静止画通信局と、動画通
信局は、動画通信局と、それぞれの閉領域において行な
われ通信の枠を大幅に拡大することができる。

このように本願発明を実用に供するとその効果は極め
て大きい。

【図面の簡単な説明】

第１図は本発明に係る動画像復号化装置と静止画像復号
装置との間でマルチポイントの通信を行う動画像符号化
装置との接続関係を示す概念図、 第２図（ａ），（ｂ），（ｃ）は本発明に係る動画像の
符号化におけるリフレッシュを示す概念図、 第３図は本発明に係る動画像符号化装置により静止画像
の符号化を行う場合の概念図、 第４図は本発明の動画像符号化装置のブロック図、 第５図は受信側の静止画像復号化装置のブロック図、 第６図は本発明の第１の実施例に係る符号化装置のブロ
ック図、 第７図は第６図の第１の実施例に係る受信側の静止画像
復号化装置のブロック図、 第８図は本発明の第３の実施例に係る直交交換等の変換
符号化を用いる場合のブロック図である。 １……フレームメモリー、２……同期分離器、３……リ
フレッシュ回路、４……制御回路、5,11,24,36……スイ
ッチ、6,30……減算器、7,32……量子化器、8,22,34…
…加算器、９……フレーム内予測器、10,23,35……フレ
ームメモリー、12,13……符号変換器、20……符号逆変
換器、21……フレーム内復号器、31……直交変換器、33
……逆直交変換器。

Claims (1)

【特許請求の範囲】
1. 【請求項１】画面内の相関と画面間の相関を用いる画像
   符号化装置において、 入力の画像を１画面蓄える手段（１）と、入力画像と前
   記画面を蓄える手段（１）からの出力信号のいずれかを
   選択する第一の選択手段（５）と、 該第一の選択手段（５）の出力と第三の予測信号を用い
   て冗長度を低減した信号を得る手段（６）と、画面間の
   相関を用いたときの前記冗長度を低減した信号を第三の
   指示にしよって予め定められた値とすることができる前
   記冗長度を低減した信号を量子化する手段（７）と、前
   記第三の予測信号と前記量子化手段（７）の出力を用い
   て局部復合信号を得る手段（８）と、前記局部復合信号
   から画面内の相関を用いた第一の予測信号を発生する第
   一の予測器（９）と、画面間の相関を用いて第二の予測
   信号を発生し、第二の指示によって該第二の予測信号を
   蓄えておくことのできる第二の予測器（10）と、前記第
   一の予測信号と前記第二の予測信号を、第一の指示によ
   って選択し前記第三の予測信号を発生する第二の選択手
   段（11）と、前記量子化手段（７）の出力を符号変換
   し、前記第二の指示によって入力の如何にかかわらず無
   効として符号変換をすることのできる第一の符号変換手
   段（12）と、前記量子化手段（７）の出力を符号変換
   し、前記第二の指示によって画面間の相関を用いた結果
   予測誤差が全て無効として符号変換をすることのできる
   第二の符号変換手段（13）と、前記第一の指示を行なう
   第一の制御手段（３）と、前記量子化手段（７）、前記
   第二の予測器（10）、前記第一の符号変換手段（12）、
   および前記第二の符号変換手段（13）に前記第二の指示
   を与え、前記量子化手段（７）に第三の指示を与える第
   二の制御手段（４）とを具備することを特徴とする画像
   符号化装置。