JPH02224468A

JPH02224468A - 画像符号化システム

Info

Publication number: JPH02224468A
Application number: JP1045632A
Authority: JP
Inventors: Koji Ogura; 小倉　康二; Isao Uesawa; 上澤　功; Atsumichi Murakami; 篤道村上
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1989-02-27
Filing date: 1989-02-27
Publication date: 1990-09-06

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕この発明は、大量の画像信号を高速に処理する画像符号
化システムに関するものである。

〔従来の技術〕

第４図は、例えばリアルタイム　ビデオ　シグナル　プ
ロセッサ　モジｚ　−ル（Ｒｅａｌ　ｔ　ｉｍｅ　Ｖｉ
ｄｅ。

Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｅｒ　Ｍｏｄｕｌｅ）　
［アイ　シーｚｘｚスピー　’８７　　（ＩＣ８ＳＰ　
　’８７）予稿集（米国ダラス１９８７年４月）Ｐ１９
６１〜１９６４）に示された従来の画像符号化システム
を示すブロック図である。図において、１は入力データ
が入力される入力端子、２はこの入力端子１に人力バス
を介して接続され、入力データの信号処理演算を行う複
数個（Ｍ個）のプロセッサ、３はこれら各プロセッサ２
からの処理結果が出力バスを介して出力される出力端子
である。また、２０は前記入力端子１より入力される１
フレ一ム分の画面データ、２１はこの１フレ一ム分の画
面データ２０を領域分割した小画面データである。

第３図は処理の対象となる動画像画面の高能率符号化ア
ルゴリズムの典型例を示すブロック図である。図におい
て、１は入力端子、１０は入力端子１からの入力データ
の動き補償を行う動き補償器、１１はこの動き補償器１
０からのデータと入力端子１からのデータの差分をとる
フレーム間差分器、１２はフレーム間差分器１１からの
データを有効ブロックデータと無効ブロックデータに分
けるブロック識別器、１３はブロック識別器１２からの
有効ブロックデータの符号化・復号化を行う符号化／復
号化器、１４は符号化／復号化器１３からの復号データ
と前記動き補償器１０からのデータを加算するフレーム
間加算器、１５はフレーム間加算器１４からのデータと
前記ブロック識別器１２からの無効ブロックデータを記
憶する符号化フレームメモリ、１６は動き補償器１０お
よびフレーム間差分器１１を含む前段処理部、１７は符
号化／復号化器１３およびフレーム間加算器１４を含む
後段処理部であり、１８は処理された出力データが出力
される出力端子である。

次に動作について説明する。この画像符号化システムは
動画像の信号処理を対象として、１枚の画面データ２０
をＭ個の小画面データ２１に分割して、各々のプロセッ
サ２に割当てる。各々のプロセッサ２は１フレ一ム時間
を費して、担当領域の小画面データ２１の取り込みを行
う。次に、各プロセッサ２は１フレ一ム時間を費して所
定の処理を行い、その処理結果を他のプロセッサ２と同
期して、出力バスに出力する。このとき、個別に処理さ
れた小画面データ２１は、再度、１フレ一ム単位に組立
てられる。

上記の処理方式において、１フレームをＭ個に　　ツク
のみが符号化／復号化器１３に送られて符号分割して処
理するときの１フレーム当りの処理時　　化／復号化が
行われる。このときの小画面内の層間Ｔは、　　　　　
　　　　　　　　　　　　　　　　効ブロック率αと小
画面の処理時間Ｔとの関係はＴｆ　：１つの処理ユニッ
トでの１フレームあたりの処理時間Ｔｆｎ：　ｎ個目の処理ユニットの小画面あたりの処理
時間で与えられる。これより、分割数を増やすことで、プロ
セッサ２として比較的低速のものを用いても高速の画像
処理が可能となるが、一方、最も遅いプロセッサ２の処
理速度によって全体の処理速度が決まる。

第３図に示す処理対象となる動画像画面の高能率符号化
器のアルゴリズムにおいて、入力端子１より入力される
全ての入力データに対して、動き補償器１０による動き
補償が施され、フレーム間差分器１１にて入力データと
の差分処理が行われた後、ブロック識別器１２で抽出さ
れた有効プロα Ｔ　＝　ａＢＨ＋　ｂＢＮ□　　・・・・・・・・・・
・・・・・・・・　　（２）ａ、ｔ）　　：定数ＢＮ：小画面内のブロック数で示される。

第５図はこの式（２）を示している。従来の画像符号化
システムでは、各プロセッサ２が同期して入出力を行う
ため、最大処理時間を各プロセッサ２に一律に割当てる
必要があり、図において斜線で示した面積分の空き時間
を生じる。

〔発明が解決しようとする課題〕従来の画像符号化システムは以上のように構成されてい
るので、処理ブロックにより処理時間に差が出る処理で
は、各々のプロセッサ２に対して一律に、処理時間の割
当てを最悪値に設定する必要があり、処理能力に余裕が
あるにもかかわらずプロセッサの数が無用に増大するな
どの問題点があった。

この発明は上記のような問題点を解消するためになされ
たもので、より少ない、数のプロセッサで効率の良い処
理ができる画像符号化システムを得ることを目的とする
。

〔課題を解決するための手段〕

この発明に係る画像符号化システムは、符号化処理を入
力データの全画素を符号化対象とする処理と、有効ブロ
ックのみを符号化対象とする処理に分割し、前者を担当
する前段マルチプロセッサと、後者を担当する後段マル
チプロセッサと、これら前段マルチプロセッサと後段マ
ルチプロセッサの間にあって前後の処理時間差を緩衝す
るバッファと、しきい値制御により前段マルチプロセッ
サからの符号化データ発生量を一定に制限し、バッファ
のデータ蓄積量に基づいて後段マルチプロセッサの処理
量を一定に保持する出力制御部を備え、前段マルチプロ
セッサにデータ情報を付加する機能を持たせ、後段マル
チプロセッサにそのデータ情報を解読する機能を持たせ
たものである。

〔作　用〕

この発明における画像符号化システムは、全画素を符号
化する前段マルチプロセッサと有効ブロックのみを符号
化する後段マルチプロセッサの間に置かれたバッファの
データ蓄積量によって、出力制御部が前段マルチプロセ
ッサで行われる符号化のしきい値を調整し、有効ブロッ
ク数を一定に制御することにより、後段マルチプロセッ
サに対する過度の処理負担が軽減され、システム全体で
必要なプロセッサの数が減少する。

〔実施例〕

以下、この発明の一実施例を図について説明する。第１
図において、１および３は前述の入力端子および出力端
子であり、４は入力端子１より入力された入力データが
記憶される入力フレームメモリである。５はこの入力フ
レームメモリ４に接続され、処理量にあわせて並列方向
に拡張可能な複数のプロセッサ２より成る前段マルチプ
ロセッサであり、入力端子１より入力される入力データ
の全画素を対象とする符号化処理を担当し、ブロックデ
ータに有効／無効ブロック情報およびフレーム内の位置
情報を付加する機能を備えている。

６は同様に処理量にあわせて並列方向に拡張可能な複数
のプロセッサ２より成る後段マルチプロセッサであり、
入力端子１より入力される入力データの有効ブロックの
みを符号化対象とする処理を担当し、前段マルチプロセ
ッサ５によってブロックデータに付加された有効／無効
ブロック情報および位置情報より、有効ブロックの識別
およびフレームの再構成を行う機能を備えている。

７はこれら、前段マルチプロセッサ５と後段マルチプロ
セッサ６０間に配置され、前段マルチプロセッサ５より
出力される符号化データを記憶するとともに、前段マル
チプロセッサ５と後段マルチプロセッサ６の処理時間を
緩衝するバッファである。８は後段マルチプロセッサ６
に接続されて符号化データを受け、前段マルチプロセッ
サ５にフィードバックデータを送ってその符号化データ
の発生量を制御するしきい値を調整し、前段マルチプロ
セッサ５の符号化データの発生量を一定に制限するとと
もに、バッファ７のデータ蓄積量に応じて有効ブロック
数を変化させ、後段マルチプロセッサの処理量を一定に
保持して、出力データを出力端子３より送出する出力制
御部である。９は同様に後段マルチプロセッサ６に接続
されて、送られてくる復号化データを記憶し、次フレー
ム処理時に前段マルチプロセッサ５に送る符号化フレー
ムメモリである。

７１は前段マルチプロセッサ５にて処理されてバッファ
７に格納されたブロックデータ、７２は各ブロックデー
タ７１に付加されて、データの属性を示すパラメータで
ある。

次に動作について説明する。この発明の対象となる符号
化処理において、条件付画素補充を行う以前の前段処理
と、それ以後の後段処理に分けた場合、前段処理及び後
段処理の有効ブロック率αと処理時間Ｔの関係は次式で
示される。

前段処理の場合Ｔ＝Ｃ・・・・・・・・・・・・・・・・・・・・・・
・・・・・・（３）Ｃ：定数後段処理の場合Ｔ＝Ａα　・・・・・・・・・・・・・・・・・・・・
・・・・・・・　（４）Ａ：定数第２図に前記式（３）および式（４）を示す。図より、
符号化処理は処理時間の特性から、有効ブロック率αに
関係なく処理時間が一定な前段処理と有効ブロックαに
比例する後段処理に大別される。この発明では、この前
段処理と後段処理をそれぞれが処理量にあわせて並列方
向に拡張可能な前段マルチプロセッサ５と、後段マルチ
プ四セッサ６とで別々に処理している。

即ち、入力端子１より入力されて入力フレームメモリ４
に記憶された入力データは、前段マルチプロセッサ５内
の処理ユニットによりて、動き補償・条件付画素補充等
の前段処理が実行され、その処理結果がバッファ７に出
力される。前段マルチプロセッサ５を構成する各プロセ
ッサ２は、処理を完了した頴に入力フレームメモリ４よ
りブロックデータを入力する。このときの各プロセッサ
２の処理時間はブロックデータによりて変化するため、
バッファ７への出力順は入力フレームメモリ４のスキャ
ンの順とは一致しない。そこで前段マルチプロセッサ５
の各プロセッサ２よりバッファ７へ出力されるデータは
、フレーム内の位置を示す位置情報が付加されるととも
に、有効／無効情報、データの種別情報をも付加された
データ構造となる。

バッフテアに記憶されたブロックデータは後段マルチプ
ロセッサ６によりて、ベクトル量子化・離散的ＣＯＳ変
換・復号化等の後段処理が行われ、符号化データは出力
制御部８へ、復号化データは符号化フレームメモリ９へ
それぞれ出力される。

このときデータ付加情報を参照して有効ブロックについ
てのみ処理が行われる。符号化フレームメモリ９に記憶
された復号化データは前段マルチプロセッサ５に送られ
て次フレームの符号化に用いられる。出力制御部８は前
段マルチプロセッサ５にフィードバックデータな送って
前段処理に対してしきい値を制御し、符号化データの発
生量を一定に制限する。さらに、出力制御部８はバッフ
ァ７内のデータ量を監視してそのデータ蓄積量に応じて
有効ブロック数を変化させ、後段処理の処理量な一定に
制限して後段マルチプロセッサ６の負担を軽減する。

また、第２図に示される前段の処理時間Ｔ１と後段処理
時間Ｔ２の間の処理時間差’ｒ２−’ｒｌは、前段マル
チプロセッサ５と後段マルチプロセッサ６との間に置れ
たバッフγ７によって緩衝し、前段マルチプロセッサ５
および後段マルチプロセッサ６の最大処理能力に近い処
理性能を実現する。

その結果、全符号化過程で第５図の斜線で示す面積分の
空き時間による損失を解消できる。

〔発明の効果〕

以上のように、この発明によれば、前段マルチプロセッ
サと後段マルチプロセッサによって、全画素の符号化と
有効ブロックのみの符号化とを個別に処理し、しきい値
制御によりて前段マルチプロセッサの符号化データ発生
量を一定に制限し、両者を緩衝するバッファのデータの
蓄積量によりて有効ブロック数を変化させて後段マルチ
プロセッサの処理量を一定に保持するように構成したの
で、処理時間を最悪値に設定する必要がなくなるため、
各プロセッサの処理能力を常に最大限まで引き出すこと
ができ、処理に必要なプロセッサの数を削減できる効果
がある。

【図面の簡単な説明】

第１図はこの発明の一実施例による画像符号化システム
を示すブロック図、第２図はその処理時間と有効ブロッ
ク率との関係を示す説明図、第３図は典型的な高能率符
号化アルゴリズムの構成例を示すブロック図、第４図は
従来の画像符号化システムを示すブロック図、第５図は
その処理時間と有効ブロック率との関係を示す説明図で
ある。２はプロセッサ、５は前段マルチプロセッサ、６は後段
マルチプロセッサ、Ｔはバッファ、８は出力制御部。なお、図中、同一符号は同一　又は相当部分を示す。に々第図第図第図手続補正書（自発）特願平１−４５６３２号２、発明の名称画像符号化システム３、補正をする者事件との関係　特許出願人住　所　　　　東京都千代田区丸の内二丁目２番３号名
　称　　（６０１）三菱電機株式会社代表者　志岐守哉４、代理人　　　郵便番号　１０５６、補正の内容（１）別紙の通り特許請求の範囲を補正する。（２）明細書第４頁第３行から第４行に「と前記ブロッ
ク・・・無効ブロックデータ」とあるのを削除する。（３）明細書第７頁第３行に「より少ない、数」とある
のを「より少ない数」と補正する。（４）明細書第９頁第１５行に「処理時間」とあるのを
「処理時間差」と補正する。７、添付書類の目録補正後の特許請求の範囲を記載した書面　１通り　　上補正後の特許請求の範囲入力データの全画素を対象とする符号化処理を担当し、
処理量にあわせて並列方向に拡張可能な複数のプロセッ
サを設け、ブロックデータに有効／無効ブロック情報お
よびフレーム内の位置情報を付加する機能を有する前段
マルチプロセッサと前記入力データの有効ブロックのみ
を符号化対象とする処理を担当し、処理量にあわせて並
列方向に拡張可能な複数のプロセッサを設け、前記ブロ
ックデータに付加された前記有効／無効ブロック情報に
よって有効ブロックを識別する機能、および前記ブロッ
クデータに付加された前記位置情報に基づいてフレーム
を再構成する機能を有する後段マルチプロセッサと、前
記前段マルチプロセッサと前記後段マルチプロセッサと
の間にあって前記前段マルチプロセッサより出力される
符号化データを記憶するとともに、前記前段マルチプロ
セッサと前記後段マルチプロセッサの処理時間差を緩衝
するバッファと、前記前段マルチプロセッサの前記符号
化データの発生量を制御するしきい値を調整して前記前
段マルチプロセッサの符号化データ発生量を一定に制限
するとともに、前記バッファのデータ蓄積量に応じて約
２有効ブロック数を変化させて前記後段マルチプロセッ
サの処理量を一定に保持する出力制御部とを備えた画像
符号化システム。

Claims

【特許請求の範囲】

入力データの全画素を対象とする符号化処理を担当し、
処理量にあわせて並列方向に拡張可能な複数のプロセッ
サを設け、ブロックデータに有効／無効ブロック情報お
よびフレーム内の位置情報を付加する機能を有する前段
マルチプロセッサと、前記入力データの有効ブロックの
みを符号化対象とする処理を担当し、処理量にあわせて
並列方向に拡張可能な複数のプロセッサを設け、前記ブ
ロックデータに付加された前記有効／無効ブロック情報
によって有効ブロックを識別する機能、および前記ブロ
ックデータに付加された前記位置情報に基づいてフレー
ムを再構成する機能を有する後段マルチプロセッサと、
前記前段マルチプロセッサと前記後段マルチプロセッサ
との間にあって、前記前段マルチプロセッサより出力さ
れる符号化データを記憶するとともに、前記前段マルチ
プロセッサと前記後段マルチプロセッサの処理時間を緩
衝するバッファと、前記前段マルチプロセッサの前記符
号化データの発生量を制御するしきい値を調整して前記
前段マルチプロセッサの符号化データ発生量を一定に制
限するとともに、前記バッファのデータ蓄積量に応じて
前記有効ブロック数を変化させて前記後段マルチプロセ
ッサの処理量を一定に保持する出力制御部とを備えた画
像符号化システム。