JP2785824B2 - 画像信号の高能率符号化装置 - Google Patents
画像信号の高能率符号化装置Info
- Publication number
- JP2785824B2 JP2785824B2 JP8521087A JP8521087A JP2785824B2 JP 2785824 B2 JP2785824 B2 JP 2785824B2 JP 8521087 A JP8521087 A JP 8521087A JP 8521087 A JP8521087 A JP 8521087A JP 2785824 B2 JP2785824 B2 JP 2785824B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- pixel
- pixels
- interpolation
- sampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の詳細な説明】
〔産業上の利用分野〕
この発明は、テレビジョン信号等の画像信号の高能率
符号化装置、特に、サブサンプリングを用いるものに関
する。 〔発明の概要〕 この発明では、時間的又は空間的な配列を有する複数
の画素をサブサンプリングすることにより、伝送データ
量を原データ量に比して圧縮するようにした画像信号の
高能率符号化装置において、複数の画素の中で規則的に
位置する第1の画素以外の第2の画素に関して、第2の
画素の夫々の周辺の複数の第1又は第2の画素を使用し
て補間の予測がなされ、補間により得られたデータと第
2の画素の原データとの間の予測誤差が検出され、予測
誤差の大きさに応じて制御コードが発生され、制御コー
ドに応じて第2の画素の原データの伝送/間引きがなさ
れる。この発明に依れば、画像の微細な部分の特徴に応
じてサブサンプリングの密度が変化され、復元画質を良
好とでき、また、高い圧縮率が得られる。また、この発
明は、実時間処理が可能であって、静止画像のみならず
動画像を処理することができる。 〔従来の技術〕 ディジタルビデオ信号を伝送する場合に、伝送するデ
ータ量を元のデータ量に比して圧縮する方法として、サ
ブサンプリングによって画素を間引き、サブサンプリン
グ周波数を低くするものが知られている。サブサンプリ
ングの一つとして、画像のデータが1/2に間引かれ、近
傍画素データの位置を示す2ビットのフラグとを伝送す
るものが提案されている。ディジタルビデオ信号の1画
素データが8ビットの場合、フラグの2ビットを加える
と、1画素当りが5ビットとなり、圧縮率が(5/8)と
なる。 この従来のサブサンプリングは、サブサンプリングの
パターンが常に同じであるので、画像中で物体の輪郭の
ような部分では、復元画像の劣化が目立つ問題があっ
た。特に、サブサンプリングのレートを1/2より高くす
ると、画質の劣化が著しい欠点があった。 本願出願人は、上述の問題点を解決するために、特願
昭61−110098号明細書に記載されているように、1枚の
画像を多数の2次元ブロックに分割し、このブロック内
の複数の画素データの最大値と最小値との差(ダイナミ
ックレンジ)を求め、ブロックのダイナミックレンジに
応じてサブサンプリングの周期を可変する符号化方法を
提案している。即ち、ダイナミックレンジが小さいブロ
ックに関しては、平面的な画像と判断して、サブサンプ
リングの周期を例えば(1/8)のように長くし、また、
ダイナミックレンジが比較的大きいブロックに関して
は、変化がある画像と判断して、サブサンプリングの周
期が(1/2)とされ、更に、ダイナミックレンジが極め
て大きいブロックに関しては、変化が激しい画像と判断
して、サブサンプリングがなされない。 〔発明が解決しようとする問題点〕 上述のように、ダイナミックレンジに応じてサブサン
プリングの周期を選択的に切り替える高能率符号化装置
は、ブロックの単位でサブサンプリングの周期が設定さ
れるので、ブロックの単位で復元画像の画質の良否が発
生し、ブロックの歪が目立つ欠点があった。また、サブ
サンプリングの周期として選択できる種類は、限界があ
り、画像の特徴に対する適応性が不充分であった。 従って、この発明の目的は、ブロック単位の劣化が生
ぜず、また、画像の特徴に適応した任意のサブサンプリ
ングのパターンを形成でき、良好な復元画像が得られる
画像信号の高能率符号化装置を提供することにある。 この発明の他の目的は、実時間処理が可能であって、
動画像に対して好適な高能率符号化装置を提供すること
にある。 〔問題点を解決するための手段〕 この発明は、時間的又は空間的な配列を有する複数の
画素をサブサンプリングすることにより、伝送データ量
を原データ量に比して圧縮するようにした画像信号の高
能率符号化装置において、 水平および垂直方向に関して、少なくとも1画素以上
を飛び越して規則的に位置する第1の画素と、符号化し
ようとする注目画素の周辺に位置する、第1の画素と複
数の第2の画素を同時に出力する同時化手段と、 同時化手段と結合され、第2画素の夫々について補間
データを形成するために必要とされる、第2の画素の夫
々の周辺の複数の第1又は第2の画素の原データを選択
して出力する選択手段と、 選択手段により選択された複数の第1の画素の原デー
タのみを使用して第2の画素の補間データを形成する手
段と、補間される第2の画素の位置の原データを使用し
て、第1の画素の原データによって補間されない位置の
他の第2の画素の補間データを形成する手段とを少なく
とも有する補間手段と、 補間データと第2の画素の原データとの間の補間誤差
を検出し、補間誤差をしきい値と比較することによっ
て、補間誤差がしきい値より大きいときには伝送を指示
し、補間誤差が上記しきい値より小さいときには間引き
を指示するように、第2の画素の夫々に対応して伝送/
間引きを指示する1ビットの制御コードを発生する検出
手段と、 同時化手段からの注目画素が供給され、第1の画素デ
ータを伝送すると共に、制御コードに応じて第2の画素
の原データの伝送/間引きを行い、伝送データを形成す
るデータ形成手段と、 を備え、伝送データと共に、制御コードを送出するよ
うにしたことを特徴とする画像信号の高能率符号化装置
である。 〔作用〕 一例として、ディジタルビデオ信号の(4×4)画素
毎に位置する第1の画素は、間引かれずに必ず伝送され
る。この第1の画素以外の第2の画素は、サブサンプリ
ングによって間引かれるか又はそのまま伝送される。こ
の判断は、受信側で間引かれた画素を周辺画素により補
間した場合に、予測される誤差の大小に応じてなされ
る。即ち、予測誤差が大きい時には、間引きができない
ために、原データが伝送され、予備誤差が小さい時に
は、間引きが可能なために、原データが伝送されない。
このようにして伝送/間引きが制御された第2の画素の
データと第1の画素のデータとが伝送される。第2の画
素のデータの各サンプルに対しては、伝送/間引きを制
御するための1ビットの制御データが付加される。受信
側では、制御データを見て補間が必要かどうかが判断さ
れる。 予測誤差に基づく、伝送/間引きの判断は、原データ
を用いてなされる。従って、実時間処理が可能であり、
動画像に対して適用してこの発明は、好適である。ま
た、この発明は、ブロック構造を有しないので、ブロッ
ク毎に復元画質の良否が目立つ問題が発生しない。更
に、1画素毎に、間引きについての判断を行うので、画
像の特徴に対する適応性が頗る良好とできる。 〔実施例〕 以下、この発明の一実施例について図面を参照して説
明する。この説明は、下記の順序に従ってなされる。 a.サブサンプリングエンコーダ b.サブサンプリングデコーダ c.変形例 a.サブサンプリングエンコーダ 第1図を参照して、画像信号の送信側(VTR等の場合
には、記録側)に設けられるサブサンプリングエンコー
ダについて説明する。第1図において、1で示す入力端
子に例えばディジタルビデオ信号が供給される。このデ
ィジタルビデオ信号は、一例として13.5〔MHz〕のサン
プリング周波数で、1画素データが8ビットとされたも
のである。 入力端子1には、LDで示されるライン遅延回路2、
3、4、5の縦続接続が接続される。また、入力端子1
に対してSDで示されるサンプル遅延回路6及び7が直列
に接続され、ライン遅延回路2の出力側にサンプル遅延
回路8及び9が直列に接続され、ライン遅延回路3の出
力側にサンプル遅延回路10、11、12及び13が直列に接続
され、ライン遅延回路4の出力側にサンプル遅延回路14
及び15が直列に接続され、ライン遅延回路5の出力側に
サンプル遅延回路16及び17が直列に接続される。これら
のライン遅延回路2、3、4、5は、1水平期間の遅延
量を夫々持ち、サンプル遅延回路6、7、8、・・・・
・、17は、1サンプリング期間の遅延量を夫々有する。
ライン遅延回路2〜5及びサンプル遅延回路6〜17によ
り、テレビジョン画像の所定の2次元領域に含まれる複
素画素のデータが同時に取り出される。 第2図を参照してこの実施例によるサブサンプリング
について説明する。第2図は、入力ディジタルビデオ信
号の2次元(フィールド又はフレーム)の一部の領域を
示し、水平方向の画素の間隔がサンプリング周期と対応
し、垂直方向の画素の間隔がライン間隔と対応してい
る。第2図中の各画素に付された信号(△、●、□、
×、○)の夫々は、補間の処理の違いを表している。ま
ず、○で示されるのは、4ライン毎及び4画素毎に位置
する基本画素を表す。この16個の画素毎に1個の割合の
基本画素は、間引かれずに必ず伝送される。基本画素以
外の画素は、以下に述べるように、2個の画素の平均値
と比較され、原画素データと平均値との差(予測誤差)
がしきい値以下の時には、間引かれる。逆に、予測誤差
がしきい値を超える場合には、伝送される。 △で表される画素:上下のラインに夫々位置する画素
データの平均値と比較される。 例えば、画素a2は、平均値〔1/2(a1+a3)〕と比較
される。 ●で表される画素:上下の2ライン離れたラインに夫
々位置する画素の平均値と比較される。 例えば、画素a3は、平均値〔1/2(a1+a5)〕と比較
される。 □で表される画素:左右の2画素離れて位置する画素
の平均値と比較される。 例えば画素c3は、平均値〔1/2(a3+e3)〕と比較さ
れる。 ×で表される画素:左右に隣接する画素の平均値と比
較される。 例えば画素b2は、平均値〔1/2(a2+c2)〕と比較さ
れる。 第1図におけるサンプル遅延回路11の出力側が注目画
素であって、このサンプル遅延回路11の出力データがセ
レクタ18及び19の第5の入力端子と演算回路23とゲート
回路27とに供給される。セレクタ18及び19は、第1〜第
5の5個の入力端子を持ち、サンプリングクロックと同
期する端子20からの選択信号によって、これらの5個の
入力端子に夫々供給されている入力データを順次出力端
子に選択的に出力する。 セレクタ18の第1の入力端子には、サンプル遅延回路
7の出力データが供給され、セレクタ19の第1の入力端
子には、サンプル遅延回路17の出力データが供給され
る。従って、注目画素が●で表される画素の場合に、セ
レクタ18及び19の夫々の第1の入力端子に供給される入
力データが選択される。セレクタ18及び19の第2の入力
端子には、サンプル遅延回路9及び15の出力データが夫
々供給される。従って、注目画素が△で表される画素の
場合に、セレクタ18及び19の夫々の第2の入力端子に供
給される入力データが選択される。セレクタ18及び19の
第3の入力端子には、ライン遅延回路3及びサンプル遅
延回路13の出力データが夫々供給される。従って、注目
画素が□で表される画素の場合に、セレクタ18及び19の
夫々の第3の入力端子に供給される入力データが選択さ
れる。セレクタ18及び19の第4の入力端子には、サンプ
ル遅延回路10及び12の出力データが夫々供給される。従
って、注目画素が×で表される画素の場合に、セレクタ
18及び19の夫々の第4の入力端子に供給される入力デー
タが選択される。セレクタ18及び19の第5の入力端子に
は、サンプル遅延回路11の出力データ(注目画素)が供
給され、従って、注目画素が○で表される基本画素の場
合に、セレクタ18及び19の両者が基本画素を選択する。 セレクタ18及び19の出力データが加算回路21に供給さ
れ、加算回路21の出力信号が1/2倍回路22に供給され
る。従って、1/2倍回路21からは、セレクタ18及び19に
よって夫々選択された2個の画素データの平均値データ
が発生する。この平均値データとサンプル遅延回路11か
らの注目画素のデータとが減算回路23に供給され、減算
回路23からの差データが絶対値化回路24において絶対値
に変換される。この絶対値化回路24の出力データが比較
回路25に供給され、端子26からのしきい値と比較され
る。 絶対値化回路24の出力データは、前述のように、2画
素の画素の平均値で補間を行った時に発生する予測誤差
を表している。この予測誤差がしきい値以下の場合に
は、その画素を間引いても良いことを意味するので、比
較回路25からの制御データ(1ビット)が“1"とされ
る。一方、予測誤差がしきい値を超える場合には、受信
側で補間が良好にできないことを意味するので、比較回
路25からの制御データが“0"とされる。この制御データ
によって、ゲート回路27のオン/オフが制御される。制
御データが“0"の時には、ゲート回路27がオンして原画
素データが出力端子28に取り出され、制御データが“1"
の時には、ゲート回路27がオフして原画素データが出力
端子28に取り出されない。また、制御データは、出力端
子29に取り出され、サブサンプリングされたビデオデー
タと共に伝送される。即ち、サブサンプリングエンコー
ダの出力端子28、29には、フレーム化回路(図示せず)
が接続され、このフレーム化回路において、画素データ
及び制御データが合成され、伝送される画素データの場
合では、1画素当りで9ビットのデータが伝送され、間
引かれる画素データの場合では、1画素当りで1ビット
の制御データのみが伝送される。 上述のように、サブサンプリングは、1画素毎に予測
誤差が大きいか否かに応じてなされる。即ち、ブロック
単位ではなく、最小単位である画素毎に適応的に伝送/
間引きが制御される。また、予測誤差を求めて間引きを
行うかどうかを判定する時に、補間データを用いずに、
実行データを用いているので、繰り返し処理が避けら
れ、実時間処理が可能である。 b.サブサンプリングデコーダ、 第3図は、受信側(VTR等の場合には、再生側)に設
けられるサブサンプリングデコーダを示す。第3図にお
いて、31で示す入力端子に受信されたディジタルビデオ
信号が供給され、32で示す入力端子に受信データと同期
しているサンプリングクロックが供給される。 入力端子31には、ライン遅延回路33、34、35、36が直
列に接続される。入力端子31及びライン遅延回路33〜36
の夫々の出力側には、直列→並列変換回路41、42、43、
44、45が夫々接続される。これらの直列→並列変換回路
41〜45には、サンプリングクロックによって、異なるラ
インの夫々の受信データが順次取り込まれ1/4分周回路3
7の出力信号によって、4個の画素データがラッチさ
れ、また、次の画素データが入力された時点で5個の画
素データが並列的に発生する。従って、あるタイミング
においては、第2図に示される画素が直列→並列変換回
路41〜45の夫々から出力される。例えば、ライン遅延回
路36から(a1、b1、c1、d1)の4個の画素データが直列
→並列変換回路45にラッチされ、次の画素データe1と合
わせた5個の画素データが同時に直列→並列変換回路45
から発生する。 直列→並列変換回路41〜45の出力信号の中で、a5〜e5
とe1〜e4とは、補間のために用いられる周辺の画素デー
タであって、これらの画素を除く(4×4=16)個の画
素が補間の対象とされる。51、52、53・・・・・68、69
は、夫々補間回路を示し、互いに同一の構成を有してい
る。第4図は、補間回路51の構成を具体的に示す。 補間回路51は、入力端子91、92及び93と出力端子94と
を有し、入力端子91に対して、補間の対象とされる画像
データc5(1ビットの制御データ含む)が供給され、入
力端子92及び93には、補間に必要な周辺の画素データe5
及びa5が供給される。入力端子92及び93からの画素デー
タが加算回路95に供給され、加算回路95の出力信号が1/
2倍回路96に供給される。この1/2倍回路96の出力信号が
平均値補間における補間値である。入力端子91からの画
素データ及び1/2倍回路96の出力信号がセレクタ97に供
給される。 セレクタ97は、入力端子91からの画素データに含まれ
ている1ビットの制御データにより制御され、制御デー
タが“1"(間引き)の場合には、セレクタ97が1/2倍回
路96の出力信号を選択し、制御データが“0"(伝送)の
場合には、セレクタ97が入力端子91からの画素データを
選択する。セレクタ97の出力信号が出力端子94に得られ
る。 原画素データが間引き画素の時に、補間回路51〜69の
夫々から得られる補間値は、以下に示されるものであ
る。 補間回路51:c5→1/2(a5+e5) 補間回路52:e4→1/2(e3+e5) 補間回路53:c4→1/2(c3+c5) 補間回路54:a4→1/2(a3+a5) 補間回路55:d4→1/2(c4+e4) 補間回路56:b4→1/2(a4+c4) 補間回路57:e3→1/2(e1+e5) 補間回路58:a3→1/2(a1+a5) 補間回路59:c3→1/2(a3+e3) 補間回路60:d3→1/2(c3+e3) 補間回路61:b3→1/2(a3+c3) 補間回路62:e2→1/2(e1+e3) 補間回路63:c2→1/2(c1+c3) 補間回路64:a2→1/2(a1+a3) 補間回路65:d2→1/2(c2+e2) 補間回路66:b2→1/2(a2+c2) 補間回路67:c1→1/2(a1+e1) 補間回路68:d1→1/2(c1+e1) 補間回路69:b1→1/2(a1+c1) 上述の補間回路51〜69からの出力信号の中で、(4×
4)の範囲に含まれる16個の画素データが同一ライン内
の4画素毎に並列→直列変換回路71、72、73、74に夫々
供給される。これらの並列→直列変換回路71〜74には、
1/4分周回路37の出力信号によって、補間後の4個の画
素データが夫々ラッチされる。また、並列→直列変換回
路71〜74からは、端子32からのサンプリングクロックに
同期して直列の復元データが出力される。なお、第3図
中で記入された画素データは、1/4分周回路37からの次
のクロックが発生する時点では、勿論、異なったものと
なる。即ち、直列→並列変換回路41〜45の夫々の画素デ
ータa1、a2、a3、a4、a5は、画素データe1、e2、e3、e
4、e5によって置き代えられる。 並列→直列変換回路71からの復元データがライン遅延
回路75に供給され、ライン遅延回路75の出力データと並
列→直列変換回路72からの復元データがセレクタ76に供
給される。セレクタ76の出力データがライン遅延回路77
に供給され、ライン遅延回路77の出力データと並列→直
列変換回路73からの復元データがセレクタ78に供給され
る。セレクタ78の出力データがライン遅延回路79に供給
され、ライン遅延回路79の出力データと並列→直列変換
回路74からの復元データがセレクタ80に供給される。こ
れらのライン遅延回路75、77、79とセレクタ76、78、80
は、復元データの順序をテレビジョン走査と同様の順序
に変換するために設けられており、セレクタ80の出力端
子81には、テレビジョン走査の順序の復元データが得ら
れる。 c.変形例 この発明は、他の高能率符号と組み合わせて使用する
場合にも適用できる。本願出願人は、画面を多数のブロ
ックに分割し、ブロック毎にダイナミックレンジを求
め、このダイナミックレンジを固定又は可変のビット数
で定まる個数の領域に分割し、最小値除去後の画素デー
タが属する領域と対応するコード信号を伝送するダイナ
ミックレンジに通用した符号(ADRCと称される)を先に
提案している。 第5図に示すように、ディジタルビデオ信号が供給さ
れる入力端子101に対して前述と同様のサブサンプリン
グエンコーダ102が接続され、サブサンプリングエンコ
ーダ102に対してADRCエンコーダ103が接続される。ADRC
エンコーダ103は、伝送される画素データを元のビット
数より短いビット数のコード信号に変換し、出力端子10
4には、データ量が圧縮された出力信号が得られる。 第5図に示されるエンコーダシステムと対応するデコ
ーダシステムは、第6図に示すように、受信データが供
給される入力端子105と接続されたADRCデコーダ106とAD
RCデコーダ106からの復元データが供給される第3図と
同様の構成のサブサンプリングデコーダ107とからな
り、出力端子108に復元データが得られれる。 また、この発明における制御データをランレングス符
号化によって符号化しても良い。 〔発明の効果〕 この発明に依れば、ブロック単位でサブサンプリング
のパターンを切替える方式と異なり、1画素毎に予測誤
差が大きいか否かに応じてサブサンプリングがなされる
ので、ブロック単位で復元画像の劣化が目立つことを防
止できる。また、この発明に依れば、画像の特徴に対し
て適応性が非常に良好なサブサンプリングがされ、復元
画質を良好とできる。更に、この発明は、実時間処理が
可能で、動画像の処理に好適なものである。より更に、
この発明では、エラーが発生しても、このエラーが伝播
することが少い。
符号化装置、特に、サブサンプリングを用いるものに関
する。 〔発明の概要〕 この発明では、時間的又は空間的な配列を有する複数
の画素をサブサンプリングすることにより、伝送データ
量を原データ量に比して圧縮するようにした画像信号の
高能率符号化装置において、複数の画素の中で規則的に
位置する第1の画素以外の第2の画素に関して、第2の
画素の夫々の周辺の複数の第1又は第2の画素を使用し
て補間の予測がなされ、補間により得られたデータと第
2の画素の原データとの間の予測誤差が検出され、予測
誤差の大きさに応じて制御コードが発生され、制御コー
ドに応じて第2の画素の原データの伝送/間引きがなさ
れる。この発明に依れば、画像の微細な部分の特徴に応
じてサブサンプリングの密度が変化され、復元画質を良
好とでき、また、高い圧縮率が得られる。また、この発
明は、実時間処理が可能であって、静止画像のみならず
動画像を処理することができる。 〔従来の技術〕 ディジタルビデオ信号を伝送する場合に、伝送するデ
ータ量を元のデータ量に比して圧縮する方法として、サ
ブサンプリングによって画素を間引き、サブサンプリン
グ周波数を低くするものが知られている。サブサンプリ
ングの一つとして、画像のデータが1/2に間引かれ、近
傍画素データの位置を示す2ビットのフラグとを伝送す
るものが提案されている。ディジタルビデオ信号の1画
素データが8ビットの場合、フラグの2ビットを加える
と、1画素当りが5ビットとなり、圧縮率が(5/8)と
なる。 この従来のサブサンプリングは、サブサンプリングの
パターンが常に同じであるので、画像中で物体の輪郭の
ような部分では、復元画像の劣化が目立つ問題があっ
た。特に、サブサンプリングのレートを1/2より高くす
ると、画質の劣化が著しい欠点があった。 本願出願人は、上述の問題点を解決するために、特願
昭61−110098号明細書に記載されているように、1枚の
画像を多数の2次元ブロックに分割し、このブロック内
の複数の画素データの最大値と最小値との差(ダイナミ
ックレンジ)を求め、ブロックのダイナミックレンジに
応じてサブサンプリングの周期を可変する符号化方法を
提案している。即ち、ダイナミックレンジが小さいブロ
ックに関しては、平面的な画像と判断して、サブサンプ
リングの周期を例えば(1/8)のように長くし、また、
ダイナミックレンジが比較的大きいブロックに関して
は、変化がある画像と判断して、サブサンプリングの周
期が(1/2)とされ、更に、ダイナミックレンジが極め
て大きいブロックに関しては、変化が激しい画像と判断
して、サブサンプリングがなされない。 〔発明が解決しようとする問題点〕 上述のように、ダイナミックレンジに応じてサブサン
プリングの周期を選択的に切り替える高能率符号化装置
は、ブロックの単位でサブサンプリングの周期が設定さ
れるので、ブロックの単位で復元画像の画質の良否が発
生し、ブロックの歪が目立つ欠点があった。また、サブ
サンプリングの周期として選択できる種類は、限界があ
り、画像の特徴に対する適応性が不充分であった。 従って、この発明の目的は、ブロック単位の劣化が生
ぜず、また、画像の特徴に適応した任意のサブサンプリ
ングのパターンを形成でき、良好な復元画像が得られる
画像信号の高能率符号化装置を提供することにある。 この発明の他の目的は、実時間処理が可能であって、
動画像に対して好適な高能率符号化装置を提供すること
にある。 〔問題点を解決するための手段〕 この発明は、時間的又は空間的な配列を有する複数の
画素をサブサンプリングすることにより、伝送データ量
を原データ量に比して圧縮するようにした画像信号の高
能率符号化装置において、 水平および垂直方向に関して、少なくとも1画素以上
を飛び越して規則的に位置する第1の画素と、符号化し
ようとする注目画素の周辺に位置する、第1の画素と複
数の第2の画素を同時に出力する同時化手段と、 同時化手段と結合され、第2画素の夫々について補間
データを形成するために必要とされる、第2の画素の夫
々の周辺の複数の第1又は第2の画素の原データを選択
して出力する選択手段と、 選択手段により選択された複数の第1の画素の原デー
タのみを使用して第2の画素の補間データを形成する手
段と、補間される第2の画素の位置の原データを使用し
て、第1の画素の原データによって補間されない位置の
他の第2の画素の補間データを形成する手段とを少なく
とも有する補間手段と、 補間データと第2の画素の原データとの間の補間誤差
を検出し、補間誤差をしきい値と比較することによっ
て、補間誤差がしきい値より大きいときには伝送を指示
し、補間誤差が上記しきい値より小さいときには間引き
を指示するように、第2の画素の夫々に対応して伝送/
間引きを指示する1ビットの制御コードを発生する検出
手段と、 同時化手段からの注目画素が供給され、第1の画素デ
ータを伝送すると共に、制御コードに応じて第2の画素
の原データの伝送/間引きを行い、伝送データを形成す
るデータ形成手段と、 を備え、伝送データと共に、制御コードを送出するよ
うにしたことを特徴とする画像信号の高能率符号化装置
である。 〔作用〕 一例として、ディジタルビデオ信号の(4×4)画素
毎に位置する第1の画素は、間引かれずに必ず伝送され
る。この第1の画素以外の第2の画素は、サブサンプリ
ングによって間引かれるか又はそのまま伝送される。こ
の判断は、受信側で間引かれた画素を周辺画素により補
間した場合に、予測される誤差の大小に応じてなされ
る。即ち、予測誤差が大きい時には、間引きができない
ために、原データが伝送され、予備誤差が小さい時に
は、間引きが可能なために、原データが伝送されない。
このようにして伝送/間引きが制御された第2の画素の
データと第1の画素のデータとが伝送される。第2の画
素のデータの各サンプルに対しては、伝送/間引きを制
御するための1ビットの制御データが付加される。受信
側では、制御データを見て補間が必要かどうかが判断さ
れる。 予測誤差に基づく、伝送/間引きの判断は、原データ
を用いてなされる。従って、実時間処理が可能であり、
動画像に対して適用してこの発明は、好適である。ま
た、この発明は、ブロック構造を有しないので、ブロッ
ク毎に復元画質の良否が目立つ問題が発生しない。更
に、1画素毎に、間引きについての判断を行うので、画
像の特徴に対する適応性が頗る良好とできる。 〔実施例〕 以下、この発明の一実施例について図面を参照して説
明する。この説明は、下記の順序に従ってなされる。 a.サブサンプリングエンコーダ b.サブサンプリングデコーダ c.変形例 a.サブサンプリングエンコーダ 第1図を参照して、画像信号の送信側(VTR等の場合
には、記録側)に設けられるサブサンプリングエンコー
ダについて説明する。第1図において、1で示す入力端
子に例えばディジタルビデオ信号が供給される。このデ
ィジタルビデオ信号は、一例として13.5〔MHz〕のサン
プリング周波数で、1画素データが8ビットとされたも
のである。 入力端子1には、LDで示されるライン遅延回路2、
3、4、5の縦続接続が接続される。また、入力端子1
に対してSDで示されるサンプル遅延回路6及び7が直列
に接続され、ライン遅延回路2の出力側にサンプル遅延
回路8及び9が直列に接続され、ライン遅延回路3の出
力側にサンプル遅延回路10、11、12及び13が直列に接続
され、ライン遅延回路4の出力側にサンプル遅延回路14
及び15が直列に接続され、ライン遅延回路5の出力側に
サンプル遅延回路16及び17が直列に接続される。これら
のライン遅延回路2、3、4、5は、1水平期間の遅延
量を夫々持ち、サンプル遅延回路6、7、8、・・・・
・、17は、1サンプリング期間の遅延量を夫々有する。
ライン遅延回路2〜5及びサンプル遅延回路6〜17によ
り、テレビジョン画像の所定の2次元領域に含まれる複
素画素のデータが同時に取り出される。 第2図を参照してこの実施例によるサブサンプリング
について説明する。第2図は、入力ディジタルビデオ信
号の2次元(フィールド又はフレーム)の一部の領域を
示し、水平方向の画素の間隔がサンプリング周期と対応
し、垂直方向の画素の間隔がライン間隔と対応してい
る。第2図中の各画素に付された信号(△、●、□、
×、○)の夫々は、補間の処理の違いを表している。ま
ず、○で示されるのは、4ライン毎及び4画素毎に位置
する基本画素を表す。この16個の画素毎に1個の割合の
基本画素は、間引かれずに必ず伝送される。基本画素以
外の画素は、以下に述べるように、2個の画素の平均値
と比較され、原画素データと平均値との差(予測誤差)
がしきい値以下の時には、間引かれる。逆に、予測誤差
がしきい値を超える場合には、伝送される。 △で表される画素:上下のラインに夫々位置する画素
データの平均値と比較される。 例えば、画素a2は、平均値〔1/2(a1+a3)〕と比較
される。 ●で表される画素:上下の2ライン離れたラインに夫
々位置する画素の平均値と比較される。 例えば、画素a3は、平均値〔1/2(a1+a5)〕と比較
される。 □で表される画素:左右の2画素離れて位置する画素
の平均値と比較される。 例えば画素c3は、平均値〔1/2(a3+e3)〕と比較さ
れる。 ×で表される画素:左右に隣接する画素の平均値と比
較される。 例えば画素b2は、平均値〔1/2(a2+c2)〕と比較さ
れる。 第1図におけるサンプル遅延回路11の出力側が注目画
素であって、このサンプル遅延回路11の出力データがセ
レクタ18及び19の第5の入力端子と演算回路23とゲート
回路27とに供給される。セレクタ18及び19は、第1〜第
5の5個の入力端子を持ち、サンプリングクロックと同
期する端子20からの選択信号によって、これらの5個の
入力端子に夫々供給されている入力データを順次出力端
子に選択的に出力する。 セレクタ18の第1の入力端子には、サンプル遅延回路
7の出力データが供給され、セレクタ19の第1の入力端
子には、サンプル遅延回路17の出力データが供給され
る。従って、注目画素が●で表される画素の場合に、セ
レクタ18及び19の夫々の第1の入力端子に供給される入
力データが選択される。セレクタ18及び19の第2の入力
端子には、サンプル遅延回路9及び15の出力データが夫
々供給される。従って、注目画素が△で表される画素の
場合に、セレクタ18及び19の夫々の第2の入力端子に供
給される入力データが選択される。セレクタ18及び19の
第3の入力端子には、ライン遅延回路3及びサンプル遅
延回路13の出力データが夫々供給される。従って、注目
画素が□で表される画素の場合に、セレクタ18及び19の
夫々の第3の入力端子に供給される入力データが選択さ
れる。セレクタ18及び19の第4の入力端子には、サンプ
ル遅延回路10及び12の出力データが夫々供給される。従
って、注目画素が×で表される画素の場合に、セレクタ
18及び19の夫々の第4の入力端子に供給される入力デー
タが選択される。セレクタ18及び19の第5の入力端子に
は、サンプル遅延回路11の出力データ(注目画素)が供
給され、従って、注目画素が○で表される基本画素の場
合に、セレクタ18及び19の両者が基本画素を選択する。 セレクタ18及び19の出力データが加算回路21に供給さ
れ、加算回路21の出力信号が1/2倍回路22に供給され
る。従って、1/2倍回路21からは、セレクタ18及び19に
よって夫々選択された2個の画素データの平均値データ
が発生する。この平均値データとサンプル遅延回路11か
らの注目画素のデータとが減算回路23に供給され、減算
回路23からの差データが絶対値化回路24において絶対値
に変換される。この絶対値化回路24の出力データが比較
回路25に供給され、端子26からのしきい値と比較され
る。 絶対値化回路24の出力データは、前述のように、2画
素の画素の平均値で補間を行った時に発生する予測誤差
を表している。この予測誤差がしきい値以下の場合に
は、その画素を間引いても良いことを意味するので、比
較回路25からの制御データ(1ビット)が“1"とされ
る。一方、予測誤差がしきい値を超える場合には、受信
側で補間が良好にできないことを意味するので、比較回
路25からの制御データが“0"とされる。この制御データ
によって、ゲート回路27のオン/オフが制御される。制
御データが“0"の時には、ゲート回路27がオンして原画
素データが出力端子28に取り出され、制御データが“1"
の時には、ゲート回路27がオフして原画素データが出力
端子28に取り出されない。また、制御データは、出力端
子29に取り出され、サブサンプリングされたビデオデー
タと共に伝送される。即ち、サブサンプリングエンコー
ダの出力端子28、29には、フレーム化回路(図示せず)
が接続され、このフレーム化回路において、画素データ
及び制御データが合成され、伝送される画素データの場
合では、1画素当りで9ビットのデータが伝送され、間
引かれる画素データの場合では、1画素当りで1ビット
の制御データのみが伝送される。 上述のように、サブサンプリングは、1画素毎に予測
誤差が大きいか否かに応じてなされる。即ち、ブロック
単位ではなく、最小単位である画素毎に適応的に伝送/
間引きが制御される。また、予測誤差を求めて間引きを
行うかどうかを判定する時に、補間データを用いずに、
実行データを用いているので、繰り返し処理が避けら
れ、実時間処理が可能である。 b.サブサンプリングデコーダ、 第3図は、受信側(VTR等の場合には、再生側)に設
けられるサブサンプリングデコーダを示す。第3図にお
いて、31で示す入力端子に受信されたディジタルビデオ
信号が供給され、32で示す入力端子に受信データと同期
しているサンプリングクロックが供給される。 入力端子31には、ライン遅延回路33、34、35、36が直
列に接続される。入力端子31及びライン遅延回路33〜36
の夫々の出力側には、直列→並列変換回路41、42、43、
44、45が夫々接続される。これらの直列→並列変換回路
41〜45には、サンプリングクロックによって、異なるラ
インの夫々の受信データが順次取り込まれ1/4分周回路3
7の出力信号によって、4個の画素データがラッチさ
れ、また、次の画素データが入力された時点で5個の画
素データが並列的に発生する。従って、あるタイミング
においては、第2図に示される画素が直列→並列変換回
路41〜45の夫々から出力される。例えば、ライン遅延回
路36から(a1、b1、c1、d1)の4個の画素データが直列
→並列変換回路45にラッチされ、次の画素データe1と合
わせた5個の画素データが同時に直列→並列変換回路45
から発生する。 直列→並列変換回路41〜45の出力信号の中で、a5〜e5
とe1〜e4とは、補間のために用いられる周辺の画素デー
タであって、これらの画素を除く(4×4=16)個の画
素が補間の対象とされる。51、52、53・・・・・68、69
は、夫々補間回路を示し、互いに同一の構成を有してい
る。第4図は、補間回路51の構成を具体的に示す。 補間回路51は、入力端子91、92及び93と出力端子94と
を有し、入力端子91に対して、補間の対象とされる画像
データc5(1ビットの制御データ含む)が供給され、入
力端子92及び93には、補間に必要な周辺の画素データe5
及びa5が供給される。入力端子92及び93からの画素デー
タが加算回路95に供給され、加算回路95の出力信号が1/
2倍回路96に供給される。この1/2倍回路96の出力信号が
平均値補間における補間値である。入力端子91からの画
素データ及び1/2倍回路96の出力信号がセレクタ97に供
給される。 セレクタ97は、入力端子91からの画素データに含まれ
ている1ビットの制御データにより制御され、制御デー
タが“1"(間引き)の場合には、セレクタ97が1/2倍回
路96の出力信号を選択し、制御データが“0"(伝送)の
場合には、セレクタ97が入力端子91からの画素データを
選択する。セレクタ97の出力信号が出力端子94に得られ
る。 原画素データが間引き画素の時に、補間回路51〜69の
夫々から得られる補間値は、以下に示されるものであ
る。 補間回路51:c5→1/2(a5+e5) 補間回路52:e4→1/2(e3+e5) 補間回路53:c4→1/2(c3+c5) 補間回路54:a4→1/2(a3+a5) 補間回路55:d4→1/2(c4+e4) 補間回路56:b4→1/2(a4+c4) 補間回路57:e3→1/2(e1+e5) 補間回路58:a3→1/2(a1+a5) 補間回路59:c3→1/2(a3+e3) 補間回路60:d3→1/2(c3+e3) 補間回路61:b3→1/2(a3+c3) 補間回路62:e2→1/2(e1+e3) 補間回路63:c2→1/2(c1+c3) 補間回路64:a2→1/2(a1+a3) 補間回路65:d2→1/2(c2+e2) 補間回路66:b2→1/2(a2+c2) 補間回路67:c1→1/2(a1+e1) 補間回路68:d1→1/2(c1+e1) 補間回路69:b1→1/2(a1+c1) 上述の補間回路51〜69からの出力信号の中で、(4×
4)の範囲に含まれる16個の画素データが同一ライン内
の4画素毎に並列→直列変換回路71、72、73、74に夫々
供給される。これらの並列→直列変換回路71〜74には、
1/4分周回路37の出力信号によって、補間後の4個の画
素データが夫々ラッチされる。また、並列→直列変換回
路71〜74からは、端子32からのサンプリングクロックに
同期して直列の復元データが出力される。なお、第3図
中で記入された画素データは、1/4分周回路37からの次
のクロックが発生する時点では、勿論、異なったものと
なる。即ち、直列→並列変換回路41〜45の夫々の画素デ
ータa1、a2、a3、a4、a5は、画素データe1、e2、e3、e
4、e5によって置き代えられる。 並列→直列変換回路71からの復元データがライン遅延
回路75に供給され、ライン遅延回路75の出力データと並
列→直列変換回路72からの復元データがセレクタ76に供
給される。セレクタ76の出力データがライン遅延回路77
に供給され、ライン遅延回路77の出力データと並列→直
列変換回路73からの復元データがセレクタ78に供給され
る。セレクタ78の出力データがライン遅延回路79に供給
され、ライン遅延回路79の出力データと並列→直列変換
回路74からの復元データがセレクタ80に供給される。こ
れらのライン遅延回路75、77、79とセレクタ76、78、80
は、復元データの順序をテレビジョン走査と同様の順序
に変換するために設けられており、セレクタ80の出力端
子81には、テレビジョン走査の順序の復元データが得ら
れる。 c.変形例 この発明は、他の高能率符号と組み合わせて使用する
場合にも適用できる。本願出願人は、画面を多数のブロ
ックに分割し、ブロック毎にダイナミックレンジを求
め、このダイナミックレンジを固定又は可変のビット数
で定まる個数の領域に分割し、最小値除去後の画素デー
タが属する領域と対応するコード信号を伝送するダイナ
ミックレンジに通用した符号(ADRCと称される)を先に
提案している。 第5図に示すように、ディジタルビデオ信号が供給さ
れる入力端子101に対して前述と同様のサブサンプリン
グエンコーダ102が接続され、サブサンプリングエンコ
ーダ102に対してADRCエンコーダ103が接続される。ADRC
エンコーダ103は、伝送される画素データを元のビット
数より短いビット数のコード信号に変換し、出力端子10
4には、データ量が圧縮された出力信号が得られる。 第5図に示されるエンコーダシステムと対応するデコ
ーダシステムは、第6図に示すように、受信データが供
給される入力端子105と接続されたADRCデコーダ106とAD
RCデコーダ106からの復元データが供給される第3図と
同様の構成のサブサンプリングデコーダ107とからな
り、出力端子108に復元データが得られれる。 また、この発明における制御データをランレングス符
号化によって符号化しても良い。 〔発明の効果〕 この発明に依れば、ブロック単位でサブサンプリング
のパターンを切替える方式と異なり、1画素毎に予測誤
差が大きいか否かに応じてサブサンプリングがなされる
ので、ブロック単位で復元画像の劣化が目立つことを防
止できる。また、この発明に依れば、画像の特徴に対し
て適応性が非常に良好なサブサンプリングがされ、復元
画質を良好とできる。更に、この発明は、実時間処理が
可能で、動画像の処理に好適なものである。より更に、
この発明では、エラーが発生しても、このエラーが伝播
することが少い。
【図面の簡単な説明】
第1図はこの発明の一実施例のブロック図、第2図はこ
の発明の一実施例のサンプリングパターンの説明に用い
る略線図、第3図はこの発明の一実施例と対応するサン
プリングデコーダのブロック図、第4図はサンプリング
デコーダに設けられる補間回路の具体的構成の一例を示
すブロック図、第5図はエンコーダシステムの一例のブ
ロック図、第6図はデコーダシステムの一例のブロック
図である。 図面における主要な符号の説明 1:入力端子、2〜5:ライン遅延回路、6〜17:サンプル
遅延回路、18、19:セレクタ、23:減算回路、25:比較回
路、27:ゲート回路、28、29:出力端子。
の発明の一実施例のサンプリングパターンの説明に用い
る略線図、第3図はこの発明の一実施例と対応するサン
プリングデコーダのブロック図、第4図はサンプリング
デコーダに設けられる補間回路の具体的構成の一例を示
すブロック図、第5図はエンコーダシステムの一例のブ
ロック図、第6図はデコーダシステムの一例のブロック
図である。 図面における主要な符号の説明 1:入力端子、2〜5:ライン遅延回路、6〜17:サンプル
遅延回路、18、19:セレクタ、23:減算回路、25:比較回
路、27:ゲート回路、28、29:出力端子。
Claims (1)
- (57)【特許請求の範囲】 1.時間的又は空間的な配列を有する複数の画素をサブ
サンプリングすることにより、伝送データ量を原データ
量に比して圧縮するようにした画像信号の高能率符号化
装置において、 水平および垂直方向に関して、少なくとも1画素以上を
飛び越して規則的に位置する第1の画素と、符号化しよ
うとする注目画素の周辺に位置する、上記第1の画素と
複数の第2の画素を同時に出力する同時化手段と、 上記同時化手段と結合され、上記第2の画素の夫々につ
いて補間データを形成するために必要とされる、上記第
2の画素の夫々の周辺の複数の上記第1又は第2の画素
の原データを選択して出力する選択手段と、 上記選択手段により選択された複数の第1の画素の原デ
ータのみを使用して第2の画素の補間データを形成する
手段と、上記補間される第2の画素の位置の原データを
使用して、上記第1の画素の原データによって補間され
ない位置の他の第2の画素の補間データを形成する手段
とを少なくとも有する補間手段と、 上記補間データと上記第2の画素の原データとの間の補
間誤差を検出し、上記補間誤差をしきい値と比較するこ
とによって、上記補間誤差が上記しきい値より大きいと
きには伝送を指示し、上記補間誤差が上記しきい値より
小さいときには間引きを指示するように、上記第2の画
素の夫々に対応して伝送/間引きを指示する1ビットの
制御コードを発生する検出手段と、 上記同時化手段からの上記注目画素が供給され、上記第
1の画素データを伝送すると共に、上記制御コードに応
じて上記第2の画素の原データの伝送/間引きを行い、
伝送データを形成するデータ形成手段と、 を備え、上記伝送データと共に、上記制御コードを送出
するようにしたことを特徴とする画像信号の高能率符号
化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8521087A JP2785824B2 (ja) | 1987-04-07 | 1987-04-07 | 画像信号の高能率符号化装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8521087A JP2785824B2 (ja) | 1987-04-07 | 1987-04-07 | 画像信号の高能率符号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPS63250987A JPS63250987A (ja) | 1988-10-18 |
JP2785824B2 true JP2785824B2 (ja) | 1998-08-13 |
Family
ID=13852223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP8521087A Expired - Lifetime JP2785824B2 (ja) | 1987-04-07 | 1987-04-07 | 画像信号の高能率符号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2785824B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2832959B2 (ja) * | 1988-10-25 | 1998-12-09 | ソニー株式会社 | 画像信号の高能率符号化装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4151551A (en) * | 1976-08-04 | 1979-04-24 | Tektronix, Inc. | Programmable color enable and sequencing system for secam |
JPS60229484A (ja) * | 1984-04-26 | 1985-11-14 | Nec Corp | 動画像信号の符号化・復号化装置 |
-
1987
- 1987-04-07 JP JP8521087A patent/JP2785824B2/ja not_active Expired - Lifetime
Non-Patent Citations (1)
Title |
---|
テレビジョン学会誌(論文特集 高能率符号化技術とその応用)Vol.39,No.10(1985)P.934〜940 |
Also Published As
Publication number | Publication date |
---|---|
JPS63250987A (ja) | 1988-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2540809B2 (ja) | 高能率符号化装置 | |
JP2670259B2 (ja) | 高能率符号化装置 | |
JPH03165190A (ja) | 動き情報を動き情報信号に変換する装置 | |
JP2874871B2 (ja) | 画像処理装置 | |
JP2864725B2 (ja) | 画像信号の高能率符号化装置 | |
JPS6348088A (ja) | ディジタル画像信号の補間装置及び補間方法 | |
JP2785824B2 (ja) | 画像信号の高能率符号化装置 | |
JP2870762B2 (ja) | 画像信号の高能率符号化装置 | |
JP2668881B2 (ja) | 画像信号の高能率符号化装置 | |
JP2550532B2 (ja) | カラ−ビデオ信号の高能率符号化装置 | |
JP2590865B2 (ja) | 高能率符号化された画像信号の復号装置 | |
JP3906770B2 (ja) | ディジタル画像信号処理装置および方法 | |
JP2604712B2 (ja) | テレビジヨン信号の高能率符号化/復号装置 | |
JP2684720B2 (ja) | 画像信号の高能率符号化装置 | |
JP2814482B2 (ja) | 高能率符号の復号装置及び復号方法 | |
JP2827357B2 (ja) | 画像信号の伝送装置及び方法 | |
JP2910213B2 (ja) | 高能率符号化装置及び方法 | |
JPH0793727B2 (ja) | 高能率符号の復号装置 | |
JP2798244B2 (ja) | 高能率符号の復号装置 | |
JP2595625B2 (ja) | デジタル映像信号の受信装置 | |
JP3746305B2 (ja) | 画像信号生成装置および方法、並びにディジタル画像信号処理装置および方法 | |
JP2718034B2 (ja) | 高能率符号の復号装置 | |
JPS641997B2 (ja) | ||
JP2004072800A (ja) | 画像信号生成装置および生成方法 | |
JP3831960B2 (ja) | 圧縮高解像度ビデオ信号の補間装置および補間方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
EXPY | Cancellation because of completion of term |