JPH06152432A - 高能率符号化及び／又は復号化装置 - Google Patents

Abstract

(57)【要約】 【構成】 入力端子１０を介して供給される入力情報を
間引きサブサンプリング部１１とモデル対応係数演算部
１２内の正規方程式生成部１２ａに供給する。間引きサ
ブサンプリング部１１から伝送情報が出力端子１３及び
正規方程式生成部１２ａに供給される。正規方程式生成
部１２ａは線形一次結合モデルに基づいて最小二乗法に
よる正規方程式を作成して各係数を係数演算部１２ｂに
出力する。係数演算部１２ｂは、この正規方程式を解い
て上記未定係数に対する最確値を算出して出力端子１４
を介して出力する。 【効果】 品質劣化のほとんどない画像の復元を行うた
めの情報を送出することができ、高い圧縮率の伝送を行
い、伝送量や記録系の記録容量の削減に寄与することが
できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、エンコード側で伝送す
る情報量を削減させて伝送し、デコード側で伝送された
情報から削減された情報を補間して情報を再現すること
ができる高能率符号化／復号化装置に関する。

【０００２】

【従来の技術】最近、大量の情報を扱う、例えば画像情
報等のデータを送信側で符号化して高速に伝送し、受信
側で受信したデータを復号して送信時の品質に近い画像
情報を生成する高能率符号化／復号化装置が実現されつ
つある。高能率符号化／復号化を行う方法は、この伝送
にあたり伝送すべき情報量を削減するため、一般的に、
例えば画像表示している２次元画像を２次元空間内、あ
るいは時間をも含めた時空間でのサンプリングを行い、
間引いた情報をエンコードして送信している。時空間で
のサブサンプルの例としては、この方法を用いた情報を
伝送方式の一つに高精細度テレビジョン方式として日本
放送協会が提案している、いわゆる多重サブナイキスト
サンプリングエンコーディング方式がある。

【０００３】また、この方法による伝送は、エンコード
する時点で情報の間引き操作が既に行われ送信されるの
で、デコード側では受信した情報を基に、この間引かれ
た情報を補間して情報の再構成を図っている。実際に、
上述した画像伝送を行う場合のデコードは、伝送された
画素情報を基に固定タップ、固定係数のフィルタによっ
て伝送されない画素情報を補間している。

【０００４】

【発明が解決しようとする課題】ところが、デコード側
で前述したような固定したハードウェア構成で行う復号
化処理は、ある画像処理に対して最適な構成であって
も、例えば動きのある画像や静止画像等の多種多用な種
類の画像が供給されてくる場合、この供給される画像情
報に応じて補間処理が効果的に発揮される場合と効果的
な画像を再構成できない場合がある。実際に、デコード
側の画像は、この補間処理によって例えば「ぼけ」、動
きの不自然さを示す「ジャーキネス」、あるいは画像内
の対象に動きがある場合等の時空間の変動等による不具
合いが発生する。

【０００５】一般に、受信側が前述したような固定のフ
ィルタ構成に補間処理の効果を発揮できない種類の画像
が供給された場合、受信側の画像は、上述した現象を画
像に引き起こして画質を相当劣化させてしまうことにな
る。

【０００６】そこで、本発明は、このような実情に鑑み
てなされたものであり、供給する情報の種類に関わら
ず、この情報に対応して高い圧縮率の符号化を行って伝
送し、伝送された受信情報から補間処理を伴う復号化処
理を施して再生された情報に品質の劣化がなく復元する
ことができる高能率符号化及び／又は復号化装置の提供
を目的とする。

【０００７】

【課題を解決するための手段】本発明に係る高能率符号
化装置は、入力情報に対して時空間でのサブサンプリン
グを行い、間引きされた情報に対して情報の圧縮を行っ
て情報を送出する高能率符号化装置において、上記入力
情報に対して間引き操作を行って出力する間引き手段
と、該間引き手段での処理後の間引きされなかった伝送
情報を用いて間引きされた補間対象情報を求める補間式
の係数を未知数として補間処理を行って得られた補間処
理結果情報と上記入力情報から得られる補間対象情報と
の誤差を最小にするための連立方程式を作成し、この連
立方程式を解いて上記未定係数に対する最確値を算出す
る未定係数算出手段とを有し、上記間引き手段からの出
力情報と上記モデル対応係数算出手段からの係数をそれ
ぞれ出力することにより、上述の課題を解決する。

【０００８】高能率復号化装置は、時空間でサブサンプ
リングにより間引きされた補間対象情報を伝送された受
信情報に基づき補間処理を施して元の情報の復元を行う
高能率復号化装置において、上記補間対象情報を求める
ための係数が未定の補間式にそれぞれ上記受信情報にお
ける間引きされなかった伝送情報と上記補間式の未定係
数に対応して伝送された係数とを代入して上記補間対象
情報を生成し、元の伝送情報を復元する補間処理手段
と、該補間処理手段で生成された補間対象情報と上記伝
送情報とを用いて伝送前の情報に対応した時系列情報に
変換する時系列変換手段とを有してなることにより、上
述の課題を解決する。

【０００９】ここで、上述した高能率符号化及び／又は
復号化装置は、上記構成により、中央画素と中央画素の
両端の画素を補間する直接補間を用いて行っている。

【００１０】また、高能率符号化及び復号化装置は、入
力情報に対して時空間でのサブサンプリングを行い、間
引きされた情報に対して情報の圧縮を行って情報を送出
し、この情報圧縮された情報を受信してこの受信情報に
基づいて補間処理を施して上記入力情報の復元を行う高
能率符号化及び復号化装置において、上記入力情報に対
して間引き操作を行って出力する間引き手段と、該間引
き手段で間引きされなかった伝送情報を用いて間引きさ
れた補間対象情報を求める補間式の係数を未知数として
補間処理を行って得られた補間処理結果情報と上記入力
情報から得られる補間対象情報との誤差を最小にするた
めの連立方程式を作成し、この連立方程式を解いて上記
未定係数に対する最確値を算出する未定係数算出手段
と、上記間引き手段と上記未定係数算出手段からそれぞ
れ供給される上記伝送情報と上記未定係数に対して決定
された係数を補正式に代入して間引きされた補間対象情
報を生成する補間対象情報生成手段と、該補間対象情報
生成手段で生成された補間対象情報と上記受信情報とを
用いて上記入力情報に対応した時系列情報に変換する時
系列変換手段とを有してなることにより、上述の課題を
解決する。

【００１１】さらに、入力情報に対して時空間でのサブ
サンプリングを行い、間引きされた情報に対して情報の
圧縮を行って情報を送出し、この情報圧縮された情報を
受信して受信情報に補間処理を施して上記入力情報の復
元を行う高能率符号化及び復号化装置において、この高
能率符号化及び復号化装置は、上記入力情報に対して間
引き操作を行って出力する間引き手段と、該間引き手段
での処理後の間引きされなかった伝送情報を用いて間引
きされた補間対象情報を求める補間式の係数を未知数と
して補間処理を行って得られた補間処理結果情報と上記
入力情報から得られる補間対象情報との誤差を最小にす
るための連立方程式を作成し、この連立方程式を解いて
上記未定係数に対する最確値を算出する未定係数算出手
段と、上記間引き手段からの上記伝送情報と上記補間対
象情報に対して計算で得られた情報と比較参照するため
の補間対象参照情報とを用いて上記未定係数算出手段で
補間対象にならなかった補間対象情報を生成するための
係数を補間未知数として補間処理を行って得られた補間
処理結果情報と上記補間対象参照情報との誤差を最小に
するための連立方程式を作成し、この連立方程式を解い
て補間できなかった補間対象情報に対する補間未定係数
に対する最確値を算出する補間未定係数算出手段とを有
し、上記間引き手段の間引き量に応じて上記未定係数算
出手段以降に上記補間未定係数算出手段をカスケード的
に接続して上記伝送情報及び上記未定係数に対応する複
数の係数を出力する高能率符号化装置と、該高能率符号
化装置からの上記伝送情報と上記複数種類の係数を入力
し、上記伝送情報と上記複数種類の係数の一つとを用い
て間引かれた上記補間対象情報を生成する補間処理手段
と、該補間処理手段で生成された補間対象情報と上記受
信情報とを用いて上記入力情報に対応した時系列情報に
変換する時系列変換手段とを有し、上記供給される複数
種類の係数の数に応じて上記補間処理手段及び時系列変
換手段とを一組としてカスケード的に接続し、各組で使
用する係数は対応する間引きの補間対象情報を算出する
際だけに用いてそれぞれ補間対象情報を生成して元の上
記入力情報を復元する高能率復号化装置とからなること
により、上述の課題を解決する。

【００１２】ここで、この高能率符号化及び／又は復号
化装置は、上記各装置の構成を多段でカスケード接続に
より、時空間間引きの上記補間対象情報を線形一次結合
モデルにより階層構造補間して補間処理を行っている。
高能率符号化及び／又は復号化装置は、例えば、２段の
階層構造補間による画像情報の送受信を行う場合、間引
き処理されなかった伝送画素情報と入力画素情報を基に
未定係数算出手段と補間未定係数算出手段とをカスケー
ド接続している。上記未定係数算出手段は、補間対象画
素情報に対する補間処理結果画素情報と上記入力情報か
らの補間対象情報との残差を最小にする第１の係数を算
出し、上記補間未定係数算出手段で補間できなかった補
間対象画素情報に対する第２の係数を算出するため、補
間処理して得られた補間対象画素情報から求めた補間処
理結果画素情報と上記入力画素情報との残差を最小にす
る第２の係数の最確値を算出して伝送画素情報と第１及
び第２の係数を出力している。

【００１３】また、上記間引き手段を例えば２段の間引
き処理で構成した場合、第１段目で間引きされた画素情
報に対応した補間対象画素情報から補間処理結果画素情
報と上記入力画素情報との残差を最小にする係数、すな
わち上記第２の係数を出力し、第２段目で間引きされた
画素情報に対応した補間対象画素情報から補間処理結果
画素情報と上記入力画素情報との残差を最小にする係
数、すなわち上記第１の係数を出力してもよい。

【００１４】高能率復号化装置は、この伝送される伝送
画素情報と第１及び第２の係数を受信情報としてエンコ
ード側と同様に２段のカスケード接続で線形一次結合モ
デル対応した補間処理手段及び時系列変換手段を一組と
して求めた第１及び第２の係数カスケードに接続して伝
送画素情報と補間処理して得られる補間対象画素情報と
から元の画像と略々同じ画像を出力している。

【００１５】また、上記未定係数は、上記間引き手段か
らの間引かれなかった伝送情報と未定係数の線形一次結
合で表された補間処理結果情報と、該補間処理結果情報
と入力情報から得られる補間対象情報との残差の加算結
果において、上記残差が最小にする値として最小二乗法
を用いて求めている。

【００１６】

【作用】本発明の高能率符号化装置は、入力情報に対し
て時空間でのサブサンプリングを行い、間引きされた情
報に対して情報の圧縮を行って情報を送出する高能率符
号化装置において、間引き手段で入力情報に対して間引
き操作を行い、未定係数算出手段で上記間引き手段での
処理後の間引きされなかった伝送情報を用いて間引きさ
れた補間対象情報を求める補間式の係数を未知数として
補間処理を行って得られた補間処理結果情報と上記入力
情報から得られる補間対象情報との誤差を最小にするた
めの連立方程式を作成し、この連立方程式を解いて上記
未定係数に対する最確値を算出して上記間引き手段から
の出力情報と上記モデル対応係数算出手段からの係数を
それぞれ出力している。

【００１７】時空間でサブサンプリングにより間引きさ
れた補間対象情報を伝送された受信情報に基づき補間処
理を施して元の情報の復元を行う高能率復号化装置にお
いて、この高能率復号化装置は、補間処理手段で上記補
間対象情報を求めるための係数が未定の補間式にそれぞ
れ上記受信情報における間引きされなかった伝送情報と
上記補間式の未定係数に対応して伝送された係数とを代
入して上記補間対象情報を生成し、元の伝送情報を復元
し、時系列変換手段において上記補間処理手段で生成さ
れた補間対象情報と上記伝送情報とを用いて伝送前の情
報に対応した時系列情報に変換して情報の再現を行って
いる。

【００１８】また、階層構造補間を行う際に入力情報に
対して時空間でのサブサンプリングを行い、間引きされ
た情報に対して情報の圧縮を行って情報を送出し、この
情報圧縮された情報を受信して受信情報に補間処理を施
して上記入力情報の復元を行う高能率符号化及び復号化
装置において、この高能率符号化及び復号化装置は、高
能率符号化装置を間引き手段と未定係数算出手段と補間
未定係数算出手段とで構成し、上記間引き手段の間引き
量に応じて上記未定係数算出手段以降に上記補間未定係
数算出手段をカスケード的に接続して間引かれなかった
上記伝送情報及び上記未定係数に対応する複数の係数を
出力上記複数種類の係数を出力し、高能率符号化装置が
上記高能率符号化装置の出力する上記伝送情報と上記複
数種類の係数の一つとを補間処理手段に入力して間引か
れた上記補間対象情報を生成し、時系列変換手段で上記
補間処理手段で生成された補間対象情報と上記受信情報
とを用いて上記入力情報に対応した時系列情報に変換し
て元の情報を復元させている。ここで、高能率復号化装
置は、上記供給される複数種類の係数の数に応じて上記
補間処理手段及び時系列変換手段とを一組としてカスケ
ード的に接続し、各組で使用する係数は対応する間引き
の補間対象情報を算出する際だけに用いてそれぞれ補間
対象情報を生成して元の上記入力情報を復元している。

【００１９】このようにこの時空間間引きに対する補間
方法は、上記補間対象情報と上記受信情報とを供給して
時系列に対応した情報に例えば直接補間や階層構造補間
等を用いて処理している。上述した装置を用いてシステ
ムを構成し、例えば画像等の情報を送受信する。

【００２０】

【実施例】以下、本発明に係る高能率符号化及び／又は
復号化装置の実施例について、図面を参照しながら説明
する。

【００２１】先ず、本発明の高能率符号化装置について
図１に示す概略的なブロック図を参照しながら説明す
る。ここで、高能率符号化装置は大量のデータを高速に
処理することが要求される画像処理装置に適用した一例
に挙げて説明する。

【００２２】高能率符号化装置は、上記入力情報である
入力画像情報に対して間引き操作を行って出力する間引
き手段である間引きサブサンプリング部１１と、該間引
きサブサンプリング部１１での処理後の間引きされなか
った伝送情報を用いて間引きされた補間対象情報を求め
る補間式の係数を未知数として補間処理を行って得られ
た補間処理結果情報と上記入力情報から得られる補間対
象情報との誤差を最小にするための連立方程式を作成
し、この連立方程式を解いて上記未定係数に対する最確
値を算出する未定係数算出手段であるモデル対応係数演
算部１２とで構成している。

【００２３】この実施例で使用するモデルは、線形一次
結合モデルを用いている。またモデルは、画像を記述す
る中で時間方向のサブサンプリングを行って１／２フレ
ームコマ落しの場合である。

【００２４】ここで、上記モデル対応係数演算部１２
は、予め定義したモデルに従った領域の情報のサブサン
プル抽出を行って連立方程式である正規方程式を作成す
る正規方程式生成部１２ａと、該正規方程式生成部１２
ａから供給される画素情報によって正規方程式に含まれ
る未定係数を後述する係数演算から求める係数演算部１
２ｂとで構成している。

【００２５】さらに、この高能率符号化装置の接続関係
を図１を参照して説明する。入力端子１０を介して入力
画像に対する画像情報が間引きサブサンプリング部１１
に供給される。この画像情報はモデル対応係数演算部１
２の正規方程式生成部１２ａにも供給されている。上記
間引きサブサンプリング部１１は、エンコードした出力
信号を伝送画素として出力端子１３を介して出力すると
共に、上記正規方程式生成部１２ａにも供給している。

【００２６】モデル対応係数演算部１２は、正規方程式
生成部１２ａで供給された伝送画素と入力画像に対して
時系列変換を行い、線形一次結合モデルに対応したモデ
ル化を行って正規方程式を生成している。上記正規方程
式生成部１２ａは、生成した正規方程式の各係数を係数
演算部１２ｂに出力する。係数演算部１２ｂは供給され
た係数に含まれる未定係数を最小二乗法により課せられ
た条件に応じて行列演算を行って未定係数を算出して出
力端子１４を介して出力している。

【００２７】次に、この高能率符号化装置における動作
原理について図２を参照しながら説明する。図２に示す
例は、前述したように時間方向のサブサンプルを行って
１フレームをコマ落しして１／２フレームにする場合、
第ｎ−１フレーム〜第ｎ＋１フレームまでの３フレーム
の内第ｎ−１フレームと第ｎ＋１フレームの画素を用い
て第ｎフレームの中央に位置する画素ｙを求めるもので
ある。

【００２８】予め定義した時空間モデルにおいて、上記
第ｎ−１フレーム〜第ｎ＋１フレームの各フレームは、
フレーム内のブロック１５、１６、１７を一つのブロッ
クとしている。これらの中でブロック１５とブロック１
７は、９つの入力画素ｘ₁ 〜ｘ₉ とｘ₁₀〜ｘ₁₈に区分設
定している。モデルは、入力画素ｘ_i （ｉ＝１，・・・，
１８）にそれぞれ係数ｗ_i を乗算した線形一次結合ｘ_i
ｗ_i で表現するものである。第ｎフレームの中央位置の
値ｙ₅ は、このように１８タップの入力画素の線形一次
結合ｗ₁ ｘ₁ ＋ｗ₂ ｘ₂ ＋・・・＋ｗ₁₈ｘ₁₈によって表さ
れる。この線形一次結合モデルにおける係数ｗ_i につい
ては、実際の補間対象画素と補間処理結果画素との残差
が最小になるものを求めればよい。

【００２９】この未定係数ｗ_i を求めるため、先ず、入
力画像を空間方向に１画素ずつずらした際に線形一次結
合モデルに要する値、すなわち入力画素ｘ_i （ｉ＝１，
・・・，ｎ）、対応する実際の画素ｙ_j （ｊ＝１，・・・，
ｍ）をそれぞれ代入する。これによって、例えば１フレ
ームに対して１個の係数組を求めるとすれば、入力画素
ｘと未定係数ｗの積に対応する実際の画素ｙの線形一次
結合の式が１フレームの画素数分だけの連立方程式がで
きる。これらの連立方程式により、対応する行列Ｘと
Ｙ及び係数行列Ｗができる。

【００３０】この行列Ｘ、Ｗ及びＹはそれぞれ

【００３１】

【数１】

【００３２】

【数２】

【００３３】

【数３】

【００３４】と表される。この行列Ｘ、Ｙ及びＷ
を用いて表した線形一次結合モデルの式 ＸＷ ＝ Ｙ （４） がｍ個の連立方程式からなる観測方程式である。この連
立方程式の数は、予め設定した２フレーム内のタップ数
よりも遥かに多い数である。

【００３５】基本的に観測方程式を解いて未定係数ｗを
求めればよい。この未定係数ｗを求める方法として最小
二乗法を用いる。すなわち、この未定係数ｗの解法は、
最小二乗法を用いるにあたり上記観測方程式の右辺に残
差行列Ｅ

【００３６】

【数４】

【００３７】を加える方法である。観測方程式は、この
残差行列Ｅを加算により残差方程式になる。 ＸＷ ＝ Ｙ＋Ｅ （６） 最小二乗法において、上記残差方程式における残差行列
Ｅの要素の二乗、すなわち二乗誤差が最小になる係数
行列Ｗを求めて決定する。

【００３８】次に、上記残差方程式（６）から係数行列
Ｗの各要素ｗ_i の最確値を見いだすための条件は、ブ
ロック内の画素に対応するｍ個の残差をそれぞれ二乗し
てその総和を最小にする条件を満足させればよい。この
条件を数式で表すと、数式は、

【００３９】

【数５】

【００４０】となる。残差方程式は、ｎ個の条件を満足
する係数行列Ｗの要素である未定係数ｗ₁ ，ｗ₂ ，・・
・，ｗ_n を見いだせばよい。従って、残差方程式（６）
より、

【００４１】

【数６】

【００４２】となる。式（７）の条件をｎ個（ｉ＝１，
・・・，ｎ）についてそれぞれ満足させるとき、

【００４３】

【数７】

【００４４】が得られる。ここで、式（６）と式（９）
から、

【００４５】

【数８】

【００４６】の正規方程式が得られる。式（１０）は、
丁度、未知数の数がｎ個だけある連立方程式である。こ
れにより、最確値たる各未定係数ｗ_i を求めることがで
きる。正確に換言すれば、式（１０）における入力画素
ｘ_ji（ｉ＝１，２，・・・，ｎ；ｊ＝１，２，・・・，ｍ）の
積ｘ_jiｘ_jiのｊ＝１からｍまでの総和が一つのマトリク
ス要素からなる行列が正則であれば、解くことができ
る。上記入力画素ｘ_jiの添字ｉは、式（１０）から明か
なように行列要素の列に応じて固定し、添字ｊに関して
変化させている。このようにして正規方程式を求める手
順操作を行うのが正則方程式生成部１２ａである。ここ
で、正則方程式生成部１２ａは係数をすべて係数演算部
１２ｂに出力する。

【００４７】供給された係数を用いて係数演算部１２ｂ
は、例えばガウス−ジョルダンの消去法（別名、掃き出
し法）を用いて未定係数ｗ_i を求め、連立方程式を解い
ている。係数演算部１２ｂは、求めた係数ｗ_i を出力端
子１４を介して出力している。

【００４８】このようにして本実施例における１／２の
コマ落しの例が示すように１フレームに付き１組の係数
が求められたとき、伝送される情報は、１フレーム間隔
の画素と間引きフレーム１個に付き１組の係数になって
いる。ここで、上記係数の情報量は、１フレームあたり
の画素の情報量に比べて無視できるくらいのオーダーで
ある。従って、この１／２のコマ落しの場合の圧縮率
は、約１／２になる。

【００４９】次に、本発明の高能率復号化装置について
図３に示す概略的なブロック図を参照しながら説明す
る。ここで、この高能率復号化装置は、時空間でサブサ
ンプリングによる間引きされた受信情報に補間処理を施
して、上記受信情報から元の情報の復元を行う際に、前
述したように線形一次結合モデルを例えば画像処理装置
に適用して１／２のコマ落しされた圧縮情報を復号する
ことを例に挙げて説明する。

【００５０】この高能率復号化装置は、上記補間対象情
報を求めるための係数が未定の補間式にそれぞれ上記受
信情報における間引きされなかった伝送情報と上記補間
式の未定係数に対応して伝送された係数である係数行列
Ｗの各要素ｗ_i とを代入して上記補間対象情報を生成
し、元の伝送情報を復元する補間処理手段であるモデル
対応補間演算部２０、該モデル対応補間演算部２０で生
成された補間対象情報と上記伝送情報とを用いて伝送前
の情報に対応した時系列情報に変換する時系列変換手段
であると時系列変換部２１とで構成している。

【００５１】また、上記圧縮された画像情報は、伝送画
素である。この伝送画素が入力端子１８を介してモデル
対応補間演算部２０と時系列変換部２１にそれぞれ供給
されている。送信側において予め算出して伝送された係
数行列Ｗの各要素ｗ_i が、入力端子１９を介してモデ
ル対応補間演算部２０に供給されている。

【００５２】モデル対応補間演算部２０は、供給された
これらの情報を線形一次結合のモデル、すなわち伝送画
素の送信側で使用したモデルと全く同じモデルを用いて
補間演算処理を行う。この補間演算処理は、伝送画素と
係数ｗ_i の組から前記式（４）の線形一次結合によって
補間画素を計算する。モデル対応補間演算部２０は、復
元された補間画素を時系列変換部２１に供給する。

【００５３】時系列変換部２１は、間引き処理により失
われた伝送画素を伝送前の時空間サンプリング位置に供
給された伝送画素と補間画素とを用いて対応する画素位
置に配置させる。この変換処理によって時系列変換部２
１は画像情報の復元を行う。

【００５４】このように構成することにより、従来、伝
送画素に対して一律にかけたフィルタ処理を行った場合
の画像劣化がほとんど生じず、より伝送前の原画に近い
補間画素を得ることができ、高能率に圧縮された符号を
復元することができる。

【００５５】この高能率符号化装置と高能率復号化装置
とを用いれば、間引き処理後の伝送画素と線形一次結合
モデルの条件に合致する未定係数ｗ_i との伝送により、
前述から明らかなように画像劣化がほとんど生じること
なく、高能率に圧縮された符号を復元することができ
る。このように間引き画素を求める方法は、図３に示し
た直接補間により求めることができる。

【００５６】また、前述した実施例は３フレームで１８
タップの線形一次結合モデルを用いたが、さらに時間方
向や空間方向に（サブサンプリング用の）タップを増や
して処理することもできる。

【００５７】高能率符号化及び／又は復号化装置は、例
えば、時間方向にタップを増やして１／２コマ落しを行
って伝送する場合、すなわち図４に示す７フレームＴ０
〜Ｔ６内の偶数番目のフレームの全画素を伝送する。同
時に、これらの偶数番目の各フレームに対して１フレー
ムの空間内で画素を５×５程度のブロック毎に分けた大
きさを持つ画素を用いて、伝送されないフレームＴ３の
“＋”位置の画素データが算出される。高能率符号化装
置は、この算出にあたり伝送画素と未定係数との積で表
された線形一次結合モデルを用いて高能率復号化装置に
伝送する係数を計算する。

【００５８】この７フレームＴ０〜Ｔ６の中で伝送され
る係数の演算に関与するフレームは、上述したように一
つ間隔に○印が付された偶数番目のフレームＴ０、Ｔ
２、Ｔ４、Ｔ６の４フレームを用いる。これら４フレー
ムにおいて使用する画素は、模式的に５×５程度のブロ
ックの大きさの画素を用いて線形一次モデルを適用して
計算が行われる。実際に伝送する係数は、図５に示すフ
レームＴ０、Ｔ２、Ｔ４、Ｔ６のタップｗ₁ 〜ｗ₁₀₀ を
利用して算出され、伝送された画像情報とこの係数を基
に線形一次結合モデルに対応して復号を行っている。

【００５９】また、同じ７フレームＴ０〜Ｔ６を使って
１／２コマ落しを行って伝送する場合、同様に、図６に
示す７フレームＴ０〜Ｔ６の偶数番目の全画素を伝送す
る。同時に、これらの偶数番目の各フレームに対して１
フレームの空間内でフレームＴ３の“＋”位置の画素の
データが線形一次結合モデルに対応させて未定係数を算
出している。この線形一次結合モデルにおいて係数算出
に用いる画素は、図６に示した模式図の（○）の位置に
配置された画素だけを空間内間引きして使用して未定係
数の算出を行っている。この使用する空間内間引きされ
た画素配置パターンは、フレームＴ０、Ｔ６とフレーム
Ｔ２、Ｔ４の２つのパターンがある。実際、係数演算に
使用する画素は、図７に示したフレームＴ０、Ｔ２、Ｔ
４、Ｔ６の４フレーム市松模様状のパターンに配置され
たの画素ｗ₁ 〜ｗ₅₀を用いる。

【００６０】なお、これまでの例は、求める未定係数を
１フレームに１組としたが、画像の局所的名特徴に応じ
て空間内で細分化し、１フレームに複数組の係数として
もよい。

【００６１】さて、この考え方を時空間のサブサンプル
に持ち込む。例えば、上述と同様に１／２の時空間間引
きを考えた場合、図８に示す３つのフレームＴ０、Ｔ
１、Ｔ２は、通常の伝送する全画素に対して伝送画素を
１／２間引いて伝送している。同時に、このときの未定
係数を算出するために使用する画素は、伝送画素の配置
と同じ市松模様状に間引きされた間引きパターンを考え
る。この画素配置パターンは、このように１フレーム内
を市松模様状にサブサンプルし、１フレーム毎にオフセ
ットしてサブサンプルするパターンを用いる。実際に未
定係数の係数演算に使用する画素は、例えば図８に示し
たフレームＴ０で画素ｗ₁ 〜ｗ₁₃までの１３個、フレー
ムＴ１でｗ₁₄〜ｗ₄₅までの１２個、フレームＴ２で画素
ｗ₂₆〜ｗ₃₈までの１３個とが使われる。このように１フ
レーム毎に上述した間引きパターンにより画素を１３個
と１２個のサブサンプリングが交互に繰り返してモデル
に対応する未定係数の係数演算が行われている。

【００６２】当然、時間方向にタップを増やす場合、図
９に示す５フレームＴ０、Ｔ１、Ｔ２、Ｔ３及びＴ４を
用いて１フレーム毎にオフセットして市松模様状のサブ
サンプリングを行っている。この場合の未定係数の係数
演算に使用する画素は、偶数フレームＴ０、Ｔ２、Ｔ４
で１２画素を、一方、奇数フレームＴ１、Ｔ３で１３画
素が使われている。この場合、モデルに対する係数演算
は計６２画素を用いて行い、これらの係数演算に用いた
と同じ画素を伝送して１／２時空間間引きを行ってい
る。

【００６３】また、空間方向にタップを増やす場合、図
１０に示す３フレームＴ０、Ｔ１、Ｔ２を用いて１フレ
ーム毎にオフセットして市松模様状のサブサンプリング
を行っている。この間引きパターンは、パンニング等の
水平の動き画像に対応するように水平方向に係数演算を
行う画素をとるモデルを仮定している。係数演算に使用
する画素は、偶数フレームＴ０、Ｔ２、で２３画素を、
一方、奇数フレームＴ１で２２画素が使われている。こ
の場合、未定係数の係数演算は計６８画素を用いて行
い、これらの係数演算に用いたと同じ画素を伝送して１
／２時空間間引きを行っている。

【００６４】これらのモデルは、前述した第１の実施例
と同様に線形一次結合で表現されるモデルを用いてい
る。

【００６５】さらに、時空間で画素を間引くことを考え
る。前述した１／２間引きから時空間で間引いて１／４
に間引きした伝送画素と供給する係数を用いて伝送を行
い、画像の再生を行うこともできる。この１／４に間引
きに対する間引きパターンは、後述するように１ライン
方向の通常伝送される４画素中の３画素を間引いて伝送
するパターンである。この間引きパターンは、フィール
ド毎にオフセットされていて４フィールドで完結する間
引きパターンを用いる（図１２及び図１３を参照）。

【００６６】次に、このような時空間サンプリングの考
え方を取り込んだ高能率符号化装置の他の実施例につい
て図１２に示す概略的なブロック図を参照しながら説明
する。ここで、この実施例も画像処理装置の場合を例に
して説明、前述した高能率符号化装置と共通する部分に
同じ参照番号を付して説明を省略する。この高能率符号
化装置は、１／４時空間間引きを行う場合の構成を示し
ている。

【００６７】この高能率符号化装置は、入力情報に対し
て時空間でのサブサンプリングを行い、間引きされた情
報に対して情報の圧縮を行って情報を送出する高能率符
号化装置は、上記入力情報である入力画像情報に対して
間引き操作を行って出力する間引き手段である間引きサ
ブサンプリング部１０と、該間引きサブサンプリング部
１０での処理後の間引きされなかった伝送情報を用いて
間引きされた補間対象情報を求める補間式の係数を未知
数として補間処理を行って得られた補間処理結果情報と
上記入力情報から得られる補間対象情報との誤差を最小
にするための連立方程式を作成し、この連立方程式を解
いて上記未定係数に対する最確値を算出する未定係数算
出手段である上記第１モデル対応係数算出部２３と、上
記間引きサンプリング部１１からの上記伝送情報と上記
補間対象情報に対して計算で得られた情報と比較参照す
るための補間対象参照情報である入力画像情報とを用い
て上記第１モデル対応係数算出部２３で補間対象になら
なかった補間対象情報に対して、上記補間式の係数を補
間未知数として補間処理を行って得られた補間処理結果
情報と上記補間対象参照情報との誤差を最小にするため
の連立方程式を作成し、この連立方程式を解いて補間で
きなかった補間対象情報に対する補間未定係数に対する
最確値を算出する補間未定係数算出手段である補間演算
部２４と第２モデル対応係数算出部２５とで構成してい
る。

【００６８】この高能率符号化装置は、上記間引きサン
プリング部１１の間引き量に応じて上記第１のモデル対
応係数算出部２３以降に上記演算部２４と第２モデル対
応係数算出部２５を一組としてカスケード的に接続して
上記伝送情報及び上記未定係数に対応する複数の係数を
出力している。

【００６９】なお、高能率符号化装置は、この実施例に
限定されたものでなく、上記間引きサブサンプリング部
１１を多段の間引き処理部を設けて各段から出力される
間引かれなかった伝送情報を用いて階層構造補間を行う
場合、上記演算部２４を省略して各伝送情報を時空間間
引き量に応じたモデル対応係数算出部にそれぞれ供給し
て対応する係数を出力させてもよい。

【００７０】上記第１モデル対応係数算出部２３は、時
系列変換して予め定義したモデルに従った情報のサブサ
ンプルを抽出し、最小二乗法の条件を満足する正規方程
式を作成する第１モデル対応時系列変換部２３ａと該モ
デル対応時系列変換部２３ａからの画像情報に基づいて
未定係数に対する係数演算を行う第１係数演算部２３ｂ
とで構成している。上記第１係数演算部２３ｂは、演算
結果の係数１を出力端子１４を介して出力する。また、
上記第１係数演算部２３ｂは、演算結果の係数１を補間
演算部２４にも提供している。上記第２モデル対応係数
算出部２５は、図示しないが上述した第１モデル対応係
数算出部２３と同じく、第２モデル対応時系列変換部２
５ａと第２係数演算部２５ｂとで構成している。

【００７１】この高能率符号化装置の接続関係を図１２
を参照して説明する。入力端子１０を介して入力画像に
対する画像情報が間引きサブサンプリング部１１に供給
される。この画像情報は第１モデル対応係数算出部２３
の第１モデル対応時系列変換部２３ａにも供給されてい
る。上記間引きサブサンプリング部１１は、エンコード
した出力信号を伝送画素として出力端子１３を介して出
力すると共に、上記第１モデル対応時系列変換部２３ａ
にも供給している。

【００７２】第１モデル対応係数算出部２３は、第１モ
デル対応時系列変換部２３ａで供給された伝送画素と入
力画像に対して時系列変換を行い、線形一次結合モデル
に対応したモデル化を行って正規方程式を生成してい
る。上記第１モデル対応時系列変換部２３ａは、生成し
た正規方程式の各係数を第１係数演算部２３ｂに出力す
る。第１係数演算部２３ｂは供給された係数に含まれる
未定係数を最小二乗法により課せられた条件に応じて行
列演算を行って未定係数を算出して出力端子１４を介し
て出力する。この未定係数に対して行われる演算によっ
て算出された係数が図８に示す係数１である。

【００７３】第１係数演算部２３ｂは、この係数１を上
記ローカルデコーダ２４にも供給している。また、ロー
カルデコーダ２４は、間引きサブサンプリング部１１か
らの間引き処理後の情報と上記係数１を用いて後述する
１／２間引きモデルで必要になる画素を補間処理によっ
て求めている。このローカルデコーダ２４は、ここで求
めた補間画素を第２モデル対応係数算出部２５に供給す
る。この実施例において補間画素が補間対象参照情報に
相当している。

【００７４】第２モデル対応係数算出部２５は、入力端
子１０を介して供給された画像情報を入力している。第
２モデル対応係数算出部２５は、第１モデル対応時系列
変換部２５ａ（図示せず）でこれらの画像情報と補間画
素に時系列処理を施し、この処理後の情報から線形一次
結合モデルに対応した処理を行って正規方程式を作成
し、この正規方程式を構成する係数１を第２係数演算部
２５ｂ（図示せず）に出力する。第２係数演算部２５ｂ
は、線形一次結合モデルに対応する未定係数である係数
２を算出して出力端子２６を介して出力している。

【００７５】この高能率符号化装置の動作原理について
図１３及び図１４を参照しながら説明する。図１３の水
平ラインはインターレース走査している走査線を示して
いる。ここで、この実施例における４フィールドで完結
する間引きパターンは、奇数フィールド（実線）と偶数
フィールド（破線）毎にそれぞれ１から４フィールド中
の奇数と偶数フィールドを同じ走査線上に示している。
これらの各フィールドにおける伝送画素は、それぞれ、
第１フィールド（＃１）を（●）、第２フィールド（＃
２）を（■）、第３フィールド（＃３）を（○）、そし
て第４フィールド（＃４）を（□）で表している。図１
３から明かなように各フィールドのサンプリングして伝
送される伝送画素の配列は、一つのフィールドの伝送画
素が市松模様状に配列され、フィールド毎にオフセット
されていることが判る。

【００７６】また、図１３に示したサンプリングパター
ンを３次元的に表示したサンプリングパターンが図１４
である。図１４に示すサンプリングパターンは、各ライ
ン方向において通常４画素伝送する内で３画素が間引か
れていることを示している。ここで、線形一次結合モデ
ルは、５フィールドを用いるようにモデルを構築して係
数演算を１フィールド単位で行い、補間対象画素に対す
る未定係数を求めるモデルを使用している。このモデル
は、上述した１／４時空間間引きされた伝送画素を各フ
ィールド毎に供給し、５フィールドの実線枠内の伝送画
素を用いて図１４に示したフィールド＃３の中央画素
（◎）を補間対象画素として求めるための未定係数を算
出するモデルを示している。

【００７７】なお、このモデルにおいて未定係数算出に
寄与する画素は、フィールド＃１、＃５に示すように実
線枠より広い領域の点線枠で囲まれた画素を用いるよう
にしてもよい。しかしながら、算出する係数の数は増え
てしまう。このモデルに従って図１２に示した間引きサ
ブサンプリング部１１で間引き処理後の間引きされなか
った画素がサンプリングされて第１モデル対応係数算出
部２３の第１モデル対応時系列変換部２３ａに供給され
る。

【００７８】また、入力端子１０を介して供給された伝
送画素もこの第１モデル対応時系列変換部２３ａに供給
されている。第１モデル対応時系列変換部２３ａは、こ
れらのデータに基づいてモデルに対応した正規方程式を
求め、正規方程式の各係数を第１係数演算部２３ｂに出
力している。第１係数演算部２３ｂは、この係数に基づ
いて行列演算を行い、最も残差を少なくする最確値とし
て係数１を出力する。この係数１は１／４間引きにおけ
る中央画素の推定に用いられる。

【００７９】この係数１と間引きサブサンプリング部１
１からの出力がローカルデコーダ２４に供給される。ロ
ーカルデコーダ２４は、モデルにおける補間されるべき
画素の算出を行い、算出した補間画素を第２モデル対応
係数算出部２５の第２モデル対応時系列変換部２５ａに
供給する。ここで１／２間引きの線形一次結合モデルに
対応する正規方程式がこの第２モデル対応時系列変換部
２５ａで算出される。算出した係数が第２係数演算部に
される。第２係数演算部２５ｂで最小二乗法により求め
られた係数を用いて未定係数である係数２を算出する。
このようにして１／２間引きにおける中央画素の両端側
の画素の推定に用いる係数２が出力端子２６を介して出
力される。この場合の高能率符号化装置は、間引きされ
た伝送画素、係数１及び係数２を出力して圧縮率の高い
伝送を行っている。

【００８０】時空間でサブサンプリングにより間引きさ
れた補間対象情報を伝送された例えば間引きされた伝送
画素、係数１及び係数２を上記受信情報として入力し、
これら伝送画素、係数１及び係数２に基づき補間処理を
施して元の情報の復元を行うことにより補間処理を施し
て上記受信情報から元の情報の復元を行う高能率復号化
装置におけるブロック構成を図１５に示す。ここで、係
数１及び係数２と２組の係数を用いることにより、後述
するようにカスケード的な多段接続は２段になってい
る。

【００８１】高能率復号化装置は、上記補間対象情報を
求めるための補間式にそれぞれ上記受信情報における間
引きされなかった伝送情報と上記補間式の未定係数用に
対応して決定された複数種類の係数の一つとを用いて上
記補間対象情報を生成する補間処理手段である第１モデ
ル対応補間処理部３０ａと、該第１モデル対応補間処理
部３０ａで生成された補間対象情報と上記受信情報とを
用いて伝送前の情報に対応した時系列情報に変換する時
系列変換手段である第１時系列変換部３０ｂとで構成し
ている。

【００８２】上記第２モデル対応補間部３１も図示しな
いが第２モデル対応補間部３１ａと第２時系列変換部３
１ｂとで構成している。

【００８３】実際、図１５に示す高能率復号化装置は、
高能率復号化装置で上記受信情報中の伝送画素と伝送さ
れるモデルにおける未定係数に対応した１／４に時空間
間引きされた際の係数である係数２とを用いて上記受信
情報を復元するためモデルに対応した補間処理を行う第
１のモデル対応補間手段である第１モデル対応補間処理
部３０と、該第１モデル対応補間処理部３０で生成され
た補間情報と伝送されるモデルにおける未定係数に対応
した１／２に時空間間引きされた際の係数である係数１
とを用いて上記受信情報を復元するためモデルに対応し
た補間処理を行う第２のモデル対応補間手段である第２
モデル対応補間処理部３１とを多段にカスケード接続し
て階層構造補間を行っている。

【００８４】図１５に示すこの高能率復号化装置は、間
引きされた伝送画素を入力端子２７から第１モデル対応
補間処理部３０内の第１時系列変換部３０ｂ及び第１モ
デル対応補間部３０ａに入力している。また、係数２が
入力端子２８を介して第１モデル対応補間部３０ａに入
力されている。第１モデル対応補間部３０ａは、線形一
次結合モデルに対応した補間演算を行い、求めた補間画
素を第１時系列変換部３０ｂに出力している。

【００８５】第１時系列変換部３０ｂは伝送画素とこの
補間画素に基づいて時系列変換を行ってモデル対応補間
部３１に出力している。第２モデル対応補間部３１は、
入力端子２９を介して供給される係数１と第１時系列変
換部３０ｂからの出力とに基づいて１／２間引きの線形
一次結合モデル対応の演算を第２モデル対応補間部３１
ａで行い、時系列変換を第２時系列変換部３１ｂで行っ
て画質劣化のほとんどない元の画像に近い出力画像を出
力している。

【００８６】このように補間計算を行う補間処理部は、
１／４時空間間引きの伝送画素から階層構造補間を行う
ためにエンコード側で１／４時空間間引きと１／２時空
間間引きにおける補間対象情報の画素を算出する係数演
算を２段カスケードの構成にして求めている。デコード
側の構成は、エンコード側の時空間間引きに対応して２
段カスケード構成に接続して各階層の補間対象情報の画
素を求めて画像の復元を行っている。時空間間引きを階
層構造補間の構成で行っても復元画像は、補間処理によ
って画質劣化のほとんどない画像が得られる。

【００８７】この時空間間引きサブサンプリングを行っ
て圧縮した伝送から補間処理して画質劣化のほとんどな
い復元画像を求める方法は、図１及び図３に示した高能
率符号化及び復号化装置の構成から中央画素補間、中央
画素の左側画素の補間及び中央画素の右側画素の補間を
行うため３組の係数を要して行われる直接補間と図１２
及び図１５に示した高能率符号化及び復号化装置の構成
から中央画素補間、１／２間引きの線形一次結合モデル
に対応した中央画素補間に２組の係数組を用いて行う階
層構造補間の２つの方法がある。これらの方法は、前述
した実施例から明かなようにいずれの場合も補間処理に
より伝送されない画素を補間して画質劣化のほとんどな
い復元画像が得られる。

【００８８】なお、上述した高能率符号化及び復号化装
置の実施例における階層構造補間の時空間間引きを１／
４に設定して２段のカスケード接続によって構成した
が、この時空間間引きに限定されるものでなく、一般に
１／２ⁿ 時空間間引き（ｎ＝１，２，３，・・・）のと
き、階層構造補間に要するカスケード接続をｎ段にすれ
ばよいことは明かである。カスケード接続の段数が増え
ればさらに伝送情報の圧縮率を高めることができるよう
になる。

【００８９】このようにエンコード側で補間すべき画素
と伝送画素から線形一次結合モデルを作成し、このモデ
ルに対応する係数を最小二乗法により生成される正規方
程式の未定係数をパラメータとして用い、最確値を算出
して、伝送対象の画像に適したモデルに対応する伝送画
素と係数を伝送することにより、高い圧縮率の伝送を実
現することができる。

【００９０】また、デコード側でこれら伝送画素と係数
から上記線形一次結合モデルに応じて補間画素を直接補
間と階層構造補間等で推定することにより、従来の伝送
画素に対して一律にかけていたフィルタ処理に比べてよ
り原画に近い補間画素、すなわち画質劣化がほとんどな
い補間画像を得ることができる。このようにして原画を
高い圧縮率で伝送し、画質劣化がほとんどない補間画像
を得ることができる。

【００９１】

【発明の効果】以上の説明からも明らかなように、本発
明の高能率符号化装置によれば、入力情報に対して時空
間でのサブサンプリングを行い、間引きされた情報に対
して情報の圧縮を行って情報を送出する高能率符号化装
置において、上記入力情報に対して間引き操作を行って
出力する間引き手段と、該間引き手段での処理後の間引
きされなかった伝送情報を用いて間引きされた補間対象
情報を求める補間式の係数を未知数として補間処理を行
って得られた補間処理結果情報と上記入力情報から得ら
れる補間対象情報との誤差を最小にするための連立方程
式を作成し、この連立方程式を解いて上記未定係数に対
する最確値を算出する未定係数算出手段とを有し、上記
間引き手段からの出力情報と上記モデル対応係数算出手
段からの係数をそれぞれ出力することにより、品質劣化
のほとんどない画像の復元を行うための情報を送出する
ことができ、しかも高い圧縮率の伝送を行い、伝送量や
記録系の記録容量の削減に寄与することができる。

【００９２】また、高能率復号化装置によれば、時空間
でサブサンプリングにより間引きされた補間対象情報を
伝送された受信情報に基づき補間処理を施して元の情報
の復元を行う高能率復号化装置において、上記補間対象
情報を求めるための係数が未定の補間式にそれぞれ上記
受信情報における間引きされなかった伝送情報と上記補
間式の未定係数に対応して伝送された係数とを代入して
上記補間対象情報を生成し、元の伝送情報を復元する補
間処理手段と、該補間処理手段で生成された補間対象情
報と上記伝送情報とを用いて伝送前の情報に対応した時
系列情報に変換する時系列変換手段とを有してなること
により、時空間間引きしても直接補間によって伝送され
ない画素を求めて画質劣化のほとんどない画像を得るこ
とができる。

【００９３】また、上記高能率符号化装置と上記高能率
復号化装置とからなる高能率符号化及び復号化装置とい
うシステム構成によっても、入力情報を圧縮率の高い伝
送情報と係数を送出し、復号化装置の側で品質劣化のほ
とんどない画像を再現させることができる。

【００９４】さらに、本発明の高能率符号化及び復号化
装置は、入力情報に対して時空間でのサブサンプリング
を行い、間引きされた情報に対して情報の圧縮を行って
情報を送出し、この情報圧縮された情報を受信して受信
情報に補間処理を施して上記入力情報の復元を行う高能
率符号化及び復号化装置において、上記入力情報に対し
て間引き操作を行って出力する間引き手段と、該間引き
手段での処理後の間引きされなかった伝送情報を用いて
間引きされた補間対象情報を求める補間式の係数を未知
数として補間処理を行って得られた補間処理結果情報と
上記入力情報から得られる補間対象情報との誤差を最小
にするための連立方程式を作成し、この連立方程式を解
いて上記未定係数に対する最確値を算出する未定係数算
出手段と、上記間引き手段からの上記伝送情報と上記補
間対象情報に対して計算で得られた情報と比較参照する
ための補間対象参照情報とを用いて上記未定係数算出手
段で補間対象にならなかった補間対象情報に対して、上
記補間式の係数を補間未知数として補間処理を行って得
られた補間処理結果情報と上記補間対象参照情報との誤
差を最小にするための連立方程式を作成し、この連立方
程式を解いて補間できなかった補間対象情報に対する補
間未定係数に対する最確値を算出する補間未定係数算出
手段とを有し、上記間引き手段の間引き量に応じて上記
未定係数算出手段以降に上記補間未定係数算出手段をカ
スケード的に接続して上記伝送情報及び上記未定係数に
対応する複数の係数を出力する高能率符号化装置と、該
高能率符号化装置からの上記伝送情報と上記複数種類の
係数を入力し、上記伝送情報と上記複数種類の係数の一
つとを用いて間引かれた上記補間対象情報を生成する補
間処理手段と、該補間処理手段で生成された補間対象情
報と上記受信情報とを用いて上記入力情報に対応した時
系列情報に変換する時系列変換手段とを有し、上記供給
される複数種類の係数の数に応じて上記補間処理手段及
び時系列変換手段とを一組としてカスケード的に接続
し、各組で使用する係数は対応する間引きの補間対象情
報を算出する際だけに用いてそれぞれ補間対象情報を生
成して元の上記入力情報を復元する高能率復号化装置と
からなることにより、時空間間引きで間引かれなかった
伝送情報と複数種類の係数から伝送されない補間対象情
報を補間処理して、高い圧縮率で伝送した画素にもかか
わらず、この復元された画像は従来の一律にフィルタ処
理して再現された画像に比べてより原画に近い補間画素
を求めて画像の復元を行うことができる。

【００９５】また、上記未定係数は、上記間引き手段か
らの間引かれなかった伝送情報と未定係数の線形一次結
合で表された補間処理結果情報と、該補間処理結果情報
と入力情報から得られる補間対象情報との残差の加算結
果において、上記残差が最小にする値として最小二乗法
を用いて求めることにより、線形一次結合モデルに対応
する未定係数を算出し、伝送情報の圧縮に寄与すること
ができる。

【図面の簡単な説明】

【図１】本発明の高能率符号化装置の実施例における概
略的なブロック図である。

【図２】図１に示した高能率符号化装置のブロック図を
基にこの装置の動作原理を説明する模式図である。

【図３】本発明の高能率復号化装置の実施例における概
略的なブロック図である。

【図４】時間方向にタップを増やして１／２コマ落しを
行って伝送する場合、７フレームの中で４フレームの画
素を用いて係数演算に使用する画素のパターンを示した
模式図である。

【図５】図４に示したパターンに従って実際に伝送に使
用する画素情報のパターンを示した図である。

【図６】図４と同様に１／２コマ落しを行って伝送する
場合のサブサンプリングパターンの一例を示した図であ
る。

【図７】図６に示したパターンに従って実際に伝送に使
用する画素情報のパターンを示した図である。

【図８】３フレームを用いて１／２の時空間間引きを示
す係数算出に要する画素のパターンと実際の画素パター
ンを模式的に説明した図である。

【図９】時間方向にタップを増やした場合の１フレーム
毎にオフセットして市松模様状のサブサンプリングして
係数算出に要する画素のパターンと実際の画素パターン
を模式的に説明した図である。

【図１０】空間方向にタップを増やした場合の１フレー
ム毎にオフセットしながら、水平方向に多く市松模様状
のサブサンプリングして係数算出に要する画素のパター
ンを模式的に説明した図である。

【図１１】図１０に示した画素のサンプリングパターン
を実際の画素パターンの各画素に数字を割り当てて表し
た模式図である。

【図１２】本発明の高能率符号化装置の他の実施例にお
ける概略的なブロック図である。

【図１３】図１１に示した高能率符号化装置の動作原理
について説明する模式図である。

【図１４】図１３に示したサンプリングパターンを３次
元的に表示したサンプリングパターンの模式図である。

【図１５】本発明の高能率復号化装置の他の実施例にお
ける概略的なブロック図である。

【符号の説明】

１０、１８、１９・・入力端子 １１・・・・・・・・間引きサブサンプリング部 １２・・・・・・・・モデル対応係数演算部 １２ａ・・・・・・・正規方程式生成部 １２ｂ・・・・・・・係数演算部 ２０・・・・・・・・モデル対応補間演算部 ２１・・・・・・・・時系列変換部 １３、１４、２２・・出力端子

Claims (7)

【特許請求の範囲】
1. 【請求項１】 入力情報に対して時空間でのサブサンプ
   リングを行い、間引きされた情報に対して情報の圧縮を
   行って情報を送出する高能率符号化装置において、 上記入力情報に対して間引き操作を行って出力する間引
   き手段と、 該間引き手段での処理後の間引きされなかった伝送情報
   を用いて間引きされた補間対象情報を求める補間式の係
   数を未知数として補間処理を行って得られた補間処理結
   果情報と上記入力情報から得られる補間対象情報との誤
   差を最小にするための連立方程式を作成し、この連立方
   程式を解いて上記未定係数に対する最確値を算出する未
   定係数算出手段とを有し、 上記間引き手段からの出力情報と上記モデル対応係数算
   出手段からの係数をそれぞれ出力することを特徴とする
   高能率符号化装置。
2. 【請求項２】 時空間でサブサンプリングにより間引き
   された補間対象情報を伝送された受信情報に基づき補間
   処理を施して元の情報の復元を行う高能率復号化装置に
   おいて、 上記補間対象情報を求めるための係数が未定の補間式に
   それぞれ上記受信情報における間引きされなかった伝送
   情報と上記補間式の未定係数に対応して伝送された係数
   とを代入して上記補間対象情報を生成し、元の伝送情報
   を復元する補間処理手段と、 該補間処理手段で生成された補間対象情報と上記伝送情
   報とを用いて伝送前の情報に対応した時系列情報に変換
   する時系列変換手段とを有してなることを特徴とする高
   能率復号化装置。
3. 【請求項３】 入力情報に対して時空間でのサブサンプ
   リングを行い、間引きされた情報に対して情報の圧縮を
   行って情報を送出し、この情報圧縮された情報を受信し
   てこの受信情報に基づいて補間処理を施して上記入力情
   報の復元を行う高能率符号化及び復号化装置において、 入力情報に対して間引き操作を行って出力する間引き手
   段と、 該間引き手段で間引きされなかった伝送情報を用いて間
   引きされた補間対象情報を求める補間式の係数を未知数
   として補間処理を行って得られた補間処理結果情報と上
   記入力情報から得られる補間対象情報との誤差を最小に
   するための連立方程式を作成し、この連立方程式を解い
   て上記未定係数に対する最確値を算出する未定係数算出
   手段と、 上記間引き手段と上記未定係数算出手段からそれぞれ供
   給される上記伝送情報と上記未定係数に対して決定され
   た係数を補正式に代入して間引きされた補間対象情報を
   生成する補間対象情報生成手段と、 該補間対象情報生成手段で生成された補間対象情報と上
   記受信情報とを用いて上記入力情報に対応した時系列情
   報に変換する時系列変換手段とを有してなることを特徴
   とする高能率符号化及び復号化装置。
4. 【請求項４】 入力情報に対して時空間でのサブサンプ
   リングを行い、間引きされた情報に対して情報の圧縮を
   行って情報を送出する高能率符号化装置において、 上記入力情報に対して間引き操作を行って出力する間引
   き手段と、 該間引き手段での処理後の間引きされなかった伝送情報
   を用いて間引きされた補間対象情報を求める補間式の係
   数を未知数として補間処理を行って得られた補間処理結
   果情報と上記入力情報から得られる補間対象情報との誤
   差を最小にするための連立方程式を作成し、この連立方
   程式を解いて上記未定係数に対する最確値を算出する未
   定係数算出手段と、 上記間引き手段からの上記伝送情報と上記補間対象情報
   に対して計算で得られた情報と比較参照するための補間
   対象参照情報とを用いて上記未定係数算出手段で補間対
   象にならなかった補間対象情報を生成するための係数を
   補間未知数として補間処理を行って得られた補間処理結
   果情報と上記補間対象参照情報との誤差を最小にするた
   めの連立方程式を作成し、この連立方程式を解いて補間
   できなかった補間対象情報に対する補間未定係数に対す
   る最確値を算出する補間未定係数算出手段とを有し、 上記間引き手段の間引き量に応じて上記未定係数算出手
   段以降に上記補間未定係数算出手段をカスケード的に接
   続して上記伝送情報及び上記未定係数に対応する複数の
   係数を出力することを特徴とする高能率符号化装置。
5. 【請求項５】 時空間でサブサンプリングにより間引き
   された補間対象情報を伝送された受信情報に基づき補間
   処理を施して元の情報の復元を行う高能率復号化装置に
   おいて、 上記補間対象情報を求めるための補間式にそれぞれ上記
   受信情報における間引きされなかった伝送情報と上記補
   間式の未定係数用に対応して決定された複数種類の係数
   の一つとを用いて上記補間対象情報を生成する補間処理
   手段と、 該補間処理手段で生成された補間対象情報と上記受信情
   報とを用いて伝送前の情報に対応した時系列情報に変換
   する時系列変換手段とを有し、 上記供給される複数種類の係数の数に応じて上記補間処
   理手段及び時系列変換手段とを一組としてカスケード的
   に接続し、各組で使用する係数を対応する間引きの補間
   対象情報を算出する際だけに用いてそれぞれ補間対象情
   報を生成して伝送前の情報を復元することを特徴とする
   高能率復号化装置。
6. 【請求項６】 入力情報に対して時空間でのサブサンプ
   リングを行い、間引きされた情報に対して情報の圧縮を
   行って情報を送出し、この情報圧縮された情報を受信し
   て受信情報に補間処理を施して上記入力情報の復元を行
   う高能率符号化及び復号化装置において、 上記入力情報に対して間引き操作を行って出力する間引
   き手段と、 該間引き手段での処理後の間引きされなかった伝送情報
   を用いて間引きされた補間対象情報を求める補間式の係
   数を未知数として補間処理を行って得られた補間処理結
   果情報と上記入力情報から得られる補間対象情報との誤
   差を最小にするための連立方程式を作成し、この連立方
   程式を解いて上記未定係数に対する最確値を算出する未
   定係数算出手段と、 上記間引き手段からの上記伝送情報と上記補間対象情報
   に対して計算で得られた情報と比較参照するための補間
   対象参照情報とを用いて上記未定係数算出手段で補間対
   象にならなかった補間対象情報を生成するための係数を
   補間未知数として補間処理を行って得られた補間処理結
   果情報と上記補間対象参照情報との誤差を最小にするた
   めの連立方程式を作成し、この連立方程式を解いて補間
   できなかった補間対象情報に対する補間未定係数に対す
   る最確値を算出する補間未定係数算出手段とを有し、 上記間引き手段の間引き量に応じて上記未定係数算出手
   段以降に上記補間未定係数算出手段をカスケード的に接
   続して上記伝送情報及び上記未定係数に対応する複数の
   係数を出力する高能率符号化装置と、 該高能率符号化装置からの上記伝送情報と上記複数種類
   の係数を入力し、上記伝送情報と上記複数種類の係数の
   一つとを用いて間引かれた上記補間対象情報を生成する
   補間処理手段と、 該補間処理手段で生成された補間対象情報と上記受信情
   報とを用いて上記入力情報に対応した時系列情報に変換
   する時系列変換手段とを有し、 上記供給される複数種類の係数の数に応じて上記補間処
   理手段及び時系列変換手段とを一組としてカスケード的
   に接続し、各組で使用する係数は対応する間引きの補間
   対象情報を算出する際だけに用いてそれぞれ補間対象情
   報を生成して元の上記入力情報を復元する高能率復号化
   装置とからなることを特徴とする高能率符号化復号化装
   置。
7. 【請求項７】 上記未定係数は、上記間引き手段からの
   間引かれなかった伝送情報と未定係数の線形一次結合で
   表された補間処理結果情報と、該補間処理結果情報と入
   力情報から得られる補間対象情報との残差の加算結果に
   おいて、上記残差が最小にする値として最小二乗法を用
   いて求めることを特徴とする請求項１〜６記載の高能率
   符号化及び／又は復号化装置。