JP4801778B2 - 映像圧縮符号化装置、映像復元装置、映像圧縮プログラム、及び、映像復元プログラム - Google Patents

映像圧縮符号化装置、映像復元装置、映像圧縮プログラム、及び、映像復元プログラム Download PDF

Info

Publication number
JP4801778B2
JP4801778B2 JP2009537773A JP2009537773A JP4801778B2 JP 4801778 B2 JP4801778 B2 JP 4801778B2 JP 2009537773 A JP2009537773 A JP 2009537773A JP 2009537773 A JP2009537773 A JP 2009537773A JP 4801778 B2 JP4801778 B2 JP 4801778B2
Authority
JP
Japan
Prior art keywords
pixel value
restoration
prediction
periodic pattern
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009537773A
Other languages
English (en)
Other versions
JPWO2009050766A1 (ja
Inventor
茂 吉田
淳一 小田切
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2009050766A1 publication Critical patent/JPWO2009050766A1/ja
Application granted granted Critical
Publication of JP4801778B2 publication Critical patent/JP4801778B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/507Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本発明は、車載用映像システムのようにデータ伝送容量に制限がある映像システム環境における、高画質かつ高効率な映像の圧縮復元技術に関する。
近年自動車業界では,前部座席モニタにドライバ向けの監視映像カメラ映像を表示させると共に、前部座席モニタ及び後部座席モニタの両方にDVD画像やカーナビゲーション画像(以下「ナビ画像」という)を任意に表示させたいというニーズが高まっている。
このように、複数の映像チャネルを前後の各モニタに任意に表示させるためには、車載LANを用いて、DVD画像などの自然画とナビ画像などのCG画像・線画像の双方を高画質で表示させることが要求される。
これと同時に、現在の自動車に搭載される車載LANは、せいぜい1チャネル分の映像信号の伝送容量しか持たず制限があるため、自然画とCG画の双方の画像データを、画質を落とさずに高効率・低伝送遅延で圧縮することが要求される。
更に、車載システムとして、映像システムの回路規模が小さいことが要求される。
映像圧縮には種々の標準化方式があるが、DVD画像のような自然画とナビ画像のようなCG画像・線画像の両方で高画質を得ることは難しかった。JPEGやMPEG等の映像圧縮方式は、滑らかな階調変化を有する画像は効率良く表現できるが、エッジのような急峻な階調変化を有する画像を鮮明に表すためには多くの符号量が必要となり、画像圧縮効率が悪くなる。
ナビ画像のうち画質が最も問題になるのが、市松模様や不規則な胡麻塩ノイズのようなテクスチャパターンを背景に持つ画像である。一般に、テクスチャは周期性を持つが、不規則な形をしていて、圧縮がし難いために、符号量が大幅に増加する傾向がある。車載LANのように帯域保証が必要な伝送路の場合、画像データを圧縮して一定の符号量に抑えることが必要となるが、テクスチャを表すために多くの符号量を割かれると、背景以外の対象物を表すために十分な符号量が取れなくなるため、その部分でのデータ圧縮率を高める必要が生じ、その結果画質を落として圧縮率を稼ぐ必要が出てくる。このため、テクスチャ領域でいかにして効率良く符号化できるようにするかが課題となる。 一方で、DVD画像のような自然画を表現するためには、人間の視覚で感知しにくい程度の画像情報の損失を許容する非可逆符号化(Lossy Coding)が有効である。特に、隣接画素の値を既知として現画素を予測しその予測値と現画素との予測誤差値を量子化して可変長符号化する予測符号化方式は、回路規模も小さいため、自然画を表現する非常に有効な画像圧縮手法として知られている。
しかしながら、予測符号化方式は、前後数画素の隣接画素から現画素を予測する方式である。このため、CG画のテクスチャ背景のような、数十画素以上の周期できついエッジ(階調変化が急峻な画像領域)を有する画像では、予測が当たりにくくなる結果、予測誤差値が大きくなってしまい、その大きな予測誤差値を符号化するために多くの符号量が必要になってしまうという問題点を有している。
テクスチャパターンのように周期性のある画像パターンを圧縮する手法としては従来、網点写真画像やディザ画像を圧縮する技術が知られている。以下に、周期性のある画像パターンを圧縮する従来技術について説明する。
下記の非特許文献1は、予測符号化方式の応用技術であり、新聞画像等で網点写真の圧縮方式や、白黒2値画像圧縮の標準化方式JBIGにおいて、参照画素の網点周期に合わせた予測器を複数個備えて、一定区間ごとに予測誤差の最も少ない予測結果を選択するという技術である。しかし、この方式は予測器を複数個備えるため、回路規模が大きくなるという問題点を有していた。網点パターンはテクスチャパターンの一種ではあるが、大きさが変化するので、ナビ画像等におけるテクスチャパターンとは性格が異なる。このため、この従来技術は、ナビ画像等におけるテクスチャパターンを圧縮するための必ずしも有効な方式ではない。
下記の特許文献1は、過去に出現した繰返し系列を検出しその繰返しの一致位置と一致長を伝送することによって圧縮を行うユニバーサルな辞書型圧縮方式(LZ77型)である。この方式は、可逆符号化(Lossless Coding)方式であり、そのハードウェアは、CAM(連想メモリ:Content Associative Memory)を用いて実現されており、周期性パターンに限らず汎用画像パターンを符号化できる。しかし、この方式は、回路規模及び処理負荷ともに大きいという問題点を有している。
下記の特許文献2及び3は、共に過去に現在と同じ系列が出現したか否かを検出し、一周期の個数Mとその繰返し回数Nを符号化する方式(特許文献2)、又は一致オフセット位置と一致長を符号化する方式(特許文献3)として実現されている。これらの方式は、可逆符号化方式で、LZ77辞書型圧縮手法を簡略化して実現した技術であるが、自然画のような周期性のない画像パターンの圧縮には向かないという問題点を有している。
上記特許文献1〜3に示される従来技術は何れも、可逆符号化方式であり、図1に示されるように、画像データが過去の系列のメモリ101に蓄積されながら、一致検出回路102にて、過去に出現した繰返し系列と現在出現している繰返し系列との一致が検出される。そして、可変長符号化回路103にて、その一致に関する情報が可変長符号化され、圧縮符号が出力される。この構成から理解されるように、上記何れの従来技術も、自然画の圧縮に適した、予測符号化を行うような構成は、採用されておらず、自然画とナビ画像などが混在し、車載LANなどを想定した環境での、高効率な符号化は行うことができない。
下記の特許文献4は、ディザがかけられた後の画像に対する圧縮技術である。しかし、この方式もやはり、自然画像のような周期性のない画像パターンの圧縮には向かないという問題点を有している。
下記は、本発明の明細書において参照する公知例である。
「新聞の適応予測データ圧縮」(電子情報通信学会技術報告IE78−55) 特許2713369号 特開2003−264703号公報 特開平11−168389号公報 特開2003−174564号公報
本発明の課題は、テクスチャパターンを含む画像と含まない画像の双方に対して、小規模な回路の追加のみで、高画質かつ高効率な圧縮及び復元を実現することにある。
本発明の第1の態様における映像圧縮符号化装置と映像復元装置は、以下の構成を有する。
本発明の第1の態様における映像圧縮符号化装置は、画像データから現在の入力画素値を予測する予測画素値を算出する予測部と、現在の入力画素値と選択部を通して入力する予測画素値との予測誤差値を算出する予測誤差算出部(例えば減算器)と、予測誤差値を量子化して予測誤差量子化値を算出する量子化部(例えば非線形量子化器)と、予測誤差量子化値を符号化して圧縮データとして出力する予測誤差符号化部(例えば可変長符号器)と、予測誤差量子化値と予測画素値とから復元側での復元画素値を復元して予測部に与える復元部(例えば、非線形逆量子化器と加算器)とを備え、画像データを予測符号化方式により圧縮符号化して圧縮データを出力する。
上記構成を前提として、本発明の第1の態様における映像圧縮符号化装置は、更に下記構成を有する。
過去復元画素値記憶部は、例えばシフトレジスタであり、復元部から出力される復元画素値を注目画素の直前の画素について所定画素数分記憶する。
周期パターン領域検出部は、画像データに含まれる、走査方向に画素値が周期的に繰り返される周期パターン領域を、検出する。
周期パターン符号化部は、周期パターン領域が検出された場合に、その周期パターンに関する情報を符号化して圧縮データの一部として出力すると共に、予測誤差符号化部の出力を停止させる。
選択部は、周期パターン領域が検出された場合に、過去復元画素値記憶部から周期パターンに対応する周期前の復元画素値を読み出し、それを復元部から出力される復元画素値に代わって、予測部に与えると共に過去復元画素値記憶部に再度記憶させる。次に、本発明の第1の態様における映像復元装置は、上記映像圧縮符号化装置から送信され、例えば車載LAN等を伝送されて受信した圧縮データについて、その圧縮データから予測誤差復元値を復元する予測誤差復元部と、現在の復元画素値を予測する予測画素値を算出する予測部と、予測画素値と予測誤差復元値とから復元画素値を算出し画像データとして出力すると共に前記予測手段に与える復元画素値算出部とを備え、予測符号化方式により圧縮符号化された圧縮データから画像データを復元する。
上記構成を前提として、本発明の第1の態様における映像復元装置は、更に下記構成を有する。
過去復元画素値記憶部は、例えばシフトレジスタであり、復元画素値算出部から出力される復元画素値を注目画素の直前の画素について所定画素数分記憶する。
周期パターン復号部は、圧縮データから、入力画素値に含まれる周期パターンに関する情報を復号する。
選択部は、周期パターンに関する情報が検出された場合に、過去復元画素値記憶部から周期パターンに対応する周期前の復元画素値を読み出し、それを復元画素値算出部から出力される復元画素値に代わって、画像データとして出力すると共に過去復元画素値記憶部に再度記憶させ、予測手段に与える。
上記本発明の第1の態様による映像圧縮符号化装置及び映像復元装置の構成により、まず、映像圧縮符号化装置側において、画像データに周期パターンが含まれていないときには、予測誤差符号化部が、予測符号化によって生成される予測誤差量子化値の可変長符号を圧縮データとして出力し、画像データに周期パターンが含まれているときには、周期パターン符号化部が、周期パターンに関する情報のみを圧縮データとして出力し、予測誤差符号化部の出力は停止される。
一方、映像復元装置側では、圧縮データに周期パターンが含まれていない間は、予測符号化に対する通常の復元処理が実行される。そして、周期パターン復号部は、周期パターンに関する情報を検出すると、過去復元画素値記憶部に保持されている指定周期幅の1周期前の復元画素値を現在の復元画素値としてコピーして、選択部に選択させて復元された画像データとして出力させる。
このようにして、画像データにテクスチャ状の周期パターンが含まれている期間は、圧縮データを、指定周期の周期パターンのコピーを指示するための符号のみで表現することが可能となり、その区間の可変長符号列のデータ量を大幅に圧縮することが可能となり、伝送路に送出されるパケットデータ量を大幅に圧縮することが可能となる。
また、画像データに周期パターンが含まれていない期間では、通常の予測符号化方式により、効率的に圧縮された圧縮データを生成することができる。
次に、本発明の第2の態様は、以下の構成を有する。
まず、本発明の第2の態様における映像圧縮符号化装置は、本発明の第1の態様の場合と同様に、予測部と、予測誤差算出部と、量子化部と、予測誤差符号化部と、復元部とを含む。
この構成を前提として、本発明の第2の態様における映像圧縮符号化装置は、更に下記構成を有する。
まず、本発明の第1の態様の場合と同様に、過去復元画素値記憶部と、周期パターン領域検出部と、周期パターン符号化部を有する。
そして、選択部は、周期パターン領域が検出された場合に、過去復元画素値記憶部から周期パターンに対応する周期前の復元画素値を読み出し、それを予測部から出力される予測画素値に代わって、予測誤差算出部に与える。
次に、本発明の第2の態様における映像復元装置は、本発明の第1の態様の場合と同様に、予測誤差復元部と、予測部と、復元画素値算出部とを含む。
上記構成を前提として、本発明の第2の態様における映像復元装置は、更に下記構成を有する。
まず、本発明の第1の態様の場合と同様に、過去復元画素値記憶部と、周期パターン復号部を有する。
そして、選択部は、周期パターンに関する情報が検出された場合に、過去復元画素値記憶部から周期パターンに対応する周期前の復元画素値を読み出し、それを予測部から出力される予測画素値に代わって、復元画素値算出部に与える。
前述の本発明の第1の態様の構成では、画像データに周期パターンが含まれているときには、映像圧縮符号化装置の量子化部の出力は圧縮データとしては出力されず、1周期前の復元画素値のコピー指示を示す周期パターンに関する情報のみが圧縮データとして出力された。
これに対して、本発明の第2の態様の構成における映像圧縮符号化装置では、画像データに周期パターンが含まれているときには、過去復元画素値記憶部に保持される1周期前の復元画素値が選択部を介して新たな予測画素値として予測誤差算出部に供給され、これに基づいて予測動作が実行される。この結果得られる予測誤差値は、量子化器で量子化されて予測誤差量子化値とされ、予測誤差符号化部で符号化された後、圧縮データとして出力される。
このような構成により、画像データにテクスチャ状の周期パターンが含まれるような場合であっても、精度の高い予測符号化が可能となり、画質を落とさずに高い圧縮率を確保することができる。
一方、本発明の第2の態様における映像復元装置においては、画像データに周期パターンが含まれている期間では、周期パターン復号部が周期パターンに関する情報を検出し、選択部を制御することにより、過去復元画素値記憶部に記憶されている1周期前の復元画素値と、予測誤差復元部から出力される高い精度で予測符号化された予測誤差復元値とから復元画素値を得て、画像データを復元することができる。
上述の本発明の第1又は第2の構成において、映像復元装置内の周期パターン領域検出部は、例えば、入力画素値を注目画素の直前の画素について所定画素数分記憶するシフトレジスタ等の過去入力画素値記憶部と、予め決めた所定周期のそれぞれについて、現在の入力画素値と、現在の入力画素値から所定周期に対応する画素数だけ離れて過去入力画素値記憶部に記憶されている入力画素値とが、所定一致回数連続して一致したことを検出する周期検出部と、各周期検出部のうち最も長い周期に対応するものの出力を選択して、その周期の周期パターン領域が検出されたことを示す信号として出力するエンコーダ部とを有するように構成できる。
或いは、周期パターン領域検出部は、予め決めた所定周期のそれぞれについて、現在の入力画素値と、現在の入力画素値から所定周期に対応する画素数だけ離れて過去復元画素値記憶部に記憶されている復元画素値との差が、所定一致回数連続して所定閾値以下であることを検出する周期検出回路と、各判定回路のうち最も長い周期に対応するものの出力を選択して、その周期の周期パターン領域が検出されたことを示す信号として出力するエンコーダ回路とを有するように構成できる。
なお、周期パターン領域検出部は、入力画素値又は復元画素値において、現在の処理画素値とその直前の画素値との最近の一致回数が所定値を超えたか否かによって平坦領域を検出し、周期パターン領域として検出した領域から除外するように構成することもできる。
従来技術の概念図である。 本発明の原理ブロック図である。 本発明の原理ブロック図である。 本発明の原理ブロック図である。 本発明の原理ブロック図である。 本発明の第1実施形態における圧縮符号化装置の回路構成図である。 本発明の第1及び第2の実施形態における復元装置の回路構成図である。 本発明の第2の実施形態における圧縮符号化装置の回路構成図である。 本発明の第3の実施形態における圧縮符号化装置の回路構成図である。 本発明の第3、第4、第5、及び第6の実施形態における復元装置の回路構成図である。 本発明の第4の実施形態における圧縮符号化装置の回路構成図である。 本発明の第5の実施形態における圧縮符号化装置の回路構成図である。 予測符号化方式における予測動作の説明図である。 圧縮データYの符号化フォーマットの例を示す図である。 圧縮データYの符号化フォーマットの別の例を示す図である。 本発明の各実施形態における符号化動作の説明図(その1)である。 本発明の各実施形態における符号化動作の説明図(その1)である。 本発明の各実施形態における符号化動作の説明図(その2)である。 本発明の各実施形態における符号化動作の説明図(その2)である。 本発明の各実施形態における符号化動作の説明図(その2)である。 本発明の第6の実施形態における圧縮符号化装置の回路構成図である。 本発明の各実施形態のプログラム機能を実行するコンピュータの構成図である。
以下、図面を参照しながら、本発明を実施するための最良の形態を詳細に説明する。
本発明の原理説明
図2A、図2B、図2C、及び図2Dは、本発明の原理ブロック図である。
まず、図2Aと図2Bは、本発明の第1の実現態様における圧縮符号化装置と復元装置の原理ブロック図のペアである。
まず、図2Aは、画像データ210中の現在の入力画素値211を予測する予測画素値212を算出する予測部201と、現在の入力画素値211と選択部209を通して入力する予測画素値212との予測誤差値213を算出する予測誤差算出部202(例えば減算器)と、予測誤差値213を量子化して予測誤差量子化値214を算出する量子化部203(例えば非線形量子化器)と、予測誤差量子化値214を符号化して圧縮データ215として出力する予測誤差符号化部204(例えば可変長符号器)と、予測誤差量子化値214と予測画素値212とから復元側での復元画素値216を復元して予測部201に与える復元部205(例えば、非線形逆量子化器と加算器)とを備え、画像データ210を予測符号化方式により圧縮符号化して圧縮データ215を出力する映像圧縮符号化装置である。
上記構成を前提として、図2Aに示される映像圧縮符号化装置は、更に下記構成を有する。
過去復元画素値記憶部206は、例えばシフトレジスタであり、復元部205から出力される復元画素値216を注目画素の直前の画素について所定画素数分記憶する。
周期パターン領域検出部207は、画像データ210に含まれる、走査方向に画素値が周期的に繰り返される周期パターン領域を、検出する。
周期パターン符号化部208は、周期パターン領域が検出された場合に、その周期パターンに関する情報217を符号化して圧縮データ215の一部として出力すると共に、予測誤差符号化部204の出力を停止させる。
選択部209は、周期パターン領域が検出された場合に、過去復元画素値記憶部206から周期パターンに対応する1周期前の復元画素値218を読み出し、それを復元部205から出力される復元画素値216に代わって、予測部201に与えると共に過去復元画素値記憶部206に再度記憶させる。
また、図2Bは、図2Aの圧縮符号化装置から送信され、例えば車載LAN等を伝送されて受信した圧縮データ225について、その圧縮データ225から予測誤差復元値226を復元する予測誤差復元部219と、現在の復元画素値228を予測する予測画素値227を算出する予測部220と、予測画素値227と予測誤差復元値226とから復元画素値228を算出し画像データ229として出力すると共に前記予測手段に与える復元画素値算出部221とを備え、予測符号化方式により圧縮符号化された圧縮データ225から画像データ229を復元する映像復元装置である。
上記構成を前提として、図2Bに示される映像復元装置は、更に下記構成を有する。
過去復元画素値記憶部222は、例えばシフトレジスタであり、復元画素値算出部221から出力される復元画素値228を注目画素の直前の画素について所定画素数分記憶する。
周期パターン復号部223は、圧縮データ225から、入力画素値に含まれる周期パターンに関する情報を復号する。
選択部224は、周期パターンに関する情報が検出された場合に、過去復元画素値記憶部222から周期パターンに対応する1周期前の復元画素値230を読み出し、それを復元画素値算出部221から出力される復元画素値228に代わって、画像データ229として出力すると共に過去復元画素値記憶部222に再度記憶させ、前記予測手段に与える。
図2Aの圧縮符号化装置及び図2Bの復元装置の構成により、まず、図2Aにおいて、画像データ210に周期パターンが含まれていないときには、予測誤差符号化部204が、予測符号化によって生成される予測誤差量子化値214の可変長符号を圧縮データ215として出力し、画像データ210に周期パターンが含まれているときには、周期パターン符号化部208が、周期パターンに関する情報のみを圧縮データ215として出力し、予測誤差符号化部204の出力は停止される。
一方、図2Bの復元装置では、圧縮データ225(=図2Aの215)に、周期パターンが含まれていない間は、予測符号化に対する通常の復元処理が実行される。そして、周期パターン復号部223は、周期パターンに関する情報を検出すると、過去復元画素値記憶部222に保持されている指定周期幅の1周期前の復元画素値230を現在の復元画素値としてコピーして、選択部224に選択させて復元された画像データ229として出力させる。
このようにして、画像データにテクスチャ状の周期パターンが含まれている期間は、圧縮データ215・225を、指定周期の周期パターンのコピーを指示するための符号のみで表現することが可能となり、その区間の可変長符号列のデータ量を大幅に圧縮することが可能となり、車載LANに送出されるパケットデータ量を大幅に圧縮することが可能となる。
また、画像データに周期パターンが含まれていない期間では、通常の予測符号化方式により、効率的に圧縮された圧縮データ215・225を生成することができる。
次に、図2Cと図2Dは、本発明の第2の実現態様における圧縮符号化装置と復元装置の原理ブロック図のペアである。
まず、図2Cは、図2Aの場合と同様に、予測部201と、予測誤差算出部202と、量子化部203と、予測誤差符号化部204と、復元部205とを含む。
上記構成を前提として、図2Cに示される映像圧縮符号化装置は、更に下記構成を有する。
まず、図2Aの場合と同様に、過去復元画素値記憶部206と、周期パターン領域検出部207と、周期パターン符号化部208を有する。
そして、選択部231は、周期パターン領域が検出された場合に、過去復元画素値記憶部206から周期パターンに対応する1周期前の復元画素値218を読み出し、それを予測部201から出力される予測画素値212に代わって、予測誤差算出部202に与える。
次に、図2Dは、図2Bの場合と同様に、予測誤差復元部219と、予測部220と、復元画素値算出部221とを含む。
上記構成を前提として、図2Dに示される映像復元装置は、更に下記構成を有する。
まず、図2Bの場合と同様に、過去復元画素値記憶部222と、周期パターン復号部223を有する。
そして、選択部232は、周期パターンに関する情報が検出された場合に、過去復元画素値記憶部222から周期パターンに対応する1周期前の復元画素値230を読み出し、それを予測部220から出力される予測画素値227に代わって、復元画素値算出部221に与える。
前述の図2Aの構成では、画像データ210に周期パターンが含まれているときには、図2Aの量子化部203の出力は圧縮データ215としては出力されず、1周期前の復元画素値のコピー指示を示す周期パターンに関する情報217のみが圧縮データ215として出力された。
これに対して、図2Cの構成では、画像データ210に周期パターンが含まれているときには、過去復元画素値記憶部206に保持される1周期前の復元画素値218が選択部231を介して新たな予測画素値として予測誤差算出部202に供給され、これに基づいて予測動作が実行される。この結果得られる予測誤差値213は、量子化器203で量子化されて予測誤差量子化値214とされ、予測誤差符号化部204で符号化された後、圧縮データ215として出力される。
このような構成により、画像データ210にテクスチャ状の周期パターンが含まれるような場合であっても、精度の高い予測符号化が可能となり、画質を落とさずに高い圧縮率を確保することができる。
一方、図2Dの復元装置においては、画像データに周期パターンが含まれている期間でも、周期パターン復号部223が周期パターンに関する情報を検出し、選択部232を制御することにより、過去復元画素値記憶部222に記憶されている1周期前の復元画素値230と、予測誤差復元部219から出力される高い精度で予測符号化された予測誤差復元値とから復元画素値233を得て、画像データ229を復元することができる。
上述の構成において、図2A又は図2Cに示される周期パターン領域検出部207は、例えば、入力画素値211を注目画素の直前の画素について所定画素数分記憶するシフトレジスタ等の過去入力画素値記憶部と、予め決めた所定周期のそれぞれについて、現在の入力画素値211と、現在の入力画素値211から所定周期に対応する画素数だけ離れて過去入力画素値記憶部に記憶されている入力画素値211とが、所定一致回数連続して一致したことを検出する周期検出部と、各周期検出部のうち最も長い周期に対応するものの出力を選択して、その周期の周期パターン領域が検出されたことを示す信号として出力するエンコーダ部とを有するように構成できる。
或いは、周期パターン領域検出部207は、予め決めた所定周期のそれぞれについて、現在の入力画素値211と、現在の入力画素値211から所定周期に対応する画素数だけ離れて過去復元画素値記憶部206に記憶されている復元画素値216との差が、所定一致回数連続して所定閾値以下であることを検出する周期検出回路と、各判定回路のうち最も長い周期に対応するものの出力を選択して、その周期の周期パターン領域が検出されたことを示す信号として出力するエンコーダ回路とを有するように構成できる。
なお、周期パターン領域検出部207は、入力画素値211又は復元画素値216において、現在の処理画素値とその直前の画素値との最近の一致回数が所定値を超えたか否かを判定することによって平坦領域を検出し、その平坦領域を、周期パターン領域として検出した領域から除外するように構成することもできる。
本発明の第1の実施形態
図3及び図4は、本発明の第1の実施形態の構成図であり、図3は圧縮符号化装置の回路構成図、図4は復元装置の回路構成図である。
本実施形態は、画像データXの原画の画素値系列から周期パターンを検出する機能を有し、周期パターンを検出した場合に、1周期前の画素値をコピーして出力する旨を指示するように符号化された圧縮データYを出力する。一方、復元側では、圧縮データYから1周期前の画素値のコピー指示を検出しない間は、通常の予測符号化方式における復元動作を実行し、一方、前述したその指示を検出すると、内部で保持している1周期前の画素値をコピーして出力する。
本実施形態における図3の圧縮符号化装置では、ナビ画像などに含まれる4画素、8画素、および16画素のテクスチャ状の各周期パターンを検出することができる。もちろん、処理対象とするナビ画像等の特性を踏まえて、他の周期パターンが検出される構成にしてもよい。
まず、図3に示される、本発明の第1の実施形態の圧縮符号化装置につき説明する。
画像データXは、その走査線方向1ライン分の8ビットデータが、1ラインメモリ301に記憶される。
1ラインメモリ301から出力される画像データXの各8ビットの画素値は、減算器303にて、予測器302から出力される予測画素値が減算されることにより、予測誤差値が算出される。
その予測誤差値は、量子化器304にて例えば非線形量子化されて予測誤差量子化値とされ、更に可変長符号器305(#1)にてハフマン符号等の可変長符号に変換され、マルチプレクサ(MPX)306を介して、圧縮データYとして出力される。この圧縮データYは、特には図示しないネットワークインタフェース回路等を介してパケットされて車載LANに出力されることになる。
ここで、量子化器304の出力は、その逆特性を有する逆量子化器307にて逆量子化され、その結果、予測誤差値の復元回路側での復元値が再生される。その予測誤差復元値は、加算器308にて、予測器302から出力される予測画素値に加算されることにより、入力画素値の復元回路側での復元値が復元画素値として再生される。
この復元画素値は、MPX309を介して予測器302にフィードバックされる。
上述の予測器302、減算器303、量子化器304、可変長符号器305、逆量子化器307、及び加算器308からなる部分が、予測符号化システムを構成する。
予測器302において実現される予測方式としては、フレーム内における1次元の前置予測、即ち、図10に示されるように、現在の画素値Xに対して、1画素過去の復元画素値Aをそのまま現在の予測画素値X′として出力する方式、
X′=A
や、フレーム内における2次元の線形予測、即ち、図10に示されるように、現在の画素値Xに対して、1画素及び1ライン前の復元画素値A、B、Cなどの線形和として出力する方式、
X′=A/2+B/4+C/4
などを採用することができる。その他、一般的に知られている様々な予測方式を採用することができる。2次元予測の場合には、予測器302は、その内部に1ライン前の復元画素値を保持する。
本実施形態では、画像データXが例えばDVDによる自然画等であって、その中にテクスチャなどの周期パターンが含まれていないときには、プライオリティエンコーダ315の出力が例えば全ビット0となることにより、MPX309が、加算器308から出力される復元画素値を選択して予測器302に入力させる。この結果、本実施形態は、通常の予測符号化装置として動作する。
次に、#0〜#16の17個の各8ビット幅のシフトレジスタ311は、1ラインメモリ301から出力される現在の8ビットの画素値(画像データ)と、ライン方向に現在の1個前から16個前までの各8ビットの画素値を、各画素タイミング毎に順次シフトしながら保持する。
一致検出回路312(#1)は、シフトレジスタ311(#0)から出力される現在の入力画素値と、シフトレジスタ311(#4)から出力される4画素前(ライン方向に4画素左)の入力画素値とが一致するか否かを検出する。この回路は、例えば、8ビットからなる各画素値の各ビット同士を入力とする8個のエクスクルーシブオア(排他論理和)回路と,それら8個のエクスクルーシブオア回路の出力を入力とする1個のアンド回路と、その出力とその出力の論理を反転した出力をそれぞれラッチする2つのラッチ回路とで構成される。一方のラッチ回路は、カウンタ313(#1)の示す値をインクリメントするための論理値を出力し、他方のラッチ回路は、カウンタ313(#1)とラッチ314(#1)をリセットするための論理値を出力する。 カウンタ313(#1)は、一致検出回路312(#1)の出力が一致を示している場合に、カウンタ値をインクリメントし、不一致を示している場合に、カウンタ値をリセットする。そして、カウンタ313(#1)は、カウンタ値が例えば8カウントに達した時点で、ラッチ314(#1)に4周期パターンの検出を示すオーバーフロー値1を出力する。
なお、ラッチ314(#1)の保持内容は、一致検出回路312(#1)が不一致を検出した時点でリセットされ、それまではカウンタ313(#1)から出力された値を保持する。
上述の#0〜#4のシフトレジスタ311、一致検出回路312(#1)、カウンタ313(#1)、及びラッチ314(#1)からなる回路群によって、画像データXがナビ画像等である場合に、それに含まれる4画素の周期パターンを検出することができる。
なお、カウンタ313(#1)がオーバーフローを出力するまでのカウント数は、上述の例では8カウントであるが、これに限られるものではない。
同様に、一致検出回路312(#2)は、シフトレジスタ311(#0)から出力される現在の画素値と、シフトレジスタ311(#8)から出力される8画素前(ライン方向に8画素左)の画素値とが一致するか否かを検出する。
カウンタ313(#2)は、一致検出回路312(#2)の出力が一致を示している場合に、カウンタ値をインクリメントし、不一致を示している場合に、カウンタ値をリセットする。そして、カウンタ313(#2)は、カウンタ値が例えば8カウントに達した時点で、ラッチ314(#2)に8周期パターンの検出を示すオーバーフロー値1を出力する。
なお、ラッチ314(#2)の保持内容は、一致検出回路312(#2)が不一致を検出した時点でリセットされ、それまではカウンタ313(#2)から出力された値を保持する。
上述の#0〜#8のシフトレジスタ311、一致検出回路312(#2)、カウンタ313(#2)、及びラッチ314(#2)からなる回路群によって、ナビ画像等に含まれる周期8画素の周期パターンを検出することができる。
同じく、一致検出回路312(#3)は、シフトレジスタ311(#0)から出力される現在の画素値と、シフトレジスタ311(#16)から出力される16画素前(ライン方向に16画素左)の画素値とが一致するか否かを検出する。
カウンタ313(#3)は、一致検出回路312(#3)の出力が一致を示している場合に、カウンタ値をインクリメントし、不一致を示している場合に、カウンタ値をリセットする。そして、カウンタ313(#3)は、カウンタ値が例えば8カウントに達した時点で、ラッチ314(#3)に16周期パターンの検出を示すオーバーフロー値1を出力する。
なお、ラッチ314(#3)の保持内容は、一致検出回路312(#3)が不一致を検出した時点でリセットされ、それまではカウンタ313(#3)から出力された値を保持する。
上述の#0〜#16のシフトレジスタ311、一致検出回路312(#3)、カウンタ313(#3)、及びラッチ314(#3)からなる回路群によって、ナビ画像等に含まれる周期16画素の周期パターンを検出することができる。
ナビ画像に含まれる周期パターンは、ナビ画像のデザイナーの意図によって決まるが、4、8、16、或いは32といった固定パターンであることが多い。本実施形態では、その特性を利用してシフトレジスタ311の段数や、周期パターン検出回路群の数が決定されればよい。
次に、プライオリティエンコーダ315は、#1〜#3の各ラッチ314から出力されている各周期検出信号のうち、最も大きな周期の検出信号を優先して、その周期が検出されたことを示す複数ビットからなる周期検出信号を、可変長符号器305(#2)及びMPX309に出力する。
図11Aに示されるように、可変長符号器305(#2)は、今までプライオリティエンコーダ315から周期検出信号が出力されていない状態から周期n(n=4、8、16の何れか)の周期検出信号が出力されるようになった場合には、まず、可変長符号器305(#1)に対して量子化器304から出力される予測誤差量子化値の符号化を停止させた上で、周期n検出符号をまずハフマン符号等の可変長符号により出力する。続いて、可変長符号器305(#2)は、周期n検出符号に続いて、各画素値の出力タイミングでプライオリティエンコーダ315から同じ周期nの周期検出信号が出力されている間は、各画素値の出力タイミング毎に一致画素符号1を出力する。その後、可変長符号器305(#2)は、プライオリティエンコーダ315から周期nの周期検出信号が出力されなくなった時点で、不一致画素符号0を出力する。その後、可変長符号器305(#2)は、可変長符号器305(#1)に対して、量子化器304から出力される予測量子化誤差値の符号化を再開させる。
上述のプライオリティエンコーダ315及び可変長符号器305(#2)の動作によって、画像データXに周期nの周期パターンが含まれていないときには、可変長符号器305(#1)が、予測符号化によって生成される予測誤差量子化値の可変長符号を圧縮データYとして出力し、画像データXに周期nの周期パターンが含まれているときには、可変長符号器305(#2)が、周期n検出符号と一致画素符号1の符号列を圧縮データYとして出力する。この間、可変長符号器305(#1)の出力は停止される。
後述する復元回路では、圧縮データYに、周期n検出符号が含まれていない間は、予測符号化に対する通常の復元処理を実行し、周期n検出符号を検出すると、それに続いて一致画素符号1を検出する毎に、復元回路内に保持されている周期n幅の1周期前の復元画素値を現在の復元画素値としてコピーして出力する。
このようにして、画像データXに周期nの周期パターンが含まれている期間は、圧縮データYを、周期nの周期パターンのコピーを指示するための、周期n検出符号と一致画素符号1の符号列のみで、表現することが可能となり、その区間の可変長符号列のデータ量を大幅に圧縮することが可能となり、車載LANに送出されるパケットデータ量を大幅に圧縮することが可能となる。
また、画像データXに周期nの周期パターンが含まれていない期間では、通常の予測符号化方式により、効率的に圧縮された圧縮データYを生成することができる。
図3において、#1〜#16のシフトレジスタ310は、MPX309から出力される復元画素値を、現在の画素値に対して1〜16画素過去までの画素値を、各画素タイミング毎に順次シフトしながら保持する。
そして、MPX309は、プライオリティエンコーダ315が周期4の周期検出信号を出力しているときには、シフトレジスタ311(#4)に保持されている4画素前(ライン方向に4画素左)の復元画素値を選択して予測器302に入力させ、同時に#1のシフトレジスタ310に戻す。同じく、MPX309は、プライオリティエンコーダ315が周期8の周期検出信号を出力しているときには、シフトレジスタ311(#8)に保持されている8画素前(ライン方向に8画素左)の復元画素値を選択して、予測器302に入力させ、同時に#1のシフトレジスタ310に戻す。同じく、MPX309は、プライオリティエンコーダ315が周期16の周期検出信号を出力しているときには、シフトレジスタ311(#16)に保持されている16画素前(ライン方向に16画素左)の復元画素値を選択して予測器302に入力させ、同時に#1のシフトレジスタ310に戻す。
つまり、予測器302は、画像データXに周期n(n=4、8、16の何れか)の周期パターンが含まれていないときには、加算器308から出力される復元画素値に基づいて通常の予測動作を実行し、画像データXに周期nの周期パターンが含まれているときには、#nのシフトレジスタ310に保持されている周期n幅で繰り返し流用される復元画素値に基づいて予測動作を継続的に実行する。画像データXに周期nの周期パターンが含まれているときには、量子化器304の出力は圧縮データYとしては出力されないが、この期間でも予測器302が繰り返し流用される復元画素値に基づいて予測動作を継続的に実行するのは、周期パターンが終了したときの予測動作の再開に備えて、復元側と同じ条件で、復元画素値が復元されそれに基づいて予測動作が継続されるようにするためである。
次に、図4に示される、本発明の第1の実施形態の復元装置につき説明する。
図4において、可変長復号器401、逆量子化器402、予測器403、加算器404、及び#1〜#16のシフトレジスタ406は、予測符号化方式による復元回路構成を示しており、可変長復号器401を除く部分は、図3における、逆量子化器307、予測器302、加算器308、及び#1〜#16のシフトレジスタ310と全く同じ動作を実現するものである。
即ちまず、可変長復号器401は、特には図示しない車載LAN等からネットワークインタフェース回路で受信されたパケットより抽出される圧縮データY(図3参照)の符号を復号する。このときの圧縮データYの符号フォーマットは、前述した図11Aに示されるものである。
可変長復号器401は、画像データXに周期nの周期パターンが含まれておらず、受信した圧縮データYに図11Aに示される周期n検出符号が含まれていない間は、圧縮データYから予測誤差量子化値を取り出して逆量子化器402に入力させると共に、マルチプレクサ(MPX)405に対して、加算器404の出力を選択させる。
この結果、圧縮データYから取り出された予測誤差量子化値が逆量子化器402にて逆量子化され、その結果、予測誤差復元値が得られる。
この予測誤差復元値は、加算器404にて、予測器403から出力される予測画素値に加算されることにより、復元画素値が再生される。
そして、その復元画素値がMPX405にて選択され、復元画像データX′として出力される。この復元画像データX′は、例えば自動車の後部座席側に設置されたディスプレイ装置に表示される。
この復元画素値は、MPX405を介して予測器403にフィードバックされ、次の画素の予測動作のための入力とされる。また、復元画素値は、#1〜#16のシフトレジスタ406に、16画素過去分の復元画素値として、各画素タイミング毎に順次シフトされながら保持される。
一方、可変長復号器401は、画像データXに周期n(n=4、8、16の何れか)の周期パターンが含まれており、受信した圧縮データYから図11Aに示される周期n検出符号を検出すると、それに続いて一致画素符号1を検出する毎に、MPX405に対して、#nのシフトレジスタ406に保持されている周期n幅の1周期前の復元画素値を、現在の復元画素値に対応する復元画像データX′としてコピーして出力させる。
なお、この周期n幅の1周期前の復元画素値は、再び#1のシフトレジスタ406に戻されて周期nが続く間繰り返し流用されると共に、予測器403にフィードバックされる。画像データXに周期nの周期パターンが含まれているときには、加算器404の出力は復元画像データX′としては出力されないが、この期間でも予測器403が繰り返し流用される復元画素値に基づいて予測動作を継続的に実行するのは、周期パターンが終了したときの予測動作の再開に備えるためである。
可変長復号器401は、受信した圧縮データYから図11Aに示される一致画素符号1に続いて不一致画素符号0を検出すると、それに続いて圧縮データYから予測誤差量子化値を取り出して逆量子化器402に入力させる動作を再開すると共に、MPX405に対して加算器404の出力を選択させることにより、通常の予測動作に戻る。
本発明の第2の実施形態
図5は、本発明の第2の実施形態における圧縮符号化装置の回路構成図である。本実施形態における復元装置は、本発明の第1の実施形態と同じく、図4の回路構成図で示される。
前述の本発明の第1の実施形態における圧縮符号化装置は、画像データXの原画の画素値系列から周期パターンを検出する機能を有していたが、本発明の第2の実施形態では、原画ではなく復元画素値から周期パターンを検出する機能を有する点が異なる。
図5に示される、本発明の第2の実施形態の圧縮符号化装置につき説明する。
図5において、図3と同じ符号が付された部分は、図3の場合と同じ機能を有する。
図5の構成が図3の構成と異なる点は、図3の構成では、プライオリティエンコーダ315に入力される各周期検出信号が、1ラインメモリ301から出力される原画の過去複数画素分を保持するシフトレジスタ311を介して、一致検出回路312、カウンタ313、及びラッチ314によって生成されるのに対して、図5の構成では、プライオリティエンコーダ315に入力される各周期検出信号が、復元画素値の過去複数画素分を保持するシフトレジスタ310を介して、比較回路501、閾値回路502、カウンタ503、及びラッチ504によって生成される点である。
このような構成により、原画の過去複数画素分を保持するシフトレジスタ311が不要となり、回路規模を縮小することが可能となる。
図5において、比較回路501(#1)は、1ラインメモリ301から出力される現在の入力画素値と、シフトレジスタ310(#4)から出力される4画素前(ライン方向に4画素左)の復元画素値とを比較する。この回路は、例えば、8ビットからなる各画素値同士を減算する減算回路で構成される。
閾値回路502(#1)は、現在の入力画素値と4画素前の復元画素値とがほぼ一致し上記減算結果が所定の閾値よりも小さいときに、カウンタ503(#1)の示す値をインクリメントするための論理値を出力し、現在の入力画素値と4画素前の復元画素値とが一致せず上記減算結果が所定の閾値よりも大きいときに、カウンタ503(#1)及びラッチ504(#1)をリセットするための論理値を出力する。
なお、上述の比較回路501と閾値回路502は、現在の入力画素値とシフトレジスタ310(#4)から出力される復元画素値とについて、それぞれ所定の上位ビットのみで論理比較を行って一致/不一致の判定を行うような回路で代替されてもよい。
カウンタ503(#1)は、閾値回路502(#1)の出力が現在の入力画素値と4画素前の復元画素値のほぼ一致を示している場合に、カウンタ値をインクリメントし、不一致を示している場合に、カウンタ値をリセットする。そして、カウンタ503(#1)は、カウンタ値が例えば8カウントに達した時点で、ラッチ504(#1)に4周期パターンの検出を示すオーバーフロー値1を出力する。
なお、ラッチ504(#1)の保持内容は、閾値回路502(#1)の出力が現在の入力画素値と4画素前の復元画素値の不一致を検出した時点でリセットされ、それまではカウンタ503(#1)から出力された値を保持する。
このようにして、比較回路501(#1)、閾値回路502(#1)、カウンタ503(#1)、及びラッチ504(#1)からなる回路群によって、画像データXがナビ画像等である場合に、それに含まれる4画素の周期パターンを検出することができる。
同様に、比較回路501(#2)は、1ラインメモリ301から出力される現在の入力画素値と、シフトレジスタ310(#8)から出力される8画素前(ライン方向に8画素左)の復元画素値とを比較する。
閾値回路502(#2)は、現在の入力画素値と8画素前の復元画素値とがほぼ一致し上記減算結果が所定の閾値よりも小さいときに、カウンタ503(#2)の示す値をインクリメントするための論理値を出力し、現在の入力画素値と8画素前の復元画素値とが一致せず上記減算結果が所定の閾値よりも大きいときに、カウンタ503(#2)及びラッチ504(#2)をリセットするための論理値を出力する。
カウンタ503(#2)は、閾値回路502(#2)の出力が現在の入力画素値と8画素前の復元画素値のほぼ一致を示している場合に、カウンタ値をインクリメントし、また不一致を示している場合に、カウンタ値をリセットする。そして、カウンタ503(#2)は、カウンタ値が例えば8カウントに達した時点で、ラッチ504(#2)に8周期パターンの検出を示すオーバーフロー値1を出力する。
なお、ラッチ504(#2)の保持内容は、閾値回路502(#2)の出力が現在の入力画素値と8画素前の復元画素値の不一致を検出した時点でリセットされ、それまではカウンタ503(#2)から出力された値を保持する。
このようにして、比較回路501(#2)、閾値回路502(#2)、カウンタ503(#2)、及びラッチ504(#2)からなる回路群によって、画像データXがナビ画像等である場合に、それに含まれる8画素の周期パターンを検出することができる。
同じく、比較回路501(#3)は、1ラインメモリ301から出力される現在の入力画素値と、シフトレジスタ310(#16)から出力される16画素前(ライン方向に16画素左)の復元画素値とを比較する。
閾値回路502(#3)は、現在の入力画素値と16画素前の復元画素値とがほぼ一致し上記減算結果が所定の閾値よりも小さいときに、カウンタ503(#3)の示す値をインクリメントするための論理値を出力し、現在の入力画素値と16画素前の復元画素値とが一致せず上記減算結果が所定の閾値よりも大きいときに、カウンタ503(#3)及びラッチ504(#3)をリセットするための論理値を出力する。
カウンタ503(#3)は、閾値回路502(#3)の出力が現在の入力画素値と16画素前の復元画素値のほぼ一致を示している場合に、カウンタ値をインクリメントし、不一致を示している場合に、カウンタ値をリセットする。そして、カウンタ503(#3)は、カウンタ値が例えば8カウントに達した時点で、ラッチ504(#3)に16周期パターンの検出を示すオーバーフロー値1を出力する。
なお、ラッチ504(#3)の保持内容は、閾値回路502(#3)の出力が現在の入力画素値と16画素前の復元画素値の不一致を検出した時点でリセットされ、それまではカウンタ503(#3)から出力された値を保持する。
このようにして、比較回路501(#3)、閾値回路502(#3)、カウンタ503(#3)、及びラッチ504(#3)からなる回路群によって、画像データXがナビ画像等である場合に、それに含まれる16画素の周期パターンを検出することができる。
本発明の第3の実施形態
図6及び図7は、本発明の第3の実施形態の構成図であり、図6は圧縮符号化装置の回路構成図、図7は復元装置の回路構成図である。
前述の本発明の第1の実施形態では、圧縮符号化装置において画像データXから周期パターンが検出された場合に、復元装置では1周期前の画素値がコピーされて出力されるように動作したが、本発明の第3の実施形態では、圧縮符号化装置及び復元装置において、画像データXから周期パターンが検出された場合に、1周期前の復元画素値を現画素に対する予測画素値として使用して予測符号化及び復元を行うように動作する点が異なる。
まず、図6に示される、本発明の第3の実施形態の圧縮符号化装置につき説明する。
図6において、図3と同じ符号が付された部分は、図3の場合と同じ機能を有する。
前述の図3の構成では、画像データXに周期nの周期パターンが含まれているときには、量子化器304の出力は圧縮データYとしては出力されず、MPX309を介して過去の復元画素値が#1〜#16のシフトレジスタ310に繰り返し保持されて流用された。
これに対して、図6の構成では、画像データXに周期nの周期パターンが含まれているときには、#1〜#16のシフトレジスタ310に保持される1周期前の復元画素値がMPX601を介して新たな予測画素値として減算器303に供給され、これに基づいて予測動作が実行される。この結果得られる予測誤差値は、量子化器304で量子化されて予測誤差量子化値とされ、可変長符号器305(#1)で可変長符号化された後、MPX306を介して圧縮データYとして出力される。
このような構成により、画像データXにテクスチャ状の周期パターンが含まれるような場合であっても、精度の高い予測符号化が可能となり、画質を落とさずに高い圧縮率を確保することができる。
図11Bに示されるように、可変長符号器305(#2)は、今までプライオリティエンコーダ315から周期検出信号が出力されていない状態から周期n(n=4、8、16の何れか)の周期検出信号が検出されるようになった場合には、現時点で可変長符号器305(#1)から出力されている予測誤差量子化値の圧縮符号に続いて、周期n検出符号を可変長符号により出力する。続いて、可変長符号器305(#2)は、可変長符号器305(#1)に対して再び予測誤差量子化値の符号化を実行させる。これ以降出力される符号化された予測誤差量子化値は、周期n幅の1周期前の復元画素値に基づいて予測動作が実行された結果得られるものである。可変長符号器305(#2)は、プライオリティエンコーダ315から周期nの周期検出信号が出力されなくなった時点で、周期終了信号を可変長符号化して出力する。その後、可変長符号器305(#2)は、可変長符号器305(#1)に対して、量子化器304から出力される予測量子化誤差値の符号化を再開させる。これ以降出力される符号化された予測誤差量子化値は、通常の予測符号化により得られるものである。
MPX601は、プライオリティエンコーダ315が周期4の周期検出信号を出力しているときには、#4のシフトレジスタ310に保持されている4画素前(ライン方向に4画素左)の復元画素値を選択して減算器303に予測値として与え、また、プライオリティエンコーダ315が周期8の周期検出信号を出力しているときには、#8のシフトレジスタ310に保持されている8画素前(ライン方向に8画素左)の復元画素値を選択して減算器303に予測値として与え、また、プライオリティエンコーダ315が周期16の周期検出信号を出力しているときには、#16のシフトレジスタ310に保持されている16画素前(ライン方向に16画素左)の復元画素値を選択して減算器303に予測値として与える。
このようにして、画像データXに周期nの周期パターンが含まれている期間でも、1周期前の復元画素値に基づいて高い精度で予測符号化を実行することができ、高画質と高圧縮率を同時に実現することが可能となる。
次に、図7に示される、本発明の第3の実施形態の復元装置につき説明する。
図7において、可変長復号器701、逆量子化器702、予測器703、MPX704、加算器705、及び#1〜#16のシフトレジスタ706は、予測符号化方式による復元回路構成を示しており、可変長復号器701を除く部分は、図6における、逆量子化器307、予測器302、MPX601、加算器308、及び#1〜#16のシフトレジスタ310と全く同じ動作を実現するものである。
即ちまず、可変長復号器701は、特には図示しない車載LAN等からネットワークインタフェース回路で受信されたパケットより抽出される圧縮データY(図6参照)の符号を復号する。このときの圧縮データYの符号フォーマットは、前述した図11Bに示されるものである。
可変長復号器701は、画像データXに周期nの周期パターンが含まれておらず、受信した圧縮データYに図11Bに示される周期n検出符号が含まれていない間は、圧縮データYから符号化された予測誤差量子化値を取り出して復号し、その結果を逆量子化器702に入力させると共に、マルチプレクサ(MPX)704に対して、予測器703の出力を選択させる。
加算器705は、逆量子化器702から入力される予測誤差復元値を、予測器703からMPX704を介して入力される予測画素値に加算する。
この結果、復元画素値が再生され、復元画像データX′として出力される。この復元画像データX′は、例えば自動車の後部座席側に設置されたディスプレイ装置に表示される。
この復元画素値は、予測器703にフィードバックされ、次の画素の予測動作のための入力とされる。また、復元画素値は、#1〜#16のシフトレジスタ706に、16画素過去分の復元画素値として、各画素タイミング毎に順次シフトされながら保持される。
一方、可変長復号器701は、画像データXに周期n(n=4、8、16の何れか)の周期パターンが含まれており、受信した圧縮データYから図11Bに示される周期n検出符号を検出すると、圧縮データYから図11Bに示される周期終了信号を検出するまで、MPX704に対して、#nのシフトレジスタ406に保持されている周期n幅の1周期前の復元画素値を選択させる。これに続いて、可変長復号器701は、圧縮データYから図11Bに示される周期n検出符号に続いて検出される符号化された予測誤差量子化値を取り出して復号し、その結果を逆量子化器702に入力させる。
この結果、MPX704は、#nのシフトレジスタ406に保持されている周期n幅の1周期前の復元画素値を選択し、それを加算器705に与える。
このようにして、画像データXに周期nの周期パターンが含まれている期間でも、1周期前の復元画素値と高い精度で予測符号化された予測誤差復元値とから復元画素値を得て、復元画像データX′を復元することができる。
本発明の第4の実施形態
図8は、本発明の第4の実施形態における圧縮符号化装置の回路構成図である。本実施形態における復元装置は、本発明の第3の実施形態と同じく、図7の回路構成図で示される。
前述の本発明の第3の実施形態における圧縮符号化装置は、画像データXの原画の画素値系列から周期パターンを検出する機能を有していたが、本発明の第4の実施形態では、図5に示される本発明の第2の実施形態の場合と同様に、原画ではなく復元画素値から周期パターンを検出する機能を有する点が異なる。
図8に示される、本発明の第4の実施形態の圧縮符号化装置につき説明する。
図8において、図6及び図5と同じ符号が付された部分は、図6及び図5の場合と同じ機能を有する。
即ち、予測符号化を実行する301〜308、及び601の各部分の構成及び動作は、図6の場合と全く同様であり、画像データXに周期nの周期パターンが含まれているときには、#1〜#16のシフトレジスタ310に保持される1周期前の復元画素値がMPX601を介して新たな予測画素値として減算器303に供給され、これに基づいて予測動作が実行され、この結果得られる予測誤差値は、量子化器304、可変長符号器305(#1)、MPX306を介して、圧縮データYとして出力される。
一方、周期パターンを検出する501〜504の各部分の構成及び動作は、図5の場合と全く同様であり、プライオリティエンコーダ315に入力される各周期検出信号は、復元画素値の過去複数画素分を保持するシフトレジスタ310を介して、比較回路501、閾値回路502、カウンタ503、及びラッチ504によって生成される。
このような構成により、原画の過去複数画素分を保持するシフトレジスタ311が不要となり、回路規模を縮小することが可能となる。
本発明の第5の実施形態
図9は、本発明の第5の実施形態における圧縮符号化装置の回路構成図である。本実施形態における復元装置は、本発明の第3の実施形態と同じく、図7の回路構成図で示される。
本発明の第1〜第4の実施形態における圧縮符号化装置では、周期パターンが検出された後に、カウンタ313や503において例えば8カウント分が判定された後に周期モードに切り替えられて符号化が行われていた。従って、処理の切替えがその分遅延することになる。
そこで、図9に示される本発明の第5の実施形態では、図6に示される本発明の第3の実施形態の構成を一例として、その遅延をなくす構成、及び周期パターンのない平坦画像を周期パターン画像と誤判定してしまうことを防止する構成について開示する。なお、他の実施形態についても同様の考え方が適用できる。
図9において、図6と同じ参照番号が付された部分は、図6の場合と同じ機能を有する。
図9の実施形態では、#1〜#3のカウンタ313がオーバーフローするカウント値は4として説明する。
まず、減算器303に入力される画素値は、1ラインメモリ301から出力される現在値のものではなく、#1〜#3のカウンタ313のオーバーフロー値=4に対応して、現在の画素値よりも4画素値分前の#1のシフトレジスタ310の出力である。
これに合わせて、プライオリティエンコーダ315から出力される周期検出信号(複数ビット)も、現在のラッチ分も含めて#0〜#4のシフトレジスタ904に保持されてから可変長符号器305(#2)及びMPX601に与えられる。
そして、プライオリティエンコーダ315は、周期パターンの開始時、即ち、1画素値分前に対応する#1のシフトレジスタ904に保持されている周期検出信号がゼロを示している場合に、新たに検出された周期nの周期検出信号を、#1〜#4の全てのシフトレジスタ310にプリセットし、周期判定を4画素値分さかのぼらせる。
これにより、#1〜#3のカウンタ313がオーバーフローするカウント値分の処理遅延を補償することが可能となる。
次に、一致検出回路901、カウンタ902、及びラッチ903は、周期パターンのない平坦画像部分を検出するための回路群である。
まず、一致検出回路901は、シフトレジスタ311(#0)から出力される現在の入力画素値と、シフトレジスタ311(#1)から出力される1画素前(ライン方向に1画素左)の入力画素値とが一致するか否かを検出する。この回路は、一致検出回路312と同じ構成として実現できる。
カウンタ902は、一致検出回路901の出力が一致を示している場合に、カウンタ値をインクリメントし、不一致を示している場合に、カウンタ値をデクリメントする。
そして、カウンタ902の所定の上位ビット値(1ビット)が、ラッチ903にラッチされる。
この構成により、直前の画素値と(多少の不一致を許して)同じ画素値を持つ領域では、カウンタ902のカウント値がアップしてゆき、ラッチ903に1がセットされ、この論理値により平坦部を判定することができる。
プライオリティエンコーダ315は、ラッチ903に論理値1がセットされている場合には、#1〜#3のラッチ314が周期検出信号を出力していても、#0のシフトレジスタ904には、周期が検出されていないことを示す全ビット0のデータを出力する。
以上の構成により、平坦部が除外された、厳密に周期パターンからなる領域を検出して符号化することが可能となる。
なお、#1〜#3のカウンタ313のカウント値は、図6の場合と同様に8でもよいが、その場合には、#8のシフトレジスタ311の出力が減算器303に入力され、シフトレジスタ904の段数は#1〜#8の8段となる。
符号化に関する具体的考察
上述した本発明の実施形態の具体的な動作を説明するために、符号化の実際について説明する。
図12Aは、画像データX[i] の画素値列の例であり、5画素目から周期4画素のテクスチャ領域が存在すると仮定する。
この画像データに対して、前置予測を行い、図12Bに示される区間と代表値を用いて15レベルの量子化を行った場合について考察する。
図13Aは、図12Aの画像データX[i] に対して、通常の前置予測量子化のみを行った場合の復元画素値X[i]’の例を示す図である。テクスチャ領域で階調変化が大きい場合、予測誤差E[i] に量子化器の出力E[i]’において量子化器の最大値が追いつけず、原画との差異が大きくなって、画質が劣化する。また、この場合には、最大の量子化番号が使用されるため、符号量が最大まで増加する。
これに対して、本発明の第1及び第3の実施形態を適用した場合について説明する。
テクスチャ領域の検出については、1周期が終わって、2周期目で4画素周期の連続一致が2回起こったら、テクスチャ領域に入ったと判定する場合について考察する。判定結果を符号化にどう反映するかについては、2通りの考え方がある。
(1)2周期目で連続一致の検出後、判定画素数分だけ遅れて反映させる。
(2)2周期目で連続一致の検出後、2周期目の先頭にさかのぼって反映させる。
上記(2)は、本発明の第5の実施形態に対応しているが、ここでは理解し易いように、判定画素数分(ここでは2画素分)の遅延を要する(1)の考え方を採用する。
図13Bは、本発明の第1の実施形態に対応しており、原画より周期パターン(テクスチャ領域)を検出し、1周期前の復元画素値をコピーして復元した場合の復元画素値X[i]’の例を示す図である。この場合には、テクスチャ領域が検出された後、1周期前の復元画素値が出力されるように符号化される。このため、テクスチャ領域が続く分、画素毎にそれを1ビットで符号化できるので(図11A参照)、符号量は増えない。しかし、1周期前の復元値が繰返し使用されるため、画質は若干劣化する。
図13(c)は、本発明の第3の実施形態に対応しており、原画より周期パターン(テクスチャ領域)を検出し、1周期前の予測画素値で予測符号化した場合の復元画素値X[i]’の例を示す図である。この場合には、テクスチャ領域が検出された後、2周期目以降は予測が逐次正確になり、最終的に最小量子化誤差に復元画素値が収束することになる。収束するまで数周期かかるものの、量子化番号は逐次小さくなり、符号量が抑えられる。符号量と画質の双方を改善する場合は、この方法が最適である。
前述した本発明の第2又は第4の実施形態のように、復元画素値から周期パターンが検出される場合には、図13Aに示されるように、予測誤差量子化値E[i]’が、テクスチャ領域において毎回最大量子化レベルとなって復元画素値に元々存在しない周期性が生じる可能性があり、画質が劣化する可能性がある。しかし、特に本発明の第4の実施形態では、復元画素値が原画の入力画素値に逐次収束するため、原画と異なる周期から本来の周期に復帰するようになる。図13Aの例では、最初、2画素周期として検出されるが、数周期後に、その復元画素値から4画素周期として検出されるようになる。このように、本発明の実施形態をうまく構成することにより、符号量と画質の双方を改善した映像圧縮復元装置を構築することが可能となる。
本発明の第6の実施形態
図14は、本発明の第6の実施形態における圧縮符号化装置の回路構成図である。本実施形態における復元装置は、本発明の第3の実施形態と同じく、図7の回路構成図で示される。
前述した本発明の第1〜第5の実施形態では、パターンが完全一致した場合に周期モードに切り替えられて符号化が行われていた。周期モードの切り替えには周期検出符号が必要となるため、ある一定区間(ブロック)内においては、かえって検出符号を必要としない予測器による予測符号化のほうが効率が良い場合がある。本発明の第6の実施形態では、圧縮符号化装置側において、ブロック毎(例えば縦1画素×横8画素単位)に周期検出符号による発生符号量の増加を考慮しながら4、8、16周期および予測器の中で最も符号化効率が良い予測符号化を選択させることができる。
この場合、圧縮符号化装置において、ブロック単位に周期を検出する手段によって、周期n(n=4、8、16の何れか)による1周期前の予測誤差が算出されると共に、もう一つの予測器1405による予測誤差が算出され、各ブロック区間におけるこれら予測誤差の結果が比較される。具体的には、ブロック内の全画素に対してブロック単位で、各周期における予測誤差の絶対和がそれぞれ累算され、1周期前の予測誤差絶対和が極端に小さい場合は周期パターン検出とみなされ(完全一致の場合は絶対和が0となる)、逆に、いずれの予測誤差絶対和も予測器1405による予測誤差絶対和と比較して有意に大きくない場合は、周期検出符号によるオーバーヘッドを考慮して、予測器302による予測符号化が実行される。この場合、周期検出符号は出力されない。
図14において、図6と同じ符号が付された部分は、図6の場合と同じ機能を有する。図14において、まず図6と同様に、画像データXに周期nの周期パターンが含まれているときには、シフトレジスタに保持される1周期前の復元画素値がMPX601を介して新たな予測画素値として減算器303に供給され、これに基づいて予測動作が実行される。この結果得られる予測誤差値は、量子化器304で量子化されて予測誤差量子化値とされ、可変長符号305(#1)で可変長符号化された後、MPX306を介して圧縮データYとして出力される。
図6の構成と異なる点として、図14の構成は、パターン検出において、周期n(n=4、8、16の何れか)の1周期前の画素に対する差分を取って絶対値を算出する差分絶対値算出器1402(#1〜#3)及び、この絶対値をブロック(4画素)単位で累算して予測誤差絶対値和を算出する加算器1403(#1〜#3)及びラッチ1404(#1〜#3)を有する。また図14の構成は、予測器に対して有意差があるかどうかを示すために、原画の系列に対して予測を行う予測器1405と、周期n(n=4、8、16の何れか)の場合と同様に、その予測値に対する差分を取って絶対値を算出する差分絶対値算出器1406、更にこの絶対値をもとにブロック(4画素)単位の予測誤差絶対値和を算出する加算器1407及びラッチ1408を有する。この予測器1405は、予測器302と完全に同一かほぼ同じ予測方法を採用する。予測器302では量子化後の値が入力として使用されるのに対し、予測器1405では原画の系列が入力として使用される。
1ブロック分の各周期の予測誤差絶対値和と予測期302に基づく予測誤差絶対値和が算出されたら、これらの値は各ラッチ1404(#1〜#3)及び1408を介してプライオリティエンコーダ315に送られる。これと共に、加算器1403(#1〜#3)、1407、及びラッチ1404(#1〜#3)、1408が、画素値カウンタ1409の出力によってリセットされて次のブロックの処理に備えられる。
プライオリティエンコーダ315は、周期n(n=4、8、16)の各予測誤差絶対値和及び予測器1405からの予測誤差絶対値和に基づいて、周期パターンを検出する。プライオリティエンコーダ315は、周期nの各予測誤差絶対値和が極端に小さい場合は、周期が検出されたとみなして(完全一致の場合は絶対和が0となる)、対象となるブロックの期間中その周期nの周期検出信号を出力し続ける。
例えば、1ブロック=4画素の場合を考えると、予測誤差絶対値和が4以下の周期パターンがある場合は、画素あたりの平均誤差が1程度となり、この程度の小さな差では人間の目には周期パターンとして判別されるため、プライオリティエンコーダ315は、そのブロック中は、その周期パターンでの符号化処理を、MPX601及び可変長符号器305(#2)に指示する。また、各周期パターンの予測誤差絶対値和が予測器1405による予測誤差絶対値和と比較して有意に小さくない場合は、周期検出符号によるオーバーヘッドを考慮して、プライオリティエンコーダ315は、そのブロック期間中は、周期検出信号が出力されないような動作を、MPX601及び可変長符号器305(#2)に指示する。
予測誤差絶対値和が有意に小さくないかどうかは、予測誤差の値と周期検出符号の長さに依存する。例えば、周期検出符号の長さが4である場合、周期パターンによる符号化結果による符号長が、予測器による符号化結果による符号長より4以上短い必要がある。このため、予測誤差が8以上あるたびに1ビット増えるような符号が採用されている場合には、周期パターンの予測誤差絶対値和が予測器1405による予測誤差絶対値和より、8×4(1ブロック=4画素の場合)=32以上小さい必要がある。
本実施形態における図14の圧縮符号化装置では、ナビ画像などに含まれる4画素、8画素、および16画素のテクスチャ状の各周期パターンを検出することができる。もちろん、処理対象とするナビ画像等の特性を踏まえて、他の周期パターンが検出される構成にしてもよい。
可変長符号器305(#2)は、ブロックの切れ目ごとにプライオリティエンコーダ315から周期検出信号が出力されていない状態から周期n(n=4、8、16の何れか)の周期検出信号が出力されたかどうかを確認し、出力された場合には、図11Bに示されるように、現時点で可変長符号器305(#1)から出力されている予測誤差量子化値の圧縮符号に続いて、周期n検出符号を可変長符号により出力する。続いて、可変長符号器305(#2)は、可変長符号器305(#1)に対して再び予測誤差量子化値の符号化を実行させる。これ以降出力される符号化された予測誤差量子化値は、周期n幅の1周期前の復元画素値に基づいて予測動作が実行された結果得られるものとなる。
その後、可変長符号器305(#2)は、ブロックの切れ目ごとにプライオリティエンコーダ315から周期nの周期検出信号が出力されなくなったかどうかを確認して、出力されなかった時点で、周期終了信号を可変長符号化して出力する。その後、可変長符号器305(#2)は、可変長符号器305(#1)に対して、量子化器304から出力される予測量子化誤差値の符号化を再開させる。これ以降出力される符号化された予測誤差量子化値は、通常の予測符号化により得られるものとなる。
MPX601は、プライオリティエンコーダ315が周期4の周期検出信号を出力しているときには、シフトレジスタ310(#4)に保持されている4画素前(ライン方向に4画素左)の復元画素値を選択して減算器303に予測値として与える。またMXP601は、プライオリティエンコーダ315が周期8の周期検出信号を出力しているときには、シフトレジスタ310(#8)(特には図示しない)に保持されている8画素前(ライン方向に8画素左)の復元画素値を選択して減算器303に予測値として与える。更にMXP601は、プライオリティエンコーダ315が周期16の周期検出信号を出力しているときには、シフトレジスタ310(#16)に保持されている16画素前(ライン方向に16画素左)の復元画素値を選択して減算器303に予測値として与える。
このようにして、画像データXに周期nの周期パターンが含まれている期間でも、1周期前の復元画素値に基づいて高い精度で予測符号化を実行することができ、高画質と高圧縮率を同時に実現することが可能となる。
次に、本発明の第6の実施形態の復元装置につき、図7に基づいて説明する。この復元装置の動作は、第3の実施例の場合と完全に同じで、周期n検出符号が含まれているかどうかで処理が切り替えられる。
図7において、可変長復号器701、逆量子化器702、予測器703、MPX704、加算器705、及びシフトレジスタ706(#1〜#16)は、予測符号化方式による復元回路構成を示している。
本実施形態では、まず可変長復号器701は、特には図示しない車載LAN等からネットワークインタフェース回路で受信されたパケットより抽出される圧縮データY(図6参照)の符号を復号する。このときの圧縮データYの符号フォーマットは、前述した図11Bに示されるものである。
可変長復号器701は、画像データXに周期nの周期パターンが含まれておらず、受信した圧縮データYに図11Bに示される周期n検出符号が含まれていない間は、圧縮データYから符号化された予測誤差量子化値を取り出して復号し、その結果を逆量子化器702に入力させると共に、MPX704に予測器703の出力を選択させる。
加算器705は、逆量子化器702から入力される予測誤差復元値を、予測器703からMPX704を介して入力される予測画素値に加算する。
この結果、復元画素値が再生され、復元画像データX′として出力される。この復元画像データX′は、例えば自動車の後部座席側に設置されたディスプレイ装置に表示される。
この復元画素値は、予測器703にフィードバックされ、次の画素の予測動作のための入力とされる。また、復元画素値は、#1〜#16のシフトレジスタ706に、16過去画素分の復元画素値として、各画素タイミング毎に順次シフトされながら保持される。
一方、可変長復号器701は、画像データXに周期n(n=4、8、16の何れか)の周期パターンが含まれており、受信した圧縮データYから図11Bに示される周期n検出符号を検出すると、圧縮データYから図11Bに示される周期終了信号を検出するまで、MPX704に対して、シフトレジスタ406(#n)に保持されている周期n幅の1周期前の復元画素値を選択させる。これに続いて、可変長復号器701は、圧縮データYから図11Bに示される周期n検出符号に続いて検出される符号化された予測誤差量子化値を取り出して復号し、その結果を逆量子化器702に入力させる。
この結果、MPX704は、シフトレジスタ406(#n)に保持されている周期n幅の1周期前の復元画素値を選択し、それを加算器705に与える。
このようにして、本実施形態では、画像データXに周期nの周期パターンが含まれている期間でも、1周期前の復元画素値と高い精度で予測符号化された予測誤差復元値とから復元画素値を得て、復元画像データX′を復元することができる。これに加えて、本実施形態では、あるブロック区間で、周期検出符号による発生符号量の増加を考慮しながら、各周期の1周期前の復元画素値及び予測器の出力のうち最も符号化効率が良い出力を選択することができる。
なお、図9に示される本発明の第5の実施形態では、図6に示される本発明の第3の実施形態の構成を一例として、その遅延をなくす構成、及び周期パターンのない平坦画像を周期パターン画像と誤判定してしまうことを防止する構成について開示されているが、この実施形態についても同様の構成を適用することが可能である。
本発明の各実施形態に関する補足
上述の各実施形態において、シフトレジスタ310、311、406、706、904等は、FIFO(ファーストインファーストアウト)タイプのメモリやRAM(ランダムアクセスメモリ)等によって同じ働きをするように実現することも可能である。
本発明の各実施形態のコンピュータプログラムによる実現
図15は、図3〜図9に示される本発明の各実施形態の装置が実現する機能と同等の機能を実現できるコンピュータのハードウェア構成の一例を示す図である。
図15に示されるコンピュータは、例えば自動車の車載用コンピュータとして実現され、CPU1501、メモリ1502、入力装置1503、出力装置1504、外部記憶装置1505、可搬記録媒体1509が挿入される可搬記録媒体駆動装置1506、及びネットワーク接続装置1507を有し、これらがバス1508によって相互に接続された構成を有する。同図に示される構成は上記システムを実現できるコンピュータの一例であり、そのようなコンピュータはこの構成に限定されるものではない。
CPU1501は、当該コンピュータ全体の制御を行う。メモリ1502は、プログラムの実行、データ更新等の際に、外部記憶装置1505(或いは可搬記録媒体1509)に記憶されているプログラム又はデータを一時的に格納するRAM等のメモリである。CUP1501は、プログラムをメモリ1502に読み出して実行することにより、全体の制御を行う。
入力装置1503は、例えば、キーボード、タッチパネル等及びそれらのインタフェース制御装置とからなる。入力装置1503は、ユーザによるキーボードやタッチパネル等による入力操作を検出し、その検出結果をCPU1501に通知する。
出力装置1504は、表示装置、印刷装置等及びそれらのインタフェース制御装置とからなる。出力装置1504は、CPU1501の制御によって送られてくるデータを表示装置や印刷装置に出力する。
外部記憶装置1505は、例えばハードディスク記憶装置である。主に各種データやプログラムの保存に用いられる。
可搬記録媒体駆動装置1506は、光ディスクやSDRAM、コンパクトフラッシュ(登録商標)等の可搬記録媒体1509を収容するもので、外部記憶装置1505の補助の役割を有する。
ネットワーク接続装置1507は、例えば車載LANの通信回線を接続するための装置である。
図15に示されるシステムは、図3〜図9の構成によって実現される機能と同等の機能を搭載したプログラムをCPU1501が実行することで実現される。そのプログラムは、例えば外部記憶装置1505や可搬記録媒体1509に記録して配布してもよく、或いはネットワーク接続装置1507によりネットワークから取得できるようにしてもよい。

Claims (13)

  1. 画像データから現在の入力画素値を予測する予測画素値を算出する予測手段と、前記現在の入力画素値と前記予測画素値との予測誤差値を算出する予測誤差算出手段と、該予測誤差値を量子化して予測誤差量子化値を算出する量子化手段と、該予測誤差量子化値を符号化して圧縮データとして出力する予測誤差符号化手段と、前記予測誤差量子化値と前記予測画素値とから復元側での復元画素値を復元して前記予測手段に与える復元手段とを含んで、前記画像データを予測符号化方式により圧縮符号化して前記圧縮データを出力する映像圧縮符号化装置において、
    前記復元手段から出力される復元画素値を入力画素の内の注目画素の直前の画素について所定画素数分記憶する過去復元画素値記憶手段と、
    前記画像データに含まれる、走査方向に画素値が周期的に繰り返される周期パターン領域を、検出する周期パターン領域検出手段と、
    該周期パターン領域が検出された場合に、その周期パターンに関する情報を符号化して前記圧縮データの一部として出力すると共に、前記予測誤差符号化手段の出力を停止させる周期パターン符号化手段と、
    前記周期パターン領域が検出された場合に、前記過去復元画素値記憶手段から前記周期パターンに対応する1周期前の復元画素値を読み出し、それを前記復元手段から出力される復元画素値に代わって、前記予測手段に与えると共に前記過去復元画素値記憶手段に再度記憶させる選択手段と、
    を含むことを特徴とする映像圧縮符号化装置。
  2. 受信した圧縮データから予測誤差復元値を復元する予測誤差復元手段と、現在の復元画素値を予測する予測画素値を算出する予測手段と、該予測画素値と前記予測誤差復元値とから前記復元画素値を算出し画像データとして出力すると共に前記予測手段に与える復元画素値算出手段とを含んで、予測符号化方式により圧縮符号化された圧縮データから前記画像データを復元する映像復元装置において、
    前記復元画素値算出手段から出力される復元画素値を復元画素の内の注目画素の直前の画素値について所定画素数分記憶する過去復元画素値記憶手段と、
    前記圧縮データから、入力画素値に含まれる周期パターンに関する情報を復号する周期パターン復号手段と、
    該周期パターンに関する情報が検出された場合に、前記過去復元画素値記憶手段から前記周期パターンに対応する1周期前の復元画素値を読み出し、それを前記復元画素値算出手段から出力される復元画素値に代わって、前記画像データとして出力すると共に前記過去復元画素値記憶手段に再度記憶させ、前記予測手段に与える選択手段と、
    を含むことを特徴とする映像復元装置。
  3. 画像データから現在の入力画素値を予測する予測画素値を算出する予測手段と、前記現在の入力画素値と前記予測画素値との予測誤差値を算出する予測誤差算出手段と、該予測誤差値を量子化して予測誤差量子化値を算出する量子化手段と、該予測誤差量子化値を符号化して圧縮データとして出力する予測誤差符号化手段と、前記予測誤差量子化値と前記予測画素値とから復元側での復元画素値を復元して前記予測手段に与える復元手段とを含んで、前記画像データを予測符号化方式により圧縮符号化して前記圧縮データを出力する映像圧縮符号化装置において、
    前記復元手段から出力される復元画素値を入力画素の内の注目画素の直前の画素について所定画素数分記憶する過去復元画素値記憶手段と、
    前記復元手段から出力される復元画素値を入力画素の内の注目画素の直前の画素について所定画素数分記憶する過去復元画素値記憶手段と、
    前記画像データに含まれる、走査方向に画素値が周期的に繰り返される周期パターン領域を、検出する周期パターン領域検出手段と、
    該周期パターン領域が検出された場合に、その周期パターンに関する情報を符号化して前記圧縮データの一部として出力する周期パターン符号化手段と、
    前記周期パターン領域が検出された場合に、前記過去復元画素値記憶手段から前記周期パターンに対応する1周期前の復元画素値を読み出し、それを前記予測手段から出力される予測画素値に代わって、前記予測誤差算出手段に与える選択手段と、
    を含むことを特徴とする映像圧縮符号化装置。
  4. 受信した圧縮データから予測誤差復元値を復元する予測誤差復元手段と、現在の復元画素値を予測する予測画素値を算出する予測手段と、該予測画素値と前記予測誤差復元値とから前記復元画素値を算出し画像データとして出力すると共に前記予測手段に与える復元画素値算出手段とを含んで、予測符号化方式により圧縮符号化された圧縮データから前記画像データを復元する映像復元装置において、
    前記復元画素値算出手段から出力される復元画素値を復元画素の内の注目画素の直前の画素について所定画素数分記憶する過去復元画素値記憶手段と、
    前記圧縮データから、入力画素値に含まれる周期パターンに関する情報を復号する周期パターン復号手段と、
    該周期パターンに関する情報が検出された場合に、前記過去復元画素値記憶手段から前記周期パターンに対応する1周期前の復元画素値を読み出し、それを前記予測手段から出力される予測画素値に代わって、前記復元画素値算出手段に与える選択手段と、
    を含むことを特徴とする映像復元装置。
  5. 前記周期パターン領域検出手段は、
    前記入力画素値を入力画素の内の注目画素の直前の画素について所定画素数分記憶する過去入力画素値記憶手段と、
    予め決めた所定周期のそれぞれについて、現在の入力画素値と、該現在の入力画素値から前記所定周期に対応する画素数だけ離れて前記過去入力画素値記憶手段に記憶されている入力画素値とが、所定一致回数連続して一致したことを検出する周期検出手段と、
    前記各周期検出手段のうち最も長い周期に対応するものの出力を選択して、その周期の周期パターン領域が検出されたことを示す信号として出力するエンコーダ手段と、
    を含むことを特徴とする請求項1又は3の何れか1項に記載の映像圧縮符号化装置。
  6. 前記周期パターン領域検出手段は、
    予め決めた所定周期のそれぞれについて、現在の入力画素値と、該現在の入力画素値から前記所定周期に対応する画素数だけ離れて前記過去復元画素値記憶手段に記憶されている復元画素値との差が、所定一致回数連続して所定閾値以下であることを検出する周期検出回路と、
    前記各判定回路のうち最も長い周期に対応するものの出力を選択して、その周期の周期パターン領域が検出されたことを示す信号として出力するエンコーダ回路と、
    を含むことを特徴とする請求項1又は3の何れか1項に記載の映像圧縮符号化装置。
  7. 前記周期パターン領域検出手段は、前記入力画素値又は前記復元画素値において、検出する周期パターン領域が複数存在する場合、現在の処理対象の前記入力画素値又は前記復元画素値と各周期パターン領域の1周期前の画素値との差分絶対値を走査線方向に一定区間内で累算して予測誤差絶対和を算出し、各周期パターン領域に対する予測誤差絶対和の中で累算結果が小さいものをその区間内での周期パターン領域とする、
    ことを特徴とする請求項1、3、5、又は6の何れか1項に記載の映像圧縮符号化装置。
  8. 前記周期パターン領域検出手段は、前記画像データから現在の入力画素値を予測する予測画素値を算出する第2の予測手段を更に含み、走査線方向に一定区間で前記第2の予測手段から出力される予測誤差絶対和を累算し、前記各周期パターン領域の各予測誤差絶対和と前記第2の予測手段による予測誤差絶対和とを比較して、何れかの前記周期パターン領域の予測誤差絶対和のほうが小さい場合はその区間内は該周期パターン領域とし、一方前記第2の予測手段による予測誤差絶対和のほうが小さい場合はその区間内は周期パターン領域を検出しない、
    ことを特徴とする請求項7に記載の映像圧縮符号化装置。
  9. 前記周期パターン領域検出手段は、前記入力画素値又は前記復元画素値において、入力画素値の内の現在の処理画素値とその直前の画素値との最近の一致回数が所定値を超えたか否かによって平坦領域を検出し、前記周期パターン領域として検出した領域から除外する、
    ことを特徴とする請求項1、3、5、6、7、又は8の何れか1項に記載の映像圧縮符号化装置。
  10. 画像データから現在の入力画素値を予測する予測画素値を算出する予測機能と、前記現在の入力画素値と前記予測画素値との予測誤差値を算出する予測誤差算出機能と、該予測誤差値を量子化して予測誤差量子化値を算出する量子化機能と、該予測誤差量子化値を符号化して圧縮データとして出力する予測誤差符号化機能と、前記予測誤差量子化値と前記予測画素値とから復元側での復元画素値を復元して前記予測機能に与える復元機能とを実行するコンピュータに、
    前記復元機能から出力される復元画素値を入力画素の内の注目画素の直前の画素について所定画素数分記憶する過去復元画素値記憶機能と、
    前記画像データに含まれる、走査方向に画素値が周期的に繰り返される周期パターン領域を、検出する周期パターン領域検出機能と、
    該周期パターン領域が検出された場合に、その周期パターンに関する情報を符号化して前記圧縮データの一部として出力すると共に、前記予測誤差符号化機能の出力を停止させる周期パターン符号化機能と、
    前記周期パターン領域が検出された場合に、前記過去復元画素値記憶機能から前記周期パターンに対応する1周期前の復元画素値を読み出し、それを前記復元機能から出力される復元画素値に代わって、前記予測機能に与えると共に前記過去復元画素値記憶機能に再度記憶させる選択機能と、
    を実行させて、前記画像データを予測符号化方式により圧縮符号化して前記圧縮データを出力させることを特徴とする映像圧縮プログラム。
  11. 受信した圧縮データから予測誤差復元値を復元する予測誤差復元機能と、現在の復元画素値を予測する予測画素値を算出する予測機能と、該予測画素値と前記予測誤差復元値とから前記復元画素値を算出し画像データとして出力する復元画素値算出機能とを実行するコンピュータに、
    前記復元画素値算出機能から出力される復元画素値を復元画素の内の注目画素の直前の画素について所定画素数分記憶する過去復元画素値記憶機能と、
    前記圧縮データから、入力画素値に含まれる周期パターンに関する情報を復号する周期パターン復号機能と、
    該周期パターンに関する情報が検出された場合に、前記過去復元画素値記憶機能から前記周期パターンに対応する1周期前の復元画素値を読み出し、それを前記復元画素値算出機能から出力される復元画素値に代わって、前記画像データとして出力すると共に前記過去復元画素値記憶機能に再度記憶させる選択機能と、
    を実行させて、予測符号化方式により圧縮符号化された圧縮データから前記画像データを復元させることを特徴とする映像復元プログラム。
  12. 画像データから現在の入力画素値を予測する予測画素値を算出する予測機能と、前記現在の入力画素値と前記予測画素値との予測誤差値を算出する予測誤差算出機能と、該予測誤差値を量子化して予測誤差量子化値を算出する量子化機能と、該予測誤差量子化値を符号化して圧縮データとして出力する予測誤差符号化機能と、前記予測誤差量子化値と前記予測画素値とから復元側での復元画素値を復元して前記予測機能に与える復元機能とを実行するコンピュータに、
    前記復元機能から出力される復元画素値を入力画素の内の注目画素の直前の画素について所定画素数分記憶する過去復元画素値記憶機能と、
    前記画像データに含まれる、走査方向に画素値が周期的に繰り返される周期パターン領域を、検出する周期パターン領域検出機能と、
    該周期パターン領域が検出された場合に、その周期パターンに関する情報を符号化して前記圧縮データの一部として出力する周期パターン符号化機能と、
    前記周期パターン領域が検出された場合に、前記過去復元画素値記憶機能から前記周期パターンに対応する1周期前の復元画素値を読み出し、それを前記予測機能から出力される予測画素値に代わって、前記予測誤差算出機能に与える選択機能と、
    を実行させて、前記画像データを予測符号化方式により圧縮符号化して前記圧縮データを出力することを特徴とする映像圧縮プログラム。
  13. 受信した圧縮データから予測誤差復元値を復元する予測誤差復元機能と、現在の復元画素値を予測する予測画素値を算出する予測機能と、該予測画素値と前記予測誤差復元値とから前記復元画素値を算出し画像データとして出力する復元画素値算出機能とを実行するコンピュータに、
    前記復元画素値算出機能から出力される復元画素値を復元画素の内の注目画素の直前の画素について所定画素数分記憶する過去復元画素値記憶機能と、
    前記圧縮データから、入力画素値に含まれる周期パターンに関する情報を復号する周期パターン復号機能と、
    該周期パターンに関する情報が検出された場合に、前記過去復元画素値記憶機能から前記周期パターンに対応する1周期前の復元画素値を読み出し、それを前記予測機能から出力される予測画素値に代わって、前記復元画素値算出機能に与える選択機能と、
    を実行させて、予測符号化方式により圧縮符号化された圧縮データから前記画像データを復元することを特徴とする映像復元プログラム。
JP2009537773A 2007-10-18 2007-10-18 映像圧縮符号化装置、映像復元装置、映像圧縮プログラム、及び、映像復元プログラム Expired - Fee Related JP4801778B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2007/001135 WO2009050766A1 (ja) 2007-10-18 2007-10-18 映像圧縮符号化・復元装置、映像圧縮符号化・復元プログラム、及び映像生成・出力装置

Publications (2)

Publication Number Publication Date
JPWO2009050766A1 JPWO2009050766A1 (ja) 2011-02-24
JP4801778B2 true JP4801778B2 (ja) 2011-10-26

Family

ID=40567062

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009537773A Expired - Fee Related JP4801778B2 (ja) 2007-10-18 2007-10-18 映像圧縮符号化装置、映像復元装置、映像圧縮プログラム、及び、映像復元プログラム

Country Status (3)

Country Link
US (1) US8599918B2 (ja)
JP (1) JP4801778B2 (ja)
WO (1) WO2009050766A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8863256B1 (en) 2011-01-14 2014-10-14 Cisco Technology, Inc. System and method for enabling secure transactions using flexible identity management in a vehicular environment
WO2012098878A1 (ja) 2011-01-19 2012-07-26 パナソニック株式会社 動画像符号化方法及び動画像復号化方法
US20130279882A1 (en) * 2012-04-23 2013-10-24 Apple Inc. Coding of Video and Audio with Initialization Fragments
SG11201501989QA (en) * 2012-09-18 2015-04-29 Razer Asia Pacific Pte Ltd Computing systems, peripheral devices and methods for controlling a peripheral device
JP6044292B2 (ja) * 2012-11-16 2016-12-14 株式会社リコー データ処理装置、データ処理方法
CN108702160B (zh) * 2016-01-29 2022-05-17 零点科技公司 用于压缩和解压缩数据的方法、设备和***
CN107659815B (zh) * 2017-09-13 2022-06-03 中国科学院半导体研究所 图像解压方法及执行其的装置
KR102229893B1 (ko) * 2019-03-18 2021-03-19 한양대학교 산학협력단 RoIP 선형 예측 부호화 및 비선형 양자화 융합 압축 송신 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0654211A (ja) * 1992-07-28 1994-02-25 Fujitsu Ltd パターン・ランレングス逆変換方法及び装置
JPH1070654A (ja) * 1996-08-28 1998-03-10 Fuji Xerox Co Ltd 画像処理装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5126739A (en) 1989-01-13 1992-06-30 Stac Electronics Data compression apparatus and method
US5016009A (en) 1989-01-13 1991-05-14 Stac, Inc. Data compression apparatus and method
US5532694A (en) 1989-01-13 1996-07-02 Stac Electronics, Inc. Data compression apparatus and method using matching string searching and Huffman encoding
US5146221A (en) 1989-01-13 1992-09-08 Stac, Inc. Data compression apparatus and method
US5003307A (en) 1989-01-13 1991-03-26 Stac, Inc. Data compression apparatus with shift register search means
JP3730385B2 (ja) 1997-12-05 2006-01-05 株式会社東芝 デ−タ圧縮装置
EP1318665B1 (en) 2001-12-06 2015-02-25 Canon Kabushiki Kaisha Image processing apparatus and method, program, and storage medium
JP4164257B2 (ja) 2001-12-06 2008-10-15 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP4000266B2 (ja) 2002-03-08 2007-10-31 株式会社リコー データ符号化装置、データ符号化方法、及びそのプログラム
US7095786B1 (en) * 2003-01-11 2006-08-22 Neo Magic Corp. Object tracking using adaptive block-size matching along object boundary and frame-skipping when object motion is low
JP3997171B2 (ja) * 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
JP4910699B2 (ja) * 2004-07-07 2012-04-04 株式会社ニコン 画像処理装置
JP4203756B2 (ja) * 2004-11-05 2009-01-07 ソニー株式会社 撮像装置および記録制御方法
JP4712642B2 (ja) * 2006-08-17 2011-06-29 富士通セミコンダクター株式会社 デブロッキングフィルタ、画像符号化装置および画像復号化装置
US7808552B1 (en) * 2006-10-25 2010-10-05 Vimicro Corporation Techniques for detecting a pulldown field sequence

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0654211A (ja) * 1992-07-28 1994-02-25 Fujitsu Ltd パターン・ランレングス逆変換方法及び装置
JPH1070654A (ja) * 1996-08-28 1998-03-10 Fuji Xerox Co Ltd 画像処理装置

Also Published As

Publication number Publication date
US20100195724A1 (en) 2010-08-05
WO2009050766A1 (ja) 2009-04-23
US8599918B2 (en) 2013-12-03
JPWO2009050766A1 (ja) 2011-02-24

Similar Documents

Publication Publication Date Title
CN109314779B (zh) 用于视频编码中的运动向量储存的方法及其装置
JP4801778B2 (ja) 映像圧縮符号化装置、映像復元装置、映像圧縮プログラム、及び、映像復元プログラム
RU2645358C2 (ru) Способ и устройство для кодирования или декодирования блоков пиксела
JP4987086B2 (ja) 画像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体
JP2009260977A (ja) 不可逆圧縮及び可逆圧縮を組み合わせて用いたビデオデータ圧縮
US8908982B2 (en) Image encoding device and image encoding method
US20070036222A1 (en) Non-zero coefficient block pattern coding
US8923389B1 (en) Unified scaling with differential coding for internal bit depth extension and reference frame compression
JP6727011B2 (ja) 画像符号化装置及びその制御方法
JP5093349B2 (ja) 画像圧縮装置及び画像復元装置
AU2002230101A2 (en) Moving picture information compressing method and its system
KR101979379B1 (ko) 영상의 부호화 방법 및 장치, 및 영상의 복호화 방법 및 장치
JP6875800B2 (ja) 超解像フレーム選択装置、超解像装置、及びプログラム
JP6564315B2 (ja) 符号化装置、復号装置、及びプログラム
JP2011109172A (ja) 映像符号化装置、および、そのデータ処理方法
EP1220546A2 (en) Quantization step setting apparatus, quantization step setting method, coding apparatus, coding method, and information record medium
JP4415651B2 (ja) 画像符号化装置、及び画像復号化装置
KR20100082700A (ko) 와이너-지브 부호화 및 복호화 시스템 및 방법
WO2019150435A1 (ja) 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム
WO2020203962A1 (ja) 画像生成装置、画像生成方法、及びプログラム
JP4139657B2 (ja) 映像信号の符号化装置および復号化装置
KR100245037B1 (ko) 개선된 영상 부호화 및 복호화 시스템과 전송에러 복원 방법
JP2011259345A (ja) 符号化装置
JP2010074444A (ja) 画像圧縮装置、画像圧縮方法、画像復号装置、画像復号方法、及び、コンピュータプログラム
JP2009038740A (ja) 画像符号化装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110802

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110805

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140812

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees