JP2774738B2 - 画像符号化復元システム - Google Patents

画像符号化復元システム

Info

Publication number
JP2774738B2
JP2774738B2 JP16017492A JP16017492A JP2774738B2 JP 2774738 B2 JP2774738 B2 JP 2774738B2 JP 16017492 A JP16017492 A JP 16017492A JP 16017492 A JP16017492 A JP 16017492A JP 2774738 B2 JP2774738 B2 JP 2774738B2
Authority
JP
Japan
Prior art keywords
image
orthogonal
orthogonal function
function expansion
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP16017492A
Other languages
English (en)
Other versions
JPH05333398A (ja
Inventor
隆之 中島
滋 千葉
俊一 佐藤
昭夫 諏訪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP16017492A priority Critical patent/JP2774738B2/ja
Priority to EP19930303840 priority patent/EP0577258B1/en
Priority to DE1993625619 priority patent/DE69325619T2/de
Priority to US08/066,588 priority patent/US5537492A/en
Publication of JPH05333398A publication Critical patent/JPH05333398A/ja
Application granted granted Critical
Publication of JP2774738B2 publication Critical patent/JP2774738B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06EOPTICAL COMPUTING DEVICES; COMPUTING DEVICES USING OTHER RADIATIONS WITH SIMILAR PROPERTIES
    • G06E1/00Devices for processing exclusively digital data
    • G06E1/02Devices for processing exclusively digital data operating upon the order or content of the data handled

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Analogue/Digital Conversion (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、画像符号化復元システ
ムに関し、より詳細には、画像圧縮と画像復元を光学的
手段で実現する画像符号化復元システムに関する。例え
ば、テレビ電話、テレビ会議等に用いられる画像処理技
術に適用されるものである。
【0002】
【従来の技術】現在の情報化社会においては、膨大な情
報量を持つ画像データを重要な1つのメディアとして伝
送したり蓄積したりすることが求められている。また、
ディジタル化した静止画およびデータの処理においては
画像データの分量が非常に多く、該画像データを記録・
伝送することは現在の記憶装置およびディジタル回線の
容量から非常に困難である。例えば、A4サイズの画像
の場合、約26Mbyteの情報量が必要(300dpi)であ
り、テレビの1画面には、約1Mbyteの情報が必要であ
る。また、1秒間のテレビ画像には、約30Mbyteの情
報量が必要である。このような状況から、そのためには
画像データ情報量の圧縮のための符号化を行わなければ
ならない。
【0003】画像符号化に関しては各種の方式が提案さ
れているが、相互接続を確保したり、メディアのコンパ
チビリティ(Compatibility)をとるために符号化方式
の標準化活動が積極的に進められている。CCITTで
は画像通信におけるテレビ電話/会議用の動画像符号化
方式としてH.261が90年12月に勧告され、また
CCITTとISOのジョイントセッションであるJP
EG(Joint Photographic Experts Group)ではカラー
静止画像符号化方式が92年末にそれぞれから勧告化、
標準化される予定である。また、ISOのMPEG(Mo
ving PictureExperts Group)ではVTR等の記録系の
ための動画像符号方式を検討しておりデータの転送レー
トが1.5Mビット/秒以下での符号化方式をMPEG
1方式として標準化した。これらの勧告化、標準化され
た符号化方式は画像の持つ空間的な冗長度を削減するた
めに、図6に示すように画像を8画素×8画素の小ブロ
ックに分割し、その小ブロック単位での2次元直交変換
(離散的コサイン変換)を用いている。また、動画像の
符号化においては動きの検出を行い、その情報を利用す
ることにより時間的な冗長度を削減している。
【0004】このような従来の画像符号化復元技術は現
在のディジタル技術によるものであるが、使用するコン
ピュータの処理速度に限界があるため、画面を多数のブ
ロックである小画像に分割し、該ブロック毎に処理を行
うことを基本としている。現在、国際標準化されている
代表例では、図6の従来の画像符号化復元システムの例
に示すように、例えば、縦500点、横700点の画素
から成る全画面を、縦8点×横8点の正方形のブロック
に分割し、各ブロック毎に独立に、図7に示す2次元D
CT基底画像を用いて離散的コサイン変換(Discr
ete Cosin Transform:DCT)
し、図8に示すように、そのDCT係数を整理して重要
性の高いものを符号化して伝送する。画像復元部では、
伝送された値から、元のDCT係数を復元し、予め用意
されているコサイン級数の組を使って、縦8点×横8点
の正方形の画素から成る中間画像を得る。ブロック画像
から成る復元された画像には、ブロック間の境界の線が
目立つので、これを消去するために、後処理用画面フィ
ルタにより全画面フィルタリングが行われ、復元画像が
得られる。
【0005】この符号化方式における直交変換には多数
の積和演算を必要とするため、動画像を実時間で符号化
あるいは復号化するためには高速処理が必要となる。ま
た、標準化された符号化方式は符号化の基本シーケンス
を規定したものであり、符号化されたことにより画質の
劣化を改善するためのフィルタリングなどの後処理や前
処理は規定外となっている。
【0006】次に、DCT(離散的コサイン変換)につ
いて説明する。なお、このDCTについては、「テレビ
ジョン・画像情報工学ハンドブック」(オーム社発行、
1990.11.30,p.115〜133,p.409〜413,等)に記載され
ている。アナログ画像は、標準化と量子化の処理を経て
ディジタル化される。標準化は、画像中に画像素(標本
点)を配置する操作であり、その画像は標本化により各
々の画素の輝度値を要素とする配列で表現される。ま
た、量子化は、各画素の輝度値を予め用意した8個の代
表レベルのいずれかに置換する操作である。ディジタル
画像のデータ圧縮は、圧縮データからもとのディジタル
画像を完全に復元できる可逆符号化とある程度のひずみ
の発生を許容した非可逆符号化とがある。この非可逆符
号化は可逆符号化よりも高いデータ圧縮率を得ることが
できる。非可逆符号化の一般構成としては、ディジタル
画像をまず前処理器に入力し、該前処理器において、デ
ィジタル画像をフィルタリングなどの冗長度削減処理を
行う。次に、前処理によって冗長度を削減した信号を粗
く量子化し、該量子化の粗さは要求される画品質やデー
タ圧縮率に応じて制御される。この量子化出力は可逆符
号化される。該可逆符号化としてはハフマン符号化など
が用いられる。
【0007】前述した非可逆符号化としては、予測符号
化や変換符号化が最も一般的技術であるが、変換符号化
は、再生画品質がそれほど高くなくてもよい場合に符号
化効率が高いとされている。すなわち、標本値を相互に
直交する座標系に変換することにより、標本値間の相関
を除去し、効率的な符号化を実現する。実際には、画像
をN画素×Mラインから成るブロックに分割し、各ブロ
ックごとに直交変換する。変換係数は、図8にも示すよ
うに、直流成分から高周波成分に分けられるが、通常、
低周波成分にパワーが集中する。したがって、視覚特性
を考慮したうえで、パワーの大きい低周波成分に多くの
ビット数を割り当て、高周波成分は少ないビット数で粗
く量子化することにより全体として符号化ビット数の低
減を図ることが可能である。
【0008】直交変換は、変換結果における低周波数成
分へのエネルギー分布の集中、高周波成分へのエッジ・
線情報の反映などの基本的特徴がある。Walsh-Hadamard
(ウォルシュ・アダマール)変換や離散的コサイン変換
(DCT)などがある。DCTは2次元の形で画像の情
報量圧縮によって用いられる。2次元DCT(ブロック
サイズ8×8)の順変換、逆変換は次の数1で表され
る。
【0009】
【数1】
【0010】また、平板マイクロレンズアレイによるイ
メージ複製系と2次元 Walsh関数マスクを用いた並列イ
メージ Walsh直交展開系については、「平板マイクロレ
ンズアレーを用いる微小光学イメージ前処理系の基礎的
検討」(秋葉外2名「光学」Val20,No8.p.507〜513,19
91.8)に提案されている。この文献のものは、2値イメ
ージである文字情報の取扱いを目的とし、平板マイクロ
レンズアレイと、Walsh関数マスクと、CCDカメラで
構成される。数字パターンを後方よりインコヒーレント
光で透過照明される拡散板に張り付け、入力イメージと
している。これを、平板マイクロレンズアレイ中の一つ
のレンズによって結像する。この像を順次各次数のWals
h関数マスクを作用させ、該マスク透過後の光パターン
をCCDカメラ上に結像させた後、コンピュータ内のイ
メージメモリに取り込み、各ピクセルの値を足し合わせ
ることで定量化している。Walsh展開係数は、Walsh関数
の正負の部分に対応した透過光強度が得られるので、そ
れを引算して求めている。
【0011】
【発明が解決しようとする課題】前述のように、従来の
画像符号化復元システムにおいては、離散的コサイン変
換に基づく符号化を利用しているものがあるが、一般に
隣同士が相関を持つ画面をブロック単位に分割して、そ
れぞれを互いに独立に処理をするために、同じ画質を得
る場合の情報圧縮の程度が低く、処理系の構成が複雑で
ある。また、ブロック処理のために、復元された画像に
は、ブロック間の境界の線が現れるので、これを消去す
るために、後処理用のフィルタが必要になる。このフィ
ルタの設計は、一般に画像の内容に影響される要素があ
り、優れた性能を得ることは、きわめて困難である。
【0012】本発明は、このような実情に鑑みてなされ
たもので、デイジタルコンピュータによる直交変換演算
に基づくことなく、高速並列光演算により画面一括処理
を行い、後処理用のフィルタを不要とする画像符号化復
元システムを提供することをその目的としている。
【0013】
【課題を解決するための手段】本発明は、上記目的を達
成するために、(1)画像圧縮部および画像復元部を有
する画像符号化復元システムであって、前記画像圧縮部
は、濃淡図形として一連の直交関数パターンを記憶し、
原画像と該直交関数パターンとの光による画像間の積演
算を行う積演算手段と、該積演算手段による直交関係展
開係数の演算結果の和を求め原画像全体の直交関数展開
係数を得る和演算手段と、該和演算手段による直交関数
展開係数を量子化・符号化する量子化・符号化手段と
具備し、前記画像復元部は、前記画像圧縮部により符号
化されたデータ系列を直交関数展開係数に復元する復号
化・逆量子化手段と、該復号化・逆量子化手段により得
られた直交関数展開係数の大きさに応じた明るさの一様
な濃度画像を得る濃度画像取得手段と、該濃度画像取得
手段により得られた濃度画像と前記画像圧縮部と同形式
で記録された直交関数パターンとの光による画像間の積
演算を行い、各直交関数展開係数に対応する要素画像を
得る積演算手段と、該積演算手段により得られた要素再
像を光学的に重ね合わせる和演算手段とを具備したこ
と、或いは、(2)光変調用の画像圧縮部および画像復
元部を有する画像符号化復元システムであって、前記画
像圧縮部は、光変調用の一連の直交関数パターンが濃淡
図形として記録され、原画像と直交関数パターンとの
画像間の積演算を並列的かつ順次に行う直交変換用空間
光変調器と、該直交変換用空間光変調器の直交関数パタ
ーン上に前記原画像を分配し投影する画像分配器と、前
記直交変換用空間光変調器の画像間の積演算の結果を和
演算して原画像全体の直交関数展開係数を得る受光素子
アレイと、該受光素子アレイにより得られた直交関数展
開係数を量子化・符号化する量子化・符号化器とを具備
し、前記画像復元部は、前記画像圧縮部により符号化さ
れて伝送されたデータ系列を直交関数展開係数に復元す
る復号化・逆量子化器と、該復号化・逆量子化器により
復元された直交関数展開係数の大きさに応じた明るさの
光源をもつ表示用光源と、光変調用の直交関数パターン
が記録され、前記表示用光源からの光の透過により積演
算を同時かつ並列的に行う直交変換用空間光変調器と、
該直交変換用空間光変調器により得られた画像を空間的
かつ時間的に重ね合わせる2次元レンズアレイを具備し
たこと、更には、(3)前記(2)において、前記画像
分配器の歪特性を補償するために、前記空間光変調器に
正規の直交関数パターン系列そのものではなく、正規の
直交関数パターンに前記画像分配器の歪補償特性を掛け
た歪直交関数パターンを与えることを特徴としたもので
ある。
【0014】
【作用】時間多重展開方式において、直交変換用空間光
変調器に記録された直交関数パターンと原画像との画像
間の積演算が行われ、直交関数展開係数が時間方向に順
次抽出される。該直交関数展開係数は量子化、符号化さ
れ、圧縮されたデータが画像復元部に伝送されて復元画
像を得る。また、空間多重展開方式において、直交変換
用マスクに直交関数パターンが記録されており、原画像
が2次元レンズアレによって直交変換用マスクの直交関
数パターン上に投影され、画像間の積演算が同時に行わ
れる。受光素子アレイにより直交関数展開係数を得て、
量子化、符号化され、圧縮されたデータが画像復元部に
伝送される。また、時空間多重展開方式において、直交
変換用光変調器に直交関数パターンが記録されており、
原画像が2次元レンズアレイによって直交変換用空間光
変調器の直交関数パターン上に投影され、画像間の積演
算を並列的かつ順次に行われる。受光素子アレイにより
直交関数展開係数を得て、量子化、符号化され、圧縮さ
れたデータが画像復元部に伝送される。3方式の画像復
元部は、圧縮部と同形式の光学系を有し、双方向の画像
符号化復元化を可能としている。
【0015】
【実施例】実施例について図面を参照して以下に説明す
る。図1は、本発明による画像符号化復元システムの一
実施例を説明するための全体構成図で、図中、41は積
演算手段、42は和演算手段、43は量子化・符号化手
段、44は復号化・逆量子化手段、45は濃度画像取得
手段、46は積演算手段、47は和演算手段である。
【0016】積演算手段41は、濃淡度図形として一連
の直交関数パターンを記憶し、原画像と直交関数パター
ンとの光による画像間の積演算を行う。和演算手段42
は、積演算手段41により原画像全体の直交関数展開係
数を得る。量子化・符号化手段43は、和演算手段42
により得られた直交関数展開係数を量子化、符号化す
る。前記積演算手段41と和演算手段42と量子化・符
号化手段43により画像圧縮部を構成する。また、復号
化・逆量子化手段44は、前記画像圧縮部により符号化
されたデータ系列を直交関数展開係数に復元する。濃度
画像取得手段45は、復号化・逆量子化手段44により
得られた直交関数展開係数の大きさに応じた明るさの一
様な濃度画像を得る。積演算手段46は、濃度画像取得
手段45により得られた濃度画像と記録された直交関数
パターンとの光による画像間の積演算を行い、直交関数
展開係数に対応する要素画像を得る。和演算手段47
は、積演算手段46により得られた要素画像を光学的に
重ね合わせる。前記復号化、逆量子化手段44と濃度画
像取得手段45と、積演算手段46と和演算手段47に
より画像復元部を構成する。
【0017】本発明による画像符号化復元システムは、
以下の3つの方式に分類できる。 (1)時間多重展開方式…直交関数展開係数を時間軸上
に展開する方式である。 (2)空間多重展開方式…直交関数展開係数を2次元平
面上に展開する方式である。 (3)時空間多重展開方式…直交関数展開係数を時間軸
と2次元平面上の両方に展開する方式である。 以下、上記3方式について、順次説明する。
【0018】図2は、本発明による画像符号化復元シス
テムの時間多重展開方式の一実施例を説明するための構
成図で、図中、1は光源、2は液晶テレビ(LCTV:
Liquid Crystal TV)、3は直交変換用SLM(Spatial
Light Modulutor:空間光変調器)、4は直交関数書込
装置、5は集光レンズ、6は受光素子(Photo Diode:
PD)、7は量子化器、8は符号化器、9は復号化器、
10は逆量子化器、11は発光素子(LED,LD)、
12は集光レンズ、13は直交関数書込装置、14は直
交変換用SLM、15はスクリーン、16は目である。
【0019】時間多重展開方式の画像符号化復元システ
ムは、画像圧縮部と画像復元部とから構成され、時間的
に高速に書き換えられる空間光変調器を導入して、時間
的に逐次書き換えられる1連の直交関数パターンとそこ
に投影される原画像との積演算を行うことにより、一定
時間内で、全直交関数展開係数を得る方式である。
【0020】画像圧縮部は、光源1、液晶テレビ2、直
交変換用SLM(光積演算部)3、直交関数書込装置
4、集光レンズ5、受光素子6、量子化器7、符号化器
8から構成されている。また、集光レンズ5と受光素子
6で光和演算部を構成している。液晶テレビ2に入力さ
れる原画像(図ではパンダの絵)は、NTSC(Nation
al Television System Committee Color System)方式
を用いて入力画像信号により入力され、該液晶テレビ2
の背後より光源1で照明される。直交変換用SLM(空
間光変調器)3には、直交関数書込装置4により、各直
交関数パターンが濃淡図形として時系列に順次書き込ま
れる。直交変換用SLM3に表示した各直交関数パター
ン毎に、液晶テレビ2上の原画像との画像間の積演算が
行われ、対応する直交関数展開係数が時間方向に順次抽
出され、集光レンズ5を介して受光素子6に入力され
る。集光レンズ5と受光素子6で光和演算器を構成す
る。前記受光素子6に入力された信号はA/D変換され
て量子化、符号化される。前記直交変換用SLM3は、
超高速応答(〜nsec)が要求される。また、符号化装
置8は頻度の高いシンボルに短いコードを頻度の低いシ
ンボルには長いコードを割り当てることによりデータを
圧縮する。この符号化としてはハフマン符号化を用いて
いる。
【0021】画像復元部は、復号化器9、逆量子化器1
0、発光素子11、集光レンズ12、直交関数書込装置
13、直交変換用SLM14、スクリーン15で構成さ
れている。符号化されて電送された時系列データは、復
号化器9と逆量子化器10により、関数展開係数に復元
される。発光素子11は各関数展開係数の大きさに応じ
て発光し、集光レンズ12を介して、面光源を形成す
る。直交関数書込装置13で、時間を追って直交変換用
SLM14に書き込まれた直交関数展開係数に対応する
直交関数パターンと、前記面光源との積演算が順次行わ
れ、その結果はスクリーン15上に時間的に多重的に重
ね合わされて、画像が復元され、目16で復元画像を見
ることができる。
【0022】この時間多重展開方式においては、画像の
直交関数展開係数を時間軸上に展開するために、直交変
換用SLM3,14には高速な応答速度(書き換え速
度)が要求される。例えば、原画像1枚が640(H)
×480(V)画素で30m秒のとき、すべての直交関
数展開係数(326,400個)を得ようとした場合、
直交変換用SLM3,14に要求される応答速度は、約
0.1μ秒となる。ただし、電送する直交関数展開係数
を1/10に削減する(高周波数成分を削除する)なら
ば、直交変換用SLM(空間光変調器)3,14に要求
される応答速度は、約1μ秒となる。
【0023】また、直交変換用SLM3,14に要求さ
れる解像度は、原画像表示用液晶テレビ2及びスクリー
ン15に表示させる画像と1対1の大きさに対応させる
場合、原画像表示用液晶テレビ2と同じ解像度でよい。
また、前記画像圧縮部と画像復元部において、直交変換
用SLM3,14、集光レンズ5,12は全く同じもの
が使用できる。従って、原画像を表示する液晶テレビ2
とスクリーン15を同じ光書込み型SLMを使用し、受
光素子6と発光素子11、量子化器7と逆量子化器10
及び符号化器8と復号化器9を一体化することにより、
完全双方向の画像圧縮/復元システムが可能となる。
【0024】図3は、本発明による画像符号化復元シス
テムの空間多重展開方式の一実施例を説明するための構
成図で、図中、21は2次元レンズアレイ(画像分配
器)、22は直交変換用マスク(光積演算部)、23は
受光素子アレイ(光和演算部,CCD)、24は光源、
25は集光レンズ、26は液晶テレビ、27は直交変換
用マスク、28は2次元レンズアレイで、その他、図1
と同じ作用をする部分は同一の符号を付してある。
【0025】この空間多重展開方式は、図1に示す方式
のように、原画像を時間的に分配する代わりに、マイク
ロレンズアレイにより原画像を同じ画像を多数個空間的
に分配して、同時並列的に直交関数係数を得る方式であ
る。すなわち、図2に示す時間多重展開方式の画像の時
間分配用SLM3と直交関数書込装置4から成る原画像
の時間分配による光演算部を、図3における画像分配器
21と直交変換用マスク22とから成る原画像の空間分
配による並列演算部に置き換えた方式である。
【0026】画像圧縮部は、光源1、液晶テレビ2、2
次元レンズアレイ21、直交変換用マスク22、受光素
子アレイ23、量子化器7、符号化器8から構成されて
いる。直交変換用マスク22には一連の直交関数パター
ンが濃淡図形として各ブロック毎に記録されている。液
晶テレビ2に表示されている原画像と同じ画像が、2次
元レンズアレイ21によって、直交変換用マスク22の
各ブロックの関数パターン上に投影され、関数の各項に
対応する各ブロックで、原画像と直交関数パターンの画
像間の積演算が同時に行われる。各ブロック毎に、画像
間の積演算の結果である画素の値が、受光素子アレイ2
3の各受光素子上で合計されて、直交関数展開係数を得
る。全ブロックに対応する1組の関数展開係数は、量子
化器7及び符号化器8で符号化される。この仕組みで原
画像は情報圧縮される。
【0027】画像復元部は、復号化器9、逆量子化器1
0、光源24、集光レンズ25、液晶テレビ26、直交
変換用マスク27、2次元レンズアレイ28、スクリー
ン15から構成されている。符号化されて伝送されたデ
ータ系列は、復号化器9及び逆量子化器10により、直
交関数展開係数に復元され、その各直交関数展開係数は
液晶テレビ26の各画素に階調信号として表示される。
従って、光源24によって照明されることにより、液晶
テレビ26の各画素が、その各関数展開係数の大きさに
応じた明るさの光源となる。この各光源は、1つの画素
の面積内で一様であり、直交変換用マスク27の各ブロ
ックに1対1に対応する。この光源が直交変換用マスク
27に記録されている直交関数パターン画像を透過する
とき、光による積演算が各ブロックで同時かつ平行的に
行われる。得られた各ブロックの画像は、2次元レンズ
アレイ28によって、空間的に重ね合わされて、原画像
がスクリーン15上に復元される。
【0028】この空間多重方式においては、画像の直交
関数展開係数を2次元平面上に展開するために、直交変
換用マスク22,27は高解像度が要求される。すなわ
ち、すべての直交関数展開係数を得るためには、原画像
表示用液晶テレビ2の画素数の2乗個の画素数を直交変
換用マスクに記録する必要がある。例えば、原画像信号
1枚が640(H)×480(V)画素で、すべてのD
CT係数(326,400個)を得る場合には、直交変
換マスクの画素数は約1×1011個必要となる。直交変
換マスクの大きさを100(H)×75(V)mmとす
ると、解像度は2048Ip/mmとなる。また、すべ
てのDCT係数を得るためには、2次元レンズアレイ2
1,28の数は、原画像表示用液晶テレビ2の画素数と
同じだけ必要となる。ただし、直交関数展開係数の数を
1/10に削減する(高周波数成分を削除する)なら
ば、直交変換マスクの画素数は1/100、解像度は1
/10となり、2次元レンズアレイの数は1/10とな
る。
【0029】また、前記画像圧縮部と画像復元部におい
て、直交変換用マスク22,27,2次元レンズアレイ
21,28は全く同じものが使用できる。従って、本方
式においても、原画像を表示する液晶テレビ2とスクリ
ーン15を同じ光書込型SLM(空間光変調器)を使用
し、受光素子アレイ23と光源部(光源24、集光レン
ズ25、液晶テレビ26)、量子化器7と逆量子化器
8、及び符号化器8と復号化器9を一体化することによ
り、完全双方向の画像符号化復元システムが可能とな
る。
【0030】図4は、本発明による画像符号化復元シス
テムの時空間多重展開方式の一実施例を説明するための
構成図で、図中、31は2次元レンズアレイ(画像分配
器)、32は直交変換用SLM(光積演算部)、33は
受光素子アレイ(光和演算部,CCD)、34は光源、
35は集光レンズ、36は液晶テレビ、37は直交変換
用SLM、38は2次元レンズアレイ、39,40は直
交関数書込装置で、その他、図1と同じ作用をする部分
は同一の符号を付してある。
【0031】図2における時間多重展開方式は、一連の
直交関数パターンを逐次、高速に書き換えられる空間光
変調器を導入することによって、これと原画像との積演
算を一回に1個の割合で逐次的に行い、一定時間内で直
交関数展開係数の全てを得る方式である。
【0032】図4に示す時空間多重展開方式は、前記2
方式の混合方式である。すなわち、一連の直交関数展開
係数を得るための原画像と直交関数パターンとの画像間
の積演算を総計N×M回必要とする場合、N個分の直交
関数パターンを一括して記録し、この単位で逐次、高速
に書き換える空間光変調器を導入する。また、2次元レ
ンズアレイにより原画像を空間光変調器上のN個の直交
関数パターンに同時に等しく投影して、原画像と空間光
変調器上の直交関数パターンとのN個の積演算を並列的
に一回で行うことにより、N個の直交関数展開係数を得
る。引き続き、空間光変調器に書かれるN個の直交関数
パターンを、継続する別のN個のパターンに書換えて、
前の状態で保存されている2次元レンズアレイにより投
影されている原画像とのN個の積演算を並列的に一回で
行う。このように、1回あたりN個の積演算を、直交関
数パターンを書換えて時間的に総計M回繰り返すことに
より、必要なN×M個の直交関数展開係数の全てを得る
方式である。
【0033】画像圧縮部は、光源1、液晶テレビ2、2
次元レンズアレイ31、直交変換用SLM32、受光素
子アレイ33、量子化器7、符号化器8から構成されて
いる。直交変換用SLM32には一連の直交関数パター
ンが濃淡図形として各ブロック毎に記録されている。液
晶テレビ2に表示されている原画像と同じ画像が、2次
元レンズアレイ31によって、直交変換用SLM32の
各ブロックの直交関数パターン上に投影され、関数の各
項に対応する各ブロックで、原画像と直交関数パターン
の画像間の積演算が並列的にかつ順次行われる。すなわ
ち、例えば、原画像と直交関数パターンの画像間の積演
算を直交変換用SLMの分割された領域のA〜Dを順次
に行い、各領域A〜D内においては同時に行う。各ブロ
ック毎に、画像間の積演算の結果である画素の値が、受
光素子アレイ33の各受光素子上で合計されて、直交関
数展開係数を得る。全ブロックに対応する1組の関数展
開係数は、量子化器7及び符号化器8で符号化される。
この仕組みで原画像は情報圧縮される。
【0034】画像復元部は、復号化器9、逆量子化器1
0、光源34、集光レンズ35、液晶テレビ36、直交
変換用SLM37、2次元レンズアレイ38、スクリー
ン15から構成される。符号化されて伝送されたデータ
系列は、復号化器9及び逆量子化器10により、直交関
数展開係数に復元され、その各直交関数展開係数は液晶
テレビ36の各画素に階調信号として表示される。従っ
て、光源34によって照明されることにより、液晶テレ
ビ36の各画素が、その各関数展開係数の大きさに応じ
た明るさの光源となる。この各光源は、1つの画素の面
積内で一様であり、直交変換用SLM37の各ブロック
に1対1に対応する。この光源が直交変換用SLM37
に記録されている直交関数パターン画像を透過すると
き、光による積演算が、各ブロックで同時かつ平行的に
行われる。これらの積演算を順次繰り返し、得られた各
ブロックの画像は、2次元レンズアレイ38によって、
空間的にかつ時間的に重ね合わされて、原画像がスクリ
ーン15上に復元される。
【0035】また、本方式においては、前記2方式と同
様に完全双方向の画像圧縮/復元システムが可能とな
る。前記時間多重展開方式は、直交変換用SLMに超高
速応答性が要求され、また、空間多重展開方式では2次
元レンズアレイ及び直交変換用マスクに高解像度が要求
される。従って、本方式は、時間と空間の両方に直交関
数展開係数を分配することにより、要求される応答性や
解像度を軽減することができる。
【0036】次に、空間光変調器に記録される直交関数
パターンの成形方法について説明する。図3に示す空間
多重展開方式における2次元レンズアレイ(画像分配
器)と直交変換用マスクとから成るシステム及び図4に
示す時空間多重展開方式における2次元レンズアレイ
(画像分配器)と直交変換用SLMから成るシステムに
係るものである。いま、直交関数の第n項目をR(n)
とするとき、無歪画像分配器の画像伝達特性G=1のた
め、空間光変調器に記録しておく直交関数パターンは、
R(n)×(1/G)=R(n)となり、本来の直交関
数パターンとなる。すなわち、現実の歪を持つ画像分配
器によるシステムによって理想的な無歪画像分配器のシ
ステムと同じ効果を得るためのパターン成形方法は、直
交関数系の第n項目をR(n)とするとき、対応する個
々の画像分配器の歪を持つ画像伝達特性Gを補償するこ
とを目的として、空間光変調器に正規の直交関数パター
ンに画像分配器の歪を補償する特性を掛けた歪直交関数
パターン、すなわち、R(n)×(1/G)を与えるこ
とにより形成される。
【0037】図5は、時間多重展開方式、空間多重展開
方式、時空間多重展開方式の主要デバイスの仕様を比較
した図である。時間多重展開方式においては、2次元レ
ンズアレイと直交変換用マスクと受光素子アレイを不用
とし、1個の受光素子と直交変換用SLMを必要とす
る。実現するための最重要ポイントとしては、直交変換
用SLMの応答速度が超高速のものが要求される点であ
る。また、空間多重展開方式においては、直交変換用S
LMを不用とし、2次元レンズアレイ、直交変換用マス
ク、受光素子アレイを必要とする。実現するための最重
要ポイントとしては、2次元レンズアレイの結像品質の
良好なものが要求される点である。また、時空間多重展
開方式においては、直交変換用マスクを不用とし、2次
元レンズアレイ、直交変換用SLM、受光素子アレイを
必要とする。実現するための最重要ポイントとしては、
直交変換用SLMの応答速度の超高速性と2次元レンズ
アレイの結像高品質である。なお、前述した3方式は、
高速処理の要求度や用途に応じて適宜選択適用すること
が可能である。
【0038】
【発明の効果】本発明は、以上説明したように構成され
ているので、以下のような効果を奏する。 (1)一般に隣同士が相関を持つ画像を、分割せずに一
括処理をするため、同じ画質を得る場合の情報圧縮の程
度が高く、機構が単純である。 (2)画面一括処理のために、復元された画像には、ブ
ロック間の境界の線がない。このため、従来使われてい
た後処理用のフィルタが不要となる。このフィルタの設
計は、一般に画像の内容に影響される要素があり、優れ
た性能を得ることは、きわめて困難であった部分であ
り、この部分が不要になる技術的効果は高い。 (3)従来の画像圧縮は、現在のディジタルコンピュー
タを用いた直交変換演算に基づくもので、これには、極
めて高速演算が求められるため、経済的にシステムを製
造することは困難である。これに対して、本発明は、光
の特徴を生かした高速並列光演算に基づくものである。
高精度のマイクロレンズアレイ、空間光変調器などの光
学素子が開発されれば、全システムが極めて安価に製造
できる。 (4)画像分配器により原画像を空間光変調器に投影
し、空間光変調器に記録されている画像との画像間の積
演算を行うことを目的とするシステムにおいて、マイク
ロレンズアレイを代表とする画像分配器の画像伝達特性
は理想的な無歪特性を持つのが理想である。しかし、マ
イクロレンズアレイの全てをこの理想特性を有するよう
に製造することは技術的に困難である。 本発明のように、各マイクロレンズの画像伝達特性に応
じて空間光変調器に記録する直交関数パターンに画像伝
達特性の逆特性を掛けておくことにより、マイクロレン
スの画像伝達歪や光軸のズレを補償することが可能とな
り、マイクロレンズアレイの製造上に要求される精度の
要求値が低下して製造が技術的に容易となる。
【図面の簡単な説明】
【図1】本発明による画像符号化復元システムの一実施
例を説明するための全体構成図である。
【図2】本発明による画像符号化復元システムの時間多
重展開方式を説明するための構成図である。
【図3】本発明による画像符号化復元システムの空間多
重展開方式を説明するための構成図である。
【図4】本発明による画像符号化復元システムの時空間
多重展開方式を説明するための構成図である。
【図5】本発明の各方式に必要なデバイスの仕様比較を
示す図である。
【図6】従来の画像符号化/復号化の流れを示す図であ
る。
【図7】従来の2次元DCTの基底画像を示す図であ
る。
【図8】従来のDCTを説明するための図である。
【符号の説明】
41…積演算手段、42…和演算手段、43…量子化・
符号化手段、44…復号化・逆量子化手段、45…演算
画像取得手段、46…積演算手段、47…和演算手段。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 諏訪 昭夫 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (56)参考文献 特開 平2−120917(JP,A) 特開 平2−127625(JP,A) 特開 昭59−58422(JP,A) 特開 平5−14743(JP,A) JAPANESE JOURNAL OF APPLIED PHYSIC S,VOL.31 NO.5B PP. 1672−1676(1992年5月発行)K.W. WONG AND L.M.CHEN G,「OPTICAL COSINE TRANSFORM USING MI CROLENS ARRAY AND PHASE−CONJUGATE MI RROR」 (58)調査した分野(Int.Cl.6,DB名) H04N 7/30 G02B 27/46 G02F 1/00 - 3/02 G06T 9/00 - 9/40 H04N 1/41 - 1/419 G06E 1/00 - 3/00

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 画像圧縮部および画像復元部を有する画
    像符号化復元システムであって、前記画像圧縮部は、
    淡図形として一連の直交関数パターンを記憶し、原画像
    と該直交関数パターンとの光による画像間の積演算を行
    う積演算手段と、該積演算手段による直交関係展開係数
    の演算結果の和を求め原画像全体の直交関数展開係数を
    得る和演算手段と、該和演算手段による直交関数展開係
    数を量子化・符号化する量子化・符号化手段とを具備
    し、前記画像復元部は、前記画像圧縮部により符号化さ
    れたデータ系列を直交関数展開係数に復元する復号化・
    逆量子化手段と、該復号化・逆量子化手段により得られ
    た直交関数展開係数の大きさに応じた明るさの一様な濃
    度画像を得る濃度画像取得手段と、該濃度画像取得手段
    により得られた濃度画像と前記画像圧縮部と同形式で記
    録された直交関数パターンとの光による画像間の積演算
    を行い、各直交関数展開係数に対応する要素画像を得る
    積演算手段と、該積演算手段により得られた要素画像を
    光学的に重ね合わせる和演算手段とを具備したことを特
    徴とする画像符号化復元システム。
  2. 【請求項2】 光変調用の画像圧縮部および画像復元部
    を有する画像符号化復元システムであって、前記画像圧
    縮部は、光変調用の一連の直交関数パターンが濃淡図形
    として記録され、原画像と直交関数パターンとの画像
    間の積演算を並列的かつ順次に行う直交変換用空間光変
    調器と、該直交変換用空間光変調器の直交関数パターン
    上に前記原画像を分配し投影する画像分配器と、前記直
    交変換用空間光変調器の画像間の積演算の結果を和演算
    して原画像全体の直交関数展開係数を得る受光素子アレ
    イと、該受光素子アレイにより得られた直交関数展開係
    数を量子化・符号化する量子化・符号化器とを具備し、
    前記画像復元部は、前記画像圧縮部により符号化されて
    伝送されたデータ系列を直交関数展開係数に復元する復
    号化・逆量子化器と、該復号化・逆量子化器により復元
    された直交関数展開係数の大きさに応じた明るさの光源
    をもつ表示用光源と、光変調用の直交関数パターンが記
    録され、前記表示用光源からの光の透過により積演算を
    同時かつ並列的に行う直交変換用空間光変調器と、該直
    交変換用空間光変調器により得られた画像を空間的かつ
    時間的に重ね合わせる2次元レンズアレイを具備したこ
    とを特徴とする画像符号化復元システム。
  3. 【請求項3】記画像分配器の歪特性を補償するため
    に、前記空間光変調器に正規の直交関数パターン系列そ
    のものではなく、正規の直交関数パターンに前記画像分
    配器の歪補償特性を掛けた歪直交関数パターンを与える
    ことを特徴とする請求項2記載の画像符号化復元システ
JP16017492A 1992-05-27 1992-05-27 画像符号化復元システム Expired - Fee Related JP2774738B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP16017492A JP2774738B2 (ja) 1992-05-27 1992-05-27 画像符号化復元システム
EP19930303840 EP0577258B1 (en) 1992-05-27 1993-05-18 Image compressing and restoration using orthogonal function pattern
DE1993625619 DE69325619T2 (de) 1992-05-27 1993-05-18 Bildkomprimierung und -dekomprimierung mittels orthogonaler Musterfunktionen
US08/066,588 US5537492A (en) 1992-05-27 1993-05-25 Picture compressing and restoring system and record pattern forming method for a spatial light modulator

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16017492A JP2774738B2 (ja) 1992-05-27 1992-05-27 画像符号化復元システム

Publications (2)

Publication Number Publication Date
JPH05333398A JPH05333398A (ja) 1993-12-17
JP2774738B2 true JP2774738B2 (ja) 1998-07-09

Family

ID=15709453

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16017492A Expired - Fee Related JP2774738B2 (ja) 1992-05-27 1992-05-27 画像符号化復元システム

Country Status (4)

Country Link
US (1) US5537492A (ja)
EP (1) EP0577258B1 (ja)
JP (1) JP2774738B2 (ja)
DE (1) DE69325619T2 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3453407B2 (ja) * 1992-08-31 2003-10-06 キヤノン株式会社 画像処理装置、画像出力装置、画像出力システム、およびその方法
JPH07322252A (ja) * 1994-05-23 1995-12-08 Canon Inc 画像符号化装置
JP3112800B2 (ja) * 1994-05-30 2000-11-27 シャープ株式会社 光演算装置
WO1997001832A1 (en) * 1995-06-27 1997-01-16 Mikoh Technology Limited A method of reproducing information
GB9518984D0 (en) * 1995-09-16 1995-11-15 Univ Montfort Storing and/or transmitting 3d images
US6323910B1 (en) 1998-03-26 2001-11-27 Clark, Iii William T. Method and apparatus for producing high-fidelity images by synchronous phase coherent digital image acquisition
US7515753B2 (en) 1999-05-19 2009-04-07 Lenslet Labs Ltd. Phase extraction in optical processing
WO2000072267A1 (en) 1999-05-19 2000-11-30 Lenslet, Ltd. Image compression
US6879427B2 (en) 2000-04-10 2005-04-12 Lenslet Ltd. Shear inducing beamsplitter for interferometric image processing
IL135944A0 (en) * 2000-05-03 2001-05-20 Jtc 2000 Dev Delaware Inc Optical linear processor
IL145245A0 (en) * 2001-09-03 2002-06-30 Jtc 2000 Dev Delaware Inc System and method including vector-matrix multiplication
US7301625B2 (en) * 2005-01-19 2007-11-27 Duke University Static two-dimensional aperture coding for multimodal multiplex spectroscopy
US8654815B1 (en) 2004-04-02 2014-02-18 Rearden, Llc System and method for distributed antenna wireless communications
US9819403B2 (en) 2004-04-02 2017-11-14 Rearden, Llc System and method for managing handoff of a client between different distributed-input-distributed-output (DIDO) networks based on detected velocity of the client
US10277290B2 (en) 2004-04-02 2019-04-30 Rearden, Llc Systems and methods to exploit areas of coherence in wireless systems
US9826537B2 (en) 2004-04-02 2017-11-21 Rearden, Llc System and method for managing inter-cluster handoff of clients which traverse multiple DIDO clusters
US10425134B2 (en) 2004-04-02 2019-09-24 Rearden, Llc System and methods for planned evolution and obsolescence of multiuser spectrum
US7634148B2 (en) * 2005-01-07 2009-12-15 Ntt Docomo, Inc. Image signal transforming and inverse-transforming method and computer program product with pre-encoding filtering features
US10148897B2 (en) 2005-07-20 2018-12-04 Rearden, Llc Apparatus and method for capturing still images and video using coded lens imaging techniques
US7671321B2 (en) 2005-01-18 2010-03-02 Rearden, Llc Apparatus and method for capturing still images and video using coded lens imaging techniques
US7920086B2 (en) * 2006-07-07 2011-04-05 Honeywell International Inc. Display for displaying compressed video
US8970646B2 (en) 2008-07-09 2015-03-03 Ostendo Technologies, Inc. Image construction based video display system
US8681185B2 (en) 2009-03-05 2014-03-25 Ostendo Technologies, Inc. Multi-pixel addressing method for video display drivers
DE102009016234B4 (de) * 2009-04-03 2014-03-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Strahlformer
US9160914B2 (en) * 2011-06-28 2015-10-13 Inview Technology Corporation User control of the visual performance of a compressive imaging system
US11189917B2 (en) 2014-04-16 2021-11-30 Rearden, Llc Systems and methods for distributing radioheads
US9923657B2 (en) 2013-03-12 2018-03-20 Rearden, Llc Systems and methods for exploiting inter-cell multiplexing gain in wireless cellular systems via distributed input distributed output technology
US10488535B2 (en) 2013-03-12 2019-11-26 Rearden, Llc Apparatus and method for capturing still images and video using diffraction coded imaging techniques
US9973246B2 (en) 2013-03-12 2018-05-15 Rearden, Llc Systems and methods for exploiting inter-cell multiplexing gain in wireless cellular systems via distributed input distributed output technology
RU2767777C2 (ru) 2013-03-15 2022-03-21 Риарден, Ллк Системы и способы радиочастотной калибровки с использованием принципа взаимности каналов в беспроводной связи с распределенным входом - распределенным выходом
US9681051B2 (en) * 2013-08-19 2017-06-13 Massachusetts Institute Of Technology Method and apparatus for motion coded imaging

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4005385A (en) * 1975-06-23 1977-01-25 General Electric Company Pattern recognition machine for analyzing line orientation
US4354247A (en) * 1980-05-29 1982-10-12 Rockwell International Corporation Optical cosine transform system
US4590608A (en) * 1980-05-30 1986-05-20 The United States Of America As Represented By The Secretary Of The Army Topographic feature extraction using sensor array system
US4892370A (en) * 1987-03-09 1990-01-09 Lee Yun Parn T Means and method for implementing a two-dimensional truth-table look-up holgraphic processor
US4892408A (en) * 1988-03-03 1990-01-09 Grumman Aerospace Corporation Reference input patterns for evaluation and alignment of an optical matched filter correlator
US5235439A (en) * 1988-07-18 1993-08-10 Northrop Corporation Volume-holographic inner product processor
JPH02120917A (ja) * 1988-10-29 1990-05-08 Nippon Telegr & Teleph Corp <Ntt> 光フアイブリッド演算器
JPH02127625A (ja) * 1988-11-08 1990-05-16 Nippon Telegr & Teleph Corp <Ntt> 光離散コサイン変換演算器及びそれを用いた画像符号化装置
JPH0391878A (ja) * 1989-09-05 1991-04-17 Hamamatsu Photonics Kk 1次処理を用いた光ニユーラルネツトワーク装置
US5107351A (en) * 1990-02-16 1992-04-21 Grumman Aerospace Corporation Image enhanced optical correlator system
US5262979A (en) * 1991-08-19 1993-11-16 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Optoelectronic associative memory
US5216529A (en) * 1992-01-15 1993-06-01 Bell Communications Research, Inc. Holographic code division multiple access
US5339305A (en) * 1992-08-14 1994-08-16 Northrop Grumman Corporation Disk-based optical correlator and method
US5327286A (en) * 1992-08-31 1994-07-05 Texas Instruments Incorporated Real time optical correlation system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JAPANESE JOURNAL OF APPLIED PHYSICS,VOL.31 NO.5B PP.1672−1676(1992年5月発行)K.W.WONG AND L.M.CHENG,「OPTICAL COSINE TRANSFORM USING MICROLENS ARRAY AND PHASE−CONJUGATE MIRROR」

Also Published As

Publication number Publication date
DE69325619T2 (de) 1999-12-09
JPH05333398A (ja) 1993-12-17
EP0577258B1 (en) 1999-07-14
EP0577258A3 (en) 1994-09-28
US5537492A (en) 1996-07-16
DE69325619D1 (de) 1999-08-19
EP0577258A2 (en) 1994-01-05

Similar Documents

Publication Publication Date Title
JP2774738B2 (ja) 画像符号化復元システム
Shi et al. Image and video compression for multimedia engineering: Fundamentals, algorithms, and standards
EP0516826B1 (en) Metric conversion mechanism for digital images in a hierarchical, multi-resolution, multi-use environment
JP2534534B2 (ja) 符号化局から復号化局へ変換符号化されたデジタル画像信号を転送するテレビジョンシステム
US6304606B1 (en) Image data coding and restoring method and apparatus for coding and restoring the same
US5485279A (en) Methods and systems for encoding and decoding picture signals and related picture-signal records
US5121191A (en) Method and apparatus for coding motion pictures
JP3392946B2 (ja) 電子スチルカメラ及び画像再生装置
EP0643535A1 (en) Method and apparatus for coding video signal, and method and apparatus for decoding video signal
US20020114077A1 (en) Integral three-dimensional imaging with digital reconstruction
JPS59132291A (ja) 画像のデイジタル処理方法および装置
ES2081270T1 (es) Metodo y aparato para realizar una imagen de escala de grises utilizando una mascara de ruido azul.
JPH0630391A (ja) 大域ブロック変換を用いた圧縮画像データに頑強性を付与するための装置および方法
US20060256436A1 (en) Integral three-dimensional imaging with digital reconstruction
KR100510756B1 (ko) 화상복호화장치와 그 방법 및 화상재생장치
US6115423A (en) Image coding for liquid crystal displays
US5793428A (en) Self-encoded deltas for digital video data transmission
Novak et al. A comparison of two image compression techniques for softcopy photogrammetry
US6226445B1 (en) Image compression and expansion device
Filip Efficient method for image compression in the wavelet transform domain
US6208754B1 (en) Image compression and expansion device using pixel offset
Sekmen et al. Compressed Exposure Sequences for HDR Imaging
KR100530745B1 (ko) 고해상도 영상신호를 저해상도 디스플레이 장치에 디스플레이하는 디스플레이 방법
ASELSAN Compressed Exposure Sequences for HDR Imaging
Forman et al. Compression of full-parallax integral 3D-TV image data

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080424

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090424

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090424

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100424

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100424

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110424

Year of fee payment: 13

LAPS Cancellation because of no payment of annual fees