JP2002165064A - 撮像素子、画像入力装置及び画像データ処理方法 - Google Patents

撮像素子、画像入力装置及び画像データ処理方法

Info

Publication number
JP2002165064A
JP2002165064A JP2000361850A JP2000361850A JP2002165064A JP 2002165064 A JP2002165064 A JP 2002165064A JP 2000361850 A JP2000361850 A JP 2000361850A JP 2000361850 A JP2000361850 A JP 2000361850A JP 2002165064 A JP2002165064 A JP 2002165064A
Authority
JP
Japan
Prior art keywords
sensor
image
pixel
photoelectric conversion
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000361850A
Other languages
English (en)
Other versions
JP4360749B2 (ja
Inventor
Kazuhisa Tajima
一久 田島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Kyushu Ltd
Original Assignee
NEC Kyushu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Kyushu Ltd filed Critical NEC Kyushu Ltd
Priority to JP2000361850A priority Critical patent/JP4360749B2/ja
Publication of JP2002165064A publication Critical patent/JP2002165064A/ja
Application granted granted Critical
Publication of JP4360749B2 publication Critical patent/JP4360749B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Input (AREA)
  • Image Processing (AREA)
  • Facsimile Heads (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

(57)【要約】 【課題】 単一解像度で画像データを取り込み、演算処
理により得ていた他の解像度の画像の画質を改善できる
リニアセンサを提供する。 【解決手段】 リニアセンサ10は、表面にカラーフィ
ルタが設けられたR色センサ部100、G色センサ部2
00、B色センサ部300を含み、各センサ部100,
200,300は、それぞれ異なる解像度に対応した複
数のセンササブブロックを備える。R色センサ部100
は、それぞれ異なる第1,第2,第3解像度に対応する
センササブブロック110,120,130を備え、そ
れぞれ、16個の光電変換素子111からなる光電変換
素子列112、8個の光電変換素子121からなる光電
変換素子列122、及び4個の光電変換素子131から
なる光電変換素子列132を含み構成されている。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、所定の長さの直線
状光電変換素子列を複数備えた撮像素子であるリニアセ
ンサに関し、特にその光電変換素子列の構造とそのリニ
アセンサにより取り込んだ画像データの処理方法に関す
る。
【0002】
【従来の技術】従来のリニアセンサは、例えば特開平5
−227364号公報(以下、公知例とする)に開示さ
れたカラーリニアセンサのように、センサ部は各色毎に
複数の受光素子を一方向に単列で配列した構成となって
いた。
【0003】図9は、この公知例に開示されたカラーリ
ニアセンサの模式的な平面図である。このカラーリニア
センサ900は、青色フィルタを上面に有して複数の受
光素子902Bを一方向に配列した青色センサ部(即ち
青色センサ列)903Bと、赤色フィルタを上面に有し
て複数の受光素子902Rを一方向に配列した赤色セン
サ部(即ち赤色センサ列)903Rと、緑色フィルタを
上面に有して複数の受光素子902Gを一方向に配列し
た緑色センサ部(即ち緑色センサ列)903Gとが互に
平行に配され、各センサ列903B,903R,903
Gの一側にそれぞれCCD構造の青色用、赤色用及び緑
色用の電荷転送レジスタ部904B,904R及び90
4Gが配される。更に、各電荷転送レジスタ部904
B,904R及び904Gの終段にそれぞれ信号電荷を
電圧に変換するためのフローティングディフージョン部
905B,905R,905Gを介して出力回路906
B,906R,906Gが接続されている。尚、各色セ
ンサ列903B,903R,903Gの面積は同一にな
っている。
【0004】このカラーリニアセンサ1は、各センサ列
903B,903R,903Gの受光素子902B,9
02R,902Gに受光量に応じた信号電荷が蓄積さ
れ、各受光素子902B,902R,902Gの信号電
荷がそれぞれ対応する電荷転送レジスタ部904B,9
04R,904Gに転送された後、各電荷転送レジスタ
部904B,904R,904G内を転送され、各フロ
ーティングディフージョン部905B,905R,90
5Gで電荷−電圧変換されてそれぞれの出力回路906
B,906R,906Gを通して出力される。
【0005】図9のカラーリニアセンサの例にも示され
る通り、従来のリニアセンサは各色毎に単一の光電変換
素子列を備え、各光電変換素子列を構成する受光素子の
配置ピッチが一定で、少なくともリニアセンサが直接読
み取る主走査方向の解像度は通常一定である。
【0006】リニアセンサを使った代表的な装置である
走査式撮像装置(通称スキャナ)は、撮像対象である写
真等の原稿や現像済みフィルムの表面を光学的に走査す
ることにより2次元的な画像情報としてパソコン等の電
子装置へ取り込む機能を持つ。従って、センサ部である
所定の長さの直線状光電変換素子列をより小さな光電変
換素子をより多く配列して構成する、即ち単位長当たり
の画素数をより多くして解像度を高くすることにより、
撮像対象により近い精細な画像を得ることができる。し
かし、高解像度化を単位長当たりの画素数の増加のみで
実現しようとすると、画素数の増加はデータ量として直
接反映されるため精細な画像ほどデータ量が巨大となる
と共にリニアセンサも高価なものとなる。そうなると、
その情報をパソコン等で取り込み加工して利用しようと
した場合、逆にそのデータ量の巨大さがそれを取り扱う
上での障害となるため、利用目的に応じて適切な解像度
を選択し、データ量を随時適正化することが行われてい
る。
【0007】上述した従来のリニアセンサを用いた撮像
装置では、取り込んだ画像情報に所定の演算処理を施し
て解像度変換を行うことで、所望のレベルの解像度の画
像情報を擬似的に作り出している。この解像度変換の方
法としては、例えば特開20000−149004号公
報に開示されているような、解像度変換後の画素が存在
する位置を、変換前解像度の画素位置を基準として求
め、隣接する変換前解像度の画素との距離に基づいて重
み付け演算を行うことで、解像度変換後の画素値を求め
る方法がある。
【0008】具体的には、例えば変換前解像度dpi値
をm、変換後解像度dpi値をnとし(但し、m,n
は、いずれも2以上の整数とする)、変換前解像度のh
番目の画素データをP(h)(但し、hは1≦h≦mを
満たす任意の整数)、変換後解像度のj番目の画素デー
タをQ(j)(但し、jは2≦j≦n−1を満たす任意
の整数)、((m−1)/(n−1))=αとして、α
×jを超えない最大の整数をk(j)、即ちk(j)≦
α×j<(k(j)+1)を満たす整数としたとき、解
像度変換後の画素値Q(j)(但し、2≦j≦n−1)
を、次のように算出する。
【0009】また、j=1,j=nについては、それぞ
れQ(1)=P(1),Q(n)=P(m)とする。
【0010】或いは、解像度変換後の画素に対応する変
換前解像度の全ての画素の画素値を平均化処理する方法
もある。この場合は、1≦j≦nに対して、やはり(m
/n)×jを超えない最大の整数をk(j)、即ちk
(j)≦(m/n)×j<(k(j)+1)を満たす整
数とすると、次式のようになる。
【0011】
【発明が解決しようとする課題】上述した、従来のリニ
アセンサでは、いずれも一つのリニアセンサ内での画素
ピッチ、即ち光電変換素子列の素子配置ピッチは一定で
(通常、当該センサに求められる最高解像度に対応する
ピッチ)、光電変換素子列で定まる基本解像度以外の解
像度(通常は基本解像度よりも低解像度)データを生成
するには、上述のように基本解像度データの間引き或い
は平均化処理のような演算処理により生成していた。そ
のため、変換後解像度が、光電変換素子列で定まる基本
解像度である変換前解像度の整数分の1倍、即ち(m/
n)が整数となるような変換の場合は、基本解像度デー
タの単純な間引き或いは、(m/n)個の画素値の平均
化処理で変換できるため、(m/n)が整数とならない
場合の変換より、画質の劣化は比較的緩和されるが、
(m/n)が大きいほど演算処理に伴う誤差が大きくな
るという問題がある。
【0012】また、高解像度化を単にリニアセンサの単
位長当たりの画素数を増やすことのみで対応しようとす
ると、リニアセンサが高価なものになるという問題もあ
る。
【0013】本発明の主な目的の一つは、リニアセンサ
が有する基本解像度で取り込んだ画像データから、演算
処理により他の解像度の変換画像データを生成する際
に、変換画像の画質の劣化を抑制できるリニアセンサを
提供することにある。
【0014】また、本発明の他の目的は、このリニアセ
ンサを用いて予め取り込んだ複数の解像度の画像データ
とそれらの明度情報により、部分画像毎に明度に応じた
最適解像度データによる合成解像度画像を生成し、画質
劣化を抑制しながら情報量を低減できる画像処理方法を
提供することにある。
【0015】また、本発明の他の目的は、リニアセンサ
が有する基本解像度よりも高解像度の画像データを、演
算処理による変換画像の画質劣化を抑制しながら、擬似
的に得ることができる画像入力装置を提供することにあ
る。
【0016】
【課題を解決するための手段】そのため、本発明による
撮像素子は、所定の数の光電変換素子を直線状に配列し
た光電変換素子列と、この光電変換素子列に沿って設け
られ前記光電変換素子列の信号電荷を並列に読み出して
直列に転送するCCDシフトレジスタと、このCCDシ
フトレジスタの電荷転送方向の先端部に設けられた電荷
/電圧変換を行う出力回路とを含むセンササブブロック
を複数備えたセンサ部を同一チップ上に有し、このセン
サ部を構成する複数の前記センササブブロックの各々が
有する前記光電変換素子列の長さは全て等しく且つ前記
光電変換素子の数が互いに異なっていることを特徴とし
ている。
【0017】また、この撮像素子を、所定の色フィルタ
と、この色フィルタに対応して設けられた所定の数の光
電変換素子を直線状に配列した光電変換素子列と、この
光電変換素子列に沿って設けられ前記光電変換素子列の
信号電荷を並列に読み出して直列に転送するCCDシフ
トレジスタと、このCCDシフトレジスタの電荷転送方
向の先端部に設けられた電荷/電圧変換を行う出力回路
とを含むセンササブブロックを複数備え、更に前記セン
ササブブロックの各々が有する前記光電変換素子列の長
さは全て等しく且つ前記光電変換素子の数が互いに異な
っているセンサ部を同一チップ上に複数有し、且つ一つ
の前記センサ部内の前記色フィルタは全て同じ色であ
り、異なる前記センサ部の色フィルタの色は互いに異な
っているように構成することもできる。
【0018】このとき、複数の前記センサ部は、色フィ
ルタを除く構成要素が全て同一構成となっているのが望
ましい。また、前記所定の色フィルタが、赤色フィルタ
である第1のセンサ部と、緑色フィルタである第2のセ
ンサ部と、青色フィルタである第3のセンサ部を有する
ようにしてもよい。
【0019】また、上述の撮像素子は、いずれも複数の
前記センササブブロックのそれぞれの前記出力回路から
の全ての出力信号を、互いに独立に外部出力できる出力
端を更に備えることができる。また、複数の前記センサ
サブブロックを、それぞれに含まれる前記光電変換素子
列が互いに並行になるように配置するのが好ましい。ま
た、一つの前記センサ部が備える複数の前記センササブ
ブロックの各々が有する前記光電変換素子の数は、前記
光電変換素子の数が最も少ない第1センササブブロック
の前記光電変換素子の数の整数倍となっているのが望ま
しい。また、一つの前記センサ部が備える複数の前記セ
ンササブブロックの中の前記第1センササブブロック以
外の任意のセンササブブロックを第2センササブブロッ
クとし、前記第1センササブブロックと前記第2センサ
サブブロックの各々が含む前記光電変換素子の数をそれ
ぞれN1,N2、各々が含む前記光電変換素子1個当た
りの面積をそれぞれS1,S2としたとき、 (N2/N1)2 =S1/S2 とすることもできる。
【0020】また、本発明の画像入力装置は、撮像対象
からの信号光を分岐する光分岐手段と、分岐された各光
路上の所定位置にそれぞれ配置された撮像素子と、少な
くとも一つの前記撮像素子を前記所定位置から移動させ
る移動手段と、この移動手段を制御する画素位置制御手
段とを少なくとも含み構成される。
【0021】又、本発明の画像データ処理方法は、撮像
対象からp種類(但し、pは2以上の整数)の解像度の
画像データを取り込むと共に、q番目(但しqは、1≦
q≦p−1を満たす整数)の解像度のdpi値をN
(q)で表したとき、N(q)<N(q+1)となるよ
うに各解像度の前記画像データを順序づけておく第1ス
テップと、所望の画質の画像を得るために必要な解像度
を明度に応じて示す明度・解像度相関グラフを準備し、
q番目の解像度で必要な画質の画像を得ることが出来る
明度領域を第1明度領域B(q)と表したとき、p種類
の解像度の各々の第1明度領域B(1)〜B(p)を予
め区分する第2ステップと、q番目の画像データの各第
1画素から第1明度情報を抽出すると共に(q+1)番
目の画像データの各第2画素から第2明度情報を抽出
し、前記第1明度が前記第1明度領域B(q)内に含ま
れている第1グループと、前記第1明度領域B(q)の
外にある第2グループとに前記第1画素を分類するする
第3ステップと、前記第1グループに属する第1画素の
各々について、当該第1画素に対応する前記撮像対象上
の第1画素領域に対応する(q+1)番目の画像データ
の複数の第2画素の各第2明度が前記第1明度領域B
(q)内に含まれているか判定し、一つの前記第1画素
領域に対応する全ての前記第2画素の前記第2明度が前
記第1明度領域B(q)内に含まれているときは、前記
第1画素のデータを当該第1画素領域の画素データとし
て保持し、一つの前記第1画素領域に対応する第2画素
の第2明度が一つでも前記第1明度領域B(q)外にあ
る場合は、当該第1画素領域の画素データを当該第1画
素領域に対応する第2画素のデータに置換する第4ステ
ップと、前記第2グループに属する第1画素について
は、それぞれの第1画素のデータを当該第1画素領域に
対応する第2画素のデータに置換する第5ステップと、
を含み、前記第3ステップから前記第5ステップまでを
q=1からq=(p−1)まで順番に実行するようにし
て構成される。
【0022】
【発明の実施の形態】次に、本発明の実施形態につい
て、図面を参照しながら説明する。
【0023】図1は、本発明のリニアセンサの一実施形
態の要部構成を模式的に示す図で、(a)はリニアセン
サの全体平面図であり、(b)は(a)の中の一つのセ
ンサ部の詳細平面図である。図2は、本発明のリニアセ
ンサの動作を説明するための図で、撮像対象となる原稿
の模式的な平面図である。図3は、本発明のリニアセン
サを用いた画像入力装置の要部回路構成の概略を示すブ
ロック図である。
【0024】図1を参照すると、本実施形態のリニアセ
ンサ10は、少なくとも表面に赤色,緑色,青色(以
下、それぞれR色,G色,B色とする)の各カラーフィ
ルタが設けられたR色センサ部100、G色センサ部2
00、B色センサ部300を、例えばシリコン基板から
なる同一チップ基板(図示せず)上に含み、各センサ部
100,200,300は、それぞれ異なる解像度に対
応した複数のセンササブブロックを備えている。具体的
にはR色センサ部100を例にとると、それぞれ異なる
第1,第2,第3解像度に対応するセンササブブロック
110,120,130を備えている。第1解像度に対
応するセンササブブロック110は、16個の光電変換
素子111からなる光電変換素子列112と、光電変換
素子列112に沿って並行に設けられたCCDシフトレ
ジスタ113と、このCCDシフトレジスタ113の電
荷転送方向の先端部に設けられた出力回路115と、出
力回路115の出力を外部に接続するための出力端11
7と、を含み構成されている。同様に、第2解像度に対
応するセンササブロック120は、8個の光電変換素子
121からなる光電変換素子列122と、光電変換素子
列122に沿って並行に設けられたCCDシフトレジス
タ123と、このCCDシフトレジスタ123の電荷転
送方向の先端部に設けられた出力回路125と、出力回
路125の出力を外部に接続するための出力端127
と、を含み構成されている。また、第3解像度に対応す
るセンササブロック130は、4個の光電変換素子13
1からなる光電変換素子列132と、光電変換素子列1
32に沿って並行に設けられたCCDシフトレジスタ1
33と、このCCDシフトレジスタ133の電荷転送方
向の先端部に設けられた出力回路135と、出力回路1
35の出力を外部に接続するための出力端137と、を
含み構成されている。各CCDシフトレジスタ113,
123,133は、それぞれ光電変換素子列112,1
22,132で生成した信号電荷を並列に読み出して直
列に転送し、電荷転送方向の先端部にそれぞれ設けられ
た出力回路115,125,135で電荷/電圧変換を
行って各出力端117,127,137より外部に出力
する。尚、各光電変換素子列112,122,132の
長さは全て等しくなっている。また、本実施形態では、
光電変換素子111,121,131の受光面形状を正
方形とし、それぞれの1辺の長さをS1,S2,S3と
すると、S3=2×S2=4×S1となるようにしてあ
る。従って、センササブブロック110による第1解像
度は、センササブブロック120による第2解像度の2
倍であり、センササブブロック120による第2解像度
は、センササブブロック130による第3解像度の2倍
である。
【0025】尚、G色センサ部200,B色センサ部3
00も、表面に設けられたカラーフィルタが異なるだけ
で、その他はR色センサ部100と全く同じ構成であ
り、図示、説明は省略する。
【0026】次に、このリニアセンサ10を、例えば図
3のような画像入力装置1で用いたときのリニアセンサ
10の動作について、図2,3も参照しながら説明す
る。尚、以下では、各光電変換素子列112,122,
132の長手方向(図中、X方向)、即ち光電変換素子
111,121,131の配列方向を主走査方向とし、
主走査方向に直角な方向(図中、Y方向)を副走査方向
として説明する。
【0027】画像入力装置1は、例えば撮像対象を照射
する図示されていない光源と、撮像対象からの画像情報
を取り込むリニアセンサ10と、リニアセンサ10を駆
動する駆動回路12と、リニアセンサ10で取り込んだ
画像データを処理する信号処理回路20と、処理された
画像データをメモリ制御回路21を介して記憶する記憶
手段23と、画像メモリブロック25と、画像表示部3
0と、装置全体の同期信号を生成し制御する同期制御回
路27を備えている。尚、記憶手段23としては、半導
体メモリ或いはハードディスク等を用いることができ、
画像表示部30としては、ディスプレイ或いはプリンタ
等の印画装置を用いることができる。また、画像メモリ
ブロック25は、信号処理回路20からの画像データ或
いは記憶手段23に記憶されている画像データを画像表
示部30に適したフォーマットに変換して画像表示部3
0に供給する。
【0028】上記の画像入力装置1のリニアセンサ10
上を、図2に示すような撮像対象となる例えばカラー写
真等の原稿500を、所定の光を照射しながら所定のピ
ッチd、時間間隔t(通常は、最高解像度に対応するピ
ッチ、時間間隔)で副走査方向に相対的に移動させる。
このとき、センササブブロック110では、原稿の移動
に合わせて、このピッチd、時間間隔tで順次画像デー
タを取り込むとすると、センササブブロック120で
は、ピッチ2d、時間間隔2tで画像データを取り込
み、センササブブロック130では、ピッチ4d、時間
間隔4tで画像データを取り込むようにしてある。これ
により、一つの原稿を1回走査するだけで、3段階の解
像度の画像データを取り込むことができる。しかも、そ
れぞれの光電変換素子111,121,131の受光面
を、それぞれの1辺の長さS1,S2,S3が、S3=
2×S2=4×S1となる関係を満足する正方形に形成
している。従って、各センササブブロック110,12
0,130により取り込まれる原稿500上の画素は、
それぞれ画素510,520,530となるので、解像
度が異なっていても原稿500の情報の欠落は生じな
い。
【0029】上記のようにして、リニアセンサ10によ
り取り込まれた各色、各解像度のデータは、例えば信号
処理回路20で信号処理され、メモリ制御回路21を介
して記憶手段23に記憶される。このとき、記憶手段2
3中の画像データを、例えば図4のように、各色単位で
第1,第2,第3解像度の画像データをまとめたファイ
ル構成となるようにしておくのが望ましい。
【0030】上述の通り、本発明のリニアセンサ10を
画像入力装置のリニアセンサとして用いることにより、
撮像対象を1回走査するだけで、異なる解像度間での撮
像対象情報の欠落なしに複数の解像度の画像データを取
り込むことができる。従って、複数の解像度を適切に選
択(使用頻度の高い解像度を選択)するようにしておけ
ば、選択された解像度については、従来のように高解像
度データからの演算処理による解像度変換処理が不要と
なり、且つ撮像対象の情報欠落のない画像データが得ら
れるので、画像品質が向上する。また、複数の解像度に
含まれない解像度への変換に際しても、直近の上位解像
度の画像データから変換するようにすることで、画像デ
ータ補間時の誤差が大幅に低減され、変換画像の画質の
劣化が抑制される。
【0031】次に、本発明の画像入力装置について説明
する。
【0032】図5は、本発明の画像入力装置の一実施形
態を説明するための模式的なブロック図である。図5を
参照すると、本実施形態の画像入力装置50は、図示さ
れていない撮像対象からの信号光80を例えば3路に分
岐する光分岐手段であるダイクロイック・プリズム(以
下、単にプリズムとする)51と、このプリズム51が
分岐した信号光の光路上に配置したいずれも同一解像度
の撮像素子であるリニアセンサ53,54,55と、リ
ニアセンサ54,55の位置を調整する移動手段である
微動装置57,58と、微動装置57,58を制御する
画素位置制御手段である画素位置コントロール回路61
と、リニアセンサ53〜55を駆動する駆動回路62
と、リニアセンサ53〜55で取り込んだ画像データを
処理する信号処理回路64と、処理された画像データを
メモリ制御回路66を介して記憶する記憶手段68と、
画像メモリブロック70と、画像表示部72と、装置全
体の同期信号を生成し制御する同期制御回路74を備え
ている。リニアセンサ53〜55は、全て同一解像度の
リニアセンサで構成している。記憶手段68としては、
半導体メモリ或いはハードディスク等を用いることがで
き、画像表示部72としては、ディスプレイ或いはプリ
ンタ等の印画装置を用いることができる。画像メモリブ
ロック70は、信号処理回路64からの画像データ或い
は記憶手段68に記憶されている画像データを画像表示
部72に適したフォーマットに変換して画像表示部72
に供給する。尚、記憶手段68としては、半導体メモリ
或いはハードディスク等を用いることができ、画像表示
部72としては、ディスプレイ或いはプリンタ等の印画
装置を用いることができる。また、画像メモリブロック
70は、信号処理回路64からの画像データ或いは記憶
手段68に記憶されている画像データを画像表示部72
に適したフォーマットに変換して画像表示部72に供給
する。
【0033】この画像入力装置50は、信号光80をプ
リズム51で分岐し、リニアセンサ53〜55に信号光
80を分岐した同一の信号光80a,80b,80cを
それぞれ入力するようにし、リニアセンサ54,55を
それぞれ微動装置57,58に搭載して、プリズム51
の当該リニアセンサに対する信号光の出射面と並行に移
動させることができるようにし、取込画像の画素位置を
調整できるようにしてある。リニアセンサ53の位置
は、可変にしてもよいが、リニアセンサ53〜55それ
ぞれが取り込む画像の相対的な画素位置のみが重要であ
るので、ここでは固定位置としてある。図6はこの画像
入力装置50により擬似的に解像度を向上させる方法を
説明するための図で、同一画像信号に対するリニアセン
サ53,54,55の光電変換素子150の位置を模式
的に示す図である。また、図7はリニアセンサで取り込
まれる画像情報の撮像対象600上での対応位置を模式
的に示す図で,(a),(b)及び(c)がそれぞれリ
ニアセンサ53,54,55で取り込む位置を示してい
る。図6及び7を参照すると、例えば画素ピッチをdと
すると、リニアセンサ54の取込情報は、リニアセンサ
53の取込情報に対してd/3ずれており、リニアセン
サ55の取込情報は、リニアセンサ54の取込情報に対
してd/3,リニアセンサ53の取込情報に対しては2
d/3ずれるように、微動装置57,58を画素位置コ
ントロール回路61で制御して、リニアセンサ54,5
5の位置を調整してある。即ち、リニアセンサ53〜5
5が、例えば撮像対象600から取り込む画像情報は、
それぞれ図7(a),(b),(c)の位置の画像情報
を取り込むように調整される。従って、このように構成
された画像入力装置51で取り込んだ画像情報を、例え
ばリニアセンサ53〜55で取り込んでものをそれぞれ
E1−1,E1−2,…E1−k,…、E2−1,E2
−2,…E2−k,…及びE3−1,E3−2,…E3
−k,…としたとき(但し、図7では“E”の表記は省
略してある)、これらの画像情報をE1−1,E2−
1,E3−1,E1−2,E2−2,E3−2,…E1
−k,E2−k,E3−k,…、のように並べて表示す
ることで、演算処理を行うことなく擬似的に各リニアセ
ンサ53〜55の解像度のほぼ3倍の解像度の画像にす
ることができる。
【0034】尚、リニアセンサ53〜55に、上述した
本発明のリニアセンサを用いれば、それぞれの基本解像
度のほぼ3倍の解像度の画像データを一度に生成するこ
ともできる。
【0035】次に、本発明の画像データの処理方法の一
実施形態について説明する。
【0036】本実施形態の画像データ処理方法は、撮像
対象からp種類(但し、pは2以上の整数)の解像度の
画像データを取り込むと共に、q番目(但しqは、1≦
q≦p−1を満たす整数)の解像度のdpi値をN
(q)で表したとき、N(q)<N(q+1)となるよ
うに各解像度の画像データを順序づけておく第1ステッ
プと、所望の画質の画像を得るために必要な解像度を明
度に応じて示す明度・解像度相関グラフを準備し、q番
目の解像度で必要な画質の画像を得ることが出来る明度
領域を第1明度領域B(q)と表したとき、p種類の解
像度の各々の第1明度領域B(1)〜B(p)を予め区
分する第2ステップと、q番目の画像データの各第1画
素から第1明度情報を抽出すると共に(q+1)番目の
画像データの各第2画素から第2明度情報を抽出し、第
1明度が第1明度領域B(q)内に含まれている第1グ
ループと、第1明度領域B(q)の外にある第2グルー
プとに第1画素を分類するする第3ステップと、第1グ
ループに属する第1画素の各々について、当該第1画素
に対応する撮像対象上の第1画素領域に対応する(q+
1)番目の画像データの複数の第2画素の各第2明度が
第1明度領域B(q)内に含まれているか判定し、一つ
の第1画素領域に対応する全ての第2画素の第2明度が
第1明度領域B(q)内に含まれているときは、第1画
素のデータを当該第1画素領域の画素データとして保持
し、一つの第1画素領域に対応する第2画素の第2明度
が一つでも第1明度領域B(q)外にある場合は、当該
第1画素領域の画素データを当該第1画素領域に対応す
る第2画素のデータに置換する第4ステップと、第2グ
ループに属する第1画素については、それぞれの第1画
素のデータを当該第1画素領域に対応する第2画素のデ
ータに置換する第5ステップと、を含み、第3ステップ
から第5ステップまでをq=1からq=(p−1)まで
順番に実行するようにして構成される。
【0037】次に、図8を参照して具体的な動作につい
て説明する。
【0038】図8は、本実施形態の画像データ処理方法
の動作を説明するための図で、(a),(b)はそれぞ
れ、所望の画質の画像を得るために必要な解像度を明度
に応じて示す明度・解像度相関グラフと、本処理方法に
より処理された結果の画像データの撮像対象上に模式的
に並列した例を示す配置図である。尚、ここでは分かり
易くするため高解像度の第1解像度が一段階下の第2解
像度の4倍になっている例で説明する。
【0039】図8(a)から分かるように、画像の明度
が中間の領域bが最も高解像度を必要とし、明度の低い
領域a或いは高い領域cにおいては、必要解像度は例え
ば一段階低い第2解像度以下となっている。従って、ま
ず第1ステップで、撮像対象700から第1解像度の画
像データA1,A2,…と、第2解像度の画像データa
1,a2,…,b1,b2,…,c1,c2,…,d
1,d2,…を取り込み、第2解像度の画像データを1
番目とし、第1解像度の画像データを2番目とする。
【0040】次に第2ステップで、図8(a)のグラフ
から1番目の解像度である第2解像度で必要な画質の画
像を得ることが出来る第1明度領域B(1)として、領
域A,Cが得られる。
【0041】次に、第3ステップで、1番目の画像デー
タの各画素A1,A2,…から第1明度情報を抽出する
と共に2番目の画像データの各画素a1,a2,…,b
1,b2,…,c1,c2,…,d1,d2,…から第
2明度情報を抽出し、第1明度が第1明度領域B(1)
内に含まれている第1グループと、第1明度領域B
(1)の外にある第2グループとに画素A1,A2,…
を分類する。ここでは、A1,A2,A3,A6,A7
は第1グループに属し、A4,A5は第2グループに属
しているものとする。
【0042】次に、第4ステップの処理を行う。まず、
第1グループに属する例えば画素A1に対応する撮像対
象上の第1画素領域A1(以下、画素と対応する画素領
域は同じ参照符号を用いることとする)に対応する2番
目の画像データの図示されていない画素a1,b1,c
1,d1の各明度が第1明度領域B(1)内に含まれて
いるか判定し、ここでは、全て含まれているものとする
と、画素A1のデータを第1画素領域A1の画素データ
として保持する。画素A2についても同様の処理を行
い、第1画素領域A2に対応する2番目の画像データの
図示されていない画素a2,b2,c2,d2の各明度
がやはり第1明度領域B(1)内に全て含まれているの
で、第1画素A2のデータを第1画素領域A2の画素デ
ータとして保持する。画素A3については、第1画素領
域A3に対応する2番目の画像データの画素a3,b
3,c3,d3の明度の中で、例えば画素c3の明度
が、第1明度領域B(1)外の図8(a)の領域bにあ
るとすると、第1画素領域A3の画素データをこの第1
画素領域A3に対応する2番目の画像データの画素a
3,b3,c3,d3のデータに置換する。以下、全て
の第1グループに属する画素Axについて同様の処理を
施す。
【0043】次に第5ステップで、第2グループに属す
る例えば画素A4,A5についてはそれぞれの画素デー
タを第1画素領域A4,A5に対応す2番目の画像デー
タの画素a4,b4,c4,d4と、画素a5,b5,
c5,d5のデータにそれぞれ置換する。以下、全ての
第1グループに属する画素Ayについて同様の処理を施
す。
【0044】以上説明したとおり本実施形態の画像デー
タ処理方法によれば、明度が領域bの範囲にあるとき
は、解像度の高い第1解像度のデータを用いるが、明度
が領域a或いは領域cの範囲にあるときは、一段階低い
第2解像度のデータを用いるようにして、部分画像毎に
明度に応じた最適解像度データによる合成解像度画像を
生成し、画質劣化を抑制しながら情報量を低減できる。
尚、このときの画像データは、図4に示すように各解像
度のデータと共に合成解像度データもまとめたファイル
構成にしておくのが好ましい。
【0045】又、上記した本発明のリニアセンサを用い
て画像データを取り込むようにすれば、複数の解像度の
画像データを一度に取り込むことができるので、この画
像データ処理方法に適した画像データを容易に取り込む
ことが出来る。
【0046】尚、解像度の種類が3種類以上ある場合で
も、低解像度側から上記手順を繰り返していけば、同様
にして明度に応じた最適解像度のデータによる合成解像
度画像を生成し、画質劣化を抑制しながら情報量を低減
できる。
【0047】尚、本発明は、上記実施形態の説明に限定
されるものでなく、その趣旨の範囲内で種々変更できる
ことは言うまでもない。例えば、リニアセンサに含まれ
る光電変換素子の形状を正方形の例で説明したが、同一
光電変換素子列内では同一形状且つ同一サイズであり、
異なる分解能の光電変換素子列に属する光電変換素子の
形状とは所定の比率の相似形になるようにしておけば、
矩形、円形及び楕円形を含む任意の形状であってよい。
【0048】また、画像入力装置のリニアセンサの数も
3個の例で説明したが、リニアセンサの解像度と目標と
する解像度の差に応じて必要数を適宜定めればよい。
【0049】
【発明の効果】以上説明したように、本発明の撮像素子
は、異なる解像度の画像情報を一度に取り込むことがで
き、撮像素子が備える基本解像度と異なる変換解像度の
画像情報を生成する際に、最も近い基本解像度の画像情
報を用いることができ、変換画像の画質劣化を抑制でき
るという効果が得られる。
【0050】また、画像の明度情報に基づき、画像の位
置毎に最適解像度の画像情報を組み合わせることで、画
質の劣化を抑制しながら画像情報のデータ量を低減でき
るという効果も得られる。
【0051】また、本発明の画像入力装置は、取込画像
の位置が所定量だけずれた複数のリニアセンサを備える
ことで、高価な高解像度のリニアセンサを用いなくて
も、擬似的にではあるが当該リニアセンサの解像度より
も高解像度の画像データを演算処理を施すことなく、従
って変換画像の画質の劣化を抑制しながら、得ることが
できるという効果が得られる。
【図面の簡単な説明】
【図1】本発明のリニアセンサの一実施形態の要部構成
を模式的に示す図で、(a)はリニアセンサの全体平面
図であり、(b)は(a)の中の一つのセンサ部の詳細
平面図である。
【図2】本発明のリニアセンサの動作を説明するための
図で、撮像対象となる原稿の模式的な平面図である。
【図3】本発明のリニアセンサを用いた画像入力装置の
要部回路構成の概略を示すブロック図である。
【図4】本発明のリニアセンサを用い画像入力装置にお
ける画像データのファイル構成例を模式的に示す図であ
る。
【図5】本発明の画像入力装置の一実施形態を説明する
ための模式的なブロック図である。
【図6】図5の画像入力装置により擬似的に解像度を向
上させる方法を説明するための図で、同一画像信号に対
する複数のリニアセンサの光電変換素子の相対的な位置
を模式的に示す図である。
【図7】リニアセンサで取り込まれる画像情報の撮像対
象上での対応位置を模式的に示す図で,(a),(b)
及び(c)は、3個のリニアセンサそれぞれが取り込む
撮像対象上の位置を示す。
【図8】本発明の画像データ処理方法の一実施形態の動
作を説明するための図で、(a),(b)はそれぞれ、
明度・解像度相関グラフと、本処理方法により処理され
た結果の画像データの撮像対象上に模式的に並列した例
を示す配置図である。
【図9】特開平5−227364号公報に開示されたカ
ラーリニアセンサの模式的な平面図である。
【符号の説明】
1,50 画像入力装置 10,53,54,55 リニアセンサ 12,62 駆動回路 20,64 信号処理回路 21,66 メモリ制御回路 23,68 記憶手段 25,70 画像メモリブロック 27,74 同期制御回路 30,72 画像表示部 51 プリズム 57,58 微動装置 61 画素位置コントロール回路 80,80a,80b,80c 信号光 100 R色センサ部 110,120,130 センササブブロック 111,121,131,150 光電変換素子 112,122,132 光電変換素子列 113,123,133 CCDシフトレジスタ 115,125,135 出力回路 117,127,137 出力端 200 G色センサ部 300 B色センサ部 500 原稿 510,520,530 画素 600,700 撮像対象
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 1/387 101 H04N 9/09 A 5C076 9/07 1/04 D 9/09 102 Fターム(参考) 5B047 AA01 AB04 BB03 BC01 CB22 DC09 5B057 AA11 BA12 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CD05 CE11 DB02 DB06 DB09 DC22 5C051 AA01 BA03 DA03 DA06 DB01 DB23 DC02 DC07 DE11 EA01 5C065 AA07 BB48 CC07 CC08 DD03 DD16 GG30 GG44 HH02 HH03 5C072 AA01 BA02 DA09 EA05 EA08 FA07 QA10 UA17 5C076 AA21 AA22 BA01 BA06 BB04 BB06 CB01

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 所定の数の光電変換素子を直線状に配列
    した光電変換素子列と、この光電変換素子列に沿って設
    けられ前記光電変換素子列の信号電荷を並列に読み出し
    て直列に転送するCCDシフトレジスタと、このCCD
    シフトレジスタの電荷転送方向の先端部に設けられた電
    荷/電圧変換を行う出力回路とを含むセンササブブロッ
    クを複数備えたセンサ部を同一チップ上に有し、このセ
    ンサ部を構成する複数の前記センササブブロックの各々
    が有する前記光電変換素子列の長さは全て等しく且つ前
    記光電変換素子の数が互いに異なっていることを特徴と
    する撮像素子。
  2. 【請求項2】 所定の色フィルタと、この色フィルタに
    対応して設けられた所定の数の光電変換素子を直線状に
    配列した光電変換素子列と、この光電変換素子列に沿っ
    て設けられ前記光電変換素子列の信号電荷を並列に読み
    出して直列に転送するCCDシフトレジスタと、このC
    CDシフトレジスタの電荷転送方向の先端部に設けられ
    た電荷/電圧変換を行う出力回路とを含むセンササブブ
    ロックを複数備え、更に前記センササブブロックの各々
    が有する前記光電変換素子列の長さは全て等しく且つ前
    記光電変換素子の数が互いに異なっているセンサ部を同
    一チップ上に複数有し、且つ一つの前記センサ部内の前
    記色フィルタは全て同じ色であり、異なる前記センサ部
    の色フィルタの色は互いに異なっていることを特徴とす
    る撮像素子。
  3. 【請求項3】 複数の前記センサ部は、色フィルタを除
    く構成要素が全て同一構成となっている請求項2記載の
    撮像素子。
  4. 【請求項4】 前記所定の色フィルタが、赤色フィルタ
    である第1のセンサ部と、緑色フィルタである第2のセ
    ンサ部と、青色フィルタである第3のセンサ部を少なく
    とも有する請求項2または3に記載の撮像素子。
  5. 【請求項5】 複数の前記センササブブロックのそれぞ
    れの前記出力回路からの全ての出力信号を、互いに独立
    に外部出力できる出力端を更に有する請求項1乃至4い
    ずれか1項に記載の撮像素子。
  6. 【請求項6】 複数の前記センササブブロックを、それ
    ぞれに含まれる前記光電変換素子列が互いに並行になる
    ように配置した請求項1乃至5いずれか1項に記載の撮
    像素子。
  7. 【請求項7】 一つの前記センサ部が備える複数の前記
    センササブブロックの各々が有する前記光電変換素子の
    数は、前記光電変換素子の数が最も少ない第1センササ
    ブブロックの前記光電変換素子の数の整数倍となってい
    る請求項1乃至6いずれか1項に記載の撮像素子。
  8. 【請求項8】 一つの前記センサ部が備える複数の前記
    センササブブロックの中の前記第1センササブブロック
    以外の任意のセンササブブロックを第2センササブブロ
    ックとし、前記第1センササブブロックと前記第2セン
    ササブブロックの各々が含む前記光電変換素子の数をそ
    れぞれN1,N2とし、各々が含む前記光電変換素子1
    個当たりの面積をそれぞれS1,S2としたとき、 (N2/N1)2 =S1/S2 である請求項7記載の撮像素子。
  9. 【請求項9】 撮像対象からの信号光を分岐する光分岐
    手段と、分岐された各光路上の所定位置にそれぞれ配置
    された撮像素子と、少なくとも一つの前記撮像素子を前
    記所定位置から移動させる移動手段と、この移動手段を
    制御する画素位置制御手段とを少なくとも含むことを特
    徴とする画像入力装置。
  10. 【請求項10】 撮像対象からの信号光を分岐する光分
    岐手段と、分岐された各光路上の所定位置にそれぞれ配
    置された撮像手段と、少なくとも一つの前記撮像手段を
    前記所定位置から移動させる移動手段と、この移動手段
    を制御する画素位置制御手段とを少なくとも含み、前記
    撮像手段が、請求項1乃至8いずれか1項に記載の撮像
    素子である画像入力装置。
  11. 【請求項11】 撮像対象からp種類(但し、pは2以
    上の整数)の解像度の画像データを取り込むと共に、q
    番目(但しqは、1≦q≦p−1を満たす整数)の解像
    度のdpi値をN(q)で表したとき、N(q)<N
    (q+1)となるように各解像度の前記画像データを順
    序づけておく第1ステップと、所望の画質の画像を得る
    ために必要な解像度を明度に応じて示す明度・解像度相
    関グラフを準備し、q番目の解像度で必要な画質の画像
    を得ることが出来る明度領域を第1明度領域B(q)と
    表したとき、p種類の解像度の各々の第1明度領域B
    (1)〜B(p)を予め区分する第2ステップと、q番
    目の画像データの各第1画素から第1明度情報を抽出す
    ると共に(q+1)番目の画像データの各第2画素から
    第2明度情報を抽出し、前記第1明度が前記第1明度領
    域B(q)内に含まれている第1グループと、前記第1
    明度領域B(q)の外にある第2グループとに前記第1
    画素を分類するする第3ステップと、前記第1グループ
    に属する第1画素の各々について、当該第1画素に対応
    する前記撮像対象上の第1画素領域に対応する(q+
    1)番目の画像データの複数の第2画素の各第2明度が
    前記第1明度領域B(q)内に含まれているか判定し、
    一つの前記第1画素領域に対応する全ての前記第2画素
    の前記第2明度が前記第1明度領域B(q)内に含まれ
    ているときは、前記第1画素のデータを当該第1画素領
    域の画素データとして保持し、一つの前記第1画素領域
    に対応する第2画素の第2明度が一つでも前記第1明度
    領域B(q)外にある場合は、当該第1画素領域の画素
    データを当該第1画素領域に対応する第2画素のデータ
    に置換する第4ステップと、前記第2グループに属する
    第1画素については、それぞれの第1画素のデータを当
    該第1画素領域に対応する第2画素のデータに置換する
    第5ステップと、を含み、前記第3ステップから前記第
    5ステップまでをq=1からq=(p−1)まで順番に
    実行するようにしたことを特徴とする画像データ処理方
    法。
JP2000361850A 2000-11-28 2000-11-28 撮像素子及び画像入力装置 Expired - Fee Related JP4360749B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000361850A JP4360749B2 (ja) 2000-11-28 2000-11-28 撮像素子及び画像入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000361850A JP4360749B2 (ja) 2000-11-28 2000-11-28 撮像素子及び画像入力装置

Publications (2)

Publication Number Publication Date
JP2002165064A true JP2002165064A (ja) 2002-06-07
JP4360749B2 JP4360749B2 (ja) 2009-11-11

Family

ID=18833223

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000361850A Expired - Fee Related JP4360749B2 (ja) 2000-11-28 2000-11-28 撮像素子及び画像入力装置

Country Status (1)

Country Link
JP (1) JP4360749B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1299494C (zh) * 2003-08-26 2007-02-07 虹光精密工业(苏州)有限公司 影像感测组件及其方法
JP2007235868A (ja) * 2006-03-03 2007-09-13 Toshiba Microelectronics Corp 光電変換素子アレイ及び固体撮像装置
JP2008039783A (ja) * 2006-08-03 2008-02-21 Heidelberger Druckmas Ag 異なる動作をする2つの測定装置を備えている、色に関する測定を行う装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1299494C (zh) * 2003-08-26 2007-02-07 虹光精密工业(苏州)有限公司 影像感测组件及其方法
JP2007235868A (ja) * 2006-03-03 2007-09-13 Toshiba Microelectronics Corp 光電変換素子アレイ及び固体撮像装置
JP4568239B2 (ja) * 2006-03-03 2010-10-27 東芝マイクロエレクトロニクス株式会社 光電変換素子アレイ及び固体撮像装置
JP2008039783A (ja) * 2006-08-03 2008-02-21 Heidelberger Druckmas Ag 異なる動作をする2つの測定装置を備えている、色に関する測定を行う装置
JP2014081383A (ja) * 2006-08-03 2014-05-08 Heiderberger Druckmaschinen Ag 異なる動作をする2つの測定装置を備えている、色に関する測定を行う装置

Also Published As

Publication number Publication date
JP4360749B2 (ja) 2009-11-11

Similar Documents

Publication Publication Date Title
KR101317272B1 (ko) 색상 보간을 위한 감소된 라인 메모리를 갖는 고명암비 이미지 센서
US8031232B2 (en) Image pickup apparatus including a first image formation system and a second image formation system, method for capturing image, and method for designing image pickup apparatus
JP4845801B2 (ja) 画像処理装置及びメモリのアクセス制御方法
US6757012B1 (en) Color selection for sparse color image reconstruction
US9413997B2 (en) Method and device for processing captured-image signals
CN104202543A (zh) 数据处理方法、数据处理设备、半导体装置和电子设备
CN102696228A (zh) 成像设备和混色校正方法
JP3991011B2 (ja) 画像信号処理装置
TW563350B (en) Color image processing apparatus executing moving-average processing for noise reduction in color image signals
US6429953B1 (en) Super resolution scanning using color multiplexing of image capture devices
JP2007129581A (ja) 撮像装置及び撮像システム
CN109585475A (zh) 半导体装置和器械
US20100208116A1 (en) Color ccd linear image sensor
JP2005210725A (ja) 解像度を変えることができかつ高速出力が可能な画像センサアレイを有する撮像装置
CN104025566B (zh) 摄像装置及摄像装置的控制方法
US6323901B1 (en) Single CCD type color camera having high resolution and capable of restricting generation of ghost color
JPH09238355A (ja) 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置
JP2002159014A (ja) 画像生成装置および生成方法
JP2002165064A (ja) 撮像素子、画像入力装置及び画像データ処理方法
JP2002359783A (ja) 撮像装置及び画素欠陥補正方法
US7470881B2 (en) Solid-state imaging device including plural groups of photoelectric conversion devices with plural microlenses being shifted in a peripheral portion of the imaging device, and imaging apparatus including the imaging device
JP7492345B2 (ja) 撮像素子及びその制御方法、及び、撮像装置及びその制御方法
JPH10173868A (ja) 固体撮像素子およびこれを備えた画像読取装置
JP2004172858A (ja) 撮像装置および撮像方法
JP4059837B2 (ja) 静止画カラーカメラ装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20050516

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20070703

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070910

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090721

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090811

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120821

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120821

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120821

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120821

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130821

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees