JP2004023518A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2004023518A JP2004023518A JP2002176911A JP2002176911A JP2004023518A JP 2004023518 A JP2004023518 A JP 2004023518A JP 2002176911 A JP2002176911 A JP 2002176911A JP 2002176911 A JP2002176911 A JP 2002176911A JP 2004023518 A JP2004023518 A JP 2004023518A
- Authority
- JP
- Japan
- Prior art keywords
- image
- read
- reading
- pixels
- image size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009467 reduction Effects 0.000 claims abstract description 71
- 238000003384 imaging method Methods 0.000 claims abstract description 26
- 230000008859 change Effects 0.000 claims abstract description 20
- 238000012935 Averaging Methods 0.000 claims description 20
- 230000003287 optical effect Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 2
- 230000003595 spectral effect Effects 0.000 claims description 2
- 238000002834 transmittance Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 abstract description 43
- 238000000034 method Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 10
- 239000003990 capacitor Substances 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
- H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
- H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
- H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
- H04N3/155—Control of the image-sensor operation, e.g. image processing within the image-sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
【解決手段】CFAを前面に配置した撮像素子2−1と、撮像素子の読み出しの制御を行うサンプリング制御部2−2と、撮像素子から出力される映像信号の画像サイズの縮小率を選択設定する画像サイズ変更制御部3と、画像縮小率と読み出し規則を対応させて記憶させたルックアップテーブル7とを有し、画像サイズ変更制御部で設定された縮小率に対応した読み出し規則をルックアップテーブルより読み出しサンプリング制御部へ供給し、その読み出し規則に基づいて撮像素子の読み出し制御を行い、所定の縮小率の映像信号を出力させる。
【選択図】 図1
Description
【発明の属する技術分野】
この発明は、撮像装置、特に、高解像度の撮像素子から任意サイズの縮小画像を高速で生成することの可能な撮像装置に関する。
【0002】
【従来の技術】
近年、パーソナルコンピューターの急速な普及により、画像入力機器としてのデジタルカメラ(電子スチルカメラ)の需要が拡大している。また、動画の記録機器としてデジタルビデオカメラなどの高画質記録装置が広く用いられている。前記電子スチルカメラの画質を決定する要素は幾つかあるが、その中でも撮像素子の画素数は撮影像の解像度を決定する大きな要素である。そのため、最近は 400万画素以上の多くの画素数を持った電子スチルカメラも幾つか商品化されている。
【0003】
しかしながら、撮影画像の全ての用途において、 400万画素のデータが必ずしも必要なわけではなく、逆にインターネットのWeb上に表示する画像としては、むしろ画素サイズを小さくしたものを使用する場合が多い。また、デジタルカメラの特徴としては、撮像後に画像を取捨選択することができる。すなわち、同一に被写体においても、撮像条件を異ならせて、複数の画像を撮像し、でき映えのよいものだけを残すようにしたりすることができる。
【0004】
ところが、現状のデジタルカメラにおいては、撮像素子から、画像メモリへのフラッシングの時間がネックになっており、画素数が大きい機種で、高速な連写撮影ができるものが少ない。また、デジタルカメラにおいても、動画の撮影の要求があるため、やはり、メモリへの転送は高速に行わなければならず、予め扱うデータ量を少なくすることが好ましい。上述のように、記録される画素数が、撮像素子の画素数に比べて少ない場合には、予め、使用する画素数を制限することによって、撮像素子からメモリに転送されるデータ量を減らし、メモリ転送の速度を向上できる。
【0005】
従来、画像サイズを縮小する場合において、線形補間によるサイズ縮小手法では、まず、全ての画素を使用して、大きいサイズの画像を作成し、線形補間によって小さいサイズの画像を作成する。図18及び図19は、ベイヤー配列画像から双一次補間及び双三次補間のサンプリングで、フルカラーの縮小画像を生成する手法を示した説明図である。図18に示した双一次補間のサンプリングによる場合は、点A,B,C,Dのフルカラーデータを、近傍のR,G,Bのデータ計12点から計算する。例えば、点Aに対しては、R43,R45,R63,R65,B34,B36,B54,B56,G44,G53,G55,G64の線形結合、点Bに対しては、R03,R03,R23,R25,B14,B16,B34,B36,G15,G24,G26,G35の線形結合となる。以下点C,Dについても同様な線形結合となる。一方、図19に示した双三次補間のサンプリングによる場合は、例えば点Bに対しては、R61,R63,R65,R67,R01,R03,R05,R07,R21,R23,R25,R27,R41,R43,R45,R47,B72,B74,B76,B70,B12,B14,B16,B10,B32,B34,B36,B30,B52,B54,B56,B50,G75,G04,G06,G13,G15,G17,G22,G24,G26,G20,G33,G35,G37,G44,G46,G55の合計48点の線形結合になる。
【0006】
このような、線形補間による縮小画像の生成手法は、画質の面では良好であるが、全画素のデータを取り込んで、線形補間を行っているので動作が遅いという欠点がある。これは、上述のように連写機能や、動画撮影の場合に不都合である。
【0007】
【発明が解決しようとする課題】
上述のようにメモリに転送する読み出しデータ量を減らす手法としては、撮像素子に積分機能を付けて、平均化した少数のデータを読み出し、縮小画像を生成する方法が知られている。特開2001−245141号公報には、そのような方法の利点を利用した画像の縮小方法について開示がなされている。ところで、特開2001−245141号公報開示の手法においては、ベイヤー配列の原画像をRGBのプレーンに分解して、3板の状態で各色の水平及び垂直方向の画素積分を行って、水平及び垂直方向のサイズ変更を行っている。したがって、撮像素子の画素データの読み出しにおいては、全点数を読み出していることには変わりがない。画素の読み出しクロックの制限から、全点数の読み出しを行っていると、上述のように、動画の撮影や連写の撮影を行うことが困難である。
【0008】
ところで、平均化読み出しの方法としては、CCDを用いた撮像素子においては、電流値の加算読み出しを行い、読み出しのクロックを上げるという方法がある。しかしながら、この方法を用いると転送エリアの容量がオーバーフローしてしまい、信号の劣化を招いてしまう課題があった。更に、このCCDによる読み出しの課題を解決する方法としては、特開平6−217201号公報に開示されている、CMOSのキャパシタ素子による電圧読み出しの平均化処理がある。また、特開平9−247689号公報には、平均化、間引きサンプリングを、動画静止画で切り替えるという手法の提案がなされており、読み出しスピードに関しては改善の効果が示されている。
【0009】
本発明においては、上述のような画像の取り込みスピードの向上の要求について着眼し、高解像度の撮像素子から撮影画像の任意のサイズの縮小画像を取り込む速度の向上を図ることができるようにした撮像装置を提供することを目的とするものである。
【0010】
【課題を解決するための手段】
上記の問題点を解決するため、請求項1に係る発明は、分光透過率が異なるカラーフィルタアレイ(CFA)を前面に配置した撮像素子により、光学系で結像した画像を光電変換し画像信号を出力する撮像装置において、前記撮像素子から画像信号を読み出すモードとして、全画素読み出しを行う全画素読み出しモードと、読み出し画素の間引きを行って読み出す間引き読み出しと複数画素を平均化して読み出す平均化読み出しの組み合わせによる画像サイズ変更読み出しモードのいずれかを設定可能なモード設定手段と、前記画像サイズ変更読み出しモード設定時における画像サイズを設定する画像サイズ設定手段と、撮像素子から画像信号を読み出す画素位置を、前記読み出しモードに対応した読み出し規則に基づいて制御する読み出し制御手段とを備え、前記画像サイズ設定手段で設定された画像サイズに対応して、前記読み出し制御手段に読み出し規則が設定されるように構成されていることを特徴とするものである。
【0011】
このように構成された撮像装置においては、画像サイズ設定手段で設定された画像サイズに対応した読み出し規則で、撮像素子の読み出しが制御されるようになっているので、撮像素子より直接、設定された画像サイズに対応した読み出しが行われ、縮小画像読み出しの読み出し取り込み速度の向上を図ることができる。
【0012】
請求項2に係る発明は、請求項1に係る撮像装置において、前記画像サイズ設定手段は、予め用意されている複数の画像サイズに対応する画像縮小率から所定の画像縮小率を選択設定するように構成されており、更に前記画像サイズ設定手段に用意されている複数の画像縮小率に対応する前記撮像素子の読み出し規則を記憶する手段を有し、前記画像サイズ設定手段で設定された画像縮小率に対応した読み出し規則を前記読み出し制御手段に供給するように構成されていることを特徴とするものである。
【0013】
このように構成された撮像装置においては、画像サイズ設定手段において、予め用意されている画像縮小率から所定のものを選択設定することにより、対応する読み出し規則により読み出し制御手段を介して撮像素子を読み出し、所定の縮小率の画像信号を出力させることが可能となる。
【0014】
請求項3に係る発明は、請求項2に係る撮像装置において、前記読み出し規則記憶手段には、予め制限された画像縮小率に対してのみ、対応する読み出し規則が記憶されていることを特徴とするものである。
【0015】
このように構成された撮像装置においては、画像歪み等の生じる不適切な画像縮小率が選択設定された場合は、読み出し規則が対応しないように制限し、適切な縮小率の画像のみを出力させることができる。
【0016】
請求項4に係る発明は、請求項1〜3のいずれか1項に係る撮像装置において、前記読み出し制御手段によって読み出された前記撮像素子からの画像信号を、前記画像サイズ設定手段により設定された画像サイズに応じた重み付けフィルタ処理により再配分し、読み出し画素間隔を等間隔とする画像信号を生成するフィルタ処理部を更に備えていることを特徴とするものである。
【0017】
このように構成された撮像装置においては、所定の読み出し規則で読み出された画像信号に対して、フィルタ処理部で重み付けフィルタ処理を行って再配分し、読み出し画素間隔を等間隔とする画像信号を生成するようにしているので、読み出し画素間隔が一定でないことにより生じる画像の歪みやエッジのジャギーを低減することができる。
【0018】
【発明の実施の形態】
(第1の実施の形態)
次に、実施の形態について説明する。図1は本発明に係る撮像装置の第1の実施の形態の全体の概略構成を示すブロック構成図である。図1において、1は光学系で、該光学系1は被写体の像を撮像モジュール2の、図示しない単板ベイヤー配列のカラーフィルタアレイを前面に配置したCMOSセンサなどからなる撮像素子2−1上に結像する。撮像素子2−1の動作は、サンプリング制御部2−2によって制御される。撮像素子2−1の出力信号は映像信号処理部4によって処理され、映像信号を記録する場合にはメモリ5にその結果を出力し、リアルタイムの情報をビューファインダなどの画像表示部6に出力する。サンプリング制御部2−2では、メモリ5に記録する場合及び画像表示部6に表示する場合に応じて、画像サイズ変更制御部3の制御に従って、サンプリング制御を切り替えるようになっている。
【0019】
そして、画像サイズ変更制御部3は、全画素読み出しモードと画素サイズ変更読み出しモードの選択設定が行えるようになっていると共に、撮像素子2−1から出力される映像信号の画像サイズの複数の縮小率が予め用意されていて、所定の画像縮小率が選択設定できるようになっている。また、ルックアップテーブル7には、画像サイズ変更制御部3に用意されている複数の画像縮小率に対応した、後述の間引き読み出し及び平均化読み出しを組み合わせた画像サイズ変更読み出しのための読み出し規則が記憶されており、画像サイズ変更制御部3において選択設定されると、選択設定された縮小率に対応した読み出し規則が、ルックアップテーブル7よりサンプリング制御部2−2に供給され、サンプリング制御部2−2は供給された読み出し規則に基づいて、撮像素子2−1の読み出し制御を行い、所定の縮小率の映像信号が撮像素子2−1より出力されるようになっている。
【0020】
次に、上記第1の実施の形態の撮像モジュール2における平均化読み出しを実現する処理回路付きのCMOSセンサからなる撮像素子2−1の構成を、図2に基づいて説明する。なお、説明を簡単にするため撮像素子2−1のうち水平1ラインでの動作を説明するための構成を図示している。読み出し開始位置を指定する、サンプリング制御部2−2に設けられているスタートパルス位置レジスタ11からのSTB信号12−1,12−2,・・・を、CMOSセンサを駆動するシフトレジスタ13に対して入力信号として送る。この図示例では、シフトレジスタ13の動作は、2相のフリップフロップ(FF)動作になっており、1相目のFF1はHCK1Aのクロック信号により動作し、2相目のFF2はHCK2Aのクロック信号により動作し、縦続接続されているシフトレジスタユニット(SR1)13−1,(SR2)13−2,・・・への転送操作を行うようになっている。そして、各シフトレジスタユニットの出力がHになれば、CMOSセンサを構成する各CMOSセンサ素子14−1,14−2,・・・のゲートが開き、各コンデンサCに蓄積されている光電荷に対応した電圧の読み出しのラインをアクティブにして、光信号を読み出す。
【0021】
ここで、読み出し開始位置を指定するスタートパルス位置レジスタ11で11a,11bの2カ所を同時にHの状態にして、対応する2カ所のシフトレジスタユニット13−1,13−3の1相目のFF1を同時にアクティブにすると、シフトレジスタユニット13−1,13−3の2相目のFF2の出力を同時にHの状態にして、CMOSセンサ素子14−1,14−3の各ゲートを開く。これにより、指定された位置のキャパシタCの電圧を平均化したものが読み出される。すなわち、CMOSセンサ素子14−1及び14−3のキャパシタCの電圧が平均化されて読み出される。以下、シフトレジスタ13の動作により、CMOSセンサ素子14−2,14−4の各ゲートが同時に開くと言うように、2個の読み出し位置は右側にシフトしていく。
【0022】
図3に、このような平均化読み出し動作を行うためのスタート位置を指定するスタートパルス位置レジスタ11の内容と、2相のシフトレジスタ13の動作、及びCMOSセンサの出力信号を時系列に示している。上述のように、CMOSセンサの出力端子15では、CMOSセンサ素子14−1,CMOSセンサ素子14−3の平均AVE(CMOS1・CMOS3),CMOSセンサ素子14−2,CMOSセンサ素子14−4の平均AVE(CMOS2・CMOS4),CMOSセンサ素子14−3,CMOSセンサ素子14−5の平均AVE(CMOS3・CMOS5)と順次出力していく。ここで、AVEは括弧内の2つのCMOSセンサ出力信号の平均値を示す。
【0023】
このように、シフトレジスタ13を駆動する1回の動作パルスによって、2カ所以上のCMOSセンサ素子のキャパシタの電圧を、平均化して読み出すことができる。ここで、CMOSセンサの1ラインの色フィルタの並びが、R−G−R−G・・・のようになっているとすると、以上の読み出し動作では、水平方向に1画素おきに並んだ2 個のR信号の平均、G信号の平均というように逐次右側にシフトしながら、平均化した光信号を読み出していることになる。
【0024】
次に、本実施の形態におけるCMOSセンサで利用する他の読み出し方式である画素間引き読み出し(飛び越し読み出し)について説明する。図4の(A)は、1画素おきの読み出し(間引き飛び越し読み出し)動作を実現するためのシフトレジスタの構成を示すブロック構成図である。この1画素おきの読み出し動作用のシフトレジスタは、各シフトレジスタユニット13−1,13−2,・・・の1相目FF1に並行して、HCK1Bクロック信号で駆動される第3のFF3を配置し、その入力は1相目FF1の入力に接続すると共に、出力は次段のシフトレジスタユニットの2相目FF2の入力に接続するようにして構成されている。なお、図4の(A)においては、次に説明する2画素間引きの読み出し用シフトレジスタと兼用させているため、第4のFF4も合わせて図示している。
【0025】
このように構成されたシフトレジスタにおいては、図4の(B)に示すように、スタートパルス位置レジスタ11より図示のようなパルスを入力すると共に、HCK1A,HCK2A,HCK1Bクロック信号で駆動することにより、シフトレジスタの動作はCMOSセンサ素子14−2,CMOSセンサ素子14−4,・・・に対応するゲート制御信号が出力され、1画素おきの読み出し動作が行われ、出力端子からCMOSセンサ素子14−2,CMOSセンサ素子14−4,・・・の順に画素信号CMOS2,CMOS4,・・・が得られる。
【0026】
図5は、2画素間引きの読み出し動作を行わせるためのシフトレジスタの構成を示すブロック構成図である。この2画素間引きの読み出し動作用のシフトレジスタは、各シフトレジスタユニット13−1,13−2,・・・の1相目FF1に並行して、HCK1Bクロック信号で駆動される第3のFF3を配置すると共に、HCK1Cクロック信号で駆動される第4のFF4を配置し、その入力は1相目FF1の入力に接続すると共に、出力は1段離れた次々段のシフトレジスタユニット13−3(SR3)の2相目FF2に接続するようにして構成されている。
【0027】
このように構成されたシフトレジスタにおいては、図6に示すように、スタートパルス位置レジスタ11より図示のようなパルスを入力すると共に、HCK1A,HCK2A,HCK1B,HCK1Cクロック信号で駆動することにより、シフトレジスタの動作はCMOSセンサ素子14−3,CMOSセンサ素子14−6,・・・に対応するゲート制御信号が出力され、2画素間引きの読み出し動作が行われ、出力端子からCMOSセンサ素子14−3,CMOSセンサ素子14−6,・・・の順に画素信号CMOS3,CMOS6,・・・が得られる。
【0028】
次に、撮像素子から前記平均化読み出し及び間引き読み出し(飛び越し読み出し)を利用して、実際に画像を縮小して読み出す手法について述べる。本実施の形態では、単板ベイヤー配列のカラーフィルタを設けた撮像素子を用いることを前提としている。したがって、同一の被写体の位置(座標位置)に対応するフルカラーのデータは、撮像素子上ではそれぞれ位置の異なるR,G,Bのデータを補間、平均化をするなどして推定して得るようにしている。図7では、4×4(4行4列)のサンプリングブロック16個と、4×2のサンプリングブロック4個と、2×4のサンプリングブロック4個、2×2のサンプリングブロック1個とを用いて、(4+4+4+4+2)×(4+4+4+4+2)=18×18画素を5×5画素に縮小する場合の態様の一部を示しており、この縮小化変換を画像全体で行うようになっている。
【0029】
したがって、この場合の縮小率は5/18で、約27%となる。また、この縮小化変換処理において、4画素のブロックに対しては、1画素おきの2画素平均化読み出しで、2クロックでサンプリングを行うこととし、2画素のブロックに対しては2クロックの読み出しで行うことにすると、18画素のサンプリングを、2×4+2=10クロックで行うことができる。したがって、このような縮小化読み出しにより、撮像素子から光信号を読み出す時点での高速化が図れることが解る。
【0030】
また、図8に示すように、4×4のブロック16個、6×4のブロック4個、4×6のブロック4個、6×6のブロック1個で、22×22画素を5×5画素とすることにより、5/22の約 22.72%の縮小化処理を行うことができる。この場合、水平読み出しのクロック数は、4画素のブロックでは2クロック、6画素のブロックでは3クロックとなり、合計2×4+3=11クロックで読み出すことができる。この場合の縮小化読み出しの高速化の原理と効果は、図7に示したものと同様である。
【0031】
次に、画像サイズ変更制御部3で設定される縮小率と、それに対応する読み出し規則の間の関係について説明する。次に示すように、縮小率aが与えられると、ある長さの基本ブロックがx−1個、調整用のブロックが1個というようなxの値が与えられる。
(1)2画素ブロック(x−1)個+4画素ブロック1個で調整
if 50>a>33.3(%)
a/100 =x/{2(x−1)+4}→x=a/(50−a)
(2)4画素ブロック(x−1)個+2画素ブロック1個で調整
else if 33.3>a>25(%)
a/100 =x/{4(x−1)+2}→x=a/(2a−50)
(3)4画素ブロック(x−1)個+6画素ブロック1個で調整
else if 25>a>20(%)
a/100 =x/{4(x−1)+6}→x=a/(50−2a)
(4)6画素ブロック(x−1)個+4画素ブロック1個で調整
else if 20>a>16.6(%)
a/100 =x/{6(x−1)+4}→x=a/(3a−50)
【0032】
このように、ブロックの組み合わせ(例えば4画素の基本ブロックと2画素の調整用のブロック)は、縮小率によって変わるようになっている。例えば、(1)のケースは、2画素の基本ブロックをx−1個、4画素の調整用ブロック1 個としたときに、xの値と縮小率aの関係を表している。この(1)のケースの場合、例えば、2画素のブロックの方が多ければ(x≧2)、33%以下の縮小率は、どのような組み合わせでも実現しない。したがって、縮小率を33%〜50%に限定した場合に、2画素のブロックと4画素のブロックの読み出しで画像の縮小が実現することを示している。同様に、(2)のケースの場合では、4画素と2画素の組み合わせでは、25%以下の縮小率は実現しない。以下同様に考え、縮小率によってブロックの画素数の組み合わせを割り当てるようにして、(1)〜(4)の場合分けを行い、サンプリング規則を算出するようにしている。
【0033】
このような変換の計算をリアルタイムで行ってもよいが、本実施の形態では、画像サイズ変更制御部3で設定される縮小率aとサンプリングブロック数x(ある長さの基本ブロック(x−1)個と調整用ブロック1個)の関係を、ルックアップテーブル(LUT)7にして記憶させている。更に、このような画像縮小率aとサンプリングブロック数xの関係を、グラフで示すと、図9のようになる。この図から解るように、前記(1)〜(4)で示した縮小化変換規則では、縮小率がとびとびの値しかとれないことが解る。特に33%付近の値の飛び方を見ると、3%程度の間隔があり、例えば35%とか32.5%などの縮小率に対しては、サンプリング方法(読み出し規則)がない。実用上、縮小率が離散的な値でも構わないとすれば、最大の離散幅を考慮して、25%までは縮小率を約3%刻み、20%までは 1.6%刻みと言うように、LUTを構成するようにする。
【0034】
ところで、このような読み出し規則を構成するブロック単位での分割読み出しは、図2〜図6で説明したような、シフトレジスタを用いた平均化読み出し及び間引き読み出し(飛び越し読み出し)の組み合わせにおいて、読み出し位置等の調整を行うことで実現できる。次に、図10及び図11に基づいて、具体的な読み出し規則について説明する。図10及び図11は、いずれも縮小率を5/18とし、4画素の基本ブロック4個と調整用2画素ブロック1個とした読み出し規則によるサンプリング態様を示す図で、図10は調整用2画素ブロックの読み出しにおいて読み出しシフトを行わない態様を示し、図11は調整用2画素ブロックの読み出しにおいて読み出しシフトを行う態様を示している。なお、ここでは説明を簡単にするために、水平方向の読み出しについて示している。ここで、矢印で同時に読み出す画素のペアを示し、数字で読み出し位置のシフト量を示している。この図示例は、4+4+4+4+2=18画素を5画素に変換を行った、縮小率5/18の態様を示している。この縮小率に応じて、読み出しペアの数は、例えば4画素のブロックが基本であれば2個、6画素のブロックが基本の場合は3個になる。
【0035】
図10及び図11の図示例の場合、左端のブロックのサンプリングでは、G00+G02のペア、R01+R03のペアとなり(平均化読み出し)、4画素のブロックの場合、読み出し位置はブロック内では1画素のシフト、ブロック間では3画素のシフトになる(1,3,1,3の飛び越し数)。このような飛び越しの制御を行うには、図5及び図6に示したシフトレジスタのFF1,FF2と外付けのFF3,FF4の動作パルスを所定のものにセットすればよい。すなわち、このように画像の縮小率に対応させた平均化読み出し方法とシフト量とを、ルックアップテーブル7に記憶しておけばよい。
【0036】
2画素のブロック部分の読み出しは、図10においては、カッコAで示すように、次の4画素ブロックの画素を1個ずつ用いて4画素分の読み出しを、1画素シフトの2回の2画素平均化読み出しで行っている。一方、図11における2画素ブロック部分の読み出しは、カッコAで示すように、2画素ブロックの前後の4画素ブロックの1個ずつの画素を使って4画素分の読み出しを2回の平均化読み出しで行う。そのため、2画素ブロックの前後のブロックでは、読み出し規則シフトが、(1,2)になる。2画素ブロック部分における平均化読み出しのクロック数は、単一画素の読み出しクロックと同じなので、元の画像の情報を有効に用いて、縮小画像が生成できる。
【0037】
図10に示した読み出し手法では、2画素ブロック部分においてG,Rの読み出しの位相は変化しない。これに対して、図11に示した画素読み出し手法では、2画素ブロック部分で、G,Rの読み出しの位相が逆転する。すなわち、4画素ブロックでは、G→Rの順で読み出しているが、2画素ブロックでは、R→Gの順になっている。
【0038】
この場合、読み出した画素を各色のプレーンに割り当てるときに、タイミングの同期(R→Gの位相反転)を必要とする。このように、本発明によれば、CMOSの平均化読み出し、及び飛び越し読み出しの制御と、画像の縮小率を関連づけることによって、サイズ縮小の画像得るときに読み出しの速度を向上させることができる。したがって、動画撮影や連写撮影を行うときに、画像の解像度と読み出しスピードの関係を適切に設定することができる。すなわち、読み出し速度の向上のために解像度の関係を柔軟にすることができる。
【0039】
上記第1の実施の形態における読み出し規則による読み出し態様は、調整用ブロックの介在によって読み出し間隔が一定ではないため、この縮小サンプリング読み出しの規則を撮像素子の画素アレイに割り当てると、縮小率によっては、画像の歪みや、あるいは、エッジのジヤギー(不自然な凹凸)が目立ってしまう。例えば、図9のグラフ図において、縮小率が41.6%だとすると、2画素の基本ブロック4個と、4画素の調整用ブロック1個の読み出し規則(5/12)となり、27.3%程度の縮小率であると、4画素の基本ブロック5個に対して2画素の調整用ブロック1個の読み出し規則(6/22)となる。このようにいずれも2画素ブロックと4画素ブロックの組み合わせとなるが、2画素のサンプリングと4画素のサンプリングの比率は2倍であるため、縮小画像では大きな段差ができてしまう。これに対して、縮小率20%の場合は、4画素の基本ブロックに対して6画素の調整用ブロック、あるいは6画素の基本ブロックに対して4画素の調整用ブロックが交互に現れるので、縮小画像ではジャギーが目立たない。
【0040】
前者のような歪みを押さえるためには、画像サイズ変更制御部3において選択設定された縮小率に対応して読み出し規則を割り当てるために設けたルックアップテーブル7において、2画素と4画素の組み合わせからなる読み出し規則となる前記(1)及び(2)のケースの縮小率とならないように、画像サイズ変更制御部で設定される縮小率に制限を加え、画素サイズ変更制御部で設定された縮小率のうち、4画素と6画素の組み合わせからなる読み出し規則となる縮小率のみを採用し、その縮小率に対応した読み出し規則を割り当てるように構成する。これにより、歪みの目立たない縮小画像を提供することができる。
【0041】
例えば、33.3%の縮小率の場合、2画素サンプリングブロックと4画素サンプリングブロックが交互の読み出し規則〔2/(4+2)〕となる。このようにブロックの組み合わせにおけるブロック数(33.3%の縮小率の場合は2個)が少ない方が、直線を縮小サンプリングしたときのジャギーが規則的なものになるため歪みが目立たなくなる。また、30%の縮小率の場合は、4画素の基本ブロックが2個と2画素の調整ブロックが1個の読み出し規則〔3/(4+4+2)〕となり、この場合のブロックの組み合わせにおけるブロック数は3個となり少ないので、直線を縮小サンプリングしたときのジャギーは目立たないものとなる。このように、縮小するときには、ブロックの組み合わせにおけるブロック数が少ない方が、直線を縮小サンプリングしたときのジャギーの周期が短くなるため歪みが目立たない。これに対して、ブロックの組み合わせにおけるブロック数が多い場合、例えば、41.6%の縮小率の場合、2画素の基本ブロックが4個と4画素の調整ブロックが1個の読み出し規則〔5/(2+2+2+2+4)〕となり、4画素のサンプリングブロックの間に2画素のサンプリングブロックが4個も入ってしまうために、直線を縮小サンプリングしたときのジャギーの周期が長くなるため、急激な段差を生じることとなり、結果、歪みが目立ってしまうこととなる。よって、ブロックの組み合わせにおけるブロック数が少なくなるような縮小率(例えば、33%,30%,28.5%など)を選択するようにすると、ジャギーが目立たないようになる。
【0042】
(第2の実施の形態)
次に、第2の実施の形態を図12に示すブロック構成図に基づいて説明する。この実施の形態は、上記第1の実施の形態で指摘したようなサンプリングによる縮小画像の歪みを押さえるための別の手法を示すものである。すなわち、図12に示したように、撮像素子2−1をサンプリング制御部2−2で、読み出し規則によりサンプリング読み出した後に、フィルタ処理部8による重み付けフィルタ処理(補間処理)で歪みを低減するようにしたものである。フィルタ処理部8の重み付けフィルタ処理における計数処理は、画素サイズ変更制御部3により選択設定された縮小率の内容に対応して指定される。
【0043】
次に、このようなフィルタ処理部8の動作の詳細について説明する。フィルタ処理部8では、撮像素子2−1から一旦サンプリング出力した画素信号を、均等幅のサンプリング画素信号に割り当てるために、重み付けフィルタ加算の演算処理を行う。図13に示した例にとって、重み付けフィルタ加算の手法を説明する。画素配列で4つの4画素基準ブロックと1つの2画素調整用ブロックの画素4+4+4+4+2=18個を縮小して、5画素の読み出しを行うステップを1周期とする。各ブロックの中央位置(図13の(A)における2,6,10,14,18,20で示す位置i〜n)のうち、1周期のブロック配列の先頭ブロックの中央位置2(i)と20(n)では、読み出した画素と均等配列の画素の位置A〜Fが一致している基準位置(A=i,F=n)として、以下2〜5番目のブロックの中央位置(6,10,14,18で示す位置j〜m)は、基準位置の間で均等配列になるように、読み出した画素の水平方向の重み付け加算を行う。
【0044】
この場合、ブロック位置2(i)と20(n)の間を5個に均等配分すると、均等配列の各点A〜Fの間の距離は、それぞれ18/5となる。したがって、A=2の次の均等配列の各位置(B,C,D,E)の値は、それぞれ5.6 ,9.2 ,12.8,16.4となる。これらの均等配列の各位置A〜Fを、それに隣接するサンプリング位置(例えば、均等配列位置B=5.6 に対しては、i=2,j=6)を用いて、それらの重み付けフィルタ加算で表すと、B=0.1 ×i+0.9 ×jとなる。以下、均等配列位置C,D,Eに付いても同様に表すことができ、その重み付けフィルタ加算で表した値は図13の(A)に示すとおりである。このような5画素単位での再配分線形変換を、行列の線形フィルタ形式で表すと、図13の(B)のようになる。
【0045】
また、図14の(A),(B)は、4つの4画素基準ブロックと1つの6画素調整用ブロックの画素4+4+4+4+6=22個を縮小して、5画素でサンプリングした例に付いて示したものである。また図15,16は、図13及び図14において調整用の最後のブロック(2画素又は6画素)のサンプリングを、図11に示したようにシフトして行った場合を示している。これらの図では、説明を簡単にするために水平方向の例のみを示しているが、垂直方向に関しても同様に重み付けフィルタ加算によって、均等間隔の配列に、再配分する。
【0046】
したがって、画像サイズ変更制御部で設定される縮小率と、それに対応する図10,図11に示した様な読み出しの規則(平均化と、読み出しの位置のシフト)と、図13〜図16に示したような画素の重み付けの係数とをパラメータとして関連づけて記憶しておくことによって、図12のフィルタ処理部8の処理で、均等間隔の配列に再配列処理することができる。なお、このようなフィルタ処理の重み付け係数は、画像サイズの変更に連動して、サンプリング規則と同様にルックアップテーブル7として記憶しておけばよい。このような処理によって、例えば、図17の(A)に矢印で示したような、エッジのジヤギーを、フィルタリングの効果によって、図17の(B)に矢印で示すように抑制することができる。
【0047】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項1に係る発明によれば,画像サイズ設定手段で設定された画像サイズに対応した読み出し規則で、撮像素子の読み出しが制御されるように構成されているので、撮像素子より直接、設定された画像サイズに対応した読み出しが行われ、縮小画像読み出しの読み出し取り込み速度を向上させることができる。また請求項2に係る発明によれば、予め用意されている画像縮小率から所定のものを選択設定することにより、対応する読み出し規則により読み出し制御手段を介して撮像素子を読み出し、所定の縮小率の画像信号を出力させることができる。また請求項3に係る発明によれば、画像歪み等の生じる不適切な画像縮小率が選択設定された場合は、読み出し規則が対応しないように制限し、適切な縮小率の画像のみを出力させることができる。また請求項4に係る発明によれば、所定の読み出し規則で読み出された画像信号に対して、フィルタ処理部で重み付けフィルタ処理を行って再配分し、読み出し画素間隔を等間隔とする画像信号を生成するようにしているので、読み出し画素間隔が一定でないことにより生じる画像の歪みやエッジのジャギーを低減することができる。
【図面の簡単な説明】
【図1】本発明に係る撮像装置の第1の実施の形態を示すブロック構成図である。
【図2】図1に示した撮像モジュールにおいて、平均化読み出し処理を行うための回路構成を示す図である。
【図3】図2に示した平均化読み出し処理回路の動作を説明するためのタイミングチャートである。
【図4】図1に示した撮像モジュールにおいて、間引き読み出し処理を行うための回路構成及びその動作を説明するためのタイミングチャートである。
【図5】間引き読み出し処理を行うための他の回路構成を示す図である。
【図6】図5に示した間引き読み出し処理回路の動作を説明するためのタイミングチャートである。
【図7】単板ベイヤー配列のカラーフィルタを設けた撮像素子において、18×18画素を5×5画素に縮小する態様を示す図である。
【図8】単板ベイヤー配列のカラーフィルタを設けた撮像素子において、22×22画素を5×5画素に縮小する態様を示す図である。
【図9】画像縮小率とサンプリングブロック数との関係を示すグラフ図である。
【図10】縮小率5/18としたときの読み出し規則によるサンプリング態様(読み出しシフトなし)を示す説明図である。
【図11】縮小率5/18としたときの読み出し規則によるサンプリング態様(読み出しシフトあり)を示す説明図である。
【図12】本発明の第2の実施の形態を示すブロック構成図である。
【図13】図12に示した第2の実施の形態におけるフィルタ処理部の重み付けフィルタ加算処理の一例を示す説明図である。
【図14】フィルタ処理部の重み付けフィルタ加算処理の他の例を示す説明図である。
【図15】フィルタ処理部の重み付けフィルタ加算処理の更に他の例を示す説明図である。
【図16】フィルタ処理部の重み付けフィルタ加算処理の更に他の例を示す説明図である。
【図17】フィルタ処理部による処理後の画像態様を示す説明図である。
【図18】ベイヤー配列画像から双一次補間のサンプリングでフルカラーの縮小画像を生成する態様を示す説明図である。
【図19】ベイヤー配列画像から双三次補間のサンプリングでフルカラーの縮小画像を生成する態様を示す説明図である。
【符号の説明】
1 光学系
2 撮像モジュール
2−1 撮像素子
2−2 サンプリング制御部
3 画像サイズ変更制御部
4 映像信号処理部
5 メモリ
6 画像表示部
7 ルックアップテーブル
8 フィルタ処理部
11 スタートパルス位置レジスタ
12−1,12−2,・・・ STB信号
13 シフトレジスタ
13−1,13−2,・・・ シフトレジスタユニット
14−1,14−2,・・・ CMOSセンサ素子
15 出力端子
Claims (4)
- 分光透過率が異なるカラーフィルタアレイを前面に配置した撮像素子により、光学系で結像した画像を光電変換し画像信号を出力する撮像装置において、前記撮像素子から画像信号を読み出すモードとして、全画素読み出しを行う全画素読み出しモードと、読み出し画素の間引きを行って読み出す間引き読み出しと複数画素を平均化して読み出す平均化読み出しの組み合わせによる画像サイズ変更読み出しモードのいずれかを設定可能なモード設定手段と、前記画像サイズ変更読み出しモード設定時における画像サイズを設定する画像サイズ設定手段と、撮像素子から画像信号を読み出す画素位置を、前記読み出しモードに対応した読み出し規則に基づいて制御する読み出し制御手段とを備え、前記画像サイズ設定手段で設定された画像サイズに対応して、前記読み出し制御手段に読み出し規則が設定されるように構成されていることを特徴とする撮像装置。
- 前記画像サイズ設定手段は、予め用意されている複数の画像サイズに対応する画像縮小率から所定の画像縮小率を選択設定するように構成されており、更に前記画像サイズ設定手段に用意されている複数の画像縮小率に対応する前記撮像素子の読み出し規則を記憶する手段を有し、前記画像サイズ設定手段で設定された画像縮小率に対応した読み出し規則を前記読み出し制御手段に供給するように構成されていることを特徴とする請求項1に係る撮像装置。
- 前記読み出し規則記憶手段には、予め制限された画像縮小率に対してのみ、対応する読み出し規則が記憶されていることを特徴とする請求項2に係る撮像装置。
- 前記読み出し制御手段によって読み出された前記撮像素子からの画像信号を、前記画像サイズ設定手段により設定された画像サイズに応じた重み付けフィルタ処理により再配分し、読み出し画素間隔を等間隔とする画像信号を生成するフィルタ処理部を更に備えていることを特徴とする請求項1〜3のいずれか1項に係る撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002176911A JP4285948B2 (ja) | 2002-06-18 | 2002-06-18 | 撮像装置 |
US10/464,589 US7542084B2 (en) | 2002-06-18 | 2003-06-18 | Imaging apparatus for reading images at a set resolution |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002176911A JP4285948B2 (ja) | 2002-06-18 | 2002-06-18 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004023518A true JP2004023518A (ja) | 2004-01-22 |
JP4285948B2 JP4285948B2 (ja) | 2009-06-24 |
Family
ID=29728129
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002176911A Expired - Fee Related JP4285948B2 (ja) | 2002-06-18 | 2002-06-18 | 撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7542084B2 (ja) |
JP (1) | JP4285948B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006261789A (ja) * | 2005-03-15 | 2006-09-28 | Canon Inc | 撮像装置、撮像素子、及び撮像処理方法 |
JP2007124295A (ja) * | 2005-10-28 | 2007-05-17 | Pentax Corp | 撮像手段駆動装置、撮像手段駆動方法、および信号処理装置 |
JP2007174117A (ja) * | 2005-12-20 | 2007-07-05 | Fujitsu Ltd | 画像処理回路および画像処理方法 |
JP2007525121A (ja) * | 2004-02-04 | 2007-08-30 | フォトネーション ビジョン リミテッド | 赤目フィルターの性能を最適化する方法及びその装置 |
JP2008153882A (ja) * | 2006-12-15 | 2008-07-03 | Clarion Co Ltd | 撮像表示システム |
WO2012169140A1 (ja) * | 2011-06-08 | 2012-12-13 | パナソニック株式会社 | 画像処理装置及び画像処理方法並びにデジタルカメラ |
US8971628B2 (en) | 2010-07-26 | 2015-03-03 | Fotonation Limited | Face detection using division-generated haar-like features for illumination invariance |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004068852A1 (ja) * | 2003-01-29 | 2004-08-12 | Olympus Corporation | 撮像装置 |
US7742636B2 (en) * | 2006-01-26 | 2010-06-22 | Nethra Imaging Inc. | Method and apparatus for scaling down a bayer domain image |
JP5041886B2 (ja) * | 2007-06-13 | 2012-10-03 | オリンパス株式会社 | 画像処理装置、画像処理プログラム、画像処理方法 |
JP6231284B2 (ja) * | 2013-02-21 | 2017-11-15 | クラリオン株式会社 | 撮像装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5262871A (en) * | 1989-11-13 | 1993-11-16 | Rutgers, The State University | Multiple resolution image sensor |
JPH0736439B2 (ja) | 1993-06-14 | 1995-04-19 | オリンパス光学工業株式会社 | 固体撮像装置 |
US5493335A (en) * | 1993-06-30 | 1996-02-20 | Eastman Kodak Company | Single sensor color camera with user selectable image record size |
US5949483A (en) * | 1994-01-28 | 1999-09-07 | California Institute Of Technology | Active pixel sensor array with multiresolution readout |
JPH09247689A (ja) * | 1996-03-11 | 1997-09-19 | Olympus Optical Co Ltd | カラー撮像装置 |
US6538686B2 (en) * | 2000-01-07 | 2003-03-25 | Minolta Co., Ltd. | Method for transmitting image data and communication terminal |
JP4136255B2 (ja) | 2000-02-29 | 2008-08-20 | キヤノン株式会社 | 画像処理装置及びその方法 |
US6794627B2 (en) * | 2001-10-24 | 2004-09-21 | Foveon, Inc. | Aggregation of active pixel sensor signals |
-
2002
- 2002-06-18 JP JP2002176911A patent/JP4285948B2/ja not_active Expired - Fee Related
-
2003
- 2003-06-18 US US10/464,589 patent/US7542084B2/en not_active Expired - Fee Related
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007525121A (ja) * | 2004-02-04 | 2007-08-30 | フォトネーション ビジョン リミテッド | 赤目フィルターの性能を最適化する方法及びその装置 |
JP2006261789A (ja) * | 2005-03-15 | 2006-09-28 | Canon Inc | 撮像装置、撮像素子、及び撮像処理方法 |
JP2007124295A (ja) * | 2005-10-28 | 2007-05-17 | Pentax Corp | 撮像手段駆動装置、撮像手段駆動方法、および信号処理装置 |
JP2007174117A (ja) * | 2005-12-20 | 2007-07-05 | Fujitsu Ltd | 画像処理回路および画像処理方法 |
JP4573769B2 (ja) * | 2005-12-20 | 2010-11-04 | 富士通セミコンダクター株式会社 | 画像処理回路および画像処理方法 |
JP2008153882A (ja) * | 2006-12-15 | 2008-07-03 | Clarion Co Ltd | 撮像表示システム |
US8971628B2 (en) | 2010-07-26 | 2015-03-03 | Fotonation Limited | Face detection using division-generated haar-like features for illumination invariance |
US8977056B2 (en) | 2010-07-26 | 2015-03-10 | Fotonation Limited | Face detection using division-generated Haar-like features for illumination invariance |
WO2012169140A1 (ja) * | 2011-06-08 | 2012-12-13 | パナソニック株式会社 | 画像処理装置及び画像処理方法並びにデジタルカメラ |
CN103563359A (zh) * | 2011-06-08 | 2014-02-05 | 松下电器产业株式会社 | 图像处理装置及图像处理方法以及数码相机 |
JPWO2012169140A1 (ja) * | 2011-06-08 | 2015-02-23 | パナソニック株式会社 | 画像処理装置及び画像処理方法並びにデジタルカメラ |
Also Published As
Publication number | Publication date |
---|---|
US20030231247A1 (en) | 2003-12-18 |
JP4285948B2 (ja) | 2009-06-24 |
US7542084B2 (en) | 2009-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4555775B2 (ja) | 撮像装置 | |
JP4503878B2 (ja) | 撮像装置及び撮像方法 | |
JP4142340B2 (ja) | 撮像装置 | |
JP3877565B2 (ja) | 撮像装置 | |
US6377304B1 (en) | Solid-state image-pickup devices exhibiting faster video-frame processing rates, and associated methods | |
JP3942569B2 (ja) | 撮像装置および画像データの変換方法 | |
JP4445870B2 (ja) | 撮像装置 | |
JP2003264844A (ja) | 固体撮像装置およびその信号読出し方法 | |
JP4285948B2 (ja) | 撮像装置 | |
JP3854662B2 (ja) | 撮像装置 | |
US20050068426A1 (en) | Imaging device | |
JP3967853B2 (ja) | 固体撮像装置および信号読出し方法 | |
WO2011037040A1 (ja) | 撮像装置 | |
JP4246244B2 (ja) | 撮像装置 | |
KR100719988B1 (ko) | 화상 신호 처리 장치 | |
JP2004260265A (ja) | 画素の折り返し機能を有する画素抽出回路、および撮像装置 | |
JP3956719B2 (ja) | 撮像装置 | |
JP3967500B2 (ja) | 固体撮像装置および信号読出し方法 | |
JP4195148B2 (ja) | 固体撮像装置および信号読出し方法 | |
JP4412446B2 (ja) | 解像度変換方法および解像度変換装置 | |
JP3767367B2 (ja) | 撮像装置 | |
JP2004228775A (ja) | フレーム変換方法、フレーム変換回路および電子カメラ | |
JP3767338B2 (ja) | 撮像装置 | |
JP2931531B2 (ja) | 固体撮像装置 | |
JP4149591B2 (ja) | 固体撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050520 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071009 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090303 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090324 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120403 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120403 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120403 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130403 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140403 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |