JP4015905B2 - デジタルカメラ - Google Patents
デジタルカメラ Download PDFInfo
- Publication number
- JP4015905B2 JP4015905B2 JP2002244197A JP2002244197A JP4015905B2 JP 4015905 B2 JP4015905 B2 JP 4015905B2 JP 2002244197 A JP2002244197 A JP 2002244197A JP 2002244197 A JP2002244197 A JP 2002244197A JP 4015905 B2 JP4015905 B2 JP 4015905B2
- Authority
- JP
- Japan
- Prior art keywords
- light receiving
- signal
- receiving element
- digital camera
- correlation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 claims description 132
- 238000003384 imaging method Methods 0.000 claims description 80
- 238000000034 method Methods 0.000 claims description 71
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 39
- 239000011295 pitch Substances 0.000 claims description 36
- 238000012937 correction Methods 0.000 claims description 18
- 239000003086 colorant Substances 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 description 39
- 230000000875 corresponding effect Effects 0.000 description 37
- 238000012546 transfer Methods 0.000 description 31
- 238000011161 development Methods 0.000 description 16
- 238000012986 modification Methods 0.000 description 15
- 230000004048 modification Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000003909 pattern recognition Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000006837 decompression Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 1
- 229920005591 polysilicon Polymers 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
【発明の属する技術分野】
本発明は、開口部を介して入射する光を撮像し、撮像により得られた信号に信号処理を施して広帯域な信号にすることができ、被写体再現性を高めることができるデジタルカメラに関する。
【0002】
【従来の技術】
固体撮像装置には、モアレ等の偽信号が発生することがある。また、画素の高集積化を行いながら、受光する光量を増やすことにより、受光効率の向上を図ることができる固体撮像装置が、特開平10−136391号公報に開示されている。
【0003】
この固体撮像装置は、画像の空間サンプリングの最適化をもたらす新規な構造、即ち、ハニカム画素配列を有する。
【0004】
このハニカム画素配列は、各画素間の距離をピッチと定義すると、例えば行方向及び/又は列方向に半ピッチずらして配置する配列である。この画素配置に伴って、CCD(Charge Coupled Device)型の固体撮像素子では、垂直方向の転送レジスタが各画素を迂回するように蛇行して形成されている。
【0005】
画素は、それぞれ実際に存在する画素(実画素)に対して色フィルタセグメントが割り当てられている。画素(受光素子)では、色フィルタセグメントからの透過光を光電変換して色属性を有する信号電荷を、垂直方向に形成された垂直転送レジスタに読み出す。固体撮像装置では、この垂直転送方向に直交する水平転送レジスタを介して電荷/電圧変換された電圧信号、即ち、アナログの撮像信号を出力する。
【0006】
この撮像信号には、信号処理が施される。この信号処理では、供給される実画素の色を考慮して画素データの相関を求める。つまり、この信号処理では、色を設定し、同色の相関の高い画素データ同士を用いて画素の実在しない位置における画素データ、即ち、仮想画素における画素データと、実在する異なった色の画素での画素データとが算出される。そして、相関が強い方向の画素データを用いて画素補間処理が行われる。この画素補間処理は、偽信号の発生を抑制することができる。また、画素データの広帯域化処理も施して解像力も高めている。
【0007】
ところで、このような信号処理においては、仮想画素における画素データを、周りの実画素における画素データから推定することによって、解像度の高い画像を得るようにしている。
【0008】
しかしながら、この仮想画素の画素データは、あくまでも周りの画素データから推定したものであり、この推定値は、実際の画素データとは異なるため、その推定を誤ると、生成される画素データが例えば忠実な色や階調を反映できなくなり、本来のシーンに対して偽色や解像度の低下を招くおそれがあった。
【0009】
【発明が解決しようとする課題】
上述の問題点を解決する方法として、仮想画素として設定される部分に小型の受光素子を配置する方法が考えられている。この方法によれば、仮想画素の画素データを求めるための推定値の信頼性を高めることができ、高解像度、高精細度の再現画像を得ることができる。
【0010】
本発明はこのような課題を考慮してなされたものであり、仮想画素として設定される部分に小型の受光素子を配置する撮像部を有する場合において、より高い被写体再現性を実現させることができるデジタルカメラを提供することを目的とする。
【0011】
【課題を解決するための手段】
本発明に係るデジタルカメラは、複数の受光素子と複数の小型受光素子並びに複数の色フィルタが配列された撮像部と、撮像部からの撮像信号に対して信号処理を行って画像情報を出力する信号処理部とを有するデジタルカメラにおいて、前記撮像部における前記複数の受光素子は、行方向の配列が1行置きに1/2ピッチずつずらされて配置され、前記複数の小型受光素子は、前記複数の受光素子の間に配置され、前記信号処理部は、輝度信号並びに色差信号の元となる、少なくとも解像度を考慮した成分信号を生成する成分信号生成部を有し、前記成分信号生成部は、前記複数の受光素子のうち、緑色の色フィルタに対応する受光素子以外の受光素子に関する前記成分信号を、所定の条件を満足した場合に、当該受光素子の周辺に配列された小型受光素子の撮像信号を考慮して作成することを特徴とする。
【0012】
ここで、前記所定の条件は、前記当該受光素子を中心とした同色における1ピッチ間の水平相関判定値と垂直相関判定値とが共に規定値未満とすること等が挙げられる。また、緑色以外の色は、青色及び赤色であってもよいし、黄色及びシアンであってもよい。
【0013】
具体的には、前記成分信号生成部は、前記当該受光素子を中心とした同色における1ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が前記規定値未満の場合に、前記当該受光素子を基点とした1/2ピッチ間の水平相関判定値と垂直相関判定値とを検出し、その検出結果に応じて前記成分信号を作成するようにしてもよい。
【0014】
これにより、撮像された画像における1/2ピッチ間のパターン認識を簡易に実現することができ、しかも、輝度信号並びに色差信号の元となる、少なくとも解像度を考慮した成分信号の広帯域化を図ることができる。これは、再現画像の周波数分布の広帯域化をもたらし、被写体再現性を高めることができる。
【0015】
また、前記成分信号生成部は、前記当該受光素子を中心とした同色における2ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が第1の規定値以上の場合に、相関の大きい方向を考慮して成分信号を生成する第1の信号生成部と、前記第1の信号生成部での検出結果が、前記第1の規定値未満の場合に、前記当該受光素子を中心とした同色における1ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が第2の規定値以上の場合に、相関の大きい方向を考慮して成分信号を生成する第2の信号生成部と、前記第2の信号生成部での検出結果が、前記第2の規定値未満の場合に、前記当該受光素子を基点とした1/2ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が第3の規定値以上の場合に、相関の大きい方向を考慮して成分信号を作成する第3の信号生成部とを有するようにしてもよい。
【0016】
つまり、撮像した画像は一般に垂直方向及び水平方向の相関が高いことから、当該受光素子を中心とした2ピッチ間の相関を検出することで、ほとんどが第1の信号生成部を通じて成分信号が生成されることになるが、第2及び第3の信号生成部によって、幅が1画素分のストライプ画像であっても認識することが可能となり、パターン認識の高精度化を実現することができる。
【0017】
前記成分信号は、前記当該受光素子の撮像信号と、当該受光素子の周辺に配置され、かつ、緑色以外の色であって、当該受光素子の配色以外の色に対応する受光素子の撮像信号に基づいて生成するようにしてもよい。
【0018】
即ち、緑色に関する受光素子については、その撮像信号(あるいはガンマ補正等がされた後の撮像信号)そのものが成分信号となる。一方、緑色以外の色に関しては、緑以外の色の撮像信号を考慮して成分信号を生成することで、水平及び垂直方向の周波数帯域を緑色の成分信号の周波数帯域まで広げることができ、再現画像の周波数の広帯域化を達成させることができる。
【0019】
また、前記構成において、前記信号処理部は、前記当該受光素子の周辺の配色のうち、緑色以外の色であって、かつ、当該受光素子の配色以外の色の相関の方向が全て同じである場合に、前記当該受光素子の成分信号を、前記相関の方向を考慮して修正する修正部を有するようにしてもよい。この場合、パターン認識を更に向上させることができる。
【0020】
また、前記信号処理部は、前記複数の受光素子における成分信号に基づいて、前記複数の受光素子間の仮想受光素子の成分信号を水平補間する水平補間処理部と、水平補間後の各成分信号を垂直方向にローパスフィルタ処理を施して垂直補間する垂直補間処理部とを有するようにしてもよい。この場合、前記水平補間は、前記複数の受光素子間の仮想受光素子の成分信号を、水平方向にローパスフィルタ処理を施して行う、又は、水平方向に隣接する受光素子の成分信号との相関によって行うようにしてもよい。
【0021】
これにより、1/2ピッチ幅のパターン認識が可能な成分信号に基づく補間となるため、上述の補間処理部を通じて仮想画素(仮想受光素子)に対する補間を行って得られた全体の成分信号によれば、上述した成分信号生成部での信号処理による効果を損なうことなく、再現画像の高解像度並びに広帯域化が実現でき、被写体再現性を高めることができる。
【0022】
また、前記信号処理部は、前記複数の受光素子における成分信号に基づいて、前記複数の受光素子間の仮想受光素子の成分信号を垂直補間する垂直補間処理部と、垂直補間後の各成分信号を水平方向にローパスフィルタ処理を施して水平補間する水平補間処理部とを有するようにしてもよい。この場合、前記垂直補間は、前記複数の受光素子間の仮想受光素子の成分信号を、垂直方向にローパスフィルタ処理を施して行う、又は、垂直方向に隣接する受光素子の成分信号との相関によって行うようにしてもよい。
【0023】
あるいは、前記信号処理部は、複数の緑色の受光素子における各成分信号に基づいて、緑色以外の受光素子の成分信号並びに前記複数の受光素子間の仮想受光素子の成分信号を補間する第1の補間処理部と、複数の緑色以外の受光素子における各成分信号に基づいて、緑色の受光素子の成分信号並びに前記複数の受光素子間の仮想受光素子の成分信号を補間する第2の補間処理部と、前記第1の補間処理にて求められた複数の成分信号と、前記第2の補間処理にて求められた複数の成分信号とをそれぞれ対応づけて加算して全受光素子及び全仮想受光素子に対応する成分信号を求める加算処理部とを有するようにしてもよい。
【0024】
【発明の実施の形態】
以下、本発明に係るデジタルカメラの実施の形態例を図1〜図26を参照しながら説明する。
【0025】
本実施の形態に係るデジタルカメラ10は、基本的には、図1に示すように、以下に示す主要部品12が筐体14に収容されて構成され、主要部品12は、光学部品16と、撮像素子18と、ドライバ20と、タイミング発生器22と、機構系24と、機構系用CPU26と、カメラ用CPU28と、前処理回路30と、A/D変換器32と、システムLSI34と、バッテリ36と、着脱自在の記録媒体38と、操作部40と、表示部42等である。
【0026】
光学部品16は、複数枚の光学レンズを組み合わせて構成されている(図1では代表的に1つのレンズで図示してある)。
【0027】
機構系24は、光学レンズの配置する位置を調節して画面の画角を操作部40からの操作信号に応じて調節するズーム機構と、撮像素子18で光電変換した信号電荷を基に自動露出を行い、また、被写体とカメラとの距離に応じてピント調節するAE/AF調節機構と、被写体の撮影において最適な入射光の光束を撮像素子に供給するように入射光束断面積(すなわち、絞り開口面積)を調節する絞り調節機構とを有する。
【0028】
撮像素子18の入射光側には、赤外線カットフィルタ44と、該撮像素子18に対応して光学像の空間周波数をナイキスト周波数以下に制限する光学ローパスフィルタ46とが一体的に配設される。本実施の形態では単板方式の色フィルタを用いて撮像する。
【0029】
撮像素子18には、CCD(Charge Coupled Device:電荷結合素子)やMOS(Metal Oxide Semiconductor:金属酸化型半導体)タイプの固体撮像デバイスが適用される。
【0030】
撮像素子18では、供給される駆動信号に応じて光電変換によって得られた信号電荷を所定のタイミングとして、例えば、信号読出し期間の電子シャッタのオフの期間にフィールドシフトにより垂直転送路に読み出され、この垂直転送路をラインシフトした信号電荷が水平転送路に供給され、この水平転送路を経た信号電荷が図示しない出力回路による電流/電圧変換によってアナログ電圧信号にされ、後段の前処理回路30に出力される。撮像素子18は、CCDタイプでは信号電荷の読出しモードに応じてフィールド蓄積2行混合読出しの色多重化方式や全画素読出し方式を用いる。
【0031】
前処理回路30は、例えばCDS(Correlated Double Sampling:相関二重サンプリング)回路やガンマ変換回路等が挙げられる。CDS回路は、例えばCCD型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング発生器22からのタイミング信号によりクランプするクランプ回路と、タイミング信号により撮像信号をホールドするサンプルホールド回路とを有する。ガンマ変換回路は、CDS回路を通じてノイズが除去された後の撮像信号にガンマ補正、いわゆるガンマ変換を施す。
【0032】
A/D変換器32は、供給される撮像信号の信号レベルを所定の量子化レベルにより量子化してデジタル信号に変換し、撮像データとして後段のシステムLSI34に出力する。
【0033】
システムLSI34は、MPU(Micro Processor Unit)50と、DSP(Digital Signal Processor)52と、RAM(Random Access Memory)54と、不揮発性メモリ56と、メモリ制御部58と、記録媒体用インターフェース(I/F)60と、画像処理ブロック62と、圧縮伸長部64と、通信制御部66と、表示制御ブロック68と、電源制御部70とを有する。
【0034】
画像処理ブロック62は、画像処理部72と、画像メモリ74とを有し、表示制御ブロック68は、表示メモリ76と、表示制御部78と、D/A変換部80とを有する。このD/A変換部80からのアナログ信号が表示部42に供給されて該表示部42の画面上に撮像映像が表示されることになる。
【0035】
A/D変換器32から供給された撮像データは、メモリ制御部58及びMPU50による制御によってラインバッファを経て画像メモリ74に格納される。
【0036】
撮像素子18の構成、特に、受光部と垂直転送部の構成は、図2及び図3に示すように、開口部81を通じて入射する光を光電変換する受光素子PDに隣接した他の受光素子PDが垂直方向及び/又は水平方向にずらされて2次元配置され、水平方向の受光素子PDの間には2列分の垂直転送レジスタ(VCCD)82がそれぞれ形成されている。このような受光素子PDの配列が、いわゆるハニカム配列である。開口部81の形状は、一般的に正方格子であるが、図示のように、八角形でもよい。もちろん、他の例として、八角形以外(六角形等)の多角形や、正方格子を45°回転させた開口形状(例えば菱形等)でもよい。
【0037】
ここで、実在する受光素子PDを実画素として定義した場合、4つの受光素子(実画素)で囲まれた受光素子PDの実在しない領域を仮想画素の領域と定義することができる。そして、この実施の形態では、仮想画素の位置に透孔84を設け、光が垂直転送レジスタ82のポテンシャル井戸に入射するように構成している。なお、図2において、受光素子PD内に記載されている文字R、G及びBは、色フィルタセグメントの色を示している。ここで使用する色フィルタセグメントの配列パターンは、G正方RB完全市松パターンである。もちろん、RとBが入れ替わっても構わない。以下の説明では、赤色(R)に対応する実画素をR画素、緑色(G)に対応する実画素をG画素、青色(B)に対応する実画素をB画素と記す。
【0038】
撮像素子18の縦断面に基づいて受光部と垂直転送部の構成を説明すると、n型シリコンウェーハ90の上にpウェル92が形成され、該pウェル92は、受光素子PDと垂直転送レジスタ82の領域を仕切るように形成される。このpウェル92にて仕切られた受光素子PDの領域内に図示しないn層が形成され、該n層上にp+層が形成される。
【0039】
垂直転送レジスタ82には、その領域内に図示しないpウェルが形成され、該pウェルにn層(図示せず)が形成されている。また、垂直転送レジスタ82上には、例えばポリシリコンによる2層構造の転送電極94及び96が形成され、更に、最上層の転送電極96上に例えばタングステンやアルミニウムによる遮光膜98が形成されている。
【0040】
そして、この実施の形態では、仮想画素の位置に遮光膜98及び2層の転送電極94及び96を貫通する透孔84が形成され、該透孔84を通じて垂直転送レジスタ82内に光が入射するようになっている。各受光素子PD上には、それぞれ対応する色フィルタ100並びにオンチップ・マイクロレンズ102が形成されている。
【0041】
色フィルタ100が受光素子PDの領域のみを覆うように色フィルタセグメントを形成すると、透孔84を通して垂直転送レジスタ82内に白色光が入射することになる。この場合、垂直転送レジスタ82のうち、透孔84に対応する位置には、輝度信号に対応する信号電荷が生成される。RGB三原色のうち、ある1つの色フィルタセグメント(例えば緑色)により透孔84が覆われている場合、その色フィルタセグメントの色属性を有する信号電荷が生成されることになる。
【0042】
このように、これまで仮想画素として扱っていた位置に、透孔84を形成するようにしたので、該透孔84を通じて生成された信号電荷を新たな情報源として利用することができる。
【0043】
ここで、静止画撮影モードを主体に撮像データが画像メモリ74に格納されるまでの動作について図4のフローチャートを参照しながら説明する。
【0044】
まず、撮像素子18の駆動を行う。この撮像素子18の駆動は、システムLSI34からの制御に基づいてドライバ20から駆動信号が供給されることにより行われる。撮像素子18の駆動により得られた撮像データを基にAF/AEの制御を行う(ステップS1)。即ち、システムLSI34のMPU50は、供給される撮像データを用いてAF調節及びAE調節のパラメータを生成してカメラ用CPU28に供給する。カメラ用CPU28は、供給されたパラメータに応じた制御信号を生成し、該制御信号を機構系用CPU26に供給する。機構系用CPU26は、供給された制御信号に基づいてAF/AE調節の駆動信号を生成して機構系24に供給する。
【0045】
次に、撮像素子18での撮像が開始される。この制御として、システムLSI34におけるMPU50の制御に応答して機構系用CPU26から駆動信号が出力され、これにより、メカニカルシャッタが閉じ、その後、ドライバ20から撮像素子18に対して転送駆動信号が出力され、垂直転送レジスタ82(図3参照)に蓄積されているスミア成分が掃き出される(ステップS2)。スミア成分の掃き出しに伴って、垂直転送レジスタ82には規定のポテンシャルが形成される。
【0046】
その後、露光が行われる(ステップS3)。即ち、機構系用CPU26から機構系24に駆動信号が出力され、これにより、メカニカルシャッタが開く(露光開始)。所定の露光時間が経過した時点で、MPU50から機構系用CPU26に対して指示が出力され、この指示に基づいてメカニカルシャッタが閉じる(露光終了)。上述の露光開始から露光終了までの期間において、垂直転送レジスタ82には、透孔84を通じて入射された光に応じた信号電荷が生成される。また、各受光素子PDにおいても、それぞれ入射された光に応じた信号電荷が蓄積される。
【0047】
露光終了の後、ドライバ20から撮像素子18に対して転送駆動信号が出力され、垂直転送レジスタ82に蓄積されている信号電荷が垂直転送される。垂直転送された信号電荷は、その後、水平転送レジスタ(図示せず)を通じて水平転送され、出力部(図示せず)を通じてQ/V変換されてアナログの電圧信号(撮像信号)に変換されて出力される(ステップS4)。
【0048】
撮像素子18から出力された撮像信号は、後段の前処理回路30においてノイズが除去され、更にガンマ変換が施された後、A/D変換器32にてデジタルの撮像データに変換されて、システムLSI34のメモリ制御部58及びMPU50を通じて画像メモリ74に格納される(ステップS5)。この段階で、仮想画素の位置に対応する撮像データ(補助データ)が画像メモリの例えば補助データファイル110(図5参照)に格納されることになる。
【0049】
その後、撮像素子18は、通常行っている受光素子PDから垂直転送レジスタ82への信号電荷の読み出し、即ち、全画素読出しを行う。この場合も、出力部においてQ/V変換が行われて撮像信号とされる(ステップS6)。各受光素子PDからの全画素読出しによる撮像信号は、後段の前処理回路30においてノイズが除去され、更にガンマ変換が施された後、A/D変換器32にてデジタルの撮像データに変換されて、上述と同様に、システムLSI34のメモリ制御部58及びMPU50を通じて画像メモリ74に格納される(ステップS7)。この段階で、全受光素子PDに対応する撮像データが画像メモリ74の例えば撮像データファイル112(図5参照)に格納されることになる。
【0050】
次に、本実施の形態に係るデジタルカメラ10の画像処理ブロック62における画像処理部72の構成について図5を参照しながら説明する。
【0051】
画像処理部72は、図5に示すように、データ演算処理部120、マトリクス部122、アンチエリアシングフィルタ部124及びアパーチャ調整部126が備えられている。データ演算処理部120は、画像メモリ74に格納された撮像データに演算処理を施す各種の演算部がある。
【0052】
即ち、データ演算処理部120には、輝度データ作成部130、高域輝度データ作成部132及びプレーン補間展開部134が備えられている。データ演算処理部120は、図示しないが、MPU50から供給される制御信号によって制御されている。
【0053】
輝度データ作成部130には、画像メモリ74における補助データファイル110から仮想画素に対応する補助データと、撮像データファイル112からRGBの撮像データが供給され、プレーン補間展開部134には、前記撮像データファイル112からRGBの撮像データが供給される。
【0054】
輝度データ作成部130は、RGBの各画素に対応する位置での輝度データを前記補助データとRGBの撮像データとに基づいて演算する演算部140と、演算された輝度データについて修正を施す修正部142とを有する。
【0055】
演算部140は、図6に示すように、画素選択部144と、第1〜第4の信号生成部146〜152と、輝度データ設定部154と、相関フラグ設定部156とを有する。
【0056】
画素選択部144は、撮像データファイル112から対象画素(輝度データを生成すべき対象画素)を選択してその撮像データを読み出し、また、補助データファイル110及び撮像データファイル112から前記対象画素の周辺画素を選択してそれぞれ補助データ及び撮像データを読み出して、第1〜第4の信号生成部に供給する。
【0057】
第1の信号生成部146は、選択した対象画素を中心とした同色における2ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が第1の規定値以上の場合に、相関の大きい方向を考慮して輝度データを生成する。
【0058】
第2の信号生成部148は、前記第1の信号生成部146での検出結果が、第1の規定値未満の場合に、当該対象画素を中心とした同色における1ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が第2の規定値以上の場合に、相関の大きい方向を考慮して輝度データを生成する。
【0059】
第3の信号生成部150は、前記第2の信号生成部148での検出結果が、第2の規定値未満の場合に、当該対象画素を基点とした1/2ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が第3の規定値以上の場合に、相関の大きい方向を考慮して輝度データを作成する。
【0060】
第4の信号生成部152は、当該対象画素の1/2ピッチにおいて、垂直方向及び水平方向のいずれについて相関があるか不明の場合に、垂直方向及び水平方向における周辺画素の撮像データを考慮して輝度データを作成する。
【0061】
輝度データ設定部154は、第1〜第4の信号生成部146〜152のいずれかにおいて生成された輝度データを画像メモリ74における輝度データファイル158の対象画素に対応するアドレスに格納する。
【0062】
相関フラグ設定部156は、第1〜第4の信号生成部146〜152のいずれかを通じて輝度データが作成された場合に、その輝度データの作成の基となった相関方向を示すフラグ情報を画像メモリ74におけるフラグファイル160の対象画素に対応するアドレスに格納する。相関方向を示すフラグ情報としては、例えば垂直相関=「01」、水平相関=「10」、相関不明=「00」等が挙げられる。
【0063】
一方、修正部142は、1つの対象画素(例えば1つのB画素)について、その周辺の8つのR画素の相関の方向が全て同じである場合に、当該B画素の輝度データを、R画素の相関の方向を考慮して修正する。これは対象画素が1つのR画素についても同様である。
【0064】
この修正部142は、図7に示すように、相関判別部162と再設定部164とを有する。相関判別部162は、フラグファイル160から対象画素(修正の要否を確認すべき対象画素)の8つの周辺画素を選択して、それぞれ相関方向を示すフラグ情報を読み出し、8つの周辺画素について全て相関方向が同じであった場合に、再設定部164を起動し、該再設定部164に対して相関方向の情報を供給する。
【0065】
再設定部164は、相関判別部162からの相関方向の情報に基づいて、対象画素の輝度データをその相関方向を考慮して再設定し、その再設定された輝度データを輝度データファイル158の対象画素に対応するアドレスに格納する。即ち、対象画素の輝度データについて修正を行う。
【0066】
この修正部142での動作を図8に基づいて説明すると、例えば1つのB画素bに関する周辺の8つのR画素(u1,u2,u3,m1,m2,d1,d2,d3)に関する相関方向を示すフラグ情報を読み取り、読み取ったフラグ情報が全て同じ方向であった場合に、B画素bの輝度データをその相関方向を考慮した値に再設定する。
【0067】
例えば8つの周辺画素(u1,u2,u3,m1,m2,d1,d2,d3)が全て水平相関を有する場合は、対象画素bも水平相関を有するとして、以下の関係式にて演算を行って対象画素bの輝度データを再設定する。
b(輝度データ)={m1(輝度データ)+m2(輝度データ)}……(1)
【0068】
反対に、例えば8つの周辺画素(u1,u2,u3,m1,m2,d1,d2,d3)が全て垂直相関を有する場合は、対象画素bも垂直相関を有するとして、以下の演算を行って対象画素bの輝度データを再設定する。
b(輝度データ)={u2(輝度データ)+d2(輝度データ)}/2……(2)
【0069】
次に、高域輝度データ作成部132は、得られた輝度データから仮想画素の輝度データを補間すると共に、得られる輝度データの周波数帯域を高域にして高域輝度データYHを得る。そして、この高域輝度データ作成部132は、得られた高域輝度データYHを画像メモリ74の高域輝度データファイル166に格納する。
【0070】
この高域輝度データYHの作成は、図9〜図12に示すように、3種類の機能部170A〜170Cのいずれかによって実現することができる。図9、図11及び図12において、「g」はG画素の輝度データを示し、「m」はR画素又はB画素の輝度データを示し、「*」は輝度データが決定されていない仮想画素を示す。また、「G」及び「M」は水平補間あるいは垂直補間後の輝度データを示し(実画素の輝度データについては実質的に変化はない)、「YH」は高域輝度データを示す。この場合、高域輝度データが実画素及び仮想画素全てに配列されてなるデータ群は、高解像度及び広帯域の輝度情報を構成することになる。
【0071】
そして、第1の機能部170Aは、図9に示すように、水平方向のLPF(ローパスフィルタ)と垂直方向のLPF174とを有する。ここで、水平方向のLPF172の処理について図10A及び図10Bを参照しながら説明する。図10A及び図10Bにおいて、実画素d(−3),d(−1),d(1),d(3)は実線で示し、仮想画素は破線で示し、これら仮想画素は、実画素の間に配された関係になっている。
【0072】
仮想画素dn(−4),dn(−2),dn(0),dn(2),dn(4)は、実画素との対応を考慮すると、何もデータが入っていない状態と同じ関係として扱う。即ち、これらの仮想画素には、ゼロが予め設定されている。例えば、図10Aに示すように、画素dn(0)を水平方向に補間するとき、デジタルフィルタのタップ係数をk0,k1,k2,k3,k4,・・・,knとして整理すると、高域成分を含む輝度データY(0)が以下の式(3)を演算することにより得られる。
【0073】
但し、この場合、図10Aから明らかなように、ゼロのデータが交互に入るので、係数は2倍になる。この関係は、図10Aにおけるこの他の補間対象の画素dn(−4),dn(−2),dn(2),dn(4)に対しても当てはめることができる。これらの補間処理が施されることにより、高域成分を含む輝度データY(−4),Y(−2),Y(2),Y(4)が得られる(図10B参照)。
【0074】
輝度データファイル158の全ての行について上述の水平方向のLPF処理が終了した段階で、仮想画素に対応する輝度データが一時的に決定される。その後、全ての列について垂直方向のLPF処理が行われる。この場合、既に水平方向のLPF処理によって仮想画素の輝度データYが補間されているので、輝度データYは密に入っている。従って、LPFの係数は通常と同じにして済ませることができる。上述の垂直方向のLPF処理によって、実画素及び仮想画素全てについて高域成分を含む輝度データYHが作成される。
【0075】
第2の機能部170Bは、図11に示すように、垂直方向のLPF174と水平方向のLPF172とを有し、上述した第1の機能部170Aとは逆の処理手順となっている。即ち、まず、輝度データファイル158の全ての列について垂直方向のLPF処理が行われて、仮想画素に対応する輝度データYが一時的に決定され、その後、全ての行について水平方向のLPF処理が行われて、実画素及び仮想画素全てについて高域成分を含む輝度データYHが作成される。
【0076】
第3の機能部170Cは、図12に示すように、輝度データファイル158をG画素に関する第1の輝度データファイル158Aと、R画素及びB画素に関する第2の輝度データファイル158Bとに分離して処理を行う。
【0077】
そして、この第3の機能部170Cは、第1及び第2の補間処理部176及び178と、加算処理部180とを有する。第1の補間処理部176は、第1の輝度データファイル158Aに対し補間処理を行って、第1の輝度データファイル158Aにおける実画素及び仮想画素の全てについて輝度データを決定する。
【0078】
第2の補間処理部178は、第2の輝度データファイル158Bに対し補間処理を行って、第2の輝度データファイル158Bにおける実画素及び仮想画素の全てについて輝度データを決定する。これらの補間処理としては、LPFによる補間や、周辺画素との相関判断による方法等が挙げられる。
【0079】
加算処理部180は、第1及び第2の輝度データファイル158A及び158Bにおけるそれぞれ対応する画素の輝度データを加算する。この加算処理によって、実画素及び仮想画素全てについて高域成分を含む輝度データYHが作成される。
【0080】
プレーン補間展開部134は、図13に示すように、3種類の演算部を有し、具体的には、R補間展開部182、G補間展開部184及びB補間展開部186が備えられている。これらR補間展開部182、G補間展開部184及びB補間展開部186には、それぞれの一方の入力端子に高域輝度データYHが供給され、他方の入力端子にそれぞれ対応する撮像データ、即ちRデータDr、GデータDg、BデータDbが供給される。このプレーン補間展開によってRプレーンデータDPr、GプレーンデータDPg及びBプレーンデータDPbが作成される。
【0081】
マトリクス部122は、補間展開によって得られたRプレーンデータDPr、GプレーンデータDPg及びBプレーンデータDPbから輝度データYと色差データCr及びCbを生成する。マトリクス部122は、以下の式(4)に基づいて輝度データYを求め、更に、この輝度データYを用いて色差データCr=DPr−Y及びCb=DPb−Yを生成する。
Y=0.3*DPr+0.5*DPg+0.11*DPb ………(4)
【0082】
また、アンチエリアシングフィルタ部124は、高域成分を含むように調整されたデジタルフィルタで構成されている。アパーチャ調整部126は、輝度データに対してアパーチャ効果、例えば、輪郭強調等を施す。これらアンチエリアシングフィルタ部124及びアパーチャ調整部126として、従来の構成を用いることができる。
【0083】
次に、デジタルカメラ10の動作について図14のメインルーチンを参照しながら説明する。まず、ステップS101において、デジタルカメラ10に電源が投入されると、システムLSI34のMPU50によって各種の初期設定が行われる。
【0084】
その後、ステップS102において、撮像素子18での撮像が行われる。その後、ステップS103において、前記撮像素子18から読み出された撮像信号は、後段の前処理回路30にてノイズ除去及びガンマ変換等が行われ、更に、A/D変換器32にてデジタルの撮像データに変換されて後段のシステムLSI34に供給され、メモリ制御部58及びMPU50を通じて画像メモリ74に格納される。
【0085】
このとき、撮像素子18からは、まず、仮想画素に対応する位置からの撮像信号が読み出され、補助データとして画像メモリ74の補助データファイル110に格納され、その後、各受光素子PDからの全画素読出しによる撮像データが画像メモリ74の撮像データファイル112に格納される。
【0086】
前記ステップS103での処理が終了した段階で、ステップS104において、輝度データ作成部130における演算部140での処理に入る。
【0087】
演算部140は、画像メモリ74における補助データファイル110からの補助データ及び撮像データファイル112からの撮像データに基づいて各受光素子PDに対応する位置の輝度データを作成して画像メモリ74の輝度データファイル158に格納する。
【0088】
ここで、演算部140での処理について図15〜図18のフローチャートを参照しながら説明する。
【0089】
まず、図15のステップS201において、輝度データを作成すべき対象画素を選択して撮像データファイル112から該対象画素に対応する撮像データを読み出す。その後、ステップS202において、対象画素がR画素又はB画素であるか否かが判別される。対象画素がG画素である場合は、そのGデータが、そのまま輝度データとなるため、ステップS203において、該輝度データを第1のレジスタRg1に格納する。その後、ステップS227での処理に進む。
【0090】
一方、対象画素がB画素あるいはR画素である場合は、次のステップS204〜S210において、第1の信号生成部146での処理が行われる。具体的に図19の配列パターンも参照しながら説明すると、対象画素をB3としたとき、ここでの処理は、まず、ステップS204において、対象画素B3を中心とした同色(この場合、赤色)における2ピッチ間隔の実画素R1〜R4の各撮像データを読み出して、水平相関判定値ah=|R2−R3|と垂直相関判定値av=|R1−R4|とを求める。
【0091】
その後、ステップS205において、垂直相関があるか否かが判別される。垂直方向に相関がある場合は、垂直方向に並ぶ撮像データ同士の値が近いことを示すことから、この判別は、水平相関判定値ahから第1のしきい値TH1(2ピッチ間隔の相関方向を判定する規定値)を差し引いた値(ah−TH1)が垂直相関判定値av以上であるかどうかで行われる。
【0092】
前記ステップS205において、(ah−TH1)≧avを満足する場合、即ち、垂直相関があると判別された場合は、ステップS206に進み、以下の式(5)の演算を行って、当該対象画素B3における輝度データYB3を求め、該輝度データYB3を第1のレジスタRg1に格納する。その後、ステップS207において、フラグ情報として垂直相関を示す情報(例えば「01」)を第2のレジスタに格納する。
YB3=0.5*B3+0.25*(R1+R4) ………(5)
【0093】
(ah−TH1)≧avを満足しない場合は、ステップS208に進み、今度は、水平相関があるか否かが判別される。水平方向に相関がある場合は、水平方向に並ぶ撮像データ同士の値が近いことを示すことから、この判別は、垂直相関判定値avから第1のしきい値TH1を差し引いた値(av−TH1)が水平相関判定値ah以上であるかどうかで行われる。
【0094】
前記ステップS208において、(av−TH1)≧ahを満足する場合、即ち、水平相関があると判別された場合は、ステップS209に進み、以下の式(6)の演算を行って、当該対象画素B3における輝度データYB3を求め、該輝度データYB3を第1のレジスタRg1に格納する。その後、ステップS210において、フラグ情報として水平相関を示す情報(例えば「10」)を第2のレジスタに格納する。
YB3=0.5*B3+0.25*(R2+R3) ………(6)
【0095】
(av−TH1)≧ahを満足しない場合、即ち、対象画素を中心とした同色における2ピッチ間隔の実画素R1〜R4の情報では相関方向の判別ができない場合は、図16のステップS211〜S217において、第2の信号生成部148での処理が行われる。
【0096】
まず、ステップS211において、対象画素B3を中心とした同色(この場合、緑色)における1ピッチ間隔の実画素G1〜G4の各撮像データを読み出して、水平相関判定値agh=|G1−G2|+|G3−G4|と垂直相関判定値agv=|G1−G3|+|G2−G4|とを求める。
【0097】
その後、ステップS212において、垂直相関があるか否かが判別される。この判別は、水平相関判定値aghから第2のしきい値(1ピッチ間隔の相関方向を判定する規定値)TH2を差し引いた値(agh−TH2)が垂直相関判定値agv以上であるかどうかで行われる。
【0098】
前記ステップS212において、(agh−TH2)≧agvを満足する場合、即ち、垂直相関があると判別された場合は、ステップS213に進み、前記式(5)の演算を行って、当該対象画素B3における輝度データYB3を求め、該輝度データYB3を第1のレジスタRg1に格納し、更に、ステップS214において、垂直相関を示すフラグ情報を第2のレジスタRg2に格納する。
【0099】
(agh−TH2)≧agvを満足しない場合は、ステップS215に進み、今度は、水平相関があるか否かが判別される。この判別は、垂直相関判定値agvから第2のしきい値TH2を差し引いた値(agv−TH2)が水平相関判定値agh以上であるかどうかで行われる。
【0100】
前記ステップS215において、(agv−TH2)≧aghを満足する場合、即ち、水平相関があると判別された場合は、ステップS216に進み、前記式(6)の演算を行って、当該対象画素B3における輝度データYB3を求め、該輝度データYB3を第1のレジスタRg1に格納し、更に、ステップS217において、水平相関を示すフラグ情報を第2のレジスタRg2に格納する。
【0101】
(agv−TH2)≧aghを満足しない場合、即ち、対象画素B3を中心とした同色における1ピッチ間隔の実画素G1〜G4の情報では相関方向の判別ができない場合は、図17のステップS218〜S224において、第3の信号生成部150での処理が行われる。
【0102】
まず、ステップS218において、G画素G1〜G4の各撮像データと仮想画素P1〜P4の各補助データを読み出して、水平相関判定値ph=|G1−αP1|+|G2−αP1|+|G3−αP4|+|G4−αP4|と、垂直相関判定値pv=|G1−αP2|+|G3−αP2|+|G2−αP3|+|G4−αP3|を求める。ここでの演算は、仮想画素の位置に形成された透孔84上に緑色の色フィルタが形成されている場合を想定している。また、αは、透孔84の面積が受光素子PDの受光面積よりも小さいため、補助データを撮像データのレベルまで合わせ込むための係数である。
【0103】
その後、ステップS219において、垂直相関があるか否かが判別される。この判別は、水平相関判定値phから第3のしきい値(1/2ピッチ間隔の相関方向を判定する規定値)TH3を差し引いた値(ph−TH3)が垂直相関判定値pv以上であるかどうかで行われる。
【0104】
前記ステップS219において、(ph−TH3)≧pvを満足する場合、即ち、垂直相関があると判別された場合は、ステップS220に進み、前記式(5)の演算を行って、当該対象画素B3における輝度データを求め、該輝度データを第1のレジスタRg1に格納し、更に、ステップS221において、垂直相関を示すフラグ情報を第2のレジスタRg2に格納する。
【0105】
(ph−TH3)≧pvを満足しない場合は、ステップS222に進み、今度は、水平相関があるか否かが判別される。この判別は、垂直相関判定値pvからしきい値TH3を差し引いた値(pv−TH3)が水平相関判定値ph以上であるかどうかで行われる。
【0106】
前記ステップS222において、(pv−TH3)≧phを満足する場合、即ち、水平相関があると判別された場合は、ステップS223に進み、前記式(6)の演算を行って、当該対象画素B3における輝度データを求め、該輝度データを第1のレジスタRg1に格納し、更に、ステップS224において、水平相関を示すフラグ情報を第2のレジスタRg2に格納する。
【0107】
(pv−TH3)≧phを満足しない場合、即ち、対象画素B3を基点とした1/2ピッチ間隔における相関方向の判別ができない場合は、図18のステップS225において、第4の信号生成部152での処理が行われる。
【0108】
即ち、この第4の信号生成部152は、ステップS218において、以下の式(7)の演算を行って、当該対象画素B3における輝度データYB3を求め、該輝度データYB3を第1のレジスタRg1に格納し、更に、ステップS219において、フラグ情報として相関不明を示す情報(例えば「00」)を第2のレジスタRg2に格納する。
YB3=0.5*B3+0.125*(R1+R2+R3+R4)………(7)
【0109】
上述のように、輝度データ及びフラグ情報が決定された段階で、次のステップS227に進み、輝度データ設定部154は、第1のレジスタRg1に格納されている輝度データを輝度データファイル158における当該対象画素に対応するアドレスに格納する。その後、ステップS228において、相関フラグ設定部156は、第2のレジスタRg2に格納されているフラグ情報をフラグファイル160における当該対象画素に対応するアドレスに格納する。
【0110】
上述の処理は、1つのB画素B3の輝度データを求める手順について説明したが、他のB画素やR画素についても同様に行われる。
【0111】
ステップS228での処理が終了した段階で、次のステップS229に進み、全ての実画素について処理が終了したか否かが判別される。処理が終了していなければ、前記ステップS201に戻り、次の実画素についての輝度データの作成処理に入る。
【0112】
そして、前記ステップS229にて、全ての実画素について処理が終了したと判別された場合に、この輝度データ作成部130における演算部140での処理が終了する。
【0113】
図14のメインルーチンの説明に戻り、ステップS104での輝度データ作成処理が終了した段階で、次のステップS105に進み、輝度データ作成部130における修正部142での処理に入る。この処理の詳細については、既に説明したので、ここではその重複説明を省略するが、この修正部142での処理によって、例えば1つの対象画素(例えば1つのB画素)について、その周辺の8つのR画素の相関の方向が全て同じである場合に、当該B画素の輝度データが、R画素の相関の方向を考慮して修正される。そして、全てのB画素並びにR画素について、修正の要否が判別されて選択的に修正が施されることになる。
【0114】
前記修正部142での処理が終了した段階で、次のステップS106において、高域輝度データ作成部132での処理に入る。この高域輝度データ作成部132での処理は、上述したように、第1〜第3の機能部170A〜170Cのいずれかでの処理によって行われる。即ち、画像メモリ74の輝度データファイル158に格納されている実画素の輝度データを基に仮想画素を補間し、高域輝度データYHを作成して、高域輝度データファイル166に格納する。
【0115】
次に、ステップS107において、プレーン補間展開部134での処理に入る。このプレーン補間展開部134は、まず、G補間展開部184での処理が行われ、高域輝度データファイル166に格納された高域輝度データYHと撮像データファイル112に格納された実画素のGデータDgに基づいて、全ての仮想画素のGデータを補間して、GプレーンデータDPgを作成する。
【0116】
その後、R補間展開部182での処理が行われ、高域輝度データYHと実画素のRデータGrに基づいて全ての仮想画素のRデータを補間して、RプレーンデータDPrを作成する。その後、B補間展開部186での処理が行われ、高域輝度データYHと実画素のBデータGbとに基づいて全ての仮想画素のBデータを補間して、BプレーンデータDPbを作成する。
【0117】
すべての色における全仮想画素のプレーンデータが作成された段階で、このプレーン補間展開部134での処理が終了する。
【0118】
ここで、ステップS104〜S107の処理により得られた各データ等の信号が持つ周波数帯域を図20に表す。横軸は水平方向の周波数軸(fh)で縦軸は垂直方向の周波数軸(fv)である。
【0119】
図20のハニカム配列における空間周波数表示から、R画素及びB画素は、市松状で、かつ完全に交互いにR画素及びB画素が入れ換わるパターンで配される関係から実線R/Bの分布で表される。
【0120】
これに対して、G画素は、画素ずらしを含んだ4画素でストライプパターンに配されたことにより周波数が高く、R画素及びB画素の周波数(R/Bで示す範囲)が含まれるようになる。G画素の空間周波数は、ほぼfs/4で水平方向及び垂直方向の周波数軸を通っている。補間処理により得られた高域輝度信号YHは、G画素の周波数並びにR画素及びB画素の周波数を含み、帯域をfs/2まで延ばしている。
【0121】
図14のメインルーチンでの説明に戻り、次のステップS108において、マトリクス部122での処理が行われ、プレーン補間展開部134からのGプレーンデータDPg、RプレーンデータDPr及びBプレーンデータDPbに基づいて、全実画素及び全仮想画素に対応する輝度データYと色差データCr及びCbが生成される。
【0122】
その後、ステップS109において、アンチエリアシングフィルタ部124での処理が行われ、供給される輝度データY及び色差データCr及びCbにそれぞれ折り返し歪みが生じないようにデジタルフィルタを適用して、ローパスフィルタ処理が施される。
【0123】
その後、ステップS110において、アパーチャ調整部126での処理が行われ、具体的には、輝度データYに対してアパーチャ効果、例えば輪郭強調処理等が行われる。
【0124】
なお、上述のマトリクス部122、アンチエリアシングフィルタ部124及びアパーチャ調整部126は、従来からデジタルカメラに用いられている構成で済ませることができる。
【0125】
得られた輝度データY、色差データCr及びCbは、図1に図示していないが表示部42や圧縮伸長部64にそれぞれ供給される。表示部42では、高品質な画像データが供給されることにより、一層高い品質の表示画像や印刷を提供できる。
【0126】
次に、ステップS110において、圧縮伸長部64での処理によって、輝度データY、色差データCr及びCbに圧縮処理を施して情報量を減少させ、その後、ステップS111において、圧縮後の輝度データ等をインターフェース60を介して記録媒体38(例えば半導体メモリ、光記録媒体、磁気記録媒体、又は光磁気記録媒体)に記録する。
【0127】
ステップS111での処理が終了した段階で、ステップS112に進み、撮影を終了するか否かを判別する。この判別は、電源断や動画表示要求等のように静止画処理の終了を示す要求があったかどうかで行われる。終了要求がない場合は、ステップS101に戻って、前述の動作を繰り返す。終了要求があった場合は、このデジタルカメラ10での処理、特に、静止画処理が終了する。
【0128】
このように、本実施の形態に係るデジタルカメラ10においては、撮像された画像における1/2ピッチ間のパターン認識を簡易に実現することができ、しかも、輝度信号並びに色差信号の元となる、少なくとも解像度を考慮した輝度データの広帯域化を図ることができる。これは、再現画像の周波数分布の広帯域化をもたらし、被写体再現性を高めることができる。
【0129】
特に、撮像した画像は一般に垂直方向及び水平方向の相関が高いことから、当該受光素子を中心とした2ピッチ間の相関を検出することで、ほとんどが第1の信号生成部146を通じて輝度データが生成されることになるが、第2及び第3の信号生成部148及び150によって、幅が1画素分のストライプ画像であっても認識することが可能となり、パターン認識の高精度化を実現することができる。
【0130】
また、G画素については、その撮像データそのものが輝度データとなるが、R画素及びB画素に関しては、G画素の撮像データを考慮して輝度データを生成するようにしているため、水平及び垂直方向の周波数帯域をG画素の周波数帯域まで広げることができ、再現画像の周波数の広帯域化を達成させることができる。
【0131】
次に、変形例に係るデジタルカメラ10aについて図21〜図26を参照しながら説明する。この変形例に係るデジタルカメラ10aは、上述した本実施の形態に係るデジタルカメラ10とほぼ同様の構成を有するが、図21に示すように、色フィルタセグメントの配列パターンが、G正方CyYe完全市松パターンである。もちろん、CyとYeが入れ替わっても構わない。以下の説明では、シアン(Cy)に対応する実画素をCy画素、緑色(G)に対応する実画素をG画素、黄色(Ye)に対応する実画素をYe画素と記す。
【0132】
また、色フィルタセグメントとして補色フィルタを用いたことから、図22に示すように、データ演算処理部にG画素、Cy画素及びYe画素にそれぞれ対応する撮像データ、即ち、GデータDg、CyデータDCy及びYeデータDYeに対して既知の演算を行ってRデータDr、GデータDg及びBデータDbに変換するミキシング回路190を有する。このミキシング回路190からのRデータDr、GデータDg及びBデータDbは、後段のプレーン補間展開部134に供給される。
【0133】
ここで、この変形例における輝度データ作成部130での処理を具体的に説明すると、まず、原色系の色R、G及びBと補色系の色Mg、Cy及びYeとの間には以下のような関係がある。なお、この変形例では、α=β=1とする。
Ye=G+αR
Cy=G+βB
Mg=R+B
【0134】
そして、この変形例では、輝度データを求める場合に、G画素では該G画素の撮像データ(Gデータ)を2倍にする。Ye画素では、該Ye画素の撮像データ(Yeデータ)と、該Ye画素の周辺のCy画素のうち、相関方向に対応したCy画素の撮像データ(Cyデータ)とをそれぞれ50%の割合で加算する。Cy画素も同様に、該Cy画素の撮像データ(Cyデータ)と、該Cy画素の周辺のYe画素のうち、相関方向に対応したYe画素の撮像データ(Yeデータ)とをそれぞれ50%の割合で加算する。
【0135】
この処理により得られる輝度データに基づく高域輝度データは、
上述の式で、G1(g)はG画素のG成分を示し、G1(yc)はYe画素、Cy画素中のG成分を示す。
【0136】
ここで、前記(8)式に着目すると、第1項のG1(g)+G1(yc)は、実画素全体のG成分を示し、第2項のG2(g)+1/2・Mg(yc)は、原色配列方式で用いたGとMgの画素ずらし効果を発揮できる加算式となる。
【0137】
YH=YH1+YH2と置いて、式(8)の第1項と第2項を対応させると、
YH1=G1(g)+G1(yc)
YH2=G2(g)+1/2・Mg(yc)
となる。このYHの加算手法は、YH1とYH2が、重ね合わせの原理で、その効果も加算されることを示す。即ち、上述した本実施の形態に係るデータ演算処理部120における輝度データ作成部130での処理を大幅に変更することなく、例えばYe画素をR画素に対応させ、Cy画素をB画素に対応させて輝度データを求めることができる。
【0138】
従って、この変形例に係る輝度データ作成部130での処理、例えば演算部140での処理は、図23〜図26に示すように、本実施の形態に係る輝度データ作成部130における演算部140での処理(図15〜図18参照)とほぼ同様の過程を経ることになる。
【0139】
ここで、変形例に係る輝度データ作成部130の演算部140での処理について図23〜図26を参照しながら説明する。
【0140】
まず、ステップS301において、撮像データファイル112から対象画素の撮像データを読み出す。その後、ステップS302において、対象画素がCy画素又はYe画素であるか否かが判別される。対象画素がG画素である場合は、そのGデータが、そのまま輝度データとなるため、ステップS303において、該輝度データを第1のレジスタRg1に格納する。その後、ステップS327での処理に進む。
【0141】
一方、対象画素がCy画素あるいはYe画素である場合は、次のステップS304〜S310において、第1の信号生成部146での処理が行われる。具体的に図21の配列パターンも参照しながら説明すると、対象画素をCy3としたとき、ここでの処理は、まず、ステップS304において、対象画素Cy3を中心とした同色(この場合、赤色)における2ピッチ間隔の実画素Ye1〜Ye4の各撮像データを読み出して、水平相関判定値ah=|Ye2−Ye3|と垂直相関判定値av=|Ye1−Ye4|を求める。
【0142】
その後、ステップS305において、垂直相関があるか否かが判別される。この判別は、水平相関判定値ahから第1のしきい値TH1を差し引いた値(ah−TH1)が垂直相関判定値av以上であるかどうかで行われる。
【0143】
前記ステップS305において、垂直相関があると判別された場合は、ステップS306に進み、以下の式(9)の演算を行って、当該対象画素Cy3における輝度データYCy3を求め、該輝度データYCy3を第1のレジスタRg1に格納する。その後、ステップS307において、フラグ情報として垂直相関を示す情報を第2のレジスタに格納する。
YCy3=0.5*Cy3+0.25*(Ye1+Ye4) ………(9)
【0144】
(ah−TH1)≧avを満足しない場合は、ステップS308に進み、今度は、水平相関があるか否かが判別される。この判別は、垂直相関判定値avから第1のしきい値TH1を差し引いた値(av−TH1)が水平相関判定値ah以上であるかどうかで行われる。
【0145】
前記ステップS308において、水平相関があると判別された場合は、ステップS309に進み、以下の式(10)の演算を行って、当該対象画素Cy3における輝度データYCy3を求め、該輝度データYCy3を第1のレジスタRg1に格納する。その後、ステップS310において、フラグ情報として水平相関を示す情報を第2のレジスタに格納する。
YCy3=0.5*Cy3+0.25*(Ye2+Ye3) ……(10)
【0146】
(av−TH1)≧ahを満足しない場合、即ち、対象画素Cy3を中心とした同色における2ピッチ間隔の実画素Ye1〜Ye4の情報では相関方向の判別ができない場合は、図24のステップS311〜S317において、第2の信号生成部148での処理が行われる。
【0147】
まず、ステップS311において、対象画素Cy3を中心とした同色(この場合、緑色)における1ピッチ間隔の実画素G1〜G4の各撮像データを読み出して、水平相関判定値agh=|G1−G2|+|G3−G4|と垂直相関判定値agv=|G1−G3|+|G2−G4|を求める。
【0148】
その後、ステップS312において、垂直相関があるか否かが判別される。この判別は、水平相関判定値aghから第2のしきい値TH2を差し引いた値(agh−TH2)が垂直相関判定値agv以上であるかどうかで行われる。
【0149】
前記ステップS312において、垂直相関があると判別された場合は、ステップS313に進み、前記式(9)の演算を行って、当該対象画素Cy3における輝度データYCy3を求め、該輝度データYCy3を第1のレジスタRg1に格納し、更に、ステップS314において、垂直相関を示すフラグ情報を第2のレジスタRg2に格納する。
【0150】
(agh−TH2)≧agvを満足しない場合は、ステップS315に進み、今度は、水平相関があるか否かが判別される。この判別は、垂直相関判定値agvから第2のしきい値TH2を差し引いた値(agv−TH2)が水平相関判定値agh以上であるかどうかで行われる。
【0151】
前記ステップS315において、水平相関があると判別された場合は、ステップS316に進み、前記式(10)の演算を行って、当該対象画素Cy3における輝度データYCy3を求め、該輝度データYCy3を第1のレジスタRg1に格納し、更に、ステップS317において、水平相関を示すフラグ情報を第2のレジスタRg2に格納する。
【0152】
(agv−TH2)≧aghを満足しない場合、即ち、対象画素Cy3を中心とした同色における1ピッチ間隔の実画素G1〜G4の情報では相関方向の判別ができない場合は、図25のステップS318〜S324において、第3の信号生成部150での処理が行われる。
【0153】
まず、ステップS318において、G画素G1〜G4の各撮像データと仮想画素P1〜P4の各補助データを読み出して、水平相関判定値ph=|G1−αP1|+|G2−αP1|+|G3−αP4|+|G4−αP4|と、垂直相関判定値pv=|G1−αP2|+|G3−αP2|+|G2−αP3|+|G4−αP3|を求める。
【0154】
その後、ステップS319において、垂直相関があるか否かが判別される。この判別は、水平相関判定値phから第3のしきい値(1/2ピッチ間隔の相関方向を判定する規定値)TH3を差し引いた値(ph−TH3)が垂直相関判定値pv以上であるかどうかで行われる。
【0155】
前記ステップS319において、垂直相関があると判別された場合は、ステップS320に進み、前記式(9)の演算を行って、当該対象画素Cy3における輝度データを求め、該輝度データを第1のレジスタRg1に格納し、更に、ステップS321において、垂直相関を示すフラグ情報を第2のレジスタRg2に格納する。
【0156】
(ph−TH3)≧pvを満足しない場合は、ステップS322に進み、今度は、水平相関があるか否かが判別される。この判別は、垂直相関判定値pvから第3のしきい値TH3を差し引いた値(pv−TH3)が水平相関判定値ph以上であるかどうかで行われる。
【0157】
前記ステップS322において、水平相関があると判別された場合は、ステップS323に進み、前記式(10)の演算を行って、当該対象画素Cy3における輝度データを求め、該輝度データを第1のレジスタRg1に格納し、更に、ステップS324において、水平相関を示すフラグ情報を第2のレジスタRg2に格納する。
【0158】
(pv−TH3)≧phを満足しない場合、即ち、対象画素Cy3を基点とした1/2ピッチ間隔における相関方向の判別ができない場合は、図26のステップS325において、第4の信号生成部152での処理が行われる。
【0159】
即ち、この第4の信号生成部152は、ステップS318において、以下の式(11)の演算を行って、当該対象画素Cy3における輝度データYCy3を求め、該輝度データYCy3を第1のレジスタRg1に格納し、更に、ステップS319において、フラグ情報として相関不明を示す情報を第2のレジスタRg2に格納する。
【0160】
上述のように、輝度データ及びフラグ情報が決定された段階で、次のステップS327に進み、輝度データ設定部154は、第1のレジスタRg1に格納されている輝度データを輝度データファイル158における当該対象画素に対応するアドレスに格納する。その後、ステップS328において、相関フラグ設定部156は、第2のレジスタRg2に格納されているフラグ情報をフラグファイル160における当該対象画素に対応するアドレスに格納する。
【0161】
上述の処理は、1つのB画素Cy3の輝度データを求める手順について説明したが、他のCy画素やYe画素についても同様に行われる。
【0162】
ステップS328での処理が終了した段階で、次のステップS329に進み、全ての実画素について処理が終了したか否かが判別される。処理が終了していなければ、前記ステップS301に戻り、次の実画素についての輝度データの作成処理に入る。
【0163】
そして、前記ステップS329にて、全ての実画素について処理が終了したと判別された場合に、この変形例に係る輝度データ作成部130の演算部140での処理が終了する。
【0164】
なお、輝度データ作成部130における修正部142、高域輝度データ作成部132、プレーン補間展開部134、マトリクス部122、アンチエリアシングフィルタ部124及びアパーチャ調整部126での処理は、上述した本実施の形態に係るデジタルカメラにおけるデータ演算処理部120と同様であるため、ここでは、その説明を省略する。
【0165】
このように、この変形例に係るデジタルカメラ10aにおいては、上述した本実施の形態に係るデジタルカメラ10と同様に、再現画像の周波数分布の広帯域化を図ることができ、被写体再現性を高めることができる。
【0166】
なお、本発明に係るデジタルカメラは、上述の実施の形態に限らず、本発明の要旨を逸脱することなく、種々の構成を採り得ることはもちろんである。
【0167】
【発明の効果】
以上説明したように、本発明に係るデジタルカメラによれば、仮想画素として設定される部分に小型の受光素子を配置する撮像部を有する場合において、より高い被写体再現性を実現させることができる。
【図面の簡単な説明】
【図1】本実施の形態に係るデジタルカメラの構成を示すブロック図である。
【図2】本実施の形態に係るデジタルカメラにおける撮像素子の受光部及び垂直転送部の構成を一部省略して示す平面図である。
【図3】図2におけるIII−III線上の断面図である。
【図4】静止画撮影モードにおける撮像データの画像メモリへの格納動作を示すフローチャートである。
【図5】画像処理部を示す機能ブロック図である。
【図6】輝度データ作成部における演算部を示す機能ブロック図である。
【図7】輝度データ作成部における修正部を示す機能ブロック図である。
【図8】修正部での処理動作を説明するための配列パターンの参考例を示す図である。
【図9】高域輝度データ作成部における第1の機能部での処理を示す説明図である。
【図10】図10A及び図10Bは、第1の機能部における水平方向と垂直方向のLPFの処理を示す説明図である。
【図11】高域輝度データ作成部における第2の機能部での処理を示す説明図である。
【図12】高域輝度データ作成部における第3の機能部での処理を示す説明図である。
【図13】プレーン補間展開部を示す機能ブロック図である。
【図14】本実施の形態に係るデジタルカメラの処理動作(静止画撮影モード)を示すフローチャートである。
【図15】輝度データ作成部における演算部の処理動作を示すフローチャート(その1)である。
【図16】輝度データ作成部における演算部の処理動作を示すフローチャート(その2)である。
【図17】輝度データ作成部における演算部の処理動作を示すフローチャート(その3)である。
【図18】輝度データ作成部における演算部の処理動作を示すフローチャート(その4)である。
【図19】演算部での処理動作を説明するための配列パターンの参考例を示す図である。
【図20】撮像データ(Rデータ、Gデータ及びBデータ)並びに高域輝度データが有する周波数分布を示す説明図である。
【図21】変形例に係るデジタルカメラにおける演算部での処理動作を説明するための配列パターンの参考例を示す図である。
【図22】変形例に係るデジタルカメラにおける画像処理部を示す機能ブロック図である。
【図23】変形例に係るデジタルカメラの輝度データ作成部における演算部の処理動作を示すフローチャート(その1)である。
【図24】変形例に係るデジタルカメラの輝度データ作成部における演算部の処理動作を示すフローチャート(その2)である。
【図25】変形例に係るデジタルカメラの輝度データ作成部における演算部の処理動作を示すフローチャート(その3)である。
【図26】変形例に係るデジタルカメラの輝度データ作成部における演算部の処理動作を示すフローチャート(その4)である。
【符号の説明】
10、10a…デジタルカメラ 18…撮像素子
34…システムLSI 72…画像処理部
74…画像メモリ 82…垂直転送レジスタ
84…透孔 120…データ演算処理部
130…輝度データ作成部 132…高域輝度データ作成部
140…演算部 142…修正部
144…画素選択部 146…第1の信号生成部
148…第2の信号生成部 150…第3の信号生成部
152…第4の信号生成部 162…相関判別部
164…再設定部
170A〜170C…第1〜第3の機能部 172…水平方向のLPF
174…垂直方向のLPF
176及び178…第1及び第2の補間処理部
180…加算処理部
Claims (12)
- 複数の受光素子と複数の小型受光素子並びに複数の色フィルタが配列された撮像部と、撮像部からの撮像信号に対して信号処理を行って画像情報を出力する信号処理部とを有するデジタルカメラにおいて、
前記撮像部における前記複数の受光素子は、行方向の配列が1行置きに1/2ピッチずつずらされて配置され、前記複数の小型受光素子は、前記複数の受光素子の間に配置され、
前記信号処理部は、輝度信号並びに色差信号の元となる、少なくとも解像度を考慮した成分信号を生成する成分信号生成部を有し、
前記成分信号生成部は、前記複数の受光素子のうち、緑色の色フィルタに対応する受光素子以外の受光素子に関する前記成分信号を、所定の条件を満足した場合に、当該受光素子の周辺に配列された小型受光素子の撮像信号を考慮して作成し、
前記所定の条件は、前記当該受光素子を中心とした同色における1ピッチ間の水平相関判定値と垂直相関判定値とが共に規定値未満であることを特徴とするデジタルカメラ。 - 請求項1記載のデジタルカメラにおいて、
前記成分信号生成部は、
前記当該受光素子を中心とした同色における1ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が前記規定値未満の場合に、
前記当該受光素子を基点とした1/2ピッチ間の水平相関判定値と垂直相関判定値とを検出し、その検出結果に応じて前記成分信号を作成することを特徴とするデジタルカメラ。 - 請求項1記載のデジタルカメラにおいて、
前記成分信号生成部は、
前記当該受光素子を中心とした同色における2ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が第1の規定値以上の場合に、相関の大きい方向を考慮して成分信号を生成する第1の信号生成部と、
前記第1の信号生成部での検出結果が、前記第1の規定値未満の場合に、前記当該受光素子を中心とした同色における1ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が第2の規定値以上の場合に、相関の大きい方向を考慮して成分信号を生成する第2の信号生成部と、
前記第2の信号生成部での検出結果が、前記第2の規定値未満の場合に、前記当該受光素子を基点とした1/2ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が第3の規定値以上の場合に、相関の大きい方向を考慮して成分信号を作成する第3の信号生成部とを有することを特徴とするデジタルカメラ。 - 請求項1〜3のいずれか1項に記載のデジタルカメラにおいて、
前記成分信号は、前記当該受光素子の撮像信号と、当該受光素子の周辺に配置され、かつ、緑色以外の色であって、当該受光素子の配色以外の色に対応する受光素子の撮像信号に基づいて生成されることを特徴とするデジタルカメラ。 - 請求項1〜4のいずれか1項に記載のデジタルカメラにおいて、
前記信号処理部は、
前記当該受光素子の周辺の配色のうち、緑色以外の色であって、かつ、当該受光素子の配色以外の色の相関の方向が全て同じである場合に、
前記当該受光素子の成分信号を、前記相関の方向を考慮して修正する修正部を有することを特徴とするデジタルカメラ。 - 請求項1〜5のいずれか1項に記載のデジタルカメラにおいて、
緑色以外の色は、青色及び赤色であることを特徴とするデジタルカメラ。 - 請求項1〜5のいずれか1項に記載のデジタルカメラにおいて、
緑色以外の色は、黄色及びシアンであることを特徴とするデジタルカメラ。 - 請求項1記載のデジタルカメラにおいて、
前記信号処理部は、
前記複数の受光素子における成分信号に基づいて、前記複数の受光素子間の仮想受光素子の成分信号を水平補間する水平補間処理部と、
水平補間後の各成分信号を垂直方向にローパスフィルタ処理を施して垂直補間する垂直補間処理部とを有することを特徴とするデジタルカメラ。 - 請求項8記載のデジタルカメラにおいて、
前記水平補間は、前記複数の受光素子間の仮想受光素子の成分信号を、水平方向にローパスフィルタ処理を施して行う、又は、水平方向に隣接する受光素子の成分信号との相関によって行うことを特徴とするデジタルカメラ。 - 請求項1記載のデジタルカメラにおいて、
前記信号処理部は、
前記複数の受光素子における成分信号に基づいて、前記複数の受光素子間の仮想受光素子の成分信号を垂直補間する垂直補間処理部と、
垂直補間後の各成分信号を水平方向にローパスフィルタ処理を施して水平補間する水平補間処理部とを有することを特徴とするデジタルカメラ。 - 請求項10記載のデジタルカメラにおいて、
前記垂直補間は、前記複数の受光素子間の仮想受光素子の成分信号を、垂直方向にローパスフィルタ処理を施して行う、又は、垂直方向に隣接する受光素子の成分信号との相関によって行うことを特徴とするデジタルカメラ。 - 請求項1記載のデジタルカメラにおいて、
前記信号処理部は、
複数の緑色の受光素子における各成分信号に基づいて、緑色以外の受光素子の成分信号並びに前記複数の受光素子間の仮想受光素子の成分信号を補間する第1の補間処理部と、
複数の緑色以外の受光素子における各成分信号に基づいて、緑色の受光素子の成分信号並びに前記複数の受光素子間の仮想受光素子の成分信号を補間する第2の補間処理部と、
前記第1の補間処理にて求められた複数の成分信号と、前記第2の補間処理にて求められた複数の成分信号とをそれぞれ対応づけて加算して全受光素子及び全仮想受光素子に対応する成分信号を求める加算処理部とを有することを特徴とするデジタルカメラ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002244197A JP4015905B2 (ja) | 2002-08-23 | 2002-08-23 | デジタルカメラ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002244197A JP4015905B2 (ja) | 2002-08-23 | 2002-08-23 | デジタルカメラ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004088260A JP2004088260A (ja) | 2004-03-18 |
JP4015905B2 true JP4015905B2 (ja) | 2007-11-28 |
Family
ID=32052758
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002244197A Expired - Fee Related JP4015905B2 (ja) | 2002-08-23 | 2002-08-23 | デジタルカメラ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4015905B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6507527B2 (ja) * | 2014-08-29 | 2019-05-08 | 株式会社ニコン | 撮像素子および撮像装置 |
-
2002
- 2002-08-23 JP JP2002244197A patent/JP4015905B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004088260A (ja) | 2004-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112261391B (zh) | 图像处理方法、摄像头组件及移动终端 | |
JP4195169B2 (ja) | 固体撮像装置および信号処理方法 | |
JP4019417B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
US20050089241A1 (en) | Image processing apparatus and method, recording medium, and program | |
JP3946492B2 (ja) | 低解像度イメージの生成方法 | |
KR100468169B1 (ko) | 위색(僞色)신호발생이억제가능한단판식컬러카메라 | |
JP4372955B2 (ja) | 固体撮像装置および信号処理方法 | |
WO2006137419A1 (ja) | 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム | |
JP2004304706A (ja) | 固体撮像装置およびその補間処理方法 | |
JP4600315B2 (ja) | カメラ装置の制御方法及びこれを用いたカメラ装置 | |
JP4579043B2 (ja) | 固体撮像素子及び撮像装置 | |
JP2004048445A (ja) | 画像合成方法及び装置 | |
JPH09238355A (ja) | 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置 | |
JP4725520B2 (ja) | 画像処理装置、非撮像色信号算出装置及び画像処理方法 | |
JP4043197B2 (ja) | 単板式カラーカメラの色分離回路 | |
JP2004363902A (ja) | 撮像装置 | |
JP2004023683A (ja) | 固体撮像素子の欠陥補正装置及び方法 | |
JP2006148577A (ja) | 固体撮像装置および撮像方法 | |
JP4015905B2 (ja) | デジタルカメラ | |
JP2003101815A (ja) | 信号処理装置及び信号処理方法 | |
CN112351172B (zh) | 图像处理方法、摄像头组件及移动终端 | |
Theuwissen | Image processing chain in digital still cameras | |
JP2008131291A (ja) | 撮像装置 | |
JP4309505B2 (ja) | 撮像素子及び撮像装置 | |
JP4434556B2 (ja) | 固体撮像装置および固体撮像素子 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050203 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070306 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070612 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070813 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20070813 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070911 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070914 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110921 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120921 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130921 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |