JPH09238355A - 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置 - Google Patents

撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置

Info

Publication number
JPH09238355A
JPH09238355A JP8043422A JP4342296A JPH09238355A JP H09238355 A JPH09238355 A JP H09238355A JP 8043422 A JP8043422 A JP 8043422A JP 4342296 A JP4342296 A JP 4342296A JP H09238355 A JPH09238355 A JP H09238355A
Authority
JP
Japan
Prior art keywords
light receiving
light
receiving pixels
line crawl
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8043422A
Other languages
English (en)
Other versions
JP3755921B2 (ja
Inventor
Hideo Nakamura
秀夫 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kodak Digital Product Center Japan Ltd
Original Assignee
Kodak Digital Product Center Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kodak Digital Product Center Japan Ltd filed Critical Kodak Digital Product Center Japan Ltd
Priority to JP04342296A priority Critical patent/JP3755921B2/ja
Priority to US08/792,792 priority patent/US6034724A/en
Publication of JPH09238355A publication Critical patent/JPH09238355A/ja
Application granted granted Critical
Publication of JP3755921B2 publication Critical patent/JP3755921B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

(57)【要約】 【課題】カラー撮像デバイスに設けられている受光ピク
セルの感光特性の不均一に起因するラインクロール現象
を除く方法及び装置を提供する。 【解決手段】カラー撮像デバイス2から出力されるピク
セル信号Sをサンプルホールド回路4及びA/D変換器
6でピクセルデータPに変換して画像メモリ8に記憶す
る。演算部12は、各ピクセルデータPに基づいて形成
した輝度データに、不揮発性メモリ10に記憶されてい
るラインクロール補正係数LCを乗算等することによ
り、受光ピクセルの感光特性が均一な場合に得られるの
と実質的に等価な輝度データVを形成して出力する。ラ
インクロール補正係数LCは予め決められており、感光
特性のほぼ等しい受光ピクセル毎に区分化(分類化)
し、区分化された受光ピクセル同士の信号の加算平均値
を求めて、夫々の加算平均値の比がラインクロール補正
係数とされている。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、撮像デバイスにお
いて発生するラインノイズを除去する方法、及びそれを
用いたラインノイズ除去装置に関する。
【0002】
【従来の技術】近年の電子撮像機器にあっては、機器の
小型化や軽量化等を図る上で優れた効果を発揮する電荷
結合型固体撮像デバイスやMOS型固体撮像デバイス等
の半導体撮像デバイスが用いられている。
【0003】かかる撮像デバイスは、光電変換機能を有
する多数の受光ピクセルがマトリックス状に配列される
と共に、夫々の受光ピクセルの受光面に例えばベイヤー
配列のカラーフィルタ等が設けられ、かかるカラーフィ
ルタを通過した被写体光像を前記多数の受光ピクセルに
て光電変換することによって、カラー撮像を可能にして
いる。
【0004】
【発明が解決しようとする課題】しかし、前記各受光ピ
クセルに対応して設けられる夫々の微細なカラーフィル
タの光透過波長特性が異なることから、たとえ無模様且
つ一色の被写体を撮像した場合であっても、各受光ピク
セルから出力される信号のレベルが異なるため、再生画
像中に前記レベルの相違に起因する縞模様が発生して、
色再現性を低下させるという問題がある。
【0005】更にかかる問題点を詳述する。前記カラー
フィルタを除いた多数の受光ピクセルの各受光ピクセル
の感光特性(光電変換特性)が均一であれば、無模様且
つ一色の被写体を撮像した場合には、各受光ピクセルか
ら出力される信号のレベルは本来的に一定になる。しか
し、カラー撮像デバイスにあっては、例えば、赤(R)
と緑(G)と青(B)の微細カラーフィルタ群から成る
原色ベイヤー配列のカラーフィルタが前記多数の受光ピ
クセルの受光面に設けられており、特に赤(R)の微細
カラーフィルタを通過する長波長光が受光ピクセルの深
部まで達することから、その深部において発生したピク
セル電荷が、隣接する他の受光ピクセルに漏洩などして
ノイズとなり、青(B)や緑(G)の微細カラーフィル
タの設けられた受光ピクセルに発生したピクセル電荷に
混入等し、たとえ無模様且つ一色の被写体を撮像した場
合であっても、実質的に各受光ピクセルの感光特性が不
均一になり、再生画像が無模様且つ一色にはならない。
【0006】かかる現象に起因して、再生画像中に横縞
状のすじが現れるラインクロールが大きな問題となる。
特に、静止画撮像の場合にこのラインクロールが顕著に
視認識されることから大きな問題点となっている。
【0007】また、かかる現象は、原色ベイヤー配列の
カラーフィルタに限られず、他のカラー配列のカラーフ
ィルタにおいても発生する。
【0008】更に、かかる現象に起因して実質的に受光
ピクセルの感光特性が不均一となっている状態で、再生
画像の画質向上を図るための輪郭強調処理等を行って
も、期待し得るような画質向上が得られないという問題
があった。
【0009】
【課題を解決するための手段】このような目的を達成す
るために本発明は、複数の受光ピクセルに所定配列のカ
ラーフィルタが設けられて成る受光領域を有する撮像デ
バイスのラインノイズ除去方法において、前記受光領域
又は前記受光領域の内の特定領域に存在する複数の受光
ピクセルについて、感光特性のほぼ等しい受光ピクセル
同士から成る複数グループに区分化し、前記受光ピクセ
ルから出力される信号の加算平均値を前記各グループ毎
に求め、前記グループの内の特定グループについて求め
られた特定の加算平均値を基準にして、残余の前記各グ
ループについて求められた前記加算平均値との比をライ
ンクロール補正係数として求め、前記残余の各グループ
に該当する受光ピクセルより出力される信号を、前記ラ
インクロール補正係数に基づいて補正することとした。
【0010】また、複数の受光ピクセルに所定配列のカ
ラーフィルタが設けられて成る受光領域を有する撮像デ
バイスのラインノイズ除去装置において、前記受光領域
又は前記受光領域の内の特定領域に存在する複数の受光
ピクセルについて、感光特性のほぼ等しい受光ピクセル
同士から成る複数グループに区分化し、前記受光ピクセ
ルから出力される信号の加算平均値を前記各グループ毎
に求め、前記グループの内の特定グループについて求め
られた特定の加算平均値を基準にして残余の前記各グル
ープについて求められた前記加算平均値との比をライン
クロール補正係数としたデータを予め記憶する記憶手段
と、前記撮像デバイスによる実際の撮像に際して出力さ
れる信号について、前記記憶手段のラインクロール補正
係数に基づいて補正する演算手段とを具備する構成とし
た。
【0011】
【発明の実施の形態】
(第1の実施の形態)本発明の撮像デバイスのラインノ
イズ除去装置に係る一実施の形態として、静止画撮影を
行う電子スチルカメラに適用した場合について説明す
る。
【0012】図1は、電子スチルカメラの全体構成を概
略的に示すブロック図である。同図において、2次元カ
ラー固体撮像デバイス(以下、カラーCCDと言う)2
の出力接点には、サンプルホールド回路4とA/D変換
器6が順次に直列接続され、A/D変換器6の出力接点
には、少なくとも1フレーム画像分のデータを記憶する
所謂SRAM等から成る画像メモリ8が接続されると共
に、画像メモリ8の出力接点には、マイクロプロセッサ
(MPU)等を備えた演算部12が接続されている。更
に、演算部12には、後述するラインクロール除去処理
において用いられるラインクロール補正係数を予め記憶
した不揮発性メモリ10と、ラインクロール除去処理用
のプログラムを予め記憶したプログラムメモリ14が接
続されている。
【0013】かかる構成において、図示しないシャッタ
レリーズボタンが押下されるのに連動して、カラーCC
D2の受光領域に設けられている多数の受光ピクセルが
1フレーム画相当の静止画を2次元撮像すると共に、前
記各受光ピクセルに発生したピクセル電荷を所謂点順次
走査読出して、各ピクセル電荷に相当するピクセル信号
Sを時系列的に出力する。そして、サンプルホールド回
路4が、各ピクセル信号Sを標本化し、A/D変換器6
が、受光ピクセル毎のピクセルデータPに数値化し、画
像メモリ8が、カラーCCD2の受光ピクセルの配列に
対応させて各ピクセルデータPを記憶することにより、
前記1フレーム画相当の静止画データを一旦保持する。
【0014】更に、演算部12が、画像メモリ8中に一
旦記憶された前記静止画データを各ピクセルデータP毎
に読出すと共に、不揮発性メモリ10に記憶されている
ラインクロール除去係数LCに基づいてこれらのピクセ
ルデータPを補正処理することによって、ラインクロー
ルの除去されたピクセルデータVを前記カラーCCD2
の受光ピクセルの配列に対応させて出力する。そして、
ピクセルデータVを所謂半導体メモリカードに記憶させ
たり、モニタテレビジョン等の表示手段に供給すること
によって静止画像を再生させる。尚、演算部12は、前
記2次元撮像の開始からピクセルデータVの出力の完了
までの一連の静止画撮影処理を、プログラムメモリ14
中の所定プログラムを実行することによって実現する。
【0015】次に、前述したラインクロール除去処理の
原理及び作動を図2ないし図4と共に詳述する。
【0016】カラーCCD2に2次元配列にて形成され
ている受光ピクセルの受光面には、図2に示す如く、シ
アン(Cy)、イエロー(Ye)、マゼンタ(Mg)及
びグリーン(G)の微細な補色カラーフィルタが市松配
列されて成るカラーフィルタが設けられている。即ち、
夫々の微細な補色カラーフィルタが各受光ピクセルに対
向して設けられており、撮像時には、各受光ピクセルに
微細な各補色カラーフィルタに対応したピクセル電荷が
発生する。よって、同図2に示す2N×M個の受光ピク
セルが設けられているものとすると、(2×N×M)個
分のピクセル電荷が発生する。
【0017】一方、カラーCCD2が、前記の点順次走
査読出しを行う際には、(2×N×M)個分のピクセル
電荷を個別独立に読出すのではなく、図3に示す如く、
列方向(変数nにて示す縦方向)において相互に隣接す
る一対ずつのピクセル電荷同士を混合し、夫々の混合電
荷を新たな各ピクセル電荷として読出す。したがって、
カラーCCD2から出力される各ピクセル信号Sを、図
3中のN列M行のマトリックス配列(即ち、1≦n≦
N、1≦m≦Mの関係にある変数n,mにて表される配
列)にて示すと、図2中の微細な各補色カラーフィルタ
に対応して、 S1,1 =Cy+Mg、S1,2 =Ye+G、 ……、S
1,M =Ye+G S2,1 =Cy+G、 S2,2 =Ye+Mg、……、S
2,M =Ye+Mg : : : SN,1 =Cy+G、 SN,2 =Ye+Mg、……、S
N,M =Ye+Mg となり、列方向における解像度が実際の受光ピクセルの
それよりも2分の1になる。そして、画像メモリ8に
も、これら(N×M)個のピクセル信号Sn,m に相当す
るピクセルデータPn,m が記憶される。
【0018】次に、このようにして画像メモリ8に記憶
されたピクセルデータPn,m について、各列nにおける
相互に隣接関係にあるピクセルデータ同士を加算演算す
ることにより、各受光ピクセルに対応する輝度データY
を求める。即ち、各列nにおける各ピクセルデータをP
n,m 、各輝度データをYn,m とすれば、 Yn,m =Pn,m +Pn,m+1 の式で表される演算を行う。より具体的に示せば、図3
に示すピクセルデータPn,m に対応して得られる各輝度
データYn,m は、図4に示す如く、 Y 1,1 =P 1,1 +P 1,2 、Y 1,2 =P 1,2 +P 1,3 、…
…、P 1,M-1 =P 1,M- 1 +P 1,M Y 2,1 =P 2,1 +P 2,2 、Y 2,2 =P 2,2 +P 2,3 、…
…、P 2,M-1 =P 2,M- 1 +P 2,M : : : Y N,1 =P N,1 +P N,2 、Y N,2 =P N,2 +P N,3 、…
…、P N,M-1 =P N,M- 1 +P N,M となり、N×(M−1)個の各受光ピクセルに対応する
輝度データYn,m が求められる。
【0019】したがって、各受光ピクセルに対応する各
輝度データは、結果的に、相互に隣接する4個の受光ピ
クセルに発生したピクセル電荷の混合値に相当すること
になり、必ず、シアン(Cy)とイエロー(Ye)とマ
ゼンタ(Mg)及びグリーン(G)のピクセル電荷を混
合したものとなる。図2に示すカラーフィルタ配列を用
いて典型例を説明すれば、配列(n,m)=(1,1)
に対応する輝度データY1,1 は、配列(1,1),
(1,2)におけるCy、Ye、Mg及びGのピクセル
電荷の混合値となり、配列(n,m)=(1,2)に対
応する輝度データY1,2 は、配列(1,2),(1,
3)におけるCy、Ye、Mg及びGのピクセル電荷の
混合値となり、他の輝度データも同様にして求められ
る。
【0020】尚、かかる各輝度データYn,m を求めるた
めの演算手法は、一般的なテレビジョン技術における輝
度信号Yの演算手法(即ち、Y=0.3R+0.59G
+0.11B)とは異なるが、輝度データYn,m は上記
輝度信号Yに近似した値となる。
【0021】次に、このようにして求められた各輝度デ
ータYn,m に対して、不揮発性メモリ10から読出した
ラインクロール補正係数LCを乗算(掛け算)すること
により、ラインクロール除去のための処理を行う。
【0022】このラインクロール補正係数LCは、次に
述べる技法により予め求められている。即ち、標準的な
撮影環境を想定した所定色温度の均一光源下で無模様且
つ一色の被写体を、本実施の形態に係る電子スチルカメ
ラと同特性の基準の電子スチルカメラにて撮像し、図2
ないし図4と共に説明した原理に基づいて、基準となる
各輝度データYn,m を求める。そして、図4に示す奇数
列n=1,3,5,7,…に該当する全ての輝度データ
の加算平均値を演算してこれを奇数水平ライン輝度平均
値YAVODD とする。
【数1】 尚、前記数1中のn=ODDとは、nが各奇数列を表す
変数であることを意味する。
【0023】更に、図4に示す偶数列n=2,4,6,
8,…に該当する全ての輝度データの加算平均値を演算
してこれを偶数水平ライン輝度平均値YAVEVENとす
る。
【数2】 尚、前記数2中のn=EVENとは、nが各偶数列を表
す変数であることを意味する。
【0024】そして、奇数水平ライン輝度平均値YAV
ODD と偶数水平ライン輝度平均値YAVEVENとの比を、
ラインクロール補正係数LCとする。
【数3】 即ち、ラインクロール補正係数LCは、カラーCCD2
の奇数列に該当する受光ピクセル群の平均的感光特性と
偶数列に該当する受光ピクセル群の平均的感光特性の相
対比を表すことになる。
【0025】このようにして求められたラインクロール
補正係数LCは、製造される各電子スチルカメラの不揮
発性メモリ10に、標準のデータとして記憶される。
【0026】再び、図1に示す実際の電子スチルカメラ
におけるラインクロール除去処理について説明すると、
前述の如く実際の撮像時に各輝度データYn,m を求めた
後、図4に示す偶数列n=2,4,6,8…に該当する
各輝度データ(以下、YEVENn,m で示す)にラインクロ
ール補正係数LCを夫々乗算し、一方、奇数列n=1,
3,5,7…該当する各輝度データ(以下、YODD n,m
で示す)にはラインクロール補正係数LCを乗算するこ
となく、そのままにする。
【0027】このように、偶数列に該当する各輝度デー
タYEVENn,m についてラインクロール補正係数LCを夫
々乗算すると、前記奇数列の平均的感光特性を基準とし
て、各輝度データYEVENn,m の輝度レベルが補正される
こととなり、一方、奇数列に該当する各輝度データYOD
D n,m はラインクロール補正係数LCにて補正するまで
もなく、各輝度データYEVENn,m に対する基準となって
いるので、奇数列及び偶数列の全ての輝度データYn,m
についてラインクロールの除去処理が実施されることと
なる。
【0028】そして、ラインクロール除去処理がなされ
た後の輝度データYn,m が出力ピクセルデータVとして
出力される。
【0029】以上の説明では、奇数列に該当する輝度デ
ータYODD n,m を基準として、偶数列に該当する輝度デ
ータYEVENn,m にラインクロール補正係数LCを乗算す
ることによって、全体としてラインクロールの除去を実
現しているが、逆に、偶数列に該当する輝度データYEV
ENn,m を基準として、奇数列に該当する輝度データYOD
D n,m をラインクロール補正係数LCで除算(割り算)
することによって、全体としてラインクロールの除去を
図るようにしてもよい。また、ラインクロール補正係数
LCで除算(割り算)する代わりに、1/LCの値をラ
インクロール補正係数として、奇数列に該当する輝度デ
ータYODD n,m に1/LCの値を乗算するようにしても
よい。
【0030】また、以上の説明では、前記数1ないし数
3にて説明した如く、まず輝度データYn,m を求めた後
に、奇数水平ライン輝度平均値YAVODD と偶数水平ラ
イン輝度平均値YAVEVENとの比からラインクロール補
正係数LCを決めることとしているが、図3において説
明したピクセルデータP1,1 〜PN,M から直接に奇数水
平ライン輝度平均値YAVODD と偶数水平ライン輝度平
均値YAVEVENとを求めて、ラインクロール補正係数L
Cを決めてもよい。要は、前記数1ないし数3と実質的
に同じアルゴリズムにて、ラインクロール補正係数LC
を決めてもよい。
【0031】このように、この実施の形態によれば、カ
ラーCCD2のピクセル相互間での感光特性のバラツキ
に起因するラインクロールの発生を除去することがきる
ので、特に、高画質の静止画を提供することができるこ
とから、電子スチルカメラに適用して優れた効果を発揮
する。尚、動画撮像を行うカメラ、例えば、デジタルビ
デオカメラなどに適用しても当然に高品位の動画を提供
することができる。
【0032】また、ラインクロールの除去が好適になさ
れるので、従来技術のような画質の低下を招来せずに、
各種の画像処理を行うことができる。
【0033】また、プログラムによる演算処理にて、ラ
インクロール除去処理を行うので、特別なハードウェア
を付加することなく、高品位静止画撮影が可能な電子ス
チルカメラを提供することができる。
【0034】また、予め記憶したラインクロール補正係
数LCによりラインクロール除去のための演算処理を行
うので高速処理を可能にする等、多くの優れた効果を発
揮する。
【0035】(第2の実施の形態)次に、図5と共に他
の実施の形態を説明する。尚、この実施の形態は、電子
スチルカメラに関し、図5において図1と同一又は相当
する部分を同一符号にて示すものとする。
【0036】図5において、この電子スチルカメラは、
第1の実施の形態と同様に、カラーCCD2から点順次
走査読出しにて出力されるピクセル信号Sを、サンプル
ホールド回路4及びA/D変換器6によってピクセルデ
ータPにデジタル変換して画像メモリ8に記憶させる構
成を有している。更に、ラインクロール補正係数LCを
予め記憶する不揮発性メモリ10と、マイクロプロセッ
サMPUを備える演算部12と、所定のプログラムを予
め記憶するプログラムメモリ14と、例えば所謂パーソ
ナルコンピュータ等の外部ホストコンピュータ18相互
間での接続を可能にして相互間での各種データの授受等
を行うインタフェース回路16が備えられている。
【0037】尚、演算部12が、プログラムメモリ14
中に予め記憶されている通信プログラムに基づいてイン
タフェース回路16を制御することにより、外部ホスト
コンピュータ18間でのデータ授受を行わせる。
【0038】外部ホストコンピュータ18には、当該電
子スチルカメラとの間での上記データ授受を行うための
所謂通信プログラムと、第1の実施の形態において説明
したラインクロール除去処理のための処理プログラム、
その他、画像再生に必要な種々の画像処理プログラムが
記憶されている。これらのプログラムはフロッピーディ
スクFDやコンパクトディスクCD等の外部記憶媒体2
0により供給され、所定のインストール処理が実行され
ることによって外部ホストコンピュータ18に記憶され
る。
【0039】次に、かかる構成を有する第2の実施の形
態の動作を説明する。シャッタレリーズボタン(図示せ
ず)の操作に連動してカラーCCD2による静止画撮像
を開始した後、カラーCCD2から点順次走査読出しに
よってピクセル信号Sを出力すると共に、サンプルホー
ルド回路4ないしA/D変換器6により、ピクセル信号
SをピクセルデータPにデジタル変換して画像メモリ8
に記憶する。従って、前記図3に示す如く、各ピクセル
データPn,m が配列(n,m)に対応して画像メモリ8
に記憶される。
【0040】また、撮像時には、かかるピクセルデータ
n,m を画像メモリ8に記憶する処理だけが行われる。
【0041】このように画像メモリ8にピクセルデータ
n,m が記憶された後、ユーザー等がこの電子スチルカ
メラに設けられている所定の操作ボタンを操作したり、
外部ホストコンピュータ18を介して画像再生を指示す
ると、演算部12がこれを検知し、画像メモリ8中のピ
クセルデータPn,m 及び不揮発性メモリ10中のライン
クロール補正係数LCを、インタフェース回路16を介
して外部ホストコンピュータ18へ転送させる。
【0042】かかる転送処理により、外部ホストコンピ
ュータ18にピクセルデータPn,m及びラインクロール
補正係数LCが記憶される。外部ホストコンピュータ1
8は、図4と共に説明した輝度データ演算処理を行うこ
とによって、ピクセルデータPn,m に基づいて輝度デー
タYn,m を求め、更に、ラインクロール除去処理のため
の処理プログラムを実行して、第1の実施の形態で説明
したのと同様に、輝度データYn,m に対してラインクロ
ール補正係数LCを乗算等することにより、ラインクロ
ールを除去し得る輝度データを求める。そして、かかる
補正後の輝度データに基づいて各種の画像処理を行い、
画像処理後の画像データをモニター等に供給することに
よって、静止画像を再生表示させる。
【0043】このように、この実施の形態によれば、ラ
インクロール除去処理の為のプログラムを外部ホストコ
ンピュータ18に持たせるようにしたので、電子スチル
カメラ側でのプログラム記憶の為の負担の軽減、より具
体的には、プログラムメモリ14の記憶容量の低減を図
ることができる。
【0044】また、外部ホストコンピュータ18におけ
る様々な画像処理を可能にして、所謂コンピュータグラ
フィックスの分野での広範な応用を可能にする等の効果
を発揮する。
【0045】尚、この第2の実施の形態では、プログラ
ムメモリ14には、ラインクロール除去処理のための処
理プログラムを記憶しない場合を説明したが、かかる処
理プログラムと前記通信処理プログラムの両者を予めプ
ログラムメモリ14に記憶しておき、ユーザー等がいず
れかの処理を選択することによって、当該電子スチルカ
メラ内又は外部ホストコンピュータ18においてライン
クロール除去処理を行うことができるようにしてもよ
い。
【0046】(第3の実施の形態)前記第1、第2の実
施の形態においては、補色市松配列のカラーフィルタが
適用されたカラーCCD2を利用した電子スチルカメラ
について説明したが、更に他の実施の形態として、図6
に示す如き、原色ベイヤー配列のカラーフィルタを適用
した撮像デバイスを利用する場合を説明する。尚、電子
スチルカメラの構成は、図1又は図5と同様であり、詳
細な構成は省略する。
【0047】原色ベイヤー配列の撮像デバイスにおける
ラインクロールは、主としてグリーン(Gb ),(Gr
)の微細カラーフィルタの設けられた受光ピクセルに
生じるピクセル電荷の差に起因して発生する。即ち、赤
(R)と同じ水平画素列上のグリーン(Gr )と、青
(B)と同じ水平画素列上のグリーン(Gb )に対応す
る受光ピクセルに生じるピクセル電荷の差に起因する。
【0048】また、原色ベイヤー配列を適用したカラー
CCDの場合には、前記補色市松配列を適用したカラー
CCDの場合とは異なり、相互に隣接関係にある2列ず
つのピクセル電荷を加算混合して出力するという技法は
採用されず、個々の受光ピクセルと一対一に対応したピ
クセル信号を出力する、所謂全画素読出し方式が採用さ
れる。
【0049】したがって、ラインクロール補正係数LC
は、均一光源を用いた撮像時に、グリーン(Gr )に該
当する全てのピクセルデータPGrの加算平均値Gr
AVと、グリーン(Gb )に該当する全てのピクセルデー
タPGbの加算平均値Gb AVとを求め、更に、次の演算式
にて示す如く、これらの加算平均値Gr AVとGb AVとの
比をラインクロール補正係数LCとし、かかるラインク
ロール補正係数LCを所定の不揮発性メモリに予め記憶
しておく。
【0050】LC=Gr AV/Gb AV そして、実際の撮像により得られるグリーン(Gb )に
該当する各々のピクセルデータPGbにこのラインクロー
ル補正係数LCを乗算し、他方のグリーン(Gr )に該
当する各々のピクセルデータPGrはそのままにすること
によって、全体としてラインクロールを除去する。
【0051】尚、かかるラインクロール補正係数LC
は、グリーン(Gr )を基準にしたものであるが、グリ
ーン(Gb )を基準にしてもよい。この場合には、実際
の撮像により得られるグリーン(Gr )に該当する各々
のピクセルデータPGrをラインクロール補正係数LCで
除算するか、1/LCの係数を乗算する。
【0052】このようにベイヤー配列を適用した場合で
も、ラインクロールを除去することができ、高品位の画
像を提供することができる等の効果を発揮する。
【0053】第1ないし第3の実施の形態では、撮像デ
バイスの全ての受光ピクセルから得られるピクセルデー
タに基づいてラインクロール補正係数LCを求める場合
を示したが、撮像デバイスの受光領域中のある特定の一
部受光領域に該当する受光ピクセルから得られるピクセ
ルデータに基づいてラインクロール補正係数LCを求め
るようにしてもよい。例えば、受光領域の中心から所定
の範囲内に存在する受光ピクセルから得られるピクセル
データに基づいてラインクロール補正係数LCを求める
ようにしてもよい。
【0054】第1ないし第3の実施の形態では、補色市
松配列と原色ベイヤー配列の場合につて説明したが、そ
の他の種類のカラーフィルタ配列のものや、イメージス
キャナ等に用いられるラインセンサについても、ライン
クロール発生の態様を把握し、ラインクロール補正係数
を各態様に見合った形で導出することにより、本発明を
適用することができる。即ち、ラインセンサをも含む撮
像デバイスの受光ピクセルの感光特性がカラーフィルタ
等に起因して不均一である場合に、前記各実施の形態の
ように、輝度信号レベルが不均一となる態様等、ライン
クロール発生の態様を把握し、そして、感光特性がほぼ
同じ受光ピクセル同士のグループに区分して、夫々のグ
ループの受光ピクセル群より得られる信号の加算平均値
を求め、各加算平均値の比をラインクロール除去のため
のラインクロール補正係数とすることにより、本発明を
種々の撮像デバイスのラインクロール除去に適用するこ
とができる。
【0055】
【発明の効果】以上に説明したように本発明によれば、
感光特性のほぼ等しい受光ピクセル毎に区分化(分類
化)し、区分化された受光ピクセル同士の信号の加算平
均値を求めて、夫々の加算平均値の比をラインクロール
補正係数とし、かかるラインクロール補正係数に基づい
て、各受光ピクセルより出力される信号のレベルを補正
するようにしたので、カラーフィルタ等に起因して受光
ピクセルの感光特性が相違しても、各受光ピクセルより
出力される信号のレベルが上記ラインクロール補正係数
により感光特性を実質的に均一化することができる。し
たがって、再生画像のラインクロール発生を防止するこ
とができ、高品位の画像を提供することができる。特
に、静止画撮像を行う電子スチルカメラ等に適用するこ
とによって優れた効果を発揮する。
【図面の簡単な説明】
【図1】第1の実施の形態に係る電子スチルカメラの構
成を示すブロック図である。
【図2】補色市松配列のカラーフィルタの構成を説明す
るための説明図である。
【図3】第1の実施の形態にかかる電子スチルカメラに
おいて、ピクセルデータの形成原理を説明するための説
明図である。
【図4】第1の実施の形態にかかる電子スチルカメラに
おいて、輝度データの形成原理を説明するための説明図
である。
【図5】第2の実施の形態に係る電子スチルカメラ及び
外部機器の構成を説明するためのブロック図である。
【図6】原色ベイヤー配列のカラーフィルタの構成を示
す説明図である。
【符号の説明】
2…カラーCCD、4…サンプルホールド回路、6…A
/D変換器、8…画像メモリ、10…不揮発性メモリ、
12…演算部、14…プログラムメモリ、16…インタ
フェース回路、18…外部ホストコンピュータ、20…
外部記憶媒体。

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 複数の受光ピクセルに所定配列のカラー
    フィルタが設けられて成る受光領域を有する撮像デバイ
    スのラインノイズ除去方法において、 前記受光領域又は前記受光領域の内の特定領域に存在す
    る複数の受光ピクセルについて、感光特性のほぼ等しい
    受光ピクセル同士から成る複数グループに区分化し、 前記受光ピクセルから出力される信号の加算平均値を前
    記各グループ毎に求め、 前記グループの内の特定グループについて求められた特
    定の加算平均値を基準にして、残余の前記各グループに
    ついて求められた前記加算平均値との比をラインクロー
    ル補正係数として求め、 前記残余の各グループに該当する受光ピクセルより出力
    される信号を、前記ラインクロール補正係数に基づいて
    補正することを特徴とする撮像デバイスのラインノイズ
    除去方法。
  2. 【請求項2】 複数の受光ピクセルに所定配列のカラー
    フィルタが設けられて成る受光領域を有する撮像デバイ
    スのラインノイズ除去装置において、 前記受光領域又は前記受光領域の内の特定領域に存在す
    る複数の受光ピクセルについて、感光特性のほぼ等しい
    受光ピクセル同士から成る複数グループに区分化し、前
    記受光ピクセルから出力される信号の加算平均値を前記
    各グループ毎に求め、前記グループの内の特定グループ
    について求められた特定の加算平均値を基準にして残余
    の前記各グループについて求められた前記加算平均値と
    の比をラインクロール補正係数としたデータを予め記憶
    する記憶手段と、 前記撮像デバイスによる実際の撮像に際して出力される
    信号について、前記記憶手段のラインクロール補正係数
    に基づいて補正する演算手段と、を具備することを特徴
    とする撮像デバイスのラインクロール除去装置。
JP04342296A 1996-02-29 1996-02-29 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置 Expired - Lifetime JP3755921B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP04342296A JP3755921B2 (ja) 1996-02-29 1996-02-29 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置
US08/792,792 US6034724A (en) 1996-02-29 1997-02-03 Imaging device utilizing a line-crawling correction coefficient

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04342296A JP3755921B2 (ja) 1996-02-29 1996-02-29 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置

Publications (2)

Publication Number Publication Date
JPH09238355A true JPH09238355A (ja) 1997-09-09
JP3755921B2 JP3755921B2 (ja) 2006-03-15

Family

ID=12663272

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04342296A Expired - Lifetime JP3755921B2 (ja) 1996-02-29 1996-02-29 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置

Country Status (2)

Country Link
US (1) US6034724A (ja)
JP (1) JP3755921B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006140721A (ja) * 2004-11-11 2006-06-01 Nikon Corp 画像処理装置、および画像処理プログラム。
JP2010245858A (ja) * 2009-04-07 2010-10-28 Ricoh Co Ltd 画像処理装置、画像処理方法および画像処理プログラム
US8035702B2 (en) 2005-04-25 2011-10-11 Eastman Kodak Company Pixel defect correction device for line crawl
JP2014230020A (ja) * 2013-05-21 2014-12-08 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理用プログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3624604B2 (ja) * 1996-12-28 2005-03-02 株式会社ニコン 撮像装置の色再現補正装置および補正方法
JP4006075B2 (ja) * 1998-01-30 2007-11-14 キヤノン株式会社 Cmosセンサ及び撮像システム
JP3914633B2 (ja) * 1998-04-16 2007-05-16 日本電気株式会社 色信号処理装置および色信号処理方法
JP3773773B2 (ja) * 1999-10-27 2006-05-10 三洋電機株式会社 画像信号処理装置及び画素欠陥の検出方法
US7088392B2 (en) * 2001-08-27 2006-08-08 Ramakrishna Kakarala Digital image system and method for implementing an adaptive demosaicing method
WO2003032288A1 (fr) * 2001-10-05 2003-04-17 Nec Corporation Appareil d'affichage, systeme d'affichage d'image, et terminal utilisant ce systeme et cet appareil
US7515317B2 (en) * 2001-12-10 2009-04-07 Chen-Hsiang Shih Compensating a zipper image by a K-value
US7012720B2 (en) * 2002-01-14 2006-03-14 Chen-Hsiang Shih Method of effacing zipper image
JP5242180B2 (ja) 2008-01-23 2013-07-24 オリンパス株式会社 画像処理装置、画像信号補正方法、補正マトリクス算出方法及び撮像装置
US10706779B2 (en) 2017-02-23 2020-07-07 Synaptics Incorporated Device and method for image data processing

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57133785A (en) * 1981-02-10 1982-08-18 Matsushita Electric Ind Co Ltd Color solid state image pickup device
US5719624A (en) * 1989-07-18 1998-02-17 Canon Kabushiki Kaisha Image recording apparatus with arithmetic processing
US5268758A (en) * 1990-09-26 1993-12-07 Matsushita Electric Industrial Co., Ltd. Horizontal line interpolation circuit and image pickup apparatus including it
JPH05316446A (ja) * 1992-05-08 1993-11-26 Matsushita Electric Ind Co Ltd 階調補正装置
US5541648A (en) * 1992-10-09 1996-07-30 Canon Kabushiki Kaisha Color image pickup apparatus having a plurality of color filters arranged in an offset sampling structure
JP3525353B2 (ja) * 1994-09-28 2004-05-10 株式会社リコー デジタル電子スチル・カメラ

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006140721A (ja) * 2004-11-11 2006-06-01 Nikon Corp 画像処理装置、および画像処理プログラム。
JP4677766B2 (ja) * 2004-11-11 2011-04-27 株式会社ニコン 画像処理装置、および画像処理プログラム。
US8035702B2 (en) 2005-04-25 2011-10-11 Eastman Kodak Company Pixel defect correction device for line crawl
JP2010245858A (ja) * 2009-04-07 2010-10-28 Ricoh Co Ltd 画像処理装置、画像処理方法および画像処理プログラム
JP2014230020A (ja) * 2013-05-21 2014-12-08 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理用プログラム

Also Published As

Publication number Publication date
US6034724A (en) 2000-03-07
JP3755921B2 (ja) 2006-03-15

Similar Documents

Publication Publication Date Title
JP4019417B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
US7440019B2 (en) Solid-state image pick-up device
JP5519083B2 (ja) 画像処理装置、方法、プログラムおよび撮像装置
KR20100066396A (ko) 고체 촬상 장치, 고체 촬상 장치의 신호 처리 방법 및 촬상 장치
JP3970185B2 (ja) 固体撮像素子及びデジタルカメラ
US8111298B2 (en) Imaging circuit and image pickup device
JP3755921B2 (ja) 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置
JP2007129581A (ja) 撮像装置及び撮像システム
JP2005109994A (ja) 撮像装置
US7643079B2 (en) Control circuit for reading out signal charges from main and subsidiary pixels of a solid-state image sensor separately from each other in interlace scanning
JP5607265B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP3902525B2 (ja) 画像信号処理装置
JP3609606B2 (ja) 単板式カラーカメラ
JP2004072382A (ja) 固体撮像装置
JP3839733B2 (ja) 撮像装置および画像データ出力方法
US7470881B2 (en) Solid-state imaging device including plural groups of photoelectric conversion devices with plural microlenses being shifted in a peripheral portion of the imaging device, and imaging apparatus including the imaging device
JP5411390B2 (ja) カラー撮像素子
JP2002084548A (ja) カラー撮像素子及び撮像装置
JPH09312848A (ja) 撮像装置
JP3711401B2 (ja) 撮像装置及びカラー撮像信号の処理方法
JP3080003B2 (ja) カラー画像入力装置
JP2000261817A (ja) 撮像装置
JP2004363769A (ja) 固体撮像素子とそれを用いた固体撮像装置
JP2003348605A (ja) カラービデオカメラ
JPH09187019A (ja) 撮像装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051220

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090106

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090106

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100106

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110106

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120106

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130106

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term