JPH11220661A - 撮像装置 - Google Patents

撮像装置

Info

Publication number
JPH11220661A
JPH11220661A JP10033571A JP3357198A JPH11220661A JP H11220661 A JPH11220661 A JP H11220661A JP 10033571 A JP10033571 A JP 10033571A JP 3357198 A JP3357198 A JP 3357198A JP H11220661 A JPH11220661 A JP H11220661A
Authority
JP
Japan
Prior art keywords
pixels
pixel
signal level
defective
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10033571A
Other languages
English (en)
Other versions
JP4115574B2 (ja
Inventor
Atsushi Kobashi
厚志 小橋
Masaru Kawase
大 川瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP03357198A priority Critical patent/JP4115574B2/ja
Priority to US09/241,086 priority patent/US6642960B1/en
Publication of JPH11220661A publication Critical patent/JPH11220661A/ja
Application granted granted Critical
Publication of JP4115574B2 publication Critical patent/JP4115574B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

(57)【要約】 【課題】 欠陥画素の周辺領域の画像形状を考慮して、
欠陥画素を高精度で補償できるようにした撮像装置を提
供する。 【解決手段】 画素を2次元状に配置してなるCCD撮
像素子1と、該撮像素子の欠陥画素位置及び欠陥画素が
2次元的に連続している場合にはそれらの並び方パター
ンを記憶する欠陥画素情報記憶手段12と、撮像信号にお
ける欠陥画素位置の周辺領域の画像形状を、欠陥画素周
囲の画素情報から検出し、その検出された画像形状に基
づいて、欠陥画素を補間すべき画素を選択し、その選択
画素で欠陥画素を補間補償する画素欠陥補償処理部8と
を設けて撮像装置を構成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、撮像装置に関
し、特に半導体撮像素子の欠陥画素を高精度に補間し補
償できるようにした撮像装置に関する。
【0002】
【従来の技術】一般に、2次元状に画素を配列してなる
半導体撮像素子を備えた撮像装置を用いて撮像を行った
とき、半導体撮像素子を構成する画素に欠陥がある場
合、撮像信号に欠陥が入り見苦しい画像が出力されてし
まう。従来、出力画像におけるこのような欠陥が目立た
ないようにするため、種々の画素欠陥補償手段が用いら
れており、その基本的な補償方式としては、欠陥画素の
回りにある画素の信号を用いて、欠陥画素の信号に置き
換えるという方式(4点補間方式)が知られている。
【0003】また、特公平5−23551号公報には、
正方格子状に配設された複数の撮像素子から出力される
画素信号の中から、欠陥画素信号を垂直方向、水平方向
及び斜め方向にそれぞれ挟む2つの画素信号間毎の差の
絶対値を演算し、絶対値信号を出力する絶対値演算手段
と、絶対値信号の中で最も小さい値を与える2つの画素
信号を検出する最小差検出手段と、最小差検出手段によ
り検出された2つの画素信号について平均値演算を行
い、平均値信号を出力する平均値演算手段と、欠陥画素
信号を平均値信号で置換する置換手段とを備え、補償誤
差を小さくすることにより、より高精度に欠陥画素信号
を補償できるようにした画像欠陥補償装置について開示
がなされている。
【0004】
【発明が解決しようとする課題】ところで、上記周囲画
素の4点補間による欠陥補償方式は、例えば図27の
(A)に示すように、2列の水平方向の黒線を出力する
画素列中において白抜きで示した位置の画素101 が欠陥
画素である場合、この欠陥画素101 の上下左右の矢印で
示した画素の平均値で欠陥画素を置き換えるという方式
である。この方式で図27の(A)に示す欠陥画素101 の
補間を行うと、補間に用いる3画素は黒で1画素は白な
ので、平均値をとって補間を行うと、図27の(B)に示
すように、グレーレベルで補間されることになる。した
がって、図27の(A)に示す欠陥画素は本来黒で補間さ
れるべきなのにグレーで補間され、欠陥が少し残ってし
まい、このように画像中に輝度が急峻に変化する領域
(例えば線やエッジ)に欠陥がある場合、補償誤差が大
きくなり、有効に欠陥画素を補償できないという問題点
がある。また、上記特公平5−23551号公報開示の
画像欠陥補償装置によれば、補償誤差が小さくなり、よ
り高精度に欠陥画素を補償することが可能となるが、欠
陥画素の垂直、水平及び斜め方向にそれぞれ挟む2つの
画素のみを考慮するものであるため、欠陥画素の周辺領
域の画素信号の態様を正確に考慮できず、やはり輝度が
急峻に変化している領域では、高精度で欠陥画素を補償
できないおそれが生じるという問題点がある。
【0005】本発明は、従来の撮像装置において用いら
れている欠陥画素補償方式における上記問題点を解消す
るためになされたもので、欠陥画素の周辺領域の画像形
状を考慮して、高精度で欠陥画素を補償できるようにし
た撮像装置を提供することを目的とする。各請求項毎の
目的を述べると次の通りである。請求項1記載の発明
は、出力画像中の輝度が急峻に変化する領域に欠陥があ
る場合でも、欠陥が目立たないように高精度で補償する
ことが可能な撮像装置を提供することを目的とする。請
求項2記載の発明は、欠陥画素が2次元的に連続してい
る場合に、記憶容量の少ない記憶手段で欠陥補償処理が
できるようにした撮像装置を提供することを目的とす
る。請求項3〜6記載の発明は、欠陥画素位置の周辺領
域の画像形状を高精度で検出し欠陥画素を精度よく補償
できるようにした撮像装置を提供することを目的とす
る。請求項7記載の発明は、欠陥画素位置の周辺領域の
画像形状を、領域を大きくせずに高精度で検出すること
ができ、また斜め形状の周辺領域の画像形状も方向を含
めて容易に検出でき、高精度に欠陥画素を補償できるよ
うにした撮像装置を提供することを目的とする。請求項
8記載の発明は、欠陥画素位置の周辺領域における斜め
形状の画像形状の有無に拘わらず、効率よく画像形状の
検出を行うことが可能な撮像装置を提供することを目的
とする。請求項9記載の発明は、欠陥画素位置の周辺領
域の画像形状の方向を間違って検出した場合でも、欠陥
画素が目立たないように補償できる撮像装置を提供する
ことを目的とする。
【0006】また請求項10記載の発明は、カラー出力画
像中の輝度が急峻に変化する領域に欠陥がある場合で
も、欠陥が目立たないように補償することが可能な撮像
装置を提供することを目的とする。請求項11記載の発明
は、欠陥画素が2次元的に連続している場合に、記憶容
量の少ない記憶手段で欠陥補償処理ができるようにした
撮像装置を提供することを目的とする。請求項12〜15記
載の発明は、欠陥画素位置の周辺領域の画像形状を高精
度で検出し欠陥画素を精度よく補償できるようにした撮
像装置を提供することを目的とする。請求項16記載の発
明は、異なる色の画素でも比較して欠陥画素位置の周辺
領域の画像形状を検出することができると共に、領域を
大きくせずに欠陥画素位置の周辺領域の画像形状を、斜
め形状であっても方向を含めて高精度に検出し、欠陥画
素を高精度で補償できるようにした撮像装置を提供する
ことを目的とする。請求項17記載の発明は、欠陥画素位
置の周辺領域における斜め形状の画像形状の有無に拘わ
らず、効率よく画像形状の検出を行うことが可能な撮像
装置を提供することを目的とする。請求項18記載の発明
は、欠陥画素位置の周辺領域の画像形状の方向を間違っ
て検出した場合でも、欠陥画素が目立たないように補償
したカラー画像が得られる撮像装置を提供することを目
的とする。請求項19記載の発明は、撮影画像の圧縮記録
時に欠陥の影響が現れないようにした撮像装置を提供す
ることを目的とする。請求項20記載の発明は、撮影画像
の記録時の時間を短縮すると共に、欠陥画素の補償を高
精度で行えるようにした撮像装置を提供することを目的
とする。
【0007】
【課題を解決するための手段】上記問題点を解決するた
め、請求項1記載の発明は、画素を2次元状に配置して
なる半導体撮像素子を備え、被写体光を画像信号に変換
する撮像手段と、前記半導体撮像素子の欠陥画素位置、
及び欠陥画素が2次元的に連続している場合には更にそ
れらの欠陥画素の並び方パターンを求める欠陥画素検出
手段と、該欠陥画素検出手段で求めた欠陥画素に関する
情報を記憶する欠陥画素情報記憶手段と、前記撮像手段
より得られる画像信号における、前記欠陥画素検出手段
より求められた欠陥画素位置の周辺領域の画像形状を、
欠陥画素周囲の画素情報から検出する周辺画像形状検出
手段と、該周辺画像形状検出手段によって検出された画
像形状に基づいて、欠陥画素の周囲から画素を選択し、
該選択画素で欠陥画素を補間することによって画素欠陥
補償を行う画素欠陥補償手段とで撮像装置を構成するも
のである。
【0008】このように、周辺画像形状検出手段によっ
て、画像中の欠陥画素の周辺領域の画像形状(線及びそ
の方向、エッジ及びその方向、面)を検出し、その画像
形状に基づいて欠陥画素を補間する画素を選択するよう
にしているので、出力画像中の輝度が急峻に変化する領
域(例えば線やエッジ)に欠陥がある場合でも、欠陥が
目立たないように高精度で補償することが可能な撮像装
置を実現することができる。
【0009】請求項2記載の発明は、請求項1記載の撮
像装置において、前記欠陥画素情報記憶手段は、欠陥画
素が2次元的に連続している場合、連続している欠陥画
素のいずれか一つの画素位置とその他の欠陥画素の並び
方パターンを記憶するように構成されていることを特徴
とするものである。このように欠陥画素が2次元的に連
続している場合、いずれか一つの欠陥画素の位置と他の
欠陥画素の並び方を記憶するようにしているので、欠陥
画素位置を1画素ずつ記憶させるのに比べて、記憶容量
が少なくて済む。
【0010】請求項3記載の発明は、請求項1又は2記
載の撮像装置において、前記周辺画像形状検出手段は、
欠陥画素の周囲にある複数個の画素の信号レベルをそれ
ぞれ求める信号レベル検出手段と、該信号レベル検出手
段から得られた複数画素の信号レベルデータのうち、欠
陥画素の上方に位置する複数画素に関するものは、水平
方向にまとめて一つの組とし、その組の中のある1画素
の信号レベルを基準画素信号レベルとして該基準画素信
号レベルに対する他の画素の相対信号レベルを求める第
1の相対レベル検出手段と、前記信号レベル検出手段か
ら得られた複数画素の信号レベルデータのうち、欠陥画
素の下方に位置する複数画素に関するものは、水平方向
にまとめて一つの組とし、その組の中のある1画素の信
号レベルを基準画素信号レベルとして該基準画素信号レ
ベルに対する他の画素の相対信号レベルを求める第2の
相対レベル検出手段と、前記信号レベル検出手段から得
られた複数画素の信号レベルデータのうち、欠陥画素の
右方に位置する複数画素に関するものは、垂直方向にま
とめて一つの組とし、その組の中のある1画素の信号レ
ベルを基準画素信号レベルとして該基準画素信号レベル
に対する他の画素の相対信号レベルを求める第3の相対
レベル検出手段と、前記信号レベル検出手段から得られ
た複数画素の信号レベルデータのうち、欠陥画素の左方
に位置する複数画素に関するものは、垂直方向にまとめ
て一つの組とし、その組の中のある1画素の信号レベル
を基準画素信号レベルとして該基準画素信号レベルに対
する他の画素の相対信号レベルを求める第4の相対レベ
ル検出手段と、前記第1から第4の相対レベル検出手段
で求められた相対信号レベルデータを、画素位置と関連
付けて表すことにより、各組内の画素信号レベルをパタ
ーン化するパターン化手段と、該パターン化手段により
得られたパターンを、予め設定したパターンと比較する
比較手段と、該比較手段における比較動作において、前
記パターン化手段で得られたパターンと設定したパター
ンが一致した場合、その一致した設定パターンを周辺画
像形状とする第1の画像形状決定手段と、前記比較手段
における比較動作において、前記パターン化手段で得ら
れたパターンと設定したパターンが一致しなかった場
合、予め設定した特定パターンを周辺画像形状とする第
2の画像形状決定手段と、前記比較手段における比較動
作において、前記パターン化手段で得られたパターンと
予め設定したパターンの複数が一致した場合、一致した
複数の設定パターンの中、それらの設定パターンが示す
複数の補間画素の信号レベル差の小さいパターンを選択
して、周辺画像形状とする第3の画像形状決定手段とを
備えていることを特徴とするものである。また、請求項
4記載の発明は、請求項3記載の撮像装置において、前
記パターン化手段は、前記相対信号レベルデータをN値
化(Nは前記撮像手段による画像信号の階調数以下の任
意の数)して、画素位置と関連付けて表すことにより、
各組内の画素信号レベルをパターン化するように構成さ
れていることを特徴とするものであり、また、請求項5
記載の発明は、請求項4記載の撮像装置において、前記
N値は、複数画素の信号レベルの中の基準画素信号レベ
ルに対して他の画素の信号レベルが高い、低い、同じの
3値とすることを特徴とするものであり、また、請求項
6記載の発明は、請求項3記載の撮像装置において、前
記比較手段において用いられる予め設定したパターン
は、エッジ及び線の方向を決定できるパターンであるこ
とを特徴とするものである。
【0011】このように、欠陥画素を囲む上下左右の4
方向にそれぞれ位置する画素の相対信号レベルを画素位
置と関連付けてパターン化し、予め設定したパターンと
比較して欠陥画素周辺領域の画像形状を求めるようにし
ているので、高精度で画像形状を検出し精度よく欠陥画
素を補償することが可能となる。
【0012】請求項7記載の発明は、請求項1記載の撮
像装置において、前記周辺画像形状検出手段は、欠陥画
素の周囲にある複数個の画素を基準画素とし、該基準画
素の信号レベルを求める基準画素信号レベル検出手段
と、前記基準画素を前記欠陥画素に重ならないように、
それぞれ水平方向に一様にずらした位置にある第1の複
数画素の信号レベルを検出する第1の信号レベル検出手
段と、前記基準画素を前記欠陥画素に重ならないよう
に、それぞれ垂直方向に一様にずらした位置にある第2
の複数画素の信号レベルを検出する第2の信号レベル検
出手段と、前記基準画素を前記欠陥画素に重ならないよ
うに、それぞれ右上がり方向に一様にずらした位置にあ
る第3の複数画素の信号レベルを検出する第3の信号レ
ベル検出手段と、前記基準画素を前記欠陥画素に重なら
ないように、それぞれ右下がり方向に一様にずらした位
置にある第4の複数画素の信号レベルを検出する第4の
信号レベル検出手段と、前記基準画素において、同一垂
直ライン上の画素の信号レベルの和を垂直ライン毎に求
める手段と、前記第1の複数画素において、同一垂直ラ
インにある画素の信号レベルの和を垂直ライン毎に求め
る手段と、前記第2の複数画素において、同一垂直ライ
ンにある画素の信号レベルの和を垂直ライン毎に求める
手段と、前記第3の複数画素において、同一垂直ライン
にある画素の信号レベルの和を垂直ライン毎に求める手
段と、前記第4の複数画素において、同一垂直ラインに
ある画素の信号レベルの和を垂直ライン毎に求める手段
と、前記基準画素において、所定の垂直ライン上の画素
の信号レベル和に対する他の全ての垂直ライン上の画素
の信号レベル和の比を求める手段と、前記第1の複数画
素において、所定の垂直ライン上の画素の信号レベル和
に対する他の全ての垂直ライン上の画素の信号レベル和
の比を求める手段と、前記第2の複数画素において、所
定の垂直ライン上の画素の信号レベル和に対する他の全
ての垂直ライン上の画素の信号レベル和の比を求める手
段と、前記第3の複数画素において、所定の垂直ライン
上の画素の信号レベル和に対する他の全ての垂直ライン
上の画素の信号レベル和の比を求める手段と、前記第4
の複数画素において、所定の垂直ライン上の画素の信号
レベル和に対する他の全ての垂直ライン上の画素の信号
レベル和の比を求める手段と、前記基準画素の信号レベ
ル和の比と、第1,第2,第3及び第4の各信号レベル
和の比を比較し、基準画素の信号レベル和の比に最も近
い値の信号レベル和の比を選択する手段と、該選択手段
により第1の複数画素の信号レベル和の比が選択された
場合、周辺領域画像形状は水平方向のエッジ又は線と判
断し、第2の複数画素の信号レベル和の比が選択された
場合、周辺領域画像形状は垂直方向のエッジ又は線と判
断し、第3の複数画素の信号レベル和の比が選択された
場合、周辺領域画像形状は右上がり方向のエッジ又は線
と判断し、第4の複数画素の信号レベル和の比が選択さ
れた場合、周辺領域画像形状は右下がり方向のエッジ又
は線と判断する手段とを備えていることを特徴とするも
のである。
【0013】このように欠陥画素周囲の画素と、該画素
の水平、垂直、右上がり及び右下がり方向にずらした位
置の画素を用いて欠陥画素の周辺領域の画像形状を検出
することにより、画像形状検出のための領域を大きくせ
ずに、高精度で周辺領域の画像形状を検出することがで
き、また、斜め方向の周辺領域の画像形状も方向を含め
て容易に検出することができる。
【0014】請求項8記載の発明は、請求項1記載の撮
像装置において、前記周辺画像形状検出手段は、前記請
求項3記載の周辺画像形状検出手段からなる第1の周辺
画像形状検出手段と、前記請求項7記載の周辺画像形状
検出手段からなる第2の周辺画像形状検出手段とを備
え、前記第1の周辺画像形状検出手段により斜め線形状
が検出された場合にのみ、第2の周辺画像形状検出手段
による形状検出を行うように構成されていることを特徴
とするものである。このように構成することにより、欠
陥画素位置の周辺領域における斜め方向の画像形状の有
無に拘わらず、効率よく画像形状の検出を行うことがで
きる。
【0015】請求項9記載の発明は、請求項1〜8記載
の撮像装置において、前記画素欠陥補償手段は、複数の
選択画素の平均値で欠陥画素を補間するように構成され
ていることを特徴とするものである。このように構成す
ることにより、仮に欠陥画素位置の周辺領域の画像形状
の方向が間違って検出された場合でも、欠陥画素と周辺
画素とがなだらかな変化となるため、欠陥画素が目立た
ないように補償することができる。
【0016】請求項10記載の発明は、画素を2次元状に
配置してなる半導体撮像素子を備え、被写体光を少なく
とも3種類以上の複数の色信号からなる撮像信号に変換
する撮像手段と、前記半導体撮像素子の欠陥画素位置、
及び欠陥画素が2次元的に連続している場合には更にそ
れらの欠陥画素の並び方パターンを求める欠陥画素検出
手段と、該欠陥画素検出手段で求めた欠陥画素に関する
情報を記憶する欠陥画素情報記憶手段と、前記撮像手段
より得られる画像信号における、前記欠陥画素検出手段
より求められた欠陥画素位置の周辺領域の画像形状を、
欠陥画素周囲の欠陥画素と同色の画素情報から検出する
周辺画像形状検出手段と、該周辺画像形状検出手段によ
って検出された画像形状に基づいて、欠陥画素の周囲か
ら欠陥画素と同色の画素を選択し、該選択画素で欠陥画
素を補間することによって画素欠陥補償を行う画素欠陥
補償手段とで撮像装置を構成するものである。
【0017】このように構成することにより、カラー出
力画像中の輝度が急峻に変化する領域に欠陥がある場合
でも、欠陥が目立たないように補償されたカラー画像を
得ることが可能な撮像装置を実現することができる。
【0018】請求項11記載の発明は、請求項10記載の撮
像装置において、前記欠陥画素情報記憶手段は、欠陥画
素が2次元的に連続している場合、連続している欠陥画
素のいずれか一つの画素位置とその他の欠陥画素の並び
方パターンを記憶するように構成されていることを特徴
とするものである。このように欠陥画素が2次元的に連
続している場合、いずれか一つの欠陥画素の位置と他の
欠陥画素の並び方を記憶するようにしているので、欠陥
画素位置を1画素ずつ記憶させるのに比べて、記憶容量
の少ない記憶手段で高精度のカラー画像の画素欠陥補償
処理を行うことができる。
【0019】請求項12記載の発明は、請求項10又は11記
載の撮像装置において、前記周辺画像形状検出手段は、
欠陥画素の周囲にある欠陥画素と同色の複数個の画素の
信号レベルをそれぞれ求める信号レベル検出手段と、該
信号レベル検出手段から得られた複数画素の信号レベル
データのうち、欠陥画素の上方に位置する複数画素に関
するものは、水平方向にまとめて一つの組とし、その組
の中のある1画素の信号レベルを基準画素信号レベルと
して該基準画素信号レベルに対する他の画素の相対信号
レベルを求める第1の相対レベル検出手段と、前記信号
レベル検出手段から得られた複数画素の信号レベルデー
タのうち、欠陥画素の下方に位置する複数画素に関する
ものは、水平方向にまとめて一つの組とし、その組の中
のある1画素の信号レベルを基準画素信号レベルとして
該基準画素信号レベルに対する他の画素の相対信号レベ
ルを求める第2の相対レベル検出手段と、前記信号レベ
ル検出手段から得られた複数画素の信号レベルデータの
うち、欠陥画素の右方に位置する複数画素に関するもの
は、垂直方向にまとめて一つの組とし、その組の中のあ
る1画素の信号レベルを基準画素信号レベルとして該基
準画素信号レベルに対する他の画素の相対信号レベルを
求める第3の相対レベル検出手段と、前記信号レベル検
出手段から得られた複数画素の信号レベルデータのう
ち、欠陥画素の左方に位置する複数画素に関するもの
は、垂直方向にまとめて一つの組とし、その組の中のあ
る1画素の信号レベルを基準画素信号レベルとして該基
準画素信号レベルに対する他の画素の相対信号レベルを
求める第4の相対レベル検出手段と、前記第1から第4
の相対レベル検出手段で求められた相対信号レベルデー
タを、画素位置と関連付けて表すことにより、各組内の
画素信号レベルをパターン化するパターン化手段と、該
パターン化手段により得られたパターンを、予め設定し
たパターンと比較する比較手段と、該比較手段における
比較動作において、前記パターン化手段で得られたパタ
ーンと設定したパターンが一致した場合、その一致した
設定パターンを周辺画像形状とする第1の画像形状決定
手段と、前記比較手段における比較動作において、前記
パターン化手段で得られたパターンと設定したパターン
が一致しなかった場合、予め設定した特定パターンを周
辺画像形状とする第2の画像形状決定手段と、前記比較
手段における比較動作において、前記パターン化手段で
得られたパターンと予め設定したパターンの複数が一致
した場合、一致した複数の設定パターンの中、それらの
設定パターンが示す複数の補間画素の信号レベル差の小
さいパターンを選択して、周辺画像形状とする第3の画
像形状決定手段とを備えていることを特徴とするもので
ある。また、請求項13記載の発明は、請求項12記載の撮
像装置において、前記パターン化手段は、前記相対信号
レベルデータをN値化(Nは前記撮像手段による画像信
号の階調数以下の任意の数)して、画素位置と関連付け
て表すことにより、各組内の画素信号レベルをパターン
化するように構成されていることを特徴とするものであ
り、また、請求項14記載の発明は、請求項13記載の撮像
装置において、前記N値は、複数画素の信号レベルの中
の基準画素信号レベルに対して他の画素の信号レベルが
高い、低い、同じの3値とすることを特徴とするもので
あり、また、請求項15記載の発明は、請求項12記載の撮
像装置において、前記比較手段において用いられる予め
設定したパターンは、エッジ及び線の方向を決定できる
パターンであることを特徴とするものである。
【0020】このように、欠陥画素を囲む上下左右の4
方向にそれぞれ位置する画素群の相対信号レベルを画素
位置と関連付けてパターン化し、予め設定したパターン
と比較して欠陥画素周辺領域の画像形状を求めるように
しているので、カラー画像においても高精度で画像形状
を検出し精度よく欠陥画素を補償することが可能とな
る。
【0021】請求項16記載の発明は、請求項10記載の撮
像装置において、前記周辺画像形状検出手段は、欠陥画
素の周囲にある同色の複数個の画素を基準画素とし、該
基準画素の信号レベルを求める基準画素信号レベル検出
手段と、前記基準画素を前記欠陥画素に重ならないよう
に、それぞれ水平方向に一様にずらした位置にあり且つ
全てが同色の、第1の複数画素の信号レベルを検出する
第1の信号レベル検出手段と、前記基準画素を前記欠陥
画素に重ならないように、それぞれ垂直方向に一様にず
らした位置にあり且つ全てが同色の、第2の複数画素の
信号レベルを検出する第2の信号レベル検出手段と、前
記基準画素を前記欠陥画素に重ならないように、それぞ
れ右上がり方向に一様にずらした位置にあり且つ全てが
同色の、第3の複数画素の信号レベルを検出する第3の
信号レベル検出手段と、前記基準画素を前記欠陥画素に
重ならないように、それぞれ右上がり方向に一様にずら
した位置にあり且つ全てが同色の、第4の複数画素の信
号レベルを検出する第4の信号レベル検出手段と、前記
基準画素において、同一垂直ライン上の画素の信号レベ
ルの和を垂直ライン毎に求める手段と、前記第1の複数
画素において、同一垂直ラインにある画素の信号レベル
の和を垂直ライン毎に求める手段と、前記第2の複数画
素において、同一垂直ラインにある画素の信号レベルの
和を垂直ライン毎に求める手段と、前記第3の複数画素
において、同一垂直ラインにある画素の信号レベルの和
を垂直ライン毎に求める手段と、前記第4の複数画素に
おいて、同一垂直ラインにある画素の信号レベルの和を
垂直ライン毎に求める手段と、前記基準画素において、
所定の垂直ライン上の画素の信号レベル和に対する他の
全ての垂直ライン上の画素の信号レベル和の比を求める
手段と、前記第1の複数画素において、所定の垂直ライ
ン上の画素の信号レベル和に対する他の全ての垂直ライ
ン上の画素の信号レベル和の比を求める手段と、前記第
2の複数画素において、所定の垂直ライン上の画素の信
号レベル和に対する他の全ての垂直ライン上の画素の信
号レベル和の比を求める手段と、前記第3の複数画素に
おいて、所定の垂直ライン上の画素の信号レベル和に対
する他の全ての垂直ライン上の画素の信号レベル和の比
を求める手段と、前記第4の複数画素において、所定の
垂直ライン上の画素の信号レベル和に対する他の全ての
垂直ライン上の画素の信号レベル和の比を求める手段
と、前記基準画素の信号レベル和の比と、第1,第2,
第3及び第4の各信号レベル和の比を比較し、基準画素
の信号レベル和の比に最も近い値の信号レベル和の比を
選択する手段と、該選択手段により第1の複数画素の信
号レベル和の比が選択された場合、周辺領域画像形状は
水平方向のエッジ又は線と判断し、第2の複数画素の信
号レベル和の比が選択された場合、周辺領域画像形状は
垂直方向のエッジ又は線と判断し、第3の複数画素の信
号レベル和の比が選択された場合、周辺領域画像形状は
右上がり方向のエッジ又は線と判断し、第4の複数画素
の信号レベル和の比が選択された場合、周辺領域画像形
状は右下がり方向のエッジ又は線と判断する手段とを備
えていることを特徴とするものである。
【0022】このように構成することにより、異なる色
の画素でも相対的な明るさの変化(すなわちレベル比)
の相関が強いことが多いので、該画素の水平、垂直、右
上がり及び右下がり方向にずらした位置の全てが同色の
画素を用いて欠陥画素の周辺領域の画像形状を検出する
ことにより、形状検出のための領域を大きくせずに、高
精度でカラー画像における欠陥画素周辺領域の画像形状
を検出することができ、斜め方向の周辺領域の画像形状
も方向を含めて容易に検出することができる。
【0023】請求項17記載の発明は、請求項10記載の撮
像装置において、前記周辺画像形状検出手段は、前記請
求項12記載の周辺画像形状検出手段からなる第1の周辺
画像形状検出手段と、前記請求項16記載の周辺画像形状
検出手段からなる第2の周辺画像形状検出手段とを備
え、前記第1の周辺画像形状検出手段により斜め線形状
が検出された場合にのみ、第2の周辺画像形状検出手段
による周辺画像形状検出を行うように構成されているこ
とを特徴とするものであり、このように構成することに
より、カラー画像の欠陥画素位置の周辺領域における斜
め方向の画像形状の有無に拘わらず、効率よく画像形状
の検出を行うことができる。
【0024】請求項18記載の発明は、請求項10〜17のい
ずれか1項に記載の撮像装置において、前記画素欠陥補
償手段は、複数の欠陥画素と同色の選択画素の平均値で
欠陥画素を補間するように構成されていることを特徴と
するものであり、このように構成することにより、仮に
欠陥画素位置の周辺領域の画素形状の方向を間違って検
出した場合でも、カラー画像における欠陥画素と周辺画
素とがなだらかな変化となるため、カラー画像における
欠陥画素を目立たないように補償することができる。
【0025】請求項19記載の発明は、請求項1〜18のい
ずれか1項に記載の撮像装置において、前記画素欠陥補
償手段により欠陥画素の補償を行った撮像信号を圧縮し
記録媒体に記録する手段を備えていることを特徴とする
ものである。このように構成することにより、撮像信号
は欠陥を補償した後に圧縮して記録媒体に記録されるの
で、撮影画像の圧縮記録時に欠陥の影響が現れないよう
にすることができる。
【0026】請求項20記載の発明は、半導体撮像素子の
欠陥画素を該欠陥画素の周囲の画素で補間する予備欠陥
補償手段と、該予備欠陥補償手段で欠陥画素補償を行っ
た画像信号を圧縮し記録媒体に記録する手段と、該記録
媒体から読み出した画像信号を伸長し、前記請求項1〜
19のいずれか1項に記載の画素欠陥補償手段により画素
欠陥補償を行って再生する手段とを設けて撮像装置を構
成するものである。このように構成した撮像装置におい
て、記録時に処理速度の速い予備欠陥補償手段で精度は
高くない欠陥補償を行い、再生時に高精度の欠陥補償を
行うことにより、撮影画像の記録時の時間を短縮すると
共に、欠陥画素の補償を高精度で行った出力画像を得る
ことができる。
【0027】
【発明の実施の形態】次に、実施の形態について説明す
る。図1は本発明に係る撮像装置の実施の形態の全体構
成を示すプロック構成図である。図1において、1はレ
ンズで、該レンズ1で結像された光学像は、絞り・シャ
ッタ機構2を通り、光学LPF及び赤外カットフィルタ
3を介して、2次元状に画素を配列してなるCCD撮像
素子4へ入力される。撮像素子4で光電変換された撮像
信号は、CDS回路(相関二重サンプリング回路)・A
GC回路5でノイズキャンセル及び感度調整処理を受け
た後、A/D変換器6でA/D変換されて、画像メモリ
7へ一時的に記憶される。
【0028】8は画素欠陥補償処理部で、一時的記憶さ
れた撮像信号(画像データ)を画像メモリ7から読み出
して、欠陥に相当する画素の位置、数及び欠陥画素が2
次元的に連続している場合、その並び方パターンを検出
して、それらの欠陥情報を欠陥情報記憶手段12へ記憶さ
せる。また、この画素欠陥補償処理部8では、欠陥情報
記憶手段12より欠陥情報を読み出し、その欠陥情報に基
づいて欠陥画素の周辺領域の画像形状を検出し、その検
出された画像形状に基づいて、欠陥画素の周囲から画素
を選択し、その選択画素で欠陥画素を補間し、画素欠陥
補償処理を行うようになっている。画像メモリ7内に一
時的に記憶されている撮像信号が、前記画素欠陥補償処
理部8における処理により、欠陥が全て補償された後、
記録信号処理部9において、圧縮などの処理が施されて
記録に適した信号形態へ変換される。記録信号処理部9
で処理された画像データは、記録メディアI/F10にお
いて記録メディアに適した信号レベル、レートに変換さ
れ、SRAM、フラッシュメモリ、磁気メモリ等の記録
メディア11に記録されるようになっている。
【0029】また、図1において13はCCD撮像素子4
の駆動タイミングを生成するタイミングジェネレータ、
14はタイミングジェネレータ13へ同期信号を供給するた
めの同期信号発生器、16はCCD撮像素子の駆動信号を
電力増幅するCCDドライバであり、17はレンズ1のピ
ント合わせ及びズーミング、並びに絞り・シャッタ機構
2の絞り駆動及びシャッタ駆動のためのモータドライバ
であり、15は以上の各部の動作の制御を行うCPUであ
る。
【0030】次に、このように構成されている撮像装置
の動作シーケンスを説明すると、図2のタイミングチャ
ートに示すように概略動作シーケンスとしては、シャッ
タボタン(図示せず)を押すことにより撮像素子4への
電荷蓄積動作が開始し、電荷蓄積時間の開始からシャッ
タ閉までの期間が本露光となり、シャッタ閉期間におい
て信号読み出しが行われる。撮像素子4から出力される
撮像信号は、画像メモリ7へ一旦記憶される。そして画
像メモリ7に記憶された撮像信号は、画素欠陥補償処理
部8及び欠陥情報記憶手段12を介して欠陥補償処理が行
われる。次いで、欠陥補償処理された撮像信号は記録信
号処理部9で記録信号に処理された後、記録メディア11
に記録される。なお、図2において、VDは同期信号発
生器14で発生している撮像素子の全ての情報を読み出す
基本パルス(垂直同期信号)を示している。
【0031】次に、画素欠陥補償処理部8と欠陥情報記
憶手段12において行われる欠陥画素の補償処理について
詳細に説明する。まず、画素欠陥補償処理部8で行われ
る欠陥画素の検出処理について説明する。この検出処理
には、暗黒画像を撮影して黒画像撮像時における欠陥画
素の位置と欠陥画素の並び方を検出する第1の欠陥検出
処理と、真っ白な画像を撮影して白画像撮像時における
欠陥画素と欠陥画素の並び方を検出する第2の欠陥検出
処理とを行う。すなわち、第1の欠陥検出処理において
は、図3の(A)のフローチャートに示すように、暗黒
画像を撮像し(ステップ21−1)、次いで1画素毎に信
号レベルを検出し(ステップ21−2)、各画素の信号レ
ベルが所定の閾値1より小さいか大きいかの判定を行い
(ステップ21−3)、閾値1より大きい場合、その画素
は欠陥画素であると判定する(ステップ21−4)。次い
で、欠陥画素が隣接、すなわち2次元的に連続している
場合にはその並び方を調べ(ステップ21−5)、欠陥画
素の位置と欠陥画素の並び方に関する欠陥情報を欠陥情
報記憶手段12へ保存する(ステップ21−6)。
【0032】また、同様に第2の欠陥検出処理において
は、図3の(B)のフローチャートに示すように、白画
像を撮像し(ステップ22−1)、次いで1画素毎に信号
レベルを検出し(ステップ22−2)、各画素の信号レベ
ルが所定の閾値2より小さいか大きいかの判定を行い
(ステップ22−3)、閾値2より小さい場合、その画素
は欠陥画素であると判定する(ステップ22−4)。次い
で、欠陥画素が隣接、すなわち2次元的に連続している
場合にはその並び方を調べ(ステップ22−5)、欠陥画
素の位置と欠陥画素の並び方に関する欠陥情報を欠陥情
報記憶手段12へ保存する(ステップ22−6)。
【0033】なお、欠陥画素に関する欠陥情報は、撮影
の都度上記のようにして検出して欠陥情報記憶手段12へ
記憶させるようにしてもよいが、撮像装置に組み込まれ
たCCD撮像素子等の撮像素子においては、予め欠陥画
素の位置等の欠陥情報は検出しておくことができるの
で、予め検出した欠陥情報を欠陥情報記憶手段へ記憶さ
せておき、撮影時にこの欠陥情報を用いるようにしても
よい。
【0034】次に、画素欠陥補償処理の実施の形態につ
いて説明する。本発明による欠陥補償は、基本的には、
欠陥画素が周辺領域のどのような画像形状の成分に属す
るかを判定(推定)して、補間するようにするもので、
例えば図27の(A)に示した例では、欠陥画素101 は周
辺領域の画像形状からみて、横方向の黒線に属するもの
である蓋然性が極めて高いので、横方向の両側の画素の
平均値で、すなわち黒レベルで補間してやるようにする
ものである。
【0035】この基本欠陥補償処理形態を、図4のフロ
ーチャートで説明すると、まず撮像素子の撮像動作で被
写体画像を取り込み(ステップ31−1)、次いで撮像素
子からの撮像信号における欠陥画素の位置、及び欠陥画
素が2次元的に連続している場合その並び方を検出して
記憶させ、記憶したこれらの欠陥情報を読み出して(ス
テップ31−2)、画像信号における欠陥画素周囲の画素
情報に基づいて、欠陥画素位置の周辺領域の画像形状を
検出する(ステップ31−3)。次いで検出された画像形
状に基づいて、欠陥画素は周辺領域から、例えば縦、
横、斜めのいずれかの方向の2画素を補間画素として選
択し(ステップ31−4)、その補間画素の平均レベルで
欠陥画素を補間することにより、欠陥補償を行う(ステ
ップ31−5)。
【0036】次に、この欠陥補償処理における画像形状
検出(ステップ31−3)の第1の実施の形態を、図5の
フローチャートに基づいて説明する。まず最初に、欠陥
画素の周囲にある複数個の画素の信号レベルを検出する
(ステップ32−1)。例えば、図6において、欠陥画素
(●印)35の周りの8個の画素(○印)の信号レベルを
検出する。そして、欠陥画素の上方向に位置するU方向
の3つの画素、下方向に位置するD方向の3つの画素、
右方向に位置するR方向の3つの画素、左方向に位置す
るL方向の3つの画素を、それぞれ一組とし、それらの
各組において、ある一画素を基準画素として、その基準
画素の信号レベル(輝度)に対する他の画素の相対的な
信号レベルを求める(ステップ32−2)。例えば、U,
D,R,Lの各方向において、相対値は矢印の始点の方
向から求めて行き、1番目の画素に対しての2番目の画
素の相対値、2番目の画素に対しての3番目の画素の相
対値という順に求める。相対値は高い、同じ、低いの3
値とし、2つの画素の信号レベルの差が±12.5%以内の
ときは同じとする。但し、この相対値はN値化(Nは撮
像素子の撮像信号の階調数以下の任意の整数)して表す
ことができる。
【0037】このようにして求めた相対値から、各方向
における各組の相対値は、図7に示すようなパターン1
〜パターン9の9つのパターン形式に分類することがで
きる。なお、図7においてカッコ内に示すパターン形式
は、相対値を矢印の逆方向に沿って求めた場合の逆パタ
ーン形式を示している。図7において、例えばパターン
1は、1番目の画素(左端)に対して2番目の画素(中
央)の相対値が高く、2番目の画素(中央)に対して3
番目の画素(右端)の相対値が更に高い場合のパターン
を示し、パターン2は、1番目の画素に対して2番目の
画素の相対値が高く、2番目の画素に対して3番目の画
素の相対値が同じ場合のパターンを示し、パターン3
は、1番目の画素に対して2番目の画素の相対値が高
く、2番目の画素に対して3番目の画素の相対値が低い
場合のパターンを示しており、更にパターン5は、全て
の画素が同じレベルのときのパターンを示している。
【0038】このような9つのパターン形式を用いて、
U,D,R,Lの4方向の画素群の相対信号レベルを、
画素位置と対応づけて表すことにより、4組のパターン
で欠陥画素の周りの8画素の相対信号レベルをパターン
化する(ステップ32−3)。次いで、このようにして得
られた周辺領域の4組の画素群の相対信号レベルのパタ
ーンを、予め設定したパターンと比較する(ステップ32
−4)。すなわち、予め考えられる全てのパターンを用
意しておいて、その用意されたパターンと、周辺領域の
画素群の相対信号レベルから得られたパターンとを比較
するもので、例えば、図8の(A)に示すような横エッ
ジ形状の場合は、U又はD方向の画素群に必ずパターン
5のパターンが存在し、R及びL方向の画素群にはパタ
ーン5が存在しない。したがって、比較されるパターン
において、このような条件を有する場合は、周辺領域の
画像形状は横エッジ形状であると判定する。
【0039】また、図8の(B)に示すような縦エッジ
形状の場合は、R又はL方向の画素群に必ずパターン5
が存在し、U及びD方向の画素群にはパターン5は存在
しない。したがって、比較されるパターンにおいて、こ
のような条件を有する場合は、周辺領域の画像形状は縦
エッジ形状であると判定する。また図8の(C)に示す
ような右下がりエッジ形状の場合は、U及びR方向、又
はL及びD方向の画素群には必ずパターン5が存在し、
他にもパターン5が存在してもよい。したがって、比較
されるパターンにおいて、このような条件を有する場合
は、周辺領域の画像形状は右下がりエッジ形状であると
判定する。また図8の(D)に示すような右上がりエッ
ジ形状の場合は、D及びR方向、又はU及びL方向の画
素群には必ずパターン5が存在し、他にもパターン5が
存在してもよい。したがって、比較されるパターンにお
いて、このような条件を有する場合は、周辺領域の画像
形状は右上がりエッジ形状であると判定する。
【0040】このようにして、周辺領域の画素群の相対
信号レベルのパターンを予め用意されているパターンと
比較して、一致するものがあるか否かの判定を行い(ス
テップ32−5)、一致するものがある場合には、その一
致した予め用意されたパターンに対応する形状を、周辺
領域の画像形状と決定する(ステップ32−6)。もし予
め用意された複数のパターンと一致した場合は、例えば
図8の(E)に示すような形状の2つのパターンは、9
つのパターン形式の同じ組み合わせに、いずれも一致す
るものとして検出されてしまうので、このような場合に
は、それらの2つのパターンにおいて、補間画素として
選択される画素間のレベル差が小さくなる方のパターン
を、周辺領域の画像形状として選択する(ステップ32−
7)。図8の(E)のパターンの場合は、縦横線と判定
されているので、欠陥画素の上下の画素信号レベルの差
が左右の画素信号レベルの差より大なるときは、横線も
しくは横エッジと判定する。また逆に、上下の画素信号
レベルの差が左右の画素信号レベルの差より小なるとき
は、縦線もしくは縦エッジと判定する。
【0041】また、一致するパターンがない場合には、
予め用意してある、例えば図8の(F)に示す十字パタ
ーンをデフォルトパターンとして、これを周辺領域の画
像形状とする(ステップ32−8)。
【0042】ところで、上記周辺領域の画像形状の検出
処理方式において、例えば、図9に示すような画像形状
が検出された場合、欠陥画素を補間すべき補間画素とし
て、右下がり画素(白)及び右上がり画素(黒)のいず
れを選択すべきかは、一義的には定められないという問
題点がある。
【0043】次に、このような問題点を解消する画像形
状検出方式の第2の実施の形態を、図10のフローチャー
トに基づいて説明する。まず、欠陥画素の周囲にある複
数個の画素の信号レベルを求め、それらを基準画素信号
レベルとする(ステップ33−1)。例えば、図11の
(A)に示すように、太枠で示す欠陥画素をP33とする
と、この欠陥画素から1画素ずつ離れた周囲にある8個
の画素P11,P13,P15,P31,P35,P51,P53,P
55を基準画素とし、これらの信号レベルP11,P13,・
・・・P53,P55を求める。
【0044】次に、上記基準画素を、欠陥画素P33に重
ならないように、それぞれ水平方向に一様にずらした位
置にある第1の複数画素、例えば図11の(B)に示す例
においては、画素P12,P14,P16,P32,P36
52,P54,P56の信号レベルP12,P14,・・・・P
54,P56を求める(ステップ33−2)。次に、同様にし
て上記基準画素を、欠陥画素P33に重ならないように、
それぞれ垂直方向に一様にずらした位置にある第2の複
数画素、例えば図11の(C)に示す例においては、画素
21,P23,P25,P41,P45,P61,P63,P65の信
号レベルP21,P23,・・・・P63,P65を求める(ス
テップ33−3)。また、同様にして上記基準画素を、欠
陥画素P33に重ならないように、それぞれ右上がり方向
に一様にずらした位置にある第3の複数画素、例えば図
11の(D)に示す例においては、画素P02,P04
06,P22,P26,P42,P44,P46の信号レベルP0
2,P04,・・・・P44,P46を求める(ステップ33−
4)。更に同様にして上記基準画素を、欠陥画素P33
重ならないように、それぞれ右下がり方向に一様にずら
した位置にある第4の複数画素、例えば図11の(E)に
示す例においては、画素P22,P24,P26,P42
46,P62,P64,P66の信号レベルP22,P24,・・
・・P64,P66を求める(ステップ33−5)。
【0045】次に、基準画素において、同一垂直ライン
上の画素群の信号レベルの和α0 ,β0 ,γ0 を求める
(ステップ33−6)。図11の(A)に示した例において
は、次のように表される。 α0 =P11+P31+P51 β0 =P13+P53 γ0 =P15+P35+P55
【0046】また、第1の複数画素において、同一垂直
ライン上の画素群の信号レベルの和α1 ,β1 ,γ1
求める(ステップ33−6)。図11の(B)に示した例に
おいては、次のように表される。 α1 =P12+P32+P52 β1 =P14+P54 γ1 =P16+P36+P56
【0047】また、第2の複数画素において、同一垂直
ライン上の画素群の信号レベルの和α2 ,β2 ,γ2
求める(ステップ33−6)。図11の(C)に示した例に
おいては、次のように表される。 α2 =P21+P41+P61 β2 =P23+P63 γ2 =P25+P45+P65 また、第3の複数画素において、同一垂直ライン上の画
素群の信号レベルの和α3 ,β3 ,γ3 を求める(ステ
ップ33−6)。図11の(D)に示した例においては、次
のように表される。 α3 =P02+P22+P42 β3 =P04+P44 γ3 =P06+P26+P46
【0048】また、第4の複数画素において、同一垂直
ライン上の画素群の信号レベルの和α4 ,β4 ,γ4
求める(ステップ33−6)。図11の(C)に示した例に
おいては、次のように表される。 α4 =P22+P42+P62 β4 =P24+P64 γ4 =P26+P46+P66
【0049】次に、基準画素における、所定の垂直ライ
ン上の画素群の信号レベル和、例えばα0 に対する他の
全ての垂直ライン上の画素群の信号レベル和β0 ,γ0
の比α0 /β0 ,α0 /γ0 を求める。同様に、第1の
複数画素における、所定の垂直ライン上の画素群の信号
レベル和、例えばα1 に対する他の全ての垂直ライン上
の画素群の信号レベル和β1 ,γ1 の比α1 /β1 ,α
1 /γ1 を求め、また第2の複数画素における、所定の
垂直ライン上の画素群の信号レベル和、例えばα2 に対
する他の全ての垂直ライン上の画素群の信号レベル和β
2 ,γ2 の比α2 /β2 ,α2 /γ2 を求め、また第3
の複数画素における、所定の垂直ライン上の画素群の信
号レベル和、例えばα3 に対する他の全ての垂直ライン
上の画素群の信号レベル和β3 ,γ3 の比α3 /β3
α3 /γ3 を求め、更に第4の複数画素における、所定
の垂直ライン上の画素群の信号レベル和、例えばα4
対する他の全ての垂直ライン上の画素群の信号レベル和
β4 ,γ4 の比α4 /β4,α4 /γ4 を求める(ステ
ップ33−7)。
【0050】次に、基準画素の信号レベル和の比α0
β0 ,α0 /γ0 と、第1〜第4の複数画素の信号レベ
ル和の比α1 /β1 ,α1 /γ1 ,α2 /β2 ,α2
γ2,α3 /β3 ,α3 /γ3 α4 /β4 ,α4 /γ4
とを比較し、基準画素の信号レベル和の比に最も近い値
の信号レベル和の比を選択する(ステップ33−8)。そ
して、上記信号レベル和の比の比較選択において、第1
の複数画素に関する信号レベル和の比が選択された場合
には、欠陥画素の周辺領域における画像形状を水平方向
のエッジ又は線と決定し、また第2の複数画素に関する
信号レベル和の比が選択された場合には、欠陥画素の周
辺領域における画像形状を垂直方向のエッジ又は線と決
定し、また第3の複数画素に関する信号レベル和の比が
選択された場合には、欠陥画素の周辺領域における画像
形状を右上がり方向のエッジ又は線と決定し、また第4
の複数画素に関する信号レベル和の比が選択された場合
には、欠陥画素の周辺領域における画像形状を右下がり
方向のエッジ又は線と決定する(ステップ33−9)。
【0051】以上のようにして周辺領域における画像形
状が検出された後は、検出された画像形状に基づいて補
間画素が選択され、欠陥画素が補間補償されるが、図11
の(A)〜(E)に示した図示例では、水平方向のエッ
ジ又は線と決定された場合には、欠陥画素P33は(P31
+P35)/2の信号レベルで補間される。画像形状が垂
直方向のエッジ又は線と決定された場合には、欠陥画素
33は(P13+P53)/2の信号レベルで補間され、画
像形状が右上がり方向のエッジ又は線と決定された場合
には、欠陥画素P33は(P15+P51)/2の信号レベル
で補間され、画像形状が右下がり方向のエッジ又は線と
決定された場合には、欠陥画素P33は(P11+P55)/
2の信号レベルで補間される。
【0052】以上のように周辺領域における画像形状
を、先に述べた第1の実施の形態で検出する場合には、
斜め画像形状の検出はできるけれども、斜め方向、すな
わち右下がりか右上がりかの検出はできない場合が生じ
るという問題があったが、本実施の形態によれば、検出
領域は若干大きくなるが斜め方向を検出することが可能
となる。
【0053】次に、欠陥画素の周辺領域における画像形
状の検出方式の第3の実施の形態を図12のフローチャー
トに基づいて説明する。この実施の形態は、図5のフロ
ーチャートに示した第1の実施の形態と図10のフローチ
ャートに示した第2の実施の形態とを組み合わせたもの
である。すなわち、周辺領域の画素群の相対信号レベル
のパターンを予め用意したパターンと比較して一致する
ものがあるか否かの判定を行い、一致するものがある場
合、その一致した予め用意したパターンに対応する形状
を、周辺領域の画像形状と仮決定し、また一致するもの
が複数ある場合には、補間画素として選択される画素間
のレベル差が小さくなる方のパターンを、画像形状とし
て仮決定し、また一致するパターンがない場合には、予
め用意したデフォルトパターンを画像形状として仮決定
するステップ41−1からステップ41−6までは、図5に
示した第1の実施の形態と同一のステップで画像形状検
出処理を行い、次いで、この仮決定された画像形状は斜
めエッジ又は線でないかどうかの判定を行う(ステップ
41−9)。そして、仮決定された画像形状が斜めエッジ
又は線でない場合には、仮決定された画像形状を欠陥画
素の周辺領域の画像形状として決定し(ステップ41−1
0)、仮決定された画像形状が斜めエッジ又は線である
場合には、図10に示した第2の実施の形態による画像形
状検出処理を行い(ステップ41−11)、斜め方向を含む
画像形状を決定する。
【0054】このように本実施の形態に係る画像形状検
出処理方式を用いることにより、斜めエッジ又は線を含
む場合でも、効率よく欠陥画素の周辺領域の画像形状を
検出することができる。
【0055】次に、カラー撮像装置における欠陥画素の
補償方式について説明する。カラー画像における欠陥画
素の補償処理も、基本的には先に示した白黒画像の欠陥
補償処理と同じである。すなわち、図13のフローチャー
トに示すように、まず撮像動作において、単板カラー撮
像素子等のカラー撮像素子で被写体像を取り込み(ステ
ップ51−1)、撮像信号を3種類以上の色信号に変換す
る(ステップ51−2)。次いで、色信号における欠陥画
素の位置、及び欠陥画素が2次元的に連続している場合
その並び方情報を検出して記憶させ、その記憶した欠陥
情報を読み出して(ステップ51−3)、色信号における
欠陥画素周囲の欠陥画素と同色の画素情報に基づいて、
欠陥画素位置の周辺領域の欠陥画素と同色の画像形状を
検出する(ステップ51−4)。次いで、検出された画像
形状に基づいて、欠陥画素の周辺領域から欠陥画素と同
色の補間画素を選択し(ステップ51−5)、その補間画
素の平均レベルで欠陥画素を補間することにより、欠陥
補償を行う(ステップ51−6)。
【0056】次に、このカラー画像の欠陥補償処理にお
ける画像形状検出ステップ51−4の詳細を、第4の実施
の形態として図14のフローチャートに基づいて説明す
る。まず最初に、欠陥画素の周囲にある欠陥画素と同色
の複数個の画素の信号レベルを検出する(ステップ52−
1)。例えば図15のベイヤー配列のカラー画像におい
て、中央の○印のR色の欠陥画素の周囲の、欠陥画素と
同色の8個のR画素(白抜き画素)の信号レベルを検出
する。以下、図5に示した白黒画像における画像検出処
理と同等の処理ステップ52−2〜52−8を行い、欠陥画
素の周辺領域の欠陥画素と同色の画像形状を検出する。
【0057】次に、カラー画像における欠陥画素の周辺
領域の画像形状検出の他の手法を、第5の実施の形態と
して図16のフローチャートに基づいて説明する。この実
施の形態は、図10のフローチャートに示した白黒画像に
おける画像形状の検出処理(第2の実施の形態)に対応
するものである。まず、欠陥画素の周囲にある欠陥画素
と同色の複数個の画素の信号レベルを求め、それらを基
準画素信号レベルとする(ステップ53−1)。例えば図
17に示すように、欠陥画素を画素G43とすると、該欠陥
画素G43に関して、まず1画素ずつ離れた周囲にある同
色の8個の画素G21,G23,G25,G41,G45,G61
63,G65を基準画素とし、これらの信号レベルG21,
G23,・・・・G63,G65を求める。
【0058】次に、これらの基準画素を欠陥画素G43
重ならないように、それぞれ水平方向に一様にずらした
位置にある全てが同色の第1の複数画素、例えば図18に
示す例においては、画素R22,R24,R26,R42
46,R62,R64,R66の信号レベルR22,R24,・・
・・R64,R66を求める(ステップ53−2)。次に、同
様にして基準画素を欠陥画素G43に重ならないように、
それぞれ垂直方向に一様にずらした位置にある全て同色
の第2の複数画素、例えば図19に示す例においては、画
素B31,B33,B35,B51,B55,B71,B73,B75
信号レベルB31,B33,・・・・B73,B75を求める
(ステップ53−3)。また同様に基準画素を、欠陥画素
43に重ならないように、それぞれ右上がり方向に一様
にずらした位置にある全て同色の第3の複数画素、例え
ば図20に示す例においては、画素G12,G14,G16,G
32,G36,G52,G54,G56の信号レベルG12,G14,
・・・・G54,G56を求める(ステップ53−4)。更に
同様にして基準画素を、欠陥画素G43に重ならないよう
に、それぞれ右下がり方向に一様にずらした位置にある
全て同色の第4の複数画素、例えば図21に示す例におい
ては、画素G32,G34,G36,G52,G56,G72
74,G76の信号レベルG32,G34,・・・・G74,G
76を求める(ステップ53−5)。
【0059】次に、基準画素において、同一垂直ライン
上の画素群の信号レベルの和α00,β00,γ00を求める
(ステップ53−6)。図17に示した例においては、次の
ように表される。 α00=G21+G41+G61 β00=G23+G63 γ00=G25+G45+G65
【0060】また、第1の複数画素において、同一垂直
ライン上の画素群の信号レベルの和α11,β11,γ11
求める(ステップ53−6)。図18に示した例において
は、次のように表される。 α11=R22+R42+R62 β11=R24+R64 γ11=R26+R46+R66
【0061】また、第2の複数画素において、同一垂直
ライン上の画素群の信号レベルの和α22,β22,γ22
求める(ステップ53−6)。図19に示した例において
は、次のように表される。 α22=B31+B51+B71 β22=B33+B73 γ22=B35+B55+B75
【0062】また、第3の複数画素において、同一垂直
ライン上の画素群の信号レベルの和α33,β33,γ33
求める(ステップ53−6)。図20に示した例において
は、次のように表される。 α33=G12+G32+G52 β33=G14+G54 γ33=G16+G36+G56
【0063】また、第4の複数画素において、同一垂直
ライン上の画素群の信号レベルの和α44,β44,γ44
求める(ステップ53−6)。図21に示した例において
は、次のように表される。 α44=G32+G52+G72 β44=G34+G74 γ44=G36+G56+G76
【0064】次に、基準画素における、所定の垂直ライ
ン上の画素群の信号レベル和、例えばα00に対する他の
全ての垂直ライン上の画素群の信号レベル和β00,γ00
の比α00/β00,α00/γ00を求める。同様に、第1の
複数画素における、所定の垂直ライン上の画素群の信号
レベル和、例えばα11に対する他の全ての垂直ライン上
の画素群の信号レベル和β11,γ11の比α11/β11,α
11/γ11を求め、また第2の複数画素における、所定の
垂直ライン上の画素群の信号レベル和、例えばα22に対
する他の全ての垂直ライン上の画素群の信号レベル和β
22,γ22の比α22/β22,α22/γ22を求め、また第3
の複数画素における、所定の垂直ライン上の画素群の信
号レベル和、例えばα33に対する他の全ての垂直ライン
上の画素群の信号レベル和β33,γ33の比α33/β33
α33/γ33を求め、更に第4の複数画素における、所定
の垂直ライン上の画素群の信号レベル和、例えばα44
対する他の全ての垂直ライン上の画素群の信号レベル和
β44,γ44の比α44/β44,α44/γ44を求める(ステ
ップ53−7)。
【0065】次に、基準画素の信号レベル和の比α00
β00,α00/γ00と、第1〜第4の複数画素の信号レベ
ル和の比α11/β11,α11/γ11,α22/β22,α22
γ22,α33/β33,α33/γ33,α44/β44,α44/γ
44とを比較し、基準画素の信号レベル和の比に最も近い
値の信号レベル和の比を選択する(ステップ53−8)。
そして、上記信号レベル和の比の比較選択において、第
1の複数画素に関する信号レベル和の比が選択された場
合には、欠陥画素の周辺領域における画像形状を水平方
向のエッジ又は線と決定し、また第2の複数画素に関す
る信号レベル和の比が選択された場合には、欠陥画素の
周辺領域における画像形状を垂直方向のエッジ又は線と
決定し、また第3の複数画素に関する信号レベル和の比
が選択された場合には、欠陥画素の周辺領域における画
像形状を右上がり方向のエッジ又は線と決定し、また第
4の複数画素に関する信号レベル和の比が選択された場
合には、欠陥画素の周辺領域における画像形状を右下が
り方向のエッジ又は線と決定する(ステップ53−9)。
【0066】以上のようにして周辺領域における画像形
状が検出された後は、検出された画像形状に基づいて補
間画素が選択され、欠陥画素が補間補償されるが、水平
方向のエッジ又は線と決定された場合には、欠陥画素G
43は(G41+G45)/2の信号レベルで補間される。ま
た画像形状で垂直方向のエッジ又は線と決定された場合
には、欠陥画素G43はG43=(G23+G63)/2の信号
レベルで補間され、また画像形状が右上がり方向のエッ
ジ又は線と決定された場合には、欠陥画素G43はG43=
(G25+G61)/2の信号レベルで補間され、また画像
形状が右下がり方向のエッジ又は線と決定された場合に
は、欠陥画素G43はG43=(G21+G65)/2の信号レ
ベルで補間される。
【0067】また、カラー画像の場合も、図12のフロー
チャートで示した白黒画像に関する欠陥画素周辺領域の
画像形状の検出処理と同様に、図14に示した相対信号レ
ベルに関するパターン比較による1回目の画像形状検出
を行い、得られた画像形状が斜めエッジ又は線となった
場合に、図16に示した基準画素のずらし方式による2回
目の画像形状検出を行う処理方式を用いることができ
る。
【0068】また、カラー画像(ベイヤー配列)におい
ては、同色画素は一つおきに配列されているので4つの
画素を欠陥画素として取り扱い、この領域の画素は同様
に補償できる。次に、このような場合におけるカラー画
像における欠陥画素の周辺領域の画像形状検出の手法
を、第6の実施の形態として図22のフローチャートに基
づいて説明する。この実施の形態においても、まず、欠
陥画素の周囲にある欠陥画素と同色の複数個の画素の信
号レベルを求め、それらを基準画素信号レベルとする
(ステップ55−1)。例えば図23に示すように、欠陥画
素群を黒枠で囲んだG43,R44,B53,G54とする。こ
のように、黒枠で囲んだ4画素を欠陥画素として考えた
場合、その中の画素G43に関して、1画素ずつ離れた周
囲にある同色の8個の画素G21,G23,G25,G41,G
45,G61,G63,G65を基準画素とし、これらの信号レ
ベルG21,G23,・・・・G63,G65を求める。
【0069】次に、これらの基準画素を当該欠陥画素群
に重ならないように、それぞれ水平方向に一様にずらし
た位置にある全てが同色の第1の複数画素、例えば図24
に示す例においては、画素R22,R24,R26,R42,R
46,R62,R64,R66の信号レベルR22,R24,・・・
・R64,R66を求める(ステップ55−2)。次に、同様
にして基準画素を当該欠陥画素群に重ならないように、
それぞれ垂直方向に一様にずらした位置にある全て同色
の第2の複数画素、例えば図25に示す例においては、画
素B31,B33,B35,B51,B55,B71,B73,B75
信号レベルB31,B33,・・・・B73,B75を求める
(ステップ53−3)。また同様に第1の基準画素を、当
該欠陥画素群に重ならないように、それぞれ右下がり方
向に一様にずらした位置にある全て同色の第3の複数画
素、例えば図26に示す例においては、画素G32,G34
36,G52,G56,G72,G74,G76の信号レベルG3
2,G34,・・・・G74,G76を求める(ステップ55−
4)。
【0070】次に、基準画素において、同一垂直ライン
上の画素群の信号レベルの和α00′,β00′,γ00′を
求める(ステップ55−5)。図23に示した例において
は、次のように表される。 α00′=G21+G41+G61 β00′=G23+G63 γ00′=G25+G45+G65
【0071】また、第1の複数画素において、同一垂直
ライン上の画素群の信号レベルの和α11′,β11′,γ
11′を求める(ステップ55−5)。図24に示した例にお
いては、次のように表される。 α11′=R22+R42+R62 β11′=R24+R64 γ11′=R26+R46+R66
【0072】また、第2の複数画素において、同一垂直
ライン上の画素群の信号レベルの和α22′,β22′,γ
22′を求める(ステップ55−5)。図25に示した例にお
いては、次のように表される。 α22′=B31+B51+B71 β22′=B33+B73 γ22′=B35+B55+B75
【0073】また、第3の複数画素において、同一垂直
ライン上の画素群の信号レベルの和α33′,β33′,γ
33′を求める(ステップ55−5)。図26に示した例にお
いては、次のように表される。 α33′=G32+G52+G72 β33′=G34+G74 γ33′=G36+G56+G76
【0074】次に、基準画素における、所定の垂直ライ
ン上の画素群の信号レベル和、例えばα00′に対する他
の全ての垂直ライン上の画素群の信号レベル和β00′,
γ00′の比α00′/β00′,α00′/γ00′を求める。
同様に、第1の複数画素における、所定の垂直ライン上
の画素群の信号レベル和、例えばα11′に対する他の全
ての垂直ライン上の画素群の信号レベル和β11′,
γ11′の比α11′/β11′,α11′/γ11′を求め、ま
た第2の複数画素における、所定の垂直ライン上の画素
群の信号レベル和、例えばα22′に対する他の全ての垂
直ライン上の画素群の信号レベル和β22′,γ22′の比
α22′/β22′,α22′/γ22′を求め、また第3の複
数画素における、所定の垂直ライン上の画素群の信号レ
ベル和、例えばα33′に対する他の全ての垂直ライン上
の画素群の信号レベル和β33′,γ33′の比α33′/β
33′,α33′/γ33′を求める(ステップ55−6)。
【0075】次に、基準画素の信号レベル和の比α00
/β00′,α00′/γ00′と、第1〜第3の複数画素の
信号レベル和の比α11′/β11′,α11′/γ11′,α
22′/β22′,α22′/γ22′,α33′/β33′,
α33′/γ33′とを比較すると同時に、第1の複数画素
の信号レベルの和の比と第2の複数画素の信号レベルの
和の比とを比較し、差の最小となるものを選択する(ス
テップ55−7)。そして、上記信号レベル和の比の比較
選択において、第1の複数画素に関する信号レベル和の
比が選択された場合には、欠陥画素の周辺領域における
画像形状を水平方向のエッジ又は線と決定し、また第2
の複数画素に関する信号レベル和の比が選択された場合
には、欠陥画素の周辺領域における画像形状を垂直方向
のエッジ又は線と決定し、また第1,第2の複数画素に
関する信号レベル和の比の差が最も小さい場合には、欠
陥画素の周辺領域における画像形状を右上がり方向のエ
ッジ又は線と決定し、また第3の複数画素に関する信号
レベル和の比が選択された場合には、欠陥画素の周辺領
域における画像形状を右下がり方向のエッジ又は線と決
定する(ステップ55−8)。
【0076】以上のようにして周辺領域における画像形
状が検出された後は、検出された画像形状に基づいて補
間画素が選択され、欠陥画素が補間補償されるが、水平
方向のエッジ又は線と決定された場合には、欠陥画素G
43は(G41+G45)/2の信号レベルで補間される。カ
ラー画像の場合は、黒枠で囲まれている4画素は同じ様
に補間処理して差し支えないので、欠陥画素R44は(R
42+R46)/2の信号レベルで補間され、また欠陥画素
53は(B51+B55)/2の信号レベルで補間され、ま
た欠陥画素G54は(G52+G56)/2の信号レベルで補
間される。
【0077】また画像形状で垂直方向のエッジ又は線と
決定された場合には、欠陥画素G43,R44,B53,G54
は、次に示すような信号レベルG43,R44,B53,G54
で補間される。 G43=(G23+G63)/2 R44=(R24+R64)/2 B53=(B33+B73)/2 G54=(G34+G74)/2
【0078】また画像形状が右上がり方向のエッジ又は
線と決定された場合には、欠陥画素G43,R44,B53
54は、それぞれ次に示すような信号レベルG43,R4
4,B53,G54で補間される。 G43=(G25+G61)/2 R44=(R26+R62)/2 B53=(B35+B71)/2 G54=(G36+G72)/2
【0079】また画像形状が右下がり方向のエッジ又は
線と決定された場合には、欠陥画素G43,R44,B53
54は、それぞれ次に示すような信号レベルG43,R4
4,B53,G54で補間される。 G43=(G21+G65)/2 R44=(R22+R66)/2 B53=(B31+B75)/2 G54=(G32+G76)/2
【0080】上記各実施の形態の説明においては、撮像
手段で得られた撮像信号に対して直ちに本発明による欠
陥画素補償処理を適用するようにしているが、撮像手段
によって得られた撮像信号に対しては、従来の4点補間
法等の処理速度の速い簡易欠陥補償処理を行い圧縮し
て、メモリ等の記録媒体に記録し、再生時(伸長時)に
本発明に係る欠陥補償処理を施すようにすることもでき
る。このような欠陥補償処理を行うことにより、記録時
の処理時間を短縮することができ、しかも再生時には高
精度で欠陥補償された画像を得ることができる。
【0081】
【発明の効果】以上実施の形態に基づいて説明したよう
に、請求項1記載の発明によれば、欠陥画素の周辺領域
の画像形状を検出し、その画像形状に基づいて欠陥画素
を補間し補償するようにしているので、輝度が急峻に変
換する領域に欠陥がある場合でも、高精度で欠陥画素を
補償することが可能となる。請求項2記載の発明によれ
ば、記憶容量の少ない欠陥画素情報記憶手段で高精度の
欠陥補償処理を行うことができる。請求項3〜6記載の
発明によれば、欠陥画素周辺領域の画像形状を高精度で
検出することができ、精度よく欠陥画素を補償すること
ができる。請求項7記載の発明によれば、画像形状検出
のための領域を大きくせずに、画像形状を斜め方向を含
めて高精度で検出することができる。請求項8記載の発
明によれば、欠陥画素の周辺領域の画像形状を、斜め方
向の画像形状の有無に拘わらず、効率よく検出すること
ができる。請求項9記載の発明によれば、周辺領域の画
像形状の方向検出が誤った場合でも、画素欠陥を目立た
ないように補償することができる。
【0082】また請求項10記載の発明によれば、カラー
画像の輝度が急峻に変化する領域に画素欠陥がある場合
でも、高精度で補償することができる。請求項11記載の
発明によれば、記憶容量の少ない欠陥画素情報記憶手段
で高精度のカラー画像の画素欠陥補償処理を行うことが
できる。請求項12〜15記載の発明によれば、カラー画像
において欠陥画素周辺領域の画像形状を高精度で検出す
ることができ、精度よく欠陥画素を補償することができ
る。請求項16記載の発明によれば、画像形状検出のため
の領域を大きくせずに、カラー画像における欠陥画素周
辺領域の画像形状を、斜め方向を含めて高精度で検出す
ることができる。請求項17記載の発明によれば、カラー
画像における欠陥画素周辺領域の画像形状を、斜め方向
の画像形状の有無に拘わらず、効率よく検出することが
できる。請求項18記載の発明によれば、周辺領域の画像
形状の方向検出が誤った場合でも、カラー画像の画素欠
陥を目立たないように補償することができる。請求項19
記載の発明によれば、撮像信号は欠陥を補償した後に圧
縮して記録媒体に記録するようにしているので、撮像画
像の圧縮記録時に欠陥が現れないようにすることができ
る。請求項20記載の発明によれば、記録時に処理速度の
速い簡易欠陥補償を行い再生時に高精度の欠陥補償を行
うようにしているので、撮像画像の記録時の時間を短縮
すると共に、欠陥画素の補償を高精度で行った出力画像
を得ることができる。
【図面の簡単な説明】
【図1】本発明に係る撮像装置の実施の形態の全体構成
を示すブロック図である。
【図2】図1に示した実施の形態の概略動作シーケンス
を説明するためのタイミングチャートである。
【図3】本発明における欠陥画素の検出処理を説明する
ためのタイミングチャートである。
【図4】本発明における欠陥画素補償処理の概略を説明
するためのフローチャートである。
【図5】図4に示したフローチャートにおける画像形状
検出処理の第1の実施の形態を詳細に説明するためのフ
ローチャートである。
【図6】欠陥画素と信号レベルを検出する周囲画素の配
置態様を示す図である。
【図7】相対信号レベルのパターンを分類して示す図で
ある。
【図8】周辺領域の画像形状のパターン例を示す図であ
る。
【図9】方向検出が不能な周辺領域の画像形状のパター
ン例を示す図である。
【図10】画像形状検出処理の第2の実施の形態を説明す
るためのフローチャートである。
【図11】図10のフローチャートに示した検出処理におけ
る欠陥画素の周囲にある基準画素のずらし態様を示す図
である。
【図12】画像形状検出処理の第3の実施の形態を説明す
るためのフローチャートである。
【図13】カラー画像に対する欠陥画素の補償処理態様を
説明するためのフローチャートである。
【図14】図13に示したフローチャートにおける画像形状
の検出処理を第4の実施の形態として詳細に説明するた
めのフローチャートである。
【図15】ベイヤー配列のカラー画像における欠陥画素と
信号レベルを検出する周囲画素の配置態様を示す図であ
る。
【図16】カラー画像における画像形状の検出処理の他の
態様を第5の実施の形態として説明するためのフローチ
ャートである。
【図17】カラー画像における欠陥画素と信号レベルを検
出する周囲の基準画素の配置態様を示す図である。
【図18】図17に示した基準画素を水平方向にずらした態
様を示す図である。
【図19】図17に示した基準画素を垂直方向にずらした態
様を示す図である。
【図20】図17に示した基準画素を右上がり方向にずらし
た態様を示す図である。
【図21】図17に示した基準画素を右下がり方向にずらし
た態様を示す図である。
【図22】カラー画像における画像形状の検出処理の更に
他の態様を第6の実施の形態として説明するためのフロ
ーチャートである。
【図23】図22に示した第6の実施の形態におけるカラー
画像の欠陥画素と信号レベルを検出する周囲の基準画素
の配置態様を示す図である。
【図24】図23に示した基準画素を水平方向にずらした態
様を示す図である。
【図25】図23に示した基準画素を垂直方向にずらした態
様を示す図である。
【図26】図23に示した基準画素を右下がり方向にずらし
た態様を示す図である。
【図27】従来の画素欠陥補償方式を説明するための図で
ある。
【符号の説明】
1 レンズ 2 絞り・シャッタ機構 3 光学LPF・赤外カットフィルタ 4 CCD撮像素子 5 CDS・AGC回路 6 A/D変換器 7 画像メモリ 8 画素欠陥補償処理部 9 記録信号処理部 10 記録メディアI/F 11 記録メディア 12 欠陥情報記憶手段 13 タイミングジェネレータ 14 同期信号発生器 15 CPU 16 CCDドライバ 17 モータドライバ

Claims (20)

    【特許請求の範囲】
  1. 【請求項1】 画素を2次元状に配置してなる半導体撮
    像素子を備え、被写体光を画像信号に変換する撮像手段
    と、前記半導体撮像素子の欠陥画素位置、及び欠陥画素
    が2次元的に連続している場合には更にそれらの欠陥画
    素の並び方パターンを求める欠陥画素検出手段と、該欠
    陥画素検出手段で求めた欠陥画素に関する情報を記憶す
    る欠陥画素情報記憶手段と、前記撮像手段より得られる
    画像信号における、前記欠陥画素検出手段より求められ
    た欠陥画素位置の周辺領域の画像形状を、欠陥画素周囲
    の画素情報から検出する周辺画像形状検出手段と、該周
    辺画像形状検出手段によって検出された画像形状に基づ
    いて、欠陥画素の周囲から画素を選択し、該選択画素で
    欠陥画素を補間することによって画素欠陥補償を行う画
    素欠陥補償手段とを備えていることを特徴とする撮像装
    置。
  2. 【請求項2】 前記欠陥画素情報記憶手段は、欠陥画素
    が2次元的に連続している場合、連続している欠陥画素
    のいずれか一つの画素位置とその他の欠陥画素の並び方
    パターンを記憶するように構成されていることを特徴と
    する請求項1記載の撮像装置。
  3. 【請求項3】 前記周辺画像形状検出手段は、欠陥画素
    の周囲にある複数個の画素の信号レベルをそれぞれ求め
    る信号レベル検出手段と、該信号レベル検出手段から得
    られた複数画素の信号レベルデータのうち、欠陥画素の
    上方に位置する複数画素に関するものは、水平方向にま
    とめて一つの組とし、その組の中のある1画素の信号レ
    ベルを基準画素信号レベルとして該基準画素信号レベル
    に対する他の画素の相対信号レベルを求める第1の相対
    レベル検出手段と、前記信号レベル検出手段から得られ
    た複数画素の信号レベルデータのうち、欠陥画素の下方
    に位置する複数画素に関するものは、水平方向にまとめ
    て一つの組とし、その組の中のある1画素の信号レベル
    を基準画素信号レベルとして該基準画素信号レベルに対
    する他の画素の相対信号レベルを求める第2の相対レベ
    ル検出手段と、前記信号レベル検出手段から得られた複
    数画素の信号レベルデータのうち、欠陥画素の右方に位
    置する複数画素に関するものは、垂直方向にまとめて一
    つの組とし、その組の中のある1画素の信号レベルを基
    準画素信号レベルとして該基準画素信号レベルに対する
    他の画素の相対信号レベルを求める第3の相対レベル検
    出手段と、前記信号レベル検出手段から得られた複数画
    素の信号レベルデータのうち、欠陥画素の左方に位置す
    る複数画素に関するものは、垂直方向にまとめて一つの
    組とし、その組の中のある1画素の信号レベルを基準画
    素信号レベルとして該基準画素信号レベルに対する他の
    画素の相対信号レベルを求める第4の相対レベル検出手
    段と、前記第1から第4の相対レベル検出手段で求めら
    れた相対信号レベルデータを、画素位置と関連付けて表
    すことにより、各組内の画素信号レベルをパターン化す
    るパターン化手段と、該パターン化手段により得られた
    パターンを、予め設定したパターンと比較する比較手段
    と、該比較手段における比較動作において、前記パター
    ン化手段で得られたパターンと設定したパターンが一致
    した場合、その一致した設定パターンを周辺画像形状と
    する第1の画像形状決定手段と、前記比較手段における
    比較動作において、前記パターン化手段で得られたパタ
    ーンと設定したパターンが一致しなかった場合、予め設
    定した特定パターンを周辺画像形状とする第2の画像形
    状決定手段と、前記比較手段における比較動作におい
    て、前記パターン化手段で得られたパターンと予め設定
    したパターンの複数が一致した場合、一致した複数の設
    定パターンの中、それらの設定パターンが示す複数の補
    間画素の信号レベル差の小さいパターンを選択して、周
    辺画像形状とする第3の画像形状決定手段とを備えてい
    ることを特徴とする請求項1又は2記載の撮像装置。
  4. 【請求項4】 前記パターン化手段は、前記相対信号レ
    ベルデータをN値化(Nは前記撮像手段による画像信号
    の階調数以下の任意の数)して、画素位置と関連付けて
    表すことにより、各組内の画素信号レベルをパターン化
    するように構成されていることを特徴とする請求項3記
    載の撮像装置。
  5. 【請求項5】 前記N値は、複数画素の信号レベルの中
    の基準画素信号レベルに対して他の画素の信号レベルが
    高い、低い、同じの3値とすることを特徴とする請求項
    4記載の撮像装置。
  6. 【請求項6】 前記比較手段において用いられる予め設
    定したパターンは、エッジ及び線の方向を決定できるパ
    ターンであることを特徴とする請求項3記載の撮像装
    置。
  7. 【請求項7】 前記周辺画像形状検出手段は、欠陥画素
    の周囲にある複数個の画素を基準画素とし、該基準画素
    の信号レベルを求める基準画素信号レベル検出手段と、
    前記基準画素を前記欠陥画素に重ならないように、それ
    ぞれ水平方向に一様にずらした位置にある第1の複数画
    素の信号レベルを検出する第1の信号レベル検出手段
    と、前記基準画素を前記欠陥画素に重ならないように、
    それぞれ垂直方向に一様にずらした位置にある第2の複
    数画素の信号レベルを検出する第2の信号レベル検出手
    段と、前記基準画素を前記欠陥画素に重ならないよう
    に、それぞれ右上がり方向に一様にずらした位置にある
    第3の複数画素の信号レベルを検出する第3の信号レベ
    ル検出手段と、前記基準画素を前記欠陥画素に重ならな
    いように、それぞれ右下がり方向に一様にずらした位置
    にある第4の複数画素の信号レベルを検出する第4の信
    号レベル検出手段と、前記基準画素において、同一垂直
    ライン上の画素の信号レベルの和を垂直ライン毎に求め
    る手段と、前記第1の複数画素において、同一垂直ライ
    ンにある画素の信号レベルの和を垂直ライン毎に求める
    手段と、前記第2の複数画素において、同一垂直ライン
    にある画素の信号レベルの和を垂直ライン毎に求める手
    段と、前記第3の複数画素において、同一垂直ラインに
    ある画素の信号レベルの和を垂直ライン毎に求める手段
    と、前記第4の複数画素において、同一垂直ラインにあ
    る画素の信号レベルの和を垂直ライン毎に求める手段
    と、前記基準画素において、所定の垂直ライン上の画素
    の信号レベル和に対する他の全ての垂直ライン上の画素
    の信号レベル和の比を求める手段と、前記第1の複数画
    素において、所定の垂直ライン上の画素の信号レベル和
    に対する他の全ての垂直ライン上の画素の信号レベル和
    の比を求める手段と、前記第2の複数画素において、所
    定の垂直ライン上の画素の信号レベル和に対する他の全
    ての垂直ライン上の画素の信号レベル和の比を求める手
    段と、前記第3の複数画素において、所定の垂直ライン
    上の画素の信号レベル和に対する他の全ての垂直ライン
    上の画素の信号レベル和の比を求める手段と、前記第4
    の複数画素において、所定の垂直ライン上の画素の信号
    レベル和に対する他の全ての垂直ライン上の画素の信号
    レベル和の比を求める手段と、前記基準画素の信号レベ
    ル和の比と、第1,第2,第3及び第4の各信号レベル
    和の比を比較し、基準画素の信号レベル和の比に最も近
    い値の信号レベル和の比を選択する手段と、該選択手段
    により第1の複数画素の信号レベル和の比が選択された
    場合、周辺領域画像形状は水平方向のエッジ又は線と判
    断し、第2の複数画素の信号レベル和の比が選択された
    場合、周辺領域画像形状は垂直方向のエッジ又は線と判
    断し、第3の複数画素の信号レベル和の比が選択された
    場合、周辺領域画像形状は右上がり方向のエッジ又は線
    と判断し、第4の複数画素の信号レベル和の比が選択さ
    れた場合、周辺領域画像形状は右下がり方向のエッジ又
    は線と判断する手段とを備えていることを特徴とする請
    求項1記載の撮像装置。
  8. 【請求項8】 前記周辺画像形状検出手段は、前記請求
    項3記載の周辺画像形状検出手段からなる第1の周辺画
    像形状検出手段と、前記請求項7記載の周辺画像形状検
    出手段からなる第2の周辺画像形状検出手段とを備え、
    前記第1の周辺画像形状検出手段により斜め線形状が検
    出された場合にのみ、第2の周辺画像形状検出手段によ
    る形状検出を行うように構成されていることを特徴とす
    る請求項1記載の撮像装置。
  9. 【請求項9】 前記画素欠陥補償手段は、複数の選択画
    素の平均値で欠陥画素を補間するように構成されている
    ことを特徴とする請求項1〜8のいずれか1項に記載の
    撮像装置。
  10. 【請求項10】 画素を2次元状に配置してなる半導体撮
    像素子を備え、被写体光を少なくとも3種類以上の複数
    の色信号からなる画像信号に変換する撮像手段と、前記
    半導体撮像素子の欠陥画素位置、及び欠陥画素が2次元
    的に連続している場合には更にそれらの欠陥画素の並び
    方パターンを求める欠陥画素検出手段と、該欠陥画素検
    出手段で求めた欠陥画素に関する情報を記憶する欠陥画
    素情報記憶手段と、前記撮像手段より得られる画像信号
    における、前記欠陥画素検出手段より求められた欠陥画
    素位置の周辺領域の画像形状を、欠陥画素周囲の欠陥画
    素と同色の画素情報から検出する周辺画像形状検出手段
    と、該周辺画像形状検出手段によって検出された画像形
    状に基づいて、欠陥画素の周囲から欠陥画素と同色の画
    素を選択し、該選択画素で欠陥画素を補間することによ
    って画素欠陥補償を行う画素欠陥補償手段とを備えてい
    ることを特徴とする撮像装置。
  11. 【請求項11】 前記欠陥画素情報記憶手段は、欠陥画素
    が2次元的に連続している場合、連続している欠陥画素
    のいずれか一つの画素位置とその他の欠陥画素の並び方
    パターンを記憶するように構成されていることを特徴と
    する請求項10記載の撮像装置。
  12. 【請求項12】 前記周辺画像形状検出手段は、欠陥画素
    の周囲にある欠陥画素と同色の複数個の画素の信号レベ
    ルをそれぞれ求める信号レベル検出手段と、該信号レベ
    ル検出手段から得られた複数画素の信号レベルデータの
    うち、欠陥画素の上方に位置する複数画素に関するもの
    は、水平方向にまとめて一つの組とし、その組の中のあ
    る1画素の信号レベルを基準画素信号レベルとして該基
    準画素信号レベルに対する他の画素の相対信号レベルを
    求める第1の相対レベル検出手段と、前記信号レベル検
    出手段から得られた複数画素の信号レベルデータのう
    ち、欠陥画素の下方に位置する複数画素に関するもの
    は、水平方向にまとめて一つの組とし、その組の中のあ
    る1画素の信号レベルを基準画素信号レベルとして該基
    準画素信号レベルに対する他の画素の相対信号レベルを
    求める第2の相対レベル検出手段と、前記信号レベル検
    出手段から得られた複数画素の信号レベルデータのう
    ち、欠陥画素の右方に位置する複数画素に関するもの
    は、垂直方向にまとめて一つの組とし、その組の中のあ
    る1画素の信号レベルを基準画素信号レベルとして該基
    準画素信号レベルに対する他の画素の相対信号レベルを
    求める第3の相対レベル検出手段と、前記信号レベル検
    出手段から得られた複数画素の信号レベルデータのう
    ち、欠陥画素の左方に位置する複数画素に関するもの
    は、垂直方向にまとめて一つの組とし、その組の中のあ
    る1画素の信号レベルを基準画素信号レベルとして該基
    準画素信号レベルに対する他の画素の相対信号レベルを
    求める第4の相対レベル検出手段と、前記第1から第4
    の相対レベル検出手段で求められた相対信号レベルデー
    タを、画素位置と関連付けて表すことにより、各組内の
    画素信号レベルをパターン化するパターン化手段と、該
    パターン化手段により得られたパターンを、予め設定し
    たパターンと比較する比較手段と、該比較手段における
    比較動作において、前記パターン化手段で得られたパタ
    ーンと設定したパターンが一致した場合、その一致した
    設定パターンを周辺画像形状とする第1の画像形状決定
    手段と、前記比較手段における比較動作において、前記
    パターン化手段で得られたパターンと設定したパターン
    が一致しなかった場合、予め設定した特定パターンを周
    辺画像形状とする第2の画像形状決定手段と、前記比較
    手段における比較動作において、前記パターン化手段で
    得られたパターンと予め設定したパターンの複数が一致
    した場合、一致した複数の設定パターンの中、それらの
    設定パターンが示す複数の補間画素の信号レベル差の小
    さいパターンを選択して、周辺画像形状とする第3の画
    像形状決定手段とを備えていることを特徴とする請求項
    10又は11記載の撮像装置。
  13. 【請求項13】 前記パターン化手段は、前記相対信号レ
    ベルデータをN値化(Nは前記撮像手段による画像信号
    の階調数以下の任意の数)して、画素位置と関連付けて
    表すことにより、各組内の画素信号レベルをパターン化
    するように構成されていることを特徴とする請求項12記
    載の撮像装置。
  14. 【請求項14】 前記N値は、複数画素の信号レベルの中
    の基準画素信号レベルに対して他の画素の信号レベルが
    高い、低い、同じの3値とすることを特徴とする請求項
    13記載の撮像装置。
  15. 【請求項15】 前記比較手段において用いられる予め設
    定したパターンは、エッジ及び線の方向を決定できるパ
    ターンであることを特徴とする請求項12記載の撮像装
    置。
  16. 【請求項16】 前記周辺画像形状検出手段は、欠陥画素
    の周囲にある同色の複数個の画素を基準画素とし、該基
    準画素の信号レベルを求める基準画素信号レベル検出手
    段と、前記基準画素を前記欠陥画素に重ならないよう
    に、それぞれ水平方向に一様にずらした位置にあり且つ
    全てが同色の、第1の複数画素の信号レベルを検出する
    第1の信号レベル検出手段と、前記基準画素を前記欠陥
    画素に重ならないように、それぞれ垂直方向に一様にず
    らした位置にあり且つ全てが同色の、第2の複数画素の
    信号レベルを検出する第2の信号レベル検出手段と、前
    記基準画素を前記欠陥画素に重ならないように、それぞ
    れ右上がり方向に一様にずらした位置にあり且つ全てが
    同色の、第3の複数画素の信号レベルを検出する第3の
    信号レベル検出手段と、前記基準画素を前記欠陥画素に
    重ならないように、それぞれ右上がり方向に一様にずら
    した位置にあり且つ全てが同色の、第4の複数画素の信
    号レベルを検出する第4の信号レベル検出手段と、前記
    基準画素において、同一垂直ライン上の画素の信号レベ
    ルの和を垂直ライン毎に求める手段と、前記第1の複数
    画素において、同一垂直ラインにある画素の信号レベル
    の和を垂直ライン毎に求める手段と、前記第2の複数画
    素において、同一垂直ラインにある画素の信号レベルの
    和を垂直ライン毎に求める手段と、前記第3の複数画素
    において、同一垂直ラインにある画素の信号レベルの和
    を垂直ライン毎に求める手段と、前記第4の複数画素に
    おいて、同一垂直ラインにある画素の信号レベルの和を
    垂直ライン毎に求める手段と、前記基準画素において、
    所定の垂直ライン上の画素の信号レベル和に対する他の
    全ての垂直ライン上の画素の信号レベル和の比を求める
    手段と、前記第1の複数画素において、所定の垂直ライ
    ン上の画素の信号レベル和に対する他の全ての垂直ライ
    ン上の画素の信号レベル和の比を求める手段と、前記第
    2の複数画素において、所定の垂直ライン上の画素の信
    号レベル和に対する他の全ての垂直ライン上の画素の信
    号レベル和の比を求める手段と、前記第3の複数画素に
    おいて、所定の垂直ライン上の画素の信号レベル和に対
    する他の全ての垂直ライン上の画素の信号レベル和の比
    を求める手段と、前記第4の複数画素において、所定の
    垂直ライン上の画素の信号レベル和に対する他の全ての
    垂直ライン上の画素の信号レベル和の比を求める手段
    と、前記基準画素の信号レベル和の比と、第1,第2,
    第3及び第4の各信号レベル和の比を比較し、基準画素
    の信号レベル和の比に最も近い値の信号レベル和の比を
    選択する手段と、該選択手段により第1の複数画素の信
    号レベル和の比が選択された場合、周辺領域画像形状は
    水平方向のエッジ又は線と判断し、第2の複数画素の信
    号レベル和の比が選択された場合、周辺領域画像形状は
    垂直方向のエッジ又は線と判断し、第3の複数画素の信
    号レベル和の比が選択された場合、周辺領域画像形状は
    右上がり方向のエッジ又は線と判断し、第4の複数画素
    の信号レベル和の比が選択された場合、周辺領域画像形
    状は右下がり方向のエッジ又は線と判断する手段とを備
    えていることを特徴とする請求項10記載の撮像装置。
  17. 【請求項17】 前記周辺画像形状検出手段は、前記請求
    項12記載の周辺画像形状検出手段からなる第1の周辺画
    像形状検出手段と、前記請求項16記載の周辺画像形状検
    出手段からなる第2の周辺画像形状検出手段とを備え、
    前記第1の周辺画像形状検出手段により斜め線形状が検
    出された場合にのみ、第2の周辺画像形状検出手段によ
    る周辺画像形状検出を行うように構成されていることを
    特徴とする請求項10記載の撮像装置。
  18. 【請求項18】 前記画素欠陥補償手段は、複数の欠陥画
    素と同色の選択画素の平均値で欠陥画素を補間するよう
    に構成されていることを特徴とする請求項10〜17のいず
    れか1項に記載の撮像装置。
  19. 【請求項19】 前記画素欠陥補償手段により欠陥画素の
    補償を行った撮像信号を圧縮し記録媒体に記録する手段
    を備えていることを特徴とする請求項1〜18のいずれか
    1項に記載の撮像装置。
  20. 【請求項20】 半導体撮像素子の欠陥画素を該欠陥画素
    の周囲の画素で補間する予備欠陥補償手段と、該予備欠
    陥補償手段で欠陥画素補償を行った画像信号を圧縮し記
    録媒体に記録する手段と、該記録媒体から読み出した画
    像信号を伸長し、前記請求項1〜19のいずれか1項に記
    載の画素欠陥補償手段により画素欠陥補償を行って再生
    する手段とを備えていることを特徴とする撮像装置。
JP03357198A 1998-02-02 1998-02-02 撮像装置 Expired - Fee Related JP4115574B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP03357198A JP4115574B2 (ja) 1998-02-02 1998-02-02 撮像装置
US09/241,086 US6642960B1 (en) 1998-02-02 1999-02-01 Image pickup apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03357198A JP4115574B2 (ja) 1998-02-02 1998-02-02 撮像装置

Publications (2)

Publication Number Publication Date
JPH11220661A true JPH11220661A (ja) 1999-08-10
JP4115574B2 JP4115574B2 (ja) 2008-07-09

Family

ID=12390241

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03357198A Expired - Fee Related JP4115574B2 (ja) 1998-02-02 1998-02-02 撮像装置

Country Status (2)

Country Link
US (1) US6642960B1 (ja)
JP (1) JP4115574B2 (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002176586A (ja) * 2000-12-07 2002-06-21 Nikon Corp 画素欠陥修正装置
JP2006148441A (ja) * 2004-11-18 2006-06-08 Konica Minolta Photo Imaging Inc 撮像装置
JP2006324908A (ja) * 2005-05-18 2006-11-30 Fujifilm Holdings Corp データ補正処理装置及びデータ補正処理方法
US7206020B2 (en) 2001-08-31 2007-04-17 Hitachi Kokusai Electric Inc. Adaptive white defect signal correction method and image-pickup apparatus using the method
JP2007279597A (ja) * 2006-04-11 2007-10-25 Nikon Corp 撮像装置、カメラおよび画像処理方法
JP2008278243A (ja) * 2007-04-27 2008-11-13 Toshiba Corp 撮像装置
US7542082B2 (en) 2004-03-30 2009-06-02 Canon Kabushiki Kaisha Method and apparatus for correcting a defective pixel
JP2009177792A (ja) * 2007-12-28 2009-08-06 Nikon Corp 画像処理装置、および撮像装置
JP2009261025A (ja) * 2009-08-10 2009-11-05 Victor Co Of Japan Ltd 欠陥画素出力信号補正方法
US7671909B2 (en) 2005-04-27 2010-03-02 Samsung Electronics Co., Ltd. Method and apparatus for processing Bayer-pattern digital color video signal
JP2010145102A (ja) * 2008-12-16 2010-07-01 Shimadzu Corp X線検査装置
KR101025988B1 (ko) 2009-08-25 2011-03-30 삼성전기주식회사 이미지 센서의 픽셀 결함 보정 장치 및 방법
US8089537B2 (en) 2005-08-23 2012-01-03 Nikon Corporation Image processing system and image processing program for defective pixel correction
US8559762B2 (en) 2007-12-28 2013-10-15 Nikon Corporation Image processing method and apparatus for interpolating defective pixels
US8654220B2 (en) 2011-08-09 2014-02-18 Canon Kabushiki Kaisha Image processing apparatus and control method for the same
US8675106B2 (en) 2011-08-09 2014-03-18 Canon Kabushiki Kaisha Image processing apparatus and control method for the same
DE102015102772A1 (de) 2014-02-27 2015-08-27 Canon Kabushiki Kaisha Bildverarbeitungsvorrichtung und Verfahren für deren Steuerung
US9635292B2 (en) 2014-02-27 2017-04-25 Canon Kabushiki Kaisha Image processing apparatus and method for controlling image processing apparatus
JP2020057989A (ja) * 2018-10-04 2020-04-09 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、電子機器、ビジョンセンサの校正方法、被写体の検出方法およびプログラム
US11336850B2 (en) 2018-10-04 2022-05-17 Sony Interactive Entertainment Inc. Electronic device, actuator control method, and program
US12010448B2 (en) 2018-10-04 2024-06-11 Sony Interactive Entertainment Inc. Sensor module, electronic device, subject detection method, and program

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3532781B2 (ja) * 1999-02-12 2004-05-31 株式会社メガチップス 画像入力装置の画像処理回路
US7123299B1 (en) * 1999-04-15 2006-10-17 Olympus Optical Co., Ltd. Color image pickup device and color image pickup apparatus including a randomized color coding array
US7009644B1 (en) * 1999-12-15 2006-03-07 Logitech Europe S.A. Dynamic anomalous pixel detection and correction
GB9921331D0 (en) * 1999-09-09 1999-11-10 Pandora Int Ltd Film restoration system
JP4317624B2 (ja) * 1999-09-10 2009-08-19 メディア・テック・ユーエスエイ・インコーポレーテッド 画像処理装置
JP3773773B2 (ja) * 1999-10-27 2006-05-10 三洋電機株式会社 画像信号処理装置及び画素欠陥の検出方法
US20020047907A1 (en) * 2000-08-30 2002-04-25 Nikon Corporation Image processing apparatus and storage medium for storing image processing program
US6965395B1 (en) * 2000-09-12 2005-11-15 Dialog Semiconductor Gmbh Methods and systems for detecting defective imaging pixels and pixel values
US6917381B2 (en) * 2000-11-30 2005-07-12 Intel Corporation Color filter array and color interpolation algorithm
JP2003348336A (ja) * 2002-05-24 2003-12-05 Canon Inc 画像処理方法及び装置
US7015961B2 (en) * 2002-08-16 2006-03-21 Ramakrishna Kakarala Digital image system and method for combining demosaicing and bad pixel correction
US7283165B2 (en) * 2002-11-15 2007-10-16 Lockheed Martin Corporation Method and apparatus for image processing using weighted defective pixel replacement
KR100535636B1 (ko) * 2003-02-24 2005-12-08 매그나칩 반도체 유한회사 불량 화소 보상 기능을 갖는 이미지센서
US7782377B2 (en) * 2003-02-26 2010-08-24 Canon Kabushiki Kaisha Image sensing apparatus, control method therefor, storage medium, and program to create correction data
EP1463306B8 (en) * 2003-03-25 2009-11-11 Panasonic Corporation Imaging device that prevents loss of shadow detail
JP2005101829A (ja) * 2003-09-24 2005-04-14 Sanyo Electric Co Ltd 信号処理装置
US7525584B2 (en) * 2004-01-05 2009-04-28 Lifesize Communications, Inc. Fast edge directed demosaicing
US7193696B2 (en) * 2004-04-12 2007-03-20 United Technologies Corporation Systems and methods for using light to indicate defect locations on a composite structure
KR101087345B1 (ko) * 2004-04-21 2011-11-25 인텔렉츄얼 벤처스 투 엘엘씨 컬러 보정 방법
JP4062300B2 (ja) * 2004-11-18 2008-03-19 コニカミノルタオプト株式会社 撮像装置
US20060262210A1 (en) * 2005-05-19 2006-11-23 Micron Technology, Inc. Method and apparatus for column-wise suppression of noise in an imager
JP4440239B2 (ja) * 2006-08-18 2010-03-24 富士フイルム株式会社 距離画像作成方法及び距離画像センサ、及び撮影装置
US7649555B2 (en) * 2006-10-02 2010-01-19 Mtekvision Co., Ltd. Apparatus for processing dead pixel
US7800661B2 (en) * 2006-12-22 2010-09-21 Qualcomm Incorporated Programmable pattern matching device
US7830428B2 (en) * 2007-04-12 2010-11-09 Aptina Imaging Corporation Method, apparatus and system providing green-green imbalance compensation
EP2015562A1 (en) * 2007-07-10 2009-01-14 Thomson Licensing S.A. Processing device for correcting defect pixel values of an image sensor unit, image sensor unit with the processing device and method
US8223236B2 (en) * 2008-07-03 2012-07-17 Sony Ericsson Mobile Communications Ab Apparatus and method for image recording
EP2242019B1 (en) * 2009-04-15 2016-01-13 Mitsubishi Electric R&D Centre Europe B.V. Image region interpolation
JP5541718B2 (ja) * 2010-08-19 2014-07-09 キヤノン株式会社 撮像装置及びその欠陥画素検出方法
US8842912B2 (en) 2011-05-19 2014-09-23 Foveon, Inc. Method for processing highlights and saturated regions in a digital image
US9191556B2 (en) 2011-05-19 2015-11-17 Foveon, Inc. Imaging array having photodiodes with different light sensitivities and associated image restoration methods
DE102013209165A1 (de) 2013-05-17 2014-11-20 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Pixelkorrekturverfahren
JP6271917B2 (ja) * 2013-09-06 2018-01-31 キヤノン株式会社 画像記録装置及び撮像装置
JP2017055309A (ja) 2015-09-10 2017-03-16 キヤノン株式会社 撮像装置及びその制御方法
JP2017055308A (ja) * 2015-09-10 2017-03-16 キヤノン株式会社 撮像装置及びその制御方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5586058A (en) * 1990-12-04 1996-12-17 Orbot Instruments Ltd. Apparatus and method for inspection of a patterned object by comparison thereof to a reference
EP0496573B1 (en) * 1991-01-24 1995-12-20 Matsushita Electric Industrial Co., Ltd. Pixel defect removing circuit for solid-state image pickup device
US5392070A (en) * 1991-11-26 1995-02-21 Kabushiki Kaisha Toshiba Apparatus for correcting faulty pixel signals by replacing the faulty pixel signals with normal pixel signals
KR960003298A (ko) * 1994-06-02 1996-01-26 이헌조 캠코더의 촬상관 결점보상 방법 및 장치
JP3125124B2 (ja) * 1994-06-06 2001-01-15 松下電器産業株式会社 欠陥画素傷補正回路
US5982946A (en) * 1996-09-20 1999-11-09 Dainippon Screen Mfg. Co., Ltd. Method of identifying defective pixels in digital images, and method of correcting the defective pixels, and apparatus and recording media therefor
US6076465A (en) * 1996-09-20 2000-06-20 Kla-Tencor Corporation System and method for determining reticle defect printability

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002176586A (ja) * 2000-12-07 2002-06-21 Nikon Corp 画素欠陥修正装置
US7206020B2 (en) 2001-08-31 2007-04-17 Hitachi Kokusai Electric Inc. Adaptive white defect signal correction method and image-pickup apparatus using the method
US7542082B2 (en) 2004-03-30 2009-06-02 Canon Kabushiki Kaisha Method and apparatus for correcting a defective pixel
JP2006148441A (ja) * 2004-11-18 2006-06-08 Konica Minolta Photo Imaging Inc 撮像装置
US7671909B2 (en) 2005-04-27 2010-03-02 Samsung Electronics Co., Ltd. Method and apparatus for processing Bayer-pattern digital color video signal
JP2006324908A (ja) * 2005-05-18 2006-11-30 Fujifilm Holdings Corp データ補正処理装置及びデータ補正処理方法
JP4557795B2 (ja) * 2005-05-18 2010-10-06 富士フイルム株式会社 データ補正処理装置及びデータ補正処理方法
US8089537B2 (en) 2005-08-23 2012-01-03 Nikon Corporation Image processing system and image processing program for defective pixel correction
JP4985403B2 (ja) * 2005-08-23 2012-07-25 株式会社ニコン 画像処理システムおよび画像処理プログラム
JP2007279597A (ja) * 2006-04-11 2007-10-25 Nikon Corp 撮像装置、カメラおよび画像処理方法
US8269880B2 (en) 2006-04-11 2012-09-18 Nikon Corporation Imaging device, camera and image processing method
JP2008278243A (ja) * 2007-04-27 2008-11-13 Toshiba Corp 撮像装置
JP2009177792A (ja) * 2007-12-28 2009-08-06 Nikon Corp 画像処理装置、および撮像装置
US8559762B2 (en) 2007-12-28 2013-10-15 Nikon Corporation Image processing method and apparatus for interpolating defective pixels
JP2010145102A (ja) * 2008-12-16 2010-07-01 Shimadzu Corp X線検査装置
JP2009261025A (ja) * 2009-08-10 2009-11-05 Victor Co Of Japan Ltd 欠陥画素出力信号補正方法
KR101025988B1 (ko) 2009-08-25 2011-03-30 삼성전기주식회사 이미지 센서의 픽셀 결함 보정 장치 및 방법
US8654220B2 (en) 2011-08-09 2014-02-18 Canon Kabushiki Kaisha Image processing apparatus and control method for the same
US8675106B2 (en) 2011-08-09 2014-03-18 Canon Kabushiki Kaisha Image processing apparatus and control method for the same
US9693000B2 (en) 2014-02-27 2017-06-27 Canon Kabushiki Kaisha Image processing apparatus and method for controlling image processing apparatus
US9635292B2 (en) 2014-02-27 2017-04-25 Canon Kabushiki Kaisha Image processing apparatus and method for controlling image processing apparatus
DE102015102772A1 (de) 2014-02-27 2015-08-27 Canon Kabushiki Kaisha Bildverarbeitungsvorrichtung und Verfahren für deren Steuerung
DE102015102772B4 (de) 2014-02-27 2021-12-23 Canon Kabushiki Kaisha Bildverarbeitungsvorrichtung und Verfahren für deren Steuerung
JP2020057989A (ja) * 2018-10-04 2020-04-09 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、電子機器、ビジョンセンサの校正方法、被写体の検出方法およびプログラム
WO2020071267A1 (ja) * 2018-10-04 2020-04-09 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、電子機器、ビジョンセンサの校正方法、被写体の検出方法およびプログラム
CN112771841A (zh) * 2018-10-04 2021-05-07 索尼互动娱乐股份有限公司 传感器模块、电子设备、视觉传感器校准方法、对象检测方法和程序
US11336850B2 (en) 2018-10-04 2022-05-17 Sony Interactive Entertainment Inc. Electronic device, actuator control method, and program
US11659286B2 (en) 2018-10-04 2023-05-23 Sony Interactive Entertainment Inc. Sensor module, electronic device, vision sensor calibration method, subject detection method, and program
US12010448B2 (en) 2018-10-04 2024-06-11 Sony Interactive Entertainment Inc. Sensor module, electronic device, subject detection method, and program

Also Published As

Publication number Publication date
US6642960B1 (en) 2003-11-04
JP4115574B2 (ja) 2008-07-09

Similar Documents

Publication Publication Date Title
JP4115574B2 (ja) 撮像装置
US7626619B2 (en) Digital camera
JP4008778B2 (ja) 撮像装置
JP4760742B2 (ja) デジタルカメラ、及び情報表示方法、情報表示制御プログラム
JP5347707B2 (ja) 撮像装置および撮像方法
JP5845464B2 (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
JP5013954B2 (ja) 撮像装置
JP2005086499A (ja) 撮像装置
US20060050956A1 (en) Signal processing apparatus, signal processing method, and signal processing program
JP3298545B2 (ja) デジタルカメラ及び画像処理方法並びに記憶媒体
US20060092485A1 (en) Color signal correcting method, apparatus, and program
JPH07288824A (ja) 輝度信号生成装置
JP5277863B2 (ja) 撮像装置および撮像方法
US20100079582A1 (en) Method and System for Capturing and Using Automatic Focus Information
US20080273100A1 (en) Noise reduction apparatus, method and computer- readable recording medium
JPH11146410A (ja) ビデオカメラ
JP4272566B2 (ja) 広ダイナミックレンジ固体撮像素子の色シェーディング補正方法および固体撮像装置
JP2000165896A (ja) ホワイトバランス制御方法及びその装置
JP4887680B2 (ja) ホワイトバランス調整装置、及びホワイトバランス調整方法
JP2002271803A (ja) 画像撮影方法及び装置
JP3563508B2 (ja) 自動焦点調節装置
JP2006135564A (ja) 画素補間装置、画素補間方法
JPH07123421A (ja) 撮像装置
JP2001211388A (ja) 画像信号処理装置
JP4298219B2 (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080408

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080416

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110425

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110425

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120425

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130425

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140425

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees