JPH11355667A

JPH11355667A - 画素信号処理装置

Info

Publication number: JPH11355667A
Application number: JP10158168A
Authority: JP
Inventors: Katsuo Kawamura; 佳津男河村
Original assignee: Fujifilm Microdevices Co Ltd; Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp; Fujifilm Microdevices Co Ltd
Priority date: 1998-06-05
Filing date: 1998-06-05
Publication date: 1999-12-24

Abstract

(57)【要約】【課題】少ないメモリ容量かつ高速で欠陥画素を検出
することができる画素信号処理装置を提供することを課
題とする。【解決手段】光電変換により画素信号を生成する複数
の光電変換素子が並ぶ第１の光電変換素子行（Ｌ１）
と、光電変換により画素信号を生成する複数の光電変換
素子が並ぶ光電変換素子行であって、第１の光電変換素
子行に隣接する第２の光電変換素子行（Ｌ２）と、少な
くとも第１及び第２の光電変換素子行が生成する画素信
号を含む画素信号を１行の出力行として転送及び出力す
る画素信号出力手段（１４，１５）と、画素信号出力手
段が出力する１行の出力行の画素信号を基に、該１つの
行中の対象画素信号が欠陥を持つ光電変換素子が生成し
た画素信号であるか否かを検出する欠陥検出手段とを有
する画素信号処理装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像信号処理技術
に関し、特に画像中の画素欠陥を検出する技術に関す
る。

【０００２】

【従来の技術】図２は、従来技術による固体撮像素子２
０の構成を示す平面図である。

【０００３】固体撮像素子２０は、２次元マトリックス
状に配列された複数のフォトダイオード２１を有する。
フォトダイオード２１は、受光した光を電荷に変換して
蓄積する。垂直電荷転送路（ＶＣＣＤ）２２は、フォト
ダイオード２１から電荷を読み出し、垂直方向に（上か
ら下に）電荷を転送する。

【０００４】水平電荷転送路（ＨＣＣＤ）２４は、垂直
電荷転送路２２から電荷を受け取り、水平方向に（右か
ら左に）電荷を転送する。まず、水平電荷転送路２４
は、第１行Ｌ１のフォトダイオード２１により生成され
た画素信号（電荷）Ｄ１〜Ｄ５を転送する。続いて、水
平電荷転送路２４は、第２行Ｌ２、第３行Ｌ３、第４行
Ｌ４、第５行Ｌ５のフォトダイオード２１により生成さ
れた画素信号（電荷）Ｄ１〜Ｄ５を行単位で、順次、転
送する。

【０００５】出力部２５は、水平電荷転送路２４から転
送された各画素の電荷の量に応じて、所定の電圧を出力
する。出力部は、第１行Ｌ１〜第５行Ｌ５の画素信号を
行単位で順次出力する。

【０００６】固体撮像素子２０は、例えばビデオカメラ
で用いられており、多数のフォトダイオード（画素）２
１を有する。これら多数のフォトダイオード２１の中に
は、製造上の問題から欠陥を有するものがある。この欠
陥を有するフォトダイオードを欠陥画素という。

【０００７】所定の光入力に応じて１つの画素が出力す
る電荷量を画素値と呼ぶ。欠陥画素は、正常な画素に比
べて画素値が±数％以上ずれているものをいう。ビデオ
カメラの検査工程では、画素値が±２０％以上ずれてい
る欠陥画素を有する固体撮像素子２０は不良品として廃
棄されてしまう。したがって、検査工程で合格した固体
撮像素子２０内の欠陥画素は、画素値が±数％〜±１５
％ずれているものがほとんどである。

【０００８】欠陥画素は、常に画素値が所定値だけずれ
ているものの他、画素値のずれ量が変化するものもあ
る。時間経過により、ある時刻では欠陥画素になり、別
の時刻では正常画素になるものもある。

【０００９】ビデオカメラに用いられる固体撮像素子２
０は、数十万個のフォトダイオード（画素）２１を有す
るものが主流である。欠陥画素が一つもない固体撮像素
子２０を製造することは極めて困難である。

【００１０】そこで、欠陥画素が所定数以下であれば、
これを良品として認め、画像信号処理で欠陥画素を補正
する方法が採られている。この補正は、予め欠陥画素の
位置情報をＲＯＭ等に記憶しておき、その位置情報に応
じて行われる。しかし、画素数が極めて多いため、大容
量のＲＯＭが必要となり、かつ位置情報の管理が必要と
なるため、コストが高くなる。

【００１１】

【発明が解決しようとする課題】低価格のビデオカメラ
では、上記のＲＯＭを用いずに、欠陥画素の補正を行う
ことが望まれている。欠陥画素は、画像信号処理により
検出することができる。例えば、対象画素が、周囲の画
素に比べ、極めて大きな値又は小さな値を有するときに
は、その対象画素は欠陥画素であろうと推測することで
きる。この欠陥画素検出を行うには、対象画素を中心と
する所定領域の２次元画像を記憶するためのメモリが必
要となり、かつ比較的長時間の処理時間が必要となる。

【００１２】上記の２次元画像を記憶するには、フレー
ムメモリ又は複数のラインメモリを必要とする。このよ
うなメモリを用いるのであれば、欠陥画素の位置情報を
記憶するためのＲＯＭを削除したとしても、コストは向
上してしまう。

【００１３】ビデオカメラは、例えば３０フレーム／秒
の動画を撮像することができる。欠陥画素検出は、この
ような動画をリアルタイムで処理する必要があるので、
欠陥画素の検出時間は短くなくてはならない。上記の２
次元画像をメモリに記憶し、欠陥画素を検出する処理
は、処理時間が長いので、リアルタイム処理が困難であ
る。

【００１４】本発明の目的は、少ないメモリ容量で欠陥
画素を検出することができる画素信号処理装置を提供す
ることである。

【００１５】本発明の他の目的は、短時間で欠陥画素を
検出することができる画素信号処理装置を提供すること
である。

【００１６】

【課題を解決するための手段】本発明の一観点によれ
ば、光電変換により画素信号を生成する複数の光電変換
素子が並ぶ第１の光電変換素子行と、光電変換により画
素信号を生成する複数の光電変換素子が並ぶ光電変換素
子行であって、前記第１の光電変換素子行に隣接する第
２の光電変換素子行と、少なくとも前記第１及び第２の
光電変換素子行が生成する画素信号を含む画素信号を１
行の出力行として転送及び出力する画素信号出力手段
と、前記画素信号出力手段が出力する１行の出力行の画
素信号を基に、該１行の出力行中の対象画素信号が欠陥
を持つ光電変換素子が生成した画素信号であるか否かを
検出する欠陥検出手段とを有する画素信号処理装置が提
供される。

【００１７】画素信号出力手段は、画素信号を含む１行
の出力行を出力する。当該１行の出力行には、第１の光
電変換素子行とそれに隣接する第２の光電変換素子行が
生成した画素信号が含まれている。欠陥検出手段は、当
該出力行を基に欠陥を検出することにより、高速な検出
が可能になる。また、欠陥検出手段は、第１及び第２の
光電変換素子行が生成した画素信号を基に検出を行うの
で、第１の光電変換素子行が生成した画素信号のみを基
に検出を行う場合に比べ、高精度の検出を行うことがで
きる。

【００１８】

【発明の実施の形態】図３は、本発明の実施例による欠
陥画素補正装置の構成を示すブロック図である。

【００１９】固体撮像素子１は、２次元配列された多数
のフォトダイオードを有し、例えば３０フレーム／秒の
動画を撮像し、画像信号ＩＮを出力する。欠陥画素判定
処理部２は、画像信号ＩＮ中の各画素が欠陥画素である
か否かを判定する。欠陥画素であるときには、欠陥画素
補正処理部３がその欠陥画素の値を補正する。欠陥画素
判定処理部２は、対象画素が欠陥画素でないときには補
正を行わず、対象画素が欠陥画素であるときには上記の
補正を行い、画像信号ＯＵＴを出力する。画像信号ＯＵ
Ｔは、例えば３０フレーム／秒で出力される。

【００２０】図１は、固体撮像素子１の構成を示す平面
図である。固体撮像素子１は、２次元マトリックス状に
配列された複数のフォトダイオード（光電変換素子）１
１を有する。固体撮像素子１は、例えば、数万〜数十万
個のフォトダイオード１１を有するが、説明の便宜上、
図１ではフォトダイオード１１の数を減らして表す。フ
ォトダイオード１１は、緑色、赤色又は青色のいずれか
の色フィルタで覆われ、３色の色信号を検出することが
できる。

【００２１】第１行Ｌ１には、赤色のフォトダイオード
（Ｒ１，Ｒ３，・・・）と青色のフォトダイオード（Ｂ
２，Ｂ４，・・・）が水平方向に交互に並ぶ。第２行Ｌ
２には、緑色のフォトダイオード（Ｇ１，Ｇ２，・・
・）が水平方向に並ぶ。以下、赤色をＲで表し、青色を
Ｂで表し、緑色をＧで表す。

【００２２】奇数行は、第１行Ｌ１、第３行Ｌ３、第５
行Ｌ５、第７行Ｌ７を含む。偶数行は、第２行Ｌ２、第
４行Ｌ４、第６行Ｌ６、第８行Ｌ８を含む。奇数行に
は、赤色のフォトダイオードと青色のフォトダイオード
が交互に並ぶ。偶数行には、緑色のフォトダイオードが
並ぶ。緑色のフォトダイオードは、垂直方向に赤色のフ
ォトダイオードと青色のフォトダイオードに挟まれる。

【００２３】フォトダイオード１１は、カラーフィルタ
を通して受光した光を電荷に変換して蓄積する。垂直電
荷転送路１２は、フォトダイオード１１の各列に対して
左右両隣に設けられる。

【００２４】垂直電荷転送路１２は、フォトダイオード
１１から電荷を読み出し、垂直方向に（上から下に）電
荷を転送する。奇数行のフォトダイオード（赤色及び青
色のフォトダイオード）中の電荷は、右の垂直電荷転送
路１２に読み出される。偶数行のフォトダイオード（緑
色のフォトダイオード）中の電荷は、左の垂直電荷転送
路１２に読み出される。

【００２５】チャネル位置変換部１３は、水平電荷転送
路１４上において水平方向にほぼ等間隔に電荷が位置す
るように、垂直電荷転送路１２から受け取った電荷を水
平電荷転送路１４に供給する。

【００２６】水平電荷転送路１４上には、第１行Ｌ１及
び第２行Ｌ２のフォトダイオード１１により生成された
画素信号がＧ１，Ｒ１，Ｇ２，Ｂ２，・・・の順番で１
つの行内で交互に並ぶ。

【００２７】水平電荷転送路１４は、第１行Ｌ１及び第
２行の画素信号Ｇ１，Ｒ１，Ｇ２，Ｂ２，・・・を水平
方向に（右から左に）転送する。その後、第３行Ｌ３及
び第４行Ｌ４の画素信号を転送し、続いて、第５行Ｌ５
及び第６行Ｌ６の画素信号を転送し、続いて、第７行Ｌ
７及び第８行Ｌ８の画素信号を転送する。

【００２８】出力部１５は、水平電荷転送路１４から転
送された各画素の電荷の量に応じて、所定の電圧を出力
する。出力部は、第１行Ｌ１〜第８行Ｌ８の画素信号を
２行単位で順次出力する。

【００２９】この固体撮像素子１は、例えば、２つの画
素信号Ｇ１とＲ１が１つの画素を構成し、２つの画素信
号Ｇ２とＢ２が他の１画素を構成する。第１行Ｌ１及び
第２行Ｌ２が１行の画素行を構成し、第３行Ｌ３及び第
４行Ｌ４が他の１行の画素行を構成する。

【００３０】固体撮像素子１は、正方画素を構成する。
すなわち、画素間の水平方向の画素ピッチＷｈと垂直方
向の画素ピッチＷｖがほぼ同じである。両画素ピッチＷ
ｈとＷｖを同じにすることにより、水平方向と垂直方向
の解像度を同じにすることができる。

【００３１】なお、水平画素ピッチＷｈと垂直画素ピッ
チＷｖは必ずしも同じでなくてもよい。また、２つのフ
ォトダイオード１１が１画素を構成する場合に限定され
ず、１つのフォトダイオードが１画素を構成するように
してもよい。

【００３２】２つのフォトダイオードが１画素を構成す
る場合であっても、１つのフォトダイオードが１画素を
構成する場合であっても、本明細書では、欠陥のあるフ
ォトダイオードを欠陥画素といい、フォトダイオードを
画素という。

【００３３】図４（Ａ）〜（Ｃ）は、欠陥画素の検出方
法を説明するための図である。欠陥画素検出は、第１行
Ｌ１及び第２行Ｌ２の２行単位で行い、その他の行も同
様に２行単位で行われる。上記の水平電荷転送路１４
（図１）は、２行単位で画素信号を出力する。欠陥画素
検出は、当該２行単位で処理することにより、リアルタ
イムで高速処理することができる。

【００３４】第１列Ｌ１には、１画素おきに第１列、第
３列、第５列、第７列及び第９列の赤色画素信号Ｒ１，
Ｒ３，Ｒ５，Ｒ７，Ｒ９が存在する。第２列Ｌ２には、
第１列〜第９列の緑色画素信号Ｇ１〜Ｇ９が存在する。

【００３５】図４（Ａ）に示すように、第２行Ｌ２で
は、第５列の画素信号Ｇ５がその周囲の４画素の画素信
号Ｇ３，Ｇ４，Ｇ６，Ｇ７よりも突出して大きい。この
場合、画素信号Ｇ５の画素（フォトダイオード）が欠陥
画素であるかもしれないという疑いをもつことができ
る。

【００３６】しかし、第１行Ｌ１では、第５列の画素信
号Ｒ５も、その周囲の４画素の画素信号Ｒ１，Ｒ３，Ｒ
７，Ｒ９よりも突出して大きい。画素信号Ｇ５が大き
く、画素信号Ｒ５も大きい場合には、第５列の垂直方向
に細い線を有する画像が存在すると考えられる。この場
合は、画素信号Ｇ５及びＲ５は、共に欠陥画素ではない
と判断することができる。

【００３７】図４（Ｂ）に示すように、画素信号Ｇ５は
その周囲の４画素の画素信号Ｇ３，Ｇ４，Ｇ６，Ｇ７よ
りも突出して大きいが、画素信号Ｒ５はその周囲の４画
素の画素信号Ｒ１，Ｒ３，Ｒ７，Ｒ９と同程度である場
合には、画素信号Ｇ５の画素（フォトダイオード）は欠
陥画素であると判断することができる。

【００３８】図４（Ｃ）に示すように、画素信号Ｒ５は
その周囲の４画素の画素信号Ｒ１，Ｒ３，Ｒ７，Ｒ９よ
りも突出して大きいが、画素信号Ｇ５はその周囲の４画
素の画素信号Ｇ３，Ｇ４，Ｇ６，Ｇ７と同程度である場
合には、画素信号Ｒ５の画素（フォトダイオード）は欠
陥画素であると判断することができる。

【００３９】なお、画素信号が突出して大きい場合に限
らず、画素信号が突出して小さい場合にも、その画素信
号の画素は欠陥画素であると判断することができる。

【００４０】また、青色画素信号についても、赤色画素
信号の場合と同様に、欠陥画素を検出することができ
る。

【００４１】図５は、緑色画素の欠陥画素検出及びその
欠陥画素の補正を行うための処理を示すフローチャート
である。例えば、図４（Ｂ）に示した緑色画素の欠陥を
検出する。

【００４２】ステップＳＡ１では、対象画素信号Ｇ５の
周囲の４個の緑色画素信号Ｇ３，Ｇ４，Ｇ６，Ｇ７の平
均値ＡＶ１を次式により求める。

【００４３】ＡＶ１＝（Ｇ３＋Ｇ４＋Ｇ６＋Ｇ７）／４ステップＳＡ２では、式（１）又は式（２）を満足する
か否かを判断する。Ｃ１は定数であり、例えば１〜６で
あり、３が好ましい。式（１）は、対象画素信号Ｇ５が
周囲の画素信号の平均値ＡＶ１よりも突出して大きいこ
とを意味する。式（２）は、対象画素信号Ｇ５が周囲の
画素信号の平均値ＡＶ１よりも突出して小さいことを意
味する。

【００４４】Ｇ５／ＡＶ１＞Ｃ１・・・（１）Ｇ５／ＡＶ１＜１／Ｃ１・・・（２）

【００４５】式（１）及び式（２）の両者を満足しない
ときには、対象画素信号Ｇ５の画素は欠陥画素ではない
と判断し、処理を終了する。一方、式（１）又は式
（２）を満足するときには、対象画素信号Ｇ５の画素が
欠陥画素であるかもしれないとの疑いがあるので、ステ
ップＳＡ３へ進み、対象画素信号Ｇ５の下の赤色画素信
号Ｒ５を調べる。

【００４６】ステップＳＡ３では、赤色画素信号Ｒ５の
周囲の４個の赤色画素信号Ｒ１，Ｒ３，Ｒ７，Ｒ９の平
均値ＡＶ２を次式により求める。

【００４７】ＡＶ２＝（Ｒ１＋Ｒ３＋Ｒ７＋Ｒ９）／４ステップＳＡ４では、式（３）又は式（４）を満足する
か否かを判断する。Ｃ２は定数であり、例えば１〜３で
あり、１．５が好ましい。式（３）は、画素信号Ｒ５が
周囲の画素信号の平均値ＡＶ２よりも突出して大きいこ
とを意味し、式（４）は、画素信号Ｒ５が周囲の画素信
号の平均値ＡＶ２よりも突出して小さいことを意味す
る。

【００４８】Ｒ５／ＡＶ２＞Ｃ２・・・（３）Ｒ５／ＡＶ２＜１／Ｃ２・・・（４）

【００４９】式（３）又は式（４）を満足するときに
は、垂直方向に細い線が存在し、対象画素信号Ｇ５の画
素は欠陥画素ではないと判断し、処理を終了する（図４
（Ａ）参照）。一方、式（３）及び式（４）の両者を満
足しないときには、対象画素信号Ｇ５の画素は欠陥画素
であると判断し、ステップＳＡ５へ進む（図４（Ｂ）参
照）。

【００５０】ステップＳＡ５では、欠陥画素の画素信号
Ｇ５を補正する。例えば、対象画素信号Ｇ５に隣接する
２つの緑色画素信号Ｇ４とＧ６の平均値を次式により求
め、その平均値を対象画素信号Ｇ５の値として補正す
る。なお、他の補正方法を用いてもよい。以上で、処理
を終了する。

【００５１】Ｇ５＝（Ｇ４＋Ｇ６）／２以上は１個の対象画素信号Ｇ５について説明したが、全
ての緑色画素信号について同様な処理を行う。

【００５２】図６は、赤色画素の欠陥画素検出及びその
欠陥画素の補正を行うための処理を示すフローチャート
である。例えば、図４（Ｃ）に示した赤色画素の欠陥を
検出する。

【００５３】ステップＳＢ１では、対象画素信号Ｒ５の
周囲の４個の赤色画素信号Ｒ１，Ｒ３，Ｒ７，Ｒ９の平
均値ＡＶ１を次式により求める。

【００５４】ＡＶ１＝（Ｒ１＋Ｒ３＋Ｒ７＋Ｒ９）／４ステップＳＢ２では、式（５）又は式（６）を満足する
か否かを判断する。Ｃ１は定数であり、例えば１〜６で
あり、３が好ましい。式（５）は、対象画素信号Ｒ５が
周囲の画素信号の平均値ＡＶ１よりも突出して大きいこ
とを意味し、式（６）は、対象画素信号Ｒ５が周囲の画
素信号の平均値ＡＶ１よりも突出して小さいことを意味
する。

【００５５】Ｒ５／ＡＶ１＞Ｃ１・・・（５）Ｒ５／ＡＶ１＜１／Ｃ１・・・（６）

【００５６】式（５）及び式（６）の両者を満足しない
ときには、対象画素信号Ｒ５の画素は欠陥画素ではない
と判断し、処理を終了する。一方、式（５）又は式
（６）を満足するときには、対象画素信号Ｒ５の画素が
欠陥画素であるかもしれないとの疑いがあるので、ステ
ップＳＢ３へ進み、対象画素信号Ｒ５の上の緑色画素信
号Ｇ５を調べる。

【００５７】ステップＳＢ３では、緑色画素信号Ｇ５の
周囲の４個の緑色画素信号Ｇ３，Ｇ４，Ｇ６，Ｇ７の平
均値ＡＶ２を次式により求める。

【００５８】ＡＶ２＝（Ｇ３＋Ｇ４＋Ｇ６＋Ｇ７）／４ステップＳＢ４では、式（７）又は式（８）を満足する
か否かを判断する。Ｃ２は定数であり、例えば１〜３で
あり、２が好ましい。式（７）は、画素信号Ｇ５が周囲
の画素信号の平均値ＡＶ２よりも突出して大きいことを
意味し、式（８）は、画素信号Ｇ５が周囲の画素信号の
平均値ＡＶ２よりも突出して小さいことを意味する。

【００５９】Ｇ５／ＡＶ２＞Ｃ２・・・（７）Ｇ５／ＡＶ２＜１／Ｃ２・・・（８）

【００６０】式（７）又は式（８）を満足するときに
は、垂直方向に細い線が存在し、対象画素信号Ｒ５の画
素は欠陥画素ではないと判断し、処理を終了する（図４
（Ａ）参照）。一方、式（７）及び式（８）の両者を満
足しないときには、対象画素信号Ｒ５の画素は欠陥画素
であると判断し、ステップＳＢ５へ進む（図４（Ｃ）参
照）。

【００６１】ステップＳＢ５では、欠陥画素の画素信号
Ｒ５を補正する。補正方法は、後に図７を参照しながら
説明するが、緑色画素信号の場合と同様に、平均化処理
により補正を行ってもよいし、その他の補正方法でもよ
い。以上で、処理を終了する。

【００６２】以上は１個の対象画素信号Ｒ５について説
明したが、全ての赤色画素信号について同様な処理を行
う。

【００６３】また、青色画素信号についても、赤色画素
信号の場合と同様にして、欠陥画素検出及び欠陥画素の
補正を行う。

【００６４】図７（Ａ）〜（Ｅ）は、赤色画素信号の補
間方法を示す図である。図７（Ａ）は、第１行Ｌ１及び
第２行Ｌ２の一部を示す。第２行Ｌ２には、第３列〜第
７列の５個の緑色画素信号Ｇ３〜Ｇ７が並ぶ。第１行Ｌ
１には、第３列、第５列及び第７列の赤色画素信号Ｒ
３，Ｒ５，Ｒ７が１画素おきに並ぶ。

【００６５】欠陥画素信号Ｒ５を補間する方法を説明す
る。以下、原色信号である緑色信号、赤色信号及び青色
信号を、Ｇ信号、Ｒ信号及びＢ信号という。

【００６６】まず、図７（Ａ）に示す原色信号Ｒ，Ｇを
図７（Ｂ）に示す色差信号Ｃｒに変換する。すなわち、
原色信号空間から色差信号空間への写像を行う。Ｙ−Ｃ
ｂ−Ｃｒ空間とＲ−Ｇ−Ｂ空間は、以下の関係を有す
る。ここで、Ｙ信号は輝度信号を意味する。

【００６７】Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ・・・（９）Ｃｒ＝０．７Ｒ−０．５９Ｇ−０．１１Ｂ・・・（１０）Ｃｂ＝−０．３Ｒ−０．５９Ｇ＋０．８９Ｂ・・・（１１）

【００６８】式（１０）は式（１２）に近似することが
でき、式（１１）は式（１３）に近似することができ
る。

【００６９】Ｃｒ≒Ｒ−Ｇ・・・（１２）Ｃｂ≒Ｂ−Ｇ・・・（１３）

【００７０】式（１２）を用いて、図７（Ａ）の各列に
ついてのＣｒ信号を求める。この際、欠陥画素Ｒ５を除
き、正常な第３列及び第７列の画素信号のみを次式によ
り求める。

【００７１】Ｃｒ３＝Ｒ３−Ｇ３Ｃｒ７＝Ｒ７−Ｇ７

【００７２】次に、上記の色差信号（図７（Ｂ））を基
に欠陥画素の色差信号Ｃｒ５（図７（Ｃ））を補間によ
り求める。例えば、色差信号Ｃｒ５を以下の直線補間に
より求める。

【００７３】Ｃｒ５＝（Ｃｒ３＋Ｃｒ７）／２なお、補間方法は、隣接する２画素を基に補間する場合
に限定されず、それ以上又はそれ以下の画素数を基に補
間を行ってもよい。また、補間方法は、直線補間に限定
されず、その他の重み付け補間により求めてもよい。

【００７４】次に、補間された色差信号Ｃｒ５（図７
（Ｃ））を原色信号Ｒ５’（図７（Ｄ））に戻す。原色
信号Ｒ５’は、上式（１２）を用いて以下のように求め
る。

【００７５】Ｒ５’＝Ｃｒ５＋Ｇ５図７（Ｅ）に示すように、補間後の第１列Ｌ１及び第２
列Ｌ２の画素信号が出力信号ＯＵＴ（図１）となる。

【００７６】上記の補間により、ノイズの少ない補間が
可能になり、解像度の低下及び偽色（本来被写体にない
色）の発生を抑制することができる。

【００７７】青色画素信号も、上記の赤色画素信号と同
様な方法により補間を行うことができる。

【００７８】図８は、図５のステップＳＡ１及びＳＡ２
に代わる他の処理を示すフローチャートである。図９
は、その処理を説明するためのグラフであり、横軸は画
素位置を示し、縦軸は画素値を示す。

【００７９】ステップＳＣ１では、対象画素信号Ｇ５及
びその周囲の４個の緑色画素信号Ｇ３，Ｇ４，Ｇ６，Ｇ
７の中で、対象画素信号Ｇ５が最大値又は最小値である
か否かを判断する。

【００８０】式（１４−１）〜（１４−４）を全て満た
す場合には、画素信号Ｇ５が最大値であると判断するこ
とができる。式（１５−１）〜（１５−４）を全て満た
す場合には、画素信号Ｇ５が最小値であると判断するこ
とができる。

【００８１】Ｇ５＞Ｇ３・・・（１４−１）Ｇ５＞Ｇ４・・・（１４−２）Ｇ５＞Ｇ６・・・（１４−３）Ｇ５＞Ｇ７・・・（１４−４）Ｇ５＜Ｇ３・・・（１５−１）Ｇ５＜Ｇ４・・・（１５−２）Ｇ５＜Ｇ６・・・（１５−３）Ｇ５＜Ｇ７・・・（１５−４）

【００８２】ステップＳＣ１の条件を満たさない場合に
は、画素信号Ｇ５が最大値でも最小値でもないので、画
素信号Ｇ５が欠陥画素ではないと判断し、Ｎｏの矢印に
従い、処理を終了する。ステップＳＣ１の条件を満たす
場合には、Ｙｅｓの矢印に従い、ステップＳＣ２へ進
む。

【００８３】ステップＳＣ２では、対象画素信号Ｇ５の
周囲の４個の緑色画素信号Ｇ３，Ｇ４，Ｇ６，Ｇ７の中
の最大値をＭＡＸとし、最小値をＭＩＮとする。例え
ば、図９では、画素信号Ｇ６がＭＡＸであり、画素信号
Ｇ３がＭＩＮである。

【００８４】ステップＳＣ３では、まず、最大値ＭＡＸ
と最小値ＭＩＮの平均値ＡＡを次式により求める。

【００８５】ＡＡ＝（ＭＡＸ＋ＭＩＮ）／２次に、対象画素信号Ｇ５と平均値ＡＡとの差の絶対値Ａ
Ｂを次式により求める。

【００８６】ＡＢ＝｜Ｇ５−ＡＡ｜次に、最大値ＭＡＸと最小値ＭＩＮとの差ＡＣを次式に
より求める。

【００８７】ＡＣ＝ＭＡＸ−ＭＩＮステップＳＣ４では、式（１６）を満たすか否かを判断
する。ここで、Ｃ３は定数である。すなわち、対象画素
信号Ｇ５が周囲の４個の画素信号Ｇ３，Ｇ４，Ｇ６，Ｇ
７よりも突出しているか否かを判断する。

【００８８】ＡＢ＞Ｃ３×ＡＣ・・・（１６）

【００８９】式（１６）を満たさない場合には、画素信
号Ｇ５が突出していないことを意味するので、画素信号
Ｇ５は欠陥画素でないと判断し、Ｎｏの矢印に従い、処
理を終了する。一方、式（１６）を満たす場合には、画
素信号Ｇ５が突出していることを意味するので、画素信
号Ｇ５が欠陥画素の疑いがあるとして、Ｙｅｓの矢印に
従い、図５のステップＳＡ３へ進む。

【００９０】さらに、図５のステップＳＡ３及びＳＡ４
についても、上記のステップＳＣ１〜ＳＣ４の処理で置
き換えることができる。

【００９１】また、ステップＳＡ３及びＳＡ４を、ステ
ップＳＣ１のみに置き換えて、処理を簡略化してもよ
い。すなわち、対象画素信号Ｇ５についてはステップＳ
Ｃ１〜ＳＣ４の処理を行い、その下の画素信号Ｒ５につ
いては最大値又は最小値であるか否かのみを判断する。
その際、画素信号Ｒ５が最大値又は最小値でないと判断
されたときには、対象画素信号Ｇ５が欠陥画素であると
判断することができる。

【００９２】緑色画素信号と同様に、赤色画素信号及び
青色画素信号についても、上記のステップＳＣ１〜ＳＣ
４又はステップＳＣ１を適用してもよい。

【００９３】上記の処理は、比較器、加算器、ビットシ
フト器を含む比較的簡単な演算器のみで実現することが
できるので、高速処理が可能になる。ステップＳＡ１及
びＳＡ２をステップＳＣ１〜ＳＣ４に置き換え、ステッ
プＳＡ３及びＳＡ４についてもステップＳＣ１〜ＳＣ４
に置き換えた上記の処理を、３２０×２４０画素の画像
（ＣＩＦ規格）について実際に行ったところ、３０フレ
ーム／秒のリアルタイム処理を実現することができた。

【００９４】図１０は、欠陥画素の画素位置を記憶する
ためのビットマップを示す図である。固体撮像素子１
（図１）は、例えば、ＣＩＦ規格の画像（３２０×２４
０画素）を撮像することができる。１画素を２つのフォ
トダイオードで構成する場合には、固体撮像素子１は３
２０×２４０×２個のフォトダイオードを有する。

【００９５】ビットマップ３１は、例えば６４０×２４
０個のフォトダイオードに対応する６４０×２４０ビッ
トを有する。ビットの値が０である場合には、そのビッ
トに対応するフォトダイオードが欠陥画素でないことを
意味する。ビットの値が１である場合には、そのビット
に対応するフォトダイオードが欠陥画素であることを意
味する。

【００９６】例えば、初期時の１０秒間に、上記の欠陥
画素検出を行い、欠陥画素であると判断されたフォトダ
イオードに対応するビットの値を１にする。同一のフォ
トダイオードが欠陥画素であると所定回数以上判断され
たときには、そのフォトダイオードが欠陥であることを
記憶し、後の処理では、欠陥画素であるか否かを判断せ
ず、そのフォトダイオードについては毎回補正を行うよ
うにする。

【００９７】上記の処理を行うことにより、欠陥画素検
出の結果を学習することができ、欠陥画素の検出率（認
識率）を向上させることができる。

【００９８】図１１は、他の固体撮像素子の構成を示す
平面図である。固体撮像素子３５は、いわゆるベイヤ配
列を有し、固体撮像素子１（図１）に比べ、色の配列の
みが異なる。奇数列では、赤色画素Ｒと緑色画素Ｇが交
互に並ぶ。偶数列では、青色画素Ｂと緑色画素Ｇが交互
に並ぶ。緑色画素Ｇは、垂直方向に赤色画素Ｒと青色画
素Ｂに挟まれる。出力部１５は、第１行Ｌ１及び第２行
Ｌ２の画素信号をＧ１，Ｒ１，Ｂ２，Ｇ２，・・・の順
番で出力する。

【００９９】図１２は、固体撮像素子３５における第１
行Ｌ１及び第２行Ｌ２の一部を示す図である。

【０１００】画素信号Ｇ５又は画素信号Ｒ５が欠陥画素
であるか否かを判断する方法を説明する。画素信号Ｇ５
及びその周囲の４個の緑色画素信号Ｇ１，Ｇ３，Ｇ７，
Ｇ９を用いて、画素信号Ｇ５がその周囲の画素信号より
も突出しているか否かを上記と同様な方法により判断す
る。そして、画素信号Ｒ５及びその周囲の４個の赤色画
素信号Ｒ１，Ｒ３，Ｒ７，Ｒ９を用いて、画素信号Ｒ５
がその周囲の画素信号よりも突出しているか否かを上記
と同様な方法により判断する。

【０１０１】画素信号Ｇ５又はＲ５が突出しているか否
かを判断することにより、画素信号Ｇ５又はＲ５の欠陥
画素検出を行うことができる。青色画素信号について
も、同様に、欠陥画素検出を行うことができる。

【０１０２】本実施例によれば、固体撮像素子は、２行
分のフォトダイオードが生成した画素信号を１行として
出力することができる。当該２行分の画素信号を用い
て、欠陥画素検出を行うことにより、高速な欠陥画素検
出が可能になり、動画のリアルタイム処理を行うことが
できる。

【０１０３】欠陥画素検出を短時間で行うことができる
ので、動画の各フレームについて、欠陥画素検出を行う
ことができる。この場合、欠陥画素の位置情報を予め記
憶するためのメモリが不要になる。

【０１０４】また、２行分の画素信号を基に欠陥画素検
出を行うので、その他の行を格納するためのフレームメ
モリやラインメモリが不要になる。メモリ容量を減らす
ことにより、コストを下げ、欠陥画素検出装置を小型化
することができる。

【０１０５】欠陥画素の中には、時間経過に応じて、欠
陥画素の症状がでたりでなかったりするものがある。そ
のような欠陥画素は、欠陥画素の位置情報を固定化して
予め記録しておくことは好ましくない。この場合は、欠
陥画素の位置情報を記憶せず、フレーム毎に欠陥画素検
出を行えば、上記の症状の欠陥画素についても検出する
ことができる。

【０１０６】なお、本実施例では、対象画素の周囲の４
画素を用いて、処理を行う場合を説明したが、４画素に
限定されない。

【０１０７】固体撮像素子は単板式に限定されず、２板
式や３板式であってもよい。単板式は、図１に示すよう
に、１つの基板上に３色の色フィルタを形成した形式で
ある。３板式は、３つの基板のそれぞれ単色の色フィル
タを形成した形式である。また、カラー画像に限定され
ず、白黒画像にも適用できる。すなわち、固体撮像素子
には、カラーフィルタを設けなくてもよい。

【０１０８】また、固体撮像素子は、２行単位で出力す
る場合を説明したが、３行以上を単位で出力するように
してもよい。

【０１０９】以上実施例に沿って本発明を説明したが、
本発明はこれらに制限されるものではない。例えば、種
々の変更、改良、組み合わせ等が可能なことは当業者に
自明であろう。

【０１１０】

【発明の効果】以上説明したように、本発明によれば、
画素信号出力手段が出力する１つの行には、第１の光電
変換素子行とそれに隣接する第２の光電変換素子行が生
成した画素信号が含まれている。欠陥検出手段は、当該
１つの行を基に欠陥を検出することにより、高速な検出
が可能になる。また、欠陥検出手段は、第１及び第２の
光電変換素子行が生成した画素信号を基に検出を行うの
で、第１の光電変換素子行が生成した画素信号のみを基
に検出を行う場合に比べ、高精度の検出を行うことがで
きる。

【０１１１】欠陥を高速に検出することができるので、
動画のリアルタイム処理が可能になる。すなわち、動画
の各フレーム画像についてリアルタイムで欠陥を検出す
ることができる。

【０１１２】また、動画をリアルタイムで処理すること
ができるので、欠陥画素の位置情報を予め記憶するため
のメモリが不要になる。

【図面の簡単な説明】

【図１】本発明の実施例による固体撮像素子の平面図で
ある。

【図２】従来技術による固体撮像素子の平面図である。

【図３】欠陥画素補正装置の構成を示すブロック図であ
る。

【図４】図４（Ａ）は欠陥画素がない場合を示し、図４
（Ｂ）及び（Ｃ）は欠陥画素がある場合を示す図であ
る。

【図５】緑色画素についての欠陥画素検出処理及び欠陥
画素の補正処理を示すフローチャートである。

【図６】赤色画素についての欠陥画素検出処理及び欠陥
画素の補正処理を示すフローチャートである。

【図７】図７（Ａ）〜（Ｅ）は赤色欠陥画素の補正方法
を示す図である。

【図８】図５のステップＳＡ１及びＳＡ２に代わる処理
のフローチャートである。

【図９】画素位置と画素値の関係を示すグラフである。

【図１０】欠陥画素を記録するためのビットマップを示
す図である。

【図１１】他の固体撮像素子の平面図である。

【図１２】図１１に示す固体撮像素子の一部を示す平面
図である。

【符号の説明】

１，２０，３５固体撮像素子２欠陥画素判定処理部３欠陥画素補正処理部１１，２１フォトダイオード１２，２２垂直電荷転送路１３チャネル位置変換部１４，２４水平電荷転送路１５，２５出力部３１ビットマップ

Claims

【特許請求の範囲】

【請求項１】光電変換により画素信号を生成する複数
の光電変換素子が並ぶ第１の光電変換素子行と、光電変換により画素信号を生成する複数の光電変換素子
が並ぶ光電変換素子行であって、前記第１の光電変換素
子行に隣接する第２の光電変換素子行と、少なくとも前記第１及び第２の光電変換素子行が生成す
る画素信号を含む画素信号を１行の出力行として転送及
び出力する画素信号出力手段と、前記画素信号出力手段が出力する１行の出力行の画素信
号を基に、該１行の出力行中の対象画素信号が欠陥を持
つ光電変換素子が生成した画素信号であるか否かを検出
する欠陥検出手段とを有する画素信号処理装置。
【請求項２】さらに、前記画素信号出力手段が出力す
る１行の出力行の画素信号を基に、前記欠陥検出手段が
検出する欠陥を持つ光電変換素子が生成した画素信号を
補間する補間手段を有する請求項１記載の画素信号処理
装置。