JP2619354B2

JP2619354B2 - 固体撮像装置

Info

Publication number: JP2619354B2
Application number: JP60058398A
Authority: JP
Inventors: 直樹小沢; 俊之秋山; 和弘佐藤; 脩策長原; 到三村
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1985-03-25
Filing date: 1985-03-25
Publication date: 1997-06-11
Anticipated expiration: 2012-06-11
Also published as: DE3687850D1; EP0199129A3; JPS61218290A; DE3687850T2; EP0199129A2; EP0199129B1; US4716455A

Description

【発明の詳細な説明】〔発明の利用分野〕本発明は撮像装置にかかわり、特に固体撮像素子を用
いた単板カラーカメラに関する。

〔発明の背景〕

現在、ひとつの固体撮像素子からカラーのビデオ信号
を得る単板カラーカメラが実用に供せられている。こう
したカメラでは固体撮像素子の各画素に透過光の異なる
数種の色フイルタを周期的に対応させることによつて複
数の色信号を得ている。したがつて各色信号の空間的サ
ンプリング周波数は画素のサンプリング周波数の数分の
１に低下するので色モワレが発生しやすい。

単板カラーカメラの色モワレを軽減する方法としてた
とえば特開昭54−131819号公報に示されるものがある。

この方法では次のような動作を行なう。たとえば第１
図に示す色フイルタを、各フイルタ片が固体撮像素子の
画素に１対１で対応するよう組み合わせると第２図
（ａ）に示す信号が得られる。これを分離して得た第２
図（ｂ）〜（ｄ）に示すR,G,B信号では、たとえば時刻t
₁にはＲ信号が得られるがG,B信号は得られず、時刻t₂に
はＧ信号が得られるが、R,B信号は得られない。そこで
たとえば時刻t₁ではR₁の大きさがR₀とR₂のどちらに近い
かを比較し、R₀に近いかどちらにも近ければG₀とB₀で、
またR₂に近いかどちらにも近くなければG₁とB₁でＧ信号
とＢ信号を補間する。こうした動作でR,G,B信号を補間
すると第２図（ｅ）〜（ｇ）に示すようにサンプリング
周波数が高く、位相のそろつた３信号が得られる。この
結果画素間隔に比べて十分な大きさをもつ被写体の境界
部では本来得られるべき信号がほぼ正しく補間されるの
で、こうした境界部で発生する色モワレが軽減される。

しかし、画素間隔の数倍の範囲で変化するパターンを
もつた被写体では正しく補間できず、逆に色モワレが増
加するという問題がある。

たとえば第１図に示した色フイルタに第３図に示す相
対関係で明暗の被写体を結像させると第４図（ａ）に示
す信号が得られる。これをR,G,Bに分離して上述の従来
処理を施すと第４図（ｂ）〜（ｄ）の信号となる。これ
らの信号を第３図の被写体の様子と比べると時刻t₄にお
けるＢ信号、時刻t₆,t₇におけるＧ信号等は本来得られ
るべき信号と明らかに異なる。この結果たとえば時刻t₄
ではあたかも青色の被写体を撮像したかのような信号と
なり、再生画上でにせの色が発生するという問題があ
る。

〔発明の目的〕

本発明の目的は固体撮像素子の画像間隔の数倍の範囲
で変化する被写体像に対してもにせの色が発生しにくい
固体撮像装置を提供することにある。

〔発明の概要〕

上記目的を達成するため本発明の固体撮像装置は、固
体撮像素子から順次得られる複数の色信号のうち特定時
刻に得られる信号とは異なる種類の色信号を当該時刻の
直前に得られる当該色信号で補間するかあるいは当該時
刻で得られる信号に対応する画素の被写体が無彩色であ
るものとして求めた当該色信号で補間するかの判定を、
当該時刻で得られる信号とこれの１周期前に得られる同
色信号との差あるいは当該時刻の直前および直後に得ら
れる信号とこれらの１周期前に得られる当該色信号との
差によつて行なうことに特徴がある。

〔発明の実施例〕

以下、本発明の一実施例を第5,6図により説明する。

第５図において固体撮像素子１には例えば第１図に示
す色フイルタを組み合わせているものとする。このとき
第３図に示す相対関係で明暗の被写体が結像すると出力
からは第６図（ａ）に示す信号が得られる。これを直列
に接続した遅延回路2_a,2_b,2_cに順次加える。各遅延回路
2_a,2b_b,2_cの遅延量は画素信号のサンプリング周期に等
しく設定する。この結果たとえば時刻t₃には出力線3_a,3
_b,3_c,3_dからそれぞれ時刻t₃,t₂,t₁,t₀に固体撮像素子か
ら得られたB₁,G₁,R₁,B₀の各画素信号が同時に得られ
る。

一方、第６図（ａ）の信号をサンプリングにより分離
したR,G,B信号はそれぞれ第６図（ｂ）〜（ｄ）に示す
とおりである。時刻t₃に得られる信号を例にとるとＢ信
号にはB₁が得られるがＲ信号,G信号は存在しない。ここ
で被写体像がB₀に対応した画素とB₁に対応した画素との
間で急峻に変化しない場合を考えるとB₀とB₁の値の差は
小さく、この間に得られるR₁,G₁と時刻t₃で得られるべ
きＲ信号,G信号との差も小さいことが期待できる。一
方、B₀に対応した画素とB₁に対応した画素の間で被写体
像が急峻に変化する場合はB₀とB₁の値の差が大きく、
R₁,G₁と時刻t₃で得られるべきＲ信号,G信号との差も大
である可能性が高い。

そこでB₀とB₁の差信号を得て、これが任意に選んだ基
準値以下であればこの間に被写体の急峻な変化はないも
のと見なし、時刻t₃に対応するＲ信号とＧ信号をそれぞ
れこの間に得られたR₁とG₁で補間する。またB₀とB₁の差
信号が基準値よりも大きいときはこの間に被写体の急峻
な変化があるものとして時刻t₃に対応するＲ信号とＧ信
号の補間にR₁,G₁は用いない。このときB₁に対応した画
素で撮像し被写体が無彩色であるものと仮定してB₁が得
られる無彩色の被写体で得られるべきＲ信号,G信号を補
間に用いる。

上述の説明は時刻t₃に対応するＲ信号とＧ信号を得る
方法を例にとつて行なつたが、他の時刻に対応する各信
号についてもR,G,Bの関係を順次入れかえることによつ
てあてはめることができる。

一般にNTSC方式やPAL方式などのビデオ信号では輝度
信号に比べて色信号の周波数帯域は狭帯域である。した
がつて色信号は高い周波数応答に対応する急峻な変化に
追従する必要はなく、被写体像の境界部などで色信号が
得られなくとも再生画の品質はあまりそこなわれない。
また通常の被写体の中に彩度の高い被写体が少ないこと
を考慮すれば、無彩色信号で補間を行なつても大きな誤
差を生じないことが期待できる。

以上の信号処理を実現するため第５図に示す実施例で
は出力線3_aから得られる信号（たとえば時刻t₃ではB₁）
と出力線3_dから得られる信号（時刻t₃ではB₀）とを減算
回路４へ加える。さらに減算回路４の出力信号を絶対値
回路５に加えて片極性の差信号を得る。こうして得られ
た差信号を基準信号発生器６から得られる基準信号とと
もに比較判定回路７に加える。比較判定回路７では差信
号が基準信号よりも大きい場合に“1"の制御信号を発生
し、差信号が基準信号より小さい場合には“0"の制御信
号を発生する。

一方、出力線3_aから得られた信号はゲインコントロー
ル回路8_a,8_b,8_cを経てゲート回路9_aに、また同様にゲイ
ンコントロール回路8_d,8_e,8_fを経てゲート回路9_bに加え
られる。

ここでたとえば任意の明度をもつ無彩色の被写体を撮
像したときR,G,Bの各色フイルタに対応した画素から得
られる信号の大きさをR_m,G_m,B_mとする。このとき次式が
成り立つr,g,bをえらべば無彩色被写体に対するR,G,Bの
画素の出力信号比が得られる。

こうして求まるr,g,bを用いてゲインコントロール回
路8_a,8_b,8_cのゲインをそれぞれg/b,b/r,r/gに、またゲ
インコントロール回路8_d,8_e,8_fのゲインをそれぞれr/b,
g/r,b/gに設定する。

この結果たとえば出力線3_aから得られる信号がＢ信号
であるとき、これに対応した無彩色の被写体で得られる
べきＧ信号がゲインコントロール回路8_aから、またＲ信
号がゲインコントロール回路8_dから得られる。

一方このとき、第６図（ａ）からわかるように出力線
3_bからはG₁信号が、出力線3_cからはR₁信号が得られる。
そこで固体撮像素子１の駆動パルスに同期した駆動回路
２からの信号によつてゲート回路9_a,9_bの出力にそれぞ
れゲインコントロール回路8_a,8_bの出力があらわれるよ
う制御すれば、ゲート回路10_aにはそのとき得られるB₁
信号から求めたＧ信号とB₁信号の直前に得られるG₁信号
とが加わり、同様にゲート回路10_bにはそのとき得られ
るB₁信号から求めたＲ信号とB₁信号の直前に得られるR₁
信号とが加わる。

同様に出力線3_aから得られる信号がＲ信号であるとき
はゲインコントロール回路8_b,8_eから無彩色の被写体に
対応したＢ信号,G信号が得られ、出力線3_aから得られる
信号がＧ信号であるときゲインコントロール回路8_c,8_f
から無彩色の被写体に対応したＲ信号,B信号が得られ
る。ゲート回路9_a,9_bの動作によつて出力線3_aの信号が
Ｒ信号であるときそれぞれの出力にゲインコントロール
回路8_b,8_eの出力があらわれ、出力線3_aの信号がＧ信号
であるときゲインコントロール回路8_c,8_fの出力があら
われるように制御すれば、ゲート回路10_a,10_bにはその
とき得られる信号から求めた無彩色時の当該色信号とそ
の直前で得られる当該色信号が同時に加わる。

ここでゲート回路10_a,10_bには比較判定回路７から得
られる制御信号を加える。ゲート回路では制御信号が
“1"、すなわちそのとき得られる信号と一周期前に得ら
れる同色信号との差が大きいときにはそれぞれの出力に
ゲート回路9_a,9_bから得られる無彩色に対応した当該色
信号があらわれる。また制御信号が“0"、すなわちその
とき得られる信号と一周期前に得られる同色信号の差が
小さいときには出力線3_b,3_cから得られる直前の当該色
信号があらわれる。

さらにゲート回路10_a,10_bから得られる信号を出力線3
_aから得られる信号とともにゲート回路11_a,11_b,11_cに加
える。ゲート回路11_a,11_b,11_cには駆動回路12から得ら
れる固定撮像素子１の駆動パルスに同期した信号を加
え、それぞれの出力からＢ信号,R信号,G信号が分離して
得られるよう制御する。

以上の結果、第６図（ａ）の信号からは（ｅ）〜
（ｇ）に示すとおりサンプリング周波数が画素のサンプ
リング周波数に等しく、位相のそろつたR,G,B信号を得
ることができる。これらの信号は本来得られるべき信号
とは若干異なるが、第４図（ｂ）〜（ｄ）に示した従来
例で得られるものと比べると時刻t₄に対応するＢ信号、
時刻t₆,t₇に対応するＧ信号が改善されており、再生画
上で発生するにせの色が軽減される。

なお第５図に示す実施例では固体撮像素子１から得ら
れる画像信号を直列に接続した遅延回路2_a,2_b,2_cによつ
て遅延されるものとしたが、第７図に示す別の実施例の
ように遅延時間が画素のサンプリング周期の1,2,3倍で
ある遅延回路13_a,13_b,13_cを並列接続して用いることも
できる。

また第５図に示す実施例では基準信号発生器６から得
られる一定の基準信号を比較判定回路７に加えるものと
した。このような場合、一般に無彩色被写体に対するＢ
信号の出力は他の信号に比べて小さいので同じ無彩色被
写体の変化に対してＧ信号では“1"の制御信号が得られ
るがＢ信号では“0"の制御信号となる不都合が起こる可
能性がある。そこで第８図の実施例に示すように基準信
号発生器６から得られる一定の基準信号をポテンシヨメ
ータ14_a,14_b,14_cによつてそれぞれb,r,gに比例した大き
さの基準信号に変換した後、ゲート回路15に加える。ゲ
ート回路15にはゲート回路9_a,9_bに印加するものと同様
に駆動回路12からの制御信号を加えて、ゲート回路15の
出力から得られる基準信号が絶対値回路５から得られる
信号の色の種類と対応するものとなるように制御する。
この結果、比較判定回路７からは入力する色信号の種類
が異なつても判定の変わることのない安定した制御信号
が得られる。

また第５図に示す実施例ではそのとき得られる信号か
ら求めた無彩色に対応する当該色信号とその直前に得ら
れる当該色信号の切り換えをゲート回路10_a,10_bによつ
て行なつたが、第９図に示す別の実施例のようにゲイン
コントロール回路16_a,16_b,16_c,16_dと加算回路17_a,17_bを
用いることも可能である。ここでゲインコントロール回
路16_a,16_cのゲインはたとえば第10図の曲線C1に示すよ
うに、またゲインコントロール回路16_b,16_dのゲインは
第10図の曲線C2に示すように制御信号の大きさに対して
直線的に変化するよう設定する。

この際、制御信号には絶対値回路５から得られる片極
性の差信号を加えるものとする。ゲート回路10_a,10_bの
代わりにゲインコントロール回路16_a,16_b,16_c,16_dを用
いるとレンズしぼりを変えていつたときなどに起こる、
ある明るさで突然被写体の境界部の信号が切り換わる不
自然さが防止できる。

なお、第５図に示す実施例では任意の時刻における本
来そこでは得られない色信号をその直前に得られる当該
色信号で補間できるかどうかの判定を、当該時刻に得ら
れる信号とその一周期前に得られる同色信号との差で行
なつている。これによるとたとえば第６図に示す時刻t₈
での判定はG₂とG₃の差信号で行なうので被写体像の急峻
な変化が検知できない。そこで当該時刻の直前に得られ
る色信号とその一周期前に得られる同色信号との差およ
び当該時刻の直後に得られる色信号とその一周期前に得
られる同色信号との差とを求めれば、当該時刻に対応す
る画素とその直前の他色の画素との間にある被写体像の
急峻な変化をより高い確率で検出することができる。

上述の方法に対応する実施例を第11図に示す。第11図
に示す実施例では画素信号のサンプリング周期に等しい
遅延量の遅延回路2_a,2_b,…,2_eを直列に接続することに
よつてたとえば時刻t₄には出力線3_a,3_b,3_c,3_d,3_e,3_fか
らそれぞれR₂,B₁,G₁,R₁,B₀,G₀の画素信号が得られる。
ここで出力線3_a,3_dから得られる信号を減算回路4_cに加
えればR₂とR₁との差信号が求まり、出力線3_c,3_fから得
られる信号を減算回路4_bに加えればG₁とG₀との差信号が
求まる。なお出力線3_b,3_eから得られる信号を減算回路4
_aに加えてB₁とB₀との差信号を求めることは第５図に示
す実施例と同様である。また出力線3_bから得られるB₁を
ゲインコントロール回路8_a,8_b,…,8_fおよびゲート回路1
1_a,11_b,11_cに加え、出力線3_c,3_dから得られるG₁,R₁をゲ
ート回路10_a,10_bに加えることも第５図に示す実施例と
同様である。

減算回路4_a,4_b,4_cの出力信号をそれぞれ絶対値回路
5_a,5_b,5_cに加えて片極性の差信号とした後、第12図で示
すように３入力信号I₁,I₂,I₃の最大値が出力Ｏにあらわ
れる最大値検出回路18に加える。こうして得られた信号
を基準信号発生器６からの基準信号とともに比較判定回
路７に加えて求めた制御信号でゲート回路10_a,10_bを制
御する。一方ゲインコントロール回路8_a,8_b,…,8_f、ゲ
ート回路9_a,9_b、ゲート回路10_a,10_b、ゲート回路11_a,11
_b,11_cなどそのほかの動作は第５図に示す実施例と同様
である。以上のような動作によつてゲート回路11_a,11_b,
11_cからは第６図（ｈ），（ｉ），（ｊ）に示すような
R,G,B信号が得られる。これらの信号は第５図に示す実
施例で得られる第６図（ｅ），（ｆ），（ｇ）の信号よ
りもさらに本来得られるべき信号に近いものとなるので
再生画に発生するにせの色を大幅に改善できる。

なお、第11図に示す実施例で用いた最大値検出回路18
の代わりに加算回路を用いても同様な効果が期待できる
ことは明らかである。

また第13図に示す実施例は前述した無彩色被写体に対
するR,G,B信号の大きさに違いによる検出確率の低下を
改善するものである。絶対値回路5_a,5_b,5_cの出力をゲー
ト回路19_a,19_b,19_cに加え、これを駆動回路12から得ら
れる制御パルスによつてＢ信号の差信号が1/bに対応し
たゲインのゲインコントロール回路20_aに加わり、Ｇ信
号の差信号およびＲ信号の差信号がそれぞれ1/g,1/rに
対応したゲインのゲインコントロール回路20_b,20_cに加
わるよう制御する。この結果ゲインコントロール回路20
_a,20_b,20_cからは検出する色信号の種類にかかわらず同
一の無彩色被写体に対して等しい大きさの差信号が得ら
れる。

また第11図に示す実施例で３つの片極性差信号の最大
値信号を求めた後、比較判定回路７に加えている。これ
に対して第14図は絶対値回路5_a,5_b,5_cの出力を基準信号
発生器６からの基準信号とともに比較判定回路7_a,7_b,7_c
に加えて制御信号を求めた後、これらを最大値検出回路
18に加える実施例を示している。第14図に示す実施例で
第11図の実施例と同様の効果が得られることは明らかで
ある。

また、第９図に示す実施例と同様に第15図の実施例の
ごとくゲート回路10_a,10_bをゲインコントロール回路1
6_a,16_b,16_c,16_dと加算回路17_a,17_bにおきかえれば被写
体の境界部での信号の切りかわりが不自然になることを
防止できる。

なお任意の時刻における本来そこでは得られない色信
号の補間をその直前に得られる当該色信号で行なえるか
どうかの判定にさらに多種の差信号を用いれば、より高
い確率で当該時刻に対応する画素と直前の補間信号に対
応する画素との間にある被写体像の急峻な変化を検出で
きる。たとえば第16図に示す実施例では第11図の実施例
に遅延回路2_f,2_g、減算回路4_d,4_e、絶対値回路5_d,5_eを
付加してたとえば時刻t₃に対応した位置で得るべき信号
の判定にG₁とG₂との差信号およびB₁とB₂との差信号を用
いている。第16図の実施例によれば第６図（ｋ）〜
（ｍ）に示すように本来得られるべき信号が求まるので
再生画上のにせの色を除去することができる。

また本発明の説明は第１図に示す色フイルタを例にと
つて行なつたが、数種の信号が順次繰り返す時系列信号
に適用できることは明らかである。したがつて第17図
（ａ），（ｂ）などの補色系フイルタを用いたもの、
（ｃ），（ｄ）などの繰り返しが３画素以外のもの、
（ｅ）などの縦方向が同色でないもの、（ｆ）などの１
ラインおきに画素が水平方向にずれた固体撮像素子に対
応したものなどあらゆる色フイルタと組み合わせた単板
カラーカメラに適用可能である。

〔発明の効果〕本発明によれば固体撮像素子の画素間隔の数倍の範囲
で変化する被写体像に対して、にせの色が発生しにくい
信号補間を行なうことができ、色モワレを大幅に軽減す
ることができる。

【図面の簡単な説明】

第１図は単板カラー用フイルタの一例を示す図、第２図
は従来例の動作を説明するための信号を示す図、第３図
は従来例での問題点を指摘するための被写体の一例を示
す図、第４図は第３図に示す被写体で得られる信号を示
す図、第５図は本発明の実施例を示す図、第7,8,9,11,1
3,14,15,16図は本発明の他の実施例を示す図、第６図は
本発明の実施例で得られる信号を示す図、第10図は本発
明の実施例に用いるゲインコントロール回路の特性の一
例を示す図、第12図は本発明の実施例に用いる最大値検
出回路の動作を説明する図、第17図は本発明が適用可能
な単板カラー用フイルタの他の例を示す図である。４……減算回路、７……比較判定回路、８……ゲインコ
ントロール回路、10……ゲート回路、16……ゲインコン
トロール回路、17……加算回路、18……最大値検出回
路、19……ゲート回路、20……ゲインコントロール回
路。

───────────────────────────────────────────────────── フロントページの続き (72)発明者長原脩策国分寺市東恋ヶ窪１丁目280番地株式会社日立製作所中央研究所内 (72)発明者三村到国分寺市東恋ヶ窪１丁目280番地株式会社日立製作所中央研究所内

Claims

(57)【特許請求の範囲】

【請求項１】複数種類の色フィルタ素子からなる単位配
列が規則的に繰り返されて構成された色フィルタと、上
記色フィルタから順次出力される画素信号を所定のサン
プリング周期で遅延させながら上記単位配列を構成する
画素信号を同時に出力する遅延手段と、上記色フィルタ
の出力信号が無彩色の被写体を撮像したときに得られる
信号であると仮定したときの、上記色フィルタの出力信
号とは色の異なる他の画像信号の大きさを、上記他の画
像信号の夫れ夫れの上記色フィルタの出力信号に対する
出力信号比を上記色フィルタの出力信号の大きさに掛け
て求めるを演算し、この演算信号を出力する第１の手段
と、上記遅延手段によって最も遅延された上記色フィル
タの出力信号と同色の画素信号及び上記色フィルタの出
力信号の大きさの差と予め定められた基準値との大小に
基づいて判定信号を出力する比較判定手段と、上記遅延
手段によって最も遅延された画素信号と上記色フィルタ
の出力信号との間で上記遅延手段から出力された上記色
フィルタの出力信号とは色の異なる画素信号または上記
演算信号を上記判定信号に応じて選択的に出力する第２
の手段と、上記色フィルタの出力信号及び上記第２の手
段の出力信号に基づいて上記所定のサンプリング周期で
位相のそろった複数種類の色信号を得る第３の手段を有
することを特徴とする固体撮像装置。
【請求項２】上記遅延手段は、上記色フィルタ素子の種
類と等しい数の遅延素子が直列に接続されて成ることを
特徴とする特許請求の範囲第１項に記載の固体撮像装
置。
【請求項３】上記遅延手段は、遅延時間が上記所定のサ
ンプリング周期の整数倍である遅延回路が複数個並列接
続されて成ることを特徴とする特許請求の範囲第１項に
記載の固体撮像装置。
【請求項４】上記比較判定手段において上記基準値は上
記出力信号比に比例する値に変換されて用いられている
ことを特徴とする特許請求の範囲第１項から第３項のい
ずれかに記載の固体撮像装置。
【請求項５】上記第１の手段を複数個備えたことを特徴
とする特許請求の範囲第１項から第４項のいずれかに記
載の固体撮像装置。