JP4320807B2 - Camera signal processing apparatus and camera signal processing method - Google Patents
Camera signal processing apparatus and camera signal processing method Download PDFInfo
- Publication number
- JP4320807B2 JP4320807B2 JP31516698A JP31516698A JP4320807B2 JP 4320807 B2 JP4320807 B2 JP 4320807B2 JP 31516698 A JP31516698 A JP 31516698A JP 31516698 A JP31516698 A JP 31516698A JP 4320807 B2 JP4320807 B2 JP 4320807B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel data
- input
- circuit
- correlation value
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、単板式のカメラ装置で生成するカメラ信号の処理を行うカメラ信号処理装置及びカメラ信号処理方法に関し、詳しくは固体撮像素子で生成した撮像信号から輝度信号又は色差信号を生成するときに各画素における補間値の相関を示す相関値を算出するカメラ信号処理装置及びカメラ信号処理方法に関する。
【0002】
【従来の技術】
従来において、CCD(Charge Coupled Device) 等の固体撮像素子を用いた単板式のカメラ装置においては、CCDの各画素に対応した位置にR,G,Bに対応した色フィルタが配設されている。そして、このカメラ装置においては、CCDに入力する光に基づいて輝度信号を作成するとともに、色フィルタを介してCCDに入力する光に応じて色信号を作成している。このとき、カメラ装置においては、色フィルタが配されたCCDの各画素毎に入力する光に応じてR,G,Bに対応した色信号を作成している。
【0003】
このようなカメラ装置におけるCCDは、1つの画素毎にR,G,Bを有する色フィルタが配されており、例えば水平方向にR,G,R,G,・・・という配列となされている。そして、このカメラ装置においては、各画素に対応して配された色フィルタに対応して色信号を作成している。したがって、このようなCCDにおいては、Rの色フィルタが配されている画素においてはGに対応した色信号が生成されないこととなり、Gに対応した色信号を補間して生成する必要がある。
【0004】
このようなカメラ装置において、各画素において水平方向から補間して補間画像を得るときには、水平方向において隣接する画素データを加算処理して平均を計算することで補間を行う。また、垂直方向から補間するときには、水平方向と同様に垂直方向において隣接する画素データを加算処理して、平均を計算することで補間を行う。
【0005】
そして、このようなカメラ装置において、CCDの画素上に例えばRを示す色フィルタが配されている場合、Gを示す色信号を上述した補間を行うことでGを示す信号を生成する。
【0006】
また、単板式のカメラ装置においては、補間を行って画素データを生成するときに、垂直方向及び水平方向における相関を示す相関値を検出する。この相関値を検出するときには、周囲に配された画素の信号をフィルタを用いて計算することで垂直方向における相関値及び水平方向における相関値を算出する。そして、このカメラ装置においては、相関値を用いて、補間して得た補間画素データに重み付けを行う。
【0007】
【発明が解決しようとする課題】
しかし、上述したように、相関値を検出する場合においては、CCDで生成される画素データに対してバンドパスフィルタを用いて相関値を検出するので、CCDで生成する画素データにノイズ成分が含まれている場合、当該ノイズに対しても相関値を算出することとなる。
【0008】
このように、CCDからの画素データにノイズがある場合において相関値を検出すると、誤った相関値を算出することとなる。したがって、このように算出した相関値を用いて補間画素データに重み付けを行うと、偽色信号が発生してしまい、画像が劣化する恐れがある。
【0009】
そこで、本発明は、上述したような実情に鑑みて提案されたものであり、補間画素データにCCD等から生ずるノイズがあっても、重み付けを行う相関値により偽色が発生させることがないカメラ信号処理装置及びカメラ信号処理方法を提供することを目的とする。
【0010】
【課題を解決するための手段】
上述の課題を解決する本発明にかかるカメラ信号処理装置は、各画素に対応して分光感度が異なる色フィルタを介して撮像光が入射される固体撮像素子からの撮像信号に基づいて生成される画素データの当該位置及び/又は周囲の画素データに基づいて少なくとも2以上の方向から補間して各方向の補間画素データをそれぞれ生成する補間画素データ生成手段と、上記補間画素データ生成手段で生成した補間画素データの上記2以上の方向における相関の程度を示す相関値をそれぞれ検出する相関検出手段と、上記相関検出手段で検出した各方向の相関値を絶対値化する絶対値化手段と、上記絶対値化手段で絶対値化された各方向の相関値から所定値だけ減算処理する減算手段と、上記減算手段で減算処理された各方向の相関値が正の値となるように制限する制限手段とを備えるノイズ除去手段と、上記補間画素データ生成手段で生成した各方向の補間画素データに上記ノイズ除去手段で制限された各方向の相関値で重み付けをして、重みづけられた各補間画素データを加算処理して補間画素データを生成する重み付け手段と、上記重み付け手段で重みづけられた補間画素データに基づいて画像を生成する画像生成手段とを備えることを特徴とする。
【0011】
また、本発明にかかるカメラ信号処理方法は、 各画素に対応して分光感度が異なる色フィルタを介して撮像光が入射される固体撮像素子からの撮像信号に基づいて生成される画素データの当該位置及び/又は周囲の画素データに基づいて少なくとも2以上の方向から補間して各方向の補間画素データをそれぞれ生成し、生成された補間画素データの上記2以上の方向における相関の程度を示す相関値をそれぞれ検出し、検出された各方向の相関値を絶対値化し、絶対値化された各方向の相関値から所定値だけ減算処理し、減算処理された各方向の相関値が正の値となるように制限し、制限された各方向の相関値で上記各方向の補間画素データに重み付けをして、重みづけられた各補間画素データを加算処理して補間画素データを生成することを特徴とする。
【0012】
【発明の実施の形態】
以下、本発明に係るカメラ信号処理装置及びカメラ信号処理方法について図面を参照しながら説明する。
【0013】
本発明に係るカメラ信号処理装置は、図1に示すように、入力された光に応じて例えば静止画像を生成するカメラ装置1に適用できる。
【0014】
このカメラ装置1は、CCD(Charge Coupled Device) イメージャ(以下CCDと称する。)に被写体を結像するする光学系2と、CCD3と、このCCD3を駆動するタイミングジェネレータ4と、CCD3から撮像信号が入力されるサンプル/ホールド回路5と、サンプル/ホールド回路5から撮像信号が入力されゲインを調整するAGC回路6と、入力された撮像信号をデジタル方式の画像データに変換するA/D変換回路7と、画像データにカメラ信号処理を行うカメラ処理部8と、CCD3で生成する撮像信号を検波するCCD検波部9と、これら各部を制御する制御部10とから構成されている。
【0015】
ここで、CCD3には、R(レッド)の光を透過する領域と、G(グリーン)の光を透過する領域と、B(ブルー)の光を透過する領域とがマトリクス状に形成された色フィルタが配設されており、各画素毎に当該色フィルタを透過した光が入力される。この色フィルタは、例えば、各色の光を透過する領域が水平方向にR,G,R,G・・・又はG,B,G,B・・・と配設されている。すなわち、CCD3は、各画素毎で各色R,G,Bに対応した光に基づいて画素データR,画素データG,画素データBを生成する。
【0016】
このCCD検波部9では、A/D変換回路7でデジタル方式に変換された画像データが入力される。そして、このCCD検波部9で検波された画像データは、例えばAE(auto exposure)回路、AF(auto focus)回路に入力される。そして、例えばAE回路に入力された画像データは、電子シャッタのシャッタスピード又は絞りを調整するために使用され、CCD3に入射する光の明るさを自動で切り換える。
【0017】
カメラ処理部8は、A/D変換回路7から画像データが入力される欠陥補正回路11と、欠陥補正回路11から画像データが入力されるCLP回路12と、CLP回路12から画像データが入力されるホワイトバランス回路13と、ホワイトバランス回路13から画像データが入力されるγ補正回路14を備える。
【0018】
欠陥補正回路11は、A/D変換回路7からの画像データに欠陥補正を施す。この欠陥補正回路11は、欠陥を有するために画素データが生成されない画素の欠陥を補正して、CLP回路12に画像データを出力する。
【0019】
CLP回路12には、欠陥補正回路11からの画像データからオプティカルブラックを差し引く。このようにCLP回路12では、入力した画像データの黒レベルを補正して、当該画像データをホワイトバランス回路13に出力する。
【0020】
ホワイトバランス回路13には、CLP回路12からの画像データR,G,Bに対応した色毎のレベルを調整する。このようにホワイトバランス回路13は、各色毎にレベルが調整された画像データをγ補正回路14に出力する。
【0021】
このγ補正回路14には、ホワイトバランス回路13からの画像データにγ補正を施す。そして、このγ補正回路14は、γ補正を施した画像データを後述する画像データ補間部と相関値検出部とに出力する。
【0022】
また、この信号処理部8は、図2に示すように、γ補正回路14から画像データが入力される画像データ補間部15と、各画素データ間の相関値を検出する相関値検出部16と、相関値のノイズを除去するノイズ除去部17と、相関値にオフセットをかけるオフセット回路18と、相関値を正規化する正規化回路19と、相関を検出する方向の偏りを補正する偏り補正回路20と、相関の強調及び低減を行う強調・低減回路21と、補間した画像データに相関値を用いて重み付けを行う加重加算回路22と、画像データの輪郭を補正する輪郭補正回路23と、画像データを輝度信号(Y)と色差信号(C)とからなるY/C信号に変換するY/C変換部24と、色差信号による偽色信号を抑制する色差信号抑制部25と、出力部26とを備える。
【0023】
画像データ補間部15には、γ補正回路14から複数の画素データからなる画像データが入力される。この画像データ補間部15は、各画素毎に各画素データR,G,Bの補間を行って、各補間画素データR’,G’,B’を生成するものである。この画像データ補間部15は、水平方向に配列した画素に対応した画素データの補間を行う水平方向補間回路15aと、垂直方向に配列した画素に対応した画素データの補間を行う垂直方向補間回路15bとからなる。
【0024】
水平方向補間回路15aには、図3に示すようなマトリクス状に配列された各画素に対応する画素データR,G,Bが入力される。この水平方向補間回路15aは、下記の式1に示すフィルタを用いて水平方向における補間画素データを算出する。なお、図3は、各画素毎に対応した画素データR,G,Bを示す図であり、各画素の配置として座標を数字で示した図である。また、この以下の説明においては、水平方向におけるライン毎に0h,1h,2h,3h,4hと配されているとして以下の説明を行う。
【0025】
[1,4,6,4,1]/8 (式1)
すなわち、補間画素データR’,G’,B’の算出を行うときには、式1に示すフィルタを用いるために、水平方向補間回路15aを図4に示すように構成する。
【0026】
水平方向補間回路15aは、水平方向における補間画素データR’,G’,B’を作成するとき、図4に示すように構成する。この水平方向補間回路15aは、γ補正回路14から画素データが入力される入力部30と、入力部30から各画素データが入力される遅延回路31と、遅延回路31から水平方向における各画素データが入力され補間画素データを生成するフィルタ回路32と、フィルタ回路32を介して補間画素データが入力されるセレクタ回路33と、セレクタ回路33からの補間画素データを出力する出力端子34とからなる。
【0027】
入力部30には、γ補正回路14から水平方向における各画素データが順次入力される。この入力部30には、1画素データ毎にクロックで順次入力される。遅延回路31は、入力部30で入力した各画素データが入力される遅延回路31a〜31dからなる。この遅延回路31は、入力された各画素データを上記のクロックと同期して各遅延回路31a〜31dに入力し、フィルタ回路32に出力する。
【0028】
フィルタ回路32は、入力部30及び遅延回路31dを介して画素データが入力される加算器32aと、遅延回路31a及び遅延回路31cを介して画素データが入力される加算器32bと、遅延回路31bを介して画素データが入力される加算器32cと、加算器32a及び加算器32cからの出力が入力される加算器32dとからなる。
【0029】
加算器32aは入力部30から直接入力される画素データ及び遅延回路31dを介して画素データが入力され、加算器32cは遅延回路31bを介して画素データが入力され、加算器32dは加算器32a及び加算器32cを介して画素データが入力される。また、加算器32bは遅延回路31a及び遅延回路31cを介して画素データが入力される。
【0030】
すなわち、このフィルタ回路32は、加算器32a,32c,32dで[1,0,6,0,1]/8のフィルタを構成し、加算器32bで[1,0,1]/2のフィルタを構成している。
【0031】
セレクタ回路33は、加算器32dからの出力及び遅延回路31bを介して画素データが入力されるセレクタ33a、33bと、セレクタ33aからの出力及び加算器32bからの出力が入力されるセレクタ33cと、加算器32b及びセレクタ33bからの出力が入力されるセレクタ33dとを有する。
【0032】
また、各セレクタ33a〜33dは、制御部10からの制御信号が入力されて、その動作が制御されている。
【0033】
出力部34は、セレクタ33cからの出力を出力する端子34aとセレクタ33dからの出力を後述するエッジ処理回路に出力する端子34bとを有する。
【0034】
このように構成された水平方向補間回路15aは、例えば画素データG22について、補間画素データR22’,B22’のみならず、補間画素データG22’をも算出する。
【0035】
水平方向補間回路15aで、例えば図3中の画素データG22についての補間画素データG22’を算出するときには、入力部30で2hにおける画素データG20,R21,G22,R23,G24を順次入力する。
【0036】
次に、入力部30で入力した画素データG20,R21,G22,R23,G24を遅延回路31によりフィルタ回路32に入力する。すなわち、画素データG20を加算器32aに入力し、画素データR21を加算器32bに入力し、画素データG22を加算器32cに入力し、画素データR23を加算器32bに入力し、画素データG24を加算器32aに入力する。
【0037】
次に、フィルタ回路32で各画素データG20,G22,G24から、画素データG22についての補間画素データG22’の演算を行う。すなわち、加算器32aでは画素データG20と画素データG24とを加算処理して加算器32dに出力する。また、加算器32cでは、画素データG22を4倍とするとともに2倍としてこれらを加算処理して加算器32dに出力する。そして、加算器32dでは、加算器32aと加算器32cとからの出力を入力して、これらを加算処理するとともに1/8の乗算処理を行ってセレクタ回路33に出力する。また、加算器32bでは、画素データR21と画素データR23を入力してこれらを加算処理するとともに1/2の乗算処理を行ってセレクタ回路33に出力する。
【0038】
このように加算器32a,32c,32dで加算処理を行うことにより、{画素データG20+6×画素データG22+画素データG24}/8という演算を行う。一方、加算器32bで加算処理を行うことにより、{画素データR21+画素データR23}/2という演算を行う。すなわち、このフィルタ回路32では、加算器32bで[1,0,1]/2というフィルタを構成し、加算器32a,32c,32dで[1,0,6,0,1]/8というフィルタを構成し、画素データG20,G22,G24を上述した式1に示すフィルタを通過させる。したがって、このフィルタ回路32によれば、画素データR22,G22についての補間画素データR22’,G22’を作成する。
【0039】
次に、セレクタ33a及びセレクタ33bでは、補間画素データG22’を入力するとともに、画素データG22を入力する。また、セレクタ33a及びセレクタ33bでは、制御部10から制御信号H又は制御信号Lを入力する。ここで、セレクタ33a及びセレクタ33bでは、制御信号Hが入力されたときには、フィルタ回路32からの補間画素データG22’をそのままセレクタ33c,33dに出力し、制御信号Lが入力されたときには、画素データG22をセレクタ33c,33dに出力する。
【0040】
次に、この制御部10では、画素データG22についての補間画素データG22’がフィルタ回路32で生成されていることから、制御信号Lをセレクタ33c及びセレクタ33dに出力する。このように、セレクタ33c,33dに制御信号Lが入力されると、セレクタ33cでは補間画素データR22’を出力し、セレクタ33dでは画素データG22又は補間画素データG22’を出力する。
【0041】
一方、制御部10からセレクタ33c,セレクタ33dに制御信号Hが入力された場合、セレクタ33cはセレクタ33aから入力されたデータを出力し、セレクタ33dは加算器32bから入力されたデータを出力する。
【0042】
すなわち、このセレクタ33dは、例えば画素データG22についての補間画素データG22’を出力するときにはセレクタ33bからの入力を出力し、図3中の画素データG23についての補間画素データG23’を出力するときには、加算器32bからの入力を出力するように制御される。そして、セレクタ33cは端子34aに画素データR又は画素データBについての補間画素データR22’を出力し、セレクタ33dは端子34bに画素データGについての補間画素データG22’を出力する。
【0043】
このように画素データGについての補間画素データG’を算出するときは、入力した画素データR,Gのうち、図5に示すような画素データGのみからなるCCD3を想定して補間画素データG’を算出する。したがって、この水平方向補間回路15aでは、画素データGが存在しない画素について補間画素データG’を算出するときには[1,0,1]/2というフィルタを使用して補間画素データG’を算出し、画素データGが存在する画素について補間画素データG’を算出するときには[1,0,6,0,1]/8というフィルタを使用して補間画素データG’を算出することとなる。したがって、このようなフィルタを用いて補間画素データG’を算出する水平方向補間回路15aでは、これらのフィルタの周波数特性が図6及び図7に示すようになる。すなわち、この[1,0,6,0,1]/8というフィルタでは図6に示すような周波数特性を示し、[1,0,1]/2というフィルタでは図7に示すような周波数特性を示す。この図6及び図7に示したフィルタの周波数特性によれば、水平方向補間回路15aでは、これらのフィルタを用いることで画素データGが存在する画素における補間画素データG’の周波数特性と画素データGが存在しない補間画素データG’の周波数特性との差を小さくすることができる。
【0044】
したがって、このように各画素データGについての補間画素データG’を算出することにより、図8に示すような補間画像データG’を得ることができる。
【0045】
また、上述した水平方向補間回路15aは、2hにおいて画素データG22についての補間画素データR22’を[1,0,1]/2のフィルタを用いて算出したが、上述と同様に1hにおいては、画素データG11についての補間画素データB11’を算出することもできる。
【0046】
次に、2hにおける画素データG22についての補間画素データB22’を算出するときには、図9に示したフィルタを用いて行う。すなわち、以下の説明では、画素データBが存在しないラインにおいて、補間画素データB’を算出する一例について説明する。
【0047】
画素データG22の補間画像データB22’を算出するときには、図9に示すように構成した水平方向補間回路15a’を用いて補間画素データB22’を算出する。なお、以下の水平方向補間回路15a’の説明においては、図4に示した水平方向補間回路15aと同様の部分については同一の符号を付することでその詳細な説明を省略する。すなわち、この図9に示した水平方向補間回路15a’では、入力部30を例えば1hにおける画素データがB10,G11,B12,G13,B14の順に入力される端子30aと、3hにおける画素データがB30,G31,B32,G33,B34の順に入力される端子30bとからなるものとしている。そして、この図9に示した水平方向補間回路15a’は、端子30a,30bから画素データが入力される加算器35を備えている。この加算器35では、端子30a及び端子30bからの画素データが入力されて、加算処理を行うとともに除算処理を行う。すなわち、この加算器35では、例えば{画素データB10+画素データB30}/2という処理を行う。そして、この図9の水平方向補間回路15a’では、図4に示した水平方向補間回路15aと同様に遅延回路31a〜31d,加算器32,セレクタ回路33を介して補間画素データG’,B’を出力する。
【0048】
すなわち、この水平方向補間回路15a’では、先ず、垂直方向において隣接した1h及び3hに配列した画素に対応した画素データBの相加平均で垂直方向を補間することで、図10に示すように配置された各画素の画素データBを、図11に示すように、垂直方向に補間して補間画素データB’を算出する。
【0049】
次に、この垂直方向における画素データB及び補間して得た補間画素データB’を[1,0,6,0,1]/8のフィルタ、[1,0,1]/2のフィルタを介して画素データBの水平方向における補間画素データB’を算出する。
【0050】
すなわち、この水平方向補間回路15a’では、水平方向に画素データBが存在しないラインについての補間画素データB22’を以下のように作成する。まず、フィルタ回路32で1h及び3hにおける画素データBに[1,0,6,0,1]/8からなるフィルタを加算器32a,32c,32dを通過させることで適用し、1h及び3hにおける画素データGに[1,0,1]/2からなるフィルタを加算器32bを通過させることで適用する。水平方向補間回路15a’は、さらに[1,0,6,0,1]/8からなるフィルタを通過して得た画素データBの値から[1,0,1]/2からなるフィルタを通過して得た画素データGの値を減算する減算処理回路と、この減算処理回路からの出力に図4に示した水平方向補間回路15aで得た補間画素データG22’を加算処理する加算処理回路とを有している。
【0051】
すなわち、この水平方向補間回路15a’では、[1,0,6,0,1]/8からなるフィルタを通過して得た画素データBの値から[1,0,1]/2からなるフィルタを通過して得た画素データGの値を減算処理して、さらに画素データG’を加算処理して補間画素データB’を加重加算回路22に出力する。
【0052】
このように、図9の水平方向補間回路15a’は、2hのように、画素データBが存在しない画素に対応した画素データG22においても、図12に示すように、補間画素データB22’を算出することができる。すなわち、この図9の水平方向補間回路15a’によれば、全(すべ)ての画素について補間画素データB’を算出することができる。
【0053】
また、このような水平方向補間回路15a’は、画素データG22について補間画素データB22’を算出するときには、下記式2及び上述の式1で算出した補間画素データを用いて算出してもよい。
【0054】
B22’={(B12’−G12’)+(B32’−G32’)}/2+G22’(式2)
この式2によれば、補間画素データB22’を算出するときには、図4の水平方向補間回路15aを用いて算出したG12’,G32’,G22’と、上述の式1で算出したB32’B12’とを用いて補間画素データB22’を算出することができる。一方、垂直方向補間回路15bは、図13に示すように構成している。なお、以下に述べる垂直方向補間回路15bの説明においては、上述の水平方向補間回路15aと同一部分については同一符号を付することによりその詳細な説明を省略する。
【0055】
この垂直方向補間回路15bは、図13に示すように、垂直方向における各画素データR,G,Bが順次入力される入力部30を備えている。この入力部30は、1hにおける画素データが入力される端子30aと、3hにおける画素データが入力される端子30bと、0hにおける画素データが入力される端子30cと、4hにおける画素データが入力される端子30dと、2hにおける画素データが入力される端子30eとを有する。
【0056】
また、この垂直方向補間回路15bは、上述した水平方向補間回路15aと同様に、フィルタ回路32と、セレクタ回路33と、出力部34とを有している。この垂直方向補間回路15bでは、各端子30a〜30eに画素データB10,B30,G00,G40,G20が入力されると、端子30a及び端子30bに入力された画素データを加算器32bに出力し、端子30c及び端子30dに入力された画素データを加算器32aに出力し、端子30eに入力された画素データを加算器32cに出力する。そして、垂直方向補間回路15bでは、水平方向補間回路15aと同様に、これらの入力された画素データをフィルタ回路32により上述の式1及び式2に適用して、画素データR,G,Bについての補間画素データR’,G’,B’を得る。
【0057】
また、この画像データ補間部15を構成する水平方向補間回路15aと垂直方向補間回路15bは、エッジ処理回路15cに接続している。このエッジ処理回路15cは、図14に示すように、上述のγ補正回路14からディレイ調整がなされた画素データGが入力される端子40a〜40cからなる入力部40と、各端子40a〜40cから画素データGが入力される遅延回路41a〜41dと、入力された画素データGを比較する比較部42と、比較部42での比較結果について演算処理を施す演算部43と、演算部43での演算結果に応じて出力を制御する出力部44と、出力部44から画素データを出力する出力端子45とから構成されている。また、このエッジ処理回路15cは、γ補正回路14から各画素データGが入力される。ここで、以下に説明するエッジ処理部15cは、例えば図15における補間画素データG’の値を制御するときの一例について説明する。
【0058】
入力部40は、上述した水平方向補間回路15a,垂直方向補間回路15bで補間して得られた図15における補間画素データG’の周囲の画素データG1 〜G4 が入力される。この入力部40は、例えば2hにおける補間画素データについてエッジ処理を行うときには、当該補間画素データG’の上方に隣接した1hの画素データG1 が入力される端子40aと、当該補間画素データG’の水平方向における両隣の画素データG2,G3が入力される端子40bと、当該補間画素データG’の下方に隣接した3hの画素データG4 が入力される端子40cとを備える。また、各端子40a〜40cは、遅延回路41a〜41dと接続している。なお、画素データG1,G2,G3,G4は、ディレイがかけられて各端子40a〜40cに入力される。
【0059】
遅延回路41a〜41dは、比較部42及び出力部44と接続し、入力部40から出力された画素データG1〜G4を入力する。この遅延回路41a〜41dは、画素データG1〜G4を入力するクロックと同期したクロックで比較部42及び出力部44に各画素データG1〜G4を出力する。
【0060】
比較部42は、入力部40で入力された4つの画素データのうち、2つの画素データが入力されるコンパレータ42a〜42fからなる。すなわち、この比較部42は、画素データG1及び画素データG2が入力されるコンパレータ42aと、画素データG1及び画素データG3が入力されるコンパレータ42bと、画素データG1及び画素データG4が入力されるコンパレータ42cと、画素データG2 及び画素データG3 が入力されるコンパレータ42dと、画素データG2 及び画素データG4 が入力されるコンパレータ42eと、画素データG3 及び画素データG4 が入力されるコンパレータ42fとからなる。
【0061】
また、コンパレータ42aは端子Aで画素データG1 、端子Bで画素データG2 が入力され、コンパレータ42bは端子Aで画素データG1 、端子Bで画素データG3 が入力され、コンパレータ42cは端子Aで画素データG1 、端子Bで画素データG4 が入力され、コンパレータ42dは端子Aで画素データG2 、端子Bで画素データG3 が入力され、コンパレータ42eは端子Aで画素データG2 、端子Bで画素データG4 が入力され、コンパレータ42fは端子Aで画素データG3 、端子Bで画素データG4 が入力される。
【0062】
演算部43は、比較部42から比較結果を入力し、この比較結果に基づいて入力部40で入力された画素データG1〜G4のうち、2位と3位の画像データを選択する。ここで、演算部43は、複数のセレクタから構成されている。この演算部43は、例えばコンパレータ42a,コンパレータ42b,コンパレータ42cからの比較結果が(L,H,H),(H,L,H),(H,H,L)のいずれかである場合、画素データG1 を2位として、演算結果を出力部44に出力する。また、この演算部43は、例えばコンパレータ42a,コンパレータ42d,コンパレータ42eからの比較結果が(H,L,L),(H,L,H),(H,H,L)のいずれかである場合、画素データG2 を3位として、演算結果を出力部44に出力する。
【0063】
出力部44は、入力部40及び演算部43と接続されている。この出力部44は、入力部40から各画素データG1〜G4が入力されるとともに、演算部43から演算結果が入力される。この出力部44は、2位を示す演算結果に応じて画素データを出力するセレクタ44aと、3位を示す演算結果に応じて画素データG1〜G4を出力するセレクタ44bとを有する。また、この出力部44は、端子40aで入力された画素データG1 が入力される00端子と、端子40bで入力された画素データG2 が入力される10端子と、端子40bで入力された画素データG3 が入力される01端子と、端子40cで入力された画素データG4 が入力される11端子とを備えている。
【0064】
出力部45は、出力部44及び水平方向補間回路15a,垂直方向補間回路15bと接続されている。この出力部45は、出力部44で出力した2位及び3位を示す画素データG1〜G4を水平方向補間回路15a,垂直方向補間回路15bに出力する。
【0065】
このように構成されたエッジ処理回路15cでエッジ処理を行うときには、図15に示すように、入力部40で例えば水平方向補間回路15a,垂直方向補間回路15bで補間して得られた補間画素データG’の周囲の画素データG1,G2,G3,G4を入力部40で入力する。ここで、図15中の各画素データ内の数字は、各画素データG1〜G4の大きさを表している。ここで、入力部40では、画素データG1 を端子40aで入力し、画素データG2 を端子40bで入力し、画素データG3 を端子40bで入力し、画素データG4 を端子40cで入力する。そして、これら画素データG1〜G4を各遅延回路41a〜41dを介して各コンパレータ42a〜42fに出力する。
【0066】
次に、これら各コンパレータ42a〜42fでは、入力された画素データG1 〜G4 の大きさを比較して比較結果を演算部43に出力する。このとき、各コンパレータ42a〜42fは、端子Aに入力した画素データが端子Bに入力した画素データよりも大きいときは比較結果Hを演算部43に出力し、端子Aに入力した画素データが端子Bに入力した画素データよりも小さいときは比較結果Lを演算部43に出力する。
【0067】
次に、演算部43では、各コンパレータ42a〜42fからの比較結果に応じて入力部40で入力した画素データG1〜G4のうち、2位と3位の画素データG1〜G4を決定して、演算結果を出力部44に出力する。ここで、セレクタ44aで2位を示す演算結果が入力され、セレクタ44bで3位を示す演算結果が入力される。そして、各セレクタ44a,44bは、演算結果に基づいて画素データG1,G2,G3,G4のうち、2位及び3位に該当する画素データG1〜G4を選択して出力部45に出力する。
【0068】
次に、出力部45では、これら2位及び3位に該当する画素データG1〜G4を水平方向補間回路15a及び垂直方向補間回路15bに出力する。
【0069】
次に、水平方向補間回路15a及び垂直方向補間回路15bでは、この2位及び3位に該当する画素データG1〜G4から補間画素データG’の大きさが算出されることとなる。
【0070】
したがって、このようなエッジ処理回路15cによれば、例えば画素データG1 の大きさが100,画素データG2の大きさが100,画素データG3の大きさが100,画素データG4 の大きさが0である場合には、2位及び3位の間を示す画素データは、共に100となるので、補間画素データG’の大きさは100に制限される。したがって、このエッジ処理回路15cによれば、図15に示した画素データについて垂直方向について補間したときの補間画素データG’は(100+0)=50として算出されるようなことがない。
【0071】
相関値検出部16は、上述のγ補正回路14から画素データが入力される。この相関値検出部16は、水平方向の相関値を検出する水平方向相関検出回路16aと、垂直方向の相関値を検出する垂直方向相関検出回路16bとからなる。
【0072】
水平方向相関検出回路16aは、画素データGが存在する画素においては下記式3に示すフィルタを用い、画素データGが存在しない画素においては下記式4に示すフィルタを用いて水平相関値Ch を算出する。
【0073】
【数1】
【0074】
すなわち、水平相関値Ch は、垂直方向において、画素データGが存在する場合には式3を用いて[1,0,6,0,1]のLPF、画素データGが存在しない場合には式4を用いて[1,0,1]のLPFをかけて算出される。また、水平相関値Ch は、水平方向において、[−1,0,2,0,−1]のBPFをかけて算出される。
【0075】
この水平方向相関検出回路16aは、図16に示すように、γ補正回路14から画素データが端子50a〜50eから入力される入力部50と、各画素データが入力されて水平相関値Ch を生成するフィルタ回路52と、水平相関値Ch が入力されるセレクタ回路53と、セレクタ回路53からの水平相関値Ch を出力する出力部54とからなる。
【0076】
入力部50は、γ補正回路14から図3に示した垂直方向に配された各画素データを順次入力する。この入力部50は、1hにおける画素データが入力される端子50aと、3hにおける画素データが入力される端子50bと、0hにおける画素データが入力される端子50cと、4hにおける画素データが入力される端子50dと、2hにおける画素データが入力される端子50eとを有する。
【0077】
フィルタ回路52は、端子50a及び端子50bから画素データが入力される加算器52aと、端子50c及び端子50dから画素データが入力される加算器52bと、端子50eから画素データが入力される加算器52cと、加算器52b及び加算器52cからの出力が入力される加算器52dとからなる。このフィルタ回路52は、上述した水平方向補間回路15a及び垂直方向補間回路15bに示したフィルタ回路33と同様に、加算器52b,加算器52c,加算器52dで[1,0,6,0,1]/8のフィルタを構成し、加算器52aで[1,0,1]/2のフィルタを構成している。
【0078】
セレクタ回路53は、加算器52dからの出力及び端子50eから画素データが入力されるセレクタ53aと、加算器52aからの出力及びセレクタ53aからの出力が入力されるセレクタ53bとを有する。また、各セレクタ53a,53bは、制御部10からの制御信号を入力して、その動作が制御されている。すなわち、セレクタ53aは、制御部10から制御信号Hを入力したとき、加算器52b,52c,52dを介して入力された画素データを出力し、制御部10から制御信号Lを入力したとき、端子50eから入力された画素データを出力する。また、セレクタ53bは、制御部10からの制御信号に応じて加算器52aを通過した水平相関値Ch を出力するか、セレクタ53aを通過した画素データを出力するかが制御される。
【0079】
なお、この水平方向相関検出回路16aでは、相関値を算出する対象となる画素データについてはフィルタ回路52を通過させずにセレクタ回路53に入力させても良い。このように、フィルタ回路52b,52e,52dを通過させずに画素データGをそのまま相関値として用いることで画素データGの帯域の低下を抑制することができるとともに、回路を簡略化することもできる。
【0080】
このセレクタ53bは、画素データGが存在する画素では加算器52b,52c,52d或(ある)いは端子50eからの出力を通過させるように制御され、画素データGが存在しない画素では加算器52aからの出力を通過させるように制御される。
【0081】
出力部54は、セレクタ53bから入力した水平相関値Ch を出力する。この出力部54は、図示しない水平方向に[−1,0,2,0,−1]のBPFを介してノイズ除去部17と接続しており、水平相関値Ch を当該ノイズ除去部17に出力する。
【0082】
垂直方向相関検出回路16bは、画素データGが存在する画素においては下記式5に示すフィルタを用い、画素データGが存在しない画素においては下記式6に示すフィルタを用いて垂直相関値Cvを算出する。
【0083】
【数2】
【0084】
すなわち、垂直相関値Cv は、式5及び式6を用いることにより、垂直方向において[−1,0,2,0,−1]のBPFで算出される。また、垂直相関値Cv は、画素データGが存在する場合、水平方向では式5を用いて[1,0,6,0,1]のLPF、画素データGが存在しない場合には式6を用いて[1,0,1]のLPFで算出される。
【0085】
この垂直方向相関検出回路16bは、図17に示すように、図示を省略した垂直方向に[−1,0,2,0,−1]のBPFを介して画素データが入力される入力部55と、入力部55から各画素データが入力される遅延回路56a〜56dと、遅延回路56a〜56dから各画素データが入力されて垂直相関値Cv を生成するフィルタ回路57と、フィルタ回路57を介して垂直相関値Cv が入力されるセレクタ回路58と、セレクタ回路58からの垂直相関値Cv を出力する出力部59とからなる。
【0086】
入力部55は、γ補正回路14から、図示を省略した垂直方向に[−1,0,2,0,−1]のBPFを介して順次入力する。入力部55は、上述した水平方向補間回路15aに備えられる遅延回路31と同様の構成を有する遅延回路56a〜56dに各画素データを出力する。
【0087】
フィルタ回路57は、上述の水平方向相関検出回路16aに備えられるフィルタ回路52と同様の構成を有しており、加算器57a,57b,57c,57dからなる。このフィルタ回路52は、上述した水平方向相関検出回路16aに示したフィルタ回路53と同様に、加算器57b,加算器57c,加算器57dで[1,0,6,0,1]/8のフィルタを構成し、加算器57aで[1,0,1]/2のフィルタを構成している。なお、この垂直方向相関検出回路16bでは、上述の水平方向相関検出回路16aと同様に、相関値Cv を算出する対象となる画素データについてはフィルタ回路57b,57c,57dを通過させずにセレクタ回路58に入力させても良い。
【0088】
セレクタ回路58は、上述の水平方向相関検出回路16aに備えられるセレクタ回路53と同様の構成を有しており、セレクタ58a,58bを有する。また、各セレクタ58a,58bは、制御部10からの制御信号が入力されて、その動作が制御されている。
【0089】
このセレクタ58bは、画素データGが存在する画素では加算器57b,57c,57d或(ある)いは遅延回路56bからの出力を通過させるように制御され、画素データGが存在しない画素では加算器57aからの出力を通過させるように制御される。
【0090】
出力部59は、セレクタ58bから入力した垂直相関値Cv を出力する。この出力部59は、ノイズ除去部17と接続しており、垂直相関値Cv を当該ノイズ除去部17に出力する。
【0091】
このように構成された相関値検出部16は、式3〜式6を用いた回路を構成することで、例えば画素データGのみで相関値Cを算出するので、被写体の色の影響を受けるようなことなく水平相関値Ch 及び垂直相関値Cv を算出することができる。
【0092】
ノイズ除去部17は、図2に示すように、上述した水平方向相関検出回路16aと接続したノイズ除去回路17aと、垂直方向相関検出回路16bと接続したノイズ除去回路17bとからなる。これらノイズ除去回路17aとノイズ除去回路17bとは、図18に示すような同様の構成を有している。
【0093】
ノイズ除去部17a,17bは、図18に示すように、相関検出回路16a,16bから相関値Cが入力される絶対値化回路60と、絶対値化された相関値Cが入力される減算回路61と、減算された相関値Cが入力されるリミット回路62とからなる。
【0094】
絶対値化回路60は、例えばEx.ORゲート60aと加算器60bとからなる。この絶対値化回路60は、入力した相関値Cに対して絶対値化を施し、正の値とする。そして、この絶対値化回路60は、この絶対値化した相関値Cを減算回路61に出力する。
【0095】
減算回路61は、例えば減算器61aからなる。この減算器61aは、絶対値化回路60から相関値Cが入力される。また、この減算器61aは、制御部10から入力した相関値Cから所定の値を減算する減算値を示す制御信号が入力される。そして、この減算器61aは、制御信号に応じて相関値Cから減算値を減算する。このように減算器61aは、減算処理を行うことで、図19(a)中の点線で示すように、相関値Cの出力を図19(a)中の実線で示すように減算する。そして、この減算回路61は、減算した相関値Cをリミット回路62に出力する。
【0096】
リミット回路62は、例えばインバータ62aとANDゲート62bとからなる。このリミット回路62は、減算回路61で減算されて図19(b)に示すように出力が負の値となった相関値Cを0となるように処理を施す。そして、このリミット回路62は、このような処理を施した相関値Cをオフセット回路18に出力する。
【0097】
このようなノイズ除去部17は、入力した相関値Cから減算処理を行うことにより、微小な相関値Cを除去するので、微小な値におけるノイズを除去することができる。したがって、このノイズ除去部17によれば、例えばBPFを通過させて相関値Cを算出するために、CCD3自体のノイズ等に対して算出された相関値Cを除去することができる。また、このノイズ除去部17によれば、CCD3で生成する画素データにノイズ成分が含まれている場合、当該ノイズに対しても相関値Cを算出しても、微小な相関値を減算処理する。したがって、ノイズ除去部17によれば、ノイズの少ない相関値Cを用いて補間画素データに重み付けを行わせることができ、出力される画像に偽色信号が発生してしまい、画像が劣化することがない。
【0098】
オフセット回路18は、図2に示すように、ノイズ除去回路17aから水平相関値Ch が入力されるオフセット回路18aと、ノイズ除去回路17bから垂直相関値Cv が入力されるオフセット回路18bとからなる。これらオフセット回路18aとオフセット回路18bとは、図20に示すような同様の構成を有している。
【0099】
オフセット回路18a,18bは、図20に示すように、例えば加算器65からなる。この加算器65は、上述のノイズ除去回路17a,17bから相関値Cが入力される。また、この加算器65は、制御部10から所定の値のオフセット値を示す制御信号が入力される。
【0100】
そして、この加算器65は、ノイズ除去部17a,17bから相関値Cが入力されると、制御信号が示すオフセット値を加算する。そして、この加算器65は、入力した相関値Cとオフセット値とを加算処理して正規化回路19に出力する。すなわち、このオフセット回路18a,18bは、例えばノイズ除去部17a,17bから図21中の点線で示すような相関値Cにオフセット値を加算することで図21中の実線で示すような相関値Cとする。
【0101】
このようにオフセット回路18a,18bでは、オフセット値を相関値Cに加算処理することにより、入力した相関値Cの振幅が0程度であっても、値の大きな相関値Cを持たせることができる。このようなオフセット回路18a,18bは、例えば図22に示すように、上述した相関値検出部16では相関値Cが得られない、例えば1画素毎に色が変化する画像データを構成する画素データである場合、高域の信号や、垂直相関値Cv 及び水平相関値Ch の振幅が微小な場合も、水平相関値Chと垂直相関値Cvとが急激に切り替わることを防止することができる。すなわち、このようなオフセット回路18a,18bによれば、オフセット値を相関値Cに加算処理することで、相関値Cで重み付けられる補間画素データを相加平均で補間する方向に近づけることができる。したがって、このオフセット回路18a,18bによれば、入力された相関値Cの振幅が微小でである場合や隣接する画素で水平相関値Ch が1,垂直相関値Cv が0である場合でも、垂直相関値Cv が0,水平相関値Ch が1と切り替わるようなことがない。
【0102】
正規化回路19は、図2に示すように、オフセット回路18a及びオフセット回路18bから水平相関値Ch 及び垂直相関値Cv が入力される加算器19aと、垂直相関値Cv 及び加算器19aからの出力が入力される除算器19bとからなる。
【0103】
このような正規化回路19は、加算器19aで垂直相関値Cv と水平相関値Ch とを加算処理して加算結果を除算器19bに出力し、除算器19bで垂直相関値Cv を加算結果で除算処理する。そして、この正規化回路19は、下記式7に示す垂直相関値Cv を算出する。ここで、水平相関値Ch は、垂直相関値Cv の相対値として下記式8に示すように表せる。
【0104】
【数3】
【0105】
偏り補正回路20は、図23に示すように、加算器20aからなる。この偏り補正回路20は、正規化回路19から上記式7で示す垂直相関値CV が入力される。加算器20aは、制御部10から補正値αが入力される。この補正値αは、制御部10により生成され、例えばCCD3等の設定に応じて−1〜1までの範囲内で調整される。
【0106】
そして、この偏り補正回路20は、垂直相関値CV が入力されるとともに、制御部10から入力した補正値αを入力し、垂直相関値CV と補正値αとを加算処理する。このように偏り補正回路20は、加算処理を行うことで垂直相関値CV を下記式9に示すような値とする。
【0107】
【数4】
【0108】
したがって、この偏り補正回路20は、例えば図24で示すように、図24中の点線で示す垂直相関値Cv を入力したとき、補正値αを加算処理することで図24中の実線で示すように変化させることができる。すなわち、この偏り補正回路20によれば、垂直相関値Cv に補正値αを加算処理することで、垂直相関値Cv と水平相関値Ch とがCCD3からの信号の歪等によって同じレベルとはならない場合でも、制御部10から入力する補正値αを制御することで垂直相関値Cv の値を制御して補正することができる。また、この偏り補正回路20は、例えばCCDの縦横比や、CCDから出力されるアナログ信号を検波するときに生ずる歪等により、垂直方向における相関と水平方向における相関との関係が等しく算出できなくても、制御部10からの補正値αを制御することで水平相関値Ch と垂直相関値Cv とのバランスを制御することができる。
【0109】
強調・低減回路21は、図25に示すように、偏り補正回路20から垂直相関値Cv が入力される減算器21aと、減算処理を施した垂直相関値Cv が入力される乗算器21bと、乗算処理を施した垂直相関値Cv が入力される加算器21cと、加算処理を施した垂直相関値Cv が入力される制限器21dとからなる。
【0110】
減算器21aは、偏り補正回路20から0〜1までの値を有する垂直相関値Cv を入力し、当該垂直相関値Cvに減算処理を行う。この減算器21aは、垂直相関値Cv から0.5だけ減算処理を行う。乗算器21bは、制御部10から入力する乗算値を示す制御信号に基づいて垂直相関値Cv に乗算処理する。加算器21cは、垂直相関値Cv に0.5だけ加算処理を行う。制限器21dは、入力した垂直相関値Cv を一定の範囲内で制限する。
【0111】
このような強調・低減回路21は、偏り補正回路20から垂直相関値Cv が入力されると、先ず、減算器21aで垂直相関値Cv から0.5だけ減算処理を行い、次に、減算処理を施した垂直相関値Cv に乗算処理を行う。このとき、制御部10から入力する乗算値に応じて図26中の実線で示すような特性の垂直相関値Cv の傾きを図26中の点線又は一点鎖線で示すように変化させる。次に、乗算処理を施した垂直相関値Cv に、上述の減算器21aで減算した0.5を加算器21cで加算する。次に、加算処理を施した垂直相関値Cv が0〜1までの範囲内の値を取るように、制限器21dで規制する。
【0112】
このように強調・低減回路21は、制御部10からの乗算値を垂直相関値Cv に乗算処理を施すことにより、図26に示すように垂直相関値Cv の入出力特性の傾きを変化させる。したがって、この強調・低減回路21によれば、制御部10からの乗算値を変化させることにより、垂直相関値Cv を変化させることができる。したがって、この強調・低減回路21によれば、後述する補間画素データに重み付けを行うときに、補間画素データに重み付けを行う相関値の値を変化させて、補間画素データが相関を重視するか、補間画素データが相加平均に近づくように補間するかを制御することができる。また、この強調・低減回路21によれば、例えばCCD3に入力される光量が小さいために、CCD3からの出力にノイズが多くなり、相関値が正確に算出できなくても、乗算値を変化させることにより相関値を制御することができる。
【0113】
加重加算回路22は、図2に示すように、垂直相関値Cv を入力して正規化した水平相関値Ch を生成する減算器22aと、正規化した水平相関値Ch が入力される乗算器22bと、垂直相関値Cv が入力される乗算器22cと、垂直方向及び水平方向の補間画素データが入力される加算器22dとからなる。
【0114】
このような加重加算回路22は、強調・低減回路21から垂直相関値Cv を減算器22a及び乗算器22cに入力する。減算器22aでは、垂直相関値Cv を1から減算処理することで水平相関値Ch を生成する。そして、この減算器22aでは、水平相関値Chを乗算器22bに出力する。
【0115】
乗算器22bは、垂直方向補間回路15bから垂直方向における補間画素データと、減算器22aから水平相関値Ch とが入力される。乗算器22bは、入力した垂直方向における補間画素データと水平相関値Ch とを乗算処理する。このように乗算器22bは、垂直方向における補間画素データに水平相関値Ch を乗算することで重み付けを行う。
【0116】
乗算器22cは、水平方向補間回路15aから水平方向における補間画素データが入力されるとともに垂直相関値Cv が入力される。乗算器22cは、入力した水平方向における補間画素データと垂直相関値Cvとを乗算処理する。このように乗算器22cは、水平方向における補間画素データに垂直相関値Cv を乗算することで重み付けを行う。
【0117】
加算器22dでは、乗算器22cで重み付けられた水平方向における補間画素データ及び乗算器22bで重み付けられた垂直方向における補間画素データが入力される。加算器22dは、入力した水平方向における補間画素データと垂直方向における補間画素データとを加算処理する。このように加算器22dは、加算処理を行うことにより、垂直方向及び水平方向の相関値により重み付けられた補間画素データを得る。そして、加算器22dは、当該補間画素データを輪郭補正回路23に出力する。
【0118】
輪郭補正回路23は、加重加算回路22の加算器22dと接続している。この輪郭補正回路23は、加算器22dから補間画素データが入力されるとともに制御部10から輪郭強調信号が入力される。この輪郭強調信号は、CCD3のレスポンス劣化の補償や、鮮明度を強調する信号である。そして、輪郭補正回路23では、入力した輪郭強調信号と補間画素データとを加算処理して、Y/C変換部24に出力する。
【0119】
Y/C変換部24は、輪郭補正回路23と接続しており、当該輪郭補正回路23から補間画素データが入力される。このY/C変換部24は、入力したR,G,Bからなる補間画素データを輝度信号(Y)と色差信号(C)とからなるY/C信号に変換する。そして、このY/C変換部24は、補間画素データを変換して得たY/C信号を色差信号抑制部25に出力する。
【0120】
色差信号抑制部25は、Y/C変換部24と接続しており、当該Y/C変換部24からY/C信号が入力される。この色差信号抑制部25は、図27に示すように、1ラインが画素データG,Bからなる画素データの色差B−Gが入力されるBGデータ抑制回路25aと、1ラインが画素データG,Rからなる画素データの色差R−Gが入力されるRGデータ抑制回路25bとからなる。
【0121】
BGデータ抑制回路25aは、補間画素データG’,B’の色差B’−G’が入力される入力部70a〜70cと、入力部70a〜70cから色差B’−G’が入力される絶対値化器71a〜71cと、絶対値化器71a〜71cから絶対値化された色差B’−G’が入力されるコンパレータ72a〜72cと、コンパレータ72a〜72cからの比較結果が入力される演算器73と、演算器73からの演算結果が入力されるセレクタ74と、セレクタ74からの画素データが入力される出力部75とからなる。
【0122】
入力部70aは垂直方向にける色差B’−G’を入力し、入力部70bは水平方向における色差B’−G’を入力し、入力部70cは相関値で重み付けがなされた色差B’−G’が入力される。入力部70aは入力した色差B’−G’を絶対値化器71aに出力し、入力部70bは入力した色差B’−G’を絶対値化器71bに出力し、入力部70cは入力した色差B’−G’を絶対値化器71cに出力する。
【0123】
絶対値化器71a〜71cは、例えばEx.ORゲート76と加算器77とからなる。この絶対値化器71a〜71cは、入力した色差B’−G’に対して絶対値化を施し、正の値とする。絶対値化器71a〜71cは、絶対値化を施した色差B’−G’をコンパレータ72a〜72cに出力する。
【0124】
コンパレータ72aは、絶対値化器71aを通過した色差B’−G’を端子Bで入力するとともに、絶対値化器71cを通過した色差B’−G’を端子Aで入力する。コンパレータ72bは、絶対値化器71aを通過した色差B’−G’を端子Aで入力するとともに、絶対値化器71bを通過した色差B’−G’を端子Bで入力する。コンパレータ72cは、絶対値化器71bを通過した色差B’−G’を端子Aで入力するとともに、絶対値化器71cを通過した色差B’−G’を端子Bで入力する。これらコンパレータ72a〜72cは、端子A及び端子Bで入力した色差B’−G’の大きさを比較して端子Aで入力した色差B’−G’が大きいと判断した場合には比較結果Hを演算器73に出力し、端子Aで入力した色差B’−G’が小さいと判断した場合には比較結果Lを演算器73に出力する。
【0125】
演算器73は、コンパレータ72a〜72cから比較結果が入力されるとともに、制御部10から制御信号が入力される。この演算器73は、比較結果及び制御信号に基づいて演算結果を生成してセレクタ74に出力する。
【0126】
この演算器73は、制御信号Hを入力したときには演算結果11を出力し、制御信号Lを入力したときには各コンパレータ72a〜72cからの比較結果に基づいて演算結果を生成する。この演算器73は、各コンパレータ72a,72b,72cの比較結果が(H,L,X)のときには演算結果00を出力し、各コンパレータ72a,72b,72cの比較結果が(X,H,L)のときには演算結果01を出力し、各コンパレータ72a,72b,72cの比較結果が(L,X,H)のときには演算結果10を生成してセレクタ74に出力する。
【0127】
セレクタ74は、演算器73から演算結果が入力されるとともに、入力部70a〜70cから色差B’−G’が入力される。このセレクタ74は、11端子及び10端子で入力部70cで入力した色差B’−G’を入力し、01端子で入力部70bで入力した色差B’−G’を入力し、00端子で入力部70aで入力した色差B’−G’が入力される。また、このセレクタ74は、演算結果11が入力されると11端子で入力した色差B’−G’を出力し、演算結果10が入力されると10端子で入力した色差B’−G’を出力し、演算結果01が入力されると01端子で入力した色差B’−G’を出力し、演算結果00が入力されると00端子で入力した色差B’−G’を出力する。
【0128】
RGデータ抑制回路25bは、入力部70a〜70cにおいて色差R’−G’を入力し、この色差R’−G’を絶対値化器71、コンパレータ72、演算器73、セレクタ74を経ることで最小の色差R’−G’を選択して出力部75で出力する。
【0129】
したがって、このような色差信号抑制部25によれば、図28(a)に示すように、例えば、垂直方向に配置した画素データR,Gについての補間画素データRv,Gv、水平方向に配置した画素データR,Gについての補間画素データRh,Gh、重み付けされた補間画素データRc,Gc の色差のうち最小の補間画素データRh,Ghを選択する。また、この色差信号抑制部25は、図28(b)に示すように、比較した補間画素データのうち、最も0に近い補間画素データR’−G’を選択する。
【0130】
このような色差信号抑制部25は、入力部70a〜70cで入力した補間画素データのうち、色差信号の絶対値が最小のものを選択して出力する。したがって、このような色差信号抑制部25は、相関を求めることができない帯域で相関値で重み付けした補間画素データで画像データを生成したとき、色のエッジ等に偽色がつくことを防止することができる。したがって、この色差信号抑制部25によれば、相関が見られない周波数帯域であっても、色の折り返し歪を防止することができる。
【0131】
出力部75は、セレクタ74で出力された補間画素データを出力部26に出力する。出力部26は、例えば画素データを記録する記録媒体や、表示装置、外部へ出力する端子等である。
【0132】
なお、以上の説明においては、原色コーディングのCCD3を用いたカメラ装置1で生成するカメラ信号を処理する一例について説明したが、本発明は、図29(a)又は図29(b)に示すように、画像データに含まれている画素データが示す色のうち、最も多い色が市松状に配置されているコーディングの固体撮像素子であれば、補色のCCDにも適用することができる。
【0133】
【発明の効果】
以上詳細に説明したように、本発明に係るカメラ信号処理装置及びカメラ信号処理方法では、各画素に対応して分光感度が異なる色フィルタを介して撮像光が入射される固体撮像素子からの撮像信号に基づいて生成される画素データの当該位置及び/又は周囲の画素データに基づいて少なくとも2以上の方向から補間して各方向の補間画素データをそれぞれ生成し、生成された補間画素データの上記2以上の方向における相関の程度を示す相関値をそれぞれ検出し、検出された各方向の相関値を絶対値化し、絶対値化された各方向の相関値から所定値だけ減算処理し、減算処理された各方向の相関値が正の値となるように制限し、制限された各方向の相関値で上記各方向の補間画素データに重み付けをして、重みづけられた各補間画素データを加算処理して補間画素データを生成するので、微小な相関値を除去することにより、微小な値におけるノイズを除去することができる。したがって、このカメラ信号処理装置及びカメラ信号処理方法によれば、例えばBPFを通過させて相関値を算出するために、固体撮像素子自体のノイズ等に対して算出された相関値を除去することができる。また、ノイズの少ない相関値を用いて補間画素データに重み付けを行わせることができ、出力される画像に偽色信号が発生してしまい、画像が劣化することがない。
【図面の簡単な説明】
【図1】カメラ装置の構成の一例を示すブロック図である。
【図2】信号処理回路の構成の一例を示すブロック図である。
【図3】各画素に対応した画素データR,G,Bの配置の一例を示す図である。
【図4】垂直方向補間回路の構成の一例を示す図である。
【図5】各画素に対応した画素データGの配置の一例を示す図である。
【図6】[1,0,6,0,1]のLPFの周波数特性を示す図である。
【図7】[1,0,1]のLPFの周波数特性を示す図である。
【図8】補間処理を行った後に生成される補間画素データG’の一例を示す図である。
【図9】水平方向補間回路の構成の一例を示す図である。
【図10】各画素に対応した画素データBの配置の一例を示す図である。
【図11】各画素に対応した画素データBについて水力方向に相加平均を算出したときの補間画素データB’の配置の一例を示す図である。
【図12】補間処理を行った後に生成される補間画素データB’の一例を示す図である。
【図13】垂直方向補間回路の構成の一例を示す図である。
【図14】エッジ処理回路の構成の一例を示す図である。
【図15】エッジ処理回路でエッジ処理を施すときの一例を説明するための図である。
【図16】水平方向相関検出回路の構成の一例を示す図である。
【図17】垂直方向相関検出回路の構成の一例を示す図である。
【図18】ノイズ除去回路の構成の一例を示す図である。
【図19】ノイズ除去回路で入力した相関値に処理を施すときの一例を示す図であり、(a)が相関値に減算処理を施したときの一例を示し、(b)が相関値を負の値でリミットしたときの一例を示す図である。
【図20】オフセット回路の構成の一例を示す図である。
【図21】オフセット回路で入力した相関値にオフセット値を加算処理したときの入出力特性の変化の一例を示す図である。
【図22】隣接する画素データ毎に色が変化する画像データの一例を示す図である。
【図23】偏り補正回路の構成の一例を示す図である。
【図24】偏り補正回路で入力した相関値に補正値を加算処理したときの入出力特性の変化の一例を示す図である。
【図25】強調・低減回路の構成の一例を示す図である。
【図26】強調・低減回路で入力した相関値に乗算処理を施したときの入出力特性の変化を示す図である。
【図27】色差信号抑制回路の構成の一例を示す図である。
【図28】色差信号抑制部で垂直方向に配置した画素データR,Gについての補間画素データRv,Gv、水平方向に配置した画素データR,Gについての補間画素データRh,Gh、重み付けされた補間画素データRc,Gcの色差のうち絶対値最小の補間画素データRh,Ghを選択する一例を示す図である。
【図29】画素データの配置の他の一例を示す図である。
【符号の説明】
1 カメラ装置、15 画像データ補間部、15a 水平方向補間回路、15b 垂直方向補間回路、16 相関値検出部、16a 水平方向相関検出回路、16b 垂直方向相関検出回路、17 ノイズ除去部、18 オフセット回路、22 加重加算回路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a camera signal processing device and a camera signal processing method for processing a camera signal generated by a single-plate camera device, and more specifically, when a luminance signal or a color difference signal is generated from an imaging signal generated by a solid-state imaging device. The present invention relates to a camera signal processing apparatus and a camera signal processing method for calculating a correlation value indicating a correlation between interpolation values in each pixel.
[0002]
[Prior art]
Conventionally, in a single-plate camera device using a solid-state imaging device such as a CCD (Charge Coupled Device), color filters corresponding to R, G, and B are disposed at positions corresponding to each pixel of the CCD. . In this camera device, a luminance signal is generated based on light input to the CCD, and a color signal is generated according to light input to the CCD via a color filter. At this time, in the camera device, color signals corresponding to R, G, and B are created according to the light input to each pixel of the CCD in which the color filter is arranged.
[0003]
A CCD in such a camera device is provided with a color filter having R, G, and B for each pixel, and has an array of R, G, R, G,... In the horizontal direction, for example. . In this camera device, a color signal is generated corresponding to the color filter arranged corresponding to each pixel. Therefore, in such a CCD, a color signal corresponding to G is not generated in a pixel provided with an R color filter, and it is necessary to generate a color signal corresponding to G by interpolation.
[0004]
In such a camera device, when an interpolated image is obtained by interpolating from each pixel in the horizontal direction, interpolation is performed by calculating the average by adding the pixel data adjacent in the horizontal direction. When interpolation is performed from the vertical direction, interpolation is performed by adding pixel data adjacent in the vertical direction as in the horizontal direction and calculating an average.
[0005]
In such a camera device, when a color filter indicating R, for example, is arranged on the CCD pixel, a signal indicating G is generated by performing the above-described interpolation on the color signal indicating G.
[0006]
In the single-plate camera device, when interpolation is performed to generate pixel data, a correlation value indicating a correlation in the vertical direction and the horizontal direction is detected. When this correlation value is detected, the correlation value in the vertical direction and the correlation value in the horizontal direction are calculated by calculating the signals of the pixels arranged in the vicinity using a filter. In this camera apparatus, the interpolated pixel data obtained by interpolation is weighted using the correlation value.
[0007]
[Problems to be solved by the invention]
However, as described above, when detecting the correlation value, the correlation value is detected using a band-pass filter for the pixel data generated by the CCD, so the pixel data generated by the CCD includes a noise component. If it is, the correlation value is calculated for the noise.
[0008]
As described above, if the correlation value is detected when there is noise in the pixel data from the CCD, an incorrect correlation value is calculated. Therefore, if interpolation pixel data is weighted using the correlation value calculated in this way, a false color signal is generated, and the image may be deteriorated.
[0009]
Therefore, the present invention has been proposed in view of the above-described circumstances, and a camera that does not generate a false color due to a correlation value that performs weighting even if there is noise generated from a CCD or the like in interpolation pixel data. An object of the present invention is to provide a signal processing device and a camera signal processing method.
[0010]
[Means for Solving the Problems]
A camera signal processing apparatus according to the present invention that solves the above-described problems is generated based on an imaging signal from a solid-state imaging device that receives imaging light through a color filter having a different spectral sensitivity corresponding to each pixel. Interpolated pixel data generating means for generating interpolation pixel data in each direction by interpolating from at least two directions based on the pixel data at the position and / or surrounding pixel data, and generated by the interpolation pixel data generating means Correlation detecting means for detecting correlation values indicating the degree of correlation in the two or more directions of the interpolated pixel data; An absolute value converting means for converting the correlation value detected in each direction by the correlation detection means to an absolute value; Limiting means for limiting the correlation value in each direction subtracted by the subtracting means to be a positive value. Interpolated pixel data in each direction generated by the noise removing unit and the interpolated pixel data generating unit Limited by the above noise removal means A weighting unit that weights the correlation values in each direction, adds the weighted interpolation pixel data to generate interpolation pixel data, and an image based on the interpolation pixel data weighted by the weighting unit. And an image generation means for generating.
[0011]
In addition, the camera signal processing method according to the present invention includes pixel data generated based on an imaging signal from a solid-state imaging device on which imaging light is incident through a color filter having a different spectral sensitivity corresponding to each pixel. Interpolating from at least two directions based on the position and / or surrounding pixel data to generate interpolated pixel data in each direction, Generated Detecting correlation values indicating the degree of correlation in the two or more directions of the interpolated pixel data, The detected correlation value in each direction is converted to an absolute value and converted to an absolute value. Subtract a predetermined value from the correlation value in each direction, Limit the correlation value in each direction that has been subtracted to be a positive value, and use the limited correlation value in each direction. Interpolated pixel data in each direction above Weight To calculate each weighted interpolated pixel data Addition processing Interpolated pixel data is generated.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a camera signal processing apparatus and a camera signal processing method according to the present invention will be described with reference to the drawings.
[0013]
As shown in FIG. 1, the camera signal processing apparatus according to the present invention can be applied to a
[0014]
The
[0015]
Here, the
[0016]
In the
[0017]
The
[0018]
The
[0019]
The
[0020]
The
[0021]
The
[0022]
As shown in FIG. 2, the
[0023]
Image data composed of a plurality of pixel data is input from the
[0024]
Pixel data R, G, B corresponding to each pixel arranged in a matrix as shown in FIG. 3 is input to the horizontal direction interpolation circuit 15a. The horizontal direction interpolation circuit 15a calculates interpolation pixel data in the horizontal direction by using a filter shown in the following
[0025]
[1, 4, 6, 4, 1] / 8 (Formula 1)
That is, when calculating the interpolation pixel data R ′, G ′, B ′, the horizontal direction interpolation circuit 15 a is configured as shown in FIG. 4 in order to use the filter shown in
[0026]
The horizontal direction interpolation circuit 15a is configured as shown in FIG. 4 when creating the interpolated pixel data R ′, G ′, B ′ in the horizontal direction. The horizontal direction interpolation circuit 15a includes an
[0027]
Each pixel data in the horizontal direction is sequentially input from the
[0028]
The
[0029]
The adder 32a receives pixel data directly input from the
[0030]
That is, in the
[0031]
The
[0032]
Each
[0033]
The
[0034]
The horizontal direction interpolation circuit 15a configured as described above is, for example, the pixel data G twenty two Interpolated pixel data R twenty two ', B twenty two 'Not only interpolation pixel data G twenty two 'Is also calculated.
[0035]
For example, the pixel data G in FIG. twenty two Interpolated pixel data G for twenty two When calculating ', pixel data G in 2h at the
[0036]
Next, the pixel data G input by the
[0037]
Next, each pixel data G is filtered by the
[0038]
Thus, by performing addition processing in the
[0039]
Next, in the
[0040]
Next, in the
[0041]
On the other hand, when the control signal H is input from the
[0042]
That is, the
[0043]
Thus, when calculating the interpolated pixel data G ′ for the pixel data G, the interpolated pixel data G assuming the
[0044]
Therefore, by calculating the interpolated pixel data G ′ for each pixel data G in this way, interpolated image data G ′ as shown in FIG. 8 can be obtained.
[0045]
In addition, the horizontal direction interpolation circuit 15a described above performs pixel data G in 2h. twenty two Interpolated pixel data R for twenty two 'Was calculated using a filter of [1, 0, 1] / 2, but in the same manner as described above, in 1h, the pixel data G 11 Interpolated pixel data B for 11 'Can also be calculated.
[0046]
Next, pixel data G in 2h twenty two Interpolated pixel data B for twenty two When 'is calculated, the filter shown in FIG. 9 is used. That is, in the following description, an example in which the interpolation pixel data B ′ is calculated in a line where the pixel data B does not exist will be described.
[0047]
Pixel data G twenty two Interpolated image data B twenty two When 'is calculated, the interpolated pixel data B is obtained using a horizontal direction interpolation circuit 15a' configured as shown in FIG. twenty two 'Is calculated. In the following description of the horizontal direction interpolation circuit 15a ′, the same parts as those in the horizontal direction interpolation circuit 15a shown in FIG. That is, in the horizontal direction interpolation circuit 15a ′ shown in FIG. Ten , G 11 , B 12 , G 13 , B 14 The pixel data at the terminal 30a and 3h input in the order of 30 , G 31 , B 32 , G 33 , B 34 It is assumed that the terminal 30b is input in this order. The horizontal direction interpolation circuit 15a ′ shown in FIG. 9 includes an
[0048]
That is, in the horizontal direction interpolation circuit 15a ′, first, the vertical direction is interpolated by the arithmetic mean of the pixel data B corresponding to the pixels arranged in the 1h and 3h adjacent in the vertical direction, as shown in FIG. As shown in FIG. 11, the interpolated pixel data B ′ is calculated by interpolating the pixel data B of each arranged pixel in the vertical direction.
[0049]
Next, the pixel data B in the vertical direction and the interpolated pixel data B ′ obtained by interpolation are converted into a filter of [1, 0, 6, 0, 1] / 8 and a filter of [1, 0, 1] / 2. Then, the interpolated pixel data B ′ in the horizontal direction of the pixel data B is calculated.
[0050]
That is, in the horizontal direction interpolation circuit 15a ′, the interpolation pixel data B for a line in which no pixel data B exists in the horizontal direction. twenty two 'Is created as follows. First, a filter composed of [1, 0, 6, 0, 1] / 8 is applied to the pixel data B in 1h and 3h by the
[0051]
That is, in the horizontal direction interpolation circuit 15a ′, the value of the pixel data B obtained by passing through the filter consisting of [1, 0, 6, 0, 1] / 8 is [1,0, 1] / 2. The value of the pixel data G obtained by passing through the filter is subtracted, the pixel data G ′ is added, and the interpolated pixel data B ′ is output to the
[0052]
In this way, the horizontal direction interpolation circuit 15a ′ in FIG. 9 performs pixel data G corresponding to a pixel for which no pixel data B exists, such as 2h. twenty two In FIG. 12, as shown in FIG. twenty two 'Can be calculated. That is, according to the horizontal direction interpolation circuit 15a ′ of FIG. 9, the interpolation pixel data B ′ can be calculated for all (all) pixels.
[0053]
Further, such a horizontal direction interpolation circuit 15a ′ is provided with the pixel data G twenty two Interpolated pixel data B twenty two When 'is calculated, it may be calculated using the interpolation pixel data calculated by the following
[0054]
B twenty two '= {(B 12 '-G 12 ') + (B 32 '-G 32 ')} / 2 + G twenty two '(Formula 2)
According to
[0055]
As shown in FIG. 13, the vertical
[0056]
The vertical
[0057]
Further, the horizontal direction interpolation circuit 15a and the vertical
[0058]
The
[0059]
The
[0060]
The
[0061]
The comparator 42a is connected to the pixel data G at the terminal A. 1 , Pixel data G at terminal B 2 The
[0062]
The
[0063]
The
[0064]
The
[0065]
When edge processing is performed by the
[0066]
Next, in each of these comparators 42a to 42f, the input pixel data G 1 ~ G Four Are compared, and the comparison result is output to the
[0067]
Next, in the
[0068]
Next, in the
[0069]
Next, in the horizontal direction interpolation circuit 15a and the vertical
[0070]
Therefore, according to such an
[0071]
The correlation value detection unit 16 receives pixel data from the
[0072]
The horizontal direction
[0073]
[Expression 1]
[0074]
That is, the horizontal correlation value C h In the vertical direction, when the pixel data G exists, the LPF of [1, 0, 6, 0, 1] is used by using the
[0075]
As shown in FIG. 16, the horizontal direction
[0076]
The
[0077]
The
[0078]
The
[0079]
In this horizontal direction
[0080]
The
[0081]
The
[0082]
The vertical direction
[0083]
[Expression 2]
[0084]
That is, the vertical correlation value C v Is calculated with a BPF of [-1, 0, 2, 0, -1] in the vertical direction by using
[0085]
As shown in FIG. 17, the vertical direction
[0086]
The
[0087]
The
[0088]
The
[0089]
The
[0090]
The
[0091]
Since the correlation value detection unit 16 configured in this way is configured with a
[0092]
As shown in FIG. 2, the
[0093]
As shown in FIG. 18, the
[0094]
The
[0095]
The
[0096]
The
[0097]
Such a
[0098]
As shown in FIG. 2, the offset
[0099]
As shown in FIG. 20, the offset circuits 18 a and 18 b include an
[0100]
When the correlation value C is input from the
[0101]
As described above, the offset circuits 18a and 18b add the offset value to the correlation value C, so that even if the amplitude of the input correlation value C is about 0, the correlation value C having a large value can be provided. . For example, as shown in FIG. 22, the offset circuits 18a and 18b cannot obtain the correlation value C in the above-described correlation value detection unit 16, for example, pixel data constituting image data whose color changes for each pixel. , The high-frequency signal and the vertical correlation value C v And horizontal correlation value C h The horizontal correlation value C even when the amplitude of h And vertical correlation value C v Can be prevented from switching suddenly. That is, according to such offset circuits 18a and 18b, by adding the offset value to the correlation value C, the interpolation pixel data weighted by the correlation value C can be brought closer to the direction of interpolation by arithmetic mean. Therefore, according to the offset circuits 18a and 18b, when the amplitude of the input correlation value C is very small, or in the adjacent pixels, the horizontal correlation value C h Is 1, vertical correlation value C v Even if is 0, the vertical correlation value C v Is 0, horizontal correlation value C h There is no such thing as switching to 1.
[0102]
As shown in FIG. 2, the
[0103]
Such a
[0104]
[Equation 3]
[0105]
As shown in FIG. 23, the
[0106]
Then, the
[0107]
[Expression 4]
[0108]
Therefore, the
[0109]
As shown in FIG. 25, the enhancement /
[0110]
The
[0111]
Such an emphasis /
[0112]
Thus, the enhancement /
[0113]
As shown in FIG. 2, the
[0114]
Such a
[0115]
The
[0116]
The
[0117]
The
[0118]
The
[0119]
The Y /
[0120]
The color difference
[0121]
The BG
[0122]
The
[0123]
The absolute value converters 71a to 71c are, for example, Ex. It consists of an
[0124]
The
[0125]
The
[0126]
The
[0127]
The
[0128]
The RG data suppression circuit 25 b receives the color difference R′−G ′ in the
[0129]
Therefore, according to such a color difference
[0130]
Such a color difference
[0131]
The
[0132]
In the above description, an example of processing a camera signal generated by the
[0133]
【The invention's effect】
As described in detail above, the camera signal processing apparatus and camera signal processing method according to the present invention Then, based on the relevant pixel data and / or surrounding pixel data of the pixel data generated based on the imaging signal from the solid-state imaging device to which the imaging light is incident through the color filters having different spectral sensitivities corresponding to each pixel. The Interpolate from at least two directions to generate interpolated pixel data in each direction, Generated Detecting correlation values indicating the degree of correlation in the two or more directions of the interpolated pixel data, The detected correlation value in each direction is converted to an absolute value and converted to an absolute value. Subtracts a predetermined value from the correlation value in each direction The subtracted correlation value in each direction is limited to a positive value, and the interpolated pixel data in each direction is weighted with the limited correlation value in each direction, and each weighted interpolation is performed. Since pixel data is added and interpolated pixel data is generated, Remove minute correlation values By Noise at minute values can be removed. Therefore, according to the camera signal processing apparatus and the camera signal processing method, for example, in order to calculate the correlation value through the BPF, the correlation value calculated with respect to noise of the solid-state imaging device itself can be removed. it can. Also, The interpolation pixel data can be weighted using a correlation value with less noise, and a false color signal is generated in the output image, so that the image is not deteriorated.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an example of a configuration of a camera device.
FIG. 2 is a block diagram illustrating an example of a configuration of a signal processing circuit.
FIG. 3 is a diagram illustrating an example of an arrangement of pixel data R, G, and B corresponding to each pixel.
FIG. 4 is a diagram illustrating an example of a configuration of a vertical direction interpolation circuit.
FIG. 5 is a diagram illustrating an example of an arrangement of pixel data G corresponding to each pixel.
FIG. 6 is a diagram illustrating frequency characteristics of LPFs of [1, 0, 6, 0, 1].
FIG. 7 is a diagram showing frequency characteristics of LPFs of [1, 0, 1].
FIG. 8 is a diagram illustrating an example of interpolated pixel data G ′ generated after performing an interpolation process.
FIG. 9 is a diagram illustrating an example of a configuration of a horizontal direction interpolation circuit.
FIG. 10 is a diagram illustrating an example of an arrangement of pixel data B corresponding to each pixel.
FIG. 11 is a diagram illustrating an example of an arrangement of interpolation pixel data B ′ when an arithmetic mean is calculated in the hydraulic direction for pixel data B corresponding to each pixel.
FIG. 12 is a diagram illustrating an example of interpolated pixel data B ′ generated after performing an interpolation process.
FIG. 13 is a diagram illustrating an example of a configuration of a vertical direction interpolation circuit.
FIG. 14 is a diagram illustrating an example of a configuration of an edge processing circuit.
FIG. 15 is a diagram for explaining an example when edge processing is performed by an edge processing circuit;
FIG. 16 is a diagram illustrating an example of a configuration of a horizontal direction correlation detection circuit.
FIG. 17 is a diagram illustrating an example of a configuration of a vertical direction correlation detection circuit.
FIG. 18 is a diagram illustrating an example of a configuration of a noise removal circuit.
FIGS. 19A and 19B are diagrams illustrating an example when processing is performed on a correlation value input by a noise removal circuit, where FIG. 19A illustrates an example when a subtraction process is performed on the correlation value, and FIG. It is a figure which shows an example when it limits with a negative value.
FIG. 20 is a diagram illustrating an example of a configuration of an offset circuit.
FIG. 21 is a diagram illustrating an example of changes in input / output characteristics when an offset value is added to a correlation value input by an offset circuit.
FIG. 22 is a diagram illustrating an example of image data whose color changes for each adjacent pixel data.
FIG. 23 is a diagram illustrating an example of a configuration of a bias correction circuit.
FIG. 24 is a diagram illustrating an example of a change in input / output characteristics when a correction value is added to a correlation value input by a bias correction circuit.
FIG. 25 is a diagram illustrating an example of a configuration of an enhancement / reduction circuit.
FIG. 26 is a diagram illustrating a change in input / output characteristics when a multiplication process is performed on a correlation value input by an enhancement / reduction circuit.
FIG. 27 is a diagram illustrating an example of a configuration of a color difference signal suppression circuit.
FIG. 28 shows interpolated pixel data R for pixel data R and G arranged in the vertical direction by the color difference signal suppression unit. v , G v Interpolated pixel data R for pixel data R and G arranged in the horizontal direction h , G h , Weighted interpolation pixel data R c , G c Interpolated pixel data R having the smallest absolute value among the color differences of h , G h It is a figure which shows an example which selects.
FIG. 29 is a diagram illustrating another example of the arrangement of pixel data.
[Explanation of symbols]
DESCRIPTION OF
Claims (3)
上記補間画素データ生成手段で生成した補間画素データの上記2以上の方向における相関の程度を示す相関値をそれぞれ検出する相関検出手段と、
上記相関検出手段で検出した各方向の相関値を絶対値化する絶対値化手段と、上記絶対値化手段で絶対値化された各方向の相関値から所定値だけ減算処理する減算手段と、上記減算手段で減算処理された各方向の相関値が正の値となるように制限する制限手段とを備えるノイズ除去手段と、
上記補間画素データ生成手段で生成した各方向の補間画素データに上記ノイズ除去手段で制限された各方向の相関値で重み付けをして、重みづけられた各補間画素データを加算処理して補間画素データを生成する重み付け手段と、
上記重み付け手段で重みづけられた補間画素データに基づいて画像を生成する画像生成手とを備えるカメラ信号処理装置。At least based on the relevant pixel data and / or surrounding pixel data of the pixel data generated based on the imaging signal from the solid-state imaging device on which the imaging light is incident through the color filters having different spectral sensitivities corresponding to each pixel. Interpolation pixel data generating means for generating interpolation pixel data in each direction by interpolating from two or more directions;
Correlation detection means for detecting correlation values indicating the degree of correlation in the two or more directions of the interpolation pixel data generated by the interpolation pixel data generation means;
Absolute value converting means for converting the correlation values detected in the correlation detection means into absolute values; and subtracting means for subtracting a predetermined value from the correlation values in each direction converted into absolute values by the absolute value converting means; Noise removing means comprising limiting means for limiting the correlation value in each direction subjected to the subtraction processing by the subtracting means to be a positive value ;
The interpolated pixel data generated by the interpolated pixel data generating means is weighted with the correlation value of each direction limited by the noise removing means, and the weighted interpolated pixel data is added and interpolated. A weighting means for generating data;
A camera signal processing apparatus comprising: an image generator that generates an image based on the interpolation pixel data weighted by the weighting means.
上記減算手段は、上記制御手段で生成した減算値を上記絶対値化手段で絶対値化された各方向の相関値から減算することを特徴とする請求項1に記載のカメラ信号処理装置。The noise removing means includes control means for generating a subtraction value for performing subtraction processing by the subtraction means,
2. The camera signal processing apparatus according to claim 1, wherein the subtracting unit subtracts a subtraction value generated by the control unit from a correlation value in each direction absolute valued by the absolute value converting unit.
生成された補間画素データの上記2以上の方向における相関の程度を示す相関値をそれぞれ検出し、
検出された各方向の相関値を絶対値化し、
絶対値化された各方向の相関値から所定値だけ減算処理し、
減算処理された各方向の相関値が正の値となるように制限し、
制限された各方向の相関値で上記各方向の補間画素データに重み付けをして、
重みづけられた各補間画素データを加算処理して補間画素データを生成する
ことを特徴とするカメラ信号処理方法。At least based on the relevant pixel data and / or surrounding pixel data of the pixel data generated based on the imaging signal from the solid-state imaging device on which the imaging light is incident through the color filters having different spectral sensitivities corresponding to each pixel. Interpolate from two or more directions to generate interpolated pixel data in each direction,
Detecting correlation values indicating the degree of correlation in the two or more directions of the generated interpolation pixel data,
The detected correlation value in each direction is converted into an absolute value,
Subtract only a predetermined value from the correlation value in each direction converted to an absolute value,
Limit the correlation value in each direction that has been subtracted to be a positive value,
Weighting the interpolated pixel data in each direction with the limited correlation value in each direction,
A camera signal processing method comprising: adding weighted interpolation pixel data to generate interpolation pixel data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31516698A JP4320807B2 (en) | 1997-11-28 | 1998-11-05 | Camera signal processing apparatus and camera signal processing method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9-329320 | 1997-11-28 | ||
JP32932097 | 1997-11-28 | ||
JP31516698A JP4320807B2 (en) | 1997-11-28 | 1998-11-05 | Camera signal processing apparatus and camera signal processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11220745A JPH11220745A (en) | 1999-08-10 |
JP4320807B2 true JP4320807B2 (en) | 2009-08-26 |
Family
ID=26568208
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP31516698A Expired - Fee Related JP4320807B2 (en) | 1997-11-28 | 1998-11-05 | Camera signal processing apparatus and camera signal processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4320807B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005081543A1 (en) * | 2004-02-19 | 2005-09-01 | Olympus Corporation | Imaging system and image processing program |
US7995868B2 (en) | 2004-10-19 | 2011-08-09 | Megachips Corporation | Image processing method and image processing device |
JP4428195B2 (en) | 2004-10-22 | 2010-03-10 | 株式会社日立製作所 | Imaging apparatus, complementary signal generation method, and program |
KR100741517B1 (en) | 2005-11-07 | 2007-07-20 | 연세대학교 산학협력단 | Noise insensitive high resolution color interpolation method for considering cross-channel correlation |
KR101389562B1 (en) * | 2007-11-15 | 2014-04-25 | 삼성전자주식회사 | Image signal processing apparatus and Method for the same |
JP5631769B2 (en) * | 2011-02-17 | 2014-11-26 | 株式会社東芝 | Image processing device |
JP6282123B2 (en) * | 2014-01-23 | 2018-02-21 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
-
1998
- 1998-11-05 JP JP31516698A patent/JP4320807B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH11220745A (en) | 1999-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6611287B1 (en) | Camera signal processing apparatus and camera signal processing method | |
JP2008289090A (en) | Imaging signal processor | |
US7710474B2 (en) | Luminance signal processing device | |
JP2009027619A (en) | Video processing device and video processing program | |
JP4548390B2 (en) | Imaging apparatus and signal processing method | |
WO2017154293A1 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP4320807B2 (en) | Camera signal processing apparatus and camera signal processing method | |
JP4040171B2 (en) | Signal processing device | |
JPH11313336A (en) | Signal processor and photographing signal processing method | |
JP4269367B2 (en) | Camera signal processing apparatus and camera signal processing method | |
JP4269366B2 (en) | Camera signal processing apparatus and camera signal processing method | |
JP4269369B2 (en) | Camera signal processing apparatus and camera signal processing method | |
JP4269368B2 (en) | Camera signal processing apparatus and camera signal processing method | |
JPH11220749A (en) | Camera signal processor and camera signal processing method | |
JP4273546B2 (en) | Camera signal processing apparatus and camera signal processing method | |
JP4269370B2 (en) | Camera signal processing apparatus and camera signal processing method | |
JP4284960B2 (en) | Image signal processing device | |
JP3841584B2 (en) | Imaging device | |
JP4130885B2 (en) | Solid-state imaging device | |
JP4099010B2 (en) | Signal processing circuit | |
JP2000102024A (en) | Image signal processor | |
JP4461684B2 (en) | Image signal processing apparatus, camera system, and image signal processing program | |
JPH09331543A (en) | Color area detection circuit and image pickup device using the circuit | |
JP2004289558A (en) | Solid-state imaging apparatus | |
JP2009027615A (en) | Video processing device and video processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051019 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090325 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090512 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090525 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |