JP4269369B2 - Camera signal processing apparatus and camera signal processing method - Google Patents
Camera signal processing apparatus and camera signal processing method Download PDFInfo
- Publication number
- JP4269369B2 JP4269369B2 JP31516898A JP31516898A JP4269369B2 JP 4269369 B2 JP4269369 B2 JP 4269369B2 JP 31516898 A JP31516898 A JP 31516898A JP 31516898 A JP31516898 A JP 31516898A JP 4269369 B2 JP4269369 B2 JP 4269369B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel data
- correlation value
- interpolation
- input
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、単板カラー方式を採用したカメラ装置に用いて好適なカメラ信号処理装置及びカメラ信号処理方法に関し、固体撮像素子で生成した撮像信号から輝度信号又は色差信号を生成するときに各画素における相関値を算出するカメラ信号処理装置及びカメラ信号処理方法に関する。
【0002】
【従来の技術】
従来において、CCD(Charge Coupled Device) イメージセンサ(以下、単にCCDと称する。)等の固体撮像素子を用いた単板式のカメラ装置においては、CCD上にR,G,Bに対応した光を透過させる色フィルタが配設されている。この色フィルタは、R(レッド)の光を透過させる領域と、G(グリーン)の光を透過させる領域と、B(ブルー)の光を透過させる領域とがマトリクス状に形成されており、例えば水平方向においてG,R,G・・又はB,G,B・・と配設されている。そして、CCDには、この色フィルタの各領域を透過した光が入力され、色フィルタのR,G,Bの光を透過させる領域に対応した画素から画素データG,画素データR,画素データBをそれぞれ生成する。
【0003】
そして、このカメラ装置においては、CCDに入力される光に基づいて輝度信号を作成するとともに、色信号を作成している。
【0004】
このようなカメラ装置におけるCCDは、1つの画素毎にR,G,Bを有する色フィルタが配されており、例えば水平方向にR,G,R,G,・・・という配列となされている。そして、このカメラ装置においては、各画素に対応して配された色フィルタに対応して色信号を作成している。したがって、このようなCCDでは、Rの光を透過させる色フィルタが配されている画素においてはG及びBに対応した画素データG,Bが生成されないこととなり、G及びBに対応した画素データを補間して生成する必要がある。
【0005】
このようなカメラ装置において、各画素毎に水平方向から補間して補間画像を得るときには、水平方向において隣接する画素データを加算処理して平均を計算することで補間を行う。また、垂直方向から補間するときには、水平方向と同様に、垂直方向において隣接する画素データを加算処理して、平均を計算することで補間を行う。
【0006】
【発明が解決しようとする課題】
ところで、カメラ装置においては、輝度信号の周波数が標本化周波数の下限、ナイキスト周波数の限界の近傍において利得が低減することが避けられない。このように、輝度信号の周波数がナイキスト周波数近傍において利得が低減すると、カメラ装置で生成する画像の解像度が劣化してしまう。また、単板方式のカメラ装置においては、上述のように、各画素上に配された色フィルタを介して各色に対応した光を入力しているので、輝度信号の周波数が標本化周波数の1/2であっても、色信号の周波数が1/4しかないことによる。
【0007】
このように、カメラ装置においては、ナイキスト限界の近傍における周波数帯域においては、相関値を検出することができないこととなる。したがって、このような帯域では、例えば色のエッジ等に偽色信号が発生することがある。
【0008】
そこで、本発明は、上述したような実情に鑑みて提案されたものであり、撮像素子で生成した画像データを生成するときに、高い解像度で輝度信号及び色差信号を作成することができるカメラ信号処理装置及びカメラ信号処理方法を提供することを目的とする。
【0009】
【課題を解決するための手段】
上述の課題を解決する本発明にかかるカメラ信号処理装置は、各画素毎に分光特性が異なる色フィルタを介して入射される光に応じて固体撮像素子が検出する画素データを当該位置及び周囲の画素データに基づいて補間画素データとする補間画素データ生成手段と、補間画素データ生成手段で生成された補間画素データの水平方向及び垂直方向における相関の程度を示し当該補間画素データに重み付けを行う相関値を検出する相関検出手段と、補間画素データ生成した補間画素データを相関検出手段で検出した相関値で重み付けを行った補間画素データに基づいて画像を生成する画像生成手段とを備え、相関検出手段は、固体撮像素子で検出する画素データのうち所定の色を示す画素データのみを用いて所定の色を示す補間画素データについての相関値及び所定の色以外の色を示す補間画素データについての相関値を検出することを特徴とするものである。
【0010】
【課題を解決するための手段】
上述の課題を解決する本発明は、各画素に対応して分光感度が異なる色フィルタを介して撮像光が入射される固体撮像素子からの撮像信号に基づいて生成される各色の画素データから輝度信号と色差信号を生成するカメラ信号処理装置であって、 上記撮像信号に応じて生成される画素データを当該位置及び周囲の画素データに基づいて補間画素データとする補間処理を行い、画素データが存在しない画素について補間画素データを生成するとともに、上記画素データが存在しない画素における補間画素データの周波数特性との差が小さくなるように、画素データが存在する画素についても補間画素データを生成する補間画素データ生成手段と、上記補間画素データ生成手段で生成された補間画素データの水平方向及び垂直方向における相関の程度を示し当該補間画素データに重み付けを行う相関値を検出する相関検出手段と、上記補間画素データで生成した補間画素データを上記相関検出手段で検出した相関値で重み付けを行った補間画素データに基づいて輝度信号と色差信号を生成する画像生成手段とを備え、上記相関検出手段は、上記固体撮像素子で検出する画素データのうち所定の色を示す画素データのみを用いて上記所定の色を示す補間画素データについての相関値及び上記所定の色以外の色を示す補間画素データについての相関値を検出し、上記所定の色を示す補間画素データについての相関値を求めるとき、当該補間画素データと同色の画素データのみを用いて[−1,0,2,0,−1]のBPF、[1,0,6,0,1]/8のLPFを用いて相関値を検出し、上記所定の色以外の色を示す補間画素データについての相関値を求めるとき、当該所定の色の画素データのみを用いて[−1,0,2,0,−1]のBPF、[1,0,1]/2のLPFを用いて相関値を検出することを特徴とする。
【0011】
また本発明は、各画素に対応して分光感度が異なる色フィルタを介して撮像光が入射される固体撮像素子からの撮像信号に基づいて生成される各色の画素データから輝度信号と色差信号を生成するカメラ信号処理方法であって、 上記撮像信号に応じて生成される画素データを当該位置及び周囲の画素データに基づいて画素データが存在しない画素について補間画素データを生成するとともに、上記画素データが存在しない画素における補間画素データの周波数特性との差が小さくなるように、画素データが存在する画素についても補間画素データを生成し、上記補間画素データの水平方向及び垂直方向における相関の程度を示し当該補間画素データに重み付けを行う相関値を検出するにあたり、上記画素データのうち所定の色を示す画素データのみを用いて上記所定の色を示す補間画素データについての相関値及び上記所定の色以外の色を示す補間画素データについての相関値を検出し、上記所定の色を示す補間画素データについての相関値を求めるとき、当該補間画素データと同色の画素データのみを用いて[−1,0,2,0,−1]のBPF、[1,0,6,0,1]/8のLPFを用いて相関値を検出し、上記所定の色以外の色を示す補間画素データについての相関値を求めるとき、当該所定の色の画素データのみを用いて[−1,0,2,0,−1]のBPF、[1,0,1]/2のLPFを用いて相関値を検出し、上記相関値で上記補間画素データの重み付けを行い、重み付けがなされた上記補間画素データに基づいて輝度信号と色差信号を生成することを特徴とする。
【0012】
本発明に係るカメラ信号処理装置は、図1に示すように、入力された光に応じて例えば静止画像を生成するカメラ装置1に適用できる。
【0013】
このカメラ装置1は、CCD(Charge Coupled Device) イメージャ(以下CCDと称する。)に被写体を結像するする光学系2と、CCD3と、このCCD3を駆動するタイミングジェネレータ4と、CCD3から撮像信号が入力されるサンプル/ホールド回路5と、サンプル/ホールド回路5から撮像信号が入力されゲインを調整するAGC回路6と、入力された撮像信号をデジタル方式の画像データに変換するA/D変換回路7と、画像データにカメラ信号処理を行うカメラ処理部8と、CCD3で生成する撮像信号を検波するCCD検波部9と、これら各部を制御する制御部10とから構成されている。
【0014】
ここで、CCD3には、R(レッド)の光を透過する領域と、G(グリーン)の光を透過する領域と、B(ブルー)の光を透過する領域とがマトリクス状に形成された色フィルタが配設されており、各画素毎に当該色フィルタを透過した光が入力される。この色フィルタは、例えば、各色の光を透過する領域が水平方向にR,G,R,G・・・又はG,B,G,B・・・と配設されている。すなわち、CCD3は、各画素毎で各色R,G,Bに対応した光に基づいて画素データR,画素データG,画素データBを生成する。
【0015】
このCCD検波部9では、A/D変換回路7でデジタル方式に変換された画像データが入力される。そして、このCCD検波部9で検波された画像データは、例えばAE(auto exposure)回路、AF(auto focus)回路に入力される。そして、例えばAE回路に入力された画像データは、電子シャッタのシャッタスピード又は絞りを調整するために使用され、CCD3に入射する光の明るさを自動で切り換える。
【0016】
カメラ処理部8は、A/D変換回路7から画像データが入力される欠陥補正回路11と、欠陥補正回路11から画像データが入力されるCLP回路12と、CLP回路12から画像データが入力されるホワイトバランス回路13と、ホワイトバランス回路13から画像データが入力されるγ補正回路14を備える。
【0017】
欠陥補正回路11は、A/D変換回路7からの画像データに欠陥補正を施す。この欠陥補正回路11は、欠陥を有するために画素データが生成されない画素の欠陥を補正して、CLP回路12に画像データを出力する。
【0018】
CLP回路12には、欠陥補正回路11からの画像データからオプティカルブラックを差し引く。このようにCLP回路12では、入力した画像データの黒レベルを補正して、当該画像データをホワイトバランス回路13に出力する。
【0019】
ホワイトバランス回路13には、CLP回路12からの画像データR,G,Bに対応した色毎のレベルを調整する。このようにホワイトバランス回路13は、各色毎にレベルが調整された画像データをγ補正回路14に出力する。
【0020】
このγ補正回路14には、ホワイトバランス回路13からの画像データにγ補正を施す。そして、このγ補正回路14は、γ補正を施した画像データを後述する画像データ補間部と相関値検出部とに出力する。
【0021】
また、この信号処理部8は、図2に示すように、γ補正回路14から画像データが入力される画像データ補間部15と、各画素データ間の相関値を検出する相関値検出部16と、相関値のノイズを除去するノイズ除去部17と、相関値にオフセットをかけるオフセット回路18と、相関値を正規化する正規化回路19と、相関を検出する方向の偏りを補正する偏り補正回路20と、相関の強調及び低減を行う強調・低減回路21と、補間した画像データに相関値を用いて重み付けを行う加重加算回路22と、画像データの輪郭を補正する輪郭補正回路23と、画像データを輝度信号(Y)と色差信号(C)とからなるY/C信号に変換するY/C変換部24と、色差信号による偽色信号を抑制する色差信号抑制部25と、出力部26とを備える。
【0022】
画像データ補間部15には、γ補正回路14から複数の画素データからなる画像データが入力される。この画像データ補間部15は、各画素毎に各画素データR,G,Bの補間を行って、各補間画素データR’,G’,B’を生成するものである。この画像データ補間部15は、水平方向に配列した画素に対応した画素データの補間を行う水平方向補間回路15aと、垂直方向に配列した画素に対応した画素データの補間を行う垂直方向補間回路15bとからなる。
【0023】
水平方向補間回路15aには、図3に示すようなマトリクス状に配列された各画素に対応する画素データR,G,Bが入力される。この水平方向補間回路15aは、下記の式1に示すフィルタを用いて水平方向における補間画素データを算出する。なお、図3は、各画素毎に対応した画素データR,G,Bを示す図であり、各画素の配置として座標を数字で示した図である。また、この以下の説明においては、水平方向におけるライン毎に0h,1h,2h,3h,4hと配されているとして以下の説明を行う。
【0024】
[1,4,6,4,1]/8 (式1)
すなわち、補間画素データR’,G’,B’の算出を行うときには、式1に示すフィルタを用いるために、水平方向補間回路15aを図4に示すように構成する。
【0025】
水平方向補間回路15aは、水平方向における補間画素データR’,G’,B’を作成するとき、図4に示すように構成する。この水平方向補間回路15aは、γ補正回路14から画素データが入力される入力部30と、入力部30から各画素データが入力される遅延回路31と、遅延回路31から水平方向における各画素データが入力され補間画素データを生成するフィルタ回路32と、フィルタ回路32を介して補間画素データが入力されるセレクタ回路33と、セレクタ回路33からの補間画素データを出力する出力端子34とからなる。
【0026】
入力部30には、γ補正回路14から水平方向における各画素データが順次入力される。この入力部30には、1画素データ毎にクロックで順次入力される。
遅延回路31は、入力部30で入力した各画素データが入力される遅延回路31a〜31dからなる。この遅延回路31は、入力された各画素データを上記のクロックと同期して各遅延回路31a〜31dに入力し、フィルタ回路32に出力する。
【0027】
フィルタ回路32は、入力部30及び遅延回路31dを介して画素データが入力される加算器32aと、遅延回路31a及び遅延回路31cを介して画素データが入力される加算器32bと、遅延回路31bを介して画素データが入力される加算器32cと、加算器32a及び加算器32cからの出力が入力される加算器32dとからなる。
【0028】
加算器32aは入力部30から直接入力される画素データ及び遅延回路31dを介して画素データが入力され、加算器32cは遅延回路31bを介して画素データが入力され、加算器32dは加算器32a及び加算器32cを介して画素データが入力される。また、加算器32bは遅延回路31a及び遅延回路31cを介して画素データが入力される。
【0029】
すなわち、このフィルタ回路32は、加算器32a,32c,32dで[1,0,6,0,1]/8のフィルタを構成し、加算器32bで[1,0,1]/2のフィルタを構成している。
【0030】
セレクタ回路33は、加算器32dからの出力及び遅延回路31bを介して画素データが入力されるセレクタ33a、33bと、セレクタ33aからの出力及び加算器32bからの出力が入力されるセレクタ33cと、加算器32b及びセレクタ33bからの出力が入力されるセレクタ33dとを有する。
【0031】
また、各セレクタ33a〜33dは、制御部10からの制御信号が入力されて、その動作が制御されている。
【0032】
出力部34は、セレクタ33cからの出力を出力する端子34aとセレクタ33dからの出力を後述するエッジ処理回路に出力する端子34bとを有する。
【0033】
このように構成された水平方向補間回路15aは、例えば画素データG22について、補間画素データR22’,B22’のみならず、補間画素データG22’をも算出する。
【0034】
水平方向補間回路15aで、例えば図3中の画素データG22についての補間画素データG22’を算出するときには、入力部30で2hにおける画素データG20,R21,G22,R23,G24を順次入力する。
【0035】
次に、入力部30で入力した画素データG20,R21,G22,R23,G24を遅延回路31によりフィルタ回路32に入力する。すなわち、画素データG20を加算器32aに入力し、画素データR21を加算器32bに入力し、画素データG22を加算器32cに入力し、画素データR23を加算器32bに入力し、画素データG24を加算器32aに入力する。
【0036】
次に、フィルタ回路32で各画素データG20,G22,G24から、画素データG22についての補間画素データG22’の演算を行う。すなわち、加算器32aでは画素データG20と画素データG24とを加算処理して加算器32dに出力する。また、加算器32cでは、画素データG22を4倍とするとともに2倍としてこれらを加算処理して加算器32dに出力する。そして、加算器32dでは、加算器32aと加算器32cとからの出力を入力して、これらを加算処理するとともに1/8の乗算処理を行ってセレクタ回路33に出力する。また、加算器32bでは、画素データR21と画素データR23を入力してこれらを加算処理するとともに1/2の乗算処理を行ってセレクタ回路33に出力する。
【0037】
このように加算器32a,32c,32dで加算処理を行うことにより、{画素データG20+6×画素データG22+画素データG24}/8という演算を行う。一方、加算器32bで加算処理を行うことにより、{画素データR21+画素データR23}/2という演算を行う。すなわち、このフィルタ回路32では、加算器32bで[1,0,1]/2というフィルタを構成し、加算器32a,32c,32dで[1,0,6,0,1]/8というフィルタを構成し、画素データG20,G22,G24を上述した式1に示すフィルタを通過させる。したがって、このフィルタ回路32によれば、画素データR22,G22についての補間画素データR22’,G22’を作成する。
【0038】
次に、セレクタ33a及びセレクタ33bでは、補間画素データG22’を入力するとともに、画素データG22を入力する。また、セレクタ33a及びセレクタ33bでは、制御部10から制御信号H又は制御信号Lを入力する。ここで、セレクタ33a及びセレクタ33bでは、制御信号Hが入力されたときには、フィルタ回路32からの補間画素データG22’をそのままセレクタ33c,33dに出力し、制御信号Lが入力されたときには、画素データG22をセレクタ33c,33dに出力する。
【0039】
次に、この制御部10では、画素データG22についての補間画素データG22’がフィルタ回路32で生成されていることから、制御信号Lをセレクタ33c及びセレクタ33dに出力する。このように、セレクタ33c,33dに制御信号Lが入力されると、セレクタ33cでは補間画素データR22’を出力し、セレクタ33dでは画素データG22又は補間画素データG22’を出力する。
【0040】
一方、制御部10からセレクタ33c,セレクタ33dに制御信号Hが入力された場合、セレクタ33cはセレクタ33aから入力されたデータを出力し、セレクタ33dは加算器32bから入力されたデータを出力する。
【0041】
すなわち、このセレクタ33dは、例えば画素データG22についての補間画素データG22’を出力するときにはセレクタ33bからの入力を出力し、図3中の画素データG23についての補間画素データG23’を出力するときには、加算器32bからの入力を出力するように制御される。そして、セレクタ33cは端子34aに画素データR又は画素データBについての補間画素データR22’を出力し、セレクタ33dは端子34bに画素データGについての補間画素データG22’を出力する。
【0042】
このように画素データGについての補間画素データG’を算出するときは、入力した画素データR,Gのうち、図5に示すような画素データGのみからなるCCD3を想定して補間画素データG’を算出する。したがって、この水平方向補間回路15aでは、画素データGが存在しない画素について補間画素データG’を算出するときには[1,0,1]/2というフィルタを使用して補間画素データG’を算出し、画素データGが存在する画素について補間画素データG’を算出するときには[1,0,6,0,1]/8というフィルタを使用して補間画素データG’を算出することとなる。したがって、このようなフィルタを用いて補間画素データG’を算出する水平方向補間回路15aでは、これらのフィルタの周波数特性が図6及び図7に示すようになる。すなわち、この[1,0,6,0,1]/8というフィルタでは図6に示すような周波数特性を示し、[1,0,1]/2というフィルタでは図7に示すような周波数特性を示す。この図6及び図7に示したフィルタの周波数特性によれば、水平方向補間回路15aでは、これらのフィルタを用いることで画素データGが存在する画素における補間画素データG’の周波数特性と画素データGが存在しない補間画素データG’の周波数特性との差を小さくすることができる。
【0043】
したがって、このように各画素データGについての補間画素データG’を算出することにより、図8に示すような補間画像データG’を得ることができる。
【0044】
また、上述した水平方向補間回路15aは、2hにおいて画素データG22についての補間画素データR22’を[1,0,1]/2のフィルタを用いて算出したが、上述と同様に1hにおいては、画素データG11についての補間画素データB11’を算出することもできる。
【0045】
次に、2hにおける画素データG22についての補間画素データB22’を算出するときには、図9に示したフィルタを用いて行う。すなわち、以下の説明では、画素データBが存在しないラインにおいて、補間画素データB’を算出する一例について説明する。
【0046】
画素データG22の補間画像データB22’を算出するときには、図9に示すように構成した水平方向補間回路15a’を用いて補間画素データB22’を算出する。なお、以下の水平方向補間回路15a’の説明においては、図4に示した水平方向補間回路15aと同様の部分については同一の符号を付することでその詳細な説明を省略する。すなわち、この図9に示した水平方向補間回路15a’では、入力部30を例えば1hにおける画素データがB10,G11,B12,G13,B14の順に入力される端子30aと、3hにおける画素データがB30,G31,B32,G33,B34の順に入力される端子30bとからなるものとしている。そして、この図9に示した水平方向補間回路15a’は、端子30a,30bから画素データが入力される加算器35を備えている。この加算器35では、端子30a及び端子30bからの画素データが入力されて、加算処理を行うとともに除算処理を行う。すなわち、この加算器35では、例えば{画素データB10+画素データB30}/2という処理を行う。そして、この図9の水平方向補間回路15a’では、図4に示した水平方向補間回路15aと同様に遅延回路31a〜31d,加算器32,セレクタ回路33を介して補間画素データG’,B’を出力する。
【0047】
すなわち、この水平方向補間回路15a’では、先ず、垂直方向において隣接した1h及び3hに配列した画素に対応した画素データBの相加平均で垂直方向を補間することで、図10に示すように配置された各画素の画素データBを、図11に示すように、垂直方向に補間して補間画素データB’を算出する。
【0048】
次に、この垂直方向における画素データB及び補間して得た補間画素データB’を[1,0,6,0,1]/8のフィルタ、[1,0,1]/2のフィルタを介して画素データBの水平方向における補間画素データB’を算出する。
【0049】
すなわち、この水平方向補間回路15a’では、水平方向に画素データBが存在しないラインについての補間画素データB22’を以下のように作成する。まず、フィルタ回路32で1h及び3hにおける画素データBに[1,0,6,0,1]/8からなるフィルタを加算器32a,32c,32dを通過させることで適用し、1h及び3hにおける画素データGに[1,0,1]/2からなるフィルタを加算器32bを通過させることで適用する。水平方向補間回路15a’は、さらに[1,0,6,0,1]/8からなるフィルタを通過して得た画素データBの値から[1,0,1]/2からなるフィルタを通過して得た画素データGの値を減算する減算処理回路と、この減算処理回路からの出力に図4に示した水平方向補間回路15aで得た補間画素データG22’を加算処理する加算処理回路とを有している。
【0050】
すなわち、この水平方向補間回路15a’では、[1,0,6,0,1]/8からなるフィルタを通過して得た画素データBの値から[1,0,1]/2からなるフィルタを通過して得た画素データGの値を減算処理して、さらに画素データG’を加算処理して補間画素データB’を加重加算回路22に出力する。
【0051】
このように、図9の水平方向補間回路15a’は、2hのように、画素データBが存在しない画素に対応した画素データG22においても、図12に示すように、補間画素データB22’を算出することができる。すなわち、この図9の水平方向補間回路15a’によれば、全(すべ)ての画素について補間画素データB’を算出することができる。
【0052】
また、このような水平方向補間回路15a’は、画素データG22について補間画素データB22’を算出するときには、下記式2及び上述の式1で算出した補間画素データを用いて算出してもよい。
【0053】
B22’={(B12’−G12’)+(B32’−G32’)}/2+G22’(式2)この式2によれば、補間画素データB22’を算出するときには、図4の水平方向補間回路15aを用いて算出したG12’,G32’,G22’と、上述の式1で算出したB32’B12’とを用いて補間画素データB22’を算出することができる。
一方、垂直方向補間回路15bは、図13に示すように構成している。なお、以下に述べる垂直方向補間回路15bの説明においては、上述の水平方向補間回路15aと同一部分については同一符号を付することによりその詳細な説明を省略する。
【0054】
この垂直方向補間回路15bは、図13に示すように、垂直方向における各画素データR,G,Bが順次入力される入力部30を備えている。この入力部30は、1hにおける画素データが入力される端子30aと、3hにおける画素データが入力される端子30bと、0hにおける画素データが入力される端子30cと、4hにおける画素データが入力される端子30dと、2hにおける画素データが入力される端子30eとを有する。
【0055】
また、この垂直方向補間回路15bは、上述した水平方向補間回路15aと同様に、フィルタ回路32と、セレクタ回路33と、出力部34とを有している。
この垂直方向補間回路15bでは、各端子30a〜30eに画素データB10,B30,G00,G40,G20が入力されると、端子30a及び端子30bに入力された画素データを加算器32bに出力し、端子30c及び端子30dに入力された画素データを加算器32aに出力し、端子30eに入力された画素データを加算器32cに出力する。そして、垂直方向補間回路15bでは、水平方向補間回路15aと同様に、これらの入力された画素データをフィルタ回路32により上述の式1及び式2に適用して、画素データR,G,Bについての補間画素データR’,G’,B’を得る。
【0056】
また、この画像データ補間部15を構成する水平方向補間回路15aと垂直方向補間回路15bは、エッジ処理回路15cに接続している。このエッジ処理回路15cは、図14に示すように、上述のγ補正回路14からディレイ調整がなされた画素データGが入力される端子40a〜40cからなる入力部40と、各端子40a〜40cから画素データGが入力される遅延回路41a〜41dと、入力された画素データGを比較する比較部42と、比較部42での比較結果について演算処理を施す演算部43と、演算部43での演算結果に応じて出力を制御する出力部44と、出力部44から画素データを出力する出力端子45とから構成されている。また、このエッジ処理回路15cは、γ補正回路14から各画素データGが入力される。ここで、以下に説明するエッジ処理部15cは、例えば図15における補間画素データG’の値を制御するときの一例について説明する。
【0057】
入力部40は、上述した水平方向補間回路15a,垂直方向補間回路15bで補間して得られた図15における補間画素データG’の周囲の画素データG1 〜G4 が入力される。この入力部40は、例えば2hにおける補間画素データについてエッジ処理を行うときには、当該補間画素データG’の上方に隣接した1hの画素データG1 が入力される端子40aと、当該補間画素データG’の水平方向における両隣の画素データG2,G3が入力される端子40bと、当該補間画素データG’の下方に隣接した3hの画素データG4 が入力される端子40cとを備える。また、各端子40a〜40cは、遅延回路41a〜41dと接続している。なお、画素データG1,G2,G3,G4は、ディレイがかけられて各端子40a〜40cに入力される。
【0058】
遅延回路41a〜41dは、比較部42及び出力部44と接続し、入力部40から出力された画素データG1〜G4を入力する。この遅延回路41a〜41dは、画素データG1〜G4を入力するクロックと同期したクロックで比較部42及び出力部44に各画素データG1〜G4を出力する。
【0059】
比較部42は、入力部40で入力された4つの画素データのうち、2つの画素データが入力されるコンパレータ42a〜42fからなる。すなわち、この比較部42は、画素データG1及び画素データG2が入力されるコンパレータ42aと、画素データG1及び画素データG3が入力されるコンパレータ42bと、画素データG1及び画素データG4が入力されるコンパレータ42cと、画素データG2 及び画素データG3 が入力されるコンパレータ42dと、画素データG2 及び画素データG4 が入力されるコンパレータ42eと、画素データG3 及び画素データG4 が入力されるコンパレータ42fとからなる。
【0060】
また、コンパレータ42aは端子Aで画素データG1 、端子Bで画素データG2 が入力され、コンパレータ42bは端子Aで画素データG1 、端子Bで画素データG3 が入力され、コンパレータ42cは端子Aで画素データG1 、端子Bで画素データG4 が入力され、コンパレータ42dは端子Aで画素データG2 、端子Bで画素データG3 が入力され、コンパレータ42eは端子Aで画素データG2 、端子Bで画素データG4 が入力され、コンパレータ42fは端子Aで画素データG3 、端子Bで画素データG4 が入力される。
【0061】
演算部43は、比較部42から比較結果を入力し、この比較結果に基づいて入力部40で入力された画素データG1〜G4のうち、2位と3位の画像データを選択する。ここで、演算部43は、複数のセレクタから構成されている。この演算部43は、例えばコンパレータ42a,コンパレータ42b,コンパレータ42cからの比較結果が(L,H,H),(H,L,H),(H,H,L)のいずれかである場合、画素データG1 を2位として、演算結果を出力部44に出力する。また、この演算部43は、例えばコンパレータ42a,コンパレータ42d,コンパレータ42eからの比較結果が(H,L,L),(H,L,H),(H,H,L)のいずれかである場合、画素データG2 を3位として、演算結果を出力部44に出力する。
【0062】
出力部44は、入力部40及び演算部43と接続されている。この出力部44は、入力部40から各画素データG1〜G4が入力されるとともに、演算部43から演算結果が入力される。この出力部44は、2位を示す演算結果に応じて画素データを出力するセレクタ44aと、3位を示す演算結果に応じて画素データG1〜G4を出力するセレクタ44bとを有する。また、この出力部44は、端子40aで入力された画素データG1 が入力される00端子と、端子40bで入力された画素データG2 が入力される10端子と、端子40bで入力された画素データG3 が入力される01端子と、端子40cで入力された画素データG4 が入力される11端子とを備えている。
【0063】
出力部45は、出力部44及び水平方向補間回路15a,垂直方向補間回路15bと接続されている。この出力部45は、出力部44で出力した2位及び3位を示す画素データG1〜G4を水平方向補間回路15a,垂直方向補間回路15bに出力する。
【0064】
このように構成されたエッジ処理回路15cでエッジ処理を行うときには、図15に示すように、入力部40で例えば水平方向補間回路15a,垂直方向補間回路15bで補間して得られた補間画素データG’の周囲の画素データG1,G2,G3,G4を入力部40で入力する。ここで、図15中の各画素データ内の数字は、各画素データG1〜G4の大きさを表している。ここで、入力部40では、画素データG1 を端子40aで入力し、画素データG2 を端子40bで入力し、画素データG3 を端子40bで入力し、画素データG4 を端子40cで入力する。そして、これら画素データG1〜G4を各遅延回路41a〜41dを介して各コンパレータ42a〜42fに出力する。
【0065】
次に、これら各コンパレータ42a〜42fでは、入力された画素データG1 〜G4 の大きさを比較して比較結果を演算部43に出力する。このとき、各コンパレータ42a〜42fは、端子Aに入力した画素データが端子Bに入力した画素データよりも大きいときは比較結果Hを演算部43に出力し、端子Aに入力した画素データが端子Bに入力した画素データよりも小さいときは比較結果Lを演算部43に出力する。
【0066】
次に、演算部43では、各コンパレータ42a〜42fからの比較結果に応じて入力部40で入力した画素データG1〜G4のうち、2位と3位の画素データG1〜G4を決定して、演算結果を出力部44に出力する。ここで、セレクタ44aで2位を示す演算結果が入力され、セレクタ44bで3位を示す演算結果が入力される。そして、各セレクタ44a,44bは、演算結果に基づいて画素データG1,G2,G3,G4のうち、2位及び3位に該当する画素データG1〜G4を選択して出力部45に出力する。
【0067】
次に、出力部45では、これら2位及び3位に該当する画素データG1〜G4を水平方向補間回路15a及び垂直方向補間回路15bに出力する。
【0068】
次に、水平方向補間回路15a及び垂直方向補間回路15bでは、この2位及び3位に該当する画素データG1〜G4から補間画素データG’の大きさが算出されることとなる。
【0069】
したがって、このようなエッジ処理回路15cによれば、例えば画素データG1 の大きさが100,画素データG2の大きさが100,画素データG3の大きさが100,画素データG4 の大きさが0である場合には、2位及び3位の間を示す画素データは、共に100となるので、補間画素データG’の大きさは100に制限される。したがって、このエッジ処理回路15cによれば、図15に示した画素データについて垂直方向について補間したときの補間画素データG’は(100+0)=50として算出されるようなことがない。
【0070】
相関値検出部16は、上述のγ補正回路14から画素データが入力される。この相関値検出部16は、水平方向の相関値を検出する水平方向相関検出回路16aと、垂直方向の相関値を検出する垂直方向相関検出回路16bとからなる。
【0071】
水平方向相関検出回路16aは、画素データGが存在する画素においては下記式3に示すフィルタを用い、画素データGが存在しない画素においては下記式4に示すフィルタを用いて水平相関値Ch を算出する。
【0072】
【数1】
【0073】
すなわち、水平相関値Ch は、垂直方向において、画素データGが存在する場合には式3を用いて[1,0,6,0,1]のLPF、画素データGが存在しない場合には式4を用いて[1,0,1]のLPFをかけて算出される。また、水平相関値Ch は、水平方向において、[−1,0,2,0,−1]のBPFをかけて算出される。
【0074】
この水平方向相関検出回路16aは、図16に示すように、γ補正回路14から画素データが端子50a〜50eから入力される入力部50と、各画素データが入力されて水平相関値Ch を生成するフィルタ回路52と、水平相関値Ch が入力されるセレクタ回路53と、セレクタ回路53からの水平相関値Ch を出力する出力部54とからなる。
【0075】
入力部50は、γ補正回路14から図3に示した垂直方向に配された各画素データを順次入力する。この入力部50は、1hにおける画素データが入力される端子50aと、3hにおける画素データが入力される端子50bと、0hにおける画素データが入力される端子50cと、4hにおける画素データが入力される端子50dと、2hにおける画素データが入力される端子50eとを有する。
【0076】
フィルタ回路52は、端子50a及び端子50bから画素データが入力される加算器52aと、端子50c及び端子50dから画素データが入力される加算器52bと、端子50eから画素データが入力される加算器52cと、加算器52b及び加算器52cからの出力が入力される加算器52dとからなる。このフィルタ回路52は、上述した水平方向補間回路15a及び垂直方向補間回路15bに示したフィルタ回路33と同様に、加算器52b,加算器52c,加算器52dで[1,0,6,0,1]/8のフィルタを構成し、加算器52aで[1,0,1]/2のフィルタを構成している。
【0077】
セレクタ回路53は、加算器52dからの出力及び端子50eから画素データが入力されるセレクタ53aと、加算器52aからの出力及びセレクタ53aからの出力が入力されるセレクタ53bとを有する。また、各セレクタ53a,53bは、制御部10からの制御信号を入力して、その動作が制御されている。すなわち、セレクタ53aは、制御部10から制御信号Hを入力したとき、加算器52b,52c,52dを介して入力された画素データを出力し、制御部10から制御信号Lを入力したとき、端子50eから入力された画素データを出力する。また、セレクタ53bは、制御部10からの制御信号に応じて加算器52aを通過した水平相関値Ch を出力するか、セレクタ53aを通過した画素データを出力するかが制御される。
【0078】
なお、この水平方向相関検出回路16aでは、相関値を算出する対象となる画素データについてはフィルタ回路52を通過させずにセレクタ回路53に入力させても良い。このように、フィルタ回路52b,52e,52dを通過させずに画素データGをそのまま相関値として用いることで画素データGの帯域の低下を抑制することができるとともに、回路を簡略化することもできる。
【0079】
このセレクタ53bは、画素データGが存在する画素では加算器52b,52c,52d或(ある)いは端子50eからの出力を通過させるように制御され、画素データGが存在しない画素では加算器52aからの出力を通過させるように制御される。
【0080】
出力部54は、セレクタ53bから入力した水平相関値Ch を出力する。この出力部54は、図示しない水平方向に[−1,0,2,0,−1]のBPFを介してノイズ除去部17と接続しており、水平相関値Ch を当該ノイズ除去部17に出力する。
【0081】
垂直方向相関検出回路16bは、画素データGが存在する画素においては下記式5に示すフィルタを用い、画素データGが存在しない画素においては下記式6に示すフィルタを用いて垂直相関値Cvを算出する。
【0082】
【数2】
【0083】
すなわち、垂直相関値Cv は、式5及び式6を用いることにより、垂直方向において[−1,0,2,0,−1]のBPFで算出される。また、垂直相関値Cv は、画素データGが存在する場合、水平方向では式5を用いて[1,0,6,0,1]のLPF、画素データGが存在しない場合には式6を用いて[1,0,1]のLPFで算出される。
【0084】
この垂直方向相関検出回路16bは、図17に示すように、図示を省略した垂直方向に[−1,0,2,0,−1]のBPFを介して画素データが入力される入力部55と、入力部55から各画素データが入力される遅延回路56a〜56dと、遅延回路56a〜56dから各画素データが入力されて垂直相関値Cv を生成するフィルタ回路57と、フィルタ回路57を介して垂直相関値Cv が入力されるセレクタ回路58と、セレクタ回路58からの垂直相関値Cv を出力する出力部59とからなる。
【0085】
入力部55は、γ補正回路14から、図示を省略した垂直方向に[−1,0,2,0,−1]のBPFを介して順次入力する。入力部55は、上述した水平方向補間回路15aに備えられる遅延回路31と同様の構成を有する遅延回路56a〜56dに各画素データを出力する。
【0086】
フィルタ回路57は、上述の水平方向相関検出回路16aに備えられるフィルタ回路52と同様の構成を有しており、加算器57a,57b,57c,57dからなる。このフィルタ回路52は、上述した水平方向相関検出回路16aに示したフィルタ回路53と同様に、加算器57b,加算器57c,加算器57dで[1,0,6,0,1]/8のフィルタを構成し、加算器57aで[1,0,1]/2のフィルタを構成している。なお、この垂直方向相関検出回路16bでは、上述の水平方向相関検出回路16aと同様に、相関値Cv を算出する対象となる画素データについてはフィルタ回路57b,57c,57dを通過させずにセレクタ回路58に入力させても良い。
【0087】
セレクタ回路58は、上述の水平方向相関検出回路16aに備えられるセレクタ回路53と同様の構成を有しており、セレクタ58a,58bを有する。また、各セレクタ58a,58bは、制御部10からの制御信号が入力されて、その動作が制御されている。
【0088】
このセレクタ58bは、画素データGが存在する画素では加算器57b,57c,57d或(ある)いは遅延回路56bからの出力を通過させるように制御され、画素データGが存在しない画素では加算器57aからの出力を通過させるように制御される。
【0089】
出力部59は、セレクタ58bから入力した垂直相関値Cv を出力する。この出力部59は、ノイズ除去部17と接続しており、垂直相関値Cv を当該ノイズ除去部17に出力する。
【0090】
このように構成された相関値検出部16は、式3〜式6を用いた回路を構成することで、例えば画素データGのみで相関値Cを算出するので、被写体の色の影響を受けるようなことなく水平相関値Ch 及び垂直相関値Cv を算出することができる。
【0091】
ノイズ除去部17は、図2に示すように、上述した水平方向相関検出回路16aと接続したノイズ除去回路17aと、垂直方向相関検出回路16bと接続したノイズ除去回路17bとからなる。これらノイズ除去回路17aとノイズ除去回路17bとは、図18に示すような同様の構成を有している。
【0092】
ノイズ除去部17a,17bは、図18に示すように、相関検出回路16a,16bから相関値Cが入力される絶対値化回路60と、絶対値化された相関値Cが入力される減算回路61と、減算された相関値Cが入力されるリミット回路62とからなる。
【0093】
絶対値化回路60は、例えばEx.ORゲート60aと加算器60bとからなる。この絶対値化回路60は、入力した相関値Cに対して絶対値化を施し、正の値とする。そして、この絶対値化回路60は、この絶対値化した相関値Cを減算回路61に出力する。
【0094】
減算回路61は、例えば減算器61aからなる。この減算器61aは、絶対値化回路60から相関値Cが入力される。また、この減算器61aは、制御部10から入力した相関値Cから所定の値を減算する減算値を示す制御信号が入力される。そして、この減算器61aは、制御信号に応じて相関値Cから減算値を減算する。このように減算器61aは、減算処理を行うことで、図19(a)中の点線で示すように、相関値Cの出力を図19(a)中の実線で示すように減算する。そして、この減算回路61は、減算した相関値Cをリミット回路62に出力する。
【0095】
リミット回路62は、例えばインバータ62aとANDゲート62bとからなる。このリミット回路62は、減算回路61で減算されて図19(b)に示すように出力が負の値となった相関値Cを0となるように処理を施す。そして、このリミット回路62は、このような処理を施した相関値Cをオフセット回路18に出力する。
【0096】
このようなノイズ除去部17は、入力した相関値Cから減算処理を行うことにより、微小な相関値Cを除去するので、微小な値におけるノイズを除去することができる。したがって、このノイズ除去部17によれば、例えばBPFを通過させて相関値Cを算出するために、CCD3自体のノイズ等に対して算出された相関値Cを除去することができる。また、このノイズ除去部17によれば、CCD3で生成する画素データにノイズ成分が含まれている場合、当該ノイズに対しても相関値Cを算出しても、微小な相関値を減算処理する。したがって、ノイズ除去部17によれば、ノイズの少ない相関値Cを用いて補間画素データに重み付けを行わせることができ、出力される画像に偽色信号が発生してしまい、画像が劣化することがない。
【0097】
オフセット回路18は、図2に示すように、ノイズ除去回路17aから水平相関値Ch が入力されるオフセット回路18aと、ノイズ除去回路17bから垂直相関値Cv が入力されるオフセット回路18bとからなる。これらオフセット回路18aとオフセット回路18bとは、図20に示すような同様の構成を有している。
【0098】
オフセット回路18a,18bは、図20に示すように、例えば加算器65からなる。この加算器65は、上述のノイズ除去回路17a,17bから相関値Cが入力される。また、この加算器65は、制御部10から所定の値のオフセット値を示す制御信号が入力される。
【0099】
そして、この加算器65は、ノイズ除去部17a,17bから相関値Cが入力されると、制御信号が示すオフセット値を加算する。そして、この加算器65は、入力した相関値Cとオフセット値とを加算処理して正規化回路19に出力する。すなわち、このオフセット回路18a,18bは、例えばノイズ除去部17a,17bから図21中の点線で示すような相関値Cにオフセット値を加算することで図21中の実線で示すような相関値Cとする。
【0100】
このようにオフセット回路18a,18bでは、オフセット値を相関値Cに加算処理することにより、入力した相関値Cの振幅が0程度であっても、値の大きな相関値Cを持たせることができる。このようなオフセット回路18a,18bは、例えば図22に示すように、上述した相関値検出部16では相関値Cが得られない、例えば1画素毎に色が変化する画像データを構成する画素データである場合、高域の信号や、垂直相関値Cv 及び水平相関値Ch の振幅が微小な場合も、水平相関値Chと垂直相関値Cvとが急激に切り替わることを防止することができる。すなわち、このようなオフセット回路18a,18bによれば、オフセット値を相関値Cに加算処理することで、相関値Cで重み付けられる補間画素データを相加平均で補間する方向に近づけることができる。したがって、このオフセット回路18a,18bによれば、入力された相関値Cの振幅が微小でである場合や隣接する画素で水平相関値Ch が1,垂直相関値Cv が0である場合でも、垂直相関値Cv が0,水平相関値Ch が1と切り替わるようなことがない。
【0101】
正規化回路19は、図2に示すように、オフセット回路18a及びオフセット回路18bから水平相関値Ch 及び垂直相関値Cv が入力される加算器19aと、垂直相関値Cv 及び加算器19aからの出力が入力される除算器19bとからなる。
【0102】
このような正規化回路19は、加算器19aで垂直相関値Cv と水平相関値Ch とを加算処理して加算結果を除算器19bに出力し、除算器19bで垂直相関値Cv を加算結果で除算処理する。そして、この正規化回路19は、下記式7に示す垂直相関値Cv を算出する。ここで、水平相関値Ch は、垂直相関値Cv の相対値として下記式8に示すように表せる。
【0103】
【数3】
【0104】
偏り補正回路20は、図23に示すように、加算器20aからなる。この偏り補正回路20は、正規化回路19から上記式7で示す垂直相関値CV が入力される。加算器20aは、制御部10から補正値αが入力される。この補正値αは、制御部10により生成され、例えばCCD3等の設定に応じて−1〜1までの範囲内で調整される。
【0105】
そして、この偏り補正回路20は、垂直相関値CV が入力されるとともに、制御部10から入力した補正値αを入力し、垂直相関値CV と補正値αとを加算処理する。このように偏り補正回路20は、加算処理を行うことで垂直相関値CV を下記式9に示すような値とする。
【0106】
【数4】
【0107】
したがって、この偏り補正回路20は、例えば図24で示すように、図24中の点線で示す垂直相関値Cv を入力したとき、補正値αを加算処理することで図24中の実線で示すように変化させることができる。すなわち、この偏り補正回路20によれば、垂直相関値Cv に補正値αを加算処理することで、垂直相関値Cv と水平相関値Ch とがCCD3からの信号の歪等によって同じレベルとはならない場合でも、制御部10から入力する補正値αを制御することで垂直相関値Cv の値を制御して補正することができる。また、この偏り補正回路20は、例えばCCDの縦横比や、CCDから出力されるアナログ信号を検波するときに生ずる歪等により、垂直方向における相関と水平方向における相関との関係が等しく算出できなくても、制御部10からの補正値αを制御することで水平相関値Ch と垂直相関値Cv とのバランスを制御することができる。
【0108】
強調・低減回路21は、図25に示すように、偏り補正回路20から垂直相関値Cv が入力される減算器21aと、減算処理を施した垂直相関値Cv が入力される乗算器21bと、乗算処理を施した垂直相関値Cv が入力される加算器21cと、加算処理を施した垂直相関値Cv が入力される制限器21dとからなる。
【0109】
減算器21aは、偏り補正回路20から0〜1までの値を有する垂直相関値Cv を入力し、当該垂直相関値Cvに減算処理を行う。この減算器21aは、垂直相関値Cv から0.5だけ減算処理を行う。乗算器21bは、制御部10から入力する乗算値を示す制御信号に基づいて垂直相関値Cv に乗算処理する。加算器21cは、垂直相関値Cv に0.5だけ加算処理を行う。制限器21dは、入力した垂直相関値Cv を一定の範囲内で制限する。
【0110】
このような強調・低減回路21は、偏り補正回路20から垂直相関値Cv が入力されると、先ず、減算器21aで垂直相関値Cv から0.5だけ減算処理を行い、次に、減算処理を施した垂直相関値Cv に乗算処理を行う。このとき、制御部10から入力する乗算値に応じて図26中の実線で示すような特性の垂直相関値Cv の傾きを図26中の点線又は一点鎖線で示すように変化させる。次に、乗算処理を施した垂直相関値Cv に、上述の減算器21aで減算した0.5を加算器21cで加算する。次に、加算処理を施した垂直相関値Cv が0〜1までの範囲内の値を取るように、制限器21dで規制する。
【0111】
このように強調・低減回路21は、制御部10からの乗算値を垂直相関値Cv に乗算処理を施すことにより、図26に示すように垂直相関値Cv の入出力特性の傾きを変化させる。したがって、この強調・低減回路21によれば、制御部10からの乗算値を変化させることにより、垂直相関値Cv を変化させることができる。したがって、この強調・低減回路21によれば、後述する補間画素データに重み付けを行うときに、補間画素データに重み付けを行う相関値の値を変化させて、補間画素データが相関を重視するか、補間画素データが相加平均に近づくように補間するかを制御することができる。また、この強調・低減回路21によれば、例えばCCD3に入力される光量が小さいために、CCD3からの出力にノイズが多くなり、相関値が正確に算出できなくても、乗算値を変化させることにより相関値を制御することができる。
【0112】
加重加算回路22は、図2に示すように、垂直相関値Cv を入力して正規化した水平相関値Ch を生成する減算器22aと、正規化した水平相関値Ch が入力される乗算器22bと、垂直相関値Cv が入力される乗算器22cと、垂直方向及び水平方向の補間画素データが入力される加算器22dとからなる。
【0113】
このような加重加算回路22は、強調・低減回路21から垂直相関値Cv を減算器22a及び乗算器22cに入力する。減算器22aでは、垂直相関値Cv を1から減算処理することで水平相関値Ch を生成する。そして、この減算器22aでは、水平相関値Chを乗算器22bに出力する。
【0114】
乗算器22bは、垂直方向補間回路15bから垂直方向における補間画素データと、減算器22aから水平相関値Ch とが入力される。乗算器22bは、入力した垂直方向における補間画素データと水平相関値Ch とを乗算処理する。このように乗算器22bは、垂直方向における補間画素データに水平相関値Ch を乗算することで重み付けを行う。
【0115】
乗算器22cは、水平方向補間回路15aから水平方向における補間画素データが入力されるとともに垂直相関値Cv が入力される。乗算器22cは、入力した水平方向における補間画素データと垂直相関値Cvとを乗算処理する。このように乗算器22cは、水平方向における補間画素データに垂直相関値Cv を乗算することで重み付けを行う。
【0116】
加算器22dでは、乗算器22cで重み付けられた水平方向における補間画素データ及び乗算器22bで重み付けられた垂直方向における補間画素データが入力される。加算器22dは、入力した水平方向における補間画素データと垂直方向における補間画素データとを加算処理する。このように加算器22dは、加算処理を行うことにより、垂直方向及び水平方向の相関値により重み付けられた補間画素データを得る。そして、加算器22dは、当該補間画素データを輪郭補正回路23に出力する。
【0117】
輪郭補正回路23は、加重加算回路22の加算器22dと接続している。この輪郭補正回路23は、加算器22dから補間画素データが入力されるとともに制御部10から輪郭強調信号が入力される。この輪郭強調信号は、CCD3のレスポンス劣化の補償や、鮮明度を強調する信号である。そして、輪郭補正回路23では、入力した輪郭強調信号と補間画素データとを加算処理して、Y/C変換部24に出力する。
【0118】
Y/C変換部24は、輪郭補正回路23と接続しており、当該輪郭補正回路23から補間画素データが入力される。このY/C変換部24は、入力したR,G,Bからなる補間画素データを輝度信号(Y)と色差信号(C)とからなるY/C信号に変換する。そして、このY/C変換部24は、補間画素データを変換して得たY/C信号を色差信号抑制部25に出力する。
【0119】
色差信号抑制部25は、Y/C変換部24と接続しており、当該Y/C変換部24からY/C信号が入力される。この色差信号抑制部25は、図27に示すように、1ラインが画素データG,Bからなる画素データの色差B−Gが入力されるBGデータ抑制回路25aと、1ラインが画素データG,Rからなる画素データの色差R−Gが入力されるRGデータ抑制回路25bとからなる。
【0120】
BGデータ抑制回路25aは、補間画素データG’,B’の色差B’−G’が入力される入力部70a〜70cと、入力部70a〜70cから色差B’−G’が入力される絶対値化器71a〜71cと、絶対値化器71a〜71cから絶対値化された色差B’−G’が入力されるコンパレータ72a〜72cと、コンパレータ72a〜72cからの比較結果が入力される演算器73と、演算器73からの演算結果が入力されるセレクタ74と、セレクタ74からの画素データが入力される出力部75とからなる。
【0121】
入力部70aは垂直方向にける色差B’−G’を入力し、入力部70bは水平方向における色差B’−G’を入力し、入力部70cは相関値で重み付けがなされた色差B’−G’が入力される。入力部70aは入力した色差B’−G’を絶対値化器71aに出力し、入力部70bは入力した色差B’−G’を絶対値化器71bに出力し、入力部70cは入力した色差B’−G’を絶対値化器71cに出力する。
【0122】
絶対値化器71a〜71cは、例えばEx.ORゲート76と加算器77とからなる。この絶対値化器71a〜71cは、入力した色差B’−G’に対して絶対値化を施し、正の値とする。絶対値化器71a〜71cは、絶対値化を施した色差B’−G’をコンパレータ72a〜72cに出力する。
【0123】
コンパレータ72aは、絶対値化器71aを通過した色差B’−G’を端子Bで入力するとともに、絶対値化器71cを通過した色差B’−G’を端子Aで入力する。コンパレータ72bは、絶対値化器71aを通過した色差B’−G’を端子Aで入力するとともに、絶対値化器71bを通過した色差B’−G’を端子Bで入力する。コンパレータ72cは、絶対値化器71bを通過した色差B’−G’を端子Aで入力するとともに、絶対値化器71cを通過した色差B’−G’を端子Bで入力する。これらコンパレータ72a〜72cは、端子A及び端子Bで入力した色差B’−G’の大きさを比較して端子Aで入力した色差B’−G’が大きいと判断した場合には比較結果Hを演算器73に出力し、端子Aで入力した色差B’−G’が小さいと判断した場合には比較結果Lを演算器73に出力する。
【0124】
演算器73は、コンパレータ72a〜72cから比較結果が入力されるとともに、制御部10から制御信号が入力される。この演算器73は、比較結果及び制御信号に基づいて演算結果を生成してセレクタ74に出力する。
【0125】
この演算器73は、制御信号Hを入力したときには演算結果11を出力し、制御信号Lを入力したときには各コンパレータ72a〜72cからの比較結果に基づいて演算結果を生成する。この演算器73は、各コンパレータ72a,72b,72cの比較結果が(H,L,X)のときには演算結果00を出力し、各コンパレータ72a,72b,72cの比較結果が(X,H,L)のときには演算結果01を出力し、各コンパレータ72a,72b,72cの比較結果が(L,X,H)のときには演算結果10を生成してセレクタ74に出力する。
【0126】
セレクタ74は、演算器73から演算結果が入力されるとともに、入力部70a〜70cから色差B’−G’が入力される。このセレクタ74は、11端子及び10端子で入力部70cで入力した色差B’−G’を入力し、01端子で入力部70bで入力した色差B’−G’を入力し、00端子で入力部70aで入力した色差B’−G’が入力される。また、このセレクタ74は、演算結果11が入力されると11端子で入力した色差B’−G’を出力し、演算結果10が入力されると10端子で入力した色差B’−G’を出力し、演算結果01が入力されると01端子で入力した色差B’−G’を出力し、演算結果00が入力されると00端子で入力した色差B’−G’を出力する。
【0127】
RGデータ抑制回路25bは、入力部70a〜70cにおいて色差R’−G’を入力し、この色差R’−G’を絶対値化器71、コンパレータ72、演算器73、セレクタ74を経ることで最小の色差R’−G’を選択して出力部75で出力する。
【0128】
したがって、このような色差信号抑制部25によれば、図28(a)に示すように、例えば、垂直方向に配置した画素データR,Gについての補間画素データRv,Gv、水平方向に配置した画素データR,Gについての補間画素データRh,Gh、重み付けされた補間画素データRc,Gc の色差のうち最小の補間画素データRh,Ghを選択する。また、この色差信号抑制部25は、図28(b)に示すように、比較した補間画素データのうち、最も0に近い補間画素データR’−G’を選択する。
【0129】
このような色差信号抑制部25は、入力部70a〜70cで入力した補間画素データのうち、色差信号の絶対値が最小のものを選択して出力する。したがって、このような色差信号抑制部25は、相関を求めることができない帯域で相関値で重み付けした補間画素データで画像データを生成したとき、色のエッジ等に偽色がつくことを防止することができる。したがって、この色差信号抑制部25によれば、相関が見られない周波数帯域であっても、色の折り返し歪を防止することができる。
【0130】
出力部75は、セレクタ74で出力された補間画素データを出力部26に出力する。出力部26は、例えば画素データを記録する記録媒体や、表示装置、外部へ出力する端子等である。
【0131】
なお、以上の説明においては、原色コーディングのCCD3を用いたカメラ装置1で生成するカメラ信号を処理する一例について説明したが、本発明は、図29(a)又は図29(b)に示すように、画像データに含まれている画素データが示す色のうち、最も多い色が市松状に配置されているコーディングの固体撮像素子であれば、補色のCCDにも適用することができる。
【0132】
【発明の効果】
以上詳細に説明したように、本発明によれば、撮像信号に応じて生成される画素データを当該位置及び周囲の画素データに基づいて画素データが存在しない画素について補間画素データを生成するとともに、上記画素データが存在しない画素における補間画素データの周波数特性との差が小さくなるように、画素データが存在する画素についても補間画素データを生成し、上記補間画素データの水平方向及び垂直方向における相関の程度を示し当該補間画素データに重み付けを行う相関値を検出するにあたり、上記画素データのうち所定の色を示す画素データのみを用いて上記所定の色を示す補間画素データについての相関値及び上記所定の色以外の色を示す補間画素データについての相関値を検出し、上記所定の色を示す補間画素データについての相関値を求めるとき、当該補間画素データと同色の画素データのみを用いて[−1,0,2,0,−1]のBPF、[1,0,6,0,1]/8のLPFを用いて相関値を検出し、上記所定の色以外の色を示す補間画素データについての相関値を求めるとき、当該所定の色の画素データのみを用いて[−1,0,2,0,−1]のBPF、[1,0,1]/2のLPFを用いて相関値を検出し、上記相関値で上記補間画素データの重み付けを行い、重み付けがなされた上記補間画素データに基づいて輝度信号と色差信号を生成することにより、これらのフィルタを用いることで所定の色を示す画素データが存在する画素における補間画素データの周波数特性と所定の色を示す画素データが存在しない補間画素データの周波数特性との差を小さくして、上記所定の色を示す補間画素データのみを用いて相関値を検出することができる。したがって、本発明によれば、例えば固体撮像素子で生成した画像データが示す被写体の色の影響が少ない、鮮明度が高い画像を生成することができる。
【図面の簡単な説明】
【図1】カメラ装置の構成の一例を示すブロック図である。
【図2】信号処理回路の構成の一例を示すブロック図である。
【図3】各画素に対応した画素データR,G,Bの配置の一例を示す図である。
【図4】垂直方向補間回路の構成の一例を示す図である。
【図5】各画素に対応した画素データGの配置の一例を示す図である。
【図6】[1,0,6,0,1]のLPFの周波数特性を示す図である。
【図7】[1,0,1]のLPFの周波数特性を示す図である。
【図8】補間処理を行った後に生成される補間画素データG’の一例を示す図である。
【図9】水平方向補間回路の構成の一例を示す図である。
【図10】各画素に対応した画素データBの配置の一例を示す図である。
【図11】各画素に対応した画素データBについて水力方向に相加平均を算出したときの補間画素データB’の配置の一例を示す図である。
【図12】補間処理を行った後に生成される補間画素データB’の一例を示す図である。
【図13】垂直方向補間回路の構成の一例を示す図である。
【図14】エッジ処理回路の構成の一例を示す図である。
【図15】エッジ処理回路でエッジ処理を施すときの一例を説明するための図である。
【図16】水平方向相関検出回路の構成の一例を示す図である。
【図17】垂直方向相関検出回路の構成の一例を示す図である。
【図18】ノイズ除去回路の構成の一例を示す図である。
【図19】ノイズ除去回路で入力した相関値に処理を施すときの一例を示す図であり、(a)が相関値に減算処理を施したときの一例を示し、(b)が相関値を負の値でリミットしたときの一例を示す図である。
【図20】オフセット回路の構成の一例を示す図である。
【図21】オフセット回路で入力した相関値にオフセット値を加算処理したときの入出力特性の変化の一例を示す図である。
【図22】隣接する画素データ毎に色が変化する画像データの一例を示す図である。
【図23】偏り補正回路の構成の一例を示す図である。
【図24】偏り補正回路で入力した相関値に補正値を加算処理したときの入出力特性の変化の一例を示す図である。
【図25】強調・低減回路の構成の一例を示す図である。
【図26】強調・低減回路で入力した相関値に乗算処理を施したときの入出力特性の変化を示す図である。
【図27】色差信号抑制回路の構成の一例を示す図である。
【図28】色差信号抑制部で垂直方向に配置した画素データR,Gについての補間画素データRv,Gv、水平方向に配置した画素データR,Gについての補間画素データRh,Gh、重み付けされた補間画素データRc,Gcの色差のうち絶対値最小の補間画素データRh,Ghを選択する一例を示す図である。
【図29】画素データの配置の他の一例を示す図である。
【符号の説明】
1 カメラ装置、15 画像データ補間部、16 相関値検出部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a camera signal processing device and a camera signal processing method suitable for use in a camera device adopting a single-plate color system, and each pixel when generating a luminance signal or a color difference signal from an imaging signal generated by a solid-state imaging device. The present invention relates to a camera signal processing apparatus and a camera signal processing method for calculating a correlation value.
[0002]
[Prior art]
Conventionally, in a single-plate type camera device using a solid-state imaging device such as a CCD (Charge Coupled Device) image sensor (hereinafter simply referred to as a CCD), light corresponding to R, G, and B is transmitted through the CCD. A color filter is provided. In this color filter, a region that transmits R (red) light, a region that transmits G (green) light, and a region that transmits B (blue) light are formed in a matrix. In the horizontal direction, G, R, G... Or B, G, B. Then, the light that has passed through each area of the color filter is input to the CCD, and pixel data G, pixel data R, and pixel data B are output from the pixels corresponding to the areas that transmit the R, G, and B light of the color filter. Are generated respectively.
[0003]
In this camera device, a luminance signal is generated based on light input to the CCD, and a color signal is generated.
[0004]
A CCD in such a camera device is provided with a color filter having R, G, and B for each pixel, and has an array of R, G, R, G,... In the horizontal direction, for example. . In this camera device, a color signal is generated corresponding to the color filter arranged corresponding to each pixel. Therefore, in such a CCD, pixel data G and B corresponding to G and B are not generated in a pixel provided with a color filter that transmits R light, and pixel data corresponding to G and B is not generated. It is necessary to generate by interpolation.
[0005]
In such a camera device, when an interpolated image is obtained by interpolating for each pixel from the horizontal direction, interpolation is performed by calculating the average by adding the pixel data adjacent in the horizontal direction. Further, when interpolating from the vertical direction, the interpolation is performed by adding the pixel data adjacent in the vertical direction and calculating the average as in the horizontal direction.
[0006]
[Problems to be solved by the invention]
By the way, in the camera device, it is inevitable that the gain is reduced when the frequency of the luminance signal is near the lower limit of the sampling frequency and the limit of the Nyquist frequency. As described above, when the gain is reduced when the frequency of the luminance signal is in the vicinity of the Nyquist frequency, the resolution of the image generated by the camera device is degraded. In the single-plate camera device, as described above, light corresponding to each color is input through the color filter arranged on each pixel, so that the frequency of the luminance signal is 1 of the sampling frequency. Even if it is / 2, it is because the frequency of the color signal is only 1/4.
[0007]
Thus, in the camera device, the correlation value cannot be detected in the frequency band near the Nyquist limit. Therefore, in such a band, for example, a false color signal may be generated at a color edge or the like.
[0008]
Therefore, the present invention has been proposed in view of the above-described circumstances, and a camera signal that can generate a luminance signal and a color difference signal with high resolution when generating image data generated by an image sensor. An object is to provide a processing device and a camera signal processing method.
[0009]
[Means for Solving the Problems]
The camera signal processing apparatus according to the present invention that solves the above-described problems is obtained by detecting pixel data detected by a solid-state imaging device according to light incident through a color filter having different spectral characteristics for each pixel and the surroundings of the pixel data. Interpolation pixel data generating means for interpolating pixel data based on the pixel data, and correlation for indicating the degree of correlation in the horizontal and vertical directions of the interpolation pixel data generated by the interpolation pixel data generating means and weighting the interpolation pixel data Correlation detection means for detecting a value, and image generation means for generating an image based on the interpolation pixel data obtained by weighting the interpolation pixel data generated by the interpolation pixel data with the correlation value detected by the correlation detection means. Means for interpolating pixel data indicating a predetermined color using only pixel data indicating a predetermined color among pixel data detected by the solid-state image sensor. It is characterized in that to detect the correlation value and the correlation values for interpolated pixel data indicating a color other than the predetermined color.
[0010]
[Means for Solving the Problems]
The present invention for solving the above problemsCamera signal processing for generating a luminance signal and a color difference signal from pixel data of each color generated based on an imaging signal from a solid-state imaging device that receives imaging light through a color filter having a different spectral sensitivity corresponding to each pixel A device, the aboveInterpolated pixel data based on the pixel data generated in accordance with the image signal and the position and surrounding pixel dataInterpolation data is generated for pixels for which no pixel data exists, and pixel data exists so that the difference between the frequency characteristics of the interpolation pixel data in the pixels for which no pixel data exists is reduced. Generate interpolated pixel data for pixelsInterpolation pixel data generation means; correlation detection means for detecting a correlation value indicating the degree of correlation in the horizontal direction and vertical direction of the interpolation pixel data generated by the interpolation pixel data generation means and weighting the interpolation pixel data; Based on the interpolated pixel data obtained by weighting the interpolated pixel data generated by the interpolated pixel data with the correlation value detected by the correlation detecting means.Generate luminance and color difference signalsImage generation meansThe correlation detection means includes a correlation value for the interpolated pixel data indicating the predetermined color using only pixel data indicating the predetermined color among the pixel data detected by the solid-state imaging device, and the predetermined color. When the correlation value for the interpolation pixel data indicating a color other than the above is detected and the correlation value for the interpolation pixel data indicating the predetermined color is obtained, only pixel data having the same color as the interpolation pixel data is used [-1, The correlation value is detected using a BPF of 0, 2, 0, -1] and an LPF of [1, 0, 6, 0, 1] / 8, and interpolation pixel data indicating colors other than the predetermined color is detected. When obtaining the correlation value, only the pixel data of the predetermined color is used to calculate the correlation value using the BPF of [-1, 0, 2, 0, -1] and the LPF of [1, 0, 1] / 2. To detectIt is characterized by that.
[0011]
AlsoThe present invention generates a luminance signal and a color difference signal from pixel data of each color generated based on an imaging signal from a solid-state imaging device on which imaging light is incident through a color filter having a different spectral sensitivity corresponding to each pixel. A camera signal processing method for the aboveThe pixel data generated according to the imaging signal is based on the position and surrounding pixel data.Interpolation pixel data is generated for pixels for which pixel data does not exist, and interpolation pixel data is also generated for pixels for which pixel data exists so that the difference between the frequency characteristics of the interpolation pixel data for pixels for which no pixel data exists is reduced. GenerateA correlation value indicating the degree of correlation of the interpolation pixel data in the horizontal direction and the vertical direction and weighting the interpolation pixel data is detected.In this case, the correlation value for the interpolation pixel data indicating the predetermined color and the correlation value for the interpolation pixel data indicating a color other than the predetermined color are detected using only the pixel data indicating the predetermined color among the pixel data. When obtaining the correlation value for the interpolated pixel data indicating the predetermined color, only the pixel data of the same color as the interpolated pixel data is used as the BPF of [-1, 0, 2, 0, -1], [1 , 0, 6, 0, 1] / 8, the correlation value is detected, and when obtaining the correlation value for the interpolated pixel data indicating a color other than the predetermined color, only the pixel data of the predetermined color is obtained. Is used to detect a correlation value using a BPF of [-1, 0, 2, 0, -1] and an LPF of [1, 0, 1] / 2,Weighting the interpolated pixel data with the correlation value, and based on the interpolated pixel data that has been weightedLuminance signal and color difference signalIt is characterized by generating.
[0012]
As shown in FIG. 1, the camera signal processing apparatus according to the present invention can be applied to a
[0013]
The
[0014]
Here, the
[0015]
In the
[0016]
The
[0017]
The
[0018]
The
[0019]
The
[0020]
The
[0021]
As shown in FIG. 2, the
[0022]
Image data composed of a plurality of pixel data is input from the
[0023]
Pixel data R, G, B corresponding to each pixel arranged in a matrix as shown in FIG. 3 is input to the horizontal direction interpolation circuit 15a. The horizontal direction interpolation circuit 15a calculates interpolation pixel data in the horizontal direction by using a filter shown in the following
[0024]
[1, 4, 6, 4, 1] / 8 (Formula 1)
That is, when calculating the interpolation pixel data R ′, G ′, and B ′, the horizontal direction interpolation circuit 15 a is configured as shown in FIG. 4 in order to use the filter shown in
[0025]
The horizontal direction interpolation circuit 15a is configured as shown in FIG. 4 when creating the interpolation pixel data R ', G', B 'in the horizontal direction. The horizontal direction interpolation circuit 15a includes an
[0026]
Each pixel data in the horizontal direction is sequentially input from the
The
[0027]
The
[0028]
The adder 32a receives pixel data directly input from the
[0029]
That is, in the
[0030]
The
[0031]
Each
[0032]
The
[0033]
The horizontal direction interpolation circuit 15a configured as described above is, for example, the pixel data Gtwenty twoInterpolated pixel data Rtwenty two', Btwenty two'As well as interpolation pixel data Gtwenty two′ Is also calculated.
[0034]
For example, the pixel data G in FIG.twenty twoInterpolated pixel data G fortwenty twoWhen calculating ′, the pixel data G in 2h at the
[0035]
Next, the pixel data G input by the
[0036]
Next, each pixel data G is filtered by the filter circuit 32.20, Gtwenty two, Gtwenty fourTo pixel data Gtwenty twoInterpolated pixel data G fortwenty twoThe operation of ′ is performed. That is, in the adder 32a, the pixel data G20And pixel data Gtwenty fourAre added and output to the
[0037]
Thus, by performing addition processing in the
[0038]
Next, in the
[0039]
Next, in the
[0040]
On the other hand, when the control signal H is input from the
[0041]
That is, the
[0042]
Thus, when calculating the interpolated pixel data G ′ for the pixel data G, the interpolated pixel data G assuming the
[0043]
Therefore, by calculating the interpolated pixel data G ′ for each pixel data G in this way, interpolated image data G ′ as shown in FIG. 8 can be obtained.
[0044]
In addition, the horizontal direction interpolation circuit 15a described above performs pixel data G in 2h.twenty twoInterpolated pixel data R fortwenty two′ Was calculated using a filter of [1, 0, 1] / 2, but in the same manner as described above, in 1h, the pixel data G11Interpolated pixel data B for11'Can also be calculated.
[0045]
Next, pixel data G in 2htwenty twoInterpolated pixel data B fortwenty two'Is calculated using the filter shown in FIG. That is, in the following description, an example of calculating the interpolated pixel data B ′ in a line where the pixel data B does not exist will be described.
[0046]
Pixel data Gtwenty twoInterpolated image data Btwenty twoWhen 'is calculated, the interpolated pixel data B is obtained using the horizontal direction interpolation circuit 15a' configured as shown in FIG.twenty two'Is calculated. In the following description of the horizontal direction interpolation circuit 15a ', the same parts as those in the horizontal direction interpolation circuit 15a shown in FIG. That is, in the horizontal direction interpolation circuit 15a 'shown in FIG.Ten, G11, B12, G13, B14The pixel data at the terminal 30a and 3h input in the order of30, G31, B32, G33, B34It is assumed that the terminal 30b is input in this order. The horizontal direction interpolation circuit 15a 'shown in FIG. 9 includes an
[0047]
That is, in the horizontal direction interpolation circuit 15a ′, first, the vertical direction is interpolated by the arithmetic mean of the pixel data B corresponding to the pixels arranged in the 1h and 3h adjacent in the vertical direction, as shown in FIG. As shown in FIG. 11, the interpolated pixel data B ′ is calculated by interpolating the pixel data B of each arranged pixel in the vertical direction.
[0048]
Next, the pixel data B in the vertical direction and the interpolated pixel data B ′ obtained by interpolation are converted into a filter of [1, 0, 6, 0, 1] / 8 and a filter of [1, 0, 1] / 2. Then, the interpolated pixel data B ′ in the horizontal direction of the pixel data B is calculated.
[0049]
That is, in the horizontal direction interpolation circuit 15a ', the interpolation pixel data B for the line where the pixel data B does not exist in the horizontal direction.twenty two'Is created as follows. First, a filter composed of [1, 0, 6, 0, 1] / 8 is applied to the pixel data B in 1h and 3h by the
[0050]
That is, in the horizontal direction interpolation circuit 15a ′, the value of the pixel data B obtained by passing through the filter consisting of [1, 0, 6, 0, 1] / 8 is [1,0, 1] / 2. The value of the pixel data G obtained by passing through the filter is subtracted, the pixel data G ′ is added, and the interpolated pixel data B ′ is output to the
[0051]
As described above, the horizontal direction interpolation circuit 15a 'shown in FIG. 9 uses the pixel data G corresponding to the pixel in which the pixel data B does not exist as in 2h.twenty twoIn FIG. 12, as shown in FIG.twenty two'Can be calculated. That is, according to the horizontal direction interpolation circuit 15a 'shown in FIG. 9, the interpolation pixel data B' can be calculated for all (all) pixels.
[0052]
In addition, such a horizontal direction interpolation circuit 15a 'has pixel data Gtwenty twoInterpolated pixel data Btwenty twoWhen 'is calculated, it may be calculated using the interpolation pixel data calculated by the following
[0053]
Btwenty two’= {(B12'-G12′) + (B32'-G32′)} / 2 + Gtwenty two'(Expression 2) According to
On the other hand, the vertical
[0054]
As shown in FIG. 13, the vertical
[0055]
The vertical
In the vertical
[0056]
Further, the horizontal direction interpolation circuit 15a and the vertical
[0057]
The
[0058]
The
[0059]
The
[0060]
The comparator 42a is connected to the pixel data G at the terminal A.1, Pixel data G at terminal B2The
[0061]
The
[0062]
The
[0063]
The
[0064]
When edge processing is performed by the
[0065]
Next, in each of these comparators 42a to 42f, the input pixel data G1~ GFourAnd the comparison result is output to the
[0066]
Next, in the
[0067]
Next, in the
[0068]
Next, in the horizontal direction interpolation circuit 15a and the vertical
[0069]
Therefore, according to such an
[0070]
The correlation value detection unit 16 receives pixel data from the
[0071]
The horizontal direction
[0072]
[Expression 1]
[0073]
That is, the horizontal correlation value ChIn the vertical direction, when the pixel data G exists, the LPF of [1, 0, 6, 0, 1] is used by using the
[0074]
As shown in FIG. 16, the horizontal direction
[0075]
The
[0076]
The
[0077]
The
[0078]
In this horizontal direction
[0079]
The
[0080]
The
[0081]
The vertical direction
[0082]
[Expression 2]
[0083]
That is, the vertical correlation value CvIs calculated with a BPF of [-1, 0, 2, 0, -1] in the vertical direction by using
[0084]
As shown in FIG. 17, the vertical direction
[0085]
The
[0086]
The
[0087]
The
[0088]
The
[0089]
The
[0090]
Since the correlation value detection unit 16 configured in this way is configured with a
[0091]
As shown in FIG. 2, the
[0092]
As shown in FIG. 18, the
[0093]
The
[0094]
The
[0095]
The
[0096]
Such a
[0097]
As shown in FIG. 2, the offset
[0098]
As shown in FIG. 20, the offset circuits 18 a and 18 b include an
[0099]
When the correlation value C is input from the
[0100]
As described above, the offset circuits 18a and 18b add the offset value to the correlation value C, so that even if the amplitude of the input correlation value C is about 0, the correlation value C having a large value can be provided. . For example, as shown in FIG. 22, the offset circuits 18a and 18b cannot obtain the correlation value C in the above-described correlation value detection unit 16, for example, pixel data constituting image data whose color changes for each pixel. , The high-frequency signal and the vertical correlation value CvAnd horizontal correlation value ChThe horizontal correlation value C even when the amplitude ofhAnd vertical correlation value CvCan be prevented from switching suddenly. That is, according to such offset circuits 18a and 18b, by adding the offset value to the correlation value C, the interpolation pixel data weighted by the correlation value C can be brought closer to the direction of interpolation by arithmetic mean. Therefore, according to the offset circuits 18a and 18b, when the amplitude of the input correlation value C is very small, or in the adjacent pixels, the horizontal correlation value ChIs 1, vertical correlation value CvEven if is 0, the vertical correlation value CvIs 0, horizontal correlation value ChThere is no such thing as switching to 1.
[0101]
As shown in FIG. 2, the
[0102]
Such a
[0103]
[Equation 3]
[0104]
As shown in FIG. 23, the
[0105]
Then, the
[0106]
[Expression 4]
[0107]
Accordingly, the
[0108]
As shown in FIG. 25, the enhancement /
[0109]
The
[0110]
Such an emphasis /
[0111]
Thus, the enhancement /
[0112]
As shown in FIG. 2, the
[0113]
Such a
[0114]
The
[0115]
The
[0116]
The
[0117]
The
[0118]
The Y /
[0119]
The color difference
[0120]
The BG
[0121]
The
[0122]
The absolute value converters 71a to 71c are, for example, Ex. It consists of an
[0123]
The
[0124]
The
[0125]
The
[0126]
The
[0127]
The RG data suppression circuit 25 b receives the color difference R′−G ′ at the
[0128]
Therefore, according to such a color difference
[0129]
Such a color difference
[0130]
The
[0131]
In the above description, an example of processing a camera signal generated by the
[0132]
【The invention's effect】
As explained in detail above,According to the present invention, it is generated according to the imaging signal.Based on the pixel data of the position and surrounding pixelsInterpolation pixel data is generated for pixels for which pixel data does not exist, and interpolation pixel data is also generated for pixels for which pixel data exists so that the difference between the frequency characteristics of the interpolation pixel data for pixels for which no pixel data exists is reduced. Only the pixel data indicating a predetermined color among the pixel data is used to detect the correlation value for generating and weighting the interpolation pixel data indicating the degree of correlation in the horizontal direction and the vertical direction of the interpolation pixel data. When detecting the correlation value for the interpolation pixel data indicating the predetermined color and the correlation value for the interpolation pixel data indicating a color other than the predetermined color, and obtaining the correlation value for the interpolation pixel data indicating the predetermined color BPF of [-1, 0, 2, 0, -1] using only pixel data of the same color as the interpolation pixel data, [1, , 6, 0, 1] / 8, the correlation value is detected, and when obtaining the correlation value for the interpolated pixel data indicating a color other than the predetermined color, only the pixel data of the predetermined color is used. The correlation value is detected using the BPF of [-1, 0, 2, 0, -1] and the LPF of [1, 0, 1] / 2, and the interpolation pixel data is weighted with the correlation value. By generating a luminance signal and a color difference signal based on the weighted interpolated pixel data, using these filters, the frequency characteristics of the interpolated pixel data in a pixel where pixel data indicating a predetermined color exists and a predetermined Reduce the difference from the frequency characteristics of the interpolated pixel data where there is no pixel data indicating color,The correlation value can be detected using only the interpolation pixel data indicating the predetermined color. Therefore, according to the present invention, for example, it is possible to generate an image with high sharpness that is less affected by the color of the subject indicated by the image data generated by the solid-state imaging device.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an example of a configuration of a camera device.
FIG. 2 is a block diagram illustrating an example of a configuration of a signal processing circuit.
FIG. 3 is a diagram illustrating an example of an arrangement of pixel data R, G, and B corresponding to each pixel.
FIG. 4 is a diagram illustrating an example of a configuration of a vertical direction interpolation circuit.
FIG. 5 is a diagram illustrating an example of an arrangement of pixel data G corresponding to each pixel.
FIG. 6 is a diagram illustrating frequency characteristics of LPFs of [1, 0, 6, 0, 1].
FIG. 7 is a diagram showing frequency characteristics of LPFs of [1, 0, 1].
FIG. 8 is a diagram illustrating an example of interpolated pixel data G ′ generated after performing an interpolation process.
FIG. 9 is a diagram illustrating an example of a configuration of a horizontal direction interpolation circuit.
FIG. 10 is a diagram illustrating an example of an arrangement of pixel data B corresponding to each pixel.
FIG. 11 is a diagram illustrating an example of an arrangement of interpolation pixel data B ′ when an arithmetic mean is calculated in the hydraulic direction for pixel data B corresponding to each pixel.
FIG. 12 is a diagram illustrating an example of interpolated pixel data B ′ generated after performing an interpolation process.
FIG. 13 is a diagram illustrating an example of a configuration of a vertical direction interpolation circuit.
FIG. 14 is a diagram illustrating an example of a configuration of an edge processing circuit.
FIG. 15 is a diagram for explaining an example when edge processing is performed by an edge processing circuit;
FIG. 16 is a diagram illustrating an example of a configuration of a horizontal direction correlation detection circuit.
FIG. 17 is a diagram illustrating an example of a configuration of a vertical direction correlation detection circuit.
FIG. 18 is a diagram illustrating an example of a configuration of a noise removal circuit.
FIG. 19 is a diagram illustrating an example when processing is performed on a correlation value input by a noise removal circuit, where (a) illustrates an example when a correlation value is subjected to subtraction processing, and (b) illustrates a correlation value; It is a figure which shows an example when it limits with a negative value.
FIG. 20 is a diagram illustrating an example of a configuration of an offset circuit.
FIG. 21 is a diagram illustrating an example of changes in input / output characteristics when an offset value is added to a correlation value input by an offset circuit.
FIG. 22 is a diagram illustrating an example of image data whose color changes for each adjacent pixel data.
FIG. 23 is a diagram illustrating an example of a configuration of a bias correction circuit.
FIG. 24 is a diagram illustrating an example of a change in input / output characteristics when a correction value is added to a correlation value input by a bias correction circuit.
FIG. 25 is a diagram illustrating an example of a configuration of an enhancement / reduction circuit.
FIG. 26 is a diagram illustrating a change in input / output characteristics when a multiplication process is performed on a correlation value input by an enhancement / reduction circuit.
FIG. 27 is a diagram illustrating an example of a configuration of a color difference signal suppression circuit.
FIG. 28 shows interpolated pixel data R for pixel data R and G arranged in the vertical direction by the color difference signal suppression unit.v, GvInterpolated pixel data R for pixel data R and G arranged in the horizontal directionh, Gh, Weighted interpolation pixel data Rc, GcInterpolated pixel data R having the smallest absolute value among the color differencesh, GhIt is a figure which shows an example which selects.
FIG. 29 is a diagram illustrating another example of the arrangement of pixel data.
[Explanation of symbols]
1 camera device, 15 image data interpolation unit, 16 correlation value detection unit
Claims (4)
上記撮像信号に応じて生成される画素データを当該位置及び周囲の画素データに基づいて補間画素データとする補間処理を行い、画素データが存在しない画素について補間画素データを生成するとともに、上記画素データが存在しない画素における補間画素データの周波数特性との差が小さくなるように、画素データが存在する画素についても補間画素データを生成する補間画素データ生成手段と、
上記補間画素データ生成手段で生成された補間画素データの水平方向及び垂直方向における相関の程度を示し当該補間画素データに重み付けを行う相関値を検出する相関検出手段と、
上記補間画素データで生成した補間画素データを上記相関検出手段で検出した相関値で重み付けを行った補間画素データに基づいて輝度信号と色差信号を生成する画像生成手段とを備え、
上記相関検出手段は、上記固体撮像素子で検出する画素データのうち所定の色を示す画素データのみを用いて上記所定の色を示す補間画素データについての相関値及び上記所定の色以外の色を示す補間画素データについての相関値を検出し、上記所定の色を示す補間画素データについての相関値を求めるとき、当該補間画素データと同色の画素データのみを用いて1方向に[−1,0,2,0,−1]のBPF、他方向に[1,0,6,0,1]/8のLPFを用いて相関値を検出し、上記所定の色以外の色を示す補間画素データについての相関値を求めるとき、当該所定の色の画素データのみを用いて1方向に[−1,0,2,0,−1]のBPF、他方向に[1,0,1]/2のLPFを用いて相関値を検出すること
を特徴とするカメラ信号処理装置。 Camera signal processing for generating a luminance signal and a color difference signal from pixel data of each color generated based on an imaging signal from a solid-state imaging device that receives imaging light through a color filter having a different spectral sensitivity corresponding to each pixel A device,
The pixel data generated according to the imaging signal is subjected to interpolation processing based on the pixel data of the position and surroundings, and interpolation pixel data is generated for a pixel for which no pixel data exists, and the pixel data Interpolation pixel data generating means for generating interpolation pixel data even for pixels in which pixel data exists, so that a difference between the frequency characteristics of the interpolation pixel data in pixels that do not exist is reduced ,
Correlation detection means for detecting a correlation value indicating the degree of correlation in the horizontal direction and vertical direction of the interpolation pixel data generated by the interpolation pixel data generation means, and weighting the interpolation pixel data;
Image generation means for generating a luminance signal and a color difference signal based on the interpolation pixel data obtained by weighting the interpolation pixel data generated by the interpolation pixel data with the correlation value detected by the correlation detection means ;
The correlation detection unit uses the pixel data indicating a predetermined color among the pixel data detected by the solid-state imaging device, and calculates a correlation value for the interpolation pixel data indicating the predetermined color and a color other than the predetermined color. When the correlation value for the interpolation pixel data shown is detected and the correlation value for the interpolation pixel data showing the predetermined color is obtained, only the pixel data of the same color as the interpolation pixel data is used in one direction [-1, 0. , 2, 0, -1] and a correlation value is detected using an LPF of [1, 0, 6, 0, 1] / 8 in the other direction, and interpolated pixel data indicating a color other than the predetermined color. When obtaining the correlation value for, the BPF of [−1, 0, 2, 0, −1] in one direction and [1, 0, 1] / 2 in the other direction using only the pixel data of the predetermined color. Detecting correlation value using LPF Signal processing device.
上記撮像信号に応じて生成される画素データを当該位置及び周囲の画素データに基づいて、画素データが存在しない画素について補間画素データを生成するとともに、上記画素データが存在しない画素における補間画素データの周波数特性との差が小さくなるように、画素データが存在する画素についても補間画素データを生成し、
上記補間画素データの水平方向及び垂直方向における相関の程度を示し当該補間画素データに重み付けを行う相関値を検出するにあたり、上記画素データのうち所定の色を示す画素データのみを用いて上記所定の色を示す補間画素データについての相関値及び上記所定の色以外の色を示す補間画素データについての相関値を検出し、上記所定の色を示す補間画素データについての相関値を求めるとき、当該補間画素データと同色の画素データのみを用いて1方向に[−1,0,2,0,−1]のBPF、他方向に[1,0,6,0,1]/8のLPFを用いて相関値を検出し、上記所定の色以外の色を示す補間画素データについての相関値を求めるとき、当該所定の色の画素データのみを用いて1方向に[−1,0,2,0,−1]のBPF、他方向に[1,0,1]/2のLPFを用いて相関値を検出し、
上記相関値で上記補間画素データの重み付けを行い、重み付けがなされた上記補間画素データに基づいて輝度信号と色差信号を生成すること
を特徴とするカメラ信号処理方法。 Camera signal processing for generating a luminance signal and a color difference signal from pixel data of each color generated based on an imaging signal from a solid-state imaging device that receives imaging light through a color filter having a different spectral sensitivity corresponding to each pixel A method,
Based on the pixel data generated in accordance with the imaging signal, interpolation pixel data is generated for a pixel for which pixel data does not exist based on the pixel data of the position and surroundings, and interpolation pixel data of a pixel for which the pixel data does not exist Generate interpolated pixel data for pixels that have pixel data so that the difference from the frequency characteristics is small,
In detecting the correlation value indicating the degree of correlation of the interpolated pixel data in the horizontal direction and the vertical direction and weighting the interpolated pixel data, only the pixel data indicating a predetermined color among the pixel data is used. When detecting a correlation value for interpolation pixel data indicating a color and a correlation value for interpolation pixel data indicating a color other than the predetermined color, and obtaining a correlation value for the interpolation pixel data indicating the predetermined color, the interpolation is performed. Using only pixel data of the same color as the pixel data, a BPF of [-1, 0, 2, 0, -1] in one direction and an LPF of [1, 0, 6, 0, 1] / 8 in the other direction are used. When the correlation value is detected and the correlation value for the interpolated pixel data indicating a color other than the predetermined color is obtained, [−1, 0, 2, 0 in one direction is obtained using only the pixel data of the predetermined color. , -1] BPF Detecting a correlation value by using the [1,0,1] / 2 of the LPF in the other direction,
A camera signal processing method comprising weighting the interpolation pixel data with the correlation value and generating a luminance signal and a color difference signal based on the weighted interpolation pixel data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31516898A JP4269369B2 (en) | 1997-11-28 | 1998-11-05 | Camera signal processing apparatus and camera signal processing method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32932297 | 1997-11-28 | ||
JP9-329322 | 1997-11-28 | ||
JP31516898A JP4269369B2 (en) | 1997-11-28 | 1998-11-05 | Camera signal processing apparatus and camera signal processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11220747A JPH11220747A (en) | 1999-08-10 |
JP4269369B2 true JP4269369B2 (en) | 2009-05-27 |
Family
ID=26568210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP31516898A Expired - Fee Related JP4269369B2 (en) | 1997-11-28 | 1998-11-05 | Camera signal processing apparatus and camera signal processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4269369B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3458080B2 (en) * | 1999-10-19 | 2003-10-20 | 松下電器産業株式会社 | Color imaging device |
JP5151075B2 (en) * | 2005-06-21 | 2013-02-27 | ソニー株式会社 | Image processing apparatus, image processing method, imaging apparatus, and computer program |
-
1998
- 1998-11-05 JP JP31516898A patent/JP4269369B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH11220747A (en) | 1999-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6611287B1 (en) | Camera signal processing apparatus and camera signal processing method | |
US8508625B2 (en) | Image processing apparatus | |
JP4548390B2 (en) | Imaging apparatus and signal processing method | |
JP2008263507A (en) | Video processor and video processing program | |
WO2017154293A1 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
US20050220350A1 (en) | Image processing apparatus, image processing method, image processing program, and recording medium storing image processing program | |
JP4320807B2 (en) | Camera signal processing apparatus and camera signal processing method | |
JP4269367B2 (en) | Camera signal processing apparatus and camera signal processing method | |
JP4428195B2 (en) | Imaging apparatus, complementary signal generation method, and program | |
JP4269366B2 (en) | Camera signal processing apparatus and camera signal processing method | |
JP2008219198A (en) | Image processor and image processing program | |
JP5091550B2 (en) | White balance adjusting device and white balance adjusting method | |
JP4269369B2 (en) | Camera signal processing apparatus and camera signal processing method | |
JP4269368B2 (en) | Camera signal processing apparatus and camera signal processing method | |
JPH11220749A (en) | Camera signal processor and camera signal processing method | |
JP4273546B2 (en) | Camera signal processing apparatus and camera signal processing method | |
JP4269370B2 (en) | Camera signal processing apparatus and camera signal processing method | |
JP2005260675A (en) | Image processor and program | |
JP4284960B2 (en) | Image signal processing device | |
JP2009022044A (en) | Image processing apparatus and image processing program | |
JP4130885B2 (en) | Solid-state imaging device | |
JP4461684B2 (en) | Image signal processing apparatus, camera system, and image signal processing program | |
JP2000102024A (en) | Image signal processor | |
JP2004032514A (en) | Signal processing circuit | |
JP2007020061A (en) | Imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051019 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090203 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090216 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |