JP3613071B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP3613071B2 JP3613071B2 JP15219999A JP15219999A JP3613071B2 JP 3613071 B2 JP3613071 B2 JP 3613071B2 JP 15219999 A JP15219999 A JP 15219999A JP 15219999 A JP15219999 A JP 15219999A JP 3613071 B2 JP3613071 B2 JP 3613071B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- solid
- image sensor
- state image
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
【0001】
【発明の属する技術分野】
本発明はNTSC、PAL等の従来の標準テレビジョン方式、あるいは、コンピュータのビデオフォーマットであるVGA等に対応した通常画素数の固体撮像素子を3枚あるいは4枚使用して、固体撮像素子の画素数の4倍の画素数に相当する高精細度の画像信号を出力することができる撮像装置に関する。
【0002】
【従来の技術】
近年、デジタルスチルカメラとして100万画素を越える有効画素数を持つデジタルスチルカメラが商品化されている。このような高精細度の画像信号の撮影が容易になり、その利用も急速に進んでいる。
3板式の撮像装置において、緑用の固体撮像素子の空間位置に対して斜めにずらした赤用および青用固体撮像素子を配置し、これらの固体撮像素子からの出力信号を補間した信号に基づいて低域輝度信号および高域輝度信号を生成し、この低域輝度信号と高域輝度信号とから輝度信号を合成することにより、固体撮像素子の解像度を2倍以上にすることができる撮像装置が提案されている。(特開平6−217330号公報、特開平6−315115号公報)このような撮像装置では汎用の固体撮像素子を利用して高解像度の映像信号を得ることができる。
【0003】
【発明が解決しようとする課題】
しかしながら、特に、パソコン(PC)用の高精細度ディスプレィモニタへの表示に適した高精細度プログレッシブスキャン(順次走査)方式の撮像装置を実現する場合は、上述した100万画素を越える固体撮像素子は静止画撮影用であり、最大でも1秒あたり15フレーム以下の出力であり、動画の出力は不可能であった。
また、有効画素数が100万画素以上の動画撮影装置としてはHDTV(ハイビジョン)方式の撮像装置が実用化されているが、HDTVの場合は、出力信号がインターレース(飛び越し走査)であり、垂直高周波成分が存在する画像の場合はラインフリッカーによるちらつきが見えるたり、パソコン(PC)用ディスプレィモニターとして普及してきている液晶ディスプレィモニターへの表示には適さないという問題点を有していた。
さらに、特開平6−217330号公報、特開平6−315115号公報に開示されている撮像装置は低域輝度信号の各画素の通過帯域特性が大きく異なっていることと、高域輝度信号に低域輝度信号成分が含まれているため、低域輝度信号と高域輝度信号とから広帯域輝度信号を生成する際に、図6に示されるように低域輝度信号および高域輝度信号をさらに各ローパスフィルター(LPF)を通過させ、前記高域輝度信号から前記高域輝度信号を前記LPFを通過させた信号を減算して信号に、前記低域信号を前記LPFを通過させた信号を加算させるという複雑な信号処理が必要になり、回路規模のコスト増大の要因となるという問題点も有していた。
【0004】
本発明はこの点に着目してなされたものであり、現在安価に入手可能な汎用のVGA対応の全画素読み出し方式の固体撮像素子を3枚あるいは4枚使用することにより、VGAの4倍の画素数に相当する高精細度なプログレッシブスキャン(順次走査)方式のパソコン(PC)用の液晶ディスプレィへの表示に適した動画の撮像ができる撮像装置を提供することを目的とする。
【0005】
【課題を解決するための手段】
以上の課題を解決するために、本発明にかかる撮像装置は、入射光を色分解して緑(G)、赤(R)、青(B)の各色光を得る色分解光学系と、全画素読み出し方式の前記緑(G)光を受光し光電変換してG信号を出力する第1の固体撮像素子と、全画素読み出し方式の前記赤(R)光を受光し光電変換してR信号を出力する第2の固体撮像素子と、全画素読み出し方式の前記青(B)画像を受光し光電変換してB信号を出力する第3の固体撮像素子とを備え、前記第1の固体撮像素子の空間位置に対して前記第2の固体撮像素子および第3の固体撮像素子の少なくとも一方、もしくは両方を水平方向および垂直方向に関して、それぞれ前記固体撮像素子の画素ピッチの1/2倍の距離だけずらした位置に配置し、前記第1の固体撮像素子、前記第2の固体撮像素子、および前記第3の固体撮像素子からそれぞれ出力された各色の信号より生成した低周波信号と、前記各色の信号を補間して生成した補間低周波信号とを合成して前記第1の固体撮像素子、前記第2の固体撮像素子、および前記第3の固体撮像素子のそれぞれの有効画素の4倍の各色の低周波信号を生成する
第1の信号処理部と、前記第1の固体撮像素子、前記第2の固体撮像素子、および前記第3の固体撮像素子からそれぞれ出力された各色の信号より生成した高周波信号と、前記高周波信号を補間して生成した補間高周波信号とを合成して前記第1の固体撮像素子、前記第2の固体撮像素子、および前記第3の固体撮像素子のそれぞれの有効画素の4倍の高周波輝度信号を生成する第2の信号処理部と、前記第1の信号生成部より出力される前記各色の低周波信号を所定の比率で加算して低周波輝度信号を生成し、前記第2の信号生成部から出力される前記高周波輝度信号と前記低周波輝度信号とを加算して広帯域輝度信号を生成する広帯域輝度信号生成手段と、前記第1の信号生成部から出力される前記各色の低周波信号に前記第2の信号生成部から出力される前記高周波輝度信号加算して広帯域色信号を生成する広帯域色信号生成手段と、を有するように構成したことを特徴とする。
【0006】
【発明の実施の形態】
図1は本発明の撮像装置の第1の実施例を示す図である。図1において、1はレンズ、2は入射光をRGB各色に色分解するプリズム、3、4、5はそれぞれR用の固体撮像素子、G用の固体撮像素子、B用の固体撮像素子、6はアナログ信号処理回路部、301、401、501は相関二重サンプリング部(CDS)、302、402、502はCDS301、401、501の出力信号のレベルを調整するAGC回路、303、403、503はAD変換器、7はデジタル信号処理部、304、404、504はガンマ(γ)補正部、305、405、505は各色の低周波信号生成部(RL生成部、GL生成部、BL生成部)、701は高周波輝度信号生成部(YH生成部)、702は輝度信号処理部(Y処理部)、306、406、506はDA変換器、703は低周波輝度信号生成部(YL生成部)、704は色差信号処理部、8は出力回路部、307、407、507はローパスフィルタ(LPF)、308、408、508は75Ωドライバ部、509は輝度信号出力端子(Y)、309、409はコンポーネント形式の色信号出力端子(PR、PB)である。
【0007】
入射光はレンズ1を通過した後、プリズム2にてRGBの3色に分離され、撮像素子3、4、5に入射する。固体撮像素子3、4、5は、例えば、全画素をそのままノンインターレース走査で読み出す、全画素独立読み出しが可能な、例えば、VGA対応(水平有効画素数640画素、垂直有効画素数480画素)のものである。
【0008】
VGA対応の固体撮像素子は安価であるが画素数が少ないため、3つの固体撮像素子3、4、5を空間斜めずらしに配置して解像度を向上させる。具体的には、図2(a)(b)に示すように各色の固体撮像素子の画素ピッチをPx、垂直方向の画素ピッチをPyとした場合に、G用の固体撮像素子4の各画素に対してR用の固体撮像素子3の各画素およびB用の固体撮像素子5の各画素を、水平方向に1/2Px(図2(a))、垂直方向に1/2Py(図2(b))だけずらして配置する。
【0009】
G用の固体撮像素子4の各画素に対してR用の固体撮像素子3の各画素およびB用の固体撮像素子5の各画素をずらすのは、輝度信号を生成する際におけるG信号の寄与する比率(例えば、NTSC方式では0.59)と、R信号の寄与する比率(例えば、NTSC方式では0.30)およびB信号の寄与する比率(例えば、NTSC方式では0.11)とが同程度であるためであり、さらに、上述したように3枚の固体撮像素子を画素ずらして配置して、さらに、後述するような補間処理、つまり、に各色の映像信号の画素数を水平方向および垂直方向にそれぞれ2倍に拡大して全体として4倍の画素数となるような補間処理を行うことで解像度の向上を実現できる。
【0010】
上述したそれぞれの固体撮像素子の画素数の4倍の画素数に当てはめた場合、RGBそれぞれの色の画素が実際に存在するそれぞれの画素を示したのが図3(a)(b)(c)で、これらを合成した画素を示したのが、図3(d)である。図3(d)に示すようにR用の実在する画素とB用の実在する画素とは空間的に同一な位置に別個に存在している。
【0011】
以下に、実在する画素を用いての補間について説明する。プリズム2で色分解されたRGB各色の光線は撮像素子3、4、5にてそれぞれ光電変換されRGB信号としてアナログ信号処理部6にそれぞれ入力される。
アナログ信号処理部6ではRGB信号はそれぞれCDS301、401、501にて相関二重サンプリング処理によりS/Nが改善され、その後AGC回路302、402、502にて所定のレベルに調整され、図示せぬホワイトバランス処理部にてホワイトバランスに関する処理が施された後、AD変換器303、403、503に入力されてそれぞれデジタル信号に変換されたRGB信号はそれぞれデジタル信号処理部7に入力される。
【0012】
上述したホワイトバランスに関する信号処理については、後述するデジタル信号処理部にて行うことも可能である。
【0013】
デジタル信号処理部7ではガンマ(γ)補正部304、404、504にて、固体撮像素子3、4、5の光電変換特性による階調(色調)の非直線性を改善するための係数を各色信号に乗算するガンマ補正を施された後、垂直有効画素数480画素(実際の画素数は494画素程度)の各色信号はそれぞれ、RL生成部305、GL生成部405、BL生成部505にそれぞれ入力されて、以下に示す式(1)〜(12)に従って、Rの低周波信号RL、Gの低周波信号GL、およびBの低周波信号BLが生成される。
GL(2,2)=(G(0,2)+2G(2,2)+G(4,2)+G(2,0)+2G(2,2)+G(2,4))/8 (1)
GL(3,2)=(G(2,0)+2G(2,2)+G(2,4)+G(4,0)+2G(4,2)+G(4,4))/8 (2)
GL(2,3)=(G(0,2)+2G(2,2)+G(4,2)+G(0,4)+2G(2,4)+G(4,4))/8 (3)
GL(3,3)=(G(2,2)+G(4,2)+G(2,4)+G(4,4))/4 (4)
RL(2,2)=(R(1,1)+R(3,1)+R(1,3)+R(3,3))/4 (5)
RL(3,2)=(R(1,1)+2R(3,1)+R(5,1)+R(1,3)+2R(3,3)+R(5,3))/8 (6)
RL(2,3)=(R(1,1)+2R(1,3)+R(1,5)+R(3,1)+2R(3,3)+R(3,5))/8 (7)
RL(3,3)=(R(1,3)+2R(3,3)+R(5,3)+R(3,1)+2R(3,3)+R(3,5))/8 (8)
BL(2,2)=(B(1,1)+B(3,1)+B(1,3)+B(3,3))/4 (9)
BL(3,2)=(B(1,1)+2B(3,1)+B(5,1)+B(1,3)+2B(3,3)+B(5,3))/8 (10)
BL(2,3)=(B(1,1)+2B(1,3)+B(1,5)+B(3,1)+2B(3,3)+B(3,5))/8 (11)
BL(3,3)=(B(1,3)+2B(3,3)+B(5,3)+B(3,1)+2B(3,3)+B(3,5))/8 (12)
【0014】
ここで式(1)(8)(12)は画像が実在する位置での低周波信号の生成を示しており、残りの式は画素が実在しない位置での低周波信号の生成、つまり、実在する周囲の画素を用いた補間による生成を示している。式(1)〜(12)に従って、低周波信号を生成することにより画素が実在する位置と画素が実在しない位置において、ほぼ等しい周波数の低周波数信号が生成される。
【0015】
次に、色差信号について説明する。まず、RL生成部305、GL生成部405、BL生成部505より出力される各信号は低周波輝度信号生成部(YL生成部)703に入力され、式(13)に従って輝度低周波信号(YL)信号が生成される。式(13)はHDTVスタジオ規格のITU−R勧告709に示されている輝度・色差信号方程式である。
YL=0.7154GL+0.0721BL+0.2125RL (13)
【0016】
γ補正部304、404、504にてγ補正されたRGB信号は高周波輝度信号生成部(YH生成部)701にそれぞれ入力されて、以下に示す式(14)〜(22)に従って高周波輝度信号YHが生成される。YHHは水平高周波輝度信号を示し、YVHは垂直高周波輝度信号を示し、高周波輝度信号YHは式(14)に示されるようにYHHとYVHとの加算により求められる。式(15)〜(18)は画素が実在する位置での高周波輝度信号生成式であり、(19)〜(22)は画素が実在しない位置での高周波輝度信号生成式であり、式(15)〜(18)で求めた高周波輝度信号より補間処理することで生成される。
YH(x,y)=(YHH(x,y)+YVH(x,y))/2 (14)
YHH(2,2)=(2G(2,2)−G(0,2)−G(4,2))/4 (15)
YVH(2,2)=(2G(2,2)−G(2,0)−G(2,4))/4 (16)
YHH(3,3)=(2R(3,3)−R(1,3)−R(5,3)+2B(3,3)−B(1,3)−B(5,3))/8 (17)
YVH(3,3)=(2R(3,3)−R(3,1)−R(3,5)+2B(3,3)−B(3,1)−B(3,5))/8 (18)
YHH(3,2)=YHH(3,1)/2+YHH(3,3)/2 (19)
YVH(3,2)=YVH(2,2)/2+YVH(4,2)/2 (20)
YHH(2,3)=YHH(2,2)/2+YHH(2,4)/2 (21)
YVH(2,3)=YVH(1,3)/2+YVH(3,3)/2 (22)
【0017】
次に高周波輝度信号生成部(YH生成部)701の出力信号と低周波輝度信号生成部(YL生成部)703の出力信号とが輝度信号処理部(Y処理部)702に供給され、輝度信号処理部(Y処理部)702では式(23)に従って広帯域(高精細)輝度信号YWを生成する。Y処理部702の一例を図5に示す。
YW=YL+k1YH (23)
式(23)の係数k1は通常1以上の数値であり、k1が大きいほど高周波成分が強調されシャープな画像が得られる。但しk1を大きくしすぎると高周波のノイズも強調されることになるので、ユーザの好みに応じて可変できるように構成することも可能である。また、ノイズは信号レベルが小さいほど目立つ特徴を有しているので、k1を信号のレベルに応じて可変できるように構成してもよい。
【0018】
次に、低周波輝度信号生成部(YL生成部)703より出力される低周波輝度信号YLは、RL生成部305より出力されるRの低周波信号RL、およびBL生成部505より出力されるBの低周波信号BLと共に色差信号処理部704にも供給される。色差信号処理部704では
BL−YL、
RL−YL、
の演算により色差信号BL−YLおよびRL−YLが生成される。
【0019】
上述した広帯域(高精細)輝度信号(YW信号)、色差信号(BL−YL信号、RL−YL信号)はD/Aコンバータ506、406、306にそれぞれ入力され、それぞれアナログ信号にデジタル/アナログ変換された後に、出力回路部8に供給される。
【0020】
出力回路部8では、ローパスフィルタ(LPF)307、407、507により信号帯域外の高周波ノイズを除去した後、75Ωドライバ308、408、508にて出力インピーダンスの整合やレベル調整を行った後、出力端子309、409、509より図示しない表示装置や記録装置に出力される。
【0021】
通常、出力回路部8に入力されるBL−YL信号、RL−YL信号は図示しないレベル調整回路において、式(24)(25)に従って、PB信号、PR信号に変換される。
PB=0.5389(BL−YL) (24)
PR=0.6349(RL−YL) (25)
【0022】
なお、BL−YL信号、RL−YL信号よりPB信号、PR信号への変換は、必ずしも出力回路部8にて行う必要はなく、例えば、デジタル信号処理部7において変換処理を実行してもよい。
【0023】
また通常、出力回路部8の出力端子509、409、309より出力されるY信号、PB信号、PR信号には図示しない同期信号発生回路において生成された同期信号が画像信号のブランキング期間に付加されて出力される。この際に付加される同期信号は順次走査に対応したものである。
【0024】
結果としてγ補正部304、404、504からそれぞれ読み出された水平有効画素数640画素、垂直有効画素数480画素のそれぞれ水平方向2倍の画素数、垂直方向2倍の画素数である水平有効画素数1280画素、垂直有効画素数960画素の信号の映像信号が出力される。
【0025】
図1に示した撮像装置では、各色の広帯域信号RW、GW、BWがアナログ信号の形式で出力されるように構成された例を説明したが、デジタル信号携帯で適当なデジタルインターフェース規格に準じた形態の信号に変換して出力することも可能である。
【0026】
図4は本発明になる撮像装置の他の実施例を示す図で、図4に示した撮像装置はG信号、R信号、B信号を出力信号として出力する場合のブロック図である。図4において、デジタル信号処理部71への入力までの構成や動作については図1と同一であるので、その説明を省略する。また、図4において図1との部分については同一の符号を付してその説明を省略する。
【0027】
図4においてデジタル信号処理部71に入力されたRGB信号は、γ補正部304、404、504にてガンマ補正された垂直有効画素480(通常は494画素程度)の信号はRL生成部305、GL生成部405、BL生成部505および高周波輝度信号生成部(YH生成部)701にそれぞれ入力される。この際には図1で説明した場合と同様に生成式(1)から(12)および式(14)から(22)に従ってYH生成部701より高周波輝度信号、およびGL生成部405、RL生成部305、BL生成部505よりそれぞれRの低周波信号RL、Gの低周波信号GL、およびBの低周波信号BLが出力される。高周波輝度信号と各色の低周波信号とは、それぞれ図4に示すようにRの広帯域(高精細)信号生成部(RW生成部)310、Gの広帯域(高精細)信号生成部(GW生成部)410、Bの広帯域(高精細)信号生成部(BW生成部)510にそれぞれ供給されて式(26)から(28)に従って各色の広帯域(高精細)色信号GW、BW、RWが生成される。
GW=GL+k2YH (26)
BW=BL+k2YH (27)
RW=RL+k2YH (28)
上式のk2に関しては式(23)のk1と同様に決定される。
【0028】
このようにして生成されたGW、RW、BW信号はDA変換器306、406、506それぞれにおいてデジタル・アナログ変換された後、出力回路部8を介して図示しない図示しない表示装置や記録装置等に出力される。また、図示していない同期信号発生回路部にて生成された同期信号(HD、VD)も同時に出力される。
【0029】
図4に示した撮像装置では、各色の広帯域信号RW、GW、BWがアナログ信号の形式で出力されるように構成された例を説明したが、デジタル信号形態で適当なデジタルインターフェース規格に準じた形態の信号に変換して出力することも可能である。
【0030】
動画出力を実現するためには映画が毎秒24コマであることから、通常は毎秒24コマ以上に対応するフレーム数が必要とされる。一方、上述したように現在安価に入手可能な動画撮像用の全画素読み出し固体撮像素子は、水平有効画素数640、垂直有効画素数480のVGA対応の固体撮像素子であり、このVGA対応の固体撮像素子は通常余裕を持つように設計されており、水平659,垂直494位の画素を有している。従って、通常のVGA対応の固体撮像素子を使用して本発明になる撮像装置のを構成すると、最大水平有効画素数1318、最大有効垂直画素数988となる。この画素数をパソコン(PC)のビデオ仕様と対比した場合、最も近い画素数のものとしては水平有効画素数1280、垂直有効画素数1024のSXGAがある。
【0031】
SXGAには数種類のバリエーションがあるので、このうちから適当なものを選択してその同期信号に基づいて撮像した画像信号を出力するように構成することで、SXGA対応の液晶ディスプレィモニターに最適な動画の画質を得ることができる。SXGAの有効垂直画素数に対して表示信号の画素数が足りない場合は、画面上部あるいは下部に日付、時間。コメント等の各種情報を出力表示するように構成することも可能である。
【0032】
【発明の効果】
以上詳述したように本発明になる撮像装置は、現在安価に入手可能な汎用の解像度の全画素読み出し方式の固体撮像素子を3枚使用して、汎用の解像度の固体撮像素子の4倍の画素数に相当する高精細度な信号を撮像して出力可能であり、液晶ディスプレィ等への表示に適した順次走査の動画像を撮像出力できるという利点を有する。
【0033】
【図面の簡単な説明】
【図1】図1は本発明の撮像装置の実施例を示す図である。
【図2】図2は図1に示した撮像装置に使用される固体撮像素子の画素ずらし配置の一例を示す図である。
【図3】図3は図1に示した撮像装置に使用される固体撮像素子の画素配置の一例を示す図である。
【図4】図4は本発明の撮像装置の他の実施例を示す図である。
【図5】図5は本発明の撮像装置の輝度信号処理部(Y処理部)の一例を示す図である。
【図6】図6は従来の撮像装置の輝度信号処理部を示す図である。
【符号の説明】
1…レンズ、
2…プリズム、
3、4、5…固体撮像素子
6…アナログ信号処理部、
7、71…デジタル信号処理部、
8…出力回路部
301、401、501…CDS(相関二重サンプリング部)、
302、402、502…AGC回路、
303、403、503…AD変換器、
304、404、504…γ補正部、
305、405、505…低周波信号生成部(RL生成部、GL生成部、BL生成部)、
306、406、506…DA変換器、
307、407、507、311、411…ローパスフィルタ(LPF)、
308、408、508…75オームドライバ部、
309、409…色差信号出力端子
509…輝度信号出力端子、
310,410,510…広帯域(高精細)信号生成部(RW生成部、GW生成部、BW生成部)、
701…高周波輝度信号生成部(YH生成部)、
702…輝度信号処理部(Y処理部)、
703…低周波輝度信号生成部(YL生成部)、
704…色差信号処理部、[0001]
BACKGROUND OF THE INVENTION
The present invention uses three or four solid-state image sensors having a normal number of pixels corresponding to conventional standard television systems such as NTSC and PAL, or VGA, which is a video format of a computer. The present invention relates to an imaging apparatus capable of outputting a high-definition image signal corresponding to the number of pixels four times the number.
[0002]
[Prior art]
In recent years, digital still cameras having an effective number of pixels exceeding 1 million pixels have been commercialized as digital still cameras. Such high-definition image signals can be easily captured, and their use is rapidly advancing.
In a three-plate type imaging device, based on a signal obtained by arranging red and blue solid-state image sensors obliquely shifted with respect to a spatial position of a green solid-state image sensor and interpolating output signals from these solid-state image sensors. An imaging apparatus capable of generating a low-frequency luminance signal and a high-frequency luminance signal and synthesizing the luminance signal from the low-frequency luminance signal and the high-frequency luminance signal, thereby making the resolution of the solid-state imaging device more than doubled. Has been proposed. (JP-A-6-217330, JP-A-6-315115) In such an imaging apparatus, a general-purpose solid-state imaging device can be used to obtain a high-resolution video signal.
[0003]
[Problems to be solved by the invention]
However, in particular, in the case of realizing an imaging device of a high-definition progressive scan (sequential scanning) system suitable for display on a high-definition display monitor for a personal computer (PC), the above-described solid-state imaging device having more than 1 million pixels is used. Is for still image shooting, and the maximum output is 15 frames or less per second, and the output of moving images is impossible.
In addition, as a moving image photographing device having 1 million or more effective pixels, an HDTV (high-definition) type image pickup device has been put into practical use. In the case of HDTV, an output signal is interlaced (interlaced scanning), and a vertical high frequency In the case of an image having components, flicker due to line flicker is visible, and there is a problem that it is not suitable for display on a liquid crystal display monitor that has been widely used as a display monitor for personal computers (PCs).
Furthermore, the imaging devices disclosed in Japanese Patent Application Laid-Open Nos. 6-217330 and 6-315115 differ greatly in passband characteristics of each pixel of the low-frequency luminance signal and low in the high-frequency luminance signal. Since the high-frequency luminance signal component is included, when the wide-band luminance signal is generated from the low-frequency luminance signal and the high-frequency luminance signal, the low-frequency luminance signal and the high-frequency luminance signal are further divided as shown in FIG. A low-pass filter (LPF) is passed through, and a signal obtained by passing the LPF through the LPF is subtracted from the high-pass luminance signal, and a signal obtained by passing the low-pass signal through the LPF is added to the signal. In other words, complicated signal processing is required, which increases the cost of the circuit scale.
[0004]
The present invention has been made paying attention to this point, and by using three or four general-purpose VGA-compatible all-pixel readout type solid-state imaging devices that are currently available at low cost, the present invention is four times as large as VGA. An object of the present invention is to provide an imaging apparatus capable of capturing a moving image suitable for display on a liquid crystal display for a personal computer (PC) with a high-definition progressive scan (sequential scanning) method corresponding to the number of pixels.
[0005]
[Means for Solving the Problems]
In order to solve the above-described problems, an imaging apparatus according to the present invention includes a color separation optical system that separates incident light to obtain green (G), red (R), and blue (B) color lights, A first solid-state imaging device that receives the green (G) light of the pixel readout method, photoelectrically converts and outputs a G signal, and receives and photoelectrically converts the red (R) light of the all-pixel readout method and outputs an R signal. And a third solid-state imaging device that receives and photoelectrically converts the blue (B) image of the all-pixel readout method and outputs a B signal. The first solid-state imaging device A distance of ½ times the pixel pitch of the solid-state image sensor with respect to the horizontal position and the vertical direction of at least one of the second solid-state image sensor and the third solid-state image sensor, or both, with respect to the spatial position of the element The first solid-state imaging device, The low-frequency signal generated from the signals of the respective colors output from the second solid-state imaging device and the third solid-state imaging device and the interpolated low-frequency signal generated by interpolating the signals of the respective colors are synthesized. A first signal processing unit that generates a low-frequency signal of each color that is four times the effective pixel of each of the first solid-state imaging device, the second solid-state imaging device, and the third solid-state imaging device; A high-frequency signal generated from signals of the respective colors output from the first solid-state image sensor, the second solid-state image sensor, and the third solid-state image sensor, and an interpolated high frequency generated by interpolating the high-frequency signal Second signal processing for synthesizing signals and generating a high-frequency luminance signal four times as large as the effective pixels of each of the first solid-state imaging device, the second solid-state imaging device, and the third solid-state imaging device and parts, the first The low frequency luminance signals output from the signal generation unit are added at a predetermined ratio to generate a low frequency luminance signal, and the high frequency luminance signal and the low frequency luminance signal output from the second signal generation unit And a high-frequency luminance output from the second signal generator to the low-frequency signal of each color output from the first signal generator. And a wideband color signal generating means for generating a wideband color signal by adding the signals .
[0006]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a diagram showing a first embodiment of an imaging apparatus according to the present invention. In FIG. 1, 1 is a lens, 2 is a prism that separates incident light into RGB colors, 3, 4 and 5 are R solid-state image sensors, G solid-state image sensors, B solid-state image sensors, 6 Is an analog signal processing circuit unit, 301, 401, and 501 are correlated double sampling units (CDS), 302, 402, and 502 are AGC circuits that adjust the level of the output signal of the
[0007]
After the incident light passes through the
[0008]
A VGA-compatible solid-state imaging device is inexpensive but has a small number of pixels, so that the resolution is improved by arranging the three solid-
[0009]
The reason why the pixels of the R solid-state
[0010]
FIGS. 3A, 3B, and 3C show the pixels in which the pixels of RGB colors actually exist when applied to the number of pixels that is four times the number of pixels of each of the solid-state imaging elements described above. 3) shows a pixel obtained by synthesizing these, as shown in FIG. As shown in FIG. 3D, the actual pixel for R and the actual pixel for B exist separately at the same spatial position.
[0011]
Hereinafter, the interpolation using the existing pixels will be described. The RGB light beams separated by the
In the analog signal processing unit 6, the S / N is improved by correlated double sampling processing in the
[0012]
The signal processing related to the white balance described above can also be performed by a digital signal processing unit described later.
[0013]
In the digital signal processing unit 7, the gamma (γ)
GL (2,2) = (G (0,2) + 2G (2,2) + G (4,2) + G (2,0) + 2G (2,2) + G (2,4)) / 8 (1)
GL (3,2) = (G (2,0) + 2G (2,2) + G (2,4) + G (4,0) + 2G (4,2) + G (4,4)) / 8 (2)
GL (2,3) = (G (0,2) + 2G (2,2) + G (4,2) + G (0,4) + 2G (2,4) + G (4,4)) / 8 (3)
GL (3,3) = (G (2,2) + G (4,2) + G (2,4) + G (4,4)) / 4 (4)
RL (2,2) = (R (1,1) + R (3,1) + R (1,3) + R (3,3)) / 4 (5)
RL (3,2) = (R (1,1) + 2R (3,1) + R (5,1) + R (1,3) + 2R (3,3) + R (5,3)) / 8 (6)
RL (2,3) = (R (1,1) + 2R (1,3) + R (1,5) + R (3,1) + 2R (3,3) + R (3,5)) / 8 (7)
RL (3,3) = (R (1,3) + 2R (3,3) + R (5,3) + R (3,1) + 2R (3,3) + R (3,5)) / 8 (8)
BL (2,2) = (B (1,1) + B (3,1) + B (1,3) + B (3,3)) / 4 (9)
BL (3,2) = (B (1,1) + 2B (3,1) + B (5,1) + B (1,3) + 2B (3,3) + B (5,3)) / 8 (10)
BL (2,3) = (B (1,1) + 2B (1,3) + B (1,5) + B (3,1) + 2B (3,3) + B (3,5)) / 8 (11)
BL (3,3) = (B (1,3) + 2B (3,3) + B (5,3) + B (3,1) + 2B (3,3) + B (3,5)) / 8 (12)
[0014]
Here, the expressions (1), (8), and (12) show the generation of the low frequency signal at the position where the image actually exists, and the remaining expressions generate the low frequency signal at the position where the pixel does not exist, that is, The generation by interpolation using surrounding pixels is shown. By generating the low frequency signal according to the equations (1) to (12), a low frequency signal having substantially the same frequency is generated at a position where the pixel is present and a position where the pixel is not present.
[0015]
Next, the color difference signal will be described. First, each signal output from the
YL = 0.7154GL + 0.0721BL + 0.2125RL (13)
[0016]
The RGB signals that have been γ-corrected by the
YH (x, y) = (YHH (x, y) + YVH (x, y)) / 2 (14)
YHH (2,2) = (2G (2,2) -G (0,2) -G (4,2)) / 4 (15)
YVH (2,2) = (2G (2,2) -G (2,0) -G (2,4)) / 4 (16)
YHH (3,3) = (2R (3,3) -R (1,3) -R (5,3) + 2B (3,3) -B (1,3) -B (5,3)) / 8 (17)
YVH (3,3) = (2R (3,3) -R (3,1) -R (3,5) + 2B (3,3) -B (3,1) -B (3,5)) / 8 (18)
YHH (3,2) = YHH (3,1) / 2 + YHH (3,3) / 2 (19)
YVH (3, 2) = YVH (2, 2) / 2 + YVH (4, 2) / 2 (20)
YHH (2,3) = YHH (2,2) / 2 + YHH (2,4) / 2 (21)
YVH (2,3) = YVH (1,3) / 2 + YVH (3,3) / 2 (22)
[0017]
Next, the output signal of the high frequency luminance signal generation unit (YH generation unit) 701 and the output signal of the low frequency luminance signal generation unit (YL generation unit) 703 are supplied to the luminance signal processing unit (Y processing unit) 702, and the luminance signal A processing unit (Y processing unit) 702 generates a wideband (high definition) luminance signal YW according to Expression (23). An example of the
YW = YL + k1YH (23)
The coefficient k1 in the equation (23) is usually a numerical value of 1 or more, and the higher the k1, the higher the frequency component is emphasized and a sharper image is obtained. However, if k1 is too large, high-frequency noise is also emphasized, so that it can be configured to be variable according to the user's preference. Further, since noise has a feature that becomes more noticeable as the signal level is smaller, k1 may be configured to be variable according to the level of the signal.
[0018]
Next, the low frequency luminance signal YL output from the low frequency luminance signal generation unit (YL generation unit) 703 is output from the R low frequency signal RL output from the
RL-YL,
The color difference signals BL-YL and RL-YL are generated by the above calculation.
[0019]
The above-described wideband (high-definition) luminance signal (YW signal) and color difference signals (BL-YL signal, RL-YL signal) are input to D /
[0020]
In the
[0021]
Usually, the BL-YL signal and the RL-YL signal input to the
PB = 0.5389 (BL-YL) (24)
PR = 0.6349 (RL-YL) (25)
[0022]
Note that the conversion from the BL-YL signal and the RL-YL signal to the PB signal and the PR signal is not necessarily performed by the
[0023]
Usually, the Y signal, PB signal, and PR signal output from the
[0024]
As a result, the horizontal effective pixel number 640 pixels and the vertical effective pixel number 480 pixels respectively read out from the
[0025]
In the imaging apparatus shown in FIG. 1, the example in which the broadband signals RW, GW, and BW of each color are output in the form of analog signals has been described. It is also possible to convert the signal into a signal of a form and output it.
[0026]
FIG. 4 is a diagram showing another embodiment of the image pickup apparatus according to the present invention, and the image pickup apparatus shown in FIG. 4 is a block diagram when the G signal, the R signal, and the B signal are output as output signals. In FIG. 4, the configuration and operation up to the input to the digital signal processing unit 71 are the same as those in FIG. Also, in FIG. 4, the same parts as those in FIG.
[0027]
In FIG. 4, the RGB signal input to the digital signal processing unit 71 is the signal of the vertical effective pixel 480 (usually about 494 pixels) that has been gamma corrected by the
GW = GL + k2YH (26)
BW = BL + k2YH (27)
RW = RL + k2YH (28)
K2 in the above equation is determined in the same manner as k1 in equation (23).
[0028]
The GW, RW, and BW signals generated in this way are digital-to-analog converted in the
[0029]
In the imaging apparatus shown in FIG. 4, the example in which the broadband signals RW, GW, and BW of each color are output in the form of analog signals has been described. However, the digital signal format conforms to an appropriate digital interface standard. It is also possible to convert the signal into a signal of a form and output it.
[0030]
In order to realize moving image output, since a movie has 24 frames per second, normally, the number of frames corresponding to 24 frames or more per second is required. On the other hand, as described above, the all-pixel readout solid-state image pickup device for moving image pickup that is currently available at low cost is a VGA-compatible solid-state image pickup device having 640 horizontal effective pixels and 480 vertical effective pixels. The image sensor is usually designed to have a margin, and has pixels of horizontal 659 and vertical 494. Therefore, when the imaging apparatus according to the present invention is configured using a normal VGA-compatible solid-state imaging device, the maximum number of horizontal effective pixels 1318 and the maximum number of effective vertical pixels 988 are obtained. When this number of pixels is compared with the video specification of a personal computer (PC), the closest number of pixels is SXGA with 1280 horizontal effective pixels and 1024 vertical effective pixels.
[0031]
There are several types of SXGA variations. By selecting an appropriate one from these and outputting an image signal based on the synchronization signal, it is optimal for a SXGA compatible LCD display monitor. Can be obtained. If the number of pixels of the display signal is not enough for the number of effective vertical pixels of SXGA, date and time are displayed at the top or bottom of the screen. It can also be configured to output and display various information such as comments.
[0032]
【The invention's effect】
As described in detail above, the imaging apparatus according to the present invention uses three general-purpose all-pixel readout type solid-state imaging devices that are currently available at low cost, and is four times as large as a general-purpose resolution solid-state imaging device. A high-definition signal corresponding to the number of pixels can be imaged and output, and there is an advantage that a sequentially scanned moving image suitable for display on a liquid crystal display or the like can be imaged and output.
[0033]
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an embodiment of an imaging apparatus according to the present invention.
FIG. 2 is a diagram illustrating an example of a pixel shift arrangement of a solid-state image sensor used in the imaging device illustrated in FIG.
FIG. 3 is a diagram illustrating an example of a pixel arrangement of a solid-state image sensor used in the imaging apparatus illustrated in FIG. 1;
FIG. 4 is a diagram showing another embodiment of the imaging apparatus of the present invention.
FIG. 5 is a diagram illustrating an example of a luminance signal processing unit (Y processing unit) of the imaging apparatus according to the present invention.
FIG. 6 is a diagram illustrating a luminance signal processing unit of a conventional imaging apparatus.
[Explanation of symbols]
1 ... Lens,
2 ... Prism,
3, 4, 5 ... solid-state imaging device 6 ... analog signal processing unit,
7, 71 ... Digital signal processing unit,
8:
302, 402, 502 ... AGC circuit,
303, 403, 503 ... AD converter,
304, 404, 504 ... γ correction unit,
305, 405, 505 ... low frequency signal generator (RL generator, GL generator, BL generator),
306, 406, 506 ... DA converter,
307, 407, 507, 311, 411 ... low pass filter (LPF),
308, 408, 508 ... 75 ohm driver section,
309, 409 ... color difference
310, 410, 510... Wideband (high definition) signal generator (RW generator, GW generator, BW generator),
701 ... a high-frequency luminance signal generator (YH generator),
702 ... a luminance signal processing unit (Y processing unit),
703 ... a low-frequency luminance signal generator (YL generator),
704 ... a color difference signal processing unit,
Claims (1)
全画素読み出し方式の前記緑(G)光を受光し光電変換してG信号を出力する第1の固体撮像素子と、
全画素読み出し方式の前記赤(R)光を受光し光電変換してR信号を出力する第2の固体撮像素子と、
全画素読み出し方式の前記青(B)画像を受光し光電変換してB信号を出力する第3の固体撮像素子とを備え、
前記第1の固体撮像素子の空間位置に対して前記第2の固体撮像素子および第3の固体撮像素子の少なくとも一方、もしくは両方を水平方向および垂直方向に関して、それぞれ前記固体撮像素子の画素ピッチの1/2倍の距離だけずらした位置に配置し、
前記第1の固体撮像素子、前記第2の固体撮像素子、および前記第3の固体撮像素子からそれぞれ出力された各色の信号より生成した低周波信号と、前記各色の信号を補間して生成した補間低周波信号とを合成して前記第1の固体撮像素子、前記第2の固体撮像素子、および前記第3の固体撮像素子のそれぞれの有効画素の4倍の各色の低周波信号を生成する第1の信号処理部と、
前記第1の固体撮像素子、前記第2の固体撮像素子、および前記第3の固体撮像素子からそれぞれ出力された各色の信号より生成した高周波信号と、前記高周波信号を補間して生成した補間高周波信号とを合成して前記第1の固体撮像素子、前記第2の固体撮像素子、および前記第3の固体撮像素子のそれぞれの有効画素の4倍の高周波輝度信号を生成する第2の信号処理部と、
前記第1の信号生成部より出力される前記各色の低周波信号を所定の比率で加算して低周波輝度信号を生成し、前記第2の信号生成部から出力される前記高周波輝度信号と前記低周波輝度信号とを加算して広帯域輝度信号を生成する広帯域輝度信号生成手段と、
前記第1の信号生成部から出力される前記各色の低周波信号に前記第2の信号生成部から出力される前記高周波輝度信号加算して広帯域色信号を生成する広帯域色信号生成手段と、
を有する撮像装置。 A color separation optical system for color-separating incident light to obtain green (G), red (R), and blue (B) color lights;
A first solid-state imaging device that receives the green (G) light of the all-pixel readout method, photoelectrically converts it, and outputs a G signal;
A second solid-state imaging device that receives the red (R) light of the all-pixel readout method, photoelectrically converts it, and outputs an R signal;
A third solid-state imaging device that receives the blue (B) image of the all-pixel readout method, photoelectrically converts it, and outputs a B signal;
With respect to the spatial position of the first solid-state image sensor, at least one of the second solid-state image sensor and the third solid-state image sensor, or both of the pixel pitch of the solid-state image sensor in the horizontal direction and the vertical direction, respectively. Place it at a position shifted by a distance of 1/2,
Generated by interpolating the low-frequency signal generated from the signal of each color output from the first solid-state image sensor, the second solid-state image sensor, and the third solid-state image sensor, and the signal of each color The interpolated low-frequency signal is combined to generate a low-frequency signal of each color that is four times the effective pixel of each of the first solid-state image sensor, the second solid-state image sensor, and the third solid-state image sensor. A first signal processing unit;
A high-frequency signal generated from signals of the respective colors output from the first solid-state image sensor, the second solid-state image sensor, and the third solid-state image sensor, and an interpolated high frequency generated by interpolating the high-frequency signal Second signal processing for synthesizing signals and generating a high-frequency luminance signal four times as large as the effective pixels of each of the first solid-state imaging device, the second solid-state imaging device, and the third solid-state imaging device and parts,
The low frequency signals of the respective colors output from the first signal generator are added at a predetermined ratio to generate a low frequency luminance signal, and the high frequency luminance signal output from the second signal generator and the Broadband luminance signal generating means for adding a low frequency luminance signal to generate a broadband luminance signal;
Broadband color signal generation means for generating a broadband color signal by adding the high frequency luminance signal output from the second signal generation unit to the low frequency signal of each color output from the first signal generation unit;
An imaging apparatus having
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15219999A JP3613071B2 (en) | 1999-05-31 | 1999-05-31 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15219999A JP3613071B2 (en) | 1999-05-31 | 1999-05-31 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000341709A JP2000341709A (en) | 2000-12-08 |
JP3613071B2 true JP3613071B2 (en) | 2005-01-26 |
Family
ID=15535233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP15219999A Expired - Fee Related JP3613071B2 (en) | 1999-05-31 | 1999-05-31 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3613071B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070052357A (en) * | 2004-10-13 | 2007-05-21 | 마쯔시다덴기산교 가부시키가이샤 | Image pickup device |
JP4517896B2 (en) * | 2005-03-08 | 2010-08-04 | カシオ計算機株式会社 | Imaging apparatus and pixel interpolation method thereof |
JP5882576B2 (en) * | 2010-12-01 | 2016-03-09 | キヤノン株式会社 | Image processing apparatus, image processing apparatus control method, and program |
-
1999
- 1999-05-31 JP JP15219999A patent/JP3613071B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000341709A (en) | 2000-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4641675B2 (en) | Image signal processing device | |
US5978023A (en) | Color video camera system and method for generating color video signals at increased line and/or frame rates | |
JP2936760B2 (en) | Color television camera device | |
JPH0823543A (en) | Image pickup device | |
JP3704238B2 (en) | Imaging device | |
JPH08172636A (en) | Image pickup device | |
JP2001016597A (en) | Solid-state image pickup device and signal processing method | |
JP4077161B2 (en) | Imaging apparatus, luminance correction method, and program for executing the method on a computer | |
JP3613071B2 (en) | Imaging device | |
JPH07203318A (en) | Image pickup device | |
JP2000341710A (en) | Image pickup device | |
JPH10155158A (en) | Image pickup device and processing method for color image signal | |
JP7022544B2 (en) | Image processing equipment and methods, and imaging equipment | |
US6266101B1 (en) | Y/C separator | |
JP3263850B2 (en) | Signal processing circuit and image display device | |
JP2000341708A (en) | Image pickup device | |
JP3064721B2 (en) | Imaging device with frame image creation function | |
JP3651477B2 (en) | Image signal processing device | |
JP3734104B2 (en) | Image signal processing device | |
JP2846317B2 (en) | Color imaging device | |
JPH06350904A (en) | Camera | |
JP3256988B2 (en) | Image quality correction circuit and image display system | |
JP3406674B2 (en) | Two-chip imaging device | |
JP3515585B2 (en) | Two-chip imaging device | |
JP2000261817A (en) | Image pickup device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041005 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041018 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071105 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081105 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091105 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101105 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101105 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111105 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121105 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121105 Year of fee payment: 8 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121105 Year of fee payment: 8 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121105 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131105 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |