JP2005260383A

JP2005260383A - 画像入力装置及びそれに用いる画像入力方法

Info

Publication number: JP2005260383A
Application number: JP2004066469A
Authority: JP
Inventors: Yasutsugu Shirakawa; 泰嗣白川
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2004-03-10
Filing date: 2004-03-10
Publication date: 2005-09-22

Abstract

【課題】画像の高精細化を実現可能な色センサを提供する。
【解決手段】色センサは画像入力素子上にカラーフィルタ７を形成し、このカラーフィルタ７の下にフォトダイオード６を設けて主にカラーフィルタ７と組み合わせることで構築されている。カラーフィルタ７はＶＣＭ４，５によって図示する矢印方向に移動可能となっている。ＶＣＭ４，５はモータドライバ３によって駆動され、モータドライバ３は制御部１によって制御される。制御部１はモータドライバ３を制御することでカラーフィルタ７を移動させ、カラーフィルタ７を移動する毎にフォトダイオード６から入力される信号をメモリ２に保持していき、フォトダイオード６のある１画素上で、カラーフィルタ７のＲ／Ｇ／Ｂが一通り移動すると、その移動毎にメモリ２に保持した信号を用いて色演算を行う。
【選択図】図１

Description

本発明は画像入力装置及びそれに用いる画像入力方法に関し、特にフォトダイオードが並んだ画像入力素子上にカラーフィルタを形成して構築される色センサに関する。

近年、画像入力の技術の発展に伴い、携帯電話端末やディジタルカメラにおいても画像入力素子が搭載され、画像入力素子を用いたディジタル画像の撮影が可能となっている。

上記の画像入力素子としては、フォトダイオードが並んだ画像入力素子上にカラーフィルタを形成して構築される色センサがある。この色センサとしては、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）が用いられている。

フォトダイオードが並んだ画像入力素子としては、図７に示すように、格子状に並んだＲ／Ｇ／Ｂ（Ｒｅｄ／Ｇｒｅｅｎ／Ｂｌｕｅ）［図７（ａ）］（例えば、特許文献１参照）や一列に並んだＲＧＢ［図７（ｂ）］のように、カラーフィルタを画像入力素子上に直接形成している。

この種の画像入力素子では、カラーフィルタが直接その上に形成されているため、色センサが各色専用となり、図８（ａ）に示すように、カラーフィルタの「Ｒ」，「Ｇ」，「Ｂ」がそれぞれ１画素に対応しており（「Ｇ」は２画素）、図８（ｂ）に示すように、４画素を用いて色演算を行うこととなる。

特開平１０−１９１３７０号公報

上述した従来の画像入力素子では、フォトダイオードが並んだ画像入力素子上に、カラーフィルタを直接形成しているため、色センサの各画素が各色専用となり、画像を高精細化することができないという問題がある。

そこで、本発明の目的は上記の問題点を解消し、画像の高精細化を実現することができる画像入力装置及びそれに用いる画像入力方法を提供することにある。

本発明による画像入力装置は、画像入力素子上にカラーフィルタを形成し、前記カラーフィルタの下にフォトダイオードを設けて構築される色センサを用いる画像入力装置であって、前記カラーフィルタの位置を前記画像入力素子と水平方向に移動させる移動手段と、前記移動手段による移動を制御する制御手段と、その移動毎に前記フォトダイオードからの信号を保持する保持手段とを備え、前記保持手段に保持された信号を用いて色演算を行っている。

本発明による画像入力方法は、画像入力素子上にカラーフィルタを形成し、前記カラーフィルタの下にフォトダイオードを設けて構築される色センサを用いる画像入力装置における画像入力方法であって、前記カラーフィルタの位置を前記画像入力素子と水平方向に移動させるステップと、その移動毎に前記フォトダイオードからの信号を保持手段に保持するステップと、その保持された信号を用いて色演算を行うステップとを備えている。

すなわち、本発明の色センサを用いた画像入力装置は、画像入力素子上のカラーフィルタの位置を水平方向に制御し、素子製造プロセスの微細化を伴うことなく、画像の高精細化を可能としている。この場合、本発明の色センサでは、カラーフィルタの位置を画像入力素子に対して水平方向に位置制御し、見かけ上、Ｒ／Ｇ／Ｂ（Ｒｅｄ／Ｇｒｅｅｎ／Ｂｌｕｅ）の各カラーフィルタが重なったかのような状態を作っている。

また、本発明の色センサを用いた画像入力装置では、カラーフィルタのＲ／Ｇ／Ｂがそれぞれ位置した時の撮影データを合算することで、高感度化を可能としている。これによって、本発明の色センサを用いた画像入力装置では、製造過程で画素に欠陥が生じた場合でも、直接隣り合う素子からの情報を補完処理に用いることが可能となる。

本発明は、以下に述べるような構成及び動作とすることで、画像の高精細化を実現することができるという効果が得られる。

次に、本発明の実施例について図面を参照して説明する。図１は本発明の一実施例による画像入力装置の構成を示すブロック図である。図１において、本発明の一実施例による画像入力装置は、制御部１と、メモリ２と、モータドライバ３と、ＶＣＭ（ボイスコイルモータ）４，５と、フォトダイオード６と、カラーフィルタ７とから構成されている。

本発明の一実施例による色センサは図示せぬ画像入力素子上にカラーフィルタ７を形成し、このカラーフィルタ７の下にフォトダイオード６を設けて主にカラーフィルタ７と組み合わせることで構築されている。この色センサとしては、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）が用いられている。

カラーフィルタ７はＶＣＭ４，５によって水平方向（画像入力素子の面とカラーフィルタ７の面とを平行に移動する方向）（図１の矢印方向）に移動可能となっている。ＶＣＭ４，５はモータドライバ３によって駆動され、モータドライバ３は制御部１によって制御される。

制御部１はモータドライバ３を制御することでカラーフィルタ７を移動させ、カラーフィルタ７を移動する毎にフォトダイオード６から入力される信号をメモリ２に保持していき、フォトダイオード６のある１画素上で、カラーフィルタ７のＲ／Ｇ／Ｂ（Ｒｅｄ／Ｇｒｅｅｎ／Ｂｌｕｅ）が一通り移動すると、その移動毎にメモリ２に保持した信号を用いて色演算を行う。

図２（ａ），（ｂ）は本発明の一実施例によるＲＧＢカラーフィルタの配列を示す図であり、図３（ａ），（ｂ）は本発明の一実施例によるＲ／Ｇ／Ｂを縦に並べた場合のＲＧＢカラーフィルタの配列を示す図であり、図４（ａ）〜（ｅ）は本発明の一実施例によるＲＧＢカラーフィルタにおける画像入力処理を示す図であり、図５は本発明の一実施例によるＲＧＢカラーフィルタにおける補完処理を示すフローチャートであり、図６（ａ）〜（ｄ）は本発明の一実施例によるＲＧＢカラーフィルタの高精細化の例を示す図である。

本実施例では、図１に示すように、画像入力素子上にカラーフィルタ７を形成し、このカラーフィルタ７の下にフォトダイオード６を設け、フォトダイオード６を主にカラーフィルタ７と組み合わせることで色センサを構築している。

次に、図２を参照して本発明の一実施例によるＲＧＢカラーフィルタの製造方法について説明する。始めに、図２（ａ）に示すように、Ｒ／Ｇ／Ｂの各色が格子状に並んだカラーフィルタ７の１画素に着目して拡大した状態を図２（ｂ）に示す。

この場合、カラーフィルタ７の１画素分を、ＶＣＭ４，５を用いて水平方向（縦、横の方向）にずらし、位置１、位置２、位置３それぞれの場所で、相互に重なり合う１画素分の範囲にＲ／Ｇ／Ｂの各色を得る［図２（ｂ）参照］。

また、Ｒ／Ｇ／Ｂを縦に並べた場合には、カラーフィルタ７を、ＶＣＭ４を用いて水平方向（横の方向）にずらし、位置１、位置２、位置３の場所でそれぞれ、相互に重なり合う１画素分の範囲にＲ／Ｇ／Ｂの各色を得る［図３（ｂ）参照］。

本実施例ではこのカラーフィルタ７の水平移動に、ＶＣＭ４，５を用いているが、ピエゾ素子や形状記憶合金、電磁スイッチ等のアクチュエータからなるＭＥＭＳ（マイクロ・エレクトロ・メカニカル・システム）素子を用いることも可能であり、その場合には高速・定量・低消費電力駆動が可能となる。

上述したカラーフィルタ７の水平移動によってＲ／Ｇ／Ｂの各色を得る方法（補完処理について、図４を参照してより具体的に説明する。制御部１はフォトダイオード６のある１画素上にカラーフィルタ７の「Ｒ」がある時の信号を得ると、その信号をメモリ２に保持する［図４（ａ）参照］（図５ステップＳ１，Ｓ２）。

続いて、制御部１はモータドライバ３を制御し、ＶＣＭ４，５によってカラーフィルタ７を１画素分、水平方向にずらし（図５ステップＳ３）、フォトダイオード６のある１画素上にカラーフィルタ７の「Ｂ」がある時の信号を得ると、その信号をメモリ２に保持する［図４（ｂ）参照］（図５ステップＳ４）。

さらに、制御部１はモータドライバ３を制御し、ＶＣＭ４，５によってカラーフィルタ７を１画素分、水平方向にずらし（図５ステップＳ５，Ｓ７）、フォトダイオード６のある１画素上にカラーフィルタ７の「Ｇ」がある時の信号を得ると、その信号をメモリ２に保持する［図４（ｃ），（ｄ）参照］（図５ステップＳ６，Ｓ８）。

制御部１は上記のように、フォトダイオード６のある１画素上において、カラーフィルタ７の「Ｒ」，「Ｂ」，「Ｇ」をそれぞれ一通り（「Ｇ」については２回）移動させると、その時にメモリ２に保持した信号を用いて色演算を行う（図５ステップＳ９）。色演算は、
「Ｒ」＋「Ｂ」＋「Ｇ」＋「Ｇ」＝色演算結果
というように行われる。

また、上記の例では、カラーフィルタ７の「Ｒ」，「Ｂ」，「Ｇ」（，「Ｇ」）の順番でずらす場合について述べたが、この順番通りにずらす必要はなく、カラーフィルタ７の「Ｒ」，「Ｂ」，「Ｇ」がそれぞれ一通り移動した時のメモリ２の保持内容を用いて色演算が行われる。上記の処理は画像入力が終了するまで（図５ステップＳ１０）、繰り返し実行される（図５ステップＳ１〜Ｓ１０）。

このように、本実施例では、カラーフィルタ７を水平方向に位置制御することで、画像の高精細化を実現した画像入力素子を提供することができる。さらに、本実施例では、製造過程で画素に欠陥が生じた場合でも、直接隣り合う素子からの情報を補完処理に用いることができる。

上記の実施例においては、カラーフィルタ４の移動量を１画素分としているが、その移動量を１画素分に限らずｎ画素分とすることで、カラーフィルタ４を簡略化（ｎ倍）することができる。その構成については、図２（ｂ）を拡大した状態ではなく、等倍の状態として見ることで示される。

また、本実施例では、図６（ａ）〜（ｄ）に示すように、欠陥画素の補完処理を行う際に、最寄の同色の画素、あるいは最寄のＲ／Ｇ／Ｂ（／Ｇ）から合成した中間色から欠落した画素を平均化あるいは重み付けして推察する。この時、直接隣り合うフォトダイオード６の各画素から情報を読み取った方が解像度が良いので、画像を高精細化することができる。

さらに、本実施例では、カラーフィルタ７のＲ／Ｇ／Ｂ（／Ｇ）を補色のＹｅ／Ｃｙ／Ｍｇ（／Ｇ）［Ｙｅｌｌｏｗ／Ｃｙａｎ／Ｍａｇｅｎｔａ（Ｇｒｅｅｎ）］に変更してもよい。

本発明の画像入力装置の活用例としては、ディジタルカメラ、カメラ付き携帯電話、車載カメラやＴＶ（テレビ）電話端末に用いる画像入力素子等が挙げられる。

本発明の一実施例による色センサ及びその制御回路の構成を示すブロック図である。（ａ），（ｂ）は本発明の一実施例によるＲＧＢカラーフィルタの配列を示す図である。（ａ），（ｂ）は本発明の一実施例によるＲ／Ｇ／Ｂを縦に並べた場合のＲＧＢカラーフィルタの配列を示す図である。（ａ）〜（ｅ）は本発明の一実施例によるＲＧＢカラーフィルタにおける補完処理を示す図である。本発明の一実施例によるＲＧＢカラーフィルタにおける補完処理を示すフローチャートである。（ａ）〜（ｄ）は本発明の一実施例によるＲＧＢカラーフィルタの高精細化の例を示す図である。（ａ），（ｂ）は従来例によるＲＧＢカラーフィルタの配列を示す図である。（ａ），（ｂ）は従来例によるＲＧＢカラーフィルタの色演算を示す図である。

符号の説明

１制御部
２メモリ
３モータドライバ
４，５ＶＣＭ
６フォトダイオード
７カラーフィルタ

Claims

画像入力素子上にカラーフィルタを形成し、前記カラーフィルタの下にフォトダイオードを設けて構築される色センサを用いる画像入力装置であって、前記カラーフィルタの位置を前記画像入力素子と水平方向に移動させる移動手段と、前記移動手段による移動を制御する制御手段と、その移動毎に前記フォトダイオードからの信号を保持する保持手段とを有し、前記保持手段に保持された信号を用いて色演算を行うことを特徴とする画像入力装置。
前記カラーフィルタは、Ｒ／Ｇ／Ｂ（Ｒｅｄ／Ｇｒｅｅｎ／Ｂｌｕｅ）のフィルタからなることを特徴とする請求項１記載の画像入力装置。
前記カラーフィルタは、補色のＹｅ／Ｃｙ／Ｍｇ（Ｙｅｌｌｏｗ／Ｃｙａｎ／Ｍａｇｅｎｔａ）のフィルタからなることを特徴とする請求項１記載の画像入力装置。
前記制御手段は、前記フォトダイオードの各画素上に前記カラーフィルタの各フィルタが位置するようにずらすよう制御することを特徴とする請求項２または請求項３記載の画像入力装置。
前記制御手段は、前記フォトダイオードの各画素上で前記カラーフィルタの各フィルタが重なったかのような状態とすることを特徴とする請求項４記載の画像入力装置。
画像入力素子上にカラーフィルタを形成し、前記カラーフィルタの下にフォトダイオードを設けて構築される色センサを用いる画像入力装置における画像入力方法であって、前記カラーフィルタの位置を前記画像入力素子と水平方向に移動させるステップと、その移動毎に前記フォトダイオードからの信号を保持手段に保持するステップと、その保持された信号を用いて色演算を行うステップとを有することを特徴とする画像入力方法。
前記カラーフィルタは、Ｒ／Ｇ／Ｂ（Ｒｅｄ／Ｇｒｅｅｎ／Ｂｌｕｅ）のフィルタからなることを特徴とする請求項６記載の画像入力方法。
前記カラーフィルタは、補色のＹｅ／Ｃｙ／Ｍｇ（Ｙｅｌｌｏｗ／Ｃｙａｎ／Ｍａｇｅｎｔａ）のフィルタからなることを特徴とする請求項６記載の画像入力方法。
前記カラーフィルタを移動する際に、前記フォトダイオードの各画素上に前記カラーフィルタの各フィルタが位置するようにずらすことを特徴とする請求項７または請求項８記載の画像入力方法。
前記カラーフィルタを移動する際に、前記フォトダイオードの各画素上で前記カラーフィルタの各フィルタが重なったかのような状態とすることを特徴とする請求項９記載の画像入力方法。