JP2008011532A - イメージ復元方法及び装置 - Google Patents

Abstract

【課題】 小型化されたカメラモジュールを介して獲得したイメージを高解像度のイメージに復元するイメージ復元方法及び装置を提供する。
【解決手段】複数のレンズ及び該レンズに各々対応する複数のイメージセンシング領域を含むカメラモジュールを通じてカラー別に分離された複数の原イメージを獲得する段階、センシング領域に対応して、複数のピクセルグループに区分される第１中間イメージを生成する段階、各カラー別原イメージで同じ位置のピクセルが有するピクセル情報を、第１中間イメージで前記位置に対応するピクセルグループの所定ピクセルにマッピングして第２中間イメージを生成する段階、及び第２中間イメージを補間して最終イメージを生成する段階を含むが、ピクセルグループはカラーフィルターの配列パターンに対応する複数のピクセルを含む。
【選択図】図９Ａ

Description

本発明は、イメージ復元方法に係り、より詳細には、小型化されたカメラモジュールを介して獲得したイメージを高解像度のイメージに復元する方法に関する。

デジタルカメラ、カメラフォンのように高解像度のカメラモジュールを含むデジタル装置の普及が広がっている。カメラモジュールは、一般的にレンズ及びイメージセンサーを含んで構成される。ここで、レンズは、被写体からの反射光を集束する役割を果たし、イメージセンサーは、レンズにより集束された光を検知して電気的な映像信号に変換する役割を果たす。イメージセンサーは、大きく撮像管と固体イメージセンサーとに分けられ、固体イメージセンサーの代表例として、電荷結合素子（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ；ＣＣＤ）、金属酸化物半導体（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｉｌｉｃｏｎ；ＭＯＳ）がある。

図１は、従来のカメラモジュールの原理を示す図面である。
カメラモジュールでは、口径比が大きいほど、明るい像が得られ、Ｆ数（Ｆ／＃）が大きいほど鮮明できれいな像が得られる。ここで、口径比は、レンズの口径Ｄを焦点距離ｆで割った値、すなわち、Ｄ／ｆを意味するものであって、像の輝度は、口径比の自乗に比例する。一方、Ｆ数は、口径比の逆数、すなわち、ｆ／Ｄを意味する。Ｆ数が大きいほど、カメラモジュールのイメージセンサーに到達する単位面積当り光量は減少し、Ｆ数が小さいほど、イメージセンサーに到達する単位面積当り光量は増加して明るく、かつ高解像度の映像が得られる。

図１に示されたように、レンズの口径が大きいほど、解像度が高まる長所があるが、物体の像を結ぶための焦点距離が延びるので、カメラモジュールの小型化には限界がある。一方、レンズの口径が小さな場合、物体の像を結ぶための焦点距離も減少するので、カメラモジュールの小型化は可能であるが、高解像度のイメージは得難いという問題がある。

これにより、多様な発明（例えば、特許文献１）が提示されたが、前記問題点は相変らず残っている。
韓国公開特許第２００３−００８４３４３号公報

本発明は、前記問題点を改善するために案出されたものであって、小型化されたカメラモジュールを通じて得た低解像度のイメージから高解像度のイメージを復元しうるイメージ復元方法及び装置を提供するところにその目的がある。

本発明の目的は、以上で言及した目的に制限されず、言及されていない他の目的は下の記載から当業者に明確に理解されうる。

前記目的を達成するための本発明の一実施例によるイメージ復元方法は、複数のレンズ及び前記レンズに各々対応する複数のイメージセンシング領域を含むカメラモジュールを通じてカラー別に分離された複数の原イメージを獲得する段階、前記センシング領域に対応して、複数のピクセルグループに区分される第１中間イメージを生成する段階、前記各カラー別原イメージで同じ位置のピクセルが有するピクセル情報を、前記第１中間イメージで前記位置に対応するピクセルグループの所定ピクセルにマッピングして第２中間イメージを生成する段階、及び前記第２中間イメージを補間して最終イメージを生成する段階を含むが、前記ピクセルグループは、前記カラーフィルターの配列パターンに対応する複数のピクセルを含む。

また、前記目的を達成するための本発明の一実施例によるイメージ復元方法は、複数のレンズ及び前記レンズに各々対応する複数のイメージセンシング領域を含むカメラモジュールを通じてカラー別に分離された複数の原イメージを獲得する段階と、前記各カラー別原イメージで同じ位置のピクセルが有するピクセル情報を、前記カラーフィルターの配列パターンによって再配置して中間イメージを生成する段階と、前記中間イメージをデモザイクして最終イメージを生成する段階と、を含む。

また、前記目的を達成するための本発明の他の一実施例によるイメージ復元装置は、複数のレンズ及び前記レンズに各々対応するイメージセンシング領域を含むカメラモジュールを介して獲得されたカラー別に分離された複数の原イメージを入力される入力モジュールと、前記センシング領域に対応して、複数のピクセルグループに区分される第１中間イメージを生成し、前記各カラー別原イメージで同じ位置のピクセルが有するピクセル情報を、前記第１中間イメージで前記位置に対応するピクセルグループの所定ピクセルにマッピングして、第２中間イメージを生成する中間イメージ生成モジュールと、前記第２中間イメージを補間して最終イメージを生成する最終イメージ生成モジュールと、を備えるが、前記ピクセルグループは、前記カラーフィルターの配列パターンに対応する複数のピクセルを備える。

また、前記目的を達成するための本発明のまた他の実施形態によるイメージ復元装置は、 入射光を集光するために互いに異なる色相の複数のレンズを含み、前記各レンズ領域に対応する複数のイメージセンシング領域を通じてカラー別に分離された複数の原イメージを獲得するカメラモジュールおよび、前記複数の原イメージに基づいて最終イメージを生成するイメージ生成モジュールと、を備える。
その他の実施例の具体的な事項は詳細な説明及び図面に含まれている。

本発明によるイメージ復元方法及び装置によれば、次のような効果が１つあるいはそれ以上ある。

カメラモジュールを小型化すると同時に、高解像度のイメージが得られる。
カメラモジュールが小型化されるので、カメラモジュールが装着されるデジタル機器の設計自由度を増加させうる。

イメージセンサーの内部にカラーフィルター層及びカラーフィルター層を平坦化するための平坦層が形成されていないので、マイクロレンズとフォトダイオード間の間隔が狭くなり、平坦層の厚さによる光損失及び信号干渉現象を減少させうる。

カラーフィルターをイメージセンサー上に形成せず、別途の基板に形成することによって、イメージセンサーの生産工程を単純化させ、イメージセンサー上にカラーフィルターをパターニングする工程が省略されるので、カラーフィルター層の形成に使われるインクを節約できる。

互いに異なる透過度を有するカラーフィルターを使用することによって、イメージセンサー部の構造を変更せずとも、高感度センシング領域と低感度センシング領域とを同時に具現できる。

本発明の利点及び特徴、そしてこれを達成する方法は添付された図面に基づいて詳細に後述されている実施例を参照すれば明確になる。

しかし、本発明は以下で開示される実施例に限定されるものではなく、この実施例から外れて多様な形に具現でき、本明細書で説明する実施例は本発明の開示を完全にし、本発明が属する技術分野で当業者に発明の範ちゅうを完全に報せるために提供されるものであり、本発明は請求項及び発明の詳細な説明により定義されるだけである。一方、明細書全体に亙って同一な参照符号は同一な構成要素を示す。

以下、添付された図面を参照して本発明の実施例によるイメージ復元装置及び方法について説明する。

図１は、本発明の実施例によるイメージ復元装置１００の構造を示すブロック図である。示されたイメージ復元装置１００は、入射光を集光してカラー別に分離された複数の原イメージを生成するカメラモジュール２００、カメラモジュール２００から提供されたカラー別原イメージを基盤にして最終イメージを生成するイメージ生成モジュール８００及びイメージ生成モジュール８００から提供された最終イメージをディスプレイするディスプレイモジュール９００を備える。

まず、図３ないし図７Ｂを参照してカメラモジュール２００について説明する。

図３は、本発明の第１実施例によるカメラモジュール２００を示す斜視図である。示されたカメラモジュール２００は、レンズ部３００、フィルター部４００及びイメージセンサー部５００を備える。

レンズ部３００は、入射光を集光する複数のレンズ３１０、３２０、３３０、３４０を備え得る。ここで、レンズの数は制限されず、複数のレンズ３１０、３２０、３３０、３４０は、同一平面上に多様な形で配置されうる。例えば、複数のレンズ３１０、３２０、３３０、３４０は、横方向または縦方向に一列に配置されるか、横×縦の行列形態に配置されうる。以下、本明細書では説明の便宜上、レンズ部３００が４個のレンズを含み、横×縦２×２の形で配置された場合を実施例として説明する。

また、各レンズ３１０、３２０、３３０、３４０は互いに同一な位置に存在したり、互いに異なる位置に存在し得る。例えば前記レンズ３１０、３２０、３３０、３４０がすべて基準位置に存在する場合、前記各レンズ３１０、３２０、３３０、３４０の位置は互いに同一なものとしてみなされ得る。ここで基準位置とは所定レンズが対応するサブフィルタリング領域の中心を意味する。これとは異なり第１レンズ３１０は基準位置から右側に一ピクセル分だけ移動された位置に存在し、第２レンズ３２０は基準位置に、第３レンズ３３０は基準位置から下側に一ピクセル分だけ移動された位置に、そして第４レンズ３４０は基準位置から右側下の対角線方向に移動された位置に存在し得る。

フィルター部４００は、複数のレンズ３１０、３２０、３３０、３４０により集光された光をフィルタリングして元の基本色に具現する役割を果たす。このためにフィルター部４００は、複数のレンズ３１０、３２０、３３０、３４０に対応して、互いに異なる色相のカラーフィルターが形成される複数のサブフィルタリング領域４１０、４２０、４３０、４４０からなることが望ましい。例えば、前述したように、レンズ部３００が２×２の行列形態に配置された４個のレンズを備える場合、フィルター部４００は２×２の形態に配置された第１サブフィルタリング領域４１０、第２サブフィルタリング領域４２０、第３サブフィルタリング領域４３０及び第４サブフィルタリング領域４４０を有する。

また、フィルタリング領域は、各サブフィルタリング領域に形成されるカラーフィルターの透過度によって第１フィルタリング領域４１０、４２０、４３０と第２フィルタリング領域４４０とに区分されうる。この際、第１フィルタリング領域は、複数のサブフィルタリング領域を含みうる。一方、第２フィルタリング領域は、単一サブフィルタリング領域を含む。

本発明の実施例によって、第２フィルタリング領域に該当するサブフィルタリング領域には、第１フィルタリング領域に該当するサブフィルタリング領域に形成されたカラーフィルターに比べて、透過度の高いカラーフィルターが形成されることが望ましい。例えば、第１フィルタリング領域に含まれる第１サブフィルタリング領域４１０には赤色カラーフィルターが、第２サブフィルタリング領域４２０には緑色カラーフィルターが、第３サブフィルタリング領域４３０には青色カラーフィルターが形成されることが望ましい。一方、第２フィルタリング領域に含まれる第４サブフィルタリング領域４４０には赤色、緑色及び青色に比べて透過度の高い色、例えば、灰色カラーフィルターが形成されることが望ましい。前記例において、それぞれのカラーフィルターは、青色、赤色及び緑色の順序で透過度が高まり、灰色カラーフィルターは緑色カラーフィルターよりさらに高い透過度を有する。

他の実施例によって、第４サブフィルタリング領域４４０には灰色以外のカラーフィルターが形成されることもある。例えば、白色（ｗｈｉｔｅ；ｎｏ ｃｏｌｏｒ ｆｉｌｔｅｒ）、黄色、シアン及びマゼンタのうち、いずれか１つの色を有するカラーフィルターが形成されうる。しかし、第４サブフィルタリング領域に形成されるカラーフィルターの色は、前述した例に限定されず、第１フィルタリング領域のサブフィルタリング領域に形成されたカラーフィルターに比べて高い透過度を有するカラーフィルターであれば、本発明の範囲に属すると見なし得る。

このように、第２フィルタリング領域４４０に該当するサブフィルタリング領域に、第１フィルタリング領域４１０、４２０、４３０に該当するサブフィルタリング領域に各々形成されるカラーフィルターの透過度より高い透過度を有するカラーフィルターを形成すれば、各サブフィルタリング領域を通過する光量に差が発生する。これは後述するイメージセンサー部５００に到達する光量に差が発生するということを意味し、イメージセンサー部５００に高感度センシング機能及び低感度センシング機能が同時に具現されることを意味する。

具体的に、イメージセンサー部５００のセンシング領域５１０、５２０、５３０、５４０は、複数のサブフィルタリング領域４１０、４２０、４３０、４４０に各々対応する複数のサブセンシング領域５１０、５２０、５３０、５４０に区分しうる。ところが複数のサブセンシング領域５１０、５２０、５３０、５４０のうち、第２フィルタリング領域に含まれたサブフィルタリング領域と対応するサブセンシング領域に到達する光の量は、第１フィルタリング領域４１０、４２０、４３０に含まれたサブフィルタリング領域と対応するサブセンシング領域に到達する光の量より多い。よって、第２フィルタリング領域に含まれたサブフィルタリング領域と対応するサブセンシング領域は、第１フィルタリング領域４１０、４２０、４３０に含まれたサブフィルタリング領域と対応するサブセンシング領域に比べて相対的に高感度センシング機能を有している。

前述した例によれば、イメージセンサー部５００のセンシング領域は、第１サブフィルタリング領域４１０、第２サブフィルタリング領域４２０、第３サブフィルタリング領域４３０及び第４サブフィルタリング領域４４０に各々対応する第１サブセンシング領域５１０、第２サブセンシング領域５２０、第３サブセンシング領域５３０及び第４サブセンシング領域５４０に区分しうる。この際、第４サブセンシング領域５４０に到達する光量は、第１サブセンシング領域５１０に到達する光量より多い。なぜなら、第４サブセンシング領域５４０に対応する第４サブフィルタリング領域４４０には、灰色カラーフィルターが形成されており、第１サブセンシング領域５１０に対応する第１サブフィルタリング領域４１０には、灰色カラーフィルターより透過度の低い赤色カラーフィルターが形成されているからである。よって、第４サブセンシング領域５４０は、第１サブセンシング領域５１０に比べて相対的に高感度センシング機能を有する。同様に、第２サブセンシング領域５２０に到達する光量は、第４サブセンシング領域５４０に到達する光量より少なく、第３サブセンシング領域５３０に到達する光量も第４サブセンシング領域５４０に到達する光量より少ないために、第２サブセンシング領域５２０及び第３サブセンシング領域５３０は、各々第４サブセンシング領域５４０に比べて低感度センシング機能を有すると言える。

前述したような構成要素に加えて、フィルター部４００は所定波長の光、例えば、赤外線を遮断するための赤外線遮断フィルター４６０を選択的に含みうる。この際、赤外線遮断フィルター４６０は、イメージセンサーに到達する赤外線を遮断し、可視光線領域のイメージ情報がき損されることを防止する役割を果たす。すなわち、イメージセンサーの感度は、赤外線にも反応するが、赤外線遮断フィルター４６０を使用すれば、赤外線が遮断されるので、可視光線領域のイメージ情報がき損されることを防止しうる。従来イメージセンサーの構造によれば、カラーフィルターと赤外線遮断フィルターとを統合して具現できないが、本発明によれば、カラーフィルター４７０と赤外線遮断フィルター４６０とを統合して製作しうる。

赤外線遮断フィルター４６０は、基板４５０とカラーフィルター層４７０との間に形成されるか、カラーフィルター層４７０の上部に設けられうる。または基板４５０の一面にカラーフィルター層４７０が形成された場合、赤外線遮断フィルター４６０は基板４５０の他面に形成されることもある。図４Ａないし図４Ｃは、図３のIII−III’線に沿って切開した断面図を示すものであって、カラーフィルター及び赤外線遮断フィルター４６０の形成位置についての多様な実施例を示している。図４Ａは、基板４５０の一面に赤外線遮断フィルター４６０及びカラーフィルターが順次に形成されたことを示しており、図４Ｂは、基板４５０の一面にカラーフィルター及び赤外線遮断フィルター４６０が順次に形成されたことを示している。一方、図４Ｃは、基板４５０の一面にはカラーフィルターが形成されており、基板４５０の他面には赤外線遮断フィルター４６０が形成されていることを示している。

一方、前述したフィルター部４００は、互いに異なる色のカラーフィルターが形成された複数の基板を各々多数のサブ基板に分割した後、互いに異なる色のカラーフィルターを有するサブ基板を組合わせる工程を経て生成されうる。図５は、フィルター部４００の生成工程を示す平面図である。例えば、図４Ｃに示されたような構造のフィルター部４００を生成するためには、まず、第１、第２、第３及び第４基板の一面に赤外線遮断フィルター４６０層を形成する。次いで、各基板の他面に各々赤色、緑色、青色及び灰色カラーフィルターを塗布してカラーフィルター層４７０を形成する。次いで、各基板を４等分して、４個のサブ基板に分離する。そして、互いに異なる色のカラーフィルターが形成されたサブ基板を各々組合わせて、図４Ｃに示されたような構造のフィルター部４００を生成する。前述したような工程によれば、カラーフィルターのパターニング工程が省略されるので、カラーフィルターの形成に使われるインクを節約する効果がある。

一方、イメージセンサー部５００は、各サブフィルタリング領域４１０、４２０、４３０、４４０を通過した光を感知して、電気信号に変換する役割を果たす。このためにイメージセンサー部５００は、各サブフィルタリング領域４１０、４２０、４３０、４４０を通過した光を感知する光感知部（図示せず）及び光感知部により感知された光を電気的な信号に変換してデータ化する回路部（図示せず）を含んで構成される。

ここで、図６を参照してイメージセンサー部５００についてさらに具体的に説明する。図６は、イメージセンサー部を構成する単位ピクセルに対する断面図である。

図６を参照すれば、基板５５０上には受光素子５６０、例えば、フォトダイオード（ＰＤ）が形成される。この際、受光素子５６０間には各々素子分離膜５７０ａ、５７０ｂが形成される。

受光素子５６０の上部には、回路部を形成するための金属配線層５９０が形成される。この際、受光素子５６０と金属配線層５９０との間には絶縁層（ＩＭＤ；Ｉｎｔｅｒ−Ｍｅｔａｌ Ｄｉｅｌｅｃｔｒｉｃ）５８０ａが形成され、金属配線層５９０は受光素子５６０に入射される光の経路を遮断しないように設計されることが望ましい。図６は、一層の金属配線層５９０が形成されていることを示しているが、金属配線層５９０は、場合によって複数の層に形成されることもある。この際、各金属配線層５９０は、各金属配線層を絶縁するための絶縁層５８０ｂが形成される。

絶縁層５８０ｂの最上部には、受光素子５６０の光感度を増加させるためのマイクロレンズ（Ｍｉｃｒｏ Ｌｅｎｓ；ＭＬ）５９５が形成される。一般的に、フォトダイオード５６０は、単位ピクセル領域の全領域を占めるものでなく、単位ピクセルのうち、一定部分のみを占める。したがって、ピクセル領域でフォトダイオード５６０が占める面積を示す比率（ｆｉｌｌ ｆａｃｔｏｒ）が１より小さな値を有し、これは入射光の一部が損失されるということを意味する。ところが、絶縁層５８０ｂの最上部にマイクロレンズ５９５を形成すれば、入射光がマイクロレンズ５９５により集光されるために受光素子５６０に収斂される光量を増加させうる。

また、前述した形のイメージセンサー部５００は、従来の技術に比べて、カラーフィルター層４７０及びカラーフィルター層４７０を平坦化するための平坦層（図７Ｂ参照）が形成されないので、光損失及び信号干渉（クロストーク）が減少する。さらに具体的な説明のために図７Ａ及び図７Ｂを参照する。

図７Ａ及び図７Ｂは、マイクロレンズ５９５に傾いて入射される光の収斂程度をマイクロレンズと受光素子との距離によって示す図面である。ここで、図７Ａは、本発明の実施例によるイメージセンサーでの単位ピクセルの断面図を、図７Ｂは、従来技術によるイメージセンサーでの単位ピクセルの断面図を示す。

図７Ｂを参照すれば、一般的に、マイクロレンズ５９５の焦点の位置は、受光素子５６０の位置に固定されるが、この場合、マイクロレンズ５９５に垂直に入射される光は受光素子５６０にいずれも収斂される。しかし、マイクロレンズ５９５に一定角度に傾いて入射される光は、該当ピクセルの受光素子５６０に全て収斂されず、損失されるか、隣接したピクセルの受光素子５６０に入射されて信号干渉を誘発する。ところが、本発明のように、カラーフィルター層４７０及び平坦化層が除去されれば、マイクロレンズ５９５と受光素子５６０との間隔が狭くなるので、図７Ａに示されたように、マイクロレンズ５９５に一定角度に傾いて入射される光も該当ピクセルの受光素子５６０に収斂される。これにより、隣接したピクセルの受光素子５６０に入射される光量は減少し、信号干渉も減少する。

前述したような構造のピクセルは多数個が集まってセンシング領域５１０、５２０、５３０、５４０を形成する。ここで、センシング領域は、前述したフィルター部４００の各サブフィルタリング領域に対応する複数のサブセンシング領域５１０、５２０、５３０、５４０に区分されうる。すなわち、前述した例によれば、イメージセンサー部５００のセンシング領域５１０、５２０、５３０、５４０は、第１サブフィルタリング領域４１０、第２サブフィルタリング領域４２０、第３サブフィルタリング領域４３０及び第４サブフィルタリング領域４４０に各々対応する第１サブセンシング領域５１０、第２サブセンシング領域５２０、第３サブセンシング領域５３０及び第４サブセンシング領域５４０に区分されうる。この際、第１サブセンシング領域５１０は、赤色カラーフィルターを通過した光を感知し、第２サブセンシング領域５２０は緑色カラーフィルターを通過した光を感知し、第３サブセンシング領域５３０は青色カラーフィルターを通過した光を感知し、第４サブセンシング領域５４０は灰色カラーフィルターを通過した光を感知する。その結果、カラー別に分離された複数の原イメージ（図８Ｂの５１１、５２１、５３１及び５４１参照）が得られる。

一方、複数のサブセンシング領域５１０、５２０、５３０、５４０に区分されたセンシング領域５１０、５２０、５３０、５４０は、光感度によって低感度センシング領域と高感度センシング領域とに区分されうる。この際、低感度センシング領域と高感度センシング領域は、各サブセンシング領域に到達する光量によって区分される。ところが、各サブセンシング領域に到達する光量は、各サブセンシング領域と対応するサブフィルタリング領域に形成されているカラーフィルターによって変わる。したがって、カラーフィルターの透過度によって第１フィルタリング領域と第２フィルタリング領域とに区分されたフィルタリング領域のうち、第１フィルタリング領域及び第２フィルタリング領域に各々対応するセンシング領域を低感度センシング領域及び高感度センシング領域に区分しうる。

さらに具体的に、前述した例によれば、第１サブセンシング領域５１０、第２サブセンシング領域５２０及び第３サブセンシング領域５３０は低感度センシング領域に該当し、第４サブセンシング領域５４０は高感度センシング領域に該当する。これは、第４サブフィルタリング領域４４０に形成された灰色カラーフィルターは第１サブフィルタリング領域４１０、第２サブフィルタリング領域４２０及び第３サブフィルタリング領域４３０に各々形成された赤色、緑色及び青色カラーフィルターに比べて透過度が高く、第４サブセンシング領域５４０に到達する光量は第１サブセンシング領域５１０、第２サブセンシング領域５２０及び第３サブセンシング領域５３０各々に到達する光量より多いからである。

このように、イメージセンサー部５００に低感度センシング領域及び高感度センシング領域が具現されれば、後述するイメージ生成モジュールは高感度センシング領域から得た輝度情報Ｙ’及び低感度センシング領域から得た輝度情報Ｙを用いてイメージを復元しうる。したがって、照度差の大きい環境でも、鮮明な映像を具現しうる。すなわち、広域逆光補正機能（ＷＤＲ；Ｗｉｄｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）を具現しうる。

また図２を参照すれば、イメージ生成モジュール８００は、カメラモジュール２００からカラー別に分離された複数の原イメージ５１１、５２１、５３１、５４１を提供され、最終イメージ（図９Ｂの９０）を生成する役割を果たす。このためにイメージ生成モジュールは、入力モジュール８１０、中間イメージ生成モジュール８２０及び最終イメージ生成モジュール８３０を含んで構成される。

入力モジュール８１０は、カメラモジュール２００から提供されるカラー別に分離された複数の原イメージ５１１、５２１、５３１、５４１を入力される。すなわち、入力モジュール８１０は、第１サブセンシング領域５１０により獲得された赤色イメージ、第２サブセンシング領域５２０により獲得された緑色イメージ、第３サブセンシング領域５３０により獲得された青色イメージ及び第４サブセンシング領域５４０により獲得された灰色イメージを入力される。この際、赤色イメージ、緑色イメージ及び青色イメージは、後述する最終イメージ生成モジュール８３０を通じて最終イメージ９０の生成に必要なカラー情報を提供する役割を果たす。一方、灰色イメージは、最終イメージ９０の生成に必要な輝度情報を提供する役割を果たす。

また、入力モジュール８１０は、カメラモジュール２００から提供されるカラー別原イメージ５５１、５２１、５３１、５４１の感度が不均一な場合、特定の原イメージの感度を基準として残りの原イメージの感度を調節し得る。例えば入力モジュールは８１０はカラー別原イメージの感度のうち最小値を基準として各原イメージの感度を調節し得る。具体的に、第１原イメージ５１１、第２原イメージ５２１、第３原イメージ５３１および第４原イメージ５４１の感度がそれぞれ５、７、１０、９である場合、入力モジュール８１０は第１原イメージ５１１の感度を基準として残りのイメージの感度を５に調整する。

一方、カメラモジュール２００で各レンズ３１０、３２０、３３０、３４０の位置が固定されていたとしても外部の衝撃などによって各レンズ３１０、３２０、３３０、３４０の位置が逸れる現象が発生し得る。このように各レンズ３１０、３２０、３３０、３４０が逸れると、各サブセンシング領域５１０、５２０、５３０、５４０上に原イメージ５１１、５２１、５３１、５４１が形成されるとき、事前指定された位置を外れた位置に生成され、これによって鮮明な映像を得ることが難しくなる。したがって光学的不一致（ｏｐｔｉｃａｌ ｍｉｓａｌｉｇｎｍｅｎｔ）によって、事前指定された位置から外れた位置に原イメージ５１１、５２１、５３１、５４１が生成されたとしてもこれを補正する必要がある。

入力モジュール８１０はカラー別原イメージ５１１、５２１、５３１、５４１の位置が事前指定された位置に符合しない場合、前記カラー別原イメージ５１１、５２１、５３１、５４１の位置を補正する。具体的に、被写体によって反射される光がレンズ３００およびフィルター４００を経てセンシング領域に到達すれば、各レンズ３１０、３２０、３３０、３４０に対応するサブセンシング領域５１０、５２０、５３０、５４０上に形成されたカラー別原イメージの位置をチェックしてカラー別原イメージの位置を補正する。より詳細な説明のために図８を参照する。

図８は各サブセンシング領域上に形成されたカラー別原イメージを例示した図である。
図８を参照すれば、第２原イメージ５２１の位置は事前指定された位置７００と同一であるのに比べ、第１原イメージ５１１の位置は事前指定された位置７００に比べ左側に一ピクセル分だけ移動されているのが分かる。そして第３原イメージ５３１の場合、事前指定された位置７００に比べ下側に一ピクセル分だけ移動されているのが分かる。そして第４原イメージ５４１の場合、事前指定された位置７００に比べ右側下の対角線方向に移動されているのが分かる。

この場合、入力モジュール８１０は第１原イメージ５１１の全体的な位置を右側に一ピクセル分だけ移動させ、第３原イメージの全体的な位置を上側に一ピクセル分だけ移動させることによって、光学的不一致により発生した原イメージの位置を正常に補正することができる。第４原イメージ５４１の場合、第４原イメージを上側に一ピクセル分だけ移動させた後、改めて左側に一ピクセル分だけ移動させることによって位置を補正することができる。また、第４原イメージは５４１は左側に一ピクセル分だけ移動させた後、改めて上側に一ピクセル分だけ移動させることによって位置を補正することができる。

前述したように、入力モジュール８１０によって感度および位置が補正されたカラー別原イメージ５１１、５２１、５３１、５４１は、後述する中間イメージ生成モジュール８２０に提供される。

中間イメージ生成モジュール８２０は、入力モジュール８１０から提供された各カラー別原イメージ５１１、５２１、５３１、５４１で同じ位置のピクセルが有するピクセル情報を再配置し、前記カラー別原イメージより高い解像度を有する中間イメージを生成する。この際、中間イメージは、イメージセンサー部５００のセンシング領域５１０、５２０、５３０、５４０と同じ解像度を有することが望ましい。例えば、前述したイメージセンサー部５００の各サブセンシング領域が４×４の解像度を有する場合、中間イメージは全体センシング領域５１０、５２０、５３０、５４０と同じ８×８の解像度を有することが望ましい。中間イメージは後述する最終イメージ生成モジュール８３０に提供される。

最終イメージ生成モジュール８３０は、中間イメージ生成モジュール８２０から提供された中間イメージを基盤に最終イメージ９０を生成する役割を果たす。中間イメージ及び最終イメージ生成についてのさらに具体的な説明は、図９Ａないし図１１Ｂを参照して後述する。

ディスプレイモジュール９００は、最終イメージ生成モジュール８３０から提供された最終イメージ９０をディスプレイする役割を果たす。このようなディスプレイモジュール９００は、例えば、平板ディスプレイ、タッチスクリーンなどの形で具現されうるが、これに限定されるものではない。

次いで、図９Ａ及び図９Ｂを参照して本発明の実施例によるイメージ復元方法を説明する。ここで、図９Ａは、本発明の実施例によるイメージ復元方法を示すフローチャートであり、図９Ｂは、カメラモジュール２００を通じてカラー別に分離された複数の原イメージ５１１、５２１、５３１、５４１が獲得される過程を示す図面である。

説明の便宜のためにフィルター部４００の第１サブフィルタリング領域４１０には赤色フィルターが、第２サブフィルタリング領域４２０には緑色フィルターが、第３サブフィルタリング領域４３０には青色フィルターが形成され、第４サブフィルタリング領域４４０には灰色フィルターが形成されていると仮定する。そして、イメージセンサー部５００のセンシング領域５１０、５２０、５３０、５４０は、横×縦８×８個のピクセルで構成され、それぞれのサブセンシング領域５１０、５２０、５３０、５４０は横×縦４×４個のピクセルからなると仮定する。

まず、所定の被写体１０からの反射光は４個のレンズ３１０、３２０、３３０、３４０を通じて各々集光される（Ｓ８１０）。

各レンズ３１０、３２０、３３０、３４０を通じて集光された光は、各レンズ３１０、３２０、３３０、３４０に対応するサブフィルタリング領域４１０、４２０、４３０、４４０を透過する（Ｓ８２０）。

各サブフィルタリング領域４１０、４２０、４３０、４４０を透過した光は、各サブフィルタリング領域４１０、４２０、４３０、４４０に対応するサブセンシング領域５１０、５２０、５３０、５４０に各々収斂される。その結果、各サブセンシング領域５１０、５２０、５３０、５４０を通じてカラー別に分離された複数の原イメージ５１１、５２１、５３１、５４１が獲得される（Ｓ８３０）。この際、各サブセンシング領域５１０、５２０、５３０、５４０により獲得されたイメージは、全体センシング領域５１０、５２０、５３０、５４０の解像度に比べて１／４に該当する解像度を有する。すなわち、全体センシング領域５１０、５２０、５３０、５４０の解像度が８×８であるために、複数の原イメージ５１１、５２１、５３１、５４１は、各々４×４の解像度を有する。前記Ｓ８３０段階は、カラー別原イメージの感度が不均一な場合、カラー別原イメージの感度を補正する段階と、カラー別原イメージの位置が事前指定された位置から外れた場合、前記カラー別原イメージの位置を補正する段階を含み得る。

この後、イメージ生成モジュール８００は、複数のカラー別原イメージを基盤にして各カラー別原イメージ５１１、５２１、５３１、５４１より高解像度を有する最終イメージ９０を生成する（Ｓ８４０）。最終イメージ生成段階についてのさらに具体的な説明は、図１０Ａないし図１１Ｂを参照して後述する。

イメージ生成モジュール８００により生成された最終イメージ９０は、ディスプレイモジュール９００を通じてディスプレイされる（Ｓ８５０）。

次いで、図１０Ａ及び図１０Ｂを参照して本発明の第１実施例による最終イメージ生成段階について説明する。ここで、図１０Ａは、第１実施例による最終イメージ生成方法をさらに具体的に示すフローチャートであり、図１０Ｂは、図１０Ａに示された最終イメージ生成過程を示す図面である。

本発明の第１実施形態による最終イメージ生成方法は、カメラモジュール２００でレンズ部３３０を構成する複数個のレンズ３１０、３２０、３３０、３４０がすべて基準位置に存在する場合に適用され得る。

まず、カメラモジュール２００から複数のカラー別原イメージ５１１、５２１、５３１、５４１が提供されれば、中間イメージ生成モジュール８２０はセンシング領域５１０、５２０、５３０、５４０に対応する解像度を有する第１中間イメージを生成する。例えば、図１０Ｂのように、センシング領域と同じ解像度を有する第１中間イメージを生成する（Ｓ８４１）。

ここで、第１中間イメージは、カラーフィルターの配列パターンに対応する多数のピクセルを含む多数のピクセルグループ６１０、６２０、６３０、６４０に区分しうる。例えば、横×縦に各々２×２個の仮想ピクセルを単位とする多数のピクセルグループ６１０、６２０、６３０、６４０に区分しうる。ここで、各ピクセルグループ６１０、６２０、６３０、６４０は、カラー情報及び輝度情報がマッピングされるメインピクセル６１１、６２１、６３１、６４１及び、メインピクセル６１１、６２１、６３１、６４１の周辺に位置し、情報を保持していないサブピクセル６１２、６２２、６３２、６４２に区分しうる。

メインピクセルの位置は、該当ピクセルグループで多様な位置に指定されうる。例えば、図１０Ｂのように、２×２の各ピクセルグループで、最初行の第１列に該当する位置がメインピクセルの位置に指定されうる。他の例としては、各ピクセルグループで、最初行の第２列に該当する位置がメインピクセルの位置に指定されることもある。

このように、第１中間イメージが生成されれば、中間イメージ生成モジュール８２０は、各カラー別原イメージで同じ位置のピクセルが有するピクセル情報を、前記位置に対応するピクセルグループのメインピクセルにマッピングする。例えば、中間イメージ生成モジュール８２０は、各カラー別原イメージの第１行と第１列に位置したピクセルのピクセル情報を、第１中間イメージで第１行と第１列に位置したピクセルグループ６１０のメインピクセル６１１にマッピングする。同様に、中間イメージ生成モジュール８２０は、各カラー別原イメージの第１行と第２列に位置したピクセルのピクセル情報を、第１中間イメージで第１行と第２列に位置したピクセルグループ６２０のメインピクセル６２１にマッピングする。

また、中間イメージ生成モジュール８２０は、各カラー別原イメージで同じ位置のピクセルが有するピクセル情報のうち、カラー情報を基盤に輝度情報を算出し、前記算出された輝度情報を各ピクセルグループのメインピクセルにマッピングする。

例えば、中間イメージ生成モジュール８２０は、赤色、緑色及び青色イメージの最初行と最初列に位置したピクセルで提供されたカラー情報を基盤に輝度情報を算出する。そして、第１中間イメージで第１行と第１列に位置したピクセルグループのメインピクセルに算出された輝度情報をマッピングする。

図１０Ｂを参照すれば、各ピクセルグループのメインピクセルには、第１、第２及び第３サブセンシング領域５１０、５２０、５３０から各々提供された赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラー情報、第４サブセンシング領域５４０から提供された輝度情報（Ｙ’）及び、３色のカラー情報から検出された輝度情報（Ｙ）がマッピングされていることが分かる。一例として、第１ピクセルグループ６１０のメインピクセル６１１には、赤色イメージ５１１で第１行の第１列に位置したピクセルが有する赤色カラー情報（Ｒ）、緑色イメージ５２１で最初行の最初列に位置したピクセルが有する緑色カラー情報（Ｇ）、青色イメージ５３１で第１行の第１列に位置したピクセルが有する青色カラー情報（Ｂ）、灰色イメージ５４１で第１行の第１列に位置したピクセルが有する輝度情報（Ｙ’）及び、３個のカラー情報を基盤として検出された輝度情報（Ｙ）がマッピングされていることが分かる。同様に、第２ピクセルグループ６２０のメインピクセル６２１には、赤色イメージ５１１で第１行の第２列に位置したピクセルが有する赤色カラー情報（Ｒ）、緑色イメージ５２１で第１行の第２列に位置したピクセルが有する緑色カラー情報（Ｇ）、青色イメージ５３１で第１行の第２列に位置したピクセルが有する青色カラー情報（Ｂ）、灰色イメージ５４１で第１行の第２列に位置したピクセルが有する輝度情報（Ｙ’）及び、既提供の３個のカラー情報を基盤にして検出された輝度情報（Ｙ）がマッピングされていることが分かる。

これにより、中間イメージ生成モジュール８２０は、各ピクセルグループのメインピクセルに３個のカラー情報及び２個の輝度情報がマッピングされた第２中間イメージ６００を生成する（Ｓ８４２）。この場合、第２中間イメージ６００で、各グループの主ピクセルは３個のカラー情報がすべてマッピングされるため、後続に進行される処理過程でデモザイクが省略され得る。

次いで、中間イメージ生成モジュール８２０は、補間法を使用して、第２中間イメージ６００を補間する（Ｓ８４３）。すなわち、中間イメージ生成モジュール８２０は、各ピクセルグループ６１０、６２０、６３０、６４０のメインピクセル６１１、６２１、６３１、６４１が保有した情報を基盤にして、サブピクセルに記録されるピクセル情報を算出する。

この際、中間イメージ生成モジュール８２０は、多様なアルゴリズムによって第２中間イメージ６００を補間しうる。一例として、第２中間イメージ６００で各サブピクセルに記録されるピクセル情報は該当サブピクセルと隣接したメインピクセルが有する情報から算出しうる。具体的に、図１０Ｂで、第１ピクセルグループ６１０のメインピクセル６１１と第２ピクセルグループ６２０のメインピクセル６２１との間に位置したサブピクセル６１２に記録されるピクセル情報は、２つのメインピクセル６１１、６２１が有するピクセル情報の平均値に指定されうる。同様に、第２ピクセルグループ６２０のメインピクセル６２１と第３ピクセルグループ６３０のメインピクセル６３１間に位置したサブピクセル６２２に記録されるピクセル情報は、２つのメインピクセル６２１、６３１が有するピクセル情報の平均値に指定されうる。

このような方法により第２中間イメージ６００の補間がなされれば、最終イメージ生成モジュール８３０は補間された第２中間イメージをデブラーリング（ｄｅ−ｂｌｕｒｒｉｎｇ）する（Ｓ８４４）。その結果、各サブセンシング領域を通じて得られた低解像度（すなわち、サブセンシング領域の解像度）のカラー別原イメージから高解像度（すなわち、サブセンシング領域の解像度×４）の最終イメージ９０を生成する。

次いで、図１１Ａ及び図１１Ｂを参照して本発明の第２実施例による最終イメージ生成段階について説明する。ここで、図１１Ａは、第２実施例による最終イメージ生成方法をさらに具体的に示すフローチャートであり、図１１Ｂは、図１１Ａのピクセル情報を再配置する段階Ｓ８４６を示す図面である。

本発明の第２実施形態による最終イメージ生成方法は、カメラモジュール２００でレンズ部３３０を構成する複数個のレンズが所定レンズの位置を基準として所定ピクセル分だけ移動された位置に存在する場合に適用され得る。以下の説明では第２レンズの位置を中心として第１レンズは右側に一ピクセル分だけシフトしており、第３レンズは下側に一ピクセル分だけシフトしており、第４レンズは右側下の対角線方向にシフトしている場合を例として説明するものとする。

カメラモジュール２００から複数のカラー別原イメージ５１１、５２１、５３１、５４１が提供されれば、中間イメージ生成モジュール８２０は、各カラー別原イメージ５１１、５２１、５３１、５４１で同じ位置のピクセルが有するピクセル情報をカラーフィルターの配列パターンによって再配置して中間イメージ６０を生成する（Ｓ８４６）。

具体的に、中間イメージ６０は、カラーフィルターの配列パターンに対応する複数のピクセルを含む複数のピクセルグループに区分しうる。例えば、フィルター部４００に形成されたカラーフィルターのパターンが１×４の行列形態を有する場合、中間イメージ６０は、横×縦各々１×４のピクセルを単位とする複数のピクセルグループに区分されることが望ましい。もし、フィルター部４００に形成されたカラーフィルターのパターンが２×２の行列形態を有する場合、中間イメージは横×縦各々２×２のピクセルを単位とする複数のピクセルグループに区分されることが望ましい。

図１１Ｂは、仮想イメージが横×縦各々２×２のピクセルを単位とする複数のピクセルグループ６１、６２、６３、６４に区分されている場合を示している。図１１Ｂを参照すれば、各カラー別原イメージ５１１、５２１、５３１、５４１で第１行の第１列に位置したピクセルが有するピクセル情報は中間イメージ６０の第１行の第１列に位置したピクセルグループ６１にカラーフィルターのパターンによってマッピングされていることが分かる。

図１１Ｂのような中間イメージ６０が生成されれば、中間イメージ生成モジュール８２０は、中間イメージをデモザイクする（Ｓ８４７）。デモザイクされた中間イメージは、最終イメージ生成モジュール８３０に提供される。

次いで、最終イメージ生成モジュール８３０は、デモザイクされた中間イメージをデブラーリングする（８４８）。その結果、各サブセンシング領域を通じて得られた低解像度（すなわち、サブセンシング領域の解像度×４）のカラー別原イメージから高解像度（すなわち、サブセンシング領域の解像度×４）の最終イメージ９０を生成する。

次いで、本発明の第２実施例によるカメラモジュール２０について説明する。図１２は、本発明の第２実施例によるカメラモジュール２０の構造を示す斜視図である。本発明の第２実施例によるカメラモジュール２０は、図３の第１実施例によるカメラモジュール２００に比べて、下記を除いては同じ構成要素を有する。

すなわち、第２実施例によるカメラモジュール２０は、レンズ部３０を構成する複数のレンズ３１、３２、３３、３４が互いに異なる色を有する。ここで、レンズ部３０は透過度によって第１グループと第２グループとに区分しうる。この際、第１グループは複数のレンズを備え、第２グループは１つのレンズを備えうる。

ここで、第２グループに含まれるレンズ３４は、第１グループに含まれるレンズ３１、３２、３３に比べて透過度の高い色を有することが望ましい。例えば、４個のレンズのうち、第１グループは赤色の第１レンズ３１、緑色の第２レンズ３２、青色の第３レンズ３３を備える場合、第２グループに含まれる第４レンズ３４は赤色、緑色及び青色各々に比べて透過度の高い色、例えば、灰色を有することが望ましい。

このように、複数のレンズ３１、３２、３３、３４が各々互いに異なる色を有する場合、フィルター部４０には別途のカラーフィルター層が形成されない。図示していないが、フィルター部４０には赤外線遮断フィルターが選択的に形成されうる。

そして、イメージセンサー部５００のセンシング領域は、各レンズ３１、３２、３３、３４に対応する複数のサブセンシング領域５１０、５２０、５３０、５４０に分割され、各サブセンシング領域５１０、５２０、５３０、５４０を通じて各レンズによりカラー別に分離された原イメージ５１１、５２１、５３１、５４１が得られる。

以上、添付図を参照して本発明によるイメージ復元方法及び装置について説明したが、本発明が属する技術分野で当業者ならば本発明がその技術的思想や必須特徴を変更せずとも他の具体的な形に実施されうるということが理解できるであろう。したがって、前述した実施例は全ての面で例示的なものであって、限定的なものではないと理解せねばならない。

本発明のイメージ復元方法及び装置は、デジタルカメラ関連の技術分野に好適に適用されうる。

従来のカメラモジュールの原理を示す図である。 本発明の実施例によるイメージ復元装置の構造を示すブロック図である。 本発明の第１実施例によるカメラモジュールの内部構造を示す斜視図である。 図３のフィルター部の構造に対する多様な実施例を例示した例示図である。 図３のフィルター部の構造に対する多様な実施例を例示した例示図である。 図３のフィルター部の構造に対する多様な実施例を例示した例示図である。 図４Ｃに示されたフィルター部の工程過程を例示した例示図である。 図３のイメージセンサー部を構成する単位ピクセルに対する断面図である。 図６のマイクロレンズに傾いて入射される光の収斂程度をマイクロレンズと受光素子との距離によって示す図である。 図６のマイクロレンズに傾いて入射される光の収斂程度をマイクロレンズと受光素子との距離によって示す図である。 図３の各サブセンシング領域上に形成されたカラー別原イメージを例示した図である。 本発明の実施例によるイメージ復元方法を説明するための図である。 本発明の実施例によるイメージ復元方法を説明するための図である。 第１実施例による最終イメージ生成段階Ｓ８４０をさらに具体的に示す図である。 第１実施例による最終イメージ生成段階Ｓ８４０をさらに具体的に示す図である。 第２実施例による最終イメージ生成段階Ｓ８４０をさらに具体的に示す図である。 第２実施例による最終イメージ生成段階Ｓ８４０をさらに具体的に示す図である。 本発明の第２実施例によるカメラモジュールの内部構造を示す斜視図である。

符号の説明

１０ 被写体
１００ イメージ復元装置
２００ カメラモジュール
３００ レンズ部
４００ フィルター部
４１０ 第１サブフィルタリング領域
４２０ 第２サブフィルタリング領域
４３０ 第３サブフィルタリング領域
４４０ 第４サブフィルタリング領域
４７０Ｇ 緑色カラーフィルター
４８０Ｒ 赤色カラーフィルター
５００ イメージセンサー部
５１０ 第１サブセンシング領域
５２０ 第２サブセンシング領域
５３０ 第３サブセンシング領域
５４０ 第４サブセンシング領域
５６０ 受光素子
５７０ａ、５７０ｂ 素子分離膜
５８０ａ、５８０ｂ 絶縁層
５９０ 金属配線層
５９５ マイクロレンズ
８００ 信号処理部
８１０ 入力モジュール
８２０ 中間イメージ生成モジュール
８３０ 最終イメージ生成モジュール
９００ ディスプレイモジュール

Claims (42)

1. 複数のレンズ及び前記レンズに各々対応する複数のイメージセンシング領域を含むカメラモジュールを通じてカラー別に分離された複数の原イメージを獲得する段階と、
   前記センシング領域に対応して、複数のピクセルグループに区分される第１中間イメージを生成する段階と、
   前記各カラー別原イメージで同じ位置のピクセルが有するピクセル情報を、前記第１中間イメージで前記位置に対応するピクセルグループの所定ピクセルにマッピングして第２中間イメージを生成する段階と、
   前記第２中間イメージを補間して最終イメージを生成する段階と、を含むが、
   前記ピクセルグループは、前記カラーフィルターの配列パターンに対応する複数のピクセルを含むイメージ復元方法。
2. 前記カラー別に分離された複数の原イメージを獲得する段階は、
   前記複数の原イメージの位置が前記各イメージセンシング領域内の定められた位置から外れた場合、前記複数の原イメージの位置を補正する段階を含む請求項１に記載のイメージ復元方法。
3. 前記カラー別に分離された複数の原イメージを獲得する段階は、
   前記複数の原イメージの感度が不均一な場合、前記複数の原イメージの感度のうち最低感度を基準として前記複数の原イメージの感度を補正する段階を含む請求項１に記載のイメージ復元方法。
4. 前記複数の原イメージを獲得する段階は、
   前記複数のレンズを用いて入射光を集光する段階と、
   前記各レンズの領域に対応して、互いに異なる色相のカラーフィルターが形成された複数のフィルタリング領域を通じて前記入射光をフィルタリングする段階と、
   前記複数のフィルタリング領域と所定間隔に離隔されて形成され、前記各フィルタリング領域に対応する前記複数のイメージセンシング領域を通じて前記カラー別に分離された複数の原イメージを獲得する段階と、を含む請求項１記載のイメージ復元方法。
5. 前記フィルタリング領域は、前記カラーフィルターの透過度によって第１フィルタリング領域と第２フィルタリング領域とに区分され、前記第１フィルタリング領域に形成されるカラーフィルターの透過度は、前記第２フィルタリング領域に形成されるカラーフィルターの透過度より高く、前記センシング領域は、前記第１フィルタリング領域及び前記第２フィルタリング領域に各々対応する第１センシング領域と第２センシング領域とに区分され、前記第１センシング領域に含まれたサブセンシング領域に収斂される光量は、前記第２センシング領域に含まれたサブセンシング領域に収斂される光量より多い請求項４記載のイメージ復元方法。
6. 前記ピクセル情報は、前記第１センシング領域に含まれるサブセンシング領域から提供された輝度情報及び前記第２センシング領域に含まれるサブセンシング領域から提供されたカラー情報を含む請求項５記載のイメージ復元方法。
7. 前記複数の原イメージを獲得する段階は、
   互いに異なる色相を有する前記複数のレンズを用いて入射光を集光する段階と、
   前記各レンズの領域に対応する前記複数のイメージセンシング領域を通じて前記カラー別に分離された複数の原イメージを獲得する段階を含む請求項１記載のイメージ復元方法。
8. 前記レンズは、前記レンズの透過度によって第１レンズ部と第２レンズ部とに区分され、前記第１レンズ部に含まれるレンズの透過度は、前記第２レンズ部に含まれるレンズの透過度より高く、前記センシング領域は、前記第１レンズ部及び前記第２レンズ部に各々対応する第１センシング領域と第２センシング領域とに区分され、前記第１センシング領域に含まれるサブセンシング領域に収斂される光量は、前記第２サブセンシング領域に含まれるサブセンシング領域に収斂される光量より多い請求項７記載のイメージ復元方法。
9. 前記ピクセル情報は、前記第１センシング領域に含まれるサブセンシング領域から提供された輝度情報及び前記第２センシング領域に含まれるサブセンシング領域から提供されたカラー情報を含む請求項８記載のイメージ復元方法。
10. 前記複数のレンズは、同一平面上に位置する請求項１記載のイメージ復元方法。
11. 複数のレンズ及び前記レンズに各々対応する複数のイメージセンシング領域を含むカメラモジュールを通じてカラー別に分離された複数の原イメージを獲得する段階と、
    前記各カラー別原イメージで同じ位置のピクセルが有するピクセル情報を、前記カラーフィルターの配列パターンによって再配置して中間イメージを生成する段階と、
    前記中間イメージをデモザイクして最終イメージを生成する段階と、を含むイメージ復元方法。
12. 前記複数のレンズのうち、所定レンズを除外した残りのレンズは、前記所定レンズの位置を基準として所定ピクセルの分だけ移動される位置に存在する請求項１１に記載のイメージ復元方法。
13. 前記カラー別に分離された原イメージを獲得する段階は、
    前記複数の原イメージの位置が前記各イメージセンシング領域内の定められた位置から外れた場合、前記複数の原イメージの位置を補正する段階を含む請求項１１に記載のイメージ復元方法。
14. 前記カラー別に分離された複数の原イメージを獲得する段階は、
    前記複数の原イメージの感度が不均一な場合、前記複数の原イメージの感度のうち最低感度を基準として前記複数の原イメージの感度を補正する段階を含む請求項１１に記載のイメージ復元方法。
15. 前記複数の原イメージを獲得する段階は、
    前記複数のレンズを用いて入射光を集光する段階と、
    前記各レンズの領域に対応して、互いに異なる色相のカラーフィルターが形成された複数のフィルタリング領域を通じて前記入射光をフィルタリングする段階と、
    前記複数のフィルタリング領域と所定間隔に離隔されて形成され、前記各フィルタリング領域に対応する前記複数のイメージセンシング領域を通じて前記カラー別に分離された複数の原イメージを獲得する段階と、を含む請求項１１記載のイメージ復元方法。
16. 前記フィルタリング領域は、前記カラーフィルターの透過度によって第１フィルタリング領域と第２フィルタリング領域とに区分され、前記第１フィルタリング領域に形成されるカラーフィルターの透過度は、前記第２フィルタリング領域に形成されるカラーフィルターの透過度より高く、前記センシング領域は、前記第１フィルタリング領域及び前記第２フィルタリング領域に各々対応する第１センシング領域と第２センシング領域とに区分され、前記第１センシング領域に含まれたサブセンシング領域に収斂される光量は、前記第２センシング領域に含まれたサブセンシング領域に収斂される光量より多い請求項１５記載のイメージ復元方法。
17. 前記ピクセル情報は、前記第１センシング領域に含まれるサブセンシング領域から提供された輝度情報及び前記第２センシング領域に含まれるサブセンシング領域から提供されたカラー情報を含む請求項１６記載のイメージ復元方法。
18. 前記複数の原イメージを獲得する段階は、
    互いに異なる色相を有する前記複数のレンズを用いて入射光を集光する段階と、
    前記各レンズの領域に対応する前記複数のイメージセンシング領域を通じて前記カラー別に分離された複数の原イメージを獲得する段階を含む請求項１１記載のイメージ復元方法。
19. 前記レンズは、前記レンズの透過度によって第１レンズ部と第２レンズ部とに区分され、前記第１レンズ部に含まれるレンズの透過度は、前記第２レンズ部に含まれるレンズの透過度より高く、前記センシング領域は、前記第１レンズ部及び前記第２レンズ部に各々対応する第１センシング領域と第２センシング領域とに区分され、前記第１センシング領域に含まれるサブセンシング領域に収斂される光量は、前記第２サブセンシング領域に含まれるサブセンシング領域に収斂される光量より多い請求項１８記載のイメージ復元方法。
20. 前記ピクセル情報は、前記第１センシング領域に含まれるサブセンシング領域から提供された輝度情報及び前記第２センシング領域に含まれるサブセンシング領域から提供されたカラー情報を含む請求項１９記載のイメージ復元方法。
21. 前記複数のレンズは、同一平面上に位置する請求項１１記載のイメージ復元方法。
22. 複数のレンズ及び前記レンズに各々対応するイメージセンシング領域を含むカメラモジュールを介して獲得されたカラー別に分離された複数の原イメージを入力される入力モジュールと、
    前記センシング領域に対応して、複数のピクセルグループに区分される第１中間イメージを生成し、前記各カラー別原イメージで同じ位置のピクセルが有するピクセル情報を、前記第１中間イメージで前記位置に対応するピクセルグループの所定ピクセルにマッピングして、第２中間イメージを生成する中間イメージ生成モジュールと、
    前記第２中間イメージを補間して最終イメージを生成する最終イメージ生成モジュールと、を備えるが、
    前記ピクセルグループは、前記カラーフィルターの配列パターンに対応する複数のピクセルを備えるイメージ復元装置。
23. 前記入力モジュールは、
    前記カラー別に分離された原イメージが前記イメージセンシング領域内の定められた位置から外れた場合、前記複数の原イメージの位置を補正する請求項２２に記載のイメージ復元装置。
24. 前記入力モジュールは、
    前記複数の原イメージの感度が不均一な場合、前記複数の原イメージの感度のうち最低感度を基準として前記複数の原イメージの感度を補正する請求項２２に記載のイメージ復元装置。
25. 前記カメラモジュールは、
    入射光を集光する前記複数のレンズを備えるレンズ部と、
    前記各レンズの領域に対応して、互いに異なる色相のカラーフィルターが形成された複数のフィルタリング領域を通じて前記入射光をフィルタリングするフィルター部と、
    前記複数のフィルタリング領域と所定間隔に離隔されて形成され、前記各フィルタリング領域に対応する前記複数のイメージセンシング領域を通じて前記カラー別に分離された複数の原イメージを獲得するイメージセンサー部を備える請求項２２記載のイメージ復元装置。
26. 前記フィルタリング領域は、前記カラーフィルターの透過度によって第１フィルタリング領域と第２フィルタリング領域とに区分され、前記第１フィルタリング領域に形成されるカラーフィルターの透過度は、前記第２フィルタリング領域に形成されるカラーフィルターの透過度より高く、前記センシング領域は、前記第１フィルタリング領域及び前記第２フィルタリング領域に各々対応する第１センシング領域と第２センシング領域とに区分され、前記第１センシング領域に含まれたサブセンシング領域に収斂される光量は、前記第２センシング領域に含まれたサブセンシング領域に収斂される光量より多い請求項２５記載のイメージ復元装置。
27. 前記ピクセル情報は、前記第１センシング領域に含まれるサブセンシング領域から提供された輝度情報及び前記第２センシング領域に含まれるサブセンシング領域から提供されたカラー情報を含む請求項２６記載のイメージ復元装置。
28. 前記カメラモジュールは、
    互いに異なる色相を有し、入射光を集光する前記複数のレンズを備えるレンズ部と、
    前記各レンズの領域に対応する前記複数のイメージセンシング領域を通じて前記カラー別に分離された複数の原イメージを獲得するイメージセンサー部と、を備える請求項２２記載のイメージ復元装置。
29. 前記レンズは、前記レンズの透過度によって第１レンズ部と第２レンズ部とに区分され、前記第１レンズ部に含まれるレンズの透過度は、前記第２レンズ部に含まれるレンズの透過度より高く、前記センシング領域は、前記第１レンズ部及び前記第２レンズ部に各々対応する第１センシング領域と第２センシング領域とに区分され、前記第１センシング領域に含まれるサブセンシング領域に収斂される光量は、前記第２サブセンシング領域に含まれるサブセンシング領域に収斂される光量より多い請求項２８記載のイメージ復元装置。
30. 前記ピクセル情報は、前記第１センシング領域に含まれるサブセンシング領域から提供された輝度情報及び前記第２センシング領域に含まれるサブセンシング領域から提供されたカラー情報を含む請求項２９記載のイメージ復元装置。
31. 前記複数のレンズは、同一平面上に位置する請求項２２記載のイメージ復元装置。
32. 複数のレンズ及び前記レンズに各々対応するイメージセンシング領域を含むカメラモジュールを通じてカラー別に分離された複数の原イメージを入力される入力モジュールと、
    前記各カラー別原イメージで同じ位置のピクセルが有するピクセル情報を、前記カラーフィルターの配列パターンによって再配置して中間イメージを生成する中間イメージ生成モジュールと、
    前記中間イメージをデモザイクして最終イメージを生成する最終イメージ生成モジュールと、を備えるイメージ復元装置。
33. 前記複数のレンズのうち所定レンズを除外した残りのレンズは、前記所定レンズの位置を基準として所定ピクセル分だけ移動された位置に存在する請求項３２に記載のイメージ復元装置。
34. 前記入力モジュールは、
    前記複数の原イメージの位置が前記各イメージセンシング領域内の定められた位置から外れた場合、前記複数の原イメージの位置を補正する請求項３２に記載のイメージ復元装置。
35. 前記入力モジュールは、
    前記複数の原イメージの感度が不均一な場合、前記複数の原イメージの感度のうち最低感度を基準として前記複数の原イメージの感度を補正する請求項３２に記載のイメージ復元装置。
36. 前記カメラモジュールは、
    入射光を集光する前記複数のレンズを備えるレンズ部と、
    前記各レンズの領域に対応して、互いに異なる色相のカラーフィルターが形成された複数のフィルタリング領域を通じて前記入射光をフィルタリングするフィルター部と、
    前記複数のフィルタリング領域と所定間隔に離隔されて形成され、前記各フィルタリング領域に対応する前記複数のイメージセンシング領域を通じて前記カラー別に分離された複数の原イメージを獲得するイメージセンサー部を備える請求項３２記載のイメージ復元装置。
37. 前記フィルタリング領域は、前記カラーフィルターの透過度によって第１フィルタリング領域と第２フィルタリング領域とに区分され、前記第１フィルタリング領域に形成されるカラーフィルターの透過度は、前記第２フィルタリング領域に形成されるカラーフィルターの透過度より高く、前記センシング領域は、前記第１フィルタリング領域及び前記第２フィルタリング領域に各々対応する第１センシング領域と第２センシング領域とに区分され、前記第１センシング領域に含まれたサブセンシング領域に収斂される光量は、前記第２センシング領域に含まれたサブセンシング領域に収斂される光量より多い請求項３６記載のイメージ復元装置。
38. 前記ピクセル情報は、前記第１センシング領域に含まれるサブセンシング領域から提供された輝度情報及び前記第２センシング領域に含まれるサブセンシング領域から提供されたカラー情報を含む請求項３７記載のイメージ復元装置。
39. 前記カメラモジュールは、
    互いに異なる色相を有する前記複数のレンズと、
    前記各レンズの領域に対応する前記複数のイメージセンシング領域を通じて前記カラー別に分離された複数の原イメージを獲得するイメージセンサー部と、を備える請求項３２記載のイメージ復元装置。
40. 前記レンズは、前記レンズの透過度によって第１レンズ部と第２レンズ部とに区分され、前記第１レンズ部に含まれるレンズの透過度は、前記第２レンズ部に含まれるレンズの透過度より高く、前記センシング領域は、前記第１レンズ部及び前記第２レンズ部に各々対応する第１センシング領域と第２センシング領域とに区分され、前記第１センシング領域に含まれるサブセンシング領域に収斂される光量は、前記第２サブセンシング領域に含まれるサブセンシング領域に収斂される光量より多い請求項３９記載のイメージ復元装置。
41. 前記ピクセル情報は、前記第１センシング領域に含まれるサブセンシング領域から提供された輝度情報及び前記第２センシング領域に含まれるサブセンシング領域から提供されたカラー情報を含む請求項４０記載のイメージ復元装置。
42. 前記複数のレンズは、同一平面上に位置する請求項３２記載のイメージ復元装置。

Images