JP2022183102A - イメージ信号プロセッサを含むイメージセンサ及びその動作方法 - Google Patents

Abstract

【課題】イメージ信号プロセッサを含むイメージセンサ及びその動作方法を提供する。【解決手段】本発明のイメージセンサは、受信される光信号を電気的信号に変換するピクセルアレイと、電気的信号をアナログ・デジタル変換してイメージデータを生成するリードアウト回路と、イメージデータに対して第１方向及び第１方向とは異なる第２方向にそれぞれ一次元フィルタリングを行ってイメージデータのノイズを除去するイメージ信号プロセッサと、を備える。【選択図】図２

Description

本発明は、イメージ信号処理に関し、より詳細には、一次元フィルタリングを行うイメージ信号プロセッサを含むイメージセンサ及びその動作方法に関する。

イメージセンサは、対象物（ｏｂｊｅｃｔ）の二次元的又は三次元的なイメージをキャプチャする装置である。イメージセンサは、対象物から反射される光の強度によって反応する光電変換素子を利用して対象物のイメージを生成する。最近、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）技術が発展し、ＣＭＯＳを利用したＣＭＯＳイメージセンサが広く使用されている。イメージセンサが多様な装置に搭載されることにより解像度及び画質の上昇が要求され、それにより、イメージセンサに具備されるピクセルアレイのピクセルサイズは、小さくなりながらも画質が上昇したイメージセンサが要求される。

特開２０２１－５２３９６号公報

本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、イメージデータのノイズを除去するイメージセンサ及びその動作方法を提供することにある。

上記目的を達成するためになされた本発明の一態様によるイメージセンサは、受信される光信号を電気的信号に変換するピクセルアレイと、前記電気的信号をアナログ・デジタル変換してイメージデータを生成するリードアウト回路と、前記イメージデータに対して第１方向及び前記第１方向とは異なる第２方向にそれぞれ一次元フィルタリングを行って前記イメージデータのノイズを除去するイメージ信号プロセッサと、を備える。

上記目的を達成するためになされた本発明の他の態様によるイメージセンサは、受信される光信号を電気的信号に変換するピクセルアレイと、前記電気的信号をアナログ・デジタル変換してイメージデータを生成するリードアウト回路と、一次元ガウシアンフィルタセットを基に前記イメージデータに対して複数の方向に連続して一次元フィルタリングを行うノイズ低減ロジックと、を備える。

上記目的を達成するためになされた本発明の一態様による信号処理プロセッサを含むイメージセンサの動作方法は、ピクセルアレイに受信された光信号を基にイメージデータを生成する段階と、前記信号処理プロセッサが、前記イメージデータに対して第１ガウシアンフィルタを基に第１方向への一次元フィルタリングを行う段階と、前記信号処理プロセッサが、前記イメージデータに対して第２ガウシアンフィルタを基に前記第１方向とは異なる第２方向への一次元フィルタリングを行う段階と、を有する。

本発明の一実施形態によるイメージセンサは、受信される光信号を電気的信号に変換するピクセルアレイと、前記電気的信号をアナログ・デジタル変換してイメージデータを生成するリードアウト回路と、前記イメージデータに含まれるバッドピクセルのピクセル値を校正するバッドピクセル校正ロジックと、入力イメージデータに対して一次元ガウシアンフィルタを基に水平方向及び垂直方向に連続して一次元フィルタリングを行うノイズ低減ロジックと、を備える。

本発明のイメージ信号プロセッサを含むイメージセンサ及びその動作方法によれば、イメージデータに対して複数の方向に連続して一次元フィルタリングを行うことにより、簡単なアルゴリズムを通してイメージデータのノイズが低減される。それにより、低電力且つイメージデータのノイズを除去することができる高画質のイメージデータが獲得される。

本発明の一実施形態によるイメージセンサを示すブロック図である。 本発明の一実施形態によるノイズ低減ロジックの一例を示す図である。 本発明の一実施形態によるイメージデータに対する一次元フィルタリングを行う方法を示す図である。 本発明の一実施形態によるイメージデータに対する一次元フィルタリングを行う方法を示す図である。 図３のピクセルグループの一例を示す図である。 図３のピクセルグループの一例を示す図である。 本発明の一実施形態による水平方向の一次元フィルタリングを行う方法を示す図である。 本発明の一実施形態による水平方向の一次元フィルタリングを行う方法を示す図である。 本発明の一実施形態による垂直方向の一次元フィルタリングを行う方法を示す図である。 本発明の一実施形態による垂直方向の一次元フィルタリングを行う方法を示す図である。 本発明の一実施形態による一次元ガウシアンフィルタを示すグラフである。 本発明の一実施形態によるノイズ低減ロジックの他の例を示す図である。 本発明の一実施形態によるゲイン別フィルタ強度を示すグラフである。 本発明の一実施形態による一次元フィルタのフィルタ強度によるガウシアン曲線の変化を示すグラフである。 本発明の一実施形態によるゲイン別加重値を示すテーブルである。 本発明の一実施形態によるイメージ信号プロセッサの一例を概略的に示すブロック図である。 エッジ領域に対する一例を説明する図である。 本発明の一実施形態によるイメージ信号プロセッサの他の例を概略的に示すブロック図である。 テトラパターンに対する一例を説明する図である。 ノナパターンに対する一例を説明する図である。 ヘキサデカパターンに対する一例を説明する図である。 本発明の一実施形態によるイメージセンサの動作方法を示すフローチャートである。 マルチカメラモジュールを含む電子装置のブロック図である。 図１７Ａのカメラモジュールの詳細ブロック図である。 本発明の一実施形態によるイメージセンサを含む電子装置を示すブロック図である。

以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。

図１は、本発明の一実施形態によるイメージセンサを示すブロック図である。

イメージセンサ１００は、光学レンズＬＳを介して入射した対象物（ｏｂｊｅｃｔ）の光学的信号をイメージデータに変換する。イメージセンサ１００は、イメージセンシング機能又は光センシング機能を有する電子機器に搭載される。例えば、イメージセンサ１００は、デジタルスチールカメラ、デジタルビデオカメラ、スマートフォン、ウェアラブル機器、事物インターネット（ＩｏＴ：ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ）機器、タブレットＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション（ｎａｖｉｇａｔｉｏｎ）装置のような電子機器に搭載される。また、イメージセンサ１００は、車両、家具、製造設備、ドア、各種計測機器などに、部品として具備される電子機器に搭載される。

図１を参照すると、イメージセンサ１００は、ピクセルアレイ１１０、リードアウト回路１２０、及びイメージ信号プロセッサ（ＩＳＰ：ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）１３０を含む。イメージ信号プロセッサ１３０は、ノイズ低減ロジック１０を含む。一実施形態において、ピクセルアレイ１１０、リードアウト回路１２０、及びイメージ信号プロセッサ１３０は、１つの半導体チップ又は半導体モジュールとして具現される。他の実施形態において、ピクセルアレイ１１０及びリードアウト回路１２０は、１つの半導体チップに具現され、イメージ信号プロセッサ１３０は、他の１つの半導体チップに具現される。

ピクセルアレイ１１０は、例えばＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）又はＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）のような光電変換素子によって具現され、それ以外にも多様な種類の光電変換素子によって具現される。ピクセルアレイ１１０は、受信される光信号（光）を電気的信号に変換する複数のセンシングピクセルＰＸｓを含み、複数のセンシングピクセルＰＸｓは行列に配列される。複数のセンシングピクセルＰＸｓのそれぞれは光感知素子を含む。例えば、光感知素子は、フォトダイオード、有機フォトダイオード、フォトトランジスタ、フォトゲート、又はピンドフォトダイオード（ｐｉｎｎｅｄ ｐｈｏｔｏｄｉｏｄｅ）などを含む。

リードアウト回路１２０は、ピクセルアレイ１１０から受信される電気的信号をイメージデータに変換する。リードアウト回路１２０は、電気的信号を増幅し、増幅された電気的信号をアナログ・デジタル変換する。リードアウト回路１２０で生成されるイメージデータは、ピクセルアレイ１１０の複数のセンシングピクセルＰＸｓに対応する複数のピクセルを含む。ここで、ピクセルアレイ１１０のセンシングピクセルＰＸｓは受信される光による信号を生成する物理的構造物であり、イメージデータに具備されるピクセルはセンシングピクセルＰＸｓに対応するデータを示す。リードアウト回路１２０は、ピクセルアレイ１１０と共にセンシングコアを構成する。

イメージ信号プロセッサ１３０は、リードアウト回路１２０から出力されるイメージデータＩＤＴ１、言い替えると原本イメージデータ（ｒａｗ ｉｍａｇｅ ｄａｔａ）に対してイメージ処理を行う。例えば、イメージ信号プロセッサ１３０は、イメージデータＩＤＴ１に対してバッド（不良）ピクセル補正（ｂａｄ ｐｉｘｅｌ ｃｏｒｒｅｃｔｉｏｎ）、リモザイク（ｒｅｍｏｓａｉｃ）、ノイズ除去のようなイメージ処理を行う。

イメージ信号プロセッサ１３０は、イメージデータのノイズを低減するノイズ低減ロジック１０を含む。ノイズ低減ロジック１０は、入力されるイメージデータに対して一次元フィルタリングを行い、イメージデータのノイズを低減する。イメージデータは、リードアウト回路１２０から出力される原本イメージデータＩＤＴ１、又はイメージ信号プロセッサ１３０に具備される他の処理ロジックにより他のイメージ処理が行われたイメージデータである。

一実施形態において、ノイズ低減ロジック１０は、一次元フィルタを基にイメージデータに対して一次元フィルタリングを行う。一次元フィルタは、イメージデータの複数のピクセルのうちの一方向に配列されたＮ個（Ｎは、３以上の整数である）のピクセルのそれぞれに適用されるＮ個の係数を含む。一次元フィルタは、ガウシアン（Ｇａｕｓｓｉａｎ）フィルタによって具現される。Ｎ個の係数の係数値はガウシアン分布を有する。Ｎ個のピクセルのうちの中心に位置するピクセル、言い替えるとフィルタリング対象ピクセル（以下、対象ピクセルとする）に適用される係数の値（以下、係数値とする）が最も大きく、対象ピクセルから遠くにあるピクセルに適用される係数値であればあるほど小さくなる。一実施形態において、係数値は周辺照度に応じて適応的に変更される。

一実施形態において、ノイズ低減ロジック１０は、Ｍ×Ｍ行列（Ｍは、２以上の偶数である）に配されたピクセルを含むピクセルグループ単位で一次元フィルタリングを行い、ピクセルのそれぞれについて設定されるＭ^２個の一次元フィルタ、言い替えると一次元フィルタセットを基にイメージデータに対して一次元フィルタリングを行う。

一実施形態において、ノイズ低減ロジック１０は、イメージデータに対してそれぞれ異なる方向に複数回一次元フィルタリングを行う。例えば、ノイズ低減ロジック１０は、イメージデータの行方向（ｒｏｗ ｄｉｒｅｃｔｉｏｎ）及び列方向（ｃｏｌｕｍｎ ｄｉｒｅｃｔｉｏｎ）に一次元フィルタリングを行う。しかし、それに制限されるものではなく、ノイズ低減ロジック１０は、イメージデータの対角線方向（例えば、左側上から右側下に向かう方向）及び／又は逆対角線方向に一次元フィルタリングを更に行うこともできる。

一実施形態において、ノイズ低減ロジック１０はハードウェアによって具現される。しかし、それに制限されるものではなく、ノイズ低減ロジック１０は、ハードウェアとファームウェアとの組み合わせ又はソフトウェアによって具現される。

イメージ信号プロセッサ１３０は、イメージ処理によって変換されたイメージデータＩＤＴ２を出力する。変換されたイメージデータＩＤＴ２は、外部プロセッサ２００（例えば、イメージセンサ１００が搭載される電子装置のメインプロセッサ、アプリケーションプロセッサ、又はグラフィックプロセッサなど）に提供される。

外部プロセッサ２００は、変換されたイメージデータＩＤＴ２を保存するか又はディスプレイ装置に表示する。外部プロセッサ２００は、変換されたイメージデータＩＤＴ２に対してイメージ処理を行う。一実施形態において、外部プロセッサ２００は、イメージセンサ１００に設定情報ＩＦ＿Ｓを提供する。例えば、設定情報ＩＦ＿Ｓは、露出情報、アナログゲイン、デジタルゲイン、ピクセルの変換ゲイン設定情報のようなイメージセンサ１００を設定するための多様な情報を含む。

イメージセンサ１００の高解像度及びスリム化によりピクセルアレイ１１０に具備されるセンシングピクセルＰＸｓのサイズが微細になり、センシングピクセルＰＸｓの微細化によりイメージデータの画質が劣化してノイズ（例えば、ごま塩ノイズ（ｓａｌｔ ａｎｄ ｐｅｐｐｅｒ ｎｏｉｓｅ）、色汚れ（ｃｏｌｏｒ ｓｔａｉｎ）など）が生じる。特に、ピクセルアレイ１１０に入射する光量が少ない低照度環境でノイズが甚だしく生じる。

しかし、本発明の実施形態によるイメージセンサ１００は、一次元ガウシアンフィルタを利用して、イメージデータに対して複数の方向に一次元フィルタリングを行う簡単なアルゴリズムを基にイメージデータのノイズを低減することができる。従って、本発明の実施形態によるイメージセンサ１００は、低電力且つイメージデータの画質劣化を防止し、低照度環境でも高画質のイメージデータを生成することができる。

図２は、本発明の一実施形態によるノイズ低減ロジックの一例を示す図である。図２のノイズ低減ロジック１０ａは、図１のノイズ低減ロジック１０として適用される。

図２を参照すると、ノイズ低減ロジック１０ａは、第１フィルタリングモジュール１１及び第２フィルタリングモジュール１２を含む。非制限的な例として、第１フィルタリングモジュール１１及び第２フィルタリングモジュール１２は、ハードウェアによって具現される。

第１フィルタリングモジュール１１は、入力イメージデータＩＤＴｉに対して第１フィルタを基に第１方向の一次元フィルタリングを行い、続けて第２フィルタリングモジュール１２が、第１フィルタリングモジュール１１から出力されるイメージデータＩＤＴｃに対して第２フィルタを基に第２方向の一次元フィルタリングを行い、出力イメージデータＩＤＴｏを生成する。

一実施形態において、第１方向は入力イメージデータＩＤＴｉの水平方向（又は、ロウ（ｒｏｗ）方向とする）であり、第２方向はイメージデータＩＤＴｃの垂直方向（又は、カラム（ｃｏｌｕｍｎ）方向とする）である。言い替えると、第１フィルタリングモジュール１１は水平方向（ＨＤ）フィルタリングモジュールであり、第２フィルタリングモジュール１２は垂直方向（ＶＤ）フィルタリングモジュールである。第１フィルタ及び第２フィルタは一次元ガウシアンフィルタであり、第２フィルタは第１フィルタと同一であるか又は異なる。

図２において、第１フィルタリングモジュール１１及び第２フィルタリングモジュール１２を別個の構成として図示しているが、それに制限されるものではなく、第１フィルタリングモジュール１１及び第２フィルタリングモジュール１２は、１つのモジュールによって具現され得る。

ノイズ低減ロジック１０ａが、第１フィルタリングモジュール１１及び第２フィルタリングモジュール１２を含み、続けて水平方向及び垂直方向に一次元フィルタリングを行うことを例に挙げて説明したが、それに制限されるものではない。一実施形態において、ノイズ低減ロジック１０ａは、他方向に一次元フィルタリングを行う１以上のフィルタリングモジュール、例えば第３フィルタリングモジュール及び／又は第４フィルタリングモジュールを更に含む。

ノイズ低減ロジック１０ａは、上述のようにイメージデータＩＤＴｉに対して連続して複数の方向に一次元フィルタリングを行い、イメージデータＩＤＴｉのノイズを低減する。

図３Ａ及び図３Ｂは、本発明の一実施形態によるイメージデータに対する一次元フィルタリングを行う方法を示す図であり、図４Ａ及び図４Ｂは、図３のピクセルグループの一例を示す図である。

図３Ａ及び図３Ｂを参照すると、イメージデータ（ＩＤＴｉ、ＩＤＴｃ）は、二次元データであり、水平方向（例えば、Ｘ軸方向）及び垂直方向（例えば、Ｙ軸方向）に配列された複数のピクセルＰＸを含む。イメージデータ（ＩＤＴｉ、ＩＤＴｃ）は、それぞれがＭ×Ｍ行列（Ｍは、２以上の偶数である）に配列されたピクセルＰＸを含む複数のピクセルグループＰＧに区分され、ピクセルグループＰＧ単位で一次元フィルタリングが行われる。

図１を参照して説明したように、ノイズ低減ロジック１０は、Ｍ^２個のピクセルを含むピクセルグループＰＧ単位で一次元フィルタリングを行い、Ｍ^２個のピクセルのそれぞれに適用されるＭ^２個の一次元ガウシアンフィルタ、言い替えると一次元ガウシアンフィルタセットを基に一次元フィルタリングを行う。

図３ＡはイメージデータＩＤＴｉに対する水平方向の一次元フィルタリングを示し、図３ＢはイメージデータＩＤＴｃに対する垂直方向の一次元フィルタリングを示す。図２の第１フィルタリングモジュール１１が第１フィルタ、例えば一次元ガウシアンフィルタセットを基に水平方向の一次元フィルタリングを行い、第２フィルタリングモジュール１２が第２フィルタを基に垂直方向の一次元フィルタリングをそれぞれ行う。しかし、それに制限されるものではなく、一実施形態において、図２の第１フィルタリングモジュール１１が垂直方向の一次元フィルタリングを行い、第２フィルタリングモジュール１２が水平方向の一次元フィルタリングをそれぞれ行うことができる。

図４Ａ及び図４Ｂを参照すると、ピクセルグループＰＧ（図３）は、ベイヤーパターン（Ｂａｙｅｒ ｐａｔｔｅｒｎ）を有する。ベイヤーパターンは、人の視覚特性により、緑が５０％になり、赤色と青色とがそれぞれ２５％になるように交差配置されたパターンを意味する。

図４Ａを参照すると、ピクセルグループＰＧａは、２×２ベイヤーパターンによって構成される。ピクセルグループＰＧａは、第１グリーンピクセルＧｒ、レッドピクセルＲ、第２グリーンピクセルＧｂ、及びブルーピクセルＢを含み、第１グリーンピクセルＧｒ及び第２グリーンピクセルＧｂが対角線方向に配され、レッドピクセルＲ及びブルーピクセルＢが対角線方向に配される。

図４Ｂを参照すると、ピクセルグループＰＧｂは、４×４ベイヤーパターンによって構成される。ピクセルグループＰＧｂは、それぞれ４個ずつの第１グリーンピクセルＧｒ、レッドピクセルＲ、第２グリーンピクセルＧｂ、及びブルーピクセルＢを含む。それら以外にも、ピクセルグループＰＧ（図３）は、多様なサイズのベイヤーパターンによって構成され得る。

図４Ａ及び図４Ｂを参照して、図３Ａ及び図３ＢのピクセルグループＰＧに適用されるパターンについて例示的に説明した。しかし、それらに制限されるものではなく、ピクセルグループＰＧには、多様な他のパターンのうちの一つが適用され得る。例えば、ピクセルグループＰＧに、ＲＧＢＷパターン、ＲＷＢパターン、ＹＣｂＣｒパターン、ＣＭＹパターン、又はＣＭＹＧパターンなどが含まれる。

再び図３Ａを参照すると、第１フィルタリングモジュール１１が入力イメージデータＩＤＴｉに対して水平方向の一次元フィルタリングを行う。第１フィルタリングモジュール１１は、複数のピクセルグループＰＧのうちの１つのピクセルグループＰＧ、例えば第１ピクセルグループＰＧ１に対して水平方向の一次元フィルタリングを行った後、水平方向に隣接する他のピクセルグループＰＧ、例えば第２ピクセルグループＰＧ２に対して水平方向の一次元フィルタリングを行う。第１フィルタリングモジュール１１は、ピクセルグループＰＧに含まれるピクセルＰＸ、例えば４個のピクセルＰＸのそれぞれに対して対応する一次元ガウシアンフィルタを適用する。水平方向の一次元フィルタリングに関する具体的な方法は、図５Ａ及び図５Ｂを参照して詳細に説明する。

図示した点線方向に沿って同じ行に配されたピクセルグループＰＧのそれぞれに対して順に水平方向の一次元フィルタリングが行われた後、次の行に配されたピクセルグループＰＧに対して順に水平方向の一次元フィルタリングが行われる。そのような方式により、入力イメージデータＩＤＴｉの複数のピクセルグループＰＧに対して水平方向の一次元フィルタリングが行われる。

図３Ｂを参照すると、図３Ａで水平方向の一次元フィルタリングが行われることによって生成されたイメージデータＩＤＴｃに対して垂直方向の一次元フィルタリングが行われる。第２フィルタリングモジュール１２は、複数のピクセルグループＰＧのうちの１つのピクセルグループＰＧ、例えば第１ピクセルグループＰＧ１に対して垂直方向の一次元フィルタリングを行った後、垂直方向に隣接する他のピクセルグループＰＧ、例えば第３ピクセルグループＰＧ３に対して垂直方向の一次元フィルタリングを行う。第２フィルタリングモジュール１２は、ピクセルグループＰＧに含まれるピクセルＰＸ、例えば４個のピクセルＰＸのそれぞれに対して対応する一次元ガウシアンフィルタを適用する。垂直方向の一次元フィルタリングに関する具体的な方法は、図６Ａ及び図６Ｂを参照して詳細に説明する。

図示した点線方向に沿って同じ列に配されたピクセルグループＰＧのそれぞれに対して順に垂直方向の一次元フィルタリングが行われた後、次の列に配されたピクセルグループＰＧに対して順に垂直方向の一次元フィルタリングが行われる。そのような方式により、イメージデータＩＤＴｃの複数のピクセルグループＰＧに対して垂直方向の一次元フィルタリングが行われる。

一実施形態において、イメージ信号プロセッサ１３０でイメージ処理が行われるとき、イメージデータは、ラインバッファに複数の行単位でピクセルＰＸが保存されて更新され、ラインバッファに保存されたイメージデータの複数の行に対してイメージ処理、例えば上述の水平方向及び垂直方向の一次元フィルタリングが連続して行われる。ラインバッファに複数の行が更新されることにより、連続して更新される複数の行に対して水平方向及び垂直方向の一次元フィルタリングが連続して行われる。

図５Ａ及び図５Ｂは、本発明の一実施形態による水平方向の一次元フィルタリングを行う方法を示す図である。図５Ａ及び図５Ｂは、図２の第１フィルタリングモジュール１１で遂行される。

図５Ａを参照すると、イメージデータＩＤＴに対する水平方向の一次元フィルタリングの遂行時、フィルタリングが行われるターゲットピクセルグループＰＧ＿Ｔと同一行に配された周辺ピクセルＰＸが利用される。例えば、ターゲットピクセルグループＰＧ＿Ｔの第１グリーンピクセルＧｒ（以下、ターゲットピクセルＰＸ＿Ｔとする）に対して水平方向の一次元フィルタリングが行われるため、ターゲットピクセルＰＸ＿Ｔと同一行に配された周辺の（Ｎ－１）個の第１グリーンピクセルＧｒが利用される。例を挙げて、ターゲットピクセルＰＸ＿Ｔ、例えば第３ピクセルＰ＿Ｈ３の左右に配されたそれぞれ２個の第１グリーンピクセルＧｒ、例えば第１ピクセルＰ＿Ｈ１、第２ピクセルＰ＿Ｈ２、第４ピクセルＰ＿Ｈ４、及び第５ピクセルＰ＿Ｈ５が利用される。

図５Ｂを参照すると、一次元フィルタは、ターゲットピクセルＰＸ＿Ｔを含むＮ個のピクセルにそれぞれ適用されるＮ個の係数を含む。例えば、一次元フィルタは第１係数Ｃ１～第５係数Ｃ５を含み、第１係数Ｃ１～第５係数Ｃ５は、ターゲットピクセルＰＸ＿Ｔ、例えば第３ピクセルＰ＿Ｈ３、並びに周辺の第１ピクセルＰ＿Ｈ１、第２ピクセルＰ＿Ｈ２、第４ピクセルＰ＿Ｈ４、及び第５ピクセルＰ＿Ｈ５にそれぞれ適用される。

ターゲットピクセルＰＸ＿Ｔのピクセル値が水平方向の一次元フィルタリングによって変換され、変換されたピクセル値ＰＶ＿Ｈは、下記数式１によって算出される。

ここで、Ｋは係数を示すビットの個数であり、例えば係数が１３ビットによって表現される場合、係数は、２^１３個、即ち８１９２個の値のうちの一つを有し、係数の最小値は「１」であり、最大値は「８１９２」である。

例えば、第１係数Ｃ１～第５係数Ｃ５の係数値が第１ピクセルＰ＿Ｈ１～第５ピクセルＰ＿Ｈ５のピクセル値にそれぞれ乗じられた後、乗じられた値が合算される。その後、合算された値が最大係数値、例えば８１９２で除された値がターゲットピクセルＰＸ＿Ｔの変換されたピクセル値ＰＶ＿Ｈとして算出される。

同様に、ターゲットピクセルグループＰＧ＿Ｔの他のピクセル、例えばレッドピクセルＲ、ブルーピクセルＢ、及び第２グリーンピクセルＧｂのそれぞれに対する水平方向の一次フィルタリングにそれらの左右に配された（Ｎ－１）個（例えば、４個）の同一色相のピクセルＰＸが利用される。

上述のように、ターゲットピクセルグループＰＧ＿Ｔの複数のピクセル、即ち第１グリーンピクセルＧｒ、レッドピクセルＲ、ブルーピクセルＢ、及び第２グリーンピクセルＧｂのそれぞれに対してそれぞれ異なる一次元フィルタ、例えば一次元ガウシアンフィルタが適用される。

図６Ａ及び図６Ｂは、本発明の一実施形態による垂直方向の一次元フィルタリングを行う方法を示す図である。図６Ａ及び図６Ｂは、図２の第２フィルタリングモジュール１２で遂行される。

図６Ａを参照すると、イメージデータＩＤＴに対する垂直方向の一次元フィルタリングの遂行時、フィルタリングが行われるターゲットピクセルグループＰＧ＿Ｔと同一列に配された周辺ピクセルＰＸが利用される。例えば、ターゲットピクセルグループＰＧ＿Ｔの第１グリーンピクセルＧｒ（以下、ターゲットピクセルＰＸ＿Ｔとする）に対して垂直方向の一次元フィルタリングが行われるため、ターゲットピクセルＰＸ＿Ｔと同一列に配された周辺の（Ｎ－１）個の第１グリーンピクセルＧｒが利用される。例えば、ターゲットピクセルＰＸ＿Ｔ、例えば第３ピクセルＰ＿Ｖ３の上下に配されたそれぞれ２個の第１グリーンピクセルＧｒ、例えば第１ピクセルＰＶ＿１、第２ピクセルＰ＿Ｖ２、第４ピクセルＰ＿Ｖ４、及び第５ピクセルＰ＿Ｖ５が利用される。

図６Ｂを参照すると、一次元フィルタは、ターゲットピクセルＰＸ＿Ｔを含むＮ個のピクセルにそれぞれ適用されるＮ個の係数を含む。例えば、一次元フィルタは第１係数Ｃ１～第５係数Ｃ５を含み、第１係数Ｃ１～第５係数Ｃ５は、ターゲットピクセルＰＸ＿Ｔ、例えば第３ピクセルＰ＿Ｖ３、並びに周辺の第１ピクセルＰ＿Ｖ１、第２ピクセルＰ＿Ｖ２、第４ピクセルＰ＿Ｖ４、及び第５ピクセルＰ＿Ｖ５にそれぞれ適用される。

図５Ａの水平方向の一次元フィルタリング方法と比較すると、水平方向の一次元フィルタリング時にはフィルタの第１係数Ｃ１～第５係数Ｃ５が水平方向に配列された第１ピクセルＰ＿Ｈ１～第５ピクセルＰ＿Ｈ５に適用され、図６Ｂの垂直方向の一次元フィルタリング時にはフィルタの第１係数Ｃ１～第５係数Ｃ５が垂直方向に配列された第１ピクセルＰ＿Ｖ１～第５ピクセルＰ＿Ｖ５に適用される。

一実施形態において、垂直方向の一次元フィルタリングの遂行時に利用される一次元フィルタは、図５Ｂの水平方向の一次元フィルタリング時に利用される一次元フィルタと同一である。言い替えると、第１係数Ｃ１～第５係数Ｃ５は、図５Ｂの第１係数Ｃ１～第５係数Ｃ５と同一である。しかし、それに制限されるものではなく、垂直方向の一次元フィルタリングの遂行時に利用される一次元フィルタは、図５Ｂの水平方向の一次元フィルタリング時に利用される一次元フィルタとは異なってもよい。

垂直方向の一次元フィルタリングによるターゲットピクセルＰＸ＿Ｔの変換されたピクセル値ＰＶ＿Ｖは、下記数式２によって算出される。

例えば、第１係数Ｃ１～第５係数Ｃ５の係数値が第１ピクセルＰ＿Ｖ１～第５ピクセルＰ＿Ｖ５のピクセル値のそれぞれに乗じられた後、乗じられた値が合算される。その後、合算された値が最大係数値、例えば８１９２で除された値がターゲットピクセルＰＸ＿Ｔの変換されたピクセル値ＰＶとして算出される。

同様に、ターゲットピクセルグループＰＧ＿Ｔの他のピクセル、例えばレッドピクセルＲ、ブルーピクセルＢ、及び第２グリーンピクセルＧｂのそれぞれに対する垂直方向の一次フィルタリングにそれらの上下に配された（Ｎ－１）個（例えば、４個）の同一色相のピクセルＰＸが利用される。

図７は、本発明の一実施形態による一次元ガウシアンフィルタを示すグラフである。

図７を参照すると、横軸は係数が適用されるピクセルの位置を示し、縦軸は係数値を示す。一次元ガウシアンフィルタはＮ個の係数を含み、Ｎ個の係数はそれぞれ２^Ｋ個の係数値のうちの一つを有し、係数値の分布はガウシアン曲線で示される。

例えば、一次元ガウシアンフィルタは、第１係数Ｃ１～第５係数Ｃ５を含む。係数が１３ビットによって表現される場合、第１係数Ｃ１～第５係数Ｃ５は２^１３個、即ち８１９２個の値のうちの一つを有し、係数の最小値は「０」であり、最大値は「８１９１」である。

図５Ｂ及び図６Ｂを参照して説明したように、例えばターゲットピクセルＰＸ＿Ｔ（図５Ａ）を中心にターゲットピクセルと同じ行又は同じ列の周辺ピクセルにＮ個の個数が適用される。例えば、第１係数Ｃ１～第５係数Ｃ５がターゲットピクセル及びその周辺ピクセルを含む５個のピクセルにそれぞれ適用され、このとき、ターゲットピクセルに適用される第３係数Ｃ３の係数値が最も大きく、ターゲットピクセルから遠くなるピクセルであればあるほど適用される係数の係数値が小さくなる。第１係数Ｃ１～第５係数Ｃ５の和は２^Ｋ－１、例えば「８１９１」（Ｋは、１３である）である。

一実施形態において、イメージセンサ１００（図１）の周辺照度に応じて係数値の分布、言い替えるとガウシアン曲線の傾斜度は可変される。

図８は、本発明の一実施形態によるノイズ低減ロジックの他の例を示す図である。図８のノイズ低減ロジック１０ｂは、図１のノイズ低減ロジック１０として適用される。

図８を参照すると、ノイズ低減ロジック１０ｂは、第１フィルタリングモジュール１１、第２フィルタリングモジュール１２、及びフィルタ設定モジュール１３を含む。非制限的な例として、第１フィルタリングモジュール１１及び第２フィルタリングモジュール１２はハードウェアによって具現され、フィルタ設定モジュール１３はファームウェアによって具現される。

第１フィルタリングモジュール１１は、入力イメージデータＩＤＴｉに対して第１フィルタを基に第１方向の一次元フィルタリングを行い、続けて第２フィルタリングモジュール１２が、１フィルタリングモジュール１１から出力されるイメージデータＩＤＴｃに対して第２フィルタを基に第２方向の一次元フィルタリングを行い、出力イメージデータＩＤＴｏを生成する。

第１フィルタリングモジュール１１及び第２フィルタリングモジュール１２の動作は、図２を参照して詳細に説明したため、重複説明は省略する。

フィルタ設定モジュール１３は、第１フィルタ及び第２フィルタを設定する。上述のように、第１フィルタ及び第２フィルタは、それぞれ一次元ガウシアンフィルタによって具現され、Ｍ^２個のピクセルのそれぞれに適用されるＭ^２個の一次元ガウシアンフィルタを含む。一次元ガウシアンフィルタは、Ｎ個のピクセルにそれぞれ適用されるＮ個の係数を含む。

フィルタ設定モジュール１３は、第１フィルタリングモジュール１１及び第２フィルタリングモジュール１２でそれぞれ使用される一次元ガウシアンフィルタのＮ個の係数の係数値を調整する。一実施形態において、フィルタ設定モジュール１３は、イメージセンサ１００（図１）の周辺照度に応じて係数値の分布、言い替えるとガウシアン曲線の傾斜度を調整する。例えば、フィルタ設定モジュール１３は、リードアウト回路１２０（図１）に適用されるゲイン情報ＧＮを受信し、ゲイン情報ＧＮを基に一次元ガウシアンフィルタのガウシアン曲線の傾斜度を調整する。

図９は、本発明の一実施形態によるゲイン別フィルタ強度を示すグラフである。

図９を参照すると、横軸はゲイン値を示し、縦軸はフィルタ強度を示す。ゲイン値が低いほど高照度（又は、一般照度）環境を示し、ゲイン値が高いほど低照度環境を示す。ゲイン値が低いとき、例えばゲインＧ０以下では、言い替えると高照度環境では、本実施形態による連続的な一次元フィルタリングが行われない。ゲインＧ０以上から、言い替えるとゲイン（Ｇ０、Ｇ１、Ｇ２、Ｇ３、Ｇ４）において連続した一次元フィルタリングが行われ、ゲイン値が高くなるほど一次元ガウシアンフィルタのフィルタ強度が増大する。

イメージセンサ１００（図１）が搭載されるイメージ装置は、イメージセンサ１００の周辺照度をセンシングし、周辺照度に応じてイメージセンサ１００にゲイン設定情報を提供する。イメージ装置のプロセッサ（例えば、メインプロセッサ、アプリケーションプロセッサ（ＡＰ）など）が露出情報やアナログゲイン及びデジタルゲインなどをイメージセンサ１００に提供する。イメージセンサ１００のリードアウト回路１２０（図１））は、ピクセルアレイ１１０（図１）で受信されるセンシング信号をアナログ・デジタル変換するアナログ回路（例えば、比較器など）及びデジタル変換された信号を処理するデジタル回路を含み、アナログゲインはアナログ回路に適用され、デジタルゲインはデジタル回路に適用される。周辺照度が低いほどアナログゲイン及びデジタルゲインは高くなる。アナログゲイン及びデジタルゲインを基にゲイン値、言い替えるとトータルゲインが算出される。例えば、アナログゲインとデジタルゲインとの積がゲイン値として算出される。

低照度環境において、イメージデータの明るさを増大させるためにアナログゲイン及び／又はデジタルゲインが高く設定される。従って、高照度環境でゲイン値が低く、低照度環境でゲイン値が高い。このとき、周辺照度が低いほどイメージデータに生じるノイズの量が増大する。従って、イメージデータのノイズ低減のために、図９に示すように、ゲイン値が増大するほどフィルタ強度が高く設定される。

図１０は、本発明の一実施形態による一次元フィルタのフィルタ強度によるガウシアン曲線の変化を示すグラフである。

図１０を参照すると、横軸は一次元フィルタの係数が適用されるピクセルの位置を示し、縦軸は係数値を示す。一次元フィルタの係数値の分布は、ガウシアン曲線で示される。図９を参照して説明したように、ゲイン値が高い場合に一次元フィルタの強度が高く設定され、ゲイン値が低い場合に一次元フィルタの強度が低く設定される。一次元フィルタの強度が強くなるということはガウシアン曲線の傾斜度が緩くなることを意味し、一次元フィルタの強度が弱くなるということはガウシアン曲線の傾斜度が急になることを意味する。従って、図１０に示すように、ゲイン値が大きくなるほどガウシアン曲線の傾斜度が緩くなるように第１フィルタの係数値が設定される。

再び図８を参照すると、一実施形態において、例えばゲイン別（ゲインＧ０、Ｇ１、Ｇ２、Ｇ３、Ｇ４（図９）毎）にＭ^２個の一次元ガウシアンフィルタの係数値が事前に設定され、フィルタ設定モジュール１３は、Ｍ^２個の一次元ガウシアンフィルタに設定されたゲインＧＮによる係数値を適用する。

一実施形態において、基準ガウシアン曲線、言い替えると基準係数値が事前に設定され、フィルタ設定モジュール１３が基準ガウシアン曲線を基に設定されたゲイン値によるフィルタ強度を算出する。例えば、ゲインＧ１に関する一次元フィルタの係数値が基準係数値として事前に設定される。フィルタ設定モジュール１３は、ゲイン別に加重値を事前に保存して設定されたゲインＧＮに対応する加重値を基準係数値に乗じ、ゲインＧＮに関する一次元フィルタの係数値、言い替えるとガウシアン曲線を設定する。

図１１は、本発明の一実施形態によるゲイン別加重値を示すテーブルである。

図１１を参照すると、テーブルＴＢは、ゲイン、及びゲインについて設定された加重値を含む。Ｎ個のゲイン（Ｇ０～ＧＮ）に関するＮ個の加重値（Ｗ０～ＷＮ）が設定される。例えば、加重値は、一次元フィルタの係数のそれぞれに関する値を有する。

例えば、設定されたゲインがゲインＧ３である場合、フィルタ設定モジュール１３（図８）は、基準係数値に加重値Ｗ０を乗じ、ゲインＧ３に関する第１フィルタの係数値を算出する。

上述のように、第１フィルタ及び第２フィルタのゲイン別係数値が事前に設定されて保存され、設定された係数値がフィルタ設定モジュール１３（図８）に提供されるのではなく、フィルタ設定モジュール１３（図８）が基準係数及びゲイン別加重値を基に設定されたゲイン値に関する係数値を算出する。従って、ゲイン別係数値がフィルタ設定モジュール１３（図８）にローディングされる時間が短縮され、第１フィルタ及び第２フィルタを設定するための設定時間（ｓｅｔｔｌｉｎｇ ｔｉｍｅ）が短縮される。

図１２は、本発明の一実施形態によるイメージ信号プロセッサの一例を概略的に示すブロック図である。図１２のイメージ信号プロセッサ１３０ａは、図１のイメージ信号プロセッサ１３０として適用される。

図１２を参照すると、イメージ信号プロセッサ１３０ａは、バッドピクセル校正ロジック２０、ノイズ低減ロジック１０、及びゲイン算出器３０を含む。非制限的な例として、バッドピクセル校正ロジック２０及びノイズ低減ロジック１０はハードウェアによって具現され、ゲイン算出器３０はファームウェアによって具現される。

イメージ信号プロセッサ１３０ａは、入力される第１イメージデータＩＤＴ１に対してバッドピクセル校正処理及びノイズ低減処理を行う。第１イメージデータＩＤＴ１は、ベイヤーパターンを有するイメージデータである。

バッドピクセル校正ロジック２０は、第１イメージデータＩＤＴ１に含まれるバッドピクセルのピクセル値を校正する。ここで、バッドピクセルは、周辺ピクセルとピクセル値との差が基準値以上であるピクセルであるか、或いは第１イメージデータＩＤＴ１が特定階調のイメージを示すときに特定階調に該当するピクセル値を有さないピクセルを称する。バッドピクセル校正ロジック２０は、設定されたアルゴリズムを基にバッドピクセル校正を行い、例えば周辺ピクセルのピクセル値に基づく補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を通してバッドピクセルに関するピクセル値を設定するか、或いは周辺ピクセルのピクセル値を平均して平均値をバッドピクセルに関するピクセル値として設定する。

ノイズ低減ロジック１０は、図２～図１１を参照して説明したように、バッドピクセル校正ロジック２０から出力されるイメージデータに対して複数の方向に連続して一次元フィルタリングを行うことによりイメージデータのノイズを低減する。ノイズ低減ロジック１０は、ノイズが低減されたイメージデータ、例えば第２イメージデータＩＤＴ２を出力する。

ゲイン算出器３０は、外部プロセッサから受信されるゲイン情報ＩＦ＿ＧＮ、例えば露出情報、アナログゲイン又はデジタルゲインを基にゲインＧＮ、例えばトータルゲインを算出する。例えば、ゲイン算出器３０は、デジタルゲイン及びアナログゲインを乗じてゲインＧＮを算出する。

ゲイン算出器３０は、算出されたゲインＧＮをバッドピクセル校正ロジック２０及びノイズ低減ロジック１０に提供する。バッドピクセル校正ロジック２０は、バッドピクセルのピクセル値の校正時にゲインＧＮを利用する。また、図８を参照して説明したように、ノイズ低減ロジック１０に具備されるフィルタ設定モジュール１３（図８）がゲインＧＮを基にノイズ低減ロジック１０で利用される一次元フィルタの係数値を設定する。一実施形態において、ゲイン算出器３０は、ノイズ低減ロジック１０のフィルタ設定モジュール１３の一部として具現される。

一実施形態において、バッドピクセル校正ロジック２０は、第１イメージデータＩＤＴ１に対するバッドピクセルの校正過程で方向性情報ＤＩを生成し、方向性情報ＤＩをノイズ低減ロジック１０に提供する。ここで、方向性情報ＤＩは、特定ピクセルがエッジ領域に属するか否かということを示す。図１４を参照して、エッジ領域について説明する。

図１３は、エッジ領域に対する一例を説明する図である。

図１３を参照すると、イメージデータＩＤＴは、階調が急変するエッジ領域ＥＡＲを含む。例えば、図１４に示すイメージデータＩＤＴのピクセルは、全体的にホワイトに該当する階調値、例えば最大階調に該当するピクセル値を有し、第１エッジ領域ＥＡ１～第４エッジ領域ＥＡ４は、最大階調と所定の階調以上差がある階調に該当する階調値をピクセル値として有する。第３エッジ領域ＥＡ３及び第４エッジ領域ＥＡ４は、水平方向、例えばＸ軸方向のエッジ領域であり、水平エッジ領域と称される。第１エッジ領域ＥＡ１及び第２エッジ領域ＥＡ２は、垂直方向、例えばＹ軸方向のエッジ領域であり、垂直エッジ領域と称される。

エッジ領域、例えば第１エッジ領域ＥＡ１～第４エッジ領域ＥＡ４に対して一次元フィルタリングを行う場合、エッジ領域の鮮明度が低減されてイメージデータＩＤＴの画質が劣化する。従って、エッジ領域に対して一次元フィルタリングは行われない。

再び図１２を参照すると、方向性情報ＤＩは、ピクセルが水平エッジ領域に属するか又は水平エッジ領域に属するかということを示す。ノイズ低減ロジック１０は、方向性情報ＤＩを基に水平エッジ領域に属するピクセルに対して水平方向の一次元フィルタリングをスキップし、垂直エッジ領域に属するピクセルに対して垂直方向の一次元フィルタリングをスキップする。

複数のピクセルに対応するイメージ信号プロセッサ１３０ａは、第１イメージデータＩＤＴ１に関するイメージ処理を行う前に第１イメージデータＩＤＴ１からオフセット値を除去する。イメージ信号プロセッサ１３０ａは、オフセット値が除去された第１イメージデータＩＤＴ１に対してイメージ処理を行い、第２イメージデータＩＤＴ２を生成して第２イメージデータＩＤＴ２に更にオフセット値を適用する。

図１４は、本発明の一実施形態によるイメージ信号プロセッサの他の例を概略的に示すブロック図である。図１５Ａ、図１５Ｂ、及び図１５Ｃは、イメージデータのパターンに対する一例を説明する図である。図１４のイメージ信号プロセッサ１３０ｂは、図１のイメージ信号プロセッサ１３０として適用される。

図１４を参照すると、イメージ信号プロセッサ１３０ｂは、バッドピクセル校正ロジック２０、リモザイクロジック４０、ノイズ低減ロジック１０、及びゲイン算出器３０を含む。非制限的な例として、バッドピクセル校正ロジック２０、リモザイクロジック４０、及びノイズ低減ロジック１０はハードウェアによって具現され、ゲイン算出器３０はファームウェアによって具現される。

イメージ信号プロセッサ１３０ｂに入力される第１イメージデータＩＤＴ１は、ベイヤーパターンではない他のパターンを有する。例えば、第１イメージデータＩＤＴ１は、図１５Ａのテトラパターン（ｔｅｔｒａ ｐａｔｔｅｒｎ）、図１５Ｂのノナパターン（ｎｏｎａ ｐａｔｔｅｒｎ）、又は図１５Ｃのヘキサデカパターン（ｈｅｘａｄｅｃａ ｐａｔｔｅｒｎ）を有する。テトラパターン、ノナパターン、及びヘキサデカパターンは、ベイヤーパターンの変形されたパターンである。

図１５Ａを参照すると、テトラパターンは、それぞれ２×２行列に配列された４個の第１グリーンピクセルＧｒ、４個のレッドピクセルＲ、４個のブルーピクセルＢ、及び４個の第２グリーンピクセルＧｂを含む。４個の第１グリーンピクセルＧｒ及び４個の第２グリーンピクセルＧｂが対角線方向に配され、４個のレッドピクセルＲ及び４個のブルーピクセルＢが対角線方向に配される。

図１５Ｂを参照すると、ノナパターンは、それぞれ３×３行列に配列された９個の第１グリーンピクセルＧｒ、９個のレッドピクセルＲ、９個のブルーピクセルＢ、及び９個の第２グリーンピクセルＧｂを含む。９個の第１グリーンピクセルＧｒ及び９個の第２グリーンピクセルＧｂが対角線方向に配され、９個のレッドピクセルＲ及び９個のブルーピクセルＢが対角線方向に配される。

図１５Ｃを参照すると、ヘキサデカパターンは、それぞれ４×４行列に配列された１６個の第１グリーンピクセルＧｒ、１６個のレッドピクセルＲ、１６個のブルーピクセルＢ、及び１６個の第２グリーンピクセルＧｂを含む。１６個の第１グリーンピクセルＧｒ及び１６個の第２グリーンピクセルＧｂが対角線方向に配され、１６個のレッドピクセルＲ及び１６個のブルーピクセルＢが対角線方向に配される。

再度図１４を参照すると、バッドピクセル校正ロジック２０が第１イメージデータＩＤＴ１に対してバッドピクセル校正を行った後、リモザイクロジック４０がバッドピクセル校正ロジック２０から出力されるイメージデータに対してリモザイク処理を行う。リモザイクロジック４０は、ベイヤーパターン以外のパターン（例えば、テトラパターン、ノナパターン、ヘキサデカパターンなど）を有するイメージデータをベイヤーパターンに変換する。

ノイズ低減ロジック１０は、ベイヤーパターンに変換されたイメージデータに対してノイズ低減処理を行い、ノイズが低減された第２イメージデータＩＤＴ２を出力する。第２イメージデータＩＤＴ２は、ベイヤーパターンを有する。

一実施形態において、バッドピクセル校正ロジック２０、リモザイクロジック４０、及びノイズ低減ロジック１０は、ゲイン算出器３０から提供されるゲインＧＮを基にバッドピクセル校正、リモザイク処理、及びノイズ低減処理を行う。

一実施形態において、バッドピクセル校正ロジック２０は方向性情報ＤＩをリモザイクモジュール４０及びノイズ低減モジュール１０に提供し、リモザイクモジュール４０は方向性情報ＤＩを基にリモザイクを行い、ノイズ低減モジュール１０は方向性情報ＤＩを基に特定ピクセルに対する一次元フィルタリングの遂行をスキップする。

図１６は、本発明の一実施形態によるイメージセンサの動作方法を示すフローチャートである。図１６の方法は図１のイメージセンサ１００で行われ、イメージセンサ１００について述べた内容は本実施形態に適用される。

図１及び図１６を参照すると、イメージセンサ１００は、イメージデータを生成する（段階Ｓ１１０）。リードアウト回路１２０がピクセルアレイ１１０から受信されるセンシング信号をアナログ・デジタル変換してイメージデータを生成する。

その後、イメージセンサ１００は、イメージデータに対してイメージ処理を行う。イメージセンサ１００は、イメージデータに対してバッドピクセル校正を行う（段階Ｓ１２０）。また、イメージセンサ１００は、イメージデータに対してノイズ低減処理を行う（段階Ｓ１３０）。一実施形態において、イメージデータがベイヤーパターン以外のパターンを有する場合、ノイズ低減処理の前にイメージデータに対してリモザイク処理が行われる。それにより、イメージデータがベイヤーパターンを有し、ベイヤーパターンのイメージデータに対してノイズ低減処理が行われる。

段階Ｓ１３０において、イメージデータに対して第１方向、例えば水平方向に一次元フィルタリングが行われる（段階Ｓ１３１）。その後、水平方向に一次元フィルタリングが行われたイメージデータに対して第２方向、例えば垂直方向に一次元フィルタリングが行われる（段階Ｓ１３２）。一実施形態において、他方向への一次元フィルタリングが更に行われる。一次元フィルタリングは一次元ガウシアンフィルタを基に行われ、垂直方向への一次元フィルタリング及び水平方向への一次元フィルタリングに利用される一次元ガウシアンフィルタは、同一であるか又は異なる。

ノイズ低減処理されたイメージデータは、外部プロセッサに提供される。しかし、それに制限されるものではなく、ノイズ低減処理されたイメージデータに対して他のイメージ処理が行われるか又はイメージデータに対して圧縮処理が行われ、他のイメージ処理又は圧縮処理されたイメージデータが外部プロセッサに提供される。

図１７Ａは、マルチカメラモジュールを含む電子装置のブロック図である。図１７Ｂは、図１７Ａのカメラモジュールの詳細ブロック図である。

図１７Ａを参照すると、電子装置１０００は、カメラモジュールグループ１１００、アプリケーションプロセッサ１２００、ＰＭＩＣ（ｐｏｗｅｒ ｍａｎａｇｅｍｅｎｔ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）１３００、及び外部メモリ１４００を含む。

カメラモジュールグループ１１００は、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）を含む。図面には、３個のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）が配された実施形態を図示しているが、本実施形態は、それに制限されるものではない。一実施形態において、カメラモジュールグループ１１００は、２個のカメラモジュールだけを含むように変形されて実施される。また、一実施形態において、カメラモジュールグループ１１００は、ｋ個（ｋは、４以上の自然数である）のカメラモジュールを含むように変形されて実施される。

以下、図１７Ｂを参照し、カメラモジュール（１１００ｂ）の詳細構成について更に具体的に説明するが、以下の説明は、一実施形態により、他のカメラモジュール（１１００ａ、１１００ｃ）についても同一に適用される。

図１７Ｂを参照すると、カメラモジュール１１００ｂは、プリズム１１０５、光学経路フォールディング要素（ＯＰＦＥ：ｏｐｔｉｃａｌ ｐａｔｈ ｆｏｌｄｉｎｇ ｅｌｅｍｅｎｔ）１１１０、アクチュエータ１１３０、イメージセンシング装置１１４０、及び保存部１１５０を含む。プリズム１１０５は、光反射物質の反射面１１０７を含み、外部から入射する光Ｌの経路を変形する。

一実施形態において、プリズム１１０５は、第１方向Ｘから入射する光Ｌの経路を第１方向Ｘに垂直である第２方向Ｙに変更する。また、プリズム１１０５は、光反射物質の反射面１１０７を、中心軸１１０６を中心にＡ方向に回転させるか、又は中心軸１１０６をＢ方向に回転させて第１方向Ｘから入射する光Ｌの経路を垂直である第２方向Ｙに変更する。このとき、ＯＰＦＥ１１１０も、第１方向Ｘ及び第２方向Ｙに垂直である第３方向Ｚに移動する。

一実施形態において、図示するように、プリズム１１０５のＡ方向の最大回転角度は、プラス（＋）Ａ方向には１５°以下であり、マイナス（－）Ａ方向には１５°よりも大きいが、本実施形態はそれに制限されるものではない。

一実施形態において、プリズム１１０５は、プラス（＋）Ｂ方向又はマイナス（－）Ｂ方向に２０°前後、又は１０°から２０°、又は１５°から２０°で動き、ここで、動く角度は、プラスＢ方向（＋）又はマイナス（－）Ｂ方向に同一角度で動くか、又は１°前後の範囲で略類似した角度まで動く。

一実施形態において、プリズム１１０５は、光反射物質の反射面１１０７を中心軸１１０６の延長方向に平行な第３方向（例えば、Ｚ方向）に移動する。

ＯＰＦＥ１１１０は、例えばｍ（ここで、ｍは、自然数である）個のグループからなる光学レンズを含む。ｍ枚のレンズは、第２方向Ｙに移動してカメラモジュール１１００ｂの光学ズーム倍率（ｏｐｔｉｃａｌ ｚｏｏｍ ｒａｔｉｏ）を変更する。例えば、カメラモジュール１１００ｂの基本光学ズーム倍率をＺとすると、ＯＰＦＥ１１１０に含まれるｍ枚の光学レンズを移動させる場合、カメラモジュール１１００ｂの光学ズーム倍率は、３Ｚ又は５Ｚ又は５Ｚ以上の光学ズーム倍率に変更される。

アクチュエータ１１３０は、ＯＰＦＥ１１１０又は光学レンズ（以下、光学レンズとする）を特定位置に移動する。例えば、アクチュエータ１１３０は、正確なセンシングのために、イメージセンサ１１４２が光学レンズの焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）に位置するように光学レンズの位置を調整する。

イメージセンシング装置１１４０は、イメージセンサ１１４２、制御ロジック１１４４、及びメモリ１１４６を含む。イメージセンサ１１４２は、光学レンズを介して提供される光Ｌを利用してセンシング対象のイメージをセンシングする。図１～図１７を参照して説明したイメージセンサ１００及びイメージセンサ１００の動作方法がイメージセンサ１１４２に適用される。イメージ信号プロセッサがイメージデータに対して複数の方向に連続して一次元フィルタリングを行うことにより、イメージデータのノイズが低減される。

制御ロジック１１４４は、カメラモジュール１１００ｂの全般的な動作を制御する。例えば、制御ロジック１１４４は、制御信号ラインＣＳＬｂを介して提供される制御信号によりカメラモジュール１１００ｂの動作を制御する。

メモリ１１４６は、校正データ１１４７のようなカメラモジュール１１００ｂの動作に必要な情報を保存する。校正データ１１４７は、カメラモジュール１１００ｂが外部から提供された光Ｌを利用してイメージデータを生成するのに必要な情報を含む。校正データ１１４７は、例えば回転度（ｄｅｇｒｅｅ ｏｆ ｒｏｔａｔｉｏｎ）に関する情報、焦点距離に関する情報、光学軸（ｏｐｔｉｃａｌ ａｘｉｓ）に関する情報などを含む。カメラモジュール１１００ｂが光学レンズの位置によって焦点距離が変わるマルチステート（ｍｕｌｔｉ ｓｔａｔｅ）カメラ形態に具現される場合、校正データ１１４７は、光学レンズの各位置別（又はステート別）の焦点距離値及びオートフォーカシング（ａｕｔｏ ｆｏｃｕｓｉｎｇ）に関する情報を含む。

保存部１１５０は、イメージセンサ１１４２を介してセンシングされたイメージデータを保存する。保存部１１５０は、イメージセンシング装置１１４０の外部に配され、イメージセンシング装置１１４０を構成するセンサチップにスタックされた形態で具現される。

一実施形態において、保存部１１５０は、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）によって具現されるが、本実施形態は、それに制限されるものではない。一実施形態において、イメージセンサ１１４２はピクセルアレイによって構成され、制御ロジック１１４４はアナログデジタルコンバータ（ａｎａｌｏｇ ｔｏ ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）及びセンシングされたイメージ処理のためのイメージ信号処理部を含む。

図１７Ａ及び図１７Ｂを共に参照すると、一実施形態において、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のそれぞれは、アクチュエータ１１３０を含む。それにより、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のそれぞれは、その内部に含まれるアクチュエータ１１３０の動作によるそれぞれ同一であるか又は異なる校正データ１１４７を含む。

一実施形態において、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のうちの例えば１つのカメラモジュール１１００ｂは、上述のプリズム１１０５及びＯＰＦＥ１１１０を含む屈曲レンズ（ｆｏｌｄｅｄ ｌｅｎｓ）形態のカメラモジュールであり、例えば残りのカメラモジュール（１１００ａ、１１００ｃ）は、プリズム１１０５及びＯＰＦＥ１１１０が含まれないバーティカル（ｖｅｒｔｉｃａｌ）形態のカメラモジュールであるが、本実施形態は、それに制限されるものではない。

一実施形態において、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のうちの例えば１つのカメラモジュール１１００ｃは、ＩＲ（ｉｎｆｒａｒｅｄ ｒａｙ）を利用して深さ（ｄｅｐｔｈ）情報を抽出するバーティカル形態のデプスカメラ（ｄｅｐｔｈ ｃａｍｅｒａ）である。その場合、アプリケーションプロセッサ１２００は、そのようなデプスカメラから提供されたイメージデータとは異なる例えばカメラモジュール（１１００ａ又は１１００ｂ）から提供されたイメージデータを併合して（ｍｅｒｇｅ）三次元デプスイメージ（３Ｄ ｄｅｐｔｈ ｉｍａｇｅ）を生成する。

一実施形態において、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のうちの例えば少なくとも２つのカメラモジュール（１１００ａ、１１００ｂ）は、互いに異なる観測視野（視野角）（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を有する。その場合、例えば複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のうちの例えば少なくとも２つのカメラモジュール（１１００ａ、１１００ｂ）の光学レンズは互いに異なるが、それに制限されるものではない。

また、一実施形態において、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のそれぞれの視野角はそれぞれ異なる。例えば、カメラモジュール１１００ａはウルトラワイド（ｕｌｔｒａｗｉｄｅ）カメラであり、カメラモジュール１１００ｂはワイド（ｗｉｄｅ）カメラであり、カメラモジュール１１００ｃはテレ（ｔｅｌｅ）カメラであるが、それに制限されるものではない。その場合、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のそれぞれに含まれる光学レンズもそれぞれ異なるが、それに制限されるものではない。

一実施形態において、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）の各々は、それぞれ物理的に分離されて配される。即ち、１つのイメージセンサ１１４２のセンシング領域を複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）が分割して使用するのではなく、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のそれぞれの内部に独立したイメージセンサ１１４２が配される。

再び図１７Ａを参照すると、アプリケーションプロセッサ１２００は、イメージ処理装置１２１０、メモリコントローラ１２２０、内部メモリ１２３０を含む。アプリケーションプロセッサ１２００は、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）から分離されて具現される。例えば、アプリケーションプロセッサ１２００と複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）とは、別途の半導体チップで互いに分離されて具現される。

イメージ処理装置１２１０は、複数のサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）、イメージ生成器１２１４、及びカメラモジュールコントローラ１２１６を含む。

イメージ処理装置１２１０は、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）の個数に対応する個数の複数のサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）を含む。

それぞれのカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）から生成されたイメージデータは、それぞれ分離されたイメージ信号ライン（ＩＳＬａ、ＩＳＬｂ、ＩＳＬｃ）を介して対応するサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）に提供される。例えば、カメラモジュール１１００ａから生成されたイメージデータはイメージ信号ラインＩＳＬａを介してサブイメージプロセッサ１２１２ａに提供され、カメラモジュール１１００ｂから生成されたイメージデータはイメージ信号ラインＩＳＬｂを介してサブイメージプロセッサ１２１２ｂに提供され、カメラモジュール１１００ｃから生成されたイメージデータはイメージ信号ラインＩＳＬｃを介してサブイメージプロセッサ１２１２ｃに提供される。そのようなイメージデータ伝送は、例えばＭＩＰＩ（ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ）に基づくカメラ直列インターフェース（ＣＳＩ：ｃａｍｅｒａ ｓｅｒｉａｌ ｉｎｔｅｒｆａｃｅ）を利用して行われるが、本実施形態は、それに制限されるものではない。

なお、一実施形態において、１つのサブイメージプロセッサが複数のカメラモジュールに対応するように配される。例えば、サブイメージプロセッサ１２１２ａ及びサブイメージプロセッサ１２１２ｃが、図示しているように互いに分離されて具現されるものではなく、１つのサブイメージプロセッサに統合されて具現され、カメラモジュール１１００ａ及びカメラモジュール１１００ｃから提供されたイメージデータは、選択素子（例えば、マルチプレクサ）などを介して選択された後、統合されたサブイメージプロセッサに提供される。このとき、サブイメージプロセッサ１２１２ｂは、統合されずにカメラモジュール１１００ｂからイメージデータが提供される。

そして、サブイメージプロセッサ１２１２ｂで処理されたイメージデータはイメージ生成器１２１４に即座に提供されるが、サブイメージプロセッサ１２１２ａで処理されたイメージデータとサブイメージプロセッサ１２１２ｃで処理されたイメージデータとは、選択素子（例えば、マルチプレクサ）などを介していずれか一つが選択された後、イメージ生成器１２１４に提供される。

それぞれのサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）は、カメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）から提供されたイメージデータに対してバッドピクセル補正、３Ａ（ａｕｔｏ－ｆｏｃｕｓ ｃｏｒｒｅｃｔｉｏｎ、ａｕｔｏ－ｗｈｉｔｅ ｂａｌａｎｃｅ、ａｕｔｏ－ｅｘｐｏｓｕｒｅ）調整、ノイズ除去（ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ）、シャープニング（ｓｈａｒｐｅｎｉｎｇ）、ガンマ調整（ｇａｍｍａ ｃｏｎｔｒｏｌ）、リモザイクのようなイメージ処理を行う。

一実施形態において、リモザイク信号処理は、それぞれのカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）で行われた後、サブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）に提供される。

それぞれのサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）で処理されたイメージデータは、イメージ生成器１２１４に提供される。イメージ生成器１２１４は、イメージ生成情報（ｇｅｎｅｒａｔｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）又はモード信号（ｍｏｄｅ ｓｉｇｎａｌ）に応じて、それぞれのサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）から提供されたイメージデータを利用して出力イメージを生成する。

具体的に、イメージ生成器１２１４は、イメージ生成情報又はモード信号に応じて、それぞれ異なる視野角を有するカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）から生成されたイメージデータのうちの少なくとも一部を併合して出力イメージを生成する。また、イメージ生成器１２１４は、イメージ生成情報又はモード信号に応じて、それぞれ異なる視野角を有するカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）から生成されたイメージデータのうちのいずれか一つを選択して出力イメージを生成する。

一実施形態において、イメージ生成情報は、ズーム信号（ｚｏｏｍ ｓｉｇｎａｌ又はｚｏｏｍ ｆａｃｔｏｒ）を含む。また、一実施形態において、モード信号は例えばユーザから選択されたモードに基づく信号である。

イメージ生成情報がズーム信号（ズームファクタ）であり、それぞれのカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）がそれぞれ異なる観測視野（視野角）を有する場合、イメージ生成器１２１４は、ズーム信号の種類によってそれぞれ異なる動作を遂行する。例えば、ズーム信号が第１信号である場合、サブイメージプロセッサ１２１２ａから出力されたイメージデータ及びサブイメージプロセッサ１２１２ｃから出力されたイメージデータのうち、サブイメージプロセッサ１２１２ａから出力されたイメージデータ及びサブイメージプロセッサ１２１２ｂから出力されたイメージデータを利用して出力イメージを生成する。ズーム信号が第１信号とは異なる第２信号である場合、イメージ生成器１２１４は、サブイメージプロセッサ１２１２ａから出力されたイメージデータ及びサブイメージプロセッサ１２１２ｃから出力されたイメージデータのうち、サブイメージプロセッサ１２１２ｃから出力されたイメージデータ及びサブイメージプロセッサ１２１２ｂから出力されたイメージデータを利用して出力イメージを生成する。ズーム信号が第１信号及び第２信号とは異なる第３信号である場合、イメージ生成器１２１４は、そのようなイメージデータ併合を行わず、それぞれのサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）から出力されたイメージデータのうちのいずれか一つを選択して出力イメージを生成する。しかし、本実施形態は、それらに制限されるものではなく、必要に応じてイメージデータを処理する方法は、多様に変形して実施することができる。

一実施形態において、イメージ処理装置１２１０は、サブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）の出力を選択してイメージ生成器１２１４に伝達する選択部を更に含む。

その場合、選択部は、ズーム信号又はズームファクタによってそれぞれ異なる動作を遂行する。例えば、選択部は、ズーム信号が例えば第４信号（ズーム倍率が第１倍率である）である場合、サブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）の出力のうちのいずれか一つを選択してイメージ生成器１２１４に伝達する。また、選択部は、ズーム信号が例えば第４信号とは異なる第５信号（ズーム倍率が第２倍率である）である場合、サブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）の出力のうちのｐ個（ｐは、２以上の自然数である）の出力を順次にイメージ生成器１２１４に伝達する。例えば、選択部は、サブイメージプロセッサ１２１２ｂ及びサブイメージプロセッサ１２１２ｃの出力を順次にイメージ生成器１２１４に伝達する。また、選択部は、サブイメージプロセッサ１２１２ａ及びサブイメージプロセッサ１２１２ｂの出力を順次にイメージ生成器１２１４に伝達する。イメージ生成器１２１４は、順次に提供されたｐ個の出力を併合して１つの出力イメージを生成する。

ここで、デモザイク（ｄｅｍｏｓａｉｃ）、ビデオ／プレビュー（ｖｉｄｅｏ／ｐｒｅｖｉｅｗ）解像度サイズのダウンスケーリング（ｄｏｗｎ ｓｃａｌｉｎｇ）、ガンマ補正、ＨＤＲ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ）処理のようなイメージ処理は、サブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）で事前に行われた後、処理されたイメージデータがイメージ生成器１２１４に伝達される。従って、処理されたイメージデータが選択部を介して１本の信号ラインでイメージ生成器１２１４に提供されても、イメージ生成器１２１４のイメージ併合動作は、高速に遂行される。

一実施形態において、イメージ生成器１２１４は、複数のサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）のうちの少なくとも一つから露出時間が異なる複数のイメージデータを受信し、複数のイメージデータに対してＨＤＲ処理を行うことにより、ダイナミックレンジが増大した併合されたイメージデータを生成する。

カメラモジュールコントローラ１２１６は、それぞれのカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）に制御信号を提供する。カメラモジュールコントローラ１２１６から生成された制御信号は、それぞれ分離された制御信号ライン（ＣＳＬａ、ＣＳＬｂ、ＣＳＬｃ）を介して対応するカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）に提供される。

複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のうちのいずれか一つはズーム信号を含むイメージ生成情報又はモード信号に応じて例えばマスター（ｍａｓｔｅｒ）カメラ１１００ｂに指定され、例えば残りのカメラモジュール（１１００ａ、１１００ｃ）はスレーブ（ｓｌａｖｅ）カメラに指定される。そのような情報は、制御信号に含まれ、それぞれ分離された制御信号ライン（ＣＳＬａ、ＣＳＬｂ、ＣＳＬｃ）を介して対応するカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）に提供される。

ズームファクタ又は動作モード信号に応じてマスター及びスレーブとして動作するカメラモジュールが変更される。例えば、カメラモジュール１１００ａの視野角がカメラモジュール１１００ｂの視野角よりも広くズームファクタが低いズーム倍率を示す場合、カメラモジュール１１００ｂがマスターとして動作し、カメラモジュール１１００ａがスレーブとして動作する。反対に、ズームファクタが高いズーム倍率を示す場合、カメラモジュール１１００ａがマスターとして動作し、カメラモジュール１１００ｂがスレーブとして動作する。

一実施形態において、カメラモジュールコントローラ１２１６からそれぞれのカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）に提供される制御信号は、シンクイネーブル（ｓｙｎｃ ｅｎａｂｌｅ）信号を含む。例えば、カメラモジュール１１００ｂがマスターカメラであり、カメラモジュール（１１００ａ、１１００ｃ）がスレーブカメラである場合、カメラモジュールコントローラ１２１６は、カメラモジュール１１００ｂにシンクイネーブル信号を伝送する。そのようなシンクイネーブル信号が提供されたカメラモジュール１１００ｂは、提供されたシンクイネーブル信号を基にシンク信号（ｓｙｎｃ ｓｉｇｎａｌ）を生成し、生成されたシンク信号を、シンク信号ラインＳＳＬを介してカメラモジュール（１１００ａ、１１００ｃ）に提供する。カメラモジュール１１００ｂ及びカメラモジュール（１１００ａ、１１００ｃ）は、そのようなシンク信号に同期化されてイメージデータをアプリケーションプロセッサ１２００に伝送する。

一実施形態において、カメラモジュールコントローラ１２１６から複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）に提供される制御信号は、モード信号によるモード情報を含む。そのようなモード情報に基づき、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）は、センシング速度に関連して第１動作モード及び第２動作モードで動作する。

複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）は、第１動作モードにおいて、例えば第１速度でイメージ信号を生成（第１フレームレートのイメージ信号を生成）し、それを例えば第１速度よりも速い第２速度でエンコーディング（第１フレームレートよりも速い第２フレームレートのイメージ信号をエンコーディング）し、エンコーディングされたイメージ信号をアプリケーションプロセッサ１２００に伝送する。このとき、第２速度は第１速度の３０倍以下である。

アプリケーションプロセッサ１２００は、受信されたイメージ信号、言い替えるとエンコーディングされたイメージ信号を内部に具備される内部メモリ１２３０又はアプリケーションプロセッサ１２００外部の外部メモリ１４００に保存し、その後内部メモリ１２３０又は外部メモリ１４００からエンコーディングされたイメージ信号を読み取ってデコーディングし、デコーディングされたイメージ信号に基づいて生成されたイメージデータをディスプレイする。例えば、イメージ処理装置１２１０の複数のサブプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）のうちの対応するサブプロセッサがデコーディングを行い、またデコーディングされたイメージ信号に対してイメージ処理を行う。

複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）は、第２動作モードにおいて、例えば第１速度よりも遅い第３速度でイメージ信号を生成（第１フレームレートよりも遅い第３フレームレートのイメージ信号を生成）し、イメージ信号をアプリケーションプロセッサ１２００に伝送する。アプリケーションプロセッサ１２００に提供されるイメージ信号は、エンコーディングされていない信号である。アプリケーションプロセッサ１２００は、受信されるイメージ信号に対してイメージ処理を行うか、或いはイメージ信号を内部メモリ１２３０又は外部メモリ１４００に保存する。

ＰＭＩＣ１３００は、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のそれぞれに電力、例えば電源電圧を供給する。例えば、ＰＭＩＣ１３００は、アプリケーションプロセッサ１２００の制御下で、パワー信号ラインＰＳＬａを介してカメラモジュール１１００ａに第１電力を供給し、パワー信号ラインＰＳＬｂを介してカメラモジュール１１００ｂに第２電力を供給し、パワー信号ラインＰＳＬｃを介してカメラモジュール１１００ｃに第３電力を供給する。

ＰＭＩＣ１３００は、アプリケーションプロセッサ１２００からの電力制御信号ＰＣＯＮに応答して、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のそれぞれに対応する電力を生成し、また電力レベルを調整する。電力制御信号ＰＣＯＮは、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）の動作モード別に電力調整信号を含む。例えば、動作モードは、低電力モード（ｌｏｗ ｐｏｗｅｒ ｍｏｄｅ）を含み、このとき電力制御信号ＰＣＯＮは、低電力モードで動作するカメラモジュール及び設定される電力レベルに関する情報を含む。複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のそれぞれに提供される電力のレベルは、それぞれ同一であるか又は異なる。また、電力レベルは動的に変更される。

図１８は、本発明の一実施形態によるイメージセンサを含む電子装置を示すブロック図である。図１８の電子装置２０００は、携帯用端末機である。

図１８を参照すると、電子装置２０００は、メインプロセッサ２１００、イメージセンサ２２００、ディスプレイ装置２６００、ワーキングメモリ２３００、保存部２４００、ユーザインターフェース２７００、及び無線送受信部２５００を含む。

メインプロセッサ２１００は、電子装置２０００の全般的な動作を制御し、応用プログラム、オペレーティングシステム（ＯＳ）などを駆動するシステムオンチップ（ＳｏＣ：ｓｙｓｔｅｍ－ｏｎ－ｃｈｉｐ）によって具現される。メインプロセッサ２１００は、イメージセンサ２２００から提供されるイメージデータをディスプレイ装置２６００に提供するか、或いは保存部２４００に保存する。一実施形態において、メインプロセッサ２１００は、イメージ処理回路を具備し、イメージセンサ２２００から受信されるイメージデータに対して画質調整、データフォーマット変更のようなイメージ処理を行う。

図１～図１７Ａ及び図１７Ｂを参照して説明したイメージセンサ１００がイメージセンサ２２００として適用される。イメージセンサ２２００はイメージ信号プロセッサ（ＩＳＰ）を含み、イメージ信号プロセッサ（ＩＳＰ）はイメージデータに対して複数の方向に連続して一次元フィルタリングを行う。それにより、イメージデータのノイズが低減される。

ワーキングメモリ２３００は、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）のような揮発性メモリ、又はＰＲＡＭ（ｐｈａｓｅ ｃｈａｎｇｅ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲｅＲＡＭ（ｒｅｓｉｓｔｉｖｅ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）のような不揮発性の抵抗性メモリによって具現される。保存部２４００に保存された運用プログラム又はアプリケーションプログラムなどがワーキングメモリ２３００にローディングされて実行される。また、電子装置２０００の動作中に生成されるデータがワーキングメモリ２３００に臨時保存される。

保存部２４００は、ＮＡＮＤフラッシュ、抵抗性メモリのような不揮発性メモリ装置によって具現され、例えば保存部２４００は、メモリカード（ＭＭＣ、ｅＭＭＣ、ＳＤ、ｍｉｃｒｏ ＳＤ）などによって提供される。保存部２４００は、イメージセンサ２２００から提供されるイメージデータを保存する。また、保存部２４００は、電子装置２０００の運用プログラム、アプリケーションプログラムなどを保存する。

ユーザインターフェース２７００は、キーボード、投影型キーパネル、タッチパネル、指紋センサ、マイクのような、ユーザ入力を受信することができる多様な装置によって具現される。ユーザインターフェース２７００は、ユーザ入力を受信し、受信されたユーザ入力に対応する信号をメインプロセッサ２１００に提供する。

無線送受信部２５００は、トランシーバ２５１０、モデム２５２０、及びアンテナ２５３０を含む。無線送受信部２５００は、外部装置と無線通信を行い、外部装置からデータを受信するか又は外部装置にデータを送信する。

以上で開示された１以上の要素は、論理回路を含むハードウェア、ソフトウェアを実行するプロセッサのようなハードウェア／ソフトウェアの組み合わせ、又はそれらの組み合わせのような１以上の処理回路を含むか、或いはそれらによって具現される。例えば、１以上の処理回路は、中央処理装置（ＣＰＵ）、算術論理装置（ＡＬＵ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、システムオンチップ（ＳｏＣ）、プログラマブルロジックユニット、マイクロプロセッサ、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）などを含む。

以上、図面を参照しながら本発明の実施形態について詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的思想から逸脱しない範囲で多様に変更実施することが可能である。

１０、１０ａ、１０ｂ ノイズ低減ロジック
１１ 第１フィルタリングモジュール（ＨＤ）
１２ 第２フィルタリングモジュール（ＶＤ）
１３ フィルタ設定モジュール
２０ バッドピクセル校正ロジック
３０ ゲイン算出器
４０ リモザイクロジック
１００、２２００ イメージセンサ
１１０ ピクセルアレイ
１２０ リードアウト回路
１３０、１３０ａ、１３０ｂ イメージ信号プロセッサ
２００ 外部プロセッサ
１０００、２０００ 電子装置
１１００ カメラモジュールグループ
１１００ａ～１１００ｃ カメラモジュール
１１１０ 光学経路フォールディング要素（ＯＰＦＥ）
１１０５ プリズム
１１０６ 中心軸
１１０７ 反射面
１１３０ アクチュエータ
１１４０ イメージセンシング装置
１１４２ イメージセンサ
１１４４ 制御ロジック
１１４６ メモリ
１１４７ 校正データ
１１５０ 保存部
１２００ アプリケーションプロセッサ
１２１０ イメージ処理装置
１２１２ａ～１２１２ｃ サブイメージプロセッサ
１２１４ イメージ生成器
１２１６ カメラモジュールコントローラ
１２２０ メモリコントローラ
１２３０ 内部メモリ
１３００ ＰＭＩＣ
１４００ 外部メモリ
２１００ メインプロセッサ
２３００ ワーキングメモリ
２４００ 保存部
２５００ 無線送受信部
２５１０ トランシーバ
２５２０ モデム
２５３０ アンテナ
２６００ ディスプレイ装置
２７００ ユーザインターフェース
Ｂ ブルーピクセル
Ｃ１～Ｃ５ 第１～第５係数
ＣＳＬａ～ＣＳＬｃ 制御信号ライン
ＤＩ 方向性情報
ＥＡ１～ＥＡ４ 第１～第４エッジ領域
ＥＡＲ エッジ領域
Ｇ０～ＧＮ ゲイン
Ｇｂ、Ｇｒ 第２、第１グリーンピクセル
ＩＤＴ イメージデータ
ＩＤＴ１、ＩＤＴ２ （第１、第２）イメージデータ
ＩＤＴｃ イメージデータ
ＩＤＴｉ 入力イメージデータ
ＩＤＴｏ 出力イメージデータ
ＩＦ＿ＧＮ ゲイン情報
ＩＦ＿Ｓ 設定情報
ＩＳＬａ～ＩＳＬｃ イメージ信号ライン
ＬＳ 光学レンズ
Ｐ＿Ｈ１～Ｐ＿Ｈ５ 第１～第５ピクセル
Ｐ＿Ｖ１～Ｐ＿Ｖ５ 第１～第５ピクセル
ＰＣＯＮ 電力制御信号
ＰＧ ピクセルグループ
ＰＧ＿Ｔ ターゲットピクセルグループ
ＰＧ１、ＰＧ２、ＰＧ３ 第１～第３ピクセルグループ
ＰＧａ、ＰＧｂ ピクセルグループ
ＰＳＬａ～ＰＳＬｃ パワー信号ライン
ＰＸ ピクセル
ＰＸ＿Ｔ ターゲットピクセル
Ｒ レッドピクセル
ＳＳＬ シンク信号ライン
Ｗ０～ＷＮ 加重値

Claims (20)

1. 受信される光信号を電気的信号に変換するピクセルアレイと、
   前記電気的信号をアナログ・デジタル変換してイメージデータを生成するリードアウト回路と、
   前記イメージデータに対して第１方向及び前記第１方向とは異なる第２方向にそれぞれ一次元フィルタリングを行って前記イメージデータのノイズを除去するイメージ信号プロセッサと、を備えることを特徴とするイメージセンサ。
2. 前記イメージ信号プロセッサは、前記第１方向又は前記第２方向に配された複数の同一色相のピクセルに一次元ガウシアンフィルタを適用することにより、前記一次元フィルタリングを行うことを特徴とする請求項１に記載のイメージセンサ。
3. 前記イメージ信号プロセッサは、Ｍ×Ｍ行列に配されたＭ^２個のピクセルを含むピクセルグループ単位で前記一次元フィルタリングを行い、前記Ｍ^２個のピクセルのそれぞれに対応するＭ^２個の一次元ガウシアンフィルタを基に、前記Ｍ^２個のピクセルのそれぞれに対して前記一次元フィルタリングを行うことを特徴とする請求項１に記載のイメージセンサ。
4. 前記一次元ガウシアンフィルタは、ガウシアン分布を有する複数の係数を含み、前記複数の係数のうちのフィルタリング対象ピクセルに適用される第１係数の値が最大であることを特徴とする請求項２に記載のイメージセンサ。
5. 前記イメージ信号プロセッサは、ゲイン値を基に前記一次元ガウシアンフィルタの強度を調整し、前記一次元ガウシアンフィルタの強度が増大するほど前記一次元ガウシアンフィルタに含まれる複数の係数のうちのフィルタリング対象ピクセルに適用される第１係数の値が低減することを特徴とする請求項２に記載のイメージセンサ。
6. 周辺照度が低いほど前記ゲイン値が増大して前記一次元ガウシアンフィルタの強度が上昇することを特徴とする請求項５に記載のイメージセンサ。
7. 前記イメージ信号プロセッサは、
   前記イメージデータに含まれるバッドピクセルのピクセル値を校正するバッドピクセル校正ロジックと、
   複数の一次元フィルタを基に前記イメージデータに対して前記第１方向及び前記第２方向に前記一次元フィルタリングを行って前記イメージデータのノイズを除去するノイズ低減ロジックと、を含むことを特徴とする請求項１に記載のイメージセンサ。
8. 前記ノイズ低減ロジックは、
   前記イメージデータに対して第１フィルタを基に前記第１方向に一次元フィルタリングを行う第１フィルタリングモジュールと、
   前記第１方向に一次元フィルタリングが行われたイメージデータに対して第２フィルタを基に前記第２方向に一次元フィルタリングを行う第２フィルタリングモジュールと、を含み、
   前記第１方向は、前記イメージデータの水平方向及び垂直方向のうちの一つであり、前記第２方向は、前記イメージデータの水平方向及び垂直方向のうちの他の一つであることを特徴とする請求項７に記載のイメージセンサ。
9. 前記ノイズ低減ロジックは、前記バッドピクセル校正ロジックからピクセルがエッジ領域に該当するか否かを示す方向性情報を受信し、前記方向性情報を基に前記ピクセルに対して前記第１方向への一次元フィルタリングの遂行又は前記第２方向への一次元フィルタリングの遂行をスキップするか否かを決定することを特徴とする請求項７に記載のイメージセンサ。
10. 前記イメージ信号プロセッサは、前記イメージデータのパターンをベイヤーパターンに変換するリモザイクロジックを更に含むことを特徴とする請求項７に記載のイメージセンサ。
11. 受信される光信号を電気的信号に変換するピクセルアレイと、
    前記電気的信号をアナログ・デジタル変換してイメージデータを生成するリードアウト回路と、
    一次元ガウシアンフィルタセットを基に前記イメージデータに対して複数の方向に連続して一次元フィルタリングを行うノイズ低減ロジックと、を備えることを特徴とするイメージセンサ。
12. 前記ノイズ低減ロジックは、前記イメージデータに対して第１方向に一次元フィルタリングを行った後第２方向に一次元フィルタリングを行い、
    前記第１方向は、前記イメージデータの水平方向であり、前記第２方向は、前記イメージデータの垂直方向であることを特徴とする請求項１１に記載のイメージセンサ。
13. 前記ノイズ低減ロジックは、前記一次元ガウシアンフィルタセットに具備されるＭ^２個の一次元ガウシアンフィルタを基に、Ｍ×Ｍ行列に配されたＭ^２個のピクセルを含むピクセルグループ単位で前記イメージデータに対して前記一次元フィルタリングを行うことを特徴とする請求項１１に記載のイメージセンサ。
14. 前記ノイズ低減ロジックは、基準係数値及びゲイン値のそれぞれに対して設定された加重値を基に設定された第１ゲインに対して、前記Ｍ^２個の一次元ガウシアンフィルタのそれぞれに具備される複数の係数の係数値を算出することを特徴とする請求項１３に記載のイメージセンサ。
15. 前記ノイズ低減ロジックは、前記イメージデータに対してバッドピクセル校正を行うバッドピクセル校正ロジックを更に含むことを特徴とする請求項１１に記載のイメージセンサ。
16. 信号処理プロセッサを含むイメージセンサの動作方法であって、
    ピクセルアレイに受信された光信号を基にイメージデータを生成する段階と、
    前記信号処理プロセッサが、前記イメージデータに対して第１ガウシアンフィルタを基に第１方向への一次元フィルタリングを行う段階と、
    前記信号処理プロセッサが、前記イメージデータに対して第２ガウシアンフィルタを基に前記第１方向とは異なる第２方向への一次元フィルタリングを行う段階と、を有することを特徴とするイメージセンサの動作方法。
17. 前記信号処理プロセッサが、前記イメージデータに対してバッドピクセル校正を行う段階を更に含むことを特徴とする請求項１６に記載のイメージセンサの動作方法。
18. 前記信号処理プロセッサが、前記バッドピクセル校正を行う段階で生成されたピクセルの方向性情報を基に前記第１方向への一次元フィルタリング及び／又は前記第２方向への一次元フィルタリングの遂行をスキップするか否かを決定することを特徴とする請求項１７に記載のイメージセンサの動作方法。
19. 前記信号処理プロセッサが、ゲイン値を基に前記第１ガウシアンフィルタ及び前記第２ガウシアンフィルタのそれぞれに具備される複数の係数値を設定する段階を更に含むことを特徴とする請求項１６に記載のイメージセンサの動作方法。
20. 前記第１方向への一次元フィルタリングが行われる前に、前記イメージデータをベイヤーパターンのイメージデータに変換するリモザイク処理を行う段階を更に含むことを特徴とする請求項１６に記載のイメージセンサの動作方法。
    
    

Images