JP4302391B2 - 画素補間装置及び画素補間方法並びにデジタルカメラ - Google Patents
画素補間装置及び画素補間方法並びにデジタルカメラ Download PDFInfo
- Publication number
- JP4302391B2 JP4302391B2 JP2002345009A JP2002345009A JP4302391B2 JP 4302391 B2 JP4302391 B2 JP 4302391B2 JP 2002345009 A JP2002345009 A JP 2002345009A JP 2002345009 A JP2002345009 A JP 2002345009A JP 4302391 B2 JP4302391 B2 JP 4302391B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- data
- pixel data
- interpolation
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 43
- 238000011156 evaluation Methods 0.000 claims description 103
- 238000005070 sampling Methods 0.000 claims description 49
- 238000001514 detection method Methods 0.000 claims description 27
- 238000012935 Averaging Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 23
- 230000015654 memory Effects 0.000 description 6
- 230000000717 retained effect Effects 0.000 description 5
- 230000001174 ascending effect Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 101000710013 Homo sapiens Reversion-inducing cysteine-rich protein with Kazal motifs Proteins 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画素補間装置及び画素補間方法に関する。
【０００２】
【従来の技術】
デジタルカメラに搭載されるＣＣＤセンサやＣＭＯＳセンサなどの撮像センサにおいては、入射光を着色するために受光素子上に色フィルタアレイが形成されている。単板の撮像センサを搭載するデジタルカメラの場合、受光素子上には、各画素に一対一対応する色フィルタが配列しており、撮像センサの出力信号は各画素に単色成分のみを有するため、フルカラーの画像データを得るには各画素に不足している色成分を補間するいわゆる画素補間処理を行う必要がある。例えば、Ｒ（赤），Ｇ（緑），Ｂ（青）の原色系の色フィルタからなる色フィルタアレイを採用した場合、Ｒ成分のみを有する画素に対しては、周辺画素を参照して不足しているＧ成分及びＢ成分を画素補間しなければならない。この種の画素補間方法としてはバイリニア補間法やバイキュービック補間法などが周知技術である。
【０００３】
しかしながら、この種の画素補間処理によって、本来存在しない偽色信号やドットノイズと称する信号が発生するという周知の問題がある。偽色信号を低減する従来技術は、例えば特許文献１（特開２００１−８０３７号公報）及び特許文献２（特開２０００−１６５８９２号公報）に開示されており、ドットノイズを低減する従来技術は、例えば許文献３（特開２００１−５４１２５号公報）に開示されている。
【０００４】
【特許文献１】
特開２００１−８０３７号公報
【特許文献２】
特開２０００−１６５８９２号公報
【特許文献３】
特開２００１−０５４１２５号公報
【０００５】
【発明が解決しようとする課題】
従来の画素補間方法では、上記偽色信号やドットノイズを低減するためには演算量の増大及びメモリ使用量の増大が避けられなかった。これらは、回路規模の増大や電力消費量の増加、製造コストの上昇を招いてしまう。
【０００６】
以上の状況に鑑みて本発明の目的は、比較的簡易な構成及び方法で、ドットノイズ及び偽色信号などの画質劣化を抑制し得る画素補間装置及び画素補間方法を提供する点にある。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、第１の発明は、各画素に単一の色成分を有する入力画像データを、各画素に複数種の色成分を有するカラー画像データに変換する画素補間装置であって、前記入力画像データのうち着目画素を含む所定のサンプリング範囲の画素データを保持するレジスタ群と、前記サンプリング範囲内に設定されている複数のブロック領域における前記画素データを用いて各前記ブロック領域の明るさを規定する評価値を算出する評価値算出部と、前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記ブロック領域の中から参照領域を選択する領域選択部と、前記領域選択部で選択された前記参照領域内の前記画素データを用いて当該着目画素に欠けている色成分を補間する補間部と、を備え、前記評価値算出部は、各前記ブロック領域内の全ての前記画素データの値を加算した加算値を用いて前記評価値を算出し、前記領域選択部は、前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択するソート回路と、前記ソート回路で選択された前記参照領域内の前記画素データを前記レジスタ群から取り込み前記補間部に与えるデータ選択回路と、を備え、前記補間部は、前記参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間することを特徴としている。
【００１１】
第２の発明は、各画素に単一の色成分を有する入力画像データを、各画素に複数種の色成分を有するカラー画像データに変換する画素補間装置であって、前記入力画像データのうち着目画素を含む所定のサンプリング範囲の画素データを保持するレジスタ群と、前記サンプリング範囲内に設定されている複数のブロック領域における前記画素データを用いて各前記ブロック領域の明るさを規定する評価値を算出する評価値算出部と、前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記ブロック領域の中から参照領域を選択する領域選択部と、前記領域選択部で選択された前記参照領域内の前記画素データを用いて当該着目画素に欠けている色成分を補間する補間部と、を備え、前記評価値算出部は、各前記ブロック領域内の全ての前記画素データの値を加算した加算値を用いて前記評価値を算出し、前記領域選択部は、前記評価値間の大小関係を算出するソート回路と、前記ソート回路で算出された前記大小関係に基づいて当該サンプリング範囲の輝度パターンを検出する検出回路と、当該輝度パターンに応じて、前記画素データを前記レジスタ群から選択的に取り込むデータ選択回路と、を備えており、前記検出回路は、前記輝度パターンとして、高輝度領域のエッジの種類を検出する機能を有し、前記補間部は、当該輝度パターンに応じて、前記データ選択回路で取り込まれた前記画素データを用いて当該着目画素に欠けている色成分を補間する補間部であって、前記エッジの種類が検出された場合は、当該着目画素に対して当該エッジの方向に配列し且つ輝度成分を主体とする同種の色成分を平均化することで当該着目画素に欠けている色成分を補間し、前記エッジの種類が検出されない場合は、前記評価値間の大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択し、当該参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間する機能を有することを特徴としている。
【００１３】
第３の発明では、第１または第２の発明の画素補間装置において、前記レジスタ群は、３行３列の前記サンプリング範囲の前記画素データを保持する。
【００１４】
そして、第４の発明は、第１〜第３の発明のうち何れかの画素補間装置を搭載したデジタルカメラである。
【００１５】
次に、第５の発明は、各画素に単一の色成分を有する入力画像データを、各画素に複数種の色成分を有するカラー画像データに変換する画素補間方法であって、（ａ）前記入力画像データのうち所定のサンプリング範囲の画素データを保持する工程と、（ｂ）前記サンプリング範囲内に設定されている複数のブロック領域における前記画素データを用いて各前記ブロック領域の明るさを規定する評価値を算出する工程と、（ｃ）前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記ブロック領域の中から参照領域を選択する工程と、（ｄ）前記工程（ｃ）で選択された前記参照領域内の前記画素データを用いて当該着目画素に欠けている成分を補間する工程と、を備え、前記工程（ｂ）は、各前記ブロック領域内の全ての前記画素データの値を加算した加算値を用いて前記評価値を算出する工程を含み、前記工程（ｃ）は、前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択する工程を含み、前記工程（ｄ）は、前記参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間する工程を含むことを特徴としている。
【００１９】
第６の発明は、各画素に単一の色成分を有する入力画像データを、各画素に複数種の色成分を有するカラー画像データに変換する画素補間方法であって、（ａ）前記入力画像データのうち所定のサンプリング範囲の画素データを保持する工程と、（ｂ）前記サンプリング範囲内に設定されている複数のブロック領域における前記画素データを用いて各前記ブロック領域の明るさを規定する評価値を算出する工程と、（ｃ）前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記ブロック領域の中から参照領域を選択する工程と、（ｄ）前記工程（ｃ）で選択された前記参照領域内の前記画素データを用いて当該着目画素に欠けている成分を補間する工程と、を備え、前記工程（ｂ）は、各前記ブロック領域内の全ての前記画素データの値を加算した加算値を用いて前記評価値を算出する工程を含み、前記工程（ｃ）は、（ｃ−１）前記評価値間の大小関係を算出する工程と、（ｃ−２）前記工程（ｃ−１）で算出された前記大小関係に基づいて当該サンプリング範囲の輝度パターンを検出する工程と、（ｃ−３）前記工程（ｃ−２）で検出された当該輝度パターンに応じて、前記工程（ａ）で保持した前記画素データを選択的に取り込む工程と、を備えており、前記工程（ｃ−２）は、前記輝度パターンとして、高輝度領域のエッジの種類を検出する工程を含み、前記工程（ｄ）は、当該輝度パターンに応じて、前記工程（ｃ−３）で取り込まれた前記画素データを用いて当該着目画素に欠けている色成分を補間する工程であって、前記工程（ｃ−２）で前記エッジの種類が検出された場合は、当該着目画素に対して当該エッジの方向に配列し且つ輝度成分を主体とする同種の色成分を平均化することで当該着目画素に欠けている前記色成分を補間し、前記工程（ｃ−２）で前記エッジの種類が検出されない場合は、前記評価値間の大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択し、当該参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間する工程を含むことを特徴としている。
【００２１】
そして、第７の発明では、第５または第６の発明の画素補間方法において、前記工程（ａ）は、３行３列の前記サンプリング範囲の前記画素データを保持する工程を含む。
【００２２】
【発明の実施の形態】
以下、本発明の種々の実施形態について説明する。
【００２３】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画素補間装置１を概略的に示すブロック図である。この画素補間装置１は、ＲＡＷデータ（入力画像データ）を３×３画素の範囲（以下、サンプリング範囲と呼ぶ。）で保持するレジスタ群１０と、ＦＩＦＯ（First-In First-Out）メモリ１１，１２と、処理部１３とを備えて構成されている。本実施形態では、画素補間装置１は、単板のＣＣＤセンサやＣＭＯＳセンサなどの撮像センサを搭載したデジタルカメラに組み込まれ、その撮像センサは、原色系（ＲＧＢ系）のベイヤー配列の色フィルタアレイを有するものとする。
【００２４】
レジスタ群１０は、タイミング・ジェネレータ（図示せず）から供給されたクロック信号（図示せず）に同期して、画素単位で入力する８ビットのＲＡＷデータを順次シフトさせつつ保持する９個のレジスタ２０Ａ〜２０Ｉを備えており、レジスタ２０Ａ〜２０Ｉの各々が１画素データを保持する。レジスタ群１０は、３組のシフトレジスタ２０Ａ〜２０Ｃ、２０Ｄ〜２０Ｆ及び２０Ｇ〜２０Ｉを備えており、第１のシフトレジスタ２０Ａ〜２０Ｃと第２のシフトレジスタ２０Ｄ〜２０Ｆとの間にＦＩＦＯメモリ１１が介在し、第２のシフトレジスタ２０Ｄ〜２０Ｆと第３のシフトレジスタ２０Ｇ〜２０Ｉとの間にＦＩＦＯメモリ１２が介在している。この構成によって、レジスタ群１０は、２次元配列の画像データであるＲＡＷデータの中の３行３列のサンプリング範囲の画素データを保持することになる。
【００２５】
また、レジスタ２０Ａ〜２０Ｉが出力した画素データＤA〜ＤIは、処理部１３に入力させられている。この処理部１３は、入力する画素データＤA〜ＤIを用いて後述する画素補間処理を実行し、その結果、着目画素に関して、Ｒ成分の８ビット信号、Ｇ成分の８ビット信号及びＢ成分の８ビット信号を並列に出力する。
【００２６】
図２は、レジスタ群１０に記憶される３行３列の保持データ２１を模式的に示す図である。この保持データ２１は画素データＤA〜ＤIから構成されており、画素データＤA，ＤB，ＤC，ＤD，ＤE，ＤF，ＤG，ＤH及びＤIはそれぞれ画素値Ｐ（０，０），Ｐ（０，１），Ｐ（０，２），Ｐ（１，０），Ｐ（１，１），Ｐ（１，２），Ｐ（２，０），Ｐ（２，１）及びＰ（２，２）を有する。なお、この明細書において「画素値」とは、Ｒ成分、Ｇ成分またはＢ成分のうち何れかのｋビット階調（２k階調）値を意味する（ｋは２以上の整数）。
【００２７】
図３は、上記処理部１３の構成を概略的に示すブロック図である。この処理部１３は、評価値算出部３０、領域選択部３１及び補間部３２を備えている。評価値算出部３０は、第１〜第４加算器３０ａ〜３０ｄを備えて構成される。上記サンプリング範囲には４つのブロック領域が設定されており、第１加算器３０ａは、第１のブロック領域における画素データＤA，ＤB及びＤDを加算して得た評価データＤＳ１を出力し、第２加算器３０ｂは、第２のブロック領域における画素データＤB，ＤC及びＤFを加算して得た評価データＤＳ２を出力し、第３加算器３０ｃは、第３のブロック領域における画素データＤD，ＤG及びＤHを加算して得た評価データＤＳ３を出力し、第４加算器３０ｄは、第４のブロック領域における画素データＤF，ＤH及びＤIを加算して得た評価データＤＳ４を出力する。
【００２８】
また図４に、前記第１〜第４のブロック領域の保持データ２１Ａ〜２１Ｄを模式的に示す。第１のブロック領域は、サンプリング範囲の左上方に設定され、画素値Ｐ（０，０），Ｐ（０，１）及びＰ（１，０）を持つ保持データ２１Ａを含み、第２のブロック領域は、サンプリング範囲の右上方に設定され、画素値Ｐ（０，１），Ｐ（０，２）及びＰ（１，２）を持つ保持データ２１Ｂを含み、第３のブロック領域は、サンプリング範囲の左下方に設定され、画素値Ｐ（１，０），Ｐ（２，０）及びＰ（２，１）を持つ保持データ２１Ｃを含み、第４のブロック領域は、サンプリング範囲の右下方に設定され、画素値Ｐ（１，２），Ｐ（２，１）及びＰ（２，２）を持つ保持データ２１Ｄを含む。サンプリング範囲中心の着目画素の値Ｐ（１，１）は、これら第１〜第４のブロック領域から除外されている。
【００２９】
また上記評価データＤＳ１〜ＤＳ４が持つ評価値（加算値）Ｓ１〜Ｓ４は、各ブロック領域の明るさを規定する量であり、次式（１）に基づいて算出される。
【００３０】
【数１】
【００３１】
なお、本実施形態では、評価値Ｓ１〜Ｓ４として画素値の加算値を採用するが、本発明ではこの限りでは無く、前記加算値を用いた量、例えば平均値を採用してもよい。
【００３２】
また領域選択部３１は、ソート回路３３とデータ選択回路３４とを備えている。ソート回路３３は、評価値算出部３０から並列に入力する評価データＤＳ１〜ＤＳ４を昇順または降順にソートして、評価値Ｓ１〜Ｓ４間の大小関係を算出する。次に、ソート回路３３は、上記第１〜第４のブロック領域の中から、評価値Ｓ１〜Ｓ４の中で中央の値（メディアン）に近い評価値を持つ参照領域を２個選択し、その選択結果を示す選択制御データＳＲをデータ選択回路３４に出力する。データ選択回路３４には、上記レジスタ群１０が出力した画素データＤA〜ＤIが入力している。このデータ選択回路３４は、ソート回路３３から入力した選択制御データＳＲに従って、ソート回路３３で選択された２個の参照領域内の画素データのみを選択し、選択データＳＤ１〜ＳＤ６として補間部３２に出力する。
【００３３】
そして補間部３２は、入力する選択データＳＤ１〜ＳＤ６を用いて当該着目画素に欠けている色成分を補間し、その結果、Ｒ成分、Ｇ成分及びＢ成分の画像信号を出力する。
【００３４】
以上の構成を有する画素補間装置１による画素補間処理の例を、図５のフローチャートを参照しつつ以下に説明する。図６は、ベイヤー配列の色フィルタアレイを持つ撮像センサが出力したＲＡＷデータの画素配列を模式的に示す図である。図示する通り、このＲＡＷデータは、Ｒ，Ｇ，Ｒ，Ｇ，…，Ｇ，Ｂ，Ｇ，Ｂ，…の色成分の画素配列を有している。
【００３５】
先ずステップＳＴ１では、図１に示すレジスタ群１０が、画素単位で入力するＲＡＷデータ（図６）のうちサンプリング範囲の画素データＤA〜ＤIを保持する。次いで、図３に示す評価値算出部３０が、レジスタ群１０から取り込んだ画素データＤA〜ＤIを用いて、サンプリング範囲に設定された第１〜第４のブロック領域の評価値Ｓ１〜Ｓ４を算出する（ステップＳＴ２）。評価値算出部３０は、評価値Ｓ１〜Ｓ４をそれぞれ持つ評価データＤＳ１〜ＤＳ４を領域選択部３１のソート回路３３に出力する。
【００３６】
次に、ソート回路３３が、評価データＤＳ１〜ＤＳ４を降順にソートして、評価値Ｓ１〜Ｓ４の大小関係を算出する（ステップＳＴ３）。本例での大小関係は、Ｓ３＞Ｓ１＞Ｓ２＞Ｓ４、である。次に、ソート回路３３は、第１〜第４のブロック領域の中から、複数の評価値の中で中央の値（メディアン）に近い評価値を持つ参照領域を２個選択する（ステップＳＴ４）。本例では、４つの評価値Ｓ１〜Ｓ４の中で中央の値に最も近い評価値と次に近い評価値とを持つ第１及び第２のブロック領域が参照領域として選択される。
【００３７】
次の補間処理（ステップＳＴ５）では、データ選択回路３４が、第１及び第２のブロック領域の画素データＤA，ＤB，ＤC，ＤD及びＤFを選択データＳＤ１〜ＳＤ５として補間部３２に出力した後、補間部３２は、バイリニア補間法あるいは最隣接補間法で画素補間を実行する。
【００３８】
図７及び図８は、前記画素補間（ステップＳＴ５）を説明するための図であり、サンプリング範囲の保持データ２１の画素配列を模式的に示している。図７に示すように、着目画素がＲ成分のみを有する場合、補間部３２は、この着目画素に対して上方及び左右方向に隣接する３画素のＧ成分を平均化することで不足のＧ成分を補間（バイリニア補間）すると共に、この着目画素に対して斜め上方に隣接する２画素のＢ成分を平均化することで不足のＢ成分を補間（バイリニア補間）する。他方、図８に示すように、着目画素がＧ成分のみを有する場合は、補間部３２は、この着目画素に対して左右方向に隣接する２画素のＲ成分を平均化することで不足のＲ成分を補間（バイリニア補間）すると共に、この着目画素に対して上方のＢ成分で不足のＢ成分を補間（最隣接補間）する。
【００３９】
以上の画素補間処理によって、補間部３２は１画素のＲＧＢの画像信号を出力する。なお、補間部３２から出力されたＲＧＢの画像信号に輪郭強調処理を施すことで、画質を向上させてもよい。
【００４０】
このように第１の実施形態に係る画素補間装置１及び画素補間方法によれば、少ない演算量で、偽色信号やドットノイズなどの画質劣化を効果的に抑制し得る画素補間処理を実行することが可能である。また、小回路規模の画素補間装置１を低コストで製造でき、低消費電力で画素補間処理を実行することができる。しかも、３×３画素の小さなサンプリング範囲を採用しても画質劣化を効果的に抑制できることから、ＦＩＦＯメモリ１１，１２の数が２本で済むため、回路規模と電力消費量と製造コストとを抑えることができる。
【００４１】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本実施形態に係る画素補間装置は、処理部１３の構成を除いて、図１に示した画素補間装置１と同じ構成を有する。図９は、第２の実施形態に係る処理部１３Ａの構成を模式的に示す図である。図９に示す構成要素のうち、図３に示した符号と同一符号を付されたものは、図３に示した構成要素と同じ構成を有するためその詳細な説明を省略する。
【００４２】
この処理部１３Ａは、評価値算出部３０、領域選択部４０及び補間部４４を備えている。評価値算出部３０は第１〜第４加算器３０ａ〜３０ｄを備えており、上述した第１〜第４のブロック領域における画素データを加算して得た評価データＤＳ１〜ＤＳ４を領域選択部４０に出力する。
【００４３】
また領域選択部４０は、ソート回路４１と検出回路４２とデータ選択回路４３とを備えている。ソート回路４１は、評価値算出部３０から並列に入力する評価データＤＳ１〜ＤＳ４を昇順または降順にソートして、評価値Ｓ１〜Ｓ４間の大小関係を算出する。またソート回路４１は、評価データＤＳ１〜ＤＳ４を昇順または降順に並べ替えたデータＭ１〜Ｍ４と、前記大小関係を示すソート情報ＳＲＴとを検出回路４２に出力する。
【００４４】
また検出回路４２は、後述する方法に従って、前記ソート情報ＳＲＴに基づいてサンプリング範囲のＲＡＷデータの輝度パターンを検出し、その検出結果である検出データＤＲ０，ＤＲ１をデータ選択回路４３と補間部４４とに出力する。本実施の形態では、前記輝度パターンとして後述する高輝度領域のエッジ（縁部）の種類が検出される。
【００４５】
データ選択回路４３は、検出回路４２から入力する検出データＤＲ０により、検出された輝度パターンに応じて、レジスタ群１０から入力する画素データＤA〜ＤIを選択的に取り込み、選択データＳＤ１〜ＳＤ５として補間部４４に出力する。そして、補間部４４は、検出回路４２から入力する検出データＤＲ１により、検出された輝度パターンに応じて、選択データＳＤ１〜ＳＤ５を用いて当該着目画素に欠けている色成分を補間し、その結果、Ｒ成分、Ｇ成分及びＢ成分の画像信号を出力する。
【００４６】
以上の構成を有する処理部１３Ａを備えた画素補間装置による画素補間処理の例を、図１０のフローチャートを参照しつつ以下に説明する。
【００４７】
先ずステップＳＴ１では、図１に示すレジスタ群１０が、画素単位で入力するＲＡＷデータ（図６）のうちサンプリング範囲の画素データＤA〜ＤIを保持する。次いで、図９に示す評価値算出部３０が、レジスタ群１０から取り込んだ画素データＤA〜ＤIを用いて、サンプリング範囲に設定されている第１〜第４のブロック領域の評価値Ｓ１〜Ｓ４を算出する（ステップＳＴ２）。評価値算出部３０は、評価値Ｓ１〜Ｓ４をそれぞれ持つ評価データＤＳ１〜ＤＳ４を領域選択部４０のソート回路４１に出力する。
【００４８】
次に、ソート回路４１が、評価データＤＳ１〜ＤＳ４を降順にソートして評価値Ｓ１〜Ｓ４の大小関係を算出する（ステップＳＴ３）。このときソート回路４１は、評価データＤＳ１〜ＤＳ４を降順に並べ替えたデータＭ１〜Ｍ４と、ソート情報ＳＲＴとを検出回路４２に出力する。
【００４９】
次に、検出回路４２は、ソート情報ＳＲＴに基づいてサンプリング範囲の輝度パターンを検出する検出処理を行う（ステップＳＴ１０）。本例の検出回路４２が検出し得る輝度パターンを図１１〜図１８に示す。図１１〜図１８に示す例では、着目画素で輝度成分を主体とするＧ成分が不足しており、保持データ２１に対する画像の高輝度領域４５とそれ以外の低輝度領域とが示されている。なお、図１１〜図１８は、着目画素がＲ成分のみを有する場合を示しているが、着目画素がＢ成分のみを有する場合も同様に検出可能である。
【００５０】
図１１〜図１４に示すように、高輝度領域４５のエッジの方向が略水平方向に向くとき、当該エッジ４５ｈは「横エッジ」と呼ばれ、図１５〜図１８に示すように、エッジの方向が略垂直方向に向くとき、当該エッジ４５ｖは「縦エッジ」と呼ばれる。また、図１１及び図１２は、高輝度領域４５がサンプリング範囲の上方に位置する場合を、図１３及び図１４は、高輝度領域４５がサンプリング範囲の下方に位置する場合を、図１５及び図１６は、高輝度領域４５がサンプリング範囲の左方に位置する場合を、図１７及び図１８は、高輝度領域４５がサンプリング範囲の右方に位置する場合を、それぞれ表している。
【００５１】
検出回路４２は、評価値Ｓ１〜Ｓ４に関して次式（２Ａ）の大小関係を満たすソート情報ＳＲＴを受けた場合に、サンプリング範囲上方の高輝度領域の横エッジ５４ｈ（図１１または図１２）を検出する。
【００５２】
【数２】
【００５３】
ここで、上式（２Ａ）中、演算子ｍｉｎ｛ｘ，ｙ｝は、入力変数ｘ，ｙのうち値が小さい方の変数を出力し、演算子ｍａｘ｛ｘ，ｙ｝は、入力変数ｘ，ｙのうち値が大きい方の変数を出力する。変数ｘ，ｙが同じ値を持つ場合は、変数ｘが出力される。
【００５４】
また検出回路４２は、次式（２Ｂ）の大小関係を満たすソート情報ＳＲＴを受けた場合に、サンプリング範囲下方の高輝度領域の横エッジ４５ｈ（図１３または図１４）を検出する。
【００５５】
【数３】
【００５６】
また検出回路４２は、次式（３Ａ）の大小関係を満たすソート情報ＳＲＴを受けた場合に、サンプリング範囲左方の縦エッジ４５ｖ（図１５または図１６）を検出する。
【００５７】
【数４】
【００５８】
そして検出回路４２は、次式（３Ｂ）の大小関係を満たすソート情報ＳＲＴを受けた場合に、サンプリング範囲右方の高輝度領域の縦エッジ４５ｖ（図１７または図１８）を検出する。
【００５９】
【数５】
【００６０】
次いで、ステップＳＴ１０ａの条件分岐処理において、上記ステップＳＴ１０で検出した検出パターンの種類に応じた補間処理（ステップＳＴ１１〜ＳＴ１５、ＳＴ４，ＳＴ５）が選択される。
【００６１】
着目画素にＧ成分が不足しており、且つ図１１及び図１２に示す横エッジ４５ｈが検出された場合（Ｉ＝１）、ステップＳＴ１０ａからステップＳＴ１１に処理が移行する。ここで、データ選択回路４３は、検出データＤＲ０に基づいて、当該着目画素に対して左右方向に隣接する２画素のＧ成分を選択して補間部４４に供給し、補間部４４は、検出データＤＲ１に基づいて、これら２画素のＧ成分を平均化することで不足のＧ成分を補間する。数式で表現すれば、補間されるＧ成分の画素値ＩＰGについて、ＩＰG＝（Ｐ（１，０）＋Ｐ（１，２））／２、が成立する。次いで、補間部４４は、着目画素に不足しているＲ成分またはＢ成分をバイリニア補間法などで補間する（ステップＳＴ１５）。
【００６２】
また、着目画素にＧ成分が不足しており、且つ図１３及び図１４に示す横エッジ４５ｈが検出された場合は（Ｉ＝２）、ステップＳＴ１０ａからステップＳＴ１２に処理が移行し、上記ステップＳＴ１１と同じ処理が実行された後に、上記ステップＳＴ１５の処理が実行される。
【００６３】
また、着目画素にＧ成分が不足しており、且つ図１７及び図１８に示す縦エッジ４５ｖが検出された場合は（Ｉ＝３）、ステップＳＴ１０ａからステップＳＴ１３に処理が移行する。ここで、データ選択回路４３は、検出データＤＲ０に基づいて、当該着目画素に対して上下方向に隣接する２画素のＧ成分を選択して補間部４４に供給し、補間部４４は、検出データＤＲ１に基づいて、これら２画素のＧ成分を平均化することで不足のＧ成分を補間する。数式で表現すれば、補間されるＧ成分の画素値ＩＰGについて、ＩＰG＝（Ｐ（０，１）＋Ｐ（２，１））／２、が成立する。次いで、補間部４４は、着目画素に不足しているＲ成分またはＢ成分をバイリニア補間法などで補間する（ステップＳＴ１５）。
【００６４】
また、着目画素にＧ成分が不足しており、且つ図１５及び図１６に示す縦エッジ４５ｖが検出された場合は（Ｉ＝４）、ステップＳＴ１０ａからステップＳＴ１４に処理が移行し、上記ステップＳＴ１３と同じ処理が実行された後に、上記ステップＳＴ１５が実行される。
【００６５】
そして、図１１〜図１８に示す輝度パターンの何れも検出されなかった場合は（Ｉ＝５）、ステップＳＴ１０ａからステップＳＴ４に処理が移行する。ここで、ソート回路３３は、上記第１〜第４のブロック領域の中から、複数の評価値の中で中央の値に近い評価値を持つ参照領域を２個選択する（ステップＳＴ４）。
【００６６】
次の補間処理（ステップＳＴ５）では、上記第１の実施形態の補間処理（図５；ステップＳＴ５）と同様に、データ選択回路４３が、前記ステップＳＴ４で選択された２個の参照領域の画素データを選択データＳＤ１〜ＳＤ５として補間部４４に出力した後、補間部４４は、検出データＤＲ１に応じて、バイリニア補間法あるいは最隣接補間法で画素補間を実行する。
【００６７】
以上のように第２の実施形態に係る画素補間装置及び画素補間方法によれば、サンプリング範囲の輝度パターンに応じて適応型の補間処理を実行できるため、偽色信号やドットノイズの発生をさらに効果的に抑制し得て、画質の向上が可能となる。
【００６８】
【発明の効果】
以上の如く、本発明に係る画素補間装置及び画素補間方法によれば、少ない演算量で、偽色信号やドットノイズなどの発生を効果的に抑制し得る画素補間処理を実現できる。同時に、小回路規模の画素補間装置を低コストで製造でき、低消費電力で画素補間処理を実行することが可能である。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画素補間装置を概略的に示すブロック図である。
【図２】レジスタ群に記憶される３行３列の保持データを模式的に示す図である。
【図３】第１の実施形態に係る画素補間装置の処理部の構成を概略的に示すブロック図である。
【図４】第１〜第４のブロック領域の保持データを模式的に示す図である。
【図５】第１の実施形態に係る画素補間処理の例を示すフローチャートである。
【図６】ＲＡＷデータの画素配列を模式的に示す図である。
【図７】第１の実施形態に係る画素補間処理の一工程を説明するための図である。
【図８】第１の実施形態に係る画素補間処理の一工程を説明するための図である。
【図９】本発明の第２の実施形態に係る画素補間装置の処理部の構成を模式的に示す図である。
【図１０】第２の実施形態に係る画素補間処理の一工程を説明するための図である。
【図１１】輝度パターンの一例を模式的に示す図である。
【図１２】輝度パターンの一例を模式的に示す図である。
【図１３】輝度パターンの一例を模式的に示す図である。
【図１４】輝度パターンの一例を模式的に示す図である。
【図１５】輝度パターンの一例を模式的に示す図である。
【図１６】輝度パターンの一例を模式的に示す図である。
【図１７】輝度パターンの一例を模式的に示す図である。
【図１８】輝度パターンの一例を模式的に示す図である。
【符号の説明】
１ 画素補間装置
１０ レジスタ群
１１，１２ ＦＩＦＯメモリ
１３，１３Ａ 処理部
３０ 評価値算出部
３０ａ〜３０ｄ 加算器
３１，４０ 領域選択部
３２，４４ 補間部
３３，４１ ソート回路
３４，４３ データ選択回路
４２ 検出回路
【発明の属する技術分野】
本発明は、画素補間装置及び画素補間方法に関する。
【０００２】
【従来の技術】
デジタルカメラに搭載されるＣＣＤセンサやＣＭＯＳセンサなどの撮像センサにおいては、入射光を着色するために受光素子上に色フィルタアレイが形成されている。単板の撮像センサを搭載するデジタルカメラの場合、受光素子上には、各画素に一対一対応する色フィルタが配列しており、撮像センサの出力信号は各画素に単色成分のみを有するため、フルカラーの画像データを得るには各画素に不足している色成分を補間するいわゆる画素補間処理を行う必要がある。例えば、Ｒ（赤），Ｇ（緑），Ｂ（青）の原色系の色フィルタからなる色フィルタアレイを採用した場合、Ｒ成分のみを有する画素に対しては、周辺画素を参照して不足しているＧ成分及びＢ成分を画素補間しなければならない。この種の画素補間方法としてはバイリニア補間法やバイキュービック補間法などが周知技術である。
【０００３】
しかしながら、この種の画素補間処理によって、本来存在しない偽色信号やドットノイズと称する信号が発生するという周知の問題がある。偽色信号を低減する従来技術は、例えば特許文献１（特開２００１−８０３７号公報）及び特許文献２（特開２０００−１６５８９２号公報）に開示されており、ドットノイズを低減する従来技術は、例えば許文献３（特開２００１−５４１２５号公報）に開示されている。
【０００４】
【特許文献１】
特開２００１−８０３７号公報
【特許文献２】
特開２０００−１６５８９２号公報
【特許文献３】
特開２００１−０５４１２５号公報
【０００５】
【発明が解決しようとする課題】
従来の画素補間方法では、上記偽色信号やドットノイズを低減するためには演算量の増大及びメモリ使用量の増大が避けられなかった。これらは、回路規模の増大や電力消費量の増加、製造コストの上昇を招いてしまう。
【０００６】
以上の状況に鑑みて本発明の目的は、比較的簡易な構成及び方法で、ドットノイズ及び偽色信号などの画質劣化を抑制し得る画素補間装置及び画素補間方法を提供する点にある。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、第１の発明は、各画素に単一の色成分を有する入力画像データを、各画素に複数種の色成分を有するカラー画像データに変換する画素補間装置であって、前記入力画像データのうち着目画素を含む所定のサンプリング範囲の画素データを保持するレジスタ群と、前記サンプリング範囲内に設定されている複数のブロック領域における前記画素データを用いて各前記ブロック領域の明るさを規定する評価値を算出する評価値算出部と、前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記ブロック領域の中から参照領域を選択する領域選択部と、前記領域選択部で選択された前記参照領域内の前記画素データを用いて当該着目画素に欠けている色成分を補間する補間部と、を備え、前記評価値算出部は、各前記ブロック領域内の全ての前記画素データの値を加算した加算値を用いて前記評価値を算出し、前記領域選択部は、前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択するソート回路と、前記ソート回路で選択された前記参照領域内の前記画素データを前記レジスタ群から取り込み前記補間部に与えるデータ選択回路と、を備え、前記補間部は、前記参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間することを特徴としている。
【００１１】
第２の発明は、各画素に単一の色成分を有する入力画像データを、各画素に複数種の色成分を有するカラー画像データに変換する画素補間装置であって、前記入力画像データのうち着目画素を含む所定のサンプリング範囲の画素データを保持するレジスタ群と、前記サンプリング範囲内に設定されている複数のブロック領域における前記画素データを用いて各前記ブロック領域の明るさを規定する評価値を算出する評価値算出部と、前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記ブロック領域の中から参照領域を選択する領域選択部と、前記領域選択部で選択された前記参照領域内の前記画素データを用いて当該着目画素に欠けている色成分を補間する補間部と、を備え、前記評価値算出部は、各前記ブロック領域内の全ての前記画素データの値を加算した加算値を用いて前記評価値を算出し、前記領域選択部は、前記評価値間の大小関係を算出するソート回路と、前記ソート回路で算出された前記大小関係に基づいて当該サンプリング範囲の輝度パターンを検出する検出回路と、当該輝度パターンに応じて、前記画素データを前記レジスタ群から選択的に取り込むデータ選択回路と、を備えており、前記検出回路は、前記輝度パターンとして、高輝度領域のエッジの種類を検出する機能を有し、前記補間部は、当該輝度パターンに応じて、前記データ選択回路で取り込まれた前記画素データを用いて当該着目画素に欠けている色成分を補間する補間部であって、前記エッジの種類が検出された場合は、当該着目画素に対して当該エッジの方向に配列し且つ輝度成分を主体とする同種の色成分を平均化することで当該着目画素に欠けている色成分を補間し、前記エッジの種類が検出されない場合は、前記評価値間の大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択し、当該参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間する機能を有することを特徴としている。
【００１３】
第３の発明では、第１または第２の発明の画素補間装置において、前記レジスタ群は、３行３列の前記サンプリング範囲の前記画素データを保持する。
【００１４】
そして、第４の発明は、第１〜第３の発明のうち何れかの画素補間装置を搭載したデジタルカメラである。
【００１５】
次に、第５の発明は、各画素に単一の色成分を有する入力画像データを、各画素に複数種の色成分を有するカラー画像データに変換する画素補間方法であって、（ａ）前記入力画像データのうち所定のサンプリング範囲の画素データを保持する工程と、（ｂ）前記サンプリング範囲内に設定されている複数のブロック領域における前記画素データを用いて各前記ブロック領域の明るさを規定する評価値を算出する工程と、（ｃ）前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記ブロック領域の中から参照領域を選択する工程と、（ｄ）前記工程（ｃ）で選択された前記参照領域内の前記画素データを用いて当該着目画素に欠けている成分を補間する工程と、を備え、前記工程（ｂ）は、各前記ブロック領域内の全ての前記画素データの値を加算した加算値を用いて前記評価値を算出する工程を含み、前記工程（ｃ）は、前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択する工程を含み、前記工程（ｄ）は、前記参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間する工程を含むことを特徴としている。
【００１９】
第６の発明は、各画素に単一の色成分を有する入力画像データを、各画素に複数種の色成分を有するカラー画像データに変換する画素補間方法であって、（ａ）前記入力画像データのうち所定のサンプリング範囲の画素データを保持する工程と、（ｂ）前記サンプリング範囲内に設定されている複数のブロック領域における前記画素データを用いて各前記ブロック領域の明るさを規定する評価値を算出する工程と、（ｃ）前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記ブロック領域の中から参照領域を選択する工程と、（ｄ）前記工程（ｃ）で選択された前記参照領域内の前記画素データを用いて当該着目画素に欠けている成分を補間する工程と、を備え、前記工程（ｂ）は、各前記ブロック領域内の全ての前記画素データの値を加算した加算値を用いて前記評価値を算出する工程を含み、前記工程（ｃ）は、（ｃ−１）前記評価値間の大小関係を算出する工程と、（ｃ−２）前記工程（ｃ−１）で算出された前記大小関係に基づいて当該サンプリング範囲の輝度パターンを検出する工程と、（ｃ−３）前記工程（ｃ−２）で検出された当該輝度パターンに応じて、前記工程（ａ）で保持した前記画素データを選択的に取り込む工程と、を備えており、前記工程（ｃ−２）は、前記輝度パターンとして、高輝度領域のエッジの種類を検出する工程を含み、前記工程（ｄ）は、当該輝度パターンに応じて、前記工程（ｃ−３）で取り込まれた前記画素データを用いて当該着目画素に欠けている色成分を補間する工程であって、前記工程（ｃ−２）で前記エッジの種類が検出された場合は、当該着目画素に対して当該エッジの方向に配列し且つ輝度成分を主体とする同種の色成分を平均化することで当該着目画素に欠けている前記色成分を補間し、前記工程（ｃ−２）で前記エッジの種類が検出されない場合は、前記評価値間の大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択し、当該参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間する工程を含むことを特徴としている。
【００２１】
そして、第７の発明では、第５または第６の発明の画素補間方法において、前記工程（ａ）は、３行３列の前記サンプリング範囲の前記画素データを保持する工程を含む。
【００２２】
【発明の実施の形態】
以下、本発明の種々の実施形態について説明する。
【００２３】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画素補間装置１を概略的に示すブロック図である。この画素補間装置１は、ＲＡＷデータ（入力画像データ）を３×３画素の範囲（以下、サンプリング範囲と呼ぶ。）で保持するレジスタ群１０と、ＦＩＦＯ（First-In First-Out）メモリ１１，１２と、処理部１３とを備えて構成されている。本実施形態では、画素補間装置１は、単板のＣＣＤセンサやＣＭＯＳセンサなどの撮像センサを搭載したデジタルカメラに組み込まれ、その撮像センサは、原色系（ＲＧＢ系）のベイヤー配列の色フィルタアレイを有するものとする。
【００２４】
レジスタ群１０は、タイミング・ジェネレータ（図示せず）から供給されたクロック信号（図示せず）に同期して、画素単位で入力する８ビットのＲＡＷデータを順次シフトさせつつ保持する９個のレジスタ２０Ａ〜２０Ｉを備えており、レジスタ２０Ａ〜２０Ｉの各々が１画素データを保持する。レジスタ群１０は、３組のシフトレジスタ２０Ａ〜２０Ｃ、２０Ｄ〜２０Ｆ及び２０Ｇ〜２０Ｉを備えており、第１のシフトレジスタ２０Ａ〜２０Ｃと第２のシフトレジスタ２０Ｄ〜２０Ｆとの間にＦＩＦＯメモリ１１が介在し、第２のシフトレジスタ２０Ｄ〜２０Ｆと第３のシフトレジスタ２０Ｇ〜２０Ｉとの間にＦＩＦＯメモリ１２が介在している。この構成によって、レジスタ群１０は、２次元配列の画像データであるＲＡＷデータの中の３行３列のサンプリング範囲の画素データを保持することになる。
【００２５】
また、レジスタ２０Ａ〜２０Ｉが出力した画素データＤA〜ＤIは、処理部１３に入力させられている。この処理部１３は、入力する画素データＤA〜ＤIを用いて後述する画素補間処理を実行し、その結果、着目画素に関して、Ｒ成分の８ビット信号、Ｇ成分の８ビット信号及びＢ成分の８ビット信号を並列に出力する。
【００２６】
図２は、レジスタ群１０に記憶される３行３列の保持データ２１を模式的に示す図である。この保持データ２１は画素データＤA〜ＤIから構成されており、画素データＤA，ＤB，ＤC，ＤD，ＤE，ＤF，ＤG，ＤH及びＤIはそれぞれ画素値Ｐ（０，０），Ｐ（０，１），Ｐ（０，２），Ｐ（１，０），Ｐ（１，１），Ｐ（１，２），Ｐ（２，０），Ｐ（２，１）及びＰ（２，２）を有する。なお、この明細書において「画素値」とは、Ｒ成分、Ｇ成分またはＢ成分のうち何れかのｋビット階調（２k階調）値を意味する（ｋは２以上の整数）。
【００２７】
図３は、上記処理部１３の構成を概略的に示すブロック図である。この処理部１３は、評価値算出部３０、領域選択部３１及び補間部３２を備えている。評価値算出部３０は、第１〜第４加算器３０ａ〜３０ｄを備えて構成される。上記サンプリング範囲には４つのブロック領域が設定されており、第１加算器３０ａは、第１のブロック領域における画素データＤA，ＤB及びＤDを加算して得た評価データＤＳ１を出力し、第２加算器３０ｂは、第２のブロック領域における画素データＤB，ＤC及びＤFを加算して得た評価データＤＳ２を出力し、第３加算器３０ｃは、第３のブロック領域における画素データＤD，ＤG及びＤHを加算して得た評価データＤＳ３を出力し、第４加算器３０ｄは、第４のブロック領域における画素データＤF，ＤH及びＤIを加算して得た評価データＤＳ４を出力する。
【００２８】
また図４に、前記第１〜第４のブロック領域の保持データ２１Ａ〜２１Ｄを模式的に示す。第１のブロック領域は、サンプリング範囲の左上方に設定され、画素値Ｐ（０，０），Ｐ（０，１）及びＰ（１，０）を持つ保持データ２１Ａを含み、第２のブロック領域は、サンプリング範囲の右上方に設定され、画素値Ｐ（０，１），Ｐ（０，２）及びＰ（１，２）を持つ保持データ２１Ｂを含み、第３のブロック領域は、サンプリング範囲の左下方に設定され、画素値Ｐ（１，０），Ｐ（２，０）及びＰ（２，１）を持つ保持データ２１Ｃを含み、第４のブロック領域は、サンプリング範囲の右下方に設定され、画素値Ｐ（１，２），Ｐ（２，１）及びＰ（２，２）を持つ保持データ２１Ｄを含む。サンプリング範囲中心の着目画素の値Ｐ（１，１）は、これら第１〜第４のブロック領域から除外されている。
【００２９】
また上記評価データＤＳ１〜ＤＳ４が持つ評価値（加算値）Ｓ１〜Ｓ４は、各ブロック領域の明るさを規定する量であり、次式（１）に基づいて算出される。
【００３０】
【数１】
なお、本実施形態では、評価値Ｓ１〜Ｓ４として画素値の加算値を採用するが、本発明ではこの限りでは無く、前記加算値を用いた量、例えば平均値を採用してもよい。
【００３２】
また領域選択部３１は、ソート回路３３とデータ選択回路３４とを備えている。ソート回路３３は、評価値算出部３０から並列に入力する評価データＤＳ１〜ＤＳ４を昇順または降順にソートして、評価値Ｓ１〜Ｓ４間の大小関係を算出する。次に、ソート回路３３は、上記第１〜第４のブロック領域の中から、評価値Ｓ１〜Ｓ４の中で中央の値（メディアン）に近い評価値を持つ参照領域を２個選択し、その選択結果を示す選択制御データＳＲをデータ選択回路３４に出力する。データ選択回路３４には、上記レジスタ群１０が出力した画素データＤA〜ＤIが入力している。このデータ選択回路３４は、ソート回路３３から入力した選択制御データＳＲに従って、ソート回路３３で選択された２個の参照領域内の画素データのみを選択し、選択データＳＤ１〜ＳＤ６として補間部３２に出力する。
【００３３】
そして補間部３２は、入力する選択データＳＤ１〜ＳＤ６を用いて当該着目画素に欠けている色成分を補間し、その結果、Ｒ成分、Ｇ成分及びＢ成分の画像信号を出力する。
【００３４】
以上の構成を有する画素補間装置１による画素補間処理の例を、図５のフローチャートを参照しつつ以下に説明する。図６は、ベイヤー配列の色フィルタアレイを持つ撮像センサが出力したＲＡＷデータの画素配列を模式的に示す図である。図示する通り、このＲＡＷデータは、Ｒ，Ｇ，Ｒ，Ｇ，…，Ｇ，Ｂ，Ｇ，Ｂ，…の色成分の画素配列を有している。
【００３５】
先ずステップＳＴ１では、図１に示すレジスタ群１０が、画素単位で入力するＲＡＷデータ（図６）のうちサンプリング範囲の画素データＤA〜ＤIを保持する。次いで、図３に示す評価値算出部３０が、レジスタ群１０から取り込んだ画素データＤA〜ＤIを用いて、サンプリング範囲に設定された第１〜第４のブロック領域の評価値Ｓ１〜Ｓ４を算出する（ステップＳＴ２）。評価値算出部３０は、評価値Ｓ１〜Ｓ４をそれぞれ持つ評価データＤＳ１〜ＤＳ４を領域選択部３１のソート回路３３に出力する。
【００３６】
次に、ソート回路３３が、評価データＤＳ１〜ＤＳ４を降順にソートして、評価値Ｓ１〜Ｓ４の大小関係を算出する（ステップＳＴ３）。本例での大小関係は、Ｓ３＞Ｓ１＞Ｓ２＞Ｓ４、である。次に、ソート回路３３は、第１〜第４のブロック領域の中から、複数の評価値の中で中央の値（メディアン）に近い評価値を持つ参照領域を２個選択する（ステップＳＴ４）。本例では、４つの評価値Ｓ１〜Ｓ４の中で中央の値に最も近い評価値と次に近い評価値とを持つ第１及び第２のブロック領域が参照領域として選択される。
【００３７】
次の補間処理（ステップＳＴ５）では、データ選択回路３４が、第１及び第２のブロック領域の画素データＤA，ＤB，ＤC，ＤD及びＤFを選択データＳＤ１〜ＳＤ５として補間部３２に出力した後、補間部３２は、バイリニア補間法あるいは最隣接補間法で画素補間を実行する。
【００３８】
図７及び図８は、前記画素補間（ステップＳＴ５）を説明するための図であり、サンプリング範囲の保持データ２１の画素配列を模式的に示している。図７に示すように、着目画素がＲ成分のみを有する場合、補間部３２は、この着目画素に対して上方及び左右方向に隣接する３画素のＧ成分を平均化することで不足のＧ成分を補間（バイリニア補間）すると共に、この着目画素に対して斜め上方に隣接する２画素のＢ成分を平均化することで不足のＢ成分を補間（バイリニア補間）する。他方、図８に示すように、着目画素がＧ成分のみを有する場合は、補間部３２は、この着目画素に対して左右方向に隣接する２画素のＲ成分を平均化することで不足のＲ成分を補間（バイリニア補間）すると共に、この着目画素に対して上方のＢ成分で不足のＢ成分を補間（最隣接補間）する。
【００３９】
以上の画素補間処理によって、補間部３２は１画素のＲＧＢの画像信号を出力する。なお、補間部３２から出力されたＲＧＢの画像信号に輪郭強調処理を施すことで、画質を向上させてもよい。
【００４０】
このように第１の実施形態に係る画素補間装置１及び画素補間方法によれば、少ない演算量で、偽色信号やドットノイズなどの画質劣化を効果的に抑制し得る画素補間処理を実行することが可能である。また、小回路規模の画素補間装置１を低コストで製造でき、低消費電力で画素補間処理を実行することができる。しかも、３×３画素の小さなサンプリング範囲を採用しても画質劣化を効果的に抑制できることから、ＦＩＦＯメモリ１１，１２の数が２本で済むため、回路規模と電力消費量と製造コストとを抑えることができる。
【００４１】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本実施形態に係る画素補間装置は、処理部１３の構成を除いて、図１に示した画素補間装置１と同じ構成を有する。図９は、第２の実施形態に係る処理部１３Ａの構成を模式的に示す図である。図９に示す構成要素のうち、図３に示した符号と同一符号を付されたものは、図３に示した構成要素と同じ構成を有するためその詳細な説明を省略する。
【００４２】
この処理部１３Ａは、評価値算出部３０、領域選択部４０及び補間部４４を備えている。評価値算出部３０は第１〜第４加算器３０ａ〜３０ｄを備えており、上述した第１〜第４のブロック領域における画素データを加算して得た評価データＤＳ１〜ＤＳ４を領域選択部４０に出力する。
【００４３】
また領域選択部４０は、ソート回路４１と検出回路４２とデータ選択回路４３とを備えている。ソート回路４１は、評価値算出部３０から並列に入力する評価データＤＳ１〜ＤＳ４を昇順または降順にソートして、評価値Ｓ１〜Ｓ４間の大小関係を算出する。またソート回路４１は、評価データＤＳ１〜ＤＳ４を昇順または降順に並べ替えたデータＭ１〜Ｍ４と、前記大小関係を示すソート情報ＳＲＴとを検出回路４２に出力する。
【００４４】
また検出回路４２は、後述する方法に従って、前記ソート情報ＳＲＴに基づいてサンプリング範囲のＲＡＷデータの輝度パターンを検出し、その検出結果である検出データＤＲ０，ＤＲ１をデータ選択回路４３と補間部４４とに出力する。本実施の形態では、前記輝度パターンとして後述する高輝度領域のエッジ（縁部）の種類が検出される。
【００４５】
データ選択回路４３は、検出回路４２から入力する検出データＤＲ０により、検出された輝度パターンに応じて、レジスタ群１０から入力する画素データＤA〜ＤIを選択的に取り込み、選択データＳＤ１〜ＳＤ５として補間部４４に出力する。そして、補間部４４は、検出回路４２から入力する検出データＤＲ１により、検出された輝度パターンに応じて、選択データＳＤ１〜ＳＤ５を用いて当該着目画素に欠けている色成分を補間し、その結果、Ｒ成分、Ｇ成分及びＢ成分の画像信号を出力する。
【００４６】
以上の構成を有する処理部１３Ａを備えた画素補間装置による画素補間処理の例を、図１０のフローチャートを参照しつつ以下に説明する。
【００４７】
先ずステップＳＴ１では、図１に示すレジスタ群１０が、画素単位で入力するＲＡＷデータ（図６）のうちサンプリング範囲の画素データＤA〜ＤIを保持する。次いで、図９に示す評価値算出部３０が、レジスタ群１０から取り込んだ画素データＤA〜ＤIを用いて、サンプリング範囲に設定されている第１〜第４のブロック領域の評価値Ｓ１〜Ｓ４を算出する（ステップＳＴ２）。評価値算出部３０は、評価値Ｓ１〜Ｓ４をそれぞれ持つ評価データＤＳ１〜ＤＳ４を領域選択部４０のソート回路４１に出力する。
【００４８】
次に、ソート回路４１が、評価データＤＳ１〜ＤＳ４を降順にソートして評価値Ｓ１〜Ｓ４の大小関係を算出する（ステップＳＴ３）。このときソート回路４１は、評価データＤＳ１〜ＤＳ４を降順に並べ替えたデータＭ１〜Ｍ４と、ソート情報ＳＲＴとを検出回路４２に出力する。
【００４９】
次に、検出回路４２は、ソート情報ＳＲＴに基づいてサンプリング範囲の輝度パターンを検出する検出処理を行う（ステップＳＴ１０）。本例の検出回路４２が検出し得る輝度パターンを図１１〜図１８に示す。図１１〜図１８に示す例では、着目画素で輝度成分を主体とするＧ成分が不足しており、保持データ２１に対する画像の高輝度領域４５とそれ以外の低輝度領域とが示されている。なお、図１１〜図１８は、着目画素がＲ成分のみを有する場合を示しているが、着目画素がＢ成分のみを有する場合も同様に検出可能である。
【００５０】
図１１〜図１４に示すように、高輝度領域４５のエッジの方向が略水平方向に向くとき、当該エッジ４５ｈは「横エッジ」と呼ばれ、図１５〜図１８に示すように、エッジの方向が略垂直方向に向くとき、当該エッジ４５ｖは「縦エッジ」と呼ばれる。また、図１１及び図１２は、高輝度領域４５がサンプリング範囲の上方に位置する場合を、図１３及び図１４は、高輝度領域４５がサンプリング範囲の下方に位置する場合を、図１５及び図１６は、高輝度領域４５がサンプリング範囲の左方に位置する場合を、図１７及び図１８は、高輝度領域４５がサンプリング範囲の右方に位置する場合を、それぞれ表している。
【００５１】
検出回路４２は、評価値Ｓ１〜Ｓ４に関して次式（２Ａ）の大小関係を満たすソート情報ＳＲＴを受けた場合に、サンプリング範囲上方の高輝度領域の横エッジ５４ｈ（図１１または図１２）を検出する。
【００５２】
【数２】
ここで、上式（２Ａ）中、演算子ｍｉｎ｛ｘ，ｙ｝は、入力変数ｘ，ｙのうち値が小さい方の変数を出力し、演算子ｍａｘ｛ｘ，ｙ｝は、入力変数ｘ，ｙのうち値が大きい方の変数を出力する。変数ｘ，ｙが同じ値を持つ場合は、変数ｘが出力される。
【００５４】
また検出回路４２は、次式（２Ｂ）の大小関係を満たすソート情報ＳＲＴを受けた場合に、サンプリング範囲下方の高輝度領域の横エッジ４５ｈ（図１３または図１４）を検出する。
【００５５】
【数３】
また検出回路４２は、次式（３Ａ）の大小関係を満たすソート情報ＳＲＴを受けた場合に、サンプリング範囲左方の縦エッジ４５ｖ（図１５または図１６）を検出する。
【００５７】
【数４】
そして検出回路４２は、次式（３Ｂ）の大小関係を満たすソート情報ＳＲＴを受けた場合に、サンプリング範囲右方の高輝度領域の縦エッジ４５ｖ（図１７または図１８）を検出する。
【００５９】
【数５】
次いで、ステップＳＴ１０ａの条件分岐処理において、上記ステップＳＴ１０で検出した検出パターンの種類に応じた補間処理（ステップＳＴ１１〜ＳＴ１５、ＳＴ４，ＳＴ５）が選択される。
【００６１】
着目画素にＧ成分が不足しており、且つ図１１及び図１２に示す横エッジ４５ｈが検出された場合（Ｉ＝１）、ステップＳＴ１０ａからステップＳＴ１１に処理が移行する。ここで、データ選択回路４３は、検出データＤＲ０に基づいて、当該着目画素に対して左右方向に隣接する２画素のＧ成分を選択して補間部４４に供給し、補間部４４は、検出データＤＲ１に基づいて、これら２画素のＧ成分を平均化することで不足のＧ成分を補間する。数式で表現すれば、補間されるＧ成分の画素値ＩＰGについて、ＩＰG＝（Ｐ（１，０）＋Ｐ（１，２））／２、が成立する。次いで、補間部４４は、着目画素に不足しているＲ成分またはＢ成分をバイリニア補間法などで補間する（ステップＳＴ１５）。
【００６２】
また、着目画素にＧ成分が不足しており、且つ図１３及び図１４に示す横エッジ４５ｈが検出された場合は（Ｉ＝２）、ステップＳＴ１０ａからステップＳＴ１２に処理が移行し、上記ステップＳＴ１１と同じ処理が実行された後に、上記ステップＳＴ１５の処理が実行される。
【００６３】
また、着目画素にＧ成分が不足しており、且つ図１７及び図１８に示す縦エッジ４５ｖが検出された場合は（Ｉ＝３）、ステップＳＴ１０ａからステップＳＴ１３に処理が移行する。ここで、データ選択回路４３は、検出データＤＲ０に基づいて、当該着目画素に対して上下方向に隣接する２画素のＧ成分を選択して補間部４４に供給し、補間部４４は、検出データＤＲ１に基づいて、これら２画素のＧ成分を平均化することで不足のＧ成分を補間する。数式で表現すれば、補間されるＧ成分の画素値ＩＰGについて、ＩＰG＝（Ｐ（０，１）＋Ｐ（２，１））／２、が成立する。次いで、補間部４４は、着目画素に不足しているＲ成分またはＢ成分をバイリニア補間法などで補間する（ステップＳＴ１５）。
【００６４】
また、着目画素にＧ成分が不足しており、且つ図１５及び図１６に示す縦エッジ４５ｖが検出された場合は（Ｉ＝４）、ステップＳＴ１０ａからステップＳＴ１４に処理が移行し、上記ステップＳＴ１３と同じ処理が実行された後に、上記ステップＳＴ１５が実行される。
【００６５】
そして、図１１〜図１８に示す輝度パターンの何れも検出されなかった場合は（Ｉ＝５）、ステップＳＴ１０ａからステップＳＴ４に処理が移行する。ここで、ソート回路３３は、上記第１〜第４のブロック領域の中から、複数の評価値の中で中央の値に近い評価値を持つ参照領域を２個選択する（ステップＳＴ４）。
【００６６】
次の補間処理（ステップＳＴ５）では、上記第１の実施形態の補間処理（図５；ステップＳＴ５）と同様に、データ選択回路４３が、前記ステップＳＴ４で選択された２個の参照領域の画素データを選択データＳＤ１〜ＳＤ５として補間部４４に出力した後、補間部４４は、検出データＤＲ１に応じて、バイリニア補間法あるいは最隣接補間法で画素補間を実行する。
【００６７】
以上のように第２の実施形態に係る画素補間装置及び画素補間方法によれば、サンプリング範囲の輝度パターンに応じて適応型の補間処理を実行できるため、偽色信号やドットノイズの発生をさらに効果的に抑制し得て、画質の向上が可能となる。
【００６８】
【発明の効果】
以上の如く、本発明に係る画素補間装置及び画素補間方法によれば、少ない演算量で、偽色信号やドットノイズなどの発生を効果的に抑制し得る画素補間処理を実現できる。同時に、小回路規模の画素補間装置を低コストで製造でき、低消費電力で画素補間処理を実行することが可能である。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画素補間装置を概略的に示すブロック図である。
【図２】レジスタ群に記憶される３行３列の保持データを模式的に示す図である。
【図３】第１の実施形態に係る画素補間装置の処理部の構成を概略的に示すブロック図である。
【図４】第１〜第４のブロック領域の保持データを模式的に示す図である。
【図５】第１の実施形態に係る画素補間処理の例を示すフローチャートである。
【図６】ＲＡＷデータの画素配列を模式的に示す図である。
【図７】第１の実施形態に係る画素補間処理の一工程を説明するための図である。
【図８】第１の実施形態に係る画素補間処理の一工程を説明するための図である。
【図９】本発明の第２の実施形態に係る画素補間装置の処理部の構成を模式的に示す図である。
【図１０】第２の実施形態に係る画素補間処理の一工程を説明するための図である。
【図１１】輝度パターンの一例を模式的に示す図である。
【図１２】輝度パターンの一例を模式的に示す図である。
【図１３】輝度パターンの一例を模式的に示す図である。
【図１４】輝度パターンの一例を模式的に示す図である。
【図１５】輝度パターンの一例を模式的に示す図である。
【図１６】輝度パターンの一例を模式的に示す図である。
【図１７】輝度パターンの一例を模式的に示す図である。
【図１８】輝度パターンの一例を模式的に示す図である。
【符号の説明】
１ 画素補間装置
１０ レジスタ群
１１，１２ ＦＩＦＯメモリ
１３，１３Ａ 処理部
３０ 評価値算出部
３０ａ〜３０ｄ 加算器
３１，４０ 領域選択部
３２，４４ 補間部
３３，４１ ソート回路
３４，４３ データ選択回路
４２ 検出回路
Claims (7)
- 各画素に単一の色成分を有する入力画像データを、各画素に複数種の色成分を有するカラー画像データに変換する画素補間装置であって、
前記入力画像データのうち着目画素を含む所定のサンプリング範囲の画素データを保持するレジスタ群と、
前記サンプリング範囲内に設定されている複数のブロック領域における前記画素データを用いて各前記ブロック領域の明るさを規定する評価値を算出する評価値算出部と、
前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記ブロック領域の中から参照領域を選択する領域選択部と、
前記領域選択部で選択された前記参照領域内の前記画素データを用いて当該着目画素に欠けている色成分を補間する補間部と、
を備え、
前記評価値算出部は、各前記ブロック領域内の全ての前記画素データの値を加算した加算値を用いて前記評価値を算出し、
前記領域選択部は、
前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択するソート回路と、
前記ソート回路で選択された前記参照領域内の前記画素データを前記レジスタ群から取り込み前記補間部に与えるデータ選択回路と、を備え、
前記補間部は、前記参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間することを特徴とする画素補間装置。 - 各画素に単一の色成分を有する入力画像データを、各画素に複数種の色成分を有するカラー画像データに変換する画素補間装置であって、
前記入力画像データのうち着目画素を含む所定のサンプリング範囲の画素データを保持するレジスタ群と、
前記サンプリング範囲内に設定されている複数のブロック領域における前記画素データを用いて各前記ブロック領域の明るさを規定する評価値を算出する評価値算出部と、
前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記ブロック領域の中から参照領域を選択する領域選択部と、
前記領域選択部で選択された前記参照領域内の前記画素データを用いて当該着目画素に欠けている色成分を補間する補間部と、
を備え、
前記評価値算出部は、各前記ブロック領域内の全ての前記画素データの値を加算した加算値を用いて前記評価値を算出し、
前記領域選択部は、
前記評価値間の大小関係を算出するソート回路と、
前記ソート回路で算出された前記大小関係に基づいて当該サンプリング範囲の輝度パターンを検出する検出回路と、
当該輝度パターンに応じて、前記画素データを前記レジスタ群から選択的に取り込むデータ選択回路と、
を備えており、
前記検出回路は、前記輝度パターンとして、高輝度領域のエッジの種類を検出する機能を有し、
前記補間部は、当該輝度パターンに応じて、前記データ選択回路で取り込まれた前記画素データを用いて当該着目画素に欠けている色成分を補間する補間部であって、前記エッジの種類が検出された場合は、当該着目画素に対して当該エッジの方向に配列し且つ輝度成分を主体とする同種の色成分を平均化することで当該着目画素に欠けている色成分を補間し、前記エッジの種類が検出されない場合は、前記評価値間の大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択し、当該参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間する機能を有することを特徴とする画素補間装置。 - 請求項１または請求項２記載の画素補間装置であって、前記レジスタ群は、３行３列の前記サンプリング範囲の前記画素データを保持する、画素補間装置。
- 請求項１〜請求項３の何れか１項に記載の画素補間装置を搭載したデジタルカメラ。
- 各画素に単一の色成分を有する入力画像データを、各画素に複数種の色成分を有するカラー画像データに変換する画素補間方法であって、
（ａ）前記入力画像データのうち所定のサンプリング範囲の画素データを保持する工程と、
（ｂ）前記サンプリング範囲内に設定されている複数のブロック領域における前記画素データを用いて各前記ブロック領域の明るさを規定する評価値を算出する工程と、
（ｃ）前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記ブロック領域の中から参照領域を選択する工程と、
（ｄ）前記工程（ｃ）で選択された前記参照領域内の前記画素データを用いて当該着目画素に欠けている成分を補間する工程と、
を備え、
前記工程（ｂ）は、各前記ブロック領域内の全ての前記画素データの値を加算した加算値を用いて前記評価値を算出する工程を含み、
前記工程（ｃ）は、前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択する工程を含み、
前記工程（ｄ）は、前記参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間する工程を含むことを特徴とする画素補間方法。 - 各画素に単一の色成分を有する入力画像データを、各画素に複数種の色成分を有するカラー画像データに変換する画素補間方法であって、
（ａ）前記入力画像データのうち所定のサンプリング範囲の画素データを保持する工程と、
（ｂ）前記サンプリング範囲内に設定されている複数のブロック領域における前記画素データを用いて各前記ブロック領域の明るさを規定する評価値を算出する工程と、
（ｃ）前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記ブロック領域の中から参照領域を選択する工程と、
（ｄ）前記工程（ｃ）で選択された前記参照領域内の前記画素データを用いて当該着目画素に欠けている成分を補間する工程と、
を備え、
前記工程（ｂ）は、各前記ブロック領域内の全ての前記画素データの値を加算した加算値を用いて前記評価値を算出する工程を含み、
前記工程（ｃ）は、
（ｃ−１）前記評価値間の大小関係を算出する工程と、
（ｃ−２）前記工程（ｃ−１）で算出された前記大小関係に基づいて当該サンプリング範囲の輝度パターンを検出する工程と、
（ｃ−３）前記工程（ｃ−２）で検出された当該輝度パターンに応じて、前記工程（ａ）で保持した前記画素データを選択的に取り込む工程と、
を備えており、
前記工程（ｃ−２）は、前記輝度パターンとして、高輝度領域のエッジの種類を検出する工程を含み、
前記工程（ｄ）は、当該輝度パターンに応じて、前記工程（ｃ−３）で取り込まれた前記画素データを用いて当該着目画素に欠けている色成分を補間する工程であって、前記工程（ｃ−２）で前記エッジの種類が検出された場合は、当該着目画素に対して当該エッジの方向に配列し且つ輝度成分を主体とする同種の色成分を平均化することで当該着目画素に欠けている前記色成分を補間し、前記工程（ｃ−２）で前記エッジの種類が検出されない場合は、前記評価値間の大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択し、当該参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間する工程を含むことを特徴とする画素補間方法。 - 請求項５または請求項６記載の画素補間方法であって、前記工程（ａ）は、３行３列の前記サンプリング範囲の前記画素データを保持する工程を含む、画素補間方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002345009A JP4302391B2 (ja) | 2002-11-28 | 2002-11-28 | 画素補間装置及び画素補間方法並びにデジタルカメラ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002345009A JP4302391B2 (ja) | 2002-11-28 | 2002-11-28 | 画素補間装置及び画素補間方法並びにデジタルカメラ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004180059A JP2004180059A (ja) | 2004-06-24 |
| JP4302391B2 true JP4302391B2 (ja) | 2009-07-22 |
Family
ID=32706295
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002345009A Expired - Fee Related JP4302391B2 (ja) | 2002-11-28 | 2002-11-28 | 画素補間装置及び画素補間方法並びにデジタルカメラ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4302391B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4333997B2 (ja) | 2004-08-24 | 2009-09-16 | シャープ株式会社 | 画像処理装置、撮影装置、画像処理方法、画像処理プログラムおよび記録媒体 |
| JP4968662B2 (ja) | 2005-12-26 | 2012-07-04 | 株式会社メガチップス | 画像処理装置 |
| RU2006104439A (ru) | 2006-02-15 | 2007-09-20 | Самсунг Электроникс Ко. | Способ интерполяции цифрового изображения |
| US8724895B2 (en) | 2007-07-23 | 2014-05-13 | Nvidia Corporation | Techniques for reducing color artifacts in digital images |
| JP4703666B2 (ja) * | 2008-02-08 | 2011-06-15 | シャープ株式会社 | 画像処理装置、撮影装置、画像処理方法、画像処理プログラムおよび記録媒体 |
| WO2013001869A1 (ja) * | 2011-06-30 | 2013-01-03 | 富士フイルム株式会社 | 撮像装置及び撮像プログラム |
| JP7081200B2 (ja) * | 2018-02-22 | 2022-06-07 | セイコーエプソン株式会社 | 画像表示装置、及び画像表示装置の制御方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11146409A (ja) * | 1997-11-07 | 1999-05-28 | Minolta Co Ltd | ビデオカメラ |
| JP3498553B2 (ja) * | 1997-11-10 | 2004-02-16 | ミノルタ株式会社 | ビデオカメラ |
| JPH11262025A (ja) * | 1998-03-16 | 1999-09-24 | Toshiba Corp | 画像入力装置および画像補正方法 |
| JP2000023085A (ja) * | 1998-06-30 | 2000-01-21 | Nikon Corp | デジタルカメラおよび画像信号処理用記憶媒体 |
| JP4097815B2 (ja) * | 1998-11-24 | 2008-06-11 | 株式会社リコー | 画像処理装置および画像処理方法 |
| JP2000188762A (ja) * | 1998-12-21 | 2000-07-04 | Nikon Corp | 補間処理装置および補間処理プログラムを記録した記録媒体 |
| JP2000217123A (ja) * | 1999-01-20 | 2000-08-04 | Canon Inc | 撮像装置及び前記撮像装置における画像処理方法 |
| JP2000217124A (ja) * | 1999-01-20 | 2000-08-04 | Canon Inc | 撮像装置及び前記撮像装置における画像処理方法 |
| JP4317619B2 (ja) * | 1999-07-22 | 2009-08-19 | メディア・テック・ユーエスエイ・インコーポレーテッド | 画像処理装置 |
| JP3657826B2 (ja) * | 1999-08-09 | 2005-06-08 | 株式会社メガチップス | 画素補間方法 |
| JP4317624B2 (ja) * | 1999-09-10 | 2009-08-19 | メディア・テック・ユーエスエイ・インコーポレーテッド | 画像処理装置 |
| JP2001197512A (ja) * | 2000-01-14 | 2001-07-19 | Mitsubishi Electric Corp | 色成分生成装置およびこれを用いた多色画像撮像装置、並びに色成分生成方法 |
| JP4451044B2 (ja) * | 2002-02-21 | 2010-04-14 | 株式会社メガチップス | 混成画素補間装置および混成画素補間方法 |
-
2002
- 2002-11-28 JP JP2002345009A patent/JP4302391B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004180059A (ja) | 2004-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100978688B1 (ko) | 디지털 이미지의 컬러 아티팩트 저감 기법 | |
| US7990447B2 (en) | Solid-state image sensor | |
| US9013611B1 (en) | Method and device for generating a digital image based upon a selected set of chrominance groups | |
| JP5591261B2 (ja) | 画像処理装置 | |
| US9392241B2 (en) | Image processing apparatus and image processing method | |
| TWI386049B (zh) | A solid-state imaging device, and a device using the solid-state imaging device | |
| US7570288B2 (en) | Image processor | |
| EP1793620A1 (en) | Image processing device and method, imaging device, and computer program | |
| US8253816B2 (en) | Video signal processing for generating a level mixed signal | |
| JP2003101886A (ja) | 撮像装置 | |
| JP3942569B2 (ja) | 撮像装置および画像データの変換方法 | |
| JP2010141663A (ja) | 撮像装置 | |
| US8471936B2 (en) | Imaging device and signal processing method | |
| JP2008258909A (ja) | 信号処理回路 | |
| JP4302391B2 (ja) | 画素補間装置及び画素補間方法並びにデジタルカメラ | |
| JP4725520B2 (ja) | 画像処理装置、非撮像色信号算出装置及び画像処理方法 | |
| US9270954B2 (en) | Imaging device | |
| JP4635769B2 (ja) | 画像処理装置、画像処理方法および撮像装置 | |
| JP3730063B2 (ja) | 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置 | |
| JP2005311455A (ja) | 撮像装置、ノイズリダクション装置およびノイズリダクション方法並びにプログラム | |
| JP4385748B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
| JP2008131291A (ja) | 撮像装置 | |
| JP3660504B2 (ja) | カラー固体撮像装置 | |
| JP2004088285A (ja) | 画像処理装置 | |
| JP5056927B2 (ja) | 画像処理装置、画像処理方法および撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051124 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080318 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080515 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080515 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090421 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090422 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120501 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120501 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150501 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |