JP3711401B2 - 撮像装置及びカラー撮像信号の処理方法 - Google Patents
撮像装置及びカラー撮像信号の処理方法 Download PDFInfo
- Publication number
- JP3711401B2 JP3711401B2 JP08314799A JP8314799A JP3711401B2 JP 3711401 B2 JP3711401 B2 JP 3711401B2 JP 08314799 A JP08314799 A JP 08314799A JP 8314799 A JP8314799 A JP 8314799A JP 3711401 B2 JP3711401 B2 JP 3711401B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image signal
- value
- pixels
- missing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
【発明の属する技術分野】
本発明は、撮像装置及びカラー撮像信号の処理方法に関し、詳しくは、単板式のカラー撮像デバイスを備えた撮像装置及びカラー撮像信号の処理方法に関する。
【0002】
【従来の技術】
多数の光電変換素子を2次元に配列し、被写体からの光に応じた画像信号を出力する、例えば、CCD(Charge Coupled Device)に代表される撮像デバイスは、そのままでは色情報を含む画像信号を出力できない。光電変換素子が単に光の明暗の強度に対応した信号しか発生しないからである。
【0003】
色情報を得るために、3個の撮像デバイスを用い、その各々に赤、緑、青の色フィルタを装着して、それぞれの撮像デバイスから赤色、緑色、青色の画像信号を取り出すようにした3板式のカラー撮像デバイスが知られている。この撮像デバイスは専ら色再現性を重視するスタジオ用テレビカメラなどに用いられているが、家庭用のビデオカメラや普及型の電子カメラなどにあっては、サイズや重さ及び電力消費の点から1個の撮像デバイスとモザイク状の色フィルタとを組み合わせた単板式のカラー撮像デバイスが用いられている。
【0004】
図12は、n列×m行の画素を有するCCDの構成図である。CCD1は、入射光量に応じた電荷を蓄積するn×m個の光電変換素子2をマトリクス状に2次元配列するとともに、各列間に1本ずつ、全部でn本の垂直転送部3を配置して撮像領域4を形成し、さらに、撮像領域4の図面に向かって下側に水平転送部5を配置して構成する。
【0005】
光電変換素子2に蓄積された信号電荷は、読み出し信号(不図示)に応答して隣接する垂直転送部3に取り込まれ、垂直転送部3の内部を垂直転送クロック(不図示)に同期して図面の下方向に順次転送される。
【0006】
すべての垂直転送部3の出力端は水平転送部5に接続されており、水平転送部5には、垂直転送クロックに同期して1ライン分の信号電荷が順次に取り込まれる。水平転送部5に取り込まれた信号電荷は、水平転送クロック(不図示)に同期して図面の左方向に順次転送され、水平転送部5の出力端に到達した信号電荷は、同端に設けられた電荷検出部6で電気信号に変換され、アンプ7で増幅された後、端子8からCCD出力として外部に取り出される。
【0007】
ここで、光電変換素子2の水平方向の並び(走査線又はライン)にそれぞれO1、E1、O2、E2、O3、E3、・・・・の便宜的な符号を付すことにする。但し、Oは奇数の略、Eは偶数の略である。O1、O2、O3で奇数ラインを、E1、E2、E3で偶数ラインを示すものとする。
【0008】
インターレース型のCCDは、フィールド読み出し(フィールド蓄積ともいう)と、フレーム読み出し(フレーム蓄積ともいう)の二つのモードを外部から切替えることができる。フィールド読み出しではCCD出力がO1+E1、O2+E2、O3+E3、・・・・の順番になる。
【0009】
一方、フレーム読み出しでは、奇数フレームと偶数フレームの2回に分けてCCD出力を取り出す。すなわち、奇数フレームではCCD出力がO1、O2、O3、・・・・の順番になり、偶数フレームではCCD出力がE1、E2、E3、・・・・の順番になる。
【0010】
図13は、CCD1と色フィルタ9を示す図である。CCD1の桝目は各々1個の光電変換素子2を含む画素であり、各画素は色フィルタ9の桝目と一対一に対応している。色フィルタ9の桝目はそれぞれ特定の色を有しており、色の選び方や配列の仕方によって様々なタイプのものが使用されている。
【0011】
図14は、B.E.Bayer によって考え出されたベイヤー方式(又は緑市松方式)と呼ばれる色フィルタの原理図である。この方式は、色信号と輝度信号のS/Nバランスがよく、被写体の明るさに依存せずに良好な色再現性が得られることから、広く用いられている方式である。
【0012】
図14において、Yは輝度情報を得るためのフィルタ、C1、C2は色情報を得るためのフィルタである。Yフィルタを市松状に配置するとともに、奇数ラインの隙間にC1フィルタを配置し、偶数ラインの隙間にC2ラインを配置する。なお、Yフィルタを多く配置する理由は、人間の視覚上、色情報よりも輝度情報の方が画像の解像度や輪郭のシャープさをよく知覚するからである。
【0013】
図15は、実際の色フィルタの構成図であり、Rは赤色のフィルタ、Gは緑色のフィルタ、Bは青色のフィルタである。赤(R)、緑(G)、青(B)は光の三原色であり、特に、緑色は被写体の明るさをよく表すから、Gフィルタは輝度情報を得るためのフィルタとしても用いられる。すなわち、Gフィルタは図14のYフィルタに相当し、RフィルタとBフィルタは図14のC1、C2フィルタに相当する。
【0014】
なお、インターレース型のCCDの場合、色フィルタは図16に示すように奇数ラインと偶数ラインで同一の配列になるが、フィールド読み出しやフレーム読み出しに関わらず、読み出された画素の配列に着目すれば、図15の配列(ベイヤー方式に則った色情報の並び)とまったく同じである。すなわち、フィールド読み出しではO1+E1、O2+E2、O3+E3の2ライン合成読み出しとなり、一方、フレーム読み出しではO1、O2、O3、・・・、E1、E2、E3の飛び越しライン読み出しとなるが、何れの読み出しでも、G/RラインとB/Gラインを順次に読み出す点で同一である。
【0015】
したがって、本明細書では特に断りのない限り、図15に示すベイヤー方式の配列でCCDの画素や色フィルタの配列を説明することにする。
【0016】
既述のとおり、ベイヤー方式の色フィルタはGフィルタを市松状に配列して構成する。図17は、Gフィルタだけを抜き出したフィルタの構成図である。この図はG画素信号の並びを示す図でもあり、市松状に配列するG画素信号は、縦横各々一つの情報欠落画素を間に挟んでいる。
【0017】
ここで、G画素信号は輝度情報を含み、輝度情報は画像の解像度や輪郭のシャープさに影響を与えるから、上記情報欠落画素に何らかの情報を与える必要があり、以下の二つの情報補間が行われていた。
【0018】
・周囲画素の平均値による補間法
今、図18に示すようなG画素信号の配列モデルを想定する。図において、桝目の一つ一つは画素であり、画素内の数値は画素信号の大きさを示し、ハッチングは情報欠落画素を示している。但し、画素信号は「255」〜「0」までの値を取り得るものとし、且つ、図19に示すように「255」を白レベル、「0」を黒レベルとする。なお、図19ではγ補正を考慮していない。また、以下では、各々の画素を(i,j)の座標で表すことにし、i及びjの最小値を「0」、iの最大値iMAX及びjの最大値jMAXを便宜的に「9」とする。
【0019】
図20は、周囲画素の平均値による補間法の処理手順図である。この処理手順は、要するに、二つの座標変数i、jの値を変化させながら水平方向と垂直方向に点順次の画素走査を行い(S1、S3〜S7)、各走査位置(i,j)の画素が情報欠落画素である場合に(S2のYES判定)、当該情報欠落画素(i,j)の上下左右に位置する四つの隣接画素(図21(a)参照)の画素信号を変数GN、GW、GS、GEにセットし(S8)、その画素信号を用いて、次式(1)により、周囲画素の平均値に相当する補間情報GXを演算(S9)して当該情報欠落画素(i,j)にその補間情報GXをセット(S10)するというものである。
【0020】
GX=(GN+GW+GS+GE)/4 ・・・・(1)
図22は、かかる補間法を用いて図18の情報欠落画素を補間した図であり、ハッチングで示す情報欠落画素に「255」、「191」、「63」又は「0」の画素値がセットされている。
【0021】
例えば、太線内のハッチング画素には画素値「191」がセットされているが、この画素値を検証すると、同ハッチング画素の上に位置する隣接画素の値GNは「255」、右に位置する隣接画素の値GWは「0」、下に位置する隣接画素の値GSは「255」、左に位置する隣接画素の値GEは「255」であるから、これらのGN、GW、GS及びGEを上式(1)に代入することによって、GXは191.25となり、小数点以下を丸めて図示の画素値「191」が得られる。
【0022】
しかしながら、周囲画素の平均値による補間法にあっては、画像内に明暗のはっきりした境界がある場合、その境界線に凹凸(キザキザ)を生じるという問題点を有している。
【0023】
図23は、その説明図であり、図22の画素値を模式的な明暗模様で表した図である。すなわち、白抜き部分は画素値「255」に対応し、単純ハッチング部分(実際には薄いグレー)は画素値「191」に対応し、クロスハッチング部分(実際には濃いグレー)は画素値「63」に対応し、黒ベタ部分は画素値「0」に対応している。
【0024】
図面からも理解されるように、元々は破線で示す境界線より右側が黒色、左側が白色なのに、境界線を挟んで薄いグレーの画素と濃いグレーの画素が交互に生じ、あたかも境界線に凹凸(ギザギザ)があるが如き錯覚を招き、画像の再現性を阻害する。
【0025】
・LPFによる補間法(低域成分の抽出処理ともいう)
図24は、LPF(ローパスフィルタ)による補間法の処理手順図である。この処理手順も、二つの座標変数i、jの値を変化させながら水平方向と垂直方向に点順次の画素走査を行う(S20、S24〜S28)点で、上述の補間法(周囲画素の平均値による補間法)と一致するが、各走査位置(i,j)ごとに、(i,j)を含む3×3個の画素に対する、画素データ取得処理(S21)、重み付け係数セット処理(S22)及びGX演算処理(S23)を行う点で相違する。なお、3×3個の画素配列や各画素に対応する画素値格納変数と重み付け係数の位置関係は、それぞれ図30(a)〜(c)を参照することにする。すなわち、図30(a)は3×3個の画素配列図、図30(b)は各画素に対応する画素値格納変数の配列図、図30(c)は各画素に対応する重み付け係数の配列図である。
【0026】
画素データ取得処理の実際は、図25及び図26に示すとおりである。この処理では、図30(a)の3×3個の画素配列を左上、上、右上、右、右下、下、左下、左、中央の順に巡回しつつ、各巡回位置の画素が情報欠落画素であるか否かを判定し、情報欠落画素でない場合は、その画素値を同位置の画素値格納変数にセットする一方、情報欠落画素である場合は、同位置の画素値格納変数に「0」をセットする動作を繰り返す。
【0027】
代表して左上の画素に対する動作を説明すると、(i−1、j−1)の画素が情報欠落画素であるか否かを判定し(S21_1)、情報欠落画素でない場合は、その画素(i−1、j−1)の値を同位置の画素値格納変数GNEにセット(S21_2)する一方、情報欠落画素である場合は、同画素情報格納変数GNEに「0」をセット(S21_3)する。
【0028】
今、便宜的に3×3個の画素配列の状態を、次表1のとおりと考える。
【0029】
【表1】
【0030】
次表2は、表1に従って画素データ取得処理を実行し、その結果得られた画素値格納変数の値を一緒にまとめた表である。
【0031】
【表2】
【0032】
重み付け係数セット処理の実際は、図27及び図28に示すとおりである。この処理では、画素データ取得処理と同様に、図30(a)の3×3個の画素配列を左上、上、右上、右、右下、下、左下、左、中央の順に巡回しつつ、各巡回位置の画素が情報欠落画素であるか否かを判定し、情報欠落画素でない場合は、同位置の重み付け係数に「1」、「2」又は「4」をセット(※)する一方、情報欠落画素である場合は、同位置の重み付け係数に「0」をセットする動作を繰り返し、最後にすべての重み付け係数の加算値ΣKを演算する(S22_28)。※但し、左上、右上、右下及び左下の重み付け係数KNE、KNW、KSW、KSEについては「1」をセットし、上下左右の重み付け係数KN、KW、KS、KEについては「2」をセットし、中央の重み付け係数KXについては「4」をセットする。なお、これらの定数(「1」、「2」及び「4」)は、便宜値である。中央の画素値に対する影響の大きさに応じて適当に選定すればよい。
【0033】
代表して左上の画素に対する動作を説明すると、(i−1、j−1)の画素が情報欠落画素であるか否かを判定し(S22_1)、情報欠落画素でない場合は、同位置の重み付け係数KNEに「1」をセット(S22_2)する一方、情報欠落画素である場合は、同重み付け係数KNEに「0」をセット(S22_3)する。
【0034】
次表3は、前表1に従って重み付け係数セット処理を実行し、その結果得られた重み付け係数をまとめた表である。
【0035】
【表3】
【0036】
表3によれば、重み付け係数の加算値ΣKは、
になる。
【0037】
GX演算処理の実際は、図29に示すとおりである。この処理では、上記の画素データ取得処理及び重み付け係数セット処理の処理結果を用いて、注目画素(i,j)の画素補間値GXを演算する。図29において、GNE、GN、GNW、GW、GSW、GS、GSE、GE及びGXは、画素データ取得処理で得られた画素値格納変数であり、また、KNE、KN、KNW、KW、KSW、KS、KSE、KE及びKXは、重み付け係数セット処理で得られた重み付け係数である。
【0038】
GX演算処理の実際では、まず、位置を同じくする画素値格納変数と重み付け係数を乗じて、その結果で当該画素値格納変数を更新する(S23_1)。例えば、左上の画素に着目すると、GNEにKNEを乗じ、その答えでGNEを更新する。
【0039】
すべての画素値格納変数の更新を完了すると、次に、更新済みの画素値格納変数を加算して積算画素値ΣGを演算する(S23_2)。そして、そのΣGを重み付け係数セット処理で演算したΣKで除し、その答えをGXとする(S23_3)。
【0040】
今、GNE、GN、GNW、GW、GSW、GS、GSE、GE及びGXの値を前表2に示すとおりとし、また、KNE、KN、KNW、KW、KSW、KS、KSE、KE及びKXの値を前表3に示すとおりとすると、S23_1の結果は、
となり、ΣGは、
となる。また、ΣKは先にも説明したとおり、ΣK=8であるから、結局、注目画素(i,j)の補間値GXは、
GX=ΣG/ΣK=1530/8=191.25 ・・・・(5)
となり、小数点以下を丸めて「191」になる。
【0041】
図31は、LPFによる補間法を用いて図18の情報欠落画素を補間した図であり、ハッチングで示す情報欠落画素に「255」、「191」、「63」又は「0」の画素値がセットされている。
【0042】
しかしながら、この補間法は、前述の周辺画素による補間法と違って情報欠落画素以外の画素値も操作するため、図31と図18を見比べると、情報欠落画素以外の幾つかの画素(正確には破線で示す白レベルと黒レベルの境界線に接した情報欠落画素以外の画素)の値が変化するという欠点を持っている。すなわち、境界線の左側に位置する幾つかの画素が「255」から「191」へと変化するとともに、境界線の右側に位置する幾つかの画素も「0」から「63」へと変化している。これは、画像信号の高域成分を省いて低域成分だけを抽出しているからであり、いわゆる、波形の“なまり”に似た信号処理を施していることに相当するからである。
【0043】
このため、かかるLPFによる補間法にあっては、画像内に明暗のはっきりした境界がある場合、その境界線がぼやけてしまうという問題点を有している。
【0044】
図32は、その説明図であり、図31の画素値を模式的な明暗模様で表した図である。すなわち、白抜き部分は画素値「255」に対応し、単純ハッチング部分(実際には薄いグレー)は画素値「191」に対応し、クロスハッチング部分(実際には濃いグレー)は画素値「63」に対応し、黒ベタ部分は画素値「0」に対応している。
【0045】
図面からも理解されるように、元々は破線で示す境界線より右側が黒色、左側が白色なのに、境界線を挟んで薄いグレーの縦帯と濃いグレーの縦帯が生じる結果、境界線がぼやけて画像の再現性を阻害するという問題点がある。
【0046】
【発明が解決しようとする課題】
以上のとおり、従来の二つの補間法にあっては、何れも画像の再現性という点で未だ不十分であり、解決すべき技術課題がある。
【0047】
そこで、本発明は、明暗のはっきりした境界部分を持つ画像の再現性を向上することを目的とする。
【0048】
【課題を解決するための手段】
請求項1記載の発明は、単板式のカラー撮像デバイスによって各色成分毎に所定の画素が欠落した形で撮像された画像信号の欠落画素を隣接画素の状態に応じて補間する機能を備えた撮像装置であって、欠落画素を含む所定の色成分の画像信号である元画像信号を保持する保持手段と、前記保持手段に保持された前記元画像信号の低域成分を抽出して低域画像信号を生成する生成手段と、前記生成手段により生成された前記低域画像信号に基づいて、各画素とその周囲の隣接画素との相関性を評価する評価手段と、前記評価手段の評価結果を用いて前記保持手段に保持された前記元画像信号の欠落画素を補間する補間手段と、を備えたことを特徴とする。
【0049】
又は、請求項2記載の発明は、請求項1記載の発明において、前記補間手段は、前記評価手段の評価結果に応じた重み付け係数を隣接画素に対して割り当て、隣接画素に対して割り当てられた重み付け係数を前記保持手段に保持された前記元画像信号の隣接画素に適用して該隣接画素の平均値を演算する演算手段を備え、前記演算手段の演算結果を用いて前記保持手段に保持された前記元画像信号の欠落画素を補間することを特徴とする。又は、請求項3記載の発明は、請求項2記載の発明において、前記演算手段は、相関性の低い隣接画素に対しては小さな重み付け係数を割り当てる一方、相関性の高い隣接画素に対しては大きな重み付け係数を割り当てることを特徴とする。又は、請求項4記載の発明は、請求項1記載の発明において、前記隣接画素は、注目画素と同一位置の1ライン前の画素、注目画素と同一ラインの隣り合う画素又は注目画素と同一位置の1ライン後の画素の何れか若しくはすべてであることを特徴とする。又は、請求項5記載の発明は、単板式のカラー撮像デバイスによって各色成分毎に所定の画素が欠落した形で撮像された画像信号の欠落画素を隣接画素の状態に応じて補間するカラー撮像信号の処理方法であって、欠落画素を含む所定の色成分の画像信号である元画像信号を保持する第1ステップと、その保持された前記元画像信号の低域成分を抽出して低域画像信号を生成する第2ステップと、その生成された前記低域画像信号に基づいて、各画素とその周囲の隣接画素との相関性を評価する第3ステップと、その評価結果を用いて前記保持された前記元画像信号の欠落画素を補間する第4ステップと、を含むことを特徴とする。
【0050】
【発明の実施形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【0051】
図1は、本発明の実施形態の全体構成図である。図1において、撮像面にモザイク状の色フィルタが装着された、例えば、CCDで構成される撮像デバイス10は単板式のカラー撮像デバイスであり、不図示の光学系を介して入力された被写体像に対応する電気信号に変換して出力する。撮像デバイス10の駆動制御は駆動回路11によって行われ、撮像デバイス10から出力された電気的な画像信号はA/D変換器12によりディジタル信号に変換された後、メモリコントローラ13の制御の下でメモリ部14(保持手段)の画像メモリ15に記憶される。
【0052】
メモリ部14はさらに赤色専用メモリ(以下、R用メモリ)16、緑色専用メモリ(以下、G用メモリ)17、青色専用メモリ(以下、B用メモリ)18及び作業用メモリ19を含み、これらのメモリ16〜19の入出力はCPU20によって制御される。
【0053】
すなわち、CPU20は、生成手段、評価手段、演算手段及び補間手段として機能し、プログラムROM21にあらかじめ格納された処理プログラムに従って、冒頭で説明した二つの補完法(周囲画素の平均値による補間法及びLPFによる補間法)の組合わせによる所定の補間処理を実行し、画像メモリ15、R用メモリ16、G用メモリ17、B用メモリ18及び作業用メモリ19の間のデータ入出力を制御しつつ、R用メモリ16、G用メモリ17及びB用メモリ18に展開されたR、G及びBの各原色画像の情報欠落画素を補間するとともに、以下に説明する工夫により、前記二つの補間法の欠点を解消し、特に明暗のはっきりした境界部分を持つ画像の再現性を向上して、表示、通信又は印刷を含むあらゆる画像処理装置に対して良好な画質のカラー画像を提供する。
【0054】
なお、データROM22は色フィルタの画素配置情報を保持しており、この情報はCPU20からのアクセスで適宜に利用される。
【0055】
図2は、CPU20で実行される本実施形態の補間処理の処理手順図である。この処理では、まず、R用メモリ16、G用メモリ17及びB用メモリ18に展開された各原色画像を作業用メモリ19にコピーし、そのコピー画像に対して、従来例と同様なLPFによる補間処理を実行(S30)する。
【0056】
そして、同補間処理を施した画像(以下、LPF画像と言う;発明の要旨に記載の低域画像信号に相当)に対して、二つの座標変数i、jの値を変化させながら水平方向と垂直方向に点順次の画素走査を行いつつ(S31、S36〜S40)、各走査位置(i,j)の画素とその上下左右の四つの画素(i,j−1)、(i+1,j)、(i,j+1)、(i−1,j)について、以下に説明する「相関値演算処理(S32)」、「重み付け係数演算処理(S33)」及び「GX演算処理(S34)」を実行し、GX演算処理の結果(補間値GX)で注目画素(i,j)の画素値を補間する。
【0057】
なお、図3は、注目画素を含む各画素の配列と、各画素に対応する画素値格納変数GLN、GLW、GLS、GLEの配列図である。
【0058】
・相関値演算処理
相関値演算処理の実際は、図4に示すとおりである。この処理では、注目画素(i,j)に隣接する上下左右四つの画素の各々に対応する相関値変数CN、CW、CS、CEに、注目画素の画素値に対する各対応画素の画素値の差(の絶対値)をセットする。例えば、注目画素(i,j)の上に位置する画素(i,j−1)で説明すると、この場合は、注目画素(i,j)の画素値GLXと、対象画素(i,j−1)の画素値GLNの差の絶対値(|GLX−GLN|)を演算し、その演算結果を相関値変数CNにセットする(S32_1)。そして、すべての相関値変数CN、CW、CS、CEに対する値のセットを完了すると、次式(6)により、相関積算値ΣCを演算する(S32_5)。
【0059】
ΣC=CN+CW+CS+CE ・・・・(6)
相関値変数CN、CW、CS、CE、例えば、CNの値が大きい場合は注目画素(i,j)と対象画素(i,j−1)の画素値の間の相関性が低く、逆にCNの値が小さい場合は相関性が高いことを表す。かかる相関性は隣接画素間における明暗又は色の類似性の度合いに対応するから、相関性の低い画素同士は各々境界線(又は輪郭線)によって隔てられた異なる画像に属するとみなすことができ、一方、相関性の高い画素同士は同一の画像に属するとみなすことができる。
【0060】
・重み付け係数演算処理
重み付け係数演算処理の実際は、図5に示すとおりである。この処理では、次の二つの並べ替え(ソート)処理を実行する。
【0061】
第一の並べ替え処理(S33_1)では、相関値演算処理でセットしたすべての相関値変数CN、CW、CS、CEについて、昇順の並べ替え(値の小さい順からの並べ替え)を行い、並べ替え後のCN、CW、CS、CEを値の小さい順から昇順変数ASC0、ASC1、ASC2、ASC3にセットする。例えば、並べ替え後のCN、CW、CS、CEの順位をCN<CW<CS<CEとすると、以下のとおりのセットが行われる。
【0062】
【0063】
なお、並べ替え後のCN、CW、CS、CEに同じ値が含まれる場合、例えば、CN=CW<CS<CEのような場合は、上式(7)のようにセットしてもよく、あるいは、
のようにセット(CNとCWが入れ替わっている)してもよい。
【0064】
次に、第二の並べ替え処理(S33_2)では、相関値演算処理でセットしたすべての相関値変数CN、CW、CS、CEについて、降順の並べ替え(値の大きい順からの並べ替え)を行い、並べ替え後のCN、CW、CS、CEに対応する座標位置の画素値(但し、LPFによる補間処理を行う前の画素値)GN、GW、GS、GEを、相関値変数CN、CW、CS、CEの値の大きい順から降順変数DESC0、DESC1、DESC2、DESC3にセットする。例えば、並べ替え後のCN、CW、CS、CEの順位をCN<CW<CS<CEとすると、以下のとおりのセットが行われる。
【0065】
【0066】
なお、第一の並べ替え処理と同様に、並べ替え後のCN、CW、CS、CEに同じ値が含まれる場合、例えば、CN=CW<CS<CEのような場合は、上式(9)のようにセットしてもよく、あるいは、
のようにセット(CNとCWが入れ替わっている)してもよい。
【0067】
・GX演算処理
GX演算処理の実際は、図6に示すとおりである。この処理では、重み付け係数演算処理の演算結果を用いて、次式(11)及び次式(12)により、注目画素(i,j)の補間値GXを演算する(S34_1、S34_2)。
【0068】
【0069】
ここで、図7(a)に示す画素値モデルを例にして、本実施形態の補間処理を具体的に説明する。図7(a)において、ハッチング部分は情報欠落画素であり、破線枠内中央の情報欠落画素を注目画素(i,j)とすると、その上下左右に位置する隣接画素(i,j−1)、(i+1,j)(i,j+1)、(i−1,j)の画素値は、例えば、それぞれ「255」と「0」であり、左上、右上、右下及び左下の各画素(i−1,j−1)、(i+1,j−1)(i+1,j+1)、(i−1,j+1)は情報欠落画素である。
【0070】
まず、かかる注目画素を含む3×3個の画素配列に対してLPF処理(LPFによる補間処理)を施す。LPF処理は、先にも述べたとおり、従来技術と同等の処理であるから、図7(a)の破線枠内3×3個の画素配列は、次表4のようになる。
【0071】
【表4】
【0072】
次表5は、表4に従って、画素データ取得処理(図24のステップS21又は図25及び図26参照)を実行し、その結果得られた画素値格納変数の値を一緒にまとめた表である。
【0073】
【表5】
【0074】
次表6は、前表4に従って重み付け係数セット処理(図24のステップS22又は図27及び図28参照)を実行し、その結果得られた重み付け係数をまとめた表である。
【0075】
【表6】
【0076】
表6によれば、重み付け係数の加算値ΣKは、
になる。
【0077】
したがって、GX演算処理(図24のステップS23又は図29参照)で、
となり、ΣGは、
となる。また、ΣKは先にも説明したとおり、ΣK=8であるから、結局、注目画素(i,j)の補間値GXは、
GX=ΣG/ΣK=1530/8=191.25 ・・・・(16)
となり、小数点以下を丸めて「191」になる。
【0078】
図7(b)は、LPFによる補間法を用いて図7(b)の情報欠落画素(注目画素)を補間した図であり、中央の注目画素に「191」の画素値GLXがセットされている。なお、図7(b)において、注目画素の上下に位置する画素値GLN、GLSが「255」から「191」に変化し、また、注目画素の右に位置する画素値GLWが「0」から「631」に変化しているが、これは、冒頭でも説明したように、LPFによる補間処理では3×3個の画素のすべてに対してLPF処理を施すからである。
【0079】
図7(b)の画素配列(LPF処理後の画素配列)を生成すると、各画素を巡回しながら、図2の「相関値演算処理」、「重み付け係数演算処理」及び「GX演算処理」を順次に実行する。
【0080】
まず、「相関値演算処理」で、注目画素(i,j)に隣接する上下左右四つの画素の各々に対応する相関値変数CN、CW、CS、CEに、注目画素の画素値GLXに対する各対応画素の画素値GLN、GLW、GLS、GLEの差(の絶対値)をセットする。すなわち、図7(b)において、LPF処理後の各画素値GLX、GLN、GLW、GLS、GLEは、
GLN=191
GLW=63
GLS=191
GLE=255
GLX=191 ・・・・(17)
であるから、各々の相関値変数CN、CW、CS、CEには、次式(18)の値がセットされ、さらに次式(19)により、相関積算値ΣCが演算される。
【0081】
【0082】
次に、「重み付け係数演算処理」で、相関値変数CN、CW、CS、CEを昇順の並べ替え、並べ替え後のCN、CW、CS、CEを値の小さい順から昇順変数ASC0、ASC1、ASC2、ASC3にセットし、さらに、相関値変数CN、CW、CS、CEを降順の並べ替え、並べ替え後のCN、CW、CS、CEに対応する座標位置の画素値(但し、LPFによる補間処理を行う前の画素値)GN、GW、GS、GEを、相関値変数CN、CW、CS、CEの値の大きい順から降順変数DESC0、DESC1、DESC2、DESC3にセットする。
【0083】
ここで、CNは「0」、CWは「128」、CSは「0」、CEは「64」であり、CN=CS<CE<CWであるから、これを昇順に並べ替えると「CN、CS、CE、CW」の順番になり、降順に並べ替えると「CW、CE、CS、CN」の順番になる。したがって、昇順変数ASC0、ASC1、ASC2、ASC3には、次式(20)の値がセットされ、降順変数DESC0、DESC1、DESC2、DESC3には、次式(21)の値がセットされる。
【0084】
【0085】
次に、「GX演算処理」では、重み付け係数演算処理の演算結果を用いて、前式(11)及び前式(12)により、注目画素(i,j)の補間値GXを演算する。
【0086】
ここで、CN=0、CW=128、CS=0、CE=64であり、GN=255、GW=0、GS=255、GE=255であり、さらに、ΣC=192であるから、これらの実際値を当てはめると、式(20)及び式(21)は、次式(22)及び次式(23)のように書き表すことができ、結局、前式(11)及び式(12)は、次式(24)及び次式(25)のように書き表すことができる。
【0087】
【0088】
【0089】
したがって、この補間値GXを用いて注目画素(i,j)を補間すれば、図8に示すように、情報欠落画素を適切な画素値で埋めることができ、しかも、その画素値(GX)は相関性のある画素値の影響を強く受ける、言い換えれば、境界線(輪郭線)を挟んで隣接する画素の影響をほとんど受けないから、特に明暗のはっきりした境界部分を持つ画像の再現性を大幅に改善でき、前記従来技術にない格別有益な効果を奏することができる。
【0090】
図9は、図18の画素配列に本実施形態を適用した場合の画素補間結果を示す図であり、この図によれば、白レベル領域に含まれる情報欠落画素が適正な画素値「255」で補間されているとともに、黒レベル領域に含まれる情報欠落画素が適正な画素値「0」で補間されている。
【0091】
しかも、破線で示す境界線付近の情報欠落画素に注目した場合でも、上記適切な画素値による補間はまったく同じである。したがって、図10にその模式的な明暗模様を示すように、境界線を挟んで左側全部が画素値「255」の白色となり、右側全部が画素値「0」の黒色となる結果、従来技術の一の問題点(境界線のギザギサ)と他の問題点(境界線のぼやけ)を共に解消することができ、画質の大幅な改善を達成できるのである。
【0092】
本実施形態は、以上の例示に限定されない。例えば、周囲画素との相関を評価して数値化する際の“絶対値”(GLXとの差の絶対値)を“比”としてもよく、あるいは、相関値に対応する重み付け係数も固定的な値を割り当てるだけでなく、例えば、相関の強さの順位に応じて変化する可変的な数値を割り当ててもよい。
【0093】
なお、以上の実施形態では、注目画素の上下左右に隣接する四つの画素のすべてについて注目画素との相関性を評価したが、これは、画質の向上を最大にするためのベストモードを例示したものであり、従来と比べて相応の画質向上を臨むのであれば、以下に説明するように、上下、左右いずれかの画素について注目画素との相関性を評価してもよい。
【0094】
まず、前記実施の形態と同様に、画像信号に対してLPFによる補間処理を施し、これをLPF画像とする。
【0095】
今、LPF画像の注目画素の画素値をGLX、注目画素の上に位置する隣接画素の画素値をGLN、注目画素の右に位置する隣接画素の画素値をGLW、注目画素の下に位置する隣接画素の画素値をGLS、注目画素の左に位置する隣接画素の画素値をGLEとすると、上下の画素の画素値GLN、GLSと注目画素の画素値GLXとの相関値(上下相関値)CVは、
CV=|GLX−GLN|+|GLX−GLS| ・・・・(26)
で与えられ、また、左右の画素の画素値GLE、GLWと注目画素の画素値GLXとの相関値(左右相関値)CHは、
CH=|GLX−GLE|+|GLX−GLW| ・・・・(27)
で与えられる。
【0096】
そして、上下相関値CVと左右相関値CHとの大小関係を、次式(28)及び次式(29)により評価し、
k×CH<CV ・・・・(28)
k×CV<CH ・・・・(29)
但し、k>1
式(28)の評価が真(True)の場合、式(29)の評価が真の場合、又は、式(28)及び式(29)の評価が共に偽(False)の場合に、各々以下の演算処理を実行する。
【0097】
・式(28)の評価が真の場合
この場合は、上下相関値CVが左右相関値CHのk倍以上大きいため、上下の画素の画素値GLN、GLSと注目画素の画素値GLXとの相関性が低いことを示している。したがって、左右の画素の画素値GLE、GLWと注目画素の画素値GLXとの相関性が高いから、次式(30)により、かかる相関性の高い画素値(但し、LPFによる補間処理を施す前の画素値)GE、GWの平均値を用いて注目画素の画素値GXを補間する。
GX=(GE+GW)/2 ・・・・(30)
【0098】
・式(29)の評価が真の場合
この場合は、左右相関値CHが上下相関値CVのk倍以上大きいため、左右の画素の画素値GLE、GLWと注目画素の画素値GLXとの相関性が低いことを示している。したがって、上下の画素の画素値GLN、GLSと注目画素の画素値GLXとの相関性が高いから、次式(31)により、かかる相関性の高い画素値(但し、LPFによる補間処理を施す前の画素値)GN、GSの平均値を用いて注目画素の画素値GXを補間する。
GX=(GN+GS)/2 ・・・・(31)
【0099】
・式(28)及び式(29)の評価が共に偽の場合
この場合は、左右相関値CHと上下相関値CVの値が共に小さく、いずれの相関性も高いことを示している。したがって、次式(32)により、かかる相関性の高い四つの画素値(但し、LPFによる補間処理を施す前の画素値)GN、GW、GS、GEの平均値を用いて注目画素の画素値GXを補間する。
GX=(GN+GW+GS+GE)/4 ・・・・(32)
【0100】
・実際の演算例
例えば、GLN=191、GLW=63、GLS=191、GLE=255、GLX=191とし、GN=255、GW=0、GS=255、GE=255、GX=情報欠落画素とすると、上下相関値CVは、
となり、左右相関値CHは、
となる。
【0101】
したがって、上下相関値CVと左右相関値CHの大小関係は、前式(29)を満たすから、
となって、前記実施形態と同様(図8参照)に適切な画素値GXで情報欠落画素を補間でき、特に明暗のはっきりした境界線(輪郭線)を持つ画像のギザギザやぼやけをなくして画質の向上を図ることができる。
【0102】
本実施形態は、以上の例示に限定されない。例えば、補間の際の平均値演算を行うときのオペランド(演算の対象となる数値)の各々にトータルで1となる重み値を乗じてもよい。あるいは、前述の実施形態と組み合わせて、垂直方向又は水平方向の相関性が高い場合は本実施形態を実行する一方、それ以外の場合は前述の実施形態を実行するようにしてもよい。
【0103】
なお、以上の説明では、G画素の補間処理について詳述した。これは、輝度情報を含む緑色(G)の画像信号が画質(特に輪郭線の精細さ)に大きな影響を及ぼすからである。かかる観点に従えば、G画素の補間処理だけでも相応の画質向上が得られるものの、本発明は、R画素やB画素の補間処理を排除するものではない。G画素の補間処理とR画素やB画素の補間処理を併用してもよく、あるいは、R画素やB画素の補間処理を単独で行ってもよい。
【0104】
但し、R画素やG画素の配列はG画素のような市松状になっていないため、当然のことながら、注目画素(i,j)の画素値と、その周囲に隣接する画素の画素値との相関をとる場合などは、その配列(図11はR画素の配列を示す;B画素も同じ配列である)を加味して適切な座標の画素値を参照すべきことはもちろんである。
【0105】
【発明の効果】
請求項1又は5記載の発明によれば、相関性の高い隣接画素の画素値を参照して欠落画素の画素値を補間することができる。
【0106】
したがって、相関性の低い隣接画素、例えば、明暗のはっきりした境界線(輪郭線)を挟んで隣接する画素については、補間のための参照から除外でき、若しくは、その影響を少なくでき、特に明暗のはっきりした境界部分を持つ画像の再現性を向上することができる。また、補間対象となる色成分と同じ色成分に対応して生成された低域画像信号に基づいて隣接画素の相関性を評価するので、より画像の再現性を向上することができる。
【0107】
又は、請求項2記載の発明によれば、更に、重み付け係数の値を変えて補間処理の効果を様々に変更することができる。又は、請求項3記載の発明によれば、更に、相関性の高低をより明確にして、補間処理の効果を一層高めることができる。又は、請求項4記載の発明によれば、更に、フレーム内の画素補間を行うことができる。
【図面の簡単な説明】
【図1】実施形態の全体構成図である。
【図2】実施形態の補間処理手順図である。
【図3】LPF処理画像の注目画素を含む画素配列図である。
【図4】相関値演算処理の処理手順図である。
【図5】重み付け係数演算処理の処理手順図である。
【図6】GX演算処理の処理手順図である。
【図7】相関値演算の概念図である。
【図8】情報欠落画素の補間概念図である。
【図9】すべての情報欠落画素の補間概念図である。
【図10】実施形態の補間結果を模式的な明暗模様で示す図である。
【図11】R画素の配列概念図である。
【図12】CCDの構成図である。
【図13】CCDと色フィルタを示す図である。
【図14】ベイヤー方式の色フィルタの原理図である。
【図15】実際の色フィルタの構成図である。
【図16】インターレース型CCDに適用する色フィルタの構成図である。
【図17】Gフィルタだけを抜き出したフィルタの構成図である。
【図18】G画素信号の配列モデル図である。
【図19】画素信号のレベル特性図である。
【図20】周囲画素の平均値による補間法の処理手順図である。
【図21】注目画素を含む隣接画素の配置概念図である。
【図22】周囲画素の平均値による補間法を用いた補間結果を示す図である。
【図23】周囲画素の平均値による補間法の問題点を説明する図である。
【図24】LPFによる補間法の処理手順図である。
【図25】画素データ取得処理手順図(1/2)である。
【図26】画素データ取得処理手順図(2/2)である。
【図27】重み付け係数セット処理手順図(1/2)である。
【図28】重み付け係数セット処理手順図(2/2)である。
【図29】GX演算処理手順図である。
【図30】LPFによる補間処理で使用する画素配置図である。
【図31】LPFによる補間法を用いた補間結果を示す図である。
【図32】LPFによる補間法の問題点を説明する図である。
【符号の説明】
10 撮像デバイス(単板式のカラー撮像デバイス)
14 メモリ部(保持手段)
20 CPU(生成手段、評価手段、演算手段、補間手段)
Claims (5)
- 単板式のカラー撮像デバイスによって各色成分毎に所定の画素が欠落した形で撮像された画像信号の欠落画素を隣接画素の状態に応じて補間する機能を備えた撮像装置であって、
欠落画素を含む所定の色成分の画像信号である元画像信号を保持する保持手段と、
前記保持手段に保持された前記元画像信号の低域成分を抽出して低域画像信号を生成する生成手段と、
前記生成手段により生成された前記低域画像信号に基づいて、各画素とその周囲の隣接画素との相関性を評価する評価手段と、
前記評価手段の評価結果を用いて前記保持手段に保持された前記元画像信号の欠落画素を補間する補間手段と、
を備えたことを特徴とする撮像装置。 - 前記補間手段は、前記評価手段の評価結果に応じた重み付け係数を隣接画素に対して割り当て、
隣接画素に対して割り当てられた重み付け係数を前記保持手段に保持された前記元画像信号の隣接画素に適用して該隣接画素の平均値を演算する演算手段を備え、
前記演算手段の演算結果を用いて前記保持手段に保持された前記元画像信号の欠落画素を補間することを特徴とする請求項1記載の撮像装置。 - 前記演算手段は、相関性の低い隣接画素に対しては小さな重み付け係数を割り当てる一方、相関性の高い隣接画素に対しては大きな重み付け係数を割り当てることを特徴とする請求項2記載の撮像装置。
- 前記隣接画素は、注目画素と同一位置の1ライン前の画素、注目画素と同一ラインの隣り合う画素又は注目画素と同一位置の1ライン後の画素の何れか若しくはすべてであることを特徴とする請求項1記載の撮像装置。
- 単板式のカラー撮像デバイスによって各色成分毎に所定の画素が欠落した形で撮像された画像信号の欠落画素を隣接画素の状態に応じて補間するカラー撮像信号の処理方法であって、
欠落画素を含む所定の色成分の画像信号である元画像信号を保持する第1ステップと、
前記第1ステップで保持された前記元画像信号の低域成分を抽出して低域画像信号を生成する第2ステップと、
前記第2ステップで生成された前記低域画像信号に基づいて、各画素とその周囲の隣接画素との相関性を評価する第3ステップと、
前記第3ステップの評価結果を用いて前記第1ステップで保持された前記元画像信号の欠落画素を補間する第4ステップと、
を含むことを特徴とするカラー撮像信号の処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08314799A JP3711401B2 (ja) | 1999-03-26 | 1999-03-26 | 撮像装置及びカラー撮像信号の処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08314799A JP3711401B2 (ja) | 1999-03-26 | 1999-03-26 | 撮像装置及びカラー撮像信号の処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000278703A JP2000278703A (ja) | 2000-10-06 |
JP3711401B2 true JP3711401B2 (ja) | 2005-11-02 |
Family
ID=13794123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP08314799A Expired - Fee Related JP3711401B2 (ja) | 1999-03-26 | 1999-03-26 | 撮像装置及びカラー撮像信号の処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3711401B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8009935B2 (en) | 2007-07-30 | 2011-08-30 | Casio Computer Co., Ltd. | Pixel interpolation circuit, pixel interpolation method, and recording medium |
JP5098054B2 (ja) * | 2007-11-22 | 2012-12-12 | オリンパス株式会社 | 画像処理装置及び画像処理プログラム |
-
1999
- 1999-03-26 JP JP08314799A patent/JP3711401B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000278703A (ja) | 2000-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
USRE47062E1 (en) | Image processing apparatus and method for generating a restoration image | |
CN101467444B (zh) | 固态图像传感器 | |
US7479998B2 (en) | Image pickup and conversion apparatus | |
JP4610930B2 (ja) | 画像処理装置、画像処理プログラム | |
JP5519083B2 (ja) | 画像処理装置、方法、プログラムおよび撮像装置 | |
JPH10341447A (ja) | 画像信号処理装置 | |
US7570285B2 (en) | Image processing device suppressing color moire when restoring an image | |
WO2006048962A1 (ja) | 画素信号処理装置及び画素信号処理方法 | |
US20060181620A1 (en) | Decreasing aliasing in electronic images | |
JP2000023174A (ja) | 画像処理装置及び画像処理方法 | |
JP3755921B2 (ja) | 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置 | |
US6847396B1 (en) | Interpolation method for producing full color images in using a single-chip color sensor | |
JP2002209151A (ja) | トーンスケール関数の生成方法 | |
JP3902525B2 (ja) | 画像信号処理装置 | |
JP3711401B2 (ja) | 撮像装置及びカラー撮像信号の処理方法 | |
JP3711402B2 (ja) | 撮像装置及びカラー撮像信号の処理方法 | |
JP5036524B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像装置 | |
CN104025576B (zh) | 摄像装置及摄像装置的控制方法 | |
US20080131022A1 (en) | Method and Apparatus for Resolution Improvement in Digital Capturing | |
JP5153842B2 (ja) | 画像処理装置、画像処理プログラム | |
JP4334484B2 (ja) | 画素信号処理装置及び方法 | |
JP3115123B2 (ja) | 画像信号処理装置 | |
JP2002209224A (ja) | 画像処理装置、画像処理方法および記録媒体 | |
JP2005328338A (ja) | 撮像装置及び撮像装置付き携帯端末 | |
JPH10285605A (ja) | 画素信号生成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040720 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040921 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050713 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050726 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080826 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090826 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100826 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100826 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110826 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120826 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120826 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130826 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |