JP2000013810A

JP2000013810A - 撮像装置及び撮像方法

Info

Publication number: JP2000013810A
Application number: JP10172930A
Authority: JP
Inventors: Terutake Kadohara; 輝岳門原; Ichiro Onuki; 一朗大貫
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-06-19
Filing date: 1998-06-19
Publication date: 2000-01-14

Abstract

(57)【要約】【課題】画素ずらしを行って得た複数の画像データに
対し、通常の信号処理系を用いて、高解像度の画像デー
タに変換することを可能とした撮像装置を提供すること
にある。【解決手段】ＲＧＢＢａｙｅｒ配列のカラーフィル
タを備えた撮像素子と、前記撮像素子に対する入射光の
入射位置をシフトする画素ずらし機構と、前記画素ずら
し機構によって入射光の入射位置をシフトしながら前記
撮像素子によって複数回の撮像を行うことによって得た
複数の画像データに対し、補間処理を行うための補間フ
ィルタ手段とを備え、前記補間フィルタ手段は、カラー
フィルタのＲ，Ｂの画素配列に対する補間フィルタを、
Ｇの画素配列に対する補間フィルタよりも高次の補間フ
ィルタとした撮像装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタルスチルカ
メラ、ビデオカメラ等の固体撮像素子を用いた撮像装置
に関するものである。

【０００２】

【従来の技術】比較的画素数の少ない固体撮像素子、特
にエリアセンサを複数の方向に移動したり、相互にずら
して配置する事により得られる複数枚の画像情報から、
一枚の高精細な画像を得るいわゆる「画素ずらし」手法
が、安価な固体撮像素子により高画質のデジタル画像が
得られる技術として知られている。

【０００３】「画素ずらし」手法には複数枚の固体撮像
素子を相互にずらして配置し、それぞれに色分解プリズ
ムなどで個別に被写体像を導き、多板撮像と画素ずらし
を同時に実現した空間画素ずらしと言われる方式のもの
と、センサ自体を動かしたり、撮影光学系の一部を傾け
るなどして一枚の固体撮像素子で時間差をつけて複数回
画像信号を取り込む時間画素ずらしと言われる方式に大
きく分類される。

【０００４】前者は単板カメラと同様の使い勝手が可能
である反面、複数枚の固体撮像素子やプリズムなどの光
学系で高価なカメラとなってしまう。

【０００５】一方、後者は、センサあるいは光学系その
ものを動かすために撮影対象が静止被写体などの条件が
付いてしまう反面、前者に比べ比較的安く実現可能では
ある。

【０００６】一般に画素ずらしでは、単板センサによる
各色の画素間の色情報の「抜け」を補うための一画素単
位のずらしと、センサの光電変換部分のすきまを埋め高
精細な画像信号を得るための一画素未満（通常は半画
素）を単位とするずらしを組み合わせて一枚の原画像信
号を得ている。

【０００７】前者は画像信号の画素数自体の向上、即ち
解像度の向上はないが、色の情報の抜けを補償し、多板
撮像と同様に色の再現が忠実に行えるものであり、後者
は使用センサの持つ本来の解像度を超える解像度を得る
事を目的としたものである。

【０００８】まずここで、センサ表面に実装されている
カラーフィルタとして図１１に示したＢａｙｅｒ配列を
用いた場合の画像信号に対する補間演算と、一画素単位
のずらしを３回行った場合について具体的に説明する。

【０００９】図１１において、Ｒはレッド、Ｂはブル
ー、Ｇ_R 、Ｇ_B はそれぞれレッドとブルーと同じ行に配
置されたグリーンを表わす。

【００１０】図１２は図１１に示したＢａｙｅｒ配列に
よる１回のみの蓄積（露光）動作による（以下オリジナ
ルと称する）像信号の一部を表わしている。図中実線で
囲んだ（ａ）の領域はグリーン（ここではＧ_B ）を中心
とする３×３＝９画素のカラー配置を、点線で囲んだ
（ｂ）はグリーン以外（ここではＲ、レッド）を中心と
する３×３＝９画素のカラー配置をそれぞれ表わしてい
る。

【００１１】そして、欠落している色情報、即ち各画素
位置におけるオリジナル信号以外の色信号を得る方法と
して、例えば、これら９画素単位の近隣画素から補間演
算することが考えられる。

【００１２】まず補間演算対象となる９画素の中心にグ
リーンもしくはレッド、ブルーがあるならば、当然その
画素信号をそのまま用いる。

【００１３】グリーンＧは市松状に配置されているた
め、補間演算対象画素がグリーン以外ならその画素の上
下左右の４画素がグリーンとなる。従って、その４画素
の平均を補間演算対象画素のグリーンの色信号とする。

【００１４】一方、レッドとブルーに対してはグリーン
より疎に配置されているため、上記グリーンよりはやや
複雑となる。

【００１５】まず補間演算対象となるオリジナル画素が
グリーンの場合、レッド及びブルーは上下あるいは左右
のどちらかの組み合わせである。従って、それぞれの場
合に対して上下あるいは左右の２画素の平均をそれぞれ
の補間色信号とする。

【００１６】しかし補間演算対象となるオリジナル画素
がレッドあるいはグリーンの場合、斜め隣の４画素の画
素信号を対象とする補間演算が必要となる。従って、補
間演算は４つの斜め隣の平均を求める事となる。

【００１７】以上を９画素からなるマトリックスと考
え、各画素を中心を（ｘ，ｙ）とする座標で表わすと、
行うべき補間演算は以下の様になる。Ｇ＝（グリーン）の補間演算Ｇ（ｘ、ｙ）＝Ｇ（ｘ、ｙ）＋０．２５×｛Ｇ（ｘ−１、ｙ）＋Ｇ（ｘ＋１、ｙ）＋Ｇ（ｘ、ｙ−１）＋Ｇ（ｘ、ｙ＋１）｝…（１）Ｒ＝（レッド）、Ｂ（ブルー）の補間演算Ｘ（ｘ、ｙ）＝Ｘ（ｘ、ｙ）＋０．５×｛Ｘ（ｘ−１、ｙ）＋Ｘ（ｘ＋１、ｙ）＋Ｘ（ｘ、ｙ−１）＋Ｘ（ｘ、ｙ＋１）｝＋０．２５×｛Ｘ（ｘ−１、ｙ−１）＋Ｘ（ｘ＋１、ｙ−１）＋Ｘ（ｘ−１、ｙ＋１）＋Ｘ（ｘ＋１、ｙ＋１）｝但しＸ＝ＲあるいはＸ＝Ｂ…（２）

【００１８】図１４は以上の補間演算を２次元フィルタ
で表わしたもので、（ａ）はグリーンを補間する場合に
対応したもの、（ｂ）はグリーン以外の色を補間する場
合に対応したものである。フィルタ内の数字はそれぞれ
の位置の補間すべき色信号に対する演算係数を表わして
おり、その色信号が存在しない場合は係数「０」であ
る。

【００１９】以上は単板センサによる１回のみの蓄積
（露光）動作によるもので、補間演算により色情報の
「抜け」を補う必要がどうしても存在する。厳密に言え
ば抜けている色情報を作り出している事になる。

【００２０】これに対し、色情報の「抜け」を演算によ
らずセンサの出力信号で得ようとしたものが画素ずらし
である。

【００２１】ここでは、図１１の左上のＲ（レッド）の
画素位置に着目し、図１４に示した０〜３の１画素単位
のずらし動作を行ったとする。最初の蓄積（初期位置：
０）ではレッドのフィルタを通しての蓄積動作となる。
次の状態（１）ではグリーン（Ｇ_R ）、その次の状態
（２）では同じくグリーンである（Ｇ_B ）、そして最後
の状態（３）ではブルー（Ｂ）のそれぞれのフィルタを
通しての蓄積動作が行われる。これにより、グリーンは
２度の蓄積となるが、周辺領域を除いたほぼ全画素に対
して３原色全てのフィルタを用いた蓄積動作が行われる
事となり、色再現においては３板センサでの撮像と同等
の効果が得られる事となる。

【００２２】なお、このような一連のずらし動作を表す
のに図１４（ｂ）に示したようなベクトルを用いての記
述がよく行われている。

【００２３】以上図１４を用いて説明した例は、一画素
単位のずらし動作を３回（蓄積動作は合計４回）行う時
間画素ずらしである。これを半画素単位に同じように３
回ずらした位置それぞれで図１４と同じ一画素単位のず
らし動作を行うと、合計４×４＝１６回の蓄積動作とな
るが解像度が縦横両方向に倍で、しかも３板相当の色再
現性を伴った画像信号が得られる。

【００２４】しかし、やはり１６回も蓄積させなければ
ならない点が用途、被写体を制限する要因となる。

【００２５】この点、例えば特開平６−２２５３１７号
公報では固体撮像素子を水平、垂直軸方向及び斜め方向
に一画素及び半画素それぞれ動かし、合計４回の蓄積で
色再現性と解像度を両方高めるような提案がなされてい
る。

【００２６】

【発明が解決しようとする課題】前述した時間画素ずら
しの提案では、４回の蓄積で得られる画素配列は元々の
画素配列とは全く異なったものとなる。

【００２７】従って、前記提案では通常の撮像での信号
処理回路でも４回蓄積信号が処理できるように垂直、水
平方向それぞれのアドレスナンバーでの場合分けによ
り、読み出す画素の位置を変えることで演算回路の並用
を計っている。

【００２８】しかしながら、アドレスのナンバーによる
読み出し位置の変更は実質補間マトリックスが２通り必
要になってしまっている。

【００２９】そこで、本発明の課題は、複数回の撮像に
よって得られた複数の画像データに対して、通常の信号
処理系によって処理可能な形成に変換する処理を可能と
した撮像装置を提供することにある。

【００３０】

【課題を解決するための手段】上述した課題を解決する
ために、本願の請求項１に記載の発明によれば、カラー
フィルタを備えた撮像手段と、前記撮像手段に対する入
射光の入射位置をシフトする画素ずらし手段と、前記画
素ずらし手段によって入射光の入射位置をシフトしなが
ら前記撮像手段によって複数回の撮像を行うことによっ
て得た複数の画像データに対し、補間処理を行うための
補間フィルタ手段とを備え、前記補間フィルタ手段は、
カラーフィルタの画素配列に対する補間フィルタよりも
高次の補間フィルタを有する撮像装置を特徴とする。

【００３１】また本願の請求項２に記載の発明によれ
ば、請求項１の発明において、前記高次の補間フィルタ
は、前記カラーフィルタの画素のうち輝度情報の少ない
画素に対して補間処理を行うものである撮像装置を特徴
とする。

【００３２】また本願の請求項３に記載の発明によれ
ば、請求項２の発明において、前記カラーフィルタは、
Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の色画素
からなり、前記補間フィルタは、Ｒ，Ｂに対して、色補
間処理を行うものである撮像装置を特徴とする。

【００３３】また本願の請求項４に記載の発明によれ
ば、請求項３の発明において、前記カラーフィルタは、
Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の色画素
からなるＢａｙｅｒ配列に形成され、前記補間フィルタ
手段は、前記Ｇの補間に対しては、３×３＝９画素の２
次元フィルタによって色補間処理を行い、前記Ｒ，Ｂに
対しては、５×５＝２５画素の２次元フィルタによって
色補間処理を行うものである撮像装置を特徴とする。

【００３４】また本願の請求項５に記載の発明によれ
ば、請求項４の発明によれば、前記各フィルタは、前記
各画素ごとに、所定の重み付け係数を有する撮像装置を
特徴とする。

【００３５】また本願の請求項６に記載の発明によれ
ば、カラーフィルタを備えた撮像手段と、前記撮像手段
に対する入射光の入射位置をシフトする画素ずらし手段
と、前記画素ずらし手段によって入射光の入射位置をシ
フトしながら前記撮像手段によって複数回の撮像を行う
ことによって得た複数の画像データに対し、前記画像デ
ータを構成する一部の画素データの位置を移動させるこ
とにより、前記カラーフィルタの画素配置と相似の画素
配置に制御する画素移動手段とを備えた撮像装置を特徴
とする。

【００３６】また本願の請求項７に記載の発明によれ
ば、請求項６の発明において、前記画素移動手段が移動
させる画素データは、前記カラーフィルタの画素のうち
輝度情報の少ない画素データである撮像装置を特徴とす
る。

【００３７】また本願の請求項８に記載の発明によれ
ば、請求項６の発明において、前記画素移動手段が移動
させる画素データは、元の画素データのまま、あるいは
カラーフィルタの色に起因する感度補正のみを行ったデ
ータであり、近傍の他の画素データを用いた補間演算を
行っていないデータである撮像装置を特徴とする。

【００３８】また本願の請求項９に記載の発明によれ
ば、請求項６の発明において、前記カラーフィルタは、
輝度情報を含む色の画素配置が格子状に配置され、前記
画素ずらし手段は、前記格子状の関係を維持するように
画素ずらし動作を行うように構成されている撮像装置を
特徴とする。

【００３９】また本願の請求項１０に記載の発明によれ
ば、請求項９の発明において、前記カラーフィルタは、
Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の色画素
からなるＢａｙｅｒ配列のフィルタである撮像装置を特
徴とする。

【００４０】また本願の請求項１１に記載の発明によれ
ば、カラーフィルタを備えた撮像手段に対する入射光の
入射位置をシフトしながら前記撮像手段によって複数回
の撮像を行い、該複数の撮像によって得た複数の画像デ
ータに対し、前記カラーフィルタの画素配列に対する補
間フィルタよりも高次の補間フィルタを用いて補間処理
を行うことにより、高精細撮像を行う撮像方法を特徴と
する。

【００４１】また本願の請求項１２に記載の発明によれ
ば、請求項１１において、前記高次の補間フィルタは、
前記カラーフィルタの画素のうち輝度情報の少ない画素
に対して補間処理を行う撮像方法を特徴とする。

【００４２】また本願の請求項１３に記載の発明によれ
ば、請求項２において、前記カラーフィルタは、Ｒ（レ
ッド）、Ｇ（グリーン）、Ｂ（ブルー）の色画素からな
るＢａｙｅｒ配列に形成され、前記補間フィルタ手段
は、前記Ｇの補間に対しては、３×３＝９画素の２次元
フィルタによって色補間処理を行い、前記Ｒ，Ｂに対し
ては、５×５＝２５画素の２次元フィルタによって色補
間処理を行い、前記各フィルタは、前記各画素ごとに、
所定の重み付け係数を有してなる撮像方法を特徴とす
る。

【００４３】また本願の請求項１４に記載の発明によれ
ば、カラーフィルタを備えた撮像手段に対する入射光の
入射位置をシフトしながら前記撮像手段によって複数回
の撮像を行い、該複数の撮像によって得た複数の画像デ
ータに対し、前記画像データを構成する一部の画素デー
タの位置を移動させることにより、前記カラーフィルタ
の画素配置と相似の画素配置に制御するようにした撮像
方法を特徴とする。

【００４４】また本願の請求項１５に記載の発明によれ
ば、請求項１４において、前記移動させる画素データ
は、前記カラーフィルタの画素のうち輝度情報の少ない
画素データである撮像方法を特徴とする。

【００４５】また本願の請求項１６に記載の発明によれ
ば、請求項１４において、前記移動させる画素データ
は、元の画素データのまま、あるいはカラーフィルタの
色に起因する感度補正のみを行ったデータであり、近傍
の他の画素データを用いた補間演算を行っていないデー
タである撮像方法を特徴とする。

【００４６】また本願の請求項１７に記載の発明によれ
ば、請求項１４において、前記カラーフィルタは、輝度
情報を含む色の画素配置が格子状に配置され、該格子状
の関係を維持するように前記画素ずらし動作を行うよう
にした撮像装置に特徴とする。

【００４７】

【発明の実施の形態】以下に本発明の実施形態を示す。

【００４８】（第１の実施形態）第１の実施形態とし
て、画素ずらしを行って得た画像信号に対して、輝度情
報をなるべく含まないカラーフィルタの色に対してのみ
オリジナルの補間フィルタより高次のフィルタを用いる
例を説明する。

【００４９】図１は本実施形態における撮像装置の構成
要素のブロック図で、同図において、１は撮影光学系、
２は画素ずらし手段としての画素ずらし光学系で、２枚
のガラス板の間に緩衝部材で高屈折率の液体を封じ込め
たものである。この２枚のガラス板を相対的に傾ける事
で通過する光線の経路が変わり、撮像手段としてのＣＣ
Ｄ等の撮像素子４の撮像面上における結像位置を上下左
右に任意の微小量移動させるものである。

【００５０】３はその画素ずらし光学系２の制御回路で
ある。５はＣＣＤ４にリセット、蓄積、読み出し等の動
作を行わせる駆動回路。６はＣＣＤ４から読み出された
画像信号のノイズ除去、ゲイン調整、アナログ／デジタ
ル信号変換（Ａ／Ｄ変換）等を行う回路部。７はデジタ
ル化されたＣＣＤ４からの画像信号を記憶するメモリ
部。８はデジタル化された画像信号に対して種々の信号
処理を行い、色情報などの抜けの無い画像信号を作り出
したり、圧縮や記録フォーマットへの変換処理などを行
う信号処理回路部。９は得られた画像信号をカメラ外部
へ持ち出すための着脱式メモリカード等の記録媒体であ
る。１０は以上の構成要素を総括的に制御するマイクロ
コンピュータ等によるコントローラ部である。

【００５１】次に代表的なカラーフィルタと画素ずらし
動作、及びそれらに対する具体的な色情報の補間、高精
細化処理を説明する。

【００５２】図２は本発明で採用した画素ずらし動作の
１つで、前述した特開平６−２２５３１７号公報でも開
示されているものをベクトル表記したものである。これ
は水平方向に一画素（１）、斜め２方向（２，３）に半
画素それぞれ動かし、合計４回の蓄積で高精細化を行う
ものである。

【００５３】撮像素子の撮像面のカラーフィルタは、図
１１に示した代表的な純色（原色）カラーフィルタの１
つであるＢａｙｅｒ配列のカラー配置のものを用いてい
るものとする。Ｒはレッド、Ｂはブルー、Ｇ_R 、Ｇ_B は
それぞれレッドとブルーと同じ行に配置されたグリーン
を表わすことは前述の通りである。

【００５４】本実施形態ではまず図３のカラーフィルタ
パターンで図２の画素ずらし動作を３回行った場合につ
いて説明する。

【００５５】図３は実際に画素ずらしを行って得られる
各色信号の配置関係を示したものである。４回の蓄積動
作（０〜３）を図２のベクトル表記で表わした４種の記
号（□○△◇）を用い、それぞれの色情報を記入してあ
る。同じ位置に別の色情報が重なるが蓄積番号の小さい
方を手前にして重ねて書いて表現してある。

【００５６】同図から分かるようにグリーン（Ｇ_R 、Ｇ
_B ）は縦、横両方向に方向性無く、市松状に配置され、
効率よく元々の２倍に高精細化されている。一方、レッ
ドＲとブルーＢは横方向には高精細化されるが、縦方向
には欠落があり、飛躍的な高精細化には至っていない。

【００５７】このようにして得られた図３の画像信号に
対し、欠落している色情報を補間し、１枚の画像信号に
する。

【００５８】図１２と図１３を用いて説明した２次元フ
ィルタの考え方を図４の場合に適応した場合の補間フィ
ルタを図４に示した。

【００５９】図４（ａ）はグリーンに対応した補間演算
フィルタの一例である。前述したように、画素ずらしを
行って得られた画像信号においてもグリーンは市松状
に、即ち２倍の密度を有する相似形状に配置されるた
め、オリジナルの補間演算フィルタ（図１４（ａ））と
同じもので良い。

【００６０】一方グリーン以外は、輝度情報としてあま
り用いないレッド、ブルーに対しては、オリジナル配置
とは全く異なってしまっているので、図４（ｂ）に示し
たような５×５＝２５画素を演算対象ブロックとする２
次元フィルタを用いている。尚、この２５画素フィルタ
によれば、レッド、ブルー共通のフィルタで演算可能で
ある。

【００６１】図５、図６は図４（ｂ）に示す５×５＝２
５画素分を用いる２次元フィルタの動作を説明するため
の図である。

【００６２】前述のＢａｙｅｒ配列のカラーフィルタを
用いて図２に示す画素ずらしを行うと、図３に示す色信
号配置のパターンを得ることができる。

【００６３】この色信号パターンにおいて、図４（ｂ）
に示す２次元フィルタを用いて補間処理を行う。図５に
示すように５×５＝２５画素分の処理範囲が（ａ），
（ｂ），（ｃ）の３通りについて行った場合について記
載されている。尚、（ａ′），（ｂ′），（ｃ′）はそ
れぞれ処理範囲（ａ），（ｂ），（ｃ）の中心画素を表
わしており、これらの中心画素について色補間処理が行
われることになる。

【００６４】図６（ａ），（ｂ），（ｃ）は各図５の各
処理範囲（ａ），（ｂ），（ｃ）に対して図４（ｂ）の
２次元フィルタを適用した場合の演算を示している。

【００６５】各処理範囲の画素パターンに、図４（ｂ）
の２次元フィルタの各画素に相当する係数を乗じたこと
によって、各色ごとの画素値を得ることができる。

【００６６】いずれの処理範囲についても、２Ｇ，Ｒ，
Ｂの画素値を得ることができ、図３、図５の画素ずらし
後のパターンにおけるすべての画素について同様の色補
間演算を行うことができる。

【００６７】よって、解像度及び色情報とも実質的に画
素数を増加させ、高解像、高画質の撮像を行うことがで
きる。

【００６８】（第２の実施形態）第２の実施形態は、画
素ずらしを行って得た画像信号に於いて、輝度情報をな
るべく含まないカラーフィルタの色の画素の一部を移動
させる事でオリジナルのカラーフィルタと相似となる画
像信号が得られる事に着目したものである。

【００６９】本実施形態の構成要素そのものは第１の実
施形態とほとんど同じであり、図１の信号処理回路８の
処理内容の変更及びそれに関与するコントローラ１０の
機能変更のみで実現可能である。

【００７０】画素ずらし動作は、図２と同様に行われ
る。本実施形態も図１３と同じＢａｙｅｒ配列のカラー
フィルタを用いて説明を行う。

【００７１】まず画素ずらし動作によって得られる各色
信号の配置関係は図３に示した通りである。

【００７２】この画像信号のうち、特に輝度情報として
あまり用いないレッドＲとブルーＢの画素信号の一部に
対して以下の移動操作を行う。「Ｒ（レッド）画素の移動」４ｎ行のＲ画素を１画素分左へ移動（図７ａ）４ｎ＋１行のＲ画素を１画素分下へ移動（図７ｂ）「Ｂ（ブルー）画素の移動」４ｎ＋２行のＢ画素を１画素分上へ移動（図７ｃ）４ｎ＋３行のＢ画素を１画素分右へ移動（図７ｄ）

【００７３】但し上記において、ｎは０以上の整数、た
だし１画素分とは画素ずらし動作後の１画素分を意味
し、即ちオリジナルすなわち撮像素子表面の画素の半画
素分である。

【００７４】以上のような一部画素情報の移動を行った
結果を図７に示した。これは図１２に示したオリジナル
のＢａｙｅｒ配列の画像信号が高精細化されたものにほ
かならず、即ちオリジナルのカラーフィルタと相似とな
る画像信号が得られた事になる。

【００７５】従って、上記一部の画素の移動操作を行う
事で色情報の補間処理の演算には図１３に示した様なオ
リジナルの画像信号に対するフィルタがそのまま使用可
能になっている。

【００７６】（第３の実施形態）第３の実施形態では、
画素ずらしを第１、第２の実施形態とは別の動作で行っ
た画像信号に於いても、輝度情報をなるべく含まないカ
ラーフィルタの色の画素の一部を移動させる事でオリジ
ナルのカラーフィルタと相似となる画像信号が得られる
実施例を説明する。

【００７７】本実施形態の構成要素も第１及び第２の実
施形態とほとんど同じであり、図１の信号処理回路部８
の処理内容の変更と画素ずらし光学系２の制御回路部３
の動作及びそれに関与するコントローラ１０の機能変更
のみで実現可能である。

【００７８】図８は図２と同様に本実施形態での画素ず
らし動作をベクトル表示したものである。本実施形態に
おいても図１１に示したようなＢａｙｅｒ配列のカラー
フィルタを用いての説明を行う。

【００７９】まず、図９は図８の画素ずらし動作によっ
て得られた各色信号の配置関係を示したものである。本
実施形態での画素ずらし動作によると、前述の第１、第
２の本実施形態にて得られた画像信号よりもレッドＲと
ブルーＢの色信号配置の縦方向の欠落がやや改善されて
いる事が分かる。

【００８０】この画像信号に対しても、特に輝度情報と
してあまり用いないレッドＲとブルーＢの画素信号の一
部に対して以下の移動操作を行う。「Ｒ（レッド）画素の移動」４ｎ行のＲ画素を２画素分右へ、１画素分上へ移動（図
９ａ）４ｎ＋１行のＲ画素を１画素分左へ移動（図９ｂ）４ｎ＋２行のＲ画素を１画素分下へ移動（図９ｃ）「Ｂ（ブルー）画素の移動」４ｎ行のＢ画素を１画素分右へ移動（図９ｄ）４ｎ＋２行のＢ画素を２画素分下へ、１画素分左へ移動
（図９ｅ）４ｎ＋３行のＢ画素を１画素分上へ移動（図９ｆ）

【００８１】上記においても、ｎは０以上の整数、１画
素分とは画素ずらし動作後の１画素分、即ちオリジナル
での半画素分である。

【００８２】以上のような一部画素情報の移動を行った
結果を図１０に示した。これも図７と同様に図１２に示
したオリジナルのＢａｙｅｒ配列の画像信号が高精細化
されたものにほかならず、即ちオリジナルのカラーフィ
ルタと相似となる画像信号が得られた事になる。

【００８３】従って、上記の移動操作を行う事でも色情
報の補間処理の演算には図１３に示した様なオリジナル
の画像信号に対するフィルタがそのまま使用可能になっ
ている。

【００８４】なお、以上説明を行った画素情報の移動に
関して、上下、左右はそれぞれ組み合わせ次第では逆の
動作でも同じ効果である事は言うまでもない。

【００８５】また、以上の説明においては一貫してＢａ
ｙｅｒ配列のカラーフィルタを用いての説明を行ってい
るが、他のカラーフィルタを用いても可能である。

【００８６】更に、色信号の補間に指向性の無い２次元
フィルタを用いて説明を行ったが、エッジ検出等の結果
を考慮したフィルタとする事も有効である。

【００８７】

【発明の効果】以上説明したように、画素ずらしを行っ
て得た画像信号に対して、カラーフィルタの所定の色に
対してのみオリジナルの補間フィルタより高次のフィル
タを用いる事で高精細な画像信号が得る事が可能にな
る。

【００８８】また、画素ずらしを行って得た画像信号に
於いて、カラーフィルタの所定の色の画素の一部を移動
させる事でオリジナルのカラーフィルタと相似となる画
像信号が得られ、画素ずらし動作の有無に関係なく同一
の補間フィルタでの処理が可能になる。

【図面の簡単な説明】

【図１】本発明の実施形態における撮像装置の基本構成
図である。

【図２】第１の実施形態における画素ずらし動作のベク
トル表記図である。

【図３】第１の実施形態での画素ずらし動作で得られる
画像信号の説明図である。

【図４】第１の実施形態における色情報の補間２次元フ
ィルタの説明図である。

【図５】図４の２次元フィルタによる補間動作を説明す
るための図である。

【図６】図４の２次元フィルタによる補間動作を説明す
るための図である。

【図７】第２の実施形態における画素信号の移動方法の
説明図である。

【図８】第３の実施形態における画素ずらし動作のベク
トル表記図である。

【図９】第３の実施形態での画素ずらし動作で得られる
画像信号の説明図である。

【図１０】第３の実施形態における画素信号の移動方法
の説明図である。

【図１１】一般的なカラーフィルタの説明図である。

【図１２】図１１のカラーフィルタを用いた場合の画像
信号の説明図である。

【図１３】図１２の画像信号に対する色情報の補間フィ
ルタの説明図である。

【図１４】一般的な画素ずらし動作の説明図である。

【符号の説明】

１撮影光学系２画素ずらし光学系４撮像素子（ＣＣＤ）７メモリ８信号処理回路１０コントローラＲレッド（赤色）のカラーフィルタを通過して得られ
た信号である。Ｂブルー（青色）のカラーフィルタを通過して得られ
た信号である。Ｇ_R グリーン（緑色）のカラーフィルタを通過して得
られた信号でレッドと同じ行に配置された信号である。Ｇ_B グリーン（緑色）のカラーフィルタを通過して得
られた信号でブルーと同じ行に配置された信号である。

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C065 AA01 AA03 BB48 CC01 CC07 CC09 DD02 DD17 DD20 EE05 EE06 EE20 GG02 GG13 GG18 GG30

Claims

【特許請求の範囲】

【請求項１】カラーフィルタを備えた撮像手段と、前記撮像手段に対する入射光の入射位置をシフトする画
素ずらし手段と、前記画素ずらし手段によって入射光の入射位置をシフト
しながら前記撮像手段によって複数回の撮像を行うこと
によって得た複数の画像データに対し、補間処理を行う
ための補間フィルタ手段とを備え、前記補間フィルタ手段は、カラーフィルタの画素配列に
対する補間フィルタよりも高次の補間フィルタを有する
ことを特徴とする撮像装置。
【請求項２】請求項１において、前記高次の補間フィルタは、前記カラーフィルタの画素
のうち輝度情報の少ない画素に対して補間処理を行うも
のであることを特徴とする撮像装置。
【請求項３】請求項２において、前記カラーフィルタは、Ｒ（レッド）、Ｇ（グリー
ン）、Ｂ（ブルー）の色画素からなり、前記補間フィル
タは、Ｒ，Ｂに対して、色補間処理を行うものであるこ
とを特徴とする撮像装置。
【請求項４】請求項３において、前記カラーフィルタは、Ｒ（レッド）、Ｇ（グリー
ン）、Ｂ（ブルー）の色画素からなるＢａｙｅｒ配列に
形成され、前記補間フィルタ手段は、前記Ｇの補間に対
しては、３×３＝９画素の２次元フィルタによって色補
間処理を行い、前記Ｒ，Ｂに対しては、５×５＝２５画
素の２次元フィルタによって色補間処理を行うものであ
ることを特徴とする撮像装置。
【請求項５】請求項４において、前記各フィルタは、前記各画素ごとに、所定の重み付け
係数を有することを特徴とする撮像装置。
【請求項６】カラーフィルタを備えた撮像手段と、前記撮像手段に対する入射光の入射位置をシフトする画
素ずらし手段と、前記画素ずらし手段によって入射光の入射位置をシフト
しながら前記撮像手段によって複数回の撮像を行うこと
によって得た複数の画像データに対し、前記画像データ
を構成する一部の画素データの位置を移動させることに
より、前記カラーフィルタの画素配置と相似の画素配置
に制御する画素移動手段と、を備えたことを特徴とする
撮像装置。
【請求項７】請求項６において、前記画素移動手段が移動させる画素データは、前記カラ
ーフィルタの画素のうち輝度情報の少ない画素データで
あることを特徴とする撮像装置。
【請求項８】請求項６において、前記画素移動手段が移動させる画素データは、元の画素
データのまま、あるいはカラーフィルタの色に起因する
感度補正のみを行ったデータであり、近傍の他の画素デ
ータを用いた補間演算を行っていないデータであること
を特徴とする撮像装置。
【請求項９】請求項６において、前記カラーフィルタは、輝度情報を含む色の画素配置が
格子状に配置され、前記画素ずらし手段は、前記格子状
の関係を維持するように画素ずらし動作を行うように構
成されていることを特徴とする撮像装置。
【請求項１０】請求項９において、前記カラーフィルタは、Ｒ（レッド）、Ｇ（グリー
ン）、Ｂ（ブルー）の色画素からなるＢａｙｅｒ配列の
フィルタであることを特徴とする撮像装置。
【請求項１１】カラーフィルタを備えた撮像手段に対
する入射光の入射位置をシフトしながら前記撮像手段に
よって複数回の撮像を行い、該複数の撮像によって得た
複数の画像データに対し、前記カラーフィルタの画素配
列に対する補間フィルタよりも高次の補間フィルタを用
いて補間処理を行うことにより、高精細撮像を行うこと
を特徴とする撮像方法。
【請求項１２】請求項１１において、前記高次の補間フィルタは、前記カラーフィルタの画素
のうち輝度情報の少ない画素に対して補間処理を行うも
のであることを特徴とする撮像方法。
【請求項１３】請求項２において、前記カラーフィルタは、Ｒ（レッド）、Ｇ（グリー
ン）、Ｂ（ブルー）の色画素からなるＢａｙｅｒ配列に
形成され、前記補間フィルタ手段は、前記Ｇの補間に対
しては、３×３＝９画素の２次元フィルタによって色補
間処理を行い、前記Ｒ，Ｂに対しては、５×５＝２５画
素の２次元フィルタによって色補間処理を行い、前記各
フィルタは、前記各画素ごとに、所定の重み付け係数を
有してなる撮像方法。
【請求項１４】カラーフィルタを備えた撮像手段に対
する入射光の入射位置をシフトしながら前記撮像手段に
よって複数回の撮像を行い、該複数の撮像によって得た
複数の画像データに対し、前記画像データを構成する一
部の画素データの位置を移動させることにより、前記カ
ラーフィルタの画素配置と相似の画素配置に制御するよ
うにしたことを特徴とする撮像方法。
【請求項１５】請求項１４において、前記移動させる画素データは、前記カラーフィルタの画
素のうち輝度情報の少ない画素データであることを特徴
とする撮像方法。
【請求項１６】請求項１４において、前記移動させる画素データは、元の画素データのまま、
あるいはカラーフィルタの色に起因する感度補正のみを
行ったデータであり、近傍の他の画素データを用いた補
間演算を行っていないデータであることを特徴とする撮
像方法。
【請求項１７】請求項１４において、前記カラーフィルタは、輝度情報を含む色の画素配置が
格子状に配置され、該格子状の関係を維持するように前
記画素ずらし動作を行うようにしたことを特徴とする撮
像装置。