JP2003092764A - 画像信号処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 固体撮像素子で撮像された画像を列方向に不
均一に間引き圧縮した場合のモアレを解消する。 【解決手段】 ＣＣＤイメージセンサはＲ，Ｇが交互に
並ぶ画素列を６画素毎に区切り、各区切りに含まれる
Ｒ、Ｇ別に情報電荷を加算合成して出力する。この加算
画素値〈Ｒ〉，〈Ｇ〉が対応する初期サンプリング点の
列方向の位置は不均一である。この不均一圧縮画像を入
力された信号処理回路は、等間隔で並ぶ目的サンプリン
グ点での画素値を補間演算により求め、均等圧縮画像を
構成する画素値〈Ｒ〉'，〈Ｇ〉'を出力する。例えば、
目的サンプリング点を〈Ｒ〉が位置する初期サンプリン
グ点に一致させた場合、〈Ｒ〉'は〈Ｒ〉に一致する
が、〈Ｇ〉'は目的サンプリング点の上下に位置する２
つの〈Ｇ〉の値から、それらの位置と目的サンプリング
点との距離の逆数を重み付け係数に用いた加重平均演算
により算出される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、行列配置された画
素で構成された原画像に対して、列方向に画素が間引か
れた列方向に圧縮された画像を生成する画像信号処理装
置に関する。

【０００２】

【従来の技術】電子スチルカメラ等には、数百万画素と
いう高解像度の固体撮像素子が搭載されている。それら
カメラは、撮像しようとする画像をプレビューする表示
部を備えている。さて、プレビュー画像は、画面が小型
であり、またもっぱら被写体の確認等の目的に用いられ
るものであるため、記録媒体に記録されるスチル画像ほ
どの解像度は必要とされない。また、動画撮影において
は、短時間のフレームレートで繰り返して画像を処理し
記録する必要があるため、処理する画素数が多いと処理
が追いつかない。さらに、動画像に対する人間の視覚特
性上、スチル画像ほどの解像度は必要とされない。

【０００３】そのため、プレービュー時の撮影や動画撮
影においては、列方向、すなわち垂直方向に画素を間引
いた画像信号を出力する駆動を可能としたＣＣＤ（Char
ge Coupled Device）イメージセンサが存在する。

【０００４】次に、列方向の圧縮を行わない場合の処理
と、従来の列方向圧縮処理とをそれぞれ図を用いて説明
する。

【０００５】図５は、列方向の圧縮を行わない場合の処
理を説明する模式図である。ここで，ＣＣＤイメージセ
ンサの撮像領域には、図６に示すような、例えばＲ（Re
d）、Ｇ（Green）、Ｂ（Blue）の３色が所定の順序で配
列されるモザイク型のカラーフィルタが装着される。こ
のカラーフィルタは、奇数列にＲ及びＧが交互に配列さ
れ、偶数列にＧ及びＢが交互に配列される。図５の縦に
並ぶＲ₁，Ｇ₂，Ｒ₃，Ｇ₄，…はＣＣＤイメージセンサの
或る奇数列における画素の配置及びその画素に生成され
る情報電荷量を表しており、Ｒ_2i-1はこの列の第（２ｉ
−１）行（ｉは自然数）に配置されたＲ画素の情報電荷
量、またＧ_2iは同じ列の第２ｉ行に配置されたＧ画素の
情報電荷量をそれぞれ表す。

【０００６】圧縮を行わない場合にはＣＣＤイメージセ
ンサからは各行の情報電荷が順次読み出される。つま
り、図示する列上のＲ₁，Ｇ₂，Ｒ₃，…が全て出力され
る。ＣＣＤイメージセンサから出力された段階では、各
行毎にＲ又はＧのいずれか一方の信号しか得られない
が、この出力に対する信号処理回路にて、補間処理によ
り各行毎にＲ及びＧ両信号が割り当てられ、垂直方向の
解像度の向上を図ることができる。具体的には、Ｒ_2i+1
の位置に対するＲ信号をＲ'_2i+1、Ｇ信号をＧ'_2i+1と記
すと、これらは次式で与えられる。

【０００７】

【数１】Ｒ'_2i+1 ＝ Ｒ_2i+1 Ｇ'_2i+1 ＝ （Ｇ_2i＋Ｇ_2i+2）／２ すなわち、Ｇ信号がＲ_2i+1の上下に位置するＧ_2iとＧ
_2i+2との平均値に定められる。同様にＧ_2iの位置に対す
るＲ信号をＲ'_2i、Ｇ信号をＧ'_2iと記すと、これらは次
式で与えられる。

【０００８】

【数２】Ｒ'_2i ＝ （Ｒ_2i-1＋Ｒ_2i+1）／２ Ｇ'_2i ＝ Ｇ_2i すなわち、Ｒ信号がＧ_2iの上下に位置するＲ_2i-1とＲ
_2i+1との平均値に定められる。

【０００９】このように圧縮しない場合には、垂直方向
に並ぶ各画素がそれぞれＲ信号値、Ｇ信号値の両方を決
定付けるサンプリング点となる。

【００１０】図７は、ＣＣＤイメージセンサにおける列
方向圧縮を説明する模式図であり、Ｒ₁，Ｇ₂等は図５と
共通の表記である。ＣＣＤイメージセンサでは、インタ
ーレース方式で撮像が行われ、偶数行と奇数行とが別々
の撮像で読み出される。従って、圧縮は、同じ色成分に
対応する画素を、所定行数ずつ加算合成することにより
行われる。図に示す例では、列は６画素ずつ区分され、
この６画素毎に加算合成処理により１組のＲ，Ｇ加算画
素値が生成される。つまり、６画素値から２つの加算画
素値が生成され、列方向に１／３圧縮されている。

【００１１】ここで、列方向に隣接する２画素Ｒ_2i-1，
Ｇ_2iを画素セットと定義すると、１組のＲ，Ｇの加算画
素値に対応する６行には３つの画素セットが含まれ、こ
れをセット群と定義する。図に示す例では、画素Ｒ₁〜
Ｇ₆が第１セット群、画素Ｒ₇〜Ｇ₁₂が第２セット群、画
素Ｒ₁₃〜Ｇ₁₈が第３セット群を構成する。

【００１２】加算合成は、各セット群に含まれる画素値
を色別にそれぞれ加算する。第ｋセット群から生成され
るＲ，Ｇの加算画素値をそれぞれ〈Ｒ〉_2k-1，〈Ｇ〉_2k
と記す。例えば、第１セット群の加算画素値は次式で与
えられる。

【００１３】

【数３】〈Ｒ〉₁＝ （Ｒ₁＋Ｒ₃＋Ｒ₅） 〈Ｇ〉₂＝ （Ｇ₂＋Ｇ₄＋Ｇ₆） 加算合成機能を有したＣＣＤイメージセンサからは、あ
る列に対応して〈Ｒ〉 ₁，〈Ｇ〉₂，〈Ｒ〉₃，〈Ｇ〉₄，
…が順番に出力される。すなわち、〈Ｒ〉_2k-1，〈Ｇ〉
_2kは第（２ｋ−１）行、第２ｋ行のＣＣＤ出力信号を構
成する。

【００１４】この出力に対する信号処理回路は、上述の
圧縮なしの場合と同様の補間処理を行い、ＣＣＤ出力の
各行毎にＲ及びＧ両信号を割り当て、垂直方向の解像度
が向上した圧縮画像を生成する。具体的には、〈Ｒ〉
_2k+1の位置に対し、信号処理回路が与えるＲ信号を
〈Ｒ〉'_2k+1、Ｇ信号を〈Ｇ〉'_2k+1と記すと、これらは
次式で与えられる。

【００１５】

【数４】〈Ｒ〉'_2k+1 ＝ 〈Ｒ〉_2k+1 〈Ｇ〉'_2k+1 ＝ （〈Ｇ〉_2k＋〈Ｇ〉_2k+2）／２ すなわち、Ｇ信号が〈Ｒ〉_2k+1の上下に位置する〈Ｇ〉
_2kと〈Ｇ〉_2k+2iとの平均値に定められる。同様に
〈Ｇ〉_2kの位置に対するＲ信号を〈Ｒ〉'_2k、Ｇ信号を
〈Ｇ〉'_2kと記すと、これらは次式で与えられる。

【００１６】

【数５】 〈Ｒ〉'_2k ＝ （〈Ｒ〉_2k-1＋〈Ｒ〉_2k+1）／２ 〈Ｇ〉'_2k ＝ 〈Ｇ〉_2k すなわち、Ｒ信号が〈Ｇ〉_2kの上下に位置する〈Ｒ〉
_2k-1と〈Ｒ〉_2k+1との平均値に定められる。

【００１７】このように、信号処理回路は、ＣＣＤイメ
ージセンサから行を間引かれた列圧縮画像信号を入力さ
れ、その垂直方向に並ぶ各画素、つまりサンプリング点
に対してそれぞれＲ信号値、Ｇ信号値の両方が定義され
た新たな列方向圧縮画像を生成する。

【００１８】

【発明が解決しようとする課題】上述の加算合成機能を
有したＣＣＤイメージセンサから順次出力される〈Ｒ〉
₁，〈Ｇ〉₂，〈Ｒ〉₃，〈Ｇ〉₄，…が対応付けられるサ
ンプリング点の列方向の位置は等間隔ではない。例え
ば、上述の例では、〈Ｒ〉₁に対応するサンプリング点
の列方向の位置は、〈Ｒ〉₁の元となる画素Ｒ₁，Ｒ₃，
Ｒ₅の中心の行位置である第３行であり、〈Ｇ〉₂に対応
するサンプリング点の列方向の位置は、〈Ｇ〉₂の元と
なる画素Ｇ₂，Ｇ₄，Ｇ₆の中心の行位置である第４行で
ある。同様に、〈Ｒ〉₃はその元となる画素Ｒ₇，Ｒ₉，
Ｒ₁₁の中心の行位置である第９行に対応付けられ、
〈Ｇ〉₄はその元となる画素Ｇ₈，Ｇ₁₀，Ｇ₁₂の中心の行
位置である第１０行である。従って、ＣＣＤ出力にて
〈Ｒ〉_2k+1の前後の行から得られる〈Ｇ〉_2kと〈Ｇ〉
_2k+2との単純平均値は、〈Ｒ〉_2k+1の位置のＧ信号値の
推定値としては精度が低く、同様にＣＣＤ出力にて
〈Ｇ〉_2kの前後の行から得られる〈Ｒ〉 _2k-1と〈Ｒ〉
_2k+1との単純平均値は、〈Ｇ〉_2kの位置のＲ信号値の推
定値としては精度が低い。そのため、従来の信号処理回
路により生成される列圧縮画像はモアレを生じやすく画
質が低くなるという問題を有していた。この画質劣化
は、圧縮率が低い場合には許容し得たかもしれないが、
圧縮率はＣＣＤイメージセンサの撮像領域の画素数の増
大に伴い高くなり、この問題を無視できなくなってい
る。

【００１９】本発明は上記問題点を解消するためになさ
れたもので、画質の劣化が低減された列方向圧縮画像を
生成する画像信号処理装置を提供することを目的とす
る。

【００２０】

【課題を解決するための手段】本発明に係る画像信号処
理装置は、複数の色成分が所定の順序で対応付けられる
複数の受光画素で情報電荷を蓄積し、列方向の所定数画
素のうちの中心画素の行位置を初期サンプリング点とし
て前記情報電荷を列方向に合成する固体撮像素子から得
られる第１の圧縮画像に対して列方向の補間処理を施し
て第２の圧縮画像を生成する画像信号処理装置におい
て、前記固体撮像素子から出力される前記第１の圧縮画
像の少なくとも１行を保持するラインメモリと、前記第
１の圧縮画像を列方向に等間隔で設定される目的サンプ
リング点にてサンプリングして前記第２の圧縮画像を定
義し、前記ラインメモリで保持されるデータに基づいて
算出する補間画素値を用いて前記第２の圧縮画像の列方
向の画素データを補間する補間処理部とを備え、前記補
間処理部は、前記初期サンプリング点と前記目的サンプ
リング点との距離の逆数に応じた重み係数を用いた加重
平均演算により前記補間画素値を算出する。

【００２１】本発明の好適な態様は、前記第１の圧縮画
像が、所定の列で第１の色成分及び第２の色成分が交互
に配列され、前記補間処理部が、前記第１の色成分、或
いは前記第２の色成分の何れか一方の前記初期サンプリ
ング点を前記目的サンプリング点とすることを特徴とす
る画像信号処理装置である。

【００２２】本発明の他の好適な態様は、前記第１の圧
縮画像が、所定の列で第１の色成分及び第２の色成分が
交互に配列され、前記補間処理部が、前記第１の色成
分、或いは前記第２の色成分の何れか一方の前記初期サ
ンプリング点を第１の目的サンプリング点とし、列方向
に隣接する前記第１の目的サンプリング点の相互間を等
間隔に区分する行位置を第２の目的サンプリング点とす
ることを特徴とする画像信号処理装置である。

【００２３】

【発明の実施の形態】次に、本発明の実施形態について
図面を参照して説明する。

【００２４】［実施形態１］図１は、本発明に係る圧縮
画像生成を行う信号処理回路を備えた撮像装置の概略構
成を示すブロック図である。この撮像装置は、ＣＣＤイ
メージセンサ２、ＣＣＤドライバ回路３、タイミング制
御回路４、アナログ信号処理回路５、Ａ／Ｄ変換回路６
及びデジタル信号処理回路７を備えている。

【００２５】ＣＣＤイメージセンサ２は、撮像領域に複
数の受光画素を備えて構成され、入射される光に応答し
て発生した情報電荷を各受光画素に蓄積する。

【００２６】ＣＣＤイメージセンサ２の撮像領域には図
６に示すような、例えば、ＲＧＢの３色からなるモザイ
クフィルタが配列されている。行番号α及び列番号βで
指定される受光画素の色Ｃ(α,β)は、例えば、次のよ
うに定められる。

【００２７】

【数６】 Ｃ(2i-1,2i-1) ＝ Ｒ Ｃ(2i ,2i ) ＝ Ｂ ………（１） Ｃ(2i-1,2i) ＝Ｃ(2i,2i-1) ＝ Ｇ （但し、ｉは自然
数） （１）式で定義されるフィルタ配列では、行列配置され
た受光画素の奇数列は、Ｒ，Ｇ，Ｒ，Ｇ，…というよう
に、Ｒ及びＧからなる画素セットが繰り返して配置され
る。一方、偶数列は、Ｇ，Ｂ，Ｇ，Ｂ，…というよう
に、Ｇ及びＢからなる画素セットが繰り返して配置され
る。

【００２８】ＣＣＤドライバ回路３は、ＣＣＤイメージ
センサ２を駆動し、１画素毎に各色成分に対応付けられ
る画像信号を読み出す。例えば、ＣＣＤイメージセンサ
２がインターライン型であった場合、フレーム転送クロ
ックφｆをＣＣＤイメージセンサ２の撮像部に印加して
蓄積部にフレーム転送し、垂直転送クロックφｖを蓄積
部に印加して、フレーム転送された情報電荷を水平転送
レジスタにライン転送する。そして、水平転送レジスタ
に水平転送クロックφｈを印加して情報電荷を水平転送
し、出力部で電荷量に応じた電圧値に変換して画像信号
として出力する。なお、フレーム転送クロックφｆ、垂
直転送クロックφｖ及び水平転送クロックφｈは、タイ
ミング制御回路４から供給される各タイミング信号に基
づいて生成される。

【００２９】タイミング制御回路４は、一定周期の基準
クロックＣＫをカウントする複数のカウンタより構成さ
れ、基準クロックＣＫを分周してフレームシフトタイミ
ング信号ＦＴ、水平同期信号ＨＴ及び垂直同期信号ＶＴ
を生成する。

【００３０】アナログ信号処理回路５は、ＣＣＤイメー
ジセンサ２から出力される画像信号を取り込んで、サン
プルホールド、ゲイン調整等の各種のアナログ信号処理
を施す。Ａ／Ｄ変換回路６は、アナログ信号処理の施さ
れた画像信号を取り込み、１画素毎にデジタル信号に変
換して画像データとして出力する。デジタル信号処理回
路７は画像データに対して所定のマトリクス処理を施し
て輝度データや色データを生成し、生成したデータに対
して輪郭補正やガンマ補正等の処理を施す。すなわち、
従来技術と同様に、プレビュー表示や動画像撮像時に
は、表示装置の都合に合わせて画像データを圧縮し、圧
縮画像を出力する。

【００３１】ここで、撮像装置に含まれるＣＣＤイメー
ジセンサ２自体は従来技術と同様のものである。従っ
て、例えば、ここでも、列方向圧縮動作時には３画素セ
ットからなる各セット群に含まれる２種類の色別に情報
電荷を加算合成して出力するものとする。つまりＣＣＤ
イメージセンサ２は６行ずつ加算合成を行う。第ｋのセ
ット群（つまり受光画素の第（６ｋ−５）〜６ｋ行）に
対する加算合成の結果、奇数列からＣＣＤイメージセン
サ２の水平転送レジスタへは加算画素値〈Ｒ〉_{2k -1}，
〈Ｇ〉_2kが順次、出力され、偶数列から水平転送レジス
タへは加算画素値〈Ｇ〉_2k-1，〈Ｂ〉_2kが順次、出力さ
れる。ちなみに、ＣＣＤイメージセンサ２の水平転送レ
ジスタからは、行方向に連続する画素信号が読み出され
る。これはＣＣＤイメージセンサ２が列方向圧縮動作さ
れていても同様である。

【００３２】デジタル信号処理回路７は、ＣＣＤイメー
ジセンサ２の列方向圧縮動作時の出力に対して列方向の
補間処理を行う補間処理部１０を有している。この補間
処理は、後述するように列方向に隣接する加算画素値を
用いて行うが、上述のようにＣＣＤイメージセンサ２の
出力信号上、列方向に隣接する加算画素値は連続して得
られない。そこで、デジタル信号処理回路７にはＣＣＤ
イメージセンサ２の出力信号を少なくとも１行分保持可
能なラインメモリ１２が用意される。これにより、ある
加算画素値と当該加算画素値と同じ列であって、１水平
走査期間先行して出力された加算画素値とを用いた補間
演算を行うことができる。

【００３３】ＣＣＤイメージセンサ２が列方向圧縮動作
にて出力する加算画素値は上述したように、列方向に不
均一なサンプリング点（初期サンプリング点）に対応し
ている。デジタル信号処理回路７は、初期サンプリング
点での加算画素値〈Ｒ〉，〈Ｇ〉，〈Ｂ〉から、列方向
に等間隔なサンプリング点（目的サンプリング点）での
補間画素値〈Ｒ〉'，〈Ｇ〉'，〈Ｂ〉'を求め、その補
間画素値で表される画像信号を出力する。これにより、
初期サンプリング点での加算画素値で表される不均一圧
縮画像が、目的サンプリング点での補間画素値で表され
る均等圧縮画像に変換される。

【００３４】図２は、デジタル信号処理回路７における
圧縮画像生成処理を説明する模式図であり、ある一つの
奇数列に対応した処理を例示している。図において、左
側に縦にならぶ記号列Ｒ₁，Ｇ₂等は、ＣＣＤイメージセ
ンサ２の撮像領域のある奇数列の画素値２０である。ま
た、その右に縦に並ぶ記号列〈Ｒ〉₁，〈Ｇ〉₂等は、画
素値２０を６行分ずつ（すなわち３画素セットずつ）加
算合成した加算画素値２２であり、これがＣＣＤイメー
ジセンサ２から出力される。これらＣＣＤイメージセン
サ２にて生成され、出力される画素値２０，２２は図７
に示す従来と同様である。

【００３５】加算画素値〈Ｒ〉_2k-1，〈Ｇ〉_2k（ｋは自
然数）に対応するサンプリング点の列方向位置は、それ
ぞれの元となる加算された３画素のうちの中心画素の行
位置とすることができる。つまり、〈Ｒ〉_2k-1のサンプ
リング位置は、撮像領域上での第（６ｋ−３）行、
〈Ｇ〉_2kのサンプリング位置は、第（６ｋ−２）行であ
る。よって、サンプリング位置の〈Ｒ〉_2k-1と〈Ｇ〉_2k
との間隔と、〈Ｇ〉_2kと〈Ｒ〉_2k+1との間隔とは等しく
なく、〈Ｒ〉，〈Ｇ〉両方を合わせた初期サンプリング
点は等間隔には位置しない。しかし、〈Ｒ〉のみ、又は
〈Ｇ〉のみの初期サンプリング点はそれぞれ等間隔とな
る。

【００３６】そこで、例えば、補間処理部１０は〈Ｒ〉
に対応する初期サンプリング点と〈Ｇ〉に対応する初期
サンプリング点とのうち、いずれか一方を目的サンプリ
ングとする。例えば〈Ｒ〉に対応する初期サンプリング
点の位置である第（６ｋ−３）行が目的サンプリング点
とされる。

【００３７】補間処理部１０は加算画素値２２（〈Ｒ〉
_2k-1，〈Ｇ〉_2k）から、目的サンプリング点における補
間画素値２４（〈Ｒ〉'_k，〈Ｇ〉'_k）を算出して出力す
る。具体的には、次式により、〈Ｒ〉'_k，〈Ｇ〉'_kが求
められる。

【００３８】

【数７】 〈Ｒ〉'_k ＝ 〈Ｒ〉_2k-1 ………（２） 〈Ｇ〉'_k ＝ （〈Ｇ〉_2k-2＋５〈Ｇ〉_2k）／６ ………（３） ここで、〈Ｒ〉_2k-1のサンプリング位置は目的サンプリ
ング位置に一致するので、補間処理部１０は〈Ｒ〉'_kに
対しては〈Ｒ〉_2k-1をそのまま用いる。一方、〈Ｇ〉'_k
は、目的サンプリング位置の上下の位置でサンプリング
された〈Ｇ〉_{2k -2}と〈Ｇ〉_2kとを補間して求められる。
この補間演算は、目的サンプリング点と〈Ｇ〉_2k-2，
〈Ｇ〉_2kのサンプリング点それぞれとの距離の逆数に応
じた重み係数を用いた加重平均演算であり、これによ
り、目的サンプリング点でのＧ画素信号が精度よく推定
される。具体的には、目的サンプリング点が位置する第
（６ｋ−３）行と〈Ｇ〉_2k-2のサンプリング点が位置す
る第（６ｋ−８）行とは５行隔たり、一方、目的サンプ
リング点が位置する第（６ｋ−３）行と〈Ｇ〉_2kのサン
プリング点が位置する第（６ｋ−２）行との隔たりは１
行であり、これに基づいて、（３）式に示すように
〈Ｇ〉_2k-2と〈Ｇ〉_2kとが１：５の比率で合成されて
〈Ｇ〉'_kが定められる。

【００３９】なお、〈Ｇ〉'_kを求めるために、先行して
ＣＣＤイメージセンサ２から出力されている加算画素値
〈Ｇ〉_2k-2が必要である。そこで、デジタル信号処理回
路７は、ＣＣＤイメージセンサ２から出力された加算画
素値〈Ｇ〉_2k-2をラインメモリ１２に格納し、補間処理
部１０はこのラインメモリ１２から必要な加算画素値
〈Ｇ〉_2k-2を読み出して上記補間処理を行う。ここで、
（３）式を計算するためにラインメモリ１２から〈Ｇ〉
_2k-2を読み出した後に、次の目的サンプリングでの補間
処理に備えて〈Ｇ〉_2kが、ラインメモリ１２の〈Ｇ〉
_2k-2を格納していたアドレスに格納される。

【００４０】上述の説明では奇数列を例に説明したが、
デジタル信号処理回路７は偶数列についても同様に補間
処理を行う。

【００４１】上述の処理により、ＣＣＤイメージセンサ
２の撮像領域で得られる原画像の６行毎に１つの目的サ
ンプリング点が等間隔に設定される。すなわち、列方向
に均等に１／６圧縮された列圧縮画像が生成される。

【００４２】［実施形態２］図３は、本発明の第２の実
施形態である信号処理回路を備えた撮像装置の概略構成
を示すブロック図である。上記実施形態と同様の機能を
有する構成要素には同一の符号を付し、説明を簡略化す
る。上記実施形態のデジタル信号処理回路７は、初期サ
ンプリング点のうちいずれか一方の色に対応した点を目
的サンプリング点としたが、デジタル信号処理回路３０
は、そのサンプリング点に加えて、その中点もさらに目
的サンプリング点とする。デジタル信号処理回路３０
は、補間処理部３２と作業用メモリ３４とを有してい
る。

【００４３】図４は、デジタル信号処理回路３０におけ
る圧縮画像生成処理を説明する模式図であり、ある一つ
の奇数列に対応した処理を例示している。補間処理部３
２は、上記実施形態と同様に、〈Ｒ〉に対応する初期サ
ンプリング点と〈Ｇ〉に対応する初期サンプリング点と
のうち、いずれか一方を目的サンプリングとする。例え
ば〈Ｒ〉に対応する初期サンプリング点の位置である第
（６ｋ−３）行が第１の目的サンプリング点４０とされ
る。補間処理部３２は、さらに、隣接する２つの第１の
目的サンプリング点４０の間を等間隔に区分する点を第
２の目的サンプリング点とする。例えば図４では２つの
第１の目的サンプリング点間の中点である第６ｋ行が第
２の目的サンプリング点４２とされる。

【００４４】補間処理部３２は加算画素値２２（〈Ｒ〉
_2k-1，〈Ｇ〉_2k）から、第１及び第２の目的サンプリン
グ点における補間画素値４４を算出する。なお、第（６
ｋ−３）行に位置する第１の目的サンプリング点におけ
る補間画素値は〈Ｒ〉'_2k-1及び〈Ｇ〉'_2k-1であり、上
記実施形態の（２）（３）式に相当する次式で求められ
る。

【００４５】

【数８】 〈Ｒ〉'_2k-1 ＝ 〈Ｒ〉_2k-1 ………（４） 〈Ｇ〉'_2k-1 ＝ （〈Ｇ〉_2k-2＋５〈Ｇ〉_2k）／６ ………（５） 一方、第６ｋ行に位置する第２の目的サンプリング点に
おける補間画素値は〈Ｒ〉'_2k及び〈Ｇ〉'_2kである。
〈Ｒ〉'_2kは第２の目的サンプリング点の上下に位置す
る初期サンプリング点で得られた〈Ｒ〉_2k-1と〈Ｒ〉
_2k+1とを補間して求められ、また、〈Ｇ〉'_2kは第２の
目的サンプリング点の上下に位置する初期サンプリング
点で得られた〈Ｇ〉_2kと〈Ｇ〉_2k+2とを補間して求めら
れる。この補間演算は（５）式と同様の加重平均演算で
ある。すなわち、〈Ｒ〉'_2k及び〈Ｇ〉'_2kは、各初期サ
ンプリング点と第２の目的サンプリング点との距離の逆
数に応じた重み係数を用いた次式で表される加重平均演
算により算出される。

【００４６】

【数９】 〈Ｒ〉'_2k ＝ （ 〈Ｒ〉_2k-1＋〈Ｒ〉_2k+1）／２ ………（６） 〈Ｇ〉'_2k ＝ （２〈Ｇ〉_2k ＋〈Ｇ〉_2k+2）／３ ………（７） なお、〈Ｒ〉'_2k，〈Ｇ〉'_2kを求めるために、先行して
ＣＣＤイメージセンサ２から出力されている加算画素値
〈Ｒ〉_2k-1，〈Ｇ〉_2kが必要である。そこで、デジタル
信号処理回路３０は、ＣＣＤイメージセンサ２から出力
された加算画素値〈Ｒ〉_2k-1，〈Ｇ〉_2kをそれぞれ作業
用メモリ３４に格納し、補間処理部３２は作業用メモリ
３４から必要な加算画素値〈Ｒ〉_2k-1を読み出して
（６）式の補間処理を行い、作業用メモリ３４から必要
な加算画素値〈Ｇ〉_2kを読み出して（７）式の補間処理
を行う。

【００４７】処理の流れを説明すると、補間処理部３２
は、ＣＣＤイメージセンサ２から〈Ｒ〉_2k+1が入力され
ると、作業用メモリ３４に格納された〈Ｒ〉_2k-1を読み
出して（６）式に基づいて補間を行い、〈Ｒ〉'_2k を出
力する。一方、〈Ｒ〉_2k+1は作業用メモリ３４に格納さ
れる。これはある奇数列についての処理であるが、他の
列についても同様に処理が行われる。

【００４８】次にＣＣＤイメージセンサ２から〈Ｇ〉
_2k+2が入力されると、補間処理部３２は作業用メモリ３
４に格納された〈Ｇ〉_2kを読み出して（７）式に基づい
て補間を行い、〈Ｇ〉'_2kを出力する。一方、〈Ｇ〉
_2k+2は作業用メモリ３４に格納される。他の列について
も同様に処理が行われる。

【００４９】しかる後、デジタル信号処理回路３０は
（４）式に基づいて、作業用メモリ３４から〈Ｒ〉_2k+1
を読み出して、これを〈Ｒ〉'_2k+1 として出力する。こ
れに相当する処理は他の列についても同様に行われる。

【００５０】さらに、その後、デジタル信号処理回路３
０は、作業用メモリ３４から〈Ｇ〉 _2k及び〈Ｇ〉_2k+2を
読み出して（５）式に基づいて補間を行い、〈Ｇ〉'
_2k+1 として出力する。これに相当する処理は他の列に
ついても同様に行われる。

【００５１】上述の処理により、ＣＣＤイメージセンサ
２の撮像領域で得られる原画像の６行毎に２つの目的サ
ンプリング点が等間隔に設定される。すなわち、列方向
に均等に１／３圧縮された列圧縮画像が生成される。

【００５２】

【発明の効果】本発明の画像信号処理装置によれば、列
方向に不均一に圧縮された画像データから、モアレの少
ない良好な画質を有する圧縮画像を生成することができ
る。

【図面の簡単な説明】

【図１】 本発明の第１の実施形態に係る信号処理回路
を備えた撮像装置の概略構成を示すブロック図である。

【図２】 第１の実施形態に係る信号処理回路における
圧縮画像生成処理を説明する模式図である。

【図３】 本発明の第２の実施形態に係る信号処理回路
を備えた撮像装置の概略構成を示すブロック図である。

【図４】 第２の実施形態に係る信号処理回路における
圧縮画像生成処理を説明する模式図である。

【図５】 列方向の圧縮を行わない場合の処理を説明す
る模式図である。

【図６】 カラーフィルタの配列を示す模式図である。

【図７】 ＣＣＤイメージセンサにおける列方向圧縮を
説明する模式図である。

【符号の説明】

２ ＣＣＤイメージセンサ、３ ＣＣＤドライバ回路、
４ タイミング制御回路、５ アナログ信号処理回路、
６ Ａ／Ｄ変換回路、７，３０ デジタル信号処理回
路、１０，３２ 補間処理部、１２ ラインメモリ、３
４ 作業用メモリ。

フロントページの続き Ｆターム(参考） 5B057 BA02 BA12 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CD07 CD10 DC09 5C065 AA03 BB13 CC01 DD07 DD17 FF03 GG11 GG13 GG17 GG18 GG21

Claims (3)

【特許請求の範囲】
1. 【請求項１】 複数の色成分が所定の順序で対応付けら
   れる複数の受光画素で情報電荷を蓄積し、列方向の所定
   数画素のうちの中心画素の行位置を初期サンプリング点
   として前記情報電荷を列方向に合成する固体撮像素子か
   ら得られる第１の圧縮画像に対して列方向の補間処理を
   施して第２の圧縮画像を生成する画像信号処理装置にお
   いて、 前記固体撮像素子から出力される前記第１の圧縮画像の
   少なくとも１行を保持するラインメモリと、 前記第１の圧縮画像を列方向に等間隔で設定される目的
   サンプリング点にてサンプリングして前記第２の圧縮画
   像を定義し、前記ラインメモリで保持されるデータに基
   づいて算出する補間画素値を用いて前記第２の圧縮画像
   の列方向の画素データを補間する補間処理部と、を備
   え、 前記補間処理部は、前記初期サンプリング点と前記目的
   サンプリング点との距離の逆数に応じた重み係数を用い
   た加重平均演算により前記補間画素値を算出すること、 を特徴とする画像信号処理装置。
2. 【請求項２】 請求項１記載の画像信号処理装置におい
   て、 前記第１の圧縮画像は、所定の列で第１の色成分及び第
   ２の色成分が交互に配列され、 前記補間処理部は、前記第１の色成分、或いは前記第２
   の色成分の何れか一方の前記初期サンプリング点を前記
   目的サンプリング点とすること、 を特徴とする画像信号処理装置。
3. 【請求項３】 請求項１記載の画像信号処理装置におい
   て、 前記第１の圧縮画像は、所定の列で第１の色成分及び第
   ２の色成分が交互に配列され、 前記補間処理部は、前記第１の色成分、或いは前記第２
   の色成分の何れか一方の前記初期サンプリング点を第１
   の目的サンプリング点とし、列方向に隣接する前記第１
   の目的サンプリング点の相互間を等間隔に区分する行位
   置を第２の目的サンプリング点とすること、 を特徴とする画像信号処理装置。