JP2002335454A - 画像処理装置、画像処理方法及び撮像装置 - Google Patents

Abstract

(57)【要約】 【課題】 複数のブロックからなる画像データにおいて
境界面で発生する濃度のずれを補正し、違和感のない自
然な画像を必要最小限の機能構成により実現すること。 【解決手段】 複数の光電変換素子を有し、前記複数の
光電変換素子により被写体光学像を光電変換して得られ
る画素信号を、被写体画像の複数の領域毎に出力する撮
像部（１０１）から入力する画素信号の処理を行う画像
処理装置であって、前記複数の光電変換素子の特性に起
因する画素信号の差を補正する暗電流補正部（１１４）
と、前記暗電流補正部により補正された画素信号に基づ
いて、前記複数の領域毎に出力される画素信号間の相関
値を取得する画面相関抽出部（１１２）と、前記画面相
関抽出部により取得した相関値に基づいて、前記案電流
補正部により補正された画素信号を補正する画面マッチ
ング部とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像装置から複数
のブロックに分割して出力された画像を画像処理する画
像処理装置、画像処理方法及び撮像装置に関する。

【０００２】

【従来の技術】従来、ＣＣＤ等の固体撮像素子を用いた
デジタルビデオカメラやデジタルスチルカメラ等の撮像
装置においては、例えば特開平５−１３７０５９号公報
や特開平６−１４１２４６号公報に示されるように、複
数のＣＣＤを用いて被写体をそれぞれ部分的に撮像し、
画像処理においてそれらの部分画像を合成して被写体全
体の撮像画像を得ることにより解像度を高める方法が知
られている。

【０００３】また、近年においては数百万画素からなる
ＣＣＤを用いた撮像システムも開発されており、高速に
信号処理を行うための工夫がいろいろとなされてきてい
る。

【０００４】図１３に従来の撮像素子の構成例を示す。

【０００５】図１３は一般的に使われているＣＣＤの概
略構成を示す図である。主に、複数の光電変換素子から
なる受光部１と、一部の光電変換素子への光入射を防ぐ
べく複数の光電変換素子の上面に遮光部材を配置した遮
光部２Ｌ及び２Ｒと、水平転送ＣＣＤ（ＨＣＣＤ）４
と、不図示の垂直転送ＣＣＤ（ＶＣＣＤ）と、電荷電圧
変換アンプ５等から構成されている。

【０００６】その駆動方法は、受光部１で発生した電荷
をＶＣＣＤに転送した後、水平方向１行を単位としてＨ
ＣＣＤ４から読み出すべく順次電荷転送を行い、ＨＣＣ
Ｄ４からの出力は電荷電圧変換アンプ１０５にて電荷電
圧変換されて出力される。

【０００７】図１４（Ａ）は、従来の別の撮像素子の構
成例を示す。

【０００８】図１４（Ａ）は、受光部１からの光電変換
出力を左右２つの水平転送ＣＣＤ（ＨＣＣＤ）４Ｌ及び
４Ｒに分けて同時に読み出す構成を示す図である。図１
４（Ａ）に示す構成を有する撮像素子においても、光電
変換出力を水平方向１列を単位としてＨＣＣＤ４Ｌ及び
４Ｒにより電荷転送するが、左半分の光電変換出力はＨ
ＣＣＤ４Ｌにより左方向へ、また、右半分の光電変換出
力はＨＣＣＤ４Ｒにより右方向へ電荷転送を行い、さら
に個別に用意した電荷電圧変換アンプ５Ｌ及び５Ｒにて
それぞれ電荷電圧変換する。

【０００９】この構成では２つのＨＣＣＤ４Ｌ及び４Ｒ
により並行に読み出し駆動を行うことができるので図１
３に示す構成のおよそ半分の駆動時間で１フレームの読
み出し駆動を行うことができる。

【００１０】また、特開平３−７４９９１号公報には、
画像情報を分割して読み取るべく複数の撮像素子を設
け、隣接する撮像素子の撮像範囲を境界部分で重複さ
せ、両撮像素子の撮像画像を境界部分で貼り合わせて画
像情報全体の画像を得る画像読取装置において、構成す
る画像データの中から近接画素との間の空間的な濃度変
化の小さい画素位置を検出し、その画素位置で一方の撮
像素子の撮像画像を構成する画像データと、他方の撮像
素子の撮像画像を構成する画像データとを貼り合わせる
ようにした画像読取装置が示されている。

【００１１】

【発明が解決しようとする課題】上記のように複数の撮
像素子により被写体を部分的に分割して撮像し、それら
の撮像画像を貼り合わせて被写体全体の撮像画像を得る
場合、各撮像素子間の感度差が異なると、貼り合わせ部
分（境界部分）で感度差に起因する画像濃度の段差が生
じ、不自然な画質の撮像画像が得られるという不具合が
生じる。

【００１２】また、上記特開平５−１３７０５９号公報
及び特開平６−１４１２４６号公報には、複数の撮像素
子により被写体を部分的に分割撮像する技術については
開示されているが、撮像素子間の感度差に起因して撮像
画像の境界部分に生じる濃度段差の問題については記載
がなく、この問題の解決方法も開示されていない。

【００１３】貼り合わせの目立たない撮像画像とするた
めに、特開平３−７４９９１号公報には、境界部分での
画像の乱れ等の画質不良を改善する方法が示されている
ものの、ライン毎に境界部分の濃度変化の少ない位置を
検出して２つの部分画像を単純に貼り合わせるため、貼
合処理が複雑で処理時間が長くなってしまう。

【００１４】また、この方法は２つの撮像画像の貼り合
わせ位置を横方向のライン単位で制御するに過ぎないの
で、縦方向の境界部分の急激な濃度変化を効果的に抑制
することは困難である。特に、撮像素子間の感度差に起
因して境界部分に生じる濃度段差を効果的に低減し、貼
り合わせの目立たない撮像画像を得ることは難しい。

【００１５】これを改善する手法として、特開平１１−
０５５５５８号公報では、被写体を２枚のＣＣＤにより
境界部分が重複するように左右に分割されて撮像し、両
撮像画像をアナログ信号処理回路及びＡ／Ｄ変換部を経
て画像メモリに記憶した後、更にシェーディング補正部
で撮像面内の感度分布のバラツキを補正し、画像合成部
で境界部分を貼り合わせて被写体全体の撮像画像が生成
されるデジタルカメラが提案されている。

【００１６】この手法では、撮像画像は左右の部分画像
のうち、境界部分の画像の平均値演算等の処理により当
該境界部分の濃度段差を低減した境界部分の画像が生成
され、この境界部分の画像と左右の境界部分の画像を除
く部分画像とを合成して生成されものであるが、被写体
光像を部分的に重複した複数の画像として分割した後に
複数の撮像素子へ導く必要があるため、３次元空間によ
る形状の増大、組み立て精度とこれに伴うコストアップ
が生じてしまう。

【００１７】また、上述した図１４（Ａ）に示す構成で
は１枚のＣＣＤで撮像部を実現するので、光路分割など
の手段は不要であり、撮像システムの構成の簡略化とコ
ストを抑えることはできるものの、撮像画像の左右領域
が独立した系（すなわち、ＨＣＣＤ４Ｌとアンプ５Ｌ、
ＨＣＣＤ４Ｒとアンプ５Ｒ）にて別々に読み出されるた
め、その境界面での段差が目立ってしまう。

【００１８】図１４（Ｂ）は図１４（Ａ）のａ−ａ’で
示す水平方向１行分の光電変換出力を示した例である。

【００１９】図１４（Ａ）は晴れた日の風景を写した例
を示しており、太陽、山、木、草が写っている。図１４
（Ｂ）のレベルＡは図１４（Ａ）の遮光部２Ｒからの出
力を示し、レベルＢは遮光部２Ｌからの出力を示し、レ
ベルＣは太陽に相当する部分の出力である。差分Ｄは上
述した左右独立の系にて読み出されたことにより発生す
るレベル差である。

【００２０】このレベル差を画面にて違和感なく見える
ようにする手法を画面マッチングとよび、その１つとし
て境界面の濃度段差を目立たなくする方法がある。これ
は境界面の画像データから求めた相関度に基づき境界面
の濃度段差を補正することだが、その精度向上にはＳ／
Ｎ低下をもたらす暗電流への対策が必要となっている。

【００２１】本発明は上記問題点を鑑みてなされたもの
であり、複数のブロックからなる画像データにおいて境
界面で発生する濃度のずれを補正し、違和感のない自然
な画像を必要最小限の機能構成により実現することを目
的とする。

【００２２】また、撮像素子の高画素化への対応を可能
とすることを更なる目的とするものである。

【００２３】

【課題を解決するための手段】上記目的を達成するため
に、複数の光電変換素子を有し、前記複数の光電変換素
子により被写体光学像を光電変換して得られる画素信号
を、被写体画像の複数の領域毎に出力する撮像手段から
入力する画素信号の処理を行う本発明の画像処理装置
は、前記複数の光電変換素子の特性に起因する画素信号
の差を補正する第１の補正手段と、前記第１の補正手段
により補正された画素信号に基づいて、前記複数の領域
毎に出力される画素信号間の相関値を取得する相関値取
得手段と、前記相関値取得手段により取得した相関値に
基づいて、前記第１の補正手段により補正された画素信
号を補正する第２の補正手段とを有する。

【００２４】また、複数の光電変換素子を有し、前記複
数の光電変換素子により被写体光学像を光電変換して得
られる画素信号を、被写体画像の複数の領域毎に出力す
る撮像手段から入力する画素信号の処理を行う本発明の
画像処理方法は、前記複数の光電変換素子の特性に起因
する画素信号の差を補正する第１の補正工程と、前記第
１の補正工程で補正された画素信号に基づいて、前記複
数の領域毎に出力される画素信号間の相関値を取得する
相関値取得工程と、前記相関値取得工程により取得した
相関値に基づいて、前記第１の補正工程で補正された画
素信号を補正する第２の補正工程とを有する。

【００２５】上記構成によれば、画面マッチングにて補
正処理を行う際、その補正値を求める画像データに予め
暗電流補正を行っておくことで、精度の高い画面マッチ
ング処理を施すことができ、良好な画像データを得るこ
とができる。

【００２６】また、本発明の好適な一様態によれば、前
記撮像手段から出力される画素信号を少なくとも１フレ
ーム分記憶する記憶手段と、前記記憶手段に記憶された
１フレーム分の画素信号の内、前記第１の補正手段によ
り前記複数の領域間の境界近辺の画素信号を補正し、該
補正された画素信号を前記相関値取得手段に出力し、前
記第１の補正手段により前記撮像手段から出力される１
フレーム分の画素信号を補正し、該補正された画素信号
に対して前記第２の補正手段による補正を行うように制
御する制御手段とを更に有する。

【００２７】また、複数の光電変換素子を有し、前記複
数の光電変換素子により被写体光学像を光電変換して得
られる画素信号を、被写体画像の複数の領域毎に出力す
る撮像手段から入力する画素信号の処理を行う本発明に
おける別の画像処理方法は、前記撮像手段から出力され
る画素信号を少なくとも１フレーム分記憶する記憶工程
と、前記記憶工程で記憶された１フレーム分の画素信号
の内、前記第１の補正手段により前記複数の領域間の境
界近辺の画素信号について、前記複数の光電変換素子の
特性に起因する画素信号の差を補正する第１の補正工程
と、前記第１の補正工程で補正された画素信号に基づい
て、前記複数の領域毎に出力される画素信号間の相関値
を取得する相関値取得工程と、前記記憶工程で記憶され
た１フレーム分の画素信号について、前記複数の光電変
換素子の特性に起因する画素信号の差を補正する第２の
補正工程と、前記相関値取得工程により取得した相関値
に基づいて、前記第２の補正工程で補正された画素信号
を補正する第３の補正工程とを有する。

【００２８】上記構成によれば、画面マッチングにて補
正処理を行う際の補正値を求める際、画像データから必
要部のみを選択に入力し補正値を求めることで、メモリ
コントロールの動作が簡潔なシステム構成で精度の高い
画面マッチング処理を施すことができる。

【００２９】また、本発明の好適な一様態によれば、前
記第１の補正手段の使用の有無を切り換える切り換え手
段を更に有し、前記切り換え手段により前記第１の補正
手段を不使用に切り換えた場合に、前記相関値取得手段
及び前記第２の補正手段は、前記撮像手段から入力する
画素信号を用いて処理を行う。

【００３０】また、前記第１の補正工程または、前記第
１及び第２の補正工程を行うか否かを切り換える切り換
え工程を更に有し、前記切り換え工程の切り換えにより
上記補正工程を行わない場合に、前記相関値取得工程及
び前記第２の補正工程又は第３の補正工程では、前記撮
像手段から入力する画素信号を用いて処理を行う。

【００３１】上記構成によれば、例えば、蓄積時間が短
いときあるいは撮像部の温度が高くなくて複数の光電変
換素子の個々の暗電流出力の差が比較的小さいときに
は、暗電流補正の補正効果に比較して、処理時間や消費
電流などのマイナス作用の影響が大きくなるため、特に
連続撮影モードでカメラを動作させているときには、撮
影間隔が広がってしまうから、これらの要因に応じて画
面相関抽出を行う本画像データへの暗電流補正処理の有
無を選択的に行うことで、最適な処理を行うことができ
る。

【００３２】

【発明の実施の形態】以下、添付図面を参照して本発明
の好適な実施の形態を詳細に説明する。

【００３３】＜第１の実施形態＞図１は、本発明の第１
の実施形態におけるデジタルカメラなどの撮像装置の構
成を示す概略ブロック図である。

【００３４】同図に示すように、撮像装置は、ＣＣＤエ
リアセンサ等からなる撮像部１０１と、画像処理全体の
制御を行うマイコンＰＲＳ１０５と、撮像部１０１から
の画像信号を処理する原画処理部１１０と、原画処理部
１１０からの出力を受けてホワイトバランスや色補間等
の処理を行う画像処理部１０４と、複数の画像データを
保存する不揮発性の記憶部材からなる記憶部１０３、更
に、処理済みの画像データを表示するための表示処理部
１２０、表示用メモリ１２１及びＬＣＤ等の表示部、ま
た、処理済みのデータを記憶するためのＪＰＥＧ圧縮処
理部１２５及び記憶装置１３０を具備している。

【００３５】マイコンＰＲＳ１０５は、たとえば、内部
にＣＰＵ（中央演算処理部）、ＲＡＭ、ＲＯＭ、ＥＥＰ
ＲＯＭ（電気的消去可能プログラマブルＲＯＭ）、入出
力ポ−ト等が配置されたワンチップのコンピュ−タ（以
下、マイコンと略記す）である。

【００３６】マイコンＰＲＳ１０５は、ＲＯＭに格納さ
れたシ−ケンスプログラムに基づいて、一連の動作を行
う。なお、本発明の特徴は原画処理部１１０にあるの
で、原画処理部１１０がマイコンＰＲＳ１０５の制御下
にあることを明確に示すために図１で矢印を付加してい
るが、他の部分もマイコンＰＲＳ１０５により制御され
る。

【００３７】撮像部１０１では、不図示の光学系を通じ
て被写体からの光束を撮像素子上に結像させており、撮
像素子はこれを光電変換して電気的な信号にし、さらに
デジタル値に変換して原画処理部１１０へ出力する。撮
像部１０１については図３を参照して詳細に後述する。

【００３８】原画処理部１１０は、撮像部１０１からの
撮像信号出力を受けて、ＯＢクランプ部１１１によりダ
ーク補正を行うための準備として、遮光部（オプティカ
ルブラック）の画素データの抽出を行った後、一旦記憶
部１０３のバッファメモリへ蓄える。このバッファメモ
リは、撮像素子から読み出された１画面分の撮像データ
を１つの単位として、これを複数分記憶できる容量を備
えている。

【００３９】バッファメモリは、たとえば連写といわれ
る短時間に複数回の撮影動作を行う時に、画像処理部１
０４以降の処理速度などによる影響を無くす、あるいは
最小にするために設けているが、本第１の実施形態で
は、画素データの暗電流補正を行うために用いる撮像素
子の暗時出力も記憶する機能をもたせている。

【００４０】また、原画処理部１１０と記憶部１０３間
のデータの入出力は、メモリコントロール部１１３によ
り制御される。

【００４１】一旦、記憶部１０３へ格納された画素デー
タは原画処理部１１０に読み込まれ、原画処置部１１０
を構成する暗電流補正部１１４、画面相関抽出部１１
２、画面マッチング部１１６、シェーディング補正部１
１７、傷補正部１１８等により信号処理が行われる。ス
イッチ１４１は、画面相関抽出を行う場合と、画像処理
部１０４への出力に向けた信号処理を行う場合とで選択
的に切換えてデータを供給するものである。

【００４２】なお、原画処理部１１０での信号処理手順
は、図７を参照して詳細に後述する。

【００４３】画像処理部１０４では、原画処理部１１０
により処理された画素データに対して、ホワイトバラン
スやガンマ補正および色補間、色補正等、いわゆる絵作
りに関する一連の画像処理を行い、ＲＧＢの各色成分に
分けて信号出力する。従って、画像処理部１０４からの
出力データ量は、色補間処理を施すために、原画処理部
１１０からの出力データ量の整数倍に増加している。

【００４４】例えば、撮像部１０１の撮像素子がベイヤ
ー配列のカラーフィルタで覆われている場合、Ｒ（赤）
信号とＧ（緑）とを交互に出力される行と、Ｇ信号と
Ｂ（青）信号とを交互に出力する行とが、水平１ライン
単位で１行おきに存在する。原画処理部１１０から出力
されるデータは同じくベイヤー配列の順序を有するの
で、画像処理部１０４で入力データを色補間処理して各
画素についてＲＧＢデータをそれぞれ出力すると、入力
データに対して３倍の画像データ量となる。これを概念
的に示したものが、図２である。

【００４５】画像処理部１０４からの出力は、撮像装置
に備えられたＬＣＤ等の表示部１２２に表示される最適
なサイズとなるように、表示処理部１２０にてフィルタ
処理を含めた画像サイズ縮小のための信号処理を行った
後に、表示用メモリ１２１に格納される。ここでは、
ＲＧＢの各色成分毎に格納され、カメラに備えられたＬ
ＣＤ表示部１２２の駆動部とのインターフェイスもＲＧ
Ｂで行われる。出力は入力と同じくライン単位で行われ
る。

【００４６】ＪＰＥＧ圧縮処理部１２５は、ＹＵＶ変換
部とＪＰＥＧ符号化処理部とから構成されている。ＹＵ
Ｖ変換部で、画像処理部１０４より入力されたＲＧＢ画
像データを輝度成分と色差成分に変換し、ＪＰＥＧ符号
化処理部により画像圧縮処理する。ＪＰＥＧ符号化処理
部では、入力された画像データをＪＰＥＧ符号化処理に
より画像圧縮を行う。ここでは、ＤＣＴ（離散コサイン
変換）およびハフマン変換を行っており、輝度及び色差
からなる信号を、ＤＣＴ処理のために輝度信号は縦８ｘ
横１６画素、色差信号は８ｘ８画素を最小単位として、
ラスタスキャンからジグザグスキャンへ変換するための
機能もこの部位に含まれている。

【００４７】圧縮処理されたデータは後段の記憶装置１
３０に順次記憶される。上述の符号化処理を繰り返し、
撮像部１０１からの撮像データ１画面分の処理を行う。
このＪＰＥＧ符号化処理の前後で、マイコンＰＲＳ１０
５は必要に応じて撮影日時情報などのヘッダーやフッタ
ーを任意の形式で生成し、符号化により圧縮された画像
データとともに記憶装置１３０に格納する。

【００４８】このとき、記憶装置１３０へは同一の撮像
データに基づいて、２つの互いに異なる画像サイズの画
像データが格納される。第１の画像データは画像処理部
１０４内部の画像縮小処理部による画像縮小処理を施さ
ないもの、第２の画像データは画像処理部１０４内部の
画像縮小処理部により画像縮小処理を実施したものであ
る。第１の画像データは撮影された画像を示す画像デー
タとして、第２のデータはサムネイル等の画像データの
編集や確認に際しての管理情報として扱うことを主目的
として生成される。第１の画像データと第２の画像デー
タは互いに独立した画像ファイルとして管理されるが、
関連付けがなされている。

【００４９】また、ＪＰＥＧ符号化の際に必要な圧縮率
やそのために必要な変換参照データ等の設定値は、撮像
装置のシャッターが押された時点でマイコンＰＲＳ１０
５により設定が完了する。

【００５０】記憶装置１３０へは複数の画像データの保
存を行うことのできる比較的書き込み速度の速い揮発性
の記憶部材と、比較的書き込み速度の遅い着脱可能な不
揮発性記憶部材とから構成されており、ＪＰＥＧ圧縮処
理部１２５からの出力は、最初に揮発性の記憶部材に格
納される。このとき、同一の撮像データより生成され
た、画像サイズの異なる２つの画像データが格納され
る。その後、撮像装置の動作の合間を見計らって、不揮
発性記憶部材へ順次格納される。

【００５１】なお、不揮発性記憶部材は撮像装置から着
脱可能であって、撮像装置に装着した状態で揮発性記憶
部材からのデータ書き込みを単数あるいは複数の画面分
行った後に撮像装置から取り外し、撮像装置のデータ形
式で読み出し可能な別のシステムに装着して記憶されて
いるデータの再生や編集、保存を行えるようになってい
る。上述の第１の画像データと第２の画像データは共に
記憶装置１３０にて上述の目的を満足できるような形式
で管理される。

【００５２】図３は図１に示す撮像部１０１の内部構成
を示す概略図である。図３において、９０はＣＣＤエリ
アセンサ等の撮像素子、８１及び８２は公知のＣＤＳ
（二重相関サンプリング）／ＡＧＣ（自動ゲイン調整）
部、８３及び８４は公知のＡ／Ｄ変換器である。また、
撮像素子９０を駆動する不図示のセンサ駆動部も備えて
いる。この構成により、読み出された光電変換出力に適
したアナログ処理を施した後、デジタル信号に変換して
出力する。

【００５３】撮像素子９０は公知のベイヤー配列型ＣＣ
Ｄと呼ばれているものであり、９１Ｌ及び９１Ｒは、そ
れぞれ画面左半分、右半分の領域に存在する光電変換素
子、９２Ｌ及び９２Ｒは、それぞれ画面左半分、右半分
の領域に存在する垂直転送ＣＣＤ（ＶＣＣＤ）である。
各光電変換素子とＶＣＣＤはそれぞれペアになってお
り、２次元にこのペアが複数個配置されることで撮像領
域を形成し、被写体からの光束を電荷に変換することで
画像を撮像するものである。また、４ＬはＶＣＣＤ９２
Ｌから順次転送される電荷を水平方向に転送する水平転
送ＣＣＤ（ＨＣＣＤ）、４Ｒは、ＶＣＣＤ９２Ｒから順
次転送される電荷を水平方向に転送するＨＣＣＤであ
る。

【００５４】撮像領域を形成する撮像素子９０の受光面
は、Ｒ、Ｇ、Ｂの原色フィルタにより覆われており、Ｇ
は市松状に、Ｒ、ＢはＧフィルタの間に１ライン毎交互
に配置されている（ベイヤー配列）。また、画素は正方
格子化されていて、画像の取り込み後の演算が容易なも
のである。

【００５５】光電変換素子９１Ｌで発生した電荷はＶＣ
ＣＤ９２Ｌに転送された後、ＨＣＣＤ４Ｌに向けて水平
方向の１行を単位として垂直方向に順次転送される。そ
の後、ＨＣＣＤ４Ｌにより方向Ｂに転送されて、電荷電
圧変換アンプ９５にて電荷から電圧に変換され、ＣＤＳ
／ＡＧＣ部８１により処理され、更にＡ／Ｄ変換器８３
にてデジタルデータに変換された後に、図１に示す原画
処理部１１０へ出力される。

【００５６】一方、光電変換部９１Ｒで発生した電荷は
ＶＣＣＤ９２Ｒに転送された後、９ＨＣＣＤ４Ｒに向け
て水平方向の１行を単位として垂直方向に順次転送され
る。その後、ＨＣＣＤ４Ｒにより方向Ａに転送されて、
電荷電圧変換アンプ９６にて電荷から電圧に変換され、
ＣＤＳ／ＡＧＣ部８２により処理され、Ａ／Ｄ変換器８
４にてデジタルデータに変換された後、図１に示す原画
処理部１１０へ出力される。このように、撮像された撮
像データが、左右領域で分かれて出力される。

【００５７】また、撮像素子９０を構成するＶＣＣＤ９
２Ｌ及び９２Ｒ、ＨＣＣＤ４Ｌ及び４Ｒ、受光部の光電
変換素子、遮光部の光電変換素子はいづれも図３に示さ
れているものより多くの個数により構成されている。例
えば図３において、遮光部の光電変換素子は１水平方向
について右端、左端に各１つで表現しているが、実際に
は、複数個で構成されている。

【００５８】図４は、不図示のカメラ接眼部からファイ
ダを覗いた様子を示し、 ＡＦＰ１〜ＡＦＰ３は３つの
測距点を示しており、 測距点ＡＦＰ２で焦点調節して
いる状態を表している。また、図４においては下端に示
す各表示はシャッター速度や焦点調節の合焦判定等、カ
メラの設定状態を示すもので、説明のために全ての表示
部が点灯した状態を示しているが、カメラの動作時は、
動作状態に応じて点灯あるいは消灯が独立して行われる
ため、図４のように全ての表示が点灯することはない。
また、測距点ＡＦＰ１〜ＡＦＰ３は、それぞれ焦点調節
に選択されると、不図示の光学系および照明装置によ
り、撮影者が充分確認できる短い時間で外側の四辺形と
内側の四辺形に囲まれた領域が赤く点灯する。

【００５９】このとき図１の撮像部１０１に含まれてい
る撮像素子の受光部は図５に示すようにＫ×Ｌ画素であ
る。また、上述したように、図５に示すＫ×Ｌ画素の信
号に対して原画処理部１１０にて処理し、さらに画像処
理部１０４にてホワイトバランスや色補正、色補間等一
連の信号処理がＲＧＢの各色毎に施されると、図２に示
すように、Ｒ、Ｇ、Ｂの各色毎にＫ×Ｌ画素からなる出
力画像になる。すなわち、Ｋ×Ｌ画素からなる撮像素子
からのデータ量が、原画処理部１１０および画像処理部
１０４により信号処理されることによって、３倍のデー
タ量となることを示している。

【００６０】図６は、左右画面間で発生する出力差を境
界近傍の複数の光電変換出力から求めて行う場合の補正
処理を説明するための図である。

【００６１】図６（Ａ）は図３に示す撮像素子９０を簡
略化した図である。図６（Ａ）に示す例では、晴れた日
の風景を撮影しており、太陽、山、木、草が写ってい
る。なお、図６（Ａ）に示す構成において、上述の図１
４（Ａ）に示す構成と同じものについては同じ参照番号
を付し、ここでは説明を省略する。

【００６２】図６（Ｂ）は図６（Ａ）のｂ−ｂ’で示す
水平方向１行分の光電変換出力例を示す。図６（Ｂ）の
レベルＡは、ＨＣＣＤ４Ｒから読み出される遮光部２Ｒ
の出力レベルを示し、レベルＢは図６（Ａ）のＨＣＣＤ
４Ｌから読み出される遮光部２Ｌの出力レベルを示す。
また、差分Ｄは、右画面と左画面のレベル差を示す。

【００６３】図６（Ａ）に示す相関抽出部Ａ及びＢは差
分Ｄを補正するための補正量を求めるために用いる撮像
データ領域である。それぞれ、撮像領域の左右境界から
同数（複数）の光電変換素子出力を抽出し、相関値を求
めて補正値を生成する。

【００６４】ここで本発明における補正値を生成する方
法について説明する。

【００６５】まず、ＨＣＣＤ４Ｒ及びアンプ５Ｒを介し
て読みだされた相関抽出部Ａの画素データを暗電流補正
し、補正後のデータを平均した値ＡＶＧＡと、ＨＣＣＤ
４Ｌ及びアンプ５Ｌを介して読みだされた相関抽出部Ｂ
の画素データを暗電流補正し、補正後のデータを平均し
た値ＡＶＧＢとを求める。相関抽出部Ａ及びＢの水平方
向の画素数をＮとした場合、ＡＳ（Ｎ）、ＢＳ（Ｎ）
は、それぞれＨＣＣＤ４Ｒ及びアンプ５Ｒ、ＨＣＣＤ４
Ｌ及び５Ｌにより読みだされた相関抽出部Ａおよび相関
抽出部Ｂの画素データに暗電流補正を行った出力とす
る。すなわち、 ＡＶＧＡ＝（ＡＳ（１）＋ＡＳ（２）＋．．．＋ＡＳ（Ｎ））／Ｎ ＡＶＧＢ＝（ＢＳ（１）＋ＢＳ（２）＋．．．＋ＢＳ（Ｎ））／Ｎ …（１）

【００６６】により求める。次に、平均値ＡＶＧＡ、Ａ
ＶＧＢに基づいて相関値を求める。 相関値＝ＡＶＧＢ−ＡＶＧＡ …（２） 上記のようにして求めた相関値は、そのまま補正値とし
て用いることができるので、ここではＨＣＣＤ４Ｌ及び
アンプ５Ｌを介して読みだされた画素データに暗電流補
正した後のデータと演算する。すなわち、Ｂ（ｎ）をＨ
ＣＣＤ４Ｌ及びアンプ５Ｌを介して読み出された画素デ
ータに暗電流補正を行った出力とすると、まず、 ＢＢ（ｎ）＝Ｂ（ｎ）＋補正値（相関値） …（３）

【００６７】を演算する。これにより、差分Ｄに対応す
るレベルを補正することができる。なお、ｎは画素番号
を示し、水平方向１行を構成する光電変換素子の個数を
Ｋとすると、１≦ｎ≦Ｋ／２である。次に、左右画面の
画素データにオフセット値Ｃを加算する。なお、Ａ
（ｎ）はＨＣＣＤ４Ｒ及びアンプ５Ｒを介して読み出さ
れた画素データに暗電流補正を行った出力である。 ＦＢ（ｎ）＝ＢＢ（ｎ）＋Ｃ …（４） ＦＡ（ｎ）＝Ａ（ｎ）＋Ｃ …（５） これにより図６（Ｃ）に示す波形を得ることができる。

【００６８】なお、図６（Ｃ）のレベルＣに当たるオフ
セット値Ｃは、図１に示す画像処理部１０４等でデジタ
ル信号処理が行い易いように、補正後の画素データに共
通に加えるオフセット値である。

【００６９】なお、図６（Ｂ）及び図６（Ｃ）に示す出
力波形は表示画像での出力を示すものであるが、撮像素
子から得られるＲＧＢの各色成分により構成される画像
データであるので、上記補正値生成はＲＧＢの各色成分
ごとに独立に行われるものである。

【００７０】次に、図１の原画処理部１１０において行
われる処理を、図１乃至図７を参照して詳細に説明す
る。図７は原画処理部１１０の動作を示すフローチャー
トである。

【００７１】撮像部１０１から原画処理部１１０に入力
される画素データは、図５に示すように、水平方向にＫ
個、垂直方向にＬ個からなる、受光部にある光電変換素
子の出力と、図６（Ａ）に示す遮光部２Ｌ及び２Ｒにあ
る複数の光電変換素子の出力とから構成される。これら
光電変換素子の出力は、図３に示すように、左画面の出
力がＡ／Ｄ変換器８３を介して、また、右画面の出力が
Ａ／Ｄ変換器８４を介して、原画処理部１１０に並行に
入力される。原画処理部１１０ではこれら２系統のデジ
タル画素データを並行処理する。

【００７２】まず、最初に暗電流補正に用いる暗電流補
正データを取得する処理を行う。

【００７３】マイコンＰＲＳ１０５は撮像部を制御し
て、撮像部１０１に光が入射されない状態で光電変換素
子の出力が初期値となるようにリセットした後に、予め
決めておいた時間の電荷蓄積動作を行う。ステップＳ１
０では、この電荷蓄積動作完了後にＡ／Ｄ変換器８３お
よび８４からそれぞれ出力されたデジタル画素データを
並行に入力する。

【００７４】ステップＳ１１では、図６（Ａ）に示す遮
光部２Ｌ及び２Ｒ中の複数の光電変換素子の暗電流出力
に対応する画素データを一時的に記憶し、公知の方法に
てクランプに用いるデジタルデータを決定する。続い
て、図６（Ａ）の受光部１の領域にある光電変換素子か
ら得られる画素データとのクランプ処理を公知の方法で
行う。

【００７５】次にステップＳ１２において、クランプ処
理されたデータ（暗電流補正データ）を、メモリコント
ロール部１１３を介して、記憶部１０３内に予め確保さ
れた暗電流補正データ格納領域に格納する。なお、記憶
部１０３への格納の際にはその後のデータの扱いが容易
となるように、ＨＣＣＤ４Ｒにより方向Ａに転送された
画素データの格納順が読み出し順と逆になるように（す
なわち、方向Ｂの順になるように）、メモリコントロー
ル部１１３にて制御する。

【００７６】ステップＳ１０乃至Ｓ１２の処理を、水平
ライン数であるＬ回（すなわち、ステップＳ１３でＹＥ
Ｓとなるまで）繰り返す。これにより、１フレーム分の
暗電流補正データの取り込みが終了する。

【００７７】続いて、撮像部１０１により、通常の被写
体撮影により得た画素データを入力する（ステップＳ１
４）。この画素データについてもクランプ処理し（ステ
ップＳ１５）、クランプ処理後の画素データをメモリコ
ントロール部１１３を介して記憶部１０３に予め確保さ
れた画素データ格納領域に格納し（ステップＳ１６）、
ステップＳ１４乃至Ｓ１６の動作をＬ回（ステップＳ１
７でＹＥＳ、すなわち１フレーム分の画像データの処理
が終了するまで）繰り返す。

【００７８】次に、暗電流補正を行うためにスイッチ１
４１を切換えて、記憶部１０３からメモリコントロール
部１１３を介して読み出した画像データ及び暗電流補正
データを暗電流補正処理部１１４に入力し、画素データ
に対して暗電流補正を行う（ステップＳ１８）。暗電流
補正部１１４は、マイコンＰＲＳ１０５の制御下で、画
素データを取得したときの蓄積時間に相当する暗電流補
正データとなるように各々の蓄積時間比に基づいて暗電
流補正データに対して演算処理を行って調整し、調整し
た暗電流補正データを画素データから減算する。これに
より、画素データを構成する個々の光電変換素子出力に
含まれている暗電流成分を除去してＳ／Ｎ特性の良好な
画素データを生成することができる。上記のように暗電
流補正されたが素データは、画面相関抽出部１１２に入
力されると共に、記憶部１０３にも格納される。

【００７９】画面相関抽出部１１２では、右画面と左画
面のレベルのずれを画像マッチング部１１６にて補正す
るために必要な補正値を求める基準となる相関値を求め
るために、画面相関抽出処理を行う（ステップＳ１
９）。具体的には、画面相関抽出部１１２に図６（Ａ）
に示す相関抽出部Ａおよび相関抽出部Ｂの画像データが
入力されると、上述の式（１）により変数ＡＶＧＡおよ
び変数ＡＶＧＢを求め、さらに、上述の式（２）により
相関値を算出する。

【００８０】画面相関抽出部１１２から出力される相関
値は、マイコンＰＲＳ１０５に読み込まれ、予め用意し
ておいた処理内容にしたがって処理された後に、画面マ
ッチング部１１６でのずれ補正処理制御に反映される。

【００８１】続いて、求めた画像の相関値に基づいてマ
イコンＰＲＳ１０５が生成した補正値を用いて、画面マ
ッチング処理部１１６による画面マッチングを行う（ス
テップＳ２０）。このときスイッチ１４１は画面マッチ
ング部１１６側に切換えられており、メモリコントロー
ル部１１３を介して記憶部１０３から暗電流補正された
画素データが読み出される。なお、本第１の実施形態に
おいては、図３の左画面の画像データに対して補正処理
を行うことにより画面のマッチングを行うものとする。

【００８２】ステップＳ２０では、図３の右画面の画像
データがスイッチ１４１を経て画面マッチング部１１６
に入力される。右画面の画像データに対して、画面マッ
チング部１１６は、上記式（５）により上述したように
図６（Ｃ）に示すレベルＣに対応する値（オフセット
値）を加算する。一方、図３の左画面の画像データがス
イッチ１４１を経て画面マッチング部１１６に入力され
ると、入力されたラインの相関値に基づいて、マイコン
ＰＲＳ１０５が予め用意しておいた補正値を用いて、上
記式（３）及び（４）に示す演算を行い、レベルのずれ
が補正される。

【００８３】画面マッチング部１１６によりマッチング
処理された後は、図３のＡ／Ｄ変換器８３および８４の
２系統で別々に出力され、それぞれ別個に処理されてい
た画像データが、各行毎のデータとしてまとめられる。

【００８４】続いて、ステップＳ２１において、シェー
ディング補正処理部１１７により、予め用意しておいた
係数を画面マッチング処理された画像データに乗じるこ
とで光学的要因により生じた画像データの歪みを補正す
る。

【００８５】次に、ステップＳ２２において、傷補正処
理部１１８により、ゴミや傷などにより適正な光電変換
出力が得られない部位を、その周囲の出力に基づいて算
出した値に置換する。ゴミや傷などのある部分は周囲の
画素の出力と差異があることから、その差異が予め決め
ておいた値よりも大きい時にゴミ又は傷があると判断す
ることができる。

【００８６】傷補正部１１８による処理を終えた画像デ
ータは、画像処理部１０４へ順次出力される。

【００８７】画面マッチング処理（ステップＳ２０）、
シェーディング補正処理（ステップＳ２１）および傷補
正処理（ステップＳ２２）も水平方向のライン単位で行
われるので、これらの処理をＬ回繰返すことにより（ス
テップＳ２３でＹＥＳ）、水平ライン数がＬからなる光
電変換素子の出力について、１フレーム分の原画処理が
終了する。

【００８８】上記の処理により、図６（Ｂ）に示す出力
波形が図６（Ｃ）に示す出力波形に補正され、右画面と
左画面のレベル差である図６（Ｂ）に示す差分Ｄが補正
され、左右画面で段差のない画像データを得ることがで
きる。

【００８９】このように、第１の実施形態では、画面マ
ッチングにて補正処理を行う場合に、その補正値を求め
る画像データに予め暗電流補正を行っておくことで、精
度の高い画面マッチング処理を施すことができる。

【００９０】＜第２の実施形態＞以下、本発明の第２の
実施形態を図面を参照して説明する。

【００９１】図８は、本発明の第２の実施形態における
デジタルカメラなどの撮像装置の構成を示す概略ブロッ
ク図である。図８に示す構成と図１に示す構成とでは、
スイッチ部１４１と暗電流補正部１１４の配置が入れ換
わってところが異なる。なお、図８において、図１と同
様の構成には同じ参照番号を付し、各構成要素の詳細な
動作については説明を省略するｓ。

【００９２】上記第１の実施形態では、原画処理部１１
０において、画像データの暗電流補正を画面相関抽出の
前処理として１フレーム分行っておき、記憶部１０３に
暗電流補正後の画像データを格納する構成であった。本
第２の実施形態では、処理必要な画素データについてそ
の都度暗電流補正する場合について説明する。

【００９３】以下、本第２の実施形態における原画処理
部１１０’の動作を図９を参照しながら説明する。

【００９４】ステップＳ１０乃至Ｓ１７で行われる処理
は図７で行われる処理と同様であるので、ここでは説明
を省略する。

【００９５】ステップＳ３０において、図６（Ａ）に示
す相関抽出部Ａ及び相関抽出部Ｂのクランプ処理済みの
画像データと、暗電流補正データとをメモリコントロー
ル部１１３を介して記憶部１０３から読み込む。本第２
の実施形態においては、暗電流補正部１１４とメモリコ
ントロール部１１３との間にスイッチ１４１が無いの
で、メモリコントロール部１１３から暗電流補正部１１
４に直接データが入力される。暗電流補正部１１４にお
ける暗電流補正処理動作は、図７のステップＳ１８で説
明した動作と同様である。

【００９６】次のステップＳ３１において相関値を得る
ために、スイッチ１４１はここでは暗電流補正後の画像
データを画面相関抽出部１１２へ出力するよう切換えら
れている。従って、暗電流補正部１１４は、暗電流補正
済みの相関抽出部Ａ及び相関抽出部Ｂの画像データを画
面相関抽出処理部１１２へ出力し、画面相関抽出処理部
１１２では入力したデータに基づいて、図７のステップ
Ｓ１９と同様の動作により、相関値を得る。ここで暗電
流補正部１１４により暗電流補正され、画面相関抽出部
１１２へ入力される画像データは相関抽出部Ａおよび相
関抽出部Ｂの領域のみであるから、ステップＳ３０及び
Ｓ３１の処理は、第１の実施形態に比べて、かなり短時
間で終了する。

【００９７】続いて、求めた画像の相関値に基いてマイ
コンＰＲＳ１０５で生成された補正値を用いて、画面マ
ッチング処理部１１６による画面マッチング等の処理を
行うが、本第２の実施形態においては、その前に暗電流
補正処理部１１４による暗電流補正処理を行う（ステッ
プＳ３２）。

【００９８】記憶部１０３には、既に、１フレーム分の
暗電流補正データと画像データが格納されているので、
これらのデータを記憶部１０３から暗電流補正部１１４
へメモリコントロール部１１３を介して読み出す。こう
して読み出したデータを用いて、図７のステップＳ１８
と同様にして１フレーム分の画像データに対して暗電流
補正処理を行う。

【００９９】ここでは、スイッチ１４１は画面マッチン
グ部１１６へデータが出力されるように切換えられてお
り、暗電流補正された画像データが画面順次マッチング
部１１６へ入力される。ステップＳ３３において、マイ
コンＰＲＳ１０５が生成した補正値を用いて、図７のス
テップＳ２０と同様の画面マッチングを行い、１行分の
画像データに対してマッチング処理が終了すると、ＨＣ
ＣＤ４Ｒにより方向Ａに転送された右画面の画像データ
の順序を逆にして（すなわち、データ順を方向Ｂの順に
する）、左画面の画像データと合わせて１行分の画像デ
ータにし、シェーディング補正部１１７に出力する。

【０１００】なお、右画面の画像データの順序の変換
は、ステップＳ３２で暗電流補正を行う際に、メモリコ
ントロール部１１３により記憶部１０３からの読み出し
順序を逆にすることで行っても良い。

【０１０１】この後に行うシェーディング補正処理（ス
テップＳ３４）およびゴミ・傷補正処理（ステップＳ３
５）は、それぞれ図７のステップＳ２１及びＳ２２の動
作と同様であるために、説明を省略する。上記ステップ
Ｓ３２乃至Ｓ３５をＬ回（すなわ水平ライン数分）繰り
返し（ステップＳ３６）、１フレーム分の原画像処理が
終了する。

【０１０２】上記の通り本第２の実施形態によれば、画
面マッチングを行うための補正値を求める際に、１フレ
ーム分の画像データの内、必要部分のみを選択して補正
値を求めることで、メモリコントロールの処理が簡潔な
システム構成で、上記第１の実施形態と同様に精度の高
い画面マッチング処理を施すことができる。

【０１０３】＜第３の実施形態＞以下、本発明の第３の
実施形態を図面を参照して説明する。

【０１０４】上記第１および第２の実施形態では、画像
データを画面相関抽出の前処理として暗電流補正を必ず
行うものであった。これに対し、本第３の実施形態にお
いては、画面相関抽出の前処理である暗電流補正をする
かしないかを選択的に切換える場合について説明する。

【０１０５】図１０は、本第３の実施形態における撮像
装置の概略構成を示す図である。図１と比較してスイッ
チ部１４２が追加されていることが異なっているが、そ
れ以外の各構成要素の機能は図１に示すものと同じであ
るため同じ参照番号を付し、説明を省略する。

【０１０６】次に、図１１を参照して原画処理部１１
０”の動作説明をする。なお、図７に示す処理と同じ処
理については同じ参照番号を付し、説明を省略する。

【０１０７】ステップＳ４０において、暗電流補正を行
うかどうかを判断する。暗電流処理を行う場合には、ス
イッチ１４１を１に設定して、データを暗電流補正部１
１４４に出力し、ステップＳ１８に進む。また、行わな
い場合には、スイッチ１４１を０にし、スイッチ１４２
を１に設定することで、暗電流補正部１１４を迂回し
て、画像データを直接画面相関抽出部１１２に出力し、
ステップＳ１９の処理に進む。

【０１０８】ステップＳ４０における暗電流補正の実行
の有無を決める動作の一例について、図１２のフローチ
ャートを参照して説明する。

【０１０９】ステップＳ４１で、カメラの動作モードが
連写か単写かを判断し、連写であれば暗電流補正処理を
行うと判断する（ステップＳ４４）。カメラ動作モード
が単写であるならば、ステップＳ４２で、撮像部１０１
での電荷蓄積時間が予め決めておいた時間Ｔと比較して
長いか短いかを判定し、長い時には暗電流補正処理を行
うと判断する（ステップＳ４４）。一方、短い時には、
ステップＳ４３で、現在の撮像部１０１あるいは撮像部
１０１近傍の温度を不図示の温度計により測定し、その
結果と予め決めておいた温度Ｔｅｍｐとを比較して高い
か低いかを判定し、高ければ暗電流補正処理を行うと判
断し（ステップＳ４４）、低ければ行わないと判断する
（ステップＳ４５）。

【０１１０】蓄積時間が短いとき、あるいは撮像部の温
度が低く、複数の光電変換素子の個々の暗電流出力の差
が比較的小さいときには、暗電流補正の補正効果に比較
して、処理時間や消費電流などのマイナス作用の影響が
大きくなる。特に連続撮影モードでカメラを動作させて
いるときには、撮影間隔が広がってしまう。従って、上
記要因に応じて画面相関抽出を行う画像データへの暗電
流補正処理の有無を選択的に行うことで、最適な処理を
行うことができる。

【０１１１】

【他の実施形態】上記第１乃至第３の実施形態において
は、図３の右画面の画像データに左画面の画像データの
レベルを合わせるように補正する場合について説明した
が、左画面の画像データに右画面の画像データのレベル
を合わせるようにしても、また、中間のレベルに合わせ
るように左右両画面の画像データを合わせるようにして
も良い。これらの動作は、画面相関抽出部１１２により
得られる相関値に基づく補正値を変更すれば容易に実施
可能である。

【０１１２】また、本発明は上記実施の形態で説明した
構成に限られるものではなく、例えば、入力される信号
がＲＧＢなる色成分や輝度成分、色差成分でなくても良
く、また撮像素子がＣＣＤ撮像素子でなくてもよい。ま
た、撮影された１画面が２つより大きい画像ブロックで
あっても良く、また、画面マッチングの方法が統計的処
理など、上記実施の形態で示した内容とは異なっていて
も、本発明の機能が達成できる構成であれば良いことは
言うまでもない。

【０１１３】また、本発明は、デジタルカメラに限ら
ず、カメラ以外の光学機器や他の装置など２次元に配設
された光電変換素子により撮像されて得られた画像信号
を処理して、最終的に例えばモニタやプリンタ等の出力
装置へ画像として出力するものであれば適用できる。

【０１１４】また、上記実施の形態では、エリアセンサ
により得られる画像信号を、複数の出力系（ＨＣＣＤ、
アンプ等）を介して所定領域毎に別々に読み出す場合に
ついて説明したが、本発明はこれに限られるものではな
く、例えば、撮影領域をずらして複数枚の画像を撮影し
たり、複数のエリアセンサを用いて複数の画像を撮影
し、得られた複数の画像を合成することでより広い被写
体領域の画像を得る場合など、所定領域毎に出力される
画像信号を合成して１枚の画像を取得する様々な場合に
適用することが可能である。

【０１１５】また、本発明は、複数の機器（例えばホス
トコンピュータ、インターフェイス機器、スキャナ、カ
メラヘッドなど）から構成されるシステムに適用して
も、一つの機器からなる装置（例えば、デジタルカメ
ラ、ビデオカメラなど）に適用してもよい。

【０１１６】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納された
プログラムコードを読み出し実行することによっても、
達成されることは言うまでもない。この場合、記憶媒体
から読み出されたプログラムコード自体が前述した実施
形態の機能を実現することになり、そのプログラムコー
ドを記憶した記憶媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムコードを実
行することにより、前述した実施形態の機能が実現され
るだけでなく、そのプログラムコードの指示に基づき、
コンピュータ上で稼働しているオペレーティングシステ
ム（ＯＳ）などが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。ここでプログラ
ムコードを記憶する記憶媒体としては、例えば、フロッ
ピー（登録商標）ディスク、ハードディスク、ＲＯＭ、
ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−
ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディス
ク、ＭＯなどが考えられる。

【０１１７】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるＣＰＵなどが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。

【０１１８】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明した図７、図９または図１１
に示すフローチャートに対応するプログラムコードが格
納されることになる。

【０１１９】

【発明の効果】以上説明したように本発明によれば、複
数のブロックからなる画像データにおいて境界面で発生
する濃度のずれを補正し、違和感のない自然な画像を必
要最小限の機能構成により実現することができる。

【０１２０】また、撮像素子の高画素化への対応を可能
とすることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態における撮像装置の構
成を示す概略ブロック図である。

【図２】本発明の第１の実施形態における画像処理部か
らの出力データの概念を示す図である。

【図３】図１に示す撮像部の構成を示す図である。

【図４】本発明の第１の実施形態の撮像装置のファイン
ダーを覗いた様子を示す図である。

【図５】図１の撮像部に含まれている撮像素子の受光部
を説明する図である。

【図６】本発明の第１の実施形態における補正処理を説
明するための図である。

【図７】本発明の第１の実施形態における原画処理部の
処理手順を示すフローチャートである。

【図８】本発明の第２の実施形態における撮像装置の構
成を示す概略ブロック図である。

【図９】本発明の第２の実施形態における原画処理部の
処理手順を示すフローチャートである。

【図１０】本発明の第３の実施形態における撮像装置の
構成を示す概略ブロック図である。

【図１１】本発明の第３の実施形態における原画処理部
の処理手順を示すフローチャートである。

【図１２】本発明の第３の実施形態における暗電流補正
の実行の有無を決める動作を示すフローチャートであ
る。

【図１３】従来の撮像素子の構成例を示す図である。

【図１４】従来の別の撮像素子の構成例を示す図であ
る。

【符号の説明】

１０１ 撮像部 １０３ 記憶部 １０４ 画像処理部 １０５ マイコンＰＲＳ １１０、１１０’、１１０” 原画処理部 １１１ ＯＢクランプ部 １１２ 画面相関抽出部 １１３ メモリコントロール部 １１４ 暗電流補正部 １１６ 画面マッチング部 １１７ シェーディング補正部 １１８ 傷補正部 １２０ 表示処理部 １２１ 表示用メモリ １２２ 表示部 １２５ ＪＰＥＧ圧縮部 １３０ 記憶装置 １４１ スイッチ

Claims (31)

【特許請求の範囲】
1. 【請求項１】 複数の光電変換素子を有し、前記複数の
   光電変換素子により被写体光学像を光電変換して得られ
   る画素信号を、被写体画像の複数の領域毎に出力する撮
   像手段から入力する画素信号の処理を行う画像処理装置
   であって、 前記複数の光電変換素子の特性に起因する画素信号の差
   を補正する第１の補正手段と、 前記第１の補正手段により補正された画素信号に基づい
   て、前記複数の領域毎に出力される画素信号間の相関値
   を取得する相関値取得手段と、 前記相関値取得手段により取得した相関値に基づいて、
   前記第１の補正手段により補正された画素信号を補正す
   る第２の補正手段とを有することを特徴とする画像処理
   装置。
2. 【請求項２】 前記第１の補正手段は、暗電流補正処理
   を行うことを特徴とする請求項１に記載の画像処理装
   置。
3. 【請求項３】 前記第２の補正手段は、前記複数の領域
   のいずれかから出力される画素信号のレベルに合致する
   ように、その他の領域から出力される画素信号のレベル
   を補正することを特徴とする請求項１または２に記載の
   画像処理装置。
4. 【請求項４】 前記第２の補正手段は、前記複数の領域
   毎に出力される画素信号のレベルの中間の値となるよう
   に、前記画素信号のレベルを補正することを特徴とする
   請求項１または２に記載の画像処理装置。
5. 【請求項５】 前記相関値取得手段は、前記光電変換素
   子により得られる画素信号の内、前記複数の領域間の境
   界近辺の画素信号に基づいて相関値を取得することを特
   徴とする請求項１乃至４のいずれかに記載の画像処理装
   置。
6. 【請求項６】 記憶手段と、 前記第１の補正手段により前記撮像手段から出力される
   １フレーム分の画素信号を補正し、該補正された画素信
   号を前記記憶手段に格納すると共に前記相関値取得手段
   に出力し、前記記憶手段に格納された前記補正済みの画
   素信号に対して前記第２の補正手段により補正を行うよ
   うに制御する制御手段とを更に有することを特徴とする
   請求項１乃至５のいずれかに記載の画像処理装置。
7. 【請求項７】 前記撮像手段から出力される画素信号を
   少なくとも１フレーム分記憶する記憶手段と、 前記記憶手段に記憶された１フレーム分の画素信号の
   内、前記第１の補正手段により前記複数の領域間の境界
   近辺の画素信号を補正し、該補正された画素信号を前記
   相関値取得手段に出力し、前記第１の補正手段により前
   記撮像手段から出力される１フレーム分の画素信号を補
   正し、該補正された画素信号に対して前記第２の補正手
   段による補正を行うように制御する制御手段とを更に有
   することを特徴とする請求項１乃至５のいずれかに記載
   の画像処理装置。
8. 【請求項８】 前記第１の補正手段の使用の有無を切り
   換える切り換え手段を更に有し、 前記切り換え手段により前記第１の補正手段を不使用に
   切り換えた場合に、前記相関値取得手段及び前記第２の
   補正手段は、前記撮像手段から入力する画素信号を用い
   て処理を行うことを特徴とする請求項１乃至７のいずれ
   かに記載の画像処理装置。
9. 【請求項９】 前記切り換え手段は、カメラのモード及
   び撮影時の周囲温度の少なくともいずれか一方に基づい
   て前記第１の補正手段の使用の有無を切り換えることを
   特徴とする請求項８に記載の画像処理装置。
10. 【請求項１０】 シェーディング補正手段と、 傷補正手段とを更に有し、 前記シェーディング補正手段及び前記傷補正手段は、前
    記第２の補正手段による補正後の電気信号に対して処理
    を行うことを特徴とする請求項１乃至９のいずれかに記
    載の画像処理装置。
11. 【請求項１１】 複数の光電変換素子を有し、前記複数
    の光電変換素子により被写体光学像を光電変換して得ら
    れる画素信号を、被写体画像の複数の領域毎に出力する
    撮像手段と、 請求項１乃至１０のいずれかに記載の画像処理装置とを
    有することを特徴とする撮像装置。
12. 【請求項１２】 前記撮像手段は、予め決められた前記
    光電変換素子の複数の領域にそれぞれ対応する複数の出
    力系を介して出力することを特徴とする請求項１１に記
    載の撮像装置。
13. 【請求項１３】 複数の光電変換素子を有し、前記複数
    の光電変換素子により被写体光学像を光電変換して得ら
    れる画素信号を、被写体画像の複数の領域毎に出力する
    撮像手段から入力する画素信号の処理を行う画像処理方
    法であって、 前記複数の光電変換素子の特性に起因する画素信号の差
    を補正する第１の補正工程と、 前記第１の補正工程で補正された画素信号に基づいて、
    前記複数の領域毎に出力される画素信号間の相関値を取
    得する相関値取得工程と、 前記相関値取得工程により取得した相関値に基づいて、
    前記第１の補正工程で補正された画素信号を補正する第
    ２の補正工程とを有することを特徴とする画像処理方
    法。
14. 【請求項１４】 前記第１の補正工程では、暗電流補正
    処理を行うことを特徴とする請求項１３に記載の画像処
    理方法。
15. 【請求項１５】 前記第２の補正工程では、前記複数の
    領域のいずれかから出力される画素信号のレベルに合致
    するように、その他の領域から出力される画素信号のレ
    ベルを補正することを特徴とする請求項１３または１４
    に記載の画像処理方法。
16. 【請求項１６】 前記第２の補正工程では、前記複数の
    領域毎に出力される画素信号のレベルの中間の値となる
    ように、前記画素信号のレベルを補正することを特徴と
    する請求項１３または１４に記載の画像処理方法。
17. 【請求項１７】 前記相関値取得工程では、前記光電変
    換素子により得られる画素信号の内、前記複数の領域間
    の境界近辺の画素信号に基づいて相関値を取得すること
    を特徴とする請求項１３乃至１６のいずれかに記載の画
    像処理方法。
18. 【請求項１８】 前記第１の補正工程では前記撮像手段
    から出力される１フレーム分の画素信号を補正すること
    を特徴とする請求項１３乃至１７のいずれかに記載の画
    像処理方法。
19. 【請求項１９】 前記第１の補正工程を行うか否かを切
    り換える切り換え工程を更に有し、 前記切り換え工程の切り換えにより前記第１の補正工程
    を行わない場合に、前記相関値取得工程及び前記第２の
    補正工程では、前記撮像手段から入力する画素信号を用
    いて処理を行うことを特徴とする請求項１３乃至１８の
    いずれかに記載の画像処理方法。
20. 【請求項２０】 前記切り換え工程では、カメラのモー
    ド及び撮影時の周囲温度の少なくともいずれか一方に基
    づいて前記第１の補正工程を行うか否かを切り換えるこ
    とを特徴とする請求項１９に記載の画像処理方法。
21. 【請求項２１】 シェーディング補正工程と、 傷補正工程とを更に有し、 前記シェーディング補正工程及び前記傷補正工程では、
    前記第２の補正工程による補正後の電気信号に対して処
    理を行うことを特徴とする請求項１３乃至２０のいずれ
    かに記載の画像処理方法。
22. 【請求項２２】 複数の光電変換素子を有し、前記複数
    の光電変換素子により被写体光学像を光電変換して得ら
    れる画素信号を、被写体画像の複数の領域毎に出力する
    撮像手段から入力する画素信号の処理を行う画像処理方
    法であって、 前記撮像手段から出力される画素信号を少なくとも１フ
    レーム分記憶する記憶工程と、 前記記憶工程で記憶された１フレーム分の画素信号の
    内、前記第１の補正手段により前記複数の領域間の境界
    近辺の画素信号について、前記複数の光電変換素子の特
    性に起因する画素信号の差を補正する第１の補正工程
    と、 前記第１の補正工程で補正された画素信号に基づいて、
    前記複数の領域毎に出力される画素信号間の相関値を取
    得する相関値取得工程と、 前記記憶工程で記憶された１フレーム分の画素信号につ
    いて、前記複数の光電変換素子の特性に起因する画素信
    号の差を補正する第２の補正工程と、 前記相関値取得工程により取得した相関値に基づいて、
    前記第２の補正工程で補正された画素信号を補正する第
    ３の補正工程とを有することを特徴とする画像処理方
    法。
23. 【請求項２３】 前記第１及び第２の補正工程では、暗
    電流補正処理を行うことを特徴とする請求項２２に記載
    の画像処理方法。
24. 【請求項２４】 前記第３の補正工程では、前記複数の
    領域のいずれかから出力される画素信号のレベルに合致
    するように、その他の領域から出力される画素信号のレ
    ベルを補正することを特徴とする請求項２２または２３
    に記載の画像処理方法。
25. 【請求項２５】 前記第３の補正工程では、前記複数の
    領域毎に出力される画素信号のレベルの中間の値となる
    ように、前記画素信号のレベルを補正することを特徴と
    する請求項２２または２３に記載の画像処理方法。
26. 【請求項２６】 前記第１及び第２の補正工程を行うか
    否かを切り換える切り換え工程を更に有し、 前記切り換え工程の切り換えにより前記第１及び第２の
    補正工程を行わない場合に、前記相関値取得工程及び前
    記第３の補正工程では、前記記憶工程で記憶された画素
    信号を用いて処理を行うことを特徴とする請求項２２乃
    至２５のいずれかに記載の画像処理方法。
27. 【請求項２７】 前記切り換え工程では、カメラのモー
    ド及び撮影時の周囲温度の少なくともいずれか一方に基
    づいて前記第１及び第２の補正工程を行うか否かを切り
    換えることを特徴とする請求項２６に記載の画像処理方
    法。
28. 【請求項２８】 シェーディング補正工程と、 傷補正工程とを更に有し、 前記シェーディング補正工程及び前記傷補正工程では、
    前記第３の補正工程による補正後の電気信号に対して処
    理を行うことを特徴とする請求項２２乃至２７のいずれ
    かに記載の画像処理方法。
29. 【請求項２９】 情報処理装置が実行可能なプログラム
    であって、前記プログラムを実行した情報処理装置を、
    請求項１乃至１０のいずれかに記載の画像処理装置とし
    て機能させることを特徴とするプログラム。
30. 【請求項３０】 請求項１３乃至２８のいずれかに記載
    の画像処理方法を実現するためのプログラムコードを有
    する情報処理装置が実行可能なプログラム。
31. 【請求項３１】 請求項２９又は３０に記載のプログラ
    ムを記憶した記憶媒体。