JP2008283477A - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP2008283477A JP2008283477A JP2007125912A JP2007125912A JP2008283477A JP 2008283477 A JP2008283477 A JP 2008283477A JP 2007125912 A JP2007125912 A JP 2007125912A JP 2007125912 A JP2007125912 A JP 2007125912A JP 2008283477 A JP2008283477 A JP 2008283477A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- images
- image processing
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【課題】 撮像素子の経時変化や温度特性により後発的に発生する画素欠陥及び撮像素子に付着した異物の写り込みを確実に検出することができる画像処理装置及び画像処理方法を提供する。
【解決手段】 第1フレームF1、第2フレームF2にシェーディング補正が施される(100、104)。両フレームの輝度エッジが検出され(102、106)、第1フレームF1と第2フレームF2のズレ量が算出される(108)。第1フレームF1と第2フレームF2の輝度エッジの位置が重なり合うように両フレームの位置合わせが行われる(110)。第1フレームF1の画素と第2フレームF2の対応画素の画素値が比較されて、第1、第2のフレームにおいて画素値の相関性のない画素が欠陥画素の位置が特定される。画像が補正されて出力フレームFOが出力される(112)。
【選択図】 図2
【解決手段】 第1フレームF1、第2フレームF2にシェーディング補正が施される(100、104)。両フレームの輝度エッジが検出され(102、106)、第1フレームF1と第2フレームF2のズレ量が算出される(108)。第1フレームF1と第2フレームF2の輝度エッジの位置が重なり合うように両フレームの位置合わせが行われる(110)。第1フレームF1の画素と第2フレームF2の対応画素の画素値が比較されて、第1、第2のフレームにおいて画素値の相関性のない画素が欠陥画素の位置が特定される。画像が補正されて出力フレームFOが出力される(112)。
【選択図】 図2
Description
本発明は画像処理装置及び画像処理方法に係り、特に撮像素子の画素欠陥又は固体撮像素子に付着した異物の写り込みによる画像の乱れを補正する技術に関する。
特許文献1には、時間的に連続して複数の画像を撮影する撮影ステップと、撮影された画像にかかる画像データをメモリに蓄積する蓄積ステップと、前記画像データに基づき、撮影された画像の特徴量を抽出する抽出ステップと、抽出された前記特徴量に基づき、前記複数の画像の重ね位置を調整する位置調整ステップと、重ねた画像を合成して、より少ない数の画像にする合成ステップとを有する画像入力方法が記載されている。
特開2000−069352号公報
従来の固体撮像素子の画素欠陥の補正方法は、欠陥が発生した画素の座標をフラッシュROM等に予め記憶しておき、その位置における画素値を補正するものであった。しかしながら、この方法では、固体撮像素子の経時変化や温度特性が原因で発生する画素欠陥や、出荷後に撮像素子に付着した異物の影響を排除することはできなかった。
特許文献1では、2枚の画像の位置合わせを行い、重なった画像部分で平均化することにより白キズを補正するものであるが、欠陥画素や異物の付着箇所を特定するものではなかった。また、特許文献では、2枚の画像を単純に平均するだけでは、画素欠陥の影響をゼロにすることはできないという問題があった。例えば、4枚の画像の重なった部分を平均化したとしても、画素欠陥の画像への影響は4分の1にしかならない。
本発明はこのような事情に鑑みてなされたもので、撮像素子の経時変化や温度特性により後発的に発生する画素欠陥及び撮像素子に付着した異物の写り込みを確実に検出することができる画像処理装置及び画像処理方法を提供することを目的とする。
上記課題を解決するために、本願発明1に係る画像処理装置は、連続して撮影された2枚の画像を取得する画像取得手段と、前記2枚の画像のズレ量を算出するズレ量算出手段と、前記ズレ量に基づいて、前記2枚の画像間で対応する対応画素を特定する対応画素特定手段と、前記対応画素の画素値の差が第1の所定値より大きい場合に、前記画像中において前記対応画素の近傍に位置する画素の画素値と該対応画素の画素値に基づいて前記対応画素が欠陥画素であるかどうかを判定する判定手段とを備えることを特徴とする。
本願発明1によれば、時間的に連続して撮影された2枚の画像の対応画素の画素値に基づいて欠陥画素を判定することにより、撮像素子の経時変化や温度特性により後発的に発生する欠陥画素及び撮像素子に異物が付着することにより発生する欠陥画素を検出することができる。
本願発明2は、本願発明1の画像処理装置において、前記判定手段による判定結果に基づいて、前記2枚の画像を用いて出力用の画像を生成する画像生成手段を更に備えることを特徴とする。
本願発明2によれば、撮像素子の経時変化や温度特性により後発的に発生する画素欠陥及び撮像素子に付着した異物の写り込みに起因する画像の乱れを確実に補正することができる。
本願発明3は、本願発明2の画像処理装置において、前記画像生成手段は、前記2枚の画像間で対応する対応画素のうち欠陥画素でないと判定された方の画素値を用いて出力用の画像を生成することを特徴とする。
本願発明3によれば、時間的に連続して撮影された2枚の画像の対応画素の画素値に基づいて、対応画素のうちどちらが欠陥画素か判定し、欠陥画素でないと判定された画素の画素値を用いて出力用の画像をするようにしたので、撮像素子の経時変化や温度特性により後発的に発生する画素欠陥及び撮像素子に付着した異物の写り込みによる画像の乱れを確実に補正することができる。
本願発明4は、本願発明2又は3の画像処理装置において、前記対応画素の画素値の差が第1の所定値以下の場合に、前記対応画素の平均画素値を算出する算出手段を更に備え、前記画像生成手段は、前記対応画素の画素値の差が第1の所定値以下の場合に、前記平均画素値を用いて出力用の画像を生成することを特徴とする。
本願発明5に係る画像処理装置は、連続して撮影された3枚以上の画像を取得する画像取得手段と、前記3枚以上の画像のズレ量を算出するズレ量算出手段と、前記ズレ量に基づいて、前記3枚の画像間で対応する対応画素を特定する対応画素特定手段と、前記対応画素の画素値の中央値を算出する第1の算出手段と、前記中央値に基づいて、前記対応画素が欠陥画素を含むかどうかを判定する判定手段とを備えることを特徴とする。
本願発明5によれば、時間的に連続して撮影された3枚以上の画像の対応画素の画素値に基づいて3枚以上の画像の対応画素の中に欠陥画素が含まれているかどうかを判定することにより、撮像素子の経時変化や温度特性により後発的に発生する欠陥画素及び撮像素子に異物が付着することにより発生する欠陥画素を検出することができる。
本願発明6は、本願発明5の画像処理装置において、前記対応画素のうち、前記中央値から最も離れた画素を除く画素の平均画素値を算出する第2の算出手段と、前記平均画素値を用いて出力用の画像を生成する画像生成手段とを更に備えることを特徴とする。
本願発明6によれば、時間的に連続して撮影された3枚以上の画像の対応画素の画素値の中央値を算出し、中央値から最も遠い値の画素を除く画素の平均画素値を用いて出力用の画像を生成するようにしたので、後発的に発生した欠陥画素の出力フレームへの影響を排除することができる。
本願発明7は、本願発明1から6の画像処理装置において、前記画像のズレ量が第2の所定値未満の場合に、前記画像取得手段によって取得した画像のうちの1枚を用いて出力用の画像を生成する第2の画像生成手段を更に備えることを特徴とする。
本願発明8は、本願発明1から7の画像処理装置において、画像を撮影するための撮影手段を更に備え、前記画像取得手段は、前記撮影手段によって連続して撮影された画像を取得することを特徴とする。
本願発明8は、本願発明1から7に係る画像処理装置を、撮影手段を備えた撮影装置に限定したものである。
本願発明9は、本願発明8の画像処理装置において、前記撮影手段は、前記画像のズレ量が第2の所定値以上になるまで撮影を繰り返すことを特徴とする。
本願発明9によれば、撮影を繰り返すことにより、欠陥画素を検出するのに適したズレ量(例えば、撮像素子の縦方向又は横方向のいずれか一方に1ピクセル以上)の画像を得ることができる。
本願発明10は、本願発明9の画像処理装置において、所定時間以上又は所定回数以上撮影を繰り返しても、前記画像のズレ量が第2の所定値以上にならない場合に、前記撮影手段に撮影の繰り返しを中止させる撮影中止手段と、前記撮影の繰り返しが中止された場合に、前記撮影手段によって撮影された画像のうちの1枚を用いて出力用の画像を生成する第3の画像生成手段とを更に備えることを特徴とする。
本願発明10によれば、本願発明9において撮影を繰り返した場合に、被写体ブレ等により画質が劣化するのを避けることができる。
本願発明11は、本願発明8から10の画像処理装置において、前記撮影手段が三脚に取り付けられたことを検出する三脚取付検出手段と、前記撮影手段が三脚に取り付けられた場合に前記撮影手段により画像を1枚撮影し、該1枚の画像を用いて出力用の画像を生成する第4の画像生成手段とを更に備えることを特徴とする。
本願発明11によれば、撮影手段が三脚に取り付けられて、複数の画像を連続して撮影しても、欠陥画素を検出するのに適したズレ量(例えば、撮像素子の縦方向又は横方向のいずれか一方に1ピクセル以上)の画像を取得することが困難な場合には、複数の画像の撮影処理を省くことができる。即ち、欠陥画素を検出するのに適したズレ量の画像を取得することができる場合にのみ、複数フレームの撮影及び欠陥画素の検出を行うようにしたので、欠陥画素の検出を確実に行うことができる。
本願発明12は、本願発明7、10又は11の画像処理装置において、前記判定手段によって欠陥画素を含むと判定された画素を特定するための欠陥画素情報を記録する記録手段と、1枚の画像から出力用の画像を生成する場合に、前記欠陥画素情報を用いて前記1枚の画像を補正する補正手段とを更に備えることを特徴とする。
本願発明13は、本願発明8から11の画像処理装置において、前記判定手段によって欠陥画素を含むと判定された画素を特定するための欠陥画素情報を記録する記録手段と、前記撮影手段によって画像を連続して撮影し、該連続して撮影された画像を用いて欠陥画素を判定する第1の撮影モードと、前記撮影手段によって1枚の画像を撮影し、該1枚の画像を用いて出力用の画像を生成する第2の撮影モードとの間で撮影モードを切り替える撮影モード切り替え手段と、前記第2の撮影モード時に、前記欠陥画素情報を用いて前記1枚の画像を補正して前記出力用の画像を生成する第5の画像生成手段とを更に備えることを特徴とする。
本願発明12及び13によれば、1枚の画像から出力用の画像を生成する場合に、最新の欠陥画素の判定結果に基づいて画像を補正することができる。
本願発明14は、本願発明8から13の画像処理装置において、前記撮影手段は、前記画像間の画像のズレ量が第2の所定値以上になるように、各画像を撮影する時間間隔を調整することを特徴とする。
本願発明14によれば、撮影の時間間隔を調整することにより、欠陥画素を検出するのに適したズレ量(例えば、撮像素子の縦方向又は横方向のいずれか一方に1ピクセル以上)の画像を得ることができる。
本願発明15は、本願発明8から14の画像処理装置において、前記画像間の画像のズレ量が第2の所定値以上になるように、前記撮影手段を駆動する駆動手段を更に備えることを特徴とする。
本願発明15によれば、撮影手段(例えば、撮像素子又は撮影レンズの少なくとも一方)を駆動することにより、欠陥画素を検出するのに適したズレ量(例えば、撮像素子の縦方向又は横方向のいずれか一方に1ピクセル以上)の画像を得ることができる。
本願発明16は、本願発明8から15の画像処理装置において、前記撮影手段に加えられる振動を測定する振動検出手段を更に備え、前記ズレ量算出手段は、前記振動検出手段からの出力に基づいて前記画像のズレ量を算出することを特徴とする。
本願発明16によれば、角速度センサ等の振動検出手段を用いてブレ量を算出することができる。
本願発明17は、本願発明1から15の画像処理装置において、前記ズレ量算出手段は、前記画像のパターンマッチングにより前記画像のズレ量を算出することを特徴とする。
本願発明18に係る画像処理方法は、連続して撮影された2枚の画像を取得する画像取得工程と、前記2枚の画像のズレ量を算出するズレ量算出工程と、前記ズレ量に基づいて、前記2枚の画像間で対応する対応画素を特定する対応画素特定工程と、前記対応画素の画素値の差が第1の所定値より大きい場合に、前記画像中において前記対応画素の近傍に位置する画素の画素値と該対応画素の画素値に基づいて前記対応画素が欠陥画素であるかどうかを判定する判定工程とを備えることを特徴とする。
本願発明19は、本願発明18の画像処理方法において、前記判定工程による判定結果に基づいて、前記2枚の画像を用いて出力用の画像を生成する画像生成工程を更に備えることを特徴とする。
本願発明20は、本願発明19の画像処理方法において、前記画像生成工程では、前記2枚の画像間で対応する対応画素のうち欠陥画素でないと判定された方の画素値を用いて出力用の画像を生成することを特徴とする。
本願発明21は、本願発明19又は20の画像処理方法において、前記対応画素の画素値の差が第1の所定値以下の場合に、前記対応画素の平均画素値を算出する算出工程を更に備え、前記画像生成工程では、前記対応画素の画素値の差が第1の所定値以下の場合に、前記平均画素値を用いて出力用の画像を生成することを特徴とする。
本願発明22に係る画像処理方法は、連続して撮影された3枚以上の画像を取得する画像取得工程と、前記3枚以上の画像のズレ量を算出するズレ量算出工程と、前記ズレ量に基づいて、前記3枚の画像間で対応する対応画素を特定する対応画素特定工程と、前記対応画素の画素値の中央値を算出する第1の算出工程と、前記中央値に基づいて、前記対応画素が欠陥画素を含むかどうかを判定する判定工程とを備えることを特徴とする。
本願発明23は、本願発明22の画像処理方法において、前記対応画素のうち、前記中央値から最も離れた画素を除く画素の平均画素値を算出する第2の算出工程と、前記平均画素値を用いて出力用の画像を生成する画像生成工程とを更に備えることを特徴とする。
本願発明24は、本願発明18から23の画像処理方法において、前記画像のズレ量が第2の所定値未満の場合に、前記画像取得工程によって取得した画像のうちの1枚を用いて出力用の画像を生成する第2の画像生成工程を更に備えることを特徴とする。
本願発明25は、本願発明18から24の画像処理方法において、撮影手段を用いて画像を撮影する撮影工程を更に備え、前記画像取得工程では、前記撮影手段によって連続して撮影された画像を取得することを特徴とする。
本願発明26は、本願発明25の画像処理方法において、前記画像のズレ量が第2の所定値以上になるまで撮影を繰り返すことを特徴とする。
本願発明27は、本願発明26の画像処理方法において、所定時間以上又は所定回数以上撮影を繰り返しても、前記画像のズレ量が第2の所定値以上にならない場合に、撮影の繰り返しを中止する撮影中止工程と、前記撮影の繰り返しが中止された場合に、前記撮影された画像のうちの1枚を用いて出力用の画像を生成する第3の画像生成工程とを更に備えることを特徴とする。
本願発明28は、本願発明25から27の画像処理方法において、前記撮影手段が三脚に取り付けられたことを検出する三脚取付検出工程と、前記撮影手段が三脚に取り付けられた場合に前記撮影手段により画像を1枚撮影し、該1枚の画像を用いて出力用の画像を生成する第4の画像生成工程とを更に備えることを特徴とする。
本願発明29は、本願発明24、27又は28の画像処理方法において、前記判定工程において欠陥画素を含むと判定された画素を特定するための欠陥画素情報を記録する記録工程と、1枚の画像から出力用の画像を生成する場合に、前記欠陥画素情報を用いて前記1枚の画像を補正する補正工程とを更に備えることを特徴とする。
本願発明30は、本願発明25から28の画像処理方法において、前記判定工程において欠陥画素を含むと判定された画素を特定するための欠陥画素情報を記録する記録工程と、前記撮影手段によって画像を連続して撮影し、該連続して撮影された画像を用いて欠陥画素を判定する第1の撮影モードと、前記撮影手段によって1枚の画像を撮影し、該1枚の画像を用いて出力用の画像を生成する第2の撮影モードとの間で撮影モードを切り替える撮影モード切り替え工程と、前記第2の撮影モード時に、前記欠陥画素情報を用いて前記1枚の画像を補正して前記出力用の画像を生成する第5の画像生成工程とを更に備えることを特徴とする。
本願発明31は、本願発明25から30の画像処理方法において、前記撮影工程において、前記画像間の画像のズレ量が第2の所定値以上になるように、各画像を撮影する時間間隔を調整することを特徴とする。
本願発明32は、本願発明25から31の画像処理方法において、前記画像間の画像のズレ量が第2の所定値以上になるように、前記撮影手段を駆動する駆動工程を更に備えることを特徴とする。
本願発明33は、本願発明25から32の画像処理方法において、前記撮影手段に加えられる振動を測定する振動検出工程を更に備え、前記ズレ量算出工程では、前記振動検出工程における振動の測定結果に基づいて前記画像のズレ量を算出することを特徴とする。
本願発明34は、本願発明18から32の画像処理方法において、前記ズレ量算出工程では、前記画像のパターンマッチングにより前記画像のズレ量を算出することを特徴とする。
本発明によれば、時間的に連続して撮影された複数枚の画像の対応画素の画素値に基づいて欠陥画素を特定することができる。これにより、撮像素子の経時変化や温度特性により後発的に発生する画素欠陥及び撮像素子に付着した異物の写り込みによる画像の乱れを確実に補正することができる。
以下、添付図面に従って本発明に係る画像処理装置及び画像処理方法の好ましい実施の形態について説明する。なお、下記の実施形態では、本発明に係る画像処理装置を撮影装置に適用した場合について説明するが、本発明に係る画像処理装置は、例えば、連続して撮影された画像を取得し、取得した画像を処理する機能を有する画像処理装置(例えば、パーソナルコンピュータ(PC)やビデオ再生装置)にも適用可能である。
[第1の実施形態に係る撮影装置の構成]
図1は、本発明の第1の実施形態に係る撮影装置の主要構成を示すブロック図である。図1に示すように、撮影装置10は、静止画や動画の記録及び再生機能を備えた電子カメラであり、撮影装置10全体の動作は中央処理装置(CPU)12によって統括制御される。CPU12は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出(AE)演算、自動合焦制御(AF)演算、ホワイトバランス(WB)調整演算等、各種演算を実施する演算手段として機能する。電源回路14は、本カメラシステムの各ブロックに電源を供給する。
図1は、本発明の第1の実施形態に係る撮影装置の主要構成を示すブロック図である。図1に示すように、撮影装置10は、静止画や動画の記録及び再生機能を備えた電子カメラであり、撮影装置10全体の動作は中央処理装置(CPU)12によって統括制御される。CPU12は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出(AE)演算、自動合焦制御(AF)演算、ホワイトバランス(WB)調整演算等、各種演算を実施する演算手段として機能する。電源回路14は、本カメラシステムの各ブロックに電源を供給する。
CPU12には、バス18を介してROM(Read Only Memory)20及びEEPROM(Electronically Erasable and Programmable Read Only Memory)22が接続されている。ROM20には、CPU12が実行するプログラム及び制御に必要な各種データ等が格納され、EEPROM22には、カメラ動作に関する各種定数/情報等が格納されている。
また、メモリ(SDRAM、Synchronous Dynamic Random Access Memory)24は、プログラムの展開領域及びCPU12の演算作業用領域として利用されるとともに、画像データや音声データの一時記憶領域として利用される。VRAM(Video Random Access Memory)26は、画像データ専用の一時記憶メモリであり、A領域とB領域を含んでいる。なお、メモリ24とVRAM26は共用することが可能である。
撮影装置10には、電源スイッチ、モード選択スイッチ、撮影モード切替スイッチ、レリーズボタン、メニュー/OKキー、十字キー、キャンセルキー等の操作スイッチ16が設けられている。操作スイッチ16からの信号はCPU12に入力され、CPU12は入力信号に基づいて撮影装置10の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録/再生制御、画像表示装置68の表示制御等を行う。
電源スイッチは、撮影装置10の電源のオン・オフを切り替えるための操作手段である。
モード選択スイッチは、撮影モードと再生モードとを切り替えるための操作手段である。
撮影モード切替スイッチは、撮影装置10の撮影モードを切り替える操作手段である。撮影装置10の撮影モードは、例えば、シーンポジション(例えば、ナチュラルフォト、人物、風景、スポーツ、夜景、水中撮影、接写(花等)又はテキスト文章撮影)に応じてフォーカスや露出を最適化して撮影するためのシーンポジションモード、フォーカスや露出を自動的に設定するオートモード、フォーカスや露出をマニュアルで設定可能なマニュアルモード又は動画撮影モードの間で切り替えられる。
レリーズボタンは、撮影開始の指示を入力する操作手段であり、半押し時にオンするS1スイッチと、全押し時にオンするS2スイッチとを有する2段ストローク式のスイッチで構成されている。
メニュー/OKキーは、画像表示装置68の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行等を指令するOKボタンとしての機能とを兼備した操作キーである。
十字キーは、上下左右の4方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりする操作手段(カーソル移動操作手段)である。また、十字キーの上キー及び下キーは撮影モード時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左キー及び右キーは再生モード時のコマ送り(順方向/逆方向送り)ボタンとして機能する。
キャンセルキーは、選択項目等所望の対象の消去や指示内容の取り消し、あるいは1つ前の操作状態に戻す時等に使用される。
フラッシュボタンは、フラッシュモードを切り替えるためのボタンであり、撮影モードの下、フラッシュボタンを押圧操作することにより、フラッシュモードが、フラッシュ発光/発光禁止の各モードに設定される。
画像表示装置68は、カラー表示可能な液晶モニタで構成されている。画像表示装置68は、撮影時に画角確認用の電子ファインダとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、画像表示装置68は、ユーザインターフェース用の表示画面としても利用され、メニュー情報や選択項目、設定内容等の情報が表示される。なお、画像表示装置68としては、液晶モニタのほか、有機EL(electro-luminescence)等の他の方式の表示装置を用いることも可能である。
撮影装置10は、図示せぬメディア装着部を有し、メディア装着部には記録メディア30を着脱可能に装着することができる。記録メディア30の形態は特に限定されず、xDピクチャカード(登録商標)、スマートメディア(登録商標)に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等、種々の媒体を用いることができる。メディアコントローラ28は、メディアソケット28に装着される記録メディア30に適した入出力信号の受渡しを行うために所要の信号変換を行う。
また、撮影装置10は、パーソナルコンピュータその他の外部機器と接続するための通信手段として外部接続インターフェース部(外部接続I/F)32を備えている。撮影装置10は、外部接続I/F32を介して外部機器と接続されると、当該外部機器との間でデータの受渡しが可能となる。なお、撮影装置10と外部機器との間の通信方式としては、例えば、USB、IEEE1394やBluetooth(登録商標)等を採用することができる。
次に、撮影装置10の撮影機能について説明する。モード選択スイッチによって撮影モードが選択されると、撮像素子(CCD)48を含む撮影部に電源が供給され、撮影可能な状態になる。なお、本実施形態では、撮像素子48としてCCDを用いたが、例えば、CMOSのような他の固体撮像素子を用いるようにしてもよい。
レンズユニット38は、フォーカスレンズ42及びズームレンズ44を含む撮影レンズ40と、絞り兼用メカシャッター46とを含む光学ユニットである。撮影レンズ44のフォーカシングは、フォーカスレンズ42をフォーカスモータ42Aによって移動させることにより行われ、ズーミングは、ズームレンズ44をズームモータ44Aで移動させることにより行われる。フォーカスモータ42Aとズームモータ44Aは、それぞれフォーカスモータドライバ42Bとズームモータドライバ44Bにより駆動制御される。CPU12は、このフォーカスモータドライバ42Bとズームモータドライバ44Bに制御信号を出力して制御する。
絞り46は、いわゆるターレット型絞りで構成されており、F2.8からF8の絞り孔が穿孔されたターレット板を回転させて絞り値(F値)を変化させる。この絞り46の駆動はアイリスモータ46Aによって行われる。アイリスモータ46Aはアイリスモータドライバ46Bにより駆動制御される。CPU12は、このアイリスモータドライバ46Bに制御信号を出力して制御する。
レンズユニット38を通過した光は、CCD48の受光面に結像される。CCD48の受光面には多数の受光素子(例えば、フォトダイオード)が2次元的に配列されており、各受光素子に対応して赤(R)、緑(G)、青(B)の原色カラーフィルタが所定の配列構造で配置されている。CCD48は、各受光素子の電荷蓄積時間(シャッタースピード)を制御する電子シャッター機能を有している。CPU12は、発振素子47において発生する所定の周波数の信号に基づいてタイミングジェネレータ(TG)56を介してCCD48における電荷蓄積時間を制御する。また、CPU12は、CCD48に対して、OFD(Overflow Drain)の電位を制御して、CCD48の受光素子に蓄積される信号電荷の上限値を調整する。
CCD48の受光面に結像された被写体像は、各受光素子によって入射光量に応じた量の信号電荷に変換される。各受光素子に蓄積された信号電荷は、CPU12の指令に従いTG56から与えられる駆動パルスに基づいて信号電荷に応じたアナログの電圧信号として順次読み出される。
CCD48から読み出されたアナログの電圧信号は、アナログ処理部(CDS/AMP)50に送られる。そして、アナログ処理部50において、画素ごとの(点順次の)R、G、B信号がサンプリングホールド(相関2重サンプリング処理)されて増幅された後、A/D変換器52に加えられA/D変換される。A/D変換器52によってデジタル信号に変換された点順次のR、G、B信号は、画像入力コントローラ54を介してメモリ24に記憶される。アナログ処理部50におけるR、G、B信号の増幅ゲインは、撮影感度(ISO感度)に相当する。CPU12は、この増幅ゲインを調整することにより撮影感度を設定する。
画像信号処理回路58は、同時化回路(単板CCDのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路)、ホワイトバランス調整回路、階調変換処理回路(例えば、ガンマ補正回路)、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段として機能し、CPU12からのコマンドに従ってメモリ24を活用しながら、メモリ24に記憶されたR、G、B信号に対して所定の信号処理を行う。
画像信号処理回路58に入力されたR、G、B信号は、画像信号処理回路58において輝度信号(Y信号)及び色差信号(Cr、Cb信号)に変換されるとともに、階調変換処理(例えば、ガンマ補正)等の所定の処理が施される。画像信号処理回路58により処理された画像データはVRAM26に格納される。
撮影画像を画像表示装置68にモニタ出力する場合、VRAM26から画像データが読み出され、バス18を介してビデオエンコーダ66に送られる。ビデオエンコーダ66は、入力された画像データを表示用の所定方式のビデオ信号(例えば、NTSC方式のカラー複合画像信号)に変換して画像表示装置68に出力する。
CCD48から出力される画像信号によって、1コマ分の画像を表す画像データがVRAM26のA領域とB領域とで交互に書き換えられる。VRAM26のA領域及びB領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。このようにしてVRAM26内の画像データが定期的に書き換えられ、その画像データから生成される画像信号が画像表示装置68に供給されることにより、撮影中の画像がリアルタイムに画像表示装置68に表示される。撮影者は、画像表示装置68に表示されるライブビュー画像(以下、スルー画という)によって撮影画角を確認できる。
レリーズボタンが半押しされ、S1がオンすると、撮影装置10はAE及びAF処理を開始する。即ち、CCD48から出力された画像信号はA/D変換後に画像入力コントローラ54を介してAF検出回路60並びにAE/AWB検出回路62に入力される。
AE/AWB検出回路62は、1画面を複数の分割エリア(例えば、8×8又は16×16)に分割し、この分割エリアごとにR、G、B信号を積算する回路を含み、その積算値をCPU12に提供する。CPU12は、AE/AWB検出回路62から得た積算値に基づいて被写体の明るさ(被写体輝度)を検出し、撮影に適した露出値(撮影EV値)を算出する。CPU12は、求めた露出値と所定のプログラム線図に従って、絞り値とシャッタースピードを決定し、これに従いCCD48の電子シャッター及びアイリスを制御して適正な露光量を得る。
更に、CPU12は、フラッシュ発光モードに設定された場合にフラッシュ制御回路34にコマンドを送って動作させる。フラッシュ制御回路34は、フラッシュ発光部36(放電管)を発光させるための電流を供給するためのメインコンデンサを含んでおり、CPU12からのフラッシュ発光指令に従ってメインコンデンサの充電制御、フラッシュ発光部36への放電(発光)のタイミング及び放電時間の制御等を行う。なお、フラッシュ発光手段としては、放電管に代えてLEDを用いることも可能である。
また、AE/AWB検出回路62は、自動ホワイトバランス調整時に、分割エリアごとにR、G、B信号の色別の平均積算値を算出し、その算出結果をCPU12に提供する。CPU12は、Rの積算値、Bの積算値、Gの積算値を得て、分割エリアごとにR/G及びB/Gの比を求め、これらR/G、B/Gの値のR/G、B/G軸座標の色空間における分布等に基づいて光源種判別を行い、判別された光源種に応じてホワイトバランス調整回路のR、G、B信号に対するゲイン値(ホワイトバランスゲイン)を制御し、各色チャンネルの信号に補正をかける。
撮影装置10におけるAF制御は、例えば、画像信号のG信号の高周波成分が極大になるようにフォーカスレンズ42を移動させるコントラストAFが適用される。即ち、AF検出回路60は、G信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内(例えば、画面中央部)にあらかじめ設定されているフォーカス対象エリア内の信号を切り出すAFエリア抽出部及びAFエリア内の絶対値データを積算する積算部から構成される。
AF検出回路60により求められた積算値のデータはCPU12に通知される。CPU12は、フォーカスモータドライバ42Bを制御してフォーカスレンズ42を移動させながら、複数のAF検出ポイントで焦点評価値(AF評価値)を演算し、演算した焦点評価値が極大となるレンズ位置を合焦位置として決定する。そして、CPU12は、求めた合焦位置にフォーカスレンズ42を移動させるようにフォーカスモータドライバ42Bを制御する。なお、AF評価値の演算はG信号を利用する態様に限らず、輝度信号(Y信号)を利用してもよい。
レリーズボタンが半押しされ、S1オンによってAE/AF処理が行われ、レリーズボタンが全押しされ、S2オンによって記録用の撮影動作がスタートする。S2オンに応動して取得された画像データは画像信号処理回路58において輝度/色差信号(Y/C信号)に変換され、ガンマ補正等の所定の処理が施された後、メモリ24に格納される。
メモリ24に格納されたY/C信号は、圧縮伸張回路64によって所定のフォーマットに従って圧縮された後、メディアコントローラ28を介して記録メディア30に記録される。例えば、静止画についてはJPEG(Joint Photographic Experts Group)形式、動画についてはAVI(Audio Video Interleaving)形式の画像ファイルとして記録される。
モード選択スイッチにより再生モードが選択されると、記録メディア30に記録されている最終の画像ファイル(最後に記録された画像ファイル)の圧縮データが読み出される。最後の記録に係る画像ファイルが静止画ファイルの場合、この読み出された画像圧縮データは、圧縮伸張回路64によって非圧縮のY/C信号に伸張され、画像信号処理回路58及びビデオエンコーダ66を介して表示用の信号に変換された後、画像表示装置68に出力される。これにより、当該画像ファイルの画像内容が画像表示装置68の画面上にスルー画表示される。
静止画の1コマ再生中(動画の先頭フレーム再生中も含む)に、十字キーの右キー又は左キーを操作することによって、再生対象の画像ファイルを切り換えること(順コマ送り/逆コマ送り)ができる。コマ送りされた位置の画像ファイルが記録メディア30から読み出されて画像表示装置68に再生表示される。
[第1の実施形態に係る画像処理方法]
次に、本実施形態に係る画像処理方法について説明する。通常、撮影レンズの焦点距離が35mm版換算でf(mm)の場合、シャッタースピードを1/f秒以上とするとブレるとされている。例えば、撮影レンズの焦点距離が50mm相当の場合、シャッタースピードを1/50秒以上とすると数画素以上のブレが生じる蓋然性が高くなる。本実施形態では、2枚の画像(以下、第1、第2フレームという)を連続撮影する。第1フレームと第2フレームの露光開始時間の間隔は1/f秒以上として、第1、第2フレームの間で1ピクセル以上のブレを生じさせる。第1、第2のフレーム間で対応する画素の画素値を比較することにより、CCD48上において画素欠陥や異物の写り込みが生じている画素(以下、欠陥画素という)を特定し、画像を補正する。
次に、本実施形態に係る画像処理方法について説明する。通常、撮影レンズの焦点距離が35mm版換算でf(mm)の場合、シャッタースピードを1/f秒以上とするとブレるとされている。例えば、撮影レンズの焦点距離が50mm相当の場合、シャッタースピードを1/50秒以上とすると数画素以上のブレが生じる蓋然性が高くなる。本実施形態では、2枚の画像(以下、第1、第2フレームという)を連続撮影する。第1フレームと第2フレームの露光開始時間の間隔は1/f秒以上として、第1、第2フレームの間で1ピクセル以上のブレを生じさせる。第1、第2のフレーム間で対応する画素の画素値を比較することにより、CCD48上において画素欠陥や異物の写り込みが生じている画素(以下、欠陥画素という)を特定し、画像を補正する。
図2は、本発明の第1の実施形態に係る画像補正処理を示すデータフローダイアグラムである。図2に示すように、画像の撮影が行われ、CCD48から第1、第2フレームの画像信号が出力されて画像信号処理回路58に入力される。第1、第2フレームの画像信号(以下、それぞれ第1フレームF1、第2フレームF2という)は、画像信号処理回路58においてシェーディング補正が施される(100、104)。そして、画素値の相関をとることにより両フレームの輝度エッジが検出される(102、106)。
次に、上記102及び106において検出された輝度エッジの位置に基づいてパターンマッチングが行われ、第1フレームF1と第2フレームF2のズレ量が算出される(108)。そして、第1フレームF1と第2フレームF2の輝度エッジの位置が重なり合うように両フレームの位置合わせが行われる(110)。これにより、第1フレームF1と第2フレームF2の画素の対応関係(対応画素)が特定される。
次に、第1フレームF1と第2フレームF2の対応画素の画素値が順に比較されて、第1、第2のフレームにおいて画素値の相関性のない画素(画素値が極端に離れている対応画素)が欠陥画素として検出され、欠陥画素の位置が特定される。そして、画像が補正されて出力フレームFOが出力される(112)。
図3は、本発明の第1の実施形態に係る画像補正処理の詳細を示すフローチャートである。まず、撮影スイッチが押下されると第1フレームF1が撮影され、シェーディング補正が行われる(ステップS10)。また、第2フレームF2が撮影され、シェーディング補正が行われる(ステップS12)。次に、輝度エッジの位置が検出されて、第1フレームF1と第2フレームF2のズレ量が算出され(ステップS14)、位置合わせが行われる(ステップS16)。
次に、第1フレームF1の画素(以下、ステップS18からS32において処理中の第1フレームの画素を注目画素という)と第2フレームF2の対応画素の画素値が順に比較される(ステップS18)。注目画素と対応画素の画素値の差の絶対値がしきい値Δ1以下の場合(ステップS20のYes)、注目画素と対応画素の画素値の平均値(加算平均値)が出力フレームFOの出力画素値に設定される(ステップS22)。
一方、注目画素と対応画素の画素値の差の絶対値がしきい値Δ1より大きい場合、即ち、注目画素又は対応画素のいずれかが欠陥画素の場合には(ステップS20のNo)、第1フレーム上において注目画素の近傍に位置する近傍画素の画素値が比較される(ステップS24)。注目画素と近傍画素の画素値の差の絶対値がΔ2以下の場合(ステップS26のYes)、注目画素は欠陥画素ではないと判定され、第1フレームの注目画素の画素値が出力フレームFOの出力画素値に設定される(ステップS28)。一方、注目画素と近傍画素の画素値の差の絶対値がΔ2より大きい場合(ステップS26のNo)、注目画素が欠陥画素と判定され、第2フレームの対応画素の画素値が出力フレームFOの出力画素値に設定される(ステップS30)。ステップS24及びS26では、注目画素とその近傍の同色の複数の画素とを比較する。例えば、近傍画素の中に以前の処理で欠陥画素と判定された画素がある場合には、ステップS24及びS26において注目画素と比較する近傍画素から除外するようにすればよい。なお、ステップS24及びS26の工程は、同時化処理後に行うようにしてもよい。
そして、第1フレームF1、第2フレームF2の互いに重なり合うすべての画素についてステップS18からS32の工程が繰り返される(ステップS32)。
本実施形態によれば、第1フレームと第2フレームの重なり合う領域のうち、第1フレームの注目画素と第2フレームの対応画素のいずれも欠陥画素ではない場合には注目画素と対応画素の平均画素値を出力し、いずれかが欠陥画素の場合には欠陥画素ではない方の画素値を出力することにより、撮像素子の経時変化や温度特性により後発的に発生する画素欠陥及び撮像素子に付着した異物の写り込みによる画像の乱れを確実に補正することができる。また、本実施形態によれば、画素欠陥情報を事前に用意しておく必要がない。
なお、例えば、対応画素がすべて白点又は黒点の場合には、白点又は黒点としてもよいし、近傍の画素の画素値から補間して画素値を求めるようにしてもよい。
また、本実施形態において、第1フレームと第2フレームのうち互いに重なり合う画素のみを使用して出力フレームを生成し、重なり合わない領域の画像データは削除するようにしてもよいし、重なり合わない領域の画像データを含む出力フレームを生成するようにしてもよい。重なり合わない領域の画像データを含む出力フレームを生成する場合には、例えば、両フレームが重なり合う領域と重なり合わない領域との境界近傍で重み付け平均を取ることにより、第1フレームと第2フレームのノイズ量等の差のために画像中に境界が現れるのを防止するようにしてもよい。
また、本実施形態では、撮影の都度、第1、第2のフレームの撮影を行って、欠陥画素を検出するようになっているが、本発明はこれに限定されるものではない。例えば、上記図2、図3に従って画像を撮影するための専用の撮影モードを設けて、最新の欠陥画素の位置をEEPROM22等に記憶しておき、通常の撮影モード時には、予め記憶しておいた欠陥画素の位置に基づいて画像を補正するようにしてもよい。また、所定の期間ごとに(例えば、電源を所定回数オンした場合、所定枚数の画像を撮影した場合)、上記図2、図3に従って最新の欠陥画素の位置を記憶しておいて、通常の撮影モード時には、予め記憶しておいた欠陥画素の位置に基づいて画像を補正するようにしてもよい。
[第1の実施形態に係る画像処理方法の具体例]
次に、本実施形態に係る画像処理方法について具体的に説明する。図4は、撮像素子48の画素配列を模式的に示す平面図である。図4において、各画素PDは同色の画素である。画素PD1は欠陥画素である。欠陥画素PD1の画素値は、常時最大値(白点)又は最小値(黒点)となる。
次に、本実施形態に係る画像処理方法について具体的に説明する。図4は、撮像素子48の画素配列を模式的に示す平面図である。図4において、各画素PDは同色の画素である。画素PD1は欠陥画素である。欠陥画素PD1の画素値は、常時最大値(白点)又は最小値(黒点)となる。
図5及び図6は、それぞれ図4に示す撮像素子48を用いて撮影された第1フレーム及び第2フレームの例を示している。図5及び図6は、文字「A」を連続撮影したものである。第2フレームF2は、第1フレームF1に対してX方向に2ピクセル、Y方向に1ピクセルずれている。
図7は、第1、第2フレームの画素値の相関をとって第1フレームと第2フレームとのズレ量を算出し、第2フレームをズレ量分ずらして位置合わせした状態を示す図である。図7において、点線の領域A1は、第2フレーム中で第1フレームと重なる画素がない部分である。図7に示すフレームF2’では、欠陥画素の位置がPD1からPD1’に移動する。従って、下記の処理(1)から(3)により欠陥画素を検出することができる。
(1)第1フレームの注目画素と第2フレームの対応画素の画素値を比較して、画素値の差の絶対値がΔ1以下の場合には、注目画素と対応画素の画素値の平均値を出力フレームの出力画素値とする。
(2)注目画素と対応画素の画素値の差の絶対値がΔ1より大きい場合には、第1フレームにおいて注目画素とその近傍画素の画素値を比較する。
(3)注目画素とその近傍画素の画素値の差の絶対値がΔ2より大きい場合には、注目画素が欠陥画素であると判定され、第2フレームの対応画素の画素値を出力フレームFOの出力画素値とする。一方、注目画素とその近傍画素の画素値の差の絶対値がΔ2以下の場合には、第1フレームの注目画素の画素値を出力フレームFOの出力画素値とする。
(1)第1フレームの注目画素と第2フレームの対応画素の画素値を比較して、画素値の差の絶対値がΔ1以下の場合には、注目画素と対応画素の画素値の平均値を出力フレームの出力画素値とする。
(2)注目画素と対応画素の画素値の差の絶対値がΔ1より大きい場合には、第1フレームにおいて注目画素とその近傍画素の画素値を比較する。
(3)注目画素とその近傍画素の画素値の差の絶対値がΔ2より大きい場合には、注目画素が欠陥画素であると判定され、第2フレームの対応画素の画素値を出力フレームFOの出力画素値とする。一方、注目画素とその近傍画素の画素値の差の絶対値がΔ2以下の場合には、第1フレームの注目画素の画素値を出力フレームFOの出力画素値とする。
これにより、図8に示すような出力フレームFOを生成することができる。出力フレームFOにおいて、画素PD1の画素値は第2フレームの画素値であり、画素PD1’の画素値は第1フレームの画素値である。
また、図10(b)に示すように、シャッタースピードT2を長くした場合には、図9に示すように、手ブレした分だけ被写体の像が滲んでしまうが、本実施形態によれば、図10(a)に示すように、シャッタースピードT1(=T2/2)の2フレームに分割して時間Ti(≧1/f)の間隔をおいて撮影し、両フレームを位置あわせして加算することにより電子的な手ブレ補正処理が行うことができる。なお、各フレームの撮影時のシャッタースピードT1は1/f秒未満であることが好ましい。
[第2の実施形態]
次に、本発明の第2の実施形態について説明する。なお、撮影装置10のブロック構成については、上記第1の実施形態と同様である。
次に、本発明の第2の実施形態について説明する。なお、撮影装置10のブロック構成については、上記第1の実施形態と同様である。
本実施形態では、3枚以上の画像を1/f秒以上の間隔を空けて連続撮影し、各フレーム間で対応する画素の画素値を比較することにより、CCD48上の欠陥画素を特定し、画像を補正する。なお、以下の説明では、3枚の画像(以下、第1、第2、第3フレームという)を撮影する例について説明する。
図11は、本発明の第2の実施形態に係る画像補正処理を示すデータフローダイアグラムである。図11に示すように、画像の撮影が行われ、CCD48から第1、第2、第3フレームの画像信号が出力されて画像信号処理回路58に入力される。画像信号処理回路58において、第1、第2フレームの画像信号(以下、それぞれ第1フレームF21、第2フレームF22という)にシェーディング補正が施される(200、204)。そして、画素値の相関をとることにより第1、第2フレームの輝度エッジが検出される(202、206)。
次に、上記202及び206において検出された輝度エッジの位置に基づいて、第1フレームF21と第2フレームF22のズレ量が算出される(208)。そして、第1フレームF21と第2フレームF22の輝度エッジの位置が重なり合うように位置合わせ(パターンマッチング)が行われる(210)。
また、画像信号処理回路58において、第3フレームの画像信号(以下、第3フレームF23という)にシェーディング補正が施され(212)、輝度エッジが検出される(214)。次に、上記214において検出された輝度エッジの位置に基づいて第1フレームF21と第3フレームF23のズレ量が算出される(216)。そして、第1フレームF21と第3フレームF23の輝度エッジの位置が重なり合うように位置合わせが行われる(218)。
次に、第1フレームF21、第2フレームF22、第3フレームF23の対応画素の画素値が比較されて、欠陥画素を含む対応画素の位置が特定される。そして、画像が補正されて出力フレームFOが出力される(220)。
図12は、本発明の第2の実施形態に係る画像補正処理の詳細を示すフローチャートである。まず、撮影スイッチが押下されると第1フレームF21、第2フレームF22、第3フレームF23が順に撮影され、シェーディング補正が行われる(ステップS40からS44)。次に、各フレームの輝度エッジの位置が検出されて、第1フレームF21と、第2フレームF22及び第3フレームF23のズレ量が算出され(ステップS46)、位置合わせが行われる(ステップS48)。
次に、第1フレームF21、第2フレームF22、第3フレームF23の対応画素の中央値が算出される。そして、当該中央値から最も遠い値(即ち、3つの対応画素のうち画素値が最大の画素と最小の画素)を除く画素の平均画素値が算出され、出力フレームFOの出力画素値に設定される(ステップS50)。
そして、第1から第3フレームの互いに重なり合うすべての画素についてステップS18からS32の工程が繰り返される(ステップS52)。
本実施形態によれば、3以上のフレームの対応画素の画素値の中央値を算出し、中央値から最も遠い値の画素を除く画素の平均画素値を用いて出力フレームを生成することにより、後発的に発生した欠陥画素の出力フレームへの影響を排除することができる。また、本実施形態によれば、画素欠陥情報を事前に用意しておく必要がない。
なお、例えば、対応画素がすべて白点又は黒点の場合には、白点又は黒点としてもよいし、近傍の画素の画素値から補間して画素値を求めるようにしてもよい。
また、本実施形態において、第1、第2、第3フレームのうち互いに重なり合う画素のみを使用して出力フレームを生成するようにしてもよいし、重なり合わない領域の画像データを含む出力フレームを生成するようにしてもよい。重なり合わない領域の画像データを含む出力フレームを生成する場合には、例えば、第1から第3フレームのうち3枚が重なり合う領域と、2枚が重なり合う領域及びフレームが重なり合わない領域との境界近傍で重み付け平均を取ることにより、各フレーム間のノイズ量等の差のために画像中に境界が現れるのを防止するようにしてもよい。
また、本実施形態では、撮影の都度第1から第3のフレームの撮影を行って、欠陥画素を検出するようになっているが、上記図11及び図12に従って画像を撮影するための専用の撮影モードを設けて、最新の欠陥画素の位置をEEPROM22等に記憶しておき、通常の撮影モード時には、予め記憶しておいた欠陥画素の位置に基づいて画像を補正するようにしてもよい。また、所定の期間ごとに(例えば、電源を所定回数オンした場合、所定枚数の画像を撮影した場合)、上記図11、図12に従って最新の欠陥画素の位置を記憶しておいて、通常の撮影モード時には、予め記憶しておいた欠陥画素の位置に基づいて画像を補正するようにしてもよい。
[第2の実施形態に係る画像処理方法の具体例]
次に、本実施形態に係る画像処理方法について具体的に説明する。図13(a)から図13(c)は、それぞれ第1フレームから第3フレームの例を示している。図13は、文字「A」を連続撮影したものである。第2フレームF22は、第1フレームF21に対してX方向に1ピクセル、Y方向に1ピクセルずれている。第3フレームF23は、第1フレームF21に対してX方向に2ピクセル、Y方向に2ピクセルずれている。
次に、本実施形態に係る画像処理方法について具体的に説明する。図13(a)から図13(c)は、それぞれ第1フレームから第3フレームの例を示している。図13は、文字「A」を連続撮影したものである。第2フレームF22は、第1フレームF21に対してX方向に1ピクセル、Y方向に1ピクセルずれている。第3フレームF23は、第1フレームF21に対してX方向に2ピクセル、Y方向に2ピクセルずれている。
図14(a)及び図14(b)は、それぞれ第2フレーム及び第3フレームを第1フレームと位置合わせした状態を示す図である。図14(b)の点線の領域A22は、第2フレーム中で第1フレームと重なる画素がない部分であり、図14(c)の点線の領域A23は、第3フレーム中で第1フレームと重なる画素がない部分である。
図14(b)のフレームF22’では、欠陥画素の位置がPD21からPD21’に移動し、図14(c)のフレームF23’では、欠陥画素の位置がPD21からPD21”に移動する。本実施形態によれば、3フレームの対応画素の画素値の中央値を算出し、中央値から最も遠い値の画素を除く2画素の平均画素値を用いて出力フレームを生成することにより、常時最大値(白点)又は最小値(黒点)になる欠陥画素を出力フレームの生成時に除外することができる。これにより、欠陥画素の影響を排除した出力フレームを生成することができる。
また、図16(b)に示すように、シャッタースピードT2を長くした場合には、図15に示すように、手ブレした分だけ被写体の像が滲んでしまうが、本実施形態によれば、図16(a)に示すように、シャッタースピードT1(=T2/3)の3フレームに分割して時間Ti(≧1/f)の間隔をおいて撮影し、3フレームを位置あわせして加算することにより電子的な手ブレ補正処理が行うことができる。なお、連続撮影する回数を増加させて、例えば、手ブレが生じにくいように各フレームの撮影時のシャッタースピードT1を1/f秒未満に調整してもよい。
[第3の実施形態]
次に、本発明の第3の実施形態について説明する。なお、以下の説明において、上記第1、第2の実施形態と同様の構成については説明を省略する。
次に、本発明の第3の実施形態について説明する。なお、以下の説明において、上記第1、第2の実施形態と同様の構成については説明を省略する。
一般に、撮影装置10が三脚に取り付けられている場合には、複数フレームの撮影を行ってもフレーム間でズレが生じにくい。このため、本実施形態では、複数フレームの撮影及び欠陥画素の検出を行わないようにした。
図17は、本発明の第3の実施形態に係る撮影装置の主要構成を示すブロック図である。図17に示すように、本実施形態に係る撮影装置10は、三脚取付検出スイッチ70を備えている。三脚取付検出スイッチ70は、撮影装置10が三脚に取り付けられたことを検出するためのスイッチであり、例えば、撮影装置10の三脚取付穴の内部又は近傍に配置され、三脚に取り付けられたときに機械的スイッチ又はセンサスイッチである。CPU12は、静止画撮影モード時に三脚取付検出スイッチ70のオン・オフを検出して、撮影装置10が三脚に取り付けられているかどうか判定し、撮影制御を行う。
図18は、本発明の第3の実施形態に係る画像補正処理を示すフローチャートである。動作モードが静止画の撮影モードに設定されると、まず、撮影装置10が三脚に取り付けられているかどうか判定される(ステップS60)。撮影装置10が三脚に取り付けられている場合には(ステップS60のYes)、1フレーム分の画像が撮影されて出力フレームが生成される(ステップS62)。ステップS62では、例えば、直近の欠陥画素情報をEEPROM22に格納しておき、この欠陥画素情報に基づいて画像の補正を行う。
一方、撮影装置10が三脚に取り付けられていない場合には(ステップS60のNo)、ステップS64に進み、複数フレームの撮影及び欠陥画素の検出が行われる。なお、ステップS64からS76は、それぞれ図12のステップS40からS52と同様であるため説明を省略する。
本実施形態によれば、撮影装置10が三脚に取り付けられて、複数フレームを撮影しても1ピクセル以上ずれた画像を取得することができない場合には、複数フレームの撮影処理を省くことができる。即ち、1ピクセル以上ずれた画像を取得することができる場合にのみ、複数フレームの撮影及び欠陥画素の検出を行うようにしたので、欠陥画素の検出を確実に行うことができる。
なお、本実施形態では、撮影装置10が三脚に取り付けられていない場合に、上記第2の実施形態と同様の処理(ステップS64からS76)を行うようにしたが、これに代えて図3の処理を行うようにしてもよい。
[第4の実施形態]
次に、本発明の第4の実施形態について説明する。なお、撮影装置10のブロック構成については、上記第1から第3の実施形態と同様である。
次に、本発明の第4の実施形態について説明する。なお、撮影装置10のブロック構成については、上記第1から第3の実施形態と同様である。
図19は、本発明の第4の実施形態に係る画像補正処理を示すフローチャートである。まず、撮影スイッチが押下されると第1フレームが撮影され、シェーディング補正が行われる(ステップS80)。そして、第2フレームが撮影され、シェーディング補正が行われる(ステップS82)。
次に、輝度エッジの位置が検出されて、第1フレームと第2フレームのズレ量が算出され(ステップS84)、第1フレームと第2フレームのズレ量がしきい値Δ3以上になるまで第2フレームの撮影が繰り返される(ステップS86のNo)。ここで、しきい値Δ3は、例えば、第1フレームと第2フレームとの間でX方向又はY方向の少なくとも一方にそれぞれ1ピクセル以上のズレ量に相当する値であり、ブレ量の検出誤差及びエリアジングを考慮して決定される。
そして、第1フレームと第2フレームのズレ量がしきい値Δ3以上になると(ステップS86のYes)、ステップS88に進み、複数フレームの位置合わせと欠陥画素の検出が行われる(ステップS88からS104)。なお、ステップS88からS104は、それぞれ図3のステップS16からS32と同様であるため説明を省略する。
本実施形態によれば、第1フレームと第2フレームのズレ量を確実に1ピクセル以上にすることができるので、欠陥画素の検出を確実に行うことができる。
なお、本実施形態において、所定時間の経過後又は所定回数の撮影を行っても、第1フレームと第2フレームのズレ量がしきい値Δ3未満になる場合には、被写体ブレにより画質が劣化するのを回避するため、撮影したフレームのうちのいずれか(例えば、第1フレーム)から出力フレームを生成するようにしてもよい。
[第5の実施形態]
次に、本発明の第5の実施形態について説明する。なお、以下の説明において、上記第1から第4の実施形態と同様の構成については説明を省略する。
次に、本発明の第5の実施形態について説明する。なお、以下の説明において、上記第1から第4の実施形態と同様の構成については説明を省略する。
図20は、本発明の第5の実施形態に係る撮影装置の主要構成を示すブロック図である。図20に示すように、本実施形態に係る撮影装置10は、角速度センサ72及び駆動装置74を備えている。角速度センサ72は、撮影装置10に加えられる振動の大きさに応じた角速度信号を出力する。CPU12は、角速度センサ72から出力される角速度信号及び撮影レンズ40の焦点距離fに基づいて、手ブレ量を測定する。駆動装置74は、撮像素子48を光軸に垂直な面内で移動させるための装置である。本実施形態では、連続撮影を行う場合に、手ブレ量が小さい場合に、駆動装置74を使って撮像素子48を移動させることにより、複数フレーム間で1ピクセル以上のズレ量を生じさせる。
図21は、本発明の第5の実施形態に係る画像補正処理を示すフローチャートである。図21に示すように、静止画の撮影を行う場合には、まず、角速度センサ72からの出力に基づいて手ブレ量が測定され、手ブレ量がしきい値Δ3以下かどうか判定される(ステップS110)。ここで、しきい値Δ3は、例えば、第1フレームと第2フレームとの間でX方向又はY方向の少なくとも一方にそれぞれ1ピクセル以上のズレ量に相当する値であり、ブレ量の検出誤差及びエリアジングを考慮して決定される。
次に、手ブレ量がしきい値Δ3以下の場合には(ステップS110のYes)、撮像素子(CCD)48が第1、第2フレームがX方向又はY方向の少なくとも一方に1ピクセル分以上ずれるように駆動されて(ステップS112)、第1フレームと第2フレームの撮影が行われる(ステップS114、S116)。一方、手ブレ量がしきい値Δ3より大きい場合には(ステップS110のNo)、ステップS114に進む。なお、ステップS114からS136は、それぞれ図3のステップS10からS32と同様であるため説明を省略する。
本実施形態によれば、撮像素子48を駆動することにより、第1フレームと第2フレームのズレ量を確実に1ピクセル以上にすることができるので、欠陥画素の検出を確実に行うことができる。
なお、本実施形態では、各フレーム間のズレ量が1ピクセル以上になるようにするために、撮像素子(CCD)48を駆動するようにしたが、例えば、撮影レンズ40又は図示せぬリレーレンズ等を駆動して撮像素子48上における画像の結像位置をずらすようにしてもよい。
また、第2の実施形態のように、3フレーム以上の連続撮影を行う場合にも、上記第4、第5の実施形態と同様に、各フレーム間のズレ量が1ピクセル以上になるようにすれば、欠陥画素の検出を確実に行うことができる。
10…撮影装置、12…CPU、14…電源回路、16…操作スイッチ、18…バス、20…ROM、22…EEPROM、24…メモリ(SDRAM)、26…VRAM、28…メディアコントローラ、30…記録メディア、32…外部接続I/F、34…フラッシュ制御回路、36…フラッシュ発光部、38…レンズユニット、40…撮影レンズ、42…フォーカスレンズ、44…ズームレンズ、46…絞り、48…CCD、50…アナログ処理部(CDS/AMP)、52…A/D変換器、54…画像入力コントローラ、56…TG、58…画像信号処理回路、60…AF検出回路、62…AE/AWB検出回路、64…圧縮伸張回路、66…ビデオエンコーダ、68…画像表示装置、70…三脚取付検出スイッチ、72…角速度センサ、74…駆動装置
Claims (34)
- 連続して撮影された2枚の画像を取得する画像取得手段と、
前記2枚の画像のズレ量を算出するズレ量算出手段と、
前記ズレ量に基づいて、前記2枚の画像間で対応する対応画素を特定する対応画素特定手段と、
前記対応画素の画素値の差が第1の所定値より大きい場合に、前記画像中において前記対応画素の近傍に位置する画素の画素値と該対応画素の画素値に基づいて前記対応画素が欠陥画素であるかどうかを判定する判定手段と、
を備えることを特徴とする画像処理装置。 - 前記判定手段による判定結果に基づいて、前記2枚の画像を用いて出力用の画像を生成する画像生成手段を更に備えることを特徴とする請求項1記載の画像処理装置。
- 前記画像生成手段は、前記2枚の画像間で対応する対応画素のうち欠陥画素でないと判定された方の画素値を用いて出力用の画像を生成することを特徴とする請求項2記載の画像処理装置。
- 前記対応画素の画素値の差が第1の所定値以下の場合に、前記対応画素の平均画素値を算出する算出手段を更に備え、
前記画像生成手段は、前記対応画素の画素値の差が第1の所定値以下の場合に、前記平均画素値を用いて出力用の画像を生成することを特徴とする請求項2又は3記載の画像処理装置。 - 連続して撮影された3枚以上の画像を取得する画像取得手段と、
前記3枚以上の画像のズレ量を算出するズレ量算出手段と、
前記ズレ量に基づいて、前記3枚の画像間で対応する対応画素を特定する対応画素特定手段と、
前記対応画素の画素値の中央値を算出する第1の算出手段と、
前記中央値に基づいて、前記対応画素が欠陥画素を含むかどうかを判定する判定手段と、
を備えることを特徴とする画像処理装置。 - 前記対応画素のうち、前記中央値から最も離れた画素を除く画素の平均画素値を算出する第2の算出手段と、
前記平均画素値を用いて出力用の画像を生成する画像生成手段と、
を更に備えることを特徴とする請求項5記載の画像処理装置。 - 前記画像のズレ量が第2の所定値未満の場合に、前記画像取得手段によって取得した画像のうちの1枚を用いて出力用の画像を生成する第2の画像生成手段を更に備えることを特徴とする請求項1から6のいずれか1項記載の画像処理装置。
- 画像を撮影するための撮影手段を更に備え、
前記画像取得手段は、前記撮影手段によって連続して撮影された画像を取得することを特徴とする請求項1から7のいずれか1項記載の画像処理装置。 - 前記撮影手段は、前記画像のズレ量が第2の所定値以上になるまで撮影を繰り返すことを特徴とする請求項8記載の画像処理装置。
- 所定時間以上又は所定回数以上撮影を繰り返しても、前記画像のズレ量が第2の所定値以上にならない場合に、前記撮影手段に撮影の繰り返しを中止させる撮影中止手段と、
前記撮影の繰り返しが中止された場合に、前記撮影手段によって撮影された画像のうちの1枚を用いて出力用の画像を生成する第3の画像生成手段と、
を更に備えることを特徴とする請求項9記載の画像処理装置。 - 前記撮影手段が三脚に取り付けられたことを検出する三脚取付検出手段と、
前記撮影手段が三脚に取り付けられた場合に前記撮影手段により画像を1枚撮影し、該1枚の画像を用いて出力用の画像を生成する第4の画像生成手段と、
を更に備えることを特徴とする請求項8から10のいずれか1項記載の画像処理装置。 - 前記判定手段によって欠陥画素を含むと判定された画素を特定するための欠陥画素情報を記録する記録手段と、
1枚の画像から出力用の画像を生成する場合に、前記欠陥画素情報を用いて前記1枚の画像を補正する補正手段と、
を更に備えることを特徴とする請求項7、10又は11記載の画像処理装置。 - 前記判定手段によって欠陥画素を含むと判定された画素を特定するための欠陥画素情報を記録する記録手段と、
前記撮影手段によって画像を連続して撮影し、該連続して撮影された画像を用いて欠陥画素を判定する第1の撮影モードと、前記撮影手段によって1枚の画像を撮影し、該1枚の画像を用いて出力用の画像を生成する第2の撮影モードとの間で撮影モードを切り替える撮影モード切り替え手段と、
前記第2の撮影モード時に、前記欠陥画素情報を用いて前記1枚の画像を補正して前記出力用の画像を生成する第5の画像生成手段と、
を更に備えることを特徴とする請求項8から11のいずれか1項記載の画像処理装置。 - 前記撮影手段は、前記画像間の画像のズレ量が第2の所定値以上になるように、各画像を撮影する時間間隔を調整することを特徴とする請求項8から13のいずれか1項記載の画像処理装置。
- 前記画像間の画像のズレ量が第2の所定値以上になるように、前記撮影手段を駆動する駆動手段を更に備えることを特徴とする請求項8から14のいずれか1項記載の画像処理装置。
- 前記撮影手段に加えられる振動を測定する振動検出手段を更に備え、
前記ズレ量算出手段は、前記振動検出手段からの出力に基づいて前記画像のズレ量を算出することを特徴とする請求項8から15のいずれか1項記載の画像処理装置。 - 前記ズレ量算出手段は、前記画像のパターンマッチングにより前記画像のズレ量を算出することを特徴とする請求項1から15のいずれか1項記載の画像処理装置。
- 連続して撮影された2枚の画像を取得する画像取得工程と、
前記2枚の画像のズレ量を算出するズレ量算出工程と、
前記ズレ量に基づいて、前記2枚の画像間で対応する対応画素を特定する対応画素特定工程と、
前記対応画素の画素値の差が第1の所定値より大きい場合に、前記画像中において前記対応画素の近傍に位置する画素の画素値と該対応画素の画素値に基づいて前記対応画素が欠陥画素であるかどうかを判定する判定工程と、
を備えることを特徴とする画像処理方法。 - 前記判定工程による判定結果に基づいて、前記2枚の画像を用いて出力用の画像を生成する画像生成工程を更に備えることを特徴とする請求項18記載の画像処理方法。
- 前記画像生成工程では、前記2枚の画像間で対応する対応画素のうち欠陥画素でないと判定された方の画素値を用いて出力用の画像を生成することを特徴とする請求項19記載の画像処理方法。
- 前記対応画素の画素値の差が第1の所定値以下の場合に、前記対応画素の平均画素値を算出する算出工程を更に備え、
前記画像生成工程では、前記対応画素の画素値の差が第1の所定値以下の場合に、前記平均画素値を用いて出力用の画像を生成することを特徴とする請求項19又は20記載の画像処理方法。 - 連続して撮影された3枚以上の画像を取得する画像取得工程と、
前記3枚以上の画像のズレ量を算出するズレ量算出工程と、
前記ズレ量に基づいて、前記3枚の画像間で対応する対応画素を特定する対応画素特定工程と、
前記対応画素の画素値の中央値を算出する第1の算出工程と、
前記中央値に基づいて、前記対応画素が欠陥画素を含むかどうかを判定する判定工程と、
を備えることを特徴とする画像処理方法。 - 前記対応画素のうち、前記中央値から最も離れた画素を除く画素の平均画素値を算出する第2の算出工程と、
前記平均画素値を用いて出力用の画像を生成する画像生成工程と、
を更に備えることを特徴とする請求項22記載の画像処理方法。 - 前記画像のズレ量が第2の所定値未満の場合に、前記画像取得工程によって取得した画像のうちの1枚を用いて出力用の画像を生成する第2の画像生成工程を更に備えることを特徴とする請求項18から23のいずれか1項記載の画像処理方法。
- 撮影手段を用いて画像を撮影する撮影工程を更に備え、
前記画像取得工程では、前記撮影手段によって連続して撮影された画像を取得することを特徴とする請求項18から24のいずれか1項記載の画像処理方法。 - 前記画像のズレ量が第2の所定値以上になるまで撮影を繰り返すことを特徴とする請求項25記載の画像処理方法。
- 所定時間以上又は所定回数以上撮影を繰り返しても、前記画像のズレ量が第2の所定値以上にならない場合に、撮影の繰り返しを中止する撮影中止工程と、
前記撮影の繰り返しが中止された場合に、前記撮影された画像のうちの1枚を用いて出力用の画像を生成する第3の画像生成工程と、
を更に備えることを特徴とする請求項26記載の画像処理方法。 - 前記撮影手段が三脚に取り付けられたことを検出する三脚取付検出工程と、
前記撮影手段が三脚に取り付けられた場合に前記撮影手段により画像を1枚撮影し、該1枚の画像を用いて出力用の画像を生成する第4の画像生成工程と、
を更に備えることを特徴とする請求項25から27のいずれか1項記載の画像処理方法。 - 前記判定工程において欠陥画素を含むと判定された画素を特定するための欠陥画素情報を記録する記録工程と、
1枚の画像から出力用の画像を生成する場合に、前記欠陥画素情報を用いて前記1枚の画像を補正する補正工程と、
を更に備えることを特徴とする請求項24、27又は28記載の画像処理方法。 - 前記判定工程において欠陥画素を含むと判定された画素を特定するための欠陥画素情報を記録する記録工程と、
前記撮影手段によって画像を連続して撮影し、該連続して撮影された画像を用いて欠陥画素を判定する第1の撮影モードと、前記撮影手段によって1枚の画像を撮影し、該1枚の画像を用いて出力用の画像を生成する第2の撮影モードとの間で撮影モードを切り替える撮影モード切り替え工程と、
前記第2の撮影モード時に、前記欠陥画素情報を用いて前記1枚の画像を補正して前記出力用の画像を生成する第5の画像生成工程と、
を更に備えることを特徴とする請求項25から28のいずれか1項記載の画像処理方法。 - 前記撮影工程において、前記画像間の画像のズレ量が第2の所定値以上になるように、各画像を撮影する時間間隔を調整することを特徴とする請求項25から30のいずれか1項記載の画像処理方法。
- 前記画像間の画像のズレ量が第2の所定値以上になるように、前記撮影手段を駆動する駆動工程を更に備えることを特徴とする請求項25から31のいずれか1項記載の画像処理方法。
- 前記撮影手段に加えられる振動を測定する振動検出工程を更に備え、
前記ズレ量算出工程では、前記振動検出工程における振動の測定結果に基づいて前記画像のズレ量を算出することを特徴とする請求項25から32のいずれか1項記載の画像処理方法。 - 前記ズレ量算出工程では、前記画像のパターンマッチングにより前記画像のズレ量を算出することを特徴とする請求項18から32のいずれか1項記載の画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007125912A JP2008283477A (ja) | 2007-05-10 | 2007-05-10 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007125912A JP2008283477A (ja) | 2007-05-10 | 2007-05-10 | 画像処理装置及び画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008283477A true JP2008283477A (ja) | 2008-11-20 |
Family
ID=40143918
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007125912A Pending JP2008283477A (ja) | 2007-05-10 | 2007-05-10 | 画像処理装置及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008283477A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013089370A1 (en) * | 2011-12-16 | 2013-06-20 | Samsung Electronics Co., Ltd. | Image pickup apparatus, method of performing image compensation, and computer readable recording medium |
JP2015136054A (ja) * | 2014-01-17 | 2015-07-27 | オリンパス株式会社 | 画像合成装置、画像合成方法、およびプログラム |
CN105684424A (zh) * | 2013-11-18 | 2016-06-15 | 苹果公司 | 非模态视频和静态帧捕获 |
-
2007
- 2007-05-10 JP JP2007125912A patent/JP2008283477A/ja active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013089370A1 (en) * | 2011-12-16 | 2013-06-20 | Samsung Electronics Co., Ltd. | Image pickup apparatus, method of performing image compensation, and computer readable recording medium |
US20130155265A1 (en) * | 2011-12-16 | 2013-06-20 | Samsung Electronics Co., Ltd | Image pickup apparatus, method of performing image compensation, and computer readable recording medium |
CN104025565A (zh) * | 2011-12-16 | 2014-09-03 | 三星电子株式会社 | 图像拾取设备、执行图像补偿的方法和计算机可读记录介质 |
US8854509B2 (en) | 2011-12-16 | 2014-10-07 | Samsung Electronics Co., Ltd | Image pickup apparatus, method of performing image compensation, and computer readable recording medium |
KR101836432B1 (ko) * | 2011-12-16 | 2018-03-12 | 삼성전자주식회사 | 촬상장치, 이미지 보정 방법 및 컴퓨터 판독가능 기록매체 |
CN105684424A (zh) * | 2013-11-18 | 2016-06-15 | 苹果公司 | 非模态视频和静态帧捕获 |
US10038845B2 (en) | 2013-11-18 | 2018-07-31 | Apple Inc. | Modeless video and still frame capture |
CN105684424B (zh) * | 2013-11-18 | 2018-11-09 | 苹果公司 | 用于在视频捕获期间捕获静态帧的设备和方法 |
US10498960B2 (en) | 2013-11-18 | 2019-12-03 | Apple Inc. | Modeless video and still frame capture |
US10911673B2 (en) | 2013-11-18 | 2021-02-02 | Apple Inc. | Modeless video and still frame capture |
JP2015136054A (ja) * | 2014-01-17 | 2015-07-27 | オリンパス株式会社 | 画像合成装置、画像合成方法、およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7995852B2 (en) | Imaging device and imaging method | |
US20150077603A1 (en) | Imaging device, image processing device, recording medium in which image file is recorded, recording method, image playback method, and computer-readable recording medium | |
JP4501994B2 (ja) | 撮像装置 | |
JP2005086499A (ja) | 撮像装置 | |
JP2008141518A (ja) | 撮影装置 | |
TWI459126B (zh) | 可產生廣角影像之影像處理裝置、影像處理方法及記錄媒體 | |
JP2009188490A (ja) | 画像処理装置およびプログラム | |
JP3912404B2 (ja) | 撮像装置 | |
JP2010147786A (ja) | 撮像装置及び画像処理方法 | |
JP2009159559A (ja) | 撮影装置及びそのプログラム | |
JP2009048136A (ja) | 焦点調節装置及び焦点調節方法 | |
JP2007235893A (ja) | 撮像装置及び固体撮像装置の制御方法 | |
JP2008109485A (ja) | 撮像装置及び撮像制御方法 | |
JP5387341B2 (ja) | 撮像装置 | |
JP2005269130A (ja) | 手振れ補正機能を有する撮像装置 | |
JP2008017198A (ja) | 光源色算出装置、光源色算出方法及び撮影装置 | |
JP2008283477A (ja) | 画像処理装置及び画像処理方法 | |
JP2006030972A (ja) | 撮像装置及び撮像方法 | |
JP2009031343A (ja) | カメラ | |
JP5962974B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
JP2005122016A (ja) | オートフォーカスカメラ | |
JP2007053482A (ja) | 撮像装置 | |
JP6547742B2 (ja) | 撮像制御装置、撮像装置および撮像制御方法 | |
JP2005064749A (ja) | カメラ | |
US20220400215A1 (en) | Image pickup apparatus, image pickup method, and storage medium |