JP2018148526A - 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム - Google Patents
撮像装置、画像処理装置、画像処理方法及び画像処理プログラム Download PDFInfo
- Publication number
- JP2018148526A JP2018148526A JP2017044852A JP2017044852A JP2018148526A JP 2018148526 A JP2018148526 A JP 2018148526A JP 2017044852 A JP2017044852 A JP 2017044852A JP 2017044852 A JP2017044852 A JP 2017044852A JP 2018148526 A JP2018148526 A JP 2018148526A
- Authority
- JP
- Japan
- Prior art keywords
- value
- image
- pixels
- values
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 188
- 238000003384 imaging method Methods 0.000 title claims abstract description 33
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 230000005484 gravity Effects 0.000 description 54
- 238000000034 method Methods 0.000 description 48
- 230000008569 process Effects 0.000 description 43
- 238000006243 chemical reaction Methods 0.000 description 19
- 238000011156 evaluation Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000009467 reduction Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 101100165556 Mus musculus Bmp6 gene Proteins 0.000 description 5
- 101100175313 Mus musculus Gdf3 gene Proteins 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】被写体の構造の影響を排して精度よくゴーストを検出できる撮像装置、画像処理装置、画像処理方法及び画像処理プログラムを提供すること。
【解決手段】撮像装置は、ベイヤ配列構造の固体撮像素子から出力される画像データの所定の画像領域毎に、Gr画素の画素値の平均値又は積算値である第1の値とGb画素の画素値の平均値又は積算値である第2の値とを算出する算出部2221と、複数の画像領域について算出部2221で算出された複数の第1の値のそれぞれが表す第1の重心と複数の第2の値のそれぞれが表す第2の重心とを一致させるように、複数の第1の値及び複数の第2の値を用いて補間演算を実施する補間演算部2341と、補間演算部2341により補間された第1の値と第2の値との差分を求めるG段差検出部2342とを備える。
【選択図】図1
【解決手段】撮像装置は、ベイヤ配列構造の固体撮像素子から出力される画像データの所定の画像領域毎に、Gr画素の画素値の平均値又は積算値である第1の値とGb画素の画素値の平均値又は積算値である第2の値とを算出する算出部2221と、複数の画像領域について算出部2221で算出された複数の第1の値のそれぞれが表す第1の重心と複数の第2の値のそれぞれが表す第2の重心とを一致させるように、複数の第1の値及び複数の第2の値を用いて補間演算を実施する補間演算部2341と、補間演算部2341により補間された第1の値と第2の値との差分を求めるG段差検出部2342とを備える。
【選択図】図1
Description
本発明は、撮像装置、画像処理装置、画像処理方法及び画像処理プログラムに関する。
デジタルカメラ等の撮像装置の分野においてゴーストと呼ばれる現象が発生することが知られている。ゴーストは、レンズ内で内面反射した光等のゴースト光が撮像素子によって撮像されてしまうことにより発生する。特に、ベイヤ配列構造の撮像素子を有する撮像装置において発生したゴーストは、偽色の原因ともなる。
ベイヤ配列構造の撮像素子を有する撮像装置においてゴーストが発生すると、本来は同一レベルとなるべきGr画素の画素値とGb画素の画素値との間に差が生じる。このGr画素の画素値とGb画素の画素値との差分からゴーストの有無を判定することができる。さらに、特許文献1の撮像装置は、Gr画素の画素値の平均値とGb画素の画素値の平均値との差分からゴーストの有無を判定している。平均値を求めることによって、微細な被写体の構造(エッジ構造)によって生じるGr画素の画素値とGb画素の画素値との間の差を抑制することができる。
ベイヤ配列構造の撮像素子では、Gr画素とGb画素とは、ずれた位置に配置されている。このため、Gr画素の画素値の平均値が表す重心とGb画素の画素値の平均値が表す重心とは一致していない。このため、単に平均値を求めただけでは、被写体の構造によってはエッジ構造によって生じるGr画素の画素値とGb画素の画素値との間の差を抑制しきれない場合がある。
本発明は、前記の事情に鑑みてなされたものであり、被写体の構造の影響を排して精度よくゴーストを検出できる撮像装置、画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
前記の目的を達成するために、本発明の第1の態様の撮像装置は、水平方向にR画素及びGr画素が交互に配列されたラインと、水平方向にB画素及びGb画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を有する撮像装置であって、前記固体撮像素子から出力される画像データの所定の画像領域毎に、前記Gr画素の画素値の平均値又は積算値である第1の値と前記Gb画素の画素値の平均値又は積算値である第2の値とを算出する算出部と、複数の前記画像領域について前記算出部で算出された複数の前記第1の値のそれぞれが表す第1の重心と複数の前記第2の値のそれぞれが表す第2の重心とを一致させるように、複数の前記1の値及び複数の前記第2の値を用いて補間演算を実施する補間演算部と、前記補間演算部により補間された前記第1の値と前記第2の値との差分を求めるG段差検出部とを具備する。
前記の目的を達成するために、本発明の第2の態様の画像処理装置は、水平方向にR画素及びGr画素が交互に配列されたラインと、水平方向にB画素及びGb画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を介して得られた画像データの所定の画像領域毎に、前記Gr画素の画素値の平均値又は積算値である第1の値と前記Gb画素の画素値の平均値又は積算値である第2の値とを算出する算出部と、複数の前記画像領域について前記算出部で算出された複数の前記第1の値のそれぞれが表す第1の重心と複数の前記第2の値のそれぞれが表す第2の重心とを一致させるように、複数の前記1の値及び複数の前記第2の値を用いて補間演算を実施する補間演算部と、前記補間演算部により補間された前記第1の値と前記第2の値との差分を求めるG段差検出部とを具備する。
前記の目的を達成するために、本発明の第3の態様の画像処理方法は、水平方向にR画素及びGr画素が交互に配列されたラインと、水平方向にB画素及びGb画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を介して得られた画像データの所定の画像領域毎に、前記Gr画素の画素値の平均値又は積算値である第1の値と前記Gb画素の画素値の平均値又は積算値である第2の値とを算出することと、複数の前記画像領域について算出された複数の前記第1の値のそれぞれが表す第1の重心と複数の前記第2の値のそれぞれが表す第2の重心とを一致させるように、複数の前記1の値及び複数の前記第2の値を用いて補間演算を実施することと、前記補間演算により補間された前記第1の値と前記第2の値との差分を求めることとを具備する。
前記の目的を達成するために、本発明の第4の態様の画像処理プログラムは、水平方向にR画素及びGr画素が交互に配列されたラインと、水平方向にB画素及びGb画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を介して得られた画像データの所定の画像領域毎に、前記Gr画素の画素値の平均値又は積算値である第1の値と前記Gb画素の画素値の平均値又は積算値である第2の値とを算出することと、複数の前記画像領域について算出された複数の前記第1の値のそれぞれが表す第1の重心と複数の前記第2の値のそれぞれが表す第2の重心とを一致させるように、複数の前記1の値及び複数の前記第2の値を用いて補間演算を実施することと、前記補間演算により補間された前記第1の値と前記第2の値との差分を求めることとをコンピュータに実行させる。
本発明によれば、被写体の構造の影響を排して精度よくゴーストを検出できる撮像装置、画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。
以下、図面を参照して本発明の実施形態を説明する。図1は、本発明の一実施形態に係る撮像装置の一例としてのカメラシステムの構成を示すブロック図である。図1に示すカメラシステム1は、交換式レンズ100と、カメラ本体200とを有している。交換式レンズ100は、カメラ本体200に着脱されるように構成されている。交換式レンズ100がカメラ本体200に装着されたときに、交換式レンズ100とカメラ本体200とが通信自在に接続される。なお、カメラシステム1は、必ずしもレンズ交換式のカメラシステムでなくてよい。例えば、カメラシステム1は、レンズ一体型のカメラシステムであってもよい。
交換式レンズ100は、撮影レンズ102と、絞り104と、ドライバ106と、レンズマイクロコンピュータ108と、Flashメモリ110とを有している。
撮影レンズ102は、被写体からの光束をカメラ本体200の撮像素子206に結像させるための光学系である。撮影レンズ102は、フォーカスレンズを含む単一又は複数のレンズを有している。撮影レンズ102は、ズームレンズを含んでいてもよい。絞り104は、撮影レンズ102の光軸上に配置され、その口径が可変に構成されている。絞り104は、撮影レンズ102を通過して撮像素子206に入射する被写体からの光束を規制する。ドライバ106は、レンズマイクロコンピュータ108からの制御信号に基づいて、撮影レンズ102のフォーカスレンズを駆動したり、絞り104を駆動したりする。
レンズマイクロコンピュータ108は、カメラ本体200に設けられたインターフェイス(I/F)202を介してカメラ本体200のマイクロコンピュータ234と通信自在に構成されている。このレンズマイクロコンピュータ108は、マイクロコンピュータ234の制御の下、Flashメモリ110に記憶されているプログラムに従ってドライバ106の制御を行う。また、レンズマイクロコンピュータ108は、I/F202を介してFlashメモリ110に記憶されているレンズ情報等の各種の情報をマイクロコンピュータ234に送信することも行う。レンズマイクロコンピュータ108は、必ずしもマイクロコンピュータとして構成されている必要はなく、ASIC、FPGA等によって構成されていてもよい。
Flashメモリ110は、交換式レンズ100の動作に必要なプログラムを記憶している。また、Flashメモリ110は、交換式レンズ100に関するレンズ情報を記憶している。レンズ情報は、例えば撮影レンズ102の焦点距離の情報や収差の情報を含む。
カメラ本体200は、I/F202と、シャッタ204と、撮像素子206と、撮像素子ドライバ208と、アナログ処理部210と、アナログデジタル(A/D)変換部212と、バス214と、SDRAM216と、AE処理部218と、AF処理部220と、第1の画像処理部222と、第2の画像処理部224と、表示ドライバ226と、表示部228と、メモリインターフェース(I/F)230と、記録媒体232と、マイクロコンピュータ234と、Flashメモリ236と、操作部238とを有する。ここで、カメラ本体200の各ブロックは、例えばハードウェアによって構成されている。しかしながら、必ずしもハードウェアによって構成されている必要はなく、ソフトウェアによって構成されていてもよい。また、カメラ本体200の各ブロックは、単一のハードウェア又はソフトウェアによって構成されていなくてもよく、複数のハードウェア又はソフトウェアによって構成されていてもよい。
シャッタ204は、開閉自在に構成され、撮像素子206への被写体からの光束の入射時間(撮像素子206の露出時間)を調節する。シャッタ204としては、例えばフォーカルプレーンシャッタが採用される。シャッタ204は、マイクロコンピュータ234からの制御信号に基づいて駆動される。
撮像素子206は、撮影レンズ102の光軸上であって、シャッタ204の後方で、かつ、撮影レンズ102によって被写体からの光束が結像される位置に配置されている。撮像素子206は、ベイヤ配列構造のカラーフィルタを有する固体撮像素子である。ベイヤ配列構造は、水平方向にR画素及びGr画素が交互に配列されたラインと、水平方向にB画素及びGb画素が交互に配列されたラインとが垂直方向に交互に配置されるカラーフィルタの配列構造のことを言う。このような撮像素子206は、被写界を撮像して画像信号を生成する。撮像素子ドライバ208は、撮像素子206を駆動する。また、撮像素子ドライバ208は、撮像素子206で生成された画像信号の読み出しを制御する。
アナログ処理部210は、撮像素子206から読み出された画像信号に対して増幅処理等のアナログ処理を行う。A/D変換部212は、アナログ処理部210から出力された画像信号を、デジタル形式の画像データに変換する。
バス214は、A/D変換部212、SDRAM216、AE処理部218、AF処理部220、第1の画像処理部222、第2の画像処理部224、表示ドライバ226、メモリI/F230に接続され、これらのブロックで発生した各種のデータを転送するための転送路として機能する。
SDRAM216は、電気的に書き換えできるメモリであり、A/D変換部212、第1の画像処理部222又は第2の画像処理部224から出力された画像データ、AE処理部218、AF処理部220又はマイクロコンピュータ234における処理データといった各種データを一時的に記憶する。なお、一時記憶用としてDRAMが用いられてもよい。
AE処理部218は、自動露出(AE)処理を行う。具体的には、AE処理部218は、画像データにおける被写体輝度を表すAE評価値に基づいて撮影条件(絞り値及びシャッタ速度値)を設定する。
AF処理部220は、自動ピント調節(AF)処理を行う。具体的には、AF処理部220は、画像データ等から取得される焦点情報に基づいて撮影レンズ102に含まれるフォーカスレンズの駆動を制御する。焦点情報は、例えば画像データから算出されるAF評価値(コントラスト値)である。また、撮像素子206が焦点検出画素を有している構成の場合には、焦点情報は、焦点検出画素の出力から算出されるデフォーカス量であってもよい。
第1の画像処理部222は、AE処理のためのAE評価値、AF処理のためのAF評価値、AWB(オートホワイトバランスモード)におけるホワイトバランスゲイン算出のための情報取得といった、撮影のための基本的な処理を行うために必要となる情報を取得するための画像処理を行う。AE評価値は、例えば所定の画像領域毎の画像データの同色画素の画素値の平均値を算出する又は積算値を算出することによって得られる。AF評価値は、例えばHPF(ハイパスフィルタ)処理によって抽出される画像データの高周波成分の所定の画像領域(AE評価値を算出する画像領域と一致していてもしていなくてもよい)毎の積算値を算出することによって得られる。ホワイトバランスゲイン算出のための情報は、例えば所定の画像領域毎の画像データの同色画素の画素値の平均値を算出する又は積算値を算出することや、撮影レンズ102の分光透過率特性及び撮像素子206の分光感度特性等を用いて得られる。
本実施形態における第1の画像処理部222は、算出部2221を有している。算出部2221は、画像データの所定の画像領域毎に、Gr画素の画素値の平均値又は積算値である第1の値とGb画素の画素値の平均値又は積算値である第2の値とを算出する。算出部2221で算出された第1の値及び第2の値は、後で説明するゴースト判定に用いられる。前述したように、AE評価値やAWBにおけるホワイトバランスゲインの算出においても画素値の平均値又は積算値を算出する処理が行われる。このため、算出部2221は、AE評価値やAWBにおけるホワイトバランスゲインの算出部と兼用されてもよい。勿論、算出部2221は、AE評価値やAWBにおけるホワイトバランスゲインの算出部とは別個に設けられていてもよい。
第2の画像処理部224は、基本画像処理部2241を有する。基本画像処理部2241は、画像の表示や記録のために必要な基本画像処理を画像データに対して施す。この基本画像処理は、例えば、オプティカルブラック(OB)減算処理、ホワイトバランス(WB)補正処理、デモザイク処理、色変換処理、ガンマ変換処理、ノイズ低減処理、拡大縮小処理、圧縮処理を含む。また、第2の画像処理部224の基本画像処理部2241は、さらに、ゴースト対策用の画像処理を行うことができるように構成されていてもよい。ゴースト対策用の画像処理としては、例えばゴーストの発生している画素の画素値をその周辺の同色の画素の画素値を用いて補間する処理が挙げられる。ゴースト対策用の画像処理部は、基本画像処理部2241と別に設けられていてもよい。
表示ドライバ226は、第2の画像処理部224によって処理された画像データに基づく画像を表示部228に表示させるために表示部228を駆動する。表示部228は、例えば液晶ディスプレイや有機ELディスプレイといった表示部であって、例えばカメラ本体200の背面に配置される。表示部228は、表示ドライバ226によって駆動され、各種の画像を表示する。ここで、表示部228は、必ずしもカメラ本体200に設けられている必要はない。表示部228は、例えば、カメラ本体200と通信自在に接続されたTVモニタ等であってもよい。
メモリI/F230は、記録媒体232からバス214へのデータ転送及びバス214から記録媒体232へのデータ転送を仲介する。記録媒体232は、例えばFlashメモリであり、カメラ本体200に内蔵されるか又は装填されるように構成されている。記録媒体232は、第2の画像処理部224によって処理された画像データを所定の形式の画像ファイルとして記録する。
マイクロコンピュータ234は、Flashメモリ236に記憶されているプログラムに従ってカメラ本体200の各ブロックの制御を行う制御部である。マイクロコンピュータ234は、必ずしもマイクロコンピュータとして構成されている必要はなく、ASIC、FPGA等によって構成されていてもよい。
本実施形態におけるマイクロコンピュータ234は、補間演算部2341と、G段差検出部2342としての機能を有している。補間演算部2341は、算出部2221で算出された第1の値が表す重心と第2の値が表す重心とを一致させるように第1の値と第2の値とを用いて補間演算を実施する。G段差検出部2342は、補間演算部2341によって補間された第1の値と第2の値との差分であるG段差を算出することによって、ゴーストの有無を判定する。補間演算部2341及びG段差検出部2342の詳細については後で説明する。
Flashメモリ236は、カメラ本体200の動作に必要なプログラムを記憶している。また、Flashメモリ236は、カメラ本体200の各種の処理に必要な情報を記憶している。この情報は、例えば画像処理のパラメータの情報を含む。
操作部238は、カメラ本体200の電源をオン、オフするための電源ボタン、静止画の撮影指示を行うレリーズボタン、動画記録を開始させるための動画開始ボタン、動画記録を終了させるための動画終了ボタン、撮影、記録された静止画、動画を再生指示する再生ボタン、カメラ本体200の各種設定値、モードの変更、設定の指示を行うメニューボタンといった各種の操作ボタン及び、前記各種操作ボタンの操作と同様の機能を果たすタッチパネル等の各種の操作部材が含まれる。操作部238は、各種の操作部材の操作状態を検知し、検知結果を示す信号をマイクロコンピュータ234に出力する。
次に、本実施形態におけるゴースト判定の基本的な考え方について説明する。本実施形態において、算出部2221は、ゴーストを判定するのに当たり、まず、撮像素子206を介して得られた画像データを第1のパターンで複数の画像領域に分割する。例えば、算出部2221は、図2に示すように画像データを6画素×6画素の画像領域R1の単位に分割する。なお、画像領域R1の大きさは適宜に設定され得るものであって、必ずしも6画素×6画素でなくてよい。また、図2では、画像領域R1の先頭色(左上端の画素の色)はGrであるが、画像領域R1の先頭色はGrでなくてもよい。第1のパターンによる分割の後、算出部2221は、画像領域R1毎にGr画素の画素値の平均値又は積算値(第1の値)及びGb画素の画素値の平均値又は積算値(第2の値)を算出する。
続いて、算出部2221は、画像データを第2のパターンで複数の画像領域に分割する。第2のパターンでは、算出部2221は、画像データを画像領域R1と同じ大きさ及び同じ色配置を有する画像領域であって、画像領域R1とは異なる位置にある画像領域R2の単位に分割する。例えば、算出部2221は、図2に示すように画像データを画像領域R1に対して水平方向及び垂直方向に2画素ずつ右下方向にずれた位置にある画像領域R2の単位に分割する。なお、ずらし量については必ずしも2画素でなくてもよく、4画素、6画素等であってもよい。しかしながら、画像領域R1と画像領域R2との距離が近いほうが、ゴースト判定の際の被写体の構造の影響をより抑制することができる。このため、画像領域R2は、画像領域R1に対して最小の画素数、すなわち2画素ずらされるように分割されることが望ましい。第2のパターンによる分割の後、算出部2221は、画像領域R2毎にGr画素の画素値の平均値又は積算値(第1の値)及びGb画素の画素値の平均値又は積算値(第2の値)を算出する。
画像領域R1についての第1の値は、画像領域R1におけるGr画素の画素値の平均値又は積算値である。したがって、画像領域R1についての第1の値は、画像領域R1におけるGr画素の重心の位置に値を持つと考えることができる。同様に、画像領域R1についての第2の値は、画像領域R1におけるGb画素の重心の位置に値を持つと考えることができ、画像領域R2についての第1の値は、画像領域R2におけるGr画素の重心の位置に値を持つと考えることができ、画像領域R2についての第2の値は、画像領域R2におけるGb画素の重心の位置に値を持つと考えることができる。これらの4つの重心の位置関係は、図3に示すものとなる。図3に示すように、画像領域R1についての第1の値が表す重心Gr1と画像領域R1についての第2の値が表す重心Gb1とはずれている。同様に、画像領域R2についての第1の値が表す重心Gr2と画像領域R2についての第2の値が表す重心Gb2とはずれている。これらの重心のずれにより、第1の値及び第2の値の間には、被写体の構造の影響による差が生じ得る。なお、重心のずれが大きくなるほど、被写体の構造の影響は大きくなる。被写体の構造の影響による差が生じてしまうと、ゴーストの誤判定に繋がる。
そこで、本実施形態では、第1の値が表す重心と第2の値が表す重心とを一致させるように画像領域R1についての第1の値及び第2の値と画像領域R2についての第1の値及び第2の値を用いて補間演算を実施する。具体的には、補間演算部2341は、以下の(式1)の演算を実施する。
Igr=(1×Vgr1+3×Vgr2)/4
Igb=(3×Vgb1+1×Vgb2)/4 (式1)
ここで、Igrは補間演算後の第1の値(第1の補間値)であり、Vgr1は画像領域R1についての第1の値であり、Vgr2は画像領域R2についての第1の値である。また、Igbは補間演算後の第2の値(第2の補間値)であり、Vgb1は画像領域R1についての第2の値であり、Vgb2は画像領域R2についての第2の値である。
Igr=(1×Vgr1+3×Vgr2)/4
Igb=(3×Vgb1+1×Vgb2)/4 (式1)
ここで、Igrは補間演算後の第1の値(第1の補間値)であり、Vgr1は画像領域R1についての第1の値であり、Vgr2は画像領域R2についての第1の値である。また、Igbは補間演算後の第2の値(第2の補間値)であり、Vgb1は画像領域R1についての第2の値であり、Vgb2は画像領域R2についての第2の値である。
図4は、補間演算が実施された後の重心の移動を示した図である。(式1)に示す補間演算によって得られる第1の補間値Igrが表す位置(補間位置)は、図4のIの位置になる。同様に、(式1)に示す補間演算によって得られる第2の補間値Igbが表す位置(補間位置)も、図4のIの位置になる。すなわち、第1の補間値が表す重心と第2の補間値が表す重心は一致する。重心の位置が一致していればGr画素とGb画素とで被写体の構造の影響は同じになる。これにより、正しくゴースト判定を行うことができる。
補間演算部2341による補間演算の実施後、G段差検出部2342は、補間演算により得られた第1の補間値Igrと第2の補間値Igbとの差分(G段差)を算出する。Gr画素とGb画素とに被写体の構造の影響がないとすると、通常、近接しているGr画素の画素値とGb画素の値とはほぼ同じ値になる。したがって、Gr画素の平均値又は積算値である第1の値とGb画素の平均値又は積算値である第2の値との差分であるG段差は小さな値になる。一方、撮像素子206にゴースト光が入射すると、Gr画素の画素値とGb画素の画素値とには大きな差が生じる。したがって、Gr画素の平均値又は積算値である第1の値とGb画素の平均値又は積算値である第2の値との差分であるG段差も大きな値になる。このような関係から、G段差の大きさによってゴーストの有無を判定することができる。
ここで、図2の例では、画像領域R2は、画像領域R1に対して水平方向及び垂直方向に2画素ずつ右下方向にずらされている。これは、第1の値が表す重心Gr1に対して第2の値が表す重心Gb1が右下方向にずれるためである。画像領域R1の先頭色によっては、画像領域R2のずらし方向を変える必要がある。
図5は、画像領域R1の先頭色がRであるときの画像領域R2のずらし方について示した図である。画像領域R1の先頭色がRであるとき、画像領域R1における第1の値が表す重心Gr1に対して第2の値が表す重心Gb1は右上方向にずれる。このため、画像領域R2を画像領域R1に対して右下方向にずらした位置にしてしまうと、重心Gr1、Gb1、Gr2、Gb2は同一直線上に並ばない。この場合、補間演算によって重心を一致させることはできない。画像領域R1の先頭色がRである場合において重心Gr1、Gb1、Gr2、Gb2を同一直線上に並べるようにするためには、例えば、図5に示すように、画像領域R1に対して水平方向及び垂直方向に2画素ずつ右上方向にずらした位置を画像領域R2とすればよい。一般には、画像領域R1の先頭色がGr又はGbのときには、画像領域R2は右下(左上)にずらした位置とすればよく、画像領域R1の先頭色がR又はBのときには、画像領域R2は右上(左下)にずらした位置とすればよい。
図6は、画像領域R1の先頭色がRである場合において画像領域R1に対して水平方向及び垂直方向に2画素ずつ右上方向にずらした位置を画像領域R2としたときの、重心Gr1、重心Gb1、重心Gr2、重心Gb2の位置関係を示す図である。画像領域R1に対して画像領域R2を右上方向にずらすことで、重心Gr1、Gb1、Gr2、Gb2は同一直線上に並ぶ。重心Gr1、Gb1、Gr2、Gb2が図6のような位置関係となるとき、補間演算部2341は、以下の(式2)の演算を実施する。
Igr=(3×Vgr1+1×Vgr2)/4
Igb=(1×Vgb1+3×Vgb2)/4 (式2)
Igr=(3×Vgr1+1×Vgr2)/4
Igb=(1×Vgb1+3×Vgb2)/4 (式2)
図7は、図6において補間演算が実施された後の重心の移動を示した図である。(式2)に示す補間演算によって得られる第1の補間値Igrが表す位置(補間位置)は、図7のIの位置になる。同様に、(式2)に示す補間演算によって得られる第2の補間値Igbが表す位置(補間位置)も、図7のIの位置になる。すなわち、第1の補間値が表す重心と第2の補間値が表す重心は一致する。
以下、本実施形態の撮像装置の動作を説明する。図8A及び図8Bは、カメラシステム1のスチル画像記録時の動作を示すフローチャートである。図8A及び図8Bの動作は、主にマイクロコンピュータ234によって制御される。
図8A及び図8Bの動作は、例えばカメラ本体200がスチル画像記録モードで起動されたときに開始される。ステップS1において、マイクロコンピュータ234は、ライブビュー用の画像を取得するために、撮像素子ドライバ208を介して撮像素子206を所定のフレームレートで駆動する。撮像素子206で得られた画像信号は、アナログ処理部210においてアナログ処理される。アナログ処理部210においてアナログ処理された画像信号は、A/D変換部212においてデジタル信号である画像データに変換される。A/D変換部212において得られた画像データは、第1の画像処理部222を経由してSDRAM216に記憶される。
ステップS2において、マイクロコンピュータ234は、ライブビュー用の画像の取得動作によって得られた画像データに対して基本画像処理を行うように第2の画像処理部224に対して指示する。この指示を受けて、第2の画像処理部224は、基本画像処理部2241により、SDRAM216に記憶された画像データに対する基本画像処理を行う。ここでの基本画像処理は、表示部228への表示に必要な画像処理であって、例えばOB減算処理、WB補正処理、デモザイク処理、色変換処理、ガンマ変換処理、ノイズ低減処理、拡大縮小処理を含む。基本画像処理の後、マイクロコンピュータ234は、表示ドライバ226に対してライブビュー表示を指示する。この指示を受けて、表示ドライバ226は、撮像素子206を介して逐次に得られ、第2の画像処理部224で逐次に処理された画像データを表示部228に入力する。表示部228は、入力された画像データに基づいてライブビューを表示する。
ステップS3において、第1の画像処理部222は、算出部2221により、ライブビュー用の画像の取得動作によって得られた画像データを第1のパターンで分割する。そして、第1の画像処理部222は、算出部2221により、画像領域R1毎に例えばGr画素の画素値の平均値(第1の値)及びGb画素の画素値の平均値(第2の値)を算出する。前述したように、ステップS3においては、第1の値及び第2の値として、Gr画素の画素値の積算値及びGb画素の画素値の積算値が算出されてもよい。また、ステップS3の処理は、ライブビュー画像の取得動作中、すなわちA/D変換部212から第1の画像処理部222に画像データが入力されるときに行われてもよい。
ステップS4において、第1の画像処理部222は、画像領域R1の先頭色がR又はBであるか否かを判定する。ステップS4において、画像領域R1の先頭色がR又はBであると判定されたときに、処理はステップS5に移行する。ステップS4において、画像領域R1の先頭色がR又はBでない、すなわちGr又はGbであると判定されたときに、処理はステップS6に移行する。
ステップS5において、第1の画像処理部222は、第1のパターンに対して水平方向及び垂直方向に2画素ずつ右上方向にずらしたパターンを第2のパターンとする。ステップS6において、第1の画像処理部222は、第1のパターンに対して水平方向及び垂直方向に2画素ずつ右下方向にずらしたパターンを第2のパターンとする。ステップS5又はステップS6の後、処理はステップS7に移行する。
ステップS7において、第1の画像処理部222は、算出部2221により、ライブビュー用の画像の取得動作によって得られた画像データを第2のパターンで分割する。そして、第1の画像処理部222は、算出部2221により、画像領域R2毎に例えばGr画素の画素値の平均値(第1の値)及びGb画素の画素値の平均値(第2の値)を算出する。ステップS3において、Gr画素の画素値の積算値及びGb画素の画素値の積算値が算出されているときには、ステップS7においても、Gr画素の画素値の積算値及びGb画素の画素値の積算値が算出される。
ステップS8において、マイクロコンピュータ234は、補間演算部2341により、対となる画像領域毎に補間演算を実施する。補間演算部2341は、画像領域R1の先頭色がGr又はBであるときには(式1)の演算を実施し、画像領域R1の先頭色がR又はGbであるときには(式2)の演算を実施する。これにより、Gr画素の画素値の平均値が表す重心とGb画素の画素値の平均値が表す重心とが一致する。
ステップS9において、マイクロコンピュータ234は、G段差検出部2342により、補間演算によって得られた第1の補間値Igrと第2の補間値Igbとの差分(G段差)を対となる画像領域毎に算出する。
ステップS10において、マイクロコンピュータ234は、画像領域毎に算出した第1の補間値Igrと第2の補間値Igbとの差分(G段差)の平均値(積算値でもよい)がスレッシュ以上であるか否かを判定する。このスレッシュは、ゴーストの有無を判定するためのスレッシュであって適宜に設定される。ステップS10において、第1の補間値Igrと第2の補間値Igbとの差分の平均値がスレッシュ以上であると判定されたときには、処理はステップS11に移行する。ステップS10において、第1の補間値Igrと第2の補間値Igbとの差分の平均値がスレッシュ以上でないと判定されたときには、処理はステップS12に移行する。
ステップS11において、マイクロコンピュータ234は、現状、ゴーストが発生していると判定し、ゴーストありフラグをセットする。ステップS12において、マイクロコンピュータ234は、現状、ゴーストが発生していないと判定し、ゴーストなしフラグをセットする。ステップS11又はステップS12の後、処理はステップS13に移行する。
ステップS13において、マイクロコンピュータ234は、ユーザによってレリーズボタンが押下されたか否かを判定する。ステップS13において、レリーズボタンが押下されたと判定されたときに、処理はステップS14に移行する。ステップS13において、レリーズボタンが押下されていないと判定されたときに、処理はステップS22に移行する。
ステップS14において、マイクロコンピュータ234は、スチル画像の記録のために、撮像素子ドライバ208を介して撮像素子206を駆動する。スチル画像の記録においては、撮像素子206は、AE処理部218で設定された撮影条件(シャッタ速度値)に応じて駆動される。撮像素子206で得られた画像信号は、アナログ処理部210においてアナログ処理される。アナログ処理部210においてアナログ処理された画像信号は、A/D変換部212においてデジタル信号である画像データに変換される。A/D変換部212において得られた画像データは、第1の画像処理部222を経由してSDRAM216に記憶される。
ステップS15において、マイクロコンピュータ234は、ゴーストありであるか否かを判定する。この判定は、ゴーストありフラグがセットされているか否かによって判定される。ステップS15において、ゴーストありであると判定されたときには、処理はステップS16に移行する。ステップS15において、ゴーストなしであると判定されたときには、処理はステップS19に移行する。
ステップS16において、マイクロコンピュータ234は、現在、取得されたスチル画像にゴーストが発生していることを示す警告を例えば表示部228に表示させる。ステップS16の警告は、例えばメッセージを表示させることで行われる。なお、警告は、必ずしも表示部228に表示させる必要はなく、表示部228とは別の表示部に表示させてもよい。この他、警告は、表示以外の手法で行われてもよい。
ステップS17において、マイクロコンピュータ234は、ゴースト対策用の画像処理を含む基本画像処理を行うように第2の画像処理部224に対して指示する。この指示を受けて、第2の画像処理部224は、基本画像処理部2241により、SDRAM216に記憶された画像データに対してゴースト対策用の画像処理を含む基本画像処理を行う。その後、処理はステップS18に移行する。ステップS17での基本画像処理は、記録媒体232へのスチル画像の記録に必要な画像処理であって、ゴースト対策用の画像処理に加えて、例えば、OB減算処理、WB補正処理、デモザイク処理、色変換処理、ガンマ変換処理、ノイズ低減処理、拡大縮小処理、スチル画像圧縮処理を含む。
ここで、ゴースト対策用の画像処理において、基本画像処理部2241は、G段差の大きさに応じて画像処理パラメータを変えるように構成されていてもよい。すなわち、G段差が大きいほど強いゴーストが発生していると考えることができるので、G段差が大きいほどゴーストの対策効果を大きくするように画像処理パラメータを変えてもよい。
また、ユーザが意図的にゴーストを発生させている可能性もあるので、ステップS17の処理に先立って、ゴースト対策用の画像処理を行うか否かをユーザに選択させる処理が設けられていてもよい。この場合、ゴースト対策用の画像処理を行うことがユーザによって選択されたときに、ステップS17の処理が行われる。また、ステップS17のゴース対策用の画像処理は省略されてもよい。
ステップS18において、マイクロコンピュータ234は、ゴーストありフラグをスチル画像の付随情報であるExif情報に記録する。その後、処理はステップS21に移行する。
ステップS15においてゴーストなしと判定されたときのステップS19において、マイクロコンピュータ234は、ゴースト対策用の画像処理を含まない通常の基本画像処理を行うように第2の画像処理部224に対して指示する。この指示を受けて、第2の画像処理部224は、基本画像処理部2241により、SDRAM216に記憶された画像データに対してゴースト対策用の画像処理を含まない通常の基本画像処理を行う。その後、処理はステップS20に移行する。ステップS19での基本画像処理は、ゴースト対策用の画像処理を除いて、ステップS17で説明したスチル画像の記録のための基本画像処理と同様である。
ステップS20において、マイクロコンピュータ234は、ゴーストなしフラグをスチル画像の付随情報であるExif情報に記録する。その後、処理はステップS21に移行する。
ステップS21において、マイクロコンピュータ234は、画像処理されたスチル画像にExif情報を付与してスチル画像ファイルを生成し、生成したスチル画像ファイルをメモリI/F230を介して記録媒体232に記録する。その後、処理は、ステップS1に戻る。
ステップS13においてレリーズボタンが押下されていないと判定されたときのステップS22において、マイクロコンピュータ234は、ユーザによって電源ボタンが押下されたか否かを判定する。ステップS22において、電源ボタンが押下されたと判定されたときに、マイクロコンピュータ234は、カメラ本体200の電源をオフする。その後、図8A及び図8Bの処理は終了する。ステップS22において、電源ボタンが押下されていないと判定されたときに、処理はステップS1に戻る。
ここで、図8A及び図8Bに示す動作においては、ライブビューの表示時におけるゴースト判定の結果をスチル画像の記録時において利用している。これにより、スチル画像の記録に要する時間を短縮することができる。一方で、スチル画像の記録に要する時間を長くすることができるのであれば、スチル記録用の画像データそのものを使用してゴースト判定が行われてもよい。この場合、ライブビュー表示時におけるゴースト判定を省略するようにしてもよい。
図9A及び図9Bは、カメラシステム1の動画記録時の動作を示すフローチャートである。図9A及び図9Bの動作は、主にマイクロコンピュータ234によって制御される。なお、図9A及び図9Bにおいて、図8A及び図8Bと同様の動作については適宜に説明を省略する。
図9A及び図9Bの動作は、例えばカメラ本体200が動画記録モードで起動されたときに開始される。ステップS101において、マイクロコンピュータ234は、ライブビュー用の画像を取得するために、撮像素子ドライバ208を介して撮像素子206を所定のフレームレートで駆動する。
ステップS102において、マイクロコンピュータ234は、ライブビューを表示するための処理を行う。この処理は、図8AのステップS2の処理と同様である。したがって、説明を省略する。
ステップS103−S112で示す処理(処理群1)は、図8AのステップS3−S12で示す処理と同様である。したがって、説明を省略する。本実施形態では、動画記録モードのライブビューの表示時においてもゴースト判定が行われる。
ゴースト判定が完了した後のステップS113において、マイクロコンピュータ234は、ユーザによって動画開始ボタンが押下されたか否かを判定する。ステップS113において、動画開始ボタンが押下されたと判定されたときに、処理はステップS114に移行する。ステップS113において、動画開始ボタンが押下されていないと判定されたときに、処理はステップS123に移行する。
ステップS114において、マイクロコンピュータ234は、動画フレームの記録のために、撮像素子ドライバ208を介して撮像素子206を駆動する。動画記録においては、撮像素子206は、所定のフレームレートで駆動される。撮像素子206で得られた画像信号は、アナログ処理部210においてアナログ処理される。アナログ処理部210においてアナログ処理された画像信号は、A/D変換部212においてデジタル信号である画像データに変換される。A/D変換部212において得られた画像データは、第1の画像処理部222を経由してSDRAM216に記憶される。
ステップS115において、マイクロコンピュータ234は、直前のゴースト判定でゴーストありであるか否かを判定する。直前のゴースト判定とは、動画開始ボタンの押下直後であればライブビューの表示時に行われるゴースト判定であり、その後は1フレーム前の動画フレームの生成中に行われるゴースト判定である。なお、ステップS115における判定は、ゴーストありフラグがセットされているか否かによって判定される。ステップS115において、直前のゴースト判定でゴーストありであると判定されたときには、処理はステップS116に移行する。ステップS115において、直前のゴースト判定でゴーストなしであると判定されたときには、処理はステップS118に移行する。
ステップS116において、マイクロコンピュータ234は、現在、ゴーストが発生していることを示す警告を例えば表示部228に表示させる。ステップS116の警告は、例えばメッセージを表示させることで行われる。なお、警告は、必ずしも表示部228に表示させる必要はなく、表示部228とは別の表示部に表示させてもよい。この他、警告は、表示以外の手法で行われてもよい。
ステップS117において、マイクロコンピュータ234は、ゴースト対策用の画像処理を含む基本画像処理を行うように第2の画像処理部224に対して指示する。この指示を受けて、第2の画像処理部224は、基本画像処理部2241により、SDRAM216に記憶された画像データに対してゴースト対策用の画像処理を含む基本画像処理を行う。その後、処理はステップS119に移行する。ステップS117での基本画像処理は、記録媒体232への動画の記録に必要な画像処理であって、ゴースト対策用の画像処理に加えて、例えば、OB減算処理、WB補正処理、デモザイク処理、色変換処理、ガンマ変換処理、ノイズ低減処理、拡大縮小処理、動画圧縮処理を含む。
ここで、ゴースト対策用の画像処理において、基本画像処理部2241は、G段差の大きさに応じて画像処理パラメータを変えるように構成されていてもよい。すなわち、G段差が大きいほど強いゴーストが発生していると考えることができるので、G段差が大きいほどゴーストの対策効果を大きくするように画像処理パラメータを変えてもよい。
また、ユーザが意図的にゴーストを発生させている可能性もあるので、ステップS117の処理に先立って、ゴースト対策用の画像処理を行うか否かをユーザに選択させる処理が設けられていてもよい。この場合、ゴースト対策用の画像処理を行うことがユーザによって選択されたときに、ステップS117の処理が行われる。また、ステップS117のゴースト対策用の画像処理は省略されてもよい。
ステップS115においてゴーストなしと判定されたときのステップS118において、マイクロコンピュータ234は、ゴースト対策用の画像処理を含まない通常の基本画像処理を行うように第2の画像処理部224に対して指示する。この指示を受けて、第2の画像処理部224は、基本画像処理部2241により、SDRAM216に記憶された画像データに対してゴースト対策用の画像処理を含まない通常の基本画像処理を行う。その後、処理はステップS119に移行する。ステップS118での基本画像処理は、ゴースト対策用の画像処理を除いて、ステップS117で説明した動画の記録のための基本画像処理と同様である。
ステップS119において、マイクロコンピュータ234は、処理群1で示したゴースト判定を実施する。すなわち、動画記録モードでは、動画の記録中においてもゴースト判定が実施される。これにより、動画の記録中であってもゴーストの有無の情報を更新することができる。
ステップS120において、マイクロコンピュータ234は、基本画像処理によって得られた動画フレームを例えばSDRAM216に記憶させる。
ステップS121において、マイクロコンピュータ234は、ユーザによって動画終了ボタンが押下されたか否かを判定する。ステップS121において、動画終了ボタンが押下されていないと判定されたときに、処理はステップS114に戻る。この場合、次の動画フレームを生成するための処理が行われる。ステップS121において、動画終了ボタンが押下されたと判定されたときに、処理はステップS122に移行する。
ステップS122において、マイクロコンピュータ234は、SDRAM216に記憶させた動画フレームから動画ファイルを生成する。そして、マイクロコンピュータ234は、生成した動画ファイルのヘッダにゴーストありフラグ又はゴーストなしフラグを記録する。ゴーストありフラグ又はゴーストなしフラグは、例えば動画フレームのフレーム番号と対応付けて記録される。動画ファイルの生成後、マイクロコンピュータ234は、生成した動画ファイルをメモリI/F230を介して記録媒体232に記録する。その後、処理は、ステップS101に戻る。
ステップS113において動画開始ボタンが押下されていないと判定されたときのステップS123おいて、マイクロコンピュータ234は、ユーザによって電源ボタンが押下されたか否かを判定する。ステップS123において、電源ボタンが押下されたと判定されたときに、マイクロコンピュータ234は、カメラ本体200の電源をオフする。その後、図9A及び図9Bの処理は終了する。ステップS123において、電源ボタンが押下されていないと判定されたときに、処理はステップS101に戻る。
ここで、図9A及び図9Bに示す動作においては、ライブビューの表示時におけるゴースト判定の結果を動画開始ボタンの押下直後において利用している。これにより、動画の記録に要する時間を短縮することができる。一方で、動画フレームの記録に要する時間を長くすることができるのであれば、すべての動画フレームの生成時において記録用の画像データそのものを使用してゴースト判定が行われてもよい。この場合、ライブビュー表示時におけるゴースト判定を省略するようにしてもよい。
以上説明したように本実施形態では、ゴースト判定の際に、画像データを第1のパターンと第1のパターンとは異なる第2のパターンとで画像領域の単位に分割し、それぞれのパターンで分割した画像領域毎にGr画素の画素値の平均値又は積算値である第1の値及びGb画素の画素値の平均値又は積算値である第2の値が算出される。そして、第1の値が表す重心と第2の値が表す重心とを一致させるように補間演算が実施される。これにより、第1の値及び第2の値に対する被写体の構造の影響を抑制することができる。このため、ゴースト判定を精度よく行うことができる。
また、本実施形態では、第1のパターンでの分割による画像領域の先頭色に応じて第2のパターンを設定している。これにより、第1のパターンの設定に応じた適切な補間演算を実施することができる。
[変形例1]
以下、本実施形態の変形例を説明する。前述した実施形態では、算出部は、A/D変換部212からの画像データを処理する第1の画像処理部222に設けられている。しかしながら、算出部は、例えば第2の画像処理部224に設けられていてもよいし、第1の画像処理部222及び第2の画像処理部224とは別個に設けられていてもよい。また、マイクロコンピュータ234によって算出部と同様の機能が実現されてもよい。
以下、本実施形態の変形例を説明する。前述した実施形態では、算出部は、A/D変換部212からの画像データを処理する第1の画像処理部222に設けられている。しかしながら、算出部は、例えば第2の画像処理部224に設けられていてもよいし、第1の画像処理部222及び第2の画像処理部224とは別個に設けられていてもよい。また、マイクロコンピュータ234によって算出部と同様の機能が実現されてもよい。
また、前述した実施形態では、補間演算部及びG段差検出部は、マイクロコンピュータ234において実行される機能であるとしている。しかしながら、補間演算部及びG段差検出部は、マイクロコンピュータ234とは別個に設けられていてもよい。例えば、補間演算部及びG段差検出部は、第1の画像処理部222又は第2の画像処理部224に設けられていてもよいし、第1の画像処理部222及び第2の画像処理部224とは別個に設けられていてもよい。
[変形例2]
前述した実施形態では、2つの画像領域R1、R2についての第1の値及び第2の値から補間演算を実施している。この場合、画像領域R1の先頭色に応じて画像領域R2のずらし方向を変える必要が生じる。変形例2は、異なる4つのパターンで分割した4つの画像領域を利用することで画像領域のずらし方向の判定を不要とした例である。
前述した実施形態では、2つの画像領域R1、R2についての第1の値及び第2の値から補間演算を実施している。この場合、画像領域R1の先頭色に応じて画像領域R2のずらし方向を変える必要が生じる。変形例2は、異なる4つのパターンで分割した4つの画像領域を利用することで画像領域のずらし方向の判定を不要とした例である。
図10A及び図10Bは、4つのパターンで分割するときの4つの画像領域の位置関係を示した図である。ここで、図10Aで示す画素と図10Bで示す画素とは同一の位置にあるものとする。図10A及び図10Bに示すように、画像領域R1に対し、画像領域R2は右方向に2画素ずれており、画像領域R3が下方向に2画素ずれており、画像領域R4は右下方向に2画素ずつずれている。このようにして画像領域の単位での分割が行われるように、4つの異なるパターンでの分割が行われる。ここで、図10A及び図10Bの分割の場合には画像領域R1の先頭色によって、画像領域R2、R3、R4についての分割のパターンを変える必要はない。また、2つの画像領域の場合と同様に、画像領域R1に対する他の画像領域のずらし量については、2画素でなくてもよい。
図11は、4つの画像領域で得られる第1の値及び第2の値が表す8つの重心の位置関係を示した図である。ここで、重心Gr1は、画像領域R1について算出された第1の値が表す重心であり、重心Gb1は、画像領域R1について算出された第2の値が表す重心である。同様に、重心Gr2は、画像領域R2について算出された第1の値が表す重心であり、重心Gb2は、画像領域R2について算出された第2の値が表す重心である。また、重心Gr3は、画像領域R3について算出された第1の値が表す重心であり、重心Gb3は、画像領域R3について算出された第2の値が表す重心である。また、重心Gr4は、画像領域R4について算出された第1の値が表す重心であり、重心Gb4は、画像領域R4について算出された第2の値が表す重心である。重心Gr1、Gb1、Gr2、Gb2、Gr3、Gb3、Gr4、Gb4が図11のような位置関係となるとき、補間演算部2341は、以下の(式3)の演算を実施する。
Igr=(3×Vgr1+1×Vgr2+9×Vgr3+3×Vgr4)/16
Igb=(3×Vgb1+9×Vgb2+1×Vgb3+3×Vgb4)/16
(式3)
ここで、Igrは補間演算後の第1の値(第1の補間値)であり、Vgr1は画像領域R1についての第1の値であり、Vgr2は画像領域R2についての第1の値であり、Vgr3は画像領域R3についての第1の値であり、Vgr4は画像領域R4についての第1の値である。また、Igbは補間演算後の第2の値(第2の補間値)であり、Vgb1は画像領域R1についての第2の値であり、Vgb2は画像領域R2についての第2の値であり、Vgb3は画像領域R3についての第2の値であり、Vgb4は画像領域R4についての第2の値である。
Igr=(3×Vgr1+1×Vgr2+9×Vgr3+3×Vgr4)/16
Igb=(3×Vgb1+9×Vgb2+1×Vgb3+3×Vgb4)/16
(式3)
ここで、Igrは補間演算後の第1の値(第1の補間値)であり、Vgr1は画像領域R1についての第1の値であり、Vgr2は画像領域R2についての第1の値であり、Vgr3は画像領域R3についての第1の値であり、Vgr4は画像領域R4についての第1の値である。また、Igbは補間演算後の第2の値(第2の補間値)であり、Vgb1は画像領域R1についての第2の値であり、Vgb2は画像領域R2についての第2の値であり、Vgb3は画像領域R3についての第2の値であり、Vgb4は画像領域R4についての第2の値である。
図12は、図11において補間演算が実施された後の重心の移動を示した図である。(式3)に示す補間演算によって得られる第1の補間値Igrが表す位置(補間位置)は、図12のIの位置になる。同様に、(式3)に示す補間演算によって得られる第2の補間値Igbが表す位置(補間位置)も、図12のIの位置になる。すなわち、第1の補間値が表す重心と第2の補間値が表す重心は一致する。
以上説明した変形例2によれば、1つの画像領域の先頭色によって他の画像領域についての分割のパターンを変更する必要はない。
[変形例3]
近年の撮像素子は、位相差検出画素を有していることがある。位相差検出画素は、位相差を検出することができるように、例えば一部の領域が遮光された画素である。位相差検出画素の配置の仕方は、画面内のどの位置の焦点状態を検出するかによって変わる。例えば、図13Aは、一部のGr画素及びGb画素の位置に位相差検出画素AFを配置した撮像素子の例である。図13Bは、一部の画素行に位相差検出画素AFを配置した撮像素子の例である。
近年の撮像素子は、位相差検出画素を有していることがある。位相差検出画素は、位相差を検出することができるように、例えば一部の領域が遮光された画素である。位相差検出画素の配置の仕方は、画面内のどの位置の焦点状態を検出するかによって変わる。例えば、図13Aは、一部のGr画素及びGb画素の位置に位相差検出画素AFを配置した撮像素子の例である。図13Bは、一部の画素行に位相差検出画素AFを配置した撮像素子の例である。
ここで、位相差検出画素と位相差検出画素ではない通常の画素とでは、同じ量の光の入射に対して異なる画像信号を出力する。このため、位相差検出画素がゴースト判定に用いられてしまうと、位相差検出画素と通常の画素との画像信号の差がG段差として現れてしまう。このようなG段差によってゴースト判定が行われると、誤判断のもとになる。
したがって、変形例3では、画像領域内のGr画素又はGb画素の位置に位相差検出画素が配置されている場合には、その位相差検出画素の画素値が除かれて第1の値又は第2の値が算出される。これにより、ゴースト判定の精度をより高めることができる。
なお、変形例3では、通常の画素とは異なる画素の例として位相差検出画素を例示したが、変形例3の技術は、通常の画素とは異なる画素信号を出力する各種の構造の画素に対して適用され得る。
[その他の変形例]
前述した実施形態では、撮像装置の適用例としてデジタルカメラ等のカメラシステムを例示している。これに対し、本実施形態の技術は、ベイヤ配列構造の固体撮像素子を有する各種の撮像装置に対して適用することができる。例えば、本実施形態の技術は、内視鏡、顕微鏡、監視カメラ等の各種の撮像装置に対しても適用することができる。さらに、本実施形態におけるゴースト判定は、画像データがベイヤ配列構造の固体撮像素子を介して得られたものであれば実施され得る。このため、本実施形態の技術は、撮像素子を有しておらず、ベイヤ配列構造の固体撮像素子を介して得られた画像データが入力される画像処理装置に対しても適用することができる。
前述した実施形態では、撮像装置の適用例としてデジタルカメラ等のカメラシステムを例示している。これに対し、本実施形態の技術は、ベイヤ配列構造の固体撮像素子を有する各種の撮像装置に対して適用することができる。例えば、本実施形態の技術は、内視鏡、顕微鏡、監視カメラ等の各種の撮像装置に対しても適用することができる。さらに、本実施形態におけるゴースト判定は、画像データがベイヤ配列構造の固体撮像素子を介して得られたものであれば実施され得る。このため、本実施形態の技術は、撮像素子を有しておらず、ベイヤ配列構造の固体撮像素子を介して得られた画像データが入力される画像処理装置に対しても適用することができる。
また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
また、前述した実施形態による各処理は、マイクロコンピュータ234に実行させることができる画像処理プログラムとして記憶させておくこともできる。この他、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、マイクロコンピュータ234は、この外部記憶装置の記憶媒体に記憶された画像処理プログラムを読み込み、この読み込んだ画像処理プログラムによって動作が制御されることにより、前述した処理を実行することができる。
1 カメラシステム、100 交換式レンズ、102 撮影レンズ、104 絞り、106 ドライバ、108 レンズマイクロコンピュータ、110 Flashメモリ、200 カメラ本体、202 インターフェイス(I/F)、204 シャッタ、206 撮像素子、208 撮像素子ドライバ、210 アナログ処理部、212 アナログデジタル(A/D)変換部、214 バス、216 SDRAM、218 AE処理部、220 AF処理部、222 第1の画像処理部、224 第2の画像処理部、226 表示ドライバ、228 表示部、230 メモリインターフェース(I/F)、232 記録媒体、234 マイクロコンピュータ、236 Flashメモリ、238 操作部、2221 算出部、2241 基本画像処理部、2341 補間演算部、2342 G段差検出部。
Claims (8)
- 水平方向にR画素及びGr画素が交互に配列されたラインと、水平方向にB画素及びGb画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を有する撮像装置であって、
前記固体撮像素子から出力される画像データの所定の画像領域毎に、前記Gr画素の画素値の平均値又は積算値である第1の値と前記Gb画素の画素値の平均値又は積算値である第2の値とを算出する算出部と、
複数の前記画像領域について前記算出部で算出された複数の前記第1の値のそれぞれが表す第1の重心と複数の前記第2の値のそれぞれが表す第2の重心とを一致させるように、複数の前記1の値及び複数の前記第2の値を用いて補間演算を実施する補間演算部と、
前記補間演算部により補間された前記第1の値と前記第2の値との差分を求めるG段差検出部と、
を具備する撮像装置。 - 前記算出部は、水平方向及び垂直方向に2画素ずつずれた位置関係にある2つの前記画像領域について2つの前記第1の値及び2つの前記第2の値を算出する、
請求項1に記載の撮像装置。 - 前記算出部は、2つの前記画像領域のうちの1つの前記画像領域の先頭色に従ってもう1つの前記画像領域のずらし方向を決める、
請求項2に記載の撮像装置。 - 前記算出部は、4つの前記画像領域について4つの前記第1の値及び4つの前記第2の値を算出し、
4つの前記画像領域のうちの1つ目の前記画像領域に対し、2つ目の前記画像領域は水平方向に2画素ずれており、3つ目の前記画像領域は垂直方向に2画素ずれており、4つ目の前記画像領域は水平方向及び垂直方向に2画素ずつずれている、
請求項1に記載の撮像装置。 - 前記算出部は、前記画像領域内の前記Gr画素の位置に通常のGr画素と異なる画素がある場合又は前記Gb画素の位置に通常のGb画素と異なる画素がある場合に、前記異なる画素を除外して前記第1の値及び前記第2の値を算出する、
請求項1に記載の撮像装置。 - 水平方向にR画素及びGr画素が交互に配列されたラインと、水平方向にB画素及びGb画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を介して得られた画像データの所定の画像領域毎に、前記Gr画素の画素値の平均値又は積算値である第1の値と前記Gb画素の画素値の平均値又は積算値である第2の値とを算出する算出部と、
複数の前記画像領域について前記算出部で算出された複数の前記第1の値のそれぞれが表す第1の重心と複数の前記第2の値のそれぞれが表す第2の重心とを一致させるように、複数の前記1の値及び複数の前記第2の値を用いて補間演算を実施する補間演算部と、
前記補間演算部により補間された前記第1の値と前記第2の値との差分を求めるG段差検出部と、
を具備する画像処理装置。 - 水平方向にR画素及びGr画素が交互に配列されたラインと、水平方向にB画素及びGb画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を介して得られた画像データの所定の画像領域毎に、前記Gr画素の画素値の平均値又は積算値である第1の値と前記Gb画素の画素値の平均値又は積算値である第2の値とを算出することと、
複数の前記画像領域について算出された複数の前記第1の値のそれぞれが表す第1の重心と複数の前記第2の値のそれぞれが表す第2の重心とを一致させるように、複数の前記1の値及び複数の前記第2の値を用いて補間演算を実施することと、
前記補間演算により補間された前記第1の値と前記第2の値との差分を求めることと、
を具備する画像処理方法。 - 水平方向にR画素及びGr画素が交互に配列されたラインと、水平方向にB画素及びGb画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を介して得られた画像データの所定の画像領域毎に、前記Gr画素の画素値の平均値又は積算値である第1の値と前記Gb画素の画素値の平均値又は積算値である第2の値とを算出することと、
複数の前記画像領域について算出された複数の前記第1の値のそれぞれが表す第1の重心と複数の前記第2の値のそれぞれが表す第2の重心とを一致させるように、複数の前記1の値及び複数の前記第2の値を用いて補間演算を実施することと、
前記補間演算により補間された前記第1の値と前記第2の値との差分を求めることと、
をコンピュータに実行させるための画像処理プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017044852A JP2018148526A (ja) | 2017-03-09 | 2017-03-09 | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム |
PCT/JP2018/002751 WO2018163659A1 (ja) | 2017-03-09 | 2018-01-29 | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラムを記録した記録媒体 |
US16/459,587 US11102427B2 (en) | 2017-03-09 | 2019-07-01 | Imaging apparatus, image processing apparatus, image processing method, and recording medium that records image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017044852A JP2018148526A (ja) | 2017-03-09 | 2017-03-09 | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018148526A true JP2018148526A (ja) | 2018-09-20 |
Family
ID=63448742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017044852A Pending JP2018148526A (ja) | 2017-03-09 | 2017-03-09 | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11102427B2 (ja) |
JP (1) | JP2018148526A (ja) |
WO (1) | WO2018163659A1 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7412092B2 (en) * | 2003-10-31 | 2008-08-12 | Sony Corporation | Image processing apparatus, image processing method, and program |
JP5053654B2 (ja) * | 2007-02-09 | 2012-10-17 | オリンパスイメージング株式会社 | 画像処理装置およびその方法と電子カメラ |
JP5241823B2 (ja) * | 2009-07-21 | 2013-07-17 | キヤノン株式会社 | 色収差を補正する画像処理装置、画像処理方法、プログラム、および、記憶媒体 |
JP5523213B2 (ja) * | 2010-06-22 | 2014-06-18 | オリンパスイメージング株式会社 | 撮像装置および撮像方法 |
CN104995912B (zh) | 2013-03-05 | 2017-03-08 | 富士胶片株式会社 | 摄像装置、图像处理装置及图像处理方法 |
-
2017
- 2017-03-09 JP JP2017044852A patent/JP2018148526A/ja active Pending
-
2018
- 2018-01-29 WO PCT/JP2018/002751 patent/WO2018163659A1/ja active Application Filing
-
2019
- 2019-07-01 US US16/459,587 patent/US11102427B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2018163659A1 (ja) | 2018-09-13 |
US20190327429A1 (en) | 2019-10-24 |
US11102427B2 (en) | 2021-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101847392B1 (ko) | 화상처리장치 및 그 제어 방법 | |
JP6518452B2 (ja) | 撮像装置及び撮像方法 | |
WO2015190156A1 (ja) | 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム | |
JP2010050521A (ja) | 撮像装置 | |
JP6137316B2 (ja) | 深さ位置検出装置、撮像素子、及び深さ位置検出方法 | |
US11570361B2 (en) | Lens unit, imaging device, control methods thereof, and storage medium | |
US9307168B2 (en) | Image capture apparatus and method for controlling image capture apparatus in which defective pixels are indicated | |
JP5769773B2 (ja) | カメラシステム及び焦点検出画素の補正方法 | |
JP2012009919A (ja) | 撮像装置および撮像方法 | |
JP6932531B2 (ja) | 像ブレ補正装置、撮像装置および撮像装置の制御方法 | |
US20160212364A1 (en) | Imaging apparatus and image processing method | |
JP6600458B2 (ja) | 撮像素子、焦点検出装置及び焦点検出方法 | |
JP2017138434A (ja) | 撮像装置 | |
JP2012142729A (ja) | カメラ | |
WO2018163659A1 (ja) | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラムを記録した記録媒体 | |
JP5882785B2 (ja) | 撮像装置 | |
JP2015176114A (ja) | 撮像装置および撮像装置の制御方法 | |
JP2014131188A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2014165785A (ja) | 撮像装置およびその制御方法、カメラシステム、プログラム、記憶媒体 | |
US11202015B2 (en) | Control apparatus and control method | |
JP6257316B2 (ja) | 撮像装置およびその制御方法 | |
US11496665B2 (en) | Image capturing apparatus and control method thereof | |
JP6479149B2 (ja) | 撮像装置、撮像装置の制御方法、および画像処理装置 | |
WO2015182021A1 (ja) | 撮像制御装置、撮像装置および撮像制御方法 | |
JP2014056088A (ja) | 撮像装置 |