JP2009232348A - Imaging apparatus, distance information acquiring method, image processing method, and drive control method of optical system - Google Patents
Imaging apparatus, distance information acquiring method, image processing method, and drive control method of optical system Download PDFInfo
- Publication number
- JP2009232348A JP2009232348A JP2008077504A JP2008077504A JP2009232348A JP 2009232348 A JP2009232348 A JP 2009232348A JP 2008077504 A JP2008077504 A JP 2008077504A JP 2008077504 A JP2008077504 A JP 2008077504A JP 2009232348 A JP2009232348 A JP 2009232348A
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- distance information
- processing
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
Description
本発明は、測定された被写体までの距離を画像取得時に反映させる撮像装置、距離情報取得方法、画像処理方法及び光学系の駆動制御方法に関する。 The present invention relates to an imaging apparatus that reflects a measured distance to a subject at the time of image acquisition, a distance information acquisition method, an image processing method, and an optical system drive control method.
デジタルカメラ等の撮像装置において撮影を行う際の焦点調節としては、撮像装置内に取り込まれた画像信号から画像の鮮鋭度を示す焦点評価値を算出し、この焦点評価値が最大となるように焦点調節用のレンズ(所謂、フォーカスレンズ)を移動させることが一般的である。また、この他に、CCDやCMOSなどの撮像素子の撮像面上に距離計測用のセンサを離散的に配置し、これら距離計測用のセンサからの出力値に基づいて、フォーカスレンズを移動させ焦点調節を行うことも一般的に行われている。 As focus adjustment at the time of shooting in an imaging apparatus such as a digital camera, a focus evaluation value indicating the sharpness of the image is calculated from an image signal captured in the imaging apparatus, and the focus evaluation value is maximized. It is common to move a focus adjustment lens (so-called focus lens). In addition to this, distance measurement sensors are discretely arranged on the image pickup surface of an image sensor such as a CCD or CMOS, and the focus lens is moved based on the output value from these distance measurement sensors. Adjustments are also generally made.
このような撮像装置において画像内の距離情報を取得する方法としては、画像内における主要被写体が占めるサイズ(ピクセル数)から距離を判別する方法や、異なる絞り状態となる複数の光学系を利用した撮影を同時に行い、取得された画像における各画素のコントラスト比を比較した結果に基づいてボケ具合を検出し、画像内における距離情報を得る方法が提案されている(特許文献1参照)。
しかしながら、上述した特許文献1においては、撮影された画像の距離に応じたボケ具合を検出できるものの、絞り値の異なる画像を同時に撮像するための撮像光学系が複数必要となる。仮に、単一の一眼光学系の撮像装置において、絞り値を変えながら高速連写撮影を行うことができたとしても、被写体の位置が変わらない程度の高度な高速連写撮影を行う必要があり、また、このような高速連写撮影を行うための特殊な撮像機能を撮像装置に搭載する必要がある。このため、単一の一眼光学系の撮像装置で取得される1つの画像からは、画像内の距離情報を取得することが難しいのが現状である。
However, although the above-described
本発明は、上述した課題を解決するために発明されたものであり、高速連写撮影等の特殊な撮影をしなくとも、単一の画像から画像内の距離情報を精度良く取得することができるようにした撮像装置、距離情報取得方法、画像処理方法及び光学系の駆動制御方法を提供することを目的とする。 The present invention has been invented to solve the above-described problem, and can accurately acquire distance information in an image from a single image without performing special shooting such as high-speed continuous shooting. An object of the present invention is to provide an imaging apparatus, a distance information acquisition method, an image processing method, and an optical system drive control method that can be performed.
第1の発明の撮像装置は、単一の画像に対して、度合いの異なる平滑化処理を施した処理済み画像を複数生成する画像生成手段と、前記単一の画像と前記処理済み画像との差分を算出し、差分が生じる領域を抽出する領域抽出手段と、前記平滑化処理時の処理情報及び前記単一の画像を撮像したときの撮像情報を用いて、前記領域抽出手段によって抽出された領域における距離情報を取得する距離情報取得手段と、を備えたことを特徴とする。 An imaging apparatus according to a first aspect of the present invention includes an image generation unit that generates a plurality of processed images obtained by performing smoothing processing with different degrees on a single image, and the single image and the processed image. A region extraction unit that calculates a difference and extracts a region where the difference is generated, and processing information at the time of the smoothing process and imaging information when the single image is captured are extracted by the region extraction unit. Distance information acquisition means for acquiring distance information in the area.
第2の発明は、第1の発明において、前記画像生成手段は、前記単一の画像を複数分割することで得られる評価領域毎に前記平滑化処理を施し、前記領域抽出手段は、前記平滑化処理前の評価領域と該平滑化処理後の評価領域との差分を評価領域毎に算出することで、前記差分が生じる領域を抽出することを特徴とする。 In a second aspect based on the first aspect, the image generating means performs the smoothing process for each evaluation area obtained by dividing the single image into a plurality of parts, and the area extracting means By calculating the difference between the evaluation area before the smoothing process and the evaluation area after the smoothing process for each evaluation area, an area where the difference occurs is extracted.
第3の発明は、第1又は第2の発明において、前記単一の画像に対してフィルタ処理を実行するフィルタ処理手段を、さらに備え、前記フィルタ処理手段は、前記距離情報に基づいたフィルタ処理を、対応する領域毎に実行することを特徴とする。 According to a third invention, in the first or second invention, the image processing apparatus further comprises filter processing means for executing filter processing on the single image, and the filter processing means is configured to perform filter processing based on the distance information. Is executed for each corresponding region.
第4の発明は、第1又は第2の発明において、被写体光を取り込む撮像光学系と、前記撮像光学系を、該撮像光学系の光軸方向に沿って駆動制御する駆動制御手段と、を備え、前記駆動制御手段は、前記距離情報に基づいて前記撮像光学系の駆動制御を行うことを特徴とする。 According to a fourth invention, in the first or second invention, an imaging optical system that captures subject light, and a drive control unit that drives and controls the imaging optical system along an optical axis direction of the imaging optical system. The drive control means performs drive control of the imaging optical system based on the distance information.
第5の発明の距離情報取得方法は、単一の画像に対して度合いの異なる平滑化処理を施した処理済み画像を複数生成する画像生成工程と、前記単一の画像と前記処理済み画像との差分を算出し、差分が生じる領域を抽出する領域抽出工程と、前記平滑化処理時の処理情報及び前記単一の画像を撮像したときの撮像情報を用いて、前記領域抽出工程によって抽出された領域における距離情報を取得する距離情報取得工程と、を備えたことを特徴とする。 A distance information acquisition method according to a fifth aspect of the present invention includes an image generation step of generating a plurality of processed images obtained by performing smoothing processing with different degrees on a single image, the single image, and the processed image. Are extracted by the region extraction step using the region extraction step for extracting the region where the difference occurs and the processing information at the time of the smoothing process and the imaging information when the single image is captured. A distance information acquisition step of acquiring distance information in the area.
第6の発明は、第5の発明において、前記画像生成工程は、前記単一の画像を複数分割することで得られる評価領域毎に前記周波数処理を施し、前記領域抽出工程は、前記平滑化処理前の評価領域と該平滑化処理後の評価領域との差分を評価領域毎に算出することで、前記差分が生じる領域を抽出することを特徴とする。 In a sixth aspect based on the fifth aspect, the image generation step performs the frequency processing for each evaluation region obtained by dividing the single image into a plurality of segments, and the region extraction step includes the smoothing A difference between the evaluation area before the process and the evaluation area after the smoothing process is calculated for each evaluation area, thereby extracting an area where the difference occurs.
第7の発明の画像処理方法は、第5又は第6の発明の距離情報取得方法により取得された距離情報に基づいて、抽出された領域毎に異なるフィルタ処理を実行することを特徴とする。 An image processing method according to a seventh aspect is characterized in that different filtering processes are executed for each extracted region based on the distance information acquired by the distance information acquisition method according to the fifth or sixth aspect.
第8の発明の光学系の駆動制御方法は、第5又は第6の発明の距離情報取得方法により取得された距離情報に基づいて、被写体光を取り込む撮像光学系を駆動制御することを特徴とする。 An optical system drive control method according to an eighth aspect of the invention is characterized in that the imaging optical system that captures subject light is driven and controlled based on the distance information acquired by the distance information acquisition method of the fifth or sixth invention. To do.
本発明によれば、単一の画像と撮像情報とを用いるだけで、容易に画像内の距離情報を取得することができる。また、取得された画像内の距離情報を用いることで、撮像時の撮像光学系の調整を高精度に調整することができる。また、距離情報に併せた画像処理を行うことで、距離情報に基づいた自然な画像を取得することができる。 According to the present invention, it is possible to easily acquire distance information in an image only by using a single image and imaging information. Further, by using the distance information in the acquired image, the adjustment of the imaging optical system at the time of imaging can be adjusted with high accuracy. Moreover, a natural image based on the distance information can be acquired by performing image processing combined with the distance information.
図1は、本発明を用いたデジタルカメラの電気的構成を示す機能ブロック図である。 FIG. 1 is a functional block diagram showing an electrical configuration of a digital camera using the present invention.
図1は、デジタルカメラ10の一例を示す機能ブロック図である。デジタルカメラ10は、周知のように、撮像光学系15を透過した被写体光を撮像素子16によって光電変換し、光電変換後の電気信号を画像データとして取得する。
FIG. 1 is a functional block diagram illustrating an example of a
撮像光学系15は、撮像レンズ20と、ズームレンズやフォーカスレンズなどを含むレンズ群21とを備えている。なお、レンズ群21は複数のレンズから構成されるが、図1においては、1枚のレンズとしている。レンズ群21に含まれるズームレンズは、選択された撮像倍率となるように光軸Lに沿って移動する。また、フォーカスレンズは被写体画像の焦点調節の際に光軸Lに沿って微小移動する。なお、このレンズ群21は、レンズ駆動機構22によって駆動制御される。
The imaging
撮像素子16は、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal−Oxide Semiconductor)などが用いられ、受光した光量に応じた信号電荷を蓄積し、蓄積した信号電荷をAFE(Analog Front End)回路30に出力する。この撮像素子16の駆動制御はドライバ31によって駆動制御される。なお、撮像素子16によって蓄積された信号電荷を、以下では、アナログ画像信号と称して説明する。
For example, a CCD (Charge Coupled Device), a CMOS (Complementary Metal-Oxide Semiconductor), or the like is used as the imaging device 16, and the signal charge corresponding to the amount of received light is accumulated, and the accumulated signal charge is AFE (Analog Front End). Output to 30. The drive control of the image sensor 16 is controlled by a
このAFE回路30は、図示しないAGC回路やCDS回路を含んで構成される。AFE回路30は、入力されたアナログ画像信号に対してゲインコントロール、雑音除去などのアナログ処理を施す。 The AFE circuit 30 includes an AGC circuit and a CDS circuit (not shown). The AFE circuit 30 performs analog processing such as gain control and noise removal on the input analog image signal.
DFE(Digital Front End)回路32は、AFE回路30によってアナログ処理が施されたアナログ画像信号をデジタル画像信号に変換する。変換されたデジタル画像信号は1コマ毎にまとめられ、デジタル画像データ(以下、画像データと称する)としてバッファメモリ33に記憶される。なお、AFE回路30、ドライバ31及びDFE回路32は、それぞれタイミングジェネレータ(TG)34における作動タイミングに基づいて制御される。また、符号35はバスであり、このバス35を介してデジタルカメラ10の各部が電気的に接続される。
A DFE (Digital Front End)
画像処理部40は、バッファメモリ33に記憶された画像データに対して、輪郭補償、ガンマ補正、ホワイトバランス補正などの画像処理を施す。画像処理部40はフィルタ処理部41を備えており、上述した画像処理の際に、フィルタ処理部41におけるフィルタ処理も実施される。なお、このフィルタ処理41は、画像データに付帯された距離情報に基づいて実行される。
The
これら画像処理が施された画像データは例えばJPEG方式などの記憶方式に圧縮するためのフォーマット処理が施された後、再度バッファメモリ33に記憶される。その後、バッファメモリ33に記憶された画像データは、所定の圧縮方式に対応する圧縮率を用いて圧縮処理される。例えばデジタルカメラ10に設けられたLCD42にスルー画像を表示する場合には、画像処理後の画像データに対して、LCD42の解像度に合わせた圧縮率を用いて圧縮処理を実行し、表示制御部43に出力する。
The image data subjected to the image processing is subjected to format processing for compression into a storage method such as a JPEG method, and then stored in the buffer memory 33 again. Thereafter, the image data stored in the buffer memory 33 is compressed using a compression rate corresponding to a predetermined compression method. For example, when a through image is displayed on the
一方、画像データを記憶する場合には、上述した記憶方式に対応した圧縮率を用いて圧縮処理が施された後、内蔵メモリ45に記憶される。この内蔵メモリ45に格納された画像データは、メディアコントローラ46を介して、メモリカードや光学ディスクなどの記憶媒体47に書き込まれる。なお、画像記憶用に合わせた圧縮率としては、予めデジタルカメラ10において設定される画像記憶用の解像度に合わせた圧縮率の他、予めユーザが操作部54を操作することにより設定した解像度に合わせた圧縮率が挙げられる。
On the other hand, when storing image data, the image data is stored in the built-in
測距センサ50は、例えばレリーズボタン55が操作されたときに作動し、被写体までの距離を検出する。測光センサ51は、例えばレリーズボタン55が操作されたときに作動し、被写体の明るさ(輝度)を検出する。
The
ストロボ装置52は、測光センサ51の出力信号から得られる被写体輝度が所定値以下となる場合に、被写体に向けてストロボ光を照射する。なお、このストロボ装置52は、ストロボ制御部53により作動制御される。
The
操作部54は、例えば撮像時のモード選択や、撮像時の設定を変更する場合に操作される。また、レリーズボタン55は、撮像する際に操作されるボタンである。このレリーズボタン55を操作すると、被写体までの測距処理、AE処理、AF処理などが実行された後、撮像処理が実行される。
The
CPU60は、デジタルカメラ10の各部を統括的に制御する。このCPU60は、内蔵メモリ45に格納された制御プログラム66を実行することで、AE処理部61、AF処理部62の他、領域抽出部63及び距離情報取得部64としての機能を有している。
The
AE処理部61は、測光センサ51の出力信号から得られる被写体輝度に基づいて、絞り値、シャッタ速度(電子シャッタの場合には、撮像素子16における電荷蓄積時間)、及び撮像素子16の制御感度値などの露出条件を求める。なお、絞り値、シャッタ速度及び撮像素子16の制御感度値を求める方法については、周知であることから、ここではその詳細については省略する。
Based on the subject brightness obtained from the output signal of the
AF処理部62は、入力される画像信号からAF制御に必要な物理量を算出する。例えば入力された画像信号から、画像の鮮鋭度を示す焦点評価値を算出する。この算出される焦点評価値が最大となるようにレンズ駆動機構22を介してフォーカスレンズの移動を制御する。
The
領域抽出部63は、単一の画像データから、複数の異なる周波数成分の帯域のそれぞれに含まれる周波数成分を有する領域を帯域毎に抽出する。以下、図2及び図3を用いて、特定の周波数成分が含まれる領域を抽出する方法について説明する。以下では、領域を抽出する処理に用いられる画像を元画像P0と称して説明する。 The region extraction unit 63 extracts a region having frequency components included in each of a plurality of different frequency component bands from the single image data for each band. Hereinafter, a method for extracting a region including a specific frequency component will be described with reference to FIGS. 2 and 3. Below, the image used for the process which extracts an area | region is called the original image P0, and is demonstrated.
まず、元画像P0に対して、例えば2つの異なるボカシ量を用いたボカシ処理を行い、2つの画像を生成する。以下では、ボカシ量が小さいボカシ処理にて生成される画像を第1画像、ボカシ量が大きいボカシ処理にて生成される画像を第2画像と称して説明する。なお、本実施形態では、2つの異なるボカシ量を用いて元画像P0にボカシ処理を施す場合について説明するが、ボカシ処理に用いるボカシ量は2種類に限定されるものではなく、3種類以上のボカシ量を用いてもよい。 First, for example, blur processing using two different blur amounts is performed on the original image P0 to generate two images. Hereinafter, an image generated by the blur processing with a small blur amount will be referred to as a first image, and an image generated by the blur processing with a large blur amount will be referred to as a second image. In the present embodiment, a case where the original image P0 is subjected to the blur processing using two different blur amounts will be described. However, the blur amount used for the blur processing is not limited to two types, and three or more types of blur amounts are used. The amount of blur may be used.
図3(b)は、図3(a)における画像内のA−A’間の画素に注目した場合における画素強度について示す。図3(b)においては、元画像P0の画素強度を実線で、第1画像P1の画素強度を点線で、第2画像P2の画素強度を二点鎖線で示している。エッジ抽出処理を行った場合に点B、Cがエッジとして抽出されるような画像を元画像P0とした場合、第1画像P1は、元画像P0におけるエッジB、Cの近傍(D−D’間、E−E’間)の画像強度が曲線状に変化する。同様にして、第2画像P2も、エッジB、Cの近傍(F−F’間、G−G’間)の画像強度が曲線状に変化する。また、第2画像P2においては、画像強度が曲線状に変化する画素の領域が、第1画像P1よりも広くなる。 FIG. 3B shows the pixel intensity when attention is paid to the pixel between A and A ′ in the image in FIG. In FIG. 3B, the pixel intensity of the original image P0 is indicated by a solid line, the pixel intensity of the first image P1 is indicated by a dotted line, and the pixel intensity of the second image P2 is indicated by a two-dot chain line. When an image from which points B and C are extracted as edges when edge extraction processing is performed is the original image P0, the first image P1 is the vicinity of the edges B and C in the original image P0 (DD ′ And the image intensity between EE ′ changes in a curved line. Similarly, also in the second image P2, the image intensity in the vicinity of the edges B and C (between F-F 'and between G-G') changes in a curved line. In the second image P2, the region of the pixel whose image intensity changes in a curved line is wider than that of the first image P1.
図3(c)は、元画像P0における画素強度と第1画像P1における画素強度との差分(図中実線)、及び元画像P0における画素強度と第2画像P2における画素強度との差分(図中点線)をそれぞれ示している。なお、図3(c)においては、算出される差分を絶対値で示している。図3(c)に示すように、元画像P0における画素強度と第1画像P1における画素強度との差分が元画像P0のエッジB、Cの近傍で生じ、エッジB,Cにて、その差分が最大となる。同様にして、元画像P0における画素強度と第2画像P2における画素強度との差分においても、元画像のエッジB、Cの近傍で画素強度の差分が生じ、エッジB,Cにて差分が最大となる。上述したように、第2画像P2においては、画素強度が曲線状に変化する範囲が第1画像P1の範囲よりも広いことから、元画像P0における画素強度と第2画像P2における画素強度との差分が生じる範囲は、元画像P0における画素強度と第1画像P1における画素強度との差分が生じる範囲よりも広くなる。 FIG. 3C shows the difference between the pixel intensity in the original image P0 and the pixel intensity in the first image P1 (solid line in the figure), and the difference between the pixel intensity in the original image P0 and the pixel intensity in the second image P2 (see FIG. 3). The middle dotted line) is shown. In FIG. 3C, the calculated difference is shown as an absolute value. As shown in FIG. 3C, the difference between the pixel intensity in the original image P0 and the pixel intensity in the first image P1 occurs in the vicinity of the edges B and C of the original image P0. Is the maximum. Similarly, in the difference between the pixel intensity in the original image P0 and the pixel intensity in the second image P2, a difference in pixel intensity occurs in the vicinity of the edges B and C of the original image, and the difference is maximum at the edges B and C. It becomes. As described above, in the second image P2, since the range in which the pixel intensity changes in a curved line is wider than the range of the first image P1, the pixel intensity in the original image P0 and the pixel intensity in the second image P2 The range in which the difference occurs is wider than the range in which the difference between the pixel intensity in the original image P0 and the pixel intensity in the first image P1 occurs.
上述したように、第1画像P1は、元画像P0に対してボカシ量が小さいボカシ処理が施された画像であることから、元画像P0の画素強度と第1画像P1の画素強度との差分が生じる領域は、高周波数帯域の周波数成分を有する領域(図2中に示す領域71)と判定できる。つまり、元画像P0の画素強度と第1画像P1の画素強度との差分が生じる領域を抽出することで、エッジ情報(以下、第1エッジ情報)を取得することができる。
As described above, since the first image P1 is an image that has been subjected to a blurring process with a small blur amount with respect to the original image P0, the difference between the pixel intensity of the original image P0 and the pixel intensity of the first image P1. The region where the occurrence of the noise can be determined as a region having a frequency component in the high frequency band (
また、第2画像P2は、元画像P0に対してボカシ量が大きいボカシ処理が施された画像であることから、元画像P0の画素強度と第2画像P1の画素強度との差分が生じる領域は、高周波数帯域、及び該高周波数帯域未満の所定の周波数帯域の周波数成分を有する領域(図2中に示す領域72)と判定される。これにより、元画像P0と第2画像P2との差分が生じる領域を抽出することで、第1エッジ情報とは異なるエッジ情報(以下、第2エッジ情報)を取得することができる。なお、元画像P0に対して行われるボカシ処理におけるボカシ量と、差分により抽出される領域に含まれる周波数成分の帯域とは、予め実験等の結果により予め対応付けされているものとする。
In addition, since the second image P2 is an image that has been subjected to blurring processing with a large blur amount with respect to the original image P0, a region in which a difference between the pixel intensity of the original image P0 and the pixel intensity of the second image P1 occurs. Is determined to be a region (
距離情報取得部64は、領域抽出部63より取得された第1エッジ情報及び第2エッジ情報を用いて、画像内における距離情報を取得する。第1エッジ情報は、高周波数帯域の周波数成分を有する領域を示す情報であり、また、第2エッジ情報は、高周波数帯域、及び該高周波数帯域未満の所定の周波数帯域の周波数成分を有する領域を示す情報である。
The distance
図2に示すように、第1エッジ情報から高周波数帯域の周波数成分を有する領域が領域71となり、第2エッジ情報から高周波数帯域、及び該高周波数帯域未満の所定の周波数帯域の周波数成分を有する領域が領域72となる場合、領域71から領域72を除した領域(図2中斜線のハッチングで示す領域)73が高周波数帯域の周波数成分未満の所定の周波数帯域の周波数成分を有する領域となる。なお、領域71及び領域73を除く領域は、それ以外の周波数帯域の周波数成分を有する領域となる。これにより、第1エッジ情報及び第2エッジ情報を用いることで、画像を周波数成分の帯域毎に分割することができる。
As shown in FIG. 2, a region having a frequency component of a high frequency band from the first edge information becomes a
まず、距離情報取得部64は、撮像時の絞り値Fを用いてデフォーカス量Δを算出する。なお、デフォーカス量Δは、Δ=σ×F(σ:散乱円の径、F:絞り値)用いて算出される。
First, the distance
また、距離情報取得部64は、撮像レンズ20の繰り出し量aと、撮像時の焦点距離fから、主要被写体までの距離(被写体距離)Lを(1)式を用いて算出する。
Further, the distance
距離情報取得部64は、内蔵メモリ45に格納された距離テーブルデータ67を参照して、算出されたデフォーカス量Δと被写体距離Lとに対応付けられた被写体深度xを読み出す。なお、上述した(1)式により被写体距離Lが算出されていることから、対象となる領域は、被写体距離Lに対して±xの範囲内にあると推定される。つまり、被写体距離Lと、被写体深度±xとを加算したものが、対象となる領域の距離となる。このようにして、対象となる領域に対する距離が取得されていく。なお、算出された距離は、それぞれ対象となる領域と対応付けられた距離情報として画像データに付帯される。
The distance
上述した距離テーブルデータ67は、被写体深度xに対して、被写体距離及びデフォーカス量が対応付けられたテーブルデータからなる。図4に示すように、被写体距離をL、焦点距離をf、デフォーカス量をΔとした場合、焦点が合わない(ぼけた)位置における被写体深度xは(2)式で表される。
The
この(2)式を用いて、被写体距離Lとデフォーカス量Δとを変化させたときの被写体深度xを算出していき、被写体距離L、デフォーカス量Δに、算出された被写体深度xを、それぞれ対応付けることで、距離テーブルデータ67が生成される。なお、この距離テーブルデータ67は、予め作成されて、内蔵メモリ45に格納される。
Using this equation (2), the subject depth x when the subject distance L and the defocus amount Δ are changed is calculated, and the calculated subject depth x is used as the subject distance L and the defocus amount Δ. The
次に、画像データを用いて距離情報を取得する処理の流れについて、図5のフローチャートに基づいて説明する。ステップS101は、撮像を行う処理である。撮像時の処理については周知であることから、ここでは、その詳細を省略する。この撮像により取得される画像データには、露出条件や、焦点距離などの撮像条件が撮像情報として付帯される。 Next, the flow of processing for acquiring distance information using image data will be described based on the flowchart of FIG. Step S101 is a process for performing imaging. Since the processing at the time of imaging is well known, the details are omitted here. Image data acquired by this imaging is accompanied by imaging conditions such as exposure conditions and focal length as imaging information.
ステップS102は、取得された画像データから第1エッジ情報を取得する処理である。このステップS102の処理は、領域抽出部63にて実行される。この領域抽出部63は、画像データを元画像データとしたボカシ量の小さいボカシ処理を行った後、得られた画像データと元画像データとの差分が生じる領域を抽出することで、第1エッジ情報を取得する。 Step S102 is processing for acquiring first edge information from the acquired image data. The processing in step S102 is executed by the region extraction unit 63. The area extraction unit 63 performs a blurring process with a small amount of blur using the image data as the original image data, and then extracts an area in which a difference between the obtained image data and the original image data is generated, whereby the first edge is extracted. Get information.
ステップS103は、取得された画像データから第2エッジ情報を取得する処理である。このステップS103の処理は、ステップS102の処理と同様に、領域抽出部63にて実行される。領域抽出部63は、ステップS102で用いたボカシ量よりも大きいボカシ量を用いてボカシ処理を行った後、得られた画像データと元画像データとの差分が生じる領域を抽出することで、第2エッジ情報を取得する。 Step S103 is processing for acquiring second edge information from the acquired image data. The processing in step S103 is executed by the region extraction unit 63, similarly to the processing in step S102. The region extraction unit 63 performs blur processing using a blur amount larger than the blur amount used in step S102, and then extracts a region where a difference between the obtained image data and the original image data is generated. 2 Edge information is acquired.
ステップS104は、撮像情報と、取得された第1エッジ情報及び第2エッジ情報とを用いて、画像内の距離情報を取得する処理である。このステップS104の処理は、距離情報取得部64にて実行される。上述したように、第1エッジ情報は、高周波数帯域の周波数成分を有する領域を示すものであり、第2エッジ情報は、高周波数帯域、及び該高周波数帯域未満の所定の周波数帯域の周波数成分を有する領域を示すものである。これらエッジ情報を用いて、元画像データにおける高周波数帯域の周波数成分を有する領域(図2中符号符号71)、該高周波数帯域未満となる所定の周波数帯域の周波数成分を有する領域(図2中符号73)、及びそれ以外の周波数帯域の周波数成分を有する領域(図2中符号74)に分割する。
Step S104 is processing for acquiring distance information in the image using the imaging information and the acquired first edge information and second edge information. The processing in step S104 is executed by the distance
画像内の領域を周波数成分の帯域毎に分割した後、距離情報取得部64は、画像の元になる画像データに付帯された撮像情報から絞り値Fを読み出して、デフォーカス量Δを算出する。また、距離情報取得部64は、撮像情報から撮像レンズ20の繰り出し量a、焦点距離fを読み出し、被写体距離Lを算出する。
After dividing the region in the image for each frequency component band, the distance
デフォーカス量Δと被写体距離Lがそれぞれ算出されると、距離情報取得部64は、距離テーブルデータ67を読み出して、算出されたデフォーカス量Δと被写体距離Lとのそれぞれに対応付けられた被写体深度xを読み出す。読み出された被写体深度xと被写体距離Lとの和を求めることで、対象となる領域の距離が取得され、対象となる領域と求めた距離とを対応付けることによって距離情報が生成される。このようにして、領域毎の距離情報が生成されていき、画像データに付帯される。なお、領域74についてはエッジ情報がないことから距離情報を生成することができないが、このような領域に対しては、例えばシーンやモード毎に設定された距離を用いて距離情報を生成すればよい。これにより、画像内における距離情報を、複数の画像を用いなくとも、容易に求めることができる。
When the defocus amount Δ and the subject distance L are respectively calculated, the distance
なお、画像データに付帯される距離情報は、例えば、フィルタ処理部41におけるフィルタ処理の際に用いられる。つまり、距離情報は、領域と該領域における距離とが対応付けられた情報からなることから、距離に応じたフィルタ処理を該当する領域毎に行う。なお、このフィルタ処理としては、ボカシ処理の他に、エッジ強調処理等が挙げられる。これにより、例えば主要被写体となる領域と、背景となる領域とのそれぞれに異なるフィルタ処理を行うことが可能となり、現実の被写界の奥行き方向を反映した自然なボケを持つ画像を取得することができる。また、主要被写体に対してはボカシ量を小さく、背景となる領域には、ボカシ量を大きくすることで、主要被写体を強調した画像を容易に生成することも可能である。
The distance information attached to the image data is used, for example, at the time of filter processing in the
本実施形態では、画像全体に対して、異なる2つのボカシ量を用いたボカシ処理を行った後にエッジ情報を取得しているが、これに限定される必要はなく、画像を複数の領域(以下、評価領域)に分割し、評価領域毎にエッジ情報を取得するようにしてもよい。画像を複数の評価領域に分割することで、上述したボカシ処理や、エッジ情報を取得する処理の処理時間を短縮することができる。なお、距離情報を取得する際には、異なる周波数成分の帯域毎に領域を取得することから、評価領域は小さい程よいものとする。 In this embodiment, edge information is acquired after performing blur processing using two different blur amounts on the entire image, but the present invention is not limited to this, and the image is divided into a plurality of regions (hereinafter referred to as a plurality of regions). , Evaluation area), and edge information may be acquired for each evaluation area. By dividing the image into a plurality of evaluation regions, it is possible to shorten the processing time of the above-described blur processing and processing for acquiring edge information. In addition, when acquiring distance information, since an area | region is acquired for every zone | band of a different frequency component, the evaluation area | region should be small.
本実施形態では、取得された距離情報に基づいて、フィルタ処理を行う実施形態としているが、これに限定される必要はなく、取得される距離情報を、例えば撮像光学系の駆動制御に用いることも可能である。まず、CPU60は、レリーズボタン55が押されたときに得られる画像データから距離情報を取得する。その後、取得された距離情報と、撮像条件とから、ユーザの所望する被写体にピントが合うときの撮像レンズ20の繰り出し量をガウスの公式を用いて算出する。この算出された撮像レンズ20の繰り出し量と、現在の撮像レンズ20の繰り出し量との差を撮像レンズ20の補正量として求め、この補正量に基づいて撮像レンズ20の位置調整を行って再度撮像を行う。これにより、AFセンサを離散して配置しないデジタルカメラであっても、ユーザが所望する主要被写体に焦点が合う画像を容易に、且つ高精度に取得することができる。
In this embodiment, although it is set as embodiment which performs a filter process based on the acquired distance information, it is not limited to this, For example, the acquired distance information is used for drive control of an imaging optical system. Is also possible. First, the
本実施形態では、フィルタ処理をデジタルカメラに設けられたフィルタ処理部で実行しているが、これに限定されるものではなく、例えばデジタルカメラにより画像内の距離情報が付帯された画像データを画像処理装置等に取り込んだ後、該画像処理装置においてフィルタ処理を施すことも可能である。 In this embodiment, the filter processing is executed by the filter processing unit provided in the digital camera. However, the present invention is not limited to this. For example, image data with distance information in the image attached by the digital camera is converted into an image. It is also possible to perform filter processing in the image processing apparatus after being taken into the processing apparatus or the like.
本実施形態では、元画像と第2画像との差分に基づいて抽出される領域から、元画像と第1画像との差分に基づいて抽出される領域を除すことで、画像を周波数帯域毎に分割しているが、これに限定する必要はない。例えば、元画像と第1画像とから求められる領域と、元画像と第2画像とから求められる領域とを加算していくことも可能である。この場合、図6に示すように、例えば元画像と第1画像の差分が生じる領域75に対して値「1」を付し、差分が生じない領域76に対して値「0」を付す。同様にして、元画像と第2画像との差分が生じる領域77に対して値「1」を付し、差分が生じない領域78に対して値「0」を付す。これらを加算すると、元画像と第1画像の差分が生じる領域75は、元画像と第2画像との差分が生じる領域77の一部が重複することから、加算後の領域75に付される値は「2」となる。なお、領域77のうち、領域75と重複しない領域79は領域76と重複するが、領域76に付された値は「0」であるから、領域79に付される値は「1」のままである。さらに、領域78は、領域76の一部と重複するが、領域78と、領域76とに付された値がそれぞれ「0」となることから、領域78の値に付される値は「0」のままである。このようにして領域毎に付された値に対応する距離をそれぞれ求め、領域に付される値と、距離とをまとめることで画像内の距離情報を取得することができる。
In the present embodiment, by dividing the region extracted based on the difference between the original image and the first image from the region extracted based on the difference between the original image and the second image, the image is separated for each frequency band. It is not necessary to limit to this. For example, it is possible to add an area obtained from the original image and the first image and an area obtained from the original image and the second image. In this case, as shown in FIG. 6, for example, a value “1” is assigned to a
本実施形態では、デジタルカメラについて説明しているが、これに限定されるものではなく、例えば画像処理装置に適用することも可能である。図7に示すように、画像処理装置90を、領域抽出部91、距離情報取得部92、画像処理部93から構成する。なお、領域抽出部91及び距離情報取得部92の機能は、上述した領域抽出部63、及び距離情報取得部64の機能と同一であることから、ここでは省略する。この画像処理装置90に画像データ95が入力されると、領域抽出部91によりエッジ情報が取得された後、距離テーブルデータ96を用いて、画像内の距離情報が取得される。なお、画像処理部93では、取得された距離情報に基づいて、画像データに対するボカシ処理や、エッジ強調処理などを実行する。これにより、画像処理済みの画像データ95’を得ることが可能となる。
In this embodiment, a digital camera has been described. However, the present invention is not limited to this, and can be applied to, for example, an image processing apparatus. As shown in FIG. 7, the
10…デジタルカメラ、60…CPU、63,91…領域抽出部、67,96…距離テーブルデータ、64,92…距離情報取得部、41…フィルタ処理部、90…画像処理装置
DESCRIPTION OF
Claims (8)
前記単一の画像と前記処理済み画像との差分を算出し、差分が生じる領域を抽出する領域抽出手段と、
前記平滑化処理時の処理情報及び前記単一の画像を撮像したときの撮像情報を用いて、前記領域抽出手段によって抽出された領域における距離情報を取得する距離情報取得手段と、
を備えたことを特徴とする撮像装置。 Image generating means for generating a plurality of processed images obtained by performing smoothing processing with different degrees on a single image;
A region extracting means for calculating a difference between the single image and the processed image and extracting a region where the difference occurs;
Distance information acquisition means for acquiring distance information in the region extracted by the region extraction means, using processing information at the time of the smoothing processing and imaging information when the single image is captured;
An imaging apparatus comprising:
前記画像生成手段は、前記単一の画像を複数分割することで得られる評価領域毎に前記平滑化処理を施し、
前記領域抽出手段は、前記平滑化処理前の評価領域と該平滑化処理後の評価領域との差分を評価領域毎に算出することで、前記差分が生じる領域を抽出することを特徴とする撮像装置。 The imaging device according to claim 1,
The image generating means performs the smoothing process for each evaluation region obtained by dividing the single image into a plurality of parts,
The area extraction unit is configured to extract an area in which the difference occurs by calculating a difference between the evaluation area before the smoothing process and the evaluation area after the smoothing process for each evaluation area. apparatus.
前記単一の画像に対してフィルタ処理を実行するフィルタ処理手段を、さらに備え、
前記フィルタ処理手段は、前記距離情報に基づいたフィルタ処理を、対応する領域毎に実行することを特徴とする撮像装置。 The imaging apparatus according to claim 1 or 2,
A filter processing means for performing filter processing on the single image;
The image pickup apparatus, wherein the filter processing unit executes a filter process based on the distance information for each corresponding region.
被写体光を取り込む撮像光学系と、
前記撮像光学系を、該撮像光学系の光軸方向に沿って駆動制御する駆動制御手段と、を備え、
前記駆動制御手段は、前記距離情報に基づいて前記撮像光学系の駆動制御を行うことを特徴とする撮像装置。 The imaging apparatus according to claim 1 or 2,
An imaging optical system that captures subject light;
Drive control means for driving and controlling the imaging optical system along the optical axis direction of the imaging optical system,
The image pickup apparatus, wherein the drive control unit performs drive control of the image pickup optical system based on the distance information.
前記単一の画像と前記処理済み画像との差分を算出し、差分が生じる領域を抽出する領域抽出工程と、
前記平滑化処理時の処理情報及び前記単一の画像を撮像したときの撮像情報を用いて、前記領域抽出工程によって抽出された領域における距離情報を取得する距離情報取得工程と、
を備えたことを特徴とする距離情報取得方法。 An image generation step for generating a plurality of processed images obtained by performing smoothing processing with different degrees on a single image;
A region extraction step of calculating a difference between the single image and the processed image and extracting a region where the difference occurs;
A distance information acquisition step of acquiring distance information in the region extracted by the region extraction step using the processing information at the time of the smoothing processing and the imaging information when the single image is captured;
A distance information acquisition method characterized by comprising:
前記画像生成工程は、前記単一の画像を複数分割することで得られる評価領域毎に前記周波数処理を施し、
前記領域抽出工程は、前記平滑化処理前の評価領域と該平滑化処理後の評価領域との差分を評価領域毎に算出することで、前記差分が生じる領域を抽出することを特徴とする距離情報取得方法。 The distance information acquisition method according to claim 5,
The image generation step performs the frequency processing for each evaluation region obtained by dividing the single image into a plurality of parts,
The region extracting step extracts a region in which the difference occurs by calculating a difference between the evaluation region before the smoothing process and the evaluation region after the smoothing process for each evaluation region. Information acquisition method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008077504A JP2009232348A (en) | 2008-03-25 | 2008-03-25 | Imaging apparatus, distance information acquiring method, image processing method, and drive control method of optical system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008077504A JP2009232348A (en) | 2008-03-25 | 2008-03-25 | Imaging apparatus, distance information acquiring method, image processing method, and drive control method of optical system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009232348A true JP2009232348A (en) | 2009-10-08 |
Family
ID=41247201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008077504A Pending JP2009232348A (en) | 2008-03-25 | 2008-03-25 | Imaging apparatus, distance information acquiring method, image processing method, and drive control method of optical system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009232348A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013520855A (en) * | 2010-02-19 | 2013-06-06 | デュアル・アパーチャー・インコーポレーテッド | Multi-aperture image data processing |
JP2016114946A (en) * | 2014-12-15 | 2016-06-23 | サムソン エレクトロ−メカニックス カンパニーリミテッド. | Camera module |
US9721357B2 (en) | 2015-02-26 | 2017-08-01 | Dual Aperture International Co. Ltd. | Multi-aperture depth map using blur kernels and edges |
-
2008
- 2008-03-25 JP JP2008077504A patent/JP2009232348A/en active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013520855A (en) * | 2010-02-19 | 2013-06-06 | デュアル・アパーチャー・インコーポレーテッド | Multi-aperture image data processing |
US9495751B2 (en) | 2010-02-19 | 2016-11-15 | Dual Aperture International Co. Ltd. | Processing multi-aperture image data |
JP2016114946A (en) * | 2014-12-15 | 2016-06-23 | サムソン エレクトロ−メカニックス カンパニーリミテッド. | Camera module |
US9721357B2 (en) | 2015-02-26 | 2017-08-01 | Dual Aperture International Co. Ltd. | Multi-aperture depth map using blur kernels and edges |
US9721344B2 (en) | 2015-02-26 | 2017-08-01 | Dual Aperture International Co., Ltd. | Multi-aperture depth map using partial blurring |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5870264B2 (en) | Imaging apparatus, imaging method, program, and integrated circuit | |
JP5484631B2 (en) | Imaging apparatus, imaging method, program, and program storage medium | |
EP3349433B1 (en) | Control system, imaging device, and program | |
JP6906947B2 (en) | Image processing equipment, imaging equipment, image processing methods and computer programs | |
JP2011078047A (en) | Imaging apparatus | |
KR101510107B1 (en) | Photographing apparatus and method | |
JP5272699B2 (en) | Image processing apparatus, imaging apparatus, program, and image processing method | |
US11190704B2 (en) | Imaging apparatus and control method for performing live view display of a tracked object | |
JP2010206521A (en) | Image capturing apparatus, method of correcting image, and program | |
JP2009232348A (en) | Imaging apparatus, distance information acquiring method, image processing method, and drive control method of optical system | |
JP5532621B2 (en) | Electronic camera and image processing program | |
JP2006050149A (en) | Panning photographic method and photographing apparatus | |
JP2007171807A (en) | Focus detection device and camera | |
JP2010021649A (en) | Camera system, and table adjusting method | |
JP2007094236A (en) | Imaging apparatus and method | |
JP6257186B2 (en) | Imaging apparatus, imaging method, and program | |
JP6975144B2 (en) | Imaging processing device, electronic device, imaging processing method, imaging processing device control program | |
JP2011135379A (en) | Imaging apparatus, imaging method and program | |
JP5316098B2 (en) | Imaging apparatus, imaging method, and program | |
JP2010119051A (en) | Imaging device and imaging method | |
JP6659163B2 (en) | Flash band determination device, control method thereof, and program | |
JP5522299B2 (en) | Imaging apparatus, imaging method, and program | |
JP5803873B2 (en) | Exposure device, exposure method, and program | |
JP5871590B2 (en) | Imaging apparatus and control method thereof | |
JP7034792B2 (en) | Imaging device and its control method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120515 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120717 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130115 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130611 |