JP4930277B2 - Imaging apparatus and computer program therefor - Google Patents
Imaging apparatus and computer program therefor Download PDFInfo
- Publication number
- JP4930277B2 JP4930277B2 JP2007214964A JP2007214964A JP4930277B2 JP 4930277 B2 JP4930277 B2 JP 4930277B2 JP 2007214964 A JP2007214964 A JP 2007214964A JP 2007214964 A JP2007214964 A JP 2007214964A JP 4930277 B2 JP4930277 B2 JP 4930277B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- coordinate
- spread function
- point spread
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は、逐次合成処理型の電子式手振れ補正動作により手振れ補正画像を生成する撮像装置及びそのコンピュータプログラムに関する。 The present invention relates to an imaging apparatus that generates a camera shake correction image by a sequential synthesis processing type electronic camera shake correction operation, and a computer program thereof.
従来より、撮像装置を利用して暗所を撮影する手法として、逐次合成処理型の電子式手振れ補正方式が知られている。この方式では、手振れの影響が少ない露光時間で被写体を連続的に撮影し、１枚目の撮影画像を基準画像に設定し、２枚目以後の撮影画像に対しては、基準画像に対する撮影画像の動きを算出し、算出された動きに基づいて動き補正を行った後に基準画像（３枚目以後の撮影画像の場合は合成画像）に順次合成する処理を施すことにより、１枚の合成画像を生成する。 Conventionally, as a technique for photographing a dark place using an imaging apparatus, a sequential synthesis processing type electronic image stabilization method is known. In this method, the subject is continuously photographed with an exposure time that is less affected by camera shake, the first photographed image is set as a reference image, and the photographed images relative to the reference image are taken for the second and subsequent photographed images. A combined image is obtained by performing a process of sequentially combining the reference image (a combined image in the case of the third and subsequent captured images) after calculating the movement of the image and performing motion correction based on the calculated movement. Is generated.
逐次合成処理型の電子式手振れ補正方式では、合成が完了した撮影画像を順次破棄又は上書きしながら合成画像を生成するために、全ての撮影画像を記憶するための大容量のメモリを撮像装置に設ける必要性がない。従って、この方式によれば、全ての撮影画像を記憶しておく必要がある一括合成処理型の電子式手振れ補正方式と比較して、撮像装置を安価に構成することができる。 In the electronic image stabilization method of the sequential synthesis process type, a large-capacity memory for storing all the captured images is provided in the imaging device in order to generate a composite image while sequentially discarding or overwriting the captured images that have been combined. There is no need to provide it. Therefore, according to this method, it is possible to configure the imaging device at a lower cost compared to the batch composition processing type electronic shake correction method in which all photographed images need to be stored.
ここで逐次合成処理型の電子式手振れ補正方式による合成画像の生成手順について詳しく説明する。なお本明細書中では、ｉ番目の撮影画像を入力画像Ｐｉ，入力画像Ｐｉの座標（ｘ，ｙ）における画素値をＰｉ（ｘ，ｙ）と表記する。また合成する撮影画像の総数はＮ枚、入力画像Ｐｉの大きさは（ｘｍａｘ，ｙｍａｘ）とする。また入力画像Ｐｉを合成することにより得られる合成画像を合成画像Ｇ（ｉ），合成画像Ｇ（ｉ）の座標（ｘ，ｙ）における画素値をＧ（ｉ）（ｘ，ｙ）と表記する。 Here, a procedure for generating a composite image by a sequential synthesis processing type electronic camera shake correction method will be described in detail. In this specification, the i-th captured image is denoted as input image P i , and the pixel value at the coordinates (x, y) of the input image P i is denoted as P i (x, y). The total number of captured images to be synthesized N sheets, the size of the input image P i is set to (xmax, ymax). The input image P i the synthesized composite image obtained by synthesizing images G (i), the coordinates (x, y) of the synthesized image G (i) the pixel value at G (i) (x, y) denoted To do.
この方式では、始めに、入力画像Ｐ１の撮影が完了したタイミングで入力画像Ｐ１から複数個の特徴点Ｆｋ（１≦ｋ≦Ｍ）を抽出する。２枚の画像間の動きは一方の画像中の点と他方の画像中の点の対応関係から予測できる。特徴点Ｆｋとはこの対応関係が決定しやすい点のことを意味する。特徴点Ｆｋを抽出する手法としては、ＳＵＳＡＮコーナ検出法（S.M.Smith and J.M.Brady, "SUSAN a new approach to low level image processing", International Journal of Computer Vision 23(1):45-78 May(1997)）やＫＬＴ法（C.Thomasi and K.Kaneda, "Detection and tracking of point features", CMU Tech.Rep. CMU-CS-91-132, April 1991）等の手法を例示できる。 In this method, first , a plurality of feature points F k (1 ≦ k ≦ M) are extracted from the input image P 1 at the timing when the photographing of the input image P 1 is completed. The motion between the two images can be predicted from the correspondence between the points in one image and the points in the other image. The feature point F k means a point where this correspondence can be easily determined. As a method for extracting a feature point F k, SUSAN corner detection method (SMSmith and JMBrady, "SUSAN a new approach to low level image processing", International Journal of Computer Vision 23 (1): 45-78 May (1997)) And the KLT method (C. Thomasi and K. Kaneda, “Detection and tracking of point features”, CMU Tech. Rep. CMU-CS-91-132, April 1991).
次に、以下の数式１に示すように入力画像Ｐ１を合成画像（基準画像）Ｇ（１）に設定する。
その後、入力画像Ｐｉ（２≦ｉ≦Ｎ）それぞれの撮影が完了したタイミングで各特徴点Ｆｋの入力画像Ｐｉ中における位置を追跡する。特徴点Ｆｋの追跡手法としては、勾配法やテンプレートマッチング法等の手法を例示できる。テンプレートマッチング法では、特徴点Ｆｋ近傍の入力画像Ｐ１の画像をテンプレートとして用意し、特徴点Ｆｋと同じ座標値を中心点とする入力画像Ｐｉ中の探索範囲内の各点におけるテンプレートとの類似度を算出し、探索範囲内で類似度が最も高い点を入力画像Ｐｉ中における特徴点Ｆｋの位置とする。 Thereafter, the position of each feature point F k in the input image P i is tracked at the timing when each of the input images P i (2 ≦ i ≦ N) is completed. The tracking method of the feature point F k, can be exemplified a method such as a gradient method or a template matching method. In the template matching method, an image of the input image P 1 in the vicinity of the feature point F k is prepared as a template, and a template at each point in the search range in the input image P i having the same coordinate value as the feature point F k as the center point. And the point having the highest similarity in the search range is set as the position of the feature point F k in the input image P i .
類似度としてはＳＳＤ（Sum of Squared Difference）を利用することが多い。特徴点Ｆｋの位置を精密に探索する方法としては、小数点以下の位置検出が可能なサブピクセル位置推定手法等の手法（「類似度モデルに基づく画像の高精度２次元サブピクセルマッチング」電子情報通信学会，技術研究報告PRMU2003, vol103, No.151, pp31-38, June 2003）が提案されている。入力画像Ｐ１からＭ個の特徴点Ｆｋ（１≦ｋ≦Ｍ）を抽出したとすると、この処理により各特徴点Ｆｋの入力画像Ｐｉ中における座標（以下“追跡座標”と表記）Ｔｉ，ｋが得られる。 As the similarity, SSD (Sum of Squared Difference) is often used. As a method for precisely search the position of the feature point F k, "precision two-dimensional subpixel matching images based on similarity model" approach (sub-pixel position estimation method or the like capable of following the position detection point electronic information The Communication Society, Technical Research Report PRMU2003, vol103, No.151, pp31-38, June 2003) has been proposed. Input image P 1 from M feature points F k When was extracted (1 ≦ k ≦ M), ( denoted hereinafter "tracking coordinates") coordinates in the input image P i of each feature point F k by the process T i, k is obtained.
次に、特徴点Ｆｋの座標と追跡座標Ｔｉ，ｋの対応関係を利用して合成画像Ｇ（１）と入力画像Ｐｉ間の動きを表す座標変換パラメータＨｉを算出する。座標変換の手法としてはアフィン変換や射影変換を利用できる。連写撮影時間が長時間で撮像装置の動きが大きくなる場合は射影変換により座標変換を行う必要があるが、短時間で連写撮影する場合にはアフィン変換で十分な場合が多い。そこで以下の説明では座標変換の手法としてアフィン変換を用いる。いま入力画像Ｐ１の特徴点Ｆｋの座標（ｘ１，ｙ１）が入力画像Ｐｉ中の座標（ｘ２，ｙ２）に対応する時、斉次座標表記のアフィン変換では座標（ｘ１，ｙ１）と座標（ｘ２，ｙ２）は以下の数式２，３に示す関係式を満たす。
特徴点Ｆｋの座標（ｘ１，ｙ１）と入力画像Ｐｉ中の座標（ｘ２，ｙ２）の対応関係には誤ったものが含まれている可能性があるので、誤った対応関係を除外して精度の高い座標変換パラメータＨｉを算出するためにＲＡＮＳＡＣ法（M.A.Fischler, R.C.Bolles, "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography", Comm. of the ACM, vol24, pp381-395, 1981）を用いることが望ましい。 The correspondence between the coordinates (x 1 , y 1 ) of the feature point F k and the coordinates (x 2 , y 2 ) in the input image P i may include an incorrect one. RANSAC method in order to calculate the high coordinate conversion parameter H i accurate to exclude the relationship (MAFischler, RCBolles,. "Random Sample Consensus: a Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography", Comm of the ACM , vol24, pp381-395, 1981).
次に、算出された座標変換パラメータＨｉを用いて入力画像Ｐ１と同じ位置で重なるように入力画像Ｐｉを座標変換して変換画像Ｐｉ’を生成する。そして上記数式２に変換画像Ｐｉ’の座標値（ｘ１，ｙ１）（０≦ｘ１≦ｘｍａｘ，０≦ｙ１≦ｙｍａｘ）を順次代入することにより座標（ｘ１，ｙ１）に対応する入力画像Ｐｉの座標値（ｘ２，ｙ２）を算出し、算出された入力画像Ｐｉの座標（ｘ２，ｙ２）における画素値Ｐｉ（ｘ２，ｙ２）を変換画像Ｐｉ’の座標（ｘ１，ｙ１）における画素値Ｐｉ’（ｘ１，ｙ１）として算出する。なおこの処理においては座標（ｘ２，ｙ２）が必ずしも整数値になるとは限らない。座標（ｘ２，ｙ２）が整数値でない場合、座標（ｘ２，ｙ２）における画素値が定まらない。従ってこの場合には、最近傍法やバイリニア法による補間処理により座標（ｘ２，ｙ２）周辺の画素値から座標（ｘ２，ｙ２）における画素値を補間する。
Then, the input image P i by performing coordinate conversion so as to overlap at the same position as the input image P 1 generates a transformed image P i 'using the coordinate transformation parameter H i calculated. And the coordinate values of the converted image P i 'to the equation 2 (x 1, y 1) (0 ≦ x 1 ≦ xmax, 0 ≦
次に、以下の数式４に示すように、上記の処理により得られた変換画像Ｐｉ’を今までの処理により得られた合成画像Ｇ（ｉ−１）に合成することにより合成画像Ｇ（ｉ）を生成する。このようにしてＮ枚の入力画像Ｐｉが合成された合成画像Ｇ（Ｎ）が生成される。このような処理によれば、合成画像Ｇ（Ｎ）はＮ枚の入力画像Ｐｉを加算したものであるので、１枚の撮影画像のＳ／Ｎ比と比較してノイズを１／√Ｎ改善できる。従って、この逐次合成処理型の電子式手振れ補正方式によれば、手振れの少ない高感度な画像を撮影できる。
一般に撮像装置では、光学系が理想的に合焦していたとしても、光学系の点拡がり関数（Point Spread Function）は、様々なレンズの収差によって理想的なデルタ関数にならず、図６に示すようにガウシアン関数に近似される。またＣＣＤ等のイメージセンサは画素毎に到達した光を画素領域内で積分するので、撮影画像の高周波成分は抑圧される。さらには、逐次成処理型の電子式手振れ補正方式では、上述の通り変換画像Ｐｉ’の画素値Ｐｉ’（ｘ１，ｙ１）を算出する際に補間処理が行われる。 In general, in an imaging apparatus, even if the optical system is ideally focused, the point spread function of the optical system does not become an ideal delta function due to various lens aberrations. As shown, it approximates the Gaussian function. In addition, since an image sensor such as a CCD integrates the light reaching each pixel within the pixel region, the high-frequency component of the captured image is suppressed. Furthermore, in the sequential image processing type electronic camera shake correction method, interpolation processing is performed when calculating the pixel value Pi ′ (x 1 , y 1 ) of the converted image Pi ′ as described above.
このため、従来の逐次成処理型の電子式手振れ補正方式では、撮影画像の各点における点拡がり関数のピーク形状が図７（ａ）〜（ｄ）に示すように平坦になったり、点拡がり関数のピーク位置が図７（ａ）〜（ｄ）や図８（ａ）〜（ｄ）に示すように画像間で変化する。このため、座標変換パラメータＨｉが精度よく算出されていたとしても、ピークが平坦、且つ、ピーク位置が異なる拡がり関数が繰り返し合成されることにより、合成画像の各点における点拡がり関数は図７（ｅ）や図８（ｅ）に示すように劣化する。これにより、従来の逐次成処理型の電子式手振れ補正方式によれば、合成画像にぼけが生じる。 Therefore, in the conventional sequential image processing type electronic image stabilization method, the peak shape of the point spread function at each point of the photographed image becomes flat as shown in FIGS. The peak position of the function changes between images as shown in FIGS. 7A to 7D and FIGS. 8A to 8D. For this reason, even if the coordinate conversion parameter H i is calculated with high accuracy, the point spread function at each point of the composite image is obtained by repeatedly combining the spread functions with different peaks and different peak positions. It deteriorates as shown in (e) and FIG. As a result, according to the conventional sequential processing type electronic camera shake correction method, the synthesized image is blurred.
本発明は、上記課題を解決するためになされたものであり、その目的は、高精細な合成画像を生成可能な撮像装置及びそのコンピュータプログラムを提供することにある。 SUMMARY An advantage of some aspects of the invention is that it provides an imaging apparatus capable of generating a high-definition composite image and a computer program therefor.
本発明に係る撮像装置は、複数の撮影画像を連続的に撮像する撮像手段と、１枚目の撮影画像から特徴点を抽出し、２枚目以後の各撮影画像について、撮影画像中における特徴点の位置を追跡座標として抽出する特徴点抽出手段と、特徴点の座標と追跡座標の対応関係を利用して、２枚目以後の各撮影画像について、撮影画像を１枚目の撮影画像に重ね合わせるための座標変換パラメータを順次算出する座標変換パラメータ算出手段と、座標変換パラメータ算出手段により算出された座標変換パラメータを用いて２枚目以後の各撮影画像の座標変換を行い、座標変換された各撮影画像を１枚目の撮影画像に順次合成することにより、複数の撮影画像が合成された合成画像を生成する合成手段と、1枚目の撮影画像及び座標変換された各撮影画像ごとの点拡がり関数の値を加算することで、合成画像の点拡がり関数を演算する点拡がり関数演算手段と、点拡がり関数演算手段により演算された点拡がり関数を利用して合成手段により生成された合成画像を復元する復元手段とを備える。
また、合成手段は、座標変換パラメータを用いて変換された座標にまるめ処理を施し、まるめ処理が施された座標に座標変換された各撮影画像を１枚目の撮影画像に順次合成することにより、複数の撮影画像が合成された合成画像を生成することことが望ましい。
また、点拡がり関数演算手段は、まるめ処理が施された座標及び当該座標のまるめ誤差に応じて２枚目以後の各撮影画像の点拡がり関数を演算するすることが望ましい。
An imaging apparatus according to the present invention extracts an image capturing unit that continuously captures a plurality of captured images and feature points from the first captured image, and features in the captured images for each of the second and subsequent captured images. Using the feature point extracting means for extracting the position of the point as the tracking coordinate and the correspondence between the coordinate of the feature point and the tracking coordinate, the captured image is changed to the first captured image for each of the second and subsequent captured images. The coordinate conversion parameter calculation means for sequentially calculating the coordinate conversion parameters for superimposing, and the coordinate conversion parameters calculated by the coordinate conversion parameter calculation means are used to perform coordinate conversion of each of the second and subsequent captured images, and the coordinates are converted. was by sequentially synthesizing the first captured image of each captured image, and combining means for a plurality of captured images to generate a composite image combined, first photographed image and the coordinate transformed each captured image By adding the value of the point spread function of each, and the function calculating means point spread for calculating a point spread function of the combined image is generated by synthetic means using a point spread function calculated by the point spread function calculating means Restoring means for restoring the synthesized image.
The synthesizing unit performs rounding processing on the coordinate converted using the coordinate conversion parameter, and sequentially synthesizes each captured image coordinate-converted to the coordinate subjected to rounding processing with the first captured image. It is desirable to generate a composite image in which a plurality of captured images are combined.
In addition, it is desirable that the point spread function calculation means calculates a point spread function for each of the second and subsequent captured images according to the rounded coordinate and the rounding error of the coordinate.
本発明に係る撮像装置のコンピュータプログラムは、複数の撮影画像を連続的に撮像する撮像手段を備える撮像装置に内蔵されたコンピュータが実行する撮像装置のコンピュータプログラムであって、１枚目の撮影画像から特徴点を抽出し、２枚目以後の各撮影画像について、撮影画像中における特徴点の位置を追跡座標として抽出する処理と、特徴点の座標と追跡座標の対応関係を利用して、２枚目以後の各撮影画像について、撮影画像を１枚目の撮影画像に重ね合わせるための座標変換パラメータを順次算出する処理と、座標変換パラメータを用いて２枚目以後の各撮影画像の座標変換を行い、座標変換された各撮影画像を１枚目の撮影画像に順次合成することにより、複数の撮影画像が合成された合成画像を生成する処理と、1枚目の撮影画像及び座標変換された各撮影画像ごとの点拡がり関数の値を加算することで、合成画像の点拡がり関数を演算する処理と、点拡がり関数を利用して前記生成された合成画像を復元する処理とをコンピュータに実行させる。 A computer program for an imaging apparatus according to the present invention is a computer program for an imaging apparatus that is executed by a computer built in an imaging apparatus that includes an imaging unit that continuously captures a plurality of captured images. Using the process of extracting the feature points from the second image and extracting the positions of the feature points in the captured images as tracking coordinates for the second and subsequent captured images, and the correspondence between the coordinates of the feature points and the tracking coordinates, 2 For each captured image after the first image, processing for sequentially calculating coordinate conversion parameters for superimposing the captured image on the first captured image, and coordinate conversion of each captured image after the second image using the coordinate conversion parameters was carried out by sequentially synthesizing the photographed image coordinate transformation first shot image, and a processing in which a plurality of captured images to generate a composite image combined, the first sheet By adding the value of the point spread function for each photographed image shadow image and the coordinate transformation, a process of calculating the point spread function of the combined image, before using the point spread function Kisei made composite image And causing the computer to execute the process of restoring the file.
本発明に係る撮像装置及びそのコンピュータプログラムによれば、座標変換パラメータを利用して合成画像の点拡がり関数を演算し、演算された点拡がり関数を利用して合成画像を復元するので、点拡がり関数の劣化によって合成画像が劣化することを抑制し、高精細な合成画像を生成することができる。 According to the imaging apparatus and the computer program thereof according to the present invention, the point spread function of the composite image is calculated using the coordinate conversion parameter, and the composite image is restored using the calculated point spread function. It is possible to suppress the deterioration of the composite image due to the function deterioration and to generate a high-definition composite image.
本発明は、以下に示す復元処理によって、逐次合成処理型の電子式手振れ補正方式により生成された合成画像から高精細な合成画像を生成する。以下、この復元処理の概念について詳しく説明する。 According to the present invention, a high-definition composite image is generated from a composite image generated by an electronic camera shake correction method of a sequential composite processing type by the restoration process described below. Hereinafter, the concept of the restoration process will be described in detail.
〔復元処理〕
一般に、レンズ等の光学系による点拡がり関数はガウシアン関数に近似されることが多い。そこで光学系の点拡がり関数を分散標準偏差σのガウシアン関数に近似すると、光学系の点拡がり関数ｈｇ（ｋ，ｌ）は以下の数式５のように表される。
In general, a point spread function by an optical system such as a lens is often approximated by a Gaussian function. Therefore, when the point spread function of the optical system is approximated to a Gaussian function having a dispersion standard deviation σ, the point spread function h g (k, l) of the optical system is expressed as in the following
またＣＣＤ等のイメージセンサは画素毎に到達した光を正方領域内で積分するので、イメージセンサの開口部の大きさを１とすると、イメージセンサ部での点拡がり関数ｈｂ（ｋ，ｌ）は以下の数式６のように表される。従って入力画像Ｐ１の点拡がり関数ｇ１（ｋ，ｌ）は、光学系の点拡がり関数ｈｇ（ｋ，ｌ）とイメージセンサ部での点拡がり関数ｈｂ（ｋ，ｌ）の畳み込みとなるので、以下の数式７のように表される。
次に、変換画像Ｐｉ’の画素値は、数式２を利用して画像変換前の入力画像Ｐｉの座標値を求め、その座標値の最近傍の画素値から求めるものとする。この時、座標変換パラメータＨｉによって座標変換前の座標（ｘ２，ｙ２）が座標変換後の座標（ｘ１，ｙ１）に対応し、座標（ｘ２，ｙ２）が整数値（Ｘ２，Ｙ２）にまるめられ、この時のまるめ誤差が（α，β）であるとすると以下の数式８，９に示す関係式が成り立つ。
この場合、Ｎ枚の入力画像Ｐｉが合成された合成画像Ｇ（Ｎ）の点拡がり関数を図９（ａ），（ｂ）を用いて説明する。 In this case, the point spread function of the synthesized image G (N) obtained by synthesizing the N input images P i will be described with reference to FIGS. 9A and 9B.
（１）まず、変換画像Ｐｉ’における点拡がり関数を考える。図９（ａ），（ｂ）に示すように変換画像Ｐｉ’中の座標（ｘ１，ｙ１）に対応する入力画像Ｐｉの座標値は（ｘ２，ｙ２）である。 (1) First, consider a point spread function in the converted image P i ′. As shown in FIGS. 9A and 9B, the coordinate values of the input image P i corresponding to the coordinates (x 1 , y 1 ) in the converted image P i ′ are (x 2 , y 2 ).
（２）光学系の点拡がり関数は数式５で与えられるｈｇ（ｋ，ｌ）であるので、点光源が座標（ｘ２，ｙ２）にあるときの座標（Ｘ２，Ｙ２）を中心とした光学系の点拡がり関数は数式８との関係から以下の数式１０で与えられる。
（３）光学系の点拡がり関数ｈｇ（ｋ，ｌ）は、狭い領域に限られるので、座標変換によってはその特性は変化しないと近似する。 (3) Since the point spread function h g (k, l) of the optical system is limited to a narrow region, it is approximated that its characteristics do not change depending on coordinate transformation.
（４）この結果、変換画像Ｐｉ’中の座標（ｘ１，ｙ１）における点拡がり関数ｇｉ（ｋ，ｌ｜（ｘ１，ｙ１））は、イメージセンサ部での点拡がり関数ｈｂ（ｋ，ｌ）と数式１０に示す光学系の点拡がり関数との畳み込みとなるので、以下の数式１１により表される。
従って、合成画像Ｇ（Ｎ）は入力画像Ｐ１に２枚目以後の変換画像Ｐｉ’を加算することにより求められるので、合成画像Ｇ（Ｎ）の点拡がり関数ｈ（ｋ，ｌ｜（ｘ１，ｙ１））は以下の数１２に示すように変換画像Ｐｉ’の点拡がり関数ｇｉ（ｋ，ｌ｜（ｘ１，ｙ１））の和によって表される。従って、合成画像の各点における点拡がり関数は劣化し、合成画像にぼけが生じる。
上述の通り、変換画像Ｐｉ’の点拡がり関数ｇｉ（ｋ，ｌ｜（ｘ１，ｙ１））が規定されていれば、光学系の収差や合成時の補間処理による劣化を考慮して、合成画像Ｇ（Ｎ）の各座標（ｘ１，ｙ１）における点拡がり関数ｈ（ｋ，ｌ｜（ｘ１，ｙ１））を算出できる。そこで本発明では、座標変換パラメータＨｉの精度が高い場合、ウィーナフィルタ，一般逆フィルタ，射影フィルタ等の手法により、数式１２に示す点拡がり関数ｈ（ｋ，ｌ｜（ｘ１，ｙ１））を用いて最終的な合成画像Ｇ（Ｎ）から高精細な合成画像を生成し、劣化した合成画像Ｇ（Ｎ）を復元する。
As described above, if the point spread function g i (k, l | (x 1 , y 1 )) of the converted image P i ′ is defined, the aberration of the optical system and the deterioration due to the interpolation processing at the time of synthesis are taken into consideration. Thus, the point spread function h (k, l | (x 1 , y 1 )) at each coordinate (x 1 , y 1 ) of the composite image G (N) can be calculated. Therefore, in the present invention, when the accuracy of the coordinate transformation parameter H i is high, the point spread function h (k, l | (x 1 , y 1 ) shown in
上述の復元処理では、座標変換パラメータＨｉの精度が高いことを前提していたが、逐次合成処理型の電子式手振れ補正方式では、入力画像Ｐｉ毎に座標変換パラメータＨｉを算出するために、一括合成処理型の電子式手振れ補正方式と比較して座標変換パラメータＨｉの精度が低くなる。そして座標変換パラメータＨｉの精度の精度が低い場合には、前述した画像復元を行っても最終的な合成画像Ｇ（Ｎ）にぼけが残ってしまう。そこで上述の復元処理を実行する際には、合成画像Ｇ（Ｎ）が得られた後であっても座標変換パラメータＨｉを再演算し、再演算された座標変換パラメータＨｉを利用して高精細な合成画像を復元することが望ましい。以下、再演算された座標変換パラメータＨｉを利用した合成画像の復元方法について説明する。 In the above restoration processing, it is assumed that the accuracy of the coordinate conversion parameter H i is high. However, in the electronic camera shake correction method of the sequential synthesis processing type, the coordinate conversion parameter H i is calculated for each input image P i. In addition, the accuracy of the coordinate conversion parameter H i is lower than that of the batch synthesis processing type electronic camera shake correction method. And if less precise accuracy of the coordinate transformation parameter H i is leaves a blur in the final composite image G (N) also performs image reconstruction as described above. Therefore, when executing the above-described restoration processing, the coordinate transformation parameter H i is recalculated even after the composite image G (N) is obtained, and the recalculated coordinate transformation parameter H i is used. It is desirable to restore a high definition composite image. Hereinafter, restoration process of the re-calculated coordinate conversion parameter H i composite image using the described.
前述したように、座標変換パラメータＨｉはｉ番目の入力画像Ｐｉと１枚目の入力画像Ｐ１との複数の特徴点の対応付けから求めたものであった。全ての入力画像Ｐｉの合成が完了した時点においては、１枚目の入力画像Ｐ１から得られたＭ個の特徴点Ｆｋの座標と、（Ｎ−１）枚の入力画像それぞれの特徴点の対応座標Ｔｉ，ｋ（（Ｎ−１）×Ｍ個）のデータが得られている。そこでこの方法では、これらのデータの全ての対応を利用して高精度な座標変換パラメータＨｉ’を推定しなおす。なお座標変換パラメータＨｉ’の推定方法は文献（“カメラパラメータ推定による紙面を対象とした超解像ビデオモザイキング”，池谷彰彦，佐藤智和，池田聖，神原誠之，中島昇，横矢直和，電子情報通信学会論文誌（D-II），vol.J88-D-II，No.8，pp.1490-1498，Aug.2005.）に開示されている。 As described above, the coordinate conversion parameter H i is obtained from the association of a plurality of feature points between the i-th input image P i and the first input image P 1 . When the synthesis of all the input images P i is completed, the coordinates of the M feature points F k obtained from the first input image P 1 and the features of each of the (N−1) input images Data of corresponding coordinates T i, k ((N−1) × M pieces) of points is obtained. Therefore, in this method, the coordinate conversion parameter H i ′ with high accuracy is re-estimated using all correspondence of these data. The method of estimating the coordinate transformation parameter H i ′ is described in the literature (“Super-resolution video mosaicing for paper by camera parameter estimation”, Akihiko Ikeya, Tomokazu Sato, Kiyoshi Ikeda, Noriyuki Kanbara, Noboru Nakajima, Naokazu Yokoya, Electronics (Institute of Information and Communication Engineers (D-II), vol.J88-D-II, No.8, pp.1490-1498, Aug.2005.)
いま座標変換パラメータＨｉ’によって変換画像Ｐｉ’の座標（ｘ１，ｙ１）が入力画像Ｐｉの座標（ｘ３，ｙ３）に対応付けられるとすると、以下の数式１３が成り立つ。
前述したように、画像合成では変換画像Ｐｉ’の座標（ｘ１，ｙ１）と入力画像Ｐｉの座標（Ｘ２，Ｙ２）とが重なるように画像合成を行った。この時、図９（ｂ）に示すように、本来重ねるべき座標（ｘ３，ｙ３）と座標（Ｘ２，Ｙ２）との差分を（α’，β’）とすると以下の数式１４に示す関係が成り立つ。この場合、合成画像Ｇ（Ｎ）の点拡がり関数は以下の（１）〜（４）に示す手順により求めることができる。
（１）光学系の点拡がり関数は数式５で与えられるｈｇ（ｋ，ｌ）であるので、点光源が座標（ｘ３，ｙ３）にあるときの座標（Ｘ２，Ｙ２）を中心とした光学系の点拡がり関数は数式１４との関係から以下の数式１５で与えられる。
（２）光学系の点拡がり関数ｈｇ（ｋ，ｌ）は、狭い領域に限られるので、座標変換によってはその特性は変化しないと近似する。 (2) Since the point spread function h g (k, l) of the optical system is limited to a narrow region, it is approximated that its characteristics do not change depending on coordinate transformation.
（３）この結果、変換画像Ｐｉ’中の座標（ｘ１，ｙ１）における点拡がり関数ｇｉ（ｋ，ｌ｜（ｘ１，ｙ１））は、イメージセンサ部での点拡がり関数ｈｂ（ｋ，ｌ）と数式１５に示す光学系の点拡がり関数との畳み込みとなるので、以下の数式１６により表される。
従って、座標変換パラメータＨｉ’を用いた場合、合成画像Ｇ（Ｎ）の点拡がり関数ｈ（ｋ，ｌ｜（ｘ１，ｙ１））は以下の数１７に示すように表される。
合成画像Ｇ（Ｎ）の各座標における点拡がり関数ｈ（ｋ，ｌ｜（ｘ１，ｙ１））を算出する際には、上述の数式１２や数式１６に示す積分計算を行わなければならないが、この積分処理を以下に示すテーブル参照方式により行うようにしてもよい。このような処理によれば、合成画像Ｇ（Ｎ）の各座標における点拡がり関数ｈ（ｋ，ｌ｜（ｘ１，ｙ１））の算出処理を高速に行うことができる。
When calculating the point spread function h (k, l | (x 1 , y 1 )) at each coordinate of the composite image G (N), the integral calculation shown in the above-described
いま数式１２に対し下記の数式１８に示すような座標変換を行うと、数式１６は以下の数式１９のように表される。
上記数式１９は積分範囲を変数とする関数になる。またｈｇ（ｘ，ｙ）は偶関数であり、パラメータｘ，ｙの絶対値が共に２．５以上である場合には０に近似できるので、以下の数式２０，２１を考える。
パラメータＡ，Ｂを予め取り得る値の範囲内で量子化し、量子化されたパラメータＡ，Ｂに対応する関数ＨＧ（Ａ，Ｂ）の値を算出し、パラメータＡ，Ｂを入力とする関数ＨＧ（Ａ，Ｂ）のテーブルを予め作成しておく。このような処理によれば、合成画像Ｇ（Ｎ）の各座標における点拡がり関数ｈ（ｋ，ｌ｜（ｘ１，ｙ１））を算出する際、パラメータＡ，Ｂの値を算出し、パラメータＡ，Ｂに対応する関数ＨＧ（Ａ，Ｂ）の値をテーブルから読み出すことにより、関数ＨＧ（Ａ，Ｂ）の値を算出できるので、数式１６に示す積分計算を実行する場合と比較して高速に点拡がり関数を算出できる。
A function HG that quantizes the parameters A and B within a range of values that can be taken in advance, calculates the value of the function HG (A, B) corresponding to the quantized parameters A and B, and inputs the parameters A and B A table of (A, B) is created in advance. According to such processing, when calculating the point spread function h (k, l | (x 1 , y 1 )) at each coordinate of the composite image G (N) , the values of the parameters A and B are calculated, Since the value of the function HG (A, B) can be calculated by reading the value of the function HG (A, B) corresponding to the parameters A, B from the table, it is compared with the case where the integral calculation shown in
以下、上記復元処理により合成画像Ｇ（Ｎ）から高精細な合成画像を復元する本発明の一実施形態となるデジタルスチルカメラの構成について詳しく説明する。 Hereinafter, the configuration of a digital still camera according to an embodiment of the present invention that restores a high-definition synthesized image from the synthesized image G (N) by the restoration process will be described in detail.
〔全体構成〕
始めに、図１（ａ），（ｂ）を参照して、本発明の一実施形態となるデジタルスチルカメラ１の全体構成について説明する。
〔overall structure〕
First, an overall configuration of a digital
本発明の一実施形態となるデジタルスチルカメラ１は、図１（ａ）に示すように、略矩形形状の薄板状本体（以下、本体と略記）２の前面に撮影レンズ３，セルフタイマランプ４，ファインダ窓５，ストロボ発光部６，及びマイクロホン部７を備える。本体２上面の（使用者にとって）右端側には電源キー８及びシャッタキー９が設けられている。撮影レンズ３は、焦点距離を無段階に変化させるズーム機能及びＡＦ（AutoFocus）機能を有し、電源オフ時及び再生モード時は本体２内部に沈胴する。電源キー８は電源のオン／オフ毎に操作するキーであり、シャッタキー９は撮影モード時に撮影タイミングを指示する。
As shown in FIG. 1A, a digital
本体２の背面には、図１（ｂ）に示すように、撮影モード（Ｒ）キー１０，再生モード（Ｐ）キー１１，電子ビューファインダ（ＥＶＦ）１２，スピーカ部１３，マクロキー１４，ストロボキー１５，メニュー（ＭＥＮＵ）キー１６，リングキー１７，セット（ＳＥＴ）キー１８，及び液晶表示部１９が設けられている。撮影モードキー１０は、電源オフの状態から操作することで自動的に電源オンとして静止画の撮影モードに移行する一方、電源オンの状態から繰返し操作することで静止画と動画の撮影モードを循環的に設定する。本実施形態では、静止画の撮影モードには、所定の露光時間で通常の撮影動作を行う一枚撮影モードと、一枚撮影モードよりも短い露光時間で被写体を連続的に撮影し、複数の画像フレームを合成して一枚の画像を生成する連写撮影モードとが含まれる。
As shown in FIG. 1B, on the back of the main body 2, a shooting mode (R)
再生モードキー１１は、電源オフの状態から操作することで自動的に電源オンとして再生モードに移行する。ＥＶＦ１２は、液晶画面を使用した接眼型のファインダであり、撮影モード時にはスルー画像を液晶画面に表示する一方、再生モード時には選択された画像等を再生表示する。マクロキー１４は、静止画の撮影モードで通常撮影とマクロ撮影とを切換える際に操作する。ストロボキー１５は、ストロボ発光部６の発光モードを切り換える際に操作する。メニューキー１６は、各種メニュー項目等を選択する際に操作する。リングキー１７は、上下左右各方向への項目選択用のキーが一体に形成されたものであり、このリングキー１７の中央に位置するセットキー１８は、その時点で選択されている項目を設定する際に操作する。
When the playback mode key 11 is operated from the power-off state, the playback mode key 11 is automatically turned on to enter the playback mode. The
液晶表示部１９は、バックライト付きのカラー液晶パネルで構成されるもので、撮影モード時にはスルー画像のモニタ表示を行う一方、再生モード時には選択した画像等を再生表示する。図示しないが、デジタルスチルカメラ１の底面には、記録媒体として用いられるメモリカードを着脱するためのメモリカードスロットや、外部のパーソナルコンピュータ等と接続するためのシリアルインタフェースコネクタとしてＵＳＢ（Universal Serial Bus）コネクタ等が設けられている。
The liquid
〔撮像系及び制御系の構成〕
次に、図２，図３を参照して、本発明の一実施形態となるデジタルスチルカメラ１の撮像系及び制御系の構成について説明する。
[Configuration of imaging system and control system]
Next, with reference to FIGS. 2 and 3, the configuration of the imaging system and the control system of the digital
本発明の一実施形態となるデジタルスチルカメラ１では、撮影モードの際、モータ（Ｍ）３１の駆動により合焦位置や絞り位置が移動される、撮影レンズ３を構成するレンズ光学系３２の撮影光軸後方に配置された撮像素子であるＣＣＤ３３が、タイミング発生器（ＴＧ）３４と垂直ドライバ３５によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。この光電変換出力は、アナログ形態の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後にサンプルホールド回路（Ｓ／Ｈ）３６でサンプルホールドされ、Ａ／Ｄ変換器３７でデジタルデータに変換され、カラープロセス回路３８で画素補間処理及びγ補正処理を含むカラープロセス処理が行なわれてデジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒが生成され、ＤＭＡ（Direct Memory Access）コントローラ３９に出力される。
In the digital
ＤＭＡコントローラ３９は、カラープロセス回路３８が出力する輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、同じくカラープロセス回路３８からの複合同期信号，メモリ書込みイネーブル信号，及びクロック信号を用いて一度ＤＭＡコントローラ３９内部のバッファに書込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）４０を介してバッファメモリとして使用されるＤＲＡＭ４１にＤＭＡ転送する。制御部４２は、ＣＰＵ，ＣＰＵで実行されるコンピュータプログラムを固定的に記憶したＲＯＭ，及びワークメモリとして使用されるＲＡＭ等により構成され、デジタルスチルカメラ１全体の動作を制御する。
The
制御部４２は、ＤＲＡＭ４１への輝度及び色差信号のＤＭＡ転送終了後に、この輝度及び色差信号をＤＲＡＭインタフェース４０を介してＤＲＡＭ４１より読出し、ＶＲＡＭコントローラ４３を介してＶＲＡＭ４４に書込む。デジタルビデオエンコーダ４５は、上記輝度及び色差信号をＶＲＡＭコントローラ４３を介してＶＲＡＭ４４より定期的に読出し、これらのデータを元にビデオ信号を発生してＥＶＦ１２と液晶表示部１９に出力する。ＥＶＦ１２と液晶表示部１９は、デジタルビデオエンコーダ４５からのビデオ信号に基づいた表示を行なうことで、その時点でＶＲＡＭコントローラ４３から取込んでいる画像情報に基づく画像をリアルタイムに表示する。
After the DMA transfer of the luminance and color difference signals to the DRAM 41 is completed, the
このようにＥＶＦ１２と液晶表示部１９にはその時点での画像がモニタ画像としてリアルタイムに表示される、所謂スルー画像の表示状態で、静止画撮影を行ないたいタイミングでシャッタキー９を操作するとトリガ信号を発生する。制御部４２は、このトリガ信号に応じてその時点でＣＣＤ３３から取込んでいる１画面分の輝度及び色差信号のＤＲＡＭ４１へのＤＭＡ転送を取り止め、改めて適正な露出条件に従った絞り値及びシャッタ速度でＣＣＤ３３を駆動して１画面分の輝度及び色差信号を得てＤＲＡＭ４１へ転送し、その後にこの経路を停止し、記録保存の状態に遷移する。
As described above, the
この記録保存の状態では、制御部４２がＤＲＡＭ４１に書込まれている輝度及び色差信号をＤＲＡＭインタフェース４０を介してＹ，Ｃｂ，Ｃｒの各コンポーネント毎に読出して画像処理部４７に書込み、この画像処理部４７でＡＤＣＴ（Adaptive Discrete Cosine Transform：適応離散コサイン変換），エントロピ符号化方式であるハフマン符号化等の処理によりデータ圧縮する。そして、得た符号データを画像処理部４７から読出し、デジタルスチルカメラ１の記録媒体として着脱自在に装着されるメモリカード４８又はデジタルスチルカメラ１に固定的に内蔵される内蔵メモリ（図示せず）のいずれか一方に書込む。そして、輝度及び色差信号の圧縮処理及びメモリカード４８又は内蔵メモリへの全圧縮データの書込み終了に伴なって、制御部４２はＣＣＤ３３からＤＲＡＭ４１への経路を再び起動する。
In this recording and storage state, the
制御部４２には、キー入力部４９，音声処理部５０、及びストロボ駆動部５１が接続される。キー入力部４９は、上述した電源キー８，シャッタキー９，撮影モードキー１０，再生モードキー１１，マクロキー１４，ストロボキー１５，メニューキー１６，リングキー１７，セットキー１８等から構成され、それらのキー操作に伴なう信号は直接制御部４２へ送出される。音声処理部５０は、ＰＣＭ音源等の音源回路を備え、音声の録音時にはマイクロホン部７より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばＭＰ３（MPEG-1 audio layer 3）規格にしたがってデータ圧縮して音声データファイルを作成してメモリカード４８又は内蔵メモリへ送出する一方、音声の再生時にはメモリカード４８又は内蔵メモリから送られてきた音声データファイルの圧縮を解いてアナログ化し、スピーカ部（ＳＰ）１３を駆動して、拡声放音させる。ストロボ駆動部５１は、静止画像撮影時に図示しないストロボ用の大容量コンデンサを充電した上で、制御部４２からの制御に基づいてストロボ発光部６を閃光駆動する。
A
内蔵メモリ６０は、図３に示すように、後述する連写合成撮影処理の際に入力画像Ｐｉが順次記憶される入力画像用メモリ領域６１と、連写合成撮影処理により合成された合成画像Ｇ（ｉ）が記憶される合成画像用メモリ領域６２と、連写合成撮影処理により抽出されたＭ個の特徴点Ｆｋの位置情報，Ｍ個の特徴点Ｆｋ近傍の画像（テンプレート）情報，Ｍ×（Ｎ−１）個の特徴点の追跡座標Ｔｉ，ｋ，及び入力画像Ｐｉ毎の（Ｎ−１）個の座標変換パラメータＨｉが記憶される情報記憶用メモリ領域６３と、作業用メモリ領域６４とを備える。
As shown in FIG. 3, the built-in
〔連写合成撮影処理〕
このような構成を有するデジタルスチルカメラ１は、以下に示す撮影処理を実行することにより合成画像を生成する。以下、図４に示すフローチャートを参照して、この撮影処理を実行する際の制御部４２の動作について説明する。
[Continuous shooting composite processing]
The digital
図４に示すフローチャートは、デジタルスチルカメラ１の動作モードが静止画の撮影モードに切り替わったタイミングで開始となり、撮影処理はステップＳ１の処理に進む。なお以下に示すデジタルスチルカメラ１の動作は、制御部４２内のＣＰＵがＲＯＭに記憶されているコンピュータプログラムをＲＡＭにロードし、ＲＡＭにロードされたコンピュータプログラムを実行することにより実現される。
The flowchart shown in FIG. 4 starts at the timing when the operation mode of the digital
ステップＳ１の処理では、制御部４２が、撮像系及び制御系を初期状態に設定することにより、撮影処理に関係するシステムの初期化を行う。これにより、ステップＳ１の処理は完了し、撮影処理はステップＳ２の処理に進む。
In the process of step S1, the
ステップＳ２の処理では、制御部４２が、撮影画像の撮影枚数を計数するためのカウンタｉの値を“０”に初期化する。これにより、ステップＳ２の処理は完了し、撮影処理はステップＳ３の処理に進む。
In the process of step S2, the
ステップＳ３の処理では、制御部４２が、シャッタキー９が押下されているか否かを判別する。シャッタキー９が押下されていると判別した場合、制御部４２は撮影処理をステップＳ４の処理に進める。一方、シャッタキー９が押下されていないと判別した場合には、制御部４２は撮影処理をステップＳ８の処理に進める。
In the process of step S3, the
ステップＳ４の処理では、制御部４２が、撮影画像の撮影枚数を計数するためのカウンタｉの値を１増数する。これにより、ステップＳ４の処理は完了し、撮影処理はステップＳ５の処理に進む。
In the process of step S4, the
ステップＳ５の処理では、制御部４２が、撮影画像を撮像し、撮影画像のデータを入力画像用メモリ領域６１内に記憶する。なお以下の説明では、入力画像用メモリ領域６１内に記憶されたｉ枚目の撮影画像を入力画像Ｐｉと表記する。また入力画像Ｐｉを入力画像用メモリ領域６１に記憶する際、制御部４２は入力画像Ｐｉの記憶領域にその時のカウンタｉの値をインデックス番号として付与する。これにより、ステップＳ５の処理は完了し、撮影処理はステップＳ６の処理に進む。
In the process of step S <b> 5, the
ステップＳ６の処理では、制御部４２が、入力画像Ｐｉが記憶されている入力画像用メモリ領域６１のアドレス値とそのインデックス番号ｉを引数とする画像合成命令を画像処理部４７に出力し、画像処理部４７は、画像合成命令を受けて画像合成処理を実行する。なお画像合成処理の詳細については図５に示すフローチャートを参照して後述する。これにより、ステップＳ６の処理は完了し、撮影処理はステップＳ７の処理に進む。
In the process of step S6, the
ステップＳ７の処理では、制御部４２が、撮影画像の撮影枚数を計数するためのカウンタｉの値が規定値（本実施形態では“１６”）であるか否かを判別する。カウンタｉの値が規定値でない場合、制御部４２は、合成画像を生成するために必要な規定枚数の撮影画像が撮像されていないと判断し、撮影処理をステップＳ３の処理に戻す。一方、カウンタｉの値が規定値である場合には、制御部４２は、合成画像を生成するために必要な規定枚数の撮影画像が撮像されたと判断し、撮影処理をステップＳ９の処理に進める。
In the process of step S7, the
ステップＳ８の処理では、制御部４２が、撮影画像の撮影枚数を計数するためのカウンタｉの値が０であるか否かを判定する。カウンタｉの値が０である場合、制御部４２は撮影処理をステップＳ３の処理に戻す。カウンタｉの値が０でない場合には、制御部４２は撮影処理をステップＳ９の処理に進める。
In the process of step S8, the
ステップＳ９の処理では、画像処理部４７が、情報記憶用メモリ領域６３から入力画像Ｐ１の特徴点Ｆｋの座標（ｘ１，ｙ１）に対応する追跡座標Ｔｉ，ｋのデータを読み出し、特徴点Ｆｋの座標（ｘ１，ｙ１）と追跡座標Ｔｉ，ｋの対応関係を利用して高精度な座標変換パラメータＨｉ’を推定する。なお座標変換パラメータＨｉ’の推定方法は既述の通りであるので説明を省略する。画像復元性能よりも一連の合成処理時間を短縮したい場合には、この処理を省略し、ステップＳ６で求めた座標変換パラメータＨｉを高精度な座標変換パラメータＨｉ’の代わりに用いてもよい。その場合でも以下の処理にて画像劣化の復元効果が得られる。これにより、ステップＳ９の処理は完了し、撮影処理はステップＳ１０の処理に進む。
In the process of step S9, the
ステップＳ１０の処理では、画像処理部４７が、ステップＳ９の処理により算出された座標変換パラメータＨｉ’（２≦ｉ≦Ｎ）と情報記憶用メモリ領域６３に記憶されている座標変換パラメータＨｉから合成画像Ｇ（Ｎ）の点拡がり関数ｈ（ｋ，ｌ｜（ｘ１，ｙ１））を算出する。なおＰＳＦの算出方法については図１０に示すフローチャートを参照して後述する。これにより、ステップＳ１０の処理は完了し、撮影処理はステップＳ１１の処理に進む。
In the process of step S10, the
ステップＳ１１の処理では、画像処理部４７が、ウィーナフィルタ，一般逆フィルタ，射影フィルタ等の手法を用いて、ステップＳ１０の処理により算出された合成画像Ｇ（Ｎ）の点拡がり関数ｈ（ｋ，ｌ｜（ｘ１，ｙ１））を利用して合成画像Ｇ（Ｎ）から劣化のない高精細な復元画像を生成する。これにより、ステップＳ１１の処理は完了し、撮影処理はステップＳ１２の処理に進む。
In the process of step S11, the
ステップＳ１２の処理では、画像処理部４７が、ステップＳ１１の処理により生成された合成画像に対しホワイトバランス調整や輝度γ補正等の現像処理を施す。これにより、ステップＳ１２の処理は完了し、撮影処理はステップＳ１３の処理に進む。
In step S12, the
ステップＳ１３の処理では、画像処理部４７が、ステップＳ１２の処理後の合成画像をＪＰＥＧ形式に圧縮する。これにより、ステップＳ１３の処理は完了し、撮影処理はステップＳ１４の処理に進む。
In the process of step S13, the
ステップＳ１４の処理では、画像処理部４７が、ステップＳ１３の処理後の合成画像のデータを合成画像用メモリ領域６２に記憶する。これにより、ステップＳ１４の処理は完了し、撮影処理はステップＳ１５の処理に進む。
In the process of step S <b> 14, the
ステップＳ１５の処理では、制御部４２が、シャッタキー９が押下されているか否かを判別する。そして制御部４２は、シャッタキー９が押下されなくなったタイミングで撮影処理をステップＳ３の処理に戻す。
In the process of step S15, the
〔合成処理〕
次に、図５に示すフローチャートを参照して、上記ステップＳ６の合成画像生成処理について詳しく説明する。
(Composition process)
Next, the composite image generation process in step S6 will be described in detail with reference to the flowchart shown in FIG.
図５に示すフローチャートは、上記ステップＳ５の処理が完了したタイミングで開始となり、合成画像生成処理はステップＳ２１の処理に進む。 The flowchart shown in FIG. 5 starts at the timing when the process of step S5 is completed, and the composite image generation process proceeds to the process of step S21.
ステップＳ２１の処理では、画像処理部４７が、画像合成命令の引数であるインデックス番号ｉの値が１であるか否かを判別する。インデックス番号ｉの値が１である場合、画像処理部４７は合成処理をステップＳ２２の処理に進める。一方、インデックス番号ｉの値が１でない場合には、画像処理部４７は合成処理をステップＳ２５の処理に進める。
In the process of step S21, the
ステップＳ２２の処理では、画像処理部４７が、画像合成命令の引数である入力画像用メモリ領域６１のアドレス値を参照して、１枚目の撮影画像Ｐ１のデータを入力画像メモリ領域６１から作業メモリ領域６４内に読み出し、ＫＬＴ法により１枚目の撮影画像Ｐ１からＭ個の特徴点Ｆｋ（１≦ｋ≦Ｍ）を抽出する。そして画像処理部４７は、抽出されたＭ個の特徴点Ｆｋの位置座標を情報記憶用メモリ領域６３内に記憶する。なお特徴点Ｆｋの個数Ｍは５０以上であることが望ましい。これにより、ステップＳ２２の処理は完了し、合成処理はステップＳ２３の処理に進む。
In the process of step S22, the
ステップＳ２３の処理では、画像処理部４７が、各特徴点Ｆｋについて、特徴点Ｆｋを中心点とするＬ×Ｌの大きさの画像を１枚目の撮影画像Ｐ１から切り出し、切り出された画像のデータをテンプレート（特徴点近傍画像Ｒｋ）として情報記憶用メモリ領域６３内に記憶する。これにより、ステップＳ２３の処理は完了し、合成処理はステップＳ２４の処理に進む。
In the process of step S23, the
ステップＳ２４の処理では、画像処理部４７が、１枚目の撮影画像Ｐ１を１枚目の合成画像Ｇ（１）に設定し、合成画像Ｇ（１）のデータを合成画像用メモリ領域６２に記憶する。なお入力画像Ｐｉの１画素あたりのビット数は、ＣＣＤ３３の解像度となり、一般には８〜１２ビットである。一方、合成画像Ｇ（ｉ）のビット数は、複数枚の撮影画像を合成することにより生成されるので、８〜１２ビットより多くなる。従って、合成画像Ｇ（ｉ）のデータを合成画像用メモリ領域６２にコピーする際は、ビット数を減らしながらコピーすることが望ましい。これにより、ステップＳ２４の処理は完了し、一連の合成処理は終了する。
In the process of step S24, the
ステップＳ２５の処理では、画像処理部４７が、各特徴点Ｆｋの位置座標とテンプレートの情報を情報記憶用メモリ領域６３から読み出し、各特徴点Ｆｋについて、特徴点Ｆｋを中心とした所定の探索範囲内の各点におけるテンプレートとの類似度を算出する。そして画像処理部４７は、類似度が最も高い点の座標を撮影画像Ｐｉにおける特徴点Ｆｋの座標（追跡座標）Ｔｉ，ｋとし、追跡座標Ｔｉ，ｋの情報を情報記憶用メモリ領域６３に記憶する。これにより、ステップＳ２５の処理は完了し、合成処理はステップＳ２６の処理に進む。
In the process at step S25, the
ステップＳ２６の処理では、画像処理部４７が、Ｍ個の特徴点Ｆｋの座標とそれぞれの追跡座標Ｔｉ，ｋの対応関係から座標変換パラメータＨｉを算出し、算出された座標変換パラメータＨｉを情報記憶用メモリ領域６３に記憶する。なおこの対応関係には、誤ったものが含まれている可能性があるので、ＲＡＮＳＡＣによって誤った対応関係を外しながら座標変換パラメータＨｉを算出する。これにより、ステップＳ２６の処理は完了し、合成処理はステップＳ２７の処理に進む。
In step S26, the
ステップＳ２７の処理では、画像処理部４７が、ステップＳ２６の処理により算出された座標変換パラメータＨｉを利用して撮影画像Ｐｉを１枚目の撮影画像Ｐ１に座標変換して変換画像（位置補正画像）Ｐｉ’を生成する。そして画像処理部４７は、変換画像Ｐｉ’の座標値（ｘ１，ｙ１）を数式２に順番に代入し、入力画像Ｐｉの座標（ｘ２，ｙ２）における画素値Ｐｉ（ｘ２，ｙ２）を読み出すことにより、変換画像Ｐｉ’の各画素Ｐｉ’（ｘ１，ｙ１）の値を算出する。
In the process of step S27, the
なお座標（ｘ２，ｙ２）は整数値になるとは限らないので、整数値でない場合には、最近傍法による補間処理により座標（ｘ２，ｙ２）近傍の画素値から座標（ｘ２，ｙ２）における画素値Ｐｉ（ｘ２，ｙ２）を算出することが望ましい。また変換画像Ｐｉ’を生成する際は、１画素毎に変換画像Ｐｉ’を生成し、全画面の変換画像Ｐｉ’を一度に生成しないことが望ましい。この場合、具体的には、（１）座標（ｘ１，ｙ１）を（０，０）に初期化し、（２）数式２に座標（ｘ１，ｙ１）を代入して座標（ｘ２，ｙ２）を算出し、（３）座標（ｘ２，ｙ２）を四捨五入して整数値（Ｘ２，Ｙ２）を算出し、（４）合成画像用メモリ領域６２に記憶されている合成画像の座標（ｘ１，ｙ１）における画素値を更新し、（５）座標（ｘ１，ｙ１）を次の座標位置に移動させるという処理を全画素について実行するまで繰り返し実行する。これにより、変換画像Ｐｉ’を生成するために必要なメモリ容量を減らすことができる。これにより、ステップＳ２７の処理は完了し、一連の合成処理は終了する。
Note Since the coordinates (x 2, y 2) is not necessarily an integer value, if not an integer value, coordinates by interpolation based on the nearest neighbor method (x 2, y 2) coordinates from pixel values of the neighboring (x 2 , Y 2 ), it is desirable to calculate the pixel value P i (x 2 , y 2 ). The converted image P i 'when generating the converted image P i for each pixel' generates, it is preferable not to generate a transformed image P i 'of the whole screen at a time. In this case, specifically, (1) the coordinates (x 1 , y 1 ) are initialized to (0, 0), and (2) the coordinates (x 1 , y 1 ) are substituted into Equation 2 to obtain the coordinates (x 2, y 2) is calculated, (3) the coordinates (x 2, y 2) integer value by rounding off (X 2, Y 2) is calculated and stored in (4) the composite
〔ＰＳＦの算出処理〕
次に、図１０に示すフローチャートを参照して、上記ステップＳ１０のＰＳＦの算出処理について詳しく説明する。
[PSF calculation process]
Next, the PSF calculation process in step S10 will be described in detail with reference to the flowchart shown in FIG.
図１０に示すフローチャートは、上記ステップＳ９の処理が完了したタイミングで開始となり、合成画像生成処理はステップＳ３１の処理に進む。 The flowchart shown in FIG. 10 starts at the timing when the process of step S9 is completed, and the composite image generation process proceeds to the process of step S31.
ステップＳ３１の処理では、画像処理部４７が、点拡がり関数ｈ’（ｋ，ｌ｜（ｘ１，ｙ１））の全要素の値を０に初期化する。これにより、ステップＳ３１の処理は完了し、算出処理はステップＳ３２の処理に進む。
In step S31, the
ステップＳ３２の処理では、画像処理部４７が、座標変換パラメータＨｉのインデックスを示すカウンタの値ｉを２に初期化する。これにより、ステップＳ３２の処理は完了し、算出処理はステップＳ３３の処理に進む。
In the process of step S32, the
ステップＳ３３の処理では、画像処理部４７が、全座標値における点拡がり関数を算出するために座標（ｘ１，ｙ１）の値を（０，０）に初期化する。これにより、ステップＳ３３の処理は完了し、算出処理はステップＳ３４の処理に進む。
In the process of step S33, the
ステップＳ３４の処理では、画像処理部４７が、座標変換パラメータＨｉと座標（ｘ１，ｙ１）を用いて数式２から座標（ｘ２，ｙ２）を算出すると共に、算出された座標（ｘ２，ｙ２）の小数点以下の値を四捨五入することにより座標（ｘ２，ｙ２）の整数部の座標（Ｘ２，Ｙ２）を算出する。これにより、ステップＳ３４の処理は完了し、算出処理はステップＳ３５の処理に進む。
In the process of step S34, the
ステップＳ３５の処理では、画像処理部４７が、座標変換パラメータＨｉ’と座標（ｘ１，ｙ１）を用いて数式１３から座標（ｘ３，ｙ３）を算出すると共に数式１４から残差（α’，β’）を算出する。これにより、ステップＳ３５の処理は完了し、算出処理はステップＳ３６の処理に進む。
In the process of step S35, the
ステップＳ３６の処理では、画像処理部４７が、全座標値における点拡がり関数を算出するために、パラメータ（ｋ、ｌ）の値を初期化する。通常、パラメータｋ，ｌの値は−３≦ｋ，ｌ≦３の範囲内にあるので、初期値は例えば（−３，３）が選ばれる。これにより、ステップＳ３６の処理は完了し、算出処理はステップＳ３７の処理に進む。
In the process of step S36, the
ステップＳ３７の処理では、画像処理部４７が、数式２１を用いてパラメータＡ，Ｂを算出する。これにより、ステップＳ３７の処理は完了し、算出処理はステップＳ３８の処理に進む。
In the process of step S <b> 37, the
ステップＳ３８の処理では、画像処理部４７が、ステップＳ３７の処理により算出されたパラメータＡ，Ｂに対応する関数ＨＧ（Ａ，Ｂ）の値をテーブルから読み出し、変換画像Ｐｉ’の点拡がり関数ｇｉ（ｋ，ｌ｜（ｘ１，ｙ１））を算出する。さらに画像処理部４７は、算出された点拡がり関数の値を合成画像Ｇ（Ｎ）の点拡がり関数ｈ’（ｋ，ｌ｜（ｘ１，ｙ１））に加算して合成画像Ｇ（Ｎ）の点拡がり関数ｈ’（ｋ，ｌ｜（ｘ１，ｙ１））を更新する。これにより、ステップＳ３８の処理は完了し、算出処理はステップＳ３９の処理に進む。
In the process of step S38, the
ステップＳ３９の処理では、画像処理部４７が、パラメータ（ｋ，ｌ）の全ての組み合わせについて算出処理を行ったか否かを判別する。判別の結果、全ての組み合わせについて算出処理を行っていないと判定した場合、画像処理部４７は、パラメータ（ｋ，ｌ）の値を次の組み合わせの値に更新した後、算出処理をステップＳ３７の処理に戻す。一方、全ての組み合わせについて算出処理を行ったと判定した場合には、画像処理部４７は算出処理をステップＳ４０の処理に進める。
In the process of step S39, the
ステップＳ４０の処理では、画像処理部４７が、全ての座標（ｘ１，ｙ１）について算出処理を行ったか否かを判別する。判別の結果、全ての座標（ｘ１，ｙ１）について算出処理を行っていないと判定した場合、画像処理部４７は、座標（ｘ１，ｙ１）の値を更新した後、算出処理をステップＳ３４の処理に戻す。一方、全ての座標（ｘ１，ｙ１）について算出処理を行ったと判定した場合には、画像処理部４７は算出処理をステップＳ４１の処理に進める。
In step S40, the
ステップＳ４１の処理では、画像処理部４７が、座標変換パラメータＨｉのインデックスを示すカウンタの値ｉがＮであるか否かを判別する。判別の結果、カウンタの値ｉがＮでない場合、画像処理部４７はカウンタの値ｉを１増数した後、算出処理をステップＳ３３の処理に戻す。一方、カウンタの値ｉがＮである場合には、画像処理部４７は一連の算出処理を終了する。
In the process of step S41, the
以上の算出処理によって最終的に算出される点拡がり関数ｈ’（ｋ，ｌ｜（ｘ１，ｙ１））は数式１７を計算したことになるので、合成画像Ｇ（Ｎ）の点拡がり関数を求めたことになる。 Since the point spread function h ′ (k, l | (x 1 , y 1 )) finally calculated by the above calculation process is obtained by calculating Equation 17, the point spread function of the composite image G (N) is calculated. I asked for.
以上の説明から明らかなように、本発明の実施形態となるデジタルスチルカメラ１では、制御部４２が、各入力画像Ｐｉの座標変換パラメータＨｉを利用して合成画像Ｇ（Ｎ）の各座標における点拡がり関数ｈ（ｋ，ｌ｜（ｘ１，ｙ１））を演算し、演算された点拡がり関数ｈ（ｋ，ｌ｜（ｘ１，ｙ１））を利用して合成画像Ｇ（Ｎ）を復元するので、各入力画像Ｐｉの点拡がり関数の劣化によって合成画像Ｇ（Ｎ）が劣化することを抑制し、高精細な合成画像Ｇ（Ｎ）を生成することができる。
As is clear from the above description, in the digital
また本発明の実施形態となるデジタルスチルカメラ１では、制御部４２が、全ての入力画像Ｐｉの合成完了後、特徴点Ｆｋの座標（ｘ１，ｙ１）と追跡座標Ｔｉ，ｋの対応関係を利用して座標変換パラメータＨｉを補正し、補正された座標変換パラメータＨｉを利用して合成画像Ｇ（Ｎ）の各座標における点拡がり関数ｈ（ｋ，ｌ｜（ｘ１，ｙ１））を再演算し、再演算された点拡がり関数ｈ（ｋ，ｌ｜（ｘ１，ｙ１））を利用して合成画像を復元するので、座標変換パラメータＨｉを高精度化することにより、さらに高精細な合成画像Ｇ（Ｎ）を生成することができる。
In the digital
以上、本発明者によってなされた発明を適用した実施の形態について説明したが、この実施の形態による本発明の開示の一部をなす論述及び図面により本発明は限定されることはない。すなわち、上記実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれることは勿論であることを付け加えておく。 As mentioned above, although the embodiment to which the invention made by the present inventor is applied has been described, the present invention is not limited by the description and the drawings that form part of the disclosure of the present invention according to this embodiment. That is, it should be added that other embodiments, examples, operation techniques, and the like made by those skilled in the art based on the above embodiments are all included in the scope of the present invention.
本発明は、逐次合成処理型の電子式手振れ補正動作により手振れ補正画像を生成する撮像装置に適用することができる。 The present invention can be applied to an imaging apparatus that generates a camera shake correction image by a sequential synthesis processing type electronic camera shake correction operation.
１：デジタルスチルカメラ
２：本体
４２：制御部
４７：画像処理部
６０：内部メモリ
６１：入力画像用メモリ領域
６２：合成画像用メモリ領域
６３：情報記憶用メモリ領域
６４：作業メモリ領域
1: Digital still camera 2: Main body 42: Control unit 47: Image processing unit 60: Internal memory 61: Input image memory area 62: Composite image memory area 63: Information storage memory area 64: Work memory area
Claims (4)
１枚目の撮影画像から特徴点を抽出し、２枚目以後の各撮影画像について、撮影画像中における前記特徴点の位置を追跡座標として抽出する特徴点抽出手段と、
前記特徴点の座標と前記追跡座標の対応関係を利用して、２枚目以後の各撮影画像について、撮影画像を１枚目の撮影画像に重ね合わせるための座標変換パラメータを順次算出する座標変換パラメータ算出手段と、
前記座標変換パラメータ算出手段により算出された座標変換パラメータを用いて２枚目以後の各撮影画像の座標変換を行い、座標変換された各撮影画像を１枚目の撮影画像に順次合成することにより、前記複数の撮影画像が合成された合成画像を生成する合成手段と、
前記1枚目の撮影画像及び前記座標変換された各撮影画像ごとの点拡がり関数の値を加算することで、前記合成画像の点拡がり関数を演算する点拡がり関数演算手段と、
前記点拡がり関数演算手段により演算された点拡がり関数を利用して前記合成手段により生成された合成画像を復元する復元手段と
を備えることを特徴とする撮像装置。 Imaging means for continuously capturing a plurality of captured images;
A feature point extracting means for extracting a feature point from the first photographed image and extracting the position of the feature point in the photographed image as tracking coordinates for each of the second and subsequent photographed images;
Coordinate transformation for sequentially calculating coordinate transformation parameters for superimposing the photographed image on the first photographed image for each of the second and subsequent photographed images using the correspondence relationship between the coordinates of the feature points and the tracking coordinates Parameter calculation means;
By performing coordinate conversion of the second and subsequent captured images using the coordinate conversion parameter calculated by the coordinate conversion parameter calculating means, and sequentially synthesizing the captured images after coordinate conversion with the first captured image. Combining means for generating a combined image obtained by combining the plurality of photographed images;
A point spread function calculation means for calculating a point spread function of the composite image by adding a value of a point spread function for each of the first shot image and each coordinate-converted shot image ;
An image pickup apparatus comprising: a restoration unit that restores a composite image generated by the synthesis unit using the point spread function calculated by the point spread function calculation unit.
前記合成手段は、The synthesis means includes
前記座標変換パラメータを用いて変換された座標にまるめ処理を施し、前記まるめ処理が施された座標に座標変換された各撮影画像を１枚目の撮影画像に順次合成することにより、前記複数の撮影画像が合成された合成画像を生成することA rounding process is performed on the coordinates converted using the coordinate conversion parameter, and each captured image coordinate-converted to the coordinate subjected to the rounding process is sequentially combined with a first captured image, thereby the plurality of the plurality of captured images. Generate a composite image that is a composite of the captured images
を特徴とする撮像装置。An imaging apparatus characterized by the above.
前記点拡がり関数演算手段は、The point spread function calculation means includes:
前記まるめ処理が施された座標及び当該座標のまるめ誤差に応じて前記２枚目以後の各撮影画像の点拡がり関数を演算するA point spread function is calculated for each of the second and subsequent captured images in accordance with the rounded coordinate and the rounding error of the coordinate.
を特徴とする撮像装置。An imaging apparatus characterized by the above.
１枚目の撮影画像から特徴点を抽出し、２枚目以後の各撮影画像について、撮影画像中における前記特徴点の位置を追跡座標として抽出する処理と、
前記特徴点の座標と前記追跡座標の対応関係を利用して、２枚目以後の各撮影画像について、撮影画像を１枚目の撮影画像に重ね合わせるための座標変換パラメータを順次算出する処理と、
前記座標変換パラメータを用いて２枚目以後の各撮影画像の座標変換を行い、座標変換された各撮影画像を１枚目の撮影画像に順次合成することにより、前記複数の撮影画像が合成された合成画像を生成する処理と、
前記1枚目の撮影画像及び前記座標変換された各撮影画像ごとの点拡がり関数の値を加算することで、前記合成画像の点拡がり関数を演算する処理と、
前記点拡がり関数を利用して前記生成された合成画像を復元する処理と
をコンピュータに実行させることを特徴とする撮像装置のコンピュータプログラム。 A computer program of an imaging apparatus executed by a computer built in an imaging apparatus including an imaging unit that continuously captures a plurality of captured images,
A process of extracting feature points from the first photographed image and extracting the position of the feature point in the photographed image as tracking coordinates for each of the second and subsequent photographed images;
A process of sequentially calculating coordinate conversion parameters for superimposing the photographed image on the first photographed image for each of the second and subsequent photographed images using the correspondence between the coordinates of the feature points and the tracking coordinates; ,
The plurality of captured images are synthesized by performing coordinate conversion of the second and subsequent captured images using the coordinate conversion parameters, and sequentially synthesizing the coordinate-converted captured images with the first captured image. Processing to generate a combined image,
A process of calculating the point spread function of the composite image by adding the value of the point spread function for each of the first shot image and each coordinate-converted shot image ;
Computer program of an imaging apparatus, characterized in that to execute a process of restoring the Kisei made composite image before using the point spread function in the computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007214964A JP4930277B2 (en) | 2007-08-21 | 2007-08-21 | Imaging apparatus and computer program therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007214964A JP4930277B2 (en) | 2007-08-21 | 2007-08-21 | Imaging apparatus and computer program therefor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009049777A JP2009049777A (en) | 2009-03-05 |
| JP4930277B2 true JP4930277B2 (en) | 2012-05-16 |
Family
ID=40501543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007214964A Expired - Fee Related JP4930277B2 (en) | 2007-08-21 | 2007-08-21 | Imaging apparatus and computer program therefor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4930277B2 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5297325B2 (en) * | 2009-10-02 | 2013-09-25 | ダンロップスポーツ株式会社 | Image stabilization method when shooting golf swing |
| JP5482428B2 (en) * | 2010-05-14 | 2014-05-07 | カシオ計算機株式会社 | Imaging apparatus, camera shake correction method, and program |
| JP5733949B2 (en) * | 2010-10-25 | 2015-06-10 | キヤノン株式会社 | Imaging apparatus and control method thereof |
| US8665334B2 (en) * | 2011-08-22 | 2014-03-04 | Raytheon Company | Blur-calibration system for electro-optical sensors and method using a moving multi-target constellation |
| JP5869833B2 (en) * | 2011-10-06 | 2016-02-24 | ザインエレクトロニクス株式会社 | Camera shake correction processing apparatus and camera shake correction processing method |
| WO2014074138A1 (en) | 2012-11-09 | 2014-05-15 | Nikon Corporation | Globally dominant point spread function estimation |
| US9530079B2 (en) | 2012-11-09 | 2016-12-27 | Nikon Corporation | Point spread function classification using structural properties |
| CN108898551B (en) * | 2018-06-14 | 2020-07-31 | 北京微播视界科技有限公司 | Image merging method and device |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11272866A (en) * | 1998-03-23 | 1999-10-08 | Olympus Optical Co Ltd | Image restoring method |
| JP4518979B2 (en) * | 2005-03-03 | 2010-08-04 | ライトロン株式会社 | Apparatus and method for visualizing fine sample, apparatus and method for visualizing fine lattice disturbance |
| JP4466430B2 (en) * | 2005-03-29 | 2010-05-26 | カシオ計算機株式会社 | Electronic camera and imaging control program |
| JP4469309B2 (en) * | 2005-06-22 | 2010-05-26 | 株式会社リコー | Camera shake correction method, camera shake correction apparatus, and imaging apparatus |
-
2007
- 2007-08-21 JP JP2007214964A patent/JP4930277B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009049777A (en) | 2009-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4930277B2 (en) | Imaging apparatus and computer program therefor | |
| JP4569389B2 (en) | Imaging apparatus, image processing method, and program | |
| JP3897247B2 (en) | Optical distortion correction method and correction apparatus | |
| KR101256326B1 (en) | Image capturing apparatus, image capturing method, and storage medium storing program for image capturing | |
| US20030071904A1 (en) | Image capturing apparatus, image reproducing apparatus and program product | |
| EP1988705A1 (en) | Improvements in or relating to image sensors | |
| KR101109532B1 (en) | Image capturing device, image capturing method, and a storage medium recording thereon a image capturing program | |
| JP2004336106A (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| JP2009194896A (en) | Image processing device and method, and imaging apparatus | |
| TW200304325A (en) | Image photographing device and color difference compensation method | |
| JP2008306651A (en) | Imaging system and program | |
| US8525913B2 (en) | Digital photographing apparatus, method of controlling the same, and computer-readable storage medium | |
| US9609167B2 (en) | Imaging device capable of temporarily storing a plurality of image data, and control method for an imaging device | |
| JP4185468B2 (en) | Exposure apparatus and method for correcting captured image | |
| US7286701B2 (en) | Image synthesis apparatus and image synthesis method | |
| JP2001285698A (en) | Electronic camera | |
| JP2018148512A (en) | Imaging device, control method of imaging device, and program | |
| US20160012562A1 (en) | Image processing apparatus and image processing method | |
| JP5402242B2 (en) | Image reproduction apparatus, imaging apparatus, image reproduction method, and image reproduction program | |
| JPH11250240A (en) | Digital image pickup device for operating distortion correction by yuv data | |
| WO2008050674A1 (en) | Imaging device, image recording method and image recording program | |
| JP2006319541A (en) | Imaging device, moving picture processing method, and program | |
| JP2009033385A (en) | Image processor, image processing method, image processing program and imaging device | |
| JP2006094031A (en) | Imaging apparatus, image processing method, and program | |
| JP4678273B2 (en) | Imaging apparatus, moving image storage method, and moving image storage program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100722 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110816 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111017 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120117 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120130 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4930277 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150224 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |