JP2005143029A - Image processing apparatus, image processing method, program, information recording medium and image pickup device - Google Patents
Image processing apparatus, image processing method, program, information recording medium and image pickup device Download PDFInfo
- Publication number
- JP2005143029A JP2005143029A JP2003380147A JP2003380147A JP2005143029A JP 2005143029 A JP2005143029 A JP 2005143029A JP 2003380147 A JP2003380147 A JP 2003380147A JP 2003380147 A JP2003380147 A JP 2003380147A JP 2005143029 A JP2005143029 A JP 2005143029A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- small area
- distance
- composite image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
本発明は、画像処理に係り、より詳細には、同一の画角で異なった合焦距離で撮影された複数の画像を合成する装置及び方法、並びに、合成画像から合焦距離の異なる複数の画像を再生する装置及び方法に関する。 The present invention relates to image processing. More specifically, the present invention relates to an apparatus and method for combining a plurality of images shot at different focus distances at the same angle of view, and a plurality of different focus distances from a combined image. The present invention relates to an apparatus and method for reproducing an image.
画像の蓄積や伝送における問題の1つが、画像のデータ量の多さである。特に、近年のデジタルカメラなどの画像入力機器においては、撮像素子の画素数の飛躍的な増加により画像の高精細化が進み、画像のデータ量が膨大になっている。 One of the problems in image storage and transmission is the large amount of image data. In particular, in recent image input devices such as digital cameras, image resolution has increased due to a dramatic increase in the number of pixels of an image sensor, and the amount of image data has become enormous.
このようなデータ量の多い画像については、蓄積あるいは伝送に際し、効率的な圧縮処理を施すことが不可欠である。そして、高精細画像のメリットを損なわないためには、圧縮処理に伴う画質の劣化を極力減らす必要がある。 For such an image having a large amount of data, it is indispensable to perform an efficient compression process at the time of storage or transmission. And in order not to impair the merit of a high-definition image, it is necessary to reduce degradation of the image quality accompanying compression processing as much as possible.
こうした要求を満たす画像圧縮(符号化)方式の一つが、周波数変換にウェーブレット変換を採用したJPEG2000である。JPEG2000の概要を次に説明する。 One image compression (encoding) method that satisfies these requirements is JPEG2000, which employs wavelet transform for frequency conversion. The outline of JPEG2000 will be described next.
図10はJPEG2000の圧縮(符号化)・伸長(復号化)処理の基本的な流れを示したブロック図である。 FIG. 10 is a block diagram showing the basic flow of JPEG2000 compression (encoding) / decompression (decoding) processing.
圧縮(符号化)処理について説明する。例えば、RGBやCMYの3コンポ−ネントで構成されるカラー画像は、各コンポーネント毎に1以上の重複しないタイルに分割され、各コンポーネントの各タイル毎に処理が行われる。まず、各タイル毎に、色空間変換・逆色変換部100で輝度・色差コンポ−ネントへのコンポ−ネント変換(色空間変換)がなされ、次に2次元ウェーブレット変換・逆変換部101で、各コンポーネントの各タイル毎に2次元のウェーブレット変換(離散ウェーブレット変換)がなされる。
The compression (encoding) process will be described. For example, a color image composed of three components of RGB and CMY is divided into one or more non-overlapping tiles for each component, and processing is performed for each tile of each component. First, for each tile, the color space conversion / inverse
ウェーブレット変換の結果を図11に例示する。この例は、デコンポジションレベル数が3の場合であり、ウェーブレット変換係数はデインターリーブした状態で示されている。1LH,1HL,1HHはデコンポジションレベル1のLH,HL,HHサブバンド、2LH,2HL,2HHはデコンポジションレベル2のLH,HL,HHサブバンド、3LH,3HL,3HH,3LLはデコンポジションレベル3のLH,HL,HH,LLサブバンドであり、デコンポジションレベルの低いサブバンドの係数ほど高い周波数成分である。
The result of the wavelet transform is illustrated in FIG. In this example, the number of decomposition levels is 3, and the wavelet transform coefficients are shown in a deinterleaved state. 1LH, 1HL, 1HH are
ウェーブレット変換係数は、サブバンド毎に、必要に応じて量子化・逆量子化部102で量子化された後、エントロピー符号化・復号化部103でビットプレーンを単位としたエントロピー符号化がなされる(正確には、ビットプレーンは3つのサブビットプレーンに細分化されて符号化される)。そして、符号形成・タグ処理部104で、不要な符号をトランケートし、必要な符号をまとめてパケットを生成し、パケットを所定の順序に並べ、必要なタグ又はタグ情報を付加することにより、所定のフォーマットのコードストリーム(符号化データ)が形成される。 The wavelet transform coefficient is quantized by the quantization / inverse quantization unit 102 as necessary for each subband, and then entropy-coded in units of bit planes by the entropy coding / decoding unit 103. (To be precise, the bit plane is subdivided into three sub-bit planes and encoded). Then, the code forming / tag processing unit 104 truncates unnecessary codes, collects necessary codes, generates packets, arranges the packets in a predetermined order, and adds necessary tags or tag information. A code stream (encoded data) of the format is formed.
なお、色空間変換・逆色変換部100は必須ではない。また、JPEG2000では、5×3変換と呼ばれる可逆ウェーブレット変換と、9×7変換と呼ばれる非可逆ウェーブレット変換が規定されている。5×3ウェーブレット変換が用いられる場合、量子化・逆量子化部102による量子化(スカラー量子化)は行われないが、符号形成・タグ処理部104におけるトランケーションは、係数の量子化と等価であるため、ポスト量子化と呼ばれる。
Note that the color space conversion / inverse
伸長(復号化)処理は圧縮処理と丁度逆の処理である。コードストリームは符号形成・タグ処理部104で各コンポーネントの各タイルのコードストリームに分解され、エントロピー符号化・復号化部103でビットプレーン単位でエントロピー復号され、復号されたウェーブレット変換係数は量子化・逆量子化部102により逆量子化される。そして、コンポ−ネント毎のウェーブレット変換係数に対して2次元ウェーブレット変換・逆変換部101で2次元の逆ウェーブレット変換が施され、その後、色空間変換・逆色変換部100で逆コンポーネント変換(逆色空間変換)が施されることにより元のRGBやCMYの画素値に戻される。
The decompression (decoding) process is just the reverse of the compression process. The code stream is decomposed into a code stream of each tile of each component by the code formation / tag processing unit 104, entropy-decoded in units of bit planes by the entropy encoding / decoding unit 103, and the decoded wavelet transform coefficients are quantized, Inverse quantization is performed by the inverse quantization unit 102. Then, the two-dimensional wavelet transform /
なお、ウェーブレット変換は、画像圧縮以外の目的にも応用されている。例えば、磁気共鳴断層撮影装置などで撮影された断層画像に3次元のウェーブレット変換を適用し、得られた高周波成分にのみ強度変換関数を作用させることにより、雑音成分を減らし、かつ、3次元画像全体の画質を向上させる技術が知られている(特許文献1参照)。 The wavelet transform is also applied for purposes other than image compression. For example, a three-dimensional wavelet transform is applied to a tomographic image taken by a magnetic resonance tomography apparatus, and an intensity conversion function is applied only to the obtained high-frequency component, thereby reducing a noise component and a three-dimensional image. A technique for improving the overall image quality is known (see Patent Document 1).
デジタルカメラなどでは、合焦距離及びその近傍にある被写体は鮮明に撮影されるが、それより近いか遠い被写体の像にはボケが生じる。このボケの味わいが重視される場合もあるが、逆に、より広い距離範囲内の被写体に合焦した画像が要求される場合がある。 In a digital camera or the like, an object at and near the in-focus distance is clearly photographed, but blurring occurs in an image of an object that is closer or further away. In some cases, the taste of blur is emphasized, but conversely, an image focused on a subject within a wider distance range may be required.
本発明の目的は、同じ画角で、異なった合焦距離で撮影された複数の画像から、広い距離範囲の被写体に合焦した画像を合成する装置及び方法を提供すること、並びに、そのような画像合成のための複数の画像を容易に撮影可能な撮像装置を提供することである。本発明の他の目的は、上記装置又は方法により生成された合成画像から合焦距離の異なる複数の画像を再生する装置及び方法を提供することである。 An object of the present invention is to provide an apparatus and method for synthesizing an image focused on a subject in a wide distance range from a plurality of images taken at the same angle of view and at different focusing distances, and so on. It is an object of the present invention to provide an imaging apparatus capable of easily capturing a plurality of images for proper image composition. Another object of the present invention is to provide an apparatus and a method for reproducing a plurality of images having different in-focus distances from the composite image generated by the above apparatus or method.
請求項1の発明は、同一の画角で、異なった合焦距離で撮影された複数の画像(以下、元画像と記す)を合成して1つの合成画像を生成する画像処理装置であって、各元画像の高周波成分量を小領域毎に求める手段と、複数の元画像間で小領域毎に高周波成分量を比較し、小領域毎に、高周波成分量が最大の元画像のイメージデータを集めて合成画像のイメージデータを作成する手段と、を有することを特徴とする画像処理装置である。
The invention of
請求項2の発明は、合成画像のイメージデータを作成する手段が、合成画像の小領域毎に、高周波成分量が最大の元画像の合焦距離を示す距離情報を付与することを特徴とする請求項1の発明による画像処理装置である。
The invention according to
請求項3の発明は、高周波成分量を求める手段が、各元画像の周波数変換係数から高周波成分量を計算することを特徴とする請求項1の発明による画像処理装置である。 According to a third aspect of the present invention, in the image processing apparatus according to the first aspect, the means for obtaining the high-frequency component amount calculates the high-frequency component amount from the frequency conversion coefficient of each original image.
請求項4の発明は、周波数変換係数がウェーブレット変換係数であることを特徴とする請求項3の発明による画像処理装置である。 A fourth aspect of the present invention is the image processing apparatus according to the third aspect of the present invention, wherein the frequency transform coefficient is a wavelet transform coefficient.
請求項5の発明は、高周波成分量を求める手段が、デコンポジションレベル2以上のウェーブレット変換係数を用いて高周波成分量を計算することを特徴とする請求項4の発明による画像処理装置である。 According to a fifth aspect of the present invention, in the image processing apparatus according to the fourth aspect of the present invention, the means for obtaining the high-frequency component amount calculates the high-frequency component amount using a wavelet transform coefficient having a decomposition level of 2 or higher.
請求項6の発明は、同一の画角で、異なった合焦距離で撮影された複数の画像から合成された合成画像より、異なった合焦距離の複数の再生画像を生成する画像処理装置であって、合成画像の周波数変換係数を得る手段と、合成画像の小領域毎に付与された距離情報を参照して、(a)再生画像の合焦距離に一致する距離情報が付与された、合成画像の小領域の周波数変換係数をそのまま当該再生画像の対応小領域の周波数変換係数として用い、(b)再生画像の合焦距離に不一致の距離情報が付与された、合成画像の小領域の周波数変換係数を、当該距離情報により示される合焦距離と当該再生画像の合焦距離との距離差に応じた量子化パラメータにより量子化した周波数変換係数を、当該再生画像の対応小領域の周波数変換係数として用いることにより、複数の再生画像の周波数変換係数を生成する手段と、を有することを特徴とする画像処理装置である。
The invention of
請求項7の発明は、再生画像の周波数変換係数の逆周波数変換を行い、再生画像のイメージデータを生成する手段をさらに有することを特徴とする請求項6の発明による画像処理装置である。 A seventh aspect of the present invention is the image processing apparatus according to the sixth aspect of the present invention, further comprising means for performing inverse frequency conversion of a frequency conversion coefficient of a reproduced image to generate image data of the reproduced image.
請求項8の発明は、周波数変換係数がウェーブレット変換係数であることを特徴とする請求項6に記載の画像処理装置である。
The invention according to
請求項9の発明は、同一の画角で、異なった合焦距離で撮影された複数の画像(以下、元画像と記す)を合成して1つの合成画像を生成する画像処理方法であって、各元画像の高周波成分量を小領域毎に求める処理と、元画像間で小領域毎に高周波成分量を比較し、小領域毎に、高周波成分量が最大の元画像のイメージデータを集めて合成画像のイメージデータを作成する処理と、を含むことを特徴とする画像処理方法である。 The invention of claim 9 is an image processing method for generating a single composite image by combining a plurality of images (hereinafter referred to as original images) taken at different focal distances at the same angle of view. The process of obtaining the high-frequency component amount of each original image for each small region and the high-frequency component amount for each small region are compared between the original images, and the image data of the original image having the maximum high-frequency component amount is collected for each small region And a process for creating image data of a composite image.
請求項10の発明は、同一の画角で、異なった合焦距離で撮影された複数の画像から合成された合成画像より、異なった合焦距離の複数の再生画像を生成する画像処理方法であって、合成画像の周波数変換係数を得る処理と、合成画像の小領域毎に付与された距離情報を参照して、(a)再生画像の合焦距離に一致する距離情報が付与された、合成画像の小領域の周波数変換係数をそのまま当該再生画像の対応小領域の周波数変換係数として用い、(b)再生画像の合焦距離に不一致の距離情報が付与された、合成画像の小領域の周波数変換係数を、当該距離情報により示される合焦距離と当該再生画像の合焦距離との距離差に応じた量子化パラメータにより量子化した周波数変換係数を、当該再生画像の対応小領域の周波数変換係数として用いることにより、複数の再生画像の周波数変換係数を生成する処理と、を含むことを特徴とする画像処理方法である。 The invention of claim 10 is an image processing method for generating a plurality of reproduced images having different in-focus distances from a composite image synthesized from a plurality of images photographed at different in-focus distances at the same angle of view. Then, with reference to the process of obtaining the frequency conversion coefficient of the composite image and the distance information given for each small area of the composite image, (a) the distance information that matches the in-focus distance of the reproduced image is given, Using the frequency conversion coefficient of the small area of the composite image as it is as the frequency conversion coefficient of the corresponding small area of the reproduced image, (b) The frequency conversion coefficient obtained by quantizing the frequency conversion coefficient with the quantization parameter corresponding to the distance difference between the in-focus distance indicated by the distance information and the in-focus distance of the reproduced image is the frequency of the corresponding small area of the reproduced image. As conversion factor By there is an image processing method which comprises a process of generating a frequency transform coefficients of the plurality of reproduced image.
請求項11の発明は、請求項1乃至8のいずれか1項の発明による画像処理装置の各手段としてコンピュータを機能させるプログラムである。
The invention of claim 11 is a program for causing a computer to function as each means of the image processing apparatus according to any one of
請求項12の発明は、請求項9又は10の発明による画像処理方法の各処理をコンピュータに実行させるプログラムである。 A twelfth aspect of the invention is a program for causing a computer to execute each process of the image processing method according to the ninth or tenth aspect of the invention.
請求項13の発明は、請求項11又は12の発明によるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。 A thirteenth aspect of the invention is a computer-readable information recording medium on which the program according to the eleventh or twelfth aspect of the invention is recorded.
請求項14の発明は、画角を変更することなく合焦距離を変更可能な撮像手段を有する撮像装置において、レリーズボタンが押下された時の前記撮像手段の合焦距離を含む複数の異なる合焦距離を設定する手段と、前記撮像手段に対し、同一の画角で、前記設定された複数の合焦距離で順次撮影させるための制御を行う手段と、を有することを特徴とする撮像装置である。 According to the fourteenth aspect of the present invention, in an imaging apparatus having an imaging means capable of changing a focusing distance without changing an angle of view, a plurality of different focusing positions including a focusing distance of the imaging means when the release button is pressed. An image pickup apparatus comprising: means for setting a focal distance; and means for controlling the image pickup means to sequentially shoot at the plurality of set focus distances at the same angle of view. It is.
請求項1乃至5,9の発明によれば、同一の画角で異なった合焦距離で撮影された複数枚の画像から、合焦距離範囲が広い合成画像を生成することができる。また、合成画像のデータ量は合成前の複数枚の画像のデータ量に比べ大幅に小さくなるため、画像のデータ量を削減する効果も得られる。請求項2の発明によれば、合成画像の小領域毎に距離情報が付与されるため、請求項6,7,8,10の発明によって、合成画像から合焦距離の異なる複数枚の画像(例えば、合成前の画像に近い複数枚の画像)を再生可能となり、請求項7の発明によれば再生画像のイメージデータを生成可能となる。請求項3,5,8の発明は、ウェーブレット変換係数を用いるため、JPEG2000のようなウェーブレット変換を用いる圧縮/伸長アルゴリズムとの親和性に優れ、そのような圧縮/伸長アルゴリズムを採用する各種システムにおける実施が容易である。また、請求項5の発明によれば、低照度下で撮影された画像のようなノイズの多い画像を合成する際に、ノイズの影響を受けにくくなる。請求項11,12,13の発明によれば、コンピュータを利用して請求項1乃至10の発明を容易に実施可能となる。請求項14の発明によれば、請求項1乃至9の発明により合成するための複数の画像を容易に撮影することができる、等々の効果を得られる。
According to the first to fifth and ninth aspects of the present invention, a composite image having a wide focus distance range can be generated from a plurality of images taken at the same angle of view and at different focus distances. In addition, since the data amount of the composite image is significantly smaller than the data amount of the plurality of images before composition, an effect of reducing the data amount of the image can be obtained. According to the invention of
図1は本発明に係る画像処理装置の典型的な構成を説明するためのブロック図である。図1において、200は画像の合成処理などを行う処理部、201は処理部200のための作業記憶域などとして利用される記憶部、202はJPEG2000のアルゴリズムにより画像の圧縮又は伸長を行う圧縮/伸長部、203は画像のデータなどを蓄積するための大容量の補助記憶部、204は外部機器とのデータの入力又は出力のためのデータ入出力部である。このような画像処理装置は、専用のハードウェアにより実現することも、パソコンなどの汎用コンピュータやマイクロコンピュータなどのハードウェア資源を利用して実現することも可能である。
FIG. 1 is a block diagram for explaining a typical configuration of an image processing apparatus according to the present invention. In FIG. 1,
この画像処理装置は、同じ画角で異なった合焦距離で撮影された複数の画像を1つの画像に合成する処理(合成処理)と、合成画像から合焦距離の異なる複数の画像、例えば合成前の画像に近い複数の画像を生成する処理(分離再生処理)を行うことができる。 This image processing apparatus combines a plurality of images taken at the same angle of view and at different in-focus distances into one image (combination processing), and a plurality of images having different in-focus distances from the composite image, for example, synthesis Processing (separation reproduction processing) for generating a plurality of images close to the previous image can be performed.
まず、合成処理について具体的に説明する。合成処理のための複数の画像は、イメージデータ(画素値データ)として、又は、JPEG2000のコードストリームとして、データ入出力部204を通じて取り込まれ補助記憶部203に一旦蓄積される。この際、各画像の距離情報も、画像のデータに埋め込まれた形で、又は、画像のデータとは独立した形で入力されて蓄積される。
First, the synthesis process will be specifically described. A plurality of images for composition processing are taken in through the data input /
画像がイメージデータとして入力された場合は、そのイメージデータに対して直ちに処理部200で合成処理を行うことができる。画像がコードストリームとして入力された場合は、圧縮/伸長部202でコードストリームをイメージデータに伸長し、そのイメージデータに対して合成処理を行うことになる。合成画像は、イメージデータの形で、又は、圧縮/伸長部202により圧縮してコードストリームにした形で補助記憶部203に蓄積されるが、この際に合成画像の小領域毎の距離情報も、合成画像のデータに埋め込まれた形で、あるいは、独立した形で蓄積される。合成画像のデータとその距離情報をデータ入出力部204を通じて外部へ出力可能であることは当然である。
When an image is input as image data, the
合成処理においては、複数の画像のそれぞれについて、領域毎の高周波成分量を求めるが、ここに説明する実施の形態においては、圧縮/伸長部202を利用して得られるウェーブレット変換係数に基づいて高周波成分量を計算する。ただし、ウェーブレット変換以外の周波数変換を用いて高周波成分量を算出することも可能であり、かかる態様も本発明に包含される。
In the synthesizing process, the amount of high-frequency component for each region is obtained for each of a plurality of images. In the embodiment described here, the high-frequency component is obtained based on the wavelet transform coefficient obtained using the compression /
[合成処理の例1]
図2は合成処理の例1を示すフローフローチャートであり、図3は合成処理の説明のための模式図である。
[Example 1 of composition processing]
FIG. 2 is a flowchart showing an example 1 of the synthesis process, and FIG. 3 is a schematic diagram for explaining the synthesis process.
この合成処理例1では、同一画角で異なった合焦距離で撮影された複数の画像が、イメージデータとして補助記憶部203に蓄積されているものとする。また、説明の簡略化のため、図3(A)に示すような合焦距離1,2,3(距離1<距離2<距離3)で撮影された3枚の画像P1,P2,P3を合成するものとするが、4枚以上の画像の合成も同様の処理により可能であることは明らかである。合成される画像の枚数を増やし、かつ、それらの合焦距離の差を小さくするほど、パンフォーカス画像に近い合成画像を得ることができる。
In the synthesis processing example 1, it is assumed that a plurality of images taken at different focal distances with the same angle of view are accumulated in the
図2のフローチャートに沿って合成処理の内容を説明する。まず、ステップS1において、処理部200の制御により、画像P1,P2,P3のイメージデータ及び距離情報(合焦距離1,2,3)が補助記憶部203からメモリ201に読み込まれる。
The contents of the synthesis process will be described with reference to the flowchart of FIG. First, in step S <b> 1, the image data of the images P <b> 1, P <b> 2, and P <b> 3 and distance information (focus distances 1, 2, 3) are read from the
ステップS2において、処理部200の制御にしたがって、圧縮/伸長部202は、記憶部201より画像P1,P2,P3のイメージデータを順次読み込み、圧縮処理の2次元ウェーブレット変換までの処理を実行する。すなわち、圧縮/伸長部202は図10に示したような基本構成であり、色空間変換/逆変換部100による色空間変換処理と2次元ウェーブレット変換/逆変換部101による2次元離散ウェーブレット変換処理までを実行する。ただし、本例では、2次元ウェーブレット変換は色空間変換後の輝度コンポーネントに対してのみ行われる。なお、画像P1,P2,P3のイメージデータが例えばRGBコンポーネントからなる場合に、色空間変換を行わなわず、Gコンポーネントに対してのみ2次元ウェーブレット変換を行うようにしてもよい。また、画像P1,P2,P3がモノクロ画像の場合には、その単一のコンポーネントのみがウェーブレット変換の対象となる。このようにして生成された画像P1,P2,P3のウェーブレット変換係数(例えば、図11に示すようなデコンポジションレベル1,2,3のサブバンドの係数)は、記憶部201に保存される。
In step S2, under the control of the
ステップS3において、処理部200は、各画像P1,P2,P3を、例えば、2×2画素、4×4画素といった小領域に分割する。図3(A)に各画像の領域分割の様子が模式的に示されている。
In step S3, the
ステップS4で、処理部200は、1つの小領域を選ぶ。そして、ステップS6において、処理部200は、選択した小領域に対応した各画像のウェーブレット変換係数から、当該小領域における各画像の高周波成分量を計算する。本例では、その計算方法を次に述べる計算方法(1)〜(5)の中から選択することができる。
In step S4, the
計算方法(1):小領域に対応したHLサブバンド係数の絶対値の総和を、デコンポジションレベル毎に求め、それをデコンポジションレベルに応じた重みを付けて合計することにより、高周波成分量を求める。例えば、デコンポジションレベル1〜3の係数を用いる場合には、高周波成分量は
Yh=a・Σ|1HL|+b・Σ|2HL|+c・Σ|3HL| (1)式
(ただし、a,b,cは0以上の定数)
により計算される。HLサブバンド係数は水平方向の高周波成分であるため、この計算方法で求められるのは水平方向の高周波成分量である。
Calculation method (1): The sum of the absolute values of the HL subband coefficients corresponding to the small regions is obtained for each decomposition level, and summed by adding a weight according to the decomposition level, thereby calculating the amount of high frequency components. Ask. For example, when using coefficients of
Yh = a · Σ | 1HL | + b · Σ | 2HL | + c · Σ | 3HL | (1) (where a, b, and c are constants greater than or equal to 0)
Is calculated by Since the HL subband coefficient is a high frequency component in the horizontal direction, the amount of high frequency component in the horizontal direction is obtained by this calculation method.
計算方法(2):小領域に対応したLHサブバンド係数の絶対値の総和を、デコンポジションレベル毎に求め、それをデコンポジションレベルに応じた重みを付けて合計することにより、高周波成分量を求める。例えば、デコンポジションレベル1〜3の係数を用いる場合には、高周波成分量は
Yv=d・Σ|1LH|+e・Σ|2LH|+f・Σ|3LH| (2)式
(ただし、d,e,fは0以上の定数)
により計算される。LHサブバンド係数は垂直方向の高周波成分であるため、この計算方法で求められるのは垂直方向の高周波成分量である。
Calculation method (2): The sum of the absolute values of the LH subband coefficients corresponding to the small area is obtained for each decomposition level, and the sum is given with a weight corresponding to the decomposition level, whereby the amount of high frequency component is calculated. Ask. For example, when using coefficients of
Yv = d · Σ | 1LH | + e · Σ | 2LH | + f · Σ | 3LH | (2) (where d, e, and f are constants greater than or equal to 0)
Is calculated by Since the LH subband coefficient is a high-frequency component in the vertical direction, this calculation method obtains the amount of high-frequency component in the vertical direction.
計算方法(3):小領域に対応したHL,LHの各サブバンド係数の絶対値の総和をデコンポジションレベル毎に求め、それをデコンポジションレベル及びサブバンドに応じた重みを付けて合計することにより、高周波成分量を求める。例えば、デコンポジションレベル1〜3の係数を用いる場合には、高周波成分量は
Yhv=a・Σ|1HL|+b・Σ|2HL|+c・Σ|3HL|+d・Σ|1LH|+e・Σ|2LH|+f・Σ|3LH| (3)式
(ただし、a,b,c,c,d,e,fは0以上の定数)
により計算される。つまり、水平方向及び水平方向の高周波成分量が求められる。
Calculation method (3): The sum of absolute values of the subband coefficients of HL and LH corresponding to the small region is obtained for each decomposition level, and the sum is obtained by adding a weight according to the decomposition level and the subband. Thus, the amount of high frequency component is obtained. For example, when using coefficients of
Yhv = a ・ Σ | 1HL | + b ・ Σ | 2HL | + c ・ Σ | 3HL | + d ・ Σ | 1LH | + e ・ Σ | 2LH | + f ・ Σ | 3LH | (3) (a, b, c, c, d, e, f are constants of 0 or more)
Is calculated by That is, the amount of high-frequency components in the horizontal direction and the horizontal direction is obtained.
計算方法(4):小領域に対応したHL,LH,HHの各サブバンド係数の絶対値の総和をデコンポジションレベル毎に求め、それをデコンポジションレベル及びサブバンドに応じた重みを付けて合計することにより、高周波成分量を求める。例えば、デコンポジションレベル1〜2の係数を用いる場合には、高周波成分量は
Y=a・Σ|1HL|+b・Σ|2HL|+c・Σ|1LH|+d・Σ|2LH|+e・Σ|1HH|+f・Σ|2HH| (4)式
(ただし、a,b,c,c,d,e,fは0以上の定数)
により計算される。つまり、水平方向、水平方向及び斜め方向の高周波成分量が求められる。
Calculation method (4): The sum of absolute values of the subband coefficients of HL, LH, and HH corresponding to the small area is obtained for each decomposition level, and the sum is obtained by adding weights according to the decomposition level and the subband. By doing so, the amount of high frequency components is obtained. For example, when the coefficients of
Is calculated by That is, the amount of high frequency components in the horizontal direction, the horizontal direction, and the oblique direction is obtained.
計算方法(5):デコンポジションレベル2以上のウェーブレット変換係数を用いて、前記計算方法(1),(2),(3)又は(4)と同様の方法で高周波成分量を計算する。このようにデコンポジションレベル1のウェーブレット変換係数を高周波成分量の計算に用いない方法は、低照度環境で撮影された画像のようなノイズの多い画像の合成処理を行う場合に有利である。ノイズ成分の多くはデコンポジションレベル1のウェーブレット変換係数に反映され、上のレベルのウェーブレット変換係数にはノイズ成分があまり反映されないからである。
Calculation method (5): A high-frequency component amount is calculated by the same method as the calculation method (1), (2), (3) or (4) using the wavelet transform coefficient of
さて、以上のようにして、選択された小領域における各画像の高周波成分量が算出されると、ステップS7において、処理部200は、算出された各画像の高周波成分量を比較し、その値が最大となった画像を選択する。そして、ステップS8において、処理部200は、前ステップで選択した画像の当該小領域のイメージデータを、記憶部201上に予め確保した合成画像用記憶域の対応した小領域に複写し、また、記憶部201上に予め確保された距離情報用記憶域に、選択された画像の距離情報(合焦距離)を小領域に対応付けて書き込む。
When the high-frequency component amount of each image in the selected small region is calculated as described above, in step S7, the
処理部200は、ステップS4〜S8を各小領域に関して繰り返すことにより、各小領域について、画像P1,P2,P3の中で高周波数成分量が最大のイメージデータが合成画像用記憶域の対応領域に順次複写される。図3(A)に示す画像P1,P2,P3の網掛けした小領域の高周波成分量が3画像間で最も大きい場合には、図3(B)に示すように、合成画像記憶域に画像P1,P2,P3の網掛けした小領域のイメージデータが複写されることになる。そして、このようにして生成された合成画像において、画像P1のイメージデータが複写された小領域は合焦距離1に対応した距離情報を付与され、画像P2のイメージデータが複写された小領域は合焦距離2に対応した距離情報が付与され、画像P3のイメージデータが複写された小領域は合焦距離3に対応した距離情報を付与されることになる。
The
全ての小領域に対する処理が終了すると(ステップS5,Yes)、ステップS9において、処理部200からの指示に従って、圧縮/伸長部202により、合成画像用記憶域に生成された合成画像のイメージデータに対する圧縮処理が行われ、そのコードストリームが記憶部201に書き込まれる。そして、ステップS10において、処理部200の制御により、記憶部201に記憶されている合成画像のイメージデータとその距離情報が補助記憶部203に転送される。
When the processing for all the small areas is completed (step S5, Yes), in step S9, the compression /
なお、合成画像のコードストリーム中に、合成画像の距離情報を埋め込んでよい。JPEG2000のコードストリームの場合、例えば、メインヘッダ中に各小領域に対応した距離情報をコメントとして記述するなどの方法を採用できる。 Note that the distance information of the composite image may be embedded in the code stream of the composite image. In the case of a JPEG2000 code stream, for example, a method of describing distance information corresponding to each small area as a comment in the main header can be adopted.
また、合成画像をイメージデータとして補助記憶部203に保存することも可能であり、この場合は、ステップS9の処理は省かれ、ステップS10で合成画像のイメージデータと距離情報が補助記憶部203へ転送されることになる。
It is also possible to save the composite image as image data in the
以上の説明から理解されるように、この合成処理例1において、圧縮/伸長部202は合成前の各画像のウェーブレット変換係数(広義には周波数変換係数)を求める手段として作用する。また、処理部200は、ウェーブレット変換係数(広義には周波数変換係数)から各画像の小領域毎の高周波成分量を求める手段、小領域毎に高周波成分量の最も大きい画像のイメージデータを用いて合成画像のイメージデータを生成する手段として作用する。なお、このような手段を、コンピュータ上で1以上のプログラムにより実現することも可能であることは明白である。かかるプログラム、及び、同プログラムが記録された、コンピュータが読み取り可能な各種の情報記録(記憶)媒体も本発明に含まれる。
As can be understood from the above description, in the synthesis processing example 1, the compression /
[合成処理の例2]
図4は合成処理の例2を示すフローチャートである。この合成処理例2では、同一画角で異なった合焦距離により撮影された複数の画像が、JPEG2000のコードストリームとして補助記憶部203に蓄積されているものとする。また、説明の簡略化のため、図3(A)に示したような合焦距離1,2,3(距離1<距離2<距離3)で撮影された3枚の画像P1,P2,P3を合成するものとする。
[Example 2 of composition processing]
FIG. 4 is a flowchart showing a second example of the synthesis process. In this synthesis processing example 2, it is assumed that a plurality of images shot at different focal distances at the same angle of view are accumulated in the
図4のフローチャートに沿って合成処理の内容を説明する。まず、ステップS11において、処理部200の制御により、画像P1,P2,P3のコードストリーム及び距離情報(合焦距離1,2,3)が補助記憶部203からメモリ201に読み込まれる。なお、コードストリームに距離情報が埋め込まれている場合には、コードストリームのみが読み込まれることになる。
The contents of the synthesis process will be described with reference to the flowchart of FIG. First, in step S <b> 11, the code stream and distance information (focus distances 1, 2, 3) of the images P <b> 1, P <b> 2, P <b> 3 are read from the
ステップS12において、処理部200からの指示に従って、圧縮/伸長部202は、記憶部201より画像P1,P2,P3のコードストリームを順次読み込み伸長処理を行う。生成された画像P1,P2,P3のイメージデータは記憶部201に書き込まれる。また、伸長処理の過程で得られた画像P1,P2,P3の輝度コンポーネントのウェーブレット変換係数(逆量子化後の係数)も記憶部201に書き込まれる。距離情報がコードストリームに埋め込まれている場合、復号処理の過程で距離情報が取り出されて記憶部201に書き込まれる。
In step S12, in accordance with an instruction from the
その後、処理部200はステップS13〜S18を実行し、記憶部201に合成画像のイメージデータを生成するとともに、合成画像の小領域毎に距離情報を付与する。なお、ステップS13〜S18における処理内容は、図2中の対応ステップS3〜S8と同一であるので、説明を繰り返さない。
Thereafter, the
そして、ステップS19において、合成画像のイメージデータが圧縮/伸長部202により圧縮され、そのコードストリームは、ステップS20で、距離情報とともに補助記憶部203へ転送される。
In step S19, the image data of the composite image is compressed by the compression /
なお、合成画像のコードストリームに合成画像の小領域毎の距離情報を埋め込んでよいことは前述した通りである。また、合成画像をイメージデータとして補助記憶部203に保存することも可能であり、この場合は、ステップS19の処理は省かれ、ステップS20で合成画像のイメージデータと距離情報が補助記憶部203へ転送されることになる。
As described above, the distance information for each small area of the composite image may be embedded in the code stream of the composite image. It is also possible to save the composite image as image data in the
以上の説明から理解されるように、この合成処理例2において、圧縮/伸長部202は合成前の各画像のウェーブレット変換係数(広義には周波数変換係数)を求める手段として作用する。また、処理部200は、ウェーブレット変換係数(広義には周波数変換係数)から各画像の小領域毎の高周波成分量を求める手段として作用し、また、小領域毎に高周波成分量の最も大きい画像のイメージデータを用いて合成画像のイメージデータを生成する手段として作用する。なお、このような手段を、コンピュータ上で1以上のプログラムにより実現することも可能であることは明白である。かかるプログラム、及び、同プログラムが記録された、コンピュータが読み取り可能な各種の情報記録(記憶)媒体も本発明に含まれる。
As can be understood from the above description, in the synthesis processing example 2, the compression /
[分離再生処理]
以上のようにして生成された合成画像から、その距離情報を利用し、合焦距離の異なる複数の画像を生成することができる。ここでは、合成前の画像P1,P2,P3に近い画像Q1,Q2,Q3を再生するものとする。次に、分離再生処理の具体例を説明する。
[Separated regeneration processing]
A plurality of images having different in-focus distances can be generated from the synthesized image generated as described above using the distance information. Here, it is assumed that images Q1, Q2, and Q3 that are close to the images P1, P2, and P3 before synthesis are reproduced. Next, a specific example of separation / reproduction processing will be described.
[分離再生処理の例1]
図5は分離再生処理の例1を示すフローチャートであり、図6は分離再生処理の説明のための模式図である。ここでは、同一画角で異なった合焦距離により撮影された画像P1,P2,P3から合成された合成画像が、JPEG2000コードストリームとして補助記憶部203に蓄積されているものとする。
[Example 1 of separation / regeneration processing]
FIG. 5 is a flowchart showing an example 1 of the separation / reproduction process, and FIG. 6 is a schematic diagram for explaining the separation / reproduction process. Here, it is assumed that a composite image synthesized from images P1, P2, and P3 photographed at different focus distances with the same angle of view is accumulated in the
図5のフローチャートに沿って分離再生処理の内容を説明する。まず、ステップS21において、処理部200の制御により、合成画像のコードストリーム及び距離情報が補助記憶部203からメモリ201に読み込まれる。なお、コードストリームに距離情報が埋め込まれている場合には、コードストリームのみが読み込まれることになる。
The contents of the separation reproduction process will be described with reference to the flowchart of FIG. First, in step S <b> 21, the code stream and distance information of the composite image are read from the
ステップS22において、処理部200からの指示に従って、圧縮/伸長部202は、記憶部201より合成画像のコードストリームを順次読み込み、逆ウェーブレット変換の手前までの伸長処理を行う。この伸長処理により得られた全コンポーネントのウェーブレット変換係数は、記憶部201に書き込まれる。距離情報がコードストリームに埋め込まれている場合には、復号処理の過程で距離情報が取り出されて記憶部201に書き込まれる。
In step S22, in accordance with an instruction from the
処理部200は、ステップS23において合成画像の小領域を1つ選択する(合成時の小領域のサイズは既知とする)。次に、処理部200は、ステップS25において、選択した小領域に関する距離情報を参照し、距離1,距離2,距離3のいずれであるか判定し、距離1ならばステップS26へ、距離2ならばステップS27へ、距離3ならばステップS28の処理に進む。
In step S23, the
ステップS26では、処理部200は、合成画像の当該小領域のウェーブレット変換係数を、予め記憶部201に確保された、合成前画像P1(距離1)に対応した画像Q1用記憶域の対応小領域に書き込む。ステップS27では、処理部200は、合成画像の当該小領域のウェーブレット変換係数を、予め記憶部201に確保された、合成前画像P2(距離2)に対応した画像Q2用記憶域の対応小領域に書き込む。ステップS28では、処理部200は、合成画像の当該小領域のウェーブレット変換係数を、予め記憶部201に確保された、合成前画像P3(距離3)に対応した画像Q3用記憶域の対応小領域に書き込む。
In step S <b> 26, the
図6(A)に模式的に示した合成画像の場合、その全ての小領域に関してステップS26,S27,S28の処理を繰り返すことにより、図6(B)に模式的に示した画像Q1,Q2,Q3の網掛けされた小領域に、合成画像の対応した小領域のウェーブレット変換係数がそのまま複写されることになる。画像Q1,Q2,Q3の網掛けされていない小領域についてはウェーブレット変換係数を補間する必要があり、この補間処理はステップS29〜S34によって行われる。 In the case of the composite image schematically shown in FIG. 6A, by repeating the processes of steps S26, S27, and S28 for all the small regions, the images Q1, Q2 schematically shown in FIG. , Q3, the wavelet transform coefficients of the corresponding small area of the composite image are copied as they are into the small area shaded by Q3. It is necessary to interpolate the wavelet transform coefficient for the small areas not shaded in the images Q1, Q2, and Q3, and this interpolation processing is performed in steps S29 to S34.
ステップS29,S30は、選択された小領域が距離1の場合の補間処理のステップである。ステップS29において、処理部200は、合成画像の選択された小領域のウェーブレット変換係数を、距離1と距離2の距離差に応じた量子化パラメータを用いて量子化し、量子化後のウェーブレット変換係数を画像Q1用記憶域の対応小領域に書き込む。この際、量子化パラメータは、距離差が大きいほど強く量子化するように決定される。また、量子化パラメータはサブバンド毎、コンポーネント毎に決定される。次のステップS29において、処理部200は、合成画像の選択された小領域のウェーブレット変換係数を、距離1と距離3の距離差に応じた量子化パラメータを用いて量子化し、量子化後のウェーブレット変換係数を画像Q3用記憶域の対応小領域に書き込む。このような処理により、画像Q2,Q3の1つの小領域にウェーブレット変換係数が補間される。
Steps S29 and S30 are interpolation processing steps when the selected small area is the
ステップS31,S32は、選択された小領域が距離2の場合の補間処理のステップである。ステップS31において、処理部200は、合成画像の選択された小領域のウェーブレット変換係数を、距離1と距離2の距離差に応じた量子化パラメータを用いて量子化し、量子化後のウェーブレット変換係数を画像Q1用記憶域の対応小領域に書き込む。次のステップS32において、処理部200は、合成画像の選択された小領域のウェーブレット変換係数を、距離2と距離3の距離差に応じた量子化パラメータを用いて量子化し、量子化後のウェーブレット変換係数を画像Q3用記憶域の対応小領域に書き込む。このような処理により、画像Q1,Q3の1つの小領域にウェーブレット変換係数が補間される。
Steps S31 and S32 are interpolation processing steps when the selected small area is the
ステップS33,S34は、選択された小領域が距離3の場合の補間処理のステップである。ステップS33において、処理部200は、合成画像の選択された小領域のウェーブレット変換係数を、距離1と距離3の距離差に応じた量子化パラメータを用いて量子化し、量子化後のウェーブレット変換係数を画像Q1用記憶域の対応小領域に書き込む。次のステップS34において、処理部200は、合成画像の選択された小領域のウェーブレット変換係数を、距離2と距離3の距離差に応じた量子化パラメータを用いて量子化し、量子化後のウェーブレット変換係数を画像Q2用記憶域の対応小領域に書き込む。このような処理により、画像Q1,Q2の1つの小領域にウェーブレット変換係数が補間される。
Steps S33 and S34 are steps of interpolation processing when the selected small area is the
ステップS30,S32,S34からステップS23に戻り、別の小領域に関し同様の処理が行われる。ステップS23〜S34の処理が繰り返され、画像Q1,Q2,Q3用記憶域の全ての小領域へのウェーブレット変換係数の書き込みが終わると(ステップS24,Yes)、ステップS35に進み、処理部200からの指示に従い、圧縮/伸長部202において、画像Q1,Q2,Q3用記憶域より各画像のウェーブレット変換係数が読み込まれ、逆ウェーブレット変換と逆色空間変換が順に行われることにより、画像Q1,Q2,Q3のイメージデータが記憶部201上に生成される。このような画像Q1,Q2,Q3のイメージデータは、合成前の画像P1,P2,P3のイメージデータと完全に同一というわけではないが、かなり近似したものである。このようにして生成された画像Q1,Q2,Q3のイメージデータは、ステップS36で、処理部200の制御により補助記憶部203へ転送される。
The process returns from step S30, S32, S34 to step S23, and the same processing is performed for another small area. When the processing of steps S23 to S34 is repeated and the writing of the wavelet transform coefficients to all the small areas of the storage areas for the images Q1, Q2, and Q3 is completed (step S24, Yes), the process proceeds to step S35. , The compression /
以上の説明から理解されるように、この分離再生処理例1において、圧縮/伸長部202は合成画像のコードストリームから、合成画像のウェーブレット変換係数(広義には周波数変換係数)を生成する手段として作用し、また、各再生画像のウェーブレット変換係数からイメージデータを生成する手段として作用する。また、処理部200は、合成画像のウェーブレット変換係数(広義には周波数変換係数)から、合成画像の距離情報を利用して、複数の再生画像のウェーブレット変換係数(広義には周波数変換係数)を生成する手段として作用する。なお、このような手段を、コンピュータ上で1以上のプログラムにより実現することも可能であることは明白である。かかるプログラム、及び、同プログラムが記録された、コンピュータが読み取り可能な各種の情報記録(記憶)媒体も本発明に含まれる。
As can be understood from the above description, in this separation reproduction processing example 1, the compression /
なお、再生画像Q1,Q2,Q3のイメージデータをデータ入出力部204を通じて例えば画像表示装置へ転送して表示させることも可能である。また、ステップS35で、圧縮/伸長部202により、画像Q1,Q2,Q3のウェーブレット変換係数に対し量子化以降の圧縮処理を行って各画像のコードストリームを生成し、それを補助記憶部203に保存したり、あるいは、データ入出力部204を通じて外部へ出力することも可能である。さらに、再生画像のウェーブレット変換係数をそのまま補助記憶部203に保存することも可能であり、そのウェーブレット変換係数に対し圧縮/伸長部202で逆ウェーブレット変換(及び、必要に応じて逆色空間変換)を行うことにより、再生画像のイメージを再生可能である。
Note that the image data of the reproduced images Q1, Q2, and Q3 can be transferred to the image display device, for example, through the data input /
[分離再生処理の例2]
図7は分離再生処理の例2を示すフローチャートである。ここでは、同一画角で異なった合焦距離により撮影された画像P1,P2,P3から合成された合成画像がイメージデータとして補助記憶部203に蓄積されているものとする。
[Example 2 of separation reproduction processing]
FIG. 7 is a flowchart showing an example 2 of the separation reproduction process. Here, it is assumed that a composite image synthesized from images P1, P2, and P3 photographed at the same angle of view and at different focus distances is stored in the
図7のフローチャートに沿って分離再生処理の内容を説明する。まず、ステップS41において、処理部200の制御により、合成画像のイメージデータ及び距離情報が補助記憶部203からメモリ201に読み込まれる。
The contents of the separation reproduction process will be described with reference to the flowchart of FIG. First, in step S <b> 41, image data and distance information of a composite image are read from the
ステップS42において、処理部200からの指示に従って、圧縮/伸長部202は、記憶部201より合成画像のイメージデータを読み込み、量子化処理の手前までの圧縮処理を行う。この圧縮処理により得られた全コンポーネントのウェーブレット変換係数は、記憶部201に書き込まれる。
In step S42, in accordance with an instruction from the
ステップS43において、処理部200は図5のステップS23〜S34と同様の処理を行うことにより、合成前の画像P1,P2,P3に対応する画像Q1,Q2,Q3のウェーブレット変換係数を生成する。そして、ステップS44において、処理部200からの指示に従い、圧縮/伸長部202は、画像Q1,Q2,Q3のウェーブレット変換係数に対し逆ウェーブレット変換と逆色空間変換を順に行うことにより、各画像のイメージデータを記憶部201上に生成する。このイメージデータは、ステップS45で、処理部200の制御により補助記憶部203へ転送される。
In step S43, the
以上の説明から理解されるように、この分離再生処理例2において、圧縮/伸長部202は合成画像のイメージデータから、合成画像のウェーブレット変換係数(広義には周波数変換係数)を求める手段として作用し、また、各再生画像のウェーブレット変換係数に対し逆ウェーブレット変換(広義には逆周波数変換)を行ってイメージデータを生成する手段として作用する。また、処理部200は、合成画像のウェーブレット変換係数(広義には周波数変換係数)から、合成画像の距離情報を利用して、合成前の複数の画像に対応する複数の画像のウェーブレット変換係数(広義には周波数変換係数)を生成する手段として作用する。なお、このような手段を、コンピュータ上で1以上のプログラムにより実現することも可能であることは明白である。かかるプログラム、及び、同プログラムが記録された、コンピュータが読み取り可能な各種の情報記録(記憶)媒体も本発明に含まれる。
As can be understood from the above description, in this separated reproduction processing example 2, the compression /
なお、合成画像より生成された画像Q1,Q2,Q3のイメージデータをデータ入出力部204を通じて例えば画像表示装置へ転送して表示させることも可能である。また、ステップS44で、圧縮/伸長部202により、画像Q1,Q2,Q3のウェーブレット変換係数に対し量子化以降の圧縮処理を行って各画像のコードストリームを生成し、それを補助記憶部203に保存したり、あるいは、データ入出力部204を通じて外部へ出力することも可能である。
Note that the image data of the images Q1, Q2, and Q3 generated from the composite image can be transferred to the image display device, for example, for display via the data input /
本発明に係る画像処理装置に関する説明は、本発明の画像処理方法の説明でもある。すなわち、図2,図4,図5又は図7のフローチャートは、本発明の画像処理の処理手順例を示すものでもある。このような処理手順を、コンピュータを利用しプログラムにより実行することも可能である。そのようなプログラム、及び、同プログラムが記録された各種の情報記録(記憶)媒体も本発明に包含される。 The description related to the image processing apparatus according to the present invention is also the description of the image processing method according to the present invention. That is, the flowchart of FIG. 2, FIG. 4, FIG. 5 or FIG. 7 also shows an example of the processing procedure of the image processing of the present invention. Such a processing procedure can be executed by a program using a computer. Such a program and various information recording (storage) media on which the program is recorded are also included in the present invention.
[撮像装置]
さて、前述の画像合成処理を適用するためには、同じ画角で、異なった合焦距離で画像を複数枚撮影する必要があるが、このような撮影を自動的に行う機能は従来のデジタルカメラなどの撮像装置には装備されていない。このような機能を有する本発明の撮像装置の一例について図8及び図9を参照し説明する。
[Imaging device]
Now, in order to apply the above-mentioned image composition processing, it is necessary to take a plurality of images at the same angle of view and at different focal distances. It is not equipped in an imaging device such as a camera. An example of the imaging apparatus of the present invention having such a function will be described with reference to FIGS.
図1は撮像装置のブロック図である。図1において、300は光学レンズ、絞り機構、シャッター機構などから構成される一般的な撮像光学系である。301はCCD型又はMOS型のイメージャであり、撮像光学系300により結像される光学像を色分解してから光量に応じた電気信号に変換する。302はイメージャ301の出力信号をサンプリングしてデジタル信号に変換するCDS・A/D変換部であり、相関二重サンプリング(CDS)回路とアナログ/デジタル変換回路(A/D変換回路)からなる。303は信号処理部であり、例えばプログラム(マイクロコード)で制御される高速のデジタル信号プロセッサからなる。この信号処理部303は、CDS・A/D変換部302より入力する画像データに対するガンマ補正処理、ホワイトバランス調整処理、エッジ強調などのためのエンハンス処理のような信号処理のほか、イメージャ301、CDS・A/D変換部302、表示部304を制御し、また、オートフォーカス制御、自動露出制御、ホワイトバランス調整などのための情報の検出などを行う。表示部304は例えば液晶表示装置であり、モニタリング画像(スルー画像)や撮影画像などの画像の表示、その他の情報の表示などに利用される。
FIG. 1 is a block diagram of the imaging apparatus. In FIG. 1, a general imaging
以上に説明した撮像光学系300、イメージャ301、CDS・A/D変換部302及び信号処理部303は、全体として、被写体を撮影して画像のイメージデータを取得する撮像手段を構成している。
The imaging
307は例えばJPEG2000準拠の圧縮/伸長部であり、これは撮影された画像のイメージデータの圧縮処理と、圧縮されたコードストリームの伸長処理に利用される。308は交換可能な記録媒体(例えば各種のメモリカード)であり、圧縮/伸長部307で圧縮されたコードストリームが記録される。309は外部インターフェース部であり、これを介して外部のパソコンなどと有線又は無線のネットワーク又は他の伝送路を通じ情報の交換を行うことができる。
306は制御部であり、例えばマイクロコンピュータからなる。この制御部306は、操作部310から入力されるユーザの操作情報や信号処理部303から与えられる情報などに応答して、撮像光学系300のシャッター機構、絞り機構、フォーカス機構や、信号処理部303、圧縮/伸長部307、記録媒体308などの制御を行う。305はメモリであり、画像のデータなどの一時記憶域として利用され、また、信号処理部303、制御部306、圧縮/伸長部307の作業記憶域として利用される。操作部310は、撮像装置の操作のためのレリーズボタン、その他の操作ボタン(スイッチ)などからなる。
この撮像装置の基本的な動作は従来のデジタルカメラなどと同様であるので、その説明は割愛し、この撮像装置の特有の機能に関連した動作について図9に示すフローチャートを参照し説明する。 Since the basic operation of this image pickup apparatus is the same as that of a conventional digital camera or the like, the description thereof will be omitted, and the operation related to the specific function of this image pickup apparatus will be described with reference to the flowchart shown in FIG.
制御部306は、操作部310のレリーズボタンの押下を検出すると(ステップS51,Yes)、その時点における撮像光学系300の合焦距離から、当該合焦距離を含む複数の異なる合焦距離D1,D2,…,DNを設定する(ステップS52)。例えば、レリーズボタンの押下時の合焦距離(オートフォーカス機能により設定された合焦距離又はマニュアル設定された合焦距離)を中心として、予め設定された距離差を持たせるように各合焦距離を設定する。
When the
次に、制御部306は、カウンタiを0に設定し(ステップS53)、撮像光学系300の合焦距離を合焦距離Diに一致させるようにフォーカス機構を作動させて画像を1枚させる制御を行う(ステップS54)。そして、撮影された画像のイメージデータを圧縮/伸長部307で圧縮させ、そのコードストリームを合焦距離Diの情報とともに記録媒体308に書き込ませる(ステップS55)。
Next, the
次に、制御部306はカウンタiをインクリメントし(ステップS56)、インクリメント後のカウンタiの値と規定値Nとの比較判定を行う(ステップS57)。カウンタiの値がN以下ならば(ステップS57,No)、制御部306は、ステップS54以降の制御を行い、別の合焦距離Diで2枚目の画像を撮影させ、その画像のコードストリームを記録媒体308に記録させる。
Next, the
同様の制御により、ステップS52で設定された全ての合焦距離での撮影が終わると、カウンタiの値は規定値Nを越えるため(ステップS57,Yes)、一連の撮影動作を終了させる。なお、いずれの合焦距離による撮影においても画角は同一とする。 Under the same control, when shooting at all the in-focus distances set in step S52 is completed, the value of the counter i exceeds the specified value N (step S57, Yes), and thus a series of shooting operations is ended. It should be noted that the angle of view is the same for shooting at any focusing distance.
なお、撮影された画像のイメージデータを圧縮せずに記録媒体308に記録したり、それを外部インターフェース部309を介して外部のパソコンなどへ転送することも可能である。
Note that image data of a photographed image can be recorded on the recording medium 308 without being compressed, or can be transferred to an external personal computer or the like via the
また、この撮像装置に図1乃至図4により説明した本発明の画像処理装置の機能を組み込むこともできる。この場合、例えば、制御部306を構成するマイクロコンピュータ、及び/又は、信号処理部303を構成するデジタル信号プロセッサを利用し、図1中の処理部200の機能をプロクラムにより実現することができる。かかる構成によれば、撮像装置内で、撮影した複数枚の画像の合成処理を実行可能となる。このような構成の撮像装置も当然に本発明に包含される。
Further, the function of the image processing apparatus of the present invention described with reference to FIGS. 1 to 4 can be incorporated in this imaging apparatus. In this case, for example, the function of the
200 処理部
201 記憶部
202 圧縮/伸長部
203 補助記憶部
204 データ入出力部
P1,P2,P3 合成前の画像
Q1,Q2,Q3 再生画像
300 撮像光学系
301 イメージャ
302 CDS・A/D変換部
303 信号処理部
306 制御部
307 圧縮/伸長部
308 記録媒体
310 操作部
DESCRIPTION OF
Claims (14)
各元画像の高周波成分量を小領域毎に求める手段と、
複数の元画像間で小領域毎に高周波成分量を比較し、小領域毎に、高周波成分量が最大の元画像のイメージデータを集めて合成画像のイメージデータを作成する手段と、を有することを特徴とする画像処理装置。 An image processing apparatus that generates a single composite image by combining a plurality of images (hereinafter referred to as original images) taken at different focal lengths with the same angle of view,
Means for obtaining the high-frequency component amount of each original image for each small area;
Means for comparing high-frequency component amounts for each small area between a plurality of original images, and collecting image data of the original image having the maximum high-frequency component amount for each small area to create image data of a composite image An image processing apparatus.
合成画像の周波数変換係数を得る手段と、
合成画像の小領域毎に付与された距離情報を参照して、(a)再生画像の合焦距離に一致する距離情報が付与された、合成画像の小領域の周波数変換係数をそのまま当該再生画像の対応小領域の周波数変換係数として用い、(b)再生画像の合焦距離に不一致の距離情報が付与された、合成画像の小領域の周波数変換係数を、当該距離情報により示される合焦距離と当該再生画像の合焦距離との距離差に応じた量子化パラメータにより量子化した周波数変換係数を、当該再生画像の対応小領域の周波数変換係数として用いることにより、複数の再生画像の周波数変換係数を生成する手段と、
を有することを特徴とする画像処理装置。 An image processing device that generates a plurality of reproduced images with different in-focus distances from a composite image synthesized from a plurality of images shot at different in-focus distances at the same angle of view,
Means for obtaining a frequency conversion coefficient of the composite image;
With reference to the distance information assigned to each small area of the composite image, (a) the frequency conversion coefficient of the small area of the composite image to which the distance information matching the in-focus distance of the playback image is assigned is used as it is. (B) The frequency conversion coefficient of the small area of the composite image, to which the disagreement distance information is added to the in-focus distance of the reproduced image, is used as the frequency conversion coefficient of the corresponding small area of The frequency conversion coefficient quantized with the quantization parameter corresponding to the distance difference between the playback image and the focus distance of the playback image is used as the frequency conversion coefficient of the corresponding small area of the playback image, thereby converting the frequency of multiple playback images Means for generating coefficients;
An image processing apparatus comprising:
各元画像の高周波成分量を小領域毎に求める処理と、
元画像間で小領域毎に高周波成分量を比較し、小領域毎に、高周波成分量が最大の元画像のイメージデータを集めて合成画像のイメージデータを作成する処理と、を含むことを特徴とする画像処理方法。 An image processing method for generating a single composite image by combining a plurality of images (hereinafter referred to as original images) taken at different focal distances at the same angle of view,
Processing for obtaining the high-frequency component amount of each original image for each small area;
A process of comparing high-frequency component amounts for each small area between the original images and collecting image data of the original image having the maximum high-frequency component amount for each small area to create a composite image image data. An image processing method.
合成画像の周波数変換係数を得る処理と、
合成画像の小領域毎に付与された距離情報を参照して、(a)再生画像の合焦距離に一致する距離情報が付与された、合成画像の小領域の周波数変換係数をそのまま当該再生画像の対応小領域の周波数変換係数として用い、(b)再生画像の合焦距離に不一致の距離情報が付与された、合成画像の小領域の周波数変換係数を、当該距離情報により示される合焦距離と当該再生画像の合焦距離との距離差に応じた量子化パラメータにより量子化した周波数変換係数を、当該再生画像の対応小領域の周波数変換係数として用いることにより、複数の再生画像の周波数変換係数を生成する処理と、
を含むことを特徴とする画像処理方法。 An image processing method for generating a plurality of reproduced images having different in-focus distances from a composite image synthesized from a plurality of images taken at different in-focus distances at the same angle of view,
Processing to obtain a frequency conversion coefficient of the composite image;
With reference to the distance information assigned to each small area of the composite image, (a) the frequency conversion coefficient of the small area of the composite image to which the distance information matching the in-focus distance of the playback image is assigned is used as it is. (B) The frequency conversion coefficient of the small area of the composite image, to which the disagreement distance information is added to the in-focus distance of the reproduced image, is used as the frequency conversion coefficient of the corresponding small area of The frequency conversion coefficient quantized with the quantization parameter corresponding to the distance difference between the playback image and the focus distance of the playback image is used as the frequency conversion coefficient of the corresponding small area of the playback image, thereby converting the frequency of multiple playback images Processing to generate coefficients;
An image processing method comprising:
レリーズボタンが押下された時の前記撮像手段の合焦距離を含む複数の異なる合焦距離を設定する手段と、
前記撮像手段に対し、同一の画角で、前記設定された複数の合焦距離で順次撮影させるための制御を行う手段と、を有することを特徴とする撮像装置。 In an imaging apparatus having an imaging means capable of changing the in-focus distance without changing the angle of view,
Means for setting a plurality of different in-focus distances including in-focus distances of the imaging means when the release button is pressed;
An image pickup apparatus comprising: a control unit configured to control the image pickup unit to sequentially photograph at the plurality of set focal distances at the same angle of view.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003380147A JP4458408B2 (en) | 2003-11-10 | 2003-11-10 | Image processing apparatus, image processing method, program, and information recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003380147A JP4458408B2 (en) | 2003-11-10 | 2003-11-10 | Image processing apparatus, image processing method, program, and information recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005143029A true JP2005143029A (en) | 2005-06-02 |
JP4458408B2 JP4458408B2 (en) | 2010-04-28 |
Family
ID=34689980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003380147A Expired - Fee Related JP4458408B2 (en) | 2003-11-10 | 2003-11-10 | Image processing apparatus, image processing method, program, and information recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4458408B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013145980A (en) * | 2012-01-13 | 2013-07-25 | Canon Inc | Imaging device, control method thereof, image processing apparatus, image generation method, program |
-
2003
- 2003-11-10 JP JP2003380147A patent/JP4458408B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013145980A (en) * | 2012-01-13 | 2013-07-25 | Canon Inc | Imaging device, control method thereof, image processing apparatus, image generation method, program |
Also Published As
Publication number | Publication date |
---|---|
JP4458408B2 (en) | 2010-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100971835B1 (en) | Image decoding method and apparatus | |
JP4148462B2 (en) | Image processing apparatus, electronic camera apparatus, and image processing method | |
JP3956360B2 (en) | Imaging apparatus and image processing method | |
JP2006014121A (en) | Image encoding method, image encoding apparatus, and imaging apparatus | |
JP2002084540A (en) | Device and method for processing image, electronic camera and program | |
JP2006279397A (en) | Image emphasizing apparatus | |
JP2011130112A (en) | Display support device and imaging apparatus | |
JP4771986B2 (en) | Image encoding apparatus and imaging apparatus using the same | |
WO2006046550A1 (en) | Image encoding method and device, image decoding method, and device | |
JP4850111B2 (en) | Image display device and imaging device equipped with the same | |
JP4375662B2 (en) | Image processing apparatus, image processing method, program, information recording medium, and imaging apparatus | |
JP2006074114A (en) | Image processing apparatus and imaging apparatus | |
US20230133895A1 (en) | Image encoding apparatus and method for controlling the same and non-transitory computer-readable storage medium | |
TWI390959B (en) | Video signal processing device, video signal processing method and video signal processing program | |
JP2020120322A (en) | Distance image coding device and program of the same, and distance image decoding device and program of the same | |
JP2001359117A (en) | Image processing unit and image processing method or the unit | |
JP4458408B2 (en) | Image processing apparatus, image processing method, program, and information recording medium | |
JP4749508B2 (en) | Image decoding method | |
JP6907004B2 (en) | Image processing equipment, image processing methods, and programs | |
JP4430731B2 (en) | Digital camera and photographing method | |
JP2006295521A (en) | Moving image compression apparatus and moving image pickup apparatus | |
JP4667424B2 (en) | Image decoding device | |
JP2023070055A (en) | Image encoding device, control method thereof, and program | |
JP4667423B2 (en) | Image decoding device | |
JP4143239B2 (en) | Imaging apparatus, control method therefor, and computer-readable memory |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060726 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100203 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100204 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130219 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130219 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140219 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |