JP2012231377A - Imaging apparatus and image generation method - Google Patents
Imaging apparatus and image generation method Download PDFInfo
- Publication number
- JP2012231377A JP2012231377A JP2011099265A JP2011099265A JP2012231377A JP 2012231377 A JP2012231377 A JP 2012231377A JP 2011099265 A JP2011099265 A JP 2011099265A JP 2011099265 A JP2011099265 A JP 2011099265A JP 2012231377 A JP2012231377 A JP 2012231377A
- Authority
- JP
- Japan
- Prior art keywords
- image
- addition
- unit
- pixel value
- added
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 238000003384 imaging method Methods 0.000 title claims abstract description 76
- 238000012545 processing Methods 0.000 claims abstract description 133
- 238000007906 compression Methods 0.000 claims abstract description 67
- 230000006835 compression Effects 0.000 claims abstract description 66
- 238000004364 calculation method Methods 0.000 claims description 35
- 230000006837 decompression Effects 0.000 claims description 16
- 230000003044 adaptive effect Effects 0.000 claims description 15
- 238000011156 evaluation Methods 0.000 claims description 10
- 238000013144 data compression Methods 0.000 description 44
- 238000009826 distribution Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 15
- 230000004927 fusion Effects 0.000 description 13
- 238000005070 sampling Methods 0.000 description 10
- 239000003086 colorant Substances 0.000 description 5
- 230000002427 irreversible effect Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、撮像装置及び画像生成方法等に関する。 The present invention relates to an imaging apparatus, an image generation method, and the like.
昨今のデジタルカメラやビデオカメラには、静止画撮影モードと動画撮影モードを切り替えて使用できるものがある。例えば、動画撮影中にユーザーがボタン操作をすることで、動画よりも高解像の静止画を撮影できるものがある。 Some recent digital cameras and video cameras can be used by switching between a still image shooting mode and a moving image shooting mode. For example, there is one that can shoot a still image with a higher resolution than a moving image by a user operating a button during moving image shooting.
しかしながら、静止画撮影モードと動画撮影モードを切り替える手法では、ユーザーがシャッターチャンスに気付いたときには既に決定的瞬間を逃していることが多いという課題がある。 However, the method of switching between the still image shooting mode and the moving image shooting mode has a problem that when the user notices a photo opportunity, a decisive moment is often already missed.
本発明者は、この決定的瞬間の撮影を実現するために、低解像動画から任意タイミングの高解像静止画を生成することを考えている。例えば、特許文献１、２には、画素シフトにより取得された低解像画像から高解像画像を合成する手法が開示されている。しかしながら、この手法では、画素シフトによる撮像が必要となるためカメラの構成が複雑となってしまう。また、高解像化処理の負荷が大きいことや、画素値の推定が困難な場合があるという課題がある。
The present inventor considers generating a high-resolution still image at an arbitrary timing from a low-resolution moving image in order to realize photographing at this decisive moment. For example,
本発明の幾つかの態様によれば、簡素な処理で低解像動画から高解像画像を取得できる撮像装置及び画像生成方法等を提供できる。 According to some aspects of the present invention, it is possible to provide an imaging device, an image generation method, and the like that can acquire a high-resolution image from a low-resolution moving image with simple processing.
本発明の一態様は、撮像画像を取得する画像取得部と、加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得する加算画像生成部と、前記加算画像を圧縮する圧縮処理部と、圧縮された前記加算画像を伸張する伸張処理部と、伸張された前記加算画像に基づいて前記撮像画像の画素値を推定する推定演算部と、前記推定演算部により推定された画素値に基づく高解像画像を出力する画像出力部と、を含み、前記加算画像生成部は、前記加算単位を順次画素シフトさせて第１〜第ｎの加算画像（ｎは２以上の自然数）を前記加算画像として取得し、前記圧縮処理部は、前記第１〜第ｎの加算画像の平均を平均画像として求め、前記平均画像と、前記第１〜第ｎの加算画像のうちの第ｍの加算画像（ｍはｎ以下の自然数）との差分を、第ｍの差分画像として求め、求めた前記平均画像と前記第ｍの差分画像を圧縮し、前記伸張処理部は、圧縮された前記平均画像と前記第ｍの差分画像を伸張して前記第１〜第ｎの加算画像を求める撮像装置に関係する。 According to one aspect of the present invention, an image acquisition unit that acquires a captured image, an addition unit that is a unit for acquiring an added pixel value is set for each of a plurality of pixels of the captured image, and a pixel value included in the addition unit is set. An addition image generation unit that obtains the addition pixel value by weighted addition, obtains an addition image based on the obtained addition pixel value, a compression processing unit that compresses the addition image, and a decompression that decompresses the compressed addition image A processing unit; an estimation calculation unit that estimates a pixel value of the captured image based on the expanded added image; and an image output unit that outputs a high-resolution image based on the pixel value estimated by the estimation calculation unit; The addition image generation unit obtains first to nth addition images (n is a natural number equal to or greater than 2) as the addition image by sequentially shifting the addition unit, and the compression processing unit includes: The first to nth addition images Is obtained as an average image, and a difference between the average image and the m-th added image (m is a natural number equal to or less than n) of the first to n-th added images is obtained as an m-th difference image. The obtained average image and the m-th difference image are compressed, and the decompression processing unit decompresses the compressed average image and the m-th difference image to obtain the first to n-th added images. It relates to the desired imaging device.
本発明の一態様によれば、加算単位が順次画素シフトされて第１〜第ｎの加算画像が取得され、その第１〜第ｎの加算画像の平均画像が求められる。そして、その平均画像と第ｍの加算画像の差分である第ｍの差分画像が求められ、その平均画像と第ｍの差分画像が圧縮される。そして、それらの圧縮された画像が伸張されて第１〜第ｎの加算画像が求められ、その第１〜第ｎの加算画像に基づいて撮像画像が推定される。 According to one aspect of the present invention, the addition units are sequentially pixel-shifted to obtain the first to nth added images, and the average image of the first to nth added images is obtained. Then, an mth difference image that is a difference between the average image and the mth addition image is obtained, and the average image and the mth difference image are compressed. Then, the compressed images are expanded to obtain first to nth added images, and a captured image is estimated based on the first to nth added images.
これにより、例えば後述する推定処理を適用することで、簡素な処理で低解像の加算画像から高解像な撮像画像を復元することが可能になる。動画撮影と静止画撮影を切り換えないため、動画データから任意タイミングの高解像静止画を取得できる。また、差分画像を求めることで、高圧縮率で画像データを圧縮できる。 Accordingly, for example, by applying an estimation process described later, it is possible to restore a high-resolution captured image from a low-resolution added image with a simple process. Since moving image shooting and still image shooting are not switched, a high-resolution still image at an arbitrary timing can be acquired from moving image data. Further, by obtaining the difference image, the image data can be compressed at a high compression rate.
また本発明の一態様では、前記加算画像生成部は、前記加算単位を、水平又は垂直に１画素ずつ順次シフトさせて第１〜第ｎのポジションに設定し、前記第１〜第ｎのポジションにおいてそれぞれ前記第１〜第ｎの加算画像を取得し、前記第１〜第ｎのポジションのうちの第ｍのポジションと第ｍ＋１のポジションの前記加算単位は、共通の画素を含んでもよい。 In the aspect of the invention, the addition image generation unit may sequentially shift the addition unit horizontally or vertically one pixel at a time to set the first to nth positions, and the first to nth positions. The first to n-th added images may be acquired in step S1, and the addition unit of the m-th position and the (m + 1) -th position among the first to n-th positions may include a common pixel.
このようにすれば、共通の画素を含みながら加算単位を順次画素シフトして加算画素値を求め、その加算画素値により第１〜第ｎの加算画像を構成できる。 In this way, the addition unit value is obtained by sequentially shifting the addition unit while including the common pixels, and the first to nth addition images can be configured by the addition pixel value.
また本発明の一態様では、前記圧縮処理部は、前記第１〜第ｎのポジションの前記加算画素値の平均値を、前記平均画像の画素値として求める平均画像生成部と、前記平均画像の画素値と、前記第ｍのポジションの前記加算画素値の差分値を、前記第ｍの差分画像の画素値として求める差分画像生成部と、を有してもよい。 In the aspect of the invention, the compression processing unit may obtain an average value of the addition pixel values at the first to n-th positions as a pixel value of the average image, A difference image generation unit that obtains a difference value between the pixel value and the added pixel value at the m-th position as a pixel value of the m-th difference image.
このようにすれば、第１〜第ｎの加算画像の画素値を平均することで、平均画像の画素値を求めることができる。また、平均画像の画素値と、第ｍの加算画像の画素値の差分値により、第ｍの差分画像の画素値を求めることができる。 In this way, the pixel value of the average image can be obtained by averaging the pixel values of the first to nth added images. Further, the pixel value of the mth difference image can be obtained from the difference value between the pixel value of the average image and the pixel value of the mth addition image.
また本発明の一態様では、低解像動画を生成する低解像動画生成部を含み、前記撮像画像がＲＧＢベイヤー配列の画像であり、前記加算単位が、隣接する４画素である場合に、前記加算画像生成部は、第１〜第４のポジション（ｎ＝４）において、前記重み付け加算によりＲＧＢが混色された第１〜第４の加算画像を取得し、前記低解像動画生成部は、前記第１〜第４の加算画像のうちの第１〜第３の加算画像に基づいて、前記低解像動画のＲＧＢの画素値を推定により求めてもよい。 In one aspect of the present invention, a low-resolution moving image generation unit that generates a low-resolution moving image is included, the captured image is an image of an RGB Bayer array, and the addition unit is four adjacent pixels. The addition image generation unit acquires first to fourth addition images in which RGB is mixed by the weighted addition at the first to fourth positions (n = 4), and the low-resolution moving image generation unit The RGB pixel values of the low-resolution moving image may be obtained by estimation based on the first to third addition images among the first to fourth addition images.
このようにすれば、ＲＧＢが加算により混色されている加算画像から、ＲＧＢのカラー画像を生成することができる。これにより、撮像画像を復元することなく簡易的にカラー動画を得ることができる。 In this way, an RGB color image can be generated from an added image in which RGB is mixed by addition. Thereby, it is possible to easily obtain a color moving image without restoring the captured image.
また本発明の一態様では、前記圧縮処理部は、前記第ｍの差分画像をエントロピー符号化により可逆圧縮してもよい。 In the aspect of the invention, the compression processing unit may reversibly compress the m-th difference image by entropy coding.
差分画像は、平均画像と加算画像の差分であるため画素値のエントロピーを撮像画像よりも小さくできる。そのため、差分画像をエントロピー符号化することで高圧縮率で圧縮できる。 Since the difference image is a difference between the average image and the added image, the entropy of the pixel value can be made smaller than that of the captured image. Therefore, the difference image can be compressed at a high compression rate by entropy encoding.
また本発明の一態様では、前記撮像画像がＲＧＢベイヤー配列の画像である場合に、前記推定演算部は、前記撮像画像の前記ＲＧＢベイヤー配列の画素値を推定により求め、前記画像出力部は、推定された前記ＲＧＢベイヤー配列の画素値をデモザイキング処理した画像に基づいて高解像動画を出力してもよい。 In one aspect of the present invention, when the captured image is an image of an RGB Bayer array, the estimation calculation unit obtains a pixel value of the RGB Bayer array of the captured image by estimation, and the image output unit includes: A high-resolution moving image may be output based on an image obtained by demosaicing the estimated pixel values of the RGB Bayer array.
このようにすれば、高圧縮率で圧縮された画像データから、撮像画像に相当する解像度の高解像動画を復元することができる。これにより、動画データの高圧縮率と高画質を両立することが可能になる。 In this way, a high-resolution moving image having a resolution corresponding to the captured image can be restored from the image data compressed at a high compression rate. This makes it possible to achieve both a high compression rate and high image quality for moving image data.
また本発明の一態様では、画素値の変化幅に応じて適応的に移動平均の範囲を調整する適応的ノイズ低減処理を、前記第ｍの差分画像に対して行うノイズ低減処理部を含んでもよい。 In one aspect of the present invention, the image processing apparatus may further include a noise reduction processing unit that performs adaptive noise reduction processing that adaptively adjusts the moving average range according to the change width of the pixel value with respect to the mth difference image. Good.
差分画像は、平均画像と加算画像の差分であるため撮像画像よりも画素値の振幅が小さい。そのため、差分画像に適応的ノイズ低減処理を行うことで、効果的にノイズ低減を行うことができる。 Since the difference image is a difference between the average image and the added image, the amplitude of the pixel value is smaller than that of the captured image. Therefore, noise can be effectively reduced by performing adaptive noise reduction processing on the difference image.
また本発明の一態様では、前記画像取得部は、第１フレームの撮像画像を基準撮像画像として取得し、前記第１フレームの前又は後の第２フレームの撮像画像と前記基準撮像画像の差分を差分撮像画像として取得し、前記加算画像生成部は、前記基準撮像画像に基づく前記第１〜第ｎの加算画像と、前記差分撮像画像に基づく前記第１〜第ｎの加算画像を取得してもよい。 In one aspect of the present invention, the image acquisition unit acquires a captured image of the first frame as a reference captured image, and a difference between the captured image of the second frame before or after the first frame and the reference captured image. And the addition image generation unit acquires the first to nth addition images based on the reference captured image and the first to nth addition images based on the difference captured image. May be.
このようにすれば、フレーム間差分画像は、類似性が高い加算画像の差分となる。これにより、フレーム間差分画像から生成した平均画像の圧縮率を、通常の加算画像から生成した平均画像よりも向上可能である。 In this way, the inter-frame difference image becomes a difference between the added images having high similarity. Thereby, the compression rate of the average image produced | generated from the difference image between frames can be improved rather than the average image produced | generated from the normal addition image.
また本発明の一態様では、第１のポジションに設定された前記加算単位と、前記第１のポジションの次の第２のポジションに設定された前記加算単位が重畳する場合に、前記推定演算部は、前記第１のポジションの加算画素値と、前記第２のポジションの加算画素値の差分値を求め、前記第１のポジションの加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２のポジションの加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めてもよい。 In the aspect of the invention, when the addition unit set in the first position and the addition unit set in the second position next to the first position overlap, the estimation calculation unit Is a difference value between the added pixel value of the first position and the added pixel value of the second position, and the added pixel value of the first area excluding the overlapping area from the addition unit of the first position. A relational expression between the first intermediate pixel value that is and the second intermediate pixel value that is the addition pixel value of the second region excluding the overlap region from the addition unit of the second position, and the difference value The first intermediate pixel value is estimated using the relational expression, and the pixel value of each pixel included in the addition unit is obtained using the estimated first intermediate pixel value. May be.
このようにすれば、加算単位が重畳しながら順次画素シフトされた第１〜第ｎの加算画像から中間画素値を推定し、推定した中間画素値から最終的な推定画素値を求めることができる。これにより、簡素な処理で撮像画像を推定できる。 In this way, it is possible to estimate the intermediate pixel value from the first to n-th added images that are sequentially pixel-shifted while the addition unit is superimposed, and obtain the final estimated pixel value from the estimated intermediate pixel value. . Thereby, a captured image can be estimated by simple processing.
また本発明の一態様では、前記推定演算部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記加算画素値を用いて表し、前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定してもよい。 In the aspect of the invention, the estimation calculation unit may include an intermediate included in the intermediate pixel value pattern when successive intermediate pixel values including the first and second intermediate pixel values are used as an intermediate pixel value pattern. A relational expression between pixel values is represented using the addition pixel value, the intermediate pixel value pattern represented by the relational expression between the intermediate pixel values is compared with the addition pixel value, and similarity is evaluated, Based on the similarity evaluation result, an intermediate pixel value included in the intermediate pixel value pattern may be determined so that the similarity is the highest.
このようにすれば、加算単位が重畳されながら画素シフトされることで取得された複数の加算画素値に基づいて、中間画素値を推定により求めることができる。 In this way, an intermediate pixel value can be obtained by estimation based on a plurality of added pixel values acquired by pixel shifting while the addition unit is superimposed.
また、本発明の他の態様は、撮像画像を取得し、加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得し、前記加算画像を圧縮し、圧縮された前記加算画像を伸張し、伸張された前記加算画像に基づいて前記撮像画像の画素値を推定するとともに、前記推定された画素値に基づく高解像画像を出力する場合に、前記加算単位を順次画素シフトさせて第１〜第ｎの加算画像（ｎは２以上の自然数）を前記加算画像として取得し、前記第１〜第ｎの加算画像の平均を平均画像として求め、前記平均画像と、前記第１〜第ｎの加算画像のうちの第ｍの加算画像（ｉはｎ以下の自然数）との差分を、第ｍの差分画像として求め、求めた前記平均画像と前記第ｍの差分画像を圧縮し、圧縮された前記平均画像と前記第ｍの差分画像を伸張して前記第１〜第ｎの加算画像を求める画像生成方法に関係する。 In another aspect of the present invention, a captured image is acquired, an addition unit, which is a unit for acquiring an added pixel value, is set for each of a plurality of pixels of the captured image, and a pixel value included in the added unit is weighted. Adding to obtain the added pixel value, obtaining an added image based on the obtained added pixel value, compressing the added image, decompressing the compressed added image, and based on the decompressed added image When estimating the pixel value of the captured image and outputting a high-resolution image based on the estimated pixel value, the addition units are sequentially pixel-shifted to obtain first to nth added images (n is 2 or more). (Natural number) is obtained as the added image, the average of the first to n-th added images is obtained as an average image, and the average image and the m-th added image among the first to n-th added images (I is a natural number less than or equal to n) The difference image of m is obtained, the obtained average image and the mth difference image are compressed, the compressed average image and the mth difference image are expanded, and the first to nth added images are obtained. It relates to the desired image generation method.
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。 Hereinafter, preferred embodiments of the present invention will be described in detail. The present embodiment described below does not unduly limit the contents of the present invention described in the claims, and all the configurations described in the present embodiment are indispensable as means for solving the present invention. Not necessarily.
１．本実施形態の概要
デジタルカメラやビデオカメラの製品には、静止画撮影を主とするデジタルカメラに動画撮影機能をもたせたものや、動画撮影を主とするビデオカメラに静止画撮影機能をもたせたものがある。このような機器を使えば、静止画と動画の撮影を一つの機器でまかなえるという利便さがある。
1. Outline of this embodiment Digital camera and video camera products have a digital camera that mainly shoots still images with a video shooting function, or a video camera that mainly shoots video with a still image shooting function. There is something. If such a device is used, there is the convenience that a still image and a moving image can be shot with a single device.
しかしながら、この手法では、多くの人が求めるシャッターチャンスを逃さず高品位な静止画を得ることが難しいという課題がある。例えば、動画撮影中に高品位静止画を撮影するモードに瞬時に切り替える方法では、動画が途切れたり、ユーザーが気づいたときには既に決定的瞬間を逃していたりするという課題がある。 However, with this method, there is a problem that it is difficult to obtain a high-quality still image without missing the shutter chance that many people demand. For example, in a method of instantaneously switching to a mode for shooting a high-quality still image during moving image shooting, there is a problem that the moving image is interrupted or a decisive moment is already missed when the user notices.
決定的瞬間の静止画を得るために、高フレームレートの高解像動画を取得し、その高解像動画から任意タイミングの静止画を抜き出す手法が考えられる。しかしながら、この手法では、高解像動画を撮影するためデータ量が増大するという課題がある。 In order to obtain a still image at a decisive moment, a method of acquiring a high-resolution moving image with a high frame rate and extracting a still image at an arbitrary timing from the high-resolution moving image can be considered. However, this method has a problem that the amount of data increases in order to capture a high-resolution moving image.
そこで本実施形態では、図１に示すように、撮像画像を画素加算して複数の低解像画像Ａ１〜Ａ４を取得し、その複数の低解像画像Ａ１〜Ａ４の平均画像Ｍを求める。そして、その平均画像Ｍと低解像画像Ａ１〜Ａ４の差分画像Ｄ１〜Ｄ４を求め、その差分画像Ｄ１〜Ｄ４を例えばエントロピー符号化により圧縮する。差分画像Ｄ１〜Ｄ４では画素値がゼロ付近に偏在していると考えられるため、圧縮率を向上できる。
In this embodiment, as shown in FIG. 1, the captured image by pixel addition to obtain a plurality of low-resolution images A 1 to A 4, the average image of the plurality of low-resolution images A 1 to A 4 Find M. Then, the
さて、低解像画像から高解像画像を得る手法として、画素シフトにより撮影した低解像画像に対していわゆる超解像処理を行う手法が考えられる。例えば、この手法では、順次位置ずらししながら加算読み出しを行い、その複数の位置ずれ画像に基づいて高精細化画像を一旦仮定する。そして、仮定した画像を劣化させて低解像画像を生成し、元の低解像画像と比較し、その差異が最小になるように高精細画像を推定する。この超解像処理として、ＭＬ（Maximum-Likelihood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection Onto Convex Set）法、ＩＢＰ（Iterative Back Projection）法等が知られている。 As a technique for obtaining a high-resolution image from a low-resolution image, a technique for performing so-called super-resolution processing on a low-resolution image captured by pixel shift is conceivable. For example, in this method, addition reading is performed while sequentially shifting the position, and a high-definition image is temporarily assumed based on the plurality of position-shifted images. Then, the assumed image is degraded to generate a low resolution image, which is compared with the original low resolution image, and the high definition image is estimated so that the difference is minimized. As this super-resolution processing, an ML (Maximum-Likelihood) method, a MAP (Maximum A Postterior) method, a POCS (Projection Onto Convex Set) method, an IBP (Iterative Back Projection) method, and the like are known.
例えば上述の特許文献１には、動画撮影時に画素シフトさせた低解像画像を時系列的に順次撮影し、その複数の低解像画像を合成することにより高解像画像を仮定し、その高解像画像に対して上記の超解像処理を施し、尤度の高い高解像画像を推定する手法が開示されている。
For example, in
しかしながら、この手法では、２次元フィルターを多用する繰り返し演算により推定精度を上げていく一般的な超解像処理を用いている。そのため、非常に処理の規模が大きくなったり、処理時間が増大したりしてしまい、例えばデジタルカメラのような処理能力やコストの制限がある機器への適用は困難であるという課題がある。 However, this technique uses a general super-resolution process in which the estimation accuracy is increased by iterative calculations that frequently use a two-dimensional filter. For this reason, the scale of processing becomes very large and the processing time increases, and there is a problem that it is difficult to apply to a device such as a digital camera with processing capacity and cost restrictions.
また上述の特許文献２には、画素シフトさせた複数の低解像画像を撮像し、求めたい高解像画像を構成する仮の画素を副画素とおき、その副画素の平均値が、撮影された低解像画像の画素値と一致するように副画素の画素値を推定する手法が開示されている。この手法では、複数の副画素の初期値を設定し、算出したい副画素を除く副画素の画素値を低解像画像の画素値から差し引いて画素値を求め、それを順次隣接する画素に対して適用する。
In
しかしながら、この手法では、初期値の特定が上手くいかないと推定誤差が非常に大きくなるという課題がある。この手法では、初期値を設定するために、所定の条件を満たす領域を画像から見つけ出している。そのため、適当な領域が撮影画像から見つけられないと、初期値の推定が困難になってしまう。また、初期値の設定に適当な領域を探索する処理が必要になってしまう。 However, with this method, there is a problem that the estimation error becomes very large unless the initial value is specified. In this method, an area satisfying a predetermined condition is found from an image in order to set an initial value. Therefore, if an appropriate area cannot be found from the captured image, it is difficult to estimate the initial value. In addition, it is necessary to search for an appropriate area for setting the initial value.
この点、本実施形態では、図１で後述するように、平均画像Ｍと差分画像Ｄ１〜Ｄ４から低解像画像Ａ１〜Ａ４を再生し、その低解像画像Ａ１〜Ａ４から撮像画像を推定により復元する。この低解像画像Ａ１〜Ａ４の加算画素値ａ（１） ００〜ａ（４） ０１は、重畳画素シフトされたものであり、隣接する加算画素値は共通の画素を含んでいる。図２７（Ａ）〜図３０で後述するように、この重畳画素シフトされた加算画素値を用いることで、高解像画像を推定する処理を簡素化できる。
In this regard, in the present embodiment, as described later in FIG. 1, and reproduces the low-
２．第１のデータ圧縮手法
次に、本実施形態について詳細に説明する。まず、撮像画像データの圧縮手法について説明する。なお以下では撮像素子がＲＧＢベイヤー配列である場合を例に説明するが、本実施形態はこれに限定されず、例えば補色フィルターの撮像素子等であってもよい。また以下では４画素加算を行う場合を例に説明するが、本実施形態はこれに限定されず、他の画素数の加算を行ってもよい。また以下ではフレームｆｘの撮像画像を例に説明するが、他のフレームにおいても同様である。
2. First Data Compression Method Next, this embodiment will be described in detail. First, a method for compressing captured image data will be described. In the following description, the case where the image sensor is an RGB Bayer array will be described as an example. However, the present embodiment is not limited to this, and may be, for example, an image sensor of a complementary color filter. In the following, a case where 4-pixel addition is performed will be described as an example. However, the present embodiment is not limited to this, and another pixel number may be added. Hereinafter, a captured image of the frame fx will be described as an example, but the same applies to other frames.
ここで、フレームとは、例えば撮像素子により画像が撮像されるタイミングや、画像処理において１つの撮像画像が処理されるタイミングである。あるいは、画像データにおける１つの画像も適宜フレームと呼ぶ。 Here, the frame is, for example, a timing at which an image is captured by an image sensor or a timing at which one captured image is processed in image processing. Alternatively, one image in the image data is also referred to as a frame as appropriate.
図１に示すように、フレームｆｘにおいて全画素読み出しによりＲＧＢベイヤー配列の撮像画像（以下、「高精細フレーム画像ｆｘ」と呼ぶ）を取得する。高精細フレーム画像ｆｘに、４画素で構成される加算単位（加算される画素群）を設定し、その加算単位の画素値に対して重み付けを行って加算する。このとき、加算単位を１画素分重畳させながら水平又は垂直にシフトさせ、４枚の画素加算画像Ａ１〜Ａ４を生成する。 As shown in FIG. 1, a captured image of an RGB Bayer array (hereinafter referred to as “high-definition frame image fx”) is acquired by reading all pixels in a frame fx. An addition unit (a pixel group to be added) composed of four pixels is set in the high-definition frame image fx, and the pixel values of the addition unit are weighted and added. At this time, the addition unit is shifted horizontally or vertically while superimposing one pixel, and four pixel addition images A 1 to A 4 are generated.
４画素加算値ａｉｊは下式（１）で表わされ、画素加算画像Ａ１〜Ａ４を構成する加算画素値はそれぞれ｛ａｉｊ、ａ（ｉ＋１）ｊ、ａ（ｉ＋１）（ｊ＋１）、ａｉ（ｊ＋１）｝である。
ａｉｊ＝ｖｉｊ＋（１／ｒ）ｖ（ｉ＋１）ｊ＋
（１／ｒ）ｖｉ（ｊ＋１）＋（１／ｒ２）ｖ（ｉ＋１）（ｊ＋１） （１）
The 4-pixel addition value a ij is expressed by the following expression (1), and the addition pixel values constituting the pixel addition images A 1 to A 4 are {a ij , a (i + 1) j , a (i + 1) (j + 1), respectively. , A i (j + 1) }.
a ij = v ij + (1 / r) v (i + 1) j +
(1 / r) v i (j + 1) + (1 / r 2 ) v (i + 1) (j + 1) (1)
ここで、ｒは重み付けのパラメータであり、１≦ｒである。またｖｉｊは高精細フレーム画像におけるアドレス（ｉ，ｊ）の画素値である。 Here, r is a weighting parameter, and 1 ≦ r. V ij is the pixel value of the address (i, j) in the high-definition frame image.
次に、生成した画素加算画像Ａ１〜Ａ４の加算位置の整合を行い、４枚の画素加算画像を重ね合わせた上で同一位置の値の加算平均をとることにより平均画像Ｍを生成する。即ち、画素加算画像Ａ１〜Ａ４の４画素加算値をそれぞれ｛ａ（１） ｉｊ，ａ（２） （ｉ＋１）ｊ，ａ（３） （ｉ＋１）（ｊ＋１），ａ（４） ｉ（ｊ＋１）｝とすると、平均画像Ｍの画素値ａＭ ｉｊは下式（２）で表される。
ａＭ ｉｊ＝［ａ（１） ｉｊ＋ａ（２） （ｉ＋１）ｊ＋
ａ（３） ｉ（ｊ＋１）＋ａ（４） （ｉ＋１）（ｊ＋１）］／４ （２）
Next, the addition positions of the generated pixel addition images A 1 to A 4 are matched, and an average image M is generated by superimposing the four pixel addition images and taking the addition average of the values at the same position. . That is, the 4-pixel addition values of the pixel addition images A 1 to A 4 are respectively represented by {a (1) ij , a (2) (i + 1) j , a (3) (i + 1) (j + 1) , a (4) i ( j + 1) }, the pixel value a M ij of the average image M is expressed by the following equation (2).
a M ij = [a (1) ij + a (2) (i + 1) j +
a (3) i (j + 1) + a (4) (i + 1) (j + 1) ] / 4 (2)
生成した平均画像Ｍを基準とし、その平均画像Ｍと画素加算画像Ａ１〜Ａ４との差分（方向ベクトル（１，−１）への射影）をそれぞれ差分画像Ｄ１〜Ｄ４とする。差分画像Ｄ１〜Ｄ４と平均画像Ｍを合わせて融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）とする。差分画像Ｄ１〜Ｄ４を構成する４画素加算差分値を｛ａＤ１ ｉｊ，ａＤ２ ｉｊ，ａＤ３ ｉｊ，ａＤ４ ｉｊ｝とすれば、下式（３）のように表わせる。
ａＤ１ ｉｊ＝ａＭ ｉｊ−ａ（１） ｉｊ，
ａＤ２ ｉｊ＝ａＭ ｉｊ−ａ（２） （ｉ＋１）ｊ，
ａＤ３ ｉｊ＝ａＭ ｉｊ−ａ（３） （ｉ＋１）（ｊ＋１），
ａＤ４ ｉｊ＝ａＭ ｉｊ−ａ（４） ｉ（ｊ＋１） （３）
Using the generated average image M as a reference, the difference (projection to the direction vector (1, −1)) between the average image M and the pixel addition images A 1 to A 4 is set as difference images D 1 to D 4 , respectively. The difference images D 1 to D 4 and the average image M are combined to obtain fused image data F (M, D 1 to D 4 ). If the 4-pixel addition difference values constituting the difference images D 1 to D 4 are represented as {a D1 ij , a D2 ij , a D3 ij , a D4 ij }, they can be expressed as the following expression (3).
a D1 ij = a M ij −a (1) ij ,
a D2 ij = a M ij −a (2) (i + 1) j ,
a D3 ij = a M ij −a (3) (i + 1) (j + 1) ,
a D4 ij = a M ij −a (4) i (j + 1) (3)
このようにして、静止画と動画を融合させた融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）を生成し、それを記録しておき、その記録されたＦ（Ｍ，Ｄ１〜Ｄ４）を後段において解凍処理することにより、「高精細静止画データ」又は「動画データ」を適宜生成することが可能となる。 In this way, the still image fusion is fused to the moving image data F (M, D 1 ~D 4 ) generates, may be recorded it, the recorded F (M, D 1 ~D 4 ) In the subsequent stage, "high-definition still image data" or "moving image data" can be appropriately generated.
なお、この例では差分（即ち方向ベクトル（１，−１）への射影）をとったが、本実施形態はこれに限定されない。例えば、平均画像Ｍの画素値と画素加算画像Ａ１〜Ａ４の画素値の相関分布に応じて、その主成分軸（分散が最も大きくなる直線）を求め、主成分軸に直交する軸に対して射影した値を用いた方が、より一層データの圧縮が可能となることは言うまでもない。 In this example, the difference (that is, projection onto the direction vector (1, −1)) is taken, but the present embodiment is not limited to this. For example, in accordance with the correlation distribution between the pixel values of the average image M and the pixel values of the pixel addition images A 1 to A 4 , the principal component axis (straight line with the largest variance) is obtained, and the axis orthogonal to the principal component axis is obtained. It goes without saying that the data can be further compressed by using the projected value.
３．エントロピー符号化
次に、上述した平均画像Ｍと差分画像Ｄ１〜Ｄ４を圧縮する手法について説明する。
3. Entropy Coding Next, a method for compressing the above-described average image M and difference images D 1 to D 4 will be described.
平均画像Ｍ及び差分画像Ｄ１〜Ｄ４の画素値データは、発生頻度分布の偏りが顕著になるため、エントロピー符号化（例えばハフマン符号，ＬＺＨ等）がデータ圧縮として効果的である。エントロピー符号化とは、画素値の発生確率を求め、発生確率の高いものから短い符号長を割当てる圧縮手法である。 In the pixel value data of the average image M and the difference images D 1 to D 4 , the bias of the occurrence frequency distribution becomes remarkable, so that entropy coding (for example, Huffman code, LZH, etc.) is effective as data compression. Entropy coding is a compression technique in which the occurrence probability of a pixel value is obtained and a short code length is assigned from the one with the highest occurrence probability.
例えば、平均画像Ｍの画素値データの平均値に対して最も短い符号長を割り当て、その平均値から離れる値ほど符号長を長くしていく符号化が適当である。即ち、差分画像Ｄ１〜Ｄ４の画素値データは各々の平均がゼロであり、ゼロの発生確率をピークとして分布しているので、ゼロ値に最も短い符号を割当てるようにすればよい。また、平均画像Ｍ及び差分画像Ｄ１〜Ｄ４の画素値データは、確率密度に応じて非線形量子化を行うことも有効である。 For example, encoding in which the shortest code length is assigned to the average value of the pixel value data of the average image M and the code length is increased as the value is farther from the average value is appropriate. That is, since the pixel value data of the difference images D 1 to D 4 has an average of zero and is distributed with the occurrence probability of zero as a peak, the shortest code may be assigned to the zero value. It is also effective to perform nonlinear quantization on the pixel value data of the average image M and the difference images D 1 to D 4 according to the probability density.
一方、平均画像Ｍでは、確かに加算平均した画素値データなので発生頻度分布の偏りは顕著になるが、画素加算値の取りうる範囲は、差分画像Ｄ１〜Ｄ４の画素値データと比較すると、かなり大きくなる。そのため、一般的に高圧縮率が期待できる非可逆圧縮法（ＪＰＥＧ，ＭＰＥＧ等）の適用がデータの圧縮としては効果的である。 On the other hand, in the average image M, the deviation of the occurrence frequency distribution becomes remarkable because the pixel value data is certainly the average of the addition, but the range that the pixel addition value can take is compared with the pixel value data of the difference images D 1 to D 4. , Get pretty big. For this reason, application of an irreversible compression method (JPEG, MPEG, etc.) that can generally be expected to have a high compression rate is effective as data compression.
従って、平均画像Ｍにおいては画素数を削減して非可逆高圧縮を適用し、差分画像Ｄ１〜Ｄ４においては、同様な発生分布の偏りを呈する特性を利用した高速エントロピー符号化を適用することが考えられる。 Therefore, in the average image M, the number of pixels is reduced and irreversible high compression is applied, and in the difference images D 1 to D 4 , high-speed entropy coding using a characteristic exhibiting a similar occurrence distribution bias is applied. It is possible.
次に、最も単純なハフマン符号を適用する場合の例を示す。多数の画像の画素値分布に基づいて一つのハフマン符号テーブルを生成すると、適用範囲が広くなり、圧縮効果は画像依存になってしまう。しかしながら、画像毎又は画像範囲毎にハフマンテーブルを毎回生成するのは効果的ではない。 Next, an example of applying the simplest Huffman code is shown. If one Huffman code table is generated based on the pixel value distribution of a large number of images, the application range becomes wide and the compression effect becomes image-dependent. However, it is not effective to generate the Huffman table for each image or image range every time.
そこで、上記の平均画像Ｍに適用する場合、所定の画像領域毎に平均値αＭ ｉｊを下式（４）により求め、その平均値αＭ ｉｊと各加算平均値｛ａＭ ｉｊ｝の差分値｛ａ’Ｍ ｉｊ｝を下式（５）により求める。そして、その差分値｛ａ’Ｍ ｉｊ｝を改めて平均画像Ｍのデータとし、ハフマン符号化を適用すればよい。このことにより、差分値｛ａ’Ｍ ｉｊ｝は、普遍的にゼロを中心とした値の生起分布を形成できる。融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）の中のＭは、Ｍ＝｛αＭ ｉｊ，ａ’Ｍ ｉｊ｝に置き換えて考えられる。
ここで、（ｈ０，ｖ０）は、平均値αＭ ｉｊを算出する領域の始点であり、（ｈ，ｖ）は、平均値αＭ ｉｊを算出する領域の終点である。例えば、平均値αＭ ｉｊを算出する領域は、平均画像Ｍの全体である。平均値αＭ ｉｊを算出する領域や、平均値αＭ ｉｊの算出に用いる平均値ａＭ ｉｊの数は、データの圧縮率とのバランスを評価して決めればよい。 Here, (h0, v0) is the start point of the area where the average value α M ij is calculated, and (h, v) is the end point of the area where the average value α M ij is calculated. For example, the area for calculating the average value α M ij is the entire average image M. The area for calculating the average value α M ij and the number of average values a M ij used for calculating the average value α M ij may be determined by evaluating the balance with the data compression rate.
上記の差分値｛ａ’Ｍ ｉｊ｝と４画素加算差分値｛ａＤ１ ｉｊ，ａＤ２ ｉｊ，ａＤ３ ｉｊ，ａＤ４ ｉｊ｝は、それら自体が平均ゼロの値から成っているので、図２に示す符号割り当てが考えられる。このようにすれば、ハフマン符号テーブルは固定的な一種類で済ますことができる。 Since the difference value {a ′ M ij } and the 4-pixel addition difference value {a D1 ij , a D2 ij , a D3 ij , a D4 ij } are themselves composed of a value of average zero, FIG. The code assignment shown in FIG. In this way, the Huffman code table can be a fixed type.
なお、上述の平均値αＭ ｉｊとして、下式（６）に示す固定値ｍＡＶＲを適用し、変動データとして扱わずに先見情報として扱ってもよい。この場合、平均値ｍＡＶＲはデータとして記録する必要はない。融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）の中のＭは、Ｍ＝｛ｍＡＶＲ，ａ’Ｍ ｉｊ｝と置き換えて考えられる。下式（６）は、上式（１）で定義される重み付け４画素加算値の場合への適用であり、加算画素数や重み付けの掛け方によって適宜適正な値が設定されることに注意が必要である。
ｍＡＶＲ＝ｖｍａｘ・｛１＋（１／ｒ）＋（１／ｒ）＋（１／ｒ２）｝／２ （６）
Note that, as the above-described average value α M ij , the fixed value m AVR shown in the following equation (6) may be applied, and may be handled as look-ahead information without being treated as fluctuation data. In this case, the average value m AVR need not be recorded as data. M in the fusion image data F (M, D 1 to D 4 ) is considered to be replaced with M = {m AVR , a ′ M ij }. The following expression (6) is applied to the case of the weighted 4-pixel addition value defined by the above expression (1), and it should be noted that an appropriate value is appropriately set depending on the number of added pixels and the weighting method. is necessary.
m AVR = v max · {1+ (1 / r) + (1 / r) + (1 / r 2 )} / 2 (6)
ここで、ｒは重み付けのパラメータであり、１≦ｒである。ｖｍａｘは、画素値を規定する最大値である。 Here, r is a weighting parameter, and 1 ≦ r. v max is a maximum value that defines the pixel value.
４．第２のデータ圧縮手法
次に、上述した差分画像Ｄ１〜Ｄ４のデータ量を更に削減する第２のデータ圧縮手法について説明する。
4). Second Data Compression Method Next, a second data compression method for further reducing the data amount of the difference images D 1 to D 4 described above will be described.
差分画像｛Ｄ１，Ｄ３｝の組み合わせと差分画像｛Ｄ２，Ｄ４｝の組み合わせにおいて、相互に負の相関性がある。即ち、｛ａＤ１ ｉｊ，ａＤ３ ｉｊ｝はＲ画素又はＢ画素の重み付けがｒ＝１のパターン同士であり、｛ａＤ２ ｉｊ，ａＤ４ ｉｊ｝はＧｒ画素又はＧｂ画素の重み付けがｒ＝１のパターン同士である。これらの画素値は、平均値と加算画素値の差分値であるため、相互に負の相関性をもつことになる。 There is a negative correlation between the combination of the difference image {D 1 , D 3 } and the combination of the difference image {D 2 , D 4 }. That is, {a D1 ij , a D3 ij } is a pattern in which the weight of R pixel or B pixel is r = 1, and {a D2 ij , a D4 ij } is weight of Gr pixel or Gb pixel is r = 1. Are the patterns. Since these pixel values are the difference values between the average value and the added pixel value, they have a negative correlation with each other.
そのため、４画素加算差分値｛ａＤ１ ｉｊ，ａＤ３ ｉｊ｝，｛ａＤ２ ｉｊ，ａＤ４ ｉｊ｝の発生が規定される２次元座標空間において、生起分布の分散が最も小さくなる適切な軸を求め、その軸に差分値を射影した値を求めれば、更にデータの圧縮が可能である。生起分布の分散が最も小さくなる軸は、例えば、負の相関をもつ生起分布に沿った軸（１，−１）に直交する軸（１，１）である。 Therefore, in the two-dimensional coordinate space in which the generation of the 4-pixel addition difference values {a D1 ij , a D3 ij }, {a D2 ij , a D4 ij } is defined, an appropriate axis that minimizes the occurrence distribution variance is selected. If the value obtained by projecting the difference value on the axis is obtained, the data can be further compressed. The axis with the smallest variance of the occurrence distribution is, for example, the axis (1, 1) orthogonal to the axis (1, -1) along the occurrence distribution having a negative correlation.
ここでは、単純に上述の２組の４画素加算差分値を加算する例を示す。即ち、下式（７）に示すように、方向ベクトル（１，１）の軸への射影を行ってデータの圧縮を実現する。
φ１＝（ａＤ１ ｉｊ＋ａＤ３ ｉｊ）／２，
φ２＝（ａＤ２ ｉｊ＋ａＤ４ ｉｊ）／２ （７）
Here, an example in which the above two sets of 4-pixel addition difference values are simply added is shown. That is, as shown in the following equation (7), the data is compressed by projecting the direction vector (1, 1) onto the axis.
φ 1 = (a D1 ij + a D3 ij ) / 2
φ 2 = (a D2 ij + a D4 ij ) / 2 (7)
この場合、記録データは、４画素加算差分値｛ａＤ３ ｉｊ，ａＤ４ ｉｊ｝に代えて差分加算値｛φ１，φ２｝とすればよい。差分加算値｛φ１，φ２｝で構成される画像データを｛Φ１，Φ２｝と表わせば、最終的に記録する融合画像データはＦ（Ｍ，ａＤ１ ｉｊ，ａＤ２ ｉｊ，Φ１，Φ２）と表わされる。 In this case, the recording data may be the difference addition value {φ 1 , φ 2 } instead of the 4-pixel addition difference value {a D3 ij , a D4 ij }. If the image data composed of the difference addition values {φ 1 , φ 2 } is expressed as {Φ 1 , Φ 2 }, the fusion image data to be finally recorded is F (M, a D1 ij , a D2 ij , Φ 1 , Φ 2 ).
５．高精細静止画の再生手法
上述の第１のデータ圧縮手法では、融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）が得られる。このＦ（Ｍ，Ｄ１〜Ｄ４）から高精細静止画（図１のフレーム画像ｆｘ）を復元推定する手法について説明する。
5. In the high-definition still picture playback method first data compression techniques described above, the fusion image data F (M, D 1 ~D 4 ) is obtained. A technique for restoring and estimating a high-definition still image (frame image fx in FIG. 1) from F (M, D 1 to D 4 ) will be described.
上式（３）を変形すると、下式（８）が得られる。下式（８）に示すように、平均画像Ｍを構成する４画素加算値｛ａＭ ｉｊ｝と、差分画像Ｄ１〜Ｄ４を構成する４画素加算値｛ａＤ１ ｉｊ，ａＤ２ ｉｊ，ａＤ３ ｉｊ，ａＤ４ ｉｊ｝から、画素加算画像Ａ１〜Ａ４のそれぞれの４画素加算値｛ａ（１） ｉｊ，ａ（２） （ｉ＋１）ｊ，ａ（３） （ｉ＋１）（ｊ＋１），ａ（４） ｉ（ｊ＋１）｝が得られる。
ａ（１） ｉｊ＝ａＭ ｉｊ−ａＤ１ ｉｊ，
ａ（２） （ｉ＋１）ｊ＝ａＭ ｉｊ−ａＤ２ ｉｊ，
ａ（３） （ｉ＋１）（ｊ＋１）＝ａＭ ｉｊ−ａＤ３ ｉｊ，
ａ（４） ｉ（ｊ＋１）＝ａＭ ｉｊ−ａＤ４ ｉｊ （８）
When the above equation (3) is transformed, the following equation (8) is obtained. As shown in the following equation (8), the 4-pixel addition value {a M ij } constituting the average image M and the 4-pixel addition values {a D1 ij , a D2 ij , constituting the difference images D 1 to D 4 , From the a D3 ij , a D4 ij }, the 4-pixel addition values {a (1) ij , a (2) (i + 1) j , a (3) (i + 1) (j + 1) of the pixel addition images A 1 to A 4 ), a (4) i ( j + 1)} is obtained.
a (1) ij = a M ij −a D1 ij ,
a (2) (i + 1) j = a M ij −a D2 ij ,
a (3) (i + 1) (j + 1) = a M ij −a D3 ij ,
a (4) i (j + 1) = a M ij −a D4 ij (8)
求められた４画素加算値｛ａ（１） ｉｊ，ａ（２） （ｉ＋１）ｊ，ａ（３） （ｉ＋１）（ｊ＋１），ａ（４） ｉ（ｊ＋１）｝は、１枚の高精細画像を水平又は垂直に１画素ずつ重畳シフトした４画素加算値により構成されている画像データである。この４画素加算値を、図２７（Ａ）〜図３０で後述する復元推定処理に適用することにより、元の高精細フレーム画像ｆｘの画素値が求められる。 The obtained 4-pixel addition value {a (1) ij , a (2) (i + 1) j , a (3) (i + 1) (j + 1) , a (4) i (j + 1) } is one high definition This is image data composed of an added value of four pixels obtained by superimposing and shifting an image horizontally or vertically one pixel at a time. The pixel value of the original high-definition frame image fx is obtained by applying this 4-pixel addition value to the restoration estimation process described later with reference to FIGS.
上述の第２のデータ圧縮手法では、融合画像データＦ（Ｍ，ａＤ１ ｉｊ，ａＤ２ ｉｊ，Φ１，Φ２）が得られる。このＦ（Ｍ，ａＤ１ ｉｊ，ａＤ２ ｉｊ，Φ１，Φ２）から高精細静止画を復元推定する手法について説明する。 In the second data compression method described above, the fused image data F (M, a D1 ij , a D2 ij , Φ 1 , Φ 2 ) is obtained. A method for restoring and estimating a high-definition still image from F (M, a D1 ij , a D2 ij , Φ 1 , Φ 2 ) will be described.
上式（７）を変形すると、下式（９）が得られる。下式（９）より、差分画像Ｄ１〜Ｄ４が得られる。差分画像Ｄ１〜Ｄ４が得られれば、上記と同様に処理することにより、最終的な高精細フレーム画像ｆｘが復元される。
ａＤ３ ｉｊ＝ａＤ１ ｉｊ−２φ１，
ａＤ４ ｉｊ＝ａＤ２ ｉｊ−２φ２ （９）
When the above equation (7) is transformed, the following equation (9) is obtained. Difference images D 1 to D 4 are obtained from the following equation (9). If the difference images D 1 to D 4 are obtained, the final high-definition frame image fx is restored by performing the same processing as described above.
a D3 ij = a D1 ij -2φ 1 ,
a D4 ij = a D2 ij -2φ 2 (9)
なお、以上の実施形態では図１に示すように加算単位を４回シフトさせて加算画像Ａ１〜Ａ４を取得し、平均画像Ｍと差分画像Ｄ１〜Ｄ４を求めたが、本実施形態はこれに限定されない。例えば、加算単位を９回シフトさせて加算画像Ａ１〜Ａ９を取得し、平均画像Ｍと差分画像Ｄ１〜Ｄ９を求めてもよい。 In the above embodiment, as shown in FIG. 1, the addition unit is shifted four times to obtain the addition images A 1 to A 4 and the average image M and the difference images D 1 to D 4 are obtained. The form is not limited to this. For example, the addition unit may be shifted nine times to obtain the added images A 1 to A 9 and the average image M and the difference images D 1 to D 9 may be obtained.
６．撮像装置
図３に、上述のデータ圧縮処理と、高精細フレーム画像ｆｘの復元処理を行う撮像装置の構成例を示す。
6). Imaging Device FIG. 3 shows a configuration example of an imaging device that performs the above-described data compression processing and high-definition frame image fx restoration processing.
撮像装置は、撮像とデータ圧縮処理を行う撮像部１０と、高精細画像の復元処理を行う画像処理部２０を含む。画像処理部２０は、カメラ本体に内蔵されてもよいし、ＰＣ等の外部の情報処理装置により構成されてもよい。
The imaging apparatus includes an
具体的には、撮像部１０は、レンズ１１０、撮像素子１２０（撮像センサー）、加算画像生成部１３０（重畳シフト重み付け加算画像生成部）、圧縮処理部１４０、圧縮データ記録部１５０（融合圧縮データ記録部）、低解像動画生成部１６０（標準動画生成部）、動画データ圧縮部１７０、動画データ記録部１８０、モニター表示部１９０を含む。
Specifically, the
レンズ１１０は、被写体１００を結像させる。撮像素子１２０は、結像された被写体像を撮像する。撮像により得られたアナログ信号は、図示しないＡ／Ｄ変換部によりデジタル信号に変換される。
The
加算画像生成部１３０は、上述のように、画素シフトさせつつ撮像画像の画素値を加算し、撮像画像から画素加算画像Ａ１〜Ａ４を生成する。
As described above, the addition
圧縮処理部１４０は、画素加算画像Ａ１〜Ａ４から平均画像Ｍと差分画像Ｄ１〜Ｄ４を生成し、その平均画像Ｍと差分画像Ｄ１〜Ｄ４を圧縮する処理を行う。具体的には圧縮処理部１４０は、差分画像生成部１４１、平均画像生成部１４２、エントロピー符号化部１４３、データ圧縮部１４４を含む。
The
平均画像生成部１４２は、画素加算画像Ａ１〜Ａ４から平均画像Ｍを生成する。差分画像生成部１４１は、画素加算画像Ａ１〜Ａ４と平均画像Ｍから差分画像Ｄ１〜Ｄ４を生成する。エントロピー符号化部１４３は、上述のエントロピー符号化等の可逆圧縮により差分画像Ｄ１〜Ｄ４を圧縮する。データ圧縮部１４４は、例えばＭ−ＪＰＥＧやＪＰＥＧ−ＸＲ等の非可逆圧縮により平均画像Ｍを圧縮する。
The average
圧縮データ記録部１５０は、圧縮された画像データを記録する。具体的には圧縮データ記録部１５０は、圧縮された差分画像Ｄ１〜Ｄ４を記録する差分データ記録部１５１と、圧縮された平均画像Ｍを記録する平均画像データ記録部１５２を含む。
The compressed
低解像動画生成部１６０は、図９等で後述する処理によりリアルタイムの低解像動画を生成する。動画データ圧縮部１７０は、例えばＡＶＣＨＤ（Ｈ．２６４）やＭ−ＪＰＥＧ、ＪＰＥＧ−ＸＲ等により低解像動画を圧縮する。動画データ記録部１８０は、圧縮された低解像動画を記録する。モニター表示部１９０は、リアルタイムの又は再生された低解像動画を表示する。
The low-resolution moving
画像処理部２０は、伸張処理部２０５、加算画像ノイズ低減処理部２２０、推定演算部２３０（高精細画像復元推定部）、高精細静止画生成部２４０、高精細動画生成部２５０、高画質標準動画生成部２６０、動画圧縮データ伸張部２７０、標準動画生成部２８０、画像出力部２９０、画像選択部２９５を含む。
The
伸張処理部２０５は、圧縮データを伸張して加算画像Ａ１〜Ａ４を再生する。具体的には、伸張処理部２０５は、圧縮データ伸張部２００、加算画像再生部２１０（重み付け加算画像再生部）を含む。
The
圧縮データ伸張部２００は、圧縮された平均画像Ｍと差分画像Ｄ１〜Ｄ４を伸張する処理を行う。加算画像再生部２１０は、平均画像Ｍと差分画像Ｄ１〜Ｄ４から加算画像Ａ１〜Ａ４を再生する処理を行う。加算画像ノイズ低減処理部２２０は、図１９等で後述する適応的ノイズ低減処理を、加算画像Ａ１〜Ａ４に対して行う。
The compressed
推定演算部２３０は、加算画像Ａ１〜Ａ４に基づいて高精細フレーム画像ｆｘを推定により復元する。復元された画像は、ベイヤー配列のＲＡＷ画像である。この推定演算については、図２７（Ａ）等において後述する。
The
高精細静止画生成部２４０は、ベイヤー配列の復元画像をデモザイキング処理し、その画像に対して例えば階調補正処理等の画像処理を行い、高精細静止画を生成する。このとき、画像選択部２９５により選択されたタイミングの静止画が生成される。タイミングは、ユーザーの指示により選択される。ユーザーは、モニター表示部１９０の表示動画を見てタイミングを選択してもよいし、画像出力部２９０の出力動画を見てタイミングを選択してもよい。
The high-definition still
高精細動画生成部２５０は、ベイヤー配列の復元動画画像をデモザイキング処理し、その動画画像に対して例えば階調補正処理等の画像処理を行い、高精細動画を生成する。高画質標準動画生成部２６０は、高精細動画をダウンサンプリングし、例えばハイビジョン画素数の動画を高画質標準動画として生成する。
The high-definition moving
標準動画生成部２８０は、加算画像再生部２１０により再生された加算画像Ａ１〜Ａ４を用いて、図９等で後述する処理により低解像動画を生成し、その低解像動画を標準動画として出力する。標準動画は、例えばハイビジョン画素数の動画である。また、動画圧縮データ伸張部２７０が、動画データ記録部１８０からの圧縮低解像動画を伸張し、標準動画生成部２８０が、その伸張された低解像動画を標準動画として出力してもよい。
The standard moving
画像出力部２９０は、高精細静止画、高精細動画、高画質標準動画、標準動画を、例えば表示装置やプリンターに出力する。
The
７．融合画像データの符号割り当て例 7). Code assignment example of fusion image data
上述の圧縮処理部１４０が融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）を圧縮する場合の符号割り当てについて説明する。
The code assignment when the above-described
図４に第１の符号割り当て例を示す。図４に示すように、融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）の座標（ｉ，ｊ）の画素値に２４ビットを割り当てる。具体的には、平均画像Ｍの画素値ａＭ ｉｊに８ビットを割り当て、差分画像Ｄ１〜Ｄ４の画素値ａＤ１ ｉｊ〜ａＤ４ ｉｊにそれぞれ４ビットを割り当てる。例えば撮像画像（原画像）の画素数をＮ画素とし、画素値データを１２ビットとすると、圧縮データのデータ量は撮像画像のデータ量の１／２＝（Ｎ／４画素×２４ビット）／（Ｎ画素×１２ビット）となる。そして、この符号割り当て後のデータに対して可逆又は非可逆の圧縮を行う。 FIG. 4 shows a first code allocation example. As shown in FIG. 4, 24 bits are assigned to the pixel value of the coordinates (i, j) of the fused image data F (M, D 1 to D 4 ). Specifically, 8 bits are assigned to the pixel value a M ij of the average image M, and 4 bits are assigned to the pixel values a D1 ij to a D4 ij of the difference images D 1 to D 4 , respectively. For example, if the number of pixels of the captured image (original image) is N pixels and the pixel value data is 12 bits, the data amount of the compressed data is 1/2 of the data amount of the captured image = (N / 4 pixels × 24 bits) / (N pixels × 12 bits). Then, lossless or lossy compression is performed on the data after the code assignment.
図５に第２の符号割り当て例を示す。図５に示すように、平均画像Ｍの各画素値に８ビットを割り当て、そのデータを非可逆圧縮する。また、差分画像Ｄ１〜Ｄ４の各画素値に４ビットを割り当て、そのデータを可逆圧縮する。図５では、差分画像Ｄ１の符号割り当てを示すが、他の差分画像Ｄ２〜Ｄ４の符号割り当てについても同様である。また図５において、ｄｉｊ＝ａＤ１ ｉｊである。 FIG. 5 shows a second code allocation example. As shown in FIG. 5, 8 bits are assigned to each pixel value of the average image M, and the data is irreversibly compressed. Also, 4 bits are assigned to each pixel value of the difference images D 1 to D 4 and the data is reversibly compressed. In Figure 5 shows a code assignment of the difference image D 1, it is the same for code assignment of the other of the difference image D 2 to D 4. In FIG. 5, d ij = a D1 ij .
この例では、再びデータ伸張したときに平均画像が多少劣化することが考えられるが、上式（３）に示すように、差分画素値｛ａＤ１ ｉｊ，ａＤ２ ｉｊ，ａＤ３ ｉｊ，ａＤ４ ｉｊ｝は、共通の平均値ａＭ ｉｊをもつ。後述する復元推定処理では、隣接画素値の差分値（例えばａ（２） （ｉ＋１）ｊ−ａ（１） ｉｊ＝ａＤ２ ｉｊ−ａＤ１ ｉｊ）を用いて推定を行う。このとき、平均値ａＭ ｉｊがキャンセルされるため、平均画像が劣化していても隣接画素値の差分値は完全に復元できる。このように、隣接加算値の差分値により元の画素値関係を特定し推定する方法は、本方式の圧縮の仕方に非常に好都合な復元推定処理であると言える。 In this example, it is conceivable that the average image is somewhat degraded when the data is expanded again, but as shown in the above equation (3), the difference pixel values {a D1 ij , a D2 ij , a D3 ij , a D4 ij } has a common average value a M ij . In the restoration estimation process described later, estimation is performed using a difference value between adjacent pixel values (for example, a (2) (i + 1) j −a (1) ij = a D2 ij −a D1 ij ). At this time, since the average value a M ij is canceled, the difference value between adjacent pixel values can be completely restored even if the average image is degraded. Thus, it can be said that the method of specifying and estimating the original pixel value relationship based on the difference value of the adjacent addition values is a restoration estimation process that is very convenient for the compression method of the present method.
８．撮像装置の第２の構成例
図６に、上式（６）で説明した平均値ｍＡＶＲを用いて可逆圧縮を行う場合の構成例として、撮像装置の第２の構成例を示す。この撮像装置は、撮像部１０、画像処理部２０を含む。なお以下では、図３等で上述した構成要素と同一の構成要件については同一の符号を付し、適宜説明を省略する。
8). Second Configuration Example of Imaging Device FIG. 6 shows a second configuration example of the imaging device as a configuration example in the case of performing reversible compression using the average value m AVR described in the above equation (6). The imaging device includes an
撮像部１０は、レンズ１１０、撮像素子１２０、加算画像生成部１３０、差分画像生成部１４１、平均画像生成部１４２、平均値算出部１４５、減算部１４６、可逆圧縮符号化部１４７、圧縮データ記録部１５０、低解像動画生成部１６０、動画データ圧縮部１７０、動画データ記録部１８０、モニター表示部１９０を含む。画像処理部２０の構成要素は、図３の画像処理部２０と同様である。
The
平均値算出部１４５は、上式（６）で説明した平均値ｍＡＶＲを、平均画像Ｍに基づいて算出する。減算部１４６は、平均画像Ｍの画素値ａＭ ｉｊから平均値ｍＡＶＲを減算し、減算後の画素値ｍｄｉｊを出力する。可逆圧縮符号化部１４７は、差分画像Ｄ１〜Ｄ４のデータと、画素値ｍｄｉｊのデータを可逆圧縮する。圧縮データ記録部１５０は、圧縮されたデータと平均値ｍＡＶＲを記録する。
The average
圧縮データ伸張部２００は、差分画像Ｄ１〜Ｄ４と画素値ｍｄｉｊと平均値ｍＡＶＲを、圧縮されたデータから伸張する。加算画像再生部２１０は、画素値ｍｄｉｊと平均値ｍＡＶＲから平均画像Ｍを再生し、その平均画像Ｍと差分画像Ｄ１〜Ｄ４から加算画像Ａ１〜Ａ４を再生する。
The compressed
図７に、上記第２の構成例における融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）の符号割り当て例を示す。図７に示すように、画素値ｍｄｉｊの先頭に平均値ｍＡＶＲが配列され、画素値ｍｄｉｊと平均値ｍＡＶＲにはそれぞれ８ビットが割り当てられる。また、差分画像Ｄ１〜Ｄ４の画素値ｄｉｊにそれぞれ４ビットが割り当てられる。これらのデータは可逆圧縮される。 FIG. 7 shows an example of code assignment of the fused image data F (M, D 1 to D 4 ) in the second configuration example. As shown in FIG. 7, the average value m AVR is arranged at the head of the pixel values md ij, 8 bits each are assigned to the mean value m AVR and pixel values md ij. Also, 4 bits are assigned to each of the pixel values d ij of the difference images D 1 to D 4 . These data are reversibly compressed.
上記第２の構成例によれば、平均画像Ｍの画素値ｍｄｉｊの発生分布確率に偏りがない場合でも、４画素異色加算画像に変換することにより偏りを作り出すことができるのでエントロピーを低減でき、可逆圧縮における圧縮効果が期待できる。また、平均値ｍＡＶＲと画素値ｍｄｉｊの差分をデータとして採用することにより、発生確率分布の位置（平均値）に大きく依存することなく安定したデータ値を得ることができ、圧縮効果が期待できる。また、全て可逆圧縮なので復元推定前のデータ劣化は存在しない。 According to the second configuration example, even when the occurrence distribution probability of the pixel value md ij of the average image M is not biased, it is possible to reduce the entropy because the bias can be created by converting to the 4-pixel different color addition image. A compression effect in lossless compression can be expected. Further, by adopting the difference between the average value m AVR and the pixel value md ij as data, a stable data value can be obtained without greatly depending on the position (average value) of the occurrence probability distribution, and a compression effect is expected. it can. Also, since all are lossless compression, there is no data degradation before restoration estimation.
９．撮像装置の変形構成例
上記の実施形態では融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）を圧縮する場合を例に説明したが、本実施形態はこれに限定されず、加算画像Ａ１〜Ａ４を圧縮してもよい。図８に、加算画像Ａ１〜Ａ４を圧縮する場合の撮像装置の変形構成例を示す。この撮像装置は、撮像部１０、画像処理部２０を含む。
9. Modified Configuration Example of Imaging Device In the above embodiment, the case where the fusion image data F (M, D 1 to D 4 ) is compressed has been described as an example. However, the present embodiment is not limited to this, and the added image A 1 to A 1 to it may be compressed the a 4. FIG. 8 shows a modified configuration example of the imaging device when the added images A 1 to A 4 are compressed. The imaging device includes an
撮像部１０は、レンズ１１０、撮像素子１２０、加算画像生成部１３０、データ圧縮部１４８、データ記録部１５５、低解像動画生成部１６０、動画データ圧縮部１７０、モニター表示部１９０を含む。画像処理部２０の構成要素は、図３の画像処理部２０と同様である。
The
データ圧縮部１４８は、例えばＭ−ＪＰＥＧやＪＰＥＧ−ＸＲ等の非可逆圧縮により加算画像Ａ１〜Ａ４を圧縮する。データ記録部１５５は、データ圧縮部１４８により圧縮された加算画像Ａ１〜Ａ４と、動画データ圧縮部１７０により圧縮された低解像動画を記録する。
The
この変形構成例によれば、重畳シフト重み付け加算による加算画像Ａ１〜Ａ４を圧縮することで、通常のデモザイキング処理やＹＣｂＣｒ変換を行わずにダイレクトにベイヤー画像を圧縮可能である。 According to this modified configuration example, by compressing the added images A 1 to A 4 by superposition shift weighted addition, it is possible to directly compress the Bayer image without performing normal demosaicing processing or YCbCr conversion.
以上の実施形態によれば、図３に示すように、撮像装置は、画像取得部（例えば撮像素子１２０）と加算画像生成部１３０と圧縮処理部１４０と伸張処理部２０５と推定演算部２３０と画像出力部２９０を含む。
According to the above embodiment, as illustrated in FIG. 3, the imaging apparatus includes an image acquisition unit (for example, the imaging device 120), the addition
図１に示すように、画像取得部は撮像画像ｆｘ（高精細フレーム画像）を取得する。加算画像生成部１３０は、加算画素値（例えばａ（１） ｉｊ）を取得する単位である加算単位を撮像画像の複数の画素毎（例えば４画素毎）に設定し、その加算単位に含まれる画素値を重み付け加算（上式（１））して加算画素値を求め、求めた加算画素値による加算画像Ａ１〜Ａ４を取得する。圧縮処理部１４０は、その加算画像Ａ１〜Ａ４を圧縮する。伸張処理部２０５は、圧縮された加算画像Ａ１〜Ａ４を伸張する。推定演算部２３０は、伸張された加算画像Ａ１〜Ａ４に基づいて撮像画像ｆｘの画素値ｖｉｊを推定する。画像出力部２９０は、推定された画素値ｖｉｊに基づく高解像画像を出力する。
As illustrated in FIG. 1, the image acquisition unit acquires a captured image fx (high-definition frame image). The addition
この場合に、加算画像生成部１３０は、加算単位を順次画素シフトさせて第１〜第４（広義には第１〜第ｎ）の加算画像Ａ１〜Ａ４を取得する。圧縮処理部１４０は、第１〜第４の加算画像Ａ１〜Ａ４の平均を平均画像Ｍとして求め（上式（２））、その平均画像Ｍと、第ｍの加算画像Ａｍ（ｍはｎ以下の自然数）の差分を第ｍの差分画像Ｄｍとして求め（上式（３））、求めた平均画像Ｍと差分画像Ｄｍを圧縮する。伸張処理部２０５は、圧縮された平均画像Ｍと差分画像Ｄｍを伸張して加算画像Ａ１〜Ａ４を求める。
In this case, the addition
このようにすれば、撮像画像ｆｘを効率よく圧縮することが可能になる。即ち、撮像画像ｆｘと４枚の加算画像Ａ１〜Ａ４は画素数としては同一になるが、上述のように差分画像Ｄｍの画素値のエントロピーを撮像画像ｆｘよりも小さくできるため、圧縮率を向上できる。これにより、高圧縮率の画像データから撮像画像ｆｘを復元して任意タイミングの高精細静止画を取り出すことが可能になる。また、加算画像Ａ１〜Ａ４を１枚の撮像画像ｆｘから生成するため、動体でもブレが少ない時間分解能が高い復元画像を得られる。 In this way, the captured image fx can be efficiently compressed. That is, although the captured image fx and the four added images A 1 to A 4 have the same number of pixels, the entropy of the pixel value of the difference image D m can be made smaller than that of the captured image fx as described above. The rate can be improved. As a result, the captured image fx can be restored from the high-compression-rate image data to extract a high-definition still image at an arbitrary timing. Further, since the added images A 1 to A 4 are generated from one captured image fx, a restored image with a high temporal resolution with little blur can be obtained even with moving objects.
また、センサー直後に高速に低解像化できることによるデータの縮小が可能であるため、後段でのデータ処理の負荷の低減が図られ、高速データ処理を伴わずに高精細画像の高速撮影処理システムが構築できる。また既存システムへの適用を容易とする技術の提供が可能となる。 In addition, since the data can be reduced by being able to reduce the resolution at high speed immediately after the sensor, the data processing load in the subsequent stage can be reduced, and a high-speed image processing system for high-definition images without high-speed data processing. Can be built. In addition, it is possible to provide a technology that can be easily applied to existing systems.
また本実施形態によれば、簡素な処理で圧縮データから撮像画像ｆｘを再生可能である。即ち、加算画像Ａ１〜Ａ４は、重畳シフト加算により得られた画像データであり、後述する復元推定処理を適用可能である。この復元推定処理は、低解像画像から高解像画像を推定する処理を、上述の特許文献１、２に比べて簡素化することができる。
Further, according to the present embodiment, the captured image fx can be reproduced from the compressed data with a simple process. That is, the addition images A 1 to A 4 are image data obtained by superposition shift addition, and a restoration estimation process described later can be applied. This restoration estimation process can simplify the process of estimating a high-resolution image from a low-resolution image as compared with
また本実施形態では、図１に示すように、加算画像生成部１３０は、加算単位を、水平又は垂直（ｉ軸方向又はｊ軸方向）に１画素ずつ順次シフトさせて第１〜第４のポジション（例えば座標（０，０）、（１，０）、（１，１）、（０，１））に設定し、その第１〜第４のポジションにおいてそれぞれ加算画像Ａ１〜Ａ４を取得する。第ｍのポジションと第ｍ＋１のポジション（例えば（０，０）、（１，０））の加算単位は、共通の画素（ｖ１０、ｖ１１）を含む。
In this embodiment, as shown in FIG. 1, the addition
また本実施形態では、図３に示すように、圧縮処理部１４０は平均画像生成部１４２と差分画像生成部１４１を有する。上式（２）に示すように、平均画像生成部１４２は、第１〜第４のポジションの加算画素値の平均値ａＭ ｉｊを、平均画像の画素値として求める。差分画像生成部１４１は、平均画像の画素値ａＭ ｉｊと、第ｍのポジションの加算画素値（例えばａ（１） ｉｊ）の差分値（ａＤ１ ｉｊ）を、第ｍの差分画像の画素値として求める。
In the present embodiment, as illustrated in FIG. 3, the
これらのようにすれば、共通の画素を含みながら加算単位を順次画素シフトして加算画素値を求める重畳シフト加算を行うことができる。また、加算画像Ａ１〜Ａ４の加算画素値を平均することで、平均画像Ｍの画素値を求めることができる。また、平均画像の画素値と、加算画像Ａ１〜Ａ４の加算画素値の差分値により、差分画像Ｄ１〜Ｄ４の画素値を求めることができる。 By doing so, it is possible to perform superposition shift addition for obtaining an added pixel value by sequentially shifting the addition unit while including a common pixel. Further, by averaging the added pixel value of the added image A 1 to A 4, may be obtained pixel values of the average image M. Further, the pixel values of the difference images D 1 to D 4 can be obtained from the difference value between the pixel value of the average image and the addition pixel values of the addition images A 1 to A 4 .
また本実施形態では、図３等で説明したように、圧縮処理部１４０は、第ｍの差分画像Ｄｍをエントロピー符号化により可逆圧縮する。
In this embodiment, as described with reference to FIG. 3 and the like, the
このようにすれば、上述のようにエントロピーが小さくなった差分画像Ｄｍを高圧縮率で圧縮することができるため、画像データの圧縮率を向上できる。これにより、圧縮データを記録するストレージの容量を削減したり、データ通信における通信負荷を軽減できる。 In this way, it is possible to compress the difference image D m entropy is reduced as described above at a high compression ratio, it is possible to improve the compression ratio of the image data. Thereby, the capacity of the storage for recording the compressed data can be reduced, and the communication load in data communication can be reduced.
また本実施形態では、撮像画像ｆｘはＲＧＢベイヤー配列の画像である。この場合に、推定演算部２３０は、撮像画像ｆｘのＲＧＢベイヤー配列の画素値ｖｉｊを推定により求める。画像出力部２９０は、推定されたＲＧＢベイヤー配列の画素値ｖｉｊをデモザイキング処理した画像に基づいて高解像動画を出力する。
In the present embodiment, the captured image fx is an RGB Bayer array image. In this case, the
例えば本実施形態では、図３で説明したように、高精細動画生成部２５０がデモザイキング処理を行い、その画像に対して階調変換等の画像処理を行って高解像動画を生成し、画像出力部２９０がその高解像動画を表示装置等に出力する。例えば高解像動画は、撮像画像の画素数と同じ画素数の動画である。
For example, in the present embodiment, as described with reference to FIG. 3, the high-definition moving
このようにすれば、高圧縮率で圧縮された画像データから、撮像画像ｆｘに相当する解像度の高解像動画を復元することができる。これにより、動画データの高圧縮率と高画質を両立することが可能になる。 In this way, a high-resolution moving image having a resolution corresponding to the captured image fx can be restored from image data compressed at a high compression rate. This makes it possible to achieve both a high compression rate and high image quality for moving image data.
１０．低解像動画の生成手法
図３で上述のように、低解像動画生成部１６０や標準動画生成部２８０は、加算画像Ａ１〜Ａ４から簡易的に低解像動画を生成する。この低解像動画の生成手法について詳細に説明する。
10. Method for Generating Low-Resolution Video As described above with reference to FIG. 3, the low-resolution
この手法では、加算画像Ａ１〜Ａ４のうち３つの加算画像Ａ１〜Ａ３を用いて、低解像動画データを生成する。まず、図９に示すように、加算画像Ａ１の４加算画素値｛ａ（１） ２２｝を用いて、加算画像Ａ１において未検出の４画素加算値｛ａ（１） １２｝を｛Ｇ１２＋Ｇ２３｝の関係式として算出する。 In this method, low-resolution moving image data is generated using three addition images A 1 to A 3 among the addition images A 1 to A 4 . First, as shown in FIG. 9, using 4 addition pixel value of the added image A 1 {a (1) 22 }, 4 -pixel sum values undetected in addition image A 1 and {a (1) 12} { It is calculated as a relational expression of G 12 + G 23 }.
具体的には、加算画像Ａ１において、配色と重み付けの関係が未検出値ａ（１） １２と一致する周辺の４画素加算値を用いて、未検出値ａ（１） １２の推定値の近似計算を行う。この推定値ａ（１） １２は、Ｒ色画素の重み付けが基準の‘１’に設定されているものとして４画素加算値を求めている。 Specifically, the added image A 1, color relationship of weighted using four pixel sum value near that matches the non-detection value a (1) 12, the estimated value of the undetected value a (1) 12 Perform approximate calculation. This estimated value a (1) 12 is obtained as a 4-pixel addition value on the assumption that the weight of the R color pixel is set to the reference “1”.
未検出値｛ａ（１） １２｝を構成する画素値を、色と対応させて｛Ｒ２２，Ｇ１２，Ｇ２３，Ｂ１３｝と表すと、未検出値｛ａ（１） １２｝は下式（１０）で表される。
ａ（１） １２＝１・Ｒ２２＋（１／ｒ）・Ｇ１２＋
（１／ｒ）・Ｇ２３＋（１／ｒ２）・Ｂ１３ （１０）
The pixel values constituting the non-detection value {a (1) 12}, expressed as in correspondence with
a (1) 12 = 1 · R 22 + (1 / r) · G 12 +
(1 / r) · G 23 + (1 / r 2 ) · B 13 (10)
未検出値｛ａ（１） １２｝の右に隣接する４画素加算値｛ａ（１） ２２｝も同様に、下式（１１）で表される。
ａ（１） ２２＝１・Ｒ２２＋（１／ｒ）・Ｇ３２＋
（１／ｒ）・Ｇ２３＋（１／ｒ２）・Ｂ３３ （１１）
Similarly, the 4-pixel addition value {a (1) 22 } adjacent to the right of the undetected value {a (1) 12 } is expressed by the following expression (11).
a (1) 22 = 1 · R 22 + (1 / r) · G 32 +
(1 / r) · G 23 + (1 / r 2 ) · B 33 (11)
未検出値｛ａ（１） １２｝では、｛Ｒ２２｝成分と｛Ｇ２３｝成分の重み付けが強く支配的であることから、近似的にａ（１） １２≒ａ（１） ２２と考え、下式（１２）と仮定する。
ａ（１） １２＝１・Ｒ２２＋（１／ｒ）・Ｇ１２＋
（１／ｒ）・Ｇ２３＋（１／ｒ２）・Ｂ１３
＝ａ（１） ２２ （１２）
In the undetected value {a (1) 12 }, since the weighting of the {R 22 } component and the {G 23 } component is strongly dominant, a (1) 12 ≈ a (1) 22 is considered approximately. Assume that the following equation (12) is satisfied.
a (1) 12 = 1 · R 22 + (1 / r) · G 12 +
(1 / r) · G 23 + (1 / r 2 ) · B 13
= A (1) 22 (12)
なお、ａ（１） １２の左右に隣接するａ（１） ０２とａ（１） ２２の補間値（平均等）として、ａ（１） １２を求めてもよいし、左右に限らず配色と重み付けが同等な周囲画素加算値から補間によりａ（１） １２を求めても構わない。 It should be noted that a (1) 12 may be obtained as an interpolated value (average, etc.) of a (1) 02 and a (1) 22 adjacent to the left and right of a (1) 12 , A (1) 12 may be obtained by interpolation from the surrounding pixel addition values having the same weighting.
次に、図１０に示すように、加算画像Ａ３の４加算画素値｛ａ（３） １３｝を用いて、加算画像Ａ３において未検出の４画素加算値｛ａ（３） １２｝を｛Ｇ１２＋Ｇ２３｝の関係式として算出する。 Next, as shown in FIG. 10, using 4 addition pixel value of the added image A 3 {a (3) 13 }, the 4-pixel addition value of the undetected in addition image A 3 {a (3) 12 } Calculated as a relational expression of {G 12 + G 23 }.
具体的には、加算画像Ａ３において、配色と重み付けの関係が未検出値ａ（３） １２と一致する周辺の４画素加算値を用いて、未検出値ａ（３） １２の推定値の近似計算を行う。この推定値ａ（３） １２は、Ｂ色画素の重み付けが基準の‘１’に設定されているものとして４画素加算値を求めている。 Specifically, in addition image A 3, using 4-pixel sum values near the color relationship of the weighting to match the non-detection value a (3) 12, estimate undetected value a (3) 12 Perform approximate calculation. The estimated value a (3) 12 is obtained as a 4-pixel addition value on the assumption that the weight of the B color pixel is set to the reference “1”.
未検出値｛ａ（３） １２｝を構成する画素値を｛Ｒ２２，Ｇ１２，Ｇ２３，Ｂ１３｝と表すと、未検出値｛ａ（３） １２｝は下式（１３）で表される。
ａ（３） １２＝（１／ｒ２）・Ｒ２２＋（１／ｒ）・Ｇ１２＋
（１／ｒ）・Ｇ２３＋１・Ｂ１３ （１３）
When the pixel values constituting the undetected value {a (3) 12 } are expressed as {R 22 , G 12 , G 23 , B 13 }, the undetected value {a (3) 12 } is expressed by the following equation (13). expressed.
a (3) 12 = (1 / r 2 ) · R 22 + (1 / r) · G 12 +
(1 / r) · G 23 + 1 · B 13 (13)
未検出値｛ａ（３） １２｝の下に隣接する４画素加算値｛ａ（３） １３｝も同様に、下式（１４）で表される。
ａ（３） １３＝（１／ｒ２）・Ｒ２４＋（１／ｒ）・Ｇ１４＋
（１／ｒ）・Ｇ２３＋１・Ｂ１３ （１４）
Similarly, the 4-pixel addition value {a (3) 13 } adjacent to the lower side of the undetected value {a (3) 12 } is expressed by the following expression (14).
a (3) 13 = (1 / r 2 ) · R 24 + (1 / r) · G 14 +
(1 / r) · G 23 + 1 · B 13 (14)
未検出値｛ａ（３） １２｝に対し、｛Ｂ１３｝成分と｛Ｇ２３｝成分が重み付けが強く支配的であることから、近似的にａ（３） １２≒ａ（３） １３と考え、下式（１５）と仮定する。
ａ（３） １２＝（１／ｒ２）・Ｒ２２＋（１／ｒ）・Ｇ１２＋
（１／ｒ）・Ｇ２３＋１・Ｂ１３
＝ａ（３） １３ （１５）
Since the {B 13 } component and the {G 23 } component are strongly dominant with respect to the undetected value {a (3) 12 }, a (3) 12 ≈ a (3) 13 Consider the following equation (15).
a (3) 12 = (1 / r 2 ) · R 22 + (1 / r) · G 12 +
(1 / r) · G 23 + 1 · B 13
= A (3) 13 (15)
なお、ａ（３） １２の上下に隣接するａ（３） １１とａ（３） １３の補間値（平均等）として、ａ（３） １２を求めてもよいし、上下に限らず配色と重み付けが同等な周囲画素加算値から補間によりａ（３） １２を求めても構わない。 It should be noted that a (3) 12 may be obtained as an interpolated value (average, etc.) of a (3) 11 and a (3) 13 adjacent to the upper and lower sides of a (3) 12. It is also possible to obtain a (3) 12 by interpolation from surrounding pixel addition values with equal weighting.
さて、ａ（１） １２とａ（３） １２におけるＧ１２とＧ２３は同一画素であり近接画素であるので、下式（１６）に示すように、その平均値Ｇ１２／２３と等しいと近似して扱う。
Ｇ１２≒Ｇ２３≒Ｇ１２／２３＝（Ｇ１２＋Ｇ２３）／２ （１６）
Now, since G 12 and G 23 in a (1) 12 and a (3) 12 are the same pixel and are adjacent pixels, as shown in the following equation (16), if it is equal to the average value G 12/23 Handle with approximation.
G 12 ≒ G 23 ≒ G 12/23 = (
上式（１６）を上式（１２）、（１５）に適用すると、下式（１７）が得られる。
ａ（１） １２＝Ｒ２２＋（１／ｒ）・２Ｇ１２／２３＋（１／ｒ２）・Ｂ１３，
ａ（３） １２＝（１／ｒ２）・Ｒ２２＋（１／ｒ）・２Ｇ１２／Ｇ２３＋Ｂ１３ （１７）
When the above equation (16) is applied to the above equations (12) and (15), the following equation (17) is obtained.
a (1) 12 = R 22 + (1 / r) · 2G 12/23 + (1 / r 2 ) · B 13 ,
a (3) 12 = (1 / r 2 ) · R 22 + (1 / r) · 2G 12 / G 23 + B 13 (17)
上式（１７）を解いて、下式（１８）に示すように、Ｒ２２，Ｂ１３とＧ１２／２３の関係式を求める。このようにして、未検出値ａ（１） １２又はａ（３） １２を構成するＲ２２，Ｂ１３がＧ１２／２３により求められることが分かる。
次に、図１１に示すように、加算画像Ａ２において検出されている４画素加算値｛ａ（２） １２｝を用いて、上記のＲ２２，Ｂ１３，Ｇ１２／２３を求める。 Next, as shown in FIG. 11, the above R 22 , B 13 , and G 12/23 are obtained by using the 4-pixel addition value {a (2) 12 } detected in the addition image A 2 .
具体的には、４画素加算値｛ａ（２） １２｝は、上式（１６）を用いて下式（１９）で表される。
ａ（２） １２＝（１／ｒ）・Ｒ２２＋１・Ｇ１２＋
（１／ｒ２）・Ｇ２３＋（１／ｒ）・Ｂ１３
≒（１／ｒ）・Ｒ２２＋［１＋（１／ｒ２）］・Ｇ１２／２３＋
（１／ｒ）・Ｂ１３ （１９）
Specifically, the 4-pixel addition value {a (2) 12 } is expressed by the following equation (19) using the above equation (16).
a (2) 12 = (1 / r) · R 22 + 1 · G 12 +
(1 / r 2 ) · G 23 + (1 / r) · B 13
≒ (1 / r) · R 22 + [1 + (1 / r 2 )] · G 12/23 +
(1 / r) ・ B 13 (19)
上式（１８）のＲ２２，Ｂ１３を上式（１９）に代入すると、下式（２０）に示すようにＧ１２／２３が導出される。下式（２０）により導出されたＧ１２／２３を上式（１８）に代入すれば、Ｒ２２，Ｂ１３が得られる。このようにして求めたＲ２２、Ｇ１２／２３、Ｂ１３を同一座標の画素値として、低解像動画のフレーム画像を構成する。
上記と同様にして４画素加算値｛ａ（２） ｉｊ｝を構成する各々の｛Ｒ，Ｇ，Ｂ｝の値を求めれば、図１１に示すように、元の高精細画像ｆｘを１／４の画素数に低解像度化したＲＧＢ３原色画像を得ることができる。 When the values of each {R, G, B} constituting the 4-pixel addition value {a (2) ij } are obtained in the same manner as described above, the original high-definition image fx is 1 / as shown in FIG. It is possible to obtain an RGB three-primary color image with a resolution reduced to 4 pixels.
以上に説明した手法によれば、簡単な演算処理により低解像３板化カラー画像を得ることができるので、リアルタイム処理を必要とする動画像生成処理として有効である。また、この手法では、従来の同色４画素加算方式に比べ、ベイヤー化したときのＧ色の重心位置のズレが発生せず、より高い画質を得ることができる。 According to the method described above, a low-resolution three-plate color image can be obtained by simple arithmetic processing, which is effective as a moving image generation process that requires real-time processing. Further, in this method, as compared with the conventional four-pixel addition method of the same color, a shift in the center of gravity position of the G color when the Bayer is formed does not occur, and higher image quality can be obtained.
上記の実施形態によれば、図３に示すように、撮像装置は、低解像動画を生成する低解像動画生成部１６０を含む。図１に示すように、撮像画像ｆｘはＲＧＢベイヤー配列の画像であり、加算単位は、隣接する４画素（例えばＲ、Ｇｒ、Ｇｂ、Ｂの４画素）である。この場合に、加算画像生成部１３０は、第１〜第４のポジションにおいて、重み付け加算によりＲＧＢが混色された第１〜第４の加算画像Ａ１〜Ａ４を取得する。図９〜図１１で説明したように、低解像動画生成部１６０は、第１〜第３Ａ１〜Ａ３の加算画像に基づいて、低解像動画のＲＧＢの画素値（例えば図１１のＲ２２、Ｇ１２／２３、Ｂ１３）を推定により求める。
According to the above embodiment, as illustrated in FIG. 3, the imaging apparatus includes the low-resolution moving
このようにすれば、簡素な演算処理により低解像３板化カラー画像を得ることができるため、例えばライブビュー等のリアルタイム処理を必要とする動画像生成処理として有効である。また、同一位置（例えばａ１２）におけるＲＧＢ画素値を推定するため、従来の同色４画素加算方式に比べて、ベイヤー化したときのＧ色の重心位置のズレが発生せず、より高い画質を得ることができる。 In this way, a low-resolution three-plate color image can be obtained by simple arithmetic processing, which is effective as a moving image generation process that requires real-time processing such as live view, for example. In addition, since the RGB pixel value at the same position (for example, a 12 ) is estimated, the center of gravity of G color does not shift when the Bayer method is used, and higher image quality can be obtained as compared with the conventional 4-pixel addition method of the same color. Can be obtained.
１１．撮像装置の第３の構成例
上記の実施形態では、融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）を圧縮したが、本実施形態では、差分画像Ｄ１〜Ｄ４をエントロピー符号化した後にデータ再構成を行い、再構成されたデータを圧縮してもよい。
11. Third Configuration Example of Imaging Device In the above embodiment, the fusion image data F (M, D 1 to D 4 ) is compressed, but in this embodiment, after the difference images D 1 to D 4 are entropy-encoded. Data reconstruction may be performed and the reconstructed data may be compressed.
図１２に、データ再構成を行う場合の構成例として、撮像装置の第３の構成例を示す。この撮像装置は、撮像部１０、画像処理部２０を含む。なお以下では、図３等で上述した構成要素と同一の構成要件については同一の符号を付し、適宜説明を省略する。
FIG. 12 shows a third configuration example of the imaging apparatus as a configuration example when data reconstruction is performed. The imaging device includes an
撮像部１０は、レンズ１１０、撮像素子１２０、低解像画像生成部１２５（動画用低解像ベイヤー画像生成部）、第１の加算画像生成部１３０、第２の加算画像生成部１３５、差分画像生成部１４１、平均画像生成部１４２、エントロピー符号化部１４３、圧縮データ記録部１５０、低解像動画生成部１６０、画素データ再構成部１６５、第３の加算画像生成部１７５、データ圧縮部１８５（融合データ圧縮部）、モニター表示部１９０を含む。
The
画像処理部２０は、圧縮データ伸張部２００、加算画像再生部２１０、低解像画像推定演算部２１５（動画用低解像ベイヤー画像生成部）、推定演算部２３０、高精細静止画生成部２４０、高精細動画生成部２５０、高画質標準動画生成部２６０、標準動画生成部２８０、画像出力部２９０、画像選択部２９５を含む。
The
低解像画像生成部１２５は、例えば一般的な近接同色４画素加算等により、１／４の画素数のベイヤー配列の低解像画像を改めて生成する。第２の加算画像生成部１３５は、低解像画像に対して、図１で説明した加算処理を行って加算画像Ｂ１〜Ｂ４を生成する。
The low-resolution
平均画像生成部１４２は、加算画像Ａ１〜Ａ４の平均画像と、加算画像Ｂ１〜Ｂ４の平均画像を生成する。差分画像生成部１４１は、加算画像Ａ１〜Ａ４とその平均画像の差分画像、及び加算画像Ｂ１〜Ｂ４とその平均画像の差分画像を生成する。エントロピー符号化部１４３は、差分画像生成部１４１からの差分画像に対してエントロピー符号化を行う。
The average
画素データ再構成部１６５は、平均画像の画素データと、エントロピー符号化された差分画像の画素データを、図１６で後述する手法により再構成し、再構成データｕｉｊを出力する。第３の加算画像生成部１７５は、再構成された画素データに対して、図１７で後述する加算処理を行って加算値ξｉｊを生成する。データ圧縮部１８５は、例えばＭ−ＪＰＥＧやＪＰＥＧ−ＸＲ等の非可逆圧縮により加算値ξｉｊを圧縮する。
The pixel
圧縮データ伸張部２００は、圧縮データから加算値ξｉｊを伸張する。加算画像再生部２１０は、伸張された加算値ξｉｊから再構成データｕｉｊを再生し、その再構成データｕｉｊから加算画像Ａ１〜Ａ４、Ｂ１〜Ｂ４を再生する。低解像画像推定演算部２１５は、図２７（Ａ）〜図３０で後述する推定処理を加算画像Ｂ１〜Ｂ４に対して行い、ベイヤー配列の低解像画像を復元する。標準動画生成部２８０は、ベイヤー配列の低解像画像をデモザイキングし、低解像動画（標準動画）を生成する。
The compressed
１２．第３の構成例の動作、処理
次に、上記撮像装置の第３の構成例が行う動作や処理について説明する。
12 Operation and Processing of Third Configuration Example Next, operations and processing performed by the third configuration example of the imaging apparatus will be described.
図１３に、高解像静止画と低解像静止画を同時に取得する撮像処理例を概念的に示す。なお以下では、撮像素子からの撮像フレームは高解像（例えば、１２メガピクセル）であり、フレームレートは高速（例えば、６０ｆｐｓ）であるとする。 FIG. 13 conceptually shows an example of an imaging process for simultaneously acquiring a high resolution still image and a low resolution still image. In the following, it is assumed that the imaging frame from the imaging device is high resolution (for example, 12 megapixels) and the frame rate is high speed (for example, 60 fps).
偶数フレームｆ０、ｆ２、・・・は、図１で説明した加算処理により、１２メガピクセルのベイヤー画像から４枚の３メガピクセルの加算画像に変換される。奇数フレームｆ１、ｆ３、・・・は、例えば一般的な近接同色４画素加算等により、３メガピクセルのベイヤー配列画像に変換される。その変換された画像は、図１で説明した加算処理により、４枚の０．７５メガピクセルの加算画像に変換される。 The even frames f 0 , f 2 ,... Are converted from a 12-megapixel Bayer image into four 3-megapixel addition images by the addition processing described with reference to FIG. The odd-numbered frames f 1 , f 3 ,... Are converted into a 3 megapixel Bayer array image by, for example, general addition of four pixels of similar colors. The converted image is converted into four 0.75 megapixel added images by the addition processing described in FIG.
これらの変換画像から平均画像と差分画像が生成され、差分画像はエントロピー符号化によりデータを圧縮される。圧縮された差分画像は、平均画像と合わせて画素ビットの再構成が行われる。再構成された画素データに対して画素加算が施され、その加算後のデータに対して通常の画像データ圧縮処理が行われる。 An average image and a difference image are generated from these converted images, and data of the difference image is compressed by entropy coding. The compressed difference image is subjected to pixel bit reconstruction together with the average image. Pixel addition is performed on the reconstructed pixel data, and normal image data compression processing is performed on the data after the addition.
ここで、再構成された画素データに対して画素加算を行うのは以下の理由による。即ち、図１２で上述のように、加算画像Ａ１〜Ａ４、Ｂ１〜Ｂ４から平均画像と差分画像が生成され、その差分画像がエントロピー符号化される。この平均画像のデータと、符号化された差分画像のデータは、もはや画像の性質を有した画素値集合ではなくなっており、ランダム性の高い単なるビットの配列でしかない。そのため、特定の符号に偏りをもつデータとしては認識できないものである。即ち、エントロピーが高い状態であると考えた方が無難である。また、この差分画像のデータと平均画像のデータを画素データ再構成部１６５により一つに統合したデータ群も、同様なことが言える。
Here, pixel addition is performed on the reconstructed pixel data for the following reason. That is, as described above with reference to FIG. 12, an average image and a difference image are generated from the added images A 1 to A 4 and B 1 to B 4 , and the difference image is entropy-coded. The average image data and the encoded difference image data are no longer pixel value sets having image characteristics, and are merely an array of bits with high randomness. Therefore, it cannot be recognized as data having a bias in a specific code. That is, it is safer to consider that the entropy is high. The same applies to the data group obtained by integrating the difference image data and the average image data into one by the pixel
従って、一旦エントロピーが高くなったデータ群を再びエントロピーが低いデータに書き換える必要があり、そのために第３の加算画像生成部１７５における加算効果を使ってエントロピーを低減している。このようにして再構成データのエントロピーを低減することで、後段のデータ圧縮の効果を高めている。
Therefore, it is necessary to rewrite the data group once having increased entropy to data having lower entropy. For this purpose, the entropy is reduced by using the addition effect in the third addition
図１４に、上記撮像処理のシーケンス例を示す。図１４に示すように、まず期間Ｔ０において偶数フレームｆ０の高解像画像の露光と読み出しを行い、期間Ｔ１＋Ｔ２においてプリエンコード処理（ＰＥ０）と通常画像データ圧縮処理（圧縮０）を行う。このプリエンコード処理と通常画像データ圧縮処理に並行して、期間Ｔ１において奇数フレームｆ１の高解像画像の露光と読み出しを行い、期間Ｔ２＋Ｔ３／２において低解像化処理とプリエンコード処理（ＰＥ１）と通常画像データ圧縮処理（圧縮１）を行う。この処理シーケンスでは、連続する偶数フレームｆ０と奇数フレームｆ１の通常画像データ圧縮処理（圧縮０、圧縮１）は、シリアルに期間２Ｔ以内で処理される。
FIG. 14 shows a sequence example of the imaging process. As shown in FIG. 14, first, the high-resolution image of the even frame f 0 is exposed and read in the period T 0 , and the pre-encoding process (PE 0) and the normal image data compression process (compression 0) are performed in the period T 1 + T 2 . I do. In parallel with this pre-encoding processing and the normal image data compression processing, exposure and read-out of the high resolution image of the odd-numbered frames f 1 in the period T 1, the low-resolution process in the period T 2 + T 3/2 and the pre Encoding processing (PE1) and normal image data compression processing (compression 1) are performed. In this processing sequence, the normal image data compression processing of the even frame f 0 and odd frames f 1 consecutive (
次に、画素値データの再構成について説明する。図１５にデータ圧縮前のデータ再構成例を示す。この例は、データ圧縮前のデータが画素当り１２ビットで形成される場合でありながらデータ圧縮処理が画素当り８ビットでしか処理できない場合のデータ再構成例である。 Next, the reconstruction of the pixel value data will be described. FIG. 15 shows an example of data reconstruction before data compression. This example is a data reconstruction example in the case where the data before data compression is formed with 12 bits per pixel, but the data compression process can be processed only with 8 bits per pixel.
図１５に示すように、平均画像の画素値ビット列をｍ１０〜ｍ１６、ｍ２０〜ｍ２６で表し、エントロピー符号化後の差分画像の画素値ビット列をｄ１０〜ｄ１４、ｄ２０〜ｄ２４で表す。この１２ビットの配列データを８ビットの配列データに再構成するとき、ビット列ｄ１０〜ｄ１４、ｄ２０〜ｄ２４を再構成データの上位ビットに配列し、ビット列ｍ１０〜ｍ１６、ｍ２０〜ｍ２６の中の上位ビットをなるべく再構成データの上位ビットに配列する。これは、エントロピー符号化後の画素値と平均画像の画素値が、データ圧縮復号による劣化をなるべく受けないようにするためである。
As shown in FIG. 15, the pixel value bit string of the average image is represented by m 10 to m 16 and m 20 to m 26 , and the pixel value bit string of the difference image after entropy coding is represented by d 10 to d 14 and d 20 to d. 24 . When reconstructing the sequence data of the 12-bit to 8-bit array data, arranged in the upper bits of the reconstructed
図１６に、データ再構成において設定するデータ単位の例を示す。図１６に示すように、平均画像の画素値データ｛ａＭ ｉｊ｝（固定ビット幅）に対して、エントロピー符号化後の差分画像の差分値データ｛ｄｋ｝を上乗せ合成してデータを再構成する。即ち、エントロピー符号化後の差分値データと平均画像の画素値データのペア｛ａＭ ｉｊ｝＋｛ｄｋ｝を、改めて仮想的画素値と見なしてデータ単位｛ｕｉｊ｝として再構成する。 FIG. 16 shows an example of a data unit set in data reconstruction. As shown in FIG. 16, the difference value data {d k } of the difference image after entropy coding is added to the pixel value data {a M ij } (fixed bit width) of the average image, and the data is re-synthesized. Configure. That is, the pair {a M ij } + {d k } of the difference value data after entropy encoding and the pixel value data of the average image is reconstructed as a data unit {u ij } by regarding it as a virtual pixel value.
このデータ単位｛ｕｉｊ｝では、下位ビット側に平均画像画素値｛ａＭ ｉｊ｝が配列され、上位ビット側に差分値データ｛ｄｋ｝が配列される。このようにすると、この再構成データをＪＰＥＧ等の非可逆圧縮伸張したときに、データ単位｛ｕｉｊ｝の復号誤差が固定ビット幅の平均画像画素値に影響を及ぼすようにできる。即ち、差分値データに対して復号誤差の影響を極力与えないようにできる。このようにするのは、差分値データがエントロピー符号化データなので、復号誤差があると大きな誤りをもった値として再生されてしまうため、それを避けるためである。 In this data unit {u ij }, the average image pixel value {a M ij } is arranged on the lower bit side, and the difference value data {d k } is arranged on the upper bit side. In this way, when the reconstructed data is subjected to lossy compression / decompression such as JPEG, the decoding error of the data unit {u ij } can affect the average image pixel value having a fixed bit width. That is, it is possible to minimize the influence of the decoding error on the difference value data. This is because the difference value data is entropy-encoded data, so that if there is a decoding error, it is reproduced as a value with a large error, so that it is avoided.
なお、再構成データ単位｛ｕｉｊ｝は符号ビット長Ｎとして固定長で扱われるので、エントロピー符号化後のデータ｛ｄｋ｝は、符号ビット長Ｎから平均画像の画素値｛ａＭ ｉｊ｝の符号ビット長ｎＭ０を差し引いた符号ビット長［Ｎ−ｎＭ０］を満たすように、適切に連結構成すればよい。よって、データ｛ｄｋ｝は、複数の再構成単位｛ｕｉｊ｝に跨って分割構成される場合もあり得る。 Since the reconstructed data unit {u ij } is treated as a fixed length as the code bit length N, the data {d k } after the entropy encoding is calculated from the code bit length N to the pixel value {a M ij } of the average image. The code bit length n M0 is subtracted from the code bit length [N−N M0 ] so as to be appropriately connected. Therefore, the data {d k } may be divided and formed across a plurality of reconstruction units {u ij }.
図１７に、上記再構成データ単位｛ｕｉｊ｝の重畳シフト加算値の例を示す。仮想的画素である｛ｕｉｊ｝は、平均画像ビット加算で且つ任意にビット分離された結果の値なので、発生分布の偏りや近傍画素間の高い相関性は期待できない。そこで、図１７に示すように、再構成データ｛ｕｉｊ｝に対して再び重畳シフト重み付け加算処理を行い、加算値｛ξｉｊ｝を生成する。加算値｛ξｉｊ｝は下式（２１）により求められる。 FIG. 17 shows an example of the superimposed shift addition value of the reconstruction data unit {u ij }. Since {u ij }, which is a virtual pixel, is a value obtained as a result of the average image bit addition and arbitrarily bit-separated, it is not possible to expect bias in the distribution of distribution or high correlation between neighboring pixels. Therefore, as shown in FIG. 17, again performs superimposition shift weighted addition processing on the reconstructed data {u ij}, to generate a sum value {ξ ij}. The added value {ξ ij } is obtained by the following equation (21).
ξｉｊ＝［ｕｉｊ＋（１／ｒ）ｕ（ｉ＋１）ｊ＋
（１／ｒ）ｕｉ（ｊ＋１）＋（１／ｒ２）ｕ（ｉ＋１）（ｊ＋１）］／４
（２１）
ξ ij = [u ij + (1 / r) u (i + 1) j +
(1 / r) u i (j + 1) + (1 / r 2 ) u (i + 1) (j + 1) ] / 4
(21)
このようにして、加算値｛ξｉｊ｝の発生分布の偏りを強くし、また近傍画素間の相関性を高める（エントロピーを低減する）ことができる。これにより、後段の画像データ圧縮における圧縮効果を高めることができる。 In this way, it is possible to increase the bias of the generation distribution of the added value {ξ ij } and increase the correlation between neighboring pixels (reducing entropy). As a result, the compression effect in the subsequent image data compression can be enhanced.
１３．同色加算
上記の実施形態では、ベイヤー配列の異色の隣接４画素を加算する場合を説明したが、本実施形態では、ベイヤー配列の同色の４画素を加算してもよい。図１８に、同色の４画素を加算する場合の撮像部の構成例を示す。
13. Same Color Addition In the above embodiment, the case where four adjacent pixels of different colors in the Bayer array are added has been described, but in the present embodiment, four pixels of the same color in the Bayer array may be added. FIG. 18 shows a configuration example of the imaging unit when adding four pixels of the same color.
図１８に示す撮像部は、レンズ１１０、撮像素子１２０、加算画像生成部３０１〜３０４、差分画像生成部３１１〜３１４、平均画像生成部３２１〜３２４、エントロピー符号化部３３１〜３３４、ベイヤー画像生成部３４０、動画データ圧縮部３５０、圧縮データ記録部１５０を含む。なお以下では、図３等で上述した構成要素と同一の構成要件については同一の符号を付し、適宜説明を省略する。
The imaging unit illustrated in FIG. 18 includes a
加算画像生成部３０１〜３０４は、ベイヤー配列の撮像画像の中のそれぞれＲ画素、Ｇｒ画素、Ｇｂ画素、Ｂ画素の画素シフト加算を行う。Ｒ加算画像ＡＲ１〜ＡＲ４の加算画素値｛ａＲ１ ００，ａＲ２ ２０，ａＲ３ ２２，ａＲ４ ０２｝を例にとると、下式（２２）で表される。
ａＲ１ ００＝Ｒ００＋Ｒ２０＋Ｒ２２＋Ｒ０２，
ａＲ２ ２０＝Ｒ２０＋Ｒ４０＋Ｒ４２＋Ｒ２２，
ａＲ３ ２２＝Ｒ２２＋Ｒ４２＋Ｒ４４＋Ｒ２４，
ａＲ４ ０２＝Ｒ０２＋Ｒ２２＋Ｒ２４＋Ｒ０４ （２２）
The added
a R1 00 = R 00 + R 20 + R 22 + R 02 ,
a R2 20 = R 20 + R 40 + R 42 + R 22 ,
a R3 22 = R 22 + R 42 + R 44 + R 24 ,
a R4 02 = R 02 + R 22 + R 24 + R 04 (22)
平均画像生成部３２１〜３２４は、それぞれ各色の加算画像に基づいて平均画像を生成する。差分画像生成部３１１〜３１４は、それぞれ各色の平均画像と加算画像の差分画像を生成する。エントロピー符号化部３３１〜３３４は、各色の差分画像のエントロピー符号化を行う。
The average
ベイヤー画像生成部３４０は、４色の平均画像の画素値をベイヤー配列に配列して、１枚のベイヤー配列画像を生成する。動画データ圧縮部３５０は、そのベイヤー配列画像による動画データを、例えばＡＶＣＨＤ（Ｈ．２４６）やＭ−ＪＰＥＧ、ＪＰＥＧ−ＸＲ等により非可逆圧縮する。
The Bayer
１４．適応的ノイズ低減処理
図３で上述の加算画像ノイズ低減処理部２２０が行う適応的ノイズ低減処理について詳細に説明する。
14 Adaptive Noise Reduction Processing The adaptive noise reduction processing performed by the above-described added image noise
本実施形態では、４画素加算値に対してアダプティブ・ノイズ・リダクション（以下、ＡＮＲと略す）を適用する。ＡＮＲとは、空間軸に沿って適応的に対象範囲を異ならせながら画素値平均を行う適応的移動平均フィルターリングのことを言う。ＡＮＲでは、対象範囲内のサンプリング値の変化の幅が小さい場合、移動平均の範囲を広くとり、対象範囲内のサンプリング値の変化の幅が大きい場合、移動平均の範囲を狭くする。これを実現するためには、処理位置（着目位置）の画素値を中心とした所定の画素値幅に含まれるサンプリング値の平均を計算し、改めて処理位置の画素値とする。 In this embodiment, adaptive noise reduction (hereinafter abbreviated as ANR) is applied to the 4-pixel addition value. ANR refers to adaptive moving average filtering that performs pixel value averaging while adaptively varying the target range along the spatial axis. In ANR, when the range of change of the sampling value within the target range is small, the range of the moving average is widened, and when the range of change of the sampling value within the target range is large, the range of the moving average is narrowed. In order to realize this, the average of the sampling values included in a predetermined pixel value width centered on the pixel value at the processing position (target position) is calculated, and is set as the pixel value at the processing position again.
サンプリング値の変化の幅が小さい範囲では、その変化が高周波成分の場合であっても、振幅としては小さいので丸めても影響が少ないと考えられる。また低周波成分の場合は、移動平均を取っても情報は維持される。この場合は、移動平均の範囲を広くとるため、より多くのサンプリング値の平均を取ることになり、加算効果によるノイズ低減効果が大きい。 In the range where the change in the sampling value is small, even if the change is a high-frequency component, the amplitude is small, so rounding is considered to have little effect. In the case of a low-frequency component, information is maintained even if a moving average is taken. In this case, since the moving average range is wide, more sampling values are averaged, and the noise reduction effect due to the addition effect is large.
一方、サンプリング値の変化の幅が大きい範囲では、その変化が高周波成分の場合でも低周波成分の場合でも、移動平均の範囲を狭くするため情報はほぼ維持される。この場合は、少ないサンプリング値の平均を取ることになるので、加算効果によるノイズ低減効果は小さい。 On the other hand, in the range where the change range of the sampling value is large, information is almost maintained to narrow the moving average range regardless of whether the change is a high-frequency component or a low-frequency component. In this case, since the average of a small number of sampling values is taken, the noise reduction effect due to the addition effect is small.
よって、この方法を適用するケースとして効果が大きいのは、サンプリング値の振幅の変化幅が小さくなる状態のときである。図１９に示すように、平均画像の画素値ａＭ ｉｊと加算画像の画素値（例えばａ（１） ｉｊ）は、画素値の相関性が高い。これらの差分値ａＤ１ ｉｊはベクトル（１，−１）への射影であるため、差分値ａＤ１ ｉｊの生起確率は狭い範囲に分布し、元の撮像画像よりも差分画像のサンプリング値の振幅変化を小さくできる。そのため、この差分画像にＡＮＲを適用すれば、効果的に差分画像のノイズ低減が可能になると考えられる。 Therefore, the case where this method is applied has a large effect when the amplitude change width of the sampling value is small. As illustrated in FIG. 19, the pixel value a M ij of the average image and the pixel value (for example, a (1) ij ) of the added image have high pixel value correlation. Since these difference values a D1 ij are projections onto the vector (1, −1), the occurrence probabilities of the difference values a D1 ij are distributed in a narrow range, and the amplitude of the sampling value of the difference image than the original captured image Change can be reduced. Therefore, if ANR is applied to this difference image, it is considered that noise in the difference image can be effectively reduced.
次に、ＡＮＲの適用手法や演算手法について説明する。図２０（Ａ）に示すように、処理する４画素加算値（サンプリング値）をａｋとすると、ａｋを中心として幅±Δ／２の範囲に入る近傍の４画素加算値を特定する。例えば、図２０（Ａ）の場合、幅±Δ／２の範囲に入る４画素加算値は存在しない。この場合、下式（２３）に示すように、ｄ１＝ｄ２＝０として移動平均値ａｋ’を求める。
また、図２０（Ｂ）の場合、幅±Δ／２の範囲に入る４画素加算値はａｋ−２、ａｋ−１、ａｋ＋１である。この場合、上式（２３）においてｄ１＝２，ｄ２＝１とする。なお、ｄ１は、処理する４画素加算値ａｋの左方向（ｋ軸の負方向）の移動平均を取る４画素加算値の範囲を表わす。ｄ２は、処理する４画素加算値ａｋの右方向（ｋ軸の正方向）の移動平均を取る４画素加算値の範囲を表わしている。ｄ１、ｄ２は、下式（２４）に示す条件を満足しているものとする。
ａｋ−Δ／２≦ａｋ−ｄ１、かつａｋ＋ｄ２≦ａｋ＋Δ／２
を満たすｄ１、ｄ２のうち、ｄ１＋ｄ２が最大となるもの，
ｄ１、ｄ２は０以上の整数，
０＜Δ （２４）
In the case of FIG. 20B, the 4-pixel addition values that fall within the range of the width ± Δ / 2 are a k−2 , a k−1 , and a k + 1 . In this case, d1 = 2 and d2 = 1 in the above equation (23). Note that d1 represents a range of 4-pixel addition values that take a moving average in the left direction (negative direction of the k-axis) of the 4-pixel addition values ak to be processed. d2 represents the range of the 4-pixel addition value that takes a moving average in the right direction (the positive direction of the k-axis) of the 4-pixel addition value ak to be processed. It is assumed that d1 and d2 satisfy the condition shown in the following formula (24).
a k −Δ / 2 ≦ a k−d1 and a k + d2 ≦ a k + Δ / 2
Among d1 and d2 that satisfy d1, d1 + d2 is the maximum,
d1 and d2 are integers of 0 or more,
0 <Δ (24)
次に、図３で上述の差分画像Ｄ１〜Ｄ４を例にとり、上記ＡＮＲの適用例について説明する。図２１に示すように、差分画像Ｄ１〜Ｄ４は、それぞれ２次元配列のデータである。演算を簡単にするために、上記ＡＮＲを水平方向と垂直方向に別々に適用する。 Next, taking the above-described difference images D 1 to D 4 as examples in FIG. 3, an application example of the ANR will be described. As shown in FIG. 21, the difference images D 1 to D 4 are each two-dimensional array data. In order to simplify the calculation, the ANR is applied separately in the horizontal direction and the vertical direction.
具体的には、図２１に示すように、４画素加算値ａｉｊに対して水平方向（ｉ軸方向）に順次ＡＮＲを適用すると、水平方向の移動平均値ａｈ ｉｊが得られる。また図２２に示すように、４画素加算値ａｉｊに対して垂直方向（ｊ軸方向）に順次ＡＮＲを適用すると、水平方向の移動平均値ａｖ ｉｊが得られる。図２３に示すように、移動平均値ａｈ ｉｊとａｖ ｉｊの平均値ａｉｊ’（例えばａｉｊ’＝（ａｈ ｉｊ＋ａｖ ｉｊ）／２）を計算し、その平均値ａｉｊ’を最終な移動平均値とする。 Specifically, as shown in FIG. 21, when the ANR is sequentially applied to the 4-pixel addition value a ij in the horizontal direction (i-axis direction), the horizontal moving average value a h ij is obtained. As shown in FIG. 22, when the ANR is sequentially applied in the vertical direction (j-axis direction) to the 4-pixel addition value a ij , the moving average value a v ij in the horizontal direction is obtained. As shown in FIG. 23, an average value a ij ′ (for example, a ij ′ = (a h ij + a v ij ) / 2) of the moving average values a h ij and a v ij is calculated, and the average value a ij ′ is calculated. Is the final moving average value.
上記の実施形態によれば、図３に示すように、撮像装置は、ノイズ低減処理部（加算画像ノイズ低減処理部２２０）を含む。図２０（Ａ）等で説明したように、ノイズ低減処理部は、画素値の変化幅に応じて適応的に移動平均の範囲ｄ１＋ｄ２を調整する適応的ノイズ低減処理を、第ｍの差分画像Ｄｍに対して行う。 According to the above embodiment, as illustrated in FIG. 3, the imaging device includes a noise reduction processing unit (added image noise reduction processing unit 220). As described with reference to FIG. 20A and the like, the noise reduction processing unit performs adaptive noise reduction processing for adaptively adjusting the moving average range d1 + d2 according to the change width of the pixel value, and performs the m-th difference image D. to m .
例えば本実施形態では、処理対象の画素値ａｋから幅±Δ／２の範囲に入る画素値の数に応じて範囲ｄ１＋ｄ２を調整し、その範囲ｄ１＋ｄ２内の画素値の平均値を、画素値ａｋとして再設定する。 For example, in the present embodiment, the range d1 + d2 is adjusted according to the number of pixel values that fall within the range of width ± Δ / 2 from the pixel value ak to be processed, and the average value of the pixel values in the range d1 + d2 is determined as the pixel value. a Reset as k .
このようにすれば、上述のように画素値の生起分布が狭く、画素値の振幅が小さい差分画像のノイズを効果的に低減できる。即ち、適応的ノイズ低減処理では、画素値の振幅が小さい場合には移動平均の範囲ｄ１＋ｄ２が広くなるため、その範囲よりも高周波数のノイズ成分が効果的に低減される。 In this way, as described above, it is possible to effectively reduce the noise of the difference image in which the occurrence distribution of the pixel value is narrow and the amplitude of the pixel value is small. That is, in the adaptive noise reduction processing, when the amplitude of the pixel value is small, the moving average range d1 + d2 is widened, so that a noise component having a higher frequency than that range is effectively reduced.
１５．フレーム間差分画像を用いたデータ圧縮手法
上記の実施形態では、平均画像と差分画像を撮像画像から直接に生成したが、本実施形態では、フレーム間で撮像画像の差分を求め、そのフレーム間差分画像から平均画像と差分画像を生成してもよい。
15. Data compression method using inter-frame difference image In the above embodiment, the average image and the difference image are generated directly from the captured image. However, in this embodiment, the difference between the captured images is obtained between frames, and the inter-frame difference is obtained. An average image and a difference image may be generated from the images.
図２４に、フレーム間差分画像から平均画像と差分画像を生成する場合の構成例として、撮像装置の第４の構成例を示す。この撮像装置は、撮像部１０と、画像処理部２０を含む。なお以下では、図３等で上述した構成要素と同一の構成要件については同一の符号を付し、適宜説明を省略する。
FIG. 24 shows a fourth configuration example of the imaging apparatus as a configuration example when generating an average image and a difference image from the inter-frame difference image. This imaging apparatus includes an
撮像部１０は、レンズ１１０、減算部１１５、撮像素子１２０、加算画像生成部１３０、差分画像生成部１４１、平均画像生成部１４２、平均値算出部１４５、減算部１４６、可逆圧縮符号化部１４７、圧縮データ記録部１５０、低解像動画生成部１６０、動画データ圧縮部１７０、動画データ記録部１８０、モニター表示部１９０を含む。画像処理部２０の構成要素は、図３の画像処理部２０と同様である。
The
撮像素子１２０が、フレームｆｘ−１、ｆｘ、ｆｘ＋１において撮像画像Ｖｔ−１、Ｖｔ、Ｖｔ＋１を撮像するものとする。減算部１１５は、撮像画像Ｖｔを基準画像とし、その基準画像と他の撮像画像の差分画像Ｖ’ｔ−１＝Ｖｔ−Ｖｔ−１、Ｖ’ｔ＋１＝Ｖｔ−Ｖｔ＋１を求める。加算画像生成部１３０は、基準画像Ｖｔと差分画像Ｖ’ｔ−１、Ｖ’ｔ＋１からそれぞれ加算画像を求める。以降の処理は、図６で上述の処理と同様である。
Assume that the
推定演算部２３０が元の撮像画像を復元する際には、まず加算画像から基準画像Ｖｔと差分画像Ｖ’ｔ−１、Ｖ’ｔ＋１を復元し、それらの画像から撮像画像Ｖｔ−１＝Ｖｔ−Ｖ’ｔ−１、Ｖｔ＋１＝Ｖｔ−Ｖ’ｔ＋１を求める。
Estimation when calculating
図２５に、上記撮像装置が行う処理を模式的に示す。図２５に示すように、所定時間間隔（例えば１／６０ｓｅｃ．）で撮影されるフレームｆ０、ｆ１、・・・のＲＡＷ画像データを、それぞれＶ０、Ｖ１、・・・と表わす。基準フレームｆ３ｋ＋１の撮像画像をＶ３ｋ＋１とし、差分フレームｆ３ｋ、ｆ３ｋ＋２を生成するための撮像画像をＶ３ｋ、Ｖ３ｋ＋２とする。ここで、ｋは０以上の整数である。 FIG. 25 schematically shows processing performed by the imaging apparatus. As shown in FIG. 25, RAW image data of frames f 0 , f 1 ,... Taken at a predetermined time interval (for example, 1/60 sec.) Are represented as V 0 , V 1 ,. The captured image of the reference frame f 3k + 1 is V 3k + 1, and the captured images for generating the difference frames f 3k and f 3k + 2 are V 3k and V 3k + 2 . Here, k is an integer of 0 or more.
基準撮像画像Ｖ３ｋ＋１は高精細ＲＡＷ画像データそのものであり、Ｖ３ｋ＋１に対して重畳シフト重み付け加算を行って４枚の４画素加算画像Ａ（３ｋ＋１） １〜Ａ（３ｋ＋１） ４を生成する。また、基準画像の前後フレームの画像Ｖ３ｋ、Ｖ３ｋ＋２と、基準画像Ｖ３ｋ＋１の対応画素値の差分を取り、差分フレーム画像Ｖ’３ｋ、Ｖ’３ｋ＋２を生成する。これらの差分フレーム画像Ｖ’３ｋ、Ｖ’３ｋ＋２に対して、それぞれ重畳シフト重み付け加算を行って、それぞれ４枚の４画素加算画像Ａ（３ｋ） １〜Ａ（３ｋ） ４、Ａ（３ｋ＋２） １〜Ａ（３ｋ＋２） ４を生成する。 The reference captured image V 3k + 1 is high-definition RAW image data itself, and superimposition shift weighted addition is performed on V 3k + 1 to generate four four-pixel added images A (3k + 1) 1 to A (3k + 1) 4 . Also, the difference between corresponding pixel values of the images V 3k and V 3k + 2 in the frames before and after the reference image and the reference image V 3k + 1 is calculated , and difference frame images V ′ 3k and V ′ 3k + 2 are generated. These difference frame images V ′ 3k and V ′ 3k + 2 are respectively subjected to superposition shift weighted addition, and four 4-pixel addition images A (3k) 1 to A (3k) 4 , A (3k + 2) 1, respectively. ~ A (3k + 2) 4 is generated.
次に、図１で上述の手法と同様にして、４画素加算画像から平均画像と差分画像を生成し、その平均画像と差分画像に対して圧縮処理（特に可逆圧縮処理）を行い、そのデータを融合画像データとして記録する。 Next, in the same manner as in the method described above with reference to FIG. 1, an average image and a difference image are generated from the four-pixel addition image, and the average image and the difference image are subjected to compression processing (particularly lossless compression processing). Is recorded as fused image data.
以上の実施形態によれば、一般的に近接フレームは類似画像なので、フレーム間差分を利用すると、図１で上述の手法に比べて動画データとしての圧縮効果を大きくできる。なお、単純なＲＡＷデータの差分では、類似しない部分のエントロピー低減は期待できないので、可逆圧縮を考えると後段の処理が活きてくる。 According to the above embodiment, since the close frame is generally a similar image, if the inter-frame difference is used, the compression effect as moving image data can be increased as compared with the method described above with reference to FIG. Note that entropy reduction in dissimilar portions cannot be expected with simple RAW data differences, and therefore, subsequent processing becomes effective when lossless compression is considered.
図２６に、上記第４の構成例における撮像部の変形構成例を示す。この撮像部は、レンズ１１０、減算部１１６、撮像素子１２０、加算画像生成部１３０、差分画像生成部１４１、平均画像生成部１４２、平均値算出部１４５、減算部１４６、可逆圧縮符号化部１４７、圧縮データ記録部１５０、低解像動画生成部１６０、動画データ圧縮部１７０、動画データ記録部１８０、モニター表示部１９０を含む。なお以下では、図３等で上述した構成要素と同一の構成要件については同一の符号を付し、適宜説明を省略する。
FIG. 26 shows a modified configuration example of the imaging unit in the fourth configuration example. The imaging unit includes a
この変形構成例では、撮像画像のフレーム間差分画像ではなく、加算画像のフレーム間差分画像を求める。具体的には、加算画像生成部１３０は、撮像画像Ｖ３ｋ、Ｖ３ｋ＋１、Ｖ３ｋ＋２に対して重畳シフト重み付け加算を行い、加算画像Ａ（３ｋ） １〜Ａ（３ｋ） ４、Ａ（３ｋ＋１） １〜Ａ（３ｋ＋１） ４、Ａ（３ｋ＋２） １〜Ａ（３ｋ＋２） ４を生成する。減算部１１６は、基準フレームの加算画像Ａ（３ｋ＋１） １〜Ａ（３ｋ＋１） ４と、その前後フレームの加算画像Ａ（３ｋ） １〜Ａ（３ｋ） ４、Ａ（３ｋ＋２） １〜Ａ（３ｋ＋２） ４の差分を求め、差分フレームの加算画像として出力する。そして、図１で上述の手法と同様にして、基準フレームの加算画像と差分フレームの加算画像から、平均画像と差分画像を生成し、その平均画像と差分画像に対して可逆圧縮処理を行い、そのデータを融合画像データとして記録する。
In this modified configuration example, the inter-frame difference image of the added image is obtained instead of the inter-frame difference image of the captured image. Specifically, the added
上記の実施形態によれば、図２５に示すように、画像取得部（例えば撮像素子１２０）は、第１フレームｆ３ｋ＋１の撮像画像Ｖ３ｋ＋１を基準撮像画像として取得し、第１フレームｆ３ｋ＋１の前又は後の第２フレーム（例えば前のフレームｆ３ｋ）の撮像画像Ｖ３ｋと基準撮像画像Ｖ３ｋ＋１の差分を差分撮像画像Ｖ’３ｋとして取得する。加算画像生成部１３０は、基準撮像画像Ｖ３ｋ＋１に基づく第１〜第４（広義には第１〜第ｎ）の加算画像Ａ（３ｋ＋１） １〜Ａ（３ｋ＋１） ４と、差分撮像画像Ｖ’３ｋに基づく第１〜第ｎの加算画像Ａ（３ｋ） １〜Ａ（３ｋ） ４を取得する。
According to the above embodiment, as shown in FIG. 25, the image acquisition unit (e.g., image sensor 120), the captured image V 3k + 1 of the first frame f 3k + 1 obtained as a reference photographed image, the first frame f 3k + 1 The difference between the captured image V 3k of the previous or subsequent second frame (for example, the previous frame f 3k ) and the reference captured image V 3k + 1 is acquired as the differential captured image V ′ 3k . The addition
なお、第２フレームは、第１フレームｆ３ｋ＋１の後のフレームｆ３ｋ＋２であってもよい。この場合、差分撮像画像Ｖ’３ｋ＋２、第１〜第ｎの加算画像Ａ（３ｋ＋２） １〜Ａ（３ｋ＋２） ４を取得する。また、第１フレームｆ３ｋ＋１の前後両方のフレームを用いて、それぞれ差分画像、加算画像を求めてもよい。 The second frame may be a frame f 3k + 2 after the first frame f 3k + 1 . In this case, the differential captured image V ′ 3k + 2 and the first to nth added images A (3k + 2) 1 to A (3k + 2) 4 are acquired. Alternatively, the difference image and the added image may be obtained using both the frames before and after the first frame f 3k + 1 .
このようにすれば、フレーム内での画素加算によりフレーム内の画素間相関が大きくなり、更にその加算画像同士の引き算によりフレーム間差分画像を求めることができる。これにより、類似性がより高い画像同士の引き算とすることができ、差分効果が期待できる。例えば、フレーム間差分画像から生成した平均画像は、通常の加算画像から生成した平均画像よりもエントロピーが低いと考えられる。そのため、平均画像のエントロピー符号化等による圧縮率を向上できると考えられる。 In this way, the inter-pixel correlation in the frame is increased by the pixel addition in the frame, and the inter-frame difference image can be obtained by subtraction of the added images. Thereby, it can be set as the subtraction of images with higher similarity, and the difference effect can be expected. For example, an average image generated from an inter-frame difference image is considered to have lower entropy than an average image generated from a normal addition image. Therefore, it is considered that the compression rate by entropy coding of the average image can be improved.
１６．復元推定処理
次に、図３等で上述の推定演算部２３０が行う推定処理について詳細に説明する。なお以下では、加算画素値｛ａ００、ａ１０、ａ１１、ａ０１｝を例に説明する（ｉ，ｊは０以上の整数）が、他の加算画素値についても同様である。また、加算単位が２×２画素毎に設定される場合を例に説明するが、これに限定されず、例えば３×３画素毎であってもよい。
16. Next, the estimation process performed by the above-described
図２７（Ａ）、図２７（Ｂ）に、推定画素値と中間画素値の説明図を示す。図２７（Ａ）に示す加算画素値｛ａ００、ａ１０、ａ１１、ａ０１｝は、図１で説明した加算画像Ａ１〜Ａ４の加算画素値｛ａ（１） ００，ａ（２） １０，ａ（３） １１，ａ（４） ０１｝に対応する。推定処理では、この加算画素値を用いて、最終的な推定画素値ｖ００〜ｖ２２を推定する。推定画素値ｖｉｊは、図１で説明した撮像画像ｆｘの画素値に対応する。
27A and 27B are explanatory diagrams of the estimated pixel value and the intermediate pixel value. Summing the pixel values shown in FIG. 27 (A) {a 00, a 10, a 11, a 01} is added pixel value of the added
図２７（Ｂ）に示すように、まず加算画素値ａ００〜ａ１１から中間画素値ｂ００〜ｂ２１（中間推定画素値）を推定する。中間画素値は２画素加算値に対応し、例えばｂ００は画素値ｖ００とｖ０１の加算値に対応する。これらの中間画素値ｂ００〜ｂ２１から最終的な画素値ｖ００〜ｖ２２を推定する。 As shown in FIG. 27B, first, intermediate pixel values b 00 to b 21 (intermediate estimated pixel values) are estimated from the added pixel values a 00 to a 11 . Intermediate pixel value corresponds to 2-pixel sum values, for example, b 00 corresponds to the sum of the pixel values v 00 and v 01. The final pixel values v 00 to v 22 are estimated from these intermediate pixel values b 00 to b 21 .
まず中間画素値を推定する処理について説明する。以下では、水平方向の最初の行の中間画素値ｂ００〜ｂ２０を推定する場合を例に説明する。次の行の中間画素値ｂ０１〜ｂ２１についても同様の手法により推定される。 First, a process for estimating the intermediate pixel value will be described. Hereinafter, a case where the intermediate pixel values b 00 to b 20 of the first row in the horizontal direction are estimated will be described as an example. The intermediate pixel values b 01 to b 21 in the next row are estimated by the same method.
図２８に示すように、中間画素値ｂ００〜ｂ２０は、水平方向の最初の行の加算画素値ａ００、ａ１０に基づいて推定される。説明を簡単にするために、例えば重み係数ｒ＝２とすると、加算画素値ａ００、ａ１０は下式（２５）で表される。
ａ００＝ｖ００＋（１／２）ｖ０１＋（１／２）ｖ１０＋（１／４）ｖ１１，
ａ１０＝ｖ１０＋（１／２）ｖ１１＋（１／２）ｖ２０＋（１／４）ｖ２１
（２５）
As shown in FIG. 28, the intermediate pixel values b 00 to b 20 are estimated based on the added pixel values a 00 and a 10 in the first row in the horizontal direction. For the sake of simplicity, for example, assuming that the weighting factor r = 2, the addition pixel values a 00 and a 10 are expressed by the following expression (25).
a 00 = v 00 + (1/2) v 01 + (1/2) v 10 + (1/4) v 11 ,
a 10 = v 10 + (1/2 )
(25)
下式（２６）に示すようにｂ００、ｂ１０、ｂ２０を定義する。
ｂ００＝ｖ００＋（１／ｒ）ｖ０１＝ｖ００＋（１／２）ｖ０１，
ｂ１０＝ｖ１０＋（１／ｒ）ｖ１１＝ｖ１０＋（１／２）ｖ１１，
ｂ２０＝ｖ２０＋（１／ｒ）ｖ２１＝ｖ２０＋（１／２）ｖ２１ （２６）
B 00 , b 10 , and b 20 are defined as shown in the following formula (26).
b 00 = v 00 + (1 / r) v 01 = v 00 + (1/2) v 01 ,
b 10 = v 10 + (1 / r) v 11 = v 10 + (1/2) v 11 ,
b 20 = v 20 + (1 / r) v 21 = v 20 + (1/2) v 21 (26)
次に、上式（２６）を用いて上式（２５）を変形すると、下式（２７）が成り立つ。
ａ００＝ｂ００＋（１／２）ｂ１０，
ａ１０＝ｂ１０＋（１／２）ｂ２０ （２７）
Next, when the above equation (25) is transformed using the above equation (26), the following equation (27) is established.
a 00 = b 00 + (1/2) b 10 ,
a 10 = b 10 + (1/2) b 20 (27)
上式（２７）において、ａ００、ａ１０に所定の重み係数を掛けて差分δｉ０を取り、上式（２６）を使って変形すると、下式（２８）が成り立つ。
δｉ０＝ａ１０−２ａ００
＝（１／２）ｂ２０−２ｂ００ （２８）
In the above equation (27), a difference δi 0 is obtained by multiplying a 00 , a 10 by a predetermined weighting factor, and transformed using the above equation (26), the following equation (28) is established.
δi 0 = a 10 -2a 00
= (1/2) b 20 -2b 00 (28)
ｂ００を未知数（初期変数）とすると、下式（２９）に示すように、中間画素値ｂ１０、ｂ２０をｂ００の関数として求めることができる。このようにして、ｂ００を未知数として高精細な中間画素値｛ｂ００，ｂ１０，ｂ２０｝の組合せパターンが求められる。
ｂ００＝（未知数），
ｂ１０＝２（ａ００−ｂ００），
ｂ２０＝４ｂ００＋２δｉ０＝４ｂ００＋２（ａ１０−２ａ００） （２９）
If b 00 is an unknown number (initial variable), intermediate pixel values b 10 and b 20 can be obtained as a function of b 00 as shown in the following equation (29). In this way, a high-definition combination pattern of intermediate pixel values {b 00 , b 10 , b 20 } is obtained with b 00 as an unknown.
b 00 = (unknown number),
b 10 = 2 (a 00 −b 00 ),
b 20 = 4b 00 + 2δi 0 = 4b 00 +2 (a 10 −2a 00 ) (29)
次に、未知数ｂ００を求める手法について説明する。図２９に示すように、加算画素値のパターン｛ａ００，ａ１０｝と中間画素値のパターン｛ｂ００，ｂ１０，ｂ２０｝を比較する。そして、その誤差Ｅが最小になる未知数ｂ００を導出し、中間画素値ｂ００として設定する。 Next, a description will be given of a method of obtaining the unknown b 00. As shown in FIG. 29, the pattern {a 00 , a 10 } of the added pixel value is compared with the pattern {b 00 , b 10 , b 20 } of the intermediate pixel value. Then, an unknown number b 00 that minimizes the error E is derived and set as the intermediate pixel value b 00 .
具体的には、加算画素値｛ａｉｊ｝と中間画素値｛ｂｉｊ，ｂ（ｉ＋１）ｊ｝には、下式（３０）の関係が成り立つ。この下式（３０）による重み付けを考慮すると、下式（３１）に示す評価関数Ｅｊが求められる。そして、この評価関数Ｅｊにより、パターン｛ａ００，ａ１０｝とパターン｛ｂ００，ｂ１０，ｂ２０｝の類似性評価を行う。
ａｉｊ＝ｂｉｊ＋（１／２）ｂ（ｉ＋１）ｊ （３０）
a ij = b ij + (1/2) b (i + 1) j (30)
図３０に示すように、Ｅｊを最小にする未知数ｂ００（＝α）を求め、ｂ００の値を決定できる。そして、推定したｂ００の値を上式（２９）に代入し、ｂ１０，ｂ２０が求められる。 As shown in FIG. 30, an unknown b 00 (= α) that minimizes Ej is obtained, and the value of b 00 can be determined. Then, the estimated value of b 00 is substituted into the above equation (29) to obtain b 10 and b 20 .
次に、求めた中間画素値ｂｉｊを用いて最終推定画素値ｖｉｊを求める手法について説明する。以下では、左端垂直列（ｉ＝０列）を例に説明する。最終推定画素値ｖｉｊは、中間画素値ｂｉｊを求めた手法と同様に求められる。即ち、上式（２７）を下式（３２）に置き換えれば、以降の処理は同様である。
ｂ００＝ｖ００＋（１／２）ｖ０１，
ｂ０１＝ｖ０１＋（１／２）ｖ０２ （３２）
Next, a method for obtaining the final estimated pixel value v ij using the obtained intermediate pixel value b ij will be described. In the following, description will be given taking the leftmost vertical column (i = 0 column) as an example. The final estimated pixel value v ij is obtained in the same manner as the method for obtaining the intermediate pixel value b ij . That is, if the above equation (27) is replaced with the following equation (32), the subsequent processing is the same.
b 00 = v 00 + (1/2) v 01 ,
b 01 = v 01 + (1/2) v 02 (32)
以上の実施形態によれば、図２７（Ａ）に示すように、第１のポジションに設定された加算単位（例えばａ００）と、第１のポジションの次の第２のポジションに設定された加算単位（例えばａ１０）は重畳する。上式（２８）に示すように、推定演算部２３０は、第１、第２のポジションの加算画素値ａ００、ａ１０の差分値δｉ０を求める。図２７（Ｂ）に示すように、第１の中間画素値ｂ００は、加算単位ａ００から重畳領域（ｖ１０、ｖ１１）を除いた第１の領域（ｖ００、ｖ０１）の加算画素値である。第２の中間画素値ｂ２０は、加算単位ａ１０から重畳領域（ｖ１０、ｖ１１）を除いた第２の領域（ｖ２０、ｖ２１）の加算画素値である。上式（２９）に示すように、第１、第２の中間画素値ｂ００、ｂ２０の関係式を、差分値δｉ０を用いて表す。図２９等に示すように、その関係式を用いて第１、第２の中間画素値ｂ００、ｂ２０を推定する。推定した第１の中間画素値ｂ００を用いて加算単位に含まれる各画素の画素値（ｖ００、ｖ１０、ｖ１１、ｖ０１）を求める。
According to the above embodiment, as shown in FIG. 27A, the addition unit (for example, a 00 ) set to the first position and the second position subsequent to the first position are set. The addition unit (for example, a 10 ) is overlapped. As shown in the above equation (28), the
このようにすれば、重畳シフトされた加算画素値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、２次元フィルターの繰り返し演算（特許文献１）や、初期値の設定に適当な部分を探索（特許文献２）する等の複雑な処理が不要となる。 In this way, it is possible to simplify the estimation process of the high-resolution image by once estimating the intermediate pixel value from the addition pixel value subjected to the superposition shift and obtaining the estimation pixel value from the intermediate pixel value subjected to the superposition shift. . For example, complicated processing such as iterative calculation of a two-dimensional filter (Patent Document 1) and searching for a part suitable for setting an initial value (Patent Document 2) becomes unnecessary.
ここで、重畳するとは、加算単位と加算単位が重なった領域を有することであり、例えば図２７（Ａ）に示すように、加算単位ａ００と加算単位ａ１０が、２つの推定画素ｖ１０、ｖ１１を共有することである。 Here, superimposing means having an area where the addition unit and the addition unit overlap. For example, as shown in FIG. 27A, the addition unit a 00 and the addition unit a 10 are two estimated pixels v 10. is to share the v 11.
また、加算単位のポジションとは、撮像画像における加算単位の位置や座標のことであり、あるいは、推定処理における推定画素値データ（画像データ）上での加算単位の位置や座標のことである。また、次のポジションとは、元のポジションから画素シフトされたポジションであり、元のポジションと位置や座標が一致しないポジションのことである。 Further, the position of the addition unit is the position and coordinates of the addition unit in the captured image, or the position and coordinates of the addition unit on the estimated pixel value data (image data) in the estimation process. The next position is a position shifted from the original position by a pixel, and is a position where the position and coordinates do not coincide with the original position.
また本実施形態では、第１、第２の中間画素値（例えばｂ００、ｂ２０）を含む連続する中間画素値を中間画素値パターン（｛ｂ００、ｂ１０、ｂ２０｝）とする。上式（２９）に示すように、推定演算部２３０は、中間画素値パターンに含まれる中間画素値の間の関係式を加算画素値ａ００、ａ１０を用いて表す。図２９に示すように、中間画素値の間の関係式で表された中間画素値パターンと加算画素値とを比較して類似性を評価する。その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値ｂ００、ｂ１０、ｂ２０を決定する。
In this embodiment, continuous intermediate pixel values including the first and second intermediate pixel values (for example, b 00 , b 20 ) are defined as intermediate pixel value patterns ({b 00 , b 10 , b 20 }). As shown in the above equation (29), the
このようにすれば、加算単位が重畳されながら画素シフトされることで取得された複数の加算画素値に基づいて、中間画素値を推定できる。 In this way, the intermediate pixel value can be estimated based on a plurality of added pixel values acquired by pixel shifting while the addition unit is superimposed.
ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列（データの組み）である。また、加算画素値パターンとは、推定処理に用いられる範囲の加算画素値のデータ列である。 Here, the intermediate pixel value pattern is a data string (a set of data) of intermediate pixel values in a range used for estimation processing. The addition pixel value pattern is a data string of addition pixel values in a range used for the estimation process.
また本実施形態では、上式（３１）に示すように、推定演算部２３０は、中間画素値の間の関係式で表された中間画素値パターン（｛ｂ００、ｂ１０、ｂ２０｝）と加算画素値（ａ００、ａ１０）との誤差を表す評価関数Ｅｊを求める。評価関数Ｅｊの値が最小となるように中間画素値パターンに含まれる中間画素値ｂ００、ｂ１０、ｂ２０を決定する。
Further, in the present embodiment, as shown in the above equation (31), the
このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。例えば、初期値設定に適当な画像部分の探索（特許文献２）が不要である。 In this way, the value of the intermediate pixel value can be estimated by expressing the error by the evaluation function and obtaining the intermediate pixel value corresponding to the minimum value of the evaluation function. For example, as described above, the initial value of the intermediate pixel estimation can be set with a simple process by obtaining the unknown using the least square method. For example, searching for an image portion suitable for initial value setting (Patent Document 2) is unnecessary.
また本実施形態では、上式（２５）に示すように、加算単位の各画素値（例えば、ｖ００、ｖ１０、ｖ０１、ｖ１１）が重み付け加算された加算画素値（ａ００）を取得する。取得された加算単位の加算画素値（ａ００、ａ１０）に基づいて、加算単位の各画素の画素値（ｖ００、ｖ１０、ｖ０１、ｖ１１）を推定する。 In the present embodiment, as shown in the above equation (25), each pixel value (for example, v 00 , v 10 , v 01 , v 11 ) of the addition unit is weighted and added to the added pixel value (a 00 ). get. Based on the obtained addition pixel value (a 00 , a 10 ) of the addition unit, the pixel value (v 00 , v 10 , v 01 , v 11 ) of each pixel of the addition unit is estimated.
このようにすれば、加算単位の各画素値を重み付け加算して加算画像を取得し、取得した加算画像から高解像画像の画素値を推定できる。これにより、推定処理において、被写体の持つ高周波成分の再現性を向上できる。すなわち、加算単位の画素値を単純加算した場合には、矩形の窓関数を結像にコンボリューションすることになる。一方、加算単位の画素値を重み付け加算した場合には、矩形よりも高周波成分を多く含む窓関数を結像にコンボリューションすることになる。そのため、被写体の持つ高周波成分をより多く含む加算画像を取得でき、推定画像での高周波成分の再現性を向上できる。 If it does in this way, each pixel value of an addition unit will carry out weighted addition, an addition image will be acquired, and the pixel value of a high-resolution image can be estimated from the acquired addition image. Thereby, in the estimation process, the reproducibility of the high-frequency component of the subject can be improved. That is, when the pixel values of the addition unit are simply added, a rectangular window function is convoluted for imaging. On the other hand, when the pixel value of the addition unit is weighted and added, a window function containing more high frequency components than the rectangle is convoluted for imaging. Therefore, it is possible to acquire an added image that includes more high-frequency components of the subject, and to improve the reproducibility of the high-frequency components in the estimated image.
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像部、画像処理部、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。 Although the present embodiment has been described in detail as described above, it will be easily understood by those skilled in the art that many modifications can be made without departing from the novel matters and effects of the present invention. Accordingly, all such modifications are intended to be included in the scope of the present invention. For example, a term described with a different term having a broader meaning or the same meaning at least once in the specification or the drawings can be replaced with the different term in any part of the specification or the drawings. Further, the configurations and operations of the imaging unit, the image processing unit, the imaging device, and the like are not limited to those described in the present embodiment, and various modifications can be made.
１０ 撮像部、２０ 画像処理部、１００ 被写体、１１０ レンズ、
１１５，１１６ 減算部、１２０ 撮像素子、１２５ 低解像画像生成部、
１３０，１３５ 加算画像生成部、１４０ 圧縮処理部、
１４１ 差分画像生成部、１４２ 平均画像生成部、
１４３ エントロピー符号化部、１４４ データ圧縮部、１４５ 平均値算出部、
１４６ 減算部、１４７ 可逆圧縮符号化部、１４８ データ圧縮部、
１５０ 圧縮データ記録部、１５１ 差分データ記録部、
１５２ 平均画像データ記録部、１５５ データ記録部、
１６０ 低解像動画生成部、１６５ 画素データ再構成部、
１７０ 動画データ圧縮部、１７５ 加算画像生成部、
１８０ 動画データ記録部、１８５ データ圧縮部、１９０ モニター表示部、
２００ 圧縮データ伸張部、２０５ 伸張処理部、２１０ 加算画像再生部、
２１５ 低解像画像推定演算部、２２０ 加算画像ノイズ低減処理部、
２３０ 推定演算部、２４０ 高精細静止画生成部、２５０ 高精細動画生成部、
２６０ 高画質標準動画生成部、２７０ 動画圧縮データ伸張部、
２８０ 標準動画生成部、２９０ 画像出力部、２９５ 画像選択部、
３０１〜３０４ 加算画像生成部、３１１〜３１４ 差分画像生成部、
３２１〜３２４ 平均画像生成部、３３１〜３３４ エントロピー符号化部、
３４０ ベイヤー画像生成部、３５０ 動画データ圧縮部、
Ａ１〜Ａ４ 加算画像、Ｄ１〜Ｄ４ 差分画像、Ｍ 平均画像、Ｔ０〜Ｔ２ 期間、
Ｖ３ｋ＋１ 基準撮像画像、Ｖ３ｋ，Ｖ３ｋ＋２ 差分撮像画像、
ａ（１） ００，ａ（２） １０，ａ（３） １１，ａ（４） ０１ 加算画素値、
ａＤ１ ｉｊ〜ａＤ４ ｉｊ 差分画像の画素値、ａＭ ｉｊ 平均画像の画素値、
ａｈ ｉｊ，ａｖ ｉｊ，ａ’ｉｊ 移動平均値、ｂ００-ｂ２０ 中間画素値、
ｄ１，ｄ２ 範囲、ｆｘ 撮像画像、ｍＡＶＲ 平均値、ｒ 重み付け係数、
ｕｉｊ 再構成データ、ｖ００-ｖ２２ 推定画素値、αＭ ｉｊ 平均値、
δｉ０ 差分値、ξｉｊ 再構成データの加算値
10 imaging unit, 20 image processing unit, 100 subject, 110 lens,
115, 116 subtraction unit, 120 image sensor, 125 low-resolution image generation unit,
130, 135 addition image generation unit, 140 compression processing unit,
141 difference image generation unit, 142 average image generation unit,
143 Entropy encoding unit, 144 data compression unit, 145 average value calculation unit,
146 subtraction unit, 147 lossless compression encoding unit, 148 data compression unit,
150 compressed data recording unit, 151 differential data recording unit,
152 average image data recording unit, 155 data recording unit,
160 low-resolution video generation unit, 165 pixel data reconstruction unit,
170 video data compression unit, 175 addition image generation unit,
180 video data recording unit, 185 data compression unit, 190 monitor display unit,
200 compressed data decompression unit, 205 decompression processing unit, 210 addition image reproduction unit,
215 low-resolution image estimation calculation unit, 220 addition image noise reduction processing unit,
230 estimation calculation unit, 240 high definition still image generation unit, 250 high definition video generation unit,
260 high-quality standard video generation unit, 270 video compression data decompression unit,
280 standard video generation unit, 290 image output unit, 295 image selection unit,
301 to 304 addition image generation unit, 311 to 314 difference image generation unit,
321 to 324 average image generation unit, 331 to 334 entropy encoding unit,
340 Bayer image generation unit, 350 video data compression unit,
A 1 to A 4 adds the image,
V 3k + 1 reference captured image, V 3k , V 3k + 2 differential captured image,
a (1) 00 , a (2) 10 , a (3) 11 , a (4) 01 addition pixel value,
a pixel value of a D1 ij to a D4 ij difference image, pixel value of a M ij average image,
a h ij , a v ij , a ′ ij moving average value, b 00 -b 20 intermediate pixel value,
d1, d2 range, fx captured image, m AVR average value, r weighting coefficient,
u ij reconstruction data, v 00 -v 22 estimated pixel value, α M ij average value,
δi 0 difference value, addition value of ξ ij reconstruction data
Claims (11)
加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得する加算画像生成部と、
前記加算画像を圧縮する圧縮処理部と、
圧縮された前記加算画像を伸張する伸張処理部と、
伸張された前記加算画像に基づいて前記撮像画像の画素値を推定する推定演算部と、
前記推定演算部により推定された画素値に基づく高解像画像を出力する画像出力部と、
を含み、
前記加算画像生成部は、
前記加算単位を順次画素シフトさせて第１〜第ｎの加算画像（ｎは２以上の自然数）を前記加算画像として取得し、
前記圧縮処理部は、
前記第１〜第ｎの加算画像の平均を平均画像として求め、前記平均画像と、前記第１〜第ｎの加算画像のうちの第ｍの加算画像（ｍはｎ以下の自然数）との差分を、第ｍの差分画像として求め、求めた前記平均画像と前記第ｍの差分画像を圧縮し、
前記伸張処理部は、
圧縮された前記平均画像と前記第ｍの差分画像を伸張して前記第１〜第ｎの加算画像を求めることを特徴とする撮像装置。 An image acquisition unit for acquiring a captured image;
An addition unit, which is a unit for obtaining an addition pixel value, is set for each of a plurality of pixels of the captured image, and the addition pixel value is obtained by weighted addition of pixel values included in the addition unit, and the obtained addition pixel value An addition image generation unit for acquiring an addition image by;
A compression processing unit for compressing the added image;
A decompression processing unit for decompressing the compressed added image;
An estimation calculator that estimates a pixel value of the captured image based on the expanded added image;
An image output unit that outputs a high-resolution image based on the pixel value estimated by the estimation calculation unit;
Including
The addition image generation unit
The first to nth added images (n is a natural number greater than or equal to 2) are obtained as the added images by sequentially shifting the addition units.
The compression processing unit
An average of the first to n-th added images is obtained as an average image, and a difference between the average image and the m-th added image (m is a natural number equal to or less than n) of the first to n-th added images. , As the m-th difference image, compress the obtained average image and the m-th difference image,
The decompression processing unit
An imaging apparatus, wherein the compressed average image and the m-th difference image are expanded to obtain the first to n-th added images.
前記加算画像生成部は、
前記加算単位を、水平又は垂直に１画素ずつ順次シフトさせて第１〜第ｎのポジションに設定し、前記第１〜第ｎのポジションにおいてそれぞれ前記第１〜第ｎの加算画像を取得し、
前記第１〜第ｎのポジションのうちの第ｍのポジションと第ｍ＋１のポジションの前記加算単位は、共通の画素を含むことを特徴とする撮像装置。 In claim 1,
The addition image generation unit
The addition unit is sequentially shifted one pixel at a time horizontally or vertically to set the first to n-th positions, and the first to n-th added images are obtained at the first to n-th positions, respectively.
The imaging apparatus, wherein the addition unit of the m-th position and the (m + 1) -th position among the first to n-th positions includes a common pixel.
前記圧縮処理部は、
前記第１〜第ｎのポジションの前記加算画素値の平均値を、前記平均画像の画素値として求める平均画像生成部と、
前記平均画像の画素値と、前記第ｍのポジションの前記加算画素値の差分値を、前記第ｍの差分画像の画素値として求める差分画像生成部と、
を有することを特徴とする撮像装置。 In claim 2,
The compression processing unit
An average image generation unit for obtaining an average value of the addition pixel values of the first to n-th positions as a pixel value of the average image;
A difference image generation unit for obtaining a difference value between the pixel value of the average image and the addition pixel value of the m-th position as a pixel value of the m-th difference image;
An imaging device comprising:
低解像動画を生成する低解像動画生成部を含み、
前記撮像画像がＲＧＢベイヤー配列の画像であり、前記加算単位が、隣接する４画素である場合に、
前記加算画像生成部は、
第１〜第４のポジション（ｎ＝４）において、前記重み付け加算によりＲＧＢが混色された第１〜第４の加算画像を取得し、
前記低解像動画生成部は、
前記第１〜第４の加算画像のうちの第１〜第３の加算画像に基づいて、前記低解像動画のＲＧＢの画素値を推定により求めることを特徴とする撮像装置。 In claim 2 or 3,
Including a low-resolution video generation unit for generating a low-resolution video,
When the captured image is an image of an RGB Bayer array and the addition unit is four adjacent pixels,
The addition image generation unit
In the first to fourth positions (n = 4), the first to fourth added images in which RGB are mixed by the weighted addition are acquired,
The low-resolution video generation unit
An image pickup apparatus that obtains RGB pixel values of the low-resolution moving image by estimation based on first to third addition images of the first to fourth addition images.
前記圧縮処理部は、
前記第ｍの差分画像をエントロピー符号化により可逆圧縮することを特徴とする撮像装置。 In any one of Claims 1 thru | or 4,
The compression processing unit
An imaging apparatus, wherein the m-th difference image is reversibly compressed by entropy coding.
前記撮像画像がＲＧＢベイヤー配列の画像である場合に、
前記推定演算部は、
前記撮像画像の前記ＲＧＢベイヤー配列の画素値を推定により求め、
前記画像出力部は、
推定された前記ＲＧＢベイヤー配列の画素値をデモザイキング処理した画像に基づいて高解像動画を出力することを特徴とする撮像装置。 In any one of Claims 1 thru | or 5,
When the captured image is an RGB Bayer array image,
The estimation calculation unit includes:
Obtain the pixel value of the RGB Bayer array of the captured image by estimation,
The image output unit includes:
A high-resolution moving image is output based on an image obtained by demosaicing the estimated pixel values of the RGB Bayer array.
画素値の変化幅に応じて適応的に移動平均の範囲を調整する適応的ノイズ低減処理を、前記第ｍの差分画像に対して行うノイズ低減処理部を含むことを特徴とする撮像装置。 In any one of Claims 1 thru | or 6.
An image pickup apparatus comprising: a noise reduction processing unit that performs adaptive noise reduction processing for adaptively adjusting a moving average range according to a change width of a pixel value for the m-th difference image.
前記画像取得部は、
第１フレームの撮像画像を基準撮像画像として取得し、前記第１フレームの前又は後の第２フレームの撮像画像と前記基準撮像画像の差分を差分撮像画像として取得し、
前記加算画像生成部は、
前記基準撮像画像に基づく前記第１〜第ｎの加算画像と、前記差分撮像画像に基づく前記第１〜第ｎの加算画像を取得することを特徴とする撮像装置。 In any one of Claims 1 thru | or 7,
The image acquisition unit
Acquiring a captured image of the first frame as a reference captured image, obtaining a difference between the captured image of the second frame before or after the first frame and the reference captured image as a differential captured image;
The addition image generation unit
An imaging apparatus, wherein the first to nth added images based on the reference captured image and the first to nth added images based on the differential captured image are acquired.
第１のポジションに設定された前記加算単位と、前記第１のポジションの次の第２のポジションに設定された前記加算単位が重畳する場合に、
前記推定演算部は、
前記第１のポジションの加算画素値と、前記第２のポジションの加算画素値の差分値を求め、
前記第１のポジションの加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２のポジションの加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、
前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めることを特徴とする撮像装置。 In any one of Claims 1 thru | or 8.
When the addition unit set in the first position and the addition unit set in the second position next to the first position overlap,
The estimation calculation unit includes:
A difference value between the added pixel value of the first position and the added pixel value of the second position;
A first intermediate pixel value that is an addition pixel value of the first area obtained by removing the overlap area from the addition unit of the first position, and a second that is obtained by removing the overlap area from the addition unit of the second position. A relational expression with the second intermediate pixel value that is the added pixel value of the region is expressed using the difference value,
The first and second intermediate pixel values are estimated using the relational expression, and the pixel value of each pixel included in the addition unit is obtained using the estimated first intermediate pixel value. Imaging device.
前記推定演算部は、
前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記加算画素値を用いて表し、
前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値とを比較して類似性を評価し、
前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする撮像装置。 In claim 9,
The estimation calculation unit includes:
When successive intermediate pixel values including the first and second intermediate pixel values are used as an intermediate pixel value pattern, a relational expression between intermediate pixel values included in the intermediate pixel value pattern is obtained using the added pixel value. Represent,
Comparing the intermediate pixel value pattern represented by the relational expression between the intermediate pixel values and the added pixel value to evaluate similarity;
An image pickup apparatus, comprising: determining an intermediate pixel value included in the intermediate pixel value pattern based on the similarity evaluation result so that the similarity becomes the highest.
加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得し、
前記加算画像を圧縮し、
圧縮された前記加算画像を伸張し、
伸張された前記加算画像に基づいて前記撮像画像の画素値を推定するとともに、
前記推定された画素値に基づく高解像画像を出力する場合に、
前記加算単位を順次画素シフトさせて第１〜第ｎの加算画像（ｎは２以上の自然数）を前記加算画像として取得し、
前記第１〜第ｎの加算画像の平均を平均画像として求め、前記平均画像と、前記第１〜第ｎの加算画像のうちの第ｍの加算画像（ｉはｎ以下の自然数）との差分を、第ｍの差分画像として求め、求めた前記平均画像と前記第ｍの差分画像を圧縮し、
圧縮された前記平均画像と前記第ｍの差分画像を伸張して前記第１〜第ｎの加算画像を求めることを特徴とする画像生成方法。 Acquire the captured image,
An addition unit, which is a unit for obtaining an addition pixel value, is set for each of a plurality of pixels of the captured image, and the addition pixel value is obtained by weighted addition of pixel values included in the addition unit, and the obtained addition pixel value Acquire the addition image by
Compress the added image;
Decompressing the compressed added image,
Estimating the pixel value of the captured image based on the expanded added image,
When outputting a high-resolution image based on the estimated pixel value,
The first to nth added images (n is a natural number greater than or equal to 2) are obtained as the added images by sequentially shifting the addition units.
An average of the first to nth addition images is obtained as an average image, and a difference between the average image and the mth addition image (i is a natural number equal to or less than n) of the first to nth addition images. , As the m-th difference image, compress the obtained average image and the m-th difference image,
A method of generating an image, comprising: decompressing the compressed average image and the m-th difference image to obtain the first to n-th added images.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011099265A JP2012231377A (en) | 2011-04-27 | 2011-04-27 | Imaging apparatus and image generation method |
| PCT/JP2012/059977 WO2012147523A1 (en) | 2011-04-27 | 2012-04-12 | Imaging device and image generation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011099265A JP2012231377A (en) | 2011-04-27 | 2011-04-27 | Imaging apparatus and image generation method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012231377A true JP2012231377A (en) | 2012-11-22 |
Family
ID=47072045
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011099265A Withdrawn JP2012231377A (en) | 2011-04-27 | 2011-04-27 | Imaging apparatus and image generation method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2012231377A (en) |
| WO (1) | WO2012147523A1 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015159745A1 (en) | 2014-04-17 | 2015-10-22 | Canon Kabushiki Kaisha | Image encoding apparatus, image decoding apparatus, methods of controlling the same, and storage medium |
| JP2017060111A (en) * | 2015-09-18 | 2017-03-23 | 日本電信電話株式会社 | Image encoder, image decoder, image encoding method and image decoding method |
| JP6214841B1 (en) * | 2016-06-20 | 2017-10-18 | オリンパス株式会社 | In-subject introduction apparatus, transmission method, and program |
| WO2017221468A1 (en) * | 2016-06-20 | 2017-12-28 | オリンパス株式会社 | Subject introduction device, transmission method, and program |
| JP2018182621A (en) * | 2017-04-18 | 2018-11-15 | キヤノン株式会社 | Imaging apparatus, and control method, program and recording medium thereof |
| US11627250B2 (en) | 2020-04-29 | 2023-04-11 | Samsung Electronics Co., Ltd. | Image compression method, encoder, and camera module including the encoder |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2503656B (en) * | 2012-06-28 | 2014-10-15 | Canon Kk | Method and apparatus for compressing or decompressing light field images |
| JPWO2021200191A1 (en) | 2020-03-31 | 2021-10-07 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5263753B2 (en) * | 2007-11-19 | 2013-08-14 | 株式会社ザクティ | Super-resolution processing apparatus and method, and imaging apparatus |
| JP5159461B2 (en) * | 2008-06-20 | 2013-03-06 | 三洋電機株式会社 | Image processing apparatus, image processing method, and imaging apparatus |
| JP5220777B2 (en) * | 2010-01-21 | 2013-06-26 | オリンパス株式会社 | Image processing apparatus, imaging apparatus, program, and image processing method |
-
2011
- 2011-04-27 JP JP2011099265A patent/JP2012231377A/en not_active Withdrawn
-
2012
- 2012-04-12 WO PCT/JP2012/059977 patent/WO2012147523A1/en active Application Filing
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015159745A1 (en) | 2014-04-17 | 2015-10-22 | Canon Kabushiki Kaisha | Image encoding apparatus, image decoding apparatus, methods of controlling the same, and storage medium |
| JP2015207831A (en) * | 2014-04-17 | 2015-11-19 | キヤノン株式会社 | Image encoding device and control method thereof |
| EP3132609A4 (en) * | 2014-04-17 | 2018-05-16 | Canon Kabushiki Kaisha | Image encoding apparatus, image decoding apparatus, methods of controlling the same, and storage medium |
| US10122988B2 (en) | 2014-04-17 | 2018-11-06 | Canon Kabushiki Kaisha | Image encoding apparatus, image decoding apparatus, methods of controlling the same, and storage medium |
| JP2017060111A (en) * | 2015-09-18 | 2017-03-23 | 日本電信電話株式会社 | Image encoder, image decoder, image encoding method and image decoding method |
| JP6214841B1 (en) * | 2016-06-20 | 2017-10-18 | オリンパス株式会社 | In-subject introduction apparatus, transmission method, and program |
| WO2017221468A1 (en) * | 2016-06-20 | 2017-12-28 | オリンパス株式会社 | Subject introduction device, transmission method, and program |
| US11259691B2 (en) | 2016-06-20 | 2022-03-01 | Olympus Corporation | Body-insertable apparatus, transmission method, and non-transitory computer readable medium |
| JP2018182621A (en) * | 2017-04-18 | 2018-11-15 | キヤノン株式会社 | Imaging apparatus, and control method, program and recording medium thereof |
| US11627250B2 (en) | 2020-04-29 | 2023-04-11 | Samsung Electronics Co., Ltd. | Image compression method, encoder, and camera module including the encoder |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2012147523A1 (en) | 2012-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2012147523A1 (en) | Imaging device and image generation method | |
| US8315481B2 (en) | Image transmitting apparatus, image receiving apparatus, image transmitting and receiving system, recording medium recording image transmitting program, and recording medium recording image receiving program | |
| JP4849130B2 (en) | Image processing apparatus, image processing method, and program | |
| US8698906B2 (en) | Image processing device, imaging device, information storage medium, and image processing method | |
| US8072511B2 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
| EP2560375B1 (en) | Image processing device, image capture device, program, and image processing method | |
| WO2009145201A1 (en) | Image processing device, image processing method, and imaging device | |
| US7466451B2 (en) | Method and apparatus for converting motion image data, and method and apparatus for reproducing motion image data | |
| US20130083220A1 (en) | Image processing device, imaging device, information storage device, and image processing method | |
| JP4483483B2 (en) | Imaging device | |
| JP2007122232A (en) | Image processor and program | |
| JP2006345446A (en) | Moving picture conversion apparatus and moving picture conversion method, and computer program | |
| JP2012085214A (en) | Data compression method and data compression device | |
| JP4942563B2 (en) | Image processing method, image processing apparatus, and electronic apparatus including the image processing apparatus | |
| JP6284047B2 (en) | Imaging apparatus and imaging method | |
| JP5159461B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| US20130155272A1 (en) | Image processing device, imaging device, and image processing method | |
| WO2012147630A1 (en) | Imaging device and image generation method | |
| JP5167229B2 (en) | Imaging device | |
| JP2009273072A (en) | High-definition image processing device, high-definition image processing method, and program | |
| WO2012147631A1 (en) | Imaging device and image generation method | |
| JP2012142676A (en) | Imaging device and image generation method | |
| JP2013125999A (en) | Image processing device, imaging apparatus, and image processing method | |
| JP5968149B2 (en) | Vertical line detector | |
| JP2012099870A (en) | Image pickup device and image pickup method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140701 |