JP5673137B2 - Imaging apparatus and imaging method - Google Patents
Imaging apparatus and imaging method Download PDFInfo
- Publication number
- JP5673137B2 JP5673137B2 JP2011012625A JP2011012625A JP5673137B2 JP 5673137 B2 JP5673137 B2 JP 5673137B2 JP 2011012625 A JP2011012625 A JP 2011012625A JP 2011012625 A JP2011012625 A JP 2011012625A JP 5673137 B2 JP5673137 B2 JP 5673137B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- super
- magnification
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 45
- 238000012545 processing Methods 0.000 claims description 130
- 238000000034 method Methods 0.000 claims description 98
- 230000008569 process Effects 0.000 claims description 86
- 230000009467 reduction Effects 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000011946 reduction process Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 6
- 230000001965 increasing effect Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 description 13
- 230000015556 catabolic process Effects 0.000 description 11
- 238000006731 degradation reaction Methods 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000004106 carminic acid Substances 0.000 description 4
- 230000006837 decompression Effects 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000001679 citrus red 2 Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Description
本発明は、撮像装置および撮像方法に関する。さらに詳述すると、デジタルズームにおける画質向上に好適な撮像装置および撮像方法に関する。 The present invention relates to an imaging apparatus and an imaging method. More specifically, the present invention relates to an imaging apparatus and an imaging method suitable for improving image quality in digital zoom.
撮像領域の中から所望の範囲の信号のみを取り出すことにより画像を拡大して電子的にズームを行うようにしたデジタルズーム（電子ズーム）機能を有するデジタルスチルカメラやデジタルビデオ等の撮像装置が知られている。従来のデジタルズームでは、線形補間法や、バイリニア法等を用いて所望の倍率に画像を拡大／縮小する変倍処理が行われている。 Imaging devices such as digital still cameras and digital video having a digital zoom (electronic zoom) function in which an image is enlarged and electronically zoomed by extracting only a signal within a desired range from the imaging region are known. ing. In the conventional digital zoom, a scaling process for enlarging / reducing an image to a desired magnification is performed using a linear interpolation method, a bilinear method, or the like.
また、デジタルスチルカメラにおいて、１枚または複数枚の入力画像を分析処理して、撮影画像の解像感を高める超解像処理が知られている。 In addition, in a digital still camera, a super-resolution process is known in which one or a plurality of input images are analyzed to improve the sense of resolution of a captured image.
例えば、特許文献１には、電子ズーム撮影において画質を低下させることなく撮影倍率を大きくすることを目的として、ズーム操作の設定倍率が光学ズーム倍率の時には、レンズ駆動によりズームレンズを駆動して設定倍率に調節し、設定倍率が電子ズーム倍率の時には設定倍率に応じて超解像合成画像（複数画像を超解像合成した画像）を拡大する撮像装置が開示されている。 For example, in Patent Document 1, in order to increase the shooting magnification without reducing the image quality in electronic zoom shooting, when the zoom operation setting magnification is the optical zoom magnification, the zoom lens is driven by lens driving and set. An imaging apparatus that adjusts to a magnification and enlarges a super-resolution composite image (an image obtained by super-resolution synthesis of a plurality of images) according to the set magnification when the set magnification is an electronic zoom magnification is disclosed.
しかしながら、設定されるすべてのデジタルズーム倍率に対して、同一の処理手順で変倍処理と超解像処理とを実行するようにすると、画質向上の効果が弱くなる場合があるという問題があった。例えば、上記特許文献１に記載の技術のように、すべての電子ズーム倍率時に、超解像合成画像を拡大するようにすると、設定される倍率によっては、画質の劣化が大きくなることが考えられ、更なる検討の余地があった。 However, if the scaling process and the super-resolution process are executed with the same processing procedure for all set digital zoom magnifications, there is a problem that the effect of improving the image quality may be weakened. For example, if the super-resolution composite image is enlarged at all electronic zoom magnifications as in the technique described in Patent Document 1, image quality deterioration may be increased depending on the set magnification. There was room for further study.
そこで本発明は、設定されるデジタルズーム倍率に応じて、変倍処理と超解像処理との実行順を変えることにより、デジタルズームによる画像劣化を低減することができる撮像装置および撮像方法を提供することを目的とする。 Therefore, the present invention provides an imaging apparatus and an imaging method capable of reducing image degradation due to digital zoom by changing the execution order of scaling processing and super-resolution processing according to a set digital zoom magnification. With the goal.
かかる目的を達成するため、請求項１に記載の撮像装置は、光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、画像の一部を切り出して拡大するデジタルズームの倍率を設定する倍率設定手段と、画像の一部を切り出して拡大処理、または画像の全部もしくは一部を切り出して縮小処理を行う変倍手段と、撮像素子により撮像した１画像、または変倍手段による拡大／縮小後の画像について、等倍にて解像感を上げる等倍超解像処理、または拡大して解像感を上げる拡大超解像処理を行う超解像手段と、を備え、倍率設定手段によるデジタルズームの設定倍率に応じて、変倍手段による拡大処理または縮小処理と、超解像手段による等倍超解像処理または拡大超解像処理との実行順を変えるものである。 In order to achieve such an object, an imaging apparatus according to claim 1 includes an imaging element that converts light incident from an optical system into an electrical signal and outputs the electrical signal, and a digital zoom that extracts and enlarges a part of the image. Magnification setting means for setting a magnification, enlargement processing by cutting out a part of an image, or scaling processing by cutting out all or part of an image and reduction processing, and one image captured by an image sensor, or scaling means Super-resolution means for performing the same-magnification super-resolution processing for increasing the resolution at the same magnification, or the enlarged super-resolution processing for enlarging and improving the resolution for the image after enlargement / reduction by Depending on the set magnification of the digital zoom by the magnification setting means, the execution order of the enlargement process or the reduction process by the magnification changing means and the equal magnification super resolution process or the enlarged super resolution process by the super resolution means is changed.
また、請求項２に記載の発明は、請求項１に記載の撮像装置において、超解像手段による画像サイズの変化が、変倍手段による画像サイズの変化よりも大きくなるような、変倍手段による拡大処理または縮小処理と、超解像手段による等倍超解像処理または拡大超解像処理と、における変倍倍率の組み合わせを設定するものである。 Further, an invention according to claim 2, in the imaging apparatus according to claim 1, the change in image size by super-resolution means, such as larger than the change in the image size by scaling means, scaling means The combination of the magnification ratios in the enlargement process or reduction process according to 1 and the 1 × super-resolution process or the enlarged super-resolution process by the super-resolution means is set.
また、請求項３に記載の発明は、請求項１または２に記載の撮像装置において、元画像に対し等倍超解像処理を実行した画像について、拡大処理を実行するものである。 According to a third aspect of the present invention, in the image pickup apparatus according to the first or second aspect , an enlargement process is performed on an image obtained by performing an equal magnification super-resolution process on an original image.
また、請求項４に記載の発明は、請求項１または２に記載の撮像装置において、元画像に対し縮小処理を実行した画像について、拡大超解像処理を実行するものである。 According to a fourth aspect of the present invention, in the imaging apparatus according to the first or second aspect , an enlarged super-resolution process is performed on an image obtained by performing a reduction process on an original image.
また、請求項５に記載の発明は、請求項１または２に記載の撮像装置において、元画像に対し拡大超解像処理を実行した画像について、拡大処理を実行するものである。 According to a fifth aspect of the present invention, in the imaging apparatus according to the first or second aspect , an enlargement process is performed on an image obtained by performing an enlarged super-resolution process on an original image.
また、請求項６に記載の発明は、請求項１から５までのいずれかに記載の撮像装置において、変倍手段および超解像手段による処理中の画像サイズが、元画像および出力画像の画像サイズ以下であるものである。 According to a sixth aspect of the present invention, in the imaging apparatus according to any one of the first to fifth aspects, the image size being processed by the scaling unit and the super-resolution unit is an image of the original image and the output image. It is the one below the size.
また、請求項７に記載の撮像方法は、光学系から入射した光を電気信号に変換して撮像信号として出力する撮像処理と、画像の一部を切り出して拡大するデジタルズームの倍率を設定する倍率設定処理と、画像の一部を拡大処理、または縮小処理を行う変倍処理と、撮像処理により撮像した１画像、または変倍処理による拡大／縮小後の画像について、等倍にて解像感を上げる等倍超解像処理、または拡大して解像感を上げる拡大超解像処理を行う超解像処理と、を行い、かつ、倍率設定処理で設定されたデジタルズームの設定倍率に応じて、拡大処理または縮小処理と、等倍超解像処理または拡大超解像処理との実行順を変えるようにしている。 According to a seventh aspect of the present invention, there is provided an imaging method for converting an incident light from an optical system into an electric signal and outputting the electric signal as an imaging signal, and a magnification for setting a digital zoom magnification for extracting and enlarging a part of the image. Resolution at the same magnification for the setting process, scaling process for enlarging or reducing a part of the image, and one image captured by the imaging process, or an image enlarged / reduced by the scaling process In accordance with the set magnification of the digital zoom that is set in the magnification setting process, and the super-resolution process that performs the enlarged super-resolution process that increases the resolution and enlarges the resolution. The execution order of the enlargement process or the reduction process and the same-size super-resolution process or the enlarged super-resolution process are changed.
本発明によれば、デジタルズームによる画像劣化を低減することができる。
できる。
According to the present invention, image deterioration due to digital zoom can be reduced.
it can.
以下、本発明に係る構成を図１から図８に示す実施の形態に基づいて詳細に説明する。 Hereinafter, the configuration according to the present invention will be described in detail based on the embodiment shown in FIGS.
本実施形態に係る撮像装置（デジタルカメラ）は、光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子（ＣＣＤ１２１）と、画像の一部を切り出して拡大するデジタルズームの倍率を設定する倍率設定手段（デジタルズーム倍率設定手段１０１）と、画像の一部を切り出して拡大処理、または画像の全部もしくは一部を切り出して縮小処理を行う変倍手段（画像切り出し手段１０２、画像変倍手段１０３）と、撮像素子により撮像した１画像、または変倍手段による拡大／縮小後の画像について、等倍にて解像感を上げる等倍超解像処理、または拡大して解像感を上げる拡大超解像処理を行う超解像手段（超解像手段１０４）と、を備え、倍率設定手段によるデジタルズームの設定倍率に応じて、変倍手段による拡大処理または縮小処理と、超解像手段による等倍超解像処理または拡大超解像処理との実行順を変えるものである。したがって、超解像処理と変倍処理との処理手順を、設定されるデジタルズーム倍率によって最適化することによって、超解像デジタルズーム時の画像劣化を低減することができる。 The imaging apparatus (digital camera) according to the present embodiment includes an imaging device (CCD 121) that converts light incident from an optical system into an electrical signal and outputs the electrical signal, and a digital zoom magnification that extracts and enlarges a part of the image. A magnification setting means (digital zoom magnification setting means 101) for setting the image, and a magnification changing means (image clipping means 102, image transformation) for cutting out a part of an image and performing enlargement processing, or cutting out all or part of an image and performing reduction processing. Magnification means 103) and one image picked up by the image sensor, or an image after enlargement / reduction by the magnifying means, equal magnification super-resolution processing for increasing the resolution feeling at the same magnification, or enlargement and resolution feeling Super-resolution means (super-resolution means 104) for performing enlargement super-resolution processing to increase the magnification, and according to the set magnification of the digital zoom by the magnification setting means, And processing or reduction processing is to vary the order of executing the magnification super-resolution processing or enlarged super-resolution processing by the super-resolution unit. Therefore, by optimizing the processing procedure of the super-resolution processing and the scaling processing according to the set digital zoom magnification, it is possible to reduce image degradation during the super-resolution digital zoom.
（撮像装置の構成）
本実施形態では、撮像装置の一例としてデジタルスチルカメラを例に説明する。図１はデジタルカメラの外観図を示し、（ａ）はカメラ上面図、（ｂ）はカメラ正面図、（ｃ）はカメラ裏面図を示している。なお、撮像装置はデジタルスチルカメラに限られるものではなく、電子ズーム機能を備えた撮像装置であれば良い。
(Configuration of imaging device)
In this embodiment, a digital still camera will be described as an example of an imaging apparatus. FIG. 1 shows an external view of a digital camera, (a) shows a top view of the camera, (b) shows a front view of the camera, and (c) shows a rear view of the camera. Note that the imaging apparatus is not limited to a digital still camera, and any imaging apparatus having an electronic zoom function may be used.
図１（ａ）に示すように、デジタルカメラは、上面に、サブＬＣＤ１と、レリーズシャッター２（ＳＷ１）と、モードダイヤル４（ＳＷ２）とを有する。 As shown in FIG. 1A, the digital camera has a sub LCD 1, a release shutter 2 (SW1), and a mode dial 4 (SW2) on the upper surface.
また、図１（ｂ）に示すように、デジタルカメラは、正面に、ストロボ発光部３と、測距ユニット５と、リモコン受光部６と、レンズユニット７と、光学ファインダ（正面）１１とを有する。また、メモリカードスロットル２３は、ＳＤカード等のメモリカード３４を挿入するスロットルを示し、カメラ側面に設けられる。 As shown in FIG. 1B, the digital camera has a strobe light emitting unit 3, a distance measuring unit 5, a remote control light receiving unit 6, a lens unit 7, and an optical viewfinder (front) 11 on the front. Have. A memory card throttle 23 indicates a throttle for inserting a memory card 34 such as an SD card, and is provided on the side of the camera.
また、図１（ｃ）に示すように、デジタルカメラは、裏面に、ＡＦＬＥＤ（オートフォーカスＬＥＤ）８と、ストロボＬＥＤ９と、ＬＣＤモニタ（表示手段）１０と、光学ファインダ（裏面）１１と、ズームボタン（ズームレバー）ＴＥＬＥ１２（ＳＷ４）と、電源スイッチ１３（ＳＷ１３）と、ズームボタン（ズームレバー）ＷＩＤＥ１４（ＳＷ３）と、セルフタイマ／削除スイッチ１５（ＳＷ６）とを有する。 As shown in FIG. 1C, the digital camera has an AFLED (autofocus LED) 8, a strobe LED 9, an LCD monitor (display means) 10, an optical viewfinder (back surface) 11, and a zoom on the back surface. It has a button (zoom lever) TELE12 (SW4), a power switch 13 (SW13), a zoom button (zoom lever) WIDE14 (SW3), and a self-timer / deletion switch 15 (SW6).
さらに、メニュースイッチ１６（ＳＷ５）と、ＯＫスイッチ１７（ＳＷ１２）と、左／画像確認スイッチ１８（ＳＷ１１）と、下／マクロスイッチ１９（ＳＷ１０）と、上／ストロボスイッチ２０（ＳＷ７）と、右スイッチ２１（ＳＷ８）と、画像を表示するディスプレイスイッチ２２（ＳＷ９）とを有する。 Furthermore, the menu switch 16 (SW5), the OK switch 17 (SW12), the left / image confirmation switch 18 (SW11), the down / macro switch 19 (SW10), the up / strobe switch 20 (SW7), the right A switch 21 (SW8) and a display switch 22 (SW9) for displaying an image are provided.
デジタルズーム機能を用いた撮影動作では、撮影モード（モニタリングモード）と再生モードを切り替え可能なモードダイヤル４を操作して撮影モードに設定し、電源スイッチ１３によりデジタルカメラを起動させると、レンズユニット７がズームワイド位置に設定されて、ＬＣＤモニタ１０には電子ファインダ機能であるライブビュー映像が表示される。 In the shooting operation using the digital zoom function, when the mode dial 4 capable of switching between the shooting mode (monitoring mode) and the playback mode is operated to set the shooting mode and the digital camera is activated by the power switch 13, the lens unit 7 is moved. The zoom wide position is set, and a live view image that is an electronic viewfinder function is displayed on the LCD monitor 10.
この起動状態から、ズームボタンＴＥＬＥ１２を押下することにより、レンズユニット７は望遠側（テレ側）へ移動し、ズームＷＩＤＥ１４を押下することにより、レンズユニット７は広角側（ワイド側）に移動して、デジタルズーム機能が実現される。 From this activated state, when the zoom button TELE12 is pressed, the lens unit 7 moves to the telephoto side (tele side), and when the zoom WIDE14 is pressed, the lens unit 7 moves to the wide angle side (wide side). The digital zoom function is realized.
図２は図１に示したデジタルカメラの制御系の機能ブロック図を示している。以下、デジタルカメラ内部のシステム構成について説明する。 FIG. 2 is a functional block diagram of a control system of the digital camera shown in FIG. The system configuration inside the digital camera will be described below.
図２に示すように、このデジタルカメラ内には、レンズユニット７に設置した撮影レンズ系を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのＣＣＤ１２１、ＣＣＤ１２１から出力される電気信号をデジタル信号に処理するフロントエンドＩＣ（Ｆ／Ｅ）１２０、フロントエンドＩＣ（Ｆ／Ｅ）１２０から出力されるデジタル信号を処理する信号処理ＩＣ１１０、データを一時的に格納するＳＤＲＡＭ３３、制御プログラム等が記憶されたＲＯＭ３０、モータドライバ３２等が設けられている。 As shown in FIG. 2, in this digital camera, a CCD 121 serving as a solid-state imaging device, on which a subject image incident through a photographing lens system installed in the lens unit 7 forms an image on a light receiving surface, is output from the CCD 121. Front end IC (F / E) 120 for processing signals into digital signals, signal processing IC 110 for processing digital signals output from front end IC (F / E) 120, SDRAM 33 for temporarily storing data, control program A ROM 30 in which are stored, a motor driver 32, and the like are provided.
レンズユニット７は、ズームレンズ、フォーカスレンズおよびメカニカルシャッタ等からなり、モータドライバ３２によって駆動される。モータドライバ３２は、信号処理ＩＣ１１０の内部に含まれるマイクロコンピュータ（ＣＰＵ、制御部）１１１によって制御される。 The lens unit 7 includes a zoom lens, a focus lens, a mechanical shutter, and the like, and is driven by a motor driver 32. The motor driver 32 is controlled by a microcomputer (CPU, control unit) 111 included in the signal processing IC 110.
ＣＣＤ１２１は、光学画像を光電変換するための固体撮像素子であって、ＣＣＤを構成する複数の画素上に色分解フィルタとしてのＲＧＢ原色フィルタが配置されており、ＲＧＢ３原色に対応した電気信号が出力される。 The CCD 121 is a solid-state imaging device for photoelectrically converting an optical image, and RGB primary color filters as color separation filters are arranged on a plurality of pixels constituting the CCD, and an electrical signal corresponding to RGB three primary colors is output. Is done.
フロントエンドＩＣ（Ｆ／Ｅ）１２０は、ＣＣＤ出力電気信号（アナログ画像データ）についてサンプリングホールド（相関二重サンプリング）を行うＣＤＳ１２２、このサンプリングされたデータのゲインを調整するＡＧＣ（Auto Gain Control）１２３、デジタル信号変換を行うＡ／Ｄ変換機（Ａ／Ｄ）１２４、及びＣＣＤＩ／Ｆ１１２より垂直同期信号（ＶＤ）、水平同期信号（ＨＤ）を供給されＣＣＤ１２１とＦ／Ｅ１２０との駆動タイミング信号を発生するＴＧ（タイミングジェネレータ：制御信号発生器）１２５を有する。 A front-end IC (F / E) 120 is a CDS 122 that performs sampling hold (correlated double sampling) on the CCD output electrical signal (analog image data), and an AGC (Auto Gain Control) 123 that adjusts the gain of the sampled data. A vertical synchronization signal (VD) and a horizontal synchronization signal (HD) are supplied from an A / D converter (A / D) 124 that performs digital signal conversion and a CCD I / F 112, and drive timing signals for the CCD 121 and the F / E 120 are supplied. A TG (timing generator: control signal generator) 125 is generated.
発振器（クロックジェネレータ）は、ＣＰＵ１１１を含む信号処理ＩＣ１１０のシステムクロックとＴＧ１２５等にクロックを供給している。ＴＧ１２５は発振器のクロックを受けて、ピクセル同期をするためのピクセルクロックを信号処理ＩＣ１１０内のＣＣＤＩ／Ｆ１１２に供給する。 The oscillator (clock generator) supplies a clock to the system clock of the signal processing IC 110 including the CPU 111, the TG 125, and the like. The TG 125 receives the oscillator clock and supplies a pixel clock for pixel synchronization to the CCD I / F 112 in the signal processing IC 110.
Ｆ／Ｅ１２０から信号処理ＩＣ１１０に入力されたデジタル信号は、ＣＣＤＩ／Ｆ１１２を介して、メモリコントローラ１１５によりＳＤＲＡＭ３３にＲＧＢデータ（ＲＡＷ−ＲＧＢ）として一時保管される。 A digital signal input from the F / E 120 to the signal processing IC 110 is temporarily stored as RGB data (RAW-RGB) in the SDRAM 33 by the memory controller 115 via the CCD I / F 112.
信号処理ＩＣ１１０は、システム制御を行うＣＰＵ１１１、ＣＣＤＩ／Ｆ１１２、リサイズ処理部１１３、メモリコントローラ１１５、表示出力制御部１１６、圧縮伸張部１１７、メディアＩ／Ｆ部１１８、ＹＵＶ変換部１１９等から構成されている。 The signal processing IC 110 includes a CPU 111 that performs system control, a CCD I / F 112, a resizing processing unit 113, a memory controller 115, a display output control unit 116, a compression / expansion unit 117, a media I / F unit 118, a YUV conversion unit 119, and the like. ing.
ＣＣＤＩ／Ｆ１１２は、垂直同期信号（ＶＤ）、水平同期信号（ＨＤ）の出力を行い、その同期信号に合わせてＡ／Ｄ１２４から入力されるデジタル（ＲＧＢ）信号を取り込んで、メモリコントローラ１１５経由でＳＤＲＡＭ３３にＲＧＢデータの書き込みを行う。 The CCD I / F 112 outputs a vertical synchronizing signal (VD) and a horizontal synchronizing signal (HD), takes in a digital (RGB) signal input from the A / D 124 in accordance with the synchronizing signal, and passes through the memory controller 115. RGB data is written to the SDRAM 33.
表示出力制御部１１６はＳＤＲＡＭ３３に書き込まれた表示用データを表示部に送り、撮影した画像の表示を行う。表示出力制御部１１６は、デジタルカメラが内蔵しているＬＣＤモニタ１０に表示することも、ＴＶビデオ信号として出力して外部装置に表示することも可能である。 The display output control unit 116 sends the display data written in the SDRAM 33 to the display unit, and displays the captured image. The display output control unit 116 can display on the LCD monitor 10 built in the digital camera, or output it as a TV video signal and display it on an external device.
ここでいう、表示用データとは、自然画像のＹＣｂＣｒと、撮影モードアイコンなどを表示するＯＳＤ（オンスクリーンディスプレイ）データであり、いずれもＳＤＲＡＭ３３上に置かれたデータをメモリコントローラ１１５が読み出して表示出力制御部１１６に送り、表示出力制御部１１６で合成したデータをビデオデータとして出力する。 The display data here is OSD (on-screen display) data for displaying a natural image YCbCr, a shooting mode icon, etc., and the memory controller 115 reads and displays the data placed on the SDRAM 33. The data is sent to the output control unit 116, and the data synthesized by the display output control unit 116 is output as video data.
圧縮伸張部１１７は、記録時はＳＤＲＡＭ３３に書き込まれたＹＣｂＣｒデータを圧縮してＪＰＥＧ符号化されたデータを出力し、再生時は読み出したＪＰＥＧ符号化データをＹＣｂＣｒデータに伸張して出力する。 The compression / decompression unit 117 compresses the YCbCr data written in the SDRAM 33 during recording and outputs JPEG-encoded data. During reproduction, the compression / decompression unit 117 decompresses the read JPEG-encoded data into YCbCr data and outputs the YCbCr data.
メディアＩ／Ｆ１１８は、ＣＰＵ１１１の指示により、メモリカード３４内のデータをＳＤＲＡＭ３３に読み出したり、ＳＤＲＡＭ３３上のデータをメモリカード３４に書き込んだりする。 The media I / F 118 reads data in the memory card 34 to the SDRAM 33 or writes data on the SDRAM 33 to the memory card 34 in accordance with an instruction from the CPU 111.
ＹＵＶ変換部１１９は、ＣＰＵ１１１から設定された画像現像処理パラメータに基づき、ＳＤＲＡＭ３３に一時保管されたＲＧＢデータを輝度Ｙと色差ＣｂＣｒデータ（ＹＵＶデータ）に変換処理し、ＳＤＲＡＭ３３へ書き戻す。 The YUV conversion unit 119 converts the RGB data temporarily stored in the SDRAM 33 into luminance Y and color difference CbCr data (YUV data) based on the image development processing parameters set by the CPU 111, and writes back to the SDRAM 33.
リサイズ処理部１１３は、ＹＵＶデータを読み出して、記録するために必要なサイズへのサイズ変換、サムネイル画像へのサイズ変換、表示に適したサイズへのサイズ変換などを行う。 The resizing processing unit 113 reads out YUV data and performs size conversion to a size necessary for recording, size conversion to a thumbnail image, size conversion to a size suitable for display, and the like.
また、全体の動作を制御する制御部であるＣＰＵ１１１は、起動時にＲＯＭ３０に格納されたカメラの制御を行う制御プログラムおよび制御データを、例えばＳＤＲＡＭ３３にロードし、そのプログラムコードに基づいて全体の動作を制御する。 In addition, the CPU 111 which is a control unit that controls the overall operation loads a control program and control data for controlling the camera stored in the ROM 30 at the time of startup into, for example, the SDRAM 33, and performs the overall operation based on the program code. Control.
ＣＰＵ１１１は、操作部３１のボタンキー等による指示、あるいは図示しないリモコン等の外部動作指示、あるいはパーソナルコンピュータ等の外部端末からの通信による通信動作指示に従い、撮像動作制御、画像現像処理パラメータの設定、メモリコントロール、表示制御等を行う。 The CPU 111 performs imaging operation control, setting of image development processing parameters, in accordance with an instruction by a button key of the operation unit 31, an external operation instruction from a remote controller (not shown), or a communication operation instruction by communication from an external terminal such as a personal computer. Performs memory control and display control.
操作部３１は、撮影者がデジタルカメラの動作指示を行うためのものであり、撮影者の操作によって所定の動作指示信号が制御部に入力される。例えば、図１に示すように、撮影を指示する２段（半押し、全押し）レリーズシャッター２、光学ズームおよび電子ズーム倍率を設定するズームボタン１２,１４等の各種ボタンキーを備えている。 The operation unit 31 is used by the photographer to instruct the operation of the digital camera, and a predetermined operation instruction signal is input to the control unit by the operation of the photographer. For example, as shown in FIG. 1, various button keys such as a two-stage (half-pressed and fully-pressed) release shutter 2 for instructing shooting, zoom buttons 12 and 14 for setting an optical zoom and an electronic zoom magnification are provided.
操作部３１よりデジタルカメラの電源キーがオンされたことを検出すると、ＣＰＵ１１１は各ブロックに所定の設定を行う。この設定により、レンズユニット７を介してＣＣＤ１２１で受光した画像は、デジタル映像信号に変換されて信号処理ＩＣ１１０に入力される。 When the operation unit 31 detects that the power key of the digital camera is turned on, the CPU 111 performs a predetermined setting for each block. With this setting, an image received by the CCD 121 via the lens unit 7 is converted into a digital video signal and input to the signal processing IC 110.
信号処理ＩＣ１１０へ入力されたデジタル信号はＣＣＤＩ／Ｆ１１２に入力される。ＣＣＤＩ／Ｆ１１２では光電変換されたアナログ信号に黒レベル調整等の処理が行われて、ＳＤＲＡＭ３３に一旦保存される。このＳＤＲＡＭ３３に保存されたＲＡＷ−ＲＧＢ画像データは、ＹＵＶ変換部１１９に読み出されて、ガンマ変換処理、ホワイトバランス処理、エッジエンハンス処理、ＹＵＶ変換処理が行われＹＵＶ画像データとしてＳＤＲＡＭ３３へ書き戻される。 The digital signal input to the signal processing IC 110 is input to the CCD I / F 112. The CCD I / F 112 performs processing such as black level adjustment on the photoelectrically converted analog signal and temporarily stores it in the SDRAM 33. The RAW-RGB image data stored in the SDRAM 33 is read by the YUV conversion unit 119, and subjected to gamma conversion processing, white balance processing, edge enhancement processing, and YUV conversion processing, and is written back to the SDRAM 33 as YUV image data. .
ＹＵＶ画像データは表示出力制御部１１６に読み出され、例えば出力先がＮＴＳＣシステムのＴＶであれば、リサイズ処理部１１３により、そのシステムに合わせた水平・垂直の変倍処理が施され、ＴＶに出力される。この処理がＶＤ毎に行われることで、スチル撮影前の確認用の表示であるモニタリングが行われる。 The YUV image data is read by the display output control unit 116. For example, if the output destination is an NTSC system TV, the resizing processing unit 113 performs horizontal / vertical scaling processing according to the system, and Is output. By performing this process for each VD, monitoring which is a display for confirmation before still photographing is performed.
（撮像装置の動作）
次に、デジタルカメラのモニタリング動作および静止画撮影動作について説明する。このデジタルカメラは、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。
(Operation of imaging device)
Next, the monitoring operation and still image shooting operation of the digital camera will be described. This digital camera performs a still image shooting operation while performing a monitoring operation as described below in the still image shooting mode.
先ず、撮影者が電源スイッチ１３をＯＮにし、モードダイヤル４を撮影モード（静止画撮影モード）に設定することで、デジタルカメラが記録モードで起動する。これをＣＰＵ１１１が検知すると、ＣＰＵ１１１はモータドライバ３２に制御信号を出力して、レンズユニット７を撮影可能位置に移動させ、かつ、ＣＣＤ１２１、Ｆ／Ｅ１２０、信号処理ＩＣ１１０、ＳＤＲＡＭ３３、ＲＯＭ３０、ＬＣＤモニタ１０等を起動させる。 First, when the photographer turns on the power switch 13 and sets the mode dial 4 to the photographing mode (still image photographing mode), the digital camera is activated in the recording mode. When the CPU 111 detects this, the CPU 111 outputs a control signal to the motor driver 32 to move the lens unit 7 to a photographing position, and the CCD 121, F / E 120, signal processing IC 110, SDRAM 33, ROM 30, LCD monitor 10 And so on.
そして、レンズユニット７の撮影レンズ系を被写体に向けることにより、撮影レンズ系を通して入射される被写体画像がＣＣＤ１２１の各画素の受光面上に結像する。そして、ＣＣＤ１２１から出力される被写体画像に応じた電気信号（アナログＲＧＢ画像信号）は、ＣＤＳ１２２、ＡＧＣ１２３を介してＡ／Ｄ１２４に入力され、Ａ／Ｄ１２４により１２ビットのＲＡＷ−ＲＧＢデータに変換する。 Then, by directing the photographic lens system of the lens unit 7 toward the subject, a subject image incident through the photographic lens system is formed on the light receiving surface of each pixel of the CCD 121. An electrical signal (analog RGB image signal) corresponding to the subject image output from the CCD 121 is input to the A / D 124 via the CDS 122 and AGC 123, and converted into 12-bit RAW-RGB data by the A / D 124.
このＲＡＷ−ＲＧＢデータは、信号処理ＩＣ１１０のＣＣＤＩ／Ｆ１１２に取り込まれてメモリコントローラ１１５を介してＳＤＲＡＭ３３に保存される。そして、ＳＤＲＡＭ３３から読み出されたＲＡＷ−ＲＧＢデータは、ＹＵＶ変換部１１９に入力されて表示可能な形式であるＹＵＶデータに変換された後に、メモリコントローラ１１５を介してＳＤＲＡＭ３３にＹＵＶデータが保存される。 This RAW-RGB data is taken into the CCD I / F 112 of the signal processing IC 110 and stored in the SDRAM 33 via the memory controller 115. The RAW-RGB data read from the SDRAM 33 is input to the YUV conversion unit 119 and converted into YUV data that can be displayed, and then the YUV data is stored in the SDRAM 33 via the memory controller 115. .
そして、ＳＤＲＡＭ３３からメモリコントローラ１１５を介して読み出したＹＵＶデータは、表示出力制御部１１６を介してＬＣＤモニタ１０へ送られ、撮影画像（動画）が表示される。ＬＣＤモニタ１０に撮影画像を表示しているモニタリング時においては、ＣＣＤＩ／Ｆ１１２による画素数の間引き処理により１／３０秒の時間で１フレームを読み出している。 The YUV data read from the SDRAM 33 via the memory controller 115 is sent to the LCD monitor 10 via the display output control unit 116, and a captured image (moving image) is displayed. At the time of monitoring in which a photographed image is displayed on the LCD monitor 10, one frame is read out in a time of 1/30 seconds by thinning out the number of pixels by the CCD I / F 112.
なお、このモニタリング動作時は、電子ファインダとして機能するＬＣＤモニタ１０に撮影画像（動画）が表示されているだけで、まだレリーズボタン２が押圧（半押も含む）操作されていない状態である。 In this monitoring operation, the photographed image (moving image) is only displayed on the LCD monitor 10 functioning as an electronic viewfinder, and the release button 2 is not yet pressed (including half-pressed).
この撮影画像のＬＣＤモニタ１０への表示によって、静止画を撮影するための構図の確認等をすることができる。なお、表示出力制御部１１６からＴＶビデオ信号として出力して、ビデオケーブルを介して外部のＴＶ（テレビ）に撮影画像（動画）を表示することもできる。 By displaying the photographed image on the LCD monitor 10, the composition for photographing a still image can be confirmed. In addition, it can output as a TV video signal from the display output control part 116, and a picked-up image (moving image) can also be displayed on external TV (television) via a video cable.
そして、信号処理ＩＣ１１０のＣＣＤＩ／Ｆ１１２は、取り込まれたＲＡＷ−ＲＧＢデータより、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値、ＡＷＢ（オートホワイトバランス）評価値を算出する。 Then, the CCD I / F 112 of the signal processing IC 110 calculates an AF (automatic focus) evaluation value, an AE (automatic exposure) evaluation value, and an AWB (auto white balance) evaluation value from the captured RAW-RGB data.
ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、撮影レンズ系内の各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦検出位置としてＡＦ動作が実行される。 The AF evaluation value is calculated by, for example, the output integrated value of the high frequency component extraction filter or the integrated value of the luminance difference between adjacent pixels. When in the in-focus state, the edge portion of the subject is clear, so the high frequency component is the highest. By using this, at the time of AF operation (focus detection operation), AF evaluation values at each focus lens position in the photographing lens system are acquired, and AF operation is performed with the maximum point as the focus detection position. Is executed.
ＡＥ評価値とＡＷＢ評価値は、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値のそれぞれの積分値から算出される。例えば、ＣＣＤ１２１の全画素の受光面に対応した画面を２５６エリア（ブロック）に等分割（水平１６分割、垂直１６分割）し、それぞれのエリア（ブロック）のＲＧＢ積算を算出する。 The AE evaluation value and the AWB evaluation value are calculated from the integrated values of the RGB values in the RAW-RGB data. For example, the screen corresponding to the light receiving surface of all the pixels of the CCD 121 is equally divided into 256 areas (blocks) (16 horizontal divisions and 16 vertical divisions), and the RGB integration of each area (block) is calculated.
そして、制御部は、算出されたＲＧＢ積算値を読み出し、ＡＥ処理では、画面のそれぞれのエリア（ブロック）の輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件（ＣＣＤ１２１の電子シャッタ回数、絞りユニットの絞り値、ＮＤフィルタの出し入れ等）を設定する。また、ＡＷＢ処理では、ＲＧＢの分布から被写体の光源の色に合わせたＡＷＢの制御値を決定する。このＡＷＢ処理により、ＹＵＶ変換部１１９でＹＵＶデータに変換処理するときのホワイトバランスを合わせる。なお、ＡＥ処理とＡＷＢ処理は、モニタリング時には連続的に行われている。 Then, the control unit reads the calculated RGB integrated value, and in the AE process, calculates the luminance of each area (block) of the screen and determines an appropriate exposure amount from the luminance distribution. Based on the determined exposure amount, exposure conditions (the number of electronic shutters of the CCD 121, the aperture value of the aperture unit, the insertion and removal of the ND filter, etc.) are set. In the AWB process, an AWB control value that matches the color of the light source of the subject is determined from the RGB distribution. By this AWB process, white balance is adjusted when the YUV conversion unit 119 performs conversion processing to YUV data. Note that the AE process and the AWB process are continuously performed during monitoring.
そして、モニタリング動作時に、レリーズボタンが押圧（半押しから全押し）操作される静止画撮影動作が開始されると、合焦位置検出動作であるＡＦ動作と静止画記録処理が行われる。 Then, when a still image shooting operation in which the release button is pressed (half-pressed to fully pressed) is started during the monitoring operation, an AF operation that is a focus position detection operation and a still image recording process are performed.
即ち、レリーズボタンが押圧（半押しから全押し）操作されると、制御部からモータドライバ３２への駆動指令により撮影レンズ系のフォーカスレンズが移動し、例えば、いわゆる山登りＡＦと称されるコントラスト評価方式のＡＦ動作が実行される。 That is, when the release button is pressed (half to full), the focus lens of the photographing lens system is moved by a drive command from the control unit to the motor driver 32. For example, contrast evaluation called so-called hill-climbing AF is performed. The AF operation of the method is executed.
ＡＦ（合焦）対象範囲が無限から至近までの全領域であった場合、撮影レンズ系のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、ＣＣＤＩ／Ｆ１１２で算出されている各フォーカス位置におけるＡＦ評価値を制御部が読み出す。そして、各フォーカス位置のＡＦ評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。 When the AF (focusing) target range is the entire region from infinity to close, the focus lens of the taking lens system moves to each focus position from close to infinity or from infinity to close, and the CCD I / F 112 The control unit reads the AF evaluation value at each focus position calculated in step (1). Then, the focus lens is moved to the in-focus position with the point where the AF evaluation value at each focus position is maximized as the in-focus position, and in-focus.
そして、ＡＥ処理が行われ、露光完了時点で、制御部からモータドライバ３２への駆動指令によりメカシャッタユニットが閉じられ、ＣＣＤ１２１から静止画用のアナログＲＧＢ画像信号が出力される。そして、モニタリング時と同様に、Ｆ／Ｅ１２０のＡ／Ｄ１２４によりＲＡＷ−ＲＧＢデータに変換される。 Then, AE processing is performed, and when the exposure is completed, the mechanical shutter unit is closed by a drive command from the control unit to the motor driver 32, and an analog RGB image signal for a still image is output from the CCD 121. Then, as in the monitoring, the data is converted into RAW-RGB data by the A / D 124 of the F / E 120.
そして、このＲＡＷ−ＲＧＢデータは、信号処理ＩＣ１１０のＣＣＤＩ／Ｆ１１２に取り込まれ、ＹＵＶ変換部１１９でＹＵＶデータに変換されて、メモリコントローラ１１５を介してＳＤＲＡＭ３３に保存される。そして、このＹＵＶデータはＳＤＲＡＭ３３から読み出されて、リサイズ処理部１１３で記録画素数に対応するサイズに変換され、圧縮伸張部１１７でＪＰＥＧ形式等の画像データへと圧縮される。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ３３に書き戻された後にメモリコントローラ１１５を介してＳＤＲＡＭ３３から読み出され、メディアＩ／Ｆ１１８を介してメモリカード３４に保存される。 The RAW-RGB data is taken into the CCD I / F 112 of the signal processing IC 110, converted into YUV data by the YUV conversion unit 119, and stored in the SDRAM 33 via the memory controller 115. The YUV data is read from the SDRAM 33, converted into a size corresponding to the number of recording pixels by the resizing processing unit 113, and compressed to image data in the JPEG format or the like by the compression / decompression unit 117. The compressed image data such as JPEG format is written back to the SDRAM 33, read from the SDRAM 33 via the memory controller 115, and stored in the memory card 34 via the media I / F 118.
（撮像装置の制御）
図３は、超解像デジタルズーム処理に係るＣＰＵ１１１の制御ブロックの説明図である。
(Control of imaging device)
FIG. 3 is an explanatory diagram of a control block of the CPU 111 related to the super-resolution digital zoom process.
デジタルズーム倍率設定手段１０１は、ズームボタン１２，１４の入力から設定するズーム倍率を検出して、設定されたズーム倍率を反映させる処理を行う。また、画像切り出し手段１０２は、デジタルズーム倍率設定手段１０１で設定されたズーム倍率に応じて、元画像の切りだし処理を行う。 The digital zoom magnification setting means 101 detects the zoom magnification set from the input of the zoom buttons 12 and 14 and performs processing for reflecting the set zoom magnification. In addition, the image clipping unit 102 performs an original image clipping process according to the zoom magnification set by the digital zoom magnification setting unit 101.
画像変倍手段１０３は、画像切り出し手段１０２と協働して、線形補間法や、バイリニア法等の、公知のアルゴリズムにより、所望の倍率に画像を拡大／縮小する変倍処理（以下、通常の変倍処理、通常の拡大／縮小処理ともいう）を行う。画像変倍手段１０３で用いるアルゴリズムは特に限られるものではないが、上記の方法等により、拡大処理を行うと画像の解像度は劣化することとなる。 The image scaling unit 103 cooperates with the image cutout unit 102 to perform a scaling process (hereinafter referred to as a normal scaling process) for enlarging / reducing an image to a desired magnification by a known algorithm such as a linear interpolation method or a bilinear method. Scaling process, also called normal enlargement / reduction process). The algorithm used in the image scaling unit 103 is not particularly limited. However, when the enlargement process is performed by the above method or the like, the resolution of the image is deteriorated.
超解像手段１０４は、画像のボケやエッジの荒さを改善し、解像度を変えることなく解像感を向上させる超解像処理を実行する。なお、超解像処理には、１枚の入力画像から超解像処理を行うものと、複数枚連続撮影される入力画像を用いて超解像処理を行うものが知られているが、本実施形態の超解像手段１０４は、１枚の入力画像から超解像処理を実行するものである。なお、１枚の入力画像から超解像処理を実行して、解像感を向上させることが可能なものであれば、その具体的な処理内容（アルゴリズム）は、特に限られるものではなく、公知、または新規のアルゴリズムを用いることができる。 The super-resolution unit 104 executes a super-resolution process that improves image blur and edge roughness and improves the resolution without changing the resolution. Note that there are two known super-resolution processes: one that performs super-resolution processing from a single input image and one that performs super-resolution processing using input images that are continuously photographed. The super resolving unit 104 according to the embodiment performs super resolving processing from a single input image. In addition, the specific processing content (algorithm) is not particularly limited as long as the super-resolution processing can be executed from one input image and the resolution can be improved. Known or novel algorithms can be used.
また、本実施形態の超解像手段１０４は、画像サイズについて拡大処理をしながら解像感を、維持または向上させる処理を実行することもできる。例えば、１．０倍、１．２５倍、１．５倍、１．７５倍、２倍のように、ｎ／４倍（ｎ＝４〜８の整数）の拡大処理をしながら解像感を維持または向上させる処理を行うことができる。ここで、同一画像に対して、超解像手段１０４により所定倍の拡大処理をしながら超解像処理を実行したものと、画像変倍手段１０３により所定倍の拡大処理をした場合では、倍率が同じ場合、超解像処理を行った方が劣化の少ない画像を生成可能である。 In addition, the super-resolution unit 104 of the present embodiment can also execute a process of maintaining or improving the resolution feeling while enlarging the image size. For example, a resolution feeling while performing an enlargement process of n / 4 times (n = integer of 4 to 8) such as 1.0 times, 1.25 times, 1.5 times, 1.75 times, and 2 times. It is possible to perform processing for maintaining or improving the above. Here, when the super-resolution processing is performed on the same image by the super-resolution unit 104 while performing the predetermined-magnification processing, and when the image scaling unit 103 performs the predetermined-magnification processing, Are the same, it is possible to generate an image with less deterioration by performing the super-resolution processing.
図４（Ａ）は等倍超解像処理、図４（Ｂ）は２倍超解像処理の説明図である。本実施形態では、超解像手段１０４が、入力画像に対して、画像サイズを変更せずに、解像感を高める処理（等倍超解像処理という）と、入力画像に対して、画像サイズを２倍に拡大し、かつ、解像感を高める処理（２倍超解像処理という）と、の２種類の超解像処理を実行する例について説明するが、超解像手段１０４が超解像処理と同時に実行可能な拡大処理の倍率、および実行可能な倍率数はこれに限られるものではなく、その他の拡大倍率と超解像処理とを同時に実行可能なものであっても良い。 FIG. 4A is an explanatory diagram of 1 × super-resolution processing, and FIG. 4B is an explanatory diagram of 2 × super-resolution processing. In the present embodiment, the super resolving means 104 performs processing for improving the sense of resolution without changing the image size for the input image (referred to as equal-magnification super-resolution processing), and for the input image An example of executing two types of super-resolution processing, that is, processing for enlarging the size twice and enhancing the resolution (referred to as double super-resolution processing), will be described. The magnification of the enlargement processing that can be executed simultaneously with the super-resolution processing and the number of executable magnifications are not limited to this, and other enlargement magnifications and super-resolution processing may be executed simultaneously. .
ここで、デジタルカメラに要求されるデジタルズーム倍率は、例えば、１．０倍から０．２倍単位等といった細かい倍率が要求される。このため、超解像手段１０４による拡大処理を含む超解像処理のみでは、上記要求を満たすことができない。一方、画像変倍手段１０３による変倍処理では、上述のように解像度が劣化するため、画像変倍処理１０３による変倍処理をむやみに行うことは画像劣化につながり好ましくない。 Here, the digital zoom magnification required for the digital camera is required to be a fine magnification such as a unit of 1.0 to 0.2. For this reason, only the super-resolution process including the enlargement process by the super-resolution unit 104 cannot satisfy the above requirement. On the other hand, in the scaling process by the image scaling unit 103, the resolution is deteriorated as described above. Therefore, it is not preferable to perform the scaling process by the image scaling process 103 unnecessarily, which leads to image degradation.
そこで、本実施形態に係る撮像装置は、拡大処理を含む超解像処理と、通常の変倍処理との組み合わせを、以下に詳述する所定の規則に則って実行する処理（以下、超解像デジタルズーム処理と呼ぶ）を行うことにより、画像劣化を最小限に抑えたデジタルズームによる拡大処理を実現するものである。 Therefore, the imaging apparatus according to the present embodiment performs processing (hereinafter referred to as super-solution) that executes a combination of super-resolution processing including enlargement processing and normal scaling processing in accordance with a predetermined rule described in detail below. (Referred to as image digital zoom processing) to realize enlargement processing by digital zoom with minimal image degradation.
図５は、超解像デジタルズーム処理の概要を示すフローチャートである。先ず、超解像デジタルズーム処理を施す元画像について、デジタルズーム倍率設定手段１０１で、撮影時に設定されているデジタルズーム倍率を取得する（Ｓ１）。さらに、取得したデジタルズーム倍率に応じて、画像切り出し手段１０２、画像変倍手段１０３および超解像手段１０４により、画像劣化が少ない処理手順で超解像デジタルズーム処理を行うものである（Ｓ２）。 FIG. 5 is a flowchart showing an outline of the super-resolution digital zoom process. First, the digital zoom magnification set at the time of photographing is acquired by the digital zoom magnification setting means 101 for the original image on which the super-resolution digital zoom processing is performed (S1). Further, according to the acquired digital zoom magnification, the image clipping unit 102, the image scaling unit 103, and the super-resolution unit 104 perform super-resolution digital zoom processing with a processing procedure with little image degradation (S2).
以下、超解像デジタルズーム処理の詳細について、図６および図７を参照して説明する。 Hereinafter, details of the super-resolution digital zoom processing will be described with reference to FIGS.
図６は、デジタルズーム倍率に応じた、超解像デジタルズーム処理の切り替えの基準となるデジタルズーム倍率毎の視野領域と、元画像に対する出力画像の面積割合を示す説明図である。 FIG. 6 is an explanatory diagram showing a visual field region for each digital zoom magnification serving as a reference for switching the super-resolution digital zoom processing according to the digital zoom magnification, and an area ratio of the output image to the original image.
本実施形態では、デジタルズーム倍率は０．２倍刻みで設定されるものとし、図６では、１．０倍から２．０倍までの各デジタルズーム倍率の出力画像領域を「各デジタルズーム倍率時の視野領域」として右上欄に示し、併せて、各デジタルズーム倍率適用時の元画像に対する面積割合を「元画像に対する面積割合」として左上欄に示している。 In this embodiment, the digital zoom magnification is set in increments of 0.2. In FIG. 6, the output image area of each digital zoom magnification from 1.0 to 2.0 times is expressed as “field of view at each digital zoom magnification. The area ratio for the original image when each digital zoom magnification is applied is shown as the “area ratio for the original image” in the upper left column.
画像変倍手段１０３による変倍処理と、超解像手段１０４による超解像処理との実行順序については、上述のように、同一画像に対して、超解像手段１０４により所定倍の拡大処理をして超解像処理を実行したものと、画像変倍手段１０３により所定倍の拡大処理をした場合では、超解像処理を行った方が劣化の少ない画像を生成可能であるため、画像の面積変化が小さくなる超解像倍率を適用すること、すなわち、超解像処理による画像サイズの変化（元画像に対する面積割合（変倍倍率））が、変倍処理による画像サイズの変化（元画像に対する面積割合（変倍倍率））よりも大きくなるように２つの処理を組み合わせて実行することが好ましい。 Regarding the execution order of the scaling process by the image scaling unit 103 and the super-resolution process by the super-resolution unit 104, as described above, the super-resolution unit 104 enlarges a predetermined magnification by the super-resolution unit 104 as described above. In the case where the super-resolution process is performed and the image scaling unit 103 performs the enlargement process of a predetermined magnification, the super-resolution process can generate an image with less deterioration. Applying a super-resolution magnification that reduces the area change of the image, that is, the change in image size by the super-resolution process (area ratio (magnification ratio) to the original image) It is preferable to execute the two processes in combination so as to be larger than the area ratio (magnification ratio) to the image.
例えば、目的とするデジタルズーム倍率付近まで、等倍超解像、または２倍超解像で近づけ、その後の微調整について通常の変倍処理を行うことにより、画像の劣化を少なくすることができる。図６に示す例において、元画像に対する面積割合を見ると、デジタルズーム倍率が１．０倍から１．３３倍までは等倍超解像面積（面積割合１００％）に近く、デジタルズーム倍率が１．３４倍から２．０倍までは、２倍超解像面積（面積割合５０％）に近いといえるため、面積割合７５％のライン（すなわち、デジタルズーム倍率が１．３３倍の時）を基準として、処理手順を変化させればよいこととなる。以下、図７を参照して、詳説する。 For example, image degradation can be reduced by approaching the digital zoom magnification close to the target by equal super resolution or double super resolution and performing normal scaling processing for subsequent fine adjustment. In the example shown in FIG. 6, when viewing the area ratio relative to the original image, the digital zoom magnification is 1.0 to 1.33 times, which is close to the same super resolution area (area ratio 100%), and the digital zoom magnification is 1. From 34 times to 2.0 times, it can be said that the resolution area is close to 2 times super resolution (area ratio 50%), so a line with an area ratio of 75% (that is, when the digital zoom magnification is 1.33 times) is used as a reference. The processing procedure may be changed. Hereinafter, this will be described in detail with reference to FIG.
図７は、各デジタルズーム倍率に応じた超解像デジタルズーム処理の説明図である。図７（Ａ）に示すように、倍率が１．０〜１．３３倍のデジタルズーム時（デジタルズーム倍率１．２倍）には、先ず、等倍超解像処理を実行した後、当該等倍超解像処理後の画像について、所望の倍率となるように、通常の変倍処理（画像の切り出しと拡大処理）を行うことが好ましい。１．０〜１．３３倍のデジタルズーム時には、上記処理順による超解像デジタルズーム処理を行うことにより、画像劣化を抑制することができる。なお、１．０倍のデジタルズーム時には、等倍超解像処理のみ行えばよいのは勿論である。 FIG. 7 is an explanatory diagram of super-resolution digital zoom processing corresponding to each digital zoom magnification. As shown in FIG. 7A, at the time of digital zooming at a magnification of 1.0 to 1.33 (digital zoom magnification of 1.2), first, the super-resolution process is performed at the same magnification, and then the same magnification is performed. It is preferable to perform normal scaling processing (image clipping and enlargement processing) so that the image after the super-resolution processing has a desired magnification. At the time of digital zoom of 1.0 to 1.33 times, image degradation can be suppressed by performing super-resolution digital zoom processing in the above processing order. Needless to say, when the digital zoom is performed at a magnification of 1.0, only the super-resolution processing at the same magnification may be performed.
また、図７（Ｂ）に示すように、倍率が１．３４〜１．９９倍のデジタルズーム時（デジタルズーム倍率１．４倍、１．６倍、１．８倍）には、先ず、元画像について通常の変倍処理（切り出しと縮小処理）を行って、その処理後の画像サイズが、最終的な出力画像サイズの半分の大きさになるようにする。そして、該通常の変倍処理後の画像について、２倍超解像処理を実行することが好ましい。１．３４〜１．９９倍のデジタルズーム時には、上記処理順による超解像デジタルズーム処理を行うことにより、画像劣化を抑制することができる。 As shown in FIG. 7B, at the time of digital zoom with a magnification of 1.34 to 1.99 times (digital zoom magnifications of 1.4 times, 1.6 times, and 1.8 times), first, the original image is displayed. Is subjected to normal scaling processing (cutout and reduction processing) so that the image size after the processing is half the final output image size. Then, it is preferable to execute a double super-resolution process on the image after the normal scaling process. When performing digital zoom of 1.34 to 1.99 times, image degradation can be suppressed by performing super-resolution digital zoom processing in the above processing order.
また、図７（Ｃ）に示すように、２．０倍以上のデジタルズーム時には、元画像に対し、２倍超解像処理を実行した後、当該２倍超解像処理後の画像について、所望の倍率となるように、通常の変倍処理（拡大処理）を行うことが好ましい。２．０倍以上のデジタルズーム時には、上記処理順による超解像デジタルズーム処理を行うことにより、画像劣化を抑制することができる。なお、２．０倍のデジタルズーム時には、２倍超解像処理のみ行えばよいのは勿論である。 Further, as shown in FIG. 7C, at the time of digital zoom of 2.0 times or more, after executing the double super-resolution processing on the original image, the image after the double super-resolution processing is desired. It is preferable to perform a normal scaling process (enlargement process) so as to achieve a magnification of. At the time of digital zoom of 2.0 times or more, image degradation can be suppressed by performing super-resolution digital zoom processing in the above processing order. Of course, when the digital zoom is 2.0 times, only the super-resolution processing of 2 times needs to be performed.
ここで、図８に示すように、例えば、倍率が１．３４〜１．９９倍のデジタルズーム時に、２倍超解像処理を実行した後、当該２倍超解像処理後の画像について、変倍処理（縮小処理）を行うようにすると、２倍超解像処理後の画像サイズ（処理途中における画像サイズ）が、元画像および出力画像よりも大きいデータサイズとなるため、余分なメモリ領域を確保しなければならない。したがって、１．３４〜１．９９倍デジタルズーム時には、上述の図７（Ｂ）に示したように、通常の変倍処理を実行した後に、２倍超解像処理の順に実行することが好ましい。 Here, as shown in FIG. 8, for example, after performing the 2 × super-resolution processing at the time of digital zoom with a magnification of 1.34 to 1.99 ×, the image after the 2 × super-resolution processing is changed. If double processing (reduction processing) is performed, the image size after double super-resolution processing (image size in the middle of processing) becomes a data size larger than the original image and the output image. Must be secured. Therefore, at the time of digital zoom of 1.34 to 1.99 times, as shown in FIG. 7B described above, it is preferable to execute the normal magnification process and then the 2 times super-resolution process.
すなわち、超解像デジタルズーム処理においては、処理途中の画像サイズが、元画像および出力画像よりも大きいデータサイズとならないように、超解像処理と通常の拡大処理との順番を決定することが好ましい。これにより、必要なメモリサイズをそのままのサイズで処理を実行することができる。 That is, in the super-resolution digital zoom process, it is preferable to determine the order of the super-resolution process and the normal enlargement process so that the image size during the process does not become a data size larger than the original image and the output image. . As a result, the processing can be executed with the necessary memory size as it is.
一方で、図７（Ａ）および図７（Ｃ）に示した１．０〜１．３３倍の超解像デジタルズームと、２．０倍以上の超解像デジタルズームの場合では、拡大／縮小処理と超解像処理の手順に関しては、理論上は、逆に実行するようにしても同様の効果が得られる。しかしながら、超解像処理のアルゴリズムや、撮像装置のハードウェア、ミドルウェア等の制約、性能に応じて、出力画像の画質に差異が生じる場合がある。この場合は、各ハードウェア等に応じて、出力画像がより良い画質を得ることができる最適な順番を設定するようにすれば良い。 On the other hand, in the case of the super-resolution digital zoom of 1.0 to 1.33 times shown in FIGS. 7A and 7C and the super-resolution digital zoom of 2.0 times or more, enlargement / reduction processing is performed. With regard to the procedure of the super-resolution processing, the same effect can be obtained even if it is executed in reverse. However, there may be a difference in the quality of the output image depending on the algorithm of super-resolution processing, restrictions on the hardware and middleware of the imaging apparatus, and performance. In this case, an optimal order in which the output image can obtain better image quality may be set according to each hardware or the like.
本実施形態では、超解像処理を１倍と２倍で実行する例について説明したが、本発明は、拡大において解像感の劣化が少ない超解像処理と、通常の拡大／縮小処理との組み合わせで拡大処理をする際に、解像感の劣化をできるだけ小さく抑えるために、超解像処理で目的倍率に近づけ、通常の拡大／縮小処理で微調整を行う処理を行うものであれば良く、超解像処理の倍率、その処理順序等は、上記の例に限られるものではない。 In the present embodiment, an example in which the super-resolution processing is executed at 1 × and 2 × has been described. However, the present invention provides a super-resolution processing with little degradation of resolution in enlargement and a normal enlargement / reduction processing. In order to minimize the degradation of the resolution when zooming in with a combination of the above, if the processing is close to the target magnification by super-resolution processing and fine adjustment is performed by normal enlargement / reduction processing The magnification of super-resolution processing, the processing order, etc. are not limited to the above example.
尚、上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。 The above-described embodiment is a preferred embodiment of the present invention, but is not limited thereto, and various modifications can be made without departing from the gist of the present invention.
１ サブＬＣＤ
２ レリーズシャッター（ＳＷ１）
３ ストロボ発光部
４ モードダイヤル（ＳＷ２）
５ 測距ユニット
６ リモコン受光部
７ レンズユニット
８ ＡＦＬＥＤ
９ ストロボＬＥＤ
１０ ＬＣＤモニタ
１１ 光学ファインダ
１２ ズームボタンＴＥＬＥ（ＳＷ４）
１３ 電源スイッチ（ＳＷ１３）
１４ ズームボタンＷＩＤＥ（ＳＷ３）
１５ セルフタイマ／削除スイッチ（ＳＷ５）
１６ メニュースイッチ（ＳＷ６）
１７ ＯＫスイッチ（ＳＷ１２）
１８ 左／画像確認スイッチ（ＳＷ１１）
１９ 下／マクロスイッチ（ＳＷ１０）
２０ 上／ストロボスイッチ（ＳＷ７）
２１ 右スイッチ（ＳＷ８）
２２ ディスプレイスイッチ（ＳＷ９）
２３ メモリカードスロットル
３０ ＲＯＭ
３１ 操作部
３２ モータドライバ
３３ ＳＤＲＡＭ
３４ メモリカード
１０１ デジタルズーム倍率設定手段
１０２ 画像切り出し手段
１０３ 画像変倍手段
１０４ 超解像手段
１１０ 信号処理ＩＣ
１１１ ＣＰＵ
１１２ ＣＣＤ Ｉ／Ｆ
１１３ リサイズ処理部
１１５ メモリコントローラ
１１６ 表示出力制御部
１１７ 圧縮伸長部
１１８ メディアＩ／Ｆ
１１９ ＹＵＶ変換部
１２０ Ｆ／Ｅ
１２１ ＣＣＤ
１２２ ＣＤＳ
１２３ ＡＧＣ
１２４ Ａ／Ｄ変換機
１２５ タイミングジェネレータ
1 Sub LCD
2 Release shutter (SW1)
3 Flash unit 4 Mode dial (SW2)
5 Distance measuring unit 6 Remote control light receiving unit 7 Lens unit 8 AFLED
9 Strobe LED
10 LCD Monitor 11 Optical Finder 12 Zoom Button TELE (SW4)
13 Power switch (SW13)
14 Zoom button WIDE (SW3)
15 Self-timer / deletion switch (SW5)
16 Menu switch (SW6)
17 OK switch (SW12)
18 Left / image confirmation switch (SW11)
19 Lower / Macro switch (SW10)
20 Up / Strobe switch (SW7)
21 Right switch (SW8)
22 Display switch (SW9)
23 Memory card throttle 30 ROM
31 Operation unit 32 Motor driver 33 SDRAM
34 Memory card 101 Digital zoom magnification setting means 102 Image clipping means 103 Image scaling means 104 Super-resolution means 110 Signal processing IC
111 CPU
112 CCD I / F
113 Resize processing unit 115 Memory controller 116 Display output control unit 117 Compression / decompression unit 118 Media I / F
119 YUV converter 120 F / E
121 CCD
122 CDS
123 AGC
124 A / D converter 125 Timing generator
Claims (7)
画像の一部を切り出して拡大するデジタルズームの倍率を設定する倍率設定手段と、
画像の一部を切り出して拡大処理、または画像の全部もしくは一部を切り出して縮小処理を行う変倍手段と、
前記撮像素子により撮像した１画像、または前記変倍手段による拡大／縮小後の画像について、等倍にて解像感を上げる等倍超解像処理、または拡大して解像感を上げる拡大超解像処理を行う超解像手段と、を備え、
前記倍率設定手段によるデジタルズームの設定倍率に応じて、前記変倍手段による前記拡大処理または前記縮小処理と、前記超解像手段による前記等倍超解像処理または前記拡大超解像処理との実行順を変えることを特徴とする撮像装置。 An image sensor that converts light incident from the optical system into an electrical signal and outputs the signal as an image signal;
A magnification setting means for setting a magnification of a digital zoom for cutting out and enlarging a part of an image;
A scaling unit that cuts out a part of an image and enlarges the image, or cuts out all or part of the image and performs a reduction process;
One image captured by the image sensor or an image that has been enlarged / reduced by the zooming means, and the same magnification super-resolution processing that increases the resolution feeling at the same magnification, or the magnification that increases the resolution feeling by enlarging. Super-resolution means for performing resolution processing,
Execution of the enlargement process or the reduction process by the scaling means and the equal-magnification super-resolution process or the enlarged super-resolution process by the super-resolution means according to the set magnification of the digital zoom by the magnification setting means An imaging apparatus characterized by changing the order.
画像の一部を切り出して拡大するデジタルズームの倍率を設定する倍率設定処理と、
画像の一部を切り出して拡大処理、または画像の全部もしくは一部を切り出して縮小処理を行う変倍処理と、
前記撮像処理により撮像した１画像、または前記変倍処理による拡大／縮小後の画像について、等倍にて解像感を上げる等倍超解像処理、または拡大して解像感を上げる拡大超解像処理を行う超解像処理と、を行い、
かつ、前記倍率設定処理で設定されたデジタルズームの設定倍率に応じて、前記拡大処理または前記縮小処理と、前記等倍超解像処理または前記拡大超解像処理との実行順を変えるようにしたことを特徴とする撮像方法。 Imaging processing for converting light incident from the optical system into an electrical signal and outputting it as an imaging signal;
Magnification setting processing to set the magnification of digital zoom to cut out and enlarge a part of the image,
A scaling process that cuts out a part of the image and enlarges it, or cuts out all or a part of the image and performs a reduction process,
For one image taken by the imaging process or an image after enlargement / reduction by the scaling process, the same super-resolution process for increasing the resolution feeling at the same magnification, or the enlarged super-enlargement effect for increasing the resolution feeling Performing super-resolution processing for performing resolution processing,
In addition, the execution order of the enlargement process or the reduction process and the equal-magnification super-resolution process or the enlarged super-resolution process is changed according to the set magnification of the digital zoom set in the magnification setting process. An imaging method characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011012625A JP5673137B2 (en) | 2011-01-25 | 2011-01-25 | Imaging apparatus and imaging method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011012625A JP5673137B2 (en) | 2011-01-25 | 2011-01-25 | Imaging apparatus and imaging method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012156667A JP2012156667A (en) | 2012-08-16 |
| JP5673137B2 true JP5673137B2 (en) | 2015-02-18 |
Family
ID=46837972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011012625A Active JP5673137B2 (en) | 2011-01-25 | 2011-01-25 | Imaging apparatus and imaging method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5673137B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5891702B2 (en) * | 2011-10-19 | 2016-03-23 | 沖電気工業株式会社 | Image processing apparatus and program |
| CN106251288B (en) * | 2016-07-21 | 2019-04-09 | 北京理工大学 | Twin-line array image device subpixel image synthetic method based on Multi-resolution analysis |
| CN106254767B (en) * | 2016-07-29 | 2017-09-19 | 广东欧珀移动通信有限公司 | Image zoom processing method, device and terminal device |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010141661A (en) * | 2008-12-12 | 2010-06-24 | Toshiba Corp | Image processing device |
| JP2010278898A (en) * | 2009-05-29 | 2010-12-09 | Renesas Electronics Corp | Device and method for processing super-resolution image, and ip module data |
-
2011
- 2011-01-25 JP JP2011012625A patent/JP5673137B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012156667A (en) | 2012-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5006727B2 (en) | Image processing apparatus and digital camera | |
| JP4943721B2 (en) | Color noise removal method for image data and imaging apparatus using the method | |
| US20090167928A1 (en) | Image processing apparatus and photographing apparatus | |
| JP5782813B2 (en) | Imaging apparatus and image display method | |
| KR101329942B1 (en) | Image capturing apparatus and method for controlling the same | |
| JP2009010616A (en) | Imaging device and image output control method | |
| JP4696614B2 (en) | Image display control device and program | |
| JP2007199311A (en) | Image display device and imaging apparatus | |
| JP2006287735A (en) | Picture voice recording apparatus and collecting voice direction adjustment method | |
| JP5673137B2 (en) | Imaging apparatus and imaging method | |
| JP4934617B2 (en) | Imaging apparatus and imaging method | |
| JP2011029879A (en) | Imaging apparatus and imaging method | |
| JP5742237B2 (en) | Imaging apparatus and imaging method | |
| JP4740074B2 (en) | Imaging apparatus and imaging method | |
| JP4714561B2 (en) | Imaging apparatus and imaging method | |
| JP5123010B2 (en) | Imaging apparatus, imaging method, and program for causing computer included in imaging apparatus to execute imaging method | |
| JP5799550B2 (en) | Imaging apparatus, imaging method, and imaging program | |
| JP5003803B2 (en) | Image output apparatus and program | |
| JP5915242B2 (en) | Image processing apparatus, image processing method, image processing program, and recording medium recording the image processing program on a computer | |
| JP5849532B2 (en) | Imaging apparatus and imaging method | |
| JP6828069B2 (en) | Imaging equipment, imaging methods and programs | |
| JP2013027022A (en) | Imaging apparatus and timing signal control method | |
| KR20130092213A (en) | Digital photographing apparatus and control method thereof | |
| JP5370662B2 (en) | Imaging device | |
| JP4742368B2 (en) | Imaging apparatus and control method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131202 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140723 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140806 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140919 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141202 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141215 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5673137 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |