WO2008068865A1

WO2008068865A1 - Imaging device

Info

Publication number: WO2008068865A1
Application number: PCT/JP2006/324381
Authority: WO
Inventors: Hideki Yukitomo; Kazuhiko Sugie
Original assignee: Panasonic Corporation
Priority date: 2006-12-06
Filing date: 2006-12-06
Publication date: 2008-06-12

Abstract

An imaging device capable of saving a captured image having no blurring without deteriorating the quality of the captured image. In the device (100), an imaging section (101) captures plural subject images in a unit exposure time and an image storing section (102) stores the captured subject images. An image blurring detecting section (103) detects the amount of the image blurring between the respective subject images by using the stored subject images and a synthesis section (104) suppresses the image blurring between the subject images and synthesizes the subject images by using the detected amount of the image blurring. A display section (105) displays the degree of the image blurring indicating the degree of the detected amount of the image blurring and an image saving section (108) saves the subject images synthesized by the synthesis section (104) according to the input from an input section (106).

Description

明細書 Specification

撮像装置 Imaging device

技術分野 Technical field

[0001] 本発明は、デジタル写真を撮像する撮像装置に関する。 The present invention relates to an imaging device that captures a digital photograph.

背景技術 Background art

[0002] 従来、カメラ機能が内蔵された携帯電話等の小型の電子機器では筐体の小型化が優先されているため、カメラ機能を実現するために内蔵される受光素子は、静止画を記録する機能を有するデジタルカメラの受光素子よりも小さいことが一般的である。 Conventionally, in a small electronic device such as a mobile phone with a built-in camera function, priority has been given to downsizing the housing, and the light receiving element built in to realize the camera function records a still image. In general, it is smaller than the light receiving element of a digital camera having a function to perform the above function.

[0003] そのため、デジタルカメラと同じ SZN (Signal to Noise ratio)比を得ようとした場合、露光時間がデジタルカメラよりも長くなる。例えば 1ZXインチの受光素子と 1Z2Xの受光素子とを比較した場合、 1ZXインチの受光素子に比べ、 1Z2Xの受光素子は面積が半分になる分、受光素子が単位時間あたりに受け取る光の量は半分となる。このため、 1Z2Xの受光素子を用いて、 ΙΖΧインチの受光素子と同じ SZN比を得るためには 2倍の露光時間が必要となる。 [0003] Therefore, when trying to obtain the same SZN (Signal to Noise ratio) ratio as that of a digital camera, the exposure time becomes longer than that of the digital camera. For example, when comparing a 1ZX inch light receiving element with a 1Z2X light receiving element, the 1Z2X light receiving element halves the area and the amount of light received per unit time is half that of a 1ZX inch light receiving element. It becomes. For this reason, double exposure time is required to obtain the same SZN ratio as that of a ΙΖΧ inch light receiving element using a 1Z2X light receiving element.

[0004] このように撮像に際し、露光時間が長い場合、十分に明るい屋外等の環境下では特に問題とならないが、室内等の暗い環境では、撮影者の手ぶれにより、撮影した写真がぶれてしまう問題が生じる。 [0004] When the exposure time is long in this way, there is no problem in a sufficiently bright outdoor environment, but in a dark environment such as a room, the photographed image is blurred due to camera shake of the photographer. Problem arises.

[0005] この問題を解決するために、例えば、特許文献 1又は特許文献 2に示すように、露光時間を短くして複数枚の画像を撮像し、画像間のぶれを補正するように変形することで、 SZN比を保ちつつ手ぶれの影響を回避する方法が知られて、る。 [0005] In order to solve this problem, for example, as shown in Patent Document 1 or Patent Document 2, a plurality of images are captured with a short exposure time, and deformation is corrected so as to correct blur between the images. By doing this, it is known how to avoid the effects of camera shake while maintaining the SZN ratio.

[0006] また、画像間のぶれを補正する場合、ぶれの補正量の大きさによっては、力えって撮像した画質の劣化に繋がることが生じることがある。これに対して、例えば、特許文献 3、特許文献 4では、ぶれの補正量が予め定めたしきい値以下のものだけを合成したり、ぶれの補正量の上限を利用者が指定可能としたりすることにより対応している。 [0006] In addition, when correcting blur between images, depending on the amount of blur correction, the captured image quality may be deteriorated. On the other hand, for example, in Patent Document 3 and Patent Document 4, only those whose blur correction amount is equal to or less than a predetermined threshold can be synthesized, or the upper limit of the blur correction amount can be specified by the user. It corresponds by doing.

[0007] 特許文献 1：特許第 3405404号公報 [0007] Patent Document 1: Japanese Patent No. 3405404

特許文献 2：特許第 3349129号公報 Patent Document 2: Japanese Patent No. 3349129

特許文献 3：特許第 3304685号公報特許文献 4：特許第 3243625号公報 Patent Document 3: Japanese Patent No. 3304685 Patent Document 4: Japanese Patent No. 3243625

発明の開示 Disclosure of the invention

発明が解決しょうとする課題 Problems to be solved by the invention

[0008] し力しながら、特許文献 3及び特許文献 4に開示の技術では、予め設定されるぶれの補正量のしきい値やぶれの補正量の上限は撮影者の主観により許容量が大きく異なるため、撮影前に予め定義しておくことは難しい。 [0008] However, in the techniques disclosed in Patent Document 3 and Patent Document 4, the threshold value of the blur correction amount and the upper limit of the blur correction amount that are set in advance vary greatly depending on the subjectivity of the photographer. Therefore, it is difficult to define in advance before shooting.

[0009] また、カメラ機能が内蔵された携帯電話等の小型の電子機器では、撮像した静止画を小型化された電子機器の筐体の大きさに対応して設けられた表示部に縮小して表示することが一般的である。このため、撮像した静止画におけるぶれ量が若干のぶれ量であれば、縮小された状態では目視で確認できないため、ぶれたままの撮像画像を保存してしまうという問題点があった。 [0009] In addition, in a small electronic device such as a mobile phone with a built-in camera function, the captured still image is reduced to a display unit provided corresponding to the size of the housing of the miniaturized electronic device. Is generally displayed. For this reason, if the amount of blurring in the captured still image is a slight amount of blurring, it cannot be visually confirmed in a reduced state, and there is a problem in that the imaged image that remains blurred is stored.

[0010] 本発明の目的は、撮像した画質を劣化させることなぐぶれのない撮像画像を保存できる撮像装置を提供することである。 [0010] An object of the present invention is to provide an imaging apparatus capable of storing a captured image without blurring without deteriorating the captured image quality.

課題を解決するための手段 Means for solving the problem

[0011] 本発明の撮像装置は、複数の被写体画像を撮像する撮像手段と、前記複数の被写体画像を蓄積する画像蓄積手段と、前記複数の被写体画像の各被写体画像間の画像ぶれ量を検出する画像ぶれ検出手段と、前記画像ぶれ量を用いて、前記各被写体画像間の画像ぶれを抑制して前記複数の被写体画像を合成する合成手段と、前記画像ぶれ量の度合 V、を示す画像ぶれ度を表示する表示手段と、入力部からの入力に応じて、前記合成手段により合成された被写体画像を保存する画像保存手段とを有する構成を採る。 [0011] The imaging apparatus of the present invention includes an imaging unit that captures a plurality of subject images, an image storage unit that accumulates the plurality of subject images, and an image blur amount between the subject images of the plurality of subject images. An image blur detecting unit for detecting the image blur, a synthesizing unit for combining the plurality of subject images using the image blur amount to suppress image blur between the subject images, and a degree V of the image blur amount. And a display means for displaying the image blurring degree, and an image storing means for storing the subject image synthesized by the synthesizing means in response to an input from the input unit.

発明の効果 The invention's effect

[0012] 以上説明したように、本発明によれば、撮像した画質を劣化させることなぐぶれのな、撮像画像を選択して保存することができる。 [0012] As described above, according to the present invention, a captured image can be selected and stored without blurring without deteriorating the captured image quality.

図面の簡単な説明 Brief Description of Drawings

[0013] [図 1]本発明の実施の形態 1に係る撮像装置の構成を示すブロック図 FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to Embodiment 1 of the present invention.

[図 2]本発明の実施の形態 1に係る撮像装置の動作を示すフローチャート図 [図 3]本発明の実施の形態 1に係る撮像装置の表示部の表示画面例の図 FIG. 2 is a flowchart showing the operation of the imaging apparatus according to Embodiment 1 of the present invention. FIG. 3 is a diagram of a display screen example of the display unit of the imaging apparatus according to Embodiment 1 of the present invention.

[図 4]本発明の実施の形態 1の変形例に係る撮像装置の動作を示すフローチャート図 FIG. 4 is a flowchart showing the operation of an imaging apparatus according to a modification of the first embodiment of the present invention.

[図 5]本発明の実施の形態 2に係る撮像装置の構成を示すブロック図 FIG. 5 is a block diagram showing a configuration of an imaging apparatus according to Embodiment 2 of the present invention.

[図 6]本発明の実施の形態 2に係る撮像装置の動作を示すフローチャート図 FIG. 6 is a flowchart showing the operation of the imaging apparatus according to Embodiment 2 of the present invention.

[図 7]本発明の実施の形態 2に係る撮像装置における表示部の表示画面例の図発明を実施するための最良の形態 FIG. 7 is a diagram of an example of a display screen of the display unit in the imaging apparatus according to Embodiment 2 of the present invention. BEST MODE FOR CARRYING OUT THE INVENTION

[0014] 以下、本発明の実施の形態について、図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

[0015] (実施の形態 1) [0015] (Embodiment 1)

図 1は、本発明の実施の形態 1に係る撮像装置 100の構成を示すブロック図である FIG. 1 is a block diagram showing a configuration of imaging apparatus 100 according to Embodiment 1 of the present invention.

[0016] 図 1に示す撮像装置 100は、撮像部 101、画像蓄積部 102、画像ぶれ検出部 103 、合成部 104、表示部 105、入力部 106、制御部 107、画像保存部 108を有する。なお、これら撮像部 101、画像蓄積部 102、画像ぶれ検出部 103、合成部 104、表示部 105、入力部 106、制御部 107、画像保存部 108は、バス 109により接続されている。 An imaging apparatus 100 shown in FIG. 1 includes an imaging unit 101, an image storage unit 102, an image blur detection unit 103, a synthesis unit 104, a display unit 105, an input unit 106, a control unit 107, and an image storage unit 108. The imaging unit 101, the image storage unit 102, the image blur detection unit 103, the synthesis unit 104, the display unit 105, the input unit 106, the control unit 107, and the image storage unit 108 are connected by a bus 109.

[0017] 撮像部 101は、外部から入力される光学信号を用いて、単位露出時間内に被写体画像 (以下、「撮像画像」という）を複数枚分撮像して電気信号に変換し、画像蓄積部 102に出力する。 [0017] The imaging unit 101 captures a plurality of subject images (hereinafter referred to as “captured images”) within a unit exposure time using optical signals input from the outside, converts them into electrical signals, and stores the images. Output to part 102.

[0018] 撮像部 101は、例えば、光学信号が入力される光学レンズと、光学レンズの背面に配置される CCD (Charge Coupled Devices)や CMOS (Complementary Metal Oxide Semiconductor)センサ等の撮像素子とを有してなる。この撮像部 101により撮像される画像は RGB信号や YUV信号の形式で画像蓄積部 102に出力される。 [0018] The imaging unit 101 includes, for example, an optical lens to which an optical signal is input, and an imaging element such as a CCD (Charge Coupled Devices) or a CMOS (Complementary Metal Oxide Semiconductor) sensor disposed on the back of the optical lens. Do it. An image picked up by the image pickup unit 101 is output to the image storage unit 102 in the form of an RGB signal or a YUV signal.

[0019] 画像蓄積部 102は、 DRAM (Dynamic Random Access Memory)等のメモリにより構成され、撮像部 101を介して電気信号に変換された複数枚の画像を RGB信号や Y UV信号の形式で蓄積する。 [0019] The image storage unit 102 is configured by a memory such as a DRAM (Dynamic Random Access Memory), and a plurality of images converted into electric signals via the imaging unit 101 in the form of RGB signals or Y UV signals. accumulate.

[0020] 画像ぶれ検出部 103は、画像蓄積部 102に保存された複数の画像を読み出し、前記複数の画像力各画像間のぶれ量を計算し、計算したぶれ量を合成部 104及び表示部 105に出力する。 [0020] The image blur detection unit 103 reads a plurality of images stored in the image storage unit 102, calculates a plurality of image power blur amounts between the images, and uses the calculated blur amount for the combining unit 104 and Output to display section 105.

[0021] 画像ぶれ検出部 103におけるぶれ量の計算は、例えば、画像蓄積部 102に蓄積された画像が N枚とした場合、画像のぶれ量を 1枚目からの相対量として定義すると、 2 枚目力 N枚目までの N— 1枚に対してそれぞれ求めることができる。 [0021] The blur amount calculation in the image blur detection unit 103 is, for example, when the number of images stored in the image storage unit 102 is N, and the blur amount of the image is defined as a relative amount from the first image, The second sheet power can be calculated for each N—1 sheet up to the Nth sheet.

[0022] この画像ぶれ量は、基準となる撮像した画像に対する、他の撮像した画像の水平方向及び垂直方向のずれ量、つまり XY軸各方向のずれ量であってもよいし、ァフィン変換の行列であってもよい。表示部 105でユーザへ視認し易く表示するために、本発明の画像ぶれ検出部 103は、表示部 105に対しては、画像ぶれ量の度合い（以下、画像ぶれ度と記す。）を出力する。 [0022] This image blur amount may be a horizontal or vertical shift amount of another captured image with respect to a reference captured image, that is, a shift amount in each direction of the XY axes, or affine conversion. May be a matrix. The image blur detection unit 103 according to the present invention outputs a degree of image blur amount (hereinafter referred to as image blur degree) to the display unit 105 so that the display unit 105 can easily display the image to the user. .

[0023] 画像ぶれ度は、例えば各画像のぶれ量のノルムゃ行列式等に変換後、加算する等の処理を行い、スカラ量としたものである。つまり、画像ぶれ検出部 103からスカラ量として出力する画像ぶれ度は、撮像した画像の合成に用いるぶれ量とは別に表示部 105に出力される。 [0023] The degree of image blur is, for example, converted to a norm determinant of the blur amount of each image and then subjected to processing such as addition to obtain a scalar amount. That is, the degree of image blur output as a scalar amount from the image blur detection unit 103 is output to the display unit 105 separately from the amount of blur used to synthesize the captured images.

[0024] なお、画像ぶれ度は上記に限るものではなぐぶれ量を 5段階評価など、複数段階の評価で表し、文字列、数値、記号などで表現してもよいし、画像ぶれ量そのものを出力してもよい。 [0024] Note that the degree of image blur is not limited to the above, and the blur amount is represented by a multi-step evaluation such as a five-step evaluation, and may be represented by a character string, a numerical value, a symbol, or the like. It may be output.

[0025] 合成部 104は、各画像間のブレを抑制するように複数枚の画像を合成して画像保存部 108に出力する。具体的には、合成部 104は、画像蓄積部 102に蓄積された複数枚の画像を読み出し、画像ぶれ検出部 103にて算出されて出力されたぶれ量に対応した補正を行い合成する。合成後の画像は画像保存部 108に一時的に保存される（以後「仮保存」という）。なお、合成部 104において複数の画像を合成してなる合成後の画像を以下、「合成後画像」という。 The synthesizing unit 104 synthesizes a plurality of images so as to suppress blur between the images and outputs the synthesized images to the image storage unit 108. Specifically, the composition unit 104 reads out a plurality of images stored in the image storage unit 102, combines them by performing correction corresponding to the amount of blur calculated and output by the image blur detection unit 103. The combined image is temporarily stored in the image storage unit 108 (hereinafter referred to as “temporary storage”). The synthesized image obtained by synthesizing a plurality of images in the synthesizing unit 104 is hereinafter referred to as “post-synthesized image”.

[0026] 表示部 105は、液晶画面等から構成され、画像保存部 108に仮保存されている合成後画像を読み出して表示する。また合成後画像と共に、画像ぶれ検出部 103により計算された画像ぶれ度を表示する。 The display unit 105 includes a liquid crystal screen or the like, and reads and displays the combined image temporarily stored in the image storage unit 108. Further, the degree of image blur calculated by the image blur detection unit 103 is displayed together with the synthesized image.

[0027] 具体的には、表示部 105は、画像ぶれ検出部 103から出力された画像ぶれ度及び、画像保存部 108に仮保存されている合成後画像を読み出し表示する。この表示部 105の表示によってユーザは、合成後画像を画像保存部 108に保存するか否かを ½認することができる。 Specifically, the display unit 105 reads out and displays the degree of image blur output from the image blur detection unit 103 and the synthesized image temporarily stored in the image storage unit 108. The display on the display unit 105 allows the user to determine whether or not to save the combined image in the image storage unit 108. ½ can be recognized.

[0028] 入力部 106は、撮像開始キー、画像保存キー、画像削除キーの、複数の押圧式のキーから構成される。ユーザは、入力部 106の撮像開始キーを操作することにより撮像部 101の起動を行い、画像保存キー、画像削除キーの押圧により、制御部 107の動作等を制御することができる。 The input unit 106 includes a plurality of push-type keys, such as an imaging start key, an image storage key, and an image deletion key. The user can start the imaging unit 101 by operating the imaging start key of the input unit 106, and can control the operation of the control unit 107 by pressing the image storage key or the image deletion key.

[0029] なお、撮像開始キー、画像保存キー、画像削除キーは同一のキーでもよぐその構成の場合には、制御部 107の制御によって、操作状況に応じて、撮像部 101の起動、画像保存、画像削除のキーの割り当てを行う。あるいは、制御部 107の制御によつて、表示部 105にキーを表すアイコンを表示し、入力部 106の操作により表示部 105 のキーを表すアイコンを選択するようにしてキーの割り当てを行ってもょ、。 [0029] It should be noted that the imaging start key, the image storage key, and the image deletion key may be the same key, and in the case of the configuration, the control of the control unit 107 activates the imaging unit 101 according to the operation status. Assign keys for saving and deleting images. Alternatively, under the control of the control unit 107, an icon representing the key is displayed on the display unit 105, and the key is assigned by selecting the icon representing the key of the display unit 105 by operating the input unit 106. Well ...

[0030] 制御部 107は、入力部 106からの入力によって、前記合成手段により合成される被写体画像を撮像画像として保存するか否かを決定する。 [0030] In response to an input from the input unit 106, the control unit 107 determines whether or not to save the object image combined by the combining unit as a captured image.

[0031] 具体的には、制御部 107は、入力部 106の画像保存キーが押圧されると、画像保存部 108に仮保存されている合成後画像の保存を確定する。一方、入力部 106の画像削除キーが押圧されると、制御部 107は、仮保存されている合成後画像を削除する。このとき制御部 107はさらに、画像蓄積部 102に撮像画像を削除する画像削除信号を送り、画像蓄積部 102に蓄積されて、る撮像画像も削除する。 Specifically, when the image storage key of input unit 106 is pressed, control unit 107 determines to save the combined image temporarily stored in image storage unit 108. On the other hand, when the image deletion key of the input unit 106 is pressed, the control unit 107 deletes the temporarily stored post-combination image. At this time, the control unit 107 further sends an image deletion signal for deleting the captured image to the image storage unit 102 and deletes the captured image stored in the image storage unit 102.

[0032] 画像保存部 108は、例えば、撮像装置 100に対して脱着自在に取り付けられたフラッシュメモリなどの記憶媒体や、撮像装置 100に内蔵されている内蔵メモリ等力も構成される。画像保存部 108は、入力部 106の入力に基づいて制御部 107の制御によつて合成部 104から出力された合成後画像を保存する。 [0032] The image storage unit 108 includes, for example, a storage medium such as a flash memory that is detachably attached to the imaging device 100, and a built-in memory that is built in the imaging device 100. The image storage unit 108 stores the combined image output from the combining unit 104 under the control of the control unit 107 based on the input of the input unit 106.

[0033] 次に撮像装置 100の動作について図 2のフローチャートを用いて説明する。 Next, the operation of the imaging apparatus 100 will be described using the flowchart of FIG.

ステップ S101において、入力部 106を介して撮像開始の指示が入力されると、ステツプ S102において、撮像部 101は撮像処理を行い、外部から入力される光学信号を用いて、単位露出時間内に、電気信号に変換して複数枚分の画像を画像蓄積部 102に出力する。 In step S101, when an instruction to start imaging is input via the input unit 106, in step S102, the imaging unit 101 performs imaging processing, and uses an optical signal input from the outside, within the unit exposure time. In addition, the image is converted into an electrical signal, and a plurality of images are output to the image storage unit 102.

[0034] 次いで、ステップ S103において、画像蓄積部 102は、これら入力される複数枚分の画像を保存するとともに、複数枚分の画像を画像ぶれ検出部 103及び合成部 104 に出力する。 [0034] Next, in step S103, the image accumulating unit 102 saves the plurality of input images, and the image blur detecting unit 103 and the combining unit 104 store the plurality of images. Output to.

[0035] 次いで、ステップ S104において、画像ぶれ検出部 103は、入力された複数枚分、例えば N枚分の画像を用いて、画像のぶれ量を 1枚目力の相対量として、 2枚目から N枚目までの N— 1枚に対す画像間のぶれ量を算出し、合成部 104に出力する。また、画像ぶれ検出部 103は、画像ぶれ度を計算して表示部 105に出力する。 [0035] Next, in step S104, the image blur detection unit 103 uses the input images for a plurality of images, for example, N images, and sets the image blur amount as the relative amount of the first image power. Then, the amount of blur between images for the Nth sheet up to the Nth sheet is calculated and output to the combining unit 104. Further, the image blur detection unit 103 calculates the image blur degree and outputs it to the display unit 105.

[0036] 次いで、ステップ S105において、合成部 104は、画像ぶれ検出部 103から入力される画像ぶれ量と、画像蓄積部 102から入力される複数枚分の画像とを用いて、画像ぶれ検出部 103により計算された各画像間のブレを抑制するように複数枚の画像を合成し、合成後画像を画像保存部 108に仮保存する。 Next, in step S105, the composition unit 104 detects image blur using the image blur amount input from the image blur detector 103 and a plurality of images input from the image storage unit 102. A plurality of images are combined so as to suppress blur between the images calculated by the unit 103, and the combined image is temporarily stored in the image storage unit 108.

[0037] ステップ S106において、表示部 105は、入力される各画像間の画像ぶれ度及び合成後画像を表示する。 [0037] In step S106, the display unit 105 displays the image blurring degree between the inputted images and the combined image.

[0038] 図 3に、表示部 105にて表示される表示画面の例を記す。表示部 105に表示される表示画面 31は、合成後画像 32、画像ぶれ度 33から構成される。なお、表示部 105 に表示される例はこれに限定されず、画像ぶれ度 33の表示の位置等を変えてもよい。ユーザは表示部 105の表示画面 31を視認することにより、合成後画像を保存確定する力否か選択することができる。 FIG. 3 shows an example of a display screen displayed on the display unit 105. A display screen 31 displayed on the display unit 105 includes a post-combination image 32 and an image blur degree 33. Note that the example displayed on the display unit 105 is not limited to this, and the display position or the like of the image blur degree 33 may be changed. By visually recognizing the display screen 31 of the display unit 105, the user can select whether or not to save and confirm the combined image.

[0039] 上記ステップ S 106において、表示部 105に画像ぶれ量及び合成後画像を表示してユーザに視認させた後、ステップ S107において、制御部 107は、入力部 106にて画像保存キー、あるいは画像削除キーが押圧されたかを判定する。ステップ S107において、制御部 107が、画像保存キーが押圧されていれば（S 107 : YES)、ステップ S108に移行する。ステップ S108において、制御部 107は、画像保存部 108に対し、生成した画像を保存確定する指示を行い、合成後画像を画像保存部 108に保存確定 (記憶)する。 [0039] In step S106, the image blur amount and the synthesized image are displayed on the display unit 105 and visually recognized by the user. In step S107, the control unit 107 uses the input unit 106 to store an image save key or It is determined whether the image deletion key is pressed. In step S107, if the image storage key is pressed (S107: YES), control unit 107 proceeds to step S108. In step S108, the control unit 107 instructs the image storage unit 108 to store and confirm the generated image, and stores and confirms (stores) the combined image in the image storage unit 108.

[0040] 一方、ステップ S107において、制御部 107が入力部 106の画像削除キーの押圧を判定した場合（S 107 : NO)、ステップ S 109に移行する。ステップ S109において、制御部 107は、画像保存部 108に対して合成後画像を削除する信号を送り、画像保存部 108にて合成後画像が削除される、つまり、画像保存部 108にて合成後画像を保存しない。また、制御部 107は、画像蓄積部 102に撮像画像を削除する信号を送り、画像蓄積部 102にて撮像画像が削除され、処理を終了する。 On the other hand, when the control unit 107 determines that the image deletion key of the input unit 106 is pressed in step S107 (S107: NO), the process proceeds to step S109. In step S109, the control unit 107 sends a signal to delete the combined image to the image storage unit 108, and the combined image is deleted by the image storage unit 108, that is, the image storage unit 108 combines the image. Do not save after image. In addition, the control unit 107 sends a signal for deleting the captured image to the image storage unit 102. Thus, the captured image is deleted in the image storage unit 102, and the process ends.

[0041] この撮像装置 100によれば、合成後画像を、そのぶれ補正量を示す画像ぶれ度と合成後画像とを表示部 105に表示することによって、ユーザに視認させて記憶 (保存 )することがでさる。 [0041] According to this imaging apparatus 100, the combined image is displayed and stored (saved) by the user by displaying the image blurring degree indicating the amount of blur correction and the combined image on the display unit 105. That's right.

[0042] つまり、表示部 105により表示される画像ぶれ度によって、ユーザに、撮像された合成後画像を保存させる力否かを視認させることができる。ユーザは、表示部 105に表示された画像ぶれ度のノルムゃ行列式の値に基づいて実際に生成される合成後画像のぶれ具合を確認して、画像保存部 108に画像 (合成後画像)を保存確定するか否かを判断して、入力部 106を介して画像を保存する指示を入力する。これにより、制御部 107は、画像保存部 108に、合成部 104によって合成された合成後画像を保存確定 (記憶）させる。 That is, the user can visually recognize whether or not the user has the ability to save the captured composite image based on the degree of image blur displayed by the display unit 105. The user confirms the degree of blurring of the post-combination image that is actually generated based on the norm determinant of the image blurring degree displayed on the display unit 105, and the image (after It is determined whether or not to save the image), and an instruction to save the image is input via the input unit 106. As a result, the control unit 107 causes the image storage unit 108 to save (store) the combined image combined by the combining unit 104.

[0043] このように実際に撮像した画像を保存する前に、ユーザに撮像した画像を記憶させる力否かを選択させることができる。 [0043] Thus, before saving the actually captured image, the user can select whether or not to store the captured image.

[0044] また、特に、表示部 105には画像ぶれ度が表示されるため、撮像装置 100自体が携帯電話等の、デジタルカメラより小型の電子機器に適用した場合でも、目視で確認できな、若干の画像ぶれ量を数値として視認させることができるため、表示画面が小さくても、ぶれたままの合成後画像を撮像画像として記憶 (保存)することがな!、。 [0044] In particular, since the degree of image blur is displayed on the display unit 105, even when the imaging apparatus 100 itself is applied to an electronic device smaller than a digital camera such as a mobile phone, it cannot be visually confirmed. Since a slight amount of image blur can be viewed as a numerical value, even if the display screen is small, it is not possible to memorize (save) the composite image that remains blurred as a captured image!

[0045] なお、本実施の形態 1では、表示部 105に表示される撮像した画像に関する情報として、画像ぶれ度と、合成後画像とを表示するようにしたが、画像ぶれ度のみを表示するようにしてちょい。 [0045] In the first embodiment, the image blur and the synthesized image are displayed as information about the captured image displayed on the display unit 105. However, only the image blur is displayed. Please display it.

[0046] この場合、表示部 105は、画像保存部 108に仮保存されている合成後画像を読み出さない。 In this case, the display unit 105 does not read the combined image temporarily stored in the image storage unit 108.

[0047] また、各実施の形態における撮像装置 100の変形例として、図 4のフローチャートに示すように、表示部 105に表示される画像ぶれ度などの情報は、入力部 106からの入力により制御部 107で表示しな、ように選択可能としてもよ!、。 Further, as a modification of the imaging apparatus 100 in each embodiment, as shown in the flowchart of FIG. 4, information such as the image blurring degree displayed on the display unit 105 is controlled by an input from the input unit 106. It is possible to make it selectable so that it is not displayed in part 107!

[0048] つまり、ステップ S301において、制御部 107は、画像ぶれ度の表示 Z非表示設定を行う。詳細には、ステップ S301では、制御部 107は、表示部 105に画像ぶれ度の表示 Z非表示設定の画面を表示する。この画面を視認したユーザは入力部 106を介して制御部 107に、表示部 105に表示される画像ぶれ量などの情報の表示又は非表示を指示する。 That is, in step S301, the control unit 107 performs display blur / non-display setting of the image blur degree. Specifically, in step S301, the control unit 107 displays a display Z display / non-display setting screen of the image blurring degree on the display unit 105. The user who viewed this screen uses the input unit 106. The control unit 107 is instructed to display or hide information such as an image blur amount displayed on the display unit 105.

[0049] ステップ S301において、制御部 107は、入力部 106からの指示が画像ぶれ度の表示有りの場合（S301： YES)、ステップ S302に移行し、ステップ S303〜ステップ S 310まで上記の実施の形態 1と同様の動作をする。動作は実施の形態 1と同様であるためここでは省略する。 In step S301, when the instruction from the input unit 106 indicates that the image blurring degree is displayed (S301: YES), the control unit 107 proceeds to step S302 and performs the above-described implementation from step S303 to step S310. Operates in the same manner as Form 1. Since the operation is the same as that of Embodiment 1, it is omitted here.

[0050] 一方、入力部 106からの入力力画像ぶれ度の表示無しの場合（S301 : NO)、ステツプ S311に移行して、ステップ S311〜ステップ S316の処理を順次行って、画像ぶれ度を表示しないで合成後画像を保存する。なお、ステップ S311〜ステップ S31 5は、ステップ S101〜ステップ S105の処理と同様であり、ステップ S316は、ステップ S 108の処理と同様であるため説明は省略する。 [0050] On the other hand, when there is no display of the input force image blurring degree from the input unit 106 (S301: NO), the process proceeds to step S311 and the processing from step S311 to step S316 is sequentially performed to reduce the image blurring degree. Save the combined image without displaying it. Note that steps S311 to S315 are the same as the processing of steps S101 to S105, and step S316 is the same as the processing of step S108, and thus the description thereof is omitted.

[0051] このように、本実施の形態の撮像装置 100は、複数の被写体画像を撮像する撮像部 101と、複数の被写体画像を蓄積する画像蓄積部 102と、複数の被写体画像の各被写体画像間の画像ぶれ量を検出する画像ぶれ検出部 103と、画像ぶれ量を用いて、各被写体画像間の画像ぶれを抑制して複数の被写体画像を合成する合成部 10 4と、画像ぶれ量の度合いを示す画像ぶれ度を表示する表示部 105と、入力部 106 力もの入力に応じて、合成部 104により合成された被写体画像を保存する画像保存部 108とを有する。 As described above, the imaging apparatus 100 according to the present embodiment includes an imaging unit 101 that captures a plurality of subject images, an image storage unit 102 that accumulates a plurality of subject images, and each subject image of the plurality of subject images. An image blur detection unit 103 that detects the amount of image blur between them, a synthesis unit 104 that combines image data by suppressing image blur between the subject images using the image blur amount, and an image blur amount The display unit 105 displays the degree of image blur indicating the degree, and the image storage unit 108 stores the subject image synthesized by the synthesis unit 104 in response to input from the input unit 106.

[0052] これにより、ユーザがぶれ度を確認することにより、撮像した画質を劣化させることなく、ぶれの少な V、撮像画像を保存することができる。 [0052] Thus, when the user confirms the degree of blurring, it is possible to save the V and the captured image with little blurring without deteriorating the captured image quality.

[0053] また、撮像装置 100は、表示部 105が、画像ぶれ度と共に、合成された被写体画像を表示している。これにより、ユーザがぶれ度と共に、合成された被写体画像を確認することにより、ぶれの少な!/、撮像画像を保存することができる。 In the imaging apparatus 100, the display unit 105 displays the combined subject image together with the image blurring degree. As a result, the user can check the synthesized subject image together with the degree of blurring, and can store the captured image with little blurring!

[0054] (実施の形態 2) (Embodiment 2)

図 5は本発明の実施の形態 2に係る撮像装置 200の構成を示すブロック図である。 FIG. 5 is a block diagram showing a configuration of imaging apparatus 200 according to Embodiment 2 of the present invention.

[0055] 図 5に示す撮像装置 200は、撮像部 201、画像蓄積部 202、画像ぶれ検出部 203 、合成部 204、表示部 205、入力部 206、制御部 207、画像保存部 208を有する。なお、これら撮像部 201、画像蓄積部 202、画像ぶれ検出部 203、合成部 204、表示部 205、入力部 206、制御部 207、画像保存部 208は、バス 209により接続されている。 An imaging apparatus 200 illustrated in FIG. 5 includes an imaging unit 201, an image storage unit 202, an image blur detection unit 203, a synthesis unit 204, a display unit 205, an input unit 206, a control unit 207, and an image storage unit 208. The imaging unit 201, image storage unit 202, image blur detection unit 203, composition unit 204, display The unit 205, the input unit 206, the control unit 207, and the image storage unit 208 are connected by a bus 209.

[0056] 撮像装置 200において、撮像装置 100の構成と異なる点は、合成される前の元画像 (以後、「元画像」と表記する）を表示部 205に表示して、適宜元画像を選択することによって、合成後画像を生成可能とした点である。 [0056] In the imaging device 200, the difference from the configuration of the imaging device 100 is that an original image before synthesis (hereinafter referred to as "original image") is displayed on the display unit 205, and the original image is appropriately displayed. By selecting, it is possible to generate post-composite images.

[0057] 具体的には、撮像装置 200では、実施の形態 1の画像蓄積部 102と同様に構成された画像蓄積部 202は、蓄積する複数の元画像を画像ぶれ検出部 203、合成部 20 4に加えて、表示部 205に出力する。表示部 205は、合成後画像、合成後画像の画像ぶれ度にカ卩えて、元画像及び元画像の画像ぶれ度を表示する。また、入力部 206 は、実施の形態 1の入力部 106と同様の機能を有するとともに、元画像を選択する機能を有する。 Specifically, in image capturing apparatus 200, image storage unit 202 configured in the same manner as image storage unit 102 in Embodiment 1 includes a plurality of original images to be stored as image blur detection unit 203, and synthesis unit. 20 In addition to 4, output to display 205. The display unit 205 displays the original image and the image blurring degree of the original image in consideration of the synthesized image and the image blurring degree of the synthesized image. The input unit 206 has a function similar to that of the input unit 106 of the first embodiment and a function of selecting an original image.

[0058] 制御部 207は、制御部 107と同様の機能を有するとともに、入力部 206により選択された元画像を合成部 204に出力し、合成部 204に再合成させる。 The control unit 207 has the same function as the control unit 107, outputs the original image selected by the input unit 206 to the synthesis unit 204, and recombines it with the synthesis unit 204.

[0059] 合成部 204は、制御部 207から再合成の指示を受けると、制御部 207により出力された元画像を用いて、画像ぶれ検出部 203から入力される画像ぶれ度のうち、元画像情報に対応する画像ぶれ度と、画像蓄積部 202から入力される複数の画像 (元画像)のうちの選択された元画像を用いて、選択された元画像を、各画像間のブレを抑制するように再合成して合成後画像を生成し、再度画像保存部 208に出力する。 When receiving a recombination instruction from the control unit 207, the synthesis unit 204 uses the original image output from the control unit 207 and uses the original image of the degree of image blur input from the image blur detection unit 203. Using the image blurring degree corresponding to the image information and a selected original image among a plurality of images (original images) input from the image storage unit 202, the selected original image is converted between the images. The image is re-synthesized so as to suppress blurring, and a combined image is generated and output to the image storage unit 208 again.

[0060] 次に、この撮像装置 200の動作について図 6のフローチャートを用いて説明する。 Next, the operation of the imaging apparatus 200 will be described using the flowchart of FIG.

基本的な動作は撮像装置 100の動作と同様のものであるため、同一部分についての説明は省略し、異なる動作のみ説明する。 Since the basic operation is the same as the operation of the imaging apparatus 100, description of the same part is omitted, and only different operation will be described.

[0061] 撮像装置 200において、撮像装置 100と異なる動作は、ステップ S406において表示部 205が、画像ぶれ量、合成後画像にカ卩えて、元画像を表示し、ステップ S407において、ユーザの選択により元画像を用いて新たに合成後画像を生成できる点にある。 [0061] In the imaging device 200, the operation different from that of the imaging device 100 is as follows. In step S406, the display unit 205 displays the original image in addition to the image blur amount and the synthesized image, and in step S407, the user displays the original image. This makes it possible to generate a new composite image using the original image.

[0062] すなわち、ステップ S401〜ステップ S406までは、ステップ S101〜ステップ S106 とそれぞれ同様の処理であり、ステップ S408〜ステップ S410は、ステップ S107〜ステツプ S 109とそれぞれ同様の処理となっている。 [0063] 具体的には、ステップ S407において、制御部 207は、表示された元画像のうち、入力部 206からの指示情報によって選択された画像を合成部 204に出力し、合成部 2 04にて再合成させる。 That is, steps S401 to S406 are the same processes as steps S101 to S106, and steps S408 to S410 are the same processes as steps S107 to S109. [0063] Specifically, in step S407, control unit 207 outputs an image selected based on the instruction information from input unit 206 among the displayed original images to combining unit 204, and combines unit 204. Re-synthesize with

[0064] 図 7に、表示部 205に表示される画面の例を示す。表示部 205の表示画面 71には、合成後画像 72、合成後画像の画像ぶれ度 73、合成元画像 74、合成元画像 74の画像ぶれ度 75が表示される。ユーザは表示画面 71を視認して、つまり、この表示画面 71上の情報を用いて、入力部 206を操作することによって、合成後画像をそのまま保存するか、削除するか、あるいは再合成するかを選択することができる。 FIG. 7 shows an example of a screen displayed on the display unit 205. On the display screen 71 of the display unit 205, the combined image 72, the image blurring degree 73 of the combined image 73, the composition original image 74, and the image blurring degree 75 of the composition original image 74 are displayed. The user visually recognizes the display screen 71, that is, uses the information on the display screen 71, and operates the input unit 206 to save, delete, or replay the combined image as it is. You can choose whether to synthesize.

[0065] このように、撮像装置 200では、表示部 205において単位露出時間内で複数撮像した各画像間の画像ぶれ量、合成後画像及び合成前の元画像そのものが表示される。このため、ユーザは、実施の形態 1と同様に表示される画像ぶれ度に加えて、合成前の元画像の情報を元に、合成に用いる画像を選択することが容易となる。選択された画像と、選択された画像の画像ぶれ量と用いて合成部 204は、再度合成を行い、撮像画像を生成して画像保存部 208に保存する。 As described above, in the imaging device 200, the display unit 205 displays the image blur amount between the images captured within the unit exposure time, the combined image, and the original image itself before combining. Therefore, the user can easily select an image to be used for composition based on the information of the original image before composition in addition to the image blurring degree displayed in the same manner as in the first embodiment. Using the selected image and the image blur amount of the selected image, the synthesis unit 204 performs synthesis again, generates a captured image, and stores it in the image storage unit 208.

[0066] 再合成後の画像は、画像保存部 208に仮保存し、表示部 205に表示する。制御部 207は、再合成後の画像と共に、再合成後の合成後画像の画像ぶれ度、元画像、当該元画像の画像ぶれ度等を表示部 205に表示する。これら情報が表示部 205〖こ表示されることによって、ユーザに対し、再合成した後の合成後画像を撮像画像として画像保存部 208に保存する力否かを、入力部 206を介して選択させることができる The recombined image is temporarily stored in the image storage unit 208 and displayed on the display unit 205. The control unit 207 displays the image blurring degree, the original image, the image blurring degree of the original image, and the like on the display unit 205 together with the recombined image. When this information is displayed on the display unit 205, the user can select whether or not the user has the ability to save the combined image after recombination as a captured image in the image storage unit 208 via the input unit 206. Can be

[0067] なお、再合成後は、表示部 205に再合成後の合成画像のみを表示するようにし、元画像および元画像の画像ぶれ度を表示しないようにしてもよい。また、再合成後は、すぐに再合成画像を画像保存部 208に保存するようにしてもよい。 [0067] Note that after the recombination, only the composite image after the recombination may be displayed on the display unit 205, and the original image and the image blurring degree of the original image may not be displayed. Further, immediately after the recombination, the recombined image may be stored in the image storage unit 208 immediately.

[0068] このように再合成後の画像のみを表示することにより、ユーザの利便性を向上させることが出来る。 [0068] By displaying only the recombined image in this way, the convenience for the user can be improved.

[0069] 本実施の形態 2の撮像装置 200は、撮像装置 100と同様の基本的構成に加えて、表示部 205は、画像ぶれ度と合成された被写体画像とともに、撮像された複数の被写体画像を表示し、入力部 206からの指示情報によって、複数の被写体画像から画像を選択して合成部 204に合成させる。 [0069] In addition to the basic configuration similar to that of the imaging device 100, the imaging device 200 according to the second embodiment has a display unit 205 that includes a plurality of captured images together with a subject image combined with the image blurring degree. A body image is displayed, and multiple subject images are displayed according to instruction information from the input unit 206. An image is selected and synthesized by the synthesis unit 204.

[0070] この構成により、ユーザがぶれ度と共に、合成された被写体画像を確認すること〖こより、撮像した画質を劣化させることなぐぶれの少ない撮像画像を保存することができ、更に、合成に利用する画像を容易に選択でき、ぶれの少ない撮像画像を保存することがでさる。 [0070] With this configuration, the user can check the synthesized subject image together with the degree of blurring, so that a captured image with less blurring can be stored without degrading the captured image quality. This makes it easy to select the image to be used for the image and save the captured image with less blur.

[0071] なお、実施の形態 2における撮像装置 200の変形例として、実施の形態 1の変形例と同様、表示部 205に表示される画像ぶれ度などの情報の表示又は非表示を指示し、表示部 205に対して、画像ぶれ度などの情報を出力したり、しな力たりするようにしてちよい。 Note that, as a modification of the imaging device 200 in the second embodiment, the display or non-display of information such as the image blurring degree displayed on the display unit 205 is instructed as in the modification of the first embodiment. Information such as image blurring degree may be output to the display unit 205 or may be supple.

[0072] このように構成することにより、ユーザが画像ぶれ度の表示 Z非表示を切り替えることができ、ユーザの利便性を向上させることが出来る。産業上の利用可能性 [0072] With this configuration, the user can switch between display of image blurring degree Z and non-display, and user convenience can be improved. Industrial applicability

[0073] 本発明に係る撮像装置は、撮像した画質を劣化させることなぐぶれのない撮像画像を保存できる効果を有し、カメラ機能付き携帯電話等のカメラ機能を有する小型電子機器として有用である。 The imaging device according to the present invention has an effect of storing a captured image without blurring without deteriorating the captured image quality, and is useful as a small electronic device having a camera function such as a mobile phone with a camera function. It is.

Claims

請求の範囲 The scope of the claims

[1] 複数の被写体画像を撮像する撮像手段と、 [1] imaging means for imaging a plurality of subject images;

前記複数の被写体画像を蓄積する画像蓄積手段と、 Image storage means for storing the plurality of subject images;

前記複数の被写体画像の各被写体画像間の画像ぶれ量を検出する画像ぶれ検出手段と、 Image blur detecting means for detecting an image blur amount between the subject images of the plurality of subject images;

前記画像ぶれ量を用いて、前記各被写体画像間の画像ぶれを抑制して前記複数の被写体画像を合成する合成手段と、 Combining means for combining the plurality of subject images while suppressing image blur between the subject images using the image blur amount;

前記画像ぶれ量の度合いを示す画像ぶれ度を表示する表示手段と、 Display means for displaying the degree of image blur indicating the degree of image blur;

入力部からの入力に応じて、前記合成手段により合成された被写体画像を保存する画像保存手段と、を有する撮像装置。 An image storage unit that stores the subject image synthesized by the synthesis unit in response to an input from an input unit;

[2] 前記表示手段は、前記画像ぶれ度と共に、前記合成された被写体画像を表示する請求項 1記載の撮像装置。 2. The imaging apparatus according to claim 1, wherein the display unit displays the synthesized subject image together with the image blurring degree.

[3] 前記表示手段は、前記画像ぶれ度と前記合成された被写体画像とともに、撮像された前記複数の被写体画像を表示し、前記入力部からの指示情報によって、前記複数の被写体画像から画像を選択して前記合成手段に合成させる画像選択手段を有する請求項 2記載の撮像装置。 [3] The display means displays the plurality of captured subject images together with the image blurring degree and the synthesized subject image, and from the plurality of subject images according to instruction information from the input unit. 3. The imaging apparatus according to claim 2, further comprising an image selection unit that selects an image and causes the synthesis unit to synthesize the image.