JP2002279401A - Image processing device, digital camera, image processing method, and program - Google Patents

Image processing device, digital camera, image processing method, and program

Info

Publication number
JP2002279401A
JP2002279401A JP2001076091A JP2001076091A JP2002279401A JP 2002279401 A JP2002279401 A JP 2002279401A JP 2001076091 A JP2001076091 A JP 2001076091A JP 2001076091 A JP2001076091 A JP 2001076091A JP 2002279401 A JP2002279401 A JP 2002279401A
Authority
JP
Japan
Prior art keywords
image
subject
image processing
region
distant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001076091A
Other languages
Japanese (ja)
Other versions
JP3353785B2 (en
Inventor
Masahiro Kitamura
雅裕 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minolta Co Ltd
Original Assignee
Minolta Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd filed Critical Minolta Co Ltd
Priority to JP2001076091A priority Critical patent/JP3353785B2/en
Publication of JP2002279401A publication Critical patent/JP2002279401A/en
Application granted granted Critical
Publication of JP3353785B2 publication Critical patent/JP3353785B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)

Abstract

PROBLEM TO BE SOLVED: To prevent occurrence of double exposures, when obtaining an image by composting an image of a close-range view subject region of a close-range view focusing image and a distant view subject region of a distant view focusing image. SOLUTION: In a digital camera, the close-range view focusing image 202 is compared with distant view focusing image 203, while making the close-range view focusing image blurred and the close-range view subject region 300 and the distant view subject region 301 are determined, based on the comparison result. The boundaries and image information of the boundary regions are corrected, using shading quantity found in comparing the image. A part blurred out from the close-range view subject region 300 in the distant range focusing image 203 can be corrected into a proper distant view image, and occurrence of double exposure is prevented.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】この発明は、画像処理装置、
デジタルカメラ、画像処理方法及びプログラムに関す
る。
The present invention relates to an image processing apparatus,
The present invention relates to a digital camera, an image processing method, and a program.

【0002】[0002]

【従来の技術】同一の構図のシーンから取得した焦点合
わせの異なる複数の画像を用いて、良好に焦点が調節さ
れている合焦領域を各画像より選択抽出し、これらを後
に合成する技術が公開されている(「複数の異なる焦点
画像からの焦点外れ画像の生成を利用した全焦点画像の
強調的取得」信学論(D−II)Vol.J79−D−I
I,No6,pp1046−1053参照:以下、従来
例と称す)。
Using BACKGROUND ART same composition scene from the focal adjustment different acquired images, the better focus the focused area that is adjusted to extract selected from each image, and synthesizes them after art published ( "emphatically obtaining defocus omnifocal image using the generation of images from a plurality of different focal image" IEICE (D-II) Vol.J79-D-I
I, No. 6, pp 1046-1053: hereinafter referred to as a conventional example).

【0003】まず、所定の画像入力手段で所定のシーン
を撮像する場合に、相対的に焦点距離の近い位置に、図
11に示す近景被写体200が存在し、相対的に焦点距
離の遠い位置に、図12に示す遠景被写体201が存在
する場合を考える。いわゆる遠近競合シーンである。
尚、ここでは、説明を簡単にするために、各被写体20
0,201はそれぞれ平面状のチャートとする。
First, when a predetermined scene is imaged by a predetermined image input means, a foreground subject 200 shown in FIG. 11 is present at a position with a relatively short focal length, and is located at a position with a relatively long focal length. Consider the case where a distant subject 201 shown in FIG. This is a so-called perspective conflict scene.
Here, in order to simplify the explanation, each subject 20
Each of 0 and 201 is a flat chart.

【0004】図13中の符号202は、焦点距離の近い
近景被写体200に合焦させて撮影した近景合焦画像で
あり、前景である近景被写体200が鮮明に撮像されて
いるのに対し、背景である遠景被写体201がぼけて撮
像されている。
[0004] Reference numeral 202 in FIG. 13 is a foreground in-focus image captured by focusing on a foreground subject 200 having a short focal length. Is photographed out of focus.

【0005】一方、図13中の符号203は、焦点距離
の遠い遠景被写体201に合焦させて撮影した遠景合焦
画像であり、前景である近景被写体200がぼけて撮像
されているのに対し、背景である遠景被写体201が鮮
明に撮像されている。
On the other hand, reference numeral 203 in FIG. 13 is a far-field in-focus image photographed by focusing on a far-field object 201 with a long focal length, while the foreground near-field object 200 is blurred. The distant subject 201 as a background is clearly imaged.

【0006】これらの2枚の画像202、203を用い
て、近景被写体200及び遠景被写体201のそれぞれ
のぼかし量を設定し、異なった印象の編集画像205を
作り出すことが可能である。例えば、この編集画像20
5は、背景である遠景被写体201に合焦したまま、前
景である近景被写体200のぼかし量(ぼけ具合)を、
画像203よりも強調した例の画像である。
Using these two images 202 and 203, it is possible to set the amount of blur for each of the near-field object 200 and the far-field object 201 and create an edited image 205 having a different impression. For example, this edited image 20
5 represents the blur amount (blur condition) of the foreground subject 200 as the foreground while the distant subject 201 as the background is in focus.
It is an image of the example emphasized more than the image 203.

【0007】図14は従来例に開示されている方法を用
いた場合の、編集画像処理の流れを示すフローチャート
である。
FIG. 14 is a flow chart showing the flow of edited image processing when the method disclosed in the conventional example is used.

【0008】まず、図14中のステップSa01におい
て、図13のように、両画像202,203を近景被写
体領域300と遠景被写体領域301に判別する。
[0008] First, in step Sa01 in FIG. 14, as shown in FIG. 13, it is determined two images 202 and 203 in the foreground object region 300 and the distant object region 301.

【0009】次に、ステップSa02で、近景合焦画像
202の近景被写体領域300を、ユーザーが望むぼか
し量でぼかし処理する。
Next, in step Sa02, the foreground subject area 300 of the foreground focused image 202 is blurred by a blur amount desired by the user.

【0010】更に、ステップSa03で、遠景合焦画像
203の遠景被写体領域301を、ユーザーが望むぼか
し量でぼかし処理する。
Further, in step Sa03, the distant view subject area 301 of the distant view focused image 203 is blurred by a blur amount desired by the user.

【0011】最後に、ステップSa04で、ステップS
a02でぼかし処理した後の近景被写体領域300の近
景合焦画像202と、ステップSa03でぼかし処理し
た後の遠景被写体領域301を合成する。以上の処理の
結果により、近景合焦画像202と遠景合焦画像203
から、例えば近景のぼけを強調したぼけコントロール画
像(編集画像)205を作成することができる。
Finally, in step Sa04, step S
The near-field focused image 202 of the foreground subject area 300 after the blur processing in a02 and the far-field subject area 301 after the blur processing in Step Sa03 are combined. As a result of the above processing, the near-field focused image 202 and the far-field focused image 203
Thus, for example, a blur control image (edited image) 205 in which the blur of the foreground is emphasized can be created.

【0012】ここで、両画像202,203を近景被写
体領域300と遠景被写体領域301に分割する方法に
ついて詳説する。
Here, a method for dividing the two images 202 and 203 into a near view subject area 300 and a far view subject area 301 will be described in detail.

【0013】今、近景合焦画像202の座標(x,y)
における画素の値をIn(x,y)、遠景合焦画像20
3の座標(x,y)における画素の値をIf(x,y)
とする。また、近景合焦画像202の近景被写体領域3
00内の画素をn(x,y)、遠景合焦画像203の遠
景被写体領域301内の画素をf(x,y)とする。こ
の場合、その定義上、次の(1)式のように表すことが
できる。
Now, coordinates (x, y) of the foreground focused image 202
The value of the pixel in the I n (x, y), distant view focus image 20
The pixel value at the coordinates (x, y) of No. 3 is represented by If (x, y).
And Also, the foreground subject area 3 of the foreground focused image 202
Pixels in 00 are defined as n (x, y), and pixels in the distant subject area 301 of the focused far-field image 203 are defined as f (x, y). In this case, by definition, it can be expressed as the following equation (1).

【0014】[0014]

【数1】 (Equation 1)

【0015】さらに、これらn(x,y),f(x,
y)を用いて近景合焦画像202の各画素In(x,
y)と遠景合焦画像203の画素If(x,y)を表す
と、それぞれ次の(2)式及び(3)式のようになる。
Further, these n (x, y), f (x,
y), each pixel I n (x,
y) and the pixel If (x, y) of the far-field focused image 203 are expressed by the following equations (2) and (3), respectively.

【0016】[0016]

【数2】 (Equation 2)

【0017】但し、hn(x,y)は、近景合焦画像2
02での遠景被写体領域301の座標(x,y)でのぼ
けを表す行列式、hf(x,y)は遠景合焦画像203
での近景被写体領域300の座標(x,y)でのぼけを
表す行列式、記号*は畳み込み演算子を意味する。
Here, h n (x, y) is the foreground focused image 2
The determinant h f (x, y) representing the blur at the coordinates (x, y) of the distant subject area 301 at 02 is the distant focused image 203.
The symbol * represents a convolution operator, which is a determinant representing a blur at the coordinates (x, y) of the foreground subject area 300 in.

【0018】ここで、(2)式及び(3)式から次の
(4)式及び(5)式が導かれる。
Here, the following equations (4) and (5) are derived from the equations (2) and (3).

【0019】[0019]

【数3】 (Equation 3)

【0020】式(4)は次のことを意味している。近景
被写体領域300に限定すると、近景合焦画像202を
あるぼけを表す行列hn(x,y)でぼかした画像は、
遠景合焦画像203と等しくなる。このことは逆から言
えば、近景合焦画像202をあるぼけを表す行列h
n(x,y)でぼかしたときに、遠景合焦画像203と
等しくなる領域は近景被写体領域300であると言え
る。したがって、このことを利用して、近景合焦画像2
02内における近景被写体領域300を判別することが
できる。
Equation (4) means the following. When limited to the foreground subject area 300, an image obtained by blurring the foreground focused image 202 with a matrix h n (x, y) representing a certain blur is
It becomes equal to the distant view focused image 203. Conversely, this means that the foreground focused image 202 is transformed into a matrix h representing a certain blur.
When blurred by n (x, y), an area equal to the far-field in-focus image 203 can be said to be a near-field object area 300. Therefore, taking advantage of this fact, the foreground focused image 2
02 can be determined.

【0021】しかし、実際には、行列hn(x,y)は
既値ではない。したがって、図15の符号400〜40
2のように、近景合焦画像202のぼかし量を順次変化
させてぼかして行き、そのぼかした近景合焦画像400
〜402と遠景合焦画像203とを順次比較する。比較
しているうちに、あるぼかし量で、ぼかした近景合焦画
像401とぼかさない遠景合焦画像203が一致する領
域401a(この例では、近景被写体200の画像)が
ある。その領域401aを近景被写体領域300と判定
する。そして、このときのぼかし量をhn(x,y)と
する。逆に、この近景被写体200を除く領域は、近景
合焦画像202を符号400、符号401、符号402
とぼかしていっても、遠景合焦画像203と一致する領
域がないので、この領域に関しては近景被写体領域30
0ではないと判断できる。
However, actually, the matrix h n (x, y) is not a default value. Therefore, reference numerals 400 to 40 in FIG.
2, the blur amount of the foreground focused image 202 is sequentially changed and blurred, and the blurred foreground focused image 400 is obtained.
To 402 and the far-field focused image 203 are sequentially compared. During the comparison, there is an area 401a (in this example, the image of the foreground subject 200) in which the blurred near-field focused image 401 and the far-field focused image 203 that are not blurred match with a certain blur amount. The area 401a is determined as the foreground subject area 300. The blurring amount at this time is defined as h n (x, y). Conversely, in the area excluding the foreground subject 200, reference numerals 400, 401, and 402 indicate
Even if the image is blurred, there is no area that matches the distant view in-focus image 203, so this area is
It can be determined that it is not 0.

【0022】逆に、式(5)については、遠景合焦画像
203を順次ぼかしていき(図15では図示省略)、そ
のぼかした画像を近景合焦画像202と順次比較してい
くことにより遠景被写体領域を判断する。
Conversely, for equation (5), the distant in-focus image 203 is sequentially blurred (not shown in FIG. 15), and the blurred image is sequentially compared with the near-field in-focus image 202 to obtain a distant view. Determine the subject area.

【0023】[0023]

【発明が解決しようとする課題】上記の従来例の領域判
別手法には、二重輪郭が発生するという問題がある。こ
のことを説明する。
The above-described conventional area discrimination method has a problem that a double contour is generated. This will be described.

【0024】図16は二重輪郭の発生を説明する図であ
る。図16(c)の符号500は、図16(a)に示し
た近景合焦画像202の線分A〜B間での輝度変化を表
す輝度分布を示している。ここでは簡単のために近景合
焦画像202の近景領域は白色均一、遠景領域は灰色均
一としている。また、図16(c)の輝度分布500上
のC点は近景被写体領域300と遠景被写体領域301
の境界を示す点である。図16(c)では、近景被写体
領域300(A〜C間)は合焦しており、遠景被写体領
域301はぼけているので、その輝度分布500は階段
状になる。
FIG. 16 is a diagram for explaining the generation of a double contour. A reference numeral 500 in FIG. 16C indicates a luminance distribution indicating a luminance change between the line segments A and B of the near-field focused image 202 illustrated in FIG. Here, for simplicity, the foreground region of the foreground focused image 202 is uniform in white and the distant region is uniform in gray. Further, point C on the luminance distribution 500 in FIG.
Is a point indicating the boundary of. In FIG. 16C, since the near-field subject area 300 (between A and C) is in focus and the far-field subject area 301 is blurred, the luminance distribution 500 has a step shape.

【0025】同様に図16(d)の符号501は、図1
6(b)に示した遠景合焦画像203の線分A’〜B’
間での輝度変化を表す輝度分布である。ここで、図16
(b)の遠景合焦画像203上の点A’と点B’は、図
16(a)の近景合焦画像202上の点Aと点Bにそれ
ぞれ対応する点である。この図16(d)の輝度分布5
01では、近景被写体200はぼけており、そのぼけが
遠景被写体領域301まで影響を及ぼしているので、輝
度の変化はスロープ状になる。
Similarly, reference numeral 501 in FIG.
Line segments A ′ to B ′ of the far-field focused image 203 shown in FIG.
5 is a luminance distribution showing a luminance change between the two. Here, FIG.
Points A ′ and B ′ on the far-field focused image 203 in FIG. 16B are points respectively corresponding to points A and B on the near-field focused image 202 in FIG. The luminance distribution 5 in FIG.
In the case of 01, the foreground subject 200 is blurred, and the blur affects the far view subject area 301, so that the luminance changes in a slope shape.

【0026】近景合焦画像202と遠景合焦画像203
から近景被写体領域300と遠景被写体領域301とを
領域判別するには、前述のように、両者を順次ぼかして
いき(図16(c)→図16(e)→図16(g)、図
16(d)→図16(f)→図16(h))、もう一方
の元の合焦画像202,203と比較することにより行
われる。輝度分布502及び輝度分布504は、近景合
焦画像202,203を順次ぼかしたときの線分A〜B
間での輝度変化を示している。同様に輝度分布503及
び輝度分布505は、遠景合焦画像203を順次ぼかし
たときの様子を示している。
A near-field focused image 202 and a far-field focused image 203
In order to determine the near-subject subject region 300 and the distant-subject subject region 301 from, as described above, both are sequentially blurred (FIG. 16 (c) → FIG. 16 (e) → FIG. 16 (g), FIG. 16). (D) → FIG. 16 (f) → FIG. 16 (h)), and the comparison is made with the other original in-focus images 202 and 203. The luminance distribution 502 and the luminance distribution 504 are line segments A to B when the foreground focused images 202 and 203 are sequentially blurred.
5 shows a change in luminance between pixels. Similarly, a luminance distribution 503 and a luminance distribution 505 show a state when the far-field focused image 203 is sequentially blurred.

【0027】ここで、輝度分布500の点線で表される
点Dについて、領域判別の結果を考えてみる。この点
は、輝度分布500から明らかなように、遠景被写体領
域301内に属する。そこで、実際に領域判別の結果、
点Dが遠景被写体領域301に認識されるかを否かを検
討する。
Here, consider the result of region discrimination at a point D represented by a dotted line of the luminance distribution 500. This point belongs to the distant view subject area 301 as is apparent from the luminance distribution 500. Therefore, as a result of the area determination,
Consider whether or not the point D is recognized in the distant subject area 301.

【0028】輝度分布501(図16(d))の遠景合
焦画像203(図16(b))を順次ぼかしていった場
合の輝度分布503と輝度分布505とを見ると、この
点Dにおいて遠景合焦画像をぼかした結果の輝度値br
t1,brt2,brt3…は、決して近景合焦画像2
02の輝度分布500における遠景被写体領域301の
輝度値(一点鎖線で表す直線)brt0、つまり灰色の
均一色に近づいていない。逆に、輝度分布500の近景
合焦画像202をぼかしていった場合の輝度分布502
及び輝度分布504を見ると、点Dの輝度値が遠景合焦
画像203の点Dの輝度値brt1に近づいていってい
る。
Looking at the luminance distribution 503 and the luminance distribution 505 when the far-field focused image 203 (FIG. 16B) of the luminance distribution 501 (FIG. 16D) is sequentially blurred, Brightness value br as a result of blurring the distant view focused image
.. t1, brt2, brt3...
The luminance value of the distant subject region 301 in the luminance distribution 500 of 02 (a straight line represented by a dashed line) brt0, that is, does not approach a uniform gray color. Conversely, the luminance distribution 502 when the near-field focused image 202 of the luminance distribution 500 is blurred.
Looking at the brightness distribution 504, the brightness value of the point D is approaching the brightness value brt1 of the point D of the far-field focused image 203.

【0029】つまり、この点Dに関して言えば、遠景被
写体領域301内であるのにも関わらず、領域判別の結
果では近景被写体領域300内であるものと誤認されて
しまう。
In other words, regarding the point D, although it is in the distant view subject area 301, it is erroneously recognized as being in the near view subject area 300 in the result of the area determination.

【0030】かかる現象をより具体的に説明する。遠景
合焦画像203では、近景被写体200の端部がぼけて
滲み出た状態となっている。そのために、実際の近景被
写体領域300よりも一回り外側に近景被写体200の
ぼけた画像が広がっている。そして、実際に領域判別処
理をするときには、近景合焦画像202をぼかしていき
遠景合焦と比較する。近景被写体200をぼかした画像
でも当然この一回り外側への広がりが発生するので、広
がった領域までを近景被写体領域300と誤認識してし
まう。
This phenomenon will be described more specifically. In the distant view focused image 203, the end of the near view subject 200 is blurred and exuded. For this reason, the blurred image of the foreground subject 200 extends one round outside the actual foreground subject area 300. Then, when actually performing the area determination processing, the near-field focused image 202 is blurred and compared with the far-field focused image. Even in an image in which the foreground subject 200 is blurred, this one-side spread naturally occurs, so that the extended region is erroneously recognized as the foreground subject region 300.

【0031】図17〜図19は、上記の誤認識の結果と
して発生する二重輪郭を説明するための図である。
FIGS. 17 to 19 are diagrams for explaining a double contour generated as a result of the above-described erroneous recognition.

【0032】図17は近景合焦画像を示している。この
近景合焦画像には、中央に近景被写体である人物610
が合焦しており、その背後には背景がぼけているものと
する。図18は遠景合焦画像を示している。この図18
では、中央の人物の像がぼけており、図17中の人物6
10の像よりも一回り外側に広がっている領域611に
近景被写体が存在する。その背後の画像は、実際の遠景
被写体612が鮮明に現れている。
FIG. 17 shows a near-field focused image. The foreground focused image includes a person 610, which is a foreground subject, in the center.
Is in focus, and the background is blurred behind it. FIG. 18 shows a distant view focused image. This FIG.
In FIG. 17, the image of the central person is blurred, and the person 6 in FIG.
A foreground subject is present in an area 611 that extends one outside of the image 10. In the image behind the image, the actual distant subject 612 clearly appears.

【0033】このような2枚の画像で領域判別して合成
した結果が図19である。図19では、領域を3つに分
類できる。一つ目は、図17の近景合焦画像から実際の
近景被写体領域として正しく認識された人物610の像
領域である。2つ目は、図18の遠景被写体領域から実
際の遠景被写体領域であると正しく認識している領域6
12である。3つ目は、図18に示したように、図17
中の人物610の像よりも一回り外側に広がってぼけが
広がっていることにより遠景被写体領域を近景被写体領
域と誤認した領域613である。
FIG. 19 shows the result of area discrimination and synthesis of such two images. In FIG. 19, the area can be classified into three. The first one is an image area of the person 610 that has been correctly recognized as an actual foreground subject area from the foreground in-focus image of FIG. The second is a region 6 that is correctly recognized from the distant subject region in FIG. 18 as an actual distant subject region.
Twelve. Third, as shown in FIG. 18, FIG.
This is an area 613 in which the far-field object area is erroneously recognized as the near-field object area due to the fact that the blur has spread to the outside of the image of the person 610 in the middle.

【0034】実際に、図17に示した近景合焦画像と図
18に示した遠景合焦画像で編集画像を作成すると、領
域判別を誤認した領域613のために、人物被写体61
0の周りにもう一重輪郭が出てしまう(これを二重輪郭
と称す)。
When an edited image is actually created from the near-field focused image shown in FIG. 17 and the far-field focused image shown in FIG. 18, the person subject 61 is misplaced due to the misidentified region 613.
Another single contour appears around 0 (this is called a double contour).

【0035】即ち、従来例においては、この二重輪郭を
防止する方法がなかった。
That is, in the conventional example, there is no method for preventing the double contour.

【0036】そこで、この発明の課題は、近景合焦画像
と遠景合焦画像とを用いて近景被写体領域と遠景被写体
領域とを判別し、これらを合成して編集画像を作成する
場合において、二重輪郭を防止できる画像処理装置、デ
ジタルカメラ、画像処理方法及びプログラムを提供する
ことにある。
An object of the present invention is to determine a near-subject subject region and a distant-subject subject region using a near-field focused image and a far-field focused image, and combine them to create an edited image. An object of the present invention is to provide an image processing device, a digital camera, an image processing method, and a program that can prevent a heavy contour.

【0037】[0037]

【課題を解決するための手段】上記課題を解決すべく、
請求項1に記載の発明は、第1の距離に合焦している第
1の画像と、前記第1の距離よりも遠い第2の距離に合
焦している第2の画像とを入力する画像入力手段と、少
なくとも前記第1の画像のぼかし処理を行うぼかし手段
と、前記ぼかし手段によりぼかし処理された前記第1の
画像と前記第2の画像とを比較する比較手段と、前記比
較手段での比較結果に基づいて近景被写体領域と遠景被
写体領域との領域判別を行う領域判別手段と、前記領域
判別手段での判別結果として求められる前記近景被写体
領域と前記遠景被写体領域との境界領域の画像を、前記
比較手段で比較された結果として求められるぼかし量を
用いて補正する補正手段とを備えたものである。
Means for Solving the Problems In order to solve the above problems,
According to the first aspect of the present invention, a first image focused on a first distance and a second image focused on a second distance farther than the first distance are input. Image input means for performing, at least blurring means for performing a blurring process on the first image, comparing means for comparing the first image and the second image blurred by the blurring means, Means for distinguishing between a near-view subject area and a distant-view subject area based on the comparison result by the means; and a boundary area between the near-view subject area and the distant-view subject area obtained as a result of the determination by the area distinguishing means And a correcting unit for correcting the image of (1) by using a blur amount obtained as a result of comparison by the comparing unit.

【0038】請求項2に記載の発明は、請求項1に記載
の画像処理装置であって、前記領域判別手段は、前記比
較手段での比較結果に基づいて、前記ぼかし手段により
ぼかし処理された前記第1の画像と前記第2の画像との
一致領域を判別するものである。
According to a second aspect of the present invention, in the image processing apparatus according to the first aspect, the area discriminating means is blurred by the blurring means based on a comparison result by the comparing means. It is for discriminating a matching area between the first image and the second image.

【0039】請求項3に記載の発明は、請求項1または
請求項2に記載の画像処理装置であって、前記補正手段
は、前記遠景被写体領域の前記近景被写体領域に対する
境界の補正と、当該境界の近傍領域の画像情報とを補正
するものである。
According to a third aspect of the present invention, in the image processing apparatus according to the first or second aspect, the correction means corrects a boundary of the distant subject area with respect to the near subject area. It corrects the image information of the area near the boundary.

【0040】請求項4に記載の発明は、請求項1ないし
請求項3のいずれかに記載の画像処理装置であって、前
記領域判別手段で領域判別された後の複数の画像を合成
して、1枚の画像を作成する画像合成手段をさらに備え
るものである。
According to a fourth aspect of the present invention, there is provided the image processing apparatus according to any one of the first to third aspects, wherein the plurality of images after the areas are determined by the area determining means are synthesized. And an image synthesizing means for creating one image.

【0041】請求項5に記載の発明は、請求項1ないし
請求項4のいずれかに記載の画像処理装置であって、前
記境界領域は、前記遠景被写体領域において、前記近景
被写体領域の外側の領域に限定されるものである。
According to a fifth aspect of the present invention, in the image processing apparatus according to any one of the first to fourth aspects, the boundary area is located outside the near-field object area in the far-field object area. It is limited to the area.

【0042】請求項6に記載の発明は、請求項4に記載
の画像処理装置であって、前記複数の画像に対して任意
のぼかし処理を行うぼかし量変更手段をさらに備えるも
のである。
According to a sixth aspect of the present invention, there is provided the image processing apparatus according to the fourth aspect, further comprising a blur amount changing means for performing an arbitrary blur process on the plurality of images.

【0043】請求項7に記載の発明は、請求項1ないし
請求項6のいずれかに記載の画像処理装置であって、デ
ジタルカメラ内に装備されるものである。
According to a seventh aspect of the present invention, there is provided the image processing apparatus according to any one of the first to sixth aspects, which is provided in a digital camera.

【0044】請求項8に記載の発明は、請求項1ないし
請求項6のいずれかに記載の画像処理装置を含むことを
特徴とするデジタルカメラである。
According to an eighth aspect of the present invention, there is provided a digital camera including the image processing apparatus according to any one of the first to sixth aspects.

【0045】請求項9に記載の発明は、第1の距離に位
置する第1の被写体に合焦している第1の画像と、前記
第1の距離よりも遠い第2の距離に位置する第2の被写
体に合焦している第2の画像について、前記第1の被写
体及び前記第2の被写体のそれぞれを画像処理して合成
する画像処理方法であって、少なくとも前記第1の画像
のぼかし処理を行う第1の工程と、前記第1の工程でぼ
かし処理された前記第1の画像と前記第2の画像とを比
較する第2の工程と、前記第2の工程での比較結果に基
づいて近景被写体領域と遠景被写体領域との領域判別を
行う第3の工程と、前記第3の工程での判別結果として
求められる前記近景被写体領域と前記遠景被写体領域と
の境界領域の画像を、前記比較手段で比較された結果と
して求められるぼかし量を用いて補正する第4の工程
と、前記第4の工程で補正された画像を用いて画像処理
し、前記第1の被写体の画像と前記第2の被写体の画像
とを合成する第5の工程とを備える。
According to a ninth aspect of the present invention, a first image focused on a first subject located at a first distance is located at a second distance farther than the first distance. An image processing method for performing image processing on each of the first subject and the second subject for a second image focused on a second subject, and combining the first subject and the second subject. comparison result in the first step and a second step of comparing the blurring treated the first image and the second image in the first step, the second step of performing a blurring process A third step of discriminating the near-subject subject area and the far-subject subject area based on the above, , Obtained as a result of the comparison by the comparing means. A fourth step of correcting using the amount of correction, and a fourth step of performing image processing using the image corrected in the fourth step and combining the image of the first subject and the image of the second subject. 5 steps.

【0046】請求項10に記載の発明は、請求項9に記
載の画像処理方法であって、前記第3の工程は、前記比
較手段での比較結果に基づいて、前記ぼかし手段により
ぼかし処理された前記第1の画像と前記第2の画像との
一致領域を判別する。
According to a tenth aspect of the present invention, in the image processing method according to the ninth aspect, the third step is performed by the blurring means based on a comparison result by the comparing means. And determining a matching area between the first image and the second image.

【0047】請求項11に記載の発明は、請求項9また
は請求項10に記載の画像処理方法であって、前記第4
の工程は、前記遠景被写体領域の前記近景被写体領域に
対する境界の補正と、当該境界の近傍領域の画像情報と
を補正する。
The invention according to claim 11 is the image processing method according to claim 9 or claim 10, wherein
The step of correcting the boundary of the distant subject area with respect to the near subject area and correcting the image information of the area near the boundary.

【0048】請求項12に記載の発明は、請求項9ない
し請求項11のいずれかに記載の画像処理方法であっ
て、前記境界領域は、前記遠景被写体領域において、前
記近景被写体領域の外側の領域に限定される。
According to a twelfth aspect of the present invention, in the image processing method according to any one of the ninth to eleventh aspects, the boundary area is located outside the near-field object area in the far-field object area. It is limited to the area.

【0049】請求項13に記載の発明は、請求項9ない
し請求項12のいずれかに記載の画像処理方法であっ
て、前記第4の工程の後であって且つ前記第5の工程の
前に、複数の画像に対して任意のぼかし処理を行うぼか
し量変更工程をさらに備える。
According to a thirteenth aspect of the present invention, in the image processing method according to any one of the ninth to twelfth aspects, after the fourth step and before the fifth step. The method further includes a blur amount changing step of performing arbitrary blur processing on the plurality of images.

【0050】請求項14に記載の発明は、コンピュータ
によって実行されることにより、請求項9ないし請求項
13のいずれかに記載の画像処理方法を実行するプログ
ラムである。
According to a fourteenth aspect of the present invention, there is provided a program for executing the image processing method according to any one of the ninth to thirteenth aspects when executed by a computer.

【0051】請求項15に記載の発明は、請求項14に
記載の画像処理方法を実行するプログラムであって、デ
ジタルカメラ内に格納されるものである。
According to a fifteenth aspect of the present invention, there is provided a program for executing the image processing method according to the fourteenth aspect, wherein the program is stored in a digital camera.

【0052】[0052]

【発明の実施の形態】この発明の一の実施の形態に係る
画像処理装置として、デジタルカメラに内蔵されるもの
を例として説明する。尚、この実施の形態では、従来例
と同様の要素には同一符号を付して説明することとす
る。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An image processing apparatus according to an embodiment of the present invention will be described by taking a built-in digital camera as an example. In this embodiment, the same elements as those in the conventional example will be denoted by the same reference numerals.

【0053】図1はこの画像処理装置が適用されるデジ
タルカメラを示す外観斜視図である。この画像処理装置
は、カメラ本体1の撮影用レンズ3の内側に、撮影用C
CD2が内蔵されており、カメラ本体1には、ファイン
ダー用窓4、カード取り出しボタン5、カード取り出し
口6、シャッターボタン7、測距センサー8、測光素子
9及び撮影モード切り替えスイッチ10等が備えられて
いる。
FIG. 1 is an external perspective view showing a digital camera to which the image processing apparatus is applied. This image processing apparatus includes a camera C inside a camera lens 3 of a camera body 1.
The camera body 1 includes a finder window 4, a card ejection button 5, a card ejection slot 6, a shutter button 7, a distance measuring sensor 8, a photometric element 9, a photographing mode changeover switch 10, and the like. ing.

【0054】図2は、図1のデジタルカメラを背後から
見た図であり、液晶モニター11、画像処理モード設定
キー12等が備えられている。
FIG. 2 is a view of the digital camera of FIG. 1 as viewed from behind, and includes a liquid crystal monitor 11, an image processing mode setting key 12, and the like.

【0055】そして、このデジタルカメラでは、図1に
示した撮影モード切り替えスイッチ10を切り替えるこ
とにより、通常のデジタルカメラとしてぼかし量を非調
整に使用する普通撮影モードと、ぼかし量を調整するぼ
けコントロール画像モード(これらのモードを「画像撮
影モード」と総称する)とを切り換えることができる。
In this digital camera, by switching the photographing mode changeover switch 10 shown in FIG. 1, a normal photographing mode in which the amount of blur is not adjusted as a normal digital camera, and a blur control for adjusting the amount of blur. It is possible to switch between image modes (these modes are collectively referred to as “image shooting modes”).

【0056】まず始めに、このデジタルカメラの基本的
な機能について説明する。かかる機能及び後述する処理
手順は、デジタルカメラ内のフラッシュROM等の図示
しない所定の記憶装置内に予め格納されたソフトウェア
プログラムによって規定されるものである。図3はデジ
タルカメラのブロック図、図4は普通撮影モードでの撮
影シークエンスを示す図である。
First, basic functions of the digital camera will be described. These functions and the processing procedure described later are defined by a software program stored in advance in a predetermined storage device (not shown) such as a flash ROM in the digital camera. FIG. 3 is a block diagram of the digital camera, and FIG. 4 is a diagram showing a photographing sequence in a normal photographing mode.

【0057】このデジタルカメラは、内部にCPU10
0を含んだマイクロコンピュータを備えている。そし
て、このCPU100が、図4中のステップSb01
で、シャッターボタン7がONになることを検出する。
続いて、ステップSb02で、設定されている画像撮影
モードが普通撮影モードであるか、ぼけコントロール画
像モードであるかを調べる。ぼけコントロール画像モー
ドがOFFの場合、つまり画像処理モードが普通撮影モ
ードの場合には、ステップSb03において、CPU1
00は測距センサー8及び測光素子9の出力を読み出
す。このときの読み出し結果に応じて、CPU100
は、撮影用レンズ3の絞り値(Fナンバー)、CCD2
の積分時間(シャッタースピードSS)、及び繰り出し
量を求め、これらの値を設定し、撮影ができるようにC
PU100が各部を制御する(ステップSb04)。
This digital camera has a CPU 10 inside.
0 is provided with a microcomputer. Then, the CPU100 is, steps in FIG. 4 SB01
Detects that the shutter button 7 is turned on.
Subsequently, in step Sb02, it is determined whether the set image shooting mode is the normal shooting mode or the blur control image mode. If blur control image mode is OFF, that is, if the image processing mode is usually shooting mode, in step SB03, CPU 1
00 reads out the outputs of the distance measuring sensor 8 and the photometric element 9. In accordance with the read result at this time, the CPU 100
Is the aperture value (F number) of the photographing lens 3, the CCD 2
, The integration time (shutter speed SS) and the amount of extension are determined, and these values are set.
The PU 100 controls each unit (Step Sb04).

【0058】ここで、撮影用レンズ3を通ってきた光線
はCCD2に結像し、結像した画像をCCD2で積分す
る(ステップSb05)。CCD2からの出力はA/D
変換部101でA/D変換され、画像処理部102でγ
変換処理やアパーチャコントロール処理等の通常の画像
処理を行い(ステップSb06)、かる画像処理後の画
像をメモリー103に一次的に記憶する(ステップSb
07)。この場合は画像処理モードが普通撮影モードな
ので、ぼけコントロール画像作成部104では、ぼけコ
ントロール処理を行わず素通りする(ステップSb0
8)。最後に撮像された画像をメモリーカード105に
記憶する(ステップSb09)。
Here, the light beam that has passed through the photographing lens 3 forms an image on the CCD 2, and the formed image is integrated by the CCD 2 (step Sb05). The output from CCD2 is A / D
A / D-converted by the conversion unit 101, the image processing unit 102 gamma
Normal image processing such as conversion processing and aperture control processing is performed (step Sb06), and the image after the image processing is temporarily stored in the memory 103 (step Sb).
07). In this case, since the image processing mode is the normal photographing mode, the blur control image creating unit 104 passes without performing the blur control process (step Sb0).
8). Finally, the captured image is stored in the memory card 105 (step Sb09).

【0059】続いて、ぼけコントロール画像モードにつ
いて説明する。尚、以下の説明では、簡単のために、同
一シーンに近景と遠景の2つの被写体だけが存在してい
るものとして説明する。ただし、同一シーンに焦点距離
の異なる3つ以上の被写体が存在する場合、例えば近景
と遠景と更にその中間に被写体がある場合等も、同様の
処理で編集画像を作成できる。
Next, the blur control image mode will be described. In the following description, for simplicity, it is assumed that only two subjects, a near view and a distant view, exist in the same scene. However, when there are three or more subjects having different focal lengths in the same scene, for example, when a near view, a distant view, and a subject are located between them, an edited image can be created by the same processing.

【0060】図5において、デジタルカメラ1aに対し
て互いに焦点距離の異なるP面とQ面とに、それぞれ近
景被写体200及び遠景被写体201が存在するものと
する。いわゆる遠近競合シーンである。説明を簡単にす
るために、被写体200及び201は平面状のチャート
とする。
In FIG. 5, it is assumed that a near-view object 200 and a distant-view object 201 are present on the P plane and the Q plane having different focal lengths with respect to the digital camera 1a, respectively. This is a so-called perspective conflict scene. For the sake of simplicity, the subjects 200 and 201 are assumed to be flat charts.

【0061】ここで、符号202はP面に合焦させて撮
影した近景合焦画像であり、前景である近景被写体20
0が鮮明に撮像されているとともに、背景である遠景被
写体201がぼけて撮像されている。
Here, reference numeral 202 denotes a foreground in-focus image photographed by focusing on the P plane, and the foreground subject 20 is a foreground.
0 is clearly imaged, and the distant subject 201 which is the background is blurred.

【0062】一方、符号203はQ面に合焦させて撮影
した遠景合焦画像であり、前景である近景被写体200
がぼけて撮像されるとともに、背景である遠景被写体2
01が鮮明に撮像されている。
On the other hand, reference numeral 203 denotes a distant view in-focus image photographed by focusing on the Q plane, and the foreground close-up subject 200
The image is blurred, and the background distant subject 2
01 is clearly imaged.

【0063】このデジタルカメラ1aでは、これら2枚
の画像202、203に対して、近景被写体200及び
遠景被写体201のそれぞれにつきぼかし量を変更して
合成し、任意の編集画像204,205を作り出す。こ
こで、第1の編集画像204は、近景被写体200及び
遠景被写体201の両方に合焦した画像で、いわゆる全
焦点画像である。一方、第2の編集画像205は、背景
である遠景被写体201に合焦したまま、前景である近
景被写体200のぼかし量を遠景合焦画像203よりも
強調した画像である。
In the digital camera 1a, the two images 202 and 203 are combined by changing the amount of blur for each of the foreground subject 200 and the distant subject 201 to create arbitrary edited images 204 and 205. Here, the first edited image 204 is an image focused on both the near view subject 200 and the far view subject 201, and is a so-called all-focus image. On the other hand, the second edited image 205 is an image in which the amount of blur of the foreground subject 200, which is the foreground, is emphasized more than the distant focus image 203, while the distant subject 201 which is the background is in focus.

【0064】ただし、このように複数の合焦画像を用い
てそれぞれのぼかし量を調整して画像合成を行う場合、
従来例では二重輪郭の発生が問題となっていたが、この
実施の形態では、以下の手法によって二重輪郭を防止し
ている。以下、二重輪郭の防止方法について説明する。
However, in the case of performing image synthesis by adjusting the amount of blurring using a plurality of focused images as described above,
In the prior art, the occurrence of double contours has been a problem, but in this embodiment, double contours are prevented by the following method. Hereinafter, a method for preventing double contours will be described.

【0065】どの程度のぼけ具合の画像を作るかは、画
像処理モード設定キー12を操作することによって指定
する。例えば、画像処理モード設定キー12によってぼ
け具合設定を操作する際、液晶モニター11にぼかし量
が「前景合焦、背景ぼけ大」「前景合焦、背景ぼけ小」
「前景ぼけ大、背景合焦」「前景ぼけ小、背景合焦」
「全焦点」と表示され、使用者が好みの設定を選択でき
るようになっている。例として、第1の編集画像204
を得るためには「全焦点」と設定し、第2の編集画像2
05を得るためには「前景ぼけ大、背景合焦」と設定す
ればよい。
The degree of blurring of an image to be created is designated by operating the image processing mode setting key 12. For example, when the blur condition is operated by the image processing mode setting key 12, the blur amount is displayed on the LCD monitor 11 as "foreground focus, background blur large", "foreground focus, background blur small".
"Large foreground blur, focus on background""Small foreground blur, focus on background"
"All focus" is displayed, and the user can select a desired setting. As an example, the first edited image 204
In order to obtain the second edited image 2
To obtain 05, it is sufficient to set “large foreground blur, background in-focus”.

【0066】このような編集画像204,205を作成
する方法については、基本的には従来例(「複数の異な
る焦点画像からの焦点外れ画像の生成を利用した全焦点
画像の強調的取得」信学論(D−II)Vol.J79−
D−II,No6,pp1046−1053参照)で説明
した方法を利用する。ただし、後述のように、近景被写
体領域300と遠景被写体領域301との境界領域にお
ける遠景合焦画像203を、これらの領域判別の際に実
行したぼかし処理でのぼかし量を用いて補正すること
で、二重輪郭を除去するようにしている。この点で、こ
の実施の形態は従来例とは異なっている。
The method of creating such edited images 204 and 205 is basically the same as in the conventional example (“emphasized acquisition of all-focus image using generation of out-of-focus image from a plurality of different focus images”). Academic Theory (D-II) Vol.
D-II, No. 6, pp 1046-1053). However, as will be described later, the far-field focused image 203 in the boundary area between the near-field object area 300 and the distant-field object area 301 is corrected by using the blur amount in the blur processing performed at the time of these area determinations. , followed by removal of double contour. In this respect, this embodiment is different from the conventional example.

【0067】図6〜図8は、この実施の形態におけるぼ
けコントロール画像モードでの撮影シークエンスを示す
フローチャートである。尚、図6での処理は、図4中の
ステップSb01でシャッターボタン7がONになって
いる旨が確認され、且つ、図4中のステップSb02で
画像撮影モードがぼけコントロール画像モードに設定さ
れていることを確認した時点から処理が始まっている。
FIGS. 6 to 8 are flowcharts showing a photographing sequence in the blur control image mode in this embodiment. Note that the processing in FIG. 6, the shutter button 7 in step Sb01 of FIG. 4 is confirmed that the been turned ON, and the image capturing mode is set to the blur control image mode in step Sb02 of FIG. 4 The processing has started from the time when it was confirmed that

【0068】まず図6中のステップSc01において、
CPU100は測距センサー8の出力を読み出す。この
ステップSc01における測距センサー8の読み出し結
果に応じて、CPU100は、近景被写体200に合焦
するようにレンズ3の繰り出し量を制御して(ステップ
Sc02)、測光素子9の出力を読み出す(ステップS
c03)。このステップSc03での測光素子9の読み
出しの結果に応じて、CPU100は、絞り値(Fナン
バー)及びCCD2の積分時間(シャッタースピードS
S)を求め、これらの値に対応して撮影ができるように
各部を制御する(ステップSc04)。
First, in step Sc01 in FIG.
The CPU 100 reads the output of the distance measuring sensor 8. In accordance with the result of reading of the distance measurement sensor 8 in step Sc01, the CPU 100 controls the extension amount of the lens 3 so as to focus on the foreground subject 200 (step Sc02), and reads the output of the photometric element 9 (step Sc02). S
c03). The CPU 100 determines the aperture value (F number) and the integration time of the CCD 2 (shutter speed S) according to the result of reading of the photometric element 9 in step Sc03.
S) is obtained, and each unit is controlled so that photographing can be performed in accordance with these values (step Sc04).

【0069】撮影用レンズ3を通ってきた光線はCCD
2に結像し、結像した画像をCCD2で積分する(ステ
ップSc05)。CCD2からの出力はA/D変換部1
01でA/D変換され、画像処理部102でγ補正及び
アパーチャコントロール等の通常の画像処理を行い(ス
テップSc06)、近景合焦画像としてメモリー103
に一次記憶する(ステップSc07)。
The light beam that has passed through the photographing lens 3 is a CCD
2, and the formed image is integrated by the CCD 2 (step Sc05). The output from CCD 2 is A / D converter 1
01 is converted A / D, the image processing unit 102 performs normal image processing such as γ correction and aperture control (step SC06), the memory 103 as a foreground focus image
(Step Sc07).

【0070】続いて、図7に示すフローに移行し、遠景
合焦画像203を撮影する。ここでは、近景合焦画像2
02のときと類似の工程手順で撮像を行う。即ち、まず
図7中のステップSd01において、CPU100が測
距センサー8の出力を読み出す。このステップSd01
での測距センサー8の読み出しの結果に応じて、遠景被
写体201に合焦するようにCPU100がレンズ3の
繰り出し量を制御し(ステップSd02)、測光素子9
の出力を読み出す(ステップSd03)。このステップ
Sd03での測光素子の読み出しの結果に応じて、CP
U100が絞り値(Fナンバー)及びCCD2の積分時
間(シャッタースピードSS)を求めて設定し、これら
の値で撮影ができるように各部を制御する(ステップS
d04)。
Subsequently, the flow shifts to the flow shown in FIG. 7, in which a distant view focused image 203 is photographed. Here, the foreground focused image 2
Similar step procedure as in the 02 to capture an image at. That is, first, in step Sd01 in FIG. 7, the CPU 100 reads the output of the distance measuring sensor 8. This step Sd01
The CPU 100 controls the extension amount of the lens 3 so as to focus on the distant subject 201 in accordance with the result of the reading of the distance measurement sensor 8 in step (step Sd02).
Is read out (step Sd03). According to the result of reading of the photometric element in step Sd03, CP
U100 obtains and sets the aperture value (F number) and the integration time (shutter speed SS) of the CCD 2, and controls each unit so that photographing can be performed with these values (step S).
d04).

【0071】そして、ステップSd05ーにおいて、撮
影用レンズ3を通ってきた光線はCCD2に結像し、結
像した画像をCCD2で積分する。CCD2からの出力
はA/D変換部101でA/D変換され、画像処理部1
02でγ補正及びアパーチャコントロール等の通常の画
像処理を行い(ステップSd06)、その画像を遠景合
焦画像203としてメモリー103に一次的に記憶する
(ステップSd07)。
In step Sd05-, the light beam that has passed through the photographing lens 3 forms an image on the CCD 2, and the formed image is integrated by the CCD 2. The output from the CCD 2 is A / D-converted by an A / D converter 101, and is output to an image processor 1
In step 02, normal image processing such as γ correction and aperture control is performed (step Sd06), and the image is temporarily stored in the memory 103 as a far-field focused image 203 (step Sd07).

【0072】このようにして、近景合焦画像202と遠
景合焦画像203の両方の撮影が終了した段階で、図8
に示したフロー手順に移行し、この図8中のステップS
e01において、最終的な編集画像204,205のぼ
かし量を、画像処理モード設定キー12を用いて設定す
る。編集画像204,205のぼかし量は、例えば前述
の「前景合焦、背景ぼけ大」などのように設定する。
At the stage where the shooting of both the near-field focused image 202 and the far-field focused image 203 has been completed,
The flow proceeds to the flow procedure shown in FIG.
In e01, the blur amount of the final edited images 204 and 205 is set using the image processing mode setting key 12. The blur amount of the edited images 204 and 205 is set, for example, in the above-mentioned "foreground focus, background blur large".

【0073】続いて、このステップSe01で設定した
ぼかし量に従って、ぼけコントロール画像作成部104
で、後述する方法で編集画像204,205を作成する
(ステップSe02)。このステップSe02で作成し
た編集画像204,205を液晶モニター11に表示す
る(ステップSe03)。
Subsequently, according to the blur amount set in step Se01, the blur control image forming unit 104
Then, the edited images 204 and 205 are created by a method described later (step Se02). The edited images 204 and 205 created in step Se02 are displayed on the liquid crystal monitor 11 (step Se03).

【0074】そして、ステップSe04において、液晶
モニター11に表示された画像をユーザーが確認し、適
切でないと判断された場合には処理(ステップSe0
1)に戻りぼかし量を再度設定する。
Then, in step Se04, the user checks the image displayed on the liquid crystal monitor 11, and if it is determined that the image is not appropriate, the processing is performed (step Se0).
Setting again blurring the amount back to 1).

【0075】一方、ステップSe04において、ユーザ
ーが液晶モニター11に表示された画像を見て、ぼかし
量が適切であると判断すると、次のステップSe05に
移り、最終的に作成された編集画像204,205をメ
モリーカード105に記憶する。最後に、図4中のステ
ップSb01に戻り、次の撮影のためにシャッターが押
されるのを待機する。
On the other hand, in step Se04, when the user looks at the image displayed on the liquid crystal monitor 11 and determines that the blur amount is appropriate, the process proceeds to the next step Se05, where the edited image 204, 205 is stored in the memory card 105. Finally, the process returns to step Sb01 of FIG. 4, and waits for the shutter is pressed for the next shooting.

【0076】ここで、図9は、この実施の形態における
ぼけコントロール画像作成部104での処理(ステップ
Se02)の詳細な処理手順を示すフローチャートであ
る。尚、図9中のステップSf01,Sf04,Sf0
5,Sf06は、図14に示した従来例のステップSa
01,Sa02,Sa03,Sa04にそれぞれ対応し
ている。即ち、この実施の形態では、従来例で実行され
ていなかった図9中のステップSf02,Sf03の工
程を実行することにより、編集画像204,205中の
二重輪郭を防止している。
FIG. 9 is a flowchart showing a detailed processing procedure of the processing (step Se02) in the blur control image creation unit 104 in this embodiment. Steps Sf01, Sf04, Sf0 in FIG.
5, Sf06 is step Sa of the conventional example shown in FIG.
01, Sa02, Sa03, and Sa04, respectively. That is, in this embodiment, double contours in the edited images 204 and 205 are prevented by executing the steps Sf02 and Sf03 in FIG. 9 which are not executed in the conventional example.

【0077】まず、図9中のステップSf01におい
て、画像202,203内を近景被写体領域300と遠
景被写体領域301とに領域判別する。
First, in step Sf01 in FIG. 9, areas in the images 202 and 203 are discriminated as a near-field subject area 300 and a far-field subject area 301.

【0078】具体的に、図3中のCPU100におい
て、例えば図15の符号400〜402のように、まず
近景合焦画像202のぼかし量を順次変化させてぼかし
て行き、そのぼかした近景合焦画像400〜402と遠
景合焦画像203とを順次比較する。比較しているうち
に、あるぼかし量で、ぼかした近景合焦画像401とぼ
かさない遠景合焦画像203が一致する領域401a
(この例では、近景被写体200の画像)が存在するこ
とを検出できる。そこで、CPU100は、その領域4
01aを近景被写体領域300と判定する。そして、こ
のときのぼかし量をhn(x,y)とする。逆に、この
近景被写体200を除く領域は、近景合焦画像202を
符号400、符号401、符号402とぼかしていって
も、遠景合焦画像203と一致する領域がないので、こ
の領域に関しては近景被写体領域300ではないと判断
できる。
More specifically, in the CPU 100 in FIG. 3, for example, as shown by reference numerals 400 to 402 in FIG. The images 400 to 402 and the far-field focused image 203 are sequentially compared. While you are comparing, at a certain amount of blurring, distant focus image 203 not obscured the foreground focus image 401 obtained by blurring match area 401a
(In this example, the image of the foreground subject 200) can be detected. Therefore, the CPU 100 sets the area 4
01a is determined as the foreground subject area 300. The blurring amount at this time is defined as h n (x, y). Conversely, in the area excluding the foreground subject 200, even if the near-field in-focus image 202 is blurred with reference numerals 400, 401, and 402, there is no area that matches the far-field in-focus image 203. It can be determined that it is not the foreground subject area 300.

【0079】また、遠景合焦画像203も同様にして順
次ぼかしていき(図15では図示省略)、そのぼかした
画像を近景合焦画像202と順次比較していくことによ
り遠景被写体領域を判断する。以上が、一致判別を利用
した領域判別ルーチンである。
The distant view focused image 203 is similarly blurred sequentially (not shown in FIG. 15), and the blurred image is sequentially compared with the near view focus image 202 to determine the distant view subject area. . The above is the area determination routine using the match determination.

【0080】ただし、このように領域判別した結果を利
用して、そのままぼかし処理を行って合成すると、近景
被写体200がぼやけて、正当な遠景被写体領域301
にまで滲み出た部分までを近景被写体領域300と誤認
識してしまうため、図19のように二重輪郭が発生して
しまう。したがって、この実施の形態では、ステップS
f04〜Sf06に先駆けて、ステップSf02で近景
被写体領域300を補正する処理を行う。
However, if the result of the area discrimination is used and the blur processing is performed as it is and synthesized, the foreground subject 200 is blurred and the legitimate distant subject area 301
Since a portion that has oozed out to the target object region 300 is erroneously recognized as the foreground subject region 300, a double contour is generated as shown in FIG. Therefore, in this embodiment, step S
Prior to f04 to Sf06, a process of correcting the foreground subject area 300 is performed in step Sf02.

【0081】図10は、ある画像の遠近境界領域近傍を
拡大した図である。太線で示した線分HIは、遠近の被
写体の境界を示しており、線分HIより左上が正当な近
景被写体領域、右下領域が正当な遠景被写体領域である
ものとする。また、点線H’I’で示す線分は近景被写
体200のぼけが広がった領域の境界を表し、領域H
H’I’IHで囲まれる領域が、図19中の領域613
に相当する。
FIG. 10 is an enlarged view of the vicinity of the perspective boundary area of a certain image. The line segment HI indicated by a bold line indicates the boundary of the distant subject, and the upper left region from the line segment HI is a legitimate near-view subject region, and the lower right region is a legitimate distant subject region. Further, a line segment indicated by a dotted line H′I ′ represents a boundary of a region where the blur of the foreground subject 200 is widened, and the region H
A region surrounded by H′I′IH is a region 613 in FIG.
Is equivalent to

【0082】上述したステップSf01の工程を経る
と、見かけ上の両領域300,301の境界線は図10
中の線分H’I’として得られる。そこで、線分H’
I’に基づいて、本来の境界線HIを求める。
After the above-described step Sf01, the apparent boundary line between the two regions 300 and 301 is changed to the state shown in FIG.
It is obtained as the middle line segment H'I '. Then, the line segment H '
The original boundary line HI is obtained based on I ′.

【0083】いま、図10中の境界線分H’I’は境界
線分HIで示される近景被写体200(図5参照)がぼ
けた結果発生したものである。逆に言えば、近景被写体
200のぼけ方がわかれば、そのぼけの程度を逆算する
ことで、境界線分H’I’から境界線分HIを求めるこ
とができる。ここで用いる近景被写体のぼけの程度とし
ては、既にステップSf01で求めたぼかし量h
n(x,y)をそのまま使用する。
Now, the boundary H'I 'in FIG. 10 is generated as a result of blurring of the foreground subject 200 (see FIG. 5) indicated by the boundary HI. Conversely, if the way of blurring of the foreground subject 200 is known, the degree of the blur can be calculated back to obtain the boundary line segment HI from the boundary line segment H′I ′. The degree of blurring of the foreground subject used here is the blur amount h already determined in step Sf01.
n (x, y) is used as it is.

【0084】尚、ここでは、遠景合焦画像203での見
かけ上の近景被写体領域300の座標(x,y)でのぼ
けを表すぼかし量の行列式hn(x,y)は、説明の簡
単のために、同心円状に作用するものとする。即ち、例
えば円柱ぼけや2次元ガウスぼけの場合を考慮して説明
する。
Here, the determinant h n (x, y) of the blur amount representing the blur at the coordinates (x, y) of the apparent close-up subject area 300 in the far-field focused image 203 is described in the following. For simplicity, they act concentrically. That is, a description will be given in consideration of, for example, the case of cylindrical blur or two-dimensional Gaussian blur.

【0085】ここで、図10において、見かけ上の境界
線分H’I’上の点J’について、近景合焦画像をぼか
したときに、この点J’に影響を与える領域を考えてみ
る。図10の点J’を囲む円Jcの内部がその影響を与
える領域であるとする。例えば領域Jcが図10のよう
に円形である場合には、この円領域Jcに対して近景被
写体側で線分H’I’から一番遠い点、即ち、線分H’
I’上の点J’の垂線と円の交点、つまり点Jを補正後
の境界線分上の点とする。
Here, in FIG. 10, regarding the point J ′ on the apparent boundary line H′I ′, consider the area that affects this point J ′ when the in-focus image is blurred. . Internal circle Jc surrounding the point J 'in FIG. 10 is assumed to be the area that gives the influence. For example, when the region Jc is circular as shown in FIG. 10, the point farthest from the line segment H′I ′ on the near-view object side with respect to this circular region Jc, that is, the line segment H ′
The intersection of the perpendicular line of the point J 'on I' and the circle, that is, the point J is defined as a point on the boundary segment after the correction.

【0086】同様に、境界線分H’I’上の点K’,
L’についても同様の処理を行い、補正後の境界線分上
の点K、点Lを求める。境界線分H’I’上の全ての点
について同様の処理を行うと補正後の境界線分HIを求
めることができる。
Similarly, points K ′, K ′ on the boundary H′I ′
The same processing is performed for L ′ to obtain points K and L on the corrected boundary line segment. By performing the same processing for all points on the boundary line H′I ′, the corrected boundary line HI can be obtained.

【0087】ここで、補正後の境界線分HIが正当な境
界線であることを説明する。
Here, it will be described that the corrected boundary line segment HI is a valid boundary line.

【0088】境界線分H’I’は近景被写体をぼかし量
n(x,y)でぼかしたときに広がった結果の境界線
である。従って、補正後の境界線分HIをぼかし量hn
(x,y)でぼかしたときに、その広がった結果の境界
線が境界線分H’I’であるならば、境界線分HIは近
景被写体の境界線分であると言える。ここで、境界線分
HIの求め方から明らかなように、境界線分HIをぼか
し量hn(x,y)でぼかしたときには完全に境界線分
H’I’になる。このことから、補正後の境界線分HI
が近景被写体の境界線分であることが解る。
The boundary line H′I ′ is a boundary line that is widened when the foreground subject is blurred by the blur amount h n (x, y). Therefore, the corrected boundary line segment HI is blurred by the amount h n
If the result of the blurring at (x, y) is a boundary H'I ', the boundary HI can be said to be a boundary of a foreground subject. Here, as is apparent from the method of obtaining the boundary line segment HI, when the boundary line segment HI is blurred by the blur amount h n (x, y), the boundary line segment HI becomes completely the boundary line segment H′I ′. From this, the corrected boundary line segment HI
Is a boundary line segment of the foreground subject.

【0089】あるいは、次のようにして補正後の境界線
分HIを求めても良い。ステップSf01の結果として
求められた見かけ上の近景被写体領域300に対して、
ぼかし量hn(x,y)でぼかしたときに境界領域H’
I’の外側、この場合は遠景被写体領域、に影響を与え
るものを取り除く。この結果残った近景被写体領域を補
正後の近景被写体領域とする。
Alternatively, the corrected boundary line segment HI may be obtained as follows. For the apparent foreground subject area 300 obtained as a result of step Sf01,
When blurring is performed with the blur amount h n (x, y), the boundary region H ′
Those affecting the outside of I ′, in this case, the distant subject area, are removed. The foreground subject area remaining as a result is set as the corrected foreground subject area.

【0090】このようにして、ステップSf01の結果
として近景被写体200がぼけて広がった領域までを見
かけ上の近景被写体領域300を、ステップSf02で
正当な近景被写体領域300に補正する。
In this way, the apparent foreground subject region 300 up to the region where the foreground subject 200 is blurred and widened as a result of step Sf01 is corrected to a proper foreground subject region 300 in step Sf02.

【0091】この時点で、正当な近景被写体領域300
と遠景被写体領域301との判別を行うことができてい
るが、遠景被写体領域301の近景被写体領域300と
の境界の近傍部分には、近景被写体200のぼけて広が
った影響が残っている。そこで、このHH’I’IHで
囲まれる境界領域において、近景被写体200の広がり
の影響を取り除いてやる必要がある。
At this point, a valid foreground subject area 300
And the distant subject area 301 can be discriminated, but the influence of the blur of the near subject 200 remains in the vicinity of the boundary between the distant subject area 301 and the near subject area 300. Therefore, it is necessary to remove the influence of the spread of the foreground subject 200 in the boundary area surrounded by HH′I′IH.

【0092】そこで、図9中のステップSf03におい
て、次の方法で、遠景被写体領域301のHH’I’I
Hで囲まれる境界領域の画素を補正する。
Therefore, in step Sf03 in FIG. 9, the HH'I'I of the distant subject region 301 is
Correcting the pixel of the boundary area enclosed by H.

【0093】いま、近景被写体領域300(図19中の
符号610)の輪郭がわかっている。また、遠景合焦画
像203において、近景被写体200が遠景被写体領域
301に滲み出た領域(HH’I’IHで囲まれる境界
領域)も既にわかっている。そこで、遠景合焦画像20
3中のHH’I’IHで囲まれる境界領域について、次
の(6)式で画素値の補正を行う。
Now, the contour of the foreground subject area 300 (reference numeral 610 in FIG. 19) is known. Also, in the far-field focused image 203, a region (a boundary region surrounded by HH′I′IH) in which the near-view object 200 exudes into the far-field object region 301 is already known. Therefore, the distant view in-focus image 20
The pixel value of the boundary region surrounded by HH'I'IH in No. 3 is corrected by the following equation (6).

【0094】[0094]

【数4】 (Equation 4)

【0095】但し、(6)式中のf’(x,y)は、遠
景合焦画像203の正当な遠景被写体領域301中の座
標(x,y)における画素値を示している。
Here, f ′ (x, y) in the expression (6) indicates the pixel value at the coordinates (x, y) in the legitimate distant subject area 301 of the distant focused image 203.

【0096】即ち、(6)式では、遠景合焦画像203
の各画素値If(x,y)から、近景被写体200から
滲み出た成分{hn(x,y)*n(x,y)}を減算
している。かかる(6)式により、本来の遠景被写体領
域301において。本来の遠景被写体201の各画素値
を得ることができる。
That is, in the equation (6), the distant view focused image 203
The component {h n (x, y) * n (x, y)} oozing out of the foreground subject 200 is subtracted from each pixel value If (x, y) of the above. By the equation (6), the original distant subject area 301 is obtained. Each pixel value of the original distant subject 201 can be obtained.

【0097】このようにして、図9中のステップSf0
3で近景被写体200のぼけ広がりの除去処理を行った
後、ステップSf04に進む。
Thus, step Sf0 in FIG.
After performing the blur removal removal processing of the foreground subject 200 in step 3, the process proceeds to step Sf04.

【0098】ステップSf04では、ステップSf02
で決定された近景合焦画像202における正当な近景被
写体領域300の画像を、ユーザーが望むぼかし量でぼ
かし処理する。
In step Sf04, step Sf02
The image of the legitimate foreground subject area 300 in the foreground in-focus image 202 determined in step (b) is blurred by a blur amount desired by the user.

【0099】更に、ステップSf05において、ステッ
プSf02で決定された遠景被写体領域301におい
て、ステップSf03で補正された遠景合焦画像203
を、ユーザーが望むぼかし量でぼかし処理する。
Further, in step Sf05, in the distant subject area 301 determined in step Sf02, the distant focused image 203 corrected in step Sf03
With the blur amount desired by the user.

【0100】最後に、ステップSf06において、ステ
ップSf04でぼかし処理した近景合焦画像202中の
近景被写体領域300の画像と、ステップSf05でぼ
かし処理した遠景合焦画像203中の遠景被写体領域3
01の画像とを合成する。
Finally, in step Sf06, the image of the foreground subject area 300 in the in-focus focused image 202 blurred in step Sf04 and the distant subject area 3 in the distant focused image 203 blurred in step Sf05.
01 and the image No. 01.

【0101】以上により、二重輪郭のない綺麗なぼけコ
ントロール画像(編集画像)を作成することができる。
As described above, a beautiful blur control image (edited image) having no double outline can be created.

【0102】このように、この実施の形態のデジタルカ
メラ1aでは、同一シーンを合焦面を変えて撮影した2
枚の画像から、全焦点画像や前景あるいは背景のぼけ具
合を任意に変えた画像を得ることができ、その際に問題
となっていた二重画像の発生を、ユーザーが意識するこ
となく自動的に防止することができる。
As described above, in the digital camera 1a according to this embodiment, the same scene is photographed while changing the focal plane.
It is possible to obtain an omnifocal image or an image in which the degree of blur of the foreground or background is changed arbitrarily from the images, and the occurrence of double images, which is a problem at that time, is automatically performed without the user's awareness. Can be prevented.

【0103】[0103]

【発明の効果】請求項1及び請求項9に記載の発明によ
れば、少なくとも第1の画像のぼかし処理を行い、この
ぼかし処理された第1の画像と第2の画像とを比較し
て、その比較結果に基づいて近景被写体領域と遠景被写
体領域との領域判別を行い、この判別結果として求めら
れる近景被写体領域と遠景被写体領域との境界領域の画
像を、上記のように比較された結果として求められるぼ
かし量を用いて補正できるので、例えば請求項4のよう
に画像合成手段で両画像を合成する際に、第2の距離に
おいて近景被写体領域からぼけ出た部分を正当な遠景の
画像に補正でき、二重画像の発生を防止できる。
According to the first and ninth aspects of the present invention, at least the first image is blurred, and the blurred first image is compared with the second image. Based on the comparison result, a region between a near-subject subject region and a distant-subject subject region is determined. For example, when the two images are combined by the image combining means as in claim 4, a part that is blurred from the foreground subject area at the second distance is a legitimate distant image. And the occurrence of double images can be prevented.

【0104】請求項2及び請求項10に記載の発明によ
れば、上記の比較結果に基づいて、ぼかし処理された第
1の画像と第2の画像との一致領域を判別するので、ユ
ーザーが何ら意識することなく自動的に領域判別を行う
ことが可能となる。
According to the second and tenth aspects of the present invention, the matching area between the blurred first image and the second image is determined based on the comparison result, so that the user can It is possible to automatically perform the area discrimination without any awareness.

【0105】請求項3及び請求項11に記載の発明によ
れば、遠景被写体領域の近景被写体領域に対する境界
と、当該境界の近傍領域の画像情報とを容易に且つ適正
に補正することができる。
According to the third and eleventh aspects of the present invention, it is possible to easily and properly correct the boundary between the distant view subject area and the near view subject area and the image information of the area near the border.

【0106】請求項5及び請求項12に記載の発明によ
れば、境界領域が、遠景被写体領域において、近景被写
体領域の外側の領域に限定されるので、近景被写体領域
の画像が遠景被写体領域にまでぼけ出た要素を適正に除
去することができる。
According to the fifth and twelfth aspects of the present invention, the boundary region is limited to a region outside the near-view subject region in the distant-view subject region. Elements that have blurred out can be properly removed.

【0107】請求項6、請求項13及び請求項15に記
載の発明によれば、複数の画像に対して任意のぼかし処
理を行うことで、近景被写体領域と遠景被写体領域のそ
れぞれについて任意にぼかし処理を行って自由な画像編
集を行うことが可能となる。
According to the sixth, thirteenth, and fifteenth aspects of the present invention, arbitrary blurring processing is performed on a plurality of images, thereby arbitrarily blurring each of the foreground subject area and the distant subject area. It is possible to freely perform image editing by performing processing.

【0108】請求項7及び請求項8に記載の発明によれ
ば、画像処理装置をデジタルカメラ内に装備するので、
デジタルカメラで撮像する際に上記した画像処理を行う
ことができ、便利である。
According to the seventh and eighth aspects of the present invention, since the image processing device is provided in the digital camera,
The above-described image processing can be performed when capturing an image with a digital camera, which is convenient.

【0109】請求項14及び請求項15に記載の発明に
よれば、プログラムに基づいてコンピュータにより自動
的に二重画像の発生を防止でき便利である。
According to the fourteenth and fifteenth aspects of the present invention, it is convenient that a computer can automatically prevent a double image from being generated based on a program.

【図面の簡単な説明】[Brief description of the drawings]

【図1】この発明の一の実施の形態に係る画像処理装置
が適用されるデジタルカメラを示す外観斜視図である。
FIG. 1 is an external perspective view showing a digital camera to which an image processing apparatus according to an embodiment of the present invention is applied.

【図2】この発明の一の実施の形態に係る画像処理装置
が適用されるデジタルカメラを示す背面図である。
FIG. 2 is a rear view showing a digital camera to which the image processing device according to one embodiment of the present invention is applied;

【図3】この発明の一の実施の形態に係る画像処理装置
が適用されるデジタルカメラの内部機能を示すブロック
図である。
FIG. 3 is a block diagram showing internal functions of a digital camera to which the image processing device according to one embodiment of the present invention is applied;

【図4】この発明の一の実施の形態に係る画像処理装置
が適用されるデジタルカメラの一般的な使用方法を示す
フローチャートである。
FIG. 4 is a flowchart showing a general method of using a digital camera to which the image processing device according to one embodiment of the present invention is applied;

【図5】近景合焦画像と遠景合焦画像を用いて編集画像
を得る動作の概念を示す図である。
FIG. 5 is a diagram showing a concept of an operation of obtaining an edited image using a near-field focused image and a far-field focused image.

【図6】デジタルカメラにより近景合焦画像を得るため
の動作を示すフローチャートである。
FIG. 6 is a flowchart showing an operation for obtaining a near-field focused image by a digital camera.

【図7】デジタルカメラにより遠景合焦画像を得るため
の動作を示すフローチャートである。
FIG. 7 is a flowchart illustrating an operation for obtaining a far-field focused image by a digital camera.

【図8】この発明の一の実施の形態に係る画像処理装置
が適用されるデジタルカメラでの画像処理手順を示すフ
ローチャートである。
FIG. 8 is a flowchart showing an image processing procedure in a digital camera to which the image processing device according to one embodiment of the present invention is applied.

【図9】この発明の一の実施の形態に係る画像処理装置
の画像処理方法を示すフローチャートである。
FIG. 9 is a flowchart illustrating an image processing method of the image processing apparatus according to one embodiment of the present invention;

【図10】近景被写体領域と遠景被写体領域の見かけ上
の境界から正当な境界を求める動作原理を示す図であ
る。
FIG. 10 is a diagram illustrating an operation principle of obtaining a proper boundary from an apparent boundary between a near-view subject area and a distant-view subject area.

【図11】近景被写体の例を示す図である。FIG. 11 is a diagram illustrating an example of a foreground subject.

【図12】遠景被写体の例を示す図である。12 is a diagram showing an example of a distant view object.

【図13】近景合焦画像と遠景合焦画像を用いて編集画
像を得る動作の概念を示す図である。
FIG. 13 is a diagram showing the concept of an operation of obtaining an edited image using a near-field focused image and a far-field focused image.

【図14】従来例の画像処理装置の画像処理方法を示す
フローチャートである。
FIG. 14 is a flowchart illustrating an image processing method of the conventional image processing apparatus.

【図15】近景被写体領域と遠景被写体領域の領域判別
を行うための基本動作を示す原理図である。
FIG. 15 is a principle diagram showing a basic operation for performing area discrimination between a near view subject area and a distant view subject area.

【図16】従来例の画像処理装置において、近景被写体
領域と遠景被写体領域の領域判別を行う場合に二重画像
が発生する理由を説明するための原理図である。
FIG. 16 is a principle diagram for explaining the reason why a double image is generated in the conventional image processing apparatus when the area determination of the near-view subject area and the distant-view subject area is performed.

【図17】近景合焦画像の例を示す図である。FIG. 17 is a diagram illustrating an example of a foreground focused image.

【図18】遠景合焦画像の例を示す図である。FIG. 18 is a diagram illustrating an example of a far-field focused image.

【図19】従来例の画像処理装置において二重画像が発
生した状態を示す図である。
FIG. 19 is a diagram illustrating a state in which a double image has occurred in a conventional image processing apparatus.

【符号の説明】[Explanation of symbols]

1 カメラ本体 3 撮影用レンズ 1a デジタルカメラ 12 画像処理モード設定キー 200 近景被写体 201 遠景被写体 202 近景合焦画像 203 遠景合焦画像 204,205 編集画像 300 近景被写体領域 301 遠景被写体領域 DESCRIPTION OF SYMBOLS 1 Camera main body 3 Shooting lens 1a Digital camera 12 Image processing mode setting key 200 Foreground subject 201 Far view subject 202 Foreground focused image 203 Far view focused image 204, 205 Edited image 300 Foreground subject area 301 Far view subject area

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 7/60 180 G06T 7/60 180Z H04N 1/387 H04N 1/387 Fターム(参考) 5B047 AA07 BA03 BB04 CA11 CB11 CB22 EA02 5B057 BA02 CA12 CA16 CB12 CB16 CC03 CE04 CE08 CH11 DA08 DC32 5C076 AA12 AA19 AA31 AA40 BA06 5L096 BA20 CA04 DA01 EA02 EA35 FA06 GA08 JA18 LA05 MA03──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G06T 7/60 180 G06T 7/60 180Z H04N 1/387 H04N 1/387 F term (reference) 5B047 AA07 BA03 BB04 CA11 CB11 CB22 EA02 5B057 BA02 CA12 CA16 CB12 CB16 CC03 CE04 CE08 CH11 DA08 DC32 5C076 AA12 AA19 AA31 AA40 BA06 5L096 BA20 CA04 DA01 EA02 EA35 FA06 GA08 JA18 LA05 MA03

Claims (15)

【特許請求の範囲】[Claims] 【請求項1】 第1の距離に合焦している第1の画像
と、前記第1の距離よりも遠い第2の距離に合焦してい
る第2の画像とを入力する画像入力手段と、 少なくとも前記第1の画像のぼかし処理を行うぼかし手
段と、 前記ぼかし手段によりぼかし処理された前記第1の画像
と前記第2の画像とを比較する比較手段と、 前記比較手段での比較結果に基づいて近景被写体領域と
遠景被写体領域との領域判別を行う領域判別手段と、 前記領域判別手段での判別結果として求められる前記近
景被写体領域と前記遠景被写体領域との境界領域の画像
を、前記比較手段で比較された結果として求められるぼ
かし量を用いて補正する補正手段とを備えた画像処理装
置。
1. An image input means for inputting a first image focused on a first distance and a second image focused on a second distance farther than the first distance. At least a blurring unit that performs a blurring process on the first image; a comparing unit that compares the first image blurred by the blurring unit with the second image; a comparison by the comparing unit Area discriminating means for performing an area discrimination between the near-subject subject area and the distant-subject subject area based on the result; An image processing apparatus comprising: a correction unit configured to perform correction using a blur amount obtained as a result of comparison by the comparison unit.
【請求項2】 請求項1に記載の画像処理装置であっ
て、 前記領域判別手段は、前記比較手段での比較結果に基づ
いて、前記ぼかし手段によりぼかし処理された前記第1
の画像と前記第2の画像との一致領域を判別することを
特徴とする画像処理装置。
2. The image processing apparatus according to claim 1, wherein the area discriminating unit is configured to blur the first region blurred by the blurring unit based on a comparison result of the comparing unit.
An image processing apparatus for determining a matching area between the image of the second image and the second image.
【請求項3】 請求項1または請求項2に記載の画像処
理装置であって、 前記補正手段は、前記遠景被写体領域の前記近景被写体
領域に対する境界の補正と、当該境界の近傍領域の画像
情報とを補正することを特徴とする画像処理装置。
3. The image processing apparatus according to claim 1, wherein the correction unit corrects a boundary of the distant subject region with respect to the near subject region, and image information of a region near the boundary. And an image processing device that corrects the following.
【請求項4】 請求項1ないし請求項3のいずれかに記
載の画像処理装置であって、 前記領域判別手段で領域判別された後の複数の画像を合
成して、1枚の画像を作成する画像合成手段をさらに備
える画像処理装置。
4. The image processing apparatus according to claim 1, wherein a plurality of images that have been subjected to region discrimination by said region discriminating means are combined to generate one image. further comprising an image processing apparatus an image synthesizing means for.
【請求項5】 請求項1ないし請求項4のいずれかに記
載の画像処理装置であって、 前記境界領域は、前記遠景被写体領域において、前記近
景被写体領域の外側の領域に限定されることを特徴とす
る画像処理装置。
5. The image processing apparatus according to claim 1, wherein the boundary region is limited to a region outside the near-view subject region in the distant-view subject region. Characteristic image processing device.
【請求項6】 請求項4に記載の画像処理装置であっ
て、 前記複数の画像に対して任意のぼかし処理を行うぼかし
量変更手段をさらに備える画像処理装置。
6. The image processing apparatus according to claim 4, further comprising a blur amount changing unit that performs an arbitrary blur process on the plurality of images.
【請求項7】 請求項1ないし請求項6のいずれかに記
載の画像処理装置であって、 デジタルカメラ内に装備されることを特徴とする画像処
理装置。
7. The image processing apparatus according to claim 1, wherein the image processing apparatus is provided in a digital camera.
【請求項8】 請求項1ないし請求項6のいずれかに記
載の画像処理装置を含むことを特徴とするデジタルカメ
ラ。
8. A digital camera comprising the image processing device according to claim 1. Description:
【請求項9】 第1の距離に位置する第1の被写体に合
焦している第1の画像と、前記第1の距離よりも遠い第
2の距離に位置する第2の被写体に合焦している第2の
画像について、前記第1の被写体及び前記第2の被写体
のそれぞれを画像処理して合成する画像処理方法であっ
て、 少なくとも前記第1の画像のぼかし処理を行う第1の工
程と、 前記第1の工程でぼかし処理された前記第1の画像と前
記第2の画像とを比較する第2の工程と、 前記第2の工程での比較結果に基づいて近景被写体領域
と遠景被写体領域との領域判別を行う第3の工程と、 前記第3の工程での判別結果として求められる前記近景
被写体領域と前記遠景被写体領域との境界領域の画像
を、前記比較手段で比較された結果として求められるぼ
かし量を用いて補正する第4の工程と、 前記第4の工程で補正された画像を用いて画像処理し、
前記第1の被写体の画像と前記第2の被写体の画像とを
合成する第5の工程とを備えた画像処理方法。
9. A first image focused on a first subject located at a first distance and a second subject located at a second distance farther than the first distance. An image processing method for performing image processing on each of the first subject and the second subject with respect to the second image being processed and combining the first subject and the second subject, wherein at least a first process for blurring the first image is performed. A second step of comparing the first image blurred in the first step with the second image, and a foreground subject area based on a result of the comparison in the second step. A third step of determining a region from a distant subject region, and an image of a boundary region between the near-subject region and the distant subject region obtained as a result of the determination in the third step is compared by the comparing means. correction to using a blurring amount obtained as a result A fourth step, image processing using the corrected image in the fourth step,
A fifth step of combining the image of the first subject and the image of the second subject.
【請求項10】 請求項9に記載の画像処理方法であっ
て、 前記第3の工程は、前記比較手段での比較結果に基づい
て、前記ぼかし手段によりぼかし処理された前記第1の
画像と前記第2の画像との一致領域を判別することを特
徴とする画像処理方法。
10. The image processing method according to claim 9, wherein the third step includes the first image blurred by the blurring unit based on a comparison result by the comparing unit. An image processing method characterized by determining a matching area with the second image.
【請求項11】 請求項9または請求項10に記載の画
像処理方法であって、 前記第4の工程は、前記遠景被写体領域の前記近景被写
体領域に対する境界の補正と、当該境界の近傍領域の画
像情報とを補正することを特徴とする画像処理方法。
11. The image processing method according to claim 9, wherein the fourth step comprises: correcting a boundary of the distant subject region with respect to the near subject region; An image processing method comprising correcting image information.
【請求項12】 請求項9ないし請求項11のいずれか
に記載の画像処理方法であって、 前記境界領域は、前記遠景被写体領域において、前記近
景被写体領域の外側の領域に限定されることを特徴とす
る画像処理方法。
12. The image processing method according to claim 9, wherein the boundary region is limited to a region outside the near-view subject region in the distant-view subject region. Characteristic image processing method.
【請求項13】 請求項9ないし請求項12のいずれか
に記載の画像処理方法であって、 前記第4の工程の後であって且つ前記第5の工程の前
に、複数の画像に対して任意のぼかし処理を行うぼかし
量変更工程をさらに備える画像処理方法。
13. The image processing method according to claim 9, wherein after the fourth step and before the fifth step, a plurality of images are processed. An image processing method further comprising a blur amount changing step of performing an arbitrary blur process.
【請求項14】 コンピュータによって実行されること
により、請求項9ないし請求項13のいずれかに記載の
画像処理方法を実行するプログラム。
14. A program for executing the image processing method according to claim 9 when executed by a computer.
【請求項15】 請求項14に記載の画像処理方法を実
行するプログラムであって、 デジタルカメラ内に格納されることを特徴とするプログ
ラム。
15. A program for executing the image processing method according to claim 14, the program characterized in that it is stored in the digital camera.
JP2001076091A 2001-03-16 2001-03-16 Image processing apparatus, digital camera, image processing method and program Expired - Fee Related JP3353785B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001076091A JP3353785B2 (en) 2001-03-16 2001-03-16 Image processing apparatus, digital camera, image processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001076091A JP3353785B2 (en) 2001-03-16 2001-03-16 Image processing apparatus, digital camera, image processing method and program

Publications (2)

Publication Number Publication Date
JP2002279401A true JP2002279401A (en) 2002-09-27
JP3353785B2 JP3353785B2 (en) 2002-12-03

Family

ID=18933082

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001076091A Expired - Fee Related JP3353785B2 (en) 2001-03-16 2001-03-16 Image processing apparatus, digital camera, image processing method and program

Country Status (1)

Country Link
JP (1) JP3353785B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007300221A (en) * 2006-04-27 2007-11-15 Olympus Imaging Corp Camera
JP2016014739A (en) * 2014-07-01 2016-01-28 株式会社ソシオネクスト Surface detection method, surface detection device and imaging apparatus
WO2022181174A1 (en) * 2021-02-24 2022-09-01 ソニーグループ株式会社 Image processing device, image processing method, and projector device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007300221A (en) * 2006-04-27 2007-11-15 Olympus Imaging Corp Camera
JP2016014739A (en) * 2014-07-01 2016-01-28 株式会社ソシオネクスト Surface detection method, surface detection device and imaging apparatus
WO2022181174A1 (en) * 2021-02-24 2022-09-01 ソニーグループ株式会社 Image processing device, image processing method, and projector device

Also Published As

Publication number Publication date
JP3353785B2 (en) 2002-12-03

Similar Documents

Publication Publication Date Title
JP7003238B2 (en) Image processing methods, devices, and devices
JP6935587B2 (en) Methods and equipment for image processing
JP7145208B2 (en) Method and Apparatus and Storage Medium for Dual Camera Based Imaging
JP5460173B2 (en) Image processing method, image processing apparatus, image processing program, and imaging apparatus
CN109068058B (en) Shooting control method and device in super night scene mode and electronic equipment
US8335393B2 (en) Image processing apparatus and image processing method
JP6999802B2 (en) Methods and equipment for double camera-based imaging
US8305453B2 (en) Imaging apparatus and HDRI method
JP5313127B2 (en) Video composition method, video composition system
US9992478B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images
KR102400283B1 (en) Image processing apparatus, image processing method, and program
JP2008271241A (en) Imaging apparatus, image processing apparatus, imaging method, and image processing method
JP2011135563A (en) Image capturing apparatus, and image processing method
CN107872631B (en) Image shooting method and device based on double cameras and mobile terminal
JP2007258869A (en) Image trimming method and apparatus, and program
WO2020029679A1 (en) Control method and apparatus, imaging device, electronic device and readable storage medium
US20200045237A1 (en) Focus control device, focus control method, and storage medium
WO2019124289A1 (en) Device, control method, and storage medium
CN108513062B (en) Terminal control method and device, readable storage medium and computer equipment
JP3353785B2 (en) Image processing apparatus, digital camera, image processing method and program
US10616468B2 (en) Focus detection device and focus detection method
JP2006332743A (en) Electronic camera and image processing program
JP2019016893A (en) Image processing apparatus, control method therefor, and program
JP5282533B2 (en) Image processing apparatus, imaging apparatus, and program
JP2017005539A (en) Imaging apparatus

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070927

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080927

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080927

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090927

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100927

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100927

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110927

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110927

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120927

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120927

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130927

Year of fee payment: 11

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees