JP3233601B2 - Image processing device - Google Patents

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明が属する技術分野】本発明は、２枚以上の画像の
全体の明るさが等しくなるように各画像の画素の濃度値
を補正し、さらに合成された画像の色調を正しく補正す
るための画像処理装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for correcting a density value of a pixel of each image so that two or more images have the same overall brightness, and further corrects a color tone of a synthesized image. The present invention relates to an image processing device.

【０００２】[0002]

【従来の技術】従来、画像処理装置において、画像信号
で表される一対の画像を合成するには、まず両画像が相
互に重なる重複領域を求める。次いで、一対の画像を重
複領域を重ねて並べるように各画像を個別に表す画像信
号を合成して、合成画像を表す画像信号を生成する。2. Description of the Related Art Conventionally, in an image processing apparatus, in order to combine a pair of images represented by image signals, an overlapping area where both images overlap each other is first obtained. Next, an image signal representing each image is synthesized so that a pair of images are arranged so as to overlap the overlapping area, and an image signal representing the synthesized image is generated.

【０００３】前記一対の画像を得るためには、たとえば
ＣＣＤイメージセンサおよびＡＧＣ（Auto Gain Contro
l）回路を備えた撮影装置を１台用い、２回連続して被
写体を撮影する。この場合、ＡＧＣ回路が被写体周辺の
明るさ等の撮影条件に応じてＣＣＤイメージセンサの利
得を自動的に変化させるので、各画像の全体の明るさ、
すなわち濃淡および色調が相互に異なることがある。こ
のことは、蛍光灯のように明るさが連続的に変わる光源
下で撮影を行った場合に顕著に表れる。さらにまた、被
写体を複数の撮影装置によって同時に撮影して、各撮影
装置で得られた画像を前記一対の画像とした場合にも、
各撮影装置の撮影素子の特性の違いによって、各画像の
全体の明るさが相互に異なることがある。To obtain the pair of images, for example, a CCD image sensor and an AGC (Auto Gain Control)
l) One subject is provided with a circuit, and the subject is photographed twice consecutively. In this case, the AGC circuit automatically changes the gain of the CCD image sensor according to the shooting conditions such as the brightness around the subject, so that the overall brightness of each image,
That is, the shade and the color tone may be different from each other. This is remarkable when the image is taken under a light source whose brightness changes continuously like a fluorescent lamp. Still further, when a subject is simultaneously photographed by a plurality of photographing devices, and the images obtained by each photographing device are the pair of images,
The overall brightness of each image may differ from each other due to the difference in the characteristics of the imaging elements of each imaging device.

【０００４】このような一対の画像を合成する場合、合
成画像の画素の濃度が、合成画像のうちで両画像のつな
ぎ目に相当する部分で急激に変化し、そのために合成画
像内に濃淡および色調の境目ができることがある。合成
画像内の画素の濃度の変化を滑らかにするために、たと
えば、画像信号の合成の際にグラデーション処理が施さ
れる。グラデーション処理では、合成画像の各画素の濃
度を定めるときに、合成画像のうちの前記つなぎ目に相
当する部分と処理対象の画素との距離に応じて、濃度値
決定に寄与する各画像の割合を段階的または連続的に変
化させる。グラデーション処理を用いることができるの
は、両画像間の全体の明るさの差が小さい場合であり、
この差が大きい場合には、グラデーション処理を用いて
も、合成画像の濃度値の変化が滑らかになりにくい。When such a pair of images are combined, the density of the pixels of the combined image changes abruptly at a portion of the combined image that corresponds to the joint between the two images, and therefore, the density and tone of the combined image are changed. There may be boundaries. For example, gradation processing is performed at the time of combining image signals in order to smooth the change in the density of pixels in the combined image. In the gradation process, when determining the density of each pixel of the composite image, the ratio of each image contributing to the determination of the density value is determined according to the distance between the portion corresponding to the seam of the composite image and the pixel to be processed. Change stepwise or continuously. Gradient processing can be used when the overall brightness difference between the two images is small,
When this difference is large, it is difficult to smoothly change the density value of the composite image even when the gradation process is used.

【０００５】また、合成画像の画素の濃度を滑らかに変
化させるために、画像信号の合成の前に、一対の画像の
全体の明るさを合わせておくことがある。一対の画像の
全体の明るさを合わせる濃度値補正方法として、ヒスト
グラム一致法および線形濃度変換法が知られている。Further, in order to smoothly change the pixel density of a composite image, the overall brightness of a pair of images may be adjusted before combining image signals. As density value correction methods for adjusting the overall brightness of a pair of images, a histogram matching method and a linear density conversion method are known.

【０００６】ヒストグラム一致法は、各画像の重複領域
の画素の濃度値のヒストグラムをそれぞれ求め、求めた
ヒストグラムを参照して、両重複領域のヒストグラムが
一致するように、各画像全体の画素の濃度変換を行う。
このヒストグラム一致法は、画像解析ハンドブック（高
木幹雄、下田陽久監修、東京大学出版会）４６３頁，４
７８頁〜４７９頁に記載されている。In the histogram matching method, a histogram of the density values of the pixels in the overlapping area of each image is obtained, and the density of the pixels in the entire image is matched with reference to the obtained histograms so that the histograms of both the overlapping areas match. Perform the conversion.
This histogram matching method is described in Image Analysis Handbook (Mikio Takagi, supervised by Hirohisa Shimoda, University of Tokyo Press) p. 463, 4
Pages 78 to 479.

【０００７】ヒストグラム一致法を用いた従来技術とし
て、特開平５−３４２３４４号公報の画像処理方法およ
び画像処理システムが挙げられる。この画像処理方法で
は、まず貼合わせ対象の２枚のカラー画像の複数の色成
分、すなわち色相と彩度と明度とを表すデータを生成
し、次いで両カラー画像の共通する領域、すなわち重複
領域を指定する。続いて、共通する領域の各色成分のヒ
ストグラムをそれぞれ求め、一方のカラー画像の各色成
分のヒストグラムが他方のカラー画像の各色成分のヒス
トグラムとそれぞれ一致するように、一方のカラー画像
の各色成分のヒストグラムを変換し、その変換内容に応
じて、カラー画像の画素の色を補正する。As a conventional technique using the histogram matching method, there is an image processing method and an image processing system disclosed in Japanese Patent Application Laid-Open No. 5-342344. In this image processing method, first, a plurality of color components of two color images to be pasted, that is, data representing hue, saturation, and lightness are generated, and then a common region of both color images, that is, an overlapping region, is generated. specify. Subsequently, a histogram of each color component of the common region is obtained, and a histogram of each color component of one color image is set such that the histogram of each color component of one color image matches the histogram of each color component of the other color image. Is converted, and the colors of the pixels of the color image are corrected according to the conversion contents.

【０００８】これらの画像処理方法では、両画像のヒス
トグラムを一致させるために、同じ濃度値または色成分
の画素を複数の他の濃度値または色成分に振分ける濃度
値の細分化を行う必要がある。この細分化は、たとえ
ば、同じ濃度値の画素を乱数によって振分けたり、同じ
濃度値の画素をその画素の周辺の画素の濃度値の平均値
に応じて順序を付けてその順序に応じて振分けたりして
行う。この細分化を行うために、ヒストグラム一致法を
用いた濃度補正方法のための処理が複雑になる。In these image processing methods, in order to match the histograms of the two images, it is necessary to subdivide the density values for distributing pixels of the same density value or color component to a plurality of other density values or color components. is there. This subdivision is performed, for example, by assigning pixels of the same density value by random numbers, or by assigning pixels of the same density value according to the average value of the density values of the pixels around the pixel, and assigning them according to the order. Do it. This subdivision complicates the processing for the density correction method using the histogram matching method.

【０００９】線形濃度変換法は、まず一対の画像の重複
領域の対応する画素の対の濃度に線形変換が成立つもの
と仮定し、一対の画像のうちの一方の画像の画素の濃度
を表す濃度値ＰＬを、式１に基づいて濃度値ＰＬ＊に変
換する。次式の係数ａ，ｂは、複数の前記画素の対の濃
度値に基づき最小２乗法によって決定される。この線形
濃度変換法は、画像解析ハンドブック４６３頁，４６４
頁に記載されている。 ＰＬ＊ ＝ ａＰＬ＋ｂ …（１）In the linear density conversion method, first, it is assumed that a linear conversion is established for the density of a pair of corresponding pixels in an overlapping area of a pair of images, and the density of a pixel of one of the pair of images is expressed. The density value PL is converted into a density value PL * based on Equation 1. The coefficients a and b in the following equation are determined by the least squares method based on the density values of the plurality of pixel pairs. This linear density conversion method is described in Image Analysis Handbook, page 463, 464.
Page. PL * = aPL + b (1)

【００１０】前述の撮影装置によって一対の画像を得る
場合、その撮影装置のレンズ等の要因によって画像に写
る被写体の像に部分的な歪みが生じることがある。ま
た、重複領域を求める場合の誤差によって、求められた
重複領域が実際に画像が重なる領域とずれることがあ
る。これによって、重複領域間の画素の対応がずれるこ
とがある。このため、最小２乗法を用いても、式１の係
数を正しく推定することが困難になる。When a pair of images is obtained by the above-described photographing device, a partial distortion may occur in the image of the subject shown in the image due to factors such as a lens of the photographing device. In addition, due to an error in obtaining the overlapping area, the obtained overlapping area may be shifted from the area where the image actually overlaps. As a result, the correspondence of pixels between the overlapping areas may be shifted. For this reason, even if the least squares method is used, it is difficult to correctly estimate the coefficient of Expression 1.

【００１１】さらにまた、ヒストグラム一致法および線
形濃度変換法を用いた濃度補正方法では、２〜３枚程の
画像の全体の明るさを合わせることはできるが、たとえ
ば１０枚以上の画像の全体の明るさを合わせることは困
難である。これは、以下の理由からである。Further, in the density correction method using the histogram matching method and the linear density conversion method, it is possible to adjust the overall brightness of about 2 to 3 images, but, for example, to adjust the overall brightness of 10 or more images. It is difficult to match the brightness. This is for the following reason.

【００１２】たとえば、撮影装置の撮影範囲を移動させ
つつ被写体を複数回撮影することによって複数の画像を
得る場合、撮影範囲内に被写体表面の反射および影が入
ることがある。被写体と撮影装置と光源との位置関係が
ほとんど変わらないように撮影範囲を移動させたとき、
撮影範囲の移動速度は、反射および影の位置の移動速度
よりも大きい。このため、各画像には、ほぼ同じ位置に
反射および影が写る。また一般的に、撮影素子の複数の
受光領域の感度のばらつき、ならびにレンズおよび撮影
素子のシェーディングによって、画像の周辺部の明るさ
が中心部に比べて暗くなることがある。For example, when a plurality of images are obtained by photographing a subject a plurality of times while moving the photographing range of the photographing device, reflection and shadow of the surface of the subject may fall within the photographing range. When moving the shooting range so that the positional relationship between the subject, the shooting device, and the light source hardly changes,
The moving speed of the shooting range is higher than the moving speed of the positions of the reflection and the shadow. For this reason, reflections and shadows appear at substantially the same position in each image. Further, in general, the brightness at the peripheral portion of an image may be darker than that at the central portion due to variations in the sensitivity of a plurality of light receiving regions of the image sensor and shading of the lens and the image sensor.

【００１３】一対の画像のうちの一方の画像の外枠に対
する重複領域の位置と他方の画像の外枠に対する重複領
域の位置とは、撮影範囲の移動速度に応じてずれる。こ
のため、一方の画像の重複領域に反射があり他方の画像
の重複領域に影があることがある。また、一方の画像の
重複領域が画像の中央にあり他方の画像の重複領域が画
像の周辺部にあることがある。これら２つの問題が生じ
た場合、両画像の重複領域に同じ被写体が写っているに
もかかわらず、両重複領域の画素の濃度の分布が異な
る。The position of the overlapping region with respect to the outer frame of one of the pair of images is shifted from the position of the overlapping region with respect to the outer frame of the other image in accordance with the moving speed of the photographing range. For this reason, there may be a case where there is reflection in the overlapping area of one image and there is a shadow in the overlapping area of the other image. Also, the overlap area of one image may be at the center of the image and the overlap area of the other image may be at the periphery of the image. When these two problems occur, the distribution of the density of the pixels in the two overlapping areas differs even though the same subject is shown in the overlapping area of the two images.

【００１４】画像処理装置は、複数の画像の全体の明る
さを補正する場合、まず複数の画像のうちで重複領域を
有する２枚の画像を選択し、この２枚の画像の画素の濃
度値を上述の濃度補正方法を用いて補正する。次いで、
補正後の２枚の画像のうちの一方の画像と該一方の画像
との重複領域を持つ他の画像とを選択して、他の画像の
全体の明るさが該一方の画像の全体の明るさと等しくな
るように、上述の濃度補正方法を用いて補正する。さら
に、後者の補正処理を、残余の画像について順次繰返し
行う。When correcting the overall brightness of a plurality of images, the image processing apparatus first selects two images having an overlapping area from among the plurality of images, and selects the density values of the pixels of the two images. Is corrected using the above-described density correction method. Then
One of the two corrected images and another image having an overlapping area of the one image are selected, and the overall brightness of the other image is adjusted to the overall brightness of the one image. Is corrected using the above-described density correction method so as to be equal to. Further, the latter correction process is sequentially repeated for the remaining images.

【００１５】この場合、複数の画像に上述の２つの問題
のいずれかがあると、画像処理装置は一方および他方の
画像の重複領域の濃度値分布が異なると判定するので、
画像の全体の明るさがほぼ同じである場合にも、前記他
の画像の画素の濃度値を前記一方の画像の画素の濃度値
よりも明るくまたは暗く補正する。したがって、この補
正を繰返すと、反射および影ならびにシェーディングの
影響は後から補正した画像程大きくなるので、補正後の
前記他の画像の全体の明るさは、最初に選択された画像
の全体の明るさと比較して、徐々に暗くまたは明るくな
る。これによって、補正後の複数の画像の全体の明るさ
が一致しなくなる。In this case, if one of the above two problems is present in a plurality of images, the image processing apparatus determines that the density value distribution of the overlapping area of one image and the other image is different.
Even when the overall brightness of the image is substantially the same, the density value of the pixel of the other image is corrected to be brighter or darker than the density value of the pixel of the one image. Therefore, when this correction is repeated, the effects of reflection, shadow, and shading become larger in the image corrected later, so that the overall brightness of the other image after the correction becomes the overall brightness of the image selected first. Gradually darkens or brightens. As a result, the overall brightness of the plurality of corrected images does not match.

【００１６】特に、処理対象の画像が２〜３枚であれば
上述の問題の影響は少ないが、画像が増加するほど上述
の問題の影響が大きくなるので、処理対象の画像が約１
０枚程度であると、全体の明るさの不一致が人の目にも
明瞭に分かるようになる。このため、これら画像を合成
した場合に、その合成画像の濃淡および色調が部分的に
異なるので、合成画像に継ぎ目が生じる。In particular, if the number of images to be processed is two or three, the effect of the above-mentioned problem is small, but as the number of images increases, the effect of the above-mentioned problem becomes large.
When the number is about 0, the mismatch of the overall brightness can be clearly recognized by human eyes. For this reason, when these images are combined, a seam occurs in the combined image because the shades and colors of the combined image are partially different.

【００１７】画像合成処理のための濃度値変換に関する
他の従来技術として、特開平５−３５３８号公報の画像
合成装置が挙げられる。この画像合成装置では、デジタ
ル複写機等において、２枚の画像をそれぞれ光学的に走
査して複数種類の色信号として読取り、それら２枚の画
像が同じ領域内に重合わせるように各色信号を混合して
合成画像を形成する。この際に、一方の画像のそれら色
信号のうちの１色以上の色信号に基づいて、合成画像の
濃度値補正等の補正処理を行う。As another prior art relating to density value conversion for image synthesizing processing, there is an image synthesizing apparatus disclosed in Japanese Patent Application Laid-Open No. Hei 5-3538. In this image synthesizing apparatus, in a digital copying machine or the like, two images are optically scanned and read as a plurality of types of color signals, and each color signal is mixed so that the two images overlap in the same area. To form a composite image. At this time, correction processing such as density value correction of a composite image is performed based on one or more color signals of those color signals of one image.

【００１８】この補正処理は、合成画像の画素の濃度値
を飽和させずかつ鮮明にするために行われるので、上述
したような２枚の画像をつなぎ合わせる画像合成処理に
おける濃度値の補正処理とは目的が異なる。また、補正
処理を行う場合、２枚の画像の濃度値は一律に半分にさ
れるか可変に変化されるかのどちらかであり、その補正
率をどのように定めるかは述べられていない。ゆえに、
この補正処理を用いて、２枚の画像をつなぎ合わせるた
めの画像合成処理における補正処理を行った場合、２枚
の画像の全体の明るさを適確に合わせることは困難であ
る。This correction processing is performed to clarify the density values of the pixels of the composite image without saturating the pixels. Therefore, the correction processing of the density value in the image synthesis processing for joining two images as described above is performed. Have different purposes. Further, when performing the correction processing, the density values of the two images are either uniformly reduced to half or variably changed, and there is no description on how to determine the correction rate. therefore,
When the correction processing in the image synthesis processing for joining the two images is performed using this correction processing, it is difficult to accurately adjust the overall brightness of the two images.

【００１９】また、画像の濃度値変換に関する他の従来
技術として、特開平６−３０１７７５号公報の画像処理
装置が挙げられる。この画像処理装置では、処理対象の
入力画像の各画素の画素値（濃度値）の分散を求め、そ
れら分散の平均値と最大値とを求め、平均値が最大値に
ほぼ等しい場合は分散に基づいて画素の２値化を行い、
そうでない場合は入力画像から背景を除去した画像に対
して画素の２値化を行う。この画像処理方法は、線と陰
影および濃淡とが混在する入力画像を良好かつ容易に２
値化するために行われるので、２枚の画像の全体の明る
さを合わせるための濃度補正処理とは異なるものであ
り、この画像処理方法を用いても、２枚の画像の全体の
明るさを合わせることは困難である。As another conventional technique relating to image density value conversion, there is an image processing apparatus disclosed in Japanese Patent Laid-Open No. Hei 6-301775. In this image processing apparatus, the variance of the pixel value (density value) of each pixel of the input image to be processed is calculated, the average value and the maximum value of the variances are calculated, and when the average value is substantially equal to the maximum value, the variance is calculated. Pixel binarization based on
Otherwise, pixel binarization is performed on the image obtained by removing the background from the input image. This image processing method can easily and easily convert an input image in which lines, shading, and shading are mixed into two.
This is different from the density correction processing for adjusting the overall brightness of the two images because it is performed to convert the image into a value. Even if this image processing method is used, the overall brightness of the two images It is difficult to match.

【００２０】また、前記撮影装置には、画像信号だけに
基づいて自動的に画像全体の色調を補正する映像信号検
出方式のＡＷＢ（Auto White Balance）回路が備えられ
ていることがある。このＡＷＢ回路は、画像を構成する
画素の色のほとんどが同一色である場合、色調を正しく
補正することが難しくなる。特に、合成対象となる画像
は、その他の用途の画像と比較して撮影時の倍率が大き
いことが多いために、被写体の一部分だけを写している
ことが多く、画素の色が特定の色に偏り易いので、色調
を正しく補正することが難しい。Further, the photographing apparatus may be provided with an AWB (Auto White Balance) circuit of a video signal detection system for automatically correcting the color tone of the entire image based only on the image signal. In the AWB circuit, when most of the colors of the pixels constituting the image are the same color, it is difficult to correct the color tone correctly. In particular, since the image to be synthesized often has a large magnification at the time of shooting as compared with images for other purposes, only a part of the subject is often photographed, and the color of the pixel becomes a specific color. It is difficult to correct the color tone correctly because it is easily biased.

【００２１】また、ホワイトバランス補正を用いた従来
技術として、特開平６−２６１３３３号公報の撮影装置
が挙げられる。この撮影装置では、まず被写体を複数の
領域に分割して、各領域をそれぞれ撮影して合成対象の
複数の画像を得る。次いで、この各画像の映像信号の特
性を積分し、その積分値に基づいて、映像信号のホワイ
トバランスおよび濃度値を補正する。このとき、各映像
信号が表す画像はそれぞれ異なる領域を撮影したもので
あるので、このホワイトバランス補正によって補正され
た画像を合成した場合、合成画像内の画像のつなぎ目に
相当する部分を境界として、その両側の画素の濃度値お
よび色調が一致しないことがある。As a conventional technique using white balance correction, there is a photographing apparatus disclosed in Japanese Patent Application Laid-Open No. Hei 6-261333. In this photographing apparatus, first, a subject is divided into a plurality of regions, and each region is photographed to obtain a plurality of images to be combined. Next, the characteristics of the video signal of each image are integrated, and the white balance and the density value of the video signal are corrected based on the integrated value. At this time, since the images represented by the respective video signals are obtained by photographing different areas, when the images corrected by the white balance correction are combined, a portion corresponding to a joint of the images in the combined image is defined as a boundary. The density value and color tone of the pixels on both sides may not match.

【００２２】[0022]

【発明が解決しようとする課題】本発明の目的は、複数
の画像間の全体の明るさの違いを容易にかつ正しく補正
することができ、また複数の画像が合成された画像の色
調を正しく補正することができる画像処理装置を提供す
ることである。SUMMARY OF THE INVENTION An object of the present invention is to easily and correctly correct the difference in overall brightness between a plurality of images, and to correct the color tone of an image obtained by combining a plurality of images. An object of the present invention is to provide an image processing device capable of performing correction.

【００２３】[0023]

【００２４】[0024]

【００２５】[0025]

【００２６】[0026]

【００２７】[0027]

【００２８】[0028]

【００２９】[0029]

【００３０】[0030]

【００３１】[0031]

【００３２】[0032]

【００３３】[0033]

【課題を解決するための手段】本発明は、複数の画素か
らなる複数の画像Ｐ1 〜Ｐn について、一対の画像Ｐk-
1 ，Ｐk （ｋ＝２〜ｎ）が相互に重なる重複領域を、そ
れぞれ求める重複領域決定手段と、各一対の画像Ｐk-1
，Ｐk の重複領域の画素の濃度値の分布を代表する代
表値ｍｒk-1 ，ｍｃk を、それぞれ求める濃度値統計手
段と、複数の画像のうちのいずれか１つの画像Ｐ1 を基
準とした複数の画像のうちの残余の各画像Ｐk の各画素
の濃度値の比Ｒk を、各一対の画像Ｐk-1 ，Ｐk の代表
値ｍｒk-1 ，ｍｃk の比に基づいてそれぞれ求める補正
率演算手段と、複数の比Ｒ2 〜Ｒn の分布に基づい
て、各比Ｒk の修正率Ｘk を求める修正率演算手段と、
各画像Ｐ1 〜Ｐn 毎に、該画像Ｐk の比Ｒk と修正率Ｘ
k とに基づいて、各画素の濃度値を補正する濃度値補正
手段とを含むことを特徴とする画像処理装置である。According to the present invention, for a plurality of images P1 to Pn comprising a plurality of pixels, a pair of images Pk-
1, Pk (k = 2 to n), an overlapping area determining means for respectively obtaining overlapping areas, and a pair of images Pk-1
, Pk, representative values mrk-1 and mck representative of the distribution of the density values of the pixels in the overlapping area, and a plurality of density value statistical means for determining each of the density values, and a plurality of values based on one of the plurality of images P1. Correction rate calculating means for determining a ratio Rk of the density values of the pixels of each of the remaining images Pk of the images based on the ratio of the representative values mrk-1 and mck of the pair of images Pk-1 and Pk; Correction rate calculating means for obtaining a correction rate Xk of each ratio Rk based on a distribution of a plurality of ratios R2 to Rn;
For each of the images P1 to Pn, the ratio Rk of the image Pk and the correction rate X
and a density value correcting means for correcting the density value of each pixel based on k.

【００３４】本発明に従えば、画像処理装置は、まず複
数の画像Ｐ1 〜Ｐn を２枚ずつ順次組合わせ、各一対の
画像Ｐk-1 ，Ｐk の代表値ｍｒk-1 ，ｍｃk を算出し、
その代表値ｍｒk-1 ，ｍｃk の比に基づいて前記濃度値
の比Ｒk を求める。この濃度値の比Ｒk には、従来技術
で説明した反射および影ならびにシェーディング等の影
響によって、濃度値の見積もり誤りが含まれる。ゆえ
に、これら濃度値の比Ｒ2 〜Ｒn に基づいて見積もり誤
りの割合を推定して修正率Ｘｒを求め、その修正率によ
って、その見積もり誤りを除くように濃度値の比Ｒk を
修正する。最後に、修正後の濃度値の比に基づいて、画
像Ｐk-1 ，Ｐk の画素の濃度値を補正する。これによっ
て、たとえば１０枚程度の多数の画像の全体の明るさを
等しくするように補正する場合、濃度値の見積もり誤り
の影響を受けることを防止することができる。したがっ
て、本発明の画像処理装置では、従来技術の画像処理装
置よりも簡単な処理によって確実に、複数の画像の全体
の明るさの補正を行うことができる。According to the present invention, the image processing apparatus first combines a plurality of images P1 to Pn two by two, and calculates representative values mrk-1 and mck of each pair of images Pk-1 and Pk.
The ratio Rk of the density values is determined based on the ratio of the representative values mrk-1 and mck. The density value ratio Rk includes a density value estimation error due to the influence of reflection and shadow, shading, and the like described in the related art. Therefore, the estimation error rate is estimated based on the density value ratios R2 to Rn to determine the correction rate Xr, and the density value ratio Rk is corrected by the correction rate so as to eliminate the estimation error. Finally, the density values of the pixels of the images Pk-1 and Pk are corrected based on the corrected density value ratio. In this way, for example, when correction is performed so that the entire brightness of a large number of about 10 images is equal, it is possible to prevent the image from being influenced by the estimation error of the density value. Therefore, the image processing apparatus of the present invention can surely correct the overall brightness of a plurality of images by simpler processing than the conventional image processing apparatus.

【００３５】本発明は、前記複数の比Ｒ2 〜Ｒn を格納
するテーブルと、テーブルに格納された前記各比Ｒk
を、前記修正率Ｘk に基づいてそれぞれ修正する修正手
段とをさらに含み、前記濃度値補正手段は、前記各画像
Ｐ1 〜Ｐn 毎に、テーブルに格納された修正後の比Ｒk
に基づいて、各画素の濃度値を補正することを特徴とす
る。According to the present invention, there is provided a table storing the plurality of ratios R2 to Rn, and the respective ratios Rk stored in the table.
And a correction means for correcting each of the images P1 to Pn with the corrected ratio Rk stored in the table for each of the images P1 to Pn.
, The density value of each pixel is corrected based on

【００３６】本発明に従えば、補正率演算手段は、濃度
値補正手段によって濃度値が補正される前に、修正前お
よび修正後の比をテーブルに格納しておく。これによっ
て、濃度値補正手段が画素の濃度値を補正する時点で行
う演算量を、テーブルが無い場合と比較して減少させる
ことができる。According to the present invention, before the density value is corrected by the density value correcting means, the correction rate calculating means stores the ratio before and after the correction in a table. Thus, the amount of calculation performed when the density value correction unit corrects the density value of the pixel can be reduced as compared with the case where there is no table.

【００３７】本発明は、前記修正率演算手段は、前記重
複領域を順次重ねて前記画像Ｐ1 〜Ｐn を並べた場合の
並べ順ｋと前記各画像Ｐk の比Ｒk との関係を予め定め
る近似式によって近似し、その近似式の定数と並べ順ｋ
とに基づいて前記各修正率Ｘk を定めることを特徴とす
る。According to the present invention, the correction rate calculating means preferably includes an approximate expression for determining a relationship between an arrangement order k when the overlapping areas are sequentially overlapped and the images P1 to Pn arranged and a ratio Rk of the images Pk. And the constant of the approximate expression and the order k
The correction rates Xk are determined based on

【００３８】本発明に従えば、前記修正率演算手段は、
前記修正率を上述の手順によって求める。これによっ
て、前記濃度値の比Ｒ2 〜Ｒn のうちの見積もり誤りの
割合を確実に求めることができる。According to the present invention, the correction rate calculating means includes:
The correction rate is determined by the above-described procedure. Thus, the ratio of the estimation error in the density value ratios R2 to Rn can be reliably obtained.

【００３９】本発明は、前記近似式は指数関数（ｙ＝ａ
^x）であり、前記定数は指数関数の底ａであることを特
徴とする。According to the present invention, the approximate expression is an exponential function (y = a
^x ), wherein the constant is a base a of an exponential function.

【００４０】本発明に従えば、前記近似式は、指数関数
である。たとえば処理対象の複数の画像Ｐ1 〜Ｐn が光
源と被写体と撮影装置との位置関係がおおよそ一定とな
る条件下に得られ、かつ画像内の被写体の反射および影
ならびにシェーディングの影響を受けた画素が一対の画
像Ｐk-1 ，Ｐk 間でほぼ同じ位置に現れる場合、前記影
響は並べ順の増加に伴って指数関数的に増大するので、
複数の濃度値の比Ｒ2〜Ｒn と並べ順ｋとの関係を指数
関数によって近似することができる。したがって、近似
式を指数関数とすることによって、上述の場合に見積も
り誤りの割合を確実に求めることができる。また、見積
もり誤りの割合が減少していく場合、その割合は０に近
付くが０以下とはならない。このような場合でも、指数
関数の底ａを０より大きく１未満の値（０＜ａ＜１）と
することによって、複数の濃度値の比Ｒ2 〜Ｒn と並べ
順ｋとの関係を確実に近似することができる。According to the invention, said approximation is an exponential function. For example, a plurality of images P1 to Pn to be processed are obtained under conditions where the positional relationship between the light source, the subject, and the photographing device is approximately constant, and the pixels affected by the reflection, shadow, and shading of the subject in the image are obtained. When appearing at almost the same position between a pair of images Pk-1 and Pk, the effect increases exponentially with an increase in the arrangement order.
The relationship between the ratios R2 to Rn of the plurality of density values and the arrangement order k can be approximated by an exponential function. Therefore, by making the approximation expression an exponential function, the estimation error rate can be reliably obtained in the above case. Also, when the rate of estimation error decreases, the rate approaches 0 but does not become 0 or less. Even in such a case, by setting the base a of the exponential function to a value greater than 0 and less than 1 (0 <a <1), the relationship between the ratios R2 to Rn of the plurality of density values and the arrangement order k can be ensured. Can be approximated.

【００４１】本発明は、前記濃度値は、予め定める３色
の成分によって構成され、前記濃度値統計手段、前記補
正率演算手段、前記修正率演算手段、および前記濃度値
補正手段は、濃度値の各成分毎に処理を行うことを特徴
とする。In the present invention, the density value is constituted by three predetermined color components, and the density value statistical means, the correction rate calculation means, the correction rate calculation means, and the density value correction means include The processing is performed for each of the components.

【００４２】本発明に従えば、画像処理装置の各手段
は、濃度値の各成分毎に処理を行う。これによって、画
像Ｐ1 〜Ｐn がカラー画像である場合にも、従来技術の
画像処理装置よりも簡単にかつ確実に、画像全体の明る
さの補正を行うことができる。According to the present invention, each means of the image processing apparatus performs processing for each component of the density value. As a result, even when the images P1 to Pn are color images, the brightness of the entire image can be corrected more easily and more reliably than the conventional image processing apparatus.

【００４３】本発明は、各画素の濃度値が補正された画
像を、前記重複領域を順次重ねて合成する合成手段をさ
らに含むことを特徴とする。The present invention is characterized in that it further comprises a synthesizing means for synthesizing an image in which the density value of each pixel has been corrected by superimposing the overlapping areas sequentially.

【００４４】本発明に従えば、画像処理装置は、上述の
合成手段によって、複数の画像を合成する。この合成処
理の前に、各画像の全体の明るさが補正されているの
で、合成された画像内で画像のつなぎ目に相当する部分
の両側の画素の濃度は滑らかに変化する。したがって、
この合成された画像の中には色調および濃淡が極端に変
化する部分が無い。これによって、従来技術の画像処理
装置によって合成された画像よりも、合成された画像の
画質を向上させることができる。According to the present invention, the image processing apparatus combines a plurality of images by the combining means described above. Since the overall brightness of each image has been corrected before this synthesis processing, the density of the pixels on both sides of the portion corresponding to the seam of the images in the synthesized image changes smoothly. Therefore,
There is no part in which the color tone and the shading are extremely changed in the synthesized image. As a result, the image quality of the combined image can be improved as compared with the image combined by the image processing device of the related art.

【００４５】本発明は、合成された画像のホワイトバラ
ンスを補正するホワイトバランス補正手段をさらに含む
ことを特徴とする。The present invention is characterized by further comprising a white balance correcting means for correcting the white balance of the synthesized image.

【００４６】本発明に従えば、画像処理装置は、上述の
ホワイトバランス補正手段によって、合成された画像の
ホワイトバランスを補正する。これは、以下の理由から
である。合成対象の複数の各画像は、従来技術で述べた
理由から、その画像を構成する画素の色が或る一部の色
に偏っていることが多いが、合成された画像は、合成対
象の複数の各画像に写された範囲よりも広い範囲を写す
ので、画像を構成する画素の色の偏りがなくなる。映像
信号検出方式を用いたホワイトバランス補正は、補正対
象の画像に色の偏りがないほど、正確にホワイトバラン
スを補正することができる。このため、合成された画像
を補正対象とした場合、複数の各画像Ｐk に色の偏りが
それぞれあるときでも、映像信号検出方式を用いたホワ
イトバランス補正手段を用いて確実にホワイトバランス
を補正することができる。According to the present invention, the image processing apparatus corrects the white balance of the synthesized image by the above-mentioned white balance correcting means. This is for the following reason. In each of the plurality of images to be combined, the colors of the pixels constituting the image are often biased to a certain color for the reasons described in the related art, but the combined image is Since a range wider than the range captured in each of the plurality of images is captured, there is no bias in the color of pixels constituting the image. In the white balance correction using the video signal detection method, the white balance can be corrected more accurately as the color of the image to be corrected is not biased. Therefore, when the synthesized image is to be corrected, the white balance is reliably corrected using the white balance correction unit using the video signal detection method even when the plurality of images Pk each have a color deviation. be able to.

【００４７】[0047]

【発明の実施の形態】図１は、本発明の第１実施形態で
ある画像処理装置を含む合成画像作成装置１の電気的構
成を表すブロック図である。合成画像作成装置１は、撮
影装置３、読取り装置４、画像処理装置５、表示装置
６、および印刷装置７を含む。画像処理装置５は、中央
演算処理回路９と記憶装置１０とを含む。記憶装置１０
は、メモリ１１と外部記憶装置１２とを含む。撮影装置
３、読取り装置４、表示装置６、印刷装置７、中央演算
処理回路９、メモリ１１、および外部記憶装置１２は、
バスライン１４にそれぞれ接続され、バスライン１４を
介して相互に信号の授受を行う。以後の説明では、バス
ライン１４に関する記載は省略する。画像処理装置５
は、たとえばパーソナルコンピュータの本体によって実
現される。FIG. 1 is a block diagram showing an electrical configuration of a composite image creating apparatus 1 including an image processing apparatus according to a first embodiment of the present invention. The composite image creation device 1 includes a photographing device 3, a reading device 4, an image processing device 5, a display device 6, and a printing device 7. The image processing device 5 includes a central processing unit 9 and a storage device 10. Storage device 10
Includes a memory 11 and an external storage device 12. The photographing device 3, the reading device 4, the display device 6, the printing device 7, the central processing circuit 9, the memory 11, and the external storage device 12
They are connected to the bus lines 14, respectively, and mutually exchange signals via the bus lines 14. In the following description, description regarding the bus line 14 will be omitted. Image processing device 5
Is realized by, for example, a main body of a personal computer.

【００４８】撮影装置３は、レンズを含む光学系および
撮影素子を含み、予め定める撮影範囲内の物体を撮影し
て、複数の画素から構成される画像を表す画像信号を生
成する。撮影装置３は、たとえば、ビデオカメラおよび
デジタルスチルカメラによって実現され、撮影素子は、
たとえばＣＣＤイメージセンサによって実現される。読
取り装置４は、たとえばＣＤ−ＲＯＭ，光磁気ディス
ク、フロッピーディスクによって実現される記憶媒体に
記憶された画像信号を読出す。The photographing device 3 includes an optical system including a lens and a photographing element, photographs an object within a predetermined photographing range, and generates an image signal representing an image composed of a plurality of pixels. The photographing device 3 is realized by, for example, a video camera and a digital still camera.
For example, it is realized by a CCD image sensor. The reading device 4 reads an image signal stored in a storage medium realized by, for example, a CD-ROM, a magneto-optical disk, or a floppy disk.

【００４９】記憶装置１０は、撮影装置３によって生成
された複数の画像信号、および読取り装置４によって読
出された複数の画像信号を、処理対象の画像を表す画像
信号として記憶する。また、中央演算処理回路９の動作
プログラムおよびプログラムの実行に必要な各種の制御
データを記憶する。中央演算処理回路９は、記憶装置１
０に記憶された動作プログラムを読出し、その動作プロ
グラムに基づいて、記憶装置１０に記憶された複数の画
像信号から単一の出力画像信号を生成する。生成された
出力画像信号は記憶装置１０に記憶され、また表示装置
６および印刷装置７に与えられる。メモリ１１は、たと
えばリードオンリメモリおよびランダムアクセスメモリ
によって実現され、外部記憶装置１２は、たとえばハー
ドディスク装置によって実現される。The storage device 10 stores a plurality of image signals generated by the photographing device 3 and a plurality of image signals read by the reading device 4 as image signals representing an image to be processed. Further, it stores an operation program of the central processing unit 9 and various control data necessary for executing the program. The central processing circuit 9 stores the storage device 1
The operation program stored in the storage device 10 is read, and a single output image signal is generated from the plurality of image signals stored in the storage device 10 based on the operation program. The generated output image signal is stored in the storage device 10 and provided to the display device 6 and the printing device 7. The memory 11 is realized by, for example, a read-only memory and a random access memory, and the external storage device 12 is realized by, for example, a hard disk device.

【００５０】表示装置６は、たとえば、液晶表示装置お
よび陰極線管によって実現され、出力画像信号が表す出
力画像をその表示画面に表示する。印刷装置７は、出力
画像信号が表す出力画像を、記録紙等に印刷する。合成
画像作成装置１内では、各種の画像は画像信号の形態で
取扱われるので、以後の説明では、或る種類の画像を表
す画像信号を、単にその種類の画像と称することがあ
る。The display device 6 is realized by, for example, a liquid crystal display device and a cathode ray tube, and displays an output image represented by an output image signal on a display screen thereof. The printing device 7 prints the output image represented by the output image signal on recording paper or the like. Since various images are handled in the form of image signals in the composite image creating device 1, in the following description, an image signal representing a certain type of image may be simply referred to as that type of image.

【００５１】図２は、画像処理装置５が行う画像処理動
作を概略的に説明するための機能的ブロック図である。
機能的ブロック図では、単一のブロックが、中央演算処
理回路９の動作プログラムのうちで或る目的のための一
連の処理動作（サブルーチン）を表し、そのブロックへ
向かう矢印がその処理動作のために必要な入力信号およ
びデータを表し、そのブロックから出る矢印がその処理
動作の処理結果を示す入力信号およびデータを表す。画
像処理動作を行うためには、前提条件として、処理対象
の複数の画像が記憶装置１０に記憶されているものとす
る。以後、これら複数の画像を入力画像列と総称する。FIG. 2 is a functional block diagram for schematically explaining an image processing operation performed by the image processing apparatus 5.
In the functional block diagram, a single block represents a series of processing operations (subroutines) for a certain purpose in the operation program of the central processing circuit 9, and an arrow toward the block indicates the processing operation. , And an arrow from the block indicates an input signal and data indicating a processing result of the processing operation. In order to perform the image processing operation, it is assumed that a plurality of images to be processed are stored in the storage device 10 as a precondition. Hereinafter, these images are collectively referred to as an input image sequence.

【００５２】中央演算処理回路９が動作プログラムを実
行した場合、まず、中央演算処理回路９はマッチング手
段２１として動作し、入力画像列の各画像の相互の対応
関係を表すマッチング情報を求める。このマッチング情
報は、たとえば入力画像列の各画像が他のどの画像と重
なるか、またそれら画像を重ねた場合の位置関係を表
す。マッチング情報は、たとえば記憶装置１０に一時的
に記憶される。次いで、中央演算処理回路９は画像補正
手段２２として動作し、各画像のマッチング情報を参照
して、入力画像列の各画像に濃度値補正処理をそれぞれ
施す。これによって、各画像の全体の明るさ、すなわち
各画像の全体の濃淡および色調を合わせる。次いで中央
演算処理回路９は合成手段２３として動作し、マッチン
グ情報を参照して濃度値補正処理後の複数の画像を合成
することによって、合成画像を作成する。この合成画像
が、出力画像として記憶装置１０に記憶される。When the central processing circuit 9 executes the operation program, first, the central processing circuit 9 operates as the matching means 21 and obtains matching information indicating the mutual correspondence between the images in the input image sequence. This matching information indicates, for example, which image of the input image sequence overlaps with which other image, and the positional relationship when the images are overlapped. The matching information is temporarily stored in the storage device 10, for example. Next, the central processing circuit 9 operates as the image correcting means 22 and performs density value correction processing on each image of the input image sequence with reference to the matching information of each image. Thus, the overall brightness of each image, that is, the overall density and color tone of each image is adjusted. Next, the central processing circuit 9 operates as the synthesizing means 23, and synthesizes a plurality of images after the density value correction processing with reference to the matching information to create a synthesized image. This composite image is stored in the storage device 10 as an output image.

【００５３】以下に、画像処理動作を詳細に説明する。
入力画像列は、たとえば、以下の条件の元で得られる。
撮影装置３はビデオカメラであり、光源が撮影装置３と
被写体とから充分に離れた位置、たとえば無限遠点にあ
るものと仮定する。合成画像作成装置１の操作者は、撮
影装置３によって被写体およびその周辺を撮影させなが
ら、その撮影装置３の撮影範囲を、光源と被写体と撮影
装置３との位置関係がほぼ変わらないように、時間経過
に伴って移動させる。この撮影装置３によって得られる
動画の１つのフレームを得るために必要な時間内に撮影
範囲が移動する距離は、そのフレームの幅または高さよ
りも短いものとする。このように被写体を撮影する例と
して、たとえば、室内で撮影範囲よりも広い原稿を撮影
装置３によって走査しつつ撮影する場合、ならびに屋外
でパン撮影およびチルト撮影を行う場合が挙げられる。
上述の手法によって被写体を撮影した場合、少なくとも
連続する２つのフレームの画像は、その一部分に同じ被
写体または被写体の同じ部分がそれぞれ写っているの
で、相互に重なる。この動画の連続する複数のフレーム
の画像を、それぞれ入力画像列の画像とする。Hereinafter, the image processing operation will be described in detail.
The input image sequence is obtained, for example, under the following conditions.
It is assumed that the photographing device 3 is a video camera, and the light source is located at a position sufficiently distant from the photographing device 3 and the subject, for example, at an infinity point. The operator of the synthetic image creating apparatus 1 makes the photographing range of the photographing device 3 change while keeping the positional relationship between the light source, the subject, and the photographing device 3 substantially unchanged while photographing the subject and its surroundings by the photographing device 3. Move over time. The moving distance of the shooting range within the time required to obtain one frame of the moving image obtained by the shooting device 3 is shorter than the width or height of the frame. Examples of such photographing of a subject include, for example, a case where a document wider than a photographing range is photographed while being scanned indoors by the photographing device 3, and a case where pan photographing and tilt photographing are performed outdoors.
When the subject is photographed by the above-described method, the images of at least two consecutive frames overlap each other because the same subject or the same portion of the subject is respectively captured in a part thereof. The images of a plurality of continuous frames of the moving image are assumed to be images of the input image sequence.

【００５４】以後の説明では、入力画像列を、２枚の画
像Ｐ1 ，Ｐ2 であると仮定する。図３（１）は、入力画
像列の画像Ｐ1 ，Ｐ2 を表す図である。図３では、画像
Ｐ1，Ｐ2 の外枠とそのエッジだけを実線によって表
す。この画像Ｐ1 ，Ｐ2 は、たとえば行列状に配置され
た複数の画素によって構成される。前述の画像信号は、
画像内の各画素の位置および各画素の濃度値を含む。濃
度値は、たとえば予め定める範囲の整数であり、その画
素の濃度を表す。また、濃度に代わって、輝度および明
度であってもよい。画像Ｐ1 ，Ｐ2 は、その一部分に同
じ被写体または被写体の同じ部分が写っているので、画
像内の画素の濃度分布だけに着目した場合、図３（２）
に示すように、その画像Ｐ1 ，Ｐ2 の一部分のエッジが
一致するように、相互に重ねることができる。この重な
る部分を、重複領域ｑ1 ，ｑ2 とする。図３では、重複
領域ｑ1 ，ｑ2 に斜線を付して示す。In the following description, it is assumed that the input image sequence is two images P1 and P2. FIG. 3A is a diagram showing the images P1 and P2 of the input image sequence. In FIG. 3, only the outer frames of the images P1 and P2 and their edges are represented by solid lines. The images P1 and P2 are composed of, for example, a plurality of pixels arranged in a matrix. The above image signal is
It contains the position of each pixel in the image and the density value of each pixel. The density value is, for example, an integer within a predetermined range and represents the density of the pixel. Also, instead of the density, luminance and brightness may be used. In the images P1 and P2, since the same subject or the same part of the subject is shown in a part thereof, if attention is paid only to the density distribution of the pixels in the images, FIG.
As shown in FIG. 7, the images P1 and P2 can be overlapped with each other so that the edges of portions thereof coincide with each other. These overlapping portions are referred to as overlapping regions q1 and q2. In FIG. 3, the overlap areas q1 and q2 are shown with diagonal lines.

【００５５】図４（１）は、画像Ｐ1 の重複領域ｑ1 を
構成する画素の濃度値のヒストグラムであり、図４
（２）は、画像Ｐ2 の重複領域ｑ2 を構成する画素の濃
度値のヒストグラムである。このヒストグラムは、縦軸
が画素数であり横軸が濃度値である。重複領域ｑ1 ，ｑ
2 は、被写体の同じ部分を写しているので、その濃度値
のヒストグラムはほぼ等しい筈である。図４（１），
（２）を比較すると、両ヒストグラムを表す曲線４１，
４２の形状は類似しているが、その位置が全体的にずれ
ている。このことから、画像Ｐ1 の全体の明るさが、画
像Ｐ2 の全体の明るさよりも、全体的に暗いまたは明る
いことが分かる。FIG. 4A is a histogram of the density values of the pixels constituting the overlapping area q1 of the image P1.
(2) is a histogram of the density values of the pixels constituting the overlapping area q2 of the image P2. In this histogram, the vertical axis is the number of pixels, and the horizontal axis is the density value. Overlapping area q1, q
2 shows the same part of the subject, so the histograms of the density values should be almost equal. Fig. 4 (1),
Comparing (2), curves 41, representing both histograms,
Although the shape of 42 is similar, its position is totally displaced. This indicates that the overall brightness of the image P1 is darker or brighter than the overall brightness of the image P2.

【００５６】図５を用いて、マッチング手段２１におけ
るマッチング情報の算出手法を詳細に説明する。マッチ
ング情報を求めるには、たとえば、ブロックマッチング
法が用いられる。The method of calculating matching information in the matching means 21 will be described in detail with reference to FIG. To obtain the matching information, for example, a block matching method is used.

【００５７】この場合、具体的には、マッチング手段２
１は、まず、画像Ｐ1 ，Ｐ2 のいずれか一方を参照画像
Ｆとし、いずれか他方を探索画像Ｇと仮定する。次い
で、参照画像Ｆ内に、参照領域ｆを設定する。参照領域
ｆは、たとえば、参照画像Ｆのうちで探索画像Ｇと重な
り得る領域の内部に設定され、かつその大きさが該領域
以下であることが好ましい。次いで、探索画像Ｇ内に、
参照領域ｆと大きさが等しい探索領域ｇを設定し、この
参照領域ｆと探索領域ｇとの画素の濃度分布を比較する
ための指標を求める。In this case, specifically, the matching means 2
First, it is assumed that one of the images P1 and P2 is a reference image F and the other is a search image G. Next, a reference area f is set in the reference image F. It is preferable that the reference area f is set, for example, inside an area of the reference image F that can overlap the search image G, and that the size of the reference area f is equal to or smaller than the area. Next, in the search image G,
A search area g having the same size as the reference area f is set, and an index for comparing the density distribution of pixels between the reference area f and the search area g is obtained.

【００５８】この指標として、たとえば差分ｄが用いら
れる。差分ｄは、領域ｆ，ｇの対応する画素の濃度値の
差の絶対値の総和であり、式２によって求められる。対
応する画素とは、たとえば、領域ｆ，ｇをその外枠が一
致するように重ねた場合に、重なり合う画素を指す。次
式において、「ｆ」は参照領域ｆの或る画素の濃度値を
示し、「ｇ」は、参照領域ｆの前記或る画素に対応する
探索領域Ｇの画素の濃度値を示す。 ｄ ＝ Σ｜ｆ−ｇ｜ …（２）As this index, for example, the difference d is used. The difference d is the sum of the absolute values of the differences between the density values of the corresponding pixels in the regions f and g, and is obtained by Expression 2. The corresponding pixel indicates a pixel that overlaps when, for example, the regions f and g are overlapped so that their outer frames match. In the following equation, “f” indicates a density value of a certain pixel in the reference area f, and “g” indicates a density value of a pixel in the search area G corresponding to the certain pixel in the reference area f. d = Σ | f−g | (2)

【００５９】この差分ｄを、参照画像Ｆの基準点に対す
る参照領域ｆの位置を固定したまま探索画像Ｇの基準点
に対する探索領域ｇの位置を複数の箇所に変えて、各箇
所毎に求める。画像Ｆ，Ｇの基準点は、たとえば画像
Ｆ，Ｇに設定される座標系の原点であり、仮に画像Ｆ，
Ｇの左上角の頂点であるとする。この差分ｄが最小であ
る場合に、設定された探索領域ｇと参照領域ｆとの画素
の濃度分布が最も類似していると考えることができる。
このため、求めた複数の差分ｄを比較して最小の差分ｄ
を求め、その差分を求めたときの探索領域ｇの位置と参
照領域ｆの位置との差を、マッチング情報として求め
る。この位置の差は、画像Ｆ，Ｇを、その中で濃度分布
が最も類似する部分が重なるように重ね合わせた場合に
おける画像Ｆ，Ｇの基準点のずれと等しい。The difference d is obtained for each location by changing the location of the search area g relative to the reference point of the search image G to a plurality of locations while keeping the location of the reference area f relative to the reference point of the reference image F. The reference point of the images F and G is, for example, the origin of the coordinate system set for the images F and G.
Let G be the top left corner of G. When the difference d is the minimum, it can be considered that the set search area g and the reference area f have the most similar pixel density distribution.
For this reason, the plurality of obtained differences d are compared and the minimum difference d is calculated.
Is obtained, and the difference between the position of the search area g and the position of the reference area f when the difference is obtained is obtained as matching information. The difference between the positions is equal to the shift of the reference points of the images F and G when the images F and G are overlapped so that the parts having the most similar density distribution overlap each other.

【００６０】このような手法を用いてマッチング情報を
求めた場合、画像Ｐ1 ，Ｐ2 の基準点のずれが求められ
る。これによって、マッチング情報に基づいて、画像Ｐ
1 ，Ｐ2 の重複領域ｑ1 ，ｑ2 を定めることができる。
たとえば、その基準点をこのずれだけずらして画像Ｐ1
，Ｐ2 を重ね合わせた場合に重なる領域全体を、各画
像Ｐ1 ，Ｐ2 の重複領域ｑ1 ，ｑ2 とする。この重複領
域ｑ1 ，ｑ2 は、マッチング情報を求める手法によって
は、同じ大きさになるとは限らない。また、矩形である
とも限らない。このように、マッチング手段は、画像Ｐ
1 ，Ｐ2 の重複領域を求めるための重複領域決定手段と
して働く。When matching information is obtained by using such a method, the deviation of the reference point between the images P1 and P2 is obtained. Thereby, based on the matching information, the image P
1 and P2 can be defined as overlapping areas q1 and q2.
For example, by shifting the reference point by this shift, the image P1
, P2 are defined as overlapping regions q1, q2 of the images P1, P2. The overlapping areas q1 and q2 do not always have the same size depending on the method of obtaining the matching information. Also, the shape is not necessarily rectangular. As described above, the matching means sets the image P
1 and P2 serve as overlapping area determining means for obtaining an overlapping area.

【００６１】マッチング情報を求めるための手法は、上
述のブロックマッチング法に限らず、画像Ｐ1 ，Ｐ2 間
の対応関係が求められるものであれば、他の手法を用い
ても良い。また、ブロックマッチング法を用いる場合で
も、差分ｄの代わりに他の指標、たとえば相関等によっ
て求められる領域ｆ，ｇの類似度を用いてもよい。ま
た、入力画像列が３枚以上の画像から構成される場合、
まずその中から２枚の画像を選んで上述の処理を行い、
各画像に対して少なくとも１つの他の画像とのマッチン
グ情報が求められるまで、選ぶ画像の組合わせを変えて
この処理を繰返せばよい。The method for obtaining the matching information is not limited to the above-described block matching method, and other methods may be used as long as the correspondence between the images P1 and P2 can be obtained. Further, even when the block matching method is used, another index, for example, the similarity between the regions f and g obtained by correlation or the like may be used instead of the difference d. When the input image sequence is composed of three or more images,
First, two images are selected from them and the above processing is performed.
This process may be repeated with different combinations of images to be selected until matching information with at least one other image is obtained for each image.

【００６２】次いで、画像補正手段２２における濃度値
補正動作を詳細に説明する。図６は、濃度値補正動作を
説明するための機能的ブロック図である。画像補正手段
２２は、入力画像列の画像Ｐ1 ，Ｐ2 のうちの一方を基
準画像とし、他方を補正対象画像とする。以後の説明で
は、画像Ｐ1 を基準画像とし、画像Ｐ2 を補正対象画像
と仮定する。Next, the density value correcting operation in the image correcting means 22 will be described in detail. FIG. 6 is a functional block diagram for explaining the density value correction operation. The image correction means 22 uses one of the images P1 and P2 of the input image sequence as a reference image and the other as a correction target image. In the following description, it is assumed that the image P1 is a reference image and the image P2 is a correction target image.

【００６３】中央演算処理回路９が画像補正手段２２と
して動作する場合、具体的には、まず中央演算処理回路
９は、濃度値統計部５１として動作する。濃度値統計部
５１は、画像Ｐ1 ，Ｐ2 を読出し、マッチング情報に基
づいて各画像Ｐ1 ，Ｐ2 の重複領域ｑ1 ，ｑ2 を求め
る。次いで、重複領域ｑ1 ，ｑ2 の画素の濃度値の分布
を代表する代表値ｍｒ1 ，ｍｃ2 を求める。代表値ｍｒ
1 ，ｍｃ2 は、たとえば記憶装置１０に一時的に記憶さ
れる。When the central processing circuit 9 operates as the image correcting means 22, first, the central processing circuit 9 operates as the density value statistic section 51. The density value statistic unit 51 reads out the images P1 and P2, and obtains the overlapping areas q1 and q2 of the images P1 and P2 based on the matching information. Next, representative values mr1 and mc2 representing the distribution of the density values of the pixels in the overlapping areas q1 and q2 are obtained. Representative value mr
1 and mc2 are temporarily stored in the storage device 10, for example.

【００６４】次いで、中央演算処理回路９は濃度値補正
部５２として動作する。濃度値補正部５２は、概略的に
は、代表値ｍｒ1 ，ｍｃ2 の比に基づいて、重複領域ｑ
1 ，ｑ2 の全体の明るさが一致するように、画像Ｐ1 ，
Ｐ2 の各画素の濃度値を補正する。具体的には、濃度値
補正部５２は、まず、補正率として、補正対象画像Ｐ2
の重複領域ｑ2 の代表値ｍｃ2 に対する基準画像Ｐ1 の
重複領域ｑ1 の代表値ｍｒ1 の比Ｒを求める。式３は、
比Ｒの算出式である。Next, the central processing circuit 9 operates as the density value correction section 52. The density value correction unit 52 roughly determines the overlapping area q based on the ratio of the representative values mr1 and mc2.
1 and q2 so that the overall brightness of the images P1,
The density value of each pixel of P2 is corrected. Specifically, the density value correction unit 52 first sets the correction target image P2
The ratio R of the representative value mr1 of the overlap region q1 of the reference image P1 to the representative value mc2 of the overlap region q2 of the reference image P1 is determined. Equation 3 is
It is a calculation formula of the ratio R.

【００６５】[0065]

【数１】 (Equation 1)

【００６６】次いで濃度値補正部５２は、補正対象画像
Ｐ2 の各画素の濃度値に比Ｒを乗じる。式４は、濃度値
補正の計算式である。次式において、ｐｉは補正対象画
像Ｐ2 の或る画素の補正前の濃度値、ｐｏは補正画像の
前記或る画素の濃度値、ｐｍａｘは濃度値が取得る最大
値を表す。通常、濃度値は有限の整数、たとえば０以上
２５５以下の値だけを取得るので、積に小数点以下の端
数が含まれる場合には、その積を自然数に丸めることが
好ましい。また、補正画像の濃度値ｐｏは濃度値が取得
る値の最大値ｐｍａｘで飽和することが好ましいので、
積が最大値ｐｍａｘ以上である場合には、その積を最大
値ｐｍａｘに置換えている。Next, the density value correction section 52 multiplies the density value of each pixel of the correction target image P2 by the ratio R. Equation 4 is a calculation equation for density value correction. In the following equation, pi represents the density value of a certain pixel of the correction target image P2 before correction, po represents the density value of the certain pixel of the corrected image, and pmax represents the maximum value obtained by the density value. Normally, only a finite integer, for example, a value of 0 or more and 255 or less is obtained as a density value. Therefore, when a product includes a fraction below a decimal point, it is preferable to round the product to a natural number. Further, since the density value po of the corrected image is preferably saturated at the maximum value pmax of the value obtained by the density value,
If the product is greater than or equal to the maximum value pmax, the product is replaced with the maximum value pmax.

【００６７】[0067]

【数２】 (Equation 2)

【００６８】濃度値補正部５２は、このように求められ
た積を各画素の補正後の濃度値として、補正対象画像Ｐ
2 の画像信号内の補正前の濃度値を補正後の濃度値に置
換える。これによって、濃度値が補正された補正対象画
像Ｐ2 、すなわち補正画像の画像信号が得られる。補正
画像の画像信号は、たとえば、記憶装置１０に一時的に
記憶される。The density value correcting section 52 sets the product thus obtained as the corrected density value of each pixel, and sets the corrected image P
2. Replace the density value before correction in the image signal with the density value after correction. As a result, a correction target image P2 whose density value has been corrected, that is, an image signal of the corrected image is obtained. The image signal of the corrected image is temporarily stored in the storage device 10, for example.

【００６９】たとえば図３，４の例では、この処理によ
って、重複領域ｑ2 のヒストグラムが元の位置よりも左
側に寄るように圧縮されるので、重複領域ｑ1 ，ｑ2 の
濃度値の代表値ｍｒ1 ，ｍｃ2 が一致する。これによっ
て、画像Ｐ1 の全体の明るさと補正後の画像Ｐ2 の全体
の明るさとがほぼ一致する。また、入力画像列が３枚以
上の画像から構成される場合、まず、画像が相互に重な
る２枚の画像を選択し、それら画像を処理対象の画像Ｐ
1 ，Ｐ2 として上述のマッチング処理と濃度値補正処理
を行う,。次いで、補正後の２枚の画像のうちのいずれ
か一方の画像と該画像に重なる他の画像とを選んで、そ
れら画像を処理対象の画像Ｐ1 ，Ｐ2 として、マッチン
グ処理と濃度値補正処理とを行う。この後者の動作を、
入力画像列の全画像に対して濃度値補正処理が施される
まで繰返す。これによって、３枚以上の画像の全体の明
るさを合わせることができる。For example, in the examples shown in FIGS. 3 and 4, the histogram of the overlapping area q2 is compressed so as to be closer to the left side from the original position by this processing, so that the representative values mr1 and m1 of the density values of the overlapping areas q1 and q2 are obtained. mc2 matches. As a result, the overall brightness of the image P1 and the overall brightness of the corrected image P2 substantially match. When the input image sequence is composed of three or more images, first, two images whose images overlap each other are selected, and those images are processed as the image P to be processed.
The above-described matching processing and density value correction processing are performed as 1, P2. Next, one of the two corrected images and another image overlapping the selected image are selected, and those images are set as processing target images P1 and P2. I do. This latter behavior,
This processing is repeated until the density value correction processing is performed on all the images in the input image sequence. This makes it possible to match the overall brightness of three or more images.

【００７０】代表値ｍｒ1 ，ｍｃ2 は、たとえば、重複
領域ｑ1 ，ｑ2 の濃度値の平均値ｍａｖ1 ，ｍａｖ2 で
ある。この平均値は、単純平均であってもよく、また重
付け平均であってもよい。また、代表値ｍｒ1 ，ｍｃ2
は、ヒストグラムにおいて画素数が最大値となる濃度値
であってもよい。さらに、ヒストグラムにおいて、或る
濃度値を中心とした予め定める幅内の濃度値の画素の数
の平均値を、中心の或る濃度値を変えてそれぞれ求め
て、これら平均値の最大値を求め、この最大値が求めら
れたときの中心の或る濃度値を、代表値ｍｒ1 ，ｍｃ2
としてもよい。この場合、分布を代表しておらず例外的
に画素数が増加した濃度値を、誤って代表値とすること
を防止することができる。重複領域の画素の濃度値の分
布を代表する値であれば、他の値を代表値として用いて
も良い。The representative values mr1 and mc2 are, for example, the average values mav1 and mav2 of the density values of the overlapping areas q1 and q2. This average value may be a simple average or a weighted average. Also, representative values mr1, mc2
May be a density value at which the number of pixels becomes the maximum value in the histogram. Further, in the histogram, an average value of the number of pixels having a density value within a predetermined width around a certain density value is obtained by changing a certain density value at the center, and the maximum value of these average values is obtained. , A certain density value at the center when the maximum value is obtained is represented by representative values mr1 and mc2.
It may be. In this case, it is possible to prevent the density value, which does not represent the distribution and the number of pixels of which is exceptionally increased, from being mistakenly set as the representative value. As long as the value is representative of the distribution of the density values of the pixels in the overlapping area, another value may be used as the representative value.

【００７１】前述の図４に示すように、平均値ｍａｖ1
，ｍａｖ2 は、ヒストグラムの最大値となる濃度値と
一致または近似しており、また濃度値分布の中心にも近
い。また、重複領域内の少数の画素、たとえば１つの画
素の濃度値が該複領域内の他の画素と大きく異なる場合
の平均値と、該濃度値が大きく異なる少数の画素がない
場合の平均値とは殆ど変わらないので、安定性が良い。
ゆえに、代表値ｍｒ1 ，ｍｃ2 として、平均値ｍａｖ1
，ｍａｖ2 を用いることが好ましい。As shown in FIG. 4 described above, the average value mav1
, Mav2 match or approximate the maximum density value of the histogram and are also close to the center of the density value distribution. Also, an average value when the density value of a small number of pixels in the overlapping area, for example, one pixel is significantly different from other pixels in the multiple area, and an average value when there is no small number of pixels whose density value is largely different from the other pixels Since this is almost the same as the above, the stability is good.
Therefore, as the representative values mr1 and mc2, the average value mav1
, Mav2 are preferably used.

【００７２】濃度値統計部５１は、重複領域ｑ1 ，ｑ2
の内側にあり重複領域ｑ1 ，ｑ2 よりも狭い領域の画素
だけを用いて、代表値ｍｒ1 ，ｍｃ2 を算出してもよ
い。この理由および効果を、図７を参照して説明する。The density value statistic section 51 calculates the overlapping areas q 1 and q 2
, The representative values mr1 and mc2 may be calculated using only pixels in an area that is inside and is smaller than the overlapping areas q1 and q2. The reason and effect will be described with reference to FIG.

【００７３】画像Ｐ1 ，Ｐ2 の画像信号には、雑音成分
が混入していたり信号歪みが生じていたりすることがあ
る。また、撮影装置３の構造等に起因して、画像Ｐ1 ，
Ｐ2を構成する画素の一部の濃度値が実際に定められな
いために、その画素の濃度値が欠けていることがある。
雑音成分および信号歪みの影響を受ける画素ｐｘならび
に欠損した画素ｐｙは、画像Ｐ1 ，Ｐ2 の周辺部にある
ことが多く、その位置は、撮影装置３に対して一意的に
定めることができる。In the image signals of the images P1 and P2, noise components may be mixed or signal distortion may occur. Further, due to the structure and the like of the photographing device 3, the images P1,
Since the density value of a part of the pixel constituting P2 is not actually determined, the density value of the pixel may be missing.
The pixel px affected by the noise component and the signal distortion and the missing pixel py are often located at the periphery of the images P1 and P2, and their positions can be uniquely determined with respect to the imaging device 3.

【００７４】重複領域ｑ1 ，ｑ2 をマッチング情報に基
づいて定める場合、重複領域ｑ1 ，ｑ2 全体の画素の濃
度分布を比較しないので、画素ｐｘ，ｐｙが重複領域ｑ
1 ，ｑ2 に含まれることがある。この場合に、重複領域
ｑ1 ，ｑ2 を構成する全ての画素の濃度値を用いて代表
値ｍｒ1 ，ｍｃ2 を算出すると、雑音成分および信号歪
みならびに欠損の影響を受けて、代表値ｍｒ1 ，ｍｃ2
に誤差が生じることがある。When the overlapping areas q1 and q2 are determined based on the matching information, since the density distribution of the pixels of the entire overlapping areas q1 and q2 is not compared, the pixels px and py correspond to the overlapping areas q
1, q2. In this case, when the representative values mr1 and mc2 are calculated using the density values of all the pixels constituting the overlap regions q1 and q2, the representative values mr1 and mc2 are affected by noise components, signal distortions, and loss.
May cause an error.

【００７５】これを防止するために、濃度値統計部５１
は、重複領域ｑ1 ，ｑ2 を定めた後に、その重複領域ｑ
1 ，ｑ2 の内部に、重複領域ｑ1 ，ｑ2 よりも小さい小
領域ｑａ1 ，ｑａ2 をさらに設定し、この小領域ｑａ1
，ｑａ2 を構成する画素の濃度値だけを用いて、代表
値ｍｒ1 ，ｍｃ2 を算出する。図７では、小領域ｑａ
1，ｑａ2 を斜線を付して示す。画素ｐｘ，ｐｙの位置
は一意的に定められるので、これら画素ｐｘ，ｐｙを含
まないように小領域ｑａ1 ，ｑａ2 を設定すれば、画素
の欠損ならびに雑音成分および信号歪みの影響を受ける
ことなく、代表値ｍｒ1 ，ｍｃ2 を算出することができ
る。To prevent this, the density value statistic unit 51
Defines the overlapping areas q1 and q2 and then sets the overlapping areas q
1 and q2, small areas qa1 and qa2 smaller than the overlapping areas q1 and q2 are further set.
, Qa2, the representative values mr1, mc2 are calculated using only the density values of the pixels. In FIG. 7, the small area qa
1, qa2 is shown with diagonal lines. Since the positions of the pixels px and py are uniquely determined, if the small areas qa1 and qa2 are set so as not to include the pixels px and py, the pixel is not affected by the loss of the pixel and the noise component and the signal distortion. The representative values mr1 and mc2 can be calculated.

【００７６】また、濃度値統計部５１は、重複領域ｑ1
，ｑ2 を構成する全画素のうちで全画素数よりも少な
い数の画素の濃度値だけを用いて、代表値ｍｒ1 ，ｍｃ
2 を算出してもよい。これによって、代表値ｍｒ1 ，ｍ
ｃ2 の算出処理に用いる画素の数が減少するので、算出
処理を簡略化することができ、ゆえに算出処理を高速化
することができる。代表値ｍｒ1 ，ｍｃ2 の算出に用い
る画素は、たとえば画素が行列状に配置される場合、予
め定める間隔で画素を間引くことによって選択する。ま
た、予め定める間隔で画素の行または列を間引くことに
よって選択してもよい。Further, the density value statistic unit 51 determines that the overlapping area q 1
, Q2, using only the density values of pixels smaller than the total number of pixels, the representative values mr1, mc
2 may be calculated. As a result, the representative values mr1, m
Since the number of pixels used in the calculation process of c2 is reduced, the calculation process can be simplified, and therefore the calculation process can be sped up. Pixels used for calculating the representative values mr1 and mc2 are selected by thinning out the pixels at predetermined intervals, for example, when the pixels are arranged in a matrix. Alternatively, the selection may be made by thinning out rows or columns of pixels at predetermined intervals.

【００７７】さらにまた、画像Ｐ1 ，Ｐ2 がカラー画像
である場合、濃度値は予め定める３色の成分から構成さ
れる。この成分は、たとえば、赤成分（Ｒ成分）と緑成
分（Ｇ成分）と青成分（Ｂ成分）であり、これら各成分
は赤と青と緑との濃度値をそれぞれ表す。この３色の組
合わせは、混合して白になる複数の色の組合わせであれ
ば、赤青緑以外の組合わせであってもよい。さらにま
た、これら成分として、Ｙ成分（輝度成分）ならびにＲ
−Ｙ成分およびＢ−Ｙ成分（色差成分）を用いても良
い。この場合、濃度値統計部５１と濃度値補正部５２と
は、各成分に対して独立して処理を行う。これによっ
て、画像Ｐ1 ，Ｐ2 がカラー画像である場合も、画像補
正手段２２によって画像の画素の濃度値を補正すること
ができる。Further, when the images P1 and P2 are color images, the density values are composed of predetermined three color components. The components are, for example, a red component (R component), a green component (G component), and a blue component (B component), and these components represent the density values of red, blue, and green, respectively. The combination of these three colors may be a combination other than red, blue and green as long as it is a combination of a plurality of colors that are mixed to be white. Furthermore, as these components, a Y component (luminance component) and R component
A -Y component and a BY component (color difference component) may be used. In this case, the density value statistic unit 51 and the density value correction unit 52 independently process each component. Thus, even when the images P1 and P2 are color images, the image correction means 22 can correct the density values of the pixels of the images.

【００７８】以下に、合成手段における画像Ｐ1 ，Ｐ2
の合成手法を説明する。合成手段は、画像Ｐ1 と補正後
の画像Ｐ2 とを合成して、合成画像を得る。この合成処
理は、概略的には、画像Ｐ1 と、補正後の画像Ｐ2 から
重複領域ｑ2 を除いた部分とを、画像Ｐ1 ，Ｐ2 の基準
点がマッチング情報で表される画像のずれだけずれるよ
うに配置して接合する。信号処理としては、画像Ｐ1 の
画像信号と、画像Ｐ2の画像信号のうちで重複領域ｑ2
の画素に関するデータを除いた部分とを組合わせ、両画
像の座標系を統一して、各画素の座標を変換する。その
際、重複領域ｑ1 ，ｑ2 の境界付近では、重複領域ｑ1
，ｑ2 の同一座標の画素の濃度値（画素値）を混合
し、かつ、その割合を段階的に変化させるグラデーショ
ン処理を行うことによって、より滑らかに画像を合成す
ることができる。The images P1, P2 in the synthesizing means will be described below.
Will be described. The combining means combines the image P1 and the corrected image P2 to obtain a combined image. The synthesizing process roughly shifts the image P1 from the portion of the corrected image P2 excluding the overlapping area q2 by the shift of the image whose reference points of the images P1 and P2 are represented by the matching information. Place and join. The signal processing includes the image signal of the image P1 and the overlap area q2 of the image signal of the image P2.
The coordinates of each pixel are transformed by unifying the coordinate systems of both images by combining the parts excluding the data related to the pixels. At this time, near the boundary between the overlapping regions q1 and q2, the overlapping region q1
, Q2, the density values (pixel values) of the pixels having the same coordinates are mixed, and a gradation process is performed in which the ratio is changed stepwise, whereby an image can be synthesized more smoothly.

【００７９】入力画像列が３枚以上の画像から構成され
る場合、１番目と２番目の画像Ｐ1，Ｐ2 を上述のよう
に合成し、さらに合成された画像に３番目の画像Ｐ3 か
ら２番目の画像Ｐ2 との重複領域を除いた部分を、画像
Ｐ2 ，Ｐ3 の基準点がそのマッチング情報で表される画
像のずれだけずれるように配置して接合する。４番目の
画像以後、後者の処理を順次繰返すことによって、３枚
以上の画像を全て接合することができる。When the input image sequence is composed of three or more images, the first and second images P1 and P2 are combined as described above, and the combined image is added to the second image from the third image P3. The portions excluding the overlapping area with the image P2 are arranged and joined such that the reference points of the images P2 and P3 are shifted by the shift of the image represented by the matching information. After the fourth image, by repeating the latter processing sequentially, all three or more images can be joined.

【００８０】このように複数の画像を合成した場合、合
成対象の各画像の全体の明るさがほぼ等しいので、合成
画像内で任意の２枚の画像のつなぎ目およびその周辺の
部分における画素の濃度値の変化が滑らかになる。ま
た、各画像の全体の明るさがほぼ等しいので、濃淡およ
び色調が合成画像内のどの部分でも等しい。これによっ
て、本実施形態の画像処理装置５は、従来技術の画像合
成装置によって得られた合成画像よりも画質の良い合成
画像を得ることができる。When a plurality of images are combined in this way, since the overall brightness of each image to be combined is substantially equal, the density of pixels at the joint between any two images and the surrounding area in the combined image The value changes smoothly. Also, since the overall brightness of each image is substantially equal, the shades and colors are the same in any part of the composite image. As a result, the image processing device 5 of the present embodiment can obtain a synthesized image having higher image quality than the synthesized image obtained by the image synthesis device of the related art.

【００８１】以下に、本発明の第２実施形態である画像
処理装置を含む合成画像作成装置を説明する。第２実施
形態の合成画像作成装置の電気的構成は、第１実施形態
の合成画像作成装置１と等しい。また画像処理装置の機
能的構成は、画像処理装置５の機能的構成と比較して、
画像補正手段２２が画像補正手段７１に置換えられた点
が異なり、他は等しい。同一の動作を行う装置および回
路ならびに手段には同一の符号を付し、説明は省略す
る。Hereinafter, a composite image creating apparatus including an image processing apparatus according to a second embodiment of the present invention will be described. The electrical configuration of the composite image creation device of the second embodiment is the same as that of the composite image creation device 1 of the first embodiment. Further, the functional configuration of the image processing device is compared with the functional configuration of the image processing device 5,
The difference is that the image correction means 22 has been replaced by an image correction means 71, and the others are the same. The same reference numerals are given to devices, circuits, and means for performing the same operation, and description thereof will be omitted.

【００８２】入力画像列を、２枚以上の画像Ｐ1 〜Ｐn
であると仮定する。ｎは、２以上の整数である。この画
像Ｐ1 〜Ｐn は、たとえば、図８に示すように、撮影装
置３と被写体６１と光源６２との位置関係がほぼ保たれ
るように、撮影装置３の撮影範囲６３を時間経過に伴っ
て移動させつつ、被写体６１を撮影することによって得
られたものである。以後の説明では、撮影装置３がビデ
オカメラであって、入力画像列の各画像は動画の各フレ
ームであると仮定し、フレームの並べ順と画像Ｐ1 〜Ｐ
n の並べ順とは等しいと仮定する。また、画像Ｐ1 〜Ｐ
n の並べ順の番号を１〜ｎとする。並べ順の番号が連続
する２枚の画像Ｐk-1 ，Ｐk （ｋ＝２〜ｎ）は、図９
（１）に示すように、その一部分に同じ被写体または被
写体の同じ部分が写っている。ゆえに、画像Ｐ1 〜Ｐn
は、各画像内の画素の濃度分布が同じ部分を重ねた場
合、図９（２）に示すように、順次的に重なる。相互に
重なる画像Ｐk ，Ｐk-1 の重なる部分を重複領域とす
る。An input image sequence is composed of two or more images P1 to Pn.
Suppose that n is an integer of 2 or more. For example, as shown in FIG. 8, the images P1 to Pn move the photographing range 63 of the photographing device 3 over time so that the positional relationship between the photographing device 3, the subject 61, and the light source 62 is substantially maintained. This is obtained by photographing the subject 61 while moving it. In the following description, it is assumed that the image capturing device 3 is a video camera, and that each image of the input image sequence is each frame of a moving image, and that the order of the frames and the images P1 to P
Assume that the order of n is equal. Also, images P1 to P
The numbers in the arrangement order of n are 1 to n. FIG. 9 shows two images Pk-1 and Pk (k = 2 to n) having consecutive arrangement numbers.
As shown in (1), the same subject or the same part of the subject is shown in a part thereof. Therefore, the images P1 to Pn
When the parts having the same density distribution of pixels in each image overlap, as shown in FIG. An overlapping portion of the mutually overlapping images Pk and Pk-1 is defined as an overlapping area.

【００８３】また、画像Ｐk-1 ，Ｐk の各重複領域に、
同じ大きさでかつ被写体の同じ部分を写す領域をそれぞ
れ設定し、そのうちで並べ順が小さい方の画像Ｐk-1 の
領域を基準領域ｑｒk-1 とし、並べ順が大きいほうの画
像の領域を比較領域ｑｃk とする。たとえば、図９の例
では、画像Ｐ1 には基準領域ｑｒ1 があり、画像Ｐ2に
は比較領域ｑｃ2 と基準領域ｑｒ2 とがあり、画像Ｐ３
には比較領域ｑｃ3 がある。このうち、基準領域ｑｒ1
と比較領域ｑｃ2 とには被写体６１の同じ部分が写って
おり、基準領域ｑｒ2 と比較領域ｑｃ3 とにも被写体６
１の同じ部分が写っている。In each of the overlapping areas of the images Pk-1 and Pk,
An area of the same size and which captures the same part of the subject is set, and the area of the image Pk-1 in the smaller order is set as the reference area qrk-1, and the area of the image in the larger order is compared. The area is qck. For example, in the example of FIG. 9, the image P1 has a reference area qr1, the image P2 has a comparison area qc2 and a reference area qr2, and the image P3
Has a comparison area qc3. Of these, the reference region qr1
And the comparison area qc2 show the same part of the subject 61, and the reference area qr2 and the comparison area qc3 also show the subject 6
The same part of 1 is shown.

【００８４】図１０は、中央演算処理回路９が画像補正
手段７１として動作する場合に行う濃度値補正動作を説
明するための機能的ブロック図である。図１１は、濃度
値補正動作を説明するためのフローチャートである。図
１０と図１１とを併せて説明する。画像補正手段７１が
濃度値補正動作を行うためには、前提条件として、記憶
装置１０に複数の画像Ｐ1 〜Ｐn が記憶されており、マ
ッチング手段２１によって、並べ順が連続する２枚の画
像Ｐk-1 ，Ｐk （ｋ＝２〜ｎ）のマッチング情報がそれ
ぞれ求められているものとする。この状態でステップａ
１からステップａ２に進む。FIG. 10 is a functional block diagram for explaining the density value correcting operation performed when the central processing circuit 9 operates as the image correcting means 71. FIG. 11 is a flowchart for explaining the density value correction operation. 10 and 11 will be described together. In order for the image correcting means 71 to perform the density value correcting operation, a plurality of images P1 to Pn are stored in the storage device 10 as a precondition, and two images Pk in which the order of arrangement is continuous are stored by the matching means 21. It is assumed that matching information of -1 and Pk (k = 2 to n) has been obtained. Step a in this state
The process proceeds from step 1 to step a2.

【００８５】ステップａ２では、中央演算処理回路９
は、記憶装置１０から並べ順が１番である１番目の画像
Ｐ1 を読出し、基準画像として画像バッファに入力す
る。画像バッファは、処理対象の画像を一時的に記憶す
るためのものであり、たとえば、中央演算処理回路９内
部または記憶装置１０内部に設けられる。ステップａ３
では、並べ順がｋ番目の画像Ｐk を読出し、処理対象の
入力画像として、画像バッファに入力する。ｋの初期値
は２である。At step a2, the central processing circuit 9
Reads the first image P1 having the first arrangement order from the storage device 10, and inputs the first image P1 to the image buffer as a reference image. The image buffer temporarily stores an image to be processed, and is provided, for example, inside the central processing circuit 9 or inside the storage device 10. Step a3
Then, the k-th image Pk in the arrangement order is read and input to the image buffer as an input image to be processed. The initial value of k is 2.

【００８６】ステップａ４では、中央演算処理回路９
は、濃度値統計部７２として動作する。濃度値統計部７
２は、まず、マッチング情報に基づいて、ステップａ３
で画像バッファに入力された画像Ｐk と、画像バッファ
に記憶されており画像Ｐk よりも並べ順が１小さい画像
Ｐk-1 とに、重複領域を設定し、さらに、それら重複領
域に基準領域ｑｒk-1 と比較領域ｑｃk とを設定する。
重複領域の設定手法は、第１実施形態で説明した手法と
等しい。両領域ｑｒk-1 ，ｑｃk は、重複領域全域であ
ってもよく、また重複領域よりも小さい領域であっても
よい。両領域ｑｒk-1 ，ｑｃk が重複領域よりも小さい
場合、両領域ｑｒk-1 ，ｑｃk を、第１実施形態の小領
域ｑａ1 ，ｑａ2 と同じものと見なすことができる。こ
の場合、第１実施形態で説明した理由から、両領域ｑｒ
k-1 ，ｑｃk を、画像Ｐk-1 ，Ｐkの中で信号歪みおよ
び雑音成分の影響を受けた画素および濃度値が欠損した
画素を含まないように設定することが好ましい。At step a4, the central processing circuit 9
Operates as the density value statistic unit 72. Density value statistics section 7
2 is a step a3 based on the matching information.
, An overlapping area is set for the image Pk input to the image buffer and the image Pk-1 stored in the image buffer and having an arrangement order smaller than that of the image Pk by one, and a reference area qrk- 1 and a comparison area qck are set.
The method of setting the overlapping area is the same as the method described in the first embodiment. Both regions qrk-1 and qck may be the entire overlapping region or may be smaller than the overlapping region. If both regions qrk-1 and qck are smaller than the overlapping region, both regions qrk-1 and qck can be regarded as the same as small regions qa1 and qa2 of the first embodiment. In this case, for the reason described in the first embodiment, both regions qr
It is preferable that k-1 and qck are set so as not to include pixels affected by signal distortion and noise components and pixels with missing density values in the images Pk-1 and Pk.

【００８７】次いで、比較領域ｑｃk を構成する画素の
濃度値を代表する代表値ｍｃk と、基準領域ｑｒk-1 を
構成する画素の濃度値の分布を代表する代表値ｍｒk-1
とを求める。この代表値ｍｒk-1 ，ｍｃk は、第１実施
形態で説明した代表値ｍｒ1，ｍｃ2 と同じものであ
り、同じ手法によって求められる。この場合も、第１実
施形態で説明した理由から、代表値ｍｒk-1 ，ｍｃk
は、基準領域ｑｒk-1 および比較領域ｑｃk をそれぞれ
構成する画素の濃度値の平均値であることが好ましい。
また、第１実施形態で説明した理由から、両領域ｑｒk-
1 ，ｑｃk をそれぞれ構成する画素の一部分の画素だけ
を用いて代表値ｍｒk-1 ，ｍｃk を求めても良い。Next, a representative value mkk representing the density values of the pixels constituting the comparison area qck and a representative value mrk-1 representing the distribution of the density values of the pixels constituting the reference area qrk-1.
And ask. The representative values mrk-1 and mck are the same as the representative values mr1 and mc2 described in the first embodiment, and are obtained by the same method. Also in this case, for the reasons described in the first embodiment, the representative values mrk-1 and mck-1 are used.
Is preferably the average of the density values of the pixels constituting the reference region qrk-1 and the comparison region qck.
Further, for the reason described in the first embodiment, both regions qrk-
The representative values mrk-1 and mck may be obtained by using only a part of the pixels constituting each of 1, 1 and qck.

【００８８】ステップａ５では、中央演算処理回路９
は、補正率演算部７３として動作する。補正率演算部７
３は、ステップａ４で求められた代表値ｍｒk-1 ，ｍｒ
k に基づいて、画像Ｐk の補正率を求めて補正率テーブ
ル７４に記憶させる。補正率テーブル７４は、たとえば
記憶装置１０内部または中央演算処理回路９内部に設け
られる。At step a5, the central processing circuit 9
Operates as the correction rate calculation unit 73. Correction rate calculator 7
3 is the representative value mrk-1, mr obtained in step a4.
Based on k, the correction rate of the image Pk is obtained and stored in the correction rate table 74. The correction rate table 74 is provided, for example, inside the storage device 10 or inside the central processing circuit 9.

【００８９】ステップａ６では、中央演算処理回路９
は、入力画像列の全ての画像Ｐ1 〜Ｐn に対してステッ
プａ３〜ａ６の処理を行ったか否かを判定する。未だ処
理していない画像が残っている場合、ステップａ６から
ステップａ３に戻り、並べ順ｋに１を加算して、加算後
の並べ順ｋの画像Ｐk に対してステップａ３〜ａ５の処
理を行う。ステップａ３〜ａ６の処理は、画像Ｐ2 〜Ｐ
n に対してそれぞれステップａ３〜ａ５の処理が行われ
るまで繰返される。全ての画像Ｐ2 〜Ｐn に対して処理
が行われていた場合、ステップａ６からステップａ７に
進む。この時点で、補正率テーブル７４には、画像Ｐ2
〜Ｐn の補正率が記憶される。At step a6, the central processing circuit 9
Determines whether or not the processing in steps a3 to a6 has been performed on all the images P1 to Pn in the input image sequence. If there are still unprocessed images, the process returns from step a6 to step a3, adds 1 to the arrangement order k, and performs the processing of steps a3 to a5 on the added image Pk in the arrangement order k. . The processing in steps a3 to a6 is performed for the images P2 to P2.
The processing is repeated until the processing of steps a3 to a5 is performed on n. If the processing has been performed on all the images P2 to Pn, the process proceeds from step a6 to step a7. At this point, the correction rate table 74 contains the image P2
ＰPn are stored.

【００９０】ステップａ７では、中央演算処理回路９
は、修正率演算部７５として動作し、補正率テーブル７
４に記憶された画像Ｐ2 〜Ｐn の補正率を参照して、各
補正率の修正率Ｘk を求める。ステップａ８では、中央
演算処理回路９は、補正率テーブル修正部７６として動
作し、修正率演算部７５で求められた修正率Ｘk に基づ
いて、補正率テーブル７４に記憶された画像Ｐ2 〜Ｐn
の補正率をそれぞれ修正し、修正後の補正率を再度記憶
させる。At step a7, the central processing circuit 9
Operates as the correction rate calculation unit 75, and outputs the correction rate table 7
With reference to the correction rates of the images P2 to Pn stored in No. 4, a correction rate Xk of each correction rate is obtained. In step a8, the central processing circuit 9 operates as the correction rate table correction section 76, and based on the correction rate Xk obtained by the correction rate calculation section 75, the images P2 to Pn stored in the correction rate table 74.
Are corrected, and the corrected correction ratio is stored again.

【００９１】ステップａ９では、中央演算処理回路９
は、並べ順がｋ番目の画像Ｐk を読出し、処理対象の入
力画像として、画像バッファに入力する。並べ順ｋの初
期値は２である。この入力処理は、たとえばステップａ
３で画像バッファに入力した画像をそのまま画像バッフ
ァに蓄えている場合には実行する必要がなく、ステップ
ａ４，ａ５の処理終了後に画像を画像バッファから消去
した場合だけ行う。ステップａ１０では、中央演算処理
回路９は、濃度値補正部７７として動作する。濃度値補
正部７７は、画像Ｐk の修正後の補正率を補正率テーブ
ル７４から読出し、その補正率に基づいて、ステップａ
９で画像バッファに入力した画像Ｐk の全画素の濃度値
を補正し、補正後の画像を補正画像として出力する。こ
の補正画像は、たとえば記憶装置１０に記憶される。At step a9, the central processing circuit 9
Reads the k-th image Pk in the arrangement order and inputs it to the image buffer as an input image to be processed. The initial value of the arrangement order k is 2. This input processing is performed, for example, in step a
If the image input in the image buffer in step 3 is stored in the image buffer as it is, there is no need to execute this processing. Only when the image is deleted from the image buffer after the processing in steps a4 and a5 is completed. In step a10, the central processing unit 9 operates as the density value correction unit 77. The density value correction unit 77 reads the corrected correction rate of the image Pk from the correction rate table 74 and, based on the correction rate, executes step a.
In step 9, the density values of all the pixels of the image Pk input to the image buffer are corrected, and the corrected image is output as a corrected image. This corrected image is stored in the storage device 10, for example.

【００９２】ステップａ１１では、中央演算処理回路９
は、入力画像列の全ての画像Ｐ2 〜Ｐn に対してステッ
プａ１０の補正処理を行ったか否かを判定する。未だ補
正していない画像が残っている場合、ステップａ１１か
らステップａ９に戻り、並べ順ｋに１を加算し、加算後
の並べ順ｋの画像Ｐk に対してステップａ９，ａ１０の
処理を行う。ステップａ９〜ａ１１の処理は、画像Ｐ2
〜Ｐn に対してそれぞれ補正処理が行われるまで繰返さ
れる。全画像に対して補正処理が行われていた場合、ス
テップａ１２で濃度値補正動作を終了する。このような
一連の動作によって、画像Ｐ1 を基準画像として画像Ｐ
2 〜Ｐn の画素の濃度値が補正される。In step a11, the central processing circuit 9
Determines whether the correction processing of step a10 has been performed on all the images P2 to Pn of the input image sequence. If there are still uncorrected images, the process returns from step a11 to step a9, adds 1 to the arrangement order k, and performs the processing of steps a9 and a10 on the added image Pk in the arrangement order k. The processing in steps a9 to a11 is performed in the
This is repeated until the correction processing is performed for each of the .about.Pn. If the correction processing has been performed on all the images, the density value correction operation ends in step a12. With such a series of operations, the image P1 is used as the reference
The density values of the pixels 2 to Pn are corrected.

【００９３】以下に、補正率演算部７３における補正率
の演算動作を詳細に説明する。画像Ｐk の補正率は、１
番目の画像Ｐ1 を基準画像と仮定し、さらに１番目の画
像Ｐ1 とk 番目の画像とが重なり基準および比較領域ｑ
ｒ1 ，ｑｃk を設定することができると仮定した場合、
基準画像Ｐ1 の基準領域ｑｒ1 を構成する画素の濃度値
の分布を表す代表値ｍｒ1 に対するｋ番目の画像Ｐk の
比較領域ｑｃk を構成する画素の濃度値の分布を表す代
表値ｍｃk の比（ｍｃk／ ｍｒ1 ）として定義される。
実際の入力画像列では、並べ順が連続する２枚の画像Ｐ
k-1 ，Ｐk は必ず重なるが、並べ順が連続しない２枚の
画像には被写体の同じ部分が写っているとは限らないの
で、上述の代表値の比（ｍｃk／ ｍｒ1 ）を直接演算す
ることは困難である。このために、本実施形態の補正率
演算部７３では、以下の手法を用いて、画像Ｐ2 〜Ｐk
の補正率を、画像の並べ順と同じ順番で求める。Hereinafter, the operation of calculating the correction rate in the correction rate calculation section 73 will be described in detail. The correction rate of the image Pk is 1
The first image P1 is assumed to be the reference image, and the first image P1 and the k-th image are overlapped with each other in the reference and comparison area q
Assuming that r1 and qck can be set,
The ratio of the representative value mrk representing the distribution of the density values of the pixels constituting the comparison region qck of the k-th image Pk to the representative value mr1 representing the distribution of the density values of the pixels constituting the reference region qr1 of the reference image P1 (mck / mr1).
In an actual input image sequence, two images P in which the
Although k-1 and Pk always overlap, the same part of the subject is not always shown in two images in which the order of arrangement is not continuous. Therefore, the above-described ratio of representative values (mck / mr1) is directly calculated. It is difficult. For this purpose, the correction rate calculation unit 73 of the present embodiment uses the following method by using the images P2 to Pk.
Are determined in the same order as the arrangement order of the images.

【００９４】画像Ｐk の補正率を求める場合、補正率演
算部７３は、まず、ｋ−１番目の画像Ｐk-1 に対するｋ
番目の画像Ｐk の画素の濃度値の代表値の比Ｒｍk を求
める。式５は、代表値の比Ｒｍk の算出式である。次い
で、基準画像Ｐ1 を基準としたｋ番目の画像Ｐk の各画
素の濃度値の比Ｒk を、式６に基づいて求める。この濃
度値の比Ｒk を、画像Ｐk の補正率として、補正率テー
ブル７４に記憶させる。これによって、補正率の算出対
象の画像が基準画像と重なるか否かに拘わらず、その画
像の補正率を求めることができる。次式で、「Ｒk-1 」
は、基準画像Ｐ1 を基準としたｋ−１番目の画像Ｐk-1
の各画素の濃度値の比である。When calculating the correction rate of the image Pk, the correction rate calculation unit 73 first calculates k k for the (k−1) -th image P k−1.
The ratio Rmk of the representative values of the density values of the pixels of the second image Pk is determined. Equation 5 is an equation for calculating the ratio Rmk of the representative values. Next, a ratio Rk of the density values of the respective pixels of the k-th image Pk with reference to the reference image P1 is determined based on the equation (6). The density value ratio Rk is stored in the correction rate table 74 as the correction rate of the image Pk. Thus, regardless of whether the image for which the correction rate is to be calculated overlaps with the reference image, the correction rate of the image can be obtained. In the following equation, "Rk-1"
Is the (k-1) th image Pk-1 based on the reference image P1.
Are the ratios of the density values of the respective pixels.

【００９５】[0095]

【数３】 (Equation 3)

【００９６】[0096]

【数４】 (Equation 4)

【００９７】図１２は、１番目の画像を基準画像とした
場合の基準画像を基準とした画像Ｐ2 〜Ｐn の画素の濃
度値の比Ｒ2 〜Ｒn と、画像の並べ順２〜ｎとの関係を
表すグラフである。縦軸は濃度値の比であり、横軸は並
べ順から１引いた数であり、黒丸は各濃度値の比Ｒ2
〜Ｒn を並べ順の番号２〜n から１引いた数に対してプ
ロットしたものである。また、縦軸上の黒丸ｒ１は、基
準画像を基準とした基準画像の画素の濃度値の比を表
し、実際には１である。このグラフでは、黒丸が曲線８
１上およびその近傍に分布する。曲線８１は、画像の並
べ順から１引いた数k-1 を指数ｘとする指数関数の式
（ｙ＝ａ^x）によって定義される。すなわち、濃度値の
比Ｒ2 〜Ｒn の分布は、指数関数の分布に近いことが分
かる。このように濃度値の比Ｒ2 〜Ｒn が分布するの
は、以下の理由からである。FIG. 12 shows the relationship between the ratios R2 to Rn of the density values of the pixels of the images P2 to Pn based on the reference image when the first image is used as the reference image and the image arrangement order 2 to n. It is a graph showing. The vertical axis is the ratio of the density values, the horizontal axis is the number obtained by subtracting 1 from the arrangement order, and the black circles are the ratios R2 of the respective density values.
... Rn are plotted against numbers obtained by subtracting 1 from numbers 2 to n in the arrangement order. The black circle r1 on the vertical axis represents the ratio of the density values of the pixels of the reference image with respect to the reference image, and is actually one. In this graph, the black circle is curve 8
1 and in the vicinity thereof. The curve 81 is defined by an exponential function expression (y = a ^x ) where an index x is a number k−1 obtained by subtracting 1 from the arrangement order of the images. That is, it can be seen that the distribution of the density value ratios R2 to Rn is close to the distribution of the exponential function. The reason why the density value ratios R2 to Rn are distributed is as follows.

【００９８】画像Ｐ1 〜Ｐn には、図１３に示すよう
に、被写体６１表面の反射６５および影６６が写ってい
ることがある。画像Ｐ1 〜Ｐn の撮影時に撮影装置３と
被写体６１と光源６２との位置関係がほぼ変化していな
い場合、各画像Ｐ1 〜Ｐn 内部で反射６５および影６６
の写る位置は殆ど変化しないので、相互に重なる画像Ｐ
k-1 ,Ｐk の基準領域ｑｒk-1 と比較領域ｑｃk であっ
ても、その一方に反射６５が入り他方に入らないこと、
およびその一方に影６６が入り他方に入らないことがあ
る。また、撮影装置３のレンズのシェーディングおよび
撮影素子のシェーディングによって、各画像Ｐk-1 ,Ｐk
の周辺部の画素の濃度値が本来の濃度値よりも低下す
ることがある。この場合、基準領域ｑｒk-1 と比較領域
ｑｃk との画像Ｐk-1 ,Ｐk の基準点に対する位置が異
なるので、その一方が画像の周辺部にあって他方が画像
の中心付近にあることがある。As shown in FIG. 13, the reflections 65 and the shadows 66 on the surface of the subject 61 may appear in the images P1 to Pn. If the positional relationship between the photographing device 3, the subject 61, and the light source 62 is not substantially changed during the photographing of the images P1 to Pn, the reflection 65 and the shadow 66 inside each of the images P1 to Pn.
Are almost unchanged, so that the overlapping images P
Even in the reference region qrk-1 of k-1 and Pk and the comparison region qck, one of them has the reflection 65 and the other does not.
In some cases, a shadow 66 may enter one of them and may not enter the other. Further, by shading the lens of the photographing device 3 and the shading of the photographing element, each image Pk-1 and Pk
In some cases, the density value of the pixels in the peripheral portion of the pixel may be lower than the original density value. In this case, since the positions of the images Pk-1 and Pk of the reference region qrk-1 and the comparison region qck with respect to the reference point are different from each other, one of them may be near the periphery of the image and the other may be near the center of the image. .

【００９９】各画像Ｐ1 〜Ｐn の全体の明るさが等しい
と仮定した場合に、画像に上述したような反射および影
ならびにシェーディングの影響があれば、代表値ｍｒk-
1 ，ｍｃk が１〜９％程度異なることがある。この代表
値ｍｒk-1 ，ｍｃk の差によって、ｋ−１番目の画像Ｐ
k-1 に対するｋ番目の画像Ｐk の画素の濃度値の代表値
の比Ｒｍk には、見積もり誤りｅｒが含まれる。見積も
り誤りｅｒは、−１よりも大きく１未満であるとする。
これは、画像Ｐk-1 ，Ｐk の全体の明るさが等しいにも
拘わらず、画像Ｐk-1 に対して画像Ｐk の全体の明るさ
が平均的に割合「１＋ｅｒ」だけ明るいまたは暗いと誤
って判断されていることを表す。 −１＜ｅｒ＜１ …（７）Assuming that the overall brightness of each of the images P1 to Pn is equal, if the image is affected by the reflection, shadow, and shading as described above, the representative value mrk-
1, mck may differ by about 1 to 9%. By the difference between the representative values mrk-1 and mck, the (k-1) th image P
The ratio Rmk of the representative value of the density value of the pixel of the k-th image Pk to k-1 includes an estimation error er. It is assumed that the estimation error er is greater than −1 and less than 1.
This is because, although the overall brightness of the images Pk-1 and Pk is equal, the overall brightness of the image Pk is erroneously averaged brighter or darker by the ratio "1 + er" with respect to the image Pk-1. Indicates that it has been determined. -1 <er <1 (7)

【０１００】前述したように、ｋ番目の画像Ｐk の補正
率は、代表値の比Ｒｍ1 〜Ｒｍk の積である。このた
め、代表値の比Ｒｍk に含まれる見積もり誤りの割合ａ
を式８のように仮定すると、補正率への見積もり誤りの
影響は、画像Ｐk の並べ順が大きくなるほど、割合ａが
等比級数的に増大する。このために、図１２に示すよう
に、並べ順ｋに対する濃度値の比Ｒk の分布は、指数関
数に近くなる。このことは、画像Ｐ1 ，Ｐk の全体の明
るさが等しいにも拘わらず、画像Ｐ1 に対して画像Ｐk
の全体の明るさが割合（１＋ｅｒ）^k-1だけ明るいまた
は暗いと誤って判断されていること表す。 ａ ＝ １＋ｅｒ …（８）As described above, the correction rate of the kth image Pk is the product of the ratios Rm1 to Rmk of the representative values. Therefore, the ratio a of estimation errors included in the ratio Rmk of the representative values is
Is assumed as in Equation 8, the effect of the estimation error on the correction rate is such that the proportion a increases geometrically as the order of arrangement of the images Pk increases. For this reason, as shown in FIG. 12, the distribution of the ratio Rk of the density value to the arrangement order k is close to an exponential function. This means that the image Pk is different from the image P1 in spite of the fact that the overall brightness of the images P1 and Pk is equal.
Is incorrectly determined to be bright or dark by the ratio (1 + er) ^k-1 . a = 1 + er (8)

【０１０１】ゆえに、この補正率をそのまま用いて画像
の画素の濃度値を補正すると、並べ順の番号が大きい画
像程、反射および影ならびにシェーディングの影響が指
数関数的に増大する。たとえば、割合ａが１よりも大き
い場合は、並べ順の番号が大きい画像ほど基準画像より
も明るいと誤って判断されるので、入力画像列の各画像
を、並べ順の番号が増加するほど徐々に暗く補正してし
まう。逆に、割合ａが１未満である場合、並べ順の番号
が大きい画像ほど基準画像よりも暗いと誤って判断され
るので、入力画像列の各画像を、並べ順の番号が増加す
るほど徐々に明るく補正してしまう。この補正の誤り
は、並べ順の番号が大きい画像程大きくなるので、入力
画像列の画像の枚数が増加するほど、見積もり誤りの影
響が大きくなる。本実施形態の画像処理装置では、補正
率を修正率によって補正する。Therefore, when the density value of the pixel of the image is corrected using the correction rate as it is, the influence of the reflection, the shadow, and the shading increases exponentially in the image having the larger number of the arrangement order. For example, if the ratio a is greater than 1, it is erroneously determined that an image having a larger number in the order of arrangement is brighter than the reference image, so that each image in the input image sequence is gradually sorted as the number in the order of arrangement increases. Will be darkened. Conversely, when the ratio a is less than 1, an image having a larger number in the sorting order is erroneously determined to be darker than the reference image, and thus each image in the input image sequence is gradually sorted as the number in the sorting order increases. Will be corrected. The error of this correction increases as the number of images in the arrangement order increases, so that as the number of images in the input image sequence increases, the influence of the estimation error increases. In the image processing apparatus according to the present embodiment, the correction rate is corrected by the correction rate.

【０１０２】以下に、修正率演算部７５における修正率
の演算動作を詳細に説明する。修正率演算部７５は、ま
ず、補正率テーブル７４に記憶された画像Ｐ2 〜Ｐn の
補正率を読出し、これら補正率に基づいて、補正率と画
像の並べ順の番号との関係を表す近似式を求める。この
近似式は、たとえば、指数関数、単調増加関数、および
単調減少関数である。前記補正率を、基準画像を基準と
したｋ番目の画像Ｐkの濃度値の比Ｒk であるとする場
合、前述したように濃度値の比Ｒk は等比級数的に増減
するので、前記関係を指数関数によって近似することが
最も好ましい。濃度値の比Ｒk を指数関数によって近似
することが好ましいのは、たとえば、撮影中に撮影装置
３と被写体６１と光源６２との位置関係がほぼ等しく、
並べ順が連続する２枚の画像Ｐk-1 ，Ｐk 内の反射およ
び影ならびにシェーディングの影響を受けた画素の位置
がほぼ等しい場合である。以下の説明では、前記関係を
指数関数によって近似する場合を例として説明する。The operation of the correction rate calculation section 75 for calculating the correction rate will be described in detail below. The correction rate calculation unit 75 first reads out the correction rates of the images P2 to Pn stored in the correction rate table 74 and, based on these correction rates, approximates the relationship between the correction rates and the numbers of the image arrangement order. Ask for. This approximate expression is, for example, an exponential function, a monotonically increasing function, and a monotonically decreasing function. When the correction rate is the density value ratio Rk of the k-th image Pk with respect to the reference image, the density value ratio Rk increases and decreases in geometric progression as described above. Most preferably, it is approximated by an exponential function. It is preferable that the density value ratio Rk be approximated by an exponential function because, for example, the positional relationship between the photographing device 3, the subject 61, and the light source 62 during photographing is substantially equal.
This is a case where the positions of the pixels affected by the reflection and shadow and the shading in the two images Pk-1 and Pk in which the arrangement order is continuous are substantially equal. In the following description, a case where the relationship is approximated by an exponential function will be described as an example.

【０１０３】濃度値の比Ｒk を変数ｙとし、代表値の比
Ｒｍk の見積もり誤りの割合ａを底とし、並べ順k から
１引いた数を指数である変数ｘと定義して、近似式を式
９の指数関数であると仮定する。次いで、式１０に示す
ように式９の両辺の対数を取り、ｌｏｇｙを変数Ｙ、ｌ
ｏｇａを定数Ａ、および変数ｘを変数Ｘに置換えると、
式１１に示すように、線形の式になる。このことから、
修正率演算部７５は、補正率テーブルに記憶される比Ｒ
2 〜Ｒn の対数をそれぞれ取り、それらの対数と並べ順
ｋから１引いた値とを用い、式１１の定数Ａを求める。
この場合の演算には、たとえば、対数を変数ｙに代入
し、並べ順ｋから１引いた値を変数Ｘに代入して、最小
二乗法を用いる。さらに、求められた定数Ａを式１２に
代入して割合ａを求める。「ｅ」は、自然対数の底であ
る。 ｙ ＝ ａ^x …（９） logｙ ＝ ｘlogａ …（10） Ｙ ＝ ＡＸ …（11） ａ ＝ ｅ^A …（12）A density y is defined as a variable y, a ratio a of estimation error of the representative value ratio Rmk is defined as a base, and a number obtained by subtracting 1 from the arrangement order k is defined as a variable x which is an exponent. Assume the exponential function of Equation 9. Next, as shown in Expression 10, the logarithm of both sides of Expression 9 is taken, and the logic is set to variables Y and l.
Substituting a constant A for oka and a variable X for variable x gives
As shown in Expression 11, the expression becomes a linear expression. From this,
The correction rate calculator 75 calculates the ratio R stored in the correction rate table.
The logarithms of 2 to Rn are taken, and a constant A of Expression 11 is obtained using the logarithms and a value obtained by subtracting 1 from the arrangement order k.
In the calculation in this case, for example, the logarithm is substituted for the variable y, and a value obtained by subtracting 1 from the arrangement order k is substituted for the variable X, and the least squares method is used. Further, the obtained constant A is substituted into Expression 12 to obtain the ratio a. "E" is the base of the natural logarithm. ^{y = a x ... (9)} logy = xloga ... (10) Y = AX ... (11) a = e A ... (12)

【０１０４】補正前の補正率には、画像１枚当たりａの
割合で、反射および影ならびにシェーディングの影響に
起因する見積もり誤りが含まれていると考えられる。ゆ
えに、ｋ番目の画像の補正率である比Ｒk には、割合ａ
のｋ−１乗の見積もり誤りが含まれる。したがって、ｋ
番目の画像Ｐk の補正率の修正率Ｘk は、式１３によっ
て定義される。 Ｘk ＝ ａ^k-1 …（13）It is considered that the correction rate before correction includes an estimation error due to the influence of reflection, shadow, and shading at the rate of a per image. Therefore, the ratio Rk, which is the correction rate of the k-th image, includes the ratio a
Of (k-1). Therefore, k
The correction rate Xk of the correction rate of the image Pk is defined by Expression 13. Xk = ^ak-1 (13)

【０１０５】以下に、補正率テーブル修正部７６におけ
る補正率の修正動作を説明する。補正率テーブル修正部
７６は、修正率演算部７５によって求められた割合ａを
用いて、補正率テーブル７４に補正率として記憶された
濃度値の比Ｒ2 〜Ｒn を、式１４に基づいてそれぞれ修
正し、修正後の補正率Ｒ2＊ 〜Ｒn＊ を、再び補正率テ
ーブル７６に記憶する。The operation of correcting the correction rate in the correction rate table correcting section 76 will be described below. The correction ratio table correction unit 76 corrects the density ratios R2 to Rn stored as correction ratios in the correction ratio table 74 using the ratio a obtained by the correction ratio calculation unit 75, based on Equation 14. Then, the corrected correction rates R2 * to Rn * are stored in the correction rate table 76 again.

【０１０６】[0106]

【数５】 (Equation 5)

【０１０７】図１２の白丸は、修正後の補正率Ｒ2＊ 〜
Ｒn＊ をプロットしたものである。これによって、修正
後の補正率Ｒ2＊ 〜Ｒn＊ が、濃度値の比が１である縦
軸上の点を通り横軸に平行な直線８２の近傍に分布する
ことが分かる。各白丸同士の縦軸に平行な方向の距離
が、反射および影ならびにシェーディングの影響を除い
た画像Ｐk-1 ，Ｐk の全体の明るさの差に相当する。こ
の差は、たとえば、ＡＧＣ回路が動作したため、および
蛍光灯の明暗の周期と撮像素子の光電変換の蓄積時間お
よび周期との違いに起因するフリッカによって生じたも
のである。ゆえに、白丸と直線８２との距離が零になる
ように、画像Ｐk-1 ，Ｐk の画素の濃度値を補正する。The open circles in FIG. 12 indicate the corrected correction rates R2 * to
Rn * is plotted. This shows that the corrected correction factors R2 * to Rn * are distributed near a straight line 82 passing through a point on the vertical axis having a density value ratio of 1 and parallel to the horizontal axis. The distance between the white circles in the direction parallel to the vertical axis corresponds to the difference in the overall brightness of the images Pk-1 and Pk excluding the effects of reflection, shadow, and shading. This difference is caused, for example, by the operation of the AGC circuit and by flicker caused by the difference between the light / dark cycle of the fluorescent lamp and the accumulation time and cycle of the photoelectric conversion of the image sensor. Therefore, the density values of the pixels of the images Pk-1 and Pk are corrected so that the distance between the white circle and the straight line 82 becomes zero.

【０１０８】以下に、濃度値補正部７７における画像の
濃度値の補正処理を詳細に説明する。濃度値補正部７７
は、まず、補正対象の画像Ｐk の修正後の補正率Ｒk＊
を補正率テーブル７４から読出し、その補正率Ｒk＊ に
よって画像Ｐk の各画素の濃度値を補正する。具体的に
は、ｋ番目の画像Ｐk と基準画像Ｐ1 との各画素の実際
の濃度値の比は、補正後の補正率Ｒk＊ であると考えら
れるので、ｋ番目の画像Ｐk の全体の明るさを基準画像
Ｐ1 の全体の明るさに合わせるには、ｋ番目の画像Ｐk
の各画素の濃度値を、それぞれ補正後の補正率Ｒk＊ に
よって割れば良い。式１５は、ｋ番目の画像Ｐk の或る
画素に対する濃度値補正の計算式である。次式におい
て、ｐは補正対象の画像Ｐk の或る画素の補正前の濃度
値、ｐ＊は、補正画像の前記或る画素の濃度値、ｐｍａ
ｘは、濃度値が取得る値の最大値を表す。通常、濃度値
は有限の整数、たとえば０以上２５５以下の値だけを取
得るので、商に小数点以下の端数が含まれる場合には、
その値を自然数に丸めることが好ましい。また、補正画
像の濃度値ｐ＊は最大値ｐｍａｘで飽和することが好ま
しいので、商が最大値ｐｍａｘ以上である場合には、そ
の商を最大値ｐｍａｘに置換えている。Hereinafter, the process of correcting the density value of an image in the density value correction section 77 will be described in detail. Density value correction unit 77
Is a correction rate Rk * of the image Pk to be corrected after correction.
Is read from the correction rate table 74, and the density value of each pixel of the image Pk is corrected by the correction rate Rk *. Specifically, since the ratio of the actual density value of each pixel between the k-th image Pk and the reference image P1 is considered to be the corrected correction rate Rk *, the overall brightness of the k-th image Pk is To match the brightness with the overall brightness of the reference image P1, the k-th image Pk
May be divided by the corrected correction rate Rk *. Formula 15 is a calculation formula for density value correction for a certain pixel of the k-th image Pk. In the following equation, p is the density value of a certain pixel of the image Pk to be corrected before correction, p * is the density value of the certain pixel of the corrected image, pma
x represents the maximum value obtained by the density value. Normally, the density value obtains only a finite integer, for example, a value from 0 to 255, so if the quotient includes a fraction below the decimal point,
Preferably, the value is rounded to a natural number. Further, since the density value p * of the corrected image is preferably saturated at the maximum value pmax, when the quotient is equal to or more than the maximum value pmax, the quotient is replaced with the maximum value pmax.

【０１０９】[0109]

【数６】 (Equation 6)

【０１１０】このように求められた商を補正後の濃度値
として、ｋ番目の画像Ｐk の画像信号の各画像の補正前
の濃度値を、補正後の濃度値に置換える。これによっ
て、濃度値が補正された画像Ｐk 、すなわち補正画像の
画像信号が得られる。この補正画像の画像信号は、たと
えば記憶装置１０に記憶される。Using the quotient obtained in this way as a corrected density value, the density value before correction of each image of the image signal of the k-th image Pk is replaced with the corrected density value. As a result, an image Pk whose density value has been corrected, that is, an image signal of the corrected image is obtained. The image signal of the corrected image is stored in the storage device 10, for example.

【０１１１】濃度値補正部７７によって濃度値の補正を
行う場合、補正率テーブル７４と補正率テーブル修正部
７６とを省略し、補正率と修正率とを求めた後にそのま
ま画像Ｐk の各画素の濃度値を、修正率Ｘk の逆数と補
正率とによって逐次除算しても、上述の補正を行うこと
ができる。この場合、上述のように修正後の補正率Ｒ2
＊ 〜Ｒn＊ を濃度値の補正処理前に求めて補正率テー
ブル７４に記憶させておくことによって、濃度値補正の
計算式の数値の個数が減少するので、補正処理の計算量
を削減することができる。したがって、補正処理を簡略
化し、濃度値補正部７７の負担を軽減することができ
る。When the density value is corrected by the density value correction section 77, the correction rate table 74 and the correction rate table correction section 76 are omitted, and after the correction rate and the correction rate are obtained, each pixel of the image Pk is left as it is. The above correction can also be performed by successively dividing the density value by the reciprocal of the correction rate Xk and the correction rate. In this case, as described above, the corrected correction rate R2
By calculating * to Rn * before the density value correction processing and storing it in the correction rate table 74, the number of numerical values in the density value correction formula is reduced, so that the calculation amount of the correction processing can be reduced. Can be. Therefore, the correction processing can be simplified, and the load on the density value correction unit 77 can be reduced.

【０１１２】画像Ｐ1 〜Ｐn がカラー画像である場合、
濃度値は予め定める３色の成分から構成される。この成
分は、第１の実施の形態で説明したものと等しい。この
場合、濃度値統計部７２と補正率演算部７３と修正率演
算部７５と修正率テーブル修正部７６と濃度値補正部７
７とは、各成分に対して独立して処理を行い、補正率テ
ーブル７４が各成分毎の画像の補正率を記憶する。これ
によって、画像Ｐ1 〜Ｐn がカラー画像である場合も、
画像補正手段７１によって、画像の画素の濃度値を補正
することができる。When the images P1 to Pn are color images,
The density value is composed of predetermined three color components. This component is the same as that described in the first embodiment. In this case, the density value statistic section 72, the correction rate calculation section 73, the correction rate calculation section 75, the correction rate table correction section 76, and the density value correction section 7
7, the processing is performed independently for each component, and the correction rate table 74 stores the correction rate of the image for each component. Thus, even when the images P1 to Pn are color images,
The image correction unit 71 can correct the density values of the pixels of the image.

【０１１３】以上の説明では、入力画像列の各画像を、
ビデオカメラによって撮影した動画の連続した複数の各
フレームであるとしたが、この動画のうちから相互に重
なるフレームを間引いて、それらを入力画像列としても
よい。In the above description, each image in the input image sequence is
Although it is assumed that the frames are a plurality of continuous frames of a moving image captured by a video camera, mutually overlapping frames may be thinned out of the moving images and may be used as an input image sequence.

【０１１４】また、第２実施形態の画像処理装置の入力
画像列の画像は、相互に重なる部分を重ねて並べた場合
に、並べ順が連続する２枚の画像Ｐk-1 ，Ｐk に重複領
域を設定することができれば、入力画像列の各画像が相
互にどのような位置関係にあってもよい。たとえば、図
１４に示すように、各画像Ｐ1 〜Ｐn の中心点を結ぶ仮
想線８６が蛇行していてもよい。また、この画像の並べ
順は、並べ順が連続する２枚の画像Ｐk-1 ，Ｐk に重複
領域を設定することができれば、画像を撮影した順序と
無関係などのような順序であってもでよい。さらにま
た、基準画像は、１番目の画像Ｐ1 以外の他の画像であ
ってもよい。この場合、基準画像に対する基準画像の各
画素の濃度値の比Ｒ１が縦軸上にくるように図１２のグ
ラフの横軸を調整することによって、近似式の算出を前
述した手法で行うことができる。また、画像Ｐ1 〜Ｐn
は、上述のように重複領域を設定することができれば、
どのような作成手法によって作成された画像であっても
よく、たとえば、動画のフレームの他にデジタルスチル
カメラ、スキャナ等によって得られた静止画であっても
よい。Further, when the images of the input image sequence of the image processing apparatus according to the second embodiment are arranged such that the overlapping portions overlap each other, the overlapping area of the two images Pk-1 and Pk in which the arrangement order is continuous is obtained. Can be set, the images in the input image sequence may have any positional relationship with each other. For example, as shown in FIG. 14, a virtual line 86 connecting the center points of the images P1 to Pn may meander. In addition, as long as an overlapping area can be set between two images Pk-1 and Pk in which the order of arrangement is continuous, the order of the images may be unrelated to the order in which the images were captured. Good. Furthermore, the reference image may be an image other than the first image P1. In this case, the approximate expression can be calculated by the above-described method by adjusting the horizontal axis of the graph of FIG. 12 so that the ratio R1 of the density value of each pixel of the reference image to the reference image is on the vertical axis. it can. Also, the images P1 to Pn
Can be set as described above,
The image may be created by any creation method, and may be, for example, a still image obtained by a digital still camera, a scanner, or the like in addition to a moving image frame.

【０１１５】合成手段２３は、このように濃度値が補正
された複数の画像Ｐ1 〜Ｐn を合成して、単一の合成画
像を得る。この場合、基準画像Ｐ1 と補正後の画像Ｐ2
〜Ｐn との全体の明るさがほぼ等しいので、各画像Ｐk-
1 ，Ｐk のつなぎ目およびその周辺の部分における画素
の濃度値の変化が滑らかになる。また、画像Ｐk-1 ，Ｐ
k の全体の明るさがほぼ等しいので、合成画像の濃淡お
よび色調がどの部分でも等しくなる。特に、撮影時に撮
影装置３のＡＧＣ回路が動作している場合、および画像
に蛍光灯に起因するフリッカによる影響がある場合に
も、合成画像全体の明るさを等しくすることができる。
これによって、本実施形態の画像処理装置７１は、従来
技術の画像合成装置によって得られた合成画像の画質よ
りも画質の良い合成画像を得ることができる。The combining means 23 combines the plurality of images P1 to Pn whose density values have been corrected in this way to obtain a single combined image. In this case, the reference image P1 and the corrected image P2
.About.Pn are substantially equal, so that each image Pk-
1, the change in the density value of the pixel at the joint of Pk and its peripheral portion becomes smooth. The images Pk-1 and Pk-1
Since the overall brightness of k is substantially equal, the shades and tones of the composite image are equal in any part. In particular, even when the AGC circuit of the photographing device 3 is operating at the time of photographing, and when the image is affected by flicker caused by a fluorescent lamp, the brightness of the entire composite image can be equalized.
As a result, the image processing device 71 of the present embodiment can obtain a synthesized image having a higher image quality than the image quality of the synthesized image obtained by the image synthesis device of the related art.

【０１１６】また、第１および第２実施形態において、
処理対象の複数の画像Ｐ1 〜Ｐn が重複領域を相互に重
ねて配置すると行列状に並ぶ場合、以下の第１および第
２の手順のいずれかで濃度値の補正を行うとよい。第１
の手順では、処理対象の複数の画像を個別の行または列
を構成する画像の群に区分し、各群の画像をそれぞれ入
力画像列として、前述の画像処理動作によって濃度値を
補正し合成する。次いで、合成された各群の画像を新た
に入力画像列の画像として、前述の画像処理動作によっ
て濃度値を補正し合成する。Further, in the first and second embodiments,
When the plurality of images P1 to Pn to be processed are arranged in a matrix when the overlapping areas are arranged so as to overlap each other, the density value may be corrected by one of the following first and second procedures. First
In the procedure, the plurality of images to be processed are divided into groups of images constituting individual rows or columns, and the images of each group are used as input image columns, and the density values are corrected and synthesized by the above-described image processing operation. . Next, the combined image is corrected as a new image of the input image sequence by the above-described image processing operation, and the density value is corrected and combined.

【０１１７】第２の手順では、まず処理対象の複数の画
像を個別の行または列を構成する画像の群に区分し、各
群の画像をそれぞれ入力画像列として、前述の画像処理
動作によって濃度値を補正し合成する。次いで、合成さ
れた各群の画像９１，９２を新たな入力画像列の画像と
し、図１５（１）に示すようにそれら画像９１，９２の
重複領域９３，９４を求めて、その重複領域９３，９４
内に被写体の同じ部分を写す内部領域を２組設ける。一
方の組の内部領域９５，９６と他方の組の内部領域９
７，９８は、画像９１，９２の長手方向、すなわち画像
９１，９２を合成したときに元の画像を並べた方向の両
端部に配置する。次いで、各組の内部領域９５，９７を
基準領域とし内部領域９６，９８を比較領域として、各
組毎に補正率を算出する。In the second procedure, first, a plurality of images to be processed are divided into groups of images constituting individual rows or columns, and the images of each group are each used as an input image sequence, and the density is determined by the above-described image processing operation. Correct and combine the values. Next, the synthesized images 91 and 92 of each group are used as the images of the new input image sequence, and the overlapping areas 93 and 94 of the images 91 and 92 are obtained as shown in FIG. , 94
Are provided with two sets of internal regions that capture the same portion of the subject. One set of internal areas 95, 96 and the other set of internal areas 9
Reference numerals 7 and 98 are arranged at both ends in the longitudinal direction of the images 91 and 92, that is, the direction in which the original images are arranged when the images 91 and 92 are combined. Next, a correction rate is calculated for each set using the internal areas 95 and 97 of each set as a reference area and the internal areas 96 and 98 as a comparison area.

【０１１８】最後に、図１５（２）に示すように画像９
１，９２を重複領域を重ねて配置した場合に同じ列また
は行を構成する画素の濃度値が一致するように、この列
または行単位で画素の濃度値を補正する。このとき、内
部領域９５，９６；９７，９８を通る列または行９９の
補正率は、内部領域９５，９６；９７，９８を用いて算
出したものを用い、行９９間の列または行１００の補正
率は、内部領域９５，９６；９７，９８を用いて算出さ
れた補正率を列または行９９，１００間の距離に応じて
補間して用いる。これら２つの手順のどちらを用いて
も、行列状に配置される複数の画像の全体の明るさを一
致させることができる。Finally, as shown in FIG.
The pixel density values are corrected for each column or row so that when the overlapping areas 1 and 92 are arranged, the density values of the pixels forming the same column or row match. At this time, the correction rate of the column or row 99 passing through the internal areas 95, 96; 97, 98 is calculated using the internal areas 95, 96; As the correction rate, the correction rate calculated using the internal regions 95, 96; 97, 98 is used by interpolating according to the distance between the columns or rows 99, 100. Either of these two procedures can be used to match the overall brightness of a plurality of images arranged in a matrix.

【０１１９】以下に、本発明の第３実施形態である画像
処理装置を含む合成画像作成装置を説明する。第３実施
形態の合成画像作成装置の電気的構成は、第１実施形態
の合成画像作成装置１と等しい。同一の動作を行う装置
および回路には同一の符号を付し、説明は省略する。Hereinafter, a composite image creating apparatus including an image processing apparatus according to a third embodiment of the present invention will be described. The electrical configuration of the composite image creation device of the third embodiment is the same as that of the composite image creation device 1 of the first embodiment. The same reference numerals are given to devices and circuits that perform the same operation, and description thereof will be omitted.

【０１２０】図１６は、画像処理装置１２０の画像処理
動作を説明するための機能的ブロック図である。中央演
算処理回路９が動作プログラムを実行した場合、まず、
中央演算処理回路９はマッチング手段１２１として動作
し、入力画像列に基づいて、入力画像列の各画像の相互
の対応関係を表すマッチング情報を求める。次いで、中
央演算処理回路９は画像補正手段１２２として動作し、
各画像のマッチング情報を参照して入力画像列の各画像
に濃度補正処理を施すことによって、各画像の全体の明
るさを合わせる。次いで中央演算処理回路９は合成手段
１２３として動作し、マッチング情報を参照して濃度補
正処理後の複数の画像を合成することによって、合成画
像を作成する。最期に中央演算処理回路９は、ホワイト
バランス補正手段１２４として動作し、合成画像に対し
てホワイトバランス補正を行う。ホワイトバランス補正
後の合成画像は、出力画像として記憶装置１０に記憶さ
れる。マッチング手段１２１、画像補正手段１２２、お
よび合成手段１２３の詳細な動作は、第１および第２の
実施形態のマッチング手段２１、画像補正手段２２，７
１、および合成手段２３と等しい。FIG. 16 is a functional block diagram for explaining the image processing operation of image processing apparatus 120. When the central processing circuit 9 executes the operation program, first,
The central processing circuit 9 operates as the matching means 121, and obtains matching information indicating the mutual correspondence between the images in the input image sequence based on the input image sequence. Next, the central processing circuit 9 operates as the image correcting means 122,
By performing density correction processing on each image in the input image sequence with reference to the matching information of each image, the overall brightness of each image is adjusted. Next, the central processing circuit 9 operates as the synthesizing unit 123, and synthesizes a plurality of images after the density correction processing with reference to the matching information to create a synthesized image. At the end, the central processing circuit 9 operates as the white balance correction means 124 and performs white balance correction on the synthesized image. The composite image after the white balance correction is stored in the storage device 10 as an output image. The detailed operations of the matching unit 121, the image correcting unit 122, and the combining unit 123 are described in detail in the matching unit 21, the image correcting units 22, 7 in the first and second embodiments.
1 and the combining means 23.

【０１２１】以下に、ホワイトバランス補正手段１２４
における合成画像のホワイトバランス補正手法を説明す
る。ホワイトバランス補正手段１２４は、いわゆる映像
信号検出方式を用い、合成画像を表す画像信号に基づい
て合成画像のホワイトバランス補正を行う。映像信号検
出方式では、１枚の画像のすべての画素の色の和を求め
ると、その和が白色になることを利用して、補正を行
う。たとえば、映像信号検出方式の１例である白部検出
方式を以下に説明する。Hereinafter, the white balance correction means 124 will be described.
The method for correcting the white balance of the composite image will be described. The white balance correction unit 124 uses a so-called video signal detection method, and performs white balance correction of the composite image based on the image signal representing the composite image. In the video signal detection method, when the sum of the colors of all the pixels of one image is obtained, correction is performed using the fact that the sum becomes white. For example, a white portion detection method, which is an example of a video signal detection method, will be described below.

【０１２２】白部検出方式では、概略的には、画像信号
を構成するＹ信号（輝度信号）ならびにＲ−Ｙ信号およ
びＢ−Ｙ信号（色差信号）から白色およびそれに近い色
の画素の色差成分を抽出し、抽出された色差成分の平均
値を零にするように、画像を補正する。具体的には、ま
ず、合成画像の各画素の濃度値を、縦軸がＢ−Ｙ信号を
Ｙ信号によって除算した商「（Ｂ−Ｙ）／Ｙ」であり、
横軸がＲ−Ｙ信号をＹによって除算した商「（Ｒ−Ｙ）
／Ｙ」である２次元座標系の座標に置換えて、置換え後
の座標が白色の色温度領域に含まれる画素を抽出する。
白色の色温度領域は、白色の色温度軌跡を含む領域であ
り、式１６〜式１９によって表される。α、β、γおよ
びδは、それぞれ予め定める定数であり、全て正の値で
ある。次式で、「２Ｙ−Ｒ−Ｂ」は、Ｒ−Ｙ信号および
Ｂ−Ｙ信号の和である。 −（Ｒ−Ｙ）＜αＹ …（16） −（Ｂ−Ｙ）＜βＹ …（17） ２Ｙ−Ｒ−Ｂ＜γＹ …（18） −（２Ｙ−Ｒ−Ｂ）＜δＹ …（19）In the white portion detection method, the color difference components of pixels of white and colors close to white are obtained from the Y signal (luminance signal), RY signal, and BY signal (color difference signal) constituting the image signal. Is extracted, and the image is corrected so that the average value of the extracted color difference components becomes zero. Specifically, first, the density value of each pixel of the composite image is represented by the quotient “(BY) / Y” obtained by dividing the BY signal by the Y signal on the vertical axis.
The horizontal axis represents the quotient “(RY) obtained by dividing the RY signal by Y.
/ Y ”, and the pixels whose replacement coordinates are included in the white color temperature area are extracted.
The white color temperature region is a region including a white color temperature locus, and is represented by Expressions 16 to 19. α, β, γ, and δ are predetermined constants, and are all positive values. In the following equation, “2Y−RB” is the sum of the RY signal and the BY signal. -(RY) <αY (16)-(BY) <βY (17) 2Y-RB <γY (18)-(2YRB) <δY (19)

【０１２３】白色の色温度領域に含まれる画素は、具体
的には、Ｒ−Ｙ信号、Ｂ−Ｙ信号、および２Ｙ−Ｒ−Ｂ
信号ならびにそれら信号の反転信号を、Ｙ信号の値を変
化させた信号と比較することによって、抽出することが
できる。さらに、抽出された画素の色差信号の平均値を
求め、その平均値が前記座標系の原点になるようにこれ
ら画素の色差信号を補正する補正信号を生成する。最後
に、この補正信号によって合成画像を構成する全ての画
素を補正する。これによって、合成画像の画素の色を正
確に補正することができる。The pixels included in the white color temperature region are, specifically, an RY signal, a BY signal, and a 2Y-RB
The signals and their inverted signals can be extracted by comparing them with the signal in which the value of the Y signal is changed. Further, an average value of the color difference signals of the extracted pixels is obtained, and a correction signal for correcting the color difference signals of these pixels is generated so that the average value becomes the origin of the coordinate system. Finally, all the pixels constituting the composite image are corrected by the correction signal. Thereby, the color of the pixel of the composite image can be accurately corrected.

【０１２４】また、ホワイトバランス補正手段１２４で
は、合成画像を処理対象とする。合成画像に写された被
写体および被写体の部分が存在する範囲は入力画像列の
各画像Ｐ1 〜Ｐn に写された被写体および被写体の部分
がある範囲よりも広いので、各画像Ｐ1 〜Ｐn を構成す
る画素の色にそれぞれ偏りがある場合でも、合成画像を
構成する画素の色に偏りがないことが多い。したがっ
て、映像信号検出方式を用いたホワイトバランス補正を
行う場合、合成画像を処理対象とするほうが、画像Ｐ1
，Ｐn を処理対象とするときよりも、より正確に色を
補正することができる。さらに、ホワイトバランス補正
手段１２４は、合成された画像に対してホワイトバラン
ス補正を行えば良いので、画像補正手段１２２の濃度値
補正処理を従来技術の濃度値補正処理に置換えても、同
じ効果を得ることができる。The white balance correction means 124 processes the composite image. The range in which the subject and the part of the subject appear in the composite image is wider than the range in which the subject and the part of the subject appear in each of the images P1 to Pn of the input image sequence, and thus each of the images P1 to Pn is formed. Even when the colors of the pixels are biased, the colors of the pixels forming the composite image are often not biased. Therefore, when performing white balance correction using the video signal detection method, it is better to process the composite image as the image P1.
, Pn can be corrected more accurately than when processing is performed. Further, since the white balance correction means 124 only needs to perform white balance correction on the synthesized image, the same effect can be obtained even if the density value correction processing of the image correction means 122 is replaced with the density value correction processing of the related art. Obtainable.

【０１２５】本発明の第１実施形態の画像処理装置５
は、合成手段２３を省略することができる。この場合、
この画像処理装置は、たとえば並べて比較するための複
数の画像の全体の明るさを合わせるために用いられ、複
数の画像Ｐ1 〜Ｐn の全体の明るさが等しくなるよう
に、画像Ｐ1 〜Ｐn の全体の明るさを、簡単な処理によ
って確実に補正することができる。同様の目的で、本発
明の第２実施形態の画像処理装置７１も、合成手段２３
を省略することができ、この場合、画像に反射および影
ならびにシェーディング等の影響がある場合にも、多数
の画像の全体の明るさを簡単な処理によって確実に補正
して、ほぼ等しくすることができる。The image processing apparatus 5 according to the first embodiment of the present invention
Can omit the combining means 23. in this case,
This image processing apparatus is used, for example, to adjust the overall brightness of a plurality of images for side-by-side comparison, so that the overall brightness of the plurality of images P1 to Pn is the same. Can be surely corrected by a simple process. For the same purpose, the image processing apparatus 71 according to the second embodiment of the present invention
In this case, even when the images are affected by reflections, shadows, shading, and the like, it is possible to reliably correct the overall brightness of a large number of images by a simple process to make them substantially equal. it can.

【０１２６】第１〜第３実施形態の画像処理装置５，７
１，１２０は本発明の画像処理装置の例示であり、主要
な動作が等しければ、他の様々な形で実現することがで
きる。特に各手段の詳細な動作は、同じ処理結果が得ら
れれば、これに限らず他の動作によって実現されてもよ
い。また、第１〜第３実施形態の画像処理装置５，７
１，１２０は、各手段および各部の動作を専用の個別の
回路によって実行させる構成としてもよい。さらに、画
像処理装置５，７１，１２０は、上述の画像処理動作を
実行するためのソフトウエアをコンピュータによって読
出し可能な記憶媒体に記憶させ、この記憶媒体のソフト
ウエアをコンピュータにインストールすることによって
実現してもよい。この記憶媒体には、ＣＤ−ＲＯＭ、光
磁気ディスクおよびフロッピーディスクが挙げられる。The image processing apparatuses 5 and 7 of the first to third embodiments
Reference numerals 1 and 120 are examples of the image processing apparatus of the present invention, and can be realized in other various forms as long as the main operations are equal. Particularly, the detailed operation of each means is not limited to this and may be realized by another operation as long as the same processing result is obtained. Further, the image processing apparatuses 5 and 7 of the first to third embodiments
Each of the units 1 and 120 may be configured to execute the operation of each unit and each unit by a dedicated individual circuit. Further, the image processing apparatuses 5, 71, and 120 are realized by storing software for executing the above-described image processing operation in a computer-readable storage medium, and installing the software of the storage medium in the computer. May be. The storage medium includes a CD-ROM, a magneto-optical disk, and a floppy disk.

【０１２７】[0127]

【０１２８】[0128]

【０１２９】[0129]

【０１３０】[0130]

【０１３１】[0131]

【０１３２】[0132]

【発明の効果】本発明によれば、画像処理装置は、複数
の画像を処理対象とする場合、２枚の画像Ｐk-1 ，Ｐk
の代表値ｍｒk-1 ，ｍｃk の比をそれぞれ求め、それら
代表値の比の見積もり誤りの割合を推定して、各代表値
の比からその見積もり誤りを除くように修正し、修正後
の比に基づいて、各画像の画素の濃度値を補正する。こ
れによって従来技術の画像処理装置よりも容易な処理に
よって確実に、３枚以上の画像の全体の明るさの補正を
行うことができる。According to the present invention, when a plurality of images are to be processed, the image processing apparatus includes two images Pk-1 and Pk-1.
The ratio of the representative values mrk-1 and mck is calculated, the ratio of the estimation error of the ratio of the representative values is estimated, and the ratio of each representative value is corrected so as to remove the estimation error. Based on this, the density value of the pixel of each image is corrected. As a result, the overall brightness of three or more images can be reliably corrected by a process that is easier than the conventional image processing apparatus.

【０１３３】また本発明によれば、補正値演算手段は、
求めた複数の代表値の比Ｒ2 〜Ｒnおよび修正後の比を
テーブルに記憶させる。これによって、画素の濃度値を
補正する時点に行う演算量を減少させて、処理を簡略化
することができる。Further, according to the present invention, the correction value calculating means includes:
The obtained ratios R2 to Rn of the representative values and the corrected ratios are stored in a table. As a result, the amount of calculation performed when the density value of the pixel is corrected can be reduced, and the processing can be simplified.

【０１３４】また本発明によれば、前記修正率演算手段
は、複数の代表値の比と並べ順との関係を表す近似式に
基づいて、前記修正率を求める。これによって、見積も
り誤りの割合を求めることができる。Further, according to the present invention, the correction rate calculating means obtains the correction rate based on an approximate expression representing the relationship between the ratio of a plurality of representative values and the arrangement order. As a result, the ratio of estimation errors can be obtained.

【０１３５】さらにまた本発明によれば、前記近似式
は、指数関数である。これによって、被写体と光源と撮
影装置との位置関係がほぼ変わらず、かつ画像に被写体
の反射および影ならびにシェーディングの影響がある場
合、見積もり誤りの割合を確実に求めることができる。Further, according to the present invention, the approximate expression is an exponential function. Accordingly, when the positional relationship between the subject, the light source, and the imaging device is substantially unchanged and the image is affected by the reflection and shadow of the subject and shading, the ratio of the estimation error can be reliably obtained.

【０１３６】また本発明に従えば、画像処理装置の各手
段は、濃度値の各成分毎に処理を行う。これによって複
数の画像がカラー画像である場合にも、従来技術の画像
処理装置よりも簡単にかつ確実に、画像の全体の明るさ
の補正を行うことができる。Further, according to the present invention, each means of the image processing apparatus performs processing for each component of the density value. As a result, even when a plurality of images are color images, the overall brightness of the images can be corrected more easily and more reliably than the image processing apparatus of the related art.

【０１３７】さらにまた本発明によれば、画像処理装置
は、濃度補正後の複数の画像を合成する。これによっ
て、従来技術の画像処理装置によって合成された画像よ
りも、合成された画像の画質を向上させることができ
る。Further, according to the present invention, the image processing apparatus combines a plurality of images after density correction. As a result, the image quality of the combined image can be improved as compared with the image combined by the image processing device of the related art.

【０１３８】また本発明によれば、映像信号検出方式を
用いたホワイトバランス補正手段を用いて確実にホワイ
トバランスを補正することができる。Further, according to the present invention, the white balance can be surely corrected by using the white balance correcting means using the video signal detection method.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の第１実施形態である画像処理装置５を
含む合成画像作成装置１の電気的構造を表すブロック図
である。FIG. 1 is a block diagram illustrating an electrical structure of a composite image creating device 1 including an image processing device 5 according to a first embodiment of the present invention.

【図２】画像処理装置５の画像処理動作を説明するため
の機能的ブロック図である。FIG. 2 is a functional block diagram for explaining an image processing operation of the image processing apparatus 5;

【図３】入力画像列の画像Ｐ1 ，Ｐ2 を表す図、および
重複領域ｑ1 ，ｑ2 を重ねた状態の画像Ｐ1 ，Ｐ2 を表
す図である。FIG. 3 is a diagram illustrating images P1 and P2 of an input image sequence, and a diagram illustrating images P1 and P2 in a state where overlapping regions q1 and q2 are superimposed.

【図４】画像Ｐ1 ，Ｐ2 の重複領域ｑ1 ，ｑ2 の画素の
濃度値のヒストグラムである。FIG. 4 is a histogram of density values of pixels in overlapping areas q1 and q2 of images P1 and P2.

【図５】ブロックマッチング法を説明するための画像
Ｆ，Ｇを表す図である。FIG. 5 is a diagram showing images F and G for explaining a block matching method.

【図６】画像補正手段２２の濃度値補正動作を説明する
ための機能的ブロック図である。FIG. 6 is a functional block diagram for explaining a density value correction operation of the image correction means 22.

【図７】入力画像列の画像Ｐ1 ，Ｐ2 を表す図である。FIG. 7 is a diagram illustrating images P1 and P2 of an input image sequence.

【図８】第２実施形態の合成画像作成装置において入力
画像列の画像を得る場合の撮影装置３と被写体６１と光
源６２との位置関係を表す図である。FIG. 8 is a diagram illustrating a positional relationship between a photographing device 3, a subject 61, and a light source 62 when an image of an input image sequence is obtained by the composite image creating device according to the second embodiment.

【図９】入力画像列の画像Ｐ1 〜Ｐ３を表す図、および
重複領域を重ねた状態の画像Ｐ1 〜Ｐ３を表す図であ
る。FIG. 9 is a diagram illustrating images P1 to P3 of an input image sequence, and a diagram illustrating images P1 to P3 in a state where overlapping regions are superimposed.

【図１０】画像補正手段７１の濃度値補正動作を説明す
るための機能的ブロック図である。FIG. 10 is a functional block diagram for explaining a density value correction operation of an image correction unit 71.

【図１１】画像補正手段７１の濃度値補正動作を説明す
るためのフローチャートである。FIG. 11 is a flowchart illustrating a density value correction operation of the image correction unit 71.

【図１２】基準画像を基準とした１番目〜ｎ番目の画像
Ｐ1 〜Ｐn の各画素の濃度値の比Ｒ1 〜Ｒn と、画像の
並べ順の番号１〜ｎとの関係を表すグラフである。FIG. 12 is a graph showing a relationship between ratios R1 to Rn of density values of respective pixels of first to nth images P1 to Pn based on a reference image and numbers 1 to n of image arrangement order. .

【図１３】被写体の反射および影の影響を説明するため
の入力画像列の画像Ｐ1 〜Ｐ3 を表す図である。FIG. 13 is a diagram showing images P1 to P3 of an input image sequence for explaining the effects of reflection and shadow of a subject.

【図１４】入力画像列の位置関係を説明するための図で
ある。FIG. 14 is a diagram for explaining a positional relationship of an input image sequence.

【図１５】行列状に並ぶ複数の画像を処理対象の画像と
した場合の濃度補正の手法を説明するための図である。FIG. 15 is a diagram for explaining a method of density correction when a plurality of images arranged in a matrix are used as images to be processed.

【図１６】本発明の第３実施形態である画像処理装置１
２０の画像処理動作を説明するための機能的ブロック図
である。FIG. 16 is an image processing apparatus 1 according to a third embodiment of the present invention.
FIG. 20 is a functional block diagram for explaining the image processing operation of No. 20;

【符号の説明】[Explanation of symbols]

３ 撮影装置 ４ 読取り装置 ５，７１，１２０ 画像処理装置 ９ 中央演算処理回路 １０ 記憶装置 ２１，１２１ マッチング手段 ２２，７１，１２２ 画像補正手段 ２３，１２３ 合成手段 ５１，７２ 濃度値統計部 ５２，７７ 濃度値補正部 ７３ 補正率演算部 ７４ 補正率テーブル ７５ 修正率演算部 ７６ 補正率テーブル修正部 １２４ ホワイトバランス補正手段 Reference Signs List 3 photographing device 4 reading device 5, 71, 120 image processing device 9 central processing circuit 10 storage device 21, 121 matching device 22, 71, 122 image correcting device 23, 123 synthesizing device 51, 72 density value statistical section 52, 77 Density value correction section 73 correction rate calculation section 74 correction rate table 75 correction rate calculation section 76 correction rate table correction section 124 white balance correction means

フロントページの続き (56)参考文献 特開 平９−93430（ＪＰ，Ａ) 特開 平５−342344（ＪＰ，Ａ) 特開 平７−65189（ＪＰ，Ａ) 特開 平７−121681（ＪＰ，Ａ) 特開 平９−147098（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 3/00 400 G06T 1/00 280 - 340 H04N 1/387 Continuation of the front page (56) References JP-A-9-93430 (JP, A) JP-A-5-342344 (JP, A) JP-A-7-65189 (JP, A) JP-A-7-121681 (JP, A) , A) JP-A-9-147098 (JP, A) (58) Fields investigated (Int. Cl. ⁷ , DB name) G06T 3/00 400 G06T 1/00 280-340 H04N 1/387

Claims (7)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】 複数の画素からなる複数の画像Ｐ1 〜Ｐ
n について、一対の画像Ｐk-1 ，Ｐk （ｋ＝２〜ｎ）が
相互に重なる重複領域を、それぞれ求める重複領域決定
手段と、 各一対の画像Ｐk-1 ，Ｐk の重複領域の画素の濃度値の
分布を代表する代表値ｍｒk-1 ，ｍｃk を、それぞれ求
める濃度値統計手段と、 複数の画像のうちのいずれか１つの画像Ｐ1 を基準とし
た複数の画像のうちの残余の各画像Ｐk の各画素の濃度
値の比Ｒk を、各一対の画像Ｐk-1 ，Ｐk の代表値ｍｒ
k-1 ，ｍｃk の比に基づいてそれぞれ求める補正率演算
手段と、 複数の比Ｒ2 〜Ｒn の分布に基づいて、各比Ｒk の修
正率Ｘk を求める修正率演算手段と、 各画像Ｐ1 〜Ｐn 毎に、該画像Ｐk の比Ｒk と修正率Ｘ
k とに基づいて、各画素の濃度値を補正する濃度値補正
手段とを含むことを特徴とする画像処理装置。1. A plurality of images P1 to P composed of a plurality of pixels.
For n, an overlapping area determining means for obtaining an overlapping area where the pair of images Pk-1 and Pk (k = 2 to n) overlap each other, and the density of pixels in the overlapping area of each pair of images Pk-1 and Pk Density value statistical means for obtaining representative values mrk-1 and mck representative of the distribution of values; and each of the remaining images Pk of the plurality of images based on any one of the plurality of images P1 Of the density value of each pixel is represented by the representative value mr of the pair of images Pk-1 and Pk.
correction rate calculating means for calculating the correction rate Xk of each ratio Rk based on the distribution of a plurality of ratios R2 to Rn; Each time, the ratio Rk of the image Pk and the correction rate X
a density value correction unit for correcting the density value of each pixel based on k. 【請求項２】 前記複数の比Ｒ2 〜Ｒn を格納するテー
ブルと、 テーブルに格納された前記各比Ｒk を、前記修正率Ｘk
に基づいてそれぞれ修正する修正手段とをさらに含み、 前記濃度値補正手段は、前記各画像Ｐ1 〜Ｐn 毎に、テ
ーブルに格納された修正後の比Ｒk に基づいて、各画素
の濃度値を補正することを特徴とする請求項１記載の画
像処理装置。2. A table for storing the plurality of ratios R2 to Rn, and each of the ratios Rk stored in the table, the correction ratio Xk
The density value correcting means corrects the density value of each pixel based on the corrected ratio Rk stored in the table for each of the images P1 to Pn. The image processing apparatus according to claim 1, wherein: 【請求項３】 前記修正率演算手段は、前記重複領域を
順次重ねて前記画像Ｐ1 〜Ｐn を並べた場合の並べ順ｋ
と前記各画像Ｐk の比Ｒk との関係を予め定める近似式
によって近似し、その近似式の定数と並べ順ｋとに基づ
いて前記各修正率Ｘk を定めることを特徴とする請求項
１記載の画像処理装置。3. An arrangement order k when the images P1 to Pn are arranged by sequentially overlapping the overlapping areas.
2. The method according to claim 1, wherein the relationship between the correction ratio Xk and the ratio Rk of the images Pk is approximated by a predetermined approximate expression, and the correction rates Xk are determined based on the constant of the approximate expression and the arrangement order k. Image processing device. 【請求項４】 前記近似式は指数関数（ｙ＝ａ^x）であ
り、前記定数は指数関数の底ａであることを特徴とする
請求項３記載の画像処理装置。4. The image processing apparatus according to claim 3, wherein the approximate expression is an exponential function (y = a ^x ), and the constant is a base a of the exponential function. 【請求項５】 前記濃度値は、予め定める３色の成分に
よって構成され、 前記濃度値統計手段、前記補正率演算手段、前記修正率
演算手段、および前記濃度値補正手段は、濃度値の各成
分毎に処理を行うことを特徴とする請求項１記載の画像
処理装置。5. The density value includes three predetermined color components. The density value statistic means, the correction rate calculation means, the correction rate calculation means, and the density value correction means, 2. The image processing apparatus according to claim 1, wherein processing is performed for each component. 【請求項６】 各画素の濃度値が補正された画像を、前
記重複領域を順次重ねて合成する合成手段をさらに含む
ことを特徴とする請求項１記載の画像処理装置。6. The image processing apparatus according to claim 1, further comprising a synthesizing means for synthesizing an image in which the density value of each pixel has been corrected by superimposing the overlapping areas sequentially. 【請求項７】 合成された画像のホワイトバランスを補
正するホワイトバランス補正手段をさらに含むことを特
徴とする請求項６記載の画像処理装置。7. The image processing apparatus according to claim 6, further comprising white balance correction means for correcting white balance of the combined image.