JP2017201455A - Image synthesizer, image synthesis method, image synthesis program and storage medium - Google Patents
Image synthesizer, image synthesis method, image synthesis program and storage medium Download PDFInfo
- Publication number
- JP2017201455A JP2017201455A JP2016092663A JP2016092663A JP2017201455A JP 2017201455 A JP2017201455 A JP 2017201455A JP 2016092663 A JP2016092663 A JP 2016092663A JP 2016092663 A JP2016092663 A JP 2016092663A JP 2017201455 A JP2017201455 A JP 2017201455A
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving subject
- images
- timing
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 28
- 238000001308 synthesis method Methods 0.000 title description 3
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000003384 imaging method Methods 0.000 claims abstract description 42
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 38
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 239000000203 mixture Substances 0.000 claims description 57
- 238000012545 processing Methods 0.000 claims description 27
- 239000002131 composite material Substances 0.000 claims description 23
- 230000001678 irradiating effect Effects 0.000 claims description 11
- 238000002156 mixing Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003863 fast low-angle shot imaging Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Abstract
Description
本開示は、画像合成装置、画像合成方法、画像合成プログラム及び記憶媒体に関する。 The present disclosure relates to an image composition device, an image composition method, an image composition program, and a storage medium.
特許文献１は、合成画像における動被写体のブレを補正する装置を開示する。この装置は、基準画像と比較画像との間の動きデータを算出する。次に、この装置は、基準画像と比較画像との画素値の差分を、動きデータによって対応付けられるブロックごとに算出する。次に、この装置は、画素値の差分に基づいて基準画像に対する比較画像の重ね合わせ比率をブロックごとに算出する。次に、この装置は、動きデータおよび重ね合わせ比率を用いて比較画像を基準画像に重ね合わせて合成画像を生成する。このように、特許文献１記載の装置は、合成する２枚の画像の露出が同一であるという前提で、画素値の差分を算出している。 Japanese Patent Application Laid-Open No. 2004-268831 discloses an apparatus that corrects blurring of a moving subject in a composite image. This apparatus calculates motion data between the reference image and the comparison image. Next, this apparatus calculates a difference between pixel values of the reference image and the comparison image for each block associated with the motion data. Next, this apparatus calculates the overlay ratio of the comparison image with respect to the reference image for each block based on the difference between the pixel values. Next, the apparatus generates a composite image by superimposing the comparison image on the reference image using the motion data and the overlay ratio. As described above, the apparatus described in Patent Document 1 calculates the difference between the pixel values on the assumption that the exposure of the two images to be combined is the same.
特許文献２は、ハイダイナミックレンジ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）合成画像における動被写体のブレを補正する装置を開示する。この装置は、第１画像と第２画像との露出を合わせる前に、第１画像と第２画像との差分に基づいて各画素における動被写体尤度を算出する。次に、この装置は、動被写体尤度に基づいて第１画像と第２画像との露出を合わせる露出変換関数を推定する。次に、この装置は、第１画像及び第２画像の差分に基づいて各画素における動被写体尤度を算出し、該動被写体尤度及び露出変換関数を用いて第１画像及び第２画像を合成する。具体的には、第１画像及び第２画像の画素値全体を露出が一致するように補正した上で、第１画像及び第２画像の合成比を調整する。このように、特許文献２記載の装置は、合成する２枚の画像の露出が異なるため、画像全体を同一パラメータで補正して両者の露出を合わせた上で、画素値の差分を算出している。 Patent Document 2 discloses an apparatus that corrects blurring of a moving subject in a high dynamic range composite image. This apparatus calculates the moving subject likelihood at each pixel based on the difference between the first image and the second image before matching the exposures of the first image and the second image. Next, this apparatus estimates an exposure conversion function that matches the exposure of the first image and the second image based on the moving subject likelihood. Next, the apparatus calculates a moving subject likelihood in each pixel based on the difference between the first image and the second image, and uses the moving subject likelihood and the exposure conversion function to convert the first image and the second image. Synthesize. Specifically, the overall pixel values of the first image and the second image are corrected so that the exposures match, and then the composition ratio of the first image and the second image is adjusted. As described above, since the exposure of the two images to be combined is different in the apparatus described in Patent Document 2, the entire image is corrected with the same parameter, and the exposure of both is adjusted, and then the difference between the pixel values is calculated. Yes.
ところで、フラッシュ光を被写体に照射してフラッシュ撮像を行った場合、フラッシュ光が当たった領域が部分的に明るくなる。つまり、フラッシュ撮像による画像は、同一画像内であっても露出の異なる領域を含む。このような露出の異なる領域を含む画像と通常撮像による画像とを合成する場合、特許文献１記載の装置はもちろん、特許文献２記載の装置であっても、両者の画像間の画素値の差分が、露出の違いによって生じたものであるのか、動被写体の移動によって生じたものであるのかを区別することができない。 By the way, when flash imaging is performed by irradiating the subject with flash light, a region irradiated with the flash light is partially brightened. That is, an image obtained by flash imaging includes regions with different exposures even within the same image. When synthesizing such an image including regions with different exposures and an image obtained by normal imaging, not only the device described in Patent Document 1, but also the device described in Patent Document 2, the difference in pixel values between the two images However, it cannot be distinguished whether it is caused by a difference in exposure or caused by movement of a moving subject.
本技術分野では、露出の異なる領域を含む画像と通常撮像による画像とを合成する場合であっても動被写体ブレを抑制することができる画像合成装置、画像合成方法、画像合成プログラム及び記憶媒体が望まれている。 In the present technical field, there is provided an image composition device, an image composition method, an image composition program, and a storage medium that can suppress moving subject blur even when an image including regions with different exposures and an image obtained by normal imaging are combined. It is desired.
本発明の一側面に係る画像合成装置は、同一被写体が撮像された一連の複数の画像のうち少なくとも２枚の画像を合成して合成画像を生成する画像合成装置であって、第１タイミングにおいて第１露出条件で撮像された第１画像、第２タイミングにおいて第２露出条件で撮像された第２画像、及び、第３タイミングにおいて第１露出条件で撮像された第３画像を含む複数の画像を取得する取得部と、第１画像と第３画像との画素値を比較して、動被写体が描画された領域である動被写体領域を検出する領域検出部と、複数の画像から選択された対象画像と第２画像とを合成して合成画像を生成する合成部と、を備え、合成部は、対象画像の動被写体領域に対応する画素及び第２画像の動被写体領域に対応する画素に対して、一方の画素値を他方の画素値に近づける動被写体ブレ除去処理を行い、動被写体ブレ除去処理後に対象画像と第２画像とを合成する。 An image synthesizing apparatus according to an aspect of the present invention is an image synthesizing apparatus that generates a synthesized image by synthesizing at least two images out of a series of a plurality of images in which the same subject is captured. A plurality of images including a first image captured under the first exposure condition, a second image captured under the second exposure condition at the second timing, and a third image captured under the first exposure condition at the third timing Selected from a plurality of images, an acquisition unit for acquiring a moving subject region, a moving subject region that is a region in which a moving subject is drawn by comparing pixel values of the first image and the third image A synthesis unit that synthesizes the target image and the second image to generate a synthesized image, and the synthesis unit includes pixels corresponding to the moving subject region of the target image and pixels corresponding to the moving subject region of the second image. For one pixel value, Deeds moving subject blur removal processing closer to the pixel values, to synthesize the target image and the second image after the moving subject blur removal processing.
この画像合成装置では、一連の複数の画像のうち同一の露出条件（第１露出条件）で撮像された２枚の画像を用いて動被写体領域が決定され、決定された動被写体領域が、動被写体領域を決定する際に用いた画像を撮像した露出条件とは異なる露出条件（第２露出条件）で撮像された画像を合成する際に用いられる。このように、この装置は、一連の複数の画像のうち同一の露出条件で撮像された画像同士を用いることで動被写体領域を精度良く決定することができる。つまり、画像全体において部分的に露出が異なる領域が存在したとしても、同一の露出条件で撮像された画像同士であれば、露出が異なる領域が同様に現れるため、動被写体領域を精度良く決定することができる。動被写体領域を精度良く決定することができることから、結果としてこの装置は、露出の異なる領域を含む画像と通常撮像による画像とを合成する場合であっても動被写体ブレを抑制することができる。 In this image composition device, a moving subject area is determined using two images captured under the same exposure condition (first exposure condition) among a plurality of images, and the determined moving subject area is determined as a moving subject area. This is used when composing an image captured under an exposure condition (second exposure condition) different from the exposure condition for capturing the image used when determining the subject area. As described above, this apparatus can determine the moving subject region with high accuracy by using images captured under the same exposure condition among a plurality of series of images. In other words, even if there are regions with different exposures in the entire image, regions with different exposures appear in the same way if the images are captured under the same exposure conditions, so the moving subject region is accurately determined. be able to. Since the moving subject area can be determined with high accuracy, as a result, this apparatus can suppress moving subject blur even when an image including areas with different exposures and an image obtained by normal imaging are combined.
一実施形態において、第１画像及び第３画像はフラッシュ光を照射せずに撮影された画像であり、第２画像はフラッシュ光を照射して撮影された画像でもよい。この場合、第１画像及び第３画像は、第２画像と異なる露出となる。このような場合であっても、この装置は動被写体ブレを抑制することができる。また、第１露出条件及び第２露出条件の何れか一方を、フラッシュ光を照射して撮像する条件とする場合、第２露出条件をフラッシュ光を照射して撮像する条件とした方が、フラッシュを短時間で連続発光することが困難である撮像装置にも適用することができる。 In one embodiment, the first image and the third image may be images taken without irradiating flash light, and the second image may be an image taken by irradiating flash light. In this case, the first image and the third image are exposed differently from the second image. Even in such a case, this apparatus can suppress moving subject blurring. In addition, when one of the first exposure condition and the second exposure condition is set as a condition for imaging by irradiating flash light, the second exposure condition is set as a condition for imaging by irradiating flash light. Can also be applied to an imaging device that is difficult to continuously emit light in a short time.
一実施形態において、第２タイミングは第１タイミングの後であり、第３タイミングは第２タイミングの後でもよい。この場合、第１画像、第２画像及び第３画像の順に撮像される。つまり、第２画像の撮像タイミングの前後の画像を用いて動被写体領域が検出されるため、第２画像における動被写体領域の位置精度を高めることができる。 In one embodiment, the second timing may be after the first timing and the third timing may be after the second timing. In this case, the first image, the second image, and the third image are captured in this order. That is, since the moving subject area is detected using images before and after the imaging timing of the second image, it is possible to improve the positional accuracy of the moving subject area in the second image.
一実施形態において、動被写体ブレ除去処理は、対象画像の動被写体領域に対応する画素及び第２画像の動被写体領域に対応する画素に対して、一方の画素値を他方の画素値で上書きする処理であってもよい。このように構成することで、この装置は、動被写体ブレを抑制することができる。 In one embodiment, the moving subject blur removal process overwrites a pixel value corresponding to the moving subject region of the target image and a pixel corresponding to the moving subject region of the second image with the other pixel value. It may be a process. With this configuration, this apparatus can suppress moving subject blurring.
一実施形態において、動被写体ブレ除去処理は、対象画像の動被写体領域に対応する画素の輝度値及び第２画像の動被写体領域に対応する画素の輝度値を比較し、高い方の輝度値で低い方の輝度値を上書きする処理であってもよい。このように構成することで、背景に映りこんだ動被写体によって生じる動被写体ブレを抑制することができる。 In one embodiment, the moving subject blur removal process compares the luminance value of the pixel corresponding to the moving subject region of the target image and the luminance value of the pixel corresponding to the moving subject region of the second image, and uses the higher luminance value. Processing for overwriting the lower luminance value may be used. With such a configuration, it is possible to suppress moving subject blur caused by a moving subject reflected in the background.
一実施形態において、動被写体ブレ除去処理は、所定の度合いでぼかされた合成マスクを用いて対象画像の動被写体領域に対応する画素及び第２画像の動被写体領域に対応する画素を合成する処理を含んでもよい。このように構成することで、この装置は、合成マスクの境界が不自然になることを抑制することができる。 In one embodiment, the moving subject blur removal process combines a pixel corresponding to the moving subject region of the target image and a pixel corresponding to the moving subject region of the second image using a synthesis mask blurred at a predetermined degree. Processing may be included. By configuring in this way, this apparatus can suppress the unnatural boundary of the composite mask.
一実施形態において、合成部は、動被写体ブレ除去処理の後において、対象画像及び第２画像の輝度値の差分に応じて決定される混合比を用いて、対象画像及び第２画像を合成してもよい。このように構成することで、この装置は、対象画像と第２画像の輝度差を反映させて合成することができる。例えば夜間に人物をフラッシュ撮像した場合に、この装置は、フラッシュ光により明るく見える人物と、フラッシュ光を利用しないことにより明るく見える背景とを合成することができる。 In one embodiment, the synthesis unit synthesizes the target image and the second image using the mixing ratio determined according to the difference between the luminance values of the target image and the second image after the moving subject blur removal process. May be. With this configuration, this apparatus can synthesize the apparatus by reflecting the luminance difference between the target image and the second image. For example, when a person is flash imaged at night, this apparatus can synthesize a person who looks bright with flash light and a background that looks bright without using flash light.
一実施形態において、対象画像は、第１画像又は第３画像でもよい。このように構成することで、この装置は、動被写体領域を検出した画像そのものを合成の対象とすることができるので、動被写体領域の位置精度を高めることができる。 In one embodiment, the target image may be a first image or a third image. With this configuration, the apparatus can set the image itself in which the moving subject area is detected as a synthesis target, so that the positional accuracy of the moving subject area can be improved.
本発明の他の側面に係る画像合成方法は、同一被写体が撮像された一連の複数の画像のうち少なくとも２枚の画像を合成して合成画像を生成する画像合成方法であって、第１タイミングにおいて第１露出条件で撮像された第１画像、第２タイミングにおいて第２露出条件で撮像された第２画像、及び、第３タイミングにおいて第１露出条件で撮像された第３画像を含む複数の画像を取得する取得ステップと、第１画像と第３画像との画素値を比較して、動被写体が描画された領域である動被写体領域を検出する領域検出ステップと、複数の画像から選択された対象画像と第２画像とを合成して合成画像を生成する合成ステップと、を備え、合成ステップは、対象画像及び第２画像の動被写体領域に対応する画素に対して、一方の画素値を他方の画素値に近づける動被写体ブレ除去処理を行い、動被写体ブレ除去処理後に対象画像と第２画像とを合成するステップを含む。 An image synthesis method according to another aspect of the present invention is an image synthesis method for generating a synthesized image by synthesizing at least two images of a series of a plurality of images in which the same subject is imaged. A plurality of images including a first image captured under the first exposure condition at a second timing, a second image captured under the second exposure condition at a second timing, and a third image captured under the first exposure condition at a third timing. An acquisition step for acquiring an image, an area detection step for comparing a pixel value of the first image and the third image, and detecting a moving subject region that is a region where the moving subject is drawn, and a plurality of images. And a synthesizing step of synthesizing the target image and the second image to generate a synthesized image, and the synthesizing step includes one pixel value for pixels corresponding to the moving subject area of the target image and the second image. The other It performs moving subject blur removal processing closer to the pixel values, comprising the step of synthesizing the target image and the second image after the moving subject blur removal processing.
本発明の他の側面に係る画像合成プログラムは、同一被写体が撮像された一連の複数の画像のうち少なくとも２枚の画像を合成して合成画像を生成するようにコンピュータを動作させる画像合成プログラムであって、画像合成プログラムは、コンピュータを、第１タイミングにおいて第１露出条件で撮像された第１画像、第２タイミングにおいて第２露出条件で撮像された第２画像、及び、第３タイミングにおいて第１露出条件で撮像された第３画像を含む複数の画像を取得する取得部、第１画像と第３画像との画素値を比較して、動被写体が描画された領域である動被写体領域を検出する領域検出部、並びに、複数の画像から選択された対象画像と第２画像とを合成して合成画像を生成する合成部として動作させ、合成部は、対象画像の動被写体領域に対応する画素及び第２画像の動被写体領域に対応する画素に対して、一方の画素値を他方の画素値に近づける動被写体ブレ除去処理を行い、動被写体ブレ除去処理後に対象画像と第２画像とを合成する。 An image composition program according to another aspect of the present invention is an image composition program that causes a computer to operate so as to generate a composite image by compositing at least two images out of a series of a plurality of images in which the same subject is captured. The image composition program causes the computer to perform the first image captured under the first exposure condition at the first timing, the second image captured under the second exposure condition at the second timing, and the first image captured at the third timing. An acquisition unit that acquires a plurality of images including a third image captured under one exposure condition, and compares a pixel value between the first image and the third image to determine a moving subject region that is a region where a moving subject is drawn An area detection unit to detect, and a synthesis unit that generates a synthesized image by synthesizing the target image selected from the plurality of images and the second image. A moving subject blur removal process for bringing one pixel value closer to the other pixel value is performed on the pixel corresponding to the subject area and the pixel corresponding to the moving subject area of the second image, and the target image is processed after the moving subject blur removal process. And the second image are combined.
本発明の他の側面に係る記憶媒体は、同一被写体が撮像された一連の複数の画像のうち少なくとも２枚の画像を合成して合成画像を生成するようにコンピュータを動作させる画像合成プログラムを記憶した非一時的なコンピュータ読み取り可能な記憶媒体であって、画像合成プログラムは、コンピュータを、第１タイミングにおいて第１露出条件で撮像された第１画像、第２タイミングにおいて第２露出条件で撮像された第２画像、及び、第３タイミングにおいて第１露出条件で撮像された第３画像を含む複数の画像を取得する取得部、第１画像と第３画像との画素値を比較して、動被写体が描画された領域である動被写体領域を検出する領域検出部、並びに、複数の画像から選択された対象画像と第２画像とを合成して合成画像を生成する合成部として動作させ、合成部は、対象画像の動被写体領域に対応する画素及び第２画像の動被写体領域に対応する画素に対して、一方の画素値を他方の画素値に近づける動被写体ブレ除去処理を行い、動被写体ブレ除去処理後に対象画像と第２画像とを合成する。 A storage medium according to another aspect of the present invention stores an image synthesis program that causes a computer to operate so as to generate a synthesized image by synthesizing at least two images out of a series of images obtained by imaging the same subject. The non-transitory computer-readable storage medium is an image composition program that images a computer with a first image captured at a first timing under a first exposure condition and a second image at a second timing. The second image and an acquisition unit that acquires a plurality of images including the third image captured under the first exposure condition at the third timing, the pixel values of the first image and the third image are compared, A region detection unit that detects a moving subject region that is a region where a subject is drawn, and a target image selected from a plurality of images and a second image are combined to generate a combined image. The synthesizing unit operates as a moving subject blur that brings one pixel value closer to the other pixel value with respect to a pixel corresponding to the moving subject region of the target image and a pixel corresponding to the moving subject region of the second image. A removal process is performed, and the target image and the second image are synthesized after the moving subject blur removal process.
上述した画像合成方法、画像合成プログラム及び記憶媒体は、上述した画像合成装置と同一の効果を奏する。 The above-described image composition method, image composition program, and storage medium have the same effects as the above-described image composition apparatus.
本発明の種々の側面及び実施形態によれば、露出の異なる領域を含む画像と通常撮像による画像とを合成する場合であっても動被写体ブレを抑制することができる画像合成装置、画像合成方法、画像合成プログラム及び記憶媒体が提供される。 According to various aspects and embodiments of the present invention, an image synthesizing apparatus and an image synthesizing method capable of suppressing moving subject blur even when an image including regions with different exposures and an image obtained by normal imaging are synthesized. An image composition program and a storage medium are provided.
以下、添付図面を参照して実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。 Hereinafter, embodiments will be described with reference to the accompanying drawings. In addition, in each figure, the same code | symbol is attached | subjected to the same or an equivalent part, and the overlapping description is abbreviate | omitted.
本実施形態に係る画像合成装置１は、同一被写体が撮像された一連の複数の画像のうち少なくとも２枚の画像を合成して合成画像を生成する装置である。より具体的な一例として、本実施形態に係る画像合成装置１は、夜間であっても人物と背景との両方を明るく写すために、フラッシュ撮影した画像と通常撮影した画像とを合成する装置である。 The image composition device 1 according to the present embodiment is a device that generates a composite image by compositing at least two images out of a series of a plurality of images in which the same subject is captured. As a more specific example, the image synthesizing apparatus 1 according to the present embodiment is an apparatus that synthesizes a flash photographed image and a normal photographed image so that both a person and a background are brightly photographed even at night. is there.
画像合成装置１は、例えば、携帯電話、デジタルカメラ、ＰＤＡ（Personal Digital Assistant）等、リソースに制限のあるモバイル端末に搭載される。しかし、画像合成装置１は、モバイル端末に搭載される場合に限定されず、例えば通常のコンピュータシステムに搭載されてもよい。また、画像合成装置１は、撮像装置に組み込まれるいわゆるオンチップＩＳＰ（Image Signal Processor）でもよい。以下では、一例として、携帯端末に搭載される画像合成装置１を説明する。 The image composition device 1 is mounted on a mobile terminal with limited resources such as a mobile phone, a digital camera, and a PDA (Personal Digital Assistant). However, the image composition device 1 is not limited to being mounted on a mobile terminal, and may be mounted on, for example, a normal computer system. Further, the image composition device 1 may be a so-called on-chip ISP (Image Signal Processor) incorporated in the imaging device. Below, the image composition apparatus 1 mounted in a portable terminal is explained as an example.
図１は、画像合成装置１を搭載した携帯端末２の機能ブロック図である。携帯端末２は、例えばユーザにより携帯される移動端末であり、図２に示されるハードウェア構成を有する。図２に示されるように、携帯端末２は、物理的には、ＣＰＵ（Central Processing Unit）１００、ＲＡＭ（Random Access Memory）１０１及びＲＯＭ（Read Only Memory）１０２等の主記憶装置、カメラ又はキーボード等の入力デバイス１０３、ディスプレイ、発光装置等の出力デバイス１０４、ハードディスク等の補助記憶装置１０５等を含む通常のコンピュータシステムとして構成される。後述する携帯端末２及び画像合成装置１の各機能は、ＣＰＵ１００、ＲＡＭ１０１、ＲＯＭ１０２等のハードウェア上に所定のソフトウェアを読み込ませることにより、ＣＰＵ１００の制御の元で入力デバイス１０３及び出力デバイス１０４を動作させると共に、主記憶装置又は補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。なお、上記の説明は携帯端末２のハードウェア構成として説明したが、画像合成装置１がＣＰＵ１００、ＲＡＭ１０１及びＲＯＭ１０２等の主記憶装置、入力デバイス１０３、出力デバイス１０４、補助記憶装置１０５等を含む通常のコンピュータシステムとして構成されてもよい。また、携帯端末２は、通信モジュール等を備えてもよい。 FIG. 1 is a functional block diagram of a portable terminal 2 equipped with an image composition device 1. The portable terminal 2 is a mobile terminal carried by a user, for example, and has a hardware configuration shown in FIG. As shown in FIG. 2, the portable terminal 2 physically includes a main storage device such as a CPU (Central Processing Unit) 100, a RAM (Random Access Memory) 101, and a ROM (Read Only Memory) 102, a camera, or a keyboard. And the like, an output device 104 such as a display and a light emitting device, an auxiliary storage device 105 such as a hard disk, and the like. Each function of the portable terminal 2 and the image composition apparatus 1 to be described later operates the input device 103 and the output device 104 under the control of the CPU 100 by loading predetermined software on hardware such as the CPU 100, the RAM 101, and the ROM 102. In addition, it is realized by reading and writing data in the main storage device or the auxiliary storage device 105. Although the above description has been given as the hardware configuration of the mobile terminal 2, the image composition apparatus 1 normally includes a CPU 100, a main storage device such as the RAM 101 and ROM 102, an input device 103, an output device 104, an auxiliary storage device 105, and the like. It may be configured as a computer system. The mobile terminal 2 may include a communication module or the like.
図１に戻り、携帯端末２は、機能的には、撮像部２０、記憶部２１、フラッシュ部２２、表示部２３、及び、画像合成装置１を備える。 Returning to FIG. 1, the portable terminal 2 functionally includes an imaging unit 20, a storage unit 21, a flash unit 22, a display unit 23, and the image composition device 1.
撮像部２０は、撮像することにより画像を生成する。撮像部２０は、ＣＰＵ１００がＲＡＭ１０１又はＲＯＭ１０２内のプログラムを実行し、該プログラムに従ってカメラ等の入力デバイス１０３又は出力デバイス１０４を制御することで実現される。 The imaging unit 20 generates an image by imaging. The imaging unit 20 is realized by the CPU 100 executing a program in the RAM 101 or the ROM 102 and controlling the input device 103 or the output device 104 such as a camera according to the program.
記憶部２１は、画像又はカメラに関する情報を記憶する。記憶部２１は、主記憶装置又は補助記憶装置１０５に対応する。フラッシュ部２２はフラッシュ光を撮像方向に向けて照射する。フラッシュ部２２は、発光装置などの出力デバイス１０４に対応する。 The storage unit 21 stores information related to images or cameras. The storage unit 21 corresponds to the main storage device or the auxiliary storage device 105. The flash unit 22 emits flash light toward the imaging direction. The flash unit 22 corresponds to the output device 104 such as a light emitting device.
撮像部２０は、入力デバイス１０３又は出力デバイス１０４を動作させて、撮像することにより画像を生成する。撮像部２０は、一例として、記憶部２１に格納された撮像条件を参照して、画像を生成する。撮像条件は、入力デバイス１０３又は出力デバイス１０４の動作条件である。より具体的には、撮像条件は、カメラの絞り設定、シャッタースピード設定、フラッシュ部２２の発光設定、連写撮影等のカメラ設定情報である。撮像条件は、ユーザ操作等により設定された条件でもよいし、初期設定として予め記憶部２１に記憶されていてもよい。撮像条件は、露出条件を含んでもよい。露出条件とは、画像の露出に影響を与えるカメラ設定値であり、具体的な一例としては、ＥＶ値、カメラの絞り設定、シャッタースピード設定、フラッシュ部２２の発光設定などである。 The imaging unit 20 operates the input device 103 or the output device 104 to generate an image by imaging. As an example, the imaging unit 20 refers to the imaging conditions stored in the storage unit 21 and generates an image. The imaging condition is an operation condition of the input device 103 or the output device 104. More specifically, the imaging conditions are camera setting information such as camera aperture settings, shutter speed settings, flash unit 22 emission settings, and continuous shooting. The imaging condition may be a condition set by a user operation or the like, or may be stored in advance in the storage unit 21 as an initial setting. The imaging condition may include an exposure condition. The exposure condition is a camera setting value that affects the exposure of the image, and specific examples include an EV value, a camera aperture setting, a shutter speed setting, and a flash setting of the flash unit 22.
撮像部２０は、撮像条件に基づいてフラッシュ部２２のフラッシュ光を利用して撮像する場合、画像の露出を調整する。撮像部２０は、フラッシュ光を利用して得られた画像がいわゆる白とび領域を含まないように、画像の露出を調整する。より具体的な一例として、撮像部２０は、撮影に応じてカメラのＥＶ値を変更する。撮像部２０は、任意の方法を利用してカメラのＥＶ値を変更する。例えば、撮像部２０は、プレ発光による測光を行ってカメラのＥＶ値を設定してもよいし、カメラのＥＶ値を予め設定された値としてもよい。 The imaging unit 20 adjusts the exposure of the image when imaging using the flash light of the flash unit 22 based on the imaging conditions. The imaging unit 20 adjusts the exposure of the image so that the image obtained using the flash light does not include a so-called overexposed region. As a more specific example, the imaging unit 20 changes the EV value of the camera according to shooting. The imaging unit 20 changes the EV value of the camera using an arbitrary method. For example, the imaging unit 20 may set the EV value of the camera by performing photometry using pre-emission, or may set the EV value of the camera to a preset value.
撮像部２０は、複数の画像又は動画像を撮像する。複数の画像は、同一被写体が撮像された一連の複数の画像である。一連とは、時系列で連続していることをいう。複数の画像は、少なくとも３枚の画像である。複数の画像は、第１タイミングにおいて第１露出条件で撮像された第１画像、第２タイミングにおいて第２露出条件で撮像された第２画像、及び、第３タイミングにおいて第１露出条件で撮像された第３画像を含む。 The imaging unit 20 captures a plurality of images or moving images. The multiple images are a series of multiple images in which the same subject is imaged. A series means being continuous in time series. The plurality of images are at least three images. The plurality of images are captured under the first exposure condition at the first timing, the second image captured under the second exposure condition at the second timing, and the first exposure condition at the third timing. A third image.
第１タイミング、第２タイミング及び第３タイミングは同一タイミングではなく、それぞれ異なるタイミングとなる。一例として、第２タイミングは第１タイミングの後であり、第３タイミングは第２タイミングの後である。この場合、第１画像、第２画像及び第３画像は、この順で撮像された画像となる。また、第１画像と第３画像とは同一の露出条件で撮像された画像であるため、第１画像と第３画像とは同一の露出となる。第２画像は、第１画像及び第２画像とは異なる露出条件で撮像された画像であるため、第２画像のみ異なる露出となる。一例として、第１画像及び第３画像は、フラッシュ光を照射せずに撮影された画像（通常撮影画像）であり、第２画像はフラッシュ光を照射して撮影された画像（フラッシュ撮影画像）である。撮像部２０は、撮像された画像を記憶部２１に記憶する。 The first timing, the second timing, and the third timing are not the same timing, but are different timings. As an example, the second timing is after the first timing, and the third timing is after the second timing. In this case, the first image, the second image, and the third image are images captured in this order. Further, since the first image and the third image are images captured under the same exposure condition, the first image and the third image have the same exposure. Since the second image is an image captured under different exposure conditions from the first image and the second image, only the second image has a different exposure. As an example, the first image and the third image are images captured without irradiating flash light (normally captured images), and the second image is an image captured by irradiating flash light (flash captured images). It is. The imaging unit 20 stores the captured image in the storage unit 21.
図３は、一連の複数の画像の一例である。図３において、（Ａ）は第１画像Ｇ１、（Ｂ）は第２画像Ｇ２、（Ｃ）は第３画像Ｇ３である。第１画像Ｇ１、第２画像Ｇ２及び第３画像Ｇ３の順に、同一の被写体である人物４０を撮像した画像である。人物４０の背景には、動きのある車両４１と静止している外灯４２が写り込んでいる。第１画像Ｇ１及び第３画像Ｇ３は、夜間における通常撮影画像である。このため、人物４０よりも背景に写された車両４１のヘッドライトや外灯４２の方が明るく写されている。一方、第２画像は、夜間におけるフラッシュ撮影画像である。このため、人物４０の方が背景よりも明るく写されており、逆に背景の車両４１及び外灯４２が暗く写されている。 FIG. 3 is an example of a series of a plurality of images. In FIG. 3, (A) is the first image G1, (B) is the second image G2, and (C) is the third image G3. In this order, the first image G1, the second image G2, and the third image G3 are images of the person 40 that is the same subject. In the background of the person 40, a moving vehicle 41 and a stationary outside light 42 are reflected. The first image G1 and the third image G3 are normal captured images at night. For this reason, the headlight of the vehicle 41 and the external light 42 that are photographed in the background are brighter than the person 40. On the other hand, the second image is a flash photographed image at night. For this reason, the person 40 is shown brighter than the background, and conversely, the background vehicle 41 and the outside light 42 are shown dark.
表示部２３は、ユーザ操作等に応じて画像を表示する。表示部２３は、記憶部２１に記憶された撮像画像を表示してもよいし、メニュー画面などを表示して撮影条件に関するユーザ操作を受け付けてもよい。表示部２３は、例えばディスプレイ等の出力デバイス１０４に対応する。 The display unit 23 displays an image according to a user operation or the like. The display unit 23 may display a captured image stored in the storage unit 21, or may display a menu screen or the like and accept a user operation related to shooting conditions. The display unit 23 corresponds to the output device 104 such as a display, for example.
画像合成装置１は、取得部１０、領域検出部１１及び合成部１２を有する。取得部１０は、記憶部２１を参照して、同一被写体が撮像された一連の複数の画像を取得する。取得部１０は、少なくとも３枚の画像を取得する。複数の画像は、同一の撮像条件（同一の露出条件）となる少なくとも２枚の画像（第１画像、第３画像）と、２枚の画像とは撮像条件（露出条件）の異なる少なくとも１枚の画像（第２画像）が含まれる。図３の例では、通常撮影画像である第１画像Ｇ１、フラッシュ撮影画像である第２画像Ｇ２、及び、通常撮影画像である第３画像Ｇ３が取得される。 The image composition device 1 includes an acquisition unit 10, a region detection unit 11, and a composition unit 12. The acquisition unit 10 refers to the storage unit 21 and acquires a series of images in which the same subject is captured. The acquisition unit 10 acquires at least three images. The plurality of images include at least two images (first image and third image) that have the same imaging condition (same exposure condition) and at least one image that has different imaging conditions (exposure conditions). Image (second image). In the example of FIG. 3, a first image G1 that is a normal captured image, a second image G2 that is a flash captured image, and a third image G3 that is a normal captured image are acquired.
複数の画像に第１画像Ｇ１、第２画像Ｇ２及び第３画像Ｇ３が含まれるという条件については、これらの画像に関連付けられた撮像条件に基づいて判定される。この条件は、取得部１０により判定されてもよいし、領域検出部１１により判定されてもよい。 The condition that the first image G1, the second image G2, and the third image G3 are included in the plurality of images is determined based on the imaging conditions associated with these images. This condition may be determined by the acquisition unit 10 or the region detection unit 11.
領域検出部１１は、取得部１０により取得された第１画像Ｇ１と第３画像Ｇ３との画素値を比較して、動被写体が描画された領域である動被写体領域を検出する。この動被写体領域の検出は、第１画像Ｇ１の各画素と第３画像Ｇ３の各画素との差分を解像度ごとに算出し、解像度ごとに得られた差分を重み付けすることによって各画素の動被写体領域を算出することとしてもよい。このようにすることで、領域検出部１１は、動被写体領域の検出処理に要する時間を短縮することができるとともに、動被写体領域に穴あき状のムラが生じること、及び、いびつな合成画像を生成することを回避することができる。 The region detection unit 11 compares the pixel values of the first image G1 and the third image G3 acquired by the acquisition unit 10 and detects a moving subject region that is a region where a moving subject is drawn. The detection of the moving subject area is performed by calculating the difference between each pixel of the first image G1 and each pixel of the third image G3 for each resolution, and weighting the difference obtained for each resolution, thereby moving the moving subject of each pixel. The area may be calculated. By doing so, the area detection unit 11 can reduce the time required for the detection process of the moving subject area, the perforated unevenness is generated in the moving subject area, and the distorted composite image is displayed. Generation can be avoided.
領域検出部１１が比較に用いる画素値とは、画像を構成する画素に対応づけられた値であり、例えば輝度値又はエッジ情報などである。画素値の比較とは、例えば画素値の差分を算出することである。カメラ位置が固定されていない場合には、領域検出部１１は、第１画像Ｇ１と第３画像Ｇ３との位置合わせを行った後に、画素値の比較を行う。第１画像Ｇ１と第３画像Ｇ３との位置合わせは、例えば第１画像Ｇ１と第３画像Ｇ３との画素値の差分を算出し、差分によって把握される動きベクトルを用いて行われる。 The pixel value used for comparison by the region detection unit 11 is a value associated with the pixels constituting the image, such as a luminance value or edge information. Comparison of pixel values is, for example, calculating a difference between pixel values. When the camera position is not fixed, the region detection unit 11 compares the pixel values after aligning the first image G1 and the third image G3. The alignment between the first image G1 and the third image G3 is performed, for example, by calculating a difference in pixel values between the first image G1 and the third image G3 and using a motion vector grasped by the difference.
第１画像Ｇ１が撮像された第１タイミングから第３画像Ｇ３が撮像された第３タイミングまでの間において被写体が移動した場合、第１画像Ｇ１における被写***置は、第３画像Ｇ３における被写***置と異なる。このため、領域検出部１１は、第１画像Ｇ１と第３画像Ｇ３との画素値を比較することで、動被写体領域を検出することができる。 When the subject moves between the first timing when the first image G1 is captured and the third timing when the third image G3 is captured, the subject position in the first image G1 is the same as the subject position in the third image G3. Different. Therefore, the area detection unit 11 can detect the moving subject area by comparing the pixel values of the first image G1 and the third image G3.
図４は、動被写体領域の一例である。（Ａ）及び（Ｂ）に示されるように、第１画像Ｇ１と第３画像Ｇ３とを比較すると、第１画像Ｇ１において車両４１に起因した動被写体領域Ｒ１、第３画像Ｇ３において車両４１に起因した動被写体領域Ｒ２を検出することができる。動被写体領域Ｒ１及び動被写体領域Ｒ２は、画素値の差分が所定値以上となる画素領域に対して、ある程度のマージンを含めて設定されてもよい。なお、第１画像Ｇ１又は第３画像Ｇ３において、画像全体の領域に対して動被写体領域が占める領域が所定値（例えば３０％）以上である場合には、合成処理を行っても好ましい合成画像を得ることができないおそれがある。この場合、合成処理を行わなくてもよいし、または、合成処理を行うべきでない旨をユーザに報知する等の処理を行ってもよい。 FIG. 4 is an example of a moving subject area. As shown in (A) and (B), when the first image G1 and the third image G3 are compared, the moving subject region R1 caused by the vehicle 41 in the first image G1 and the vehicle 41 in the third image G3 are shown. The resulting moving subject region R2 can be detected. The moving subject region R1 and the moving subject region R2 may be set including a certain margin with respect to the pixel region in which the difference between the pixel values is a predetermined value or more. In the first image G1 or the third image G3, when the area occupied by the moving subject area is greater than or equal to a predetermined value (for example, 30%) with respect to the entire image area, it is preferable to perform the synthesis process. May not be able to be obtained. In this case, the synthesis process may not be performed, or a process of notifying the user that the synthesis process should not be performed may be performed.
合成部１２は、フラッシュ撮影画像と通常撮影画像である対象画像とを合成する。合成対象のフラッシュ撮影画像としては第２画像Ｇ２が選択される。合成対象の通常撮影画像としては、第１画像Ｇ１又は第３画像Ｇ３が選択される。なお、４枚以上の連写により、通常撮影画像の第４画像Ｇ４が取得されている場合には、第４画像Ｇ４を対象画像として選択してもよい。つまり、合成部１２は、同一被写体が撮像された一連の複数の画像であって、通常撮影画像である画像の中から任意の一枚を対象画像として選択することができる。なお、動被写体領域の検出に用いた画像を対象画像に選択することにより、動被写体領域の精度が向上するため、動被写体ブレの除去をより頑強に行うことができる。 The synthesizing unit 12 synthesizes the flash photographed image and the target image that is the normal photographed image. The second image G2 is selected as the flash image to be synthesized. The first image G1 or the third image G3 is selected as the normal captured image to be synthesized. Note that when the fourth image G4 of the normal captured image is acquired by four or more continuous shootings, the fourth image G4 may be selected as the target image. That is, the synthesizing unit 12 can select any one image as a target image from a series of a plurality of images obtained by capturing the same subject, which are normal captured images. Note that by selecting the image used for detection of the moving subject region as the target image, the accuracy of the moving subject region is improved, so that the moving subject blur can be more robustly removed.
合成部１２は、対象画像の動被写体領域に対応する画素及び第２画像Ｇ２の動被写体領域に対応する画素に対して、一方の画素値を他方の画素値に近づける動被写体ブレ除去処理を行い、動被写体ブレ除去処理後に対象画像と第２画像Ｇ２とを合成する。動被写体ブレ除去処理の一例として、合成部１２は、合成マスクを生成する。この合成マスクは、領域検出部１１によって検出された動被写体領域で構成される。図４の（Ｃ）は、（Ａ）及び（Ｂ）の動被写体領域Ｒ１、動被写体領域Ｒ２をマスクする合成マスクの一例である。合成部１２は、合成マスクを用いて、対象画像の動被写体領域に対応する画素及び第２画像Ｇ２の動被写体領域に対応する画素を合成する。合成部１２は、この合成マスクによって指定される第２画像Ｇ２及び対象画像の画素値について、一方の画素値を他方の画素値で上書きする。これにより、動被写体ブレの除去が完了する。以降の説明の簡易化のため、上書きされた側の画像を第２画像Ｇ２とする。 The synthesizing unit 12 performs a moving subject blur removal process for bringing one pixel value closer to the other pixel value with respect to the pixel corresponding to the moving subject region of the target image and the pixel corresponding to the moving subject region of the second image G2. After the moving subject blur removal process, the target image and the second image G2 are combined. As an example of the moving subject blur removal process, the synthesis unit 12 generates a synthesis mask. This composite mask is composed of a moving subject area detected by the area detector 11. FIG. 4C is an example of a composite mask that masks the moving subject region R1 and the moving subject region R2 of FIGS. The synthesizing unit 12 synthesizes a pixel corresponding to the moving subject area of the target image and a pixel corresponding to the moving subject area of the second image G2 using the synthesis mask. The synthesizing unit 12 overwrites one pixel value with the other pixel value for the pixel values of the second image G2 and the target image specified by the synthesis mask. Thereby, the removal of the moving subject blur is completed. In order to simplify the following description, the overwritten image is referred to as a second image G2.
動被写体ブレを除去した後、合成部１２は、上書きされた第２画像Ｇ２と対象画像の各画素を用いて、両画像の輝度値の差分に応じて決定される混合比に基づいてブレンドする。具体的には、合成部１２は、図５のグラフで示すような混合比で混合を行う。図５のグラフは、横軸がフラッシュ撮影画像である第２画像Ｇ２の輝度値と通常撮影画像である対象画像の輝度値との差分であり、縦軸がフラッシュ撮影画像である第２画像Ｇ２の重みである。 After removing the moving subject blur, the synthesizer 12 uses the overwritten second image G2 and each pixel of the target image, and blends based on the mixing ratio determined according to the difference between the luminance values of the two images. . Specifically, the synthesizer 12 performs mixing at a mixing ratio as shown in the graph of FIG. In the graph of FIG. 5, the horizontal axis represents the difference between the luminance value of the second image G2 that is the flash captured image and the luminance value of the target image that is the normal captured image, and the vertical axis represents the second image G2 that is the flash captured image. Is the weight.
ここで、動被写体領域と非動被写体領域の境界部分において、合成時に違和感を発生させないために、合成マスクを所定の度合いでぼかしてもよい。この場合、上述の動被写体ブレの除去処理において、合成マスクの境界部分については、ぼかされたマスク値（度合い）に応じたブレンディングが上書きの代わりに施されることになる。つまり、動被写体領域に対応する画素について、対象画像と第２画像Ｇ２との混合比がマスク値に応じて決定される。 Here, the composite mask may be blurred at a predetermined degree so as not to cause a sense of incongruity at the time of synthesis at the boundary between the moving subject region and the non-moving subject region. In this case, in the moving subject blur removal process described above, blending according to the blurred mask value (degree) is applied to the boundary portion of the composite mask instead of overwriting. That is, for the pixel corresponding to the moving subject region, the mixing ratio between the target image and the second image G2 is determined according to the mask value.
更に、合成部１２は、上書き対象となる画像を、当該二画像の比較結果に基づいて動的に決定することとしてもよい。この場合、全ての動被写体領域についての上書き対象となる画像を同一としてもよいし、動被写体領域ごとに個別に決定してもよい。後者の場合においては、例えば、各動被写体領域について、第２画像Ｇ２と対象画像のうち、暗いと判定された画像を上書き対象となる画像と決定する。その判定に際しては、例えば、そのマスク内にある各画素の輝度値の合計を比較し、その合計値の低い方を上書き対象画像とする、といった手法が挙げられるが、その手法は特に限定されない。従って、動被写体領域が複数ある場合には、第２画像Ｇ２と対象画像との両方が上書き修正される可能性がある。 Further, the synthesizing unit 12 may dynamically determine an image to be overwritten based on a comparison result between the two images. In this case, the images to be overwritten for all moving subject areas may be the same, or may be determined individually for each moving subject area. In the latter case, for example, for each moving subject region, an image determined to be dark among the second image G2 and the target image is determined as an image to be overwritten. For the determination, for example, there is a method in which the sum of the luminance values of the pixels in the mask is compared, and the lower one of the total values is used as the overwriting target image, but the method is not particularly limited. Therefore, when there are a plurality of moving subject areas, there is a possibility that both the second image G2 and the target image are overwritten and corrected.
図６は、動被写体ブレを補正した画像、及び動被写体ブレを補正していない画像の一例である。図６の（Ａ）は、図４の（Ｃ）に示された合成マスクを用いて補正した例である。動被写体領域Ｒ１及び動被写体領域Ｒ２に対応する領域は、領域単位で第１画像Ｇ１が選択されている。このため、合成画像ＧＲ１は、動被写体ブレの発生が回避されている。一方、図６の（Ｂ）は、被写体ブレを補正していない例である。図６の（Ａ）に示す車両４１は、第１画像Ｇ１及び第２画像Ｇ２の合成になっている。このように、合成画像ＧＲ２には、被写体ブレが発生している。合成部１２は、合成画像を記憶部２１に記憶する。 FIG. 6 is an example of an image in which the moving subject blur is corrected and an image in which the moving subject blur is not corrected. FIG. 6A shows an example in which correction is performed using the composite mask shown in FIG. For the areas corresponding to the moving subject area R1 and the moving subject area R2, the first image G1 is selected in units of areas. For this reason, in the composite image GR1, occurrence of moving subject blur is avoided. On the other hand, FIG. 6B shows an example in which subject blur is not corrected. The vehicle 41 shown in FIG. 6A is a combination of the first image G1 and the second image G2. Thus, subject blurring has occurred in the composite image GR2. The composition unit 12 stores the composite image in the storage unit 21.
次に、画像合成装置１による画像合成方法について説明する。図７は、画像合成装置１の合成処理のフローチャートである。図７に示されるフローチャートは、画像処理を要求するユーザ操作を受け付けたタイミングで実行される。 Next, an image composition method by the image composition apparatus 1 will be described. FIG. 7 is a flowchart of the composition process of the image composition apparatus 1. The flowchart shown in FIG. 7 is executed at a timing when a user operation requesting image processing is received.
画像合成装置１の取得部１０は、画像取得処理（Ｓ１０：取得ステップ）として、記憶部２１を参照して、同一被写体が撮像された一連の複数の画像を取得する。次に、画像合成装置１の領域検出部１１は、位置合わせ処理（Ｓ１２）として、一連の複数の画像について位置合わせをおこなう。位置合わせの手法は特に限られず、例えば、米国特許第７８４７８２３号に開示されている手法や、単にブロックマッチング等の従来ある手法を適用可能であり、その手法は特に限定されない。次に、領域検出部１１は、検出処理（Ｓ１４：領域検出ステップ）として、所定値以上の差分となる画素位置に基づいて動被写体領域を検出する。次に、画像合成装置１の合成部１２は、合成処理（Ｓ１６：合成ステップ）として、動被写体ブレを除去するとともに、合成を行う。合成部１２は、出力処理（Ｓ１８）として、合成画像を出力する。 The acquisition unit 10 of the image synthesizing apparatus 1 acquires a series of a plurality of images in which the same subject is captured with reference to the storage unit 21 as an image acquisition process (S10: acquisition step). Next, the region detection unit 11 of the image composition device 1 performs alignment for a series of multiple images as alignment processing (S12). The alignment method is not particularly limited, and for example, a method disclosed in US Pat. No. 7,847,823 or a conventional method such as simply block matching can be applied, and the method is not particularly limited. Next, as a detection process (S14: region detection step), the region detection unit 11 detects a moving subject region based on a pixel position that is a difference equal to or greater than a predetermined value. Next, the composition unit 12 of the image composition apparatus 1 removes the moving subject blur and performs composition as composition processing (S16: composition step). The composition unit 12 outputs a composite image as output processing (S18).
次に、携帯端末２（コンピュータ）を画像合成装置１として機能させるための画像合成プログラムについて説明する。 Next, an image composition program for causing the portable terminal 2 (computer) to function as the image composition apparatus 1 will be described.
画像合成プログラムは、メインモジュール、入力モジュール及び演算処理モジュールを備えている。メインモジュールは、画像処理を統括的に制御する部分である。入力モジュールは、画像を取得するように携帯端末２を動作させる。演算処理モジュールは、取得モジュール、領域検出モジュール及び合成モジュールを有する。メインモジュール、入力モジュール及び演算処理モジュールを実行させることにより実現される機能は、上述した画像合成装置１の取得部１０、領域検出部１１及び合成部１２の機能とそれぞれ同様である。画像合成プログラムは、例えば、ＲＯＭ等の非一時的なコンピュータ読み取り可能な記憶媒体又は半導体メモリによって提供される。 The image composition program includes a main module, an input module, and an arithmetic processing module. The main module is a part that comprehensively controls image processing. The input module operates the mobile terminal 2 so as to acquire an image. The arithmetic processing module includes an acquisition module, a region detection module, and a synthesis module. Functions realized by executing the main module, the input module, and the arithmetic processing module are the same as the functions of the acquisition unit 10, the region detection unit 11, and the synthesis unit 12 of the image synthesis apparatus 1 described above. The image composition program is provided by a non-transitory computer-readable storage medium such as a ROM or a semiconductor memory, for example.
以上、本実施形態に係る画像合成装置１では、一連の複数の画像のうち同一の露出条件（第１露出条件）で撮像された２枚の画像を用いて動被写体領域が決定され、決定された動被写体領域が、動被写体領域を決定する際に用いた画像を撮像した露出条件とは異なる露出条件（第２露出条件）で撮像された画像を合成する際に用いられる。 As described above, in the image composition device 1 according to the present embodiment, the moving subject region is determined and determined using two images captured under the same exposure condition (first exposure condition) among a series of multiple images. The moving subject area is used when an image captured under an exposure condition (second exposure condition) different from the exposure condition obtained when the image used to determine the moving subject area is captured.
異なる露出条件で撮像された画像同士で画素値が比較されると、露出条件の違いにより画素値が画像間で異なるのか、動被写体が存在するために画素値が画像間で異なるのか、判断することができない。例えば、フラッシュ撮影画像と通常撮影画像とを比較しようとしても、露出条件の違いにより、画像全体に差分のある領域が出現してしまうおそれがある。また、フラッシュ撮影画像は、フラッシュ光が照射された部分が明るくなることから、フラッシュ撮影画像内であっても露出の異なる領域が存在することになる。 When pixel values are compared between images captured under different exposure conditions, it is determined whether the pixel values differ between images due to differences in exposure conditions or whether the pixel values differ between images due to the presence of a moving subject. I can't. For example, even if an attempt is made to compare a flash photographed image with a normal photographed image, there is a possibility that a region with a difference appears in the entire image due to a difference in exposure conditions. Further, in the flash photographed image, the portion irradiated with the flash light is brightened, so that there are areas with different exposure even in the flash photographed image.
これに対して、本実施形態に係る画像合成装置１では、一連の複数の画像のうち同一の露出条件で撮像された画像同士を用いることで動被写体領域を精度良く決定することができる。つまり、画像全体において部分的に露出が異なる領域が存在したとしても、同一の露出条件で撮像された画像同士であれば、露出が異なる領域が同様に現れるため、動被写体領域を精度良く決定することができる。動被写体領域を精度良く決定することができることから、結果としてこの装置は、露出の異なる領域を含む画像と通常撮像による画像とを合成する場合であっても動被写体ブレを抑制することができる。 On the other hand, in the image composition device 1 according to the present embodiment, it is possible to determine the moving subject region with high accuracy by using the images captured under the same exposure condition among the series of images. In other words, even if there are regions with different exposures in the entire image, regions with different exposures appear in the same way if the images are captured under the same exposure conditions, so the moving subject region is accurately determined. be able to. Since the moving subject area can be determined with high accuracy, as a result, this apparatus can suppress moving subject blur even when an image including areas with different exposures and an image obtained by normal imaging are combined.
また、本実施形態に係る画像合成装置１は、第２画像Ｇ２の撮像タイミングの前後の画像を用いて動被写体領域を検出することにより、第２画像Ｇ２における動被写体領域の位置精度を高めることができる。 In addition, the image composition device 1 according to the present embodiment increases the position accuracy of the moving subject region in the second image G2 by detecting the moving subject region using images before and after the imaging timing of the second image G2. Can do.
また、本実施形態に係る画像合成装置１は、動被写体ブレ除去処理として、高い方の輝度値で低い方の輝度値を上書き処理することで、背景に映りこんだ動被写体によって生じる動被写体ブレを抑制することができる。なお、低い方の輝度値で上書きすることとしてもよい。ただし、本実施形態では後段の合成処理Ｓ１６において参照画像の輝度値と第２画像の輝度値の高い方を優先的に合成することに対応して、動被写体ブレ除去処理においても高い方の輝度値で上書き処理することが望ましい。 In addition, as the moving subject blur removal process, the image composition device 1 according to the present embodiment overwrites the lower luminance value with the higher luminance value, thereby moving the moving subject blur caused by the moving subject reflected in the background. Can be suppressed. Note that the lower luminance value may be overwritten. However, in the present embodiment, the higher luminance is also obtained in the moving subject blur removal process in correspondence with the preferential synthesis of the luminance value of the reference image and the higher luminance value of the second image in the later synthesis process S16. It is desirable to overwrite with a value.
また、本実施形態に係る画像合成装置１は、動被写体領域を検出した画像そのものを合成の対象とすることにより、動被写体領域の位置精度を高めることができる。 In addition, the image composition device 1 according to the present embodiment can improve the position accuracy of the moving subject region by using the image itself in which the moving subject region is detected as a synthesis target.
また、本実施形態に係る画像合成装置１は、少なくとも１回のフラッシュ光の照射だけでよく、フラッシュを短時間で連続発光することが困難である撮像装置にも適用することができる。また、本実施形態に係る画像合成装置１は、合成マスクを用いることで、動被写体領域に対応する画素を効率良く選択し、合成することができる。また、本実施形態に係る画像合成装置１は、動被写体ブレ除去処理として、一方の画素値を他方の画素値で上書きする処理をすることで、動被写体ブレを抑制することができる。また、本実施形態に係る画像合成装置１は、所定の度合いでぼかされた合成マスクを用いて動被写体ブレ除去処理を行うため、合成マスクの境界が不自然になることを抑制することができる。また、本実施形態に係る画像合成装置１は、対象画像と第２画像の輝度差を反映させて合成することができる。 Further, the image composition device 1 according to the present embodiment may be applied to an imaging device that only needs to emit at least one flash light and it is difficult to continuously emit the flash in a short time. Further, the image composition device 1 according to the present embodiment can efficiently select and synthesize pixels corresponding to the moving subject region by using the composition mask. In addition, the image composition device 1 according to the present embodiment can suppress moving subject blur by performing processing for overwriting one pixel value with the other pixel value as the moving subject blur removal processing. In addition, since the image composition device 1 according to the present embodiment performs the moving subject blur removal process using the composite mask blurred at a predetermined degree, it is possible to prevent the boundary of the composite mask from becoming unnatural. it can. In addition, the image composition device 1 according to the present embodiment can perform composition by reflecting the luminance difference between the target image and the second image.
なお、上述した実施形態は本発明に係る画像合成装置の一例を示すものである。本発明に係る画像合成装置は、実施形態に係る画像合成装置１に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る画像合成装置を変形し、又は他のものに適用したものであってもよい。 The embodiment described above shows an example of an image composition apparatus according to the present invention. The image synthesizing apparatus according to the present invention is not limited to the image synthesizing apparatus 1 according to the embodiment, and the image synthesizing apparatus according to the embodiment may be modified or otherwise changed without changing the gist described in each claim. It may be applied to the above.
例えば、第２露出条件には、フラッシュ光に代えて、スポット光源等から照射される別の光を含むこととしてもよい。また、第１露出条件はフラッシュ光を照射して撮像する条件であり、第２露出条件はフラッシュ光を照射せずに撮像する条件である、としてもよい。 For example, the second exposure condition may include another light emitted from a spot light source or the like instead of the flash light. The first exposure condition may be a condition for imaging by irradiating flash light, and the second exposure condition may be a condition for imaging without irradiating flash light.
また、上述した実施形態では、フラッシュ撮影画像と通常撮影画像との合成を説明したが、合成処理はどのような処理であってもよい。例えば、ハイダイナミックレンジ合成画像を生成する合成処理であってもよい。 In the above-described embodiment, the combination of the flash photographed image and the normal photographed image has been described. However, the composition process may be any process. For example, it may be a composition process for generating a high dynamic range composite image.
また、上述した実施形態では、第１露出条件で２枚の画像を撮像することとしているが、全く同一の露出で２枚の画像を撮像することが困難な場合がある。そのような場合には、位置合わせ処理（Ｓ１２）後に一方の画像を他方の画像に合わせるように輝度補正又は色味補正を行い、その後の処理を行うこととしてもよい。 In the above-described embodiment, two images are captured under the first exposure condition, but it may be difficult to capture two images with exactly the same exposure. In such a case, luminance correction or color correction may be performed so that one image is aligned with the other image after the alignment processing (S12), and the subsequent processing may be performed.
１…画像合成装置、１０…取得部、１１…領域検出部、１２…合成部。 DESCRIPTION OF SYMBOLS 1 ... Image composition apparatus, 10 ... Acquisition part, 11 ... Area | region detection part, 12 ... Composition part.
Claims (11)
第１タイミングにおいて第１露出条件で撮像された第１画像、第２タイミングにおいて第２露出条件で撮像された第２画像、及び、第３タイミングにおいて前記第１露出条件で撮像された第３画像を含む前記複数の画像を取得する取得部と、
前記第１画像と前記第３画像との画素値を比較して、動被写体が描画された領域である動被写体領域を検出する領域検出部と、
前記複数の画像から選択された対象画像と前記第２画像とを合成して前記合成画像を生成する合成部と、
を備え、
前記合成部は、前記対象画像の前記動被写体領域に対応する画素及び前記第２画像の前記動被写体領域に対応する画素に対して、一方の画素値を他方の画素値に近づける動被写体ブレ除去処理を行い、前記動被写体ブレ除去処理後に前記対象画像と前記第２画像とを合成する、
画像合成装置。 An image compositing apparatus that generates a composite image by compositing at least two images among a plurality of images captured from the same subject,
A first image captured under the first exposure condition at the first timing, a second image captured under the second exposure condition at the second timing, and a third image captured under the first exposure condition at the third timing An acquisition unit for acquiring the plurality of images including:
An area detection unit that compares the pixel values of the first image and the third image and detects a moving subject area that is an area in which the moving subject is drawn;
A combining unit that combines the target image selected from the plurality of images and the second image to generate the combined image;
With
The synthesizing unit removes moving subject blurring that brings one pixel value closer to the other pixel value with respect to a pixel corresponding to the moving subject region of the target image and a pixel corresponding to the moving subject region of the second image. Processing, and combining the target image and the second image after the moving subject blur removal processing,
Image composition device.
第１タイミングにおいて第１露出条件で撮像された第１画像、第２タイミングにおいて第２露出条件で撮像された第２画像、及び、第３タイミングにおいて前記第１露出条件で撮像された第３画像を含む前記複数の画像を取得する取得ステップと、
前記第１画像と前記第３画像との画素値を比較して、動被写体が描画された領域である動被写体領域を検出する領域検出ステップと、
前記複数の画像から選択された対象画像と前記第２画像とを合成して前記合成画像を生成する合成ステップと、
を備え、
前記合成ステップは、前記対象画像及び前記第２画像の前記動被写体領域に対応する画素に対して、一方の画素値を他方の画素値に近づける動被写体ブレ除去処理を行い、前記動被写体ブレ除去処理後に前記対象画像と前記第２画像とを合成するステップを含む、
画像合成方法。 An image synthesizing method for synthesizing at least two images of a series of a plurality of images obtained by imaging the same subject to generate a synthesized image,
A first image captured under the first exposure condition at the first timing, a second image captured under the second exposure condition at the second timing, and a third image captured under the first exposure condition at the third timing Obtaining the plurality of images including:
A region detecting step of comparing a pixel value of the first image and the third image to detect a moving subject region that is a region in which the moving subject is drawn;
Combining a target image selected from the plurality of images and the second image to generate the combined image;
With
In the synthesis step, a moving subject blur removal process is performed on the pixels corresponding to the moving subject region of the target image and the second image to bring one pixel value closer to the other pixel value, and the moving subject blur removal is performed. Synthesizing the target image and the second image after processing,
Image composition method.
前記画像合成プログラムは、前記コンピュータを、
第１タイミングにおいて第１露出条件で撮像された第１画像、第２タイミングにおいて第２露出条件で撮像された第２画像、及び、第３タイミングにおいて前記第１露出条件で撮像された第３画像を含む前記複数の画像を取得する取得部、
前記第１画像と前記第３画像との画素値を比較して、動被写体が描画された領域である動被写体領域を検出する領域検出部、並びに、
前記複数の画像から選択された対象画像と前記第２画像とを合成して前記合成画像を生成する合成部として動作させ、
前記合成部は、前記対象画像の前記動被写体領域に対応する画素及び前記第２画像の前記動被写体領域に対応する画素に対して、一方の画素値を他方の画素値に近づける動被写体ブレ除去処理を行い、前記動被写体ブレ除去処理後に前記対象画像と前記第２画像とを合成する、
画像合成プログラム。 An image composition program that causes a computer to operate so as to generate a composite image by compositing at least two images among a series of images in which the same subject is captured,
The image composition program causes the computer to
A first image captured under the first exposure condition at the first timing, a second image captured under the second exposure condition at the second timing, and a third image captured under the first exposure condition at the third timing An acquisition unit for acquiring the plurality of images including:
A region detection unit that compares the pixel values of the first image and the third image to detect a moving subject region that is a region where the moving subject is drawn; and
Operating as a combining unit that combines the target image selected from the plurality of images and the second image to generate the combined image;
The synthesizing unit removes moving subject blurring that brings one pixel value closer to the other pixel value with respect to a pixel corresponding to the moving subject region of the target image and a pixel corresponding to the moving subject region of the second image. Processing, and combining the target image and the second image after the moving subject blur removal processing,
Image composition program.
前記画像合成プログラムは、前記コンピュータを、
第１タイミングにおいて第１露出条件で撮像された第１画像、第２タイミングにおいて第２露出条件で撮像された第２画像、及び、第３タイミングにおいて前記第１露出条件で撮像された第３画像を含む前記複数の画像を取得する取得部、
前記第１画像と前記第３画像との画素値を比較して、動被写体が描画された領域である動被写体領域を検出する領域検出部、並びに、
前記複数の画像から選択された対象画像と前記第２画像とを合成して前記合成画像を生成する合成部として動作させ、
前記合成部は、前記対象画像の前記動被写体領域に対応する画素及び前記第２画像の前記動被写体領域に対応する画素に対して、一方の画素値を他方の画素値に近づける動被写体ブレ除去処理を行い、前記動被写体ブレ除去処理後に前記対象画像と前記第２画像とを合成する、
記憶媒体。 A non-transitory computer-readable storage medium storing an image composition program that causes a computer to operate by combining at least two images out of a series of a plurality of images captured of the same subject to generate a composite image There,
The image composition program causes the computer to
A first image captured under the first exposure condition at the first timing, a second image captured under the second exposure condition at the second timing, and a third image captured under the first exposure condition at the third timing An acquisition unit for acquiring the plurality of images including:
A region detection unit that compares the pixel values of the first image and the third image to detect a moving subject region that is a region where the moving subject is drawn; and
Operating as a combining unit that combines the target image selected from the plurality of images and the second image to generate the combined image;
The synthesizing unit removes moving subject blurring that brings one pixel value closer to the other pixel value with respect to a pixel corresponding to the moving subject region of the target image and a pixel corresponding to the moving subject region of the second image. Processing, and combining the target image and the second image after the moving subject blur removal processing,
Storage medium.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016092663A JP6823942B2 (en) | 2016-05-02 | 2016-05-02 | Image synthesizer, image synthesizer, image synthesizer program and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016092663A JP6823942B2 (en) | 2016-05-02 | 2016-05-02 | Image synthesizer, image synthesizer, image synthesizer program and storage medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017201455A true JP2017201455A (en) | 2017-11-09 |
| JP6823942B2 JP6823942B2 (en) | 2021-02-03 |
Family
ID=60264862
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016092663A Active JP6823942B2 (en) | 2016-05-02 | 2016-05-02 | Image synthesizer, image synthesizer, image synthesizer program and storage medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6823942B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019096995A (en) * | 2017-11-21 | 2019-06-20 | キヤノン株式会社 | Image processing system, image processing method, and program |
| CN113763354A (en) * | 2021-09-07 | 2021-12-07 | 联想(北京)有限公司 | Image processing method and electronic equipment |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009296608A (en) * | 2009-07-14 | 2009-12-17 | Sony Corp | Image processing method and image processing apparatus, and computer program |
| JP2012050121A (en) * | 2011-10-13 | 2012-03-08 | Casio Comput Co Ltd | Imaging device, imaging method and imaging program |
| JP2013243780A (en) * | 2013-08-27 | 2013-12-05 | Morpho Inc | Image synthesizing apparatus, image synthesizing method, image synthesizing program, and recording medium |
| JP2014039222A (en) * | 2012-08-20 | 2014-02-27 | Canon Inc | Image processing apparatus, control method and control program of the same and imaging apparatus |
-
2016
- 2016-05-02 JP JP2016092663A patent/JP6823942B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009296608A (en) * | 2009-07-14 | 2009-12-17 | Sony Corp | Image processing method and image processing apparatus, and computer program |
| JP2012050121A (en) * | 2011-10-13 | 2012-03-08 | Casio Comput Co Ltd | Imaging device, imaging method and imaging program |
| JP2014039222A (en) * | 2012-08-20 | 2014-02-27 | Canon Inc | Image processing apparatus, control method and control program of the same and imaging apparatus |
| JP2013243780A (en) * | 2013-08-27 | 2013-12-05 | Morpho Inc | Image synthesizing apparatus, image synthesizing method, image synthesizing program, and recording medium |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019096995A (en) * | 2017-11-21 | 2019-06-20 | キヤノン株式会社 | Image processing system, image processing method, and program |
| JP6995582B2 (en) | 2017-11-21 | 2022-01-14 | キヤノン株式会社 | Image processing equipment, image processing methods, and programs |
| CN113763354A (en) * | 2021-09-07 | 2021-12-07 | 联想(北京)有限公司 | Image processing method and electronic equipment |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6823942B2 (en) | 2021-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7852374B2 (en) | Image-pickup and associated methodology of dividing an exposure-time period into a plurality of exposures | |
| CN109862282B (en) | Method and device for processing person image | |
| CN115037884A (en) | Unified bracketing method for imaging | |
| JP2005102116A (en) | Image processing method, image processing device, and computer program | |
| US7486884B2 (en) | Imaging device and imaging method | |
| CN106060412A (en) | Photographic processing method and device | |
| US10893193B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| US8941763B2 (en) | Image capture device, method for generating composite image, and storage medium | |
| CN110958361B (en) | Image pickup apparatus capable of HDR composition, control method therefor, and storage medium | |
| KR102138483B1 (en) | Image synthesis apparatus, image synthesis method, image synthesis program and storage medium | |
| JP6541501B2 (en) | IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, AND IMAGE PROCESSING METHOD | |
| JP2017201455A (en) | Image synthesizer, image synthesis method, image synthesis program and storage medium | |
| JP6327892B2 (en) | Imaging apparatus and control method thereof | |
| JP2020129753A (en) | Imaging apparatus and imaging method | |
| US10021314B2 (en) | Image processing apparatus, image capturing apparatus, method of controlling the same, and storage medium for changing shading using a virtual light source | |
| JP2011135409A (en) | Image processing apparatus and method, as well as program | |
| JP2009152779A (en) | Imaging apparatus, and program for imparting image effect | |
| US20200294198A1 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
| JP2008103831A (en) | Imaging apparatus | |
| JP6223173B2 (en) | Image processing apparatus, control method thereof, and program | |
| JP6080579B2 (en) | Imaging apparatus and control method thereof | |
| JP5125478B2 (en) | Imaging apparatus and image effect providing program | |
| JP2013153283A (en) | Image processing system, imaging apparatus, and image processing method | |
| JP6254842B2 (en) | Imaging apparatus and control method thereof | |
| JP2018191243A (en) | Image processing device and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181203 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191007 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191023 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20191218 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200526 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210105 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210112 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6823942 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |