JP2010278701A - Image combining device, and image combining method and program - Google Patents
Image combining device, and image combining method and program Download PDFInfo
- Publication number
- JP2010278701A JP2010278701A JP2009128488A JP2009128488A JP2010278701A JP 2010278701 A JP2010278701 A JP 2010278701A JP 2009128488 A JP2009128488 A JP 2009128488A JP 2009128488 A JP2009128488 A JP 2009128488A JP 2010278701 A JP2010278701 A JP 2010278701A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- processing
- distance
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000012545 processing Methods 0.000 claims abstract description 129
- 238000003384 imaging method Methods 0.000 claims abstract description 115
- 238000009499 grossing Methods 0.000 claims abstract description 32
- 239000000203 mixture Substances 0.000 claims description 31
- 230000002194 synthesizing effect Effects 0.000 claims description 14
- 230000015572 biosynthetic process Effects 0.000 claims description 11
- 238000003786 synthesis reaction Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 description 61
- 239000002131 composite material Substances 0.000 description 29
- 238000012935 Averaging Methods 0.000 description 20
- 238000000605 extraction Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 244000025254 Cannabis sativa Species 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 241000282693 Cercopithecidae Species 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
本発明は、複数の画像を合成する画像合成装置、画像合成方法及びプログラムに関する。 The present invention relates to an image composition apparatus, an image composition method, and a program for compositing a plurality of images.
従来、被写体画像と背景画像やフレーム画像を合成することにより合成画像を生成する技術が知られている（例えば、特許文献１参照）。 Conventionally, a technique for generating a composite image by combining a subject image with a background image or a frame image is known (see, for example, Patent Document 1).
ところで、被写体画像と背景画像を合成する場合、これらの画像を単に重ねただけでは表現力の乏しい合成画像しか生成することができなかった。 By the way, when a subject image and a background image are combined, only a combined image with poor expressiveness can be generated by simply superimposing these images.
そこで、本発明の課題は、自然な合成画像を生成することができる画像合成装置、画像合成方法及びプログラムを提供することである。 Accordingly, an object of the present invention is to provide an image composition device, an image composition method, and a program that can generate a natural composite image.
上記課題を解決するため、請求項１に記載の発明の画像合成装置は、
背景画像と、当該背景画像に含まれる主要被写体と当該背景画像を撮像した撮像装置との距離を示す第１距離情報とを取得する第１取得手段と、前景画像と、当該前景画像に含まれる主要被写体と当該前景画像を撮像した撮像装置との距離を示す第２距離情報とを取得する第２取得手段と、前記第１距離情報と前記第２距離情報とを比較する比較手段と、この比較手段による比較結果に基づいて、前記背景画像及び前記前景画像の少なくとも一方に所定の画像処理を施す処理手段と、この処理手段によって前記所定の画像処理が少なくとも一方に施された前記背景画像と前記前景画像とを合成する合成手段と、を備えたことを特徴としている。
In order to solve the above-described problem, an image composition device according to a first aspect of the present invention provides:
A first acquisition unit that acquires a background image, first distance information indicating a distance between a main subject included in the background image and an imaging device that captured the background image, a foreground image, and the foreground image; A second acquisition unit that acquires second distance information indicating a distance between the main subject and the imaging device that captured the foreground image; a comparison unit that compares the first distance information and the second distance information; Based on the comparison result by the comparison means, processing means for performing predetermined image processing on at least one of the background image and the foreground image, and the background image subjected to at least one of the predetermined image processing by the processing means; Synthesizing means for synthesizing the foreground image.
請求項２に記載の発明は、請求項１に記載の画像合成装置において、
前記比較手段は、前記第１距離情報と前記第２距離情報とを比較して、前記背景画像と前記前景画像との距離差を算出する算出手段を備え、前記処理手段は、前記算出手段により算出された前記距離差に応じて、前記背景画像及び前記前景画像の少なくとも一方に所定の画像処理を施すことを特徴としている。
According to a second aspect of the present invention, in the image composition device according to the first aspect,
The comparison unit includes a calculation unit that compares the first distance information and the second distance information to calculate a distance difference between the background image and the foreground image, and the processing unit includes: According to the calculated distance difference, predetermined image processing is performed on at least one of the background image and the foreground image.
請求項３に記載の発明は、請求項２に記載の画像合成装置において、
前記処理手段は、前記算出手段により算出された前記距離差に応じて前記所定の画像処理の処理強度を変更して前記背景画像及び前記前景画像の少なくとも一方に施すことを特徴としている。
According to a third aspect of the present invention, in the image composition device according to the second aspect,
The processing means is characterized in that the processing intensity of the predetermined image processing is changed according to the distance difference calculated by the calculation means and applied to at least one of the background image and the foreground image.
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の画像合成装置において、
前記前景画像は、前記主要被写体を含む領域を抽出したものであることを特徴としている。
According to a fourth aspect of the present invention, in the image synthesizing device according to any one of the first to third aspects,
The foreground image is obtained by extracting an area including the main subject.
請求項５に記載の発明は、請求項１〜４の何れか一項に記載の画像合成装置において、
前記所定の画像処理は、画像を平滑化する処理、画像のコントラストを調整する処理及び画像の明るさを調整する処理の少なくとも一を含むことを特徴としている。
The invention according to
The predetermined image processing includes at least one of processing for smoothing an image, processing for adjusting the contrast of the image, and processing for adjusting the brightness of the image.
請求項６に記載の発明は、請求項１〜５の何れか一項に記載の画像合成装置において、
前記背景画像及び前記前景画像を撮像する撮像手段を更に備えたことを特徴としている。
The invention according to claim 6 is the image synthesizing apparatus according to any one of
The image processing apparatus further includes an imaging unit that captures the background image and the foreground image.
請求項７に記載の発明の画像合成方法は、
画像を合成する画像合成装置の画像合成方法であって、背景画像と、当該背景画像に含まれる主要被写体と当該背景画像を撮像した撮像装置との距離を示す第１距離情報とを取得する第１取得ステップと、前景画像と、当該前景画像に含まれる主要被写体と当該前景画像を撮像した撮像装置との距離を示す第２距離情報とを取得する第２取得ステップと、前記第１距離情報と前記第２距離情報とを比較する比較ステップと、この比較ステップによる比較結果に基づいて、前記背景画像及び前記前景画像の少なくとも一方に所定の画像処理を施す処理ステップと、この処理ステップによって前記所定の画像処理が少なくとも一方に施された前記背景画像と前記前景画像とを合成する合成ステップと、を含むことを特徴としている。
The image composition method of the invention described in claim 7
An image composition method of an image composition device for compositing images, wherein a background image and first distance information indicating a distance between a main subject included in the background image and an imaging device that images the background image are acquired. A first acquisition step, a second acquisition step of acquiring a foreground image, a second distance information indicating a distance between a main subject included in the foreground image and an imaging device that has captured the foreground image, and the first distance information. A comparison step for comparing the second distance information with the second distance information, a processing step for performing predetermined image processing on at least one of the background image and the foreground image based on the comparison result of the comparison step, And a synthesis step of synthesizing the background image and the foreground image subjected to at least one predetermined image processing.
請求項８に記載の発明のプログラムは、
画像合成装置のコンピュータを、背景画像と、当該背景画像に含まれる主要被写体と当該背景画像を撮像した撮像装置との距離を示す第１距離情報とを取得する第１取得手段、前景画像と、当該前景画像に含まれる主要被写体と当該前景画像を撮像した撮像装置との距離を示す第２距離情報とを取得する第２取得手段、前記第１距離情報と前記第２距離情報とを比較する比較手段、この比較手段による比較結果に基づいて、前記背景画像及び前記前景画像の少なくとも一方に所定の画像処理を施す処理手段、この処理手段によって前記所定の画像処理が少なくとも一方に施された前記背景画像と前記前景画像とを合成する合成手段、として機能させることを特徴としている。
The program of the invention described in
A first acquisition means for acquiring a background image and first distance information indicating a distance between a main subject included in the background image and an imaging device that has captured the background image; a foreground image; A second acquisition unit configured to acquire second distance information indicating a distance between a main subject included in the foreground image and an imaging apparatus that has captured the foreground image; and comparing the first distance information and the second distance information. Comparing means, processing means for applying predetermined image processing to at least one of the background image and the foreground image based on the comparison result by the comparing means, and the predetermined image processing being applied to at least one of the processing means by the processing means It is characterized by functioning as a combining means for combining a background image and the foreground image.
本発明によれば、表現力の豊かな自然な合成画像を生成することができる。 According to the present invention, a natural composite image rich in expressive power can be generated.
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. However, the scope of the invention is not limited to the illustrated examples.
FIG. 1 is a block diagram illustrating a schematic configuration of an
本実施形態の撮像装置１００は、背景画像Ｐ４ａに含まれる被写体までの距離を示す背景距離情報と、主要被写体画像Ｇに含まれる主要被写体までの距離を示す被写体距離情報とを比較して、当該比較結果に基づいて背景画像Ｐ４ａ及び主要被写体画像Ｇの少なくとも一方に所定の画像処理を施した後、所定の画像処理が少なくとも一方に施された背景画像（例えば、背景画像Ｐ４ｂ）と主要被写体画像Ｇとを合成する。
具体的には、図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、記録媒体９と、表示制御部１０と、表示部１１と、操作入力部１２と、中央制御部１３とを備えている。
また、撮像制御部３と、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、中央制御部１３は、例えば、カスタムＬＳＩ１Ａとして設計されている。
The
Specifically, as illustrated in FIG. 1, the
Further, the imaging control unit 3, the feature amount calculation unit 6, the block matching unit 7, the
レンズ部１は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部１は、図示は省略するが、被写体の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。
The
Although not shown, the
電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を二次元の画像信号に変換する。
The electronic imaging unit 2 is composed of an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal-oxide Semiconductor), for example, and converts an optical image that has passed through various lenses of the
撮像制御部３は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３は、タイミング発生器、ドライバにより電子撮像部２を走査駆動して、所定周期毎に光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部４に出力させる。
Although not shown, the imaging control unit 3 includes a timing generator, a driver, and the like. Then, the imaging control unit 3 scans and drives the electronic imaging unit 2 with a timing generator and a driver, converts the optical image into a two-dimensional image signal with the electronic imaging unit 2 every predetermined period, and the electronic imaging unit 2 Image frames are read out from the imaging area for each screen and output to the image
また、撮像制御部３は、被写体の撮像条件の調整制御を行う。具体的には、撮像制御部３は、合焦駆動部に所定の制御信号を出力して、レンズ部１のフォーカスレンズを光軸方向に移動させて合焦位置を調整する自動合焦処理を行う合焦制御部３ａを備えている。
さらに、撮像制御部３は、撮像条件の調整制御として、ＡＥ（自動露出処理）やＡＷＢ（自動ホワイトバランス）等を行う。
In addition, the imaging control unit 3 performs adjustment control of imaging conditions of the subject. Specifically, the imaging control unit 3 outputs a predetermined control signal to the focusing drive unit, and performs an automatic focusing process of adjusting the focusing position by moving the focus lens of the
Further, the imaging control unit 3 performs AE (automatic exposure processing), AWB (automatic white balance), and the like as adjustment control of imaging conditions.
このように構成されたレンズ部１、電子撮像部２及び撮像制御部３は、撮像手段として、画像合成処理に係る背景画像Ｐ４ａ（図８（ａ）参照）や被写体存在画像Ｐ１（図４（ａ）参照）を撮像する。
また、レンズ部１、電子撮像部２及び撮像制御部３は、被写体存在画像Ｐ１の撮像後、当該被写体存在画像Ｐ１の撮像の際の撮像条件を固定した状態で、被写体切り抜き画像Ｐ３（図４（ｃ）参照）の生成のための被写体非存在画像Ｐ２（図４（ｂ）参照）を撮像する。
The
In addition, the
画像データ生成部４は、電子撮像部２から転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。
The image
The luminance signal Y and the color difference signals Cb and Cr output from the color process circuit are DMA-transferred to an
画像メモリ５は、例えば、ＤＲＡＭ等により構成され、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、中央制御部１３等によって処理されるデータ等を一時記憶する。
The
特徴量演算部６は、被写体非存在画像Ｐ２を基準として、当該被写体非存在画像Ｐ２から特徴点を抽出する特徴抽出処理を行う。具体的には、特徴量演算部６は、例えば、被写体非存在画像Ｐ２のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレート（例えば、１６×１６画素の正方形）として抽出する。
ここで、特徴抽出処理とは、多数の候補ブロックから追跡に都合の良い特徴性の高いものを選択する処理である。
The feature quantity calculation unit 6 performs feature extraction processing for extracting feature points from the subject non-existing image P2 with reference to the subject non-existing image P2. Specifically, the feature amount calculation unit 6 selects, for example, a predetermined number (or a predetermined number or more) of high feature block areas (feature points) based on the YUV data of the subject non-existing image P2, The contents of the block are extracted as a template (for example, a square of 16 × 16 pixels).
Here, the feature extraction process is a process of selecting a feature having a high characteristic convenient for tracking from a large number of candidate blocks.
ブロックマッチング部７は、被写体切り抜き画像Ｐ３を生成する際に、被写体非存在画像Ｐ２と被写体存在画像Ｐ１の位置合わせのためのブロックマッチング処理を行う。具体的には、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレートが被写体存在画像Ｐ１内のどこに対応するか、つまり、被写体存在画像Ｐ１内にてテンプレートの画素値が最適にマッチする位置（対応領域）を探索する。そして、画素値の相違度の評価値（例えば、差分二乗和（ＳＳＤ）や差分絶対値和（ＳＡＤ）等）が最も良かった被写体非存在画像Ｐ２と被写体存在画像Ｐ１間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。 When generating the subject cutout image P3, the block matching unit 7 performs block matching processing for aligning the subject non-existing image P2 and the subject existing image P1. Specifically, the block matching unit 7 optimally matches where the template extracted by the feature extraction process corresponds to in the subject existing image P1, that is, the template pixel value optimally matches in the subject existing image P1. Search for a position (corresponding region). Then, an optimum offset between the subject non-existing image P2 and the subject existing image P1 having the best evaluation value (for example, sum of squared differences (SSD), sum of absolute differences (SAD), etc.) is calculated. Calculated as a template motion vector.
画像処理部８は、被写体切り抜き画像Ｐ３の画像データを生成する切り抜き画像生成部８ａを具備している。具体的には、切り抜き画像生成部８ａは、図示は省略するが、位置合わせ部と、被写体画像抽出部と、位置情報生成部と、画像生成部等を備えている。
位置合わせ部は、被写体非存在画像Ｐ２から抽出した特徴点に基づいて、被写体非存在画像Ｐ２に対する被写体存在画像Ｐ１の各画素の座標変換式（射影変換行列）を算出し、当該座標変換式に従って被写体存在画像Ｐ１を座標変換して被写体非存在画像Ｐ２と位置合わせを行う。
被写体画像抽出部は、位置合わせ部により位置合わせされた被写体存在画像Ｐ１と被写体非存在画像Ｐ２との間で対応する各画素の差分情報を生成し、当該差分情報を基準として被写体存在画像Ｐ１から被写体が含まれる主要被写体画像（前景画像）Ｇを抽出する。
位置情報生成部は、被写体存在画像Ｐ１から抽出された主要被写体画像Ｇの位置を特定して、被写体存在画像Ｐ１における主要被写体画像Ｇの位置を示す位置情報（例えば、アルファマップ）を生成する。ここで、アルファマップとは、被写体存在画像Ｐ１の各画素について、主要被写体画像Ｇを所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したものである。
画像生成部は、生成されたアルファマップに基づいて、被写体存在画像Ｐ１の各画素のうち、アルファ値が１の画素を所定の単一色画像（図示略）に対して透過させずに、且つ、アルファ値が０の画素を透過させるように、被写体の画像を所定の単一色画像と合成して被写体切り抜き画像Ｐ３の画像データを生成する。
The
The alignment unit calculates a coordinate conversion formula (projection conversion matrix) of each pixel of the subject presence image P1 with respect to the subject non-existence image P2 based on the feature points extracted from the subject non-existence image P2, and according to the coordinate conversion formula The subject presence image P1 is coordinate-transformed and aligned with the subject non-existence image P2.
The subject image extraction unit generates difference information of corresponding pixels between the subject presence image P1 and the subject non-existence image P2 aligned by the alignment unit, and uses the difference information as a reference from the subject presence image P1. A main subject image (foreground image) G including the subject is extracted.
The position information generation unit specifies the position of the main subject image G extracted from the subject presence image P1, and generates position information (for example, an alpha map) indicating the position of the main subject image G in the subject presence image P1. Here, the alpha map represents a weight when alpha blending the main subject image G with respect to a predetermined background for each pixel of the subject existing image P1 as an alpha value (0 ≦ α ≦ 1). .
Based on the generated alpha map, the image generation unit does not transmit a pixel having an alpha value of 1 among the pixels of the subject existing image P1 to a predetermined single color image (not shown), and The image of the subject is synthesized with a predetermined single-color image so as to transmit pixels with an alpha value of 0, and image data of the subject cut-out image P3 is generated.
このように、切り抜き画像生成部８ａは、被写体存在画像Ｐ１から主要被写体画像（前景画像）Ｇを抽出する抽出手段を構成している。
As described above, the cut-out
また、画像処理部８は、レンズ部１、電子撮像部２及び撮像制御部３により撮像された画像中の所定の領域までの距離を算出する距離算出部８ｂを具備している。
距離算出部８ｂは、背景画像Ｐ４ａの撮像の際に、当該背景画像Ｐ４ａ中の草や木などの被写体Ｃまでの距離を算出する。具体的には、距離算出部８ｂは、自動合焦処理にて背景画像Ｐ４ａ中の被写体Ｃに合焦した状態で、フォーカスレンズの光軸方向の位置に係るレンズ位置情報を撮像制御部３の合焦制御部３ａから取得して、当該レンズ位置情報に基づいて被写体Ｃまでの距離を所定の換算手段（例えば、換算プログラムや換算テーブル等）を用いて算出して背景距離情報（第１距離情報）を取得する。
なお、被写体Ｃの特定は、例えば、背景画像Ｐ４ａの画像データの色情報などを用いてコントラスト差を検出したり、画素集合の輪郭線（エッジ部分）を抽出することで行っても良い。
Further, the
The
The subject C may be specified by, for example, detecting a contrast difference using color information of image data of the background image P4a or extracting a contour line (edge portion) of a pixel set.
また、距離算出部８ｂは、被写体存在画像Ｐ１の撮像の際に、当該被写体存在画像Ｐ１中の主要被写体までの距離を算出する。具体的には、距離算出部８ｂは、自動合焦処理にて被写体存在画像Ｐ１中の主要被写体に合焦した状態で、フォーカスレンズの光軸方向の位置に係るレンズ位置情報を撮像制御部３の合焦制御部３ａから取得して、当該レンズ位置情報に基づいて主要被写体までの距離を所定の換算手段（例えば、換算プログラムや換算テーブル等）を用いて算出して被写体距離情報（第２距離情報）を取得する。
The
また、画像処理部８は、記録媒体９に記録されている背景画像Ｐ４ａや被写体切り抜き画像Ｐ３の画像データを取得する取得部８ｃを具備している。
取得部８ｃは、合成画像生成処理にて、ユーザによる操作入力部１２の所定操作に基づいて指定された背景画像Ｐ４ａの画像データを記録媒体９から読み出して取得する。具体的には、取得部８ｃは、Ｅｘｉｆ形式の画像ファイルから構成されている背景画像Ｐ４ａを読み出すことで、画像情報の他にＥｘｉｆ情報として付帯されている背景距離情報（第１距離情報）も取得する。
ここで、取得部８ｃは、背景画像Ｐ４ａと、当該背景画像Ｐ４ａに含まれる草や木などの被写体Ｃと当該背景画像Ｐ４ａを撮像した撮像装置１００との距離を示す背景距離情報（第１距離情報）とを取得する第１取得手段を構成している。
Further, the
The
Here, the
また、取得部８ｃは、合成画像生成処理にて、ユーザによる操作入力部１２の所定操作に基づいて指定された被写体切り抜き画像Ｐ３の画像データを記録媒体９から読み出して取得する。具体的には、取得部８ｃは、Ｅｘｉｆ形式の画像ファイルから構成されている被写体切り抜き画像Ｐ３を読み出すことで、画像情報の他にＥｘｉｆ情報として付帯されている被写体距離情報（第２距離情報）も取得する。
ここで、取得部８ｃは、前景画像としての主要被写体画像Ｇと、当該主要被写体画像Ｇに含まれる主要被写体と当該主要被写体画像Ｇに係る被写体存在画像Ｐ１を撮像した撮像装置１００との距離を示す被写体距離情報（第２距離情報）とを取得する第２取得手段を構成している。
Further, the
Here, the
また、画像処理部８は、算出手段として、背景画像Ｐ４ａと被写体存在画像Ｐ１に含まれる主要被写体画像（前景画像）Ｇとの距離差Ａを算出する距離差算出部８ｄを具備している。
距離差算出部８ｄは、合成画像生成処理にて、取得部８ｃにより取得された背景距離情報と被写体距離情報とを比較して、背景画像Ｐ４ａと主要被写体画像Ｇとの距離差Ａを算出する。
ここで、距離差算出部８ｄは、背景距離情報（第１距離情報）と被写体距離情報（第２距離情報）とを比較する比較手段を構成している。
The
The distance
Here, the distance
また、画像処理部８は、背景画像Ｐ４ａに対して平滑化処理を施す平滑化処理部８ｅを具備している。
平滑化処理部８ｅは、距離差算出部８ｄにより算出された背景画像Ｐ４ａと主要被写体画像Ｇとの距離差Ａに応じて、背景画像Ｐ４ａに対して平滑化処理を施す。具体的には、平滑化処理部８ｅは、距離差算出部８ｄにより算出された距離差Ａに応じて平滑化処理の処理強度を変更して、背景画像Ｐ４ａに対して当該平滑化処理を施す。即ち、平滑化処理部８ｅは、距離差算出部８ｄにより算出された距離差Ａに応じて、画像処理部８のフィルタ記憶部８ｆに記憶されている複数の平均化フィルタｆ１（図２（ａ）参照）の中から一の平均化フィルタｆ１（例えば、３×３画素からなる平均化フィルタ）を特定する。そして、平滑化処理部８ｅは、特定された平均化フィルタｆ１を用いて背景画像Ｐ４ａに対して平滑化処理を施すことで、当該背景画像Ｐ４ｂの濃淡変化を滑らか（ピンぼけ状態）にする（図８（ｂ）参照）。
平均化フィルタｆ１を用いた平滑化処理において、背景画像Ｐ４ａの所定位置の画素をフィルタリングする場合、当該画素を中心とする近傍点の平均をその画素に入れ直す処理を行う。例えば、３×３画素の平均化フィルタｆ１を用いる場合、中央部（例えば、図２（ｂ）における「○」で示された領域）の周囲の８つの領域に対応する画素の色の平均を算出して、この算出した平均の色を当該中央部に対応する画素の色とする。
このとき、主要被写体画像Ｇと背景画像Ｐ４ａとの距離差Ａに応じて、平均化フィルタｆ１のサイズを変更することで（図２（ａ）参照）、平均化する範囲（平均を算出する近傍点の数）を変更して、背景画像Ｐ４ｂのぼけの大きさを調整する。具体的には、距離差Ａが大きい程、サイズの大きい平均化フィルタｆ１を用いることで、背景画像Ｐ４ｂにより大きいぼけを生じさせる。一方、距離差Ａが小さい程、サイズの小さい平均化フィルタｆ１を用いることで、背景画像Ｐ４ｂにより小さいぼけを生じさせる。
The
The smoothing
In the smoothing process using the averaging filter f1, when filtering a pixel at a predetermined position of the background image P4a, a process of re-entering the average of neighboring points centered on the pixel into the pixel is performed. For example, when the 3 × 3 pixel averaging filter f1 is used, the average of the colors of the pixels corresponding to the eight regions around the central portion (for example, the region indicated by “◯” in FIG. 2B) is calculated. The calculated average color is set as the color of the pixel corresponding to the central portion.
At this time, by changing the size of the averaging filter f1 according to the distance difference A between the main subject image G and the background image P4a (see FIG. 2A), the range to be averaged (the neighborhood in which the average is calculated) The number of points) is changed to adjust the blur size of the background image P4b. Specifically, the larger the distance difference A is, the larger the size of the averaging filter f1, which causes the background image P4b to be more blurred. On the other hand, the smaller the distance difference A is, the smaller the size of the averaging filter f1, which causes a smaller blur in the background image P4b.
このように、平滑化処理部８ｅは、距離差算出部８ｄによる背景距離情報と被写体距離情報との比較結果に基づいて、背景画像Ｐ４ａに対して所定の画像処理を施す処理手段を構成している。
As described above, the smoothing
フィルタ記憶部８ｆは、主要被写体画像Ｇと背景画像Ｐ４ａとの距離差Ａに応じて所定サイズの平均化フィルタｆ１を対応付けて記憶している（図２（ａ）参照）。
具体的には、例えば、主要被写体画像Ｇと背景画像Ｐ４ａとの距離差Ａとしての「1［m］以下」と「３×３画素の平均化フィルタｆ１」とが対応付けられ、また、距離差Ａとしての「1［m］よりも大きく3［m］以下」と「５×５画素の平均化フィルタｆ１」とが対応付けられ、また、距離差Ａとしての「3［m］よりも大きく5［m］以下」と「７×７画素の平均化フィルタｆ１」とが対応付けられ、また、距離差Ａとしての「5［m］よりも大きい」と「５×５画素の平均化フィルタｆ１」とが対応付けられている。
なお、平均化フィルタｆ１のサイズ及び対応付けられている距離差Ａは、一例であって上記したものに限られるものではない。
The
Specifically, for example, “1 [m] or less” as the distance difference A between the main subject image G and the background image P4a and “3 × 3 pixel averaging filter f1” are associated with each other, and the distance “A greater than 1 [m] and less than or equal to 3 [m]” as the difference A is associated with “5 × 5 pixel averaging filter f1”, and more than “3 [m] as the distance difference A “5 [m] or less” and “7 × 7 pixel averaging filter f1” are associated with each other, and the distance difference A is “greater than 5 [m]” and “5 × 5 pixel averaging”. Filter f1 ”is associated.
The size of the averaging filter f1 and the associated distance difference A are examples and are not limited to those described above.
また、画像処理部８は、合成手段として、背景画像Ｐ４ａと被写体切り抜き画像Ｐ３とを合成する合成部８ｇを具備している。
合成部８ｇは、具体的には、平滑化処理部８ｅによって平滑化処理が施されていない背景画像Ｐ４ａ若しくは平滑化処理が施された背景画像Ｐ４ｂの各画素のうち、アルファ値が０の画素は透過させ、アルファ値が１の画素は被写体切り抜き画像Ｐ３の対応する画素の画素値で上書きし、さらに、背景画像Ｐ４ａ（Ｐ４ｂ）の各画素のうち、アルファ値が０＜α＜１の画素は１の補数（１−α）を用いて主要被写体画像Ｇを切り抜いた画像（背景画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて被写体切り抜き画像Ｐ３を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像Ｐ３から減算し、それを主要被写体画像Ｇを切り抜いた画像（背景画像×（１−α））と合成する。
Further, the
Specifically, the combining
記録媒体９は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部８のＪＰＥＧ圧縮部（図示略）により符号化された被写体切り抜き画像Ｐ３や背景画像Ｐ４ａの画像データを記憶する。
The
被写体切り抜き画像Ｐ３の画像データは、切り抜き画像生成部８ａの位置情報生成部により生成されたアルファマップと対応付けられて、当該被写体切り抜き画像Ｐ３の画像データの拡張子を「.jpe」として記憶されている。また、被写体切り抜き画像Ｐ３の画像データは、被写体存在画像Ｐ１の撮像の際に距離算出部８ｂにより取得された被写体距離情報（第２距離情報）がＥｘｉｆ情報として付帯されたＥｘｉｆ形式の画像ファイルから構成されている。
背景画像Ｐ４ａの画像データは、背景画像Ｐ４ａの撮像の際に距離算出部８ｂにより取得された背景距離情報（第１距離情報）がＥｘｉｆ情報として付帯されたＥｘｉｆ形式の画像ファイルから構成されている。
The image data of the subject clipped image P3 is associated with the alpha map generated by the position information generator of the clipped
The image data of the background image P4a is composed of an Exif format image file in which background distance information (first distance information) acquired by the
このように、記録媒体９は、背景画像Ｐ４ａの撮像の際に当該背景画像Ｐ４ａにおける被写体（特徴領域）までの距離を測距した背景距離情報（第１距離情報）と、被写体存在画像Ｐ１の撮像の際に主要被写体までの距離を測距した被写体距離情報（第２距離情報）を記憶する。
As described above, the
表示制御部１０は、画像メモリ５に一時的に記憶されている表示用画像データを読み出して表示部１１に表示させる制御を行う。
具体的には、表示制御部１０は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１３の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１１に出力する。
The
Specifically, the
表示部１１は、例えば、液晶表示装置であり、表示制御部１０からのビデオ信号に基づいて電子撮像部２により撮像された画像などを表示画面に表示する。具体的には、表示部１１は、撮像モードにて、レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示したり、本撮像画像として撮像されたレックビュー画像を表示する。
The
操作入力部１２は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１２は、被写体の撮影指示に係るシャッタボタン１２ａ、撮像モードや機能等の選択指示に係る選択決定ボタン１２ｂ、ズーム量の調整指示に係るズームボタン（図示略）等を備え、これらのボタンの操作に応じて所定の操作信号を中央制御部１３に出力する。
The
中央制御部１３は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１３は、ＣＰＵ（図示略）を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
The
次に、撮像装置１００による被写体切り抜き処理について、図３及び図４を参照して説明する。
図３は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。また、図４（ａ）〜図４（ｃ）は、被写体切り抜き処理に係る画像の一例を模式的に示す図である。
Next, the subject clipping process performed by the
FIG. 3 is a flowchart illustrating an example of an operation related to the subject clipping process. FIGS. 4A to 4C are diagrams schematically illustrating an example of an image related to the subject clipping process.
被写体切り抜き処理は、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体切り抜きモードが選択指示された場合に実行される処理である。
図３に示すように、先ず、中央制御部１３は、表示制御部１０に、レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像Ｐ１の撮像指示メッセージを表示部１１の表示画面に表示させる（ステップＳ１）。
The subject clipping process is executed when a subject clipping mode is selected from a plurality of imaging modes displayed on the menu screen based on a predetermined operation of the
As shown in FIG. 3, first, the
次に、中央制御部１３は、ユーザによる操作入力部１２のシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ２）。ここで、撮像指示が入力されたと判定されると（ステップＳ２；ＹＥＳ）、中央制御部１３は、撮像制御部３に、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の条件を調整させて、被写体存在画像Ｐ１（図４（ａ）参照）の光学像を所定の条件で電子撮像部２により撮像させる。そして、中央制御部１３は、画像データ生成部４に、電子撮像部２から転送された被写体存在画像Ｐ１のＹＵＶデータを生成させる（ステップＳ３）。なお、当該被写体存在画像Ｐ１のＹＵＶデータは、画像メモリ５に一時記憶される。
また、中央制御部１３は、撮像制御部３を制御して、当該被写体存在画像Ｐ１の撮像の際の合焦位置や露出条件やホワイトバランス等の条件を固定した状態を維持する。
Next, the
In addition, the
そして、中央制御部１３は、画像処理部８の距離算出部８ｂに、被写体存在画像Ｐ１の撮像の際の自動合焦処理にて、被写体存在画像Ｐ１中の主要被写体に合焦した状態のフォーカスレンズの光軸方向の位置に係るレンズ位置情報を撮像制御部３の合焦制御部３ａから取得させる。そして、中央制御部１３は、距離算出部８ｂに、当該レンズ位置情報に基づいて主要被写体までの距離を算出させて被写体距離情報を取得させる（ステップＳ４）。
Then, the
次に、中央制御部１３は、表示制御部１０に、レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像Ｐ１の半透過の表示態様の画像と被写体非存在画像Ｐ２の撮像指示メッセージを表示部１１の表示画面に表示させる（ステップＳ５）。
この後、中央制御部１３は、ユーザによる操作入力部１２のシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ６）。そして、ユーザは、被写体が移動するのを待つか、或いは、被写体を画角外に移動させた後、ユーザにより被写体非存在画像Ｐ２が被写体存在画像Ｐ１の半透過の画像と重なるようにカメラ位置が調整されて、操作入力部１２のシャッタボタン１２ａが所定操作されて撮像指示が入力されたと判定されると（ステップＳ６；ＹＥＳ）、中央制御部１３は、撮像制御部３に、被写体非存在画像Ｐ２（図４（ｂ）参照）の光学像を被写体存在画像Ｐ１の撮像後に固定された条件で電子撮像部２により撮像させる。そして、中央制御部１３は、画像データ生成部４に、電子撮像部２から転送された被写体非存在画像Ｐ２のＹＵＶデータを生成させる（ステップＳ７）。なお、当該被写体存在画像Ｐ１のＹＵＶデータは、画像メモリ５に一時記憶される。
Next, the
Thereafter, the
次に、中央制御部１３は、特徴量演算部６、ブロックマッチング部７及び画像処理部８に、画像メモリ５に一時記憶されている被写体非存在画像Ｐ２のＹＵＶデータを基準として、被写体存在画像Ｐ１のＹＵＶデータを射影変換させるための射影変換行列を所定の画像変換モデル（例えば、相似変換モデル、或いは合同変換モデル）で算出させる（ステップＳ８）。
具体的には、特徴量演算部６は、被写体非存在画像Ｐ２のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレートとして抽出する。そして、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を被写体存在画像Ｐ１内にて探索して、画素値の相違度の評価値が最も良かった被写体非存在画像Ｐ２と被写体存在画像Ｐ１間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。そして、切り抜き画像生成部８ａの位置合わせ部は、ブロックマッチング部７により算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて被写体存在画像Ｐ１の射影変換行列を算出する。
Next, the
Specifically, the feature amount calculation unit 6 selects a predetermined number (or a predetermined number or more) of highly featured block areas (feature points) based on the YUV data of the subject non-existing image P2, and selects the relevant block. Is extracted as a template. Then, the block matching unit 7 searches the subject existing image P1 for a position where the pixel value of the template extracted by the feature extraction process is optimally matched, and the evaluation value of the difference between the pixel values is the best. An optimal offset between the subject non-existing image P2 and the subject existing image P1 is calculated as a motion vector of the template. Then, the alignment unit of the cut-out
次に、中央制御部１３は、切り抜き画像生成部８ａの位置合わせ部に、算出された射影変換行例に基づいて被写体存在画像Ｐ１を射影変換させることで、被写体存在画像Ｐ１のＹＵＶデータと被写体非存在画像Ｐ２のＹＵＶデータとを位置合わせする処理を行わせる（ステップＳ９）。
Next, the
そして、中央制御部１３は、切り抜き画像生成部８ａの被写体画像抽出部に、被写体存在画像Ｐ１から被写体が含まれる主要被写体画像Ｇを抽出する処理を行わせる（ステップＳ１０）。
具体的には、被写体領域抽出部は、被写体存在画像Ｐ１のＹＵＶデータと被写体非存在画像Ｐ２のＹＵＶデータの各々に対してローパスフィルタをかけて各画像の高周波成分を除去する。その後、被写体領域抽出部は、ローパスフィルタをかけた被写体存在画像Ｐ１と被写体非存在画像Ｐ２との間で対応する各画素について相違度を算出して相違度マップを生成する。続けて、被写体領域抽出部は、各画素に係る相違度マップを所定の閾値で２値化した後、相違度マップから細かいノイズや手ぶれにより相違が生じた領域を除去するために収縮処理を行う。その後、被写体領域抽出部は、ラベリング処理を行って、所定値以下の領域や最大領域以外の領域を除去した後、一番大きな島のパターンを主要被写体画像Ｇとして特定し、収縮分を修正するための膨張処理を行う。
Then, the
Specifically, the subject region extraction unit applies a low-pass filter to each of the YUV data of the subject presence image P1 and the YUV data of the subject non-existence image P2, and removes the high frequency component of each image. Thereafter, the subject area extraction unit calculates a difference for each corresponding pixel between the subject presence image P1 and the subject non-existence image P2 subjected to the low-pass filter, and generates a difference map. Subsequently, the subject region extraction unit binarizes the dissimilarity map relating to each pixel with a predetermined threshold, and then performs a contraction process to remove a region in which the dissimilarity is caused by fine noise or camera shake from the dissimilarity map. . After that, the subject region extraction unit performs a labeling process, removes a region below a predetermined value or a region other than the maximum region, identifies the largest island pattern as the main subject image G, and corrects the shrinkage. Expansion processing is performed.
次に、中央制御部１３は、画像処理部８の位置情報生成部に、抽出された主要被写体画像Ｇの被写体存在画像Ｐ１内での位置を示すアルファマップを生成させる（ステップＳ１１）。
Next, the
その後、中央制御部１３は、画像処理部８の画像生成部に、主要被写体画像Ｇを所定の単一色画像と合成した被写体切り抜き画像Ｐ３（図４（ｃ）参照）の画像データを生成する処理を行わせる（ステップＳ１２）。
具体的には、画像生成部は、被写体存在画像Ｐ１、単一色画像及びアルファマップを読み出して画像メモリ５に展開した後、被写体存在画像Ｐ１の全ての画素について、アルファ値が０の画素については（α＝０）、透過させ、アルファ値が０＜α＜１の画素については（０＜α＜１）、所定の単一色とブレンディングを行い、アルファ値が１の画素については（α＝１）、何もせずに所定の単一色に対して透過させないようにする。
Thereafter, the
Specifically, the image generation unit reads out the subject existence image P1, the single color image, and the alpha map and develops them in the
その後、中央制御部１３は、記録媒体９の所定の記憶領域に、画像処理部８の位置情報生成部により生成されたアルファマップと被写体切り抜き画像Ｐ３の画像データと距離算出部８ｂにより取得された被写体距離情報とを対応付けて一ファイルで記憶させる（ステップＳ１３）。
これにより、被写体切り抜き処理を終了する。
Thereafter, the
Thereby, the subject clipping process is completed.
次に、撮像装置１００による背景画像撮像処理について、図５を参照して説明する。
図５は、背景画像撮像処理に係る動作の一例を示すフローチャートである。
Next, background image imaging processing by the
FIG. 5 is a flowchart illustrating an example of an operation related to the background image capturing process.
背景画像撮像処理は、通常の静止画像の撮像処理であり、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から静止画撮像モードが選択指示された場合に実行される処理である。
図５に示すように、先ず、中央制御部１３は、表示制御部１０に、レンズ部１、電子撮像部２及び撮像制御部３による背景画像Ｐ４ａの撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させる（ステップＳ２１）。
The background image capturing process is a normal still image capturing process. Based on a predetermined operation of the
As shown in FIG. 5, first, the
次に、中央制御部１３は、ユーザによる操作入力部１２のシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ２２）。ここで、撮像指示が入力されたと判定されると（ステップＳ２２；ＹＥＳ）、中央制御部１３は、撮像制御部３に、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の条件を調整させて、背景画像Ｐ４ａ（図８（ａ）参照）の光学像を所定の条件で電子撮像部２により撮像させる。そして、中央制御部１３は、画像データ生成部４に、電子撮像部２から転送された背景画像Ｐ４ａのＹＵＶデータを生成させる（ステップＳ２３）。
Next, the
そして、中央制御部１３は、画像処理部８の距離算出部８ｂに、背景画像Ｐ４ａの撮像の際の自動合焦処理にて、背景画像Ｐ４ａ中の特徴のある被写体（例えば、草や木等）Ｃに合焦した状態のフォーカスレンズの光軸方向の位置に係るレンズ位置情報を撮像制御部３の合焦制御部３ａから取得させる。そして、中央制御部１３は、距離算出部８ｂに、当該レンズ位置情報に基づいて被写体Ｃまでの距離を算出させて背景距離情報を取得させる（ステップＳ２４）。
Then, the
続けて、中央制御部１３は、記録媒体９の所定の記憶領域に、距離算出部８ｂにより取得された背景距離情報と背景画像Ｐ４ａのＹＵＶデータとを対応付けて一ファイルで記憶させる（ステップＳ２５）。
これにより、背景画像生成処理を終了する。
Subsequently, the
Thereby, the background image generation process is terminated.
次に、撮像装置１００による合成画像生成処理について、図６〜図８を参照して説明する。
図６は、合成画像生成処理に係る動作の一例を示すフローチャートである。また、図７は、合成画像生成処理における画像合成処理に係る動作の一例を示すフローチャートである。また、図８（ａ）〜図８（ｃ）は、合成画像生成処理に係る画像の一例を模式的に示す図である。
Next, composite image generation processing by the
FIG. 6 is a flowchart illustrating an example of an operation related to the composite image generation process. FIG. 7 is a flowchart illustrating an example of an operation related to the image composition processing in the composite image generation processing. FIGS. 8A to 8C are diagrams schematically illustrating an example of an image related to the composite image generation process.
合成画像生成処理は、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から画像合成モードが選択指示された場合に実行される処理である。
図６に示すように、先ず、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、記録媒体９に記録されている複数の画像の中で所望の被写体切り抜き画像Ｐ３（図４（ｃ）参照）が選択されて指定されると（ステップＳ３１）、中央制御部１３は、画像処理部８の取得部８ｃに、指定された被写体切り抜き画像Ｐ３の画像データを読み出させて画像メモリ５に展開させる（ステップＳ３２）。具体的には、取得部８ｃは、Ｅｘｉｆ形式の画像ファイルから構成されている被写体切り抜き画像Ｐ３を読み出すことで、画像情報の他にＥｘｉｆ情報として付帯されている被写体距離情報を取得する。
The composite image generation process is executed when an image composite mode is selected from a plurality of operation modes displayed on the menu screen based on a predetermined operation of the
As shown in FIG. 6, first, based on a predetermined operation of the
次に、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、記録媒体９に記録されている複数の画像の中で所望の背景画像Ｐ４ａ（図８（ａ）参照）が選択されて指定されると（ステップＳ３３）、中央制御部１３は、画像処理部８の取得部８ｃに、指定された背景画像Ｐ４ａの画像データを読み出させて画像メモリ５に展開させる（ステップＳ３４）。具体的には、取得部８ｃは、Ｅｘｉｆ形式の画像ファイルから構成されている背景画像Ｐ４ａを読み出すことで、画像情報の他にＥｘｉｆ情報として付帯されている背景距離情報を取得する。
Next, a desired background image P4a (see FIG. 8A) is selected from a plurality of images recorded on the
続けて、中央制御部１３は、画像処理部８の距離差算出部８ｄに、取得部８ｃにより取得された背景距離情報と被写体距離情報とを比較させて、背景画像Ｐ４ａと主要被写体画像Ｇとの距離差Ａを算出させ、画像処理部８は、算出された距離差Ａが所定値以上であるか否かを判定する（ステップＳ３５）。
ここで、距離差Ａが所定値以上であると判定されると（ステップＳ３５；ＹＥＳ）、中央制御部１３は、画像処理部８の平滑化処理部８ｅに、距離差算出部８ｄにより算出された距離差Ａに応じて、フィルタ記憶部８ｆに記憶されている複数の平均化フィルタｆ１（図２（ａ）参照）の中から一の平均化フィルタｆ１（例えば、３×３画素からなる平均化フィルタ）を特定させる。そして、中央制御部１３は、平滑化処理部８ｅに、特定された平均化フィルタｆ１を用いて背景画像Ｐ４ａに対して平滑化処理を施させる（ステップＳ３６）。これにより、画素の濃淡変化を滑らかな状態、即ち、ピンぼけ状態とされた背景画像Ｐ４ｂ（図８（ｂ）参照）が生成される。
Subsequently, the
Here, if it is determined that the distance difference A is greater than or equal to the predetermined value (step S35; YES), the
次に、ユーザによる操作入力部１２の選択決定ボタン１２ｂの所定操作に基づいて、ユーザ所望の被写体切り抜き画像Ｐ３の合成位置を指定して決定した後、中央制御部１３は、平滑化処理が施された背景画像Ｐ４ａと被写体切り抜き画像Ｐ３における主要被写体画像Ｇを用いて、画像合成処理を合成部８ｇに行わせる（ステップＳ３７）。
なお、ステップＳ３５にて、距離差Ａが所定値よりも小さいと判定されると（ステップＳ３５；ＮＯ）、中央制御部１３は、処理をステップＳ３７に移行させて、平滑化処理が施されていない背景画像Ｐ４ａを用いて画像合成処理を行わせる。また、背景距離情報が対応付けられていない背景画像や被写体距離情報が対応付けられていない被写体切り抜き画像を用いて画像合成を行う場合にも、背景画像に対する平滑化処理を行わずに画像合成処理を行う。
Next, based on a predetermined operation of the
If it is determined in step S35 that the distance difference A is smaller than the predetermined value (step S35; NO), the
ここで、画像合成処理について図７を参照して詳細に説明する。
図７は、画像合成処理に係る動作の一例を示すフローチャートである。
合成部８ｇは、被写体切り抜き画像Ｐ３と対応付けて記憶されているアルファマップを読み出して画像メモリ５に展開する（ステップＳ４１）。
なお、背景画像Ｐ４ａにおける被写体切り抜き画像Ｐ３の合成位置が決定された際に、背景画像Ｐ４ａ（Ｐ４ｂ）とアルファマップとがずれてしまいアルファマップの範囲外となる領域については、α＝０としてアルファ値が存在しない領域を生じさせないようにする。
Here, the image composition processing will be described in detail with reference to FIG.
FIG. 7 is a flowchart illustrating an example of an operation related to the image composition process.
The synthesizing
Note that when the synthesis position of the subject cutout image P3 in the background image P4a is determined, the background image P4a (P4b) is shifted from the alpha map, and the area outside the alpha map range is set to α = 0. Avoid creating regions where no value exists.
次に、合成部８ｇは、平滑化処理が施された背景画像Ｐ４ｂ若しくは当該処理が施されていない背景画像Ｐ４ａの何れか一の画素（例えば、左上隅部の画素）を指定して（ステップＳ４２）、当該画素について、アルファマップのアルファ値に基づいて処理を分岐させる（ステップＳ４３）。具体的には、合成部８ｇは、背景画像Ｐ４ａ（Ｐ４ｂ）の何れか一の画素のうち、アルファ値が１の画素については（ステップＳ４３；α＝１）、被写体切り抜き画像Ｐ３の対応する画素の画素値で上書きし（ステップＳ４４）、アルファ値が０＜α＜１の画素については（ステップＳ４３；０＜α＜１）、１の補数（１−α）を用いて主要被写体画像Ｇを切り抜いた画像（背景用画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて被写体切り抜き画像Ｐ３を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像Ｐ３から減算し、それを主要被写体画像Ｇを切り抜いた画像（背景用画像×（１−α））と合成し（ステップＳ４５、アルファ値が０の画素については（ステップＳ４３；α＝０）、何もせずに背景画像Ｐ４ａを透過さるようにする。
Next, the synthesizing
続けて、合成部８ｇは、背景画像Ｐ４ａの全ての画素について処理したか否かを判定する（ステップＳ４６）。
ここで、全ての画素について処理していないと判定されると（ステップＳ４６；ＮＯ）、合成部８ｇは、処理対象として次の画素を指定して当該画素に処理対象を移動させて（ステップＳ４７）、処理をステップＳ４３に移行させる。
上記の処理を、ステップＳ４６にて全ての画素について処理したと判定されるまで（ステップＳ４６；ＹＥＳ）、繰り返すことで、合成部８ｇは、被写体切り抜き画像Ｐ３と背景画像Ｐ４ａ（Ｐ４ｂ）とを合成した被写体合成画像Ｐ５の画像データを生成させる。
これにより、画像合成処理を終了する。
Subsequently, the
If it is determined that all the pixels have not been processed (step S46; NO), the
By repeating the above processing until it is determined in step S46 that all pixels have been processed (step S46; YES), the combining
Thereby, the image composition process is terminated.
図６に示すように、その後、中央制御部１３は、表示制御部１０に、合成部８ｇにより生成された被写体合成画像Ｐ５の画像データに基づいて、背景画像Ｐ４ａ（Ｐ４ｂ）に被写体が重畳された被写体合成画像Ｐ５を表示部１１の表示画面に表示させる（ステップＳ３８）。
具体的には、例えば、平滑化処理が施された背景画像Ｐ４ｂを用いて被写体合成画像を生成した場合、主要被写体画像Ｇにはピントが合っているが、背景画像Ｐ４ｂに対してはピントが合っていないような被写体合成画像、即ち、背景画像Ｐ４ｂをぼかした被写体合成画像Ｐ５（図８（ｃ）参照）が表示部１１に表示される。
これにより、合成画像生成処理を終了する。
As shown in FIG. 6, thereafter, the
Specifically, for example, when a subject composite image is generated using the smoothed background image P4b, the main subject image G is in focus, but the background image P4b is in focus. A subject composite image that does not match, that is, a subject composite image P5 (see FIG. 8C) obtained by blurring the background image P4b is displayed on the
Thus, the composite image generation process is finished.
以上のように、本実施形態の撮像装置１００によれば、背景画像Ｐ４ａに含まれる被写体までの距離を示す背景距離情報と、主要被写体画像Ｇに含まれる主要被写体までの距離を示す被写体距離情報とを比較する。即ち、背景画像Ｐ４ａの撮像の際に、当該背景画像Ｐ４ａにおける特徴のある被写体Ｃまでの距離を測距した背景距離情報と、被写体存在画像Ｐ１の撮像の際に、被写体存在画像Ｐ１の主要被写体までの距離を測距した被写体距離情報とを比較する。そして、当該比較結果に基づいて背景画像Ｐ４ａに平滑化処理を施して当該背景画像Ｐ４ａの濃淡変化を滑らかにした後、平滑化処理が施された背景画像Ｐ４ｂと主要被写体画像Ｇとを合成して被写体合成画像Ｐ５を生成する。
これにより、撮像装置１００に対してより遠い方の画像である背景画像Ｐ４ａのピントは合っていないが、近い方の画像である主要被写体画像Ｇのピントは合っているような遠近感のある被写体合成画像Ｐ５（図８（ｃ）参照）を生成することができ、複数の画像を単に重ねただけでは得られず、且つ、一眼レフカメラで撮影したような表現力の豊かな自然な被写体合成画像Ｐ５を得ることができる。
As described above, according to the
As a result, the background image P4a, which is a farther image than the
また、背景画像Ｐ４ａと被写体切り抜き画像Ｐ３の主要被写体画像Ｇとの距離差Ａを算出して、当該距離差Ａに応じて背景画像Ｐ４ａに平滑化処理を施す。具体的には、背景画像Ｐ４ａと主要被写体画像Ｇとの距離差Ａに従って平滑化処理の処理強度を変更して背景画像Ｐ４ａに施すので、距離差Ａに応じて背景画像Ｐ４ｂのぼけの大きさを調整することができ、被写体存在画像の遠近感をより自然に表現することができる。 Further, a distance difference A between the background image P4a and the main subject image G of the subject cutout image P3 is calculated, and the background image P4a is smoothed according to the distance difference A. Specifically, since the processing intensity of the smoothing process is changed according to the distance difference A between the background image P4a and the main subject image G and applied to the background image P4a, the size of the blur of the background image P4b according to the distance difference A Can be adjusted, and the perspective of the subject existing image can be expressed more naturally.
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、平滑化処理を背景画像Ｐ４ａ（撮像装置１００に対して遠い方）に施すようにしたが、撮像装置１００に対してより近い方の主要被写体画像Ｇに施しても良い。即ち、撮像装置１００に対してより遠い方の背景画像Ｐ４ａのピントは合っているが、近い方の主要被写体画像Ｇのピントは合っていないような合成画像（主要被写体画像Ｇがピンぼけ状態の被写体合成画像）を生成する場合や、背景画像Ｐ４ａ及び主要被写体画像Ｇの双方のピントが合っていないような被写体合成画像（背景画像Ｐ４ａ及び主要被写体画像Ｇの双方がピンぼけ状態の被写体合成画像）を生成する場合にあっては、主要被写体画像Ｇに対して平滑化処理を施すようにしても良い。
つまり、平滑化処理部８ｅは、処理手段として、背景画像Ｐ４ａ及び主要被写体画像（前景画像）Ｇの少なくとも一方に所定の画像処理を施すように構成しても良い。
The present invention is not limited to the above-described embodiment, and various improvements and design changes may be made without departing from the spirit of the present invention.
For example, in the above embodiment, the smoothing process is performed on the background image P4a (the one farther from the imaging device 100), but is applied to the main subject image G closer to the
That is, the smoothing
また、上記実施形態にあっては、所定の画像処理として、平滑化処理を例示したが、これに限られるものではなく、例えば、背景画像Ｐ４ａや主要被写体画像Ｇのコントラストや明るさを調整する処理であっても良い。即ち、背景画像Ｐ４ａに対して主要被写体画像Ｇのコントラストを強くしたり明るさを明るくすることで、被写体存在画像の遠近感を自然に表現することができ、表現力の豊かな自然な被写体合成画像を得ることができる。
また、上記実施形態と同様に、距離差Ａに応じて背景画像Ｐ４ａや主要被写体画像Ｇのコントラストや明るさを調整することで、被写体存在画像の遠近感をより自然に表現することができる。
In the above embodiment, the smoothing process is exemplified as the predetermined image process. However, the present invention is not limited to this. For example, the contrast and brightness of the background image P4a and the main subject image G are adjusted. It may be processing. That is, by increasing the contrast of the main subject image G or increasing the brightness with respect to the background image P4a, the perspective of the subject existing image can be naturally expressed, and natural subject synthesis with rich expressiveness can be achieved. An image can be obtained.
Similarly to the above-described embodiment, by adjusting the contrast and brightness of the background image P4a and the main subject image G according to the distance difference A, the perspective of the subject existing image can be expressed more naturally.
さらに、上記実施形態にあっては、背景画像Ｐ４ａにおけるピントがあった位置の情報を記録しておいても良く、例えば、当該位置の情報に基づいて、画像処理の強度を調整しても良い。即ち、ピントがあった位置から離れる程、画像処理の強度を強くするようにすることで、被写体存在画像の遠近感をより自然に表現することができる。 Furthermore, in the above-described embodiment, information on the position where the background image P4a is in focus may be recorded. For example, the intensity of image processing may be adjusted based on the information on the position. . In other words, the perspective of the subject existing image can be expressed more naturally by increasing the intensity of the image processing as the distance from the focused position increases.
また、上記実施形態にあっては、平滑化処理として、平均化フィルタを用いた手法を例示したが、これに限られるものではなく、画像を平滑化する方法であれば如何なる方法であっても良く、例えば、Irisフィルタなどを用いた手法であっても良い。 In the above embodiment, the method using the averaging filter is exemplified as the smoothing process. However, the method is not limited to this, and any method may be used as long as the method smoothes the image. For example, a technique using an Iris filter or the like may be used.
さらに、上記実施形態にあっては、被写体切り抜き画像Ｐ３の画像データを、被写体距離情報をＥｘｉｆ情報として付帯したＥｘｉｆ形式の画像ファイルから構成し、背景画像Ｐ４ａの画像データを、背景距離情報をＥｘｉｆ情報として付帯したＥｘｉｆ形式の画像ファイルから構成するようにしたが、被写体切り抜き画像Ｐ３や背景画像Ｐ４ａの画像データ並びに距離情報の記憶方法はこれらに限られるものではない。即ち、被写体切り抜き画像Ｐ３の画像データと被写体距離情報とが対応付けて記憶され、背景画像Ｐ４ａの画像データと背景距離情報とが対応付けて記憶されるような記憶方法であれば如何なる方法であっても良い。 Furthermore, in the above embodiment, the image data of the subject cutout image P3 is configured from an Exif format image file with the subject distance information as Exif information, the image data of the background image P4a, and the background distance information as Exif. Although it is configured from an Exif format image file attached as information, the method of storing the image data and distance information of the subject cutout image P3 and the background image P4a is not limited to these. That is, any method may be used as long as the image data of the subject cutout image P3 and the subject distance information are stored in association with each other, and the image data of the background image P4a and the background distance information are stored in association with each other. May be.
また、上記実施形態にあっては、先ず、主要被写体画像Ｇ及び被写体距離情報を取得し（第２取得ステップ）、その後、背景画像Ｐ４ａと背景距離情報を取得する（第１取得ステップ）ようにしたが、これに限られるものではなく、これらの順序が逆であっても良い。 In the embodiment, first, the main subject image G and subject distance information are acquired (second acquisition step), and then the background image P4a and background distance information are acquired (first acquisition step). However, the present invention is not limited to this, and the order of these may be reversed.
さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。即ち、画像合成装置として、撮像装置１００を例示したが、これに限られるものではなく、少なくとも第１取得手段、第２取得手段、算出手段、処理手段、合成手段を備える構成であれば適宜任意に変更することができる。例えば、背景画像Ｐ４ａ及び被写体切り抜き画像Ｐ３の撮像並びに当該撮像の際における背景距離情報及び被写体距離情報の取得は、当該撮像装置１００とは異なる撮像装置にて行い、この撮像装置から転送された画像データや背景距離情報や被写体距離情報を記録して、合成画像生成処理のみを実行する画像合成装置であっても良い。
Furthermore, the configuration of the
また、第１距離情報として、背景画像Ｐ４ａの撮像の際に当該背景画像Ｐ４ａに合焦した状態で測距された背景距離情報を例示し、また、第２距離情報として、被写体存在画像Ｐ１の撮像の際に主要被写体画像Ｇに合焦した状態で測距された被写体距離情報を例示したが、一例であり、第１距離情報及び第２距離情報はこれらに限られるものではない。即ち、第１距離情報は、背景画像に含まれる被写体と当該背景画像を撮像した撮像装置との距離を示す情報であれば如何なるものであっても良く、また、第２距離情報は、前景画像に含まれる主要被写体と当該前景画像を撮像した撮像装置との距離を示す情報であれば如何なるものであっても良い。 Further, as the first distance information, the background distance information measured in the state of focusing on the background image P4a when the background image P4a is captured is exemplified, and as the second distance information, the subject existing image P1 is illustrated. Although the subject distance information measured in the state of focusing on the main subject image G at the time of imaging is illustrated, it is an example, and the first distance information and the second distance information are not limited to these. That is, the first distance information may be any information as long as it is information indicating the distance between the subject included in the background image and the imaging device that captured the background image, and the second distance information may be the foreground image. Any information may be used as long as the information indicates the distance between the main subject included in the image capturing apparatus and the imaging apparatus that captured the foreground image.
加えて、上記実施形態にあっては、第１取得手段、第２取得手段、比較手段、処理手段、合成手段としての機能を、中央制御部１３の制御下にて、画像処理部８が駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１３によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、第１取得処理ルーチン、第２取得処理ルーチン、比較処理ルーチン、画像処理ルーチン、合成処理ルーチンを含むプログラムを記憶しておく。そして、第１取得処理ルーチンにより中央制御部１３のＣＰＵを、背景画像Ｐ４ａと、背景画像Ｐ４ａに含まれる主要被写体と当該背景画像Ｐ４ａを撮像した撮像装置との距離を示す背景距離情報（第１距離情報）とを取得する第１取得手段として機能させるようにしても良い。また、第２取得処理ルーチンにより中央制御部１３のＣＰＵを、被写体存在画像Ｐ１から抽出された主要被写体画像（前景画像）Ｇと、当該主要被写体画像に含まれる主要被写体と被写体存在画像Ｐ１を撮像した撮像装置との距離を示す被写体距離情報（第２距離情報）とを取得する第２取得手段として機能させるようにしても良い。また、比較処理ルーチンにより中央制御部１３のＣＰＵを、背景距離情報と被写体距離情報とを比較する比較手段として機能させるようにしても良い。また、画像処理ルーチンにより中央制御部１３のＣＰＵを、背景距離情報と被写体距離情報との比較結果に基づいて、背景画像Ｐ４ａ及び主要被写体画像Ｇの少なくとも一方に所定の画像処理を施す処理手段として機能させるようにしても良い。また、合成処理ルーチンにより中央制御部１３のＣＰＵを、所定の画像処理が少なくとも一方に施された背景画像Ｐ４ｂと主要被写体画像Ｇとを合成する合成手段として機能させるようにしても良い。
In addition, in the above embodiment, the
That is, a program including a first acquisition processing routine, a second acquisition processing routine, a comparison processing routine, an image processing routine, and a synthesis processing routine is stored in a program memory (not shown) that stores the program. Then, by the first acquisition processing routine, the CPU of the
１００ 撮像装置
１ レンズ部
２ 電子撮像部
３ 撮像制御部
８ 画像処理部
８ａ 切り抜き画像生成部
８ｂ 距離算出部
８ｃ 取得部
８ｄ 距離差算出部
８ｅ 平滑化処理部
８ｇ 合成部
１３ 中央制御部
Ｐ１ 被写体存在画像
Ｐ４ａ、Ｐ４ｂ 背景画像
Ｇ 主要被写体画像
DESCRIPTION OF
Claims (8)
前景画像と、当該前景画像に含まれる主要被写体と当該前景画像を撮像した撮像装置との距離を示す第２距離情報とを取得する第２取得手段と、
前記第１距離情報と前記第２距離情報とを比較する比較手段と、
この比較手段による比較結果に基づいて、前記背景画像及び前記前景画像の少なくとも一方に所定の画像処理を施す処理手段と、
この処理手段によって前記所定の画像処理が少なくとも一方に施された前記背景画像と前記前景画像とを合成する合成手段と、
を備えたことを特徴とする画像合成装置。 First acquisition means for acquiring a background image and first distance information indicating a distance between a main subject included in the background image and an imaging device that captured the background image;
Second acquisition means for acquiring a foreground image and second distance information indicating a distance between a main subject included in the foreground image and an imaging device that has captured the foreground image;
A comparing means for comparing the first distance information and the second distance information;
Processing means for performing predetermined image processing on at least one of the background image and the foreground image based on the comparison result by the comparison means;
Synthesizing means for synthesizing the background image and the foreground image on which at least one of the predetermined image processing has been performed by the processing means;
An image composition device comprising:
前記第１距離情報と前記第２距離情報とを比較して、前記背景画像と前記前景画像との距離差を算出する算出手段を備え、
前記処理手段は、前記算出手段により算出された前記距離差に応じて、前記背景画像及び前記前景画像の少なくとも一方に所定の画像処理を施すことを特徴とする請求項１に記載の画像合成装置。 The comparison means includes
A calculation means for comparing the first distance information and the second distance information to calculate a distance difference between the background image and the foreground image;
The image synthesizing apparatus according to claim 1, wherein the processing unit performs predetermined image processing on at least one of the background image and the foreground image according to the distance difference calculated by the calculation unit. .
背景画像と、当該背景画像に含まれる主要被写体と当該背景画像を撮像した撮像装置との距離を示す第１距離情報とを取得する第１取得ステップと、
前景画像と、当該前景画像に含まれる主要被写体と当該前景画像を撮像した撮像装置との距離を示す第２距離情報とを取得する第２取得ステップと、
前記第１距離情報と前記第２距離情報とを比較する比較ステップと、
この比較ステップによる比較結果に基づいて、前記背景画像及び前記前景画像の少なくとも一方に所定の画像処理を施す処理ステップと、
この処理ステップによって前記所定の画像処理が少なくとも一方に施された前記背景画像と前記前景画像とを合成する合成ステップと、
を含むことを特徴とする画像合成方法。 An image composition method of an image composition device for compositing images,
A first acquisition step of acquiring a background image and first distance information indicating a distance between a main subject included in the background image and an imaging device that captured the background image;
A second acquisition step of acquiring a foreground image and second distance information indicating a distance between a main subject included in the foreground image and an imaging device that captured the foreground image;
A comparison step of comparing the first distance information and the second distance information;
A processing step for performing a predetermined image processing on at least one of the background image and the foreground image based on the comparison result of the comparison step;
A synthesis step of synthesizing the background image and the foreground image subjected to the predetermined image processing on at least one of the processing steps;
An image composition method comprising:
背景画像と、当該背景画像に含まれる主要被写体と当該背景画像を撮像した撮像装置との距離を示す第１距離情報とを取得する第１取得手段、
前景画像と、当該前景画像に含まれる主要被写体と当該前景画像を撮像した撮像装置との距離を示す第２距離情報とを取得する第２取得手段、
前記第１距離情報と前記第２距離情報とを比較する比較手段、
この比較手段による比較結果に基づいて、前記背景画像及び前記前景画像の少なくとも一方に所定の画像処理を施す処理手段、
この処理手段によって前記所定の画像処理が少なくとも一方に施された前記背景画像と前記前景画像とを合成する合成手段、
として機能させることを特徴とするプログラム。 The computer of the image synthesizer
First acquisition means for acquiring a background image and first distance information indicating a distance between a main subject included in the background image and an imaging device that captured the background image;
Second acquisition means for acquiring a foreground image and second distance information indicating a distance between a main subject included in the foreground image and an imaging device that captured the foreground image;
A comparing means for comparing the first distance information and the second distance information;
Processing means for performing predetermined image processing on at least one of the background image and the foreground image based on the comparison result by the comparison means;
Synthesis means for synthesizing the background image and the foreground image on which at least one of the predetermined image processing has been performed by the processing means;
A program characterized by functioning as
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009128488A JP2010278701A (en) | 2009-05-28 | 2009-05-28 | Image combining device, and image combining method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009128488A JP2010278701A (en) | 2009-05-28 | 2009-05-28 | Image combining device, and image combining method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010278701A true JP2010278701A (en) | 2010-12-09 |
| JP2010278701A5 JP2010278701A5 (en) | 2012-07-05 |
Family
ID=43425256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009128488A Pending JP2010278701A (en) | 2009-05-28 | 2009-05-28 | Image combining device, and image combining method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010278701A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012111232A1 (en) * | 2011-02-16 | 2012-08-23 | オリンパス株式会社 | Image processor, image processing method, image processing program, and imaging device |
| JP2016082328A (en) * | 2014-10-14 | 2016-05-16 | 日本放送協会 | Image composition device and program for the same |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0832855A (en) * | 1994-07-11 | 1996-02-02 | Fuji Photo Film Co Ltd | Electronic still camera, image synthesizer and image extract device |
| JP2009110137A (en) * | 2007-10-29 | 2009-05-21 | Ricoh Co Ltd | Image processor, image processing method, and image processing program |
-
2009
- 2009-05-28 JP JP2009128488A patent/JP2010278701A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0832855A (en) * | 1994-07-11 | 1996-02-02 | Fuji Photo Film Co Ltd | Electronic still camera, image synthesizer and image extract device |
| JP2009110137A (en) * | 2007-10-29 | 2009-05-21 | Ricoh Co Ltd | Image processor, image processing method, and image processing program |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012111232A1 (en) * | 2011-02-16 | 2012-08-23 | オリンパス株式会社 | Image processor, image processing method, image processing program, and imaging device |
| JP2012170006A (en) * | 2011-02-16 | 2012-09-06 | Olympus Corp | Image processing device, image processing method, image processing program, and imaging device |
| US9167135B2 (en) | 2011-02-16 | 2015-10-20 | Olympus Corporation | Image processing device, image processing method, photographic imaging apparatus, and recording device recording image processing program |
| JP2016082328A (en) * | 2014-10-14 | 2016-05-16 | 日本放送協会 | Image composition device and program for the same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5051156B2 (en) | Image processing apparatus and program | |
| JP5359856B2 (en) | Image composition apparatus, image composition method, and program | |
| JP4760973B2 (en) | Imaging apparatus and image processing method | |
| JP5105550B2 (en) | Image composition apparatus and program | |
| JP4798236B2 (en) | Imaging apparatus, image processing method, and program | |
| JP4947136B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5504990B2 (en) | Imaging apparatus, image processing apparatus, and program | |
| JP5267279B2 (en) | Image composition apparatus and program | |
| JP2011066827A (en) | Image processing apparatus, image processing method and program | |
| JP5402166B2 (en) | Image composition apparatus and program | |
| JP2010278701A (en) | Image combining device, and image combining method and program | |
| JP5636660B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5493839B2 (en) | Imaging apparatus, image composition method, and program | |
| JP5476900B2 (en) | Image composition apparatus, image composition method, and program | |
| JP2011182014A (en) | Image pickup device, image processing method and program | |
| JP2011003057A (en) | Image composition device, image specifying method, image composition method, and program | |
| JP2010233001A (en) | Image compositing apparatus, image reproducing apparatus, and program | |
| JP5494537B2 (en) | Image processing apparatus and program | |
| JP2011041041A (en) | Imaging apparatus, imaging method and program | |
| JP5381207B2 (en) | Image composition apparatus and program | |
| JP5565227B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5354059B2 (en) | Imaging apparatus, image processing method, and program | |
| JP2011135619A (en) | Image processing apparatus and program | |
| JP2011175663A (en) | Imaging device, image processing method, and program | |
| JP2012009980A (en) | Image processing apparatus, image processing method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120523 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120523 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120523 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130507 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130514 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131001 |