JP2009163357A - Image composition device and program - Google Patents
Image composition device and program Download PDFInfo
- Publication number
- JP2009163357A JP2009163357A JP2007340377A JP2007340377A JP2009163357A JP 2009163357 A JP2009163357 A JP 2009163357A JP 2007340377 A JP2007340377 A JP 2007340377A JP 2007340377 A JP2007340377 A JP 2007340377A JP 2009163357 A JP2009163357 A JP 2009163357A
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing
- composition
- feature
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、複数の画像を合成する画像合成装置及びプログラムに関する。 The present invention relates to an image composition apparatus and a program for synthesizing a plurality of images.
近年、連続して撮影された複数の画像に対して特徴点の抽出及び追跡を行い、その移動量から射影変換行列Hを求め、この射影変換行列Hを用いて位置合せを行って重ね合わせることで1枚の合成画像を作り出す方法が開発されている(例えば、特許文献1参照)。 In recent years, feature points are extracted and tracked from a plurality of images photographed in succession, a projection transformation matrix H is obtained from the amount of movement, and alignment is performed using the projection transformation matrix H to perform superposition. A method for creating a single composite image has been developed (see, for example, Patent Document 1).
具体的には、先ず、連続して撮影された複数の画像のうち、合成基準画像から特徴点を抽出し、それらを他の画像で追跡する。ここで、特徴点の追跡は、連続画像を所定回数サブサンプリングして低解像度の階層を作った後(ピラミッド化)、低解像度の画像から順番に反復法を用いて行う。
そして、特徴点の追跡が終了すると、RANSACを行う。画像間の複数の特徴点の対応の中からランダムに4組選択して、射影変換に用いるH行列を計算する。計算されたH行列について、サポートする特徴点の個数をそのH行列の得点として、一定以上の得点を持つH行列が求まるまで上記の作業を繰り返す。
そして、RANSACにより最終的に求まったH行列を用いて射影変換を行い、2枚の画像を合成する。これらの工程を所定枚数分繰り返して全ての画像を加算合成する。
これにより、通常の1枚撮影画像に比べてランダムに生じるノイズが平均化されたS/Nの良い画像を作り出すことができる。
When the tracking of feature points is completed, RANSAC is performed. Four sets are randomly selected from the correspondence between a plurality of feature points between images, and an H matrix used for projective transformation is calculated. With respect to the calculated H matrix, the number of feature points to be supported is used as the score of the H matrix, and the above operation is repeated until an H matrix having a certain score or more is obtained.
Then, projective transformation is performed using the H matrix finally obtained by RANSAC to synthesize two images. These steps are repeated for a predetermined number of times to add and synthesize all the images.
As a result, it is possible to create an image with good S / N in which noise that is randomly generated is averaged compared to a normal single-shot image.
しかしながら、上記の画像合成にあっては、例えば、撮影している環境の明るさ、手ぶれ量、撮影画像の特徴量、被写体等の撮影状況を考慮せずに、一意的に設定した条件で行っていた。このため、撮影状況に適した画像合成処理を行えず、処理時間を浪費したり、合成精度や画像品質が落ちてしまうといった問題があった。 However, the above image composition is performed under uniquely set conditions without taking into consideration the brightness of the environment in which the image is being taken, the amount of camera shake, the feature amount of the photographed image, the photographing situation of the subject, etc. It was. For this reason, there has been a problem that image composition processing suitable for the shooting situation cannot be performed, processing time is wasted, and composition accuracy and image quality are degraded.
そこで、本発明の課題は、処理時間の浪費の防止を図るとともに、合成精度や画像品質の低下を抑制することができる画像合成装置及びプログラムを提供することである。 SUMMARY OF THE INVENTION An object of the present invention is to provide an image composition device and a program that can prevent waste of processing time and can suppress deterioration in composition accuracy and image quality.
請求項1に記載の発明の画像合成装置は、
複数の画像のうち、何れか一の基準画像と対象画像を合成する画像合成処理を行う画像合成手段と、
前記画像の撮影状況に関連した撮影状況関連情報を特定する撮影状況特定手段と、
前記撮影状況特定手段により特定された前記撮影状況関連情報に基づいて、前記画像合成手段による前記画像合成処理の内容を設定する合成処理設定手段と、
を備えることを特徴としている。
The image synthesizing device of the invention according to
Image combining means for performing image combining processing for combining any one of the plurality of images and the target image;
Shooting situation specifying means for specifying shooting situation related information related to the shooting situation of the image;
Composition processing setting means for setting the content of the image composition processing by the image composition means based on the photographing condition related information identified by the photographing condition identifying means;
It is characterized by having.
請求項2に記載の発明は、請求項1に記載の画像合成装置において、
前記撮影状況特定手段は、
前記撮影状況関連情報として、前記画像の撮影の際の明るさを検出する明るさ検出手段を備え、
前記合成処理設定手段は、
前記明るさ検出手段による前記明るさの検出結果に基づいて、前記画像合成手段による前記画像合成処理の内容を設定する明るさ合成処理設定手段を備えることを特徴としている。
According to a second aspect of the present invention, in the image composition device according to the first aspect,
The shooting situation specifying means includes:
As the shooting state related information, a brightness detection means for detecting the brightness at the time of shooting the image,
The synthesis processing setting means includes
The image processing apparatus includes a brightness synthesis process setting unit that sets the content of the image synthesis process by the image synthesis unit based on the brightness detection result by the brightness detection unit.
請求項3に記載の発明は、請求項2に記載の画像合成装置において、
前記画像合成手段は、
前記基準画像内から特徴点を抽出する特徴点抽出手段を備え、
前記明るさ合成処理設定手段は、前記特徴点抽出手段による前記特徴点の抽出数を変更することを特徴としている。
According to a third aspect of the present invention, in the image composition device according to the second aspect,
The image composition means includes
Comprising feature point extracting means for extracting feature points from the reference image;
The brightness composition processing setting unit is characterized in that the number of feature points extracted by the feature point extraction unit is changed.
請求項4に記載の発明は、請求項2又は3に記載の画像合成装置において、
前記画像合成手段は、
前記複数の画像の解像度を段階的に低減させて低解像度画像を作成する低解像度画像作成手段を備え、
前記明るさ合成処理設定手段は、前記低解像度画像作成手段による前記解像度の低減に係る段階数を変更することを特徴としている。
According to a fourth aspect of the present invention, in the image composition device according to the second or third aspect,
The image composition means includes
Low-resolution image creation means for creating a low-resolution image by gradually reducing the resolution of the plurality of images,
The brightness composition processing setting means changes the number of steps related to the resolution reduction by the low-resolution image creation means.
請求項5に記載の発明は、請求項1に記載の画像合成装置において、
前記撮影状況特定手段は、
前記撮影状況関連情報として、前記基準画像と前記対象画像のずれ量を検出するずれ量検出手段を備え、
前記合成処理設定手段は、
前記ずれ量検出手段による前記ずれ量の検出結果に基づいて、前記画像合成手段による前記画像合成処理の内容を設定するずれ合成処理設定手段を備えることを特徴としている。
According to a fifth aspect of the present invention, in the image composition device according to the first aspect,
The shooting situation specifying means includes:
As the photographing state related information, provided with a deviation amount detecting means for detecting a deviation amount between the reference image and the target image,
The synthesis processing setting means includes
The image processing apparatus further includes a shift composition processing setting unit that sets the content of the image composition processing by the image composition unit based on the detection result of the displacement amount by the displacement amount detection unit.
請求項6に記載の発明は、請求項5に記載の画像合成装置において、
前記画像合成手段は、
前記基準画像内から抽出した特徴点を対象画像内で追跡する特徴点追跡手段を備え、
前記ずれ合成処理設定手段は、前記特徴点追跡手段による前記対象画像における前記特徴点の追跡範囲を変更することを特徴としている。
According to a sixth aspect of the present invention, in the image composition device according to the fifth aspect,
The image composition means includes
Feature point tracking means for tracking the feature point extracted from within the reference image within the target image;
The deviation composition processing setting unit changes a tracking range of the feature point in the target image by the feature point tracking unit.
請求項7に記載の発明は、請求項1に記載の画像合成装置において、
前記撮影状況特定手段は、
前記撮影状況関連情報として、前記基準画像内から抽出した特徴点の特徴量を検出する特徴量検出手段を備え、
前記合成処理設定手段は、
前記特徴量検出手段による前記特徴量の検出結果に基づいて、前記画像合成手段による前記画像合成処理の内容を設定する特徴合成処理設定手段を備えることを特徴としている。
The invention according to claim 7 is the image composition apparatus according to
The shooting situation specifying means includes:
A feature amount detection means for detecting a feature amount of a feature point extracted from the reference image as the shooting state related information;
The synthesis processing setting means includes
The image processing apparatus includes a feature composition processing setting unit that sets the content of the image composition processing by the image composition unit based on the detection result of the feature amount by the feature amount detection unit.
請求項8に記載の発明は、請求項7に記載の画像合成装置において、
前記画像合成手段は、
前記基準画像内から特徴点を抽出する特徴点抽出手段を備え、
前記特徴合成処理設定手段は、前記特徴点抽出手段による前記特徴点の抽出数を変更することを特徴としている。
The invention described in claim 8 is the image composition apparatus according to claim 7,
The image composition means includes
Comprising feature point extracting means for extracting feature points from the reference image;
The feature synthesis processing setting means changes the number of feature points extracted by the feature point extraction means.
請求項9に記載の発明は、請求項7又は8に記載の画像合成装置において、
前記画像合成手段は、
前記基準画像内から抽出した特徴点を対象画像内で追跡する特徴点追跡手段を備え、
前記特徴合成処理設定手段は、前記特徴点追跡手段による前記特徴点の追跡回数を変更することを特徴としている。
The invention according to claim 9 is the image synthesizing apparatus according to claim 7 or 8,
The image composition means includes
Feature point tracking means for tracking the feature point extracted from within the reference image within the target image;
The feature synthesis processing setting unit changes the number of times the feature point is tracked by the feature point tracking unit.
請求項10に記載の発明は、請求項7乃至9の何れか一項に記載の画像合成装置において、
前記画像合成手段は、
前記複数の画像の解像度を段階的に低減させて低解像度画像を作成する低解像度画像作成手段を備え、
前記特徴合成処理設定手段は、前記低解像度画像作成手段による前記解像度の低減に係る段階数を変更することを特徴としている。
According to a tenth aspect of the present invention, in the image synthesizing device according to any one of the seventh to ninth aspects,
The image composition means includes
Low-resolution image creation means for creating a low-resolution image by gradually reducing the resolution of the plurality of images,
The feature synthesis processing setting means changes the number of steps related to the resolution reduction by the low-resolution image creation means.
請求項11に記載の発明は、請求項1に記載の画像合成装置において、
前記画像合成処理に係る複数の被合成画像及び前記画像合成処理にて合成された合成画像のうち、少なくとも何れか一方に対して画像処理を行う画像処理手段と、
前記撮影状況特定手段により特定された前記撮影状況関連情報に基づいて、前記画像処理手段による画像処理の内容を設定する画像処理設定手段と、
を備えることを特徴としている。
The invention described in
Image processing means for performing image processing on at least one of a plurality of synthesized images related to the image synthesis processing and a synthesized image synthesized by the image synthesis processing;
Image processing setting means for setting contents of image processing by the image processing means based on the shooting situation related information specified by the shooting situation specifying means;
It is characterized by having.
請求項12に記載の発明の画像合成装置は、
複数の画像のうち、何れか一の基準画像と対象画像を合成する画像合成処理を行う画像合成手段と、
前記画像合成処理に係る複数の被合成画像及び前記画像合成処理にて合成された合成画像のうち、少なくとも何れか一方に対して画像処理を行う画像処理手段と、
前記画像の撮影状況に関連した撮影状況関連情報を特定する撮影状況特定手段と、
前記撮影状況特定手段により特定された前記撮影状況関連情報に基づいて、前記画像処理手段による画像処理の内容を設定する画像処理設定手段と、
を備えることを特徴としている。
An image composition device according to the invention of
Image combining means for performing image combining processing for combining any one of the plurality of images and the target image;
Image processing means for performing image processing on at least one of a plurality of synthesized images related to the image synthesis processing and a synthesized image synthesized by the image synthesis processing;
Shooting situation specifying means for specifying shooting situation related information related to the shooting situation of the image;
Image processing setting means for setting contents of image processing by the image processing means based on the shooting situation related information specified by the shooting situation specifying means;
It is characterized by having.
請求項13に記載の発明は、請求項11又は12に記載の画像合成装置において、
前記撮影状況特定手段は、
前記撮影状況関連情報として、前記画像の撮影の際の明るさを検出する明るさ検出手段を備え、
前記画像処理設定手段は、
前記明るさ検出手段による前記明るさの検出結果に基づいて、前記画像処理手段による前記複数の被合成画像に対する画像処理の内容を設定する明るさ画像処理設定手段を備えることを特徴としている。
The invention described in
The shooting situation specifying means includes:
As the shooting state related information, a brightness detection means for detecting the brightness at the time of shooting the image,
The image processing setting means includes
Brightness image processing setting means for setting image processing contents for the plurality of synthesized images by the image processing means based on the brightness detection result by the brightness detecting means is provided.
請求項14に記載の発明は、請求項11又は12に記載の画像合成装置において、
前記撮影状況特定手段は、
前記撮影状況関連情報として、前記基準画像と前記対象画像のずれ量を検出するずれ量検出手段を備え、
前記画像処理設定手段は、
前記ずれ量検出手段による前記ずれ量の検出結果に基づいて、前記合成画像に対する前記画像処理手段による画像処理の内容を設定するずれ画像処理設定手段を備えることを特徴としている。
The invention according to
The shooting situation specifying means includes:
As the photographing state related information, provided with a deviation amount detecting means for detecting a deviation amount between the reference image and the target image,
The image processing setting means includes
The image processing apparatus is characterized by comprising a deviation image processing setting means for setting the content of image processing by the image processing means for the composite image based on the detection result of the deviation amount by the deviation amount detection means.
請求項15に記載の発明は、請求項14に記載の画像合成装置において、
前記ずれ画像処理設定手段は、前記合成画像に対するシャープネス処理の強さを変更することを特徴としている。
The invention described in
The misaligned image processing setting means changes the strength of sharpness processing for the composite image.
請求項16に記載の発明は、請求項11又は12に記載の画像合成装置において、
前記撮影状況特定手段は、
前記撮影状況関連情報として、前記基準画像内から抽出した特徴点の特徴量を検出する特徴量検出手段を備え、
前記画像処理設定手段は、
前記特徴量検出手段による前記特徴量の検出結果に基づいて、前記合成画像に対する前記画像処理手段による画像処理の内容を設定する特徴画像処理設定手段を備えることを特徴としている。
The invention according to claim 16 is the image composition apparatus according to claim 11 or 12,
The shooting situation specifying means includes:
A feature amount detection means for detecting a feature amount of a feature point extracted from the reference image as the shooting state related information;
The image processing setting means includes
The image processing apparatus includes a feature image processing setting unit that sets a content of image processing performed by the image processing unit on the composite image based on a detection result of the feature amount detected by the feature amount detection unit.
請求項17に記載の発明は、請求項16に記載の画像合成装置において、
前記特徴画像処理設定手段は、前記合成画像に対するシャープネス処理の強さを変更することを特徴としている。
The invention according to claim 17 is the image composition device according to claim 16,
The feature image processing setting means changes the strength of sharpness processing for the composite image.
請求項18に記載の発明のプログラムは、
コンピュータに、
複数の画像のうち、何れか一の基準画像と対象画像を合成する画像合成処理を行う機能と、
前記画像の撮影状況に関連した撮影状況関連情報を特定する機能と、
特定された前記撮影状況関連情報に基づいて、前記画像合成処理の内容を設定する機能と、
を実現させることを特徴としている。
The program of the invention according to claim 18
On the computer,
A function of performing image composition processing to synthesize any one of the plurality of images and the target image;
A function for identifying shooting status related information related to the shooting status of the image;
A function of setting the content of the image composition processing based on the identified shooting situation related information;
It is characterized by realizing.
請求項19に記載の発明のプログラムは、
コンピュータに、
複数の画像のうち、何れか一の基準画像と対象画像を合成する画像合成処理を行う機能と、
前記画像合成処理に係る複数の被合成画像及び前記画像合成処理にて合成された合成画像のうち、少なくとも何れか一方に対して画像処理を行う機能と、
前記画像の撮影状況に関連した撮影状況関連情報を特定する機能と、
特定された前記撮影状況関連情報に基づいて、画像処理の内容を設定する機能と、
を実現させることを特徴としている。
The program of the invention described in claim 19 is
On the computer,
A function of performing image composition processing to synthesize any one of the plurality of images and the target image;
A function of performing image processing on at least one of a plurality of combined images related to the image combining processing and a combined image combined in the image combining processing;
A function for identifying shooting status related information related to the shooting status of the image;
A function of setting the content of image processing based on the identified shooting situation related information;
It is characterized by realizing.
本発明によれば、撮影状況に応じて無駄な処理を行わない、即ち、撮影状況に応じて必要な処理を行うことにより処理時間の浪費を防止して処理速度の向上を図ることができるとともに、合成精度や画像品質の低下を抑制することができる。 According to the present invention, wasteful processing is not performed according to shooting conditions, that is, processing time can be prevented from being wasted and processing speed can be improved by performing necessary processing according to shooting conditions. Therefore, it is possible to suppress a decrease in synthesis accuracy and image quality.
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。 Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. However, the scope of the invention is not limited to the illustrated examples.
[実施形態1]
図1は、本発明を適用した実施形態1の撮像装置100の概略構成を示すブロック図である。また、図2は、撮像装置100の映像信号処理部13を模式的に示した図である。
[Embodiment 1]
FIG. 1 is a block diagram illustrating a schematic configuration of an
実施形態1の撮像装置100は、画像撮影時の明るさに応じて、基準画像と対象画像を合成する画像合成処理の内容や合成される複数の被合成画像に対する画像処理の内容を設定する。
具体的には、撮像装置100は、図1に示すように、撮像部1と、撮像補助部2と、表示部3、操作部4と、記録媒体5と、USB端子6と、制御部7等を備えて構成されている。
The
Specifically, as illustrated in FIG. 1, the
撮像部1は、撮像手段として、被写体を連続して撮像して複数の画像フレームを生成する。具体的には、撮像部1は、撮像レンズ群11と、電子撮像部12と、映像信号処理部13と、画像メモリ14と、撮影制御部15等を備えている。
The
撮像レンズ群11は、複数の撮像レンズから構成されている。
電子撮像部12は、撮像レンズ群11を通過した被写体像を二次元の画像信号に変換するCCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等の撮像素子から構成されている。
The
The
映像信号処理部13は、電子撮像部12から出力される画像信号に対して所定の画像合成処理や画像処理を施すものである。具体的には、映像信号処理部13は、図2に示すように、合成される複数の画像に係る画像信号のピラミッド階層化、所定画像からの特徴点の抽出、抽出された特徴点の追跡(トラック)等を行うオプティカルフロー検出部131と、特徴点どうしが対応付けられた特徴点対応表からランダムに所定数の特徴点を選択して、これらの特徴点を用いた射影変換(H計算)及び他の特徴点を用いたサポート計算等を行うRANSAC部132、画素どうしが対応する位置を計算して画像信号を加算(合成)する画像合成部133を備えている。
The video
また、映像信号処理部13は、画像処理手段として、複数の画像に対して固定ノイズの消去処理や色の再現処理等の所定の画像処理を行う。
固定ノイズの消去は、予め撮像装置ごとに固定ノイズ値を測定しておき、連続撮影した画像からその値を差分することにより行う。
色の再現処理は、色彩分布を引き伸ばしたり、コントラストがでるような補正を行う。
In addition, the video
The fixed noise is erased by measuring a fixed noise value for each image pickup apparatus in advance and subtracting the value from the continuously shot images.
In the color reproduction process, correction is performed so that the color distribution is extended or the contrast is increased.
画像メモリ14は、画像処理後の画像信号を一時的に記憶する。
撮影制御部15は、CPU71の制御下にて、電子撮像部12及び映像信号処理部13を制御する。具体的には、撮影制御部15は、電子撮像部12に所定の露出時間で被写体を撮像させ、当該電子撮像部12の撮像領域から画像信号を所定のフレームレートで読み出す処理の実行を制御する。
The
The
撮像補助部2は、撮像部1による被写体の撮像の際に駆動するものであり、フォーカス駆動部21と、ズーム駆動部22等を備えている。
The
フォーカス駆動部21は、撮像レンズ群11に接続されたフォーカス機構部(図示略)を駆動させる。
ズーム駆動部22は、撮像レンズ群11に接続されたズーム機構部(図示略)を駆動させる。
なお、フォーカス駆動部21及びズーム駆動部22は、撮影制御部15に接続され、撮影制御部15の制御下にて駆動する。
The
The
The
表示部3は、撮像部1により撮像された画像を表示するものである。具体的には、表示部3は、表示制御部31と、画像表示部32等を備えている。
表示制御部31は、CPU71から適宜出力される表示データを一時的に保存するビデオメモリ(図示略)を備えている。
画像表示部32は、表示制御部31からの出力信号に基づいて所定の画像を表示する液晶モニタ等を備えている。
The display unit 3 displays an image captured by the
The
The
操作部4は、当該撮像装置100の所定操作を行うためのものであり、操作入力部41と、入力回路42等を備えている。
The
操作入力部41は、撮像部1による被写体の撮像を指示するシャッターボタン41aを備えている。シャッターボタン41aは、被写体の連続撮影処理にて、ユーザにより押圧操作されている間、映像信号処理部13による画像合成処理を実行させる指示をCPU71に出力する。
The
入力回路42は、操作入力部41から出力され入力された操作信号をCPU71に入力するためのものである。
The
記録媒体5は、例えば、カード型の不揮発性メモリ(フラッシュメモリ)やハードディスク等により構成され、撮像部1により撮像された画像の画像データを複数記憶する。
The
USB端子6は、外部機器との接続用の端子であり、USBケーブル(図示略)等を介してデータの送受信を行う。
The
制御部7は、撮像装置100の各部を制御するものであり、例えば、CPU71と、プログラムメモリ72と、データメモリ73等を備えている。
The control unit 7 controls each unit of the
CPU71は、プログラムメモリ72に記憶された撮像装置100用の各種処理プログラムに従って各種の制御動作を行うものである。
The
データメモリ73は、例えば、フラッシュメモリ等により構成され、CPU71によって処理されるデータ等を一時記憶する。
The
プログラムメモリ72は、CPU71の動作に必要な各種プログラムやデータを記憶するものである。具体的には、プログラムメモリ72は、画像合成プログラム72a、明るさ検出プログラム72b、第1の画像処理設定プログラム72c、第1の合成処理設定プログラム72d等を記憶している。
The
画像合成プログラム72aは、CPU71の制御下にて、映像信号処理部13に、電子撮像部1により連続的に撮像された複数の画像のうち、何れか一の基準画像(例えば1枚目の画像)内から抽出した特徴点を対象画像(例えば2枚目以降の画像)内で追跡し、当該追跡結果に基づいて基準画像と対象画像を合成する画像合成処理に係る機能を実現させるためのプログラムである。
具体的には、CPU71が画像合成プログラム72aを実行することで、映像信号処理部13のオプティカルフロー検出部131は、低解像度画像作成手段として、入力された複数の画像信号に基づいて、例えば画像の縦横の画素を順次1/2倍ずつすることで解像度を段階的に低減させた低解像度画像を作成する(ピラミッド化)。また、オプティカルフロー検出部131は、特徴点抽出手段として、複数の画像のうち、何れか一の画像を基準画像として、基準画像から所定数の特徴点(特徴の高いブロック領域)を選択して抽出する。そして、オプティカルフロー検出部131は、対象画像に対する特徴点追跡手段として、特徴点を最も解像度の低い画像から解像度が高い方に順次追跡する。
そして、RANSAC部132は、基準画像と対象画像における複数の特徴点の対応の中からランダムに4点選択して仮の射影変換行列Hを計算し、そのサポート数で求めた射影変換行列Hを評価し、その作業を繰り返してより信頼性の高い射影変換行列Hを算出する。
その後、画像合成部133は、射影変換行列Hを用いて対象画像の画素を基準画像の座標系に射影変換して、当該対象画像と基準画像を合成する。
なお、画像合成処理にあっては、基準画像の画素を対象画像の座標系に射影変換するようにしても良い。
ここで、CPU71と映像信号処理部13は、基準画像と対象画像を合成する画像合成処理を行う画像合成手段として機能する。
Under the control of the
Specifically, when the
Then, the
Thereafter, the
In the image composition process, the pixels of the reference image may be projectively transformed into the coordinate system of the target image.
Here, the
明るさ検出プログラム72bは、CPU71の制御下にて、映像信号処理部13に、電子撮像部1により撮像された画像の画像信号に基づいて所定領域の画素の輝度を測定させて当該画像の撮影の際の明るさ(撮影状況関連情報)を検出する明るさ検出処理に係る機能を実現させるためのプログラムである。
即ち、CPU71が明るさ検出プログラム72bを実行することで、映像信号処理部13は、被写体のプレビュー画像(スルー画像)の画像信号に基づいて所定領域の画素の輝度を測定して当該画像の明るさを検出する。具体的には、例えば、「十分に明るい環境」、「やや暗い環境」、「暗い環境」、「暗闇な環境」の4パターンの明るさに区分して検出する。
「十分に明るい環境」とは、例えば、日中の屋外や明るい照明下で撮影するような環境に相当し、「やや暗い環境」とは、例えば、夕方やくもりの日、照明の弱い室内で撮影するような環境に相当し、「暗い環境」とは、例えば、夜間や照明がかなり暗い室内などフラッシュを使って撮影するような環境に相当し、「暗闇な環境」とは、夜の森の中や照明が全くない室内など光源が存在しないような環境に相当する。
ここで、CPU71と映像信号処理部13は、画像の撮影の際の明るさを検出する明るさ検出手段として機能する。また、CPU71と映像信号処理部13は、画像の撮影状況に関連した撮影状況関連情報を特定する撮影状況特定手段として機能する。
The
That is, when the
The “sufficiently bright environment” corresponds to, for example, an environment where shooting is performed outdoors during daytime or under bright lighting. The “slightly dark environment” is, for example, in the evening or in a cloudy day, in a room with low lighting. It corresponds to an environment where you shoot, and “dark environment” means, for example, an environment where you shoot using a flash, such as at night or in a room where the lighting is very dark, and “dark environment” means a night forest. This corresponds to an environment where there is no light source, such as in a room or indoors where there is no lighting.
Here, the
第1の画像処理設定プログラム72cは、CPU71を明るさ画像処理設定手段として機能させるものである。即ち、第1の画像処理設定プログラム72cは、明るさ検出処理による明るさの検出結果に基づいて、第1の画像処理内容設定テーブルT1(図3参照)に従って、映像信号処理部13による基準画像や対象画像(被合成画像)に対する画像処理の内容を設定する処理に係る機能をCPU71に実現させるためのプログラムである。
具体的には、明るさ検出処理にて「やや暗い環境」であると検出されると、CPU71が第1の画像処理設定プログラム72cを実行することで、映像信号処理部13に固定ノイズの消去及び色の再現処理を実行させないように設定する。また、明るさ検出処理にて「暗い環境」であると検出されると、CPU71が第1の画像処理設定プログラム72cを実行することで、映像信号処理部13に固定ノイズの消去及び色の再現処理を行わせるように設定する。即ち、撮影環境が著しく暗い場合、連続撮影した画像1枚毎の色彩分布が狭くなったり、変化してしまうという問題が生じる。色彩成分が狂ってしまった画像は、単純に加算合成しても、色やコントラストが再現できないため、色の再現処理を行う必要があるためである。さらに、「暗い環境」では、画像成分が小さいために、カメラ固有で特定の画素に現れる固定ノイズの影響が無視できなくなる。つまり、画像信号が固定ノイズと比較しても小さな値となり、このような環境での画像合成においては、固定ノイズを無視することはできないため、固定ノイズの除去を行う必要があるためである。
The first image
Specifically, when the brightness detection process detects that the environment is “slightly dark”, the
第1の合成処理設定プログラム72dは、CPU71を明るさ合成処理設定手段として機能させるものである。即ち、第1の合成処理設定プログラム72dは、明るさ検出処理による明るさの検出結果に基づいて、第1の合成処理内容設定テーブルT2(図4参照)に従って、映像信号処理部13による画像合成処理の内容を設定する処理に係る機能をCPU71に実現させるためのプログラムである。
具体的には、明るさ検出処理にて「やや暗い環境」であると検出されると、CPU71が第1の合成処理設定プログラム72dを実行することで、映像信号処理部13のオプティカルフロー検出部131による特徴点の抽出数及びピラミッドの階層数を通常数とするように設定する。また、明るさ検出処理にて「暗い環境」であると検出されると、CPU71が第1の合成処理設定プログラム72dを実行することで、オプティカルフロー検出部131による特徴点の抽出数及びピラミッドの階層数を通常よりも多い数に変更するように設定する。即ち、撮影環境が著しく暗い場合、各画素の画像信号か著しく小さいため、特徴点がノイズに埋もれてしまうことから、特徴点の抽出・トラッキングは非常に困難になる。そこで、「暗い環境」では、明るい環境での画像合成よりも多くの特徴点を抽出したり、トラッキングを多くしたりして精度を高める必要があるためである。
The first synthesizing
Specifically, when it is detected in the brightness detection process that the environment is “slightly dark”, the
また、プログラムメモリ72には、第1の画像処理内容設定テーブルT1(図3参照)と、第1の合成処理内容設定テーブルT2(図4参照)が記憶されている。
The
第1の画像処理内容設定テーブルT1は、図3に示すように、画像処理の処理内容(「固定ノイズの消去処理」、「色の再現処理」)と明るさ(「十分に明るい環境」、「やや暗い環境」、「暗い環境」、「暗闇な環境」)とを対応付けて記憶している。具体的には、処理内容として「固定ノイズの消去処理」は、「やや暗い環境」では「行わない」が対応付けられ、「暗い環境」では「行う」が対応付けられている。また、処理内容として「色の再現処理」は、「やや暗い環境」では「行わない」が対応付けられ、「暗い環境」では「行う」が対応付けられている。 As shown in FIG. 3, the first image processing content setting table T1 includes image processing details (“fixed noise elimination processing”, “color reproduction processing”) and brightness (“sufficiently bright environment”), “Slightly dark environment”, “dark environment”, “dark environment”) are stored in association with each other. Specifically, “fixed noise elimination processing” is associated with “not performed” in “slightly dark environment” and “performed” in “dark environment” as the processing content. As the processing content, “color reproduction processing” is associated with “do not perform” in “slightly dark environment” and “execute” in “dark environment”.
第1の合成処理内容設定テーブルT2は、図4に示すように、画像合成処理の処理内容(「特徴点の抽出処理」、「ピラミッドの階層化処理」)と明るさ(「十分に明るい環境」、「やや暗い環境」、「暗い環境」、「暗闇な環境」)とを対応付けて記憶している。具体的には、処理内容として「特徴点の抽出処理」は、「やや暗い環境」では「通常数」が対応付けられ、「暗い環境」では「通常よりも多い」が対応付けられている。また、処理内容として「ピラミッドの階層化処理」は、「やや暗い環境」では「通常数」が対応付けられ、「暗い環境」では「通常よりも多い」が対応付けられている。 As shown in FIG. 4, the first composition processing content setting table T2 includes image composition processing content (“feature point extraction processing”, “pyramid layering processing”) and brightness (“sufficiently bright environment”). , “Slightly dark environment”, “dark environment”, “dark environment”) in association with each other. Specifically, “feature point extraction processing” is associated with “normal number” in “slightly dark environment” and “more than normal” in “dark environment” as the processing content. In addition, “pyramid hierarchization processing” is associated with “normal number” in “slightly dark environment” and “more than normal” in “dark environment” as the processing content.
次に、実施形態1の撮像装置100による撮像処理について図5を参照して説明する。
図5は、撮像処理に係る動作の一例を示すフローチャートである。
Next, imaging processing performed by the
FIG. 5 is a flowchart illustrating an example of an operation related to the imaging process.
図5に示すように、撮像部1による被写体の撮像が開始されると、CPU71は、プログラムメモリ72内の明るさ検出プログラム72bを実行して、映像信号処理部13に被写体のプレビュー画像(スルー画像)の画像信号に基づいて所定領域の画素の輝度を測定して当該画像の明るさを検出させる(ステップS1)。
続けて、CPU71は、明るさ検出処理の検出結果に応じて、撮影モードを通常撮影モードと連写撮影モードに設定する分岐を行う(ステップS2)。具体的には、明るさ検出処理にて「十分に明るい環境」や「暗闇な環境」と検出されると、CPU71は、撮影モードを通常撮影モードに設定し、一方、明るさ検出処理にて「やや暗い環境」や「暗い環境」と検出されると、CPU71は、撮影モードを連写撮影モードに設定する。
As shown in FIG. 5, when the imaging of the subject by the
Subsequently, the
明るさ検出処理にて「十分に明るい環境」と検出され、ステップS2にて撮影モードが通常撮影モードに設定されると、CPU71は、ユーザによるシャッターボタン41aの押圧操作に基づいて、撮像部1により通常の撮影条件で被写体を撮影させる(ステップS3)。
When “brightly bright environment” is detected in the brightness detection process and the shooting mode is set to the normal shooting mode in step S2, the
また、明るさ検出処理にて「暗闇な環境」と検出され、ステップS2にて撮影モードが通常撮影モードに設定されると、CPU71は、連写撮影された複数枚の画像を合成して一の画像を得る画像合成処理が実行不可であることを表す「合成不可」を画像表示部32に表示させる(ステップS4)。その後、CPU71は、ユーザによるシャッターボタン41aの押圧操作に基づいて、撮像部1により通常の撮影条件で被写体を撮影させる(ステップS5)。
Further, when “dark environment” is detected in the brightness detection process, and the shooting mode is set to the normal shooting mode in step S2, the
一方、明るさ検出処理にて「やや暗い環境」や「暗い環境」と検出され、ステップS2にて撮影モードが連写撮影モードに設定されると、CPU71は、プログラムメモリ72内の第1の画像処理設定プログラム72cを実行して、第1の画像処理内容設定テーブルT1に従って映像信号処理部13による画像処理の内容を設定するとともに、プログラムメモリ72内の第1の合成処理設定プログラム72dを実行して、第1の合成処理内容設定テーブルT2に従って映像信号処理部13による画像合成処理の内容を設定する(ステップS6)。
On the other hand, when “slightly dark environment” or “dark environment” is detected in the brightness detection process, and the shooting mode is set to the continuous shooting mode in step S2, the
続けて、ユーザによるシャッターボタン41aの押圧操作に基づいて撮像部1による被写体の連続した撮影が開始されると(ステップS7)、明るさ検出処理の検出結果の「やや暗い環境」及び「暗い環境」に応じて分岐して(ステップS8)、明るさ検出処理の検出結果が「やや暗い環境」の場合には、CPU71は、プログラムメモリ72内の画像合成プログラム72aを実行して、映像信号処理部13のオプティカルフロー検出部131に、基準画像及び対象画像に対して階層数を通常数としてピラミッド階層化処理を行わせるとともに、基準画像に対しては抽出数を通常数として特徴点の抽出を行わせ、対象画像に対しては抽出された特徴点の追跡を行わせる(ステップS9)。
Subsequently, when continuous imaging of the subject by the
一方、ステップS8にて、明るさ検出処理の検出結果が「暗い環境」の場合には、CPU71は、映像信号処理部13に、基準画像及び対象画像に対して固定ノイズの消去及び色の再現処理を行わせた後(ステップS10)、プログラムメモリ72内の画像合成プログラム72aを実行して、映像信号処理部13のオプティカルフロー検出部131に、基準画像及び対象画像に対して階層数を通常よりも多い数としてピラミッド階層化処理を行わせるとともに、基準画像に対しては抽出数を通常よりも多い数として特徴点の抽出を行わせ、対象画像に対しては抽出された特徴点の追跡を行わせる(ステップS11)。
On the other hand, if the detection result of the brightness detection process is “dark environment” in step S8, the
その後、CPU71は、映像信号処理部13のRANSAC部132に、基準画像と対象画像における複数の特徴点どうしが対応付けられた特徴点対応表に基づいて、射影変換行列Hを算出させ、画像合成部133に、射影変換行列Hを用いて対象画像の画素を基準画像の座標系に射影変換させて当該対象画像と基準画像を合成させる(ステップS12)。勿論、ステップS12の画像合成を行うためには、その時点で基準画像と少なくとも1つの対象画像の撮影が完了している必要があるので、撮影が完了していない場合にはステップS12の画像合成をスキップすることになる。
Thereafter, the
次に、CPU71は、ユーザによるシャッターボタン41aの押圧操作の解除に基づいて被写体の連続撮影の終了が指示されているか否かを判定する(ステップS13)。ここで、被写体の連続撮影の終了が指示されていると判定されると(ステップS13;YES)、CPU71は、合成画像に対して所定の画像処理を施して(ステップS14)、当該撮像処理を終了する。
Next, the
なお、ステップS13にて、被写体の連続撮影の終了が指示されていないと判定されると(ステップS13;NO)、ステップS8に移行して、入力される複数の画像信号に対して映像信号処理部13による画像合成処理及び画像処理が行われる。
If it is determined in step S13 that the end of continuous shooting of the subject has not been instructed (step S13; NO), the process proceeds to step S8, and video signal processing is performed on a plurality of input image signals. Image synthesis processing and image processing by the
以上のように、実施形態1の撮像装置100によれば、画像の撮影状況関連情報として画像の撮影の際の明るさを検出し、明るさの検出結果に基づいて、画像処理における基準画像や対象画像に対する画像処理の内容や画像合成処理における画像合成処理の内容を設定することができる。
即ち、「十分に明るい環境」では、通常撮影で十分綺麗に撮影できるため、画像合成で得られる画像に対する処理時間などのデメリットの方が目立ってしまう場合が多くなる。このため、画像合成処理を行わずに通常の1枚撮影を行う。これにより、撮影環境の明るさによって画像合成を行うか行わないかの選択を自動で切替えることになるので、ユーザにとってはその手間が省略できる。
また、「やや暗い環境」では、通常撮影でもある程度明るく撮影することができるため、特徴点の抽出及びトラッキングに関しては、それほど慎重に行わなくても十分な精度を得ることができる。また、各画素の画像信号も十分あるので固定ノイズの影響も受け難く、色彩分布もそれほど狭くならないため、それらを補正する処理は行わなくても十分な品質を確保することができるので、その分、処理時間を短縮することができる。
また、「暗い環境」では、画像合成が失敗し易いので、「やや暗い環境」よりも慎重に合成を行う必要があるため、特徴点の抽出数やピラミッドの階層数を増やすようにする。また、画像信号成分が小さいので固定ノイズの影響を非常に受け、色彩分布も狭く色の再現性も悪いため、固定ノイズを消去する処理や、色を再現するための処理を行う。
また、「暗闇な環境」では、画像合成を行うための特徴点の抽出及びトラッキングが非常に困難になり、画像合成が成功する可能性は非常に低くなるため、画像合成処理を行わずに、ユーザの立場を考えて「合成不可」の報知を行った後、通常の1枚撮影を行う。
As described above, according to the
In other words, in a “sufficiently bright environment”, it is possible to capture a sufficiently clear image by normal shooting, so that there are many cases where disadvantages such as processing time for an image obtained by image synthesis become more conspicuous. Therefore, a normal single image is taken without performing the image composition process. Accordingly, the selection of whether or not to perform image composition is automatically switched depending on the brightness of the shooting environment, so that the user can save the trouble.
Also, in a “slightly dark environment”, it is possible to shoot to a certain degree of brightness even in normal shooting, so that sufficient accuracy can be obtained without performing so carefully in extracting and tracking feature points. In addition, since there are enough image signals for each pixel, it is not easily affected by fixed noise, and the color distribution is not so narrow, so that sufficient quality can be ensured without performing processing to correct them. , Processing time can be shortened.
Also, since image composition is likely to fail in a “dark environment”, it is necessary to perform composition more carefully than in a “slightly dark environment”, so the number of feature points extracted and the number of layers of pyramids are increased. In addition, since the image signal component is small, it is greatly affected by fixed noise, and the color distribution is narrow and the color reproducibility is poor. Therefore, processing for eliminating fixed noise and processing for reproducing colors are performed.
Also, in the “dark environment”, extraction and tracking of feature points for image composition becomes very difficult, and the possibility of successful image composition becomes very low, so without performing image composition processing, In consideration of the user's position, the notification of “composite is impossible” is made, and then normal one-shot shooting is performed.
このように、「暗い環境」での画像合成は、画像の精度・品質にかかわる問題が多く発生し、それを解決するためにいくつもの処理を行わなければならないが、それらの処理は明るい環境で合成する場合は必要とせず、むしろ処理時間の浪費になってしまったり、画像品質を下げてしまう可能性もある。
そこで、連続撮影画像の合成において、それぞれの明るさに相応しい合成処理や画像処理を行うことで、無駄な処理を行わないことにより処理時間の浪費を抑えて全体的な処理速度の向上を図ることができる。さらに、必要な場合には慎重に合成を行うことで合成成功率の向上及び適切なパラメータを使うことで出力画像の画質の向上を図ることができる。
また、自動的に撮影状況の明るさに最適な撮影ができるので、ユーザビリティの向上を図ることもできる。
In this way, image composition in a “dark environment” has many problems related to the accuracy and quality of the image, and a number of processes must be performed to solve it, but these processes are performed in a bright environment. This is not necessary when compositing, but rather it may waste processing time or reduce image quality.
Therefore, in the synthesis of continuously shot images, by performing synthesis processing and image processing appropriate for each brightness, it is possible to reduce waste of processing time and improve overall processing speed by not performing unnecessary processing. Can do. Further, if necessary, the composition success rate can be improved by carefully combining the images, and the image quality of the output image can be improved by using appropriate parameters.
In addition, since it is possible to automatically perform shooting optimal for the brightness of the shooting situation, usability can be improved.
なお、上記実施形態1では、映像信号処理部13は、明るさ検出処理にて検出された4パターンの明るさ(「十分に明るい環境」、「やや暗い環境」、「暗い環境」、「暗闇な環境」)に応じて所定の画像処理を実行するか否かとしたが、これに限られるものではなく、例えば、明るさの検出パターンをより細かく区分して、当該区分に応じて画像処理の内容をより細かく制御するようにしても良い。例えば、「やや暗い環境」と「暗い環境」の中間の環境を設定して、当該環境では、固定ノイズの消去か色の再現処理の何れか一方のみを行うようにしても良いし、固定ノイズの消去及び色の再現処理の程度(強度)を変更するようにしても良い。
In the first embodiment, the video
また、上記実施形態1では、画像処理内容の設定にて固定ノイズの消去及び色の再現処理の両方の処理内容を設定するようにしたが、必ずしも両方を設定する必要はなく、固定ノイズの消去及び色の再現処理のうち、少なくとも何れか一方の設定を行うようにしても良い。
さらに、画像合成処理内容の設定にて特徴点の抽出数及びピラミッドの階層数の両方の処理内容を設定するようにしたが、必ずしも両方を設定する必要はなく、特徴点の抽出数及びピラミッドの階層数のうち、少なくとも何れか一方の設定を行うようにしても良い。
加えて、設定される画像処理の内容は、固定ノイズの消去及び色の再現処理に限られるものではなく、また、設定される画像合成処理の内容は、特徴点の抽出数及びピラミッドの階層数に限られるものではなく、出力画像の画質の向上を図ることができる処理であれば如何なるものであっても良い。
In the first embodiment, the processing contents of both fixed noise elimination and color reproduction processing are set in the setting of the image processing contents. However, it is not always necessary to set both, and the fixed noise elimination is performed. In addition, at least one of the color reproduction processing and the color reproduction processing may be set.
Furthermore, the processing content of both the number of feature points extracted and the number of layers of the pyramid is set in the image composition processing content setting, but it is not always necessary to set both, the number of feature points extracted and the number of pyramids At least one of the number of layers may be set.
In addition, the set image processing content is not limited to the fixed noise elimination and color reproduction processing, and the set image composition processing content includes the number of feature points extracted and the number of pyramid layers. The present invention is not limited to this, and any process that can improve the image quality of the output image may be used.
また、上記実施形態1にあっては、「十分に明るい環境」では、画像合成処理を行わずに通常の1枚撮影を行うようにしたが、これに限られるものではなく、手ぶれや被写体ぶれを検出した場合には、画像合成処理を行ってぶれを補正するようにしても良い。
また、上記実施形態1において、シャッターボタン41aを半押し操作と全押し操作とが可能な2段押しボタンとし、シャッターボタン41aの半押し操作が行われた際に明るさ測定を行い(ステップS1)、その後、シャッターボタン41aの全押し操作が行われると、通常撮影(ステップS3、S5)や連続撮影(ステップS7)を開始するようにしてもよい。
Further, in the first embodiment, in the “sufficiently bright environment”, the normal one-shot shooting is performed without performing the image composition processing. However, the present invention is not limited to this. May be corrected by performing an image composition process.
In the first embodiment, the
[実施形態2]
以下に、実施形態2の撮像装置200について図6〜図9を参照して説明する。
ここで、図6は、本発明を適用した実施形態2の撮像装置200の概略構成を示すブロック図である。
実施形態2の撮像装置200は、基準画像と対象画像のずれ量に基づいて、画像合成処理の内容や合成画像に対する画像処理の内容を設定する。
なお、実施形態2の撮像装置200は、画像合成処理の内容や画像処理の内容を変更する以外の点では、実施形態1におけるものと略同様であり、その詳細な説明については省略するものとする。
[Embodiment 2]
Hereinafter, the
Here, FIG. 6 is a block diagram illustrating a schematic configuration of the
The
The
図6に示すように、プログラムメモリ72は、画像合成プログラム72aに加えて、ずれ量検出プログラム72e、第2の合成処理設定プログラム72f、第2の画像処理設定プログラム72g等を記憶している。
As shown in FIG. 6, the
ずれ量検出プログラム72eは、CPU71の制御下にて、映像信号処理部13に、基準画像と対象画像のずれ量(撮影状況関連情報)を検出する処理に係る機能を実現させるためのプログラムである。
即ち、CPU71がずれ量検出プログラム72eを実行することで、ピラミッド化した最も解像度の低い画像に対して特徴点追跡を行わずに、基準画像と対象画像間の全体の動き量を検出して、その値をずれ量とする。具体的には、例えば、「ずれ量小」、「ずれ量中」、「ずれ量大」の3パターンのずれ量に区分して検出する。
「ずれ量小」とは、例えば、基準画像と対象画像のずれ量が所定値t1よりも小さい場合であり、「ずれ量中」とは、基準画像と対象画像のずれ量が所定値t1以上であり、且つ所定値t2よりも小さい場合(t1<t2)であり、「ずれ量大」とは、基準画像と対象画像のずれ量が所定値t2以上である場合である。
ここで、CPU71と映像信号処理部13は、基準画像と対象画像のずれ量を検出するずれ量検出手段として機能する。また、CPU71と映像信号処理部13は、画像の撮影状況に関連した撮影状況関連情報を特定する撮影状況特定手段として機能する。
The deviation
That is, the
“Small amount of deviation” refers to, for example, a case where the amount of deviation between the reference image and the target image is smaller than a predetermined value t1. And is smaller than the predetermined value t2 (t1 <t2), and “large deviation amount” is a case where the deviation amount between the reference image and the target image is equal to or larger than the predetermined value t2.
Here, the
第2の合成処理設定プログラム72fは、CPU71をずれ合成処理設定手段として機能させるものである。即ち、第2の合成処理設定プログラム72fは、ずれ量検出処理によるずれ量の検出結果に基づいて、第2の合成処理内容設定テーブルT3(図7参照)に従って、映像信号処理部13による画像合成処理の内容を設定する処理に係る機能をCPU71に実現させるためのプログラムである。
具体的には、CPU71が第2の合成処理設定プログラム72fを実行することで、ずれ量検出処理により検出されたずれ量の大きさに応じて、オプティカルフロー検出部131による特徴点追跡における対象画像内の探索範囲(追跡範囲)の大きさを変更する。例えば、ずれ量検出処理にて、ずれ量が「ずれ量小」であると検出されると、特徴点の探索範囲を通常のサイズとし、また、ずれ量が「ずれ量中」であると検出されると、特徴点の探索範囲を通常よりも大きいサイズとする。即ち、通常、特徴点の探索範囲は画像サイズから決められ、この探索範囲のサイズは、直接的に処理時間に影響を与えることになるが、大きなずれが生じることを考慮して、探索範囲のサイズをある程度大きくとらなければならない。これに対して、ずれ量が小さかった場合には、探索範囲のサイズを大きくした分の処理時間は無駄となる。そこで、基準画像と対象画像のずれ量が大きくなるほど、より慎重にトラッキングを行う必要が生じるためである。
なお、探索範囲からはみ出てしまうくらいのずれが生じて、ずれ量が「ずれ量大」であると検出された場合には、ずれ量が小さい場合に比べて画像中の似たような画素に誤って追跡してしまう可能性が大きくなってしまうため、その時点で、対象画像を画像合成処理に用いずに破棄するようになっている。
The second synthesis
Specifically, the
In addition, when a shift that is beyond the search range occurs and the shift amount is detected to be “large shift amount”, similar pixels in the image are compared to when the shift amount is small. Since there is a high possibility that the image is erroneously tracked, the target image is discarded without being used for the image synthesis process at that time.
第2の画像処理設定プログラム72gは、CPU71をずれ画像処理設定手段として機能させるものである。即ち、第2の画像処理設定プログラム72gは、ずれ量検出処理によるずれ量の検出結果に基づいて、第2の画像処理内容設定テーブルT4(図8参照)に従って、映像信号処理部13による合成画像に対する画像処理の内容を設定する処理に係る機能をCPU71に実現させるためのプログラムである。
具体的には、CPU71が第2の画像処理設定プログラム72gを実行することで、ずれ量検出処理により検出されたずれ量の大きさに応じて、映像信号処理部13による合成画像に対するシャープネス処理の強さを変更する。例えば、ずれ量検出処理にて、ずれ量が「ずれ量小」であると検出されると、シャープネスフィルタの強さを通常のものとし、また、ずれ量が「ずれ量中」であると検出されると、シャープネスフィルタの強さを通常よりも強いものとる。即ち、基準画像と対象画像のずれ量が大きくなるほど、合成時に視差の影響が大きくなり、合成精度が落ちて撮影画像がぼやっとしたり、さらにずれ量が大きくなれば、部分的に二重写りが生じた失敗画像が発生することもある。そこで、基準画像と対象画像のずれ量が大きく合成画像がぼやっとするような撮影環境では、それを解消するためにシャープネス処理を施す必要があるためである。
なお、シャープネス処理の強さの程度は、シャープネスフィルタをかけ過ぎると画像の品質が悪化するため、連続撮影中の位相のずれの最大値に応じてシャープネスフィルタの強さを設定するのが好ましい。
The second image
Specifically, when the
Note that the strength of the sharpness processing is preferably set according to the maximum value of the phase shift during continuous shooting because the image quality deteriorates if the sharpness filter is excessively applied.
また、プログラムメモリ72には、第2の合成処理内容設定テーブルT3(図7参照)と、第2の画像処理内容設定テーブルT4(図8参照)が記憶されている。
The
第2の合成処理内容設定テーブルT3は、図7に示すように、画像合成処理の処理内容としての特徴点追跡における「探索範囲の大きさ」とずれ量(「ずれ量小」、「ずれ量中」、「ずれ量大」)とを対応付けて記憶している。具体的には、「探索範囲の大きさ」は、「ずれ量小」では「通常」が対応付けられ、「ずれ量中」では「通常よりも大きい」が対応付けられている。 As shown in FIG. 7, the second composition processing content setting table T3 includes a “search range size” and a deviation amount (“deviation amount small”, “deviation amount” in the feature point tracking as the processing contents of the image composition processing. “Medium” and “large deviation”) are stored in association with each other. Specifically, “the size of the search range” is associated with “normal” for “small deviation” and “larger than normal” for “medium deviation”.
第2の画像処理内容設定テーブルT4は、図8に示すように、画像処理の処理内容としての合成画像に対する「シャープネスフィルタの強さ」とずれ量(「ずれ量小」、「ずれ量中」、「ずれ量大」)とを対応付けて記憶している。具体的には、「シャープネスフィルタの強さ」は、「ずれ量小」では「通常」が対応付けられ、「ずれ量中」では「通常よりも強い」が対応付けられている。 As shown in FIG. 8, the second image processing content setting table T4 includes “sharpness filter strength” and deviation amounts (“deviation amount small”, “medium deviation amount”) for the composite image as the processing content of the image processing. , “Large deviation amount”). Specifically, “the strength of the sharpness filter” is associated with “normal” for “small deviation” and “stronger than normal” for “medium deviation”.
次に、実施形態2の撮像装置200による撮像処理について図9を参照して説明する。
図9は、撮像処理に係る動作の一例を示すフローチャートである。
Next, imaging processing by the
FIG. 9 is a flowchart illustrating an example of an operation related to the imaging process.
図9に示すように、ユーザによるシャッターボタン41aの押圧操作に基づいて撮像部1による被写体の連続した撮影が開始されると(ステップS21)、CPU71は、プログラムメモリ72内のずれ量検出プログラム72eを実行して、映像信号処理部13に、基準画像と対象画像のずれ量を検出させる(ステップS22)。ここで、1枚目の画像を基準画像、2枚目以降の画像を対象画像とした場合は、ステップS21により連続撮影が開始された後、2枚目の画像の撮影が完了した後にステップS22に移行してずれ量検出処理が開始され、以後、画像の撮影が完了する度にステップS22のずれ量検出処理が行われることになる。
続けて、CPU71は、ずれ量検出処理の検出結果に応じて、合成される対象画像を画像合成処理の対象とするか否かの分岐を行い(ステップS23)、「ずれ量大」と検出されると、CPU71は、合成される対象画像を破棄した後(ステップS24)、ステップS22に移行する。
As shown in FIG. 9, when continuous shooting of the subject by the
Subsequently, the
一方、ステップS23にて「ずれ量小」か「ずれ量中」と検出されると、CPU71は、当該対象画像を画像合成処理の対象とし、プログラムメモリ72内の第2の合成処理設定プログラム72fを実行して、第2の合成処理内容設定テーブルT3に従って映像信号処理部13による画像合成処理の内容を設定するとともに、プログラムメモリ72内の第2の画像処理設定プログラム72gを実行して、第2の画像処理内容設定テーブルT4に従って映像信号処理部13による画像処理の内容を設定する(ステップS25)。ここで、第2の画像処理設定プログラム72gを実行して、第2の画像処理内容設定テーブルT4に従って映像信号処理部13による画像処理の内容を設定する場合、設定しようとしている画像処理の内容の強度(通常よりも強い)が現在設定されている画像処理の内容(通常)よりも高い場合にのみ更新設定するものとする。なお、画像処理の内容の強度が同じ場合は更新設定するようにしてもいいし、更新設定しないようにしてもよい
On the other hand, when “small deviation amount” or “medium deviation amount” is detected in step S23, the
続けて、CPU71は、プログラムメモリ72内の画像合成プログラム72aを実行して、映像信号処理部13のオプティカルフロー検出部131に、基準画像及び対象画像に対してピラミッド階層化処理を行わせるとともに、基準画像に対しては特徴点の抽出を行わせ、対象画像に対しては抽出された特徴点の追跡をずれ量に応じて設定された探索範囲で行わせる(ステップS26)。
その後、CPU71は、映像信号処理部13のRANSAC部132に、基準画像と対象画像における複数の特徴点どうしが対応付けられた特徴点対応表に基づいて、射影変換行列Hを算出させ、画像合成部133に、射影変換行列Hを用いて対象画像の画素を基準画像の座標系に射影変換させて当該対象画像と基準画像を合成させる(ステップS27)。
Subsequently, the
Thereafter, the
次に、CPU71は、ユーザによるシャッターボタン41aの押圧操作の解除に基づいて被写体の連続撮影の終了が指示されているか否かを判定する(ステップS28)。ここで、被写体の連続撮影の終了が指示されていると判定されると(ステップS28;YES)、CPU71は、映像信号処理部13に、連続撮影中における最大ずれ量に応じて設定されたシャープネスフィルタの強さで合成画像に対してシャープネス処理を施して(ステップS29)、当該撮像処理を終了する。
Next, the
なお、ステップS28にて、被写体の連続撮影の終了が指示されていないと判定されると(ステップS28;NO)、ステップS22に移行して、入力される複数の画像信号に対して映像信号処理部13による画像合成処理の対象とするか否かの設定が行われる。
If it is determined in step S28 that the end of continuous shooting of the subject has not been instructed (step S28; NO), the process proceeds to step S22, and video signal processing is performed on a plurality of input image signals. A setting is made as to whether or not the image is to be processed by the
以上のように、実施形態2の撮像装置200によれば、画像の撮影状況関連情報として基準画像と対象画像のずれ量を検出し、ずれ量の検出結果に基づいて、画像合成処理における画像合成処理の内容や画像処理における合成画像に対する画像処理の内容を設定することができる。
即ち、手ぶれ等が生じた場合に、基準画像と対象画像のずれ量の大きさに応じて特徴点追跡時における特徴点の探索範囲のサイズを設定して、当該サイズでトラッキングを行うことで、無駄な処理時間の浪費を抑えることができる。また、ずれ量が大きくなるほど、画像合成時に視差の影響が大きくなって合成精度が落ちて撮影画像がぼやっとしたり、さらにずれが大きくなれば、部分的に二重写りが生じた失敗画像が発生することもある。そこで、基準画像と対象画像のずれ量が大きく合成画像がぼやっとするような撮影環境の場合には、それを解消するためにシャープネス処理を施すようにする。さらに、基準画像と対象画像のずれ量が著しく大きい場合には、画像合成が失敗する可能性か高いので、その時点で撮影画像を破棄する。
As described above, according to the
In other words, when camera shake or the like occurs, by setting the size of the feature point search range at the time of feature point tracking according to the amount of deviation between the reference image and the target image, tracking by the size, Waste of unnecessary processing time can be suppressed. In addition, as the amount of displacement increases, the effect of parallax increases during image composition, resulting in a decrease in composition accuracy and a blurred photographed image. Sometimes. Therefore, in a shooting environment where the amount of deviation between the reference image and the target image is large and the composite image is blurred, sharpness processing is performed in order to eliminate this. Furthermore, if the amount of deviation between the reference image and the target image is remarkably large, there is a high possibility that image composition will fail, and the captured image is discarded at that time.
このように、基準画像と対象画像のずれ量の大きさは、画像合成処理や画像処理に対して影響を与えるため、ずれ量の大きさを考慮せずに一意的な画像合成処理や画像処理を行うことは処理が過不足になってしまう。
そこで、連続撮影画像の合成において、基準画像と対象画像のずれ量の大きさに相応しい画像合成処理や画像処理を行うことで、無駄な処理を行わないことにより処理時間の浪費を抑えて全体的な処理速度の向上を図ることができる。さらに、必要な場合には慎重に合成を行うことで合成成功率の向上及び適切なパラメータを使うことで出力画像の画質の向上を図ることができる。
As described above, the amount of deviation between the reference image and the target image affects the image composition processing and image processing. Therefore, the unique image composition processing and image processing are not considered without considering the amount of deviation. Doing so would result in excessive or insufficient processing.
Therefore, in the synthesis of continuously shot images, by performing image synthesis processing and image processing appropriate for the amount of deviation between the reference image and the target image, the waste of processing time can be suppressed by not performing unnecessary processing. The processing speed can be improved. Further, if necessary, the composition success rate can be improved by carefully combining the images, and the image quality of the output image can be improved by using appropriate parameters.
なお、上記実施形態2では、基準画像と対象画像のずれ量の検出にて、基準画像と対象画像間の動き量をずれ量とするようにしたが、これに限られるものではなく、例えば、加速度センサを用いて連続撮影間のカメラの移動距離を測定して、当該移動距離をずれ量とするようにしても良い。 In the second embodiment, the amount of motion between the reference image and the target image is set as the amount of shift in the detection of the shift amount between the reference image and the target image. However, the present invention is not limited to this. An acceleration sensor may be used to measure the moving distance of the camera during continuous shooting, and the moving distance may be used as a deviation amount.
また、上記実施形態2では、設定される画像処理の内容をシャープネス処理としたが、設定される画像処理の内容は、シャープネス処理に限られるものではなく、さらに、設定される画像合成処理の内容は、特徴点の探索範囲の大きさの変更に限られるものではなく、出力画像の画質の向上を図ることができる処理であれば如何なるものであっても良い。 In the second embodiment, the content of the image processing to be set is the sharpness processing. However, the content of the image processing to be set is not limited to the sharpness processing, and further, the content of the image composition processing to be set. Is not limited to changing the size of the search range for feature points, and any process that can improve the image quality of the output image may be used.
[実施形態3]
以下に、実施形態3の撮像装置300について図10〜図13を参照して説明する。
ここで、図10は、本発明を適用した実施形態3の撮像装置300の概略構成を示すブロック図である。
実施形態3の撮像装置300は、特徴点の特徴量の測定結果に基づいて、画像合成処理の内容や合成画像に対する画像処理の内容を設定する。
なお、実施形態3の撮像装置300は、画像合成処理の内容や画像処理の内容の変更以外の点では、実施形態1におけるものと略同様であり、その詳細な説明については省略するものとする。
[Embodiment 3]
Hereinafter, the
Here, FIG. 10 is a block diagram illustrating a schematic configuration of the
The
The
図10に示すように、プログラムメモリ72は、画像合成プログラム72aに加えて、特徴量検出プログラム72h、第3の合成処理設定プログラム72i、第3の画像処理設定プログラム72j等を記憶している。
As shown in FIG. 10, the
特徴量検出プログラム72hは、CPU71の制御下にて、映像信号処理部13に、基準画像内から抽出した特徴点の特徴量(撮影状況関連情報)を検出する処理に係る機能を実現させるためのプログラムである。
即ち、CPU71が特徴量検出プログラム72hを実行することで、基準画像内から抽出した特徴点の広がり具合や均一度合から特徴量を検出する。具体的には、「特徴量小」、「特徴量中」、「特徴量大」の3パターンの特徴量に区分して検出する。
「特徴量大」とは、例えば、特徴点が画像内にて広範囲に略均一に分布している場合であり、「特徴量中」とは、特徴点が画像内にて広範囲に分布しているが、分布が均一でない場合であり、「特徴量小」とは、特徴点が画像内にて広範囲に分布しておらず、且つ、分布も均一でない場合であり、具体的には、特徴となるものがない一様に白い壁や空の画像を撮影した場合に特徴量が小さくなる。
ここで、CPU71と映像信号処理部13は、基準画像内から抽出した特徴点の特徴量を測定する特徴量測定手段として機能する。また、CPU71と映像信号処理部13は、画像の撮影状況に関連した撮影状況関連情報を特定する撮影状況特定手段として機能する。
The feature
That is, when the
“Large feature amount” means, for example, a case where feature points are distributed almost uniformly over a wide range in the image, and “medium feature amount” means that feature points are distributed over a wide range in the image. However, the distribution is not uniform, and “small feature amount” is a case where the feature points are not distributed over a wide range in the image and the distribution is not uniform. When a uniform white wall or an empty image is photographed with no object, the feature amount becomes small.
Here, the
第3の合成処理設定プログラム72iは、CPU71を特徴合成処理設定手段として機能させるものである。即ち、第3の合成処理設定プログラム72iは、特徴量検出処理による特徴量の検出結果に基づいて、第3の合成処理内容設定テーブルT5(図11参照)に従って、映像信号処理部13による画像合成処理の内容を設定する処理に係る機能をCPU71に実現させるためのプログラムである。
具体的には、CPU71が第3の合成処理設定プログラム72iを実行することで、特徴量検出処理により検出された特徴量の大きさに応じて、オプティカルフロー検出部131による特徴点の抽出数、追跡の反復回数及びピラミッドの階層数を変更する。例えば、特徴量検出処理にて、特徴量が「特徴量大」であると検出されると、特徴点の抽出数、追跡の反復回数及びピラミッドの階層数を通常数とし、また、特徴量が「特徴量中」であると検出されると、特徴点の抽出数、追跡の反復回数及びピラミッドの階層数を通常よりも多い数とし、また、特徴量が「特徴量小」であると検出されると、特徴点の抽出数、追跡の反復回数及びピラミッドの階層数を最も多い数(特徴量が「特徴量中」の場合よりも多い数)とする。即ち、最も良好に画像合成が行える状況は、特徴量が画像中の広範囲に均一に分布していて、特徴量も大きい場合である。これに対して、特徴点の特徴量が小さい場合は、類似特徴を持つ画素に誤追跡し、トラッキングが失敗し易いといった問題がある。そこで、特徴量が小さい場合には、特徴点の抽出個数を増やしたり、トラッキングの反復回数を増やしたり、ピラミッドの階層数を増やすなどの処理を追加して、より慎重に画像合成処理を行う必要が生じるためである。
The third synthesis process setting program 72i causes the
Specifically, the
第3の画像処理設定プログラム72jは、CPU71を特徴画像処理設定手段として機能させるものである。即ち、第3の画像処理設定プログラム72jは、特徴量検出処理による特徴量の検出結果に基づいて、第3の画像処理内容設定テーブルT6(図12参照)に従って、映像信号処理部13による合成画像に対する画像処理の内容を設定する処理に係る機能をCPU71に実現させるためのプログラムである。
具体的には、CPU71が第3の画像処理設定プログラム72jを実行することで、特徴量検出処理により検出された特徴量の大きさに応じて、映像信号処理部13による合成画像に対するシャープネス処理の強さを変更する。例えば、特徴量検出処理にて、特徴量が「特徴量大」であると検出されると、シャープネスフィルタの強さを通常のものとし、また、特徴量が「特徴量中」であると検出されると、シャープネスフィルタの強さを通常よりも強いものとし、また、特徴量が「特徴量小」であると検出されると、シャープネスフィルタの強さを最も強い(特徴量が「特徴量中」の場合よりも強い)ものとする。即ち、特徴量が小さくなるほど、トラッキング精度が落ちて撮影画像がぼやっとしてしまう。そこで、特徴量が小さければ小さいほど合成画像に対してかけるシャープネスフィルタを強めるようにすれば、合成精度に応じたシャープネスフィルタをかけることができ、結果的に画像の品質の向上を図ることができるためである。
The third image
Specifically, the
また、プログラムメモリ72には、第3の合成処理内容設定テーブルT5(図11参照)と、第3の画像処理内容設定テーブルT6(図12参照)が記憶されている。
The
第3の合成処理内容設定テーブルT5は、図11に示すように、画像合成処理の処理内容(「特徴点の抽出処理」、「追跡の反復処理」、「ピラミッドの階層化処理」)と特徴点の特徴量(「特徴量小」、「特徴量中」、「特徴量大」)とを対応付けて記憶している。具体的には、処理内容として「特徴点の抽出処理」は、「特徴量大」では「通常数」が対応付けられ、「特徴量中」では「通常より多い」が対応付けられ、「特徴量小」では「最も多い」が対応付けられている。また、処理内容として「追跡の反復処理」は、「特徴量大」では「通常数」が対応付けられ、「特徴量中」では「通常より多い」が対応付けられ、「特徴量小」では「最も多い」が対応付けられている。また、処理内容として「ピラミッドの階層化処理」は、「特徴量大」では「通常数」が対応付けられ、「特徴量中」では「通常より多い」が対応付けられ、「特徴量小」では「最も多い」が対応付けられている。 As shown in FIG. 11, the third composition processing content setting table T5 includes image composition processing content ("feature point extraction processing", "tracking iteration processing", "pyramid hierarchization processing") and features. Point feature quantities (“small feature quantity”, “medium feature quantity”, “large feature quantity”) are stored in association with each other. Specifically, “feature point extraction processing” as processing details is associated with “normal number” for “large feature amount”, “more than normal” for “medium feature amount”, “Small amount” is associated with “most often”. In addition, as the processing contents, “tracking repetitive processing” is associated with “normal number” for “large feature amount”, “more than normal” for “medium feature amount”, and “small feature amount” for “medium amount”. “Most” is associated. In addition, “Pyramid hierarchization processing” is associated with “normal number” for “large feature amount”, “more than normal” for “medium feature amount”, and “small feature amount”. Is associated with “most common”.
第3の画像処理内容設定テーブルT6は、図12に示すように、画像処理の処理内容としての合成画像に対する「シャープネスフィルタの強さ」と特徴点の特徴量(「特徴量小」、「特徴量中」、「特徴量大」)とを対応付けて記憶している。具体的には、「シャープネスフィルタの強さ」は、「特徴量大」では「通常」が対応付けられ、「特徴量中」では「通常より強い」が対応付けられ、「特徴量小」では「最も強い」が対応付けられている。 As shown in FIG. 12, the third image processing content setting table T6 includes “sharpness filter strength” and feature point feature amounts (“feature amount small”, “feature” for the synthesized image as the image processing content. “Medium amount” and “large feature amount”) are stored in association with each other. Specifically, the “strength of the sharpness filter” is associated with “normal” in “large feature amount”, “stronger than normal” in “medium feature amount”, and “small in feature amount”. “The strongest” is associated.
次に、実施形態3の撮像装置300による撮像処理について図13を参照して説明する。
図13は、撮像処理に係る動作の一例を示すフローチャートである。なお、撮像処理に係る動作を開始する時点において、画像処理の処理内容(シャープネスフィルタの強さ)として、特徴量が「特徴量大」であると検出された場合に設定される「通常」がデフォルト設定されているものとする。また、同様に、撮像処理に係る動作を開始する時点において、画像合成処理の処理内容(「特徴点の抽出処理」、「追跡の反復処理」、「ピラミッドの階層化処理」)として、特徴量が「特徴量大」であると検出された場合に設定される「通常数」がデフォルト設定されているものとする。
Next, imaging processing by the
FIG. 13 is a flowchart illustrating an example of an operation related to the imaging process. Note that “normal” set when the feature amount is detected as “large feature amount” as the processing content of the image processing (the strength of the sharpness filter) at the time of starting the operation related to the imaging processing. It is assumed that it is set by default. Similarly, at the time of starting the operation related to the imaging process, as the processing contents of the image synthesis process (“feature point extraction process”, “tracking iterative process”, “pyramid hierarchization process”), the feature amount It is assumed that “normal number” that is set when it is detected that “the feature amount is large” is set by default.
図13に示すように、ユーザによるシャッターボタン41aの押圧操作に基づいて撮像部1による被写体の連続した撮影が開始されると(ステップS41)、CPU71は、プログラムメモリ72内の画像合成プログラム72aを実行して、映像信号処理部13のオプティカルフロー検出部131に、基準画像に対してデフォルト設定されている「通常数」のピラミッド階層化処理及びを特徴点の抽出処理を行わせる(ステップS42)。ここで、1枚目の画像を基準画像、2枚目以降の画像を対象画像とした場合は、ステップS41により連続撮影が開始された後、1枚目の画像の撮影が完了した後にステップS42に移行して特徴点抽出処理が行われることになる。
As shown in FIG. 13, when continuous shooting of the subject by the
次に、CPU71は、抽出された特徴点の数が所定値以上であるか否かを判定する(ステップS43)。ここで、特徴点の数が所定値以上でないと判定されると(ステップS43;NO)、CPU71は、連写撮影された複数枚の画像を合成して一の画像を得る画像合成処理の実行に必要な特徴点が不足していることを表す「特徴点不足」を画像表示部32に表示させた後(ステップS44)、撮像部1により通常の撮影条件で被写体を撮影させる(ステップS45)。
Next, the
一方、ステップS43にて、特徴点の数が所定値以上であると判定されると(ステップS43;YES)、CPU71は、プログラムメモリ72内の特徴量検出プログラム72hを実行して、基準画像内から抽出した特徴点の広がり具合や均一度合から特徴量を検出する(ステップS46;特徴量検出処理)。
続けて、CPU71は、特徴量検出処理の検出結果に応じて、設定されている画像合成処理及び画像処理の内容の再設定を行うか否かの分岐を行い(ステップS47)、「特徴量中」か「特徴量小」と検出されると、CPU71は、プログラムメモリ72内の第3の合成処理設定プログラム72iを実行して、第3の合成処理内容設定テーブルT5に従って映像信号処理部13による画像合成処理の内容を再設定するとともに、プログラムメモリ72内の第3の画像処理設定プログラム72jを実行して、第3の画像処理内容設定テーブルT6に従って映像信号処理部13による画像処理の内容を再設定する(ステップS48)。つまり、画像合成処理の内容としてデフォルト設定されている「通常数」を、「通常より多い」(特徴量中)又は「最も多い」(特徴量小)に変更設定するとともに、画像処理の内容としてデフォルト設定されている「通常」を、「通常より強い」(特徴量中)又は「最も強い」(特徴量小)に変更設定する。
その後、CPU71は、プログラムメモリ72内の画像合成プログラム72aを実行して、映像信号処理部13のオプティカルフロー検出部131に、基準画像に対して、ピラミッド階層化処理を特徴量に応じて再設定された数で行わせ、特徴点の再抽出を特徴量に応じて設定された数で行わせ(ステップS49)、特徴量に応じて設定された数のピラミッド階層化処理及び追跡の反復処理を行わせることにより抽出された特徴点の追跡を行わせる(ステップS50)。
On the other hand, if it is determined in step S43 that the number of feature points is equal to or greater than the predetermined value (step S43; YES), the
Subsequently, the
After that, the
一方、ステップS47の特徴量検出処理にて「特徴量大」と検出されると、ステップS50に移行して、CPU71は、映像信号処理部13のオプティカルフロー検出部131に、対象画像に対して、デフォルト設定されている「通常数」のピラミッド階層化処理及び追跡の反復処理を行わせることにより抽出された特徴点の追跡を行わせる(ステップS50)。
On the other hand, when “large feature amount” is detected in the feature amount detection process in step S47, the process proceeds to step S50, and the
その後、CPU71は、映像信号処理部13のRANSAC部132に、基準画像と対象画像における複数の特徴点どうしが対応付けられた特徴点対応表に基づいて、射影変換行列Hを算出させ、画像合成部133に、射影変換行列Hを用いて対象画像の画素を基準画像の座標系に射影変換させて当該対象画像と基準画像を合成させる(ステップS51)。
Thereafter, the
次に、CPU71は、ユーザによるシャッターボタン41aの押圧操作の解除に基づいて被写体の連続撮影の終了が指示されているか否かを判定する(ステップS52)。ここで、被写体の連続撮影の終了が指示されていると判定されると(ステップS52;YES)、CPU71は、映像信号処理部13に、デフォルト設定されているシャープネスフィルタの強さ、あるいは特徴量に応じて再設定されたシャープネスフィルタの強さで合成画像に対してシャープネス処理を施して(ステップS53)、当該撮像処理を終了する。
Next, the
なお、ステップS52にて、被写体の連続撮影の終了が指示されていないと判定されると(ステップS52;NO)、ステップS50に移行して、入力される複数の画像信号に対して映像信号処理部13によるピラミッド階層化処理及び追跡の反復処理を行わせることにより抽出された特徴点の追跡を行わせる。
If it is determined in step S52 that the end of continuous shooting of the subject has not been instructed (step S52; NO), the process proceeds to step S50, and video signal processing is performed on a plurality of input image signals. The extracted feature points are tracked by causing the
以上のように、実施形態3の撮像装置300によれば、画像の撮影状況関連情報として特徴点の特徴量を検出し、特徴量の検出結果に基づいて、画像合成処理における画像合成処理の内容や画像処理における合成画像に対する画像処理の内容を設定することができる。
即ち、特徴量が小さければ小さいほど、特徴点の抽出個数を増やしたり、トラッキングの反復回数を増やしたり、ピラミッドの階層数を増やすなどの処理を追加してより慎重に画像合成処理を行う。また、特徴量が小さければ小さいほど合成画像に対してかけるシャープネスフィルタを強めるようにすれば、合成精度に応じたシャープネスフィルタをかけることができる。さらに、特徴量が小さすぎて基準画像から特徴点が規定個数抽出できない場合には、画像合成が失敗する可能性が非常に高いので、画像合成処理を行わずに、ユーザの立場を考えて「特徴点不足」の報知を行った後、通常の1枚撮影が行われる。
As described above, according to the
That is, the smaller the feature amount, the more carefully the image composition processing is performed by adding processing such as increasing the number of extracted feature points, increasing the number of tracking iterations, or increasing the number of pyramid layers. If the sharpness filter applied to the composite image is strengthened as the feature amount is small, it is possible to apply a sharpness filter corresponding to the composite accuracy. Furthermore, if the feature amount is too small to extract a specified number of feature points from the reference image, there is a very high possibility that image composition will fail, so consider the user's position without performing image composition processing. After notifying “insufficient feature points”, normal one-shot shooting is performed.
このように、特徴量の大きさは、画像の精度・品質にかかわる問題が多く発生し、それを解決するためにいくつもの処理を行わなければならないが、それらの処理は特徴量が十分大きい画像を合成する場合は必要とせず、むしろ処理時間の浪費になってしまったり、画像品質を下げてしまう可能性もある。
そこで、連続撮影画像の合成において、それぞれの特徴量に相応しい合成処理や画像処理を行うことで、無駄な処理を行わないことにより処理時間の浪費を抑えて全体的な処理速度の向上を図ることができる。さらに、必要な場合には慎重に合成を行うことで合成成功率の向上及び適切なパラメータを使うことで出力画像の画質の向上を図ることができる。
As described above, there are many problems related to the accuracy and quality of the image, and many processes must be performed in order to solve the problem. This is not necessary when synthesizing images, but rather, processing time may be wasted and image quality may be lowered.
Therefore, in the synthesis of continuously shot images, by performing synthesis processing and image processing appropriate for each feature amount, it is possible to reduce waste of processing time and improve overall processing speed by not performing unnecessary processing. Can do. Further, if necessary, the composition success rate can be improved by carefully combining the images, and the image quality of the output image can be improved by using appropriate parameters.
また、上記実施形態3では、画像合成処理内容の設定にて特徴点の抽出数、追跡の反復回数及びピラミッドの階層数の全ての処理内容を設定するようにしたが、必ずしも全てを設定する必要はなく、特徴点の抽出数、追跡の反復回数及びピラミッドの階層数のうち、少なくとも何れか一の設定を行うようにしても良い。
加えて、設定される画像処理の内容は、シャープネス処理に限られるものではなく、また、設定される画像合成処理の内容は、特徴点の抽出数、追跡の反復回数及びピラミッドの階層数に限られるものではなく、出力画像の画質の向上を図ることができる処理であれば如何なるものであっても良い。
In the third embodiment, all the processing contents of the number of feature points extracted, the number of tracking iterations, and the number of pyramid hierarchies are set in the setting of the image composition processing content. Instead, at least one of the number of feature point extractions, the number of tracking iterations, and the number of pyramid layers may be set.
In addition, the content of image processing that is set is not limited to sharpness processing, and the content of image composition processing that is set is limited to the number of feature points extracted, the number of tracking iterations, and the number of layers of pyramids. Any processing that can improve the image quality of the output image is possible.
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。 The present invention is not limited to the above-described embodiment, and various improvements and design changes may be made without departing from the spirit of the present invention.
また、上記実施形態1〜3にあっては、画像の撮影状況に応じて画像合成処理や画像処理の内容を設定するようにしたが、これに限られるものではなく、例えば、撮影状況関連情報として特定された「明るさ」や「基準画像と対象画像のずれ量の大きさ」や「特徴点の特徴量」に応じて、露光時間や絞りや感度等を変更して撮影した後、画像合成処理を行うようにしても、全体的な処理速度の向上を図ることができるとともに、出力画像の画質の向上を図るができる。 In the first to third embodiments, the contents of the image composition processing and the image processing are set according to the shooting state of the image. However, the present invention is not limited to this. For example, shooting state related information After changing the exposure time, aperture, sensitivity, etc. according to the “brightness”, “reference image and target image deviation amount”, and “feature point feature amount” specified Even if the synthesis process is performed, the overall processing speed can be improved and the image quality of the output image can be improved.
さらに、撮像装置100、200、300の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。
Furthermore, the configurations of the
また、画像合成装置として撮像装置100、200、300を例示したが、これに限られるものではなく、撮像部1により取得した複数の画像をUSB端子6を介して接続されたパソコン等の外部機器に出力して、当該外部機器にて画像合成処理に係る撮影状況特定処理、明るさ検出処理、ずれ量検出処理、特徴量検出処理、低解像度画像作成処理、特徴点抽出処理、特徴点追跡処理、合成処理設定処理、画像処理設定処理等を行うようにしても良い。
In addition, the
加えて、上記実施形態では、撮影状況特定手段、明るさ検出手段、ずれ量検出手段、特徴量検出手段、低解像度画像作成手段、特徴点抽出手段、特徴点追跡手段、合成処理設定手段、明るさ合成処理設定手段、ずれ合成処理設定手段、特徴合成処理設定手段、画像処理設定手段、明るさ画像処理設定手段、ずれ画像処理設定手段、特徴画像処理設定手段としての機能を、CPU71によって所定のプログラム等が実行されることにより実現される構成としたが、これに限られるものではなく、例えば、各種機能を実現するためのロジック回路等から構成しても良い。
In addition, in the above-described embodiment, the shooting situation specifying unit, the brightness detection unit, the deviation amount detection unit, the feature amount detection unit, the low-resolution image creation unit, the feature point extraction unit, the feature point tracking unit, the synthesis processing setting unit, the brightness The
100、200、300 撮像装置(画像合成装置)
13 映像信号処理部(画像合成手段、画像処理手段)
131 オプティカルフロー検出部(低解像度画像作成手段、特徴点抽出手段、特徴点追跡手段)
132 RANSAC部
133 画像合成部
71 CPU(撮影状況特定手段、明るさ検出手段、ずれ量検出手段、特徴量検出手段、低解像度画像作成手段、特徴点抽出手段、特徴点追跡手段、合成処理設定手段、明るさ合成処理設定手段、ずれ合成処理設定手段、特徴合成処理設定手段、画像処理設定手段、明るさ画像処理設定手段、ずれ画像処理設定手段、特徴画像処理設定手段)
100, 200, 300 Imaging device (image composition device)
13 Video signal processing unit (image synthesis means, image processing means)
131 Optical flow detection unit (low-resolution image creation means, feature point extraction means, feature point tracking means)
132
Claims (19)
前記画像の撮影状況に関連した撮影状況関連情報を特定する撮影状況特定手段と、
前記撮影状況特定手段により特定された前記撮影状況関連情報に基づいて、前記画像合成手段による前記画像合成処理の内容を設定する合成処理設定手段と、
を備えることを特徴とする画像合成装置。 Image combining means for performing image combining processing for combining any one of the plurality of images and the target image;
Shooting situation specifying means for specifying shooting situation related information related to the shooting situation of the image;
Composition processing setting means for setting the content of the image composition processing by the image composition means based on the photographing condition related information identified by the photographing condition identifying means;
An image composition apparatus comprising:
前記撮影状況関連情報として、前記画像の撮影の際の明るさを検出する明るさ検出手段を備え、
前記合成処理設定手段は、
前記明るさ検出手段による前記明るさの検出結果に基づいて、前記画像合成手段による前記画像合成処理の内容を設定する明るさ合成処理設定手段を備えることを特徴とする請求項1に記載の画像合成装置。 The shooting situation specifying means includes:
As the shooting state related information, a brightness detection means for detecting the brightness at the time of shooting the image,
The synthesis processing setting means includes
2. The image according to claim 1, further comprising: a brightness composition processing setting unit configured to set a content of the image composition processing by the image composition unit based on the brightness detection result by the brightness detection unit. Synthesizer.
前記基準画像内から特徴点を抽出する特徴点抽出手段を備え、
前記明るさ合成処理設定手段は、前記特徴点抽出手段による前記特徴点の抽出数を変更することを特徴とする請求項2に記載の画像合成装置。 The image composition means includes
Comprising feature point extracting means for extracting feature points from the reference image;
3. The image composition apparatus according to claim 2, wherein the brightness composition processing setting unit changes the number of feature points extracted by the feature point extraction unit.
前記複数の画像の解像度を段階的に低減させて低解像度画像を作成する低解像度画像作成手段を備え、
前記明るさ合成処理設定手段は、前記低解像度画像作成手段による前記解像度の低減に係る段階数を変更することを特徴とする請求項2又は3に記載の画像合成装置。 The image composition means includes
Low-resolution image creation means for creating a low-resolution image by gradually reducing the resolution of the plurality of images,
4. The image composition apparatus according to claim 2, wherein the brightness composition processing setting unit changes the number of steps related to the resolution reduction by the low-resolution image creation unit.
前記撮影状況関連情報として、前記基準画像と前記対象画像のずれ量を検出するずれ量検出手段を備え、
前記合成処理設定手段は、
前記ずれ量検出手段による前記ずれ量の検出結果に基づいて、前記画像合成手段による前記画像合成処理の内容を設定するずれ合成処理設定手段を備えることを特徴とする請求項1に記載の画像合成装置。 The shooting situation specifying means includes:
As the photographing state related information, provided with a deviation amount detecting means for detecting a deviation amount between the reference image and the target image,
The synthesis processing setting means includes
2. The image composition according to claim 1, further comprising a displacement composition processing setting unit configured to set a content of the image composition processing by the image composition unit based on a detection result of the displacement amount by the displacement amount detection unit. apparatus.
前記基準画像内から抽出した特徴点を対象画像内で追跡する特徴点追跡手段を備え、
前記ずれ合成処理設定手段は、前記特徴点追跡手段による前記対象画像における前記特徴点の追跡範囲を変更することを特徴とする請求項5に記載の画像合成装置。 The image composition means includes
Feature point tracking means for tracking the feature point extracted from within the reference image within the target image;
6. The image composition apparatus according to claim 5, wherein the shift composition processing setting unit changes a tracking range of the feature point in the target image by the feature point tracking unit.
前記撮影状況関連情報として、前記基準画像内から抽出した特徴点の特徴量を検出する特徴量検出手段を備え、
前記合成処理設定手段は、
前記特徴量検出手段による前記特徴量の検出結果に基づいて、前記画像合成手段による前記画像合成処理の内容を設定する特徴合成処理設定手段を備えることを特徴とする請求項1に記載の画像合成装置。 The shooting situation specifying means includes:
A feature amount detection means for detecting a feature amount of a feature point extracted from the reference image as the shooting state related information;
The synthesis processing setting means includes
The image composition according to claim 1, further comprising: a feature composition processing setting unit that sets contents of the image composition processing by the image composition unit based on a detection result of the feature amount by the feature amount detection unit. apparatus.
前記基準画像内から特徴点を抽出する特徴点抽出手段を備え、
前記特徴合成処理設定手段は、前記特徴点抽出手段による前記特徴点の抽出数を変更することを特徴とする請求項7に記載の画像合成装置。 The image composition means includes
Comprising feature point extracting means for extracting feature points from the reference image;
8. The image synthesizing apparatus according to claim 7, wherein the feature synthesis processing setting unit changes the number of feature points extracted by the feature point extraction unit.
前記基準画像内から抽出した特徴点を対象画像内で追跡する特徴点追跡手段を備え、
前記特徴合成処理設定手段は、前記特徴点追跡手段による前記特徴点の追跡回数を変更することを特徴とする請求項7又は8に記載の画像合成装置。 The image composition means includes
Feature point tracking means for tracking the feature point extracted from within the reference image within the target image;
The image composition apparatus according to claim 7 or 8, wherein the feature composition processing setting unit changes the number of times the feature point is tracked by the feature point tracking unit.
前記複数の画像の解像度を段階的に低減させて低解像度画像を作成する低解像度画像作成手段を備え、
前記特徴合成処理設定手段は、前記低解像度画像作成手段による前記解像度の低減に係る段階数を変更することを特徴とする請求項7乃至9の何れか一項に記載の画像合成装置。 The image composition means includes
Low-resolution image creation means for creating a low-resolution image by gradually reducing the resolution of the plurality of images,
The image composition device according to any one of claims 7 to 9, wherein the feature composition processing setting unit changes the number of steps related to the resolution reduction by the low-resolution image creation unit.
前記撮影状況特定手段により特定された前記撮影状況関連情報に基づいて、前記画像処理手段による画像処理の内容を設定する画像処理設定手段と、
を備えることを特徴とする請求項1に記載の画像合成装置。 Image processing means for performing image processing on at least one of a plurality of synthesized images related to the image synthesis processing and a synthesized image synthesized by the image synthesis processing;
Image processing setting means for setting contents of image processing by the image processing means based on the shooting situation related information specified by the shooting situation specifying means;
The image synthesizing apparatus according to claim 1, further comprising:
前記画像合成処理に係る複数の被合成画像及び前記画像合成処理にて合成された合成画像のうち、少なくとも何れか一方に対して画像処理を行う画像処理手段と、
前記画像の撮影状況に関連した撮影状況関連情報を特定する撮影状況特定手段と、
前記撮影状況特定手段により特定された前記撮影状況関連情報に基づいて、前記画像処理手段による画像処理の内容を設定する画像処理設定手段と、
を備えることを特徴とする画像合成装置。 Image combining means for performing image combining processing for combining any one of the plurality of images and the target image;
Image processing means for performing image processing on at least one of a plurality of synthesized images related to the image synthesis processing and a synthesized image synthesized by the image synthesis processing;
Shooting situation specifying means for specifying shooting situation related information related to the shooting situation of the image;
Image processing setting means for setting contents of image processing by the image processing means based on the shooting situation related information specified by the shooting situation specifying means;
An image composition apparatus comprising:
前記撮影状況関連情報として、前記画像の撮影の際の明るさを検出する明るさ検出手段を備え、
前記画像処理設定手段は、
前記明るさ検出手段による前記明るさの検出結果に基づいて、前記画像処理手段による前記複数の被合成画像に対する画像処理の内容を設定する明るさ画像処理設定手段を備えることを特徴とする請求項11又は12に記載の画像合成装置。 The shooting situation specifying means includes:
As the shooting state related information, a brightness detection means for detecting the brightness at the time of shooting the image,
The image processing setting means includes
The brightness image processing setting means for setting the content of image processing for the plurality of composite images by the image processing means based on the brightness detection result by the brightness detection means. The image synthesis device according to 11 or 12.
前記撮影状況関連情報として、前記基準画像と前記対象画像のずれ量を検出するずれ量検出手段を備え、
前記画像処理設定手段は、
前記ずれ量検出手段による前記ずれ量の検出結果に基づいて、前記合成画像に対する前記画像処理手段による画像処理の内容を設定するずれ画像処理設定手段を備えることを特徴とする請求項11又は12に記載の画像合成装置。 The shooting situation specifying means includes:
As the photographing state related information, provided with a deviation amount detecting means for detecting a deviation amount between the reference image and the target image,
The image processing setting means includes
The image processing apparatus according to claim 11, further comprising: a deviation image processing setting unit that sets a content of image processing performed by the image processing unit on the composite image based on a detection result of the deviation amount by the deviation amount detection unit. The image composition apparatus described.
前記撮影状況関連情報として、前記基準画像内から抽出した特徴点の特徴量を検出する特徴量検出手段を備え、
前記画像処理設定手段は、
前記特徴量検出手段による前記特徴量の検出結果に基づいて、前記合成画像に対する前記画像処理手段による画像処理の内容を設定する特徴画像処理設定手段を備えることを特徴とする請求項11又は12に記載の画像合成装置。 The shooting situation specifying means includes:
A feature amount detection means for detecting a feature amount of a feature point extracted from the reference image as the shooting state related information;
The image processing setting means includes
13. The image processing apparatus according to claim 11, further comprising a feature image processing setting unit that sets a content of image processing performed by the image processing unit on the composite image based on a detection result of the feature amount detected by the feature amount detection unit. The image composition apparatus described.
複数の画像のうち、何れか一の基準画像と対象画像を合成する画像合成処理を行う機能と、
前記画像の撮影状況に関連した撮影状況関連情報を特定する機能と、
特定された前記撮影状況関連情報に基づいて、前記画像合成処理の内容を設定する機能と、
を実現させることを特徴とするプログラム。 On the computer,
A function of performing image composition processing to synthesize any one of the plurality of images and the target image;
A function for identifying shooting status related information related to the shooting status of the image;
A function of setting the content of the image composition processing based on the identified shooting situation related information;
A program characterized by realizing.
複数の画像のうち、何れか一の基準画像と対象画像を合成する画像合成処理を行う機能と、
前記画像合成処理に係る複数の被合成画像及び前記画像合成処理にて合成された合成画像のうち、少なくとも何れか一方に対して画像処理を行う機能と、
前記画像の撮影状況に関連した撮影状況関連情報を特定する機能と、
特定された前記撮影状況関連情報に基づいて、画像処理の内容を設定する機能と、
を実現させることを特徴とするプログラム。 On the computer,
A function of performing image composition processing to synthesize any one of the plurality of images and the target image;
A function of performing image processing on at least one of a plurality of combined images related to the image combining processing and a combined image combined in the image combining processing;
A function for identifying shooting status related information related to the shooting status of the image;
A function of setting the content of image processing based on the identified shooting situation related information;
A program characterized by realizing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007340377A JP4952574B2 (en) | 2007-12-28 | 2007-12-28 | Image composition apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007340377A JP4952574B2 (en) | 2007-12-28 | 2007-12-28 | Image composition apparatus and program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012052903A Division JP5413625B2 (en) | 2012-03-09 | 2012-03-09 | Image composition apparatus and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009163357A true JP2009163357A (en) | 2009-07-23 |
JP4952574B2 JP4952574B2 (en) | 2012-06-13 |
Family
ID=40965931
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007340377A Expired - Fee Related JP4952574B2 (en) | 2007-12-28 | 2007-12-28 | Image composition apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4952574B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012137933A (en) * | 2010-12-27 | 2012-07-19 | Kokusai Kogyo Co Ltd | Position specifying method of planimetric features to be photographed, program thereof, display map, photographic position acquiring method, program thereof and photographic position acquiring device |
JP2012199691A (en) * | 2011-03-18 | 2012-10-18 | Ricoh Co Ltd | Imaging apparatus, imaging method, and imaging program |
JP2013040932A (en) * | 2011-08-09 | 2013-02-28 | Boeing Co:The | Image-based position measurement |
JP2013132011A (en) * | 2011-12-22 | 2013-07-04 | Canon Inc | Imaging device, imaging method, and program |
JP2015179426A (en) * | 2014-03-19 | 2015-10-08 | 富士通株式会社 | Information processing apparatus, parameter determination method, and program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005332106A (en) * | 2004-05-19 | 2005-12-02 | Honda Motor Co Ltd | Lane marking recognizing device for vehicle |
JP2007274213A (en) * | 2006-03-30 | 2007-10-18 | Canon Inc | Image processor, method and imaging apparatus |
-
2007
- 2007-12-28 JP JP2007340377A patent/JP4952574B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005332106A (en) * | 2004-05-19 | 2005-12-02 | Honda Motor Co Ltd | Lane marking recognizing device for vehicle |
JP2007274213A (en) * | 2006-03-30 | 2007-10-18 | Canon Inc | Image processor, method and imaging apparatus |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012137933A (en) * | 2010-12-27 | 2012-07-19 | Kokusai Kogyo Co Ltd | Position specifying method of planimetric features to be photographed, program thereof, display map, photographic position acquiring method, program thereof and photographic position acquiring device |
JP2012199691A (en) * | 2011-03-18 | 2012-10-18 | Ricoh Co Ltd | Imaging apparatus, imaging method, and imaging program |
JP2013040932A (en) * | 2011-08-09 | 2013-02-28 | Boeing Co:The | Image-based position measurement |
JP2018116065A (en) * | 2011-08-09 | 2018-07-26 | ザ・ボーイング・カンパニーThe Boeing Company | Determination of position of image base |
JP2013132011A (en) * | 2011-12-22 | 2013-07-04 | Canon Inc | Imaging device, imaging method, and program |
JP2015179426A (en) * | 2014-03-19 | 2015-10-08 | 富士通株式会社 | Information processing apparatus, parameter determination method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP4952574B2 (en) | 2012-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5574423B2 (en) | Imaging apparatus, display control method, and program | |
WO2016023406A1 (en) | Shooting method for motion trace of object, mobile terminal and computer storage medium | |
JP5195660B2 (en) | Imaging apparatus, focusing method, and program | |
KR20120115127A (en) | Image processing device capable of generating wide-range image | |
JP4952574B2 (en) | Image composition apparatus and program | |
JP5413625B2 (en) | Image composition apparatus and program | |
JP6541501B2 (en) | IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, AND IMAGE PROCESSING METHOD | |
JP4792929B2 (en) | Digital camera | |
JP5910613B2 (en) | Image composition apparatus and program | |
JP2011066827A (en) | Image processing apparatus, image processing method and program | |
JP5397426B2 (en) | Imaging apparatus, focusing method, and program | |
JP4774857B2 (en) | Image processing apparatus and program | |
JP2008065530A (en) | Image processor and program | |
JP5831492B2 (en) | Imaging apparatus, display control method, and program | |
JP6717354B2 (en) | Image processing apparatus, image processing method and program | |
JP2008283477A (en) | Image processor, and image processing method | |
US11832020B2 (en) | Image pickup apparatus, image pickup method, and storage medium | |
JP5614277B2 (en) | Camera capable of recording waveforms | |
JP2011135437A (en) | Imaging apparatus, image combining method, and program | |
JP2011077850A (en) | Image processing apparatus, image processing method, and program | |
JP2009198956A (en) | Imaging apparatus and program | |
JP2009272703A (en) | Imaging apparatus, and control method thereof | |
JP6107882B2 (en) | Imaging apparatus, display control method, and program | |
JP6478481B2 (en) | Image processing apparatus, image processing method, and program | |
JP6245992B2 (en) | Image processing apparatus and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100531 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111124 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20111124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120214 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4952574 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150323 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |