JP5012656B2 - Image processing apparatus, imaging apparatus, image processing method, and program - Google Patents
Image processing apparatus, imaging apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP5012656B2 JP5012656B2 JP2008129614A JP2008129614A JP5012656B2 JP 5012656 B2 JP5012656 B2 JP 5012656B2 JP 2008129614 A JP2008129614 A JP 2008129614A JP 2008129614 A JP2008129614 A JP 2008129614A JP 5012656 B2 JP5012656 B2 JP 5012656B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- images
- processing
- dynamic range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Facsimile Scanning Arrangements (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Description
本発明は、連続的に複数枚の画像を撮影し、ダイナミックレンジを拡大した画像を合成する画像処理装置、撮像装置、画像処理方法、およびプログラムに関するものである。 The present invention relates to an image processing apparatus, an imaging apparatus, an image processing method, and a program for continuously capturing a plurality of images and synthesizing images with an expanded dynamic range.
複数枚の画像の撮影を行い、ダイナミックレンジを拡大した画像を合成する方法は種々提案されている(たとえば特許文献1,2,3、非特許文献1参照) Various methods for taking a plurality of images and synthesizing images with an expanded dynamic range have been proposed (see, for example, Patent Documents 1, 2, 3, and Non-Patent Document 1).
特許文献1には、露光条件を変えた複数枚の撮影画像から撮影に使うイメージセンサのダイナミックレンジを拡大する写真フィルムプレーヤが提案されている。
この写真フィルムプレーヤにおいては、1組の撮像素子に対して露光量が異なるように複数回の露光を行い、その操作によって得た画像を合成し、広ダイナミックレンジ画像を得ている。
Patent Document 1 proposes a photographic film player that expands the dynamic range of an image sensor used for photographing from a plurality of photographed images with different exposure conditions.
In this photographic film player, a set of image sensors is exposed multiple times so that the exposure amounts are different, and images obtained by the operations are combined to obtain a wide dynamic range image.
特許文献2には、所定の露光時間に対応する単位画像データ群を読み出して合成し、合成画像を生成する撮像装置が提案されている。 Patent Document 2 proposes an imaging apparatus that reads and combines unit image data groups corresponding to a predetermined exposure time to generate a combined image.
特許文献3には、異なる露光感度条件で複数枚の画像を撮影させ、撮像された複数枚の画像データを一時的にDRAMに格納し、複数枚の画像データの中から適正な明るさの一枚の画像データを選択するカメラ装置が提案されている。 In Patent Document 3, a plurality of images are photographed under different exposure sensitivity conditions, a plurality of captured image data are temporarily stored in a DRAM, and an appropriate brightness is selected from the plurality of image data. There has been proposed a camera device that selects one piece of image data.
非特許文献1には、露光時間が長くて暗部まで諧調があるが画像のブレが大きい画像と、露光時間が短く画像のブレが少ないが露光不足で暗部がつぶれた画像を組み合わせて最適な画像を合成する技術が提案されている。 In Non-Patent Document 1, an optimal image is obtained by combining an image having a long exposure time and gradation to a dark portion, but having a large image blur and an image having a short exposure time and little image blur but an underexposure but the dark portion is crushed. A technique for synthesizing these has been proposed.
この技術では、低速撮影で手振れのある画像から手振れカーネル(Kernel)を算出してブレの少ない画像を算出する。Richardson-Lucy(RL) algorithmにより直接処理を行うとリンギング(Ringing)が残る。リンギングを低減するために、原画をそのまま使うのではなく、相対画像量(ブレのある画像から高速撮影画像に対してノイズのある程度除去した画像を差し引いた画像)を用いてRLを適用する。
それでもまだリンギングは残るが人間は小さなスケールのリンギングには感じにくいため、立ち上がりの急峻な部分にできる、目立つ大きなリンギングを除去する。
その方法はゲインコントロールRLアルゴリズムと呼んでいる。ゲインマップ画像(高速撮影画像からノイズのある程度除去した画像の勾配画像)を相対画像量に掛けることで繰り返し処理でのリンギングの増幅を抑えた。最後にBilaterフィルタ処理を行う。
Still, ringing still remains, but humans are less likely to feel small-scale ringing, so remove the noticeable large ringing that can occur at the steepest rise.
This method is called a gain control RL algorithm. The gain map image (gradient image of the image obtained by removing noise from the high-speed photographed image to some extent) is multiplied by the relative image amount to suppress ringing amplification in the repetitive processing. Finally, Bilater filter processing is performed.
上述したように、複数枚の画像の撮影を行いダイナミックレンジを拡大した画像を合成する方法は存在する。
しかし、それらはいずれも一枚の画像取得を目的として取得画像のダイナミックレンジを拡大するものである。
したがって、連続した複数枚撮影を行いその中からユーザの好みの画像を選択する場合の効率が悪かった。
As described above, there is a method for synthesizing an image with a larger dynamic range by capturing a plurality of images.
However, they all increase the dynamic range of the acquired image for the purpose of acquiring one image.
Therefore, the efficiency when taking a plurality of consecutive images and selecting a user's favorite image from the images is poor.
本発明は、連続した複数枚撮影を行いその中からユーザの好みの画像を効率よく選択することが可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することにある。 An object of the present invention is to provide an image processing apparatus, an imaging apparatus, an image processing method, and a program capable of capturing a plurality of consecutive images and efficiently selecting a user's favorite image from the images.
本発明の第1の観点の画像処理装置は、連続して撮影された異なる複数枚の画像に対して画像処理を行う画像処理部と、上記出力画像を選択可能な選択部と、を有し、上記画像処理部は、撮影条件を複数段階で変化させて連続的に撮影された、時間的に隣り合う複数枚の画像を用いて画像処理を行い、それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる。 An image processing apparatus according to a first aspect of the present invention includes an image processing unit that performs image processing on a plurality of different images that are continuously captured, and a selection unit that can select the output image. The image processing unit performs image processing using a plurality of temporally adjacent images that are continuously photographed while changing shooting conditions in a plurality of stages, and is temporally adjacent in each image processing. Each image processing is overlapped.
好適には、上記画像処理部は、オーバーラップする処理においては最初に処理した画像における処理結果を次の処理のために再利用する。 Preferably, in the overlapping process, the image processing unit reuses the processing result of the first processed image for the next process.
好適には、上記画像処理部は、露出量を複数段階で変化させて連続的に撮影され、時間的に隣り合う複数枚の画像を用いて高ダイナミックレンジ化処理を行い、それぞれの高ダイナミックレンジ化処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる。 Preferably, the image processing unit continuously captures images by changing the exposure amount in a plurality of stages, performs a high dynamic range process using a plurality of temporally adjacent images, The processing of temporally adjacent images in the conversion processing is overlapped.
好適には、上記選択部は、高ダイナミックレンジ化処理された画像から、任意のショットを選択する。 Preferably, the selection unit selects an arbitrary shot from the image subjected to the high dynamic range processing.
好適には、上記画像処理部は、撮影画像よりも解像度を下げて高ダイナミックレンジ化処理を行った画像を用いて画像選択を行い、選択された撮影画像に対して撮影解像度で高ダイナミックレンジ化処理を行う。 Preferably, the image processing unit performs image selection using an image that has been subjected to a high dynamic range process with a resolution lower than that of the captured image, and the selected captured image has a high dynamic range at the capturing resolution. Process.
好適には、上記選択部は、操作部を含み、当該操作部の操作に応じて任意のショットを選択する。 Preferably, the selection unit includes an operation unit, and selects an arbitrary shot according to the operation of the operation unit.
好適には、選択画面を表示可能な表示部を有し、上記選択部は、所望される画像を分析して最適と思われる画像を自動選択して最初の選択画面に表示する。 Preferably, a display unit capable of displaying a selection screen is provided, and the selection unit analyzes a desired image, automatically selects an image that seems to be optimal, and displays the image on the first selection screen.
好適には、上記画像処理部は、複数撮影画像において、変化がないとみなせる部分に関しては最後に変化のある部分またはその画像処理結果を再利用する。 Preferably, the image processing unit reuses a portion having a change at the end or a result of the image processing regarding a portion that can be regarded as no change in a plurality of captured images.
本発明の第2の観点に係る撮像装置は、異なる複数枚の画像を連続して撮影する撮像部と、上記撮像部で連続して撮影された異なる複数枚の画像に対して画像処理を行う画像処理部と、上記出力画像を選択可能な選択部と、を有し、上記画像処理部は、上記撮像部に撮影条件を複数段階で変化させて連続的に撮影させ、時間的に隣り合う複数枚の画像を用いて画像処理を行い、それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる。 An imaging apparatus according to a second aspect of the present invention performs image processing on an imaging unit that continuously captures a plurality of different images and a plurality of different images that are continuously captured by the imaging unit. An image processing unit, and a selection unit capable of selecting the output image. The image processing unit causes the imaging unit to continuously shoot by changing shooting conditions in a plurality of stages, and is temporally adjacent. Image processing is performed using a plurality of images, and processing of temporally adjacent images in each image processing is overlapped.
本発明の第3の観点の画像処理方法は、異なる複数枚の画像を、撮影条件を複数段階で変化させて連続的に撮影された、時間的に隣り合う複数枚の画像を用いて画像処理を行う第1ステップと、それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる第2ステップと、上記画像処理された画像を選択して出力する第3ステップとを有する。 The image processing method according to the third aspect of the present invention is an image processing method using a plurality of adjacent images taken in time, which are obtained by continuously capturing a plurality of different images while changing shooting conditions in a plurality of stages. A first step for performing the above, a second step for overlapping the temporally adjacent images in each image processing, and a third step for selecting and outputting the image processed image.
本発明の第4の観点は、異なる複数枚の画像を、撮影条件を複数段階で変化させて連続的に撮影された、時間的に隣り合う複数枚の画像を用いて画像処理を行う第1処理と、それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる第2処理と、上記画像処理された画像を選択して出力する第3処理とを有する画像処理をコンピュータに実行させるプログラムである。 According to a fourth aspect of the present invention, first is to perform image processing using a plurality of different images that are continuously captured by changing shooting conditions in a plurality of stages and are sequentially captured. The computer executes image processing including processing, second processing for overlapping the temporally adjacent images in each image processing, and third processing for selecting and outputting the image processed image. It is a program to let you.
本発明によれば、画像処理部において、撮影条件を複数段階で変化させて連続的に撮影された、時間的に隣り合う複数枚の画像を用いて画像処理が行われる。
そして、画像処理部において、それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップされる。
According to the present invention, in the image processing unit, image processing is performed using a plurality of temporally adjacent images that are continuously photographed while changing photographing conditions in a plurality of stages.
Then, in the image processing unit, the processing of the temporally adjacent images in each image processing is overlapped.
本発明によれば、連続した複数枚撮影を行いその中からユーザの好みの画像を効率よく選択することができる。 According to the present invention, it is possible to capture a plurality of continuous images and efficiently select a user's favorite image from the images.
以下、本発明の実施形態を図面に関連付けて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1は、本発明の実施形態に係る画像処理装置を適用した撮像装置(カメラシステム)の構成例を示す図である。 FIG. 1 is a diagram illustrating a configuration example of an imaging apparatus (camera system) to which an image processing apparatus according to an embodiment of the present invention is applied.
本撮像装置100は、連続的に複数枚の撮影を行い、それぞれの撮影での、たとえば露出量など撮影条件を一定の規則で変化させ、高ダイナミックレンジ化処理を行いながら、ユーザの好みの画像を選択する機能を有している。
撮像装置100は、撮影条件を複数段階で変化させて連続的に撮影し、時間的に隣り合う複数枚の画像を用いて画像処理を行い、それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる画像処理機能を有する。
この画像処理機能において、オーバーラップする処理においては最初に処理した画像における処理結果を次の処理のために再利用する。
The
The
In this image processing function, in the overlapping processing, the processing result in the first processed image is reused for the next processing.
また、撮像装置100は、露出量を複数段階で変化させて連続的に撮影し、時間的に隣り合う複数枚の画像を用いて高ダイナミックレンジ化処理を行い、それぞれの高ダイナミックレンジ化処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる画像処理機能を有する。
撮像装置100は、高ダイナミックレンジ化処理された画像から、ユーザの好みのショットを選択する選択機能を有している。
そして、画像処理機能は、撮影画像よりも解像度を下げて高ダイナミックレンジ化処理を行った画像を用いてユーザの画像選択を行い、選択された撮影画像に対して撮影解像度で高ダイナミックレンジ化処理を行う。
In addition, the
The
The image processing function selects the user's image using an image that has been subjected to a high dynamic range process with a lower resolution than the captured image, and performs a high dynamic range process at the shooting resolution for the selected captured image. I do.
選択機能における上記したユーザの好みのショットの選択は、ユーザ操作で撮影画像を選択させる。撮影後ジョグダイアルをまわすと撮影画像を確認できて好みの画像で選択を行うなどの構成が採用可能である。
あるいは、選択機能は、ユーザの好みの画像を分析して最適と思われる画像を自動選択して最初の選択画面に表示するような構成が採用可能である。
In the selection function, the user's favorite shot is selected by selecting a shot image by a user operation. It is possible to adopt a configuration in which a photographed image can be confirmed by selecting a favorite image by turning the jog dial after photographing.
Alternatively, the selection function may be configured to analyze an image preferred by the user, automatically select an image that seems to be optimal, and display it on the first selection screen.
また、画像処理機能は、複数撮影画像において、変化がないとみなせる部分に関しては最後に変化のある部分またはその画像処理結果を再利用する。 Also, the image processing function reuses the last changed portion or the image processing result for the portion that can be regarded as no change in the plurality of captured images.
このような特徴を有する撮像装置100は、最適シャッターチャンス選択のための連続複数画像撮影における設定連続撮影枚数に対して1枚余分に撮影を行うだけで高ダイナミックレンジ化処理が可能となっている。なお、既存の方法では高ダイナミックレンジ化のためには2倍の枚数の撮影が必要であった。
The
図1の本撮像装置100は、撮像部(カメラ)101、アナログデジタル(A/D)変換器102、中央演算処理装置(CPU)103、プログラムメモリ104、画像メモリ105、フラッシュメモリ106、ジョグダイアル107、画像モニタ108、および共有バス109を有する。
The
これの構成要素のうち、CPU103、プログラムメモリ104、画像メモリ105、およびフラッシュメモリ106により画像処理部が構成される。換言すれば、これらの構成要素により画像処理機能が実現される。
また、ジョグダイアル107は選択部および操作部として機能し、画像モニタ108は表示部として機能する。
Among these components, the
The
図1のシステム構成について説明する。 The system configuration of FIG. 1 will be described.
光学系およびCCDやCMOSイメージセンサ等の撮像素子を含む撮像部(カメラ)101からのアナログ映像情報はA/D変換器102に入力されてディジタル情報に変換される。
A/D変換器102は、CPU103、プログラムメモリ104、画像メモリ105、フラッシュメモリ106、ジョグダイアル107、画像モニタ108とともに共有バス109に接続されている。そして、それぞれがメモリマップドI/OとしてCPU103からアクセス可能となっている。
画像アナログ情報のA/D変換が完了すると、割り込み信号が発生しCPU103に伝達され、プログラムメモリ104に格納された処理プログラムによりCPU103がA/D変換器102からのディジタル情報を画像メモリ105に転送する。
Analog video information from an imaging unit (camera) 101 including an optical system and an imaging device such as a CCD or CMOS image sensor is input to an A /
The A /
When the A / D conversion of the analog image information is completed, an interrupt signal is generated and transmitted to the
ここで、たとえばジョグダイアル107のダイアルの回転角の変化が検出されると、ジョグダイアル107からCPU103に割り込み信号が伝達される。
そして、プログラムメモリ104に格納された処理プログラムによりCPU103がジョグダイアル107の値を取り込み画像選択処理などに利用する。
最終的にユーザが選択した画像はCPU103に付随したDMA(ダイレクトメモリアクセス)機構を用いて画像メモリ105からフラッシュメモリ106に転送し、保存される。
Here, for example, when a change in the rotation angle of the dial of the
Then, the
The image finally selected by the user is transferred from the
また、プレビュー画像の確認などは画像メモリ105から画像モニタ108にDMAによって画像データを転送して表示する。
For confirmation of the preview image, image data is transferred from the
以下に、本実施形態に係る撮像装置100における「多段階露出と好みの画像選択処理」、「低解像度での好みの画像選択」、「好みの自動選択」、および「同一撮影画像データの再利用」の各処理について説明する。
Hereinafter, “multi-stage exposure and favorite image selection processing”, “low-resolution favorite image selection”, “favorite automatic selection”, and “reproduction of the same captured image data” in the
まず、多段階露出と好みの画像選択を用いて典型的な実装とその基本的な動作について、図2に関連付けて説明を行う。
図2は、本実施形態に係る撮像装置100における多段階露出と好みの画像選択処理について説明するための図である。
ここでは、説明の簡単化のために2段階の露出時間の変化による撮影での例を説明する。
First, a typical implementation and its basic operation using multi-step exposure and preferred image selection will be described with reference to FIG.
FIG. 2 is a diagram for describing multi-step exposure and favorite image selection processing in the
Here, for simplification of description, an example of shooting by changing the exposure time in two steps will be described.
撮影する露出時間の第一の露出時間を露出EXP1、第二を露出EXP2とする。
撮影を順番に画像IMG1、IMG2、IMG3、IMG4と連続して行う。
画像処理部を構成するCPU103の制御の下、撮像部101により最初の画像IMG1は露出EXP1、次の画像IMG2は露出EXP2、その次の画像IMG3は露出EXP1、さらにその次の画像は露出EXP2と設定して撮影を行う(ST1〜ST4)。
CPU103は、画像IMG1と画像IMG2から複数撮影画像からの高ダイナミックレンジ化処理を行い、高ダイナミックレンジ化画像IMG12を取得する(ST5,ST6)。
つづいてCPU103は、IMG画像2とIMG画像3から複数撮影画像からの高ダイナミックレンジ化処理を行い、高ダイナミックレンジ化画像IMG23を取得する(ST7,ST8)。
CPU103は、高ダイナミックレンジ化画像IMG12と高ダイナミックレンジ化画像IMG23を用いて、ユーザの好みの画像選択としてジョグダイアル107の操作によりまたは自動選択を行う(ST9)。
これにより、ユーザは、最終的に高ダイナミックレンジで好みの画像を取得する(ST10)。
The first exposure time of the exposure time to be photographed is exposure EXP1, and the second is exposure EXP2.
Photographing is performed sequentially in sequence with the images IMG1, IMG2, IMG3, and IMG4.
Under the control of the
Subsequently, the
The
Thereby, the user finally acquires a favorite image with a high dynamic range (ST10).
高ダイナミックレンジ化処理はハードウエアとしてはひとつであっても複数であってもよい。
複数用意するなら同時に高ダイナミックレンジ化処理を行うことも可能であり、複数撮影画像からの高ダイナミックレンジ化処理の処理時間が長い場合に処理を高速化することが可能となる。
ここでは撮影が4枚までを図示しているが、3枚以上の連続撮影にも同様の処理を行う。同様というのは画像IMG1と画像IMG2で行った処理と同様の処理を画像IMG2と画像IMG3に行ったように、画像IMG3と画像IMG4に関しても連続的に実施するということである。
The high dynamic range processing may be one or more hardware.
If a plurality of images are prepared, the dynamic range can be increased at the same time. If the processing time for increasing the dynamic range from a plurality of captured images is long, the processing speed can be increased.
Although up to four images are shown here, the same processing is performed for three or more images. The same means that the same processing as that performed on the images IMG1 and IMG2 is performed on the images IMG3 and IMG4 as well as the processing performed on the images IMG2 and IMG3.
CPU103は、画像データを入力として一般的なプロセッサのプログラム処理により高ダイナミックレンジ化画像を取得する。
この複数露出画像からの高ダイナミックレンジ化処理としては一般的な方法は複数存在する。
The
There are a plurality of general methods for increasing the dynamic range from the multiple exposure images.
たとえば、CPU103は、撮像素子の受光量がそれぞれ異なるように、露光量を制御しながら複数回露光し、この複数回路の露光毎にそれぞれ画像メモリ105に記憶させ、露光量に応じて画像を合成することにより、高ダイナミックレンジ化画像を取得する。
この技術については、特許文献1(特開平1−319370号公報)等に提案されている。
For example, the
This technique is proposed in Patent Document 1 (Japanese Patent Laid-Open No. 1-319370).
あるいは、CPU103は、低速撮影で手振れのある画像から手振れカーネル(Kernel)を算出してブレの少ない画像を算出する。Richardson-Lucy(RL) algorithmにより直接処理を行うとリンギング(Ringing)が残る。
リンギングを低減するために、原画をそのまま使うのではなく、相対画像量(ブレのある画像から高速撮影画像に対してノイズのある程度除去した画像を差し引いたが像)を用いてRLを適用する。
それでもまだリンギングは残るが人間は小さなスケールのリンギングには感じにくいため、立ち上がりの急峻な部分にできる、目立つ大きなリンギングを除去する。
その方法はゲインコントロールRLアルゴリズムと呼んでいる。ゲインマップ画像(高速撮影画像からノイズのある程度除去した画像の勾配画像)を相対画像量に掛けることで繰り返し処理でのリンギングの増幅を抑えた。
最後にBilaterフィルタ処理を行う。
Alternatively, the
In order to reduce ringing, the original image is not used as it is, but the RL is applied using a relative image amount (an image obtained by subtracting an image obtained by removing a certain amount of noise from a high-speed captured image from a blurred image).
Still, ringing still remains, but humans are less likely to feel small-scale ringing, so remove the noticeable large ringing that can occur at the steepest rise.
This method is called a gain control RL algorithm. The gain map image (gradient image of the image obtained by removing noise from the high-speed photographed image to some extent) is multiplied by the relative image amount to suppress ringing amplification in the repetitive processing.
Finally, Bilater filter processing is performed.
この技術については、非特許文献1(Image Deblurring with Blurred/Noisy Image Pairs (SIGGRAPH 2007))に開示されている。 This technique is disclosed in Non-Patent Document 1 (Image Deblurring with Blurred / Noisy Image Pairs (SIGGRAPH 2007)).
次に、低解像度での好みの画像選択処理を、図3に関連付けて説明する。
図3は、本実施形態に係る撮像装置100における低解像度での好みの画像選択処理を説明するための図である。
Next, preferred image selection processing at low resolution will be described with reference to FIG.
FIG. 3 is a diagram for explaining a favorite image selection process at a low resolution in the
この低解像度での好みの画像選択処理によりインタラクティブなプレビューのために操作を可能とする。
そのために、撮影画像の解像度を落として複数撮影画像からの高ダイナミックレンジ化のための処理量を減らし、ユーザの好みの画像を選択する前の高ダイナミックレンジ化処理の処理時間を短縮する。
This low resolution image selection process allows operation for interactive preview.
For this reason, the processing amount for increasing the dynamic range from a plurality of captured images is reduced by reducing the resolution of the captured images, and the processing time of the high dynamic range processing before selecting the user's favorite image is shortened.
画像処理部を構成するCPU103の制御の下、撮像部101により最初の画像IMG1は露出EXP1、次の画像IMG2は露出EXP2、その次の画像IMG3は露出EXP1、さらにその次の画像は露出EXP2と設定して撮影を行う(ST11〜ST14)。
そして、CPU103は、それぞれの撮影画像に低解像度化処理を行い、低解像度画像を取得する(ST15〜ST18)。
たとえば、画像IMG2の低解像度画像は低解像度画像IMG5とし、画像IMG3の低解像度画像は低解像度画像IMG6とする。
CPU103は、低解像度画像IMG5、IMG6から複数撮影画像からの高ダイナミックレンジ化処理を行い(ST19)、プレビュー用高ダイナミックレンジ化画像を得る(ST20)。
Under the control of the
Then, the
For example, a low resolution image IMG2 is a low resolution image IMG5, and a low resolution image IMG3 is a low resolution image IMG6.
The
なお、CPU103は、画像IMG2とIMG3の処理と画像IMG3とIMG4の処理において画像IMG3の低解像度画像IMG6は同じであるので、画像IMG3と画像IMG4での処理に再利用する。
Note that the
このプレビュー用高ダイナミックレンジ化画像を用いてユーザの好みの画像が確定した段階、すなわち画像を選択した後では、以下の処理となる。
画像処理部を構成するCPU103の制御の下、撮像部101により最初の画像IMG1は露出EXP1、次の画像IMG2は露出EXP2、その次の画像IMG3は露出EXP1、さらにその次の画像は露出EXP2と設定して撮影を行って保存していた内の画像IMG2とIMG3を用いて、CPU103は、原画の解像度での複数撮影画像からの高ダイナミックレンジ化処理を行い(ST25)、高ダイナミックレンジ化画像IMG12を得る(ST26)。
When the user's favorite image is determined using the preview high dynamic range image, that is, after the image is selected, the following processing is performed.
Under the control of the
ここでの低解像度化の処理結果などは画像メモリ105やフラッシュメモリに保持しておいて、オーバーラップする処理での再利用を行うことも処理の効率化に寄与することになる。
In this case, the processing result of the resolution reduction is stored in the
次に、好みの画像自動選択処理について図4に関連付けて説明する。
図4は、ユーザの好みの画像を自動的に選択する例として笑顔を検出する処理との組み合わせの例におけるフローチャートを示す図である。
Next, preferred image automatic selection processing will be described with reference to FIG.
FIG. 4 is a flowchart illustrating an example of a combination with a process of detecting a smile as an example of automatically selecting a user's favorite image.
CPU103は、まずスタートで撮影カウントをゼロに設定、露出EXPをゼロに設定する(ST31)。露出EXPゼロ(0)は特定の露出値の第一の設定値(1/60秒など)である。
露出EXP1は特定の露出値の第二の設定値(1/125秒など)である。
CPU103の制御の下、撮像部101により選択された露出値を用いて撮影を行い(ST32)、撮影画像として撮影カウントをインデックスとした画像として保存する。
CPU103は、撮影カウントをひとつ増加させる(ST33)。
ここで、CPU103は、露出EXPがゼロである場合には(ST34)、露出EXPを1に設定する(ST35)。露出EXPが1である場合には(ST34)、露出EXPをゼロに設定する(ST36)。
これにより、露出値が第一の値と第二の値を交互に設定された撮影を順番に繰り返すことになる。
First, the
The exposure EXP1 is a second set value (such as 1/125 seconds) of a specific exposure value.
Under the control of the
Here, when the exposure EXP is zero (ST34), the
As a result, photographing in which the exposure value is alternately set between the first value and the second value is repeated in order.
ここで、CPU103は、撮影カウントが1であった場合には(ST37)、もう一枚撮影しなければ高ダイナミックレンジ化画像生成処理ができないため、その場合にはステップST32の撮影に戻る。
撮影カウントが1ではなかった場合には(ST37)、高ダイナミックレンジ化画像生成処理が可能である。
したがって、CPU103は、撮影画像[撮影カウント-1]と撮影画像[撮影カウント]を用いて高ダイナミックレンジ化画像生成を行い高ダイナミックレンジ化(D)画像[撮影カウント]に保存する(ST38)。
Here, if the shooting count is 1 (ST37), the
If the shooting count is not 1 (ST37), high dynamic range image generation processing is possible.
Therefore, the
次に、CPU103は、高ダイナミックレンジ化(D)画像[撮影カウント]を用いて笑顔検出を行い(ST39)、笑顔が検出できたか否かを判別する(ST40)。
ステップST40において、笑顔であることが検出できたと判別した場合、CPU103はその検出画像高ダイナミックレンジ化(D)画像[撮影カウント]の表示を行い終わりとなる(ST41)。
ステップST40において、笑顔とは判定できなかったと判別した場合、CPU103は、笑顔検出停止指示があるかどうか確認する(ST42)。
そして、ステップST42において、停止指示があると確認すると、CPU103は、笑顔ではないが最後に撮影した高ダイナミックレンジ化(D)画像[撮影カウント]を表示して終わりとなる(ST41)。
笑顔検出停止指示がないと判別した場合、CPU103は、再びステップST32の撮影に戻って同じ動作を繰り返す。
Next, the
If it is determined in step ST40 that a smile can be detected, the
If it is determined in step ST40 that the smile cannot be determined, the
If it is confirmed in step ST42 that there is a stop instruction, the
If it is determined that there is no smile detection stop instruction, the
笑顔を判定するために、顔検出のための基本データ処理としての目の位置や口の位置などの判定結果はデータ量も少ないため、一旦メモリに保持しておいて、オーバーラップする処理での再利用を行う。 In order to determine smiles, the determination results such as eye position and mouth position as basic data processing for face detection have a small amount of data, so they are temporarily stored in memory and overlapped. Reuse.
次に、同一撮影画像データの再利用について、図5に関連付けて説明する。
図5(A)〜(C)は、本実施形態に係る撮像装置における同一撮影画像データの再利用について説明するための図である。
図5(A)は撮影画像を、図5(B)は処理画像を、図5(C)は保存画像を、それぞれ示している。
Next, reuse of the same captured image data will be described with reference to FIG.
5A to 5C are diagrams for explaining the reuse of the same captured image data in the imaging apparatus according to the present embodiment.
5A shows a captured image, FIG. 5B shows a processed image, and FIG. 5C shows a saved image.
連続撮影を行う場合に、人物撮影における背景画像など同一の映像を撮影することになる場合がある。
このような場合に、撮影条件が2条件であれば一つおきに同じデータが撮影される可能性があり、撮影条件が3条件であれば二つおきに同じ画像データが撮影される可能性がある。
撮影条件が2条件とは、たとえば露出条件がEXP1とEXP2の場合である。
この場合既に述べたように、画像処理部を構成するCPU103の制御の下、撮像部101により最初の画像IMG1は露出EXP1、次の画像IMG2は露出EXP2、その次の画像IMG3は露出EXP1、さらにその次の画像は露出EXP2と設定して撮影を行う。
When continuous shooting is performed, the same video, such as a background image in human shooting, may be shot.
In such a case, if the shooting conditions are two conditions, the same data may be shot every other time, and if the shooting conditions are three conditions, the same image data may be shot every other time. There is.
The shooting condition of 2 conditions is, for example, the case where the exposure conditions are EXP1 and EXP2.
In this case, as already described, under the control of the
CPU103は、撮影画像間の比較を行い同一とみなすことができる撮影画像データに対応する画像処理結果のデータを画像メモリ105やフラッシュメモリ106などに保存する。
そして、CPU103は、撮影条件が2条件の場合などは、図5(A)〜(C)に示すように、つぎのつぎに画像処理する場合にその処理結果を再利用することで、画像処理量が削減する。
また、画像が同じであるかどうかの比較は、撮影条件が2条件であれば一つおきなど、同じ撮影条件での撮影画像間で行うのみにするとよい。
これにより、明らかに異なるであろう画像の比較処理が不要となり、無駄な処理が削減され、画像処理効率が向上する。
さらに、画像そのものを保存して再利用する以外にも、目の位置、口の位置、画像の移動量などの画像の探索条件を保存して再利用することでも画像処理量を減らすことができる。
The
Then, when there are two shooting conditions, as shown in FIGS. 5A to 5C, the
In addition, it is preferable that the comparison of whether or not the images are the same is performed only between the captured images under the same imaging conditions, such as every other imaging condition.
This eliminates the need for image comparison processing that would be clearly different, reduces unnecessary processing, and improves image processing efficiency.
Furthermore, in addition to storing and reusing the image itself, it is possible to reduce the amount of image processing by storing and reusing image search conditions such as eye position, mouth position, and image movement amount. .
以上説明した本実施形態によれば、以下の効果を得ることが可能である。
既存の方法では高ダイナミックレンジ化のためには2倍の枚数の撮影が必要だったが、最適シャッターチャンス選択のための連続複数画像撮影における設定連続撮影枚数に対して1枚余分に撮影を行うだけで高ダイナミックレンジ化処理が可能である。
According to the present embodiment described above, the following effects can be obtained.
The existing method required twice as many shots to achieve a high dynamic range, but one extra shot was taken for the set number of consecutive shots for continuous multiple-image shooting for selecting the optimum shutter chance. Only high dynamic range processing is possible.
さらに補助的機能により下記の効果がある。
プレビューに対しては高速化高ダイナミックレンジ画像表示によりユーザのインタラクティブな操作が快適になる。
ユーザが好みの画像を選択する場合にもより鮮明な画像により正しい判断が可能となる。
ユーザの好みの画像の自動選択においてより正確な選択が可能となる。
Further, the auxiliary function has the following effects.
For the preview, high-speed and high dynamic range image display makes the user's interactive operation comfortable.
Even when the user selects a favorite image, a correct determination can be made with a clearer image.
In the automatic selection of the user's favorite image, more accurate selection is possible.
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、CPU等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー(登録商標)ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
Note that the method described above in detail can be formed as a program according to the above-described procedure and executed by a computer such as a CPU.
Further, such a program can be configured to be accessed by a recording medium such as a semiconductor memory, a magnetic disk, an optical disk, a floppy (registered trademark) disk, or the like, and to execute the program by a computer in which the recording medium is set.
100・・・撮像装置、101・・・撮像部(カメラ)、102・・・アナログデジタル(A/D)変換器、103・・・中央演算処理装置(CPU)、104・・・プログラムメモリ、105・・・画像メモリ、106・・・フラッシュメモリ、107・・・ジョグダイアル、108・・・画像モニタ、109・・・共有バス。
DESCRIPTION OF
Claims (18)
上記出力画像を選択可能な選択部と、を有し、
上記画像処理部は、
撮影条件を複数段階で変化させて連続的に撮影された、時間的に隣り合う複数枚の画像を用いて画像処理を行い、それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる
画像処理装置。 An image processing unit that performs image processing on a plurality of different images that are continuously captured;
A selection unit capable of selecting the output image,
The image processing unit
Image processing is performed using a plurality of temporally adjacent images that have been continuously captured while changing shooting conditions in multiple stages, and the processing of temporally adjacent images in each image processing is overlapped. Image processing device.
オーバーラップする処理においては最初に処理した画像における処理結果を次の処理のために再利用する
請求項1記載の画像処理装置。 The image processing unit
The image processing apparatus according to claim 1, wherein in the overlapping processing, the processing result in the first processed image is reused for the next processing.
露出量を複数段階で変化させて連続的に撮影され、時間的に隣り合う複数枚の画像を用いて高ダイナミックレンジ化処理を行い、それぞれの高ダイナミックレンジ化処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる
請求項1記載の画像処理装置。 The image processing unit
Images are continuously shot with different exposure levels, and a high dynamic range process is performed using multiple images that are temporally adjacent to each other. The image processing apparatus according to claim 1, wherein the processes are overlapped.
高ダイナミックレンジ化処理された画像から、任意のショットを選択する
請求項1記載の画像処理装置。 The selection part
The image processing apparatus according to claim 1, wherein an arbitrary shot is selected from an image that has been subjected to high dynamic range processing.
撮影画像よりも解像度を下げて高ダイナミックレンジ化処理を行った画像を用いて画像選択を行い、選択された撮影画像に対して撮影解像度で高ダイナミックレンジ化処理を行う
請求項4記載の画像処理装置。 The image processing unit
The image processing according to claim 4, wherein image selection is performed using an image that has been subjected to a high dynamic range process with a lower resolution than the captured image, and the high dynamic range process is performed with respect to the selected captured image at a shooting resolution. apparatus.
操作部を含み、当該操作部の操作に応じて任意のショットを選択する
請求項4または5記載の画像処理装置。 The selection part
The image processing apparatus according to claim 4, further comprising an operation unit, wherein an arbitrary shot is selected according to an operation of the operation unit.
上記選択部は、
所望される画像を分析して最適と思われる画像を自動選択して最初の選択画面に表示する
請求項4または5記載の画像処理装置。 It has a display that can display the selection screen,
The selection part
The image processing apparatus according to claim 4 or 5, wherein a desired image is analyzed, and an image that seems to be optimal is automatically selected and displayed on an initial selection screen.
複数撮影画像において、変化がないとみなせる部分に関しては最後に変化のある部分またはその画像処理結果を再利用する
請求項1記載の画像処理装置。 The image processing unit
The image processing apparatus according to claim 1, wherein in a plurality of captured images, a portion that can be regarded as having no change, a portion having a change at the end or an image processing result thereof is reused.
上記撮像部で連続して撮影された異なる複数枚の画像に対して画像処理を行う画像処理部と、
上記出力画像を選択可能な選択部と、を有し、
上記画像処理部は、
上記撮像部に撮影条件を複数段階で変化させて連続的に撮影させ、時間的に隣り合う複数枚の画像を用いて画像処理を行い、それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる
撮像装置。 An imaging unit that continuously captures a plurality of different images;
An image processing unit that performs image processing on a plurality of different images continuously captured by the imaging unit;
A selection unit capable of selecting the output image,
The image processing unit
The above imaging unit changes the shooting conditions in a plurality of stages, continuously shoots, performs image processing using a plurality of temporally adjacent images, and processing of temporally adjacent images in each image processing is as follows. Imaging devices that overlap each other.
オーバーラップする処理においては最初に処理した画像における処理結果を次の処理のために再利用する
請求項9記載の撮像装置。 The image processing unit
The imaging apparatus according to claim 9, wherein in the overlapping processing, the processing result in the first processed image is reused for the next processing.
露出量を複数段階で変化させて連続的に撮影され、時間的に隣り合う複数枚の画像を用いて高ダイナミックレンジ化処理を行い、それぞれの高ダイナミックレンジ化処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる
請求項9記載の撮像装置。 The image processing unit
Images are continuously shot with different exposure levels, and a high dynamic range process is performed using multiple images that are temporally adjacent to each other. The imaging apparatus according to claim 9, wherein the processes are overlapped.
高ダイナミックレンジ化処理された画像から、任意のショットを選択する
請求項9記載の撮像装置。 The selection part
The imaging apparatus according to claim 9, wherein an arbitrary shot is selected from an image that has been subjected to high dynamic range processing.
撮影画像よりも解像度を下げて高ダイナミックレンジ化処理を行った画像を用いて画像選択を行い、選択された撮影画像に対して撮影解像度で高ダイナミックレンジ化処理を行う
請求項12記載の撮像装置。 The image processing unit
13. The imaging apparatus according to claim 12, wherein image selection is performed using an image that has been subjected to high dynamic range processing with a lower resolution than the captured image, and high dynamic range processing is performed with respect to the selected captured image at the photographing resolution. .
操作部を含み、当該操作部の操作に応じて任意のショットを選択する
請求項12または13記載の撮像装置。 The selection part
The imaging apparatus according to claim 12, further comprising an operation unit, wherein an arbitrary shot is selected according to an operation of the operation unit.
上記選択部は、
所望される画像を分析して最適と思われる画像を自動選択して最初の選択画面に表示する
請求項12または13記載の撮像装置。 It has a display that can display the selection screen,
The selection part
The imaging apparatus according to claim 12 or 13, wherein a desired image is analyzed and an image that seems to be optimal is automatically selected and displayed on an initial selection screen.
複数撮影画像において、変化がないとみなせる部分に関しては最後に変化のある部分またはその画像処理結果を再利用する
請求項9記載の撮像装置。 The image processing unit
The imaging apparatus according to claim 9, wherein in a plurality of captured images, a portion that can be regarded as having no change, a portion having a change at the end or an image processing result thereof is reused.
それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる第2ステップと、
上記画像処理された画像を選択して出力する第3ステップと
を有する画像処理方法。 A first step in which image processing is performed using a plurality of images that are temporally adjacent to each other, and the plurality of different images, which are continuously captured by changing the shooting conditions in a plurality of stages;
A second step of overlapping the processing of temporally adjacent images in each image processing;
And a third step of selecting and outputting the image-processed image.
それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる第2処理と、
上記画像処理された画像を選択して出力する第3処理と
を有する画像処理をコンピュータに実行させるプログラム。 A first process in which image processing is performed using a plurality of images temporally adjacent to each other, wherein a plurality of different images are continuously captured by changing shooting conditions in a plurality of stages;
A second process of overlapping each of the processing of the temporally adjacent images in each image processing;
And a third process for selecting and outputting the image-processed image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008129614A JP5012656B2 (en) | 2008-05-16 | 2008-05-16 | Image processing apparatus, imaging apparatus, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008129614A JP5012656B2 (en) | 2008-05-16 | 2008-05-16 | Image processing apparatus, imaging apparatus, image processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009278524A JP2009278524A (en) | 2009-11-26 |
JP5012656B2 true JP5012656B2 (en) | 2012-08-29 |
Family
ID=41443508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008129614A Expired - Fee Related JP5012656B2 (en) | 2008-05-16 | 2008-05-16 | Image processing apparatus, imaging apparatus, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5012656B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011205546A (en) * | 2010-03-26 | 2011-10-13 | Panasonic Corp | Photographing apparatus, image compositing method, and image compositing program |
JP6343200B2 (en) | 2014-07-31 | 2018-06-13 | キヤノン株式会社 | Imaging apparatus, control method therefor, and program |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01319370A (en) * | 1988-06-21 | 1989-12-25 | Konica Corp | Photographic film player |
JPH10150620A (en) * | 1996-11-15 | 1998-06-02 | Casio Comput Co Ltd | Image input device, camera device, image input system and recording medium for them |
JP2001268439A (en) * | 2000-03-16 | 2001-09-28 | Minolta Co Ltd | Preparation method for composite image |
JP2003169259A (en) * | 2001-12-04 | 2003-06-13 | Hitachi Ltd | Imaging unit |
JP2006311340A (en) * | 2005-04-28 | 2006-11-09 | Olympus Imaging Corp | Image display device and digital camera |
JP4979969B2 (en) * | 2006-04-03 | 2012-07-18 | 三星電子株式会社 | Imaging apparatus and imaging method |
JP2008103831A (en) * | 2006-10-17 | 2008-05-01 | Sony Corp | Imaging apparatus |
-
2008
- 2008-05-16 JP JP2008129614A patent/JP5012656B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009278524A (en) | 2009-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2017188760A (en) | Image processing apparatus, image processing method, computer program, and electronic apparatus | |
KR20160044945A (en) | Image photographing appratus | |
JP2008164758A (en) | Image restoration device | |
JP5829122B2 (en) | Imaging apparatus and evaluation value generation apparatus | |
JP2009017030A (en) | Image imaging apparatus, and imaging control method | |
JP2008166947A (en) | Imaging apparatus | |
JP2012084983A (en) | Imaging apparatus and picture imaging method | |
JP5012656B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP2016111568A (en) | Image blur correction control device, imaging apparatus, control method and program thereof | |
JP4894844B2 (en) | Imaging apparatus and imaging operation processing method | |
JP2002247444A (en) | Image processor and recording medium for recording image processing program | |
JP4753856B2 (en) | Motion detection apparatus and method, and imaging apparatus | |
JP5947625B2 (en) | Imaging apparatus and control method thereof | |
JP2007027969A (en) | Imaging apparatus and program | |
JP6498175B2 (en) | Imaging apparatus and control method thereof | |
JP2004180317A (en) | Method for capturing video image and still picture | |
JP6075829B2 (en) | IMAGING DEVICE, CAMERA SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP7442989B2 (en) | Imaging device, control method for the imaging device, and program | |
JP6631589B2 (en) | Imaging device | |
US11832020B2 (en) | Image pickup apparatus, image pickup method, and storage medium | |
JP6779408B2 (en) | Imaging equipment, imaging methods, and programs | |
JP4969371B2 (en) | Imaging device | |
JP2006148456A (en) | Electronic camera | |
JP2003087654A (en) | Imaging apparatus | |
JP4956341B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110330 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120508 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120521 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150615 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150615 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |