JP5012656B2 - Image processing apparatus, imaging apparatus, image processing method, and program - Google Patents

Image processing apparatus, imaging apparatus, image processing method, and program Download PDF

Info

Publication number
JP5012656B2
JP5012656B2 JP2008129614A JP2008129614A JP5012656B2 JP 5012656 B2 JP5012656 B2 JP 5012656B2 JP 2008129614 A JP2008129614 A JP 2008129614A JP 2008129614 A JP2008129614 A JP 2008129614A JP 5012656 B2 JP5012656 B2 JP 5012656B2
Authority
JP
Japan
Prior art keywords
image
image processing
images
processing
dynamic range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008129614A
Other languages
Japanese (ja)
Other versions
JP2009278524A (en
Inventor
睦弘 大森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008129614A priority Critical patent/JP5012656B2/en
Publication of JP2009278524A publication Critical patent/JP2009278524A/en
Application granted granted Critical
Publication of JP5012656B2 publication Critical patent/JP5012656B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Facsimile Scanning Arrangements (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Description

本発明は、連続的に複数枚の画像を撮影し、ダイナミックレンジを拡大した画像を合成する画像処理装置、撮像装置、画像処理方法、およびプログラムに関するものである。   The present invention relates to an image processing apparatus, an imaging apparatus, an image processing method, and a program for continuously capturing a plurality of images and synthesizing images with an expanded dynamic range.

複数枚の画像の撮影を行い、ダイナミックレンジを拡大した画像を合成する方法は種々提案されている（たとえば特許文献１，２，３、非特許文献１参照）   Various methods for taking a plurality of images and synthesizing images with an expanded dynamic range have been proposed (see, for example, Patent Documents 1, 2, 3, and Non-Patent Document 1).

特許文献１には、露光条件を変えた複数枚の撮影画像から撮影に使うイメージセンサのダイナミックレンジを拡大する写真フィルムプレーヤが提案されている。
この写真フィルムプレーヤにおいては、１組の撮像素子に対して露光量が異なるように複数回の露光を行い、その操作によって得た画像を合成し、広ダイナミックレンジ画像を得ている。 Patent Document 1 proposes a photographic film player that expands the dynamic range of an image sensor used for photographing from a plurality of photographed images with different exposure conditions.
In this photographic film player, a set of image sensors is exposed multiple times so that the exposure amounts are different, and images obtained by the operations are combined to obtain a wide dynamic range image.

特許文献２には、所定の露光時間に対応する単位画像データ群を読み出して合成し、合成画像を生成する撮像装置が提案されている。   Patent Document 2 proposes an imaging apparatus that reads and combines unit image data groups corresponding to a predetermined exposure time to generate a combined image.

特許文献３には、異なる露光感度条件で複数枚の画像を撮影させ、撮像された複数枚の画像データを一時的にＤＲＡＭに格納し、複数枚の画像データの中から適正な明るさの一枚の画像データを選択するカメラ装置が提案されている。   In Patent Document 3, a plurality of images are photographed under different exposure sensitivity conditions, a plurality of captured image data are temporarily stored in a DRAM, and an appropriate brightness is selected from the plurality of image data. There has been proposed a camera device that selects one piece of image data.

非特許文献１には、露光時間が長くて暗部まで諧調があるが画像のブレが大きい画像と、露光時間が短く画像のブレが少ないが露光不足で暗部がつぶれた画像を組み合わせて最適な画像を合成する技術が提案されている。   In Non-Patent Document 1, an optimal image is obtained by combining an image having a long exposure time and gradation to a dark portion, but having a large image blur and an image having a short exposure time and little image blur but an underexposure but the dark portion is crushed. A technique for synthesizing these has been proposed.

この技術では、低速撮影で手振れのある画像から手振れカーネル(Kernel)を算出してブレの少ない画像を算出する。Richardson-Lucy(RL) algorithmにより直接処理を行うとリンギング(Ringing)が残る。リンギングを低減するために、原画をそのまま使うのではなく、相対画像量（ブレのある画像から高速撮影画像に対してノイズのある程度除去した画像を差し引いた画像）を用いてＲＬを適用する。
それでもまだリンギングは残るが人間は小さなスケールのリンギングには感じにくいため、立ち上がりの急峻な部分にできる、目立つ大きなリンギングを除去する。
その方法はゲインコントロールＲＬアルゴリズムと呼んでいる。ゲインマップ画像（高速撮影画像からノイズのある程度除去した画像の勾配画像）を相対画像量に掛けることで繰り返し処理でのリンギングの増幅を抑えた。最後にＢｉｌａｔｅｒフィルタ処理を行う。
特開平１−３１９３７０号公報 特開２００７−２８１５４８号公報 特開平１０−１５０６２０号公報 Image Deblurring with Blurred/Noisy Image Pairs (SIGGRAPH 2007) In this technology, a camera shake kernel (Kernel) is calculated from an image with camera shake during low-speed shooting, and an image with less blur is calculated. If processing is performed directly using the Richardson-Lucy (RL) algorithm, ringing remains. In order to reduce ringing, the original image is not used as it is, but the RL is applied using a relative image amount (an image obtained by subtracting an image obtained by removing noise to some extent from a high-speed captured image).
Still, ringing still remains, but humans are less likely to feel small-scale ringing, so remove the noticeable large ringing that can occur at the steepest rise.
This method is called a gain control RL algorithm. The gain map image (gradient image of the image obtained by removing noise from the high-speed photographed image to some extent) is multiplied by the relative image amount to suppress ringing amplification in the repetitive processing. Finally, Bilater filter processing is performed.
JP-A-1-319370 JP 2007-281548 A JP-A-10-150620 Image Deblurring with Blurred / Noisy Image Pairs (SIGGRAPH 2007)

上述したように、複数枚の画像の撮影を行いダイナミックレンジを拡大した画像を合成する方法は存在する。
しかし、それらはいずれも一枚の画像取得を目的として取得画像のダイナミックレンジを拡大するものである。
したがって、連続した複数枚撮影を行いその中からユーザの好みの画像を選択する場合の効率が悪かった。 As described above, there is a method for synthesizing an image with a larger dynamic range by capturing a plurality of images.
However, they all increase the dynamic range of the acquired image for the purpose of acquiring one image.
Therefore, the efficiency when taking a plurality of consecutive images and selecting a user's favorite image from the images is poor.

本発明は、連続した複数枚撮影を行いその中からユーザの好みの画像を効率よく選択することが可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することにある。   An object of the present invention is to provide an image processing apparatus, an imaging apparatus, an image processing method, and a program capable of capturing a plurality of consecutive images and efficiently selecting a user's favorite image from the images.

本発明の第１の観点の画像処理装置は、連続して撮影された異なる複数枚の画像に対して画像処理を行う画像処理部と、上記出力画像を選択可能な選択部と、を有し、上記画像処理部は、撮影条件を複数段階で変化させて連続的に撮影された、時間的に隣り合う複数枚の画像を用いて画像処理を行い、それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる。   An image processing apparatus according to a first aspect of the present invention includes an image processing unit that performs image processing on a plurality of different images that are continuously captured, and a selection unit that can select the output image. The image processing unit performs image processing using a plurality of temporally adjacent images that are continuously photographed while changing shooting conditions in a plurality of stages, and is temporally adjacent in each image processing. Each image processing is overlapped.

好適には、上記画像処理部は、オーバーラップする処理においては最初に処理した画像における処理結果を次の処理のために再利用する。   Preferably, in the overlapping process, the image processing unit reuses the processing result of the first processed image for the next process.

好適には、上記画像処理部は、露出量を複数段階で変化させて連続的に撮影され、時間的に隣り合う複数枚の画像を用いて高ダイナミックレンジ化処理を行い、それぞれの高ダイナミックレンジ化処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる。   Preferably, the image processing unit continuously captures images by changing the exposure amount in a plurality of stages, performs a high dynamic range process using a plurality of temporally adjacent images, The processing of temporally adjacent images in the conversion processing is overlapped.

好適には、上記選択部は、高ダイナミックレンジ化処理された画像から、任意のショットを選択する。   Preferably, the selection unit selects an arbitrary shot from the image subjected to the high dynamic range processing.

好適には、上記画像処理部は、撮影画像よりも解像度を下げて高ダイナミックレンジ化処理を行った画像を用いて画像選択を行い、選択された撮影画像に対して撮影解像度で高ダイナミックレンジ化処理を行う。   Preferably, the image processing unit performs image selection using an image that has been subjected to a high dynamic range process with a resolution lower than that of the captured image, and the selected captured image has a high dynamic range at the capturing resolution. Process.

好適には、上記選択部は、操作部を含み、当該操作部の操作に応じて任意のショットを選択する。   Preferably, the selection unit includes an operation unit, and selects an arbitrary shot according to the operation of the operation unit.

好適には、選択画面を表示可能な表示部を有し、上記選択部は、所望される画像を分析して最適と思われる画像を自動選択して最初の選択画面に表示する。   Preferably, a display unit capable of displaying a selection screen is provided, and the selection unit analyzes a desired image, automatically selects an image that seems to be optimal, and displays the image on the first selection screen.

好適には、上記画像処理部は、複数撮影画像において、変化がないとみなせる部分に関しては最後に変化のある部分またはその画像処理結果を再利用する。   Preferably, the image processing unit reuses a portion having a change at the end or a result of the image processing regarding a portion that can be regarded as no change in a plurality of captured images.

本発明の第２の観点に係る撮像装置は、異なる複数枚の画像を連続して撮影する撮像部と、上記撮像部で連続して撮影された異なる複数枚の画像に対して画像処理を行う画像処理部と、上記出力画像を選択可能な選択部と、を有し、上記画像処理部は、上記撮像部に撮影条件を複数段階で変化させて連続的に撮影させ、時間的に隣り合う複数枚の画像を用いて画像処理を行い、それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる。   An imaging apparatus according to a second aspect of the present invention performs image processing on an imaging unit that continuously captures a plurality of different images and a plurality of different images that are continuously captured by the imaging unit. An image processing unit, and a selection unit capable of selecting the output image. The image processing unit causes the imaging unit to continuously shoot by changing shooting conditions in a plurality of stages, and is temporally adjacent. Image processing is performed using a plurality of images, and processing of temporally adjacent images in each image processing is overlapped.

本発明の第３の観点の画像処理方法は、異なる複数枚の画像を、撮影条件を複数段階で変化させて連続的に撮影された、時間的に隣り合う複数枚の画像を用いて画像処理を行う第１ステップと、それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる第２ステップと、上記画像処理された画像を選択して出力する第３ステップとを有する。   The image processing method according to the third aspect of the present invention is an image processing method using a plurality of adjacent images taken in time, which are obtained by continuously capturing a plurality of different images while changing shooting conditions in a plurality of stages. A first step for performing the above, a second step for overlapping the temporally adjacent images in each image processing, and a third step for selecting and outputting the image processed image.

本発明の第４の観点は、異なる複数枚の画像を、撮影条件を複数段階で変化させて連続的に撮影された、時間的に隣り合う複数枚の画像を用いて画像処理を行う第１処理と、それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる第２処理と、上記画像処理された画像を選択して出力する第３処理とを有する画像処理をコンピュータに実行させるプログラムである。   According to a fourth aspect of the present invention, first is to perform image processing using a plurality of different images that are continuously captured by changing shooting conditions in a plurality of stages and are sequentially captured. The computer executes image processing including processing, second processing for overlapping the temporally adjacent images in each image processing, and third processing for selecting and outputting the image processed image. It is a program to let you.

本発明によれば、画像処理部において、撮影条件を複数段階で変化させて連続的に撮影された、時間的に隣り合う複数枚の画像を用いて画像処理が行われる。
そして、画像処理部において、それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップされる。 According to the present invention, in the image processing unit, image processing is performed using a plurality of temporally adjacent images that are continuously photographed while changing photographing conditions in a plurality of stages.
Then, in the image processing unit, the processing of the temporally adjacent images in each image processing is overlapped.

本発明によれば、連続した複数枚撮影を行いその中からユーザの好みの画像を効率よく選択することができる。   According to the present invention, it is possible to capture a plurality of continuous images and efficiently select a user's favorite image from the images.

以下、本発明の実施形態を図面に関連付けて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１は、本発明の実施形態に係る画像処理装置を適用した撮像装置（カメラシステム）の構成例を示す図である。   FIG. 1 is a diagram illustrating a configuration example of an imaging apparatus (camera system) to which an image processing apparatus according to an embodiment of the present invention is applied.

本撮像装置１００は、連続的に複数枚の撮影を行い、それぞれの撮影での、たとえば露出量など撮影条件を一定の規則で変化させ、高ダイナミックレンジ化処理を行いながら、ユーザの好みの画像を選択する機能を有している。
撮像装置１００は、撮影条件を複数段階で変化させて連続的に撮影し、時間的に隣り合う複数枚の画像を用いて画像処理を行い、それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる画像処理機能を有する。
この画像処理機能において、オーバーラップする処理においては最初に処理した画像における処理結果を次の処理のために再利用する。 The imaging apparatus 100 continuously shoots a plurality of images, changes shooting conditions such as exposure amount in each shooting according to a certain rule, performs a high dynamic range process, and performs a user's favorite image. It has a function to select.
The imaging apparatus 100 continuously shoots while changing shooting conditions in a plurality of stages, performs image processing using a plurality of temporally adjacent images, and processes temporally adjacent images in each image processing. Each have an image processing function for overlapping.
In this image processing function, in the overlapping processing, the processing result in the first processed image is reused for the next processing.

また、撮像装置１００は、露出量を複数段階で変化させて連続的に撮影し、時間的に隣り合う複数枚の画像を用いて高ダイナミックレンジ化処理を行い、それぞれの高ダイナミックレンジ化処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる画像処理機能を有する。
撮像装置１００は、高ダイナミックレンジ化処理された画像から、ユーザの好みのショットを選択する選択機能を有している。
そして、画像処理機能は、撮影画像よりも解像度を下げて高ダイナミックレンジ化処理を行った画像を用いてユーザの画像選択を行い、選択された撮影画像に対して撮影解像度で高ダイナミックレンジ化処理を行う。 In addition, the imaging apparatus 100 continuously captures images by changing the exposure amount in a plurality of stages, performs a high dynamic range process using a plurality of temporally adjacent images, and each of the high dynamic range processes. The processing of temporally adjacent images has an image processing function for overlapping each other.
The imaging apparatus 100 has a selection function of selecting a user's favorite shot from an image that has been subjected to high dynamic range processing.
The image processing function selects the user's image using an image that has been subjected to a high dynamic range process with a lower resolution than the captured image, and performs a high dynamic range process at the shooting resolution for the selected captured image. I do.

選択機能における上記したユーザの好みのショットの選択は、ユーザ操作で撮影画像を選択させる。撮影後ジョグダイアルをまわすと撮影画像を確認できて好みの画像で選択を行うなどの構成が採用可能である。
あるいは、選択機能は、ユーザの好みの画像を分析して最適と思われる画像を自動選択して最初の選択画面に表示するような構成が採用可能である。 In the selection function, the user's favorite shot is selected by selecting a shot image by a user operation. It is possible to adopt a configuration in which a photographed image can be confirmed by selecting a favorite image by turning the jog dial after photographing.
Alternatively, the selection function may be configured to analyze an image preferred by the user, automatically select an image that seems to be optimal, and display it on the first selection screen.

また、画像処理機能は、複数撮影画像において、変化がないとみなせる部分に関しては最後に変化のある部分またはその画像処理結果を再利用する。   Also, the image processing function reuses the last changed portion or the image processing result for the portion that can be regarded as no change in the plurality of captured images.

このような特徴を有する撮像装置１００は、最適シャッターチャンス選択のための連続複数画像撮影における設定連続撮影枚数に対して１枚余分に撮影を行うだけで高ダイナミックレンジ化処理が可能となっている。なお、既存の方法では高ダイナミックレンジ化のためには２倍の枚数の撮影が必要であった。   The image pickup apparatus 100 having such a feature can perform a high dynamic range process by simply taking one extra image with respect to the set number of continuous shots in continuous multiple image shooting for selecting an optimal shutter chance. . In the existing method, it is necessary to shoot twice as many images in order to increase the dynamic range.

図１の本撮像装置１００は、撮像部（カメラ）１０１、アナログデジタル（Ａ／Ｄ）変換器１０２、中央演算処理装置（ＣＰＵ）１０３、プログラムメモリ１０４、画像メモリ１０５、フラッシュメモリ１０６、ジョグダイアル１０７、画像モニタ１０８、および共有バス１０９を有する。   The imaging apparatus 100 in FIG. 1 includes an imaging unit (camera) 101, an analog / digital (A / D) converter 102, a central processing unit (CPU) 103, a program memory 104, an image memory 105, a flash memory 106, and a jog dial 107. An image monitor 108 and a shared bus 109.

これの構成要素のうち、ＣＰＵ１０３、プログラムメモリ１０４、画像メモリ１０５、およびフラッシュメモリ１０６により画像処理部が構成される。換言すれば、これらの構成要素により画像処理機能が実現される。
また、ジョグダイアル１０７は選択部および操作部として機能し、画像モニタ１０８は表示部として機能する。 Among these components, the CPU 103, the program memory 104, the image memory 105, and the flash memory 106 constitute an image processing unit. In other words, an image processing function is realized by these components.
The jog dial 107 functions as a selection unit and an operation unit, and the image monitor 108 functions as a display unit.

図１のシステム構成について説明する。   The system configuration of FIG. 1 will be described.

光学系およびＣＣＤやＣＭＯＳイメージセンサ等の撮像素子を含む撮像部（カメラ）１０１からのアナログ映像情報はＡ／Ｄ変換器１０２に入力されてディジタル情報に変換される。
Ａ／Ｄ変換器１０２は、ＣＰＵ１０３、プログラムメモリ１０４、画像メモリ１０５、フラッシュメモリ１０６、ジョグダイアル１０７、画像モニタ１０８とともに共有バス１０９に接続されている。そして、それぞれがメモリマップドＩ／ＯとしてＣＰＵ１０３からアクセス可能となっている。
画像アナログ情報のＡ／Ｄ変換が完了すると、割り込み信号が発生しＣＰＵ１０３に伝達され、プログラムメモリ１０４に格納された処理プログラムによりＣＰＵ１０３がＡ／Ｄ変換器１０２からのディジタル情報を画像メモリ１０５に転送する。 Analog video information from an imaging unit (camera) 101 including an optical system and an imaging device such as a CCD or CMOS image sensor is input to an A / D converter 102 and converted into digital information.
The A / D converter 102 is connected to a shared bus 109 together with a CPU 103, a program memory 104, an image memory 105, a flash memory 106, a jog dial 107, and an image monitor 108. Each can be accessed from the CPU 103 as a memory mapped I / O.
When the A / D conversion of the analog image information is completed, an interrupt signal is generated and transmitted to the CPU 103, and the CPU 103 transfers the digital information from the A / D converter 102 to the image memory 105 according to the processing program stored in the program memory 104. To do.

ここで、たとえばジョグダイアル１０７のダイアルの回転角の変化が検出されると、ジョグダイアル１０７からＣＰＵ１０３に割り込み信号が伝達される。
そして、プログラムメモリ１０４に格納された処理プログラムによりＣＰＵ１０３がジョグダイアル１０７の値を取り込み画像選択処理などに利用する。
最終的にユーザが選択した画像はＣＰＵ１０３に付随したＤＭＡ（ダイレクトメモリアクセス)機構を用いて画像メモリ１０５からフラッシュメモリ１０６に転送し、保存される。 Here, for example, when a change in the rotation angle of the dial of the jog dial 107 is detected, an interrupt signal is transmitted from the jog dial 107 to the CPU 103.
Then, the CPU 103 takes in the value of the jog dial 107 by the processing program stored in the program memory 104 and uses it for the image selection processing.
The image finally selected by the user is transferred from the image memory 105 to the flash memory 106 using a DMA (direct memory access) mechanism attached to the CPU 103 and stored.

また、プレビュー画像の確認などは画像メモリ１０５から画像モニタ１０８にＤＭＡによって画像データを転送して表示する。   For confirmation of the preview image, image data is transferred from the image memory 105 to the image monitor 108 by DMA and displayed.

以下に、本実施形態に係る撮像装置１００における「多段階露出と好みの画像選択処理」、「低解像度での好みの画像選択」、「好みの自動選択」、および「同一撮影画像データの再利用」の各処理について説明する。   Hereinafter, “multi-stage exposure and favorite image selection processing”, “low-resolution favorite image selection”, “favorite automatic selection”, and “reproduction of the same captured image data” in the imaging apparatus 100 according to the present embodiment. Each process of “use” will be described.

まず、多段階露出と好みの画像選択を用いて典型的な実装とその基本的な動作について、図２に関連付けて説明を行う。
図２は、本実施形態に係る撮像装置１００における多段階露出と好みの画像選択処理について説明するための図である。
ここでは、説明の簡単化のために２段階の露出時間の変化による撮影での例を説明する。 First, a typical implementation and its basic operation using multi-step exposure and preferred image selection will be described with reference to FIG.
FIG. 2 is a diagram for describing multi-step exposure and favorite image selection processing in the imaging apparatus 100 according to the present embodiment.
Here, for simplification of description, an example of shooting by changing the exposure time in two steps will be described.

撮影する露出時間の第一の露出時間を露出ＥＸＰ１、第二を露出ＥＸＰ２とする。
撮影を順番に画像ＩＭＧ１、ＩＭＧ２、ＩＭＧ３、ＩＭＧ４と連続して行う。
画像処理部を構成するＣＰＵ１０３の制御の下、撮像部１０１により最初の画像ＩＭＧ１は露出ＥＸＰ１、次の画像ＩＭＧ２は露出ＥＸＰ２、その次の画像ＩＭＧ３は露出ＥＸＰ１、さらにその次の画像は露出ＥＸＰ２と設定して撮影を行う（ＳＴ１〜ＳＴ４）。
ＣＰＵ１０３は、画像ＩＭＧ１と画像ＩＭＧ２から複数撮影画像からの高ダイナミックレンジ化処理を行い、高ダイナミックレンジ化画像ＩＭＧ１２を取得する（ＳＴ５，ＳＴ６）。
つづいてＣＰＵ１０３は、ＩＭＧ画像２とＩＭＧ画像３から複数撮影画像からの高ダイナミックレンジ化処理を行い、高ダイナミックレンジ化画像ＩＭＧ２３を取得する（ＳＴ７，ＳＴ８）。
ＣＰＵ１０３は、高ダイナミックレンジ化画像ＩＭＧ１２と高ダイナミックレンジ化画像ＩＭＧ２３を用いて、ユーザの好みの画像選択としてジョグダイアル１０７の操作によりまたは自動選択を行う（ＳＴ９）。
これにより、ユーザは、最終的に高ダイナミックレンジで好みの画像を取得する（ＳＴ１０）。 The first exposure time of the exposure time to be photographed is exposure EXP1, and the second is exposure EXP2.
Photographing is performed sequentially in sequence with the images IMG1, IMG2, IMG3, and IMG4.
Under the control of the CPU 103 constituting the image processing unit, the imaging unit 101 sets the first image IMG1 to exposure EXP1, the next image IMG2 to exposure EXP2, the next image IMG3 to exposure EXP1, and the next image to exposure EXP2. Set and take a picture (ST1 to ST4).
CPU 103 performs high dynamic range processing from a plurality of captured images from images IMG1 and IMG2, and acquires high dynamic range image IMG12 (ST5, ST6).
Subsequently, the CPU 103 performs high dynamic range processing from a plurality of captured images from the IMG image 2 and the IMG image 3, and acquires the high dynamic range image IMG23 (ST7, ST8).
The CPU 103 uses the high dynamic range image IMG12 and the high dynamic range image IMG23 to perform an automatic selection by operating the jog dial 107 as a user's favorite image selection (ST9).
Thereby, the user finally acquires a favorite image with a high dynamic range (ST10).

高ダイナミックレンジ化処理はハードウエアとしてはひとつであっても複数であってもよい。
複数用意するなら同時に高ダイナミックレンジ化処理を行うことも可能であり、複数撮影画像からの高ダイナミックレンジ化処理の処理時間が長い場合に処理を高速化することが可能となる。
ここでは撮影が４枚までを図示しているが、３枚以上の連続撮影にも同様の処理を行う。同様というのは画像ＩＭＧ１と画像ＩＭＧ２で行った処理と同様の処理を画像ＩＭＧ２と画像ＩＭＧ３に行ったように、画像ＩＭＧ３と画像ＩＭＧ４に関しても連続的に実施するということである。 The high dynamic range processing may be one or more hardware.
If a plurality of images are prepared, the dynamic range can be increased at the same time. If the processing time for increasing the dynamic range from a plurality of captured images is long, the processing speed can be increased.
Although up to four images are shown here, the same processing is performed for three or more images. The same means that the same processing as that performed on the images IMG1 and IMG2 is performed on the images IMG3 and IMG4 as well as the processing performed on the images IMG2 and IMG3.

ＣＰＵ１０３は、画像データを入力として一般的なプロセッサのプログラム処理により高ダイナミックレンジ化画像を取得する。
この複数露出画像からの高ダイナミックレンジ化処理としては一般的な方法は複数存在する。 The CPU 103 obtains a high dynamic range image by program processing of a general processor with image data as input.
There are a plurality of general methods for increasing the dynamic range from the multiple exposure images.

たとえば、ＣＰＵ１０３は、撮像素子の受光量がそれぞれ異なるように、露光量を制御しながら複数回露光し、この複数回路の露光毎にそれぞれ画像メモリ１０５に記憶させ、露光量に応じて画像を合成することにより、高ダイナミックレンジ化画像を取得する。
この技術については、特許文献１（特開平１−３１９３７０号公報）等に提案されている。 For example, the CPU 103 performs exposure a plurality of times while controlling the exposure amount so that the received light amounts of the image sensors are different, and stores them in the image memory 105 for each exposure of the plurality of circuits, and synthesizes an image according to the exposure amount. By doing so, an image with a high dynamic range is obtained.
This technique is proposed in Patent Document 1 (Japanese Patent Laid-Open No. 1-319370).

あるいは、ＣＰＵ１０３は、低速撮影で手振れのある画像から手振れカーネル(Kernel)を算出してブレの少ない画像を算出する。Richardson-Lucy(RL) algorithmにより直接処理を行うとリンギング(Ringing)が残る。
リンギングを低減するために、原画をそのまま使うのではなく、相対画像量（ブレのある画像から高速撮影画像に対してノイズのある程度除去した画像を差し引いたが像）を用いてＲＬを適用する。
それでもまだリンギングは残るが人間は小さなスケールのリンギングには感じにくいため、立ち上がりの急峻な部分にできる、目立つ大きなリンギングを除去する。
その方法はゲインコントロールＲＬアルゴリズムと呼んでいる。ゲインマップ画像（高速撮影画像からノイズのある程度除去した画像の勾配画像）を相対画像量に掛けることで繰り返し処理でのリンギングの増幅を抑えた。
最後にＢｉｌａｔｅｒフィルタ処理を行う。 Alternatively, the CPU 103 calculates a camera shake kernel from an image with camera shake during low-speed shooting, and calculates an image with less blur. If processing is performed directly using the Richardson-Lucy (RL) algorithm, ringing remains.
In order to reduce ringing, the original image is not used as it is, but the RL is applied using a relative image amount (an image obtained by subtracting an image obtained by removing a certain amount of noise from a high-speed captured image from a blurred image).
Still, ringing still remains, but humans are less likely to feel small-scale ringing, so remove the noticeable large ringing that can occur at the steepest rise.
This method is called a gain control RL algorithm. The gain map image (gradient image of the image obtained by removing noise from the high-speed photographed image to some extent) is multiplied by the relative image amount to suppress ringing amplification in the repetitive processing.
Finally, Bilater filter processing is performed.

この技術については、非特許文献１（Image Deblurring with Blurred/Noisy Image Pairs (SIGGRAPH 2007)）に開示されている。   This technique is disclosed in Non-Patent Document 1 (Image Deblurring with Blurred / Noisy Image Pairs (SIGGRAPH 2007)).

次に、低解像度での好みの画像選択処理を、図３に関連付けて説明する。
図３は、本実施形態に係る撮像装置１００における低解像度での好みの画像選択処理を説明するための図である。 Next, preferred image selection processing at low resolution will be described with reference to FIG.
FIG. 3 is a diagram for explaining a favorite image selection process at a low resolution in the imaging apparatus 100 according to the present embodiment.

この低解像度での好みの画像選択処理によりインタラクティブなプレビューのために操作を可能とする。
そのために、撮影画像の解像度を落として複数撮影画像からの高ダイナミックレンジ化のための処理量を減らし、ユーザの好みの画像を選択する前の高ダイナミックレンジ化処理の処理時間を短縮する。 This low resolution image selection process allows operation for interactive preview.
For this reason, the processing amount for increasing the dynamic range from a plurality of captured images is reduced by reducing the resolution of the captured images, and the processing time of the high dynamic range processing before selecting the user's favorite image is shortened.

画像処理部を構成するＣＰＵ１０３の制御の下、撮像部１０１により最初の画像ＩＭＧ１は露出ＥＸＰ１、次の画像ＩＭＧ２は露出ＥＸＰ２、その次の画像ＩＭＧ３は露出ＥＸＰ１、さらにその次の画像は露出ＥＸＰ２と設定して撮影を行う（ＳＴ１１〜ＳＴ１４）。
そして、ＣＰＵ１０３は、それぞれの撮影画像に低解像度化処理を行い、低解像度画像を取得する（ＳＴ１５〜ＳＴ１８）。
たとえば、画像ＩＭＧ２の低解像度画像は低解像度画像ＩＭＧ５とし、画像ＩＭＧ３の低解像度画像は低解像度画像ＩＭＧ６とする。
ＣＰＵ１０３は、低解像度画像ＩＭＧ５、ＩＭＧ６から複数撮影画像からの高ダイナミックレンジ化処理を行い（ＳＴ１９）、プレビュー用高ダイナミックレンジ化画像を得る（ＳＴ２０）。 Under the control of the CPU 103 constituting the image processing unit, the imaging unit 101 sets the first image IMG1 to exposure EXP1, the next image IMG2 to exposure EXP2, the next image IMG3 to exposure EXP1, and the next image to exposure EXP2. Set and take a picture (ST11 to ST14).
Then, the CPU 103 performs a resolution reduction process on each captured image and acquires a low resolution image (ST15 to ST18).
For example, a low resolution image IMG2 is a low resolution image IMG5, and a low resolution image IMG3 is a low resolution image IMG6.
The CPU 103 performs high dynamic range processing from a plurality of captured images from the low resolution images IMG5 and IMG6 (ST19), and obtains a preview high dynamic range image (ST20).

なお、ＣＰＵ１０３は、画像ＩＭＧ２とＩＭＧ３の処理と画像ＩＭＧ３とＩＭＧ４の処理において画像ＩＭＧ３の低解像度画像ＩＭＧ６は同じであるので、画像ＩＭＧ３と画像ＩＭＧ４での処理に再利用する。   Note that the CPU 103 reuses the low-resolution image IMG6 of the image IMG3 in the processing of the images IMG2 and IMG3 and the processing of the images IMG3 and IMG4 because they are the same in the processing of the images IMG3 and IMG4.

このプレビュー用高ダイナミックレンジ化画像を用いてユーザの好みの画像が確定した段階、すなわち画像を選択した後では、以下の処理となる。
画像処理部を構成するＣＰＵ１０３の制御の下、撮像部１０１により最初の画像ＩＭＧ１は露出ＥＸＰ１、次の画像ＩＭＧ２は露出ＥＸＰ２、その次の画像ＩＭＧ３は露出ＥＸＰ１、さらにその次の画像は露出ＥＸＰ２と設定して撮影を行って保存していた内の画像ＩＭＧ２とＩＭＧ３を用いて、ＣＰＵ１０３は、原画の解像度での複数撮影画像からの高ダイナミックレンジ化処理を行い（ＳＴ２５）、高ダイナミックレンジ化画像ＩＭＧ１２を得る（ＳＴ２６）。 When the user's favorite image is determined using the preview high dynamic range image, that is, after the image is selected, the following processing is performed.
Under the control of the CPU 103 constituting the image processing unit, the imaging unit 101 sets the first image IMG1 to exposure EXP1, the next image IMG2 to exposure EXP2, the next image IMG3 to exposure EXP1, and the next image to exposure EXP2. Using the images IMG2 and IMG3 that have been set, photographed and stored, the CPU 103 performs high dynamic range processing from a plurality of photographed images at the resolution of the original image (ST25), and high dynamic range image IMG12 is obtained (ST26).

ここでの低解像度化の処理結果などは画像メモリ１０５やフラッシュメモリに保持しておいて、オーバーラップする処理での再利用を行うことも処理の効率化に寄与することになる。   In this case, the processing result of the resolution reduction is stored in the image memory 105 or the flash memory, and reuse in the overlapping processing also contributes to the efficiency of the processing.

次に、好みの画像自動選択処理について図４に関連付けて説明する。
図４は、ユーザの好みの画像を自動的に選択する例として笑顔を検出する処理との組み合わせの例におけるフローチャートを示す図である。 Next, preferred image automatic selection processing will be described with reference to FIG.
FIG. 4 is a flowchart illustrating an example of a combination with a process of detecting a smile as an example of automatically selecting a user's favorite image.

ＣＰＵ１０３は、まずスタートで撮影カウントをゼロに設定、露出ＥＸＰをゼロに設定する（ＳＴ３１）。露出ＥＸＰゼロ（０）は特定の露出値の第一の設定値（１/６０秒など）である。
露出ＥＸＰ１は特定の露出値の第二の設定値（１/１２５秒など）である。
ＣＰＵ１０３の制御の下、撮像部１０１により選択された露出値を用いて撮影を行い（ＳＴ３２）、撮影画像として撮影カウントをインデックスとした画像として保存する。
ＣＰＵ１０３は、撮影カウントをひとつ増加させる（ＳＴ３３）。
ここで、ＣＰＵ１０３は、露出ＥＸＰがゼロである場合には（ＳＴ３４）、露出ＥＸＰを１に設定する（ＳＴ３５）。露出ＥＸＰが１である場合には（ＳＴ３４）、露出ＥＸＰをゼロに設定する（ＳＴ３６）。
これにより、露出値が第一の値と第二の値を交互に設定された撮影を順番に繰り返すことになる。 First, the CPU 103 sets the shooting count to zero and sets the exposure EXP to zero at start (ST31). The exposure EXP zero (0) is a first set value (such as 1/60 second) of a specific exposure value.
The exposure EXP1 is a second set value (such as 1/125 seconds) of a specific exposure value.
Under the control of the CPU 103, shooting is performed using the exposure value selected by the imaging unit 101 (ST32), and the captured image is stored as an image with the shooting count as an index.
CPU 103 increments the shooting count by one (ST33).
Here, when the exposure EXP is zero (ST34), the CPU 103 sets the exposure EXP to 1 (ST35). If the exposure EXP is 1 (ST34), the exposure EXP is set to zero (ST36).
As a result, photographing in which the exposure value is alternately set between the first value and the second value is repeated in order.

ここで、ＣＰＵ１０３は、撮影カウントが１であった場合には（ＳＴ３７）、もう一枚撮影しなければ高ダイナミックレンジ化画像生成処理ができないため、その場合にはステップＳＴ３２の撮影に戻る。
撮影カウントが１ではなかった場合には（ＳＴ３７）、高ダイナミックレンジ化画像生成処理が可能である。
したがって、ＣＰＵ１０３は、撮影画像[撮影カウント-1]と撮影画像[撮影カウント]を用いて高ダイナミックレンジ化画像生成を行い高ダイナミックレンジ化（Ｄ）画像[撮影カウント]に保存する（ＳＴ３８）。 Here, if the shooting count is 1 (ST37), the CPU 103 cannot return to shooting in step ST32 because the high dynamic range image generation processing cannot be performed unless another image is shot.
If the shooting count is not 1 (ST37), high dynamic range image generation processing is possible.
Therefore, the CPU 103 generates a high dynamic range image using the captured image [capture count-1] and the captured image [capture count], and stores it in the high dynamic range (D) image [capture count] (ST38).

次に、ＣＰＵ１０３は、高ダイナミックレンジ化（Ｄ）画像[撮影カウント]を用いて笑顔検出を行い（ＳＴ３９）、笑顔が検出できたか否かを判別する（ＳＴ４０）。
ステップＳＴ４０において、笑顔であることが検出できたと判別した場合、ＣＰＵ１０３はその検出画像高ダイナミックレンジ化（Ｄ）画像[撮影カウント]の表示を行い終わりとなる（ＳＴ４１）。
ステップＳＴ４０において、笑顔とは判定できなかったと判別した場合、ＣＰＵ１０３は、笑顔検出停止指示があるかどうか確認する（ＳＴ４２）。
そして、ステップＳＴ４２において、停止指示があると確認すると、ＣＰＵ１０３は、笑顔ではないが最後に撮影した高ダイナミックレンジ化（Ｄ）画像[撮影カウント]を表示して終わりとなる（ＳＴ４１）。
笑顔検出停止指示がないと判別した場合、ＣＰＵ１０３は、再びステップＳＴ３２の撮影に戻って同じ動作を繰り返す。 Next, the CPU 103 performs smile detection using the high dynamic range (D) image [shooting count] (ST39), and determines whether a smile has been detected (ST40).
If it is determined in step ST40 that a smile can be detected, the CPU 103 displays the detected image with a high dynamic range (D) image [shooting count] and ends (ST41).
If it is determined in step ST40 that the smile cannot be determined, the CPU 103 checks whether there is a smile detection stop instruction (ST42).
If it is confirmed in step ST42 that there is a stop instruction, the CPU 103 displays the image (photographing count) having a higher dynamic range (D) that was last shot, but not the smile, and ends (ST41).
If it is determined that there is no smile detection stop instruction, the CPU 103 returns to step ST32 and repeats the same operation.

笑顔を判定するために、顔検出のための基本データ処理としての目の位置や口の位置などの判定結果はデータ量も少ないため、一旦メモリに保持しておいて、オーバーラップする処理での再利用を行う。   In order to determine smiles, the determination results such as eye position and mouth position as basic data processing for face detection have a small amount of data, so they are temporarily stored in memory and overlapped. Reuse.

次に、同一撮影画像データの再利用について、図５に関連付けて説明する。
図５（Ａ）〜（Ｃ）は、本実施形態に係る撮像装置における同一撮影画像データの再利用について説明するための図である。
図５（Ａ）は撮影画像を、図５（Ｂ）は処理画像を、図５（Ｃ）は保存画像を、それぞれ示している。 Next, reuse of the same captured image data will be described with reference to FIG.
5A to 5C are diagrams for explaining the reuse of the same captured image data in the imaging apparatus according to the present embodiment.
5A shows a captured image, FIG. 5B shows a processed image, and FIG. 5C shows a saved image.

連続撮影を行う場合に、人物撮影における背景画像など同一の映像を撮影することになる場合がある。
このような場合に、撮影条件が２条件であれば一つおきに同じデータが撮影される可能性があり、撮影条件が３条件であれば二つおきに同じ画像データが撮影される可能性がある。
撮影条件が２条件とは、たとえば露出条件がＥＸＰ１とＥＸＰ２の場合である。
この場合既に述べたように、画像処理部を構成するＣＰＵ１０３の制御の下、撮像部１０１により最初の画像ＩＭＧ１は露出ＥＸＰ１、次の画像ＩＭＧ２は露出ＥＸＰ２、その次の画像ＩＭＧ３は露出ＥＸＰ１、さらにその次の画像は露出ＥＸＰ２と設定して撮影を行う。 When continuous shooting is performed, the same video, such as a background image in human shooting, may be shot.
In such a case, if the shooting conditions are two conditions, the same data may be shot every other time, and if the shooting conditions are three conditions, the same image data may be shot every other time. There is.
The shooting condition of 2 conditions is, for example, the case where the exposure conditions are EXP1 and EXP2.
In this case, as already described, under the control of the CPU 103 constituting the image processing unit, the imaging unit 101 controls the first image IMG1 to be exposure EXP1, the next image IMG2 to be exposure EXP2, and the next image IMG3 to be exposure EXP1. The next image is taken with exposure EXP2.

ＣＰＵ１０３は、撮影画像間の比較を行い同一とみなすことができる撮影画像データに対応する画像処理結果のデータを画像メモリ１０５やフラッシュメモリ１０６などに保存する。
そして、ＣＰＵ１０３は、撮影条件が２条件の場合などは、図５（Ａ）〜（Ｃ）に示すように、つぎのつぎに画像処理する場合にその処理結果を再利用することで、画像処理量が削減する。
また、画像が同じであるかどうかの比較は、撮影条件が２条件であれば一つおきなど、同じ撮影条件での撮影画像間で行うのみにするとよい。
これにより、明らかに異なるであろう画像の比較処理が不要となり、無駄な処理が削減され、画像処理効率が向上する。
さらに、画像そのものを保存して再利用する以外にも、目の位置、口の位置、画像の移動量などの画像の探索条件を保存して再利用することでも画像処理量を減らすことができる。 The CPU 103 compares the captured images and stores image processing result data corresponding to the captured image data that can be regarded as the same in the image memory 105 or the flash memory 106.
Then, when there are two shooting conditions, as shown in FIGS. 5A to 5C, the CPU 103 reuses the processing result when performing next image processing, thereby performing image processing. The amount is reduced.
In addition, it is preferable that the comparison of whether or not the images are the same is performed only between the captured images under the same imaging conditions, such as every other imaging condition.
This eliminates the need for image comparison processing that would be clearly different, reduces unnecessary processing, and improves image processing efficiency.
Furthermore, in addition to storing and reusing the image itself, it is possible to reduce the amount of image processing by storing and reusing image search conditions such as eye position, mouth position, and image movement amount. .

以上説明した本実施形態によれば、以下の効果を得ることが可能である。
既存の方法では高ダイナミックレンジ化のためには２倍の枚数の撮影が必要だったが、最適シャッターチャンス選択のための連続複数画像撮影における設定連続撮影枚数に対して１枚余分に撮影を行うだけで高ダイナミックレンジ化処理が可能である。 According to the present embodiment described above, the following effects can be obtained.
The existing method required twice as many shots to achieve a high dynamic range, but one extra shot was taken for the set number of consecutive shots for continuous multiple-image shooting for selecting the optimum shutter chance. Only high dynamic range processing is possible.

さらに補助的機能により下記の効果がある。
プレビューに対しては高速化高ダイナミックレンジ画像表示によりユーザのインタラクティブな操作が快適になる。
ユーザが好みの画像を選択する場合にもより鮮明な画像により正しい判断が可能となる。
ユーザの好みの画像の自動選択においてより正確な選択が可能となる。 Further, the auxiliary function has the following effects.
For the preview, high-speed and high dynamic range image display makes the user's interactive operation comfortable.
Even when the user selects a favorite image, a correct determination can be made with a clearer image.
In the automatic selection of the user's favorite image, more accurate selection is possible.

なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。 Note that the method described above in detail can be formed as a program according to the above-described procedure and executed by a computer such as a CPU.
Further, such a program can be configured to be accessed by a recording medium such as a semiconductor memory, a magnetic disk, an optical disk, a floppy (registered trademark) disk, or the like, and to execute the program by a computer in which the recording medium is set.

本発明の実施形態に係る画像処理装置を適用した撮像装置の構成例を示す図である。It is a figure which shows the structural example of the imaging device to which the image processing apparatus which concerns on embodiment of this invention is applied. 本実施形態に係る撮像装置における多段階露出と好みの画像選択処理について説明するための図である。It is a figure for demonstrating the multistep exposure and favorite image selection process in the imaging device which concerns on this embodiment. 本実施形態に係る撮像装置１００における低解像度での好みの画像選択処理を説明するための図である。It is a figure for demonstrating the favorite image selection process in the low resolution in the imaging device 100 which concerns on this embodiment. ユーザの好みの画像を自動的に選択する例として笑顔を検出する処理との組み合わせの例におけるフローチャートを示す図である。It is a figure which shows the flowchart in the example of a combination with the process which detects a smile as an example which selects a user's favorite image automatically. 本実施形態に係る撮像装置における同一撮影画像データの再利用について説明するための図である。It is a figure for demonstrating reuse of the same picked-up image data in the imaging device which concerns on this embodiment.

符号の説明Explanation of symbols

１００・・・撮像装置、１０１・・・撮像部（カメラ）、１０２・・・アナログデジタル（Ａ／Ｄ）変換器、１０３・・・中央演算処理装置（ＣＰＵ）、１０４・・・プログラムメモリ、１０５・・・画像メモリ、１０６・・・フラッシュメモリ、１０７・・・ジョグダイアル、１０８・・・画像モニタ、１０９・・・共有バス。   DESCRIPTION OF SYMBOLS 100 ... Imaging device, 101 ... Imaging part (camera), 102 ... Analog digital (A / D) converter, 103 ... Central processing unit (CPU), 104 ... Program memory, 105 ... Image memory, 106 ... Flash memory, 107 ... Jog dial, 108 ... Image monitor, 109 ... Shared bus.

Claims (18)

連続して撮影された異なる複数枚の画像に対して画像処理を行う画像処理部と、
上記出力画像を選択可能な選択部と、を有し、
上記画像処理部は、
撮影条件を複数段階で変化させて連続的に撮影された、時間的に隣り合う複数枚の画像を用いて画像処理を行い、それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる
画像処理装置。 An image processing unit that performs image processing on a plurality of different images that are continuously captured;
A selection unit capable of selecting the output image,
The image processing unit
Image processing is performed using a plurality of temporally adjacent images that have been continuously captured while changing shooting conditions in multiple stages, and the processing of temporally adjacent images in each image processing is overlapped. Image processing device. 上記画像処理部は、
オーバーラップする処理においては最初に処理した画像における処理結果を次の処理のために再利用する
請求項１記載の画像処理装置。 The image processing unit
The image processing apparatus according to claim 1, wherein in the overlapping processing, the processing result in the first processed image is reused for the next processing. 上記画像処理部は、
露出量を複数段階で変化させて連続的に撮影され、時間的に隣り合う複数枚の画像を用いて高ダイナミックレンジ化処理を行い、それぞれの高ダイナミックレンジ化処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる
請求項１記載の画像処理装置。 The image processing unit
Images are continuously shot with different exposure levels, and a high dynamic range process is performed using multiple images that are temporally adjacent to each other. The image processing apparatus according to claim 1, wherein the processes are overlapped. 上記選択部は、
高ダイナミックレンジ化処理された画像から、任意のショットを選択する
請求項１記載の画像処理装置。 The selection part
The image processing apparatus according to claim 1, wherein an arbitrary shot is selected from an image that has been subjected to high dynamic range processing. 上記画像処理部は、
撮影画像よりも解像度を下げて高ダイナミックレンジ化処理を行った画像を用いて画像選択を行い、選択された撮影画像に対して撮影解像度で高ダイナミックレンジ化処理を行う
請求項４記載の画像処理装置。 The image processing unit
The image processing according to claim 4, wherein image selection is performed using an image that has been subjected to a high dynamic range process with a lower resolution than the captured image, and the high dynamic range process is performed with respect to the selected captured image at a shooting resolution. apparatus. 上記選択部は、
操作部を含み、当該操作部の操作に応じて任意のショットを選択する
請求項４または５記載の画像処理装置。 The selection part
The image processing apparatus according to claim 4, further comprising an operation unit, wherein an arbitrary shot is selected according to an operation of the operation unit. 選択画面を表示可能な表示部を有し、
上記選択部は、
所望される画像を分析して最適と思われる画像を自動選択して最初の選択画面に表示する
請求項４または５記載の画像処理装置。 It has a display that can display the selection screen,
The selection part
The image processing apparatus according to claim 4 or 5, wherein a desired image is analyzed, and an image that seems to be optimal is automatically selected and displayed on an initial selection screen. 上記画像処理部は、
複数撮影画像において、変化がないとみなせる部分に関しては最後に変化のある部分またはその画像処理結果を再利用する
請求項１記載の画像処理装置。 The image processing unit
The image processing apparatus according to claim 1, wherein in a plurality of captured images, a portion that can be regarded as having no change, a portion having a change at the end or an image processing result thereof is reused. 異なる複数枚の画像を連続して撮影する撮像部と、
上記撮像部で連続して撮影された異なる複数枚の画像に対して画像処理を行う画像処理部と、
上記出力画像を選択可能な選択部と、を有し、
上記画像処理部は、
上記撮像部に撮影条件を複数段階で変化させて連続的に撮影させ、時間的に隣り合う複数枚の画像を用いて画像処理を行い、それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる
撮像装置。 An imaging unit that continuously captures a plurality of different images;
An image processing unit that performs image processing on a plurality of different images continuously captured by the imaging unit;
A selection unit capable of selecting the output image,
The image processing unit
The above imaging unit changes the shooting conditions in a plurality of stages, continuously shoots, performs image processing using a plurality of temporally adjacent images, and processing of temporally adjacent images in each image processing is as follows. Imaging devices that overlap each other. 上記画像処理部は、
オーバーラップする処理においては最初に処理した画像における処理結果を次の処理のために再利用する
請求項９記載の撮像装置。 The image processing unit
The imaging apparatus according to claim 9, wherein in the overlapping processing, the processing result in the first processed image is reused for the next processing. 上記画像処理部は、
露出量を複数段階で変化させて連続的に撮影され、時間的に隣り合う複数枚の画像を用いて高ダイナミックレンジ化処理を行い、それぞれの高ダイナミックレンジ化処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる
請求項９記載の撮像装置。 The image processing unit
Images are continuously shot with different exposure levels, and a high dynamic range process is performed using multiple images that are temporally adjacent to each other. The imaging apparatus according to claim 9, wherein the processes are overlapped. 上記選択部は、
高ダイナミックレンジ化処理された画像から、任意のショットを選択する
請求項９記載の撮像装置。 The selection part
The imaging apparatus according to claim 9, wherein an arbitrary shot is selected from an image that has been subjected to high dynamic range processing. 上記画像処理部は、
撮影画像よりも解像度を下げて高ダイナミックレンジ化処理を行った画像を用いて画像選択を行い、選択された撮影画像に対して撮影解像度で高ダイナミックレンジ化処理を行う
請求項１２記載の撮像装置。 The image processing unit
13. The imaging apparatus according to claim 12, wherein image selection is performed using an image that has been subjected to high dynamic range processing with a lower resolution than the captured image, and high dynamic range processing is performed with respect to the selected captured image at the photographing resolution. . 上記選択部は、
操作部を含み、当該操作部の操作に応じて任意のショットを選択する
請求項１２または１３記載の撮像装置。 The selection part
The imaging apparatus according to claim 12, further comprising an operation unit, wherein an arbitrary shot is selected according to an operation of the operation unit. 選択画面を表示可能な表示部を有し、
上記選択部は、
所望される画像を分析して最適と思われる画像を自動選択して最初の選択画面に表示する
請求項１２または１３記載の撮像装置。 It has a display that can display the selection screen,
The selection part
The imaging apparatus according to claim 12 or 13, wherein a desired image is analyzed and an image that seems to be optimal is automatically selected and displayed on an initial selection screen. 上記画像処理部は、
複数撮影画像において、変化がないとみなせる部分に関しては最後に変化のある部分またはその画像処理結果を再利用する
請求項９記載の撮像装置。 The image processing unit
The imaging apparatus according to claim 9, wherein in a plurality of captured images, a portion that can be regarded as having no change, a portion having a change at the end or an image processing result thereof is reused. 異なる複数枚の画像を、撮影条件を複数段階で変化させて連続的に撮影された、時間的に隣り合う複数枚の画像を用いて画像処理を行う第１ステップと、
それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる第２ステップと、
上記画像処理された画像を選択して出力する第３ステップと
を有する画像処理方法。 A first step in which image processing is performed using a plurality of images that are temporally adjacent to each other, and the plurality of different images, which are continuously captured by changing the shooting conditions in a plurality of stages;
A second step of overlapping the processing of temporally adjacent images in each image processing;
And a third step of selecting and outputting the image-processed image. 異なる複数枚の画像を、撮影条件を複数段階で変化させて連続的に撮影された、時間的に隣り合う複数枚の画像を用いて画像処理を行う第１処理と、
それぞれの画像処理における時間的に隣り合う画像の処理はそれぞれオーバーラップさせる第２処理と、
上記画像処理された画像を選択して出力する第３処理と
を有する画像処理をコンピュータに実行させるプログラム。 A first process in which image processing is performed using a plurality of images temporally adjacent to each other, wherein a plurality of different images are continuously captured by changing shooting conditions in a plurality of stages;
A second process of overlapping each of the processing of the temporally adjacent images in each image processing;
And a third process for selecting and outputting the image-processed image.
JP2008129614A 2008-05-16 2008-05-16 Image processing apparatus, imaging apparatus, image processing method, and program Expired - Fee Related JP5012656B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008129614A JP5012656B2 (en) 2008-05-16 2008-05-16 Image processing apparatus, imaging apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008129614A JP5012656B2 (en) 2008-05-16 2008-05-16 Image processing apparatus, imaging apparatus, image processing method, and program

Publications (2)

Publication Number Publication Date
JP2009278524A JP2009278524A (en) 2009-11-26
JP5012656B2 true JP5012656B2 (en) 2012-08-29

Family

ID=41443508

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008129614A Expired - Fee Related JP5012656B2 (en) 2008-05-16 2008-05-16 Image processing apparatus, imaging apparatus, image processing method, and program

Country Status (1)

Country Link
JP (1) JP5012656B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011205546A (en) * 2010-03-26 2011-10-13 Panasonic Corp Photographing apparatus, image compositing method, and image compositing program
JP6343200B2 (en) 2014-07-31 2018-06-13 キヤノン株式会社 Imaging apparatus, control method therefor, and program

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01319370A (en) * 1988-06-21 1989-12-25 Konica Corp Photographic film player
JPH10150620A (en) * 1996-11-15 1998-06-02 Casio Comput Co Ltd Image input device, camera device, image input system and recording medium for them
JP2001268439A (en) * 2000-03-16 2001-09-28 Minolta Co Ltd Preparation method for composite image
JP2003169259A (en) * 2001-12-04 2003-06-13 Hitachi Ltd Imaging unit
JP2006311340A (en) * 2005-04-28 2006-11-09 Olympus Imaging Corp Image display device and digital camera
JP4979969B2 (en) * 2006-04-03 2012-07-18 三星電子株式会社 Imaging apparatus and imaging method
JP2008103831A (en) * 2006-10-17 2008-05-01 Sony Corp Imaging apparatus

Also Published As

Publication number Publication date
JP2009278524A (en) 2009-11-26

Similar Documents

Publication Publication Date Title
JP2017188760A (en) Image processing apparatus, image processing method, computer program, and electronic apparatus
KR20160044945A (en) Image photographing appratus
JP2008164758A (en) Image restoration device
JP5829122B2 (en) Imaging apparatus and evaluation value generation apparatus
JP2009017030A (en) Image imaging apparatus, and imaging control method
JP2008166947A (en) Imaging apparatus
JP2012084983A (en) Imaging apparatus and picture imaging method
JP5012656B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP2016111568A (en) Image blur correction control device, imaging apparatus, control method and program thereof
JP4894844B2 (en) Imaging apparatus and imaging operation processing method
JP2002247444A (en) Image processor and recording medium for recording image processing program
JP4753856B2 (en) Motion detection apparatus and method, and imaging apparatus
JP5947625B2 (en) Imaging apparatus and control method thereof
JP2007027969A (en) Imaging apparatus and program
JP6498175B2 (en) Imaging apparatus and control method thereof
JP2004180317A (en) Method for capturing video image and still picture
JP6075829B2 (en) IMAGING DEVICE, CAMERA SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP7442989B2 (en) Imaging device, control method for the imaging device, and program
JP6631589B2 (en) Imaging device
US11832020B2 (en) Image pickup apparatus, image pickup method, and storage medium
JP6779408B2 (en) Imaging equipment, imaging methods, and programs
JP4969371B2 (en) Imaging device
JP2006148456A (en) Electronic camera
JP2003087654A (en) Imaging apparatus
JP4956341B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120508

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120521

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees