JP6501619B2 - Imaging apparatus, imaging method - Google Patents
Imaging apparatus, imaging method Download PDFInfo
- Publication number
- JP6501619B2 JP6501619B2 JP2015109048A JP2015109048A JP6501619B2 JP 6501619 B2 JP6501619 B2 JP 6501619B2 JP 2015109048 A JP2015109048 A JP 2015109048A JP 2015109048 A JP2015109048 A JP 2015109048A JP 6501619 B2 JP6501619 B2 JP 6501619B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- noise amount
- noise
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 111
- 238000012545 processing Methods 0.000 claims description 154
- 239000002131 composite material Substances 0.000 claims description 99
- 238000000034 method Methods 0.000 claims description 88
- 230000008569 process Effects 0.000 claims description 78
- 230000035945 sensitivity Effects 0.000 claims description 36
- 238000004364 calculation method Methods 0.000 claims description 35
- 230000000052 comparative effect Effects 0.000 claims description 28
- 230000003287 optical effect Effects 0.000 claims description 28
- 230000015572 biosynthetic process Effects 0.000 claims description 25
- 238000003786 synthesis reaction Methods 0.000 claims description 25
- 238000011161 development Methods 0.000 description 31
- 239000000203 mixture Substances 0.000 description 19
- 238000012937 correction Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 12
- 230000007547 defect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000006872 improvement Effects 0.000 description 11
- 238000012935 Averaging Methods 0.000 description 8
- 239000004973 liquid crystal related substance Substances 0.000 description 8
- 230000002950 deficient Effects 0.000 description 7
- 239000000654 additive Substances 0.000 description 6
- 230000000996 additive effect Effects 0.000 description 6
- 238000003825 pressing Methods 0.000 description 6
- 238000009825 accumulation Methods 0.000 description 5
- 230000001186 cumulative effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000000470 constituent Substances 0.000 description 3
- 102220492605 Numb-like protein_S17A_mutation Human genes 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000001308 synthesis method Methods 0.000 description 2
- 102100024113 40S ribosomal protein S15a Human genes 0.000 description 1
- 241000254158 Lampyridae Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000010408 film Substances 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 102220171488 rs760746448 Human genes 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
本発明は、複数コマの画像データに画像合成処理を行って1コマの合成画像データを算出する撮像装置、撮像方法に関する。 The present invention relates to an imaging apparatus and an imaging method for performing image composition processing on image data of a plurality of frames to calculate composite image data of one frame.
従来より、一眼レフレックス式の撮像装置においては、被写体像の観察を光学式ファインダにより行っている。これに対して近年では、光学式ファインダを廃してライブビュー表示により被写体像を観察する撮像装置が普及してきている。ここに、ライブビューは、イメージセンサから読み出した画像を液晶モニタ等にリアルタイムに表示する方式である。また、液晶モニタに加えて、さらに電子ビューファインダを備える撮像装置も販売されており、こうした撮像装置では液晶モニタを介した観察と電子ビューファインダを介した観察とが切り換え可能となっている。そして、電子ビューファインダを介してライブビュー画像を観察すると、液晶モニタを介してライブビュー画像を観察するよりも、光学ファインダに近い感覚での観察が可能である。 2. Description of the Related Art Conventionally, in a single-lens reflex imaging apparatus, observation of an object image is performed by an optical finder. On the other hand, in recent years, an imaging device for observing an object image by live view display without using an optical finder has become widespread. Here, live view is a method of displaying an image read from an image sensor on a liquid crystal monitor or the like in real time. Moreover, in addition to the liquid crystal monitor, an imaging device further equipped with an electronic viewfinder is also sold, and in such an imaging device, switching between observation via the liquid crystal monitor and observation via the electronic viewfinder is possible. Then, when observing the live view image through the electronic viewfinder, it is possible to observe in a sense closer to the optical finder than observing the live view image through the liquid crystal monitor.
しかし従来は、光学ファインダを用いる場合と、電子ビューファインダを用いる場合との何れであっても、バルブ撮影のような長時間露出を行っている最中にイメージセンサから画像信号を読み出すことができなかったために、撮影の途中で被写体の露出状態を確認することができず、画像の確認は撮影が終了してからであった。このために、撮影者は、被写体の明るさなどに基づいて撮影者自身で露出時間等の露出設定を推定して、露出を開始し、露出を終了することとなっていた。このために、露出不足や露出過多による撮影失敗をすることなく、所望の撮影画像を得ることは容易ではなかった。 However, conventionally, either when using an optical finder or using an electronic viewfinder, it is possible to read out an image signal from an image sensor while performing long-time exposure such as bulb photography. Because it was not, it was not possible to confirm the exposure state of the subject in the middle of the photographing, and the confirmation of the image was after the photographing ended. For this reason, the photographer estimates the exposure setting such as the exposure time by the photographer himself based on the brightness of the subject and the like, and starts the exposure and ends the exposure. For this reason, it is not easy to obtain a desired captured image without failing to capture due to underexposure or overexposure.
そこで、例えば特開2005−117395号公報には、所定の時間間隔でイメージセンサから画素信号を読み出し、この画像信号をイメージセンサから読み出す毎に単純に累積加算して得られた画像を液晶モニタに表示する撮像装置が記載されている。このような撮像装置によれば、バルブ撮影等の長時間撮影時に途中経過が表示されるために、撮影の失敗を減らすことができる。 Therefore, for example, in Japanese Patent Application Laid-Open No. 2005-117395, an image obtained by reading pixel signals from an image sensor at predetermined time intervals and simply accumulating the image signals every time they are read from the image sensor is used as a liquid crystal monitor. An imaging device for display is described. According to such an imaging device, since the progress is displayed during long time imaging such as bulb imaging, imaging failure can be reduced.
また、特許第4148586号公報には、連続的にイメージセンサから画像信号を読み出して、読み出した画像信号を比較明合成処理することにより、バルブ撮影画像を生成する撮像装置が記載されている。ここに、比較明合成処理は、画像データを構成する画素の画素値を画素毎に比較して、大きい方の画素値を選択して合成後の画素値とする画像合成処理である。 Further, Japanese Patent No. 4148586 describes an imaging device that generates a valve photographed image by continuously reading out an image signal from an image sensor and subjecting the read out image signal to comparative bright combination processing. Here, the comparison bright combining process is an image combining process in which the pixel values of the pixels forming the image data are compared for each pixel, and the larger pixel value is selected to be the combined pixel value.
ところで、イメージセンサの特性として、種々のノイズが発生する。例えば、イメージセンサの各画素に設けられているフォトダイオードでは、暗電流に起因する暗電流ノイズ、暗電流ノイズに起因する暗電流ショットノイズ、入射した光を光電変換するときに発生する光ショットノイズなどが発生する。さらに、読出回路においてもリセットノイズやアンプノイズなどの回路ノイズが発生する。これらのノイズが、ランダムノイズや固定パターンノイズとして画素毎、ライン毎、行毎に画素値をバラつかせ、画像面内の画素値ムラ(シェーディング)として画像に表れる。 By the way, various noises occur as characteristics of the image sensor. For example, in a photodiode provided in each pixel of an image sensor, dark current noise caused by dark current, dark current shot noise caused by dark current noise, light shot noise generated when photoelectrically converting incident light Etc. Furthermore, circuit noise such as reset noise and amplifier noise also occurs in the read circuit. These noises cause the pixel values to differ for each pixel, line, or row as random noise or fixed pattern noise, and appear in the image as pixel value unevenness (shading) in the image plane.
これらのノイズは、撮影条件に応じてノイズ量が変化し、さらに画像合成を行う場合にはどのような画像合成処理を用いるかに応じてノイズ量が変化する。例えば、暗電流ノイズについては、イメージセンサの温度が高いほど、そして露出時間(シャッタ速度)が長いほど、ノイズ量が大きくなる傾向がある。さらに、上述した各ノイズは、撮像装置のISO感度設定が高いほど大きくなる。 The amount of noise of these noises changes in accordance with the imaging conditions, and the amount of noise changes in accordance with what kind of image combining processing is used when image combining is performed. For example, for dark current noise, the amount of noise tends to increase as the temperature of the image sensor increases and as the exposure time (shutter speed) increases. Furthermore, each noise mentioned above becomes so large that the ISO sensitivity setting of an imaging device is high.
また、画像合成処理に関して、加算合成を用いる場合には、画像の合成枚数が多くなるほどノイズが積算されて行くために、ノイズ量は大きくなって行く。また、加算平均合成を用いる場合には、合成対象の各画像に含まれている固定パターンノイズは、画像合成後もノイズ量が基本的に変化しない。一方、ランダムノイズは、加算平均合成における画像の合成枚数が多くなるほど平均化されて行くために、ノイズ量が小さくなって行く。さらに、比較明合成または比較暗合成を用いる場合には、固体パターンノイズは加算平均合成と同様に基本的に変化しない。これに対して、ランダムノイズは、比較明合成の場合にはランダムに変化する画素値の内の一番大きい値に、比較暗合成の場合にはランダムに変化する画素値の内の一番小さい値に、各画素の画素値が収束して行くために、画素毎の画素値のばらつきが小さくなる傾向にある。 In addition, in the case of using additive composition for image composition processing, the amount of noise increases as noise is integrated as the number of composite images increases. In addition, in the case of using the addition average combining, the fixed pattern noise included in each image to be combined does not basically change the noise amount even after the image combining. On the other hand, since the random noise is averaged as the number of combined images in the addition average combination increases, the amount of noise decreases. Furthermore, when using comparative bright synthesis or comparative dark synthesis, the solid pattern noise does not change basically as in the case of the addition average synthesis. On the other hand, random noise is the largest value among pixel values that change randomly in the case of comparative light combination, and the smallest value among pixel values that change randomly in the case of relative dark composition. Since the pixel value of each pixel converges to the value, the variation of the pixel value for each pixel tends to be small.
さらに、バルブ撮影においては、暗電流による固定パターンノイズを補正するために、FPN(Fixed Pattern Noise:固定パターンノイズ)キャンセル処理を行うことがある。このFPNキャンセル処理は、光学シャッタを開けて明時画像を撮影した後に、光学シャッタを閉じて明時画像と同じ露出時間で暗時画像を自動撮影し、イメージセンサの後段に設けられている画像処理回路によって明時画像データから暗時画像データを減算することにより、固定パターンノイズを補正する処理である。このFPNキャンセル処理を行う場合には、固定パターンノイズは補正されるが、ランダムノイズは明時画像のノイズと暗時画像のノイズとが累積されることになるために増加する。 Furthermore, in the bulb imaging, in order to correct fixed pattern noise due to dark current, FPN (Fixed Pattern Noise: fixed pattern noise) cancel processing may be performed. In this FPN cancellation process, after the optical shutter is opened and the bright image is taken, the optical shutter is closed and the dark image is automatically taken with the same exposure time as the bright image, and the image provided in the subsequent stage of the image sensor This processing is to correct fixed pattern noise by subtracting dark image data from bright image data by the processing circuit. When this FPN cancellation processing is performed, fixed pattern noise is corrected, but random noise increases because noise in the bright image and noise in the dark image are accumulated.
そして、撮影条件の異なる(つまり、ノイズ量の異なる)画像同士を合成する場合においては、ランダムノイズだけでなく、固定パターンノイズ量も画像毎に変動するために、ノイズ量がより複雑に変化することになる。 Then, when combining images with different shooting conditions (that is, different amounts of noise), not only random noise but also fixed pattern noise amount fluctuates for each image, so the noise amount changes more complicatedly. It will be.
このように撮影条件や画像合成処理に応じて、合成画像のノイズ量は異なる。 As described above, the amount of noise of the combined image differs according to the imaging conditions and the image combining process.
一方、撮影者は、撮影を行う際に、合成画像の画質に関係するノイズ感を官能的に判断する。例えば、上記特開2005−117395号公報に記載の技術では、画像合成の経過を液晶モニタなどに表示するために合成中の画像の画質を確認することが原理的に可能であるが、実際には、撮像装置に付属する液晶モニタ、あるいは撮像装置と例えば無線接続されたスマートフォンなどでは、画面が小型であるために画素毎のノイズを詳細に確認することは困難である。また、バルブ撮影の主な被写体は、例えば、星空、花火、ホタルなどであるために、バルブ撮影が行われる場所は夜の暗い場所が多い。こうした撮影時の暗い場所は、撮影後に昼間や明るい部屋で画像を鑑賞するときとはノイズの視認性が異なるために、撮影者が満足するノイズ量であるか否かを正確に判断することが難しい。 On the other hand, when photographing, the photographer sensually judges the noise feeling related to the image quality of the composite image. For example, in the technique described in the above-mentioned JP-A-2005-117395, it is possible in principle to confirm the image quality of the image being synthesized to display the progress of the image synthesis on a liquid crystal monitor or the like. In a liquid crystal monitor attached to an imaging device or a smartphone wirelessly connected to the imaging device, for example, it is difficult to confirm noise for each pixel in detail because the screen is small. Also, since the main subject of bulb shooting is, for example, a starry sky, fireworks, fireflies, etc., there are many dark places at night where bulb shooting is performed. Since the visibility of noise is different from that when shooting in the daytime or in a bright room after shooting, it is possible to accurately determine whether the amount of noise the photographer is satisfied with is the dark place at the time of shooting. difficult.
合成画像のノイズ量を重要視している撮影者は、合成後のノイズ量がどの程度であるかに応じて撮影を終了するタイミングを判断することがあると考えられるが、上述したように、画像を撮影中にノイズ量を把握することができないために、撮影終了のタイミングを正確に判断することが難しい。 It is considered that the photographer who places importance on the amount of noise of the composite image may decide the timing to finish the photographing depending on how much the amount of noise after combination is, as described above, Since the amount of noise can not be grasped while photographing an image, it is difficult to accurately determine the timing of the end of photographing.
ところで、特開2005−20562号公報には、イメージセンサのOB(オプティカルブラック)画素から出力された画素値に基づいて算出したノイズ量に応じて、ノイズ補正処理を変更する技術が記載されている。しかし、該公報に記載の技術では撮影者が撮影中にノイズ量を把握することはできず、該公報では上述したような様々な画像合成処理を行った場合のノイズ量を正確に算出することは考慮されていない。 JP-A-2005-20562 describes a technique for changing the noise correction process according to the amount of noise calculated based on the pixel value output from the OB (optical black) pixel of the image sensor. . However, with the technique described in this publication, it is not possible for the photographer to grasp the amount of noise during shooting, and in this publication it is necessary to accurately calculate the amount of noise when performing various image combining processes as described above. Is not considered.
こうして、従来の技術では、複数コマの画像データを画像合成処理して算出される1コマの合成画像データのノイズ量を、撮影中に正確に把握することは困難であった。 Thus, in the prior art, it has been difficult to accurately grasp the amount of noise of one frame of composite image data calculated by performing image composition processing on a plurality of frames of image data during imaging.
本発明は上記事情に鑑みてなされたものであり、複数コマの画像データを画像合成処理して算出される1コマの合成画像データのノイズ量を、撮影中に正確に把握することができる撮像装置、撮像方法を提供することを目的としている。 The present invention has been made in view of the above circumstances, and it is possible to accurately grasp the amount of noise of one frame of composite image data calculated by performing image composition processing of a plurality of frames of image data during shooting. An object of the present invention is to provide an apparatus and an imaging method.
本発明のある態様による撮像装置は、被写体の光学像に係る画像データを生成するための有効画素群と、該有効画素群の周辺に遮光して配置され遮光画素データを生成するための遮光画素群と、を有する撮像素子と、上記有効画素群から順次に読み出された複数コマの上記画像データに画像合成処理を行って1コマの合成画像データを算出するとともに、上記遮光画素群から順次に読み出された複数コマの上記遮光画素データに対して上記画像データに行ったのと同じ画像合成処理を行う画像合成部と、上記画像合成処理が行われた上記遮光画素データに基づきノイズ量を算出するノイズ量算出部と、を備え、上記画像合成部および上記ノイズ量算出部は、上記撮像素子から1コマの上記画像データおよび上記遮光画素データが読み出される毎に上記処理を行う。 An imaging device according to an aspect of the present invention includes an effective pixel group for generating image data related to an optical image of a subject, and a light shielding pixel for shielding and arranging light shielding pixel data around the effective pixel group. The image combining process is performed on the image data of a plurality of frames sequentially read out from the effective pixel group, and an image sensor having a group to calculate composite image data of one frame, and sequentially from the light shielding pixel group Amount of noise based on the light-shielded pixel data subjected to the image synthesis processing, and an image synthesis unit performing the same image synthesis processing as the image data on the light-shielded pixel data of a plurality of frames read And the image combining unit and the noise amount calculating unit read out the image data and the light-shielded pixel data of one frame from the image pickup device. Performing the above-mentioned processing to.
本発明のある態様による撮像方法は、有効画素群から被写体の光学像に係る画像データを読み出すとともに、該有効画素群の周辺に遮光して配置された遮光画素群から遮光画素データを読み出すステップと、1コマの上記画像データおよび上記遮光画素データが読み出される毎に、上記有効画素群から順次に読み出された複数コマの上記画像データに画像合成処理を行って1コマの合成画像データを算出するとともに、上記遮光画素群から順次に読み出された複数コマの上記遮光画素データに対して上記画像データに行ったのと同じ画像合成処理を行うステップと、1コマの上記画像データおよび上記遮光画素データが読み出される毎に、上記画像合成処理が行われた上記遮光画素データに基づきノイズ量を算出するステップと、を有する。 An imaging method according to an aspect of the present invention includes the steps of: reading image data relating to an optical image of a subject from an effective pixel group, and reading out light shielding pixel data from a light shielding pixel group arranged by shielding light around the effective pixel group; Each time the image data of one frame and the light-shielded pixel data are read, the image combining process is performed on the image data of a plurality of frames sequentially read from the effective pixel group to calculate one image of composite image And performing the same image composition processing as the image data on the plurality of light-shielded pixel data sequentially read from the light-shielded pixel group, the image data of one frame, and the light shield Calculating a noise amount based on the light-shielded pixel data subjected to the image synthesis process each time the pixel data is read.
本発明の撮像装置、撮像方法によれば、複数コマの画像データを画像合成処理して算出される1コマの合成画像データのノイズ量を、撮影中に正確に把握することが可能となる。 According to the imaging apparatus and imaging method of the present invention, it is possible to accurately grasp the amount of noise of one frame of composite image data calculated by performing image composition processing on a plurality of frames of image data during shooting.
以下、図面を参照して本発明の実施の形態を説明する。
[実施形態1]
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1から図7は本発明の実施形態1を示したものであり、図1は撮像装置1の構成を示すブロック図である。なお、図1には、撮像装置1の電気的な構成を主に示している。
FIGS. 1 to 7
本実施形態の撮像装置1は、撮像部2と、バス3と、内部メモリ4と、画像処理部5と、ノイズ量算出部6と、表示部7と、入力IF(インターフェース:Interface)8と、システム制御部10と、を備えている。なお、図1に示す撮像装置1には外部メモリ9が記載されているが、この外部メモリ9は、後述するように撮像装置1に着脱可能なメモリカード等であっても構わないために、撮像装置1に固有の構成である必要はない。
The
本実施形態においては、撮像装置1が例えばデジタルカメラ(コンパクトデジタルカメラ、あるいはデジタル一眼カメラ等)であることを想定して適宜説明するが、撮像装置1としては、ビデオカメラ、ムービーカメラのような動画用のカメラでも良いし、携帯電話、スマートフォンや携帯情報端末(PDA:Personal Digital Assist)、ゲーム機器等に内蔵されるカメラであっても構わない。さらにこれらに限らず、撮像装置1は、長時間露光(ここに、「露光」は「露出」ともいう)が可能な撮影のための機器であれば広く適用することができる。
In the present embodiment, it is assumed that the
撮像部2は、レンズ11と、メカニカルシャッタ12と、イメージセンサ13と、を有している。
The
レンズ11は、被写体の光学像をイメージセンサ13に結像する。このレンズ11は、一般的には、焦点調節を行うためのフォーカスレンズと、イメージセンサ13に到達する光量を調節するための絞りと、を備えている。ここに、絞りを調節すると、露出量に係る絞り値が変化する。なお、本実施形態においては、レンズ11が撮像装置本体と一体に構成されていることを想定して説明するが、撮像装置本体と着脱可能な交換レンズとして構成されていても勿論かまわない。
The
メカニカルシャッタ12は、レンズ11からイメージセンサ13への被写体の光学像の到達と非到達とを、開閉により制御する光学シャッタであり、露出時間(シャッタ速度)の制御も行う。
The
イメージセンサ13は、複数の画素が2次元状に配列されていて、レンズ11により結像された被写体の光学像を画素毎に電気信号に変換して画像データを生成する撮像素子であり、例えば、CMOSイメージセンサ、CCDイメージセンサ等として構成されている。このイメージセンサ13により生成された画像データは、画像処理部5およびバス3へ出力される。
The
ここで、図2はイメージセンサ13の画素構成を示す図である。
Here, FIG. 2 is a view showing a pixel configuration of the
イメージセンサ13は、被写体の光学像に係る画像データを生成するための有効画素13aを構成要素とする有効画素群と、この有効画素群の周辺に遮光して配置され遮光画素データを生成するための遮光画素であるOB画素13bを構成要素とする遮光画素群と、を有している。
The
遮光画素群は、図2に示すように、有効画素13aの例えば左辺に沿って、有効画素群の各水平ラインと同一の水平ラインに(水平)OB(Optical Black:オプティカルブラック)画素13bが各配置されている水平遮光画素群と、有効画素13aの例えば上辺に沿って、有効画素群の各垂直ラインと同一の垂直ラインに(垂直)OB画素13bが各配置されている垂直遮光画素群と、を備えている。
As shown in FIG. 2, in the light-shielded pixel group, (horizontal) OB (Optical Black: optical black)
ここに、有効画素13aとOB画素13bとは、何れも、光を電気信号に変換するPD(フォトダイオード)を備えているが、メカニカルシャッタ12が開いた状態となっているときには、有効画素13aにはレンズ11により結像される被写体像の光が到達するのに対して、遮光画素であるOB画素13b上には遮光膜が設けられているためにレンズ11により結像される被写体像の光は到達しない。従って、OB画素13bは、メカニカルシャッタ12の開閉に関わらず、常に遮光画素データを出力するようになっている。
Here, although each of the
有効画素13aから出力される画像データにおける黒の基準信号レベルは、イメージセンサ13の温度、露出時間(電荷蓄積時間)、周辺回路の電圧変動などによって変動する。このために、有効画素13aからの画像データと同時に出力されるOB画素13bからの遮光画素データを、有効画素13aからの画像データの黒の基準信号レベルとして使用する。
The black reference signal level in the image data output from the
バス3は、撮像装置1内の各部が信号の送受信を行うための信号線である。このバス3には、例えば、撮像部2、内部メモリ4、画像処理部5、ノイズ量算出部6、表示部7、入力IF8、外部メモリ9、システム制御部10の各部が接続されている。
The
内部メモリ4は、撮像装置1に係る情報を記憶するものであり、フラッシュメモリ等の不揮発性メモリ、あるいはSDRAM等の揮発性メモリを備えている。ここに、不揮発性メモリには、例えば、システム制御部10が撮像装置1を制御する処理を行うための処理プログラム、あるいは撮像装置1の動作に必要な各種の設定情報などが記憶される。また、揮発性メモリには、画像処理を行っている途中の画像データなどが一時的に記憶される。
The
画像処理部5は、イメージセンサ13から出力され、必要に応じて内部メモリ4に記憶された画像データに各種の画像処理を施すものであり、画像合成部15と、FPN(Fixed Pattern Noise:固定パターンノイズ)キャンセル処理部16と、画素欠陥補正部17と、現像処理部18と、を有している。
The
画像合成部15は、有効画素群から順次に(「時系列的に」または「連続的に」とも表現される)読み出された複数コマの画像データに画像合成処理を行って1コマの合成画像データを算出するとともに、遮光画素群から順次に読み出された複数コマの遮光画素データに対して画像データに行ったのと同じ画像合成処理を行うことを、イメージセンサ13から1コマの画像データおよび遮光画素データが読み出される毎に行う。ここに、画像合成部15が行う画像合成処理は、対応する画素位置毎に画素値を合成する処理となっている。
The
ここでは具体例として、画像合成部15が、比較明合成部21と、比較暗合成部22と、加算合成部23と、平均合成部24と、を有する構成について説明するが、これらに加えて、あるいはこれらの内の幾つかに代えて、その他の画像合成処理を行う部を備えていても構わない。以下では、比較明合成部21と、比較暗合成部22と、加算合成部23と、平均合成部24とが、主として有効画素13aから読み出された画像データに対してそれぞれ行う処理を説明するが、上述したように、OB画素13bから読み出された遮光画素データに対しても同様の処理を行うようになっている。
Here, as a specific example, a configuration in which the
比較明合成部21は、以下のような累積的な比較明合成処理を行う。最初にイメージセンサ13から読み出された画像データを基に生成された画像データ(この「イメージセンサ13から読み出された画像データを基に生成された画像データ」は、本実施形態においてはイメージセンサ13から読み出されたいわゆるRAW画像データを想定しているが、これに限るものではなく、FPNキャンセル処理部16、画素欠陥補正部17、現像処理部18等による処理が行われた画像データであっても構わない、以下同様)が、まず、比較明合成画像データとして内部メモリ4に記憶される。
The comparative
次に、イメージセンサ13から画像データが読み出されると、比較明合成部21は、読み出された画像データを基に生成された画像データを構成する画素データと、内部メモリ4に記憶されている比較明合成画像データを構成する画素データとを、それぞれ対応する画素位置毎に比較する。そして、比較した結果の何れか大きい方(つまり、明るい方)の画素データを該当画素位置の画素データとすることにより、比較明合成画像データを再構成する。
Next, when the image data is read out from the
このような処理を、イメージセンサ13から画像データが読み出される毎に繰り返し行うことで、最新の比較明合成画像データが内部メモリ4に記憶される。こうした比較明合成処理を、例えば、天体写真を撮影する場合に行えば、夜空の星の光跡の画像を得ることができる。このときには、露出時間によらず背景の明るさは一定となり、さらに露出時間に応じて光跡の長さを調整することが可能である。
By repeating such processing each time image data is read out from the
比較暗合成部22は、以下のような累積的な比較暗合成処理を行う。最初にイメージセンサ13から読み出された画像データを基に生成された画像データが、まず、比較暗合成画像データとして内部メモリ4に記憶される。
The comparison
次に、イメージセンサ13から画像データが読み出されると、比較暗合成部22は、読み出された画像データを基に生成された画像データを構成する画素データと、内部メモリ4に記憶されている比較暗合成画像データを構成する画素データとを、それぞれ対応する画素位置毎に比較する。そして、比較した結果の何れか小さい方(つまり、暗い方)の画素データを該当画素位置の画素データとすることにより比較暗合成画像データを再構成する。
Next, when the image data is read out from the
このような処理を、イメージセンサ13から画像データが読み出される毎に繰り返し行うことで、最新の比較暗合成画像データが内部メモリ4に記憶される。こうした比較暗合成処理を、例えば、天体写真を撮影する場合に行えば、夜空において移動する星の光跡を消去した、背景のみの画像を得ることができる。
The latest comparative dark composite image data is stored in the
加算合成部23は、以下のような累積的な加算合成処理を行う。最初にイメージセンサ13から読み出された画像データを基に生成された画像データが、まず、加算合成画像データとして内部メモリ4に記憶される。
The adding and combining
次に、イメージセンサ13から画像データが読み出されると、加算合成部23は、読み出された画像データを基に生成された画像データを構成する画素データと、内部メモリ4に記憶されている加算合成画像データを構成する画素データとを、それぞれ対応する画素位置毎に加算する。そして、加算した画素データを該当位置の画素データとすることにより加算合成画像データを再構成する。
Next, when the image data is read out from the
このような処理を、イメージセンサ13から画像データが読み出される毎に繰り返し行うことで、最新の加算合成画像データが内部メモリ4に記憶される。こうした加算合成処理を、例えば、天体写真を撮影する場合に行えば、1回加算する毎に画像の明るさが増して行くために、最新の加算合成画像データを随時、表示部7に表示することで、バルブ撮影時に画像が変化して行く経過を目視で確認することが可能となる。
The latest addition combined image data is stored in the
平均合成部24は、以下のような累積的な加算平均合成処理を行う。最初にイメージセンサ13から読み出された画像データを基に生成された画像データが、まず、平均合成画像データとして内部メモリ4に記憶される。
The
次に、イメージセンサ13から画像データが読み出されると、平均合成部24は、読み出された画像データを基に生成された画像データを構成する画素データと、内部メモリ4に記憶されている平均合成画像データを構成する画素データとを、それぞれ対応する画素位置毎に加算平均する。そして、加算平均した画素データを該当位置の画素データとすることにより平均合成画像データを再構成する。
Next, when the image data is read out from the
このときの加算平均は、単純に加算して平均してしまうと、イメージセンサ13から後の時点で読み出された画像データほど重みが大きくなってしまうために、内部メモリ4に記憶されている平均合成画像データがn(nは1以上の整数)枚の画像を合成した結果であるとすると、内部メモリ4に記憶されている平均合成画像データにn/(n+1)の重みを付け、イメージセンサ13から新たに読み出された画像データに1/(n+1)の重みを付ける重み付け平均処理を行うと良い。
The averaging at this time is stored in the
このような処理を、イメージセンサ13から画像データが読み出される毎に繰り返し行うことで、最新の平均合成画像データが内部メモリ4に記憶される。そして、加算平均した画素データを該当位置の画素データとすることにより平均合成画像データを再構成する。こうした加算平均合成処理を、例えば、天体写真を撮影する場合に行えば、ランダムノイズが平均化されて低減されるために、低ノイズで高画質な画像を得ることができる。
The latest average composite image data is stored in the
FPNキャンセル処理部16は、明時画像データ(メカニカルシャッタ12を開いて撮影して得た画像データ)から暗時画像データ(メカニカルシャッタ12を閉じて撮影して得た画像データ)を減算処理することで、固定パターンノイズを補正する。
The FPN
画素欠陥補正部17は、欠陥画素(通常画素とは異なる異常な画素値を出力をする画素)の画素値を、欠陥画素の近傍にある複数の画素の画素値の平均値などで置き換えることにより、欠陥画素が画像に現れないように補正する。ここに、欠陥画素は、撮像装置1の生産時などに予め検査を行って、内部メモリ4に欠陥画素アドレスとして事前に登録されている。あるいは撮像装置1を出荷後であっても、撮影して得た画像データにおける各画素の周辺画素との相関性を算出して、相関性がなく欠陥画素であると判定される画素を、後発の欠陥画素として追加登録しても良い。
The pixel
現像処理部18は、撮像部2から得られたRAW画像データ、または撮像部2から得られたRAW画像データを画像合成部15により合成して得られた合成RAW画像データに対する現像処理として、デモザイキング、ホワイトバランス調整、ノイズリダクション、ガンマ補正、YC信号生成、リサイズなどの各画像処理を行う。ここに、リサイズ処理は、イメージセンサ13から読み出された画像データの画素数を、表示部7の表示画素数に合わせるための処理である。なお、この現像処理部18において、さらに、画像圧縮処理等を行うようにしても構わない。
The
ノイズ量算出部6は、画像合成処理が行われた遮光画素データに基づきノイズ量を算出することを、イメージセンサ13から1コマの画像データおよび遮光画素データが読み出される毎に行うものである。具体的にノイズ量算出部6は、遮光画素群に属する複数のOB画素13bの画素値の分散または標準偏差をノイズ量として算出する。ノイズ量算出部6は、さらに、算出したノイズ量から、合成画像データの画質を表す画質指標を算出する指標算出部として機能するようになっている。この画質指標は、撮影者が合成画像データの画質を判断するのに有用な指標となっており、後で図4〜図7を参照して幾つかの具体例を説明する。
The noise
表示部7は、現像処理部18によって現像処理された画像や、撮像装置1に係る各種の情報を表示するものであり、例えば、TFT(Thin Film Transistor)液晶や有機EL(Electro Luminescence)などの表示装置を備えている。この表示部7の具体的な構成例としては、撮像装置1の背面表示部、あるいはEVF(電子ビューファインダ)などが挙げられる。イメージセンサ13から新たな画像データが読み出される毎に画像合成部15により得られる最新の合成画像を、現像処理部18によって現像処理した後に、この表示部7に表示することで、撮影中の画像の経過観察を行うことができる。また、上述したノイズ量算出部6により算出された画質指標も、この表示部7に表示され、撮影者が画質の判断に用いることができる。
The
入力IF8は、撮影者がこの撮像装置1に対する入力操作を行うための操作部であり、撮像装置1の電源をオン/オフするための電源釦、撮影開始および終了を操作するためのレリーズ釦等の操作部材、あるいは背面表示部等に付随して設けられたタッチ入力操作を行うためのタッチパネル等を有している。撮影者は、この入力IF8を操作することにより、撮像装置1の各種のモード設定や、レリーズ等の撮影動作指示を行うようになっている。
The input IF 8 is an operation unit for the photographer to perform an input operation to the
外部メモリ9は、撮像装置1に着脱可能な、または撮像装置1の内部に固定された、不揮発性の記憶媒体である。撮像装置1に着脱可能な外部メモリ9としては、例えば、SDメモリカードやCFカード等のメモリカードが挙げられる。現像処理部18により現像処理された画像データ(現像処理された合成画像データを含む)あるいはRAW画像データ(合成RAW画像データを含む)は、この外部メモリ9に記録され、また再生時にはこの外部メモリ9から記録済みの画像データが読み出される。
The
システム制御部10は、例えばCPU(Central Processing Unit)を有し、内部メモリ4に記憶された処理プログラムに従って各部を制御することにより、撮像装置1の全体を制御する制御部である。システム制御部10は、例えば、入力IF8を介して撮影者からの指示を受けると、イメージセンサ13の電荷蓄積開始および信号読出等のタイミング制御、メカニカルシャッタ12の開閉タイミング制御、レンズ11の絞り制御やオートフォーカス制御、などを行う。また、システム制御部10は、画像処理部5から画像データを受け取って、表示部7に画像表示を行わせる制御、外部メモリ9に画像データを保存させる制御、等も行う。
The
次に、図3は、撮像装置1において複数コマの画像を撮影して合成する処理の流れを示すフローチャートである。この図3に示す処理は、内部メモリ4に記憶された処理プログラムに従って、システム制御部10が各部を制御することにより実行される。
Next, FIG. 3 is a flowchart showing a flow of processing for capturing and combining images of a plurality of frames in the
この図3に示す合成処理は、撮影者が入力IF8によりバルブ撮影モードを選択し、かつバルブ撮影モード中の合成モード(露光中の経過表示を行うモード)を選択している場合に、図示しないメイン処理からサブルーチン等として実行される。 The composition processing shown in FIG. 3 is not shown when the photographer selects the bulb imaging mode by the input IF 8 and selects the composition mode (mode for displaying the progress during exposure) in the bulb imaging mode. The main processing is executed as a subroutine or the like.
従って、バルブ撮影モードが選択されていても、露光中の経過表示を行わない通常のバルブ撮影が選択されている場合についての説明は省略する。この図3を参照して説明するのは、コマ単位で時系列的に読み出した画像データを順次に画像合成して、最新の合成画像を撮影経過として表示する経過表示動作についてである。 Therefore, even if the bulb photographing mode is selected, the description of the case where the normal bulb photographing which does not display the progress during exposure is selected is omitted. What is described with reference to FIG. 3 is a process of displaying a latest combined image as a shooting progress by sequentially combining the image data read out in time series on a frame basis.
撮影者は、合成モードを選択した場合には、より詳細な合成モードとして、比較明合成モード、比較暗合成モード、加算平均合成モード、加算合成モードの内の1つ以上をさらに選択することができるようになっている。ここに、合成モードは2つ以上を同時に選択することが可能であり、2つ以上が選択された場合には撮像装置1の内部で並列処理が行われる。
When the photographer selects the combination mode, the photographer may further select one or more of the comparison combination mode, the comparison dark combination mode, the addition average combination mode, and the addition combination mode as more detailed combination modes. It can be done. Here, two or more combination modes can be selected at the same time, and when two or more are selected, parallel processing is performed inside the
図3に示す処理を開始すると、まず、メカニカルシャッタ12を開状態にして、イメージセンサ13から所定のフレームレートで読み出された画像データを画像処理部5により順次処理して、表示部7にリアルタイムで表示するライブビュー表示を行う(ステップS1)。
When the process shown in FIG. 3 is started, first, the
このライブビュー表示がなされると、焦点位置は例えば自動調節される。そして、撮影者はライブビュー画像を確認して(もし光学ファインダをさらに備えている場合には、光学ファインダにより被写体像を確認しても構わない)、撮影したい被写体を撮影できるように、撮像装置1の向きやレンズ11の焦点距離(ズーム)を調整して構図を決める。また、このライブビューを行っているときにも、撮影者は、必要に応じて、入力IF8の操作釦やタッチパネル等を介して、合成モードの設定や、より詳細な合成モードの設定を行うことができる。
When this live view display is made, the focus position is, for example, automatically adjusted. Then, the image pickup apparatus is configured so that the photographer can confirm the live view image (if the optical finder is further provided, the object image may be confirmed by the optical finder) and the subject to be photographed can be photographed. The composition is determined by adjusting the direction of 1 and the focal length (zoom) of the
次に、システム制御部10は、レリーズ釦が半押しされたときにオンになる1stレリーズスイッチの状態を判定して、オンになるまではステップS1のライブビュー表示を引き続き行い、オンになったと判定した場合には、1stレリーズがなされた場合の処理を行う(ステップS2)。
Next, the
ここでは、1stレリーズがなされた場合の処理として、例えば、AF(自動焦点制御)およびAE(自動露出制御)を行う。ここに、AFとして例えばコントラストAFを用いる場合には、イメージセンサ13から繰り返し読み出される画像データからコントラストを抽出して、抽出したコントラストが最大値になるようにレンズ11中のフォーカスレンズを駆動制御して焦点位置を合わせる。また、AEは、イメージセンサ13から繰り返し読み出される画像が適正露出になるように、絞り値、ISO感度、露出時間Tを自動制御する処理である。なお、撮像装置1の設定によっては、AFとAEとの一方または両方をオフにして、撮影者が入力IF8等を介して手動でフォーカスレンズの位置(焦点位置)、絞り値、ISO感度、露出時間T等を設定することもある。
Here, for example, AF (automatic focus control) and AE (automatic exposure control) are performed as processing when the first release is performed. Here, when using, for example, contrast AF as AF, the contrast is extracted from the image data repeatedly read out from the
1stレリーズ処理を行った後に、システム制御部10は、レリーズ釦が全押しされたときにオンになる2ndレリーズスイッチの状態を検出して、2ndレリーズスイッチがオンであるか否かを判定する(ステップS3)。
After performing the first release process, the
ここで、2ndレリーズスイッチがオンでないと判定された場合には、ステップS1へ戻って上述したような処理を繰り返して行う。 Here, when it is determined that the second release switch is not turned on, the process returns to step S1 and the above-described processing is repeated.
また、2ndレリーズスイッチがオンであると判定された場合には、システム制御部10は、メカニカルシャッタ12を開いてイメージセンサ13により1コマ目の画像の電荷蓄積(つまり、露出)を開始し、さらにシステム制御部10に内蔵されたタイマをリセットして露出時間Tの計時動作を開始する(ステップS4)。
When it is determined that the second release switch is on, the
その後、システム制御部10は、タイマの計時結果から露出時間Tが経過したか否かを判定する(ステップS5)。この露出時間Tは、イメージセンサ13から1コマの画像を読み出す周期(露出時間)であって、ステップS2においてAEにより自動で設定されるか、または撮影者により手動で予め設定される。そして、露出時間Tが経過していない場合には、露出を続行しながら、露出時間Tが経過するのを待機する。
Thereafter, the
システム制御部10は、露出時間Tが経過したと判定した場合には、イメージセンサ13から画像信号を読み出して、画像信号の読み出し終了直後に(つまり、電荷蓄積を行わない空白時間が最小となるように)次のコマの露出を開始し、さらにタイマをリセットして露出時間Tの計時動作を開始する(ステップS6)。このときには、メカニカルシャッタ12は開いたままとし、イメージセンサ13の電子シャッタ制御によって、次のコマの電荷蓄積開始を行う。
When it is determined that the exposure time T has elapsed, the
このために、連続して取り込む画像同士の露光抜けを最小限に抑制することができ、最終的に合成される画像に写り込む被写体の移動軌跡が途切れるのを最小限に止めることができる。デジタルカメラのイメージセンサ13として一般的に用いられているCMOSイメージセンサでは、読み出しおよび露光開始を1ライン毎に順次制御することができるために、連続するコマとコマの間の露光抜けの時間は1ラインの読み出し時間程度となる。この時間は、例えば数10〜100μ秒程度と非常に短いために、最終的な合成画像が、移動軌跡が途切れた画像として視認されることはほぼない。
For this reason, it is possible to minimize the exposure omission between the images taken in continuously, and to minimize the interruption of the movement trajectory of the subject to be captured in the finally synthesized image. In a CMOS image sensor generally used as an
また、システム制御部10は、イメージセンサ13から読み出された画像信号を、デジタルの画像データとして内部メモリ4に記憶させる(ステップS7)。この際には、図1に示したイメージセンサ13の有効画素13aから読み出された画像データに加えて、OB画素13bから読み出された遮光画素データも内部メモリ4に記憶される。
The
画像データを内部メモリ4に記憶すると、次に、システム制御部10は、処理対象の画像データが1コマ目の画像データであるか否かを判定する(ステップS8)。
After storing the image data in the
ここで、1コマ目の画像データでないと判定された場合(すなわち、2コマ目、もしくはそれ以降の画像データであると判定された場合)には、イメージセンサ13から読み出されステップS7において内部メモリ4に記憶された画像データと、既に内部メモリ4に記憶されている合成画像と、を画像合成部15により画像合成処理する(ステップS9)。
Here, when it is determined that the image data of the first frame is not (that is, when it is determined that the image data of the second frame or later), it is read from the
例えば、今、2コマ目の画像データが読み出された直後であるとすると、内部メモリ4には、1コマ目の画像データが合成画像として記憶され、さらにステップS7において2コマ目の画像データが記憶されているために、これらの画像データを画像合成部15が画像合成処理する。n(n≧3)コマ目以降を処理する場合にも、1〜(n−1)コマ目までの合成画像と、nコマ目として取得された画像と、を同様に画像合成処理することになる。ここで、画像合成部15は、有効画素13aでなる有効画素群から読み出した画像データと、OB画素13bでなる遮光画素群から読み出した画像データと、の両方に対して、同一画素位置の画素値同士を合成する画像合成処理を同じように行う。
For example, if it is assumed that the image data of the second frame has just been read out, then the image data of the first frame is stored as a composite image in the
その後、ステップS9の画像合成処理を行った場合には画像合成処理の結果の画像データを、また、ステップS8において1コマ目の画像データであると判定された場合には1コマ目として取得された画像データを、合成画像データとして内部メモリ4に記憶する(ステップS10)。
After that, when the image combining process in step S9 is performed, the image data as a result of the image combining process is obtained, and when it is determined in step S8 that the image data is the first frame, it is acquired as the first frame. The obtained image data is stored in the
続いて、内部メモリ4に記憶した合成画像データに対して、画素欠陥補正部17により画素欠陥補正処理を行い、処理後の合成画像データを、元の合成画像データとは別個に(つまり、ステップS9の画像合成処理で得られた元の合成画像データは残したまま)内部メモリ4に記憶する(ステップS11)。この画素欠陥補正処理についても、有効画素群から読み出した画像データと、遮光画素群から読み出した画像データと、の両方に対して同じように行う。
Subsequently, pixel defect correction processing is performed on the composite image data stored in the
さらに、現像処理部18により、画素欠陥補正された合成画像データに対して上述したような現像処理を行い、内部メモリ4に記憶する(ステップS12)。この現像処理についても、有効画素群から読み出した画像データと、遮光画素群から読み出した画像データと、の両方に対して同じように行う。また、現像処理された合成画像データは、上述した元の合成画像データとは別個に保存されるが、画素欠陥補正処理後の合成画像データに対しては上書きしても構わない。
Further, the
そして、ノイズ量算出部6が、現像処理された合成画像データのOB画素13bの数値解析を行うことにより、ノイズ量を算出する(ステップS13)。具体的に、ノイズ量算出部6は、遮光画素群に含まれる複数のOB画素13bの画素値の、例えば標準偏差(あるいは分散)を算出する。この標準偏差は、OB画素13bの画素値のばらつきを表し、OB画素13bは遮光されているためにノイズ量を表す。従って、算出した標準偏差は、値が小さいほどノイズ量が小さいことを示し、値が大きいほどノイズ量が大きいことを示す。
Then, the noise
なお、ここでは、現像処理された合成画像データのノイズ量を算出する例を説明したが、現像処理を行う前のRAW合成画像データのノイズ量を算出しても良い。外部メモリ9に画像データを保存する際に、現像処理された画像データを保存する場合と、RAW画像データを保存する場合と、現像処理された画像データおよびRAW画像データを保存する場合と、がある。現像処理を行うか否かによってノイズ量が異なるために、どの保存設定が選択されているかに応じて、保存される画像データのノイズ量を算出するようにすると良い。
Although the example of calculating the noise amount of the composite image data subjected to the development processing has been described here, the noise amount of the RAW composite image data before the development processing may be calculated. When image data is stored in the
例えば、撮影に精通した撮影者は、RAW画像の記録を選択して、外部メモリ9に保存したRAW画像を、後でPC(パーソナルコンピュータ)等を用いて、例えば市販の画像処理ソフトにより自分の好みに応じて現像処理することがある。こうした撮影者にとっては、RAW画像データに対するノイズ量を算出して、算出されたノイズ量に基づく画質指標(この画質指標については後述する)を表示するのは有用である。
For example, a photographer who is familiar with photographing selects recording of a RAW image and uses the RAW image stored in the
一方、RAW画像を保存しない一般の撮影者にとっては、現像後の画像のノイズ量を計算して画質指標を表示すれば十分である。 On the other hand, for a general photographer who does not store the RAW image, it is sufficient to calculate the noise amount of the image after development and display the image quality index.
さらに、現像処理後の画像データ(一般的には、例えばJPEGデータ)とRAW画像データとの両方を外部メモリ9に保存する場合には、両方のノイズ量を算出して、両方の画質指標を表示しても良いし、保存する2つの画像データの内の撮影者が画質指標を表示する対象として選択した画像データに対する画質指標のみを表示するようにしても構わない。
Furthermore, when both image data (generally, for example, JPEG data) after development processing and RAW image data are stored in the
その後、ノイズ量算出部6が、数値解析して得たノイズ量に基づき、画質指標を算出して(ステップS14)、表示部7が、現像された合成画像に重畳して、画質指標を表示する(ステップS15)。なお、ここで現像された合成画像を表示する際に、現像処理前のRAW合成画像データと現像処理された画像データとの何れか一方または両方を、途中経過の画像データとして外部メモリ9に保存するようにしても良い。
Thereafter, the noise
ここで、図4〜図7を参照して、撮影中の合成画像と共に表示される画質指標の幾つかの例を説明する。 Here, with reference to FIG. 4 to FIG. 7, several examples of the image quality index displayed together with the composite image being captured will be described.
まず、図4は、撮影開始時のノイズ量に対する現在のノイズ量の割合を画質指標として表示する例を示す図である。 First, FIG. 4 is a diagram showing an example in which the ratio of the current noise amount to the noise amount at the start of shooting is displayed as the image quality index.
この場合に、ノイズ量算出部6は、画質指標として、撮影開始時のノイズ量と現在の合成画像のノイズ量とを比較したノイズ量の変化量を示す数値を算出する。
In this case, the noise
そして、表示部7の画面7aには、現像処理された撮影中の合成画像が表示されると共に、画質指標が表示されている。この図4に示す画質指標は、撮影開始したときのノイズ量に対する現在のノイズ量の割合がどれだけであるかを、数字で表示するものとなっている。従って、撮影者は、ノイズ量が例えば半分になったことを直接に判断することができる。
Then, on the
次に、図5は、撮影開始時のISO感度から現在のISO感度がどれだけに相当する値に変化したかを画質指標として表示する例を示す図である。 Next, FIG. 5 is a diagram showing an example of displaying, as an image quality index, how much the current ISO sensitivity has changed to a value corresponding to the ISO sensitivity at the start of shooting.
ISO感度は、画素のデジタル出力に対するゲインに相当し、撮影に精通した撮影者は、一般的に、ISO感度が2倍になるとノイズも2倍に増幅され、つまりノイズ量が2倍になると把握している。 The ISO sensitivity corresponds to the gain for the digital output of the pixel, and a photographer who is familiar with photography generally understands that the noise is also doubled when the ISO sensitivity is doubled, that is, the noise amount is doubled. doing.
そこで、ノイズ量算出部6は、撮影開始時の画質指標としてISO感度と、現在の合成画像の画質指標としてISO感度と、を算出する。
Therefore, the noise
具体的に、この図5に示す画質指標は、撮影開始時のISO感度を基準として、現在のISO感度がどれだけに相当する値に変化したかを示すものとなっている。 Specifically, the image quality index shown in FIG. 5 indicates how much the current ISO sensitivity has changed to a value corresponding to the ISO sensitivity at the start of shooting.
図5に示す例では、撮影開始時のISO感度は1600である。そして、複数コマの画像を合成して得た合成画像の現在ノイズ量が、撮影開始時の1/4に改善したものとする。この場合に、撮影開始時のISO感度にノイズ変化量を乗算した1600/4=400を、現在のISO感度の相当値として表示することで、撮影者はノイズ量を直感的に把握することができる。 In the example shown in FIG. 5, the ISO sensitivity at the start of shooting is 1600. Then, it is assumed that the current noise amount of a combined image obtained by combining images of a plurality of frames is improved to 1⁄4 at the start of shooting. In this case, the photographer can intuitively grasp the noise amount by displaying 1600/4 = 400, which is the ISO sensitivity at the start of shooting multiplied by the noise change amount, as an equivalent value of the current ISO sensitivity. it can.
さらに、図6は、撮影開始時のISO感度から現在のISO感度への変化に基づき、ノイズ量がEV値として何段改善されたかを画質指標として表示する例を示す図である。 Furthermore, FIG. 6 is a diagram showing an example of displaying as an image quality index how many noise levels have been improved as an EV value based on a change from the ISO sensitivity at the start of shooting to the current ISO sensitivity.
ここに段数は、APEX(Additive system of Photographic EXposure)における、シャッタ速度をTv(Time Value)、絞り値をAv(Aperture Value)、輝度をBv(Brightness Value)、ISO感度をSv(Speed Value)として表したときのEV値
EV=Bv+Sv=Tv+Av
の単位である。記号「^」をべき乗を表す記号として用いるとすると、EV値で表す段数が+n段変化すると露出に関係する量(シャッタ速度、絞り値、輝度、ISO感度)が2^n倍になり、EV値で表す段数が−n段変化すると露出に関係する量が2^(−n)倍になる。
Here, the number of stages is Tv (Time Value) for shutter speed, Av (Aperture Value) for aperture value, Bv (Brightness Value) for luminance, and Sv (Speed Value) for ISO sensitivity in APEX (Additive system of Photographic Exposure). EV value when expressed EV = Bv + Sv = Tv + Av
Is the unit of Assuming that the symbol "^" is used as a symbol representing a power, if the number of steps represented by EV changes by + n, the amount related to exposure (shutter speed, aperture value, luminance, ISO sensitivity) will be 2 ^ n times When the number of steps represented by a value changes by -n steps, the amount related to exposure becomes 2 ^ (-n) times.
図6に示す例では、撮影開始時のISO1600が、現在、ISO400相当のノイズ量に改善されている。つまり、ISO感度が1/4=2^(−2)倍になっていて、ISO感度が−2段変化したことになるために、画質指標として「−2.0段」と表示されている。これにより撮影者は、ISO感度に換算したときに、画質が2段分改善したことを把握することができる。 In the example shown in FIG. 6, ISO1600 at the start of shooting is currently improved to a noise amount equivalent to ISO400. That is, since the ISO sensitivity is 1⁄4 = 2 ^ (− 2) times and the ISO sensitivity changes by −2 steps, “−2.0 steps” is displayed as the image quality index. . Thus, the photographer can understand that the image quality has improved by two steps when converted to the ISO sensitivity.
従って、ノイズ量算出部6は、画質指標として、撮影開始時のノイズ量と現在の合成画像のノイズ量とを比較したノイズ量の変化量を段数で示す数値を算出すると共に、撮影開始時の画質指標であるISO感度と、現在の合成画像の画質指標であるISO感度と、を算出している。
Therefore, the noise
そして、図7は、撮影開始時のダイナミックレンジから現在のダイナミックレンジがどれだけ変化したかを画質指標として表示する例を示す図である。 And FIG. 7 is a figure which shows the example displayed as an image quality index how much the present dynamic range changed from the dynamic range at the time of imaging | photography start.
ここにダイナミックレンジは、被写体を判別可能な、画素値の最低値から最大値までの範囲(被写体の暗い部分から明るい部分までを正確に撮影できる画素値範囲)を示している。このダイナミックレンジが広いほど被写体情報が損なわれることなく撮影されていることになり、画質が高く画像として好ましい。 Here, the dynamic range indicates a range from the lowest value to the highest value of the pixel value (pixel value range capable of accurately photographing from the dark part to the bright part of the subject) capable of discriminating the subject. As the dynamic range is wider, the subject information is taken without loss, and the image quality is high, which is preferable as an image.
ここで、ノイズ量が大きい場合には、被写体情報として得られた画素値の最低値付近は、ノイズレベルに埋もれてしまうために、何が写っているのかが判別できなくなってしまう。つまり、ノイズ量が大きいほどダイナミックレンジが狭くなる。 Here, when the amount of noise is large, the vicinity of the lowest value of the pixel value obtained as the subject information is buried in the noise level, so it can not be determined what is shown. That is, the dynamic range becomes narrower as the amount of noise is larger.
従って、画像合成処理を行うときに、ダイナミックレンジの変化に着目して撮影を行う撮影者の場合には、ノイズ量の大きさを画質指標とするのに代えて、この図7に示すように、撮影開始時のダイナミックレンジから現在のダイナミックレンジがどれだけ変化したかを画質指標として表示すると良い。この場合には、ノイズ量算出部6は、画質指標として、ノイズ量から求められた画像データのダイナミックレンジを示す数値を算出する。
Therefore, in the case of a photographer who takes an image by paying attention to the change of the dynamic range when performing the image combining process, as shown in FIG. 7 instead of using the magnitude of the noise amount as the image quality index. It may be displayed as an image quality index how much the current dynamic range has changed from the dynamic range at the start of shooting. In this case, the noise
ここに、ダイナミックレンジは、2を底とする対数「log2」を用いた次の計算式により、段数を単位とした数値として表すことができる。
ダイナミックレンジ=log2{デジタル最大値/判別可能最低画素値}
Here, the dynamic range can be expressed as a numerical value in units of the number of stages by the following calculation formula using the logarithm "log 2" with 2 as the base.
Dynamic range = log 2 {digital maximum value / determinable lowest pixel value}
ここに、デジタル最大値は、アナログ信号をnビットのデジタル信号にA/D変換した場合に2^nである(なお、ダイナミックレンジは、デジタルで算出するに限るものではなく、アナログで算出することも可能であるが、ここではデジタルを例に挙げている)。また、判別可能最低画素値は、特に規定はないが、例えば暗部(つまり、OB画素13b)のノイズの標準偏差の値以上であればノイズに埋もれることなく信号を判別可能であると規定することにすれば、判別可能最低画素値としてノイズの標準偏差を用いることができる。
Here, the digital maximum value is 2 ^ n when A / D-converting an analog signal into an n-bit digital signal (Note that the dynamic range is not limited to being calculated digitally, and is calculated by analog) Is possible, but here we take digital as an example). Also, the minimum distinguishable pixel value is not particularly defined, but for example, it is defined that a signal can be determined without being buried in noise if it is equal to or more than the value of the standard deviation of noise of dark part (that is,
具体例として、デジタル信号が12ビットである場合には、デジタル最大値は4096(=2^12)となる。 As a specific example, when the digital signal is 12 bits, the digital maximum value is 4096 (= 2 ^ 12).
また、撮影開始時のOB画素13bのノイズの標準偏差が8であったものとする。この場合には、
撮影開始時ダイナミックレンジ=log2{4096/8}=9(段)
となる。
Further, it is assumed that the standard deviation of the noise of the
Dynamic range at the start of shooting = log 2 {4096/8} = 9 (stage)
It becomes.
そして、複数の画像を合成した結果の現在の合成画像のOB画素13bのノイズの標準偏差が2(つまり、ノイズ量が撮影開始時の1/4)になったものとする。この場合には、
現在ダイナミックレンジ=log2{4096/2}=11(段)
となる。従って、撮影者は、撮影開始時よりも2段分広いダイナミックレンジの画像になっていることを把握することができる。
Then, it is assumed that the standard deviation of noise of the
Current dynamic range = log 2 {4096/2} = 11 (stage)
It becomes. Therefore, the photographer can grasp that the image has a dynamic range that is wider by two steps than at the start of imaging.
こうして、ステップS15の処理を行ったら、システム制御部10は、2ndレリーズスイッチの状態を検出して、2ndレリーズスイッチがオフであるか否かを判定する(ステップS16)。撮影者は、レリーズ釦を押圧することによりバルブ撮影を開始した後に、バルブ撮影を終了する場合には、レリーズ釦の押圧を解除するようになっている。従って、2ndレリーズスイッチがオフであるか否かを判定することにより、撮影者がバルブ撮影を終了する入力操作を行ったか否かを判定することができる。
Thus, after performing the process of step S15, the
ここで、2ndレリーズスイッチがオフでない(オンのままである)と判定された場合には、ステップS5へ行って、次のコマの撮影を上述したように繰り返して行う。こうして、露出時間Tが経過する毎に、最新の合成画像が露光経過を示す画像として表示部7に表示されるために、撮影者は、バルブ露光において露光が次第に進んで行く様子を、実際の画像として確認することができる。
Here, if it is determined that the 2nd release switch is not off (it remains on), the process proceeds to step S5, and shooting of the next frame is repeated as described above. Thus, every time the exposure time T elapses, the latest composite image is displayed on the
一方、ステップS16において、2ndレリーズスイッチがオフであると判定された場合には、露出時間Tが経過したか否かに関わらず、2ndレリーズスイッチのオフを判定したタイミングでバルブ撮影の露光を終了する。従って、イメージセンサ13に電荷蓄積されている途中の画像データは読み出されず、適宜、リセット等が行われる。
On the other hand, when it is determined in step S16 that the 2nd release switch is off, the exposure of the valve shooting is ended at the timing when it is determined that the 2nd release switch is off regardless of whether the exposure time T has elapsed. Do. Therefore, the image data in the process of being charge-stored in the
そして、2ndレリーズスイッチのオフを判定した時点で内部メモリ4に記憶されている合成画像データ(保存設定に応じて、RAW合成画像データと、現像処理された合成画像データとの一方または両方)を、外部メモリ9に保存する(ステップS17)。
Then, when it is determined that the second release switch is off, the composite image data (one or both of the RAW composite image data and the composite image data subjected to development processing) stored in the
さらに、内部メモリ4に記憶されている現像処理された合成画像データを、最終的な記録画像として表示部7に表示し(ステップS18)、この合成処理から図示しないメイン処理へリターンする。
Further, the composite image data subjected to the development processing stored in the
このような実施形態1によれば、画像合成処理を行う際に、イメージセンサ13のOB画素13bについても有効画素13aと同様の画像合成処理を行うようにしたために、OB画素13bにおけるノイズ量は、有効画素13aに含まれるノイズ量と同様であることになり、有効画素13aのノイズ量を正確に推定することが可能となる。
According to the first embodiment, when performing the image combining process, the image combining process similar to that of the
そして、OB画素13bの画素値の分散または標準偏差を合成画像のノイズ量として算出する場合には、処理が容易である利点がある。
When the variance or standard deviation of the pixel values of the
また、ノイズ量算出部6で算出したノイズ量に基づいて様々な形式の画質指標を算出し、合成画像に重畳して表示部7に表示するようにしたために、どのような合成方法を選択してどのような撮影条件で撮影したとしても、撮影者は、現在の合成画像のノイズ量に関連する画質を正確に把握することができ、撮影を終了するタイミングを判断する基準に用いることができる。
In addition, since image quality indexes of various formats are calculated based on the noise amount calculated by the noise
比較明合成、比較暗合成、加算平均合成ではランダムノイズの平均化効果があるために、合成するコマ数が増えるほどノイズが減少して行く。ノイズ改善を狙ってこれらの合成方法を選択して撮影を行う場合には、どこまでノイズを改善させたいかの意図に応じて、撮影する(合成する)コマ数が異なるために、撮影者は、現在のノイズ量またはノイズの改善量を把握しながら、自分の好みのタイミングで撮影を終了することができる。 In the case of comparative bright combination, relative dark combination, and averaging, since the averaging effect of random noise is present, the noise decreases as the number of frames to be combined increases. When shooting with the aim of noise improvement and selecting these combining methods, the photographer can change the number of frames to be shot (combined) according to the intention of how much the noise should be improved. While grasping the current amount of noise or the amount of noise improvement, it is possible to finish shooting at the timing of one's own choice.
一方、加算合成においては1コマ毎に発生するノイズが積算されて行くために、合成するコマ数が増えるほどノイズが増大する。撮影者によって許容できるノイズ量が異なるために、撮影者は、現在のノイズ量を把握しながら、許容できないノイズ量に達する前の所望のタイミングで撮影を終了することが可能となる。
[実施形態2]
On the other hand, in the additive synthesis, noise generated for each frame is integrated, so the noise increases as the number of frames to be synthesized increases. Since the amount of noise that can be tolerated differs depending on the photographer, the photographer can finish photographing at a desired timing before reaching the amount of noise that can not be tolerated while grasping the current amount of noise.
Second Embodiment
図8から図12は本発明の実施形態2を示したものであり、図8は撮像装置1の構成を示すブロック図である。
FIGS. 8 to 12 show a second embodiment of the present invention, and FIG. 8 is a block diagram showing a configuration of the
この実施形態2において、上述の実施形態1と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。 In the second embodiment, the same parts as those in the first embodiment described above are denoted by the same reference numerals, and the description is appropriately omitted, and only different points will be mainly described.
上述した実施形態1は、画質指標を見た撮影者が、所望のタイミングで手動により撮影を終了していた。これに対して本実施形態は、撮影者が所望とする目標の画質を予め設定して、現在撮影中の画像の画質が目標の画質に達したところで撮影を自動で終了させることができるようにしたものとなっている。 In the first embodiment described above, the photographer who saw the image quality index manually terminates the photographing at a desired timing. On the other hand, in the present embodiment, the image quality of the target desired by the photographer is set in advance, and the photographing can be automatically ended when the image quality of the image currently being photographed reaches the target image quality. It has become.
まず、図8に示すように、本実施形態の撮像装置1は、上述した実施形態1の図1に示した撮像装置1の構成に、さらにノイズ量判定部26を追加したものとなっている。このノイズ量判定部26は、システム制御部10およびバス3と接続されている。なお、ここではノイズ量判定部26をシステム制御部10と別構成としたが、システム制御部10がノイズ量判定部26を兼ねるようにしても構わない。
First, as shown in FIG. 8, the
次に、図9は、撮像装置1において複数コマの画像を撮影して合成する処理の流れを示すフローチャートである。
Next, FIG. 9 is a flowchart showing a flow of processing for capturing and combining images of a plurality of frames in the
まず、撮影者は、バルブ撮影を開始する前に、入力IF8を介して目標とする画質を設定する。従って、本実施形態における入力IF8は、目標ノイズ量を設定する目標ノイズ量設定部として機能する。 First, the photographer sets a target image quality via the input IF 8 before starting bulb imaging. Therefore, the input IF 8 in the present embodiment functions as a target noise amount setting unit that sets a target noise amount.
例えば、選択されている合成方法が加算平均合成である場合には、合成するコマ数が増えるほどノイズが改善するために、撮影者は、撮影開始時の設定ISO感度(例えば、ISO1600)よりも低いISO感度(例えば、ISO400相当)を目標画質として設定する。ここで設定された目標画質は、ノイズ量に換算されて、目標ノイズ量として内部メモリ4等に記憶される。
For example, when the selected combining method is additive average combining, the noise is improved as the number of frames to be combined increases, so that the photographer is better than the setting ISO sensitivity (for example, ISO 1600) at the start of shooting. A low ISO sensitivity (for example, equivalent to ISO 400) is set as the target image quality. The target image quality set here is converted into a noise amount and stored in the
そして、図9に示す処理を開始して、ステップS1〜S13の処理を、上述した実施形態1の図3に示した処理と同様に行う。 Then, the process shown in FIG. 9 is started, and the processes of steps S1 to S13 are performed in the same manner as the process shown in FIG. 3 of the first embodiment described above.
次に、ステップS13において算出したノイズ量が、目標画質に対応する目標ノイズ量に到達したか否かを、ノイズ量判定部26が判定する(ステップS21)。
Next, the noise
ここで、目標ノイズ量に到達していないと判定された場合には、ステップS14の処理を行った後に、最新の合成画像と現在の画質指標とともに、目標画質の画質指標を表示する(ステップS15A)。 Here, if it is determined that the target noise amount has not been reached, the image quality index of the target image quality is displayed together with the latest composite image and the current image quality index after performing the processing of step S14 (step S15A) ).
ここに、図10は、目標画質をISO感度により設定したときの表示例を示す図である。 FIG. 10 is a diagram showing a display example when the target image quality is set by the ISO sensitivity.
この図10に示す表示部7の画面7aは、撮影開始時のISO感度が1600であり、目標画質がISO感度200相当に設定されているが、現在のISO感度が400相当であることを表示する例となっている。
On the
また、図11は、目標画質をノイズ改善量により設定したときの表示例を示す図である。 FIG. 11 is a view showing a display example when the target image quality is set by the noise improvement amount.
この図11に示す例は、目標画質である目標ノイズ改善量が−3.0段に設定されているが、現在のノイズ改善量が−2.0段に止まっていることを表示している。 In the example shown in FIG. 11, although the target noise improvement amount which is the target image quality is set to -3.0 steps, it is displayed that the current noise improvement amount has stopped at -2.0 steps. .
さらに、図12は、目標画質をダイナミックレンジの改善量の段数により設定したときの表示例を示す図である。 Further, FIG. 12 is a diagram showing a display example when the target image quality is set by the number of stages of the improvement amount of the dynamic range.
この図12に示す例は、撮影開始時のダイナミックレンジが9EVであり、目標画質である目標ダイナミックレンジ改善量が+3EVに設定されているが、現在のダイナミックレンジが11EVであり、つまりダイナミックレンジ改善量が+2EVに止まっていることを表示している。 In the example shown in FIG. 12, the dynamic range at the start of shooting is 9 EV, and the target dynamic range improvement amount, which is the target image quality, is set to +3 EV, but the current dynamic range is 11 EV. It indicates that the amount has stopped at +2 EV.
これらの例に示すような表示を行うことで、目標画質に対する達成度合いを撮影者が把握することができる。 By performing the display as shown in these examples, the photographer can grasp the achievement degree with respect to the target image quality.
その後は、ステップS16へ行って、上述した実施形態1と同様に、システム制御部10が、2ndレリーズスイッチの状態を検出して、2ndレリーズスイッチがオフであるか否かを判定する。
Thereafter, the process proceeds to step S16, and the
すなわち、目標画質に到達しない場合であっても、撮影途中で撮影を終了したくなる場合が十分に想定される。例えば、目標画質に対する達成度合いが遅々として進展せず、達成完了を待てない場合、あるいは何らかの事情で途中で撮影を終了したい場合などである。そこで、上述した実施形態1と同様に2ndレリーズスイッチのオフ判定を行い、撮影者の意図によって撮影を終了できるようにしている。 That is, even when the target image quality is not reached, it may be sufficiently assumed that the user may want to finish shooting in the middle of shooting. For example, when the degree of achievement for the target image quality does not progress slowly and can not wait for the completion of achievement, or when it is desired to terminate the photographing halfway through for some reason. Therefore, as in the case of the first embodiment described above, it is determined that the second release switch is off, so that shooting can be ended by the photographer's intention.
こうして、ステップS21において目標ノイズ量に到達していると判定された場合、または、ステップS16において2ndレリーズスイッチがオフであると判定された場合には、ステップS17およびステップS18の処理を行ってから、図示しないメイン処理へリターンする。 Thus, if it is determined in step S21 that the target noise amount has been reached, or if it is determined in step S16 that the second release switch is off, the processes in steps S17 and S18 are performed. Return to the main processing not shown.
このような実施形態2によれば、上述した実施形態1とほぼ同様の効果を奏するとともに、設定された目標画質に達したところで撮影を自動的に終了するようにしたために、撮影者の意図を反映した撮影を自動で行うことが可能となる。従って、撮影者が画質指標を常時監視している必要がなくなり、バルブ撮影が長時間にわたる際の撮影者の負担を軽減することができる。 According to the second embodiment as described above, since the photographing operation is automatically ended when the set target image quality is reached while achieving substantially the same effect as the first embodiment described above, the intention of the photographer is set. It is possible to automatically perform the reflected imaging. Therefore, it is not necessary for the photographer to constantly monitor the image quality index, and it is possible to reduce the burden on the photographer when the bulb imaging is performed for a long time.
こうして、最適なタイミングで撮影を終了することができ、撮影の失敗を抑制することが可能となる。
[実施形態3]
Thus, shooting can be ended at an optimal timing, and it is possible to suppress shooting failure.
Third Embodiment
図13は本発明の実施形態3を示したものであり、撮像装置1において複数コマの画像を撮影して合成する処理の流れを示すフローチャートである。
FIG. 13 shows a third embodiment of the present invention, and is a flowchart showing a flow of processing for capturing and combining images of a plurality of frames in the
この実施形態3において、上述の実施形態1,2と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。 In the third embodiment, the same parts as those in the first and second embodiments described above will be denoted by the same reference numerals, and the description will be appropriately omitted, and only different points will be mainly described.
露出時間が長くなること(長時間露光)と、イメージセンサ13の温度が高くなることと、の少なくとも一方が発生すると、イメージセンサ13のPD(フォトダイオード)で発生する暗電流ノイズの影響が増大する。この暗電流ノイズは、シェーディングまたは欠陥状のFPNとして画像暗部に現れ、画質の低下を招く。
When at least one of the long exposure time (long time exposure) and the high temperature of the
これに対して、デジタルカメラ等の撮像装置1においては、長時間露光のとき、またはイメージセンサ13の温度が高いときに、メカニカルシャッタ12を開いて撮影した明時画像の露出時間と同じ時間だけ、メカニカルシャッタ12を閉じて暗時画像の撮影を行い、同一画素位置毎に明時画像から暗時画像を減算することにより、FPNを補正するFPNキャンセル処理が一般的に行われている。
On the other hand, in the
そこで、本実施形態では、システム制御部10が、メカニカルシャッタ12を開状態にして複数コマの明時画像データをイメージセンサ13に生成させるに先だって、メカニカルシャッタ12を閉状態にして暗時画像データをイメージセンサ13に生成させる。さらに、FPNキャンセル処理部16が、画像合成部15により算出された明時画像データに係る合成画像データから、暗時画像データを減算するFPNキャンセル処理を行う。そして、ノイズ量算出部6は、画像合成処理が行われFPNキャンセル処理が行われた遮光画素データに基づきノイズ量を算出する。
Therefore, in the present embodiment, before the
つまり、本実施形態のFPNキャンセル処理部16は、明時画像データが画像合成部15により得られた合成画像データである場合にも、暗時画像データを用いて、合成画像データ中の固定パターンノイズを補正するものとなっている。
That is, the FPN
ここに、本実施形態においては、各コマの露出時間Tが一定であって、合成方法が比較明合成、比較暗合成、または加算平均合成である場合を想定して、これらの合成方法に適したFPNキャンセル処理を説明する。 Here, in the present embodiment, assuming that the exposure time T of each frame is constant and the synthesis method is comparative bright synthesis, comparative dark synthesis, or addition average synthesis, it is suitable for these synthesis methods. The FPN cancellation processing will be described.
なお、加算合成の場合には、合成するコマ数が増えるほどFPNだけでなくランダムノイズも増加して行くために、露出時間Tで撮影した1コマの暗時画像を用いるだけでは、FPNの改善は期待できるもののランダムノイズの改善は難しく、つまり露光経過を示す画像の画質改善はそれほど期待できない。従って、ここでは画像合成処理として、比較明合成、比較暗合成、または加算平均合成を想定している。 In addition, in the case of additive composition, not only FPN but also random noise increases as the number of frames to be combined increases, so FPN can be improved only by using one dark image taken with exposure time T. However, improvement of random noise is difficult, that is, improvement of image quality of an image showing exposure progress can not be expected so much. Therefore, here, as the image combining processing, comparative bright combining, comparative dark combining, or averaging combining is assumed.
上述した各コマの露出時間Tが一定であるという想定の下では、各コマに含まれるFPNは概ね等しいと考えて良いために、明時画像を撮影する直前に露出時間Tの暗時画像を撮影しておき、途中経過として表示する画像にもFPNキャンセル処理を行っておくことで、露光経過を示す画像の画質を改善することができる。 Under the assumption that the exposure time T of each frame described above is constant, it is possible to consider that the FPNs contained in each frame are almost equal. By performing FPN cancellation processing on an image to be displayed and displayed as an intermediate process, it is possible to improve the image quality of an image showing an exposure process.
図13に示す処理を開始すると、ステップS1〜S3の処理を行う。 When the process shown in FIG. 13 is started, the processes of steps S1 to S3 are performed.
そして、ステップS3において、2ndレリーズスイッチがオンであると判定された場合には、システム制御部10は、まず、メカニカルシャッタ12を閉じてイメージセンサ13により露出時間Tの暗時画像を撮影し(ステップS31)、撮影した暗時画像を内部メモリ4に記憶する(ステップS32)。
When it is determined in step S3 that the second release switch is on, the
その後は、メカニカルシャッタ12を開いてステップS6〜S10の処理を行い、明時画像を撮影して合成画像を算出し内部メモリ4に記憶する。
After that, the
続いて、明時画像を合成して得られた合成画像から暗時画像を減算することを、同一画素位置毎に行ってFPNキャンセル処理を実施する(ステップS33)。このFPNキャンセル処理は、有効画素13aでなる有効画素群に対して行うだけでなく、OB画素13bでなる遮光画素群に対しても同様に行う。ここでFPNキャンセル処理された合成画像は、元の合成画像とは別途に内部メモリ4に記憶される。そして、ステップS9において算出される合成画像は、FPNキャンセル処理がなされていない合成画像と、新たに撮影された画像と、を合成した画像である。
Subsequently, subtraction of the dark image from the combined image obtained by combining the bright image is performed for each same pixel position, and the FPN cancellation processing is performed (step S33). This FPN cancellation process is performed not only on the effective pixel group consisting of the
次に、FPNキャンセル処理された合成画像に対して、ステップS11の画素欠陥補正処理、およびステップS12の現像処理を行う。 Next, the pixel defect correction process of step S11 and the development process of step S12 are performed on the composite image subjected to the FPN cancellation process.
さらに、ノイズ量算出部6が、FPNキャンセル処理後に現像処理された合成画像データのノイズ量を、OB画素13bの数値解析を行うことにより算出し(ステップS13A)、ノイズ量に基づき画質指標を算出する(ステップS14A)。
Furthermore, the noise
その後、ステップS15およびステップS16の処理を行い、ステップS16において2ndレリーズスイッチがオフであると判定された場合には、2ndレリーズスイッチのオフを判定した時点で内部メモリ4に記憶されている合成画像データ(FPNキャンセル処理がまだなされていない合成画像データ)にFPNキャンセル処理を行い(ステップS34)、外部メモリ9に保存する(ステップS17A)。
Thereafter, the processing in step S15 and step S16 is performed, and if it is determined in step S16 that the second release switch is off, the composite image stored in the
続いて、ステップS18の処理を行い、この合成処理から図示しないメイン処理へリターンする。 Subsequently, the process of step S18 is performed, and the combination process returns to the main process (not shown).
このような実施形態3によれば、上述した実施形態1,2とほぼ同様の効果を奏するとともに、明時画像を撮影する直前に撮影した暗時画像を用いて、各コマを取得した時点の合成画像のFPNキャンセル処理を行い、FPNキャンセル処理後の合成画像のOB画素13bからノイズ量を算出して画質指標を生成し、FPNキャンセル処理後の合成画像と共に表示するようにしたために、ノイズ量に係る画質をより正確に把握しながら撮影を行うことができる。
[実施形態4]
According to the third embodiment, substantially the same effect as the first and second embodiments described above is obtained, and each frame is acquired using the dark image captured immediately before capturing the bright image. The noise amount is calculated from the
Fourth Embodiment
図14から図16は本発明の実施形態4を示したものであり、図14は撮像装置1における各部の動作を示すタイミングチャート、図15は撮像装置1において複数コマの画像を撮影して合成する処理の流れを示すフローチャート、図16は撮像装置1におけるFPNキャンセル後ノイズ量算出処理を示すフローチャートである。
14 to 16
この実施形態4において、上述の実施形態1〜3と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。 In the fourth embodiment, the same parts as those in the first to third embodiments described above will be denoted by the same reference numerals, and the description will be omitted as appropriate, and only different points will be mainly described.
上述した実施形態3においては、バルブ撮影を開始する直前に暗時画像を撮影したが、本実施形態は、バルブ撮影を終了した直後に暗時画像を撮影するものとなっている。さらに、実施形態3では取得済みの暗時画像を用いて撮影途中の各時点における合成画像のFPNキャンセル処理を行い、FPNキャンセル処理後の合成画像のノイズ量を算出して画質指標を表示したが、本実施形態は、撮影途中の各時点におけるFPNキャンセル処理前の合成画像からFPNキャンセル処理をされた場合の残存ノイズ(ランダムノイズ)を推定してノイズ量とし、画質指標を表示するようにしたものである。 In the above-described third embodiment, the dark image is captured immediately before the bulb imaging is started, but in the present embodiment, the dark image is captured immediately after the bulb imaging is completed. Furthermore, in the third embodiment, the FPN cancellation processing of the composite image at each time point during shooting is performed using the acquired dark image, and the noise amount of the composite image after the FPN cancellation processing is calculated to display the image quality index. In the present embodiment, the residual noise (random noise) in the case of being subjected to the FPN cancellation processing from the composite image before the FPN cancellation processing at each time during photographing is estimated as the noise amount to display the image quality index It is a thing.
まず、図14および図15を参照しながら、本実施形態における合成処理の流れを説明する。 First, the flow of the combining process in the present embodiment will be described with reference to FIGS. 14 and 15.
この処理を開始すると、ステップS1〜S12の処理を上述したように行う。これにより、ステップS5において露出時間Tが経過する毎に明時画像が読み出され、図14に示すように、1コマ目から順に第1明時画像,第2明時画像,第3明時画像,第4明時画像,…などが得られる。新たな明時画像が撮影される毎に、ステップS9において合成処理が行われ、さらに、ステップS11の画素欠陥補正処理、およびステップS12の現像処理が行われる。 When this process is started, the processes of steps S1 to S12 are performed as described above. As a result, the bright hour image is read each time the exposure time T elapses in step S5, and as shown in FIG. 14, the first bright hour image, the second bright hour image, and the third bright hour are sequentially from the first frame. An image, a fourth bright image,... Are obtained. Every time a new bright-time image is photographed, a composition process is performed in step S9, and a pixel defect correction process in step S11 and a development process in step S12 are performed.
次に、ノイズ量算出部6が、現像処理が行われた合成画像の、FPNキャンセル処理を行った後のノイズ量を推定して算出する(ステップS41)。
Next, the noise
すなわち、ノイズ量算出部6は、合成画像データの遮光画素データに基づき算出したノイズ量と、イメージセンサ13から順次に読み出される各コマの遮光画素データに基づき算出したノイズ量と、順序が隣接する2つのコマの遮光画素データを各画素位置毎に減算した減算画像データに基づき算出したノイズ量と、を用いて、イメージセンサ13から1コマの明時画像データが読み出される毎に、FPNキャンセル処理が行われたとした場合の合成画像データのノイズ量を算出する。このFPNキャンセル後ノイズ量算出処理については、後で図16を参照して詳しく説明する。
That is, the noise
続いて、ステップS15において、現像処理された合成画像が、図14に示すように、表示部7に表示画像として表示される。
Subsequently, in step S15, the composite image subjected to the development processing is displayed on the
さらに、ステップS16の処理を行い、ステップS16において2ndレリーズスイッチがオフであると判定された場合には、システム制御部10は、メカニカルシャッタ12を閉じてイメージセンサ13により露出時間Tの暗時画像を撮影し(ステップS42)、撮影した暗時画像を内部メモリ4に記憶する(ステップS43)。
Further, when the process of step S16 is performed and it is determined in step S16 that the second release switch is off, the
さらに、ステップS34において、内部メモリ4に記憶されている合成画像データに対して、ステップS43で内部メモリ4に記憶した暗時画像を用いてFPNキャンセル処理を行い、ステップS17Aにおいて、処理後の合成画像データ(図14に示す最終記録画像)を外部メモリ9に保存する。
Furthermore, in step S34, FPN cancellation processing is performed on the composite image data stored in
その後は、ステップS18の処理を行い、この合成処理から図示しないメイン処理へリターンする。 Thereafter, the process of step S18 is performed, and the synthesis process returns to the main process (not shown).
次に、上述したステップS41のFPNキャンセル後ノイズ量算出処理の原理について説明する。 Next, the principle of the post-FPN cancellation noise amount calculation process of step S41 described above will be described.
まず、一般的に、1枚の画像に含まれるノイズ量を示す標準偏差σは、次の数式1に示すように、ランダムノイズ量(標準偏差:σrとする)とFPN量(標準偏差:σfとする)との2乗和の平方根で表される。
[数1]
σ={σr^2+σf^2}^(1/2)
First, in general, the standard deviation σ indicating the amount of noise contained in one image is a random noise amount (standard deviation: σr) and an FPN amount (standard deviation: σf), as shown in
[Equation 1]
σ = {σr ^ 2 + σf ^ 2} ^ (1/2)
従って、何コマ目であるかを示すコマ数を正の整数nで表し、nコマ目の画像のランダムノイズ量をσr_n、FPN量をσf_nとすると、nコマ目の画像(1コマ分の画像)に含まれるノイズ量σnは、次の数式2により表される。
[数2]
σn={σr_n^2+σf_n^2}^(1/2)
Therefore, assuming that the number of frames indicating which frame is a positive integer n, the random noise amount of the nth frame image is σr_n, and the FPN amount is σf_n, the image of the nth frame (one frame) The noise amount σ n included in) is expressed by the
[Equation 2]
σ n = {σ r_ n ^ 2 + σ f _ n ^ 2} ^ (1/2)
一方、1〜nコマ目の画像を画像合成処理して得られる合成画像のノイズ量σ合nも、合成画像のランダムノイズ量をσr_合n、FPN量をσf_合nとすると、数式1に従って、次の数式3により表される。
[数3]
σ合n={σr_合n^2+σf_合n^2}^(1/2)
On the other hand, the noise amount σ total n of the combined image obtained by subjecting the 1st to nth frame images to image combining processing is also given by the formula given that the random noise amount of the combined image is σ r_ total n and the FPN amount is σ f_ total n According to 1, it is represented by the
[Equation 3]
σ combination n = {σr_combination n ^ 2 + σf_combination n ^ 2} ^ (1/2)
今求めたい量は、FPNキャンセル処理を行った後の合成画像のノイズ量であり、つまり、σr_合nである。そこで、数式3をσr_合nを求める式に変形すれば、次の数式4になる。
[数4]
σr_合n={σ合n^2−σf_合n^2}^(1/2)
The amount to be obtained now is the noise amount of the composite image after the FPN cancellation processing, that is, σr_combination n. Then,
[Equation 4]
σ r_ total n = {σ total n ^ 2-σ f_ total n ^ 2} ^ (1/2)
この数式4の右辺における合成画像のノイズ量σ合nは、合成画像のOB画素13bの画素値の標準偏差から算出される。
The noise amount σ combination n of the composite image on the right side of the
一方、数式4の右辺における合成画像のFPN量σf_合nは、各コマのFPN量σf_1,σf_2,σf_3,…,σf_nが分かれば、合成方法に応じて次のように算出される(さらに、幾つかの合成方法に応じた合成画像のランダムノイズ量σr_合nも、各コマのランダムノイズ量σr_1,σr_2,σr_3,…,σr_nが分かれば、次のように算出される)。
On the other hand, if the FPN amounts σf_1, σf_2, σf_3,..., Σf_n of the respective frames are known, the FPN amount σf_combination n of the composite image on the right side of
まず、加算合成を用いる場合には、次の数式5,5Aに示すようになる。
[数5]
σf_合n=σf_1+σf_2+σf_3+…+σf_n
[数5A]
σr_合n={σr_1^2+σr_2^2+σr_3^2+…+σr_n^2}^(1/2)
First, in the case of using additive composition, it becomes as shown in the following
[Equation 5]
sigma f_ total n =
[Equation 5A]
σ r _ n n = {σ r _1 ^ 2 + σ r _2 + 2 r σ ^ 3 + 2 + ... + σ r _ n ^ 2} ^ (1/2)
次に、加算平均合成を用いる場合には、次の数式6,6Aに示すようになる。
[数6]
σf_合n={σf_1+σf_2+σf_3+…+σf_n}/n
[数6A]
σr_合n={(σr_1^2+σr_2^2+σr_3^2+…+σr_n^2)/2}^(1/2)
Next, in the case of using the addition mean combination, the following
[Equation 6]
sigma f_ total n = {sigma f_1 +
[Equation 6A]
σ r _ n n = {(
続いて、比較明合成を用いる場合には、最大値を与える関数maxを用いれば、次の数式7に示すようになる。
[数7]
σf_合n=max{σf_1,σf_2,σf_3,…,σf_n}
Subsequently, in the case of using the comparative bright combination, if the function max giving the maximum value is used, the following
[Equation 7]
sigma f_ total n = max {sigma f_1, sigma f_2, sigma f_3, ... sigma f_ n}
さらに、比較暗合成を用いる場合には、最小値を与える関数minを用いれば、次の数式8に示すようになる。
[数8]
σf_合n=min{σf_1,σf_2,σf_3,…,σf_n}
Furthermore, in the case of using the relative dark combination, if the function min that gives the minimum value is used, the following
[Equation 8]
sigma f_ total n = min {sigma f_1, sigma f_2, sigma f_3, ... sigma f_ n}
従って、各コマのFPN量σf_1,σf_2,σf_3,…,σf_nが分かれば、合成方法に応じた数式5,6,7,8の何れかを用いることにより、合成画像のFPN量σf_合nが分かることになる。 Therefore, if the FPN amounts σf_1, σf_2, σf_3,. Will be understood.
そこで、nコマ目の画像のFPN量σf_nを、(n−1)コマ目の画像とnコマ目の画像とに基づいて算出することを考える。 Therefore, it is considered to calculate the FPN amount σ f — n of the image of the nth frame on the basis of the image of the (n−1) th frame and the image of the nth frame.
ここに、nコマ目の画像のノイズ量σnは上述した数式2により表され、(n−1)コマ目の画像のノイズ量σn-1は、数式1に従って、次の数式9に示すように表される。
[数9]
σn-1={σr_n-1^2+σf_n-1^2}^(1/2)
Here, the noise amount σ n of the image of the n th frame is expressed by
[Equation 9]
σ n-1 = {σ r n -1 ^ 2 + σ f n -1 ^ 2} ^ (1/2)
ここで、各コマの画像を撮影する際の露出時間TおよびISO感度が同一であるものとする。さらに、(n−1)コマ目の画像を撮影する時点とnコマ目の画像を撮影する時点とで、イメージセンサ13の温度がほぼ変化しないものとする。このときには、次の数式10,10Aに示すような近似を行うことができる。
[数10]
σr_n-1≒σr_n
[数10A]
σf_n-1≒σf_n
Here, it is assumed that the exposure time T and the ISO sensitivity at the time of shooting an image of each frame are the same. Furthermore, it is assumed that the temperature of the
[Equation 10]
σr_n-1 σ σr_n
[Equation 10A]
σ f n -1 ≒ σ f n
なお、ここで述べているのは、順序(コマ番号)が隣接するコマ同士ではランダムノイズ量およびFPN量が近似するということだけであるので、例えば、σr_n-1≒σr_nであり、かつσr_n-2≒σr_n-1であるからといって、σr_n-2≒σr_nが成り立つとは限らないことに注意を要する。 Here, what is described here is only that the random noise amount and the FPN amount are similar between adjacent frames in the order (frame number), so, for example, σr_n−1σσr_n, and σr_n− It should be noted that just because 2 ≒ σr_n−1 does not mean that σr_n−2 ≒ σr_n holds.
そして、順序が隣接する(n−1)コマ目の画像とnコマ目の画像のOB画素13bに関して、同一画素位置の画素値同士を減算処理して、減算画像におけるOB画素13bの画素値の標準偏差から、減算画像に含まれるノイズ量σn-1〜nを算出する。この減算処理を行うと、FPNはキャンセルされるために、減算画像に含まれるノイズ量σn-1〜nは、ランダムノイズのみのノイズ量であると考えることができる。
Then, with respect to the
ここに、ランダムノイズは、+,−方向に無関係に発生するノイズであるために、減算処理を行った場合のノイズ量は、加算合成時と同様に、(n−1)コマのランダムノイズ量σr_n-1とnコマのランダムノイズ量σr_nの2乗和の平方根で表すことができる。従って、減算画像に含まれるノイズ量σn-1〜nは、次の数式11に示すように表される。
[数11]
σn-1〜n={σr_n^2+σr_n-1^2}^(1/2)
Here, since random noise is noise generated independently in the + and-directions, the amount of noise when subtraction processing is performed is the amount of random noise of (n-1) frames, as in the addition and synthesis. It can be represented by the square root of the sum of squares of the random noise amount σr_n of σr_n−1 and n frames. Therefore, the noise amounts σ n-1 to n included in the subtraction image are expressed as shown in the following
[Equation 11]
σ n-1 to n = {σ r ^ n ^ 2 + σ r n n -1 ^ 2} ^ (1/2)
この数式11に数式10の近似を適用すれば、次の数式12を得る。
[数12]
σn-1〜n={σr_n^2+σr_n-1^2}^(1/2)
≒{σr_n^2+σr_n^2}^(1/2)
=2^(1/2)×σr_n
If the approximation of
[Equation 12]
σ n-1 to n = {σ r ^ n ^ 2 + σ r n n -1 ^ 2} ^ (1/2)
{{Σr_n ^ 2 + σr_n ^ 2} ^ (1/2)
= 2 ^ (1/2) x σr_n
この数式12をσr_nを求める式に書き直せば、次の数式13となる。
[数13]
σr_n≒(σn-1〜n)/(2^(1/2))
If
[Equation 13]
σ r n ≒ (σ n-1 to n) / (2 ^ (1/2))
従って、数式2をσf_nを求める式に書き直した上で、数式13を適用すれば、次の数式14を得る。
[数14]
σf_n={σn^2−σr_n^2}^(1/2)={σn^2−(σn-1〜n^2)/2}^(1/2)
Therefore, the following
[Equation 14]
σ f n = {σ n ^ 2-σ r n ^ 2} ^ (1/2) = {σ n ^ 2-(σ n-1 to n ^ 2) / 2} ^ (1/2)
このようにして各コマのFPN量σf_nの値が算出されれば、上述した数式5,6,7,8の何れかを用いることにより、合成画像のFPN量σf_合nを算出することができ、ひいては数式4により、FPNキャンセル処理を行った後の合成画像のノイズ量σr_合nを求めることができる。
Once the value of the FPN amount σf_n of each frame is calculated in this manner, the FPN amount σf_combination n of the composite image can be calculated by using any one of the above-mentioned
このような原理に基づく、ステップS41のFPNキャンセル後ノイズ量算出の処理の詳細を、図16を参照して説明する。 The details of the process of calculating the amount of noise after FPN cancellation in step S41 based on such a principle will be described with reference to FIG.
この処理を開始すると、イメージセンサ13から読み出されたnコマ目の画像のOB画素13bのノイズ量σnを例えば標準偏差として算出すると共に、1〜nコマ目の各画像を合成処理して得られた合成画像のノイズ量σ合nを例えば標準偏差として算出する(ステップS51)。
When this process is started, the noise amount .sigma.n of the
次に、各画素位置毎に、nコマ目の画像のOB画素13bの画素値から、(n−1)コマ目の画像のOB画素13bの画素値を減算する画像演算を行う(ステップS52)。
Next, an image operation is performed to subtract the pixel value of the
続いて、減算画像のOB画素13bのノイズ量σn-1〜nを例えば標準偏差として算出する(ステップS53)。
Subsequently, the noise amount σ n-1 to n of the
さらに、ステップS51で算出したノイズ量σnと、ステップS53で算出したノイズ量σn-1〜nとを用いて、nコマ目の画像のFPN量σf_nを数式14により算出する(ステップS54)。 Further, using the noise amount σn calculated in step S51 and the noise amounts σn-1 to n calculated in step S53, the FPN amount σf_n of the n-th frame image is calculated according to Formula 14 (step S54).
ここで算出したFPN量σf_nを、内部メモリ4に保存しておく(ステップS55)。これにより、各コマのFPN量が内部メモリ4に順次蓄積される。
The FPN amount σ f — n calculated here is stored in the internal memory 4 (step S55). Thereby, the FPN amount of each frame is sequentially accumulated in the
そして、1〜nコマ目のFPN量σf_1,σf_2,σf_3,…,σf_nを用いて、合成方法に応じた数式5,6,7,8の何れかに基づき、合成画像のFPN量σf_合nを算出する(ステップS56)。 Then, using the FPN amounts σf_1, σf_2, σf_3,. Calculate n (step S56).
その後、ステップS51で算出したノイズ量σ合nと、ステップS56で算出したFPN量σf_合nとを用いて、FPNキャンセル処理を行った後の合成画像のノイズ量σr_合nを、数式4により算出し(ステップS57)、この処理からリターンする。 Thereafter, using the noise amount σ total n calculated in step S51 and the FPN amount σ f_ total n calculated in step S56, the noise amount σ r_ total n of the composite image after the FPN cancellation processing is Calculated by 4 (step S57), and return from this process.
上述した実施形態3のように明時画像の撮影を開始する直前に暗時画像を撮影する場合には、レリーズ釦により2ndレリーズスイッチがオンされてから明時画像が実際に撮影開始されるまでのタイムラグが長くなるために、例えば花火などを撮影している場合に、写したい花火が写らない場合が生じていた。 When shooting a dark image immediately before starting the shooting of a bright image as in the third embodiment described above, until the bright image is actually started after the second release switch is turned on by the release button For example, when shooting a firework or the like, the case where the firework you want to shoot may not appear has occurred because of a long time lag of
これに対して、このような実施形態4によれば、上述した実施形態1〜3とほぼ同様の効果を奏するとともに、明時画像の撮影を終了した直後に暗時画像を撮影するようにしたために、シャッタチャンスを逃すケースを低減することが可能となる。 On the other hand, according to the fourth embodiment, almost the same effect as the first to third embodiments described above is obtained, and the dark time image is photographed immediately after the bright time image photographing is finished. In addition, it is possible to reduce the case in which the shutter chance is missed.
なお、上述では、レリーズ釦を押圧することによりバルブ撮影を開始し、押圧を解除することによりバルブ撮影を停止していたが、これに限るものではない。例えば、レリーズ釦を押圧することによりバルブ撮影を開始し、一旦バルブ撮影を開始した後は押圧を解除してもバルブ撮影が続行され、再度、レリーズ釦を押圧するとバルブ撮影を停止するようにしても良い。 In the above description, the valve shooting is started by pressing the release button and the valve shooting is stopped by releasing the pressing button. However, the present invention is not limited to this. For example, the valve shooting is started by pressing the release button, and once the valve shooting is started, the valve shooting is continued even if the pressing is released, and the valve shooting is stopped when the release button is pressed again. Also good.
また、上述したように、比較明合成、比較暗合成、加算平均合成、加算合成の内の何れか1つが設定可能であるに限るものではなく、2つ以上の組み合わせを同時に設定可能としても良い。そして、バルブ撮影時の途中経過を示す合成画像の表示は、比較明合成画像のみ、比較暗合成画像のみ、または平均合成画像のみでも構わず、あるいは、単純に加算画像を表示するようにしても良い。 Further, as described above, it is possible to set two or more combinations simultaneously instead of being able to set any one of comparative bright combination, comparative dark combination, addition average combination and addition combination. . Then, the display of the composite image showing the progress in the bulb photographing may be only the comparative bright composite image, only the comparative dark composite image, only the average composite image, or even simply display the addition image. good.
さらに、上述では主として撮像装置1について説明したが、撮像装置1と同様の処理を行う撮像方法であっても良いし、コンピュータに撮像装置1と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
Furthermore, although the
具体的に、上述では、撮像装置1についての処理を説明したが、これに限らず、撮像装置1により複数コマの画像データを取得しておき、取得した複数コマの画像データに対して上述したような画像処理を施すようにしても構わない。
Specifically, although the processing for the
また、本明細書において説明した技術の内の、主にフローチャートで説明した制御に関しては、処理プログラムで実行可能であることが多く、この処理プログラムは記録媒体または記録部に収められる場合もある。この記録媒体または記録部への記録の仕方は、製品出荷時に記録しても良く、配布された記録媒体を利用しても良く、インターネット等の通信回線を介してダウンロードしたものでも良い。 Further, among the techniques described in the present specification, regarding the control mainly described in the flowchart, the processing program can often be executed, and the processing program may be stored in a recording medium or a recording unit. The recording method to the recording medium or the recording unit may be recorded at the time of product shipment, may use the distributed recording medium, or may be downloaded via a communication line such as the Internet.
さらに、特許請求の範囲、明細書、および図面(フローチャート等)中の動作説明に関して、便宜上「まず」、「次に」、「続いて」、「その後」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。 Furthermore, regarding the operation explanation in the claims, the specification, and the drawings (flowcharts and the like), using words expressing an order such as "first", "next", "follow", "after" etc. Even if it explains, it does not mean that it is essential to carry out in this order in the part which is not especially explained.
そして、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。 The present invention is not limited to the above-described embodiment as it is, and in the implementation stage, the constituent elements can be modified and embodied without departing from the scope of the invention. In addition, various aspects of the invention can be formed by appropriate combinations of a plurality of constituent elements disclosed in the above-described embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, the constituent elements in different embodiments may be combined as appropriate. As a matter of course, various modifications and applications are possible without departing from the scope of the invention.
1…撮像装置
2…撮像部
3…バス
4…内部メモリ
5…画像処理部
6…ノイズ量算出部
7…表示部
7a…画面
8…入力IF
9…外部メモリ
10…システム制御部
11…レンズ
12…メカニカルシャッタ
13…イメージセンサ
13a…有効画素
13b…OB画素
15…画像合成部
16…FPNキャンセル処理部
17…画素欠陥補正部
18…現像処理部
21…比較明合成部
22…比較暗合成部
23…加算合成部
24…平均合成部
26…ノイズ量判定部
DESCRIPTION OF
9
Claims (13)
上記有効画素群から順次に読み出された複数コマの上記画像データに画像合成処理を行って1コマの合成画像データを算出するとともに、上記遮光画素群から順次に読み出された複数コマの上記遮光画素データに対して上記画像データに行ったのと同じ画像合成処理を行う画像合成部と、
上記画像合成処理が行われた上記遮光画素データに基づきノイズ量を算出するノイズ量算出部と、
を備え、
上記画像合成部および上記ノイズ量算出部は、上記撮像素子から1コマの上記画像データおよび上記遮光画素データが読み出される毎に上記処理を行うことを特徴とする撮像装置。 An imaging element having an effective pixel group for generating image data related to an optical image of a subject, and a light shielding pixel group disposed around the effective pixel group to generate light shielding pixel data by shielding the periphery of the effective pixel group;
The image combining process is performed on the plurality of frames of image data sequentially read from the effective pixel group to calculate one frame of combined image data, and the plurality of frames of frame images sequentially read from the light shielding pixel group An image combining unit that performs the same image combining processing as performed on the image data on light-shielded pixel data;
A noise amount calculation unit that calculates a noise amount based on the light-shielded pixel data subjected to the image synthesis processing;
Equipped with
An image pickup apparatus, wherein the image synthesis unit and the noise amount calculation unit perform the process each time the image data of one frame and the light-shielded pixel data are read out from the image pickup device.
上記画質指標を表示する表示部と、
をさらに備えたことを特徴とする請求項1に記載の撮像装置。 An index calculation unit that calculates an image quality index representing the image quality of the combined image data from the noise amount calculated by the noise amount calculation unit;
A display unit for displaying the image quality index;
The image pickup apparatus according to claim 1, further comprising:
上記光学シャッタを開状態にして複数コマの明時画像データを生成させるに先だって、上記光学シャッタを閉状態にして上記撮像素子に暗時画像データを生成させる制御部と、
上記画像合成部により算出された上記明時画像データに係る上記合成画像データから、上記暗時画像データを減算するFPNキャンセル処理を行うFPNキャンセル処理部と、
をさらに備え、
上記ノイズ量算出部は、上記画像合成処理が行われ上記FPNキャンセル処理が行われた上記遮光画素データに基づきノイズ量を算出することを特徴とする請求項1に記載の撮像装置。 An optical shutter for controlling the arrival and non-arrival of an optical image of a subject on the imaging device by opening and closing;
A control unit for causing the image pickup device to generate dark image data by closing the optical shutter prior to generating the bright image data of a plurality of frames by opening the optical shutter;
An FPN cancellation processing unit that performs an FPN cancellation process of subtracting the dark image data from the combined image data related to the bright image data calculated by the image combining unit;
And further
The imaging apparatus according to claim 1, wherein the noise amount calculation unit calculates the noise amount based on the light-shielded pixel data on which the image synthesis processing is performed and the FPN cancellation processing is performed.
上記光学シャッタを開状態にして上記撮像素子に複数コマの明時画像データを全て生成させ終えた後に、上記光学シャッタを閉状態にして上記撮像素子に暗時画像データを生成させる制御部と、
上記複数コマの明時画像データの生成が全て終わった後に、上記画像合成部により算出された上記明時画像データに係る上記合成画像データから、上記暗時画像データを減算するFPNキャンセル処理を行うFPNキャンセル処理部と、
をさらに備え、
上記ノイズ量算出部は、上記合成画像データの遮光画素データに基づき算出したノイズ量と、上記撮像素子から順次に読み出される各コマの上記遮光画素データに基づき算出したノイズ量と、順序が隣接する2つのコマの遮光画素データを各画素位置毎に減算した減算画像データに基づき算出したノイズ量と、を用いて、上記撮像素子から1コマの上記明時画像データが読み出される毎に、上記FPNキャンセル処理が行われたとした場合の上記合成画像データのノイズ量を算出することを特徴とする請求項1に記載の撮像装置。 An optical shutter for controlling the arrival and non-arrival of an optical image of a subject on the imaging device by opening and closing;
A control unit for causing the image sensor to generate dark image data by closing the optical shutter after the optical shutter has been opened and the image sensor has generated all bright image data of a plurality of frames;
After all the generation of the bright image data of the plurality of frames is completed, an FPN cancellation process is performed to subtract the dark image data from the combined image data related to the bright image data calculated by the image combining unit. FPN cancellation processing unit,
And further
The noise amount calculation unit is adjacent to the noise amount calculated based on the light-shielded pixel data of the composite image data and the noise amount calculated based on the light-shielded pixel data of each frame sequentially read from the imaging device. The above-mentioned FPN is used each time the bright image data of one frame is read from the image sensor using the noise amount calculated based on the subtracted image data obtained by subtracting the light-shielded pixel data of two frames for each pixel position. 2. The image pickup apparatus according to claim 1, wherein an amount of noise of the combined image data when cancellation processing is performed is calculated.
上記ノイズ量算出部で算出した上記画像合成処理が行われた上記遮光画素データのノイズ量が、上記目標ノイズ量に到達したか否かを判定するノイズ量判定部と、
上記ノイズ量判定部により上記目標ノイズ量に到達したと判定されたところで、上記撮像素子に上記画像データの読み出しを終了させる制御部と、
をさらに備えることを特徴とする請求項1に記載の撮像装置。 A target noise amount setting unit that sets a target noise amount;
A noise amount determination unit that determines whether the noise amount of the light-shielded pixel data subjected to the image synthesis processing calculated by the noise amount calculation unit has reached the target noise amount;
A control unit that causes the image sensor to finish reading the image data when it is determined by the noise amount determination unit that the target noise amount has been reached;
The image pickup apparatus according to claim 1, further comprising:
1コマの上記画像データおよび上記遮光画素データが読み出される毎に、上記有効画素群から順次に読み出された複数コマの上記画像データに画像合成処理を行って1コマの合成画像データを算出するとともに、上記遮光画素群から順次に読み出された複数コマの上記遮光画素データに対して上記画像データに行ったのと同じ画像合成処理を行うステップと、
1コマの上記画像データおよび上記遮光画素データが読み出される毎に、上記画像合成処理が行われた上記遮光画素データに基づきノイズ量を算出するステップと、
を有することを特徴とする撮像方法。 Reading out image data relating to an optical image of a subject from the effective pixel group, and reading out light shielding pixel data from a light shielding pixel group arranged in a light shielding manner around the effective pixel group;
Each time the image data of one frame and the light-shielded pixel data are read out, the image combining process is performed on the image data of a plurality of frames sequentially read from the effective pixel group to calculate composite image data of one frame. And performing the same image combining processing as performed on the image data on the plurality of light shielding pixel data of a plurality of frames sequentially read out from the light shielding pixel group,
Calculating a noise amount based on the light-shielded pixel data subjected to the image combining process each time the image data of one frame and the light-shielded pixel data are read;
An imaging method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015109048A JP6501619B2 (en) | 2015-05-28 | 2015-05-28 | Imaging apparatus, imaging method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015109048A JP6501619B2 (en) | 2015-05-28 | 2015-05-28 | Imaging apparatus, imaging method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016225757A JP2016225757A (en) | 2016-12-28 |
JP6501619B2 true JP6501619B2 (en) | 2019-04-17 |
Family
ID=57746465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015109048A Active JP6501619B2 (en) | 2015-05-28 | 2015-05-28 | Imaging apparatus, imaging method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6501619B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7438234B2 (en) * | 2019-03-18 | 2024-02-26 | グーグル エルエルシー | Frame overlay for coding artifacts |
CN112102190A (en) * | 2020-09-14 | 2020-12-18 | 努比亚技术有限公司 | Image processing method, mobile terminal and computer readable storage medium |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4655239B2 (en) * | 2008-09-24 | 2011-03-23 | ソニー株式会社 | Imaging apparatus, control method thereof, and program |
JP5840189B2 (en) * | 2013-10-02 | 2016-01-06 | オリンパス株式会社 | Imaging apparatus, image processing apparatus, and image processing method |
-
2015
- 2015-05-28 JP JP2015109048A patent/JP6501619B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016225757A (en) | 2016-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9912875B2 (en) | Imaging device and imaging method capable of generating a bulb exposure image derived from relatively bright image combination#data and relatively dark image combination data | |
JP6278713B2 (en) | Imaging apparatus and imaging method | |
US10110812B2 (en) | Image pickup apparatus and image pickup method | |
JP6053447B2 (en) | Imaging device | |
JP6370207B2 (en) | Imaging apparatus, image processing apparatus, imaging method, and program | |
US9918022B2 (en) | Imaging device and imaging method | |
US10175451B2 (en) | Imaging apparatus and focus adjustment method | |
JP6351271B2 (en) | Image composition apparatus, image composition method, and program | |
JP6250098B2 (en) | Imaging apparatus and imaging method | |
JP2016076869A (en) | Imaging apparatus, imaging method and program | |
JP6321990B2 (en) | Imaging apparatus and imaging method | |
JP2016149631A (en) | Imaging apparatus and imaging method | |
JP6501619B2 (en) | Imaging apparatus, imaging method | |
JP2020129753A (en) | Imaging apparatus and imaging method | |
JP6284604B2 (en) | Image processing apparatus, image processing method, and program | |
JP2012204952A (en) | Exposure control apparatus, and camera | |
JP2017028568A (en) | Imaging device and imaging method | |
JP5806542B2 (en) | Imaging apparatus and imaging method | |
JP2012095095A (en) | Imaging apparatus and imaging method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180510 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190319 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6501619 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |