JP2021019347A - Imaging apparatus and control method of the same - Google Patents
Imaging apparatus and control method of the same Download PDFInfo
- Publication number
- JP2021019347A JP2021019347A JP2020101077A JP2020101077A JP2021019347A JP 2021019347 A JP2021019347 A JP 2021019347A JP 2020101077 A JP2020101077 A JP 2020101077A JP 2020101077 A JP2020101077 A JP 2020101077A JP 2021019347 A JP2021019347 A JP 2021019347A
- Authority
- JP
- Japan
- Prior art keywords
- image
- still image
- imaging
- exposure
- still
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 180
- 238000000034 method Methods 0.000 title claims abstract description 99
- 230000001934 delay Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 abstract 9
- 238000012545 processing Methods 0.000 description 81
- 230000008569 process Effects 0.000 description 75
- 238000012546 transfer Methods 0.000 description 21
- 230000015654 memory Effects 0.000 description 16
- 238000012937 correction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Indication In Cameras, And Counting Of Exposures (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置およびその制御方法に関する。 The present invention relates to an image pickup apparatus and a control method thereof.
一定間隔で連続して撮像を行い、その撮像画像(ライブビュー画像)を表示するライブビュー(以下LVと表記)機能を有する撮像装置が知られている。ユーザは、このようなLV画像により、静止画の撮像内容を確認することができる。また、ユーザは、移動する被写体をLV画像で確認しながら、静止画の連続撮影を行うことができる。 An imaging device having a live view (hereinafter referred to as LV) function that continuously captures images at regular intervals and displays the captured images (live view images) is known. The user can confirm the captured content of the still image by such an LV image. In addition, the user can continuously shoot still images while confirming the moving subject with the LV image.
撮像装置が備える撮像センサが1つの場合、撮像センサは静止画記録用の画像データ出力とLV表示用の画像データ出力の両方を行う必要があるが、静止画用の駆動を行っている間にLV表示用の駆動を行うことはできない。LVを表示中に静止画の連続撮影(連写)が行われた場合、レリーズのタイミングと連写間隔によっては、静止画用駆動時間が表示用駆動時間に重なることがある。撮像センサが静止画用駆動を行っている間はLV表示用の画像データ出力が得られないため、LV表示をブラックアウトさせるか、前フレームの出力をLV表示として複数回表示(同一フレームを連続表示)させることが行われる。 When the image pickup device has one image pickup sensor, the image pickup sensor needs to output both image data for still image recording and image data output for LV display, but while driving for a still image, it is necessary. It is not possible to drive for LV display. When continuous shooting (continuous shooting) of still images is performed while the LV is displayed, the still image driving time may overlap with the display driving time depending on the release timing and the continuous shooting interval. Since the image data output for LV display cannot be obtained while the image sensor is driving for a still image, either black out the LV display or display the output of the previous frame as LV display multiple times (the same frame is displayed continuously). (Display) is performed.
同一フレームを連続表示する場合、LV表示において被写体の動きに加速感が加わったような不自然な動きに見える現象が発生する。また、ブラックアウトを行った場合、不自然な動きは無くなるが輝度変化が大きいために撮影者の目が疲れるなど視認性に課題がある。特許文献1には、静止画の連写中にLV表示をブラックアウトさせる場合に、ブラックアウトとブラックアウトの間に表示されるLV画像表示の輝度を明るくする構成が記載されている。特許文献1では、連写時にLV表示期間以外に黒画像を表示すること(ブラックアウト)を前提に、LV表示期間に対する黒画像の表示期間の割合が大きくなるほどLV表示輝度を明るくする。特許文献1では、このような構成により、静止画撮像時にブラックアウトによって表示が暗く観察されるのを抑制することができるとしている。
When the same frame is continuously displayed, a phenomenon occurs in the LV display in which the movement of the subject looks like an unnatural movement in which a feeling of acceleration is added. In addition, when blackout is performed, unnatural movement disappears, but there is a problem in visibility such as tired eyes of the photographer due to a large change in brightness.
しかしながら、特許文献1は、黒画像表示を前提としており、LV表示の輝度を明るく表示することで、黒画像表示との輝度差が大きくなるため、輝度差による視認性悪化は改善されない。また、1つ1つの静止画の露光時間が長くなると、黒画像表示期間またはLV画像の非更新期間が長くなるため、ブラックアウトおよび同一フレームの連続表示によるLV表示では、視認性がさらに悪化する。
However,
本発明は、静止画の撮像中などにおけるLV表示の視認性を改善する技術を提供する。 The present invention provides a technique for improving the visibility of an LV display during imaging of a still image or the like.
本発明の一態様による撮像装置は以下の構成を備える。すなわち、
ライブビュー画像を撮像して表示部にライブビュー表示を行う撮像装置であって、
1つの静止画の撮像の露光時間と前記ライブビュー画像の撮像周期に基づいて、前記1つの静止画の撮像における露光を分割して行うか否かを判定する判定手段と、
前記判定手段により露光を分割して行うと判定された場合、前記1つの静止画の撮像の露光時間を分割して、前記1つの静止画へ合成される複数の静止画を取得する分割手段と、
前記複数の静止画の1つ以上を順次にライブビュー画像として用いることにより、前記1つの静止画の撮像によりライブビュー画像を撮像できなかった期間におけるライブビュー表示を行う表示制御手段と、を備える。
The image pickup apparatus according to one aspect of the present invention has the following configurations. That is,
An imaging device that captures a live view image and displays the live view on the display unit.
A determination means for determining whether or not to divide the exposure in the imaging of the one still image based on the exposure time for imaging one still image and the imaging cycle of the live view image.
When it is determined by the determination means that the exposure is divided, the exposure time for capturing the one still image is divided to obtain a plurality of still images to be combined into the one still image. ,
By sequentially using one or more of the plurality of still images as a live view image, a display control means for performing a live view display during a period in which the live view image could not be captured by capturing the one still image is provided. ..
本発明によれば、静止画の撮像中などにおけるLV表示の視認性が改善される。 According to the present invention, the visibility of the LV display is improved during imaging of a still image or the like.
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The following embodiments do not limit the invention according to the claims. Although a plurality of features are described in the embodiment, not all of the plurality of features are essential to the invention, and the plurality of features may be arbitrarily combined. Further, in the attached drawings, the same or similar configurations are designated by the same reference numbers, and duplicate description is omitted.
以下では画像処理装置を撮像装置の一部として説明する。また、以下では、撮像装置の例としてデジタルカメラを説明するがこれに限られるものではない。例えば、デジタルビデオカメラ、スマートフォン、カメラ付き携帯電話、車載カメラ等の撮像装置を採用することも可能である。 Hereinafter, the image processing device will be described as a part of the image pickup device. Further, in the following, a digital camera will be described as an example of an imaging device, but the present invention is not limited to this. For example, it is also possible to adopt an imaging device such as a digital video camera, a smartphone, a mobile phone with a camera, or an in-vehicle camera.
<第1実施形態>
図1は第1実施形態に係る撮像装置としてのデジタルカメラの構成の一例を示すブロック図である。デジタルカメラは、撮像部100、画像処理部101、表示部102、表示デバイス103、制御部104、データ転送部105、バス106、一時記録部107、記録部108を有する。また、デジタルカメラは、画像データを圧縮または圧縮されたデータを伸張する圧縮伸張部、圧縮されたデータを外部メディアに記録する外部記録部(いずれも不図示)などを有する。なお、圧縮されたデータとは、JPEGやMPEG形式などに圧縮された画像データである。デジタルカメラは、ライブビュー画像を撮像してライブビュー表示を行う機能を有する。以下、ライブビューをLVと表記する場合もある。
<First Embodiment>
FIG. 1 is a block diagram showing an example of a configuration of a digital camera as an imaging device according to the first embodiment. The digital camera includes an
撮像部100は、受光した被写体像を電気信号に変換して画像データを作成するCCDやCMOSセンサ等の撮像センサと、撮像センサにより得られたアナログ画像信号をデジタル信号に変換して画像データとして出力するするAD変換器とを有する。撮像部100から出力された画像データは、データ転送部105を介して一時記録部107に書き込まれる。
The
画像処理部101は、画素補正、黒レベル補正、シェーディング補正、傷補正、ホワイトバランス調整、倍率色収差補正、ガンマ補正、輝度・色生成処理、幾何変形、ノイズリダクション、拡大縮小などの複数の処理を実行する。画像処理部101は、これら複数の処理の1つ以上を用いることで、画像データに対して適切な画像処理を施す。また、画像処理部101は画像処理を適切に行うにあたり、画像の分割領域ごとまたは画像全体についての平均輝度、ヒストグラム、動き量などの評価値を取得する。また画像処理部101は、被写体領域の検出を行ったうえで、被写体領域についての平均輝度、ヒストグラム、動き量などの評価値を取得する。これら評価値は例えばホワイトバランス調整、倍率色収差補正、ガンマ補正、輝度・色生成処理などに使用される。また、画像処理部101は、データ転送部105と接続され、データ転送部105から画像データを入力し画像処理した処理結果を、データ転送部105を介して一時記録部107へ書き込む。
The
表示部102は、表示デバイス103の表示制御を行う。表示部102は、画像処理部101で処理された画像データを、一時記録部107からデータ転送部105を介して入力し、必要に応じた処理を施した上で表示画像を生成し、表示デバイス103へ転送する。表示部102が行う処理としては、例えば、輝度・色調整、表示デバイス103のサイズに表示画像を合わせるために画像の周辺に固定色(例えば黒塗り)の画素を追加する処理、表示データに撮像時間などを埋め込む処理、OSD(On−Screen Display)画像を重畳する処理、表示デバイス103に合わせたフォーマット変換などがある。表示デバイス103は、例えば、液晶表示器(LCD)により構成され、表示部102からの画像の表示を行う。表示デバイス103は、例えばデジタルカメラの背面の表示パネル、電子ビューファインダ(EVF)を構成し得る。表示パネル、電子ビューファインダには、LV表示がなされる。
The
制御部104は、デジタルカメラの動作制御を司る1つまたは複数のプロセッサーを備え、デジタルカメラを構成する各機能ブロックに対して様々な指示を行い、各種の制御、処理を実行する。例えば、制御部104は、バス106を介して接続された画像処理部101、表示部102、データ転送部105、一時記録部107、記録部108を制御する。また、制御部104は、撮像部100による撮影動作(露光、読み出し)を制御する。1つまたは複数のプロセッサーは、記録部108に記録されているプログラムを実行することで、本実施形態の各処理を実現する。なお、画像処理部101、表示部102、データ転送部105などの機能の少なくとも一部が制御部104(プロセッサー)により実現されてもよい。
The
データ転送部105は、データ転送を行う複数のDirect Memory Accessコントローラ(WRDMACとRDDMAC)を備える。画像データは、例えば画像処理部101からWRDMACによってバス106を経て一時記録部107に一時記憶される。また、一時記録部107に記憶されている画像データは、RDDMACによってバス106を経てデータ転送部105に接続されている画像処理部101、表示部102へ出力される。バス106は、各々独立したバス構成のシステムバスとデータバスを備える。
The
一時記録部107は、不図示のメモリ制御部とメモリを備える。メモリ制御部は、制御部104或いはデータ転送部105からの指示に応じて、メモリへのデータの書き込み、メモリからのデータの読み出しを行う。また、メモリは、所定枚数の静止画像や所定時間の動画像、音声等のデータや制御部104の動作用の定数、プログラム等を格納するのに十分な記憶容量を備えており、例えば、DRAMなどから構成される。なお、一時記録部107は、複数のメモリを具備してもよい。
The
記録部108は、不図示の不揮発性メモリ制御部と不揮発性メモリから構成される。不揮発性メモリ制御部は、制御部104からの指示に応じて、不揮発性メモリにデータを書き込んだり、不揮発性メモリからデータを読み出したりする。不揮発性メモリは、電気的に消去・記録可能なメモリであり、例えばEEPROM等が用いられる。不揮発性メモリには、制御部104の動作用の定数、プログラム等が記憶される。
The
図2A〜図2Bおよび図3A〜図3Cは、静止画連写においてレリーズタイムを一定とし、連写間隔を調整した、静止画連写中のLV表示に関するタイミングチャートである。縦方向にタイミング信号あるいは処理を示しており、横方向は時間を示している。図2A〜図2Bと図3A〜図3Cは、静止画の撮像(以下、静止画撮像ともいう)の露光時間が異なる2種類のタイミングチャートを示している。なお、図2A〜図2B、図3A〜図3Cのタイミングチャートは、本発明の理解のために各動作のタイミングを模式的に示したものであり、各処理に要する時間などを厳密に表現したものではない。 2A to 2B and 3A to 3C are timing charts relating to the LV display during continuous still image shooting in which the release time is constant and the continuous shooting interval is adjusted in the continuous shooting of still images. The vertical direction indicates the timing signal or processing, and the horizontal direction indicates the time. 2A to 2B and 3A to 3C show two types of timing charts in which the exposure time for capturing a still image (hereinafter, also referred to as still image imaging) is different. The timing charts of FIGS. 2A to 2B and 3A to 3C schematically show the timing of each operation for the purpose of understanding the present invention, and strictly represent the time required for each process. It's not a thing.
まず図2A〜図2Bについて説明する。撮像表示V同期211は、撮像部100からのLV画像の読み出しタイミングであり、LV画像の撮像(以下、LV撮像ともいう)の垂直同期信号のタイミングを示している。撮像表示V同期211は、例えば1秒間に60フレームの画像が出力されるタイミング信号であり、LV画像の撮像周期を示す。
First, FIGS. 2A to 2B will be described. The image pickup display V-
静止画同期212は、撮像部100からの静止画の読み出しタイミングを示しており、1枚目の静止画の撮像以降、静止画の連続撮影における撮像間隔T1で発生する同期信号である。タイミング200は、ユーザによるシャッタボタン押下のタイミングを示しており、レリーズタイムT0後に、静止画同期信号が発生している。レリーズタイムT0は、固定の時間としてもよいし、可変の時間としてもよい。但し、レリーズタイムT0を固定の時間にすると、静止画撮像がLV撮像と重なる可能性が高くなる。これに対して、レリーズタイムT0を可変とする場合は、たとえばLV撮像と重ならないタイミングに静止画撮像の開始タイミングをずらすように構成することができる。
The
センサ出力213は、LV画像撮像のための露光時間TL、静止画撮像のための露光時間T2、撮像部100からの画像信号の読み出し開始と終了のタイミング、及び、センサ切り替え時間を示す。ここで、センサ切り替え時間とは、LV画像の撮像と静止画の撮像の切り替えに要する時間である。センサ出力213において、LV画像の撮像タイミングを表示1から表示8に示し、静止画の撮像タイミングを静止画1から静止画2に示している。センサ出力213の表示1〜表示8はLV画像の撮像における露光時間TLと読み出し時間tLを含む。センサ出力213の静止画1〜静止画2は、静止画撮像のための露光時間T2と読み出し時間t2を含む。切り替え時間201はLV画像の撮像から静止画の撮像への撮像部100の切り替え時間、切り替え時間202は静止画の撮像からLV画像の撮像への撮像部100の切り替え時間である。一般に表示1〜表示8と静止画1〜静止画2とでは、撮像時間(露光時間+読み出し時間)が異なる。これは、LV画像と静止画像とで画素数、露光時間が異なるためである。
The
画像処理214は、画像処理部101による画像処理の開始と終了のタイミングを示す。撮像部100が有する撮像センサの一番上のラインの読み出しが開始されると、画像処理部101は、全てのラインの読み出しを終えてなくとも、そのフレームの画像処理を開始することができる(追いかけ処理)。画像処理214において表示1〜表示8、静止画1〜静止画2が示すタイミングは以下の処理を含む。すなわち、撮像部100から読み出された画像をデータ転送部105を介して一時記録部107に記録すること、画像処理部101がデータ転送部105を介してこの画像を読み出して処理し、データ転送部105を介して処理済みの画像を一時記録部107に記録すること、を含む。また、表示1から表示8、および静止画1、静止画2の画像処理(処理203)のタイミングでは、撮像部100からの画像データの一画面全てが一時記録部107に記録される前に画像処理部101が処理を開始していること(追いかけ処理)を示している。なお、データ転送部105は、撮像部100が書き込んだ画像データを画像処理部101が読み出すように制御している。つまり、画像処理部101は、撮像部100が一時記録部107へ書き込む前に読み出すことがないように制御される。静止画はLV画像よりも画素数が多いため、画像処理にかかる時間はLV画像より静止画の方が長い。
The
表示V同期215は、表示デバイス103へのLV表示のための垂直同期信号のタイミングを示しており、例えば1秒間に60フレームの画像を表示するタイミング信号である。なお、表示V同期215は、LV画像の撮像周期である撮像表示V同期211から一定時間遅れて発生している。表示部102は、あるフレームの画像処理が(例えば、撮像センサの上のラインから)開始されると、そのフレームの画像処理を終えていなくとも、そのフレームを用いた表示を行うことができる(追いかけ処理)。表示V同期215は、撮像部100から画像が出力されてから表示デバイス103に表示されるまでに要する最短の時間だけ撮像表示V同期211からずれたタイミングに設定されている。LV表示216は、画像処理部101で処理された画像を、表示部102が表示デバイス103へ表示するタイミングを示す。図2A〜図2Bの例では、静止画(静止画1、静止画2)の撮像のタイミングがLV画像の撮像のタイミングに重ならないため、表示1から表示8まで連続してLV画像を取得しLV表示することができている。
The
次に図3A〜図3Bについて説明する。図2A〜図2Bでは、静止画の露光時間T2がLV撮像の周期(撮像表示V同期)に比べて小さく、LV撮像およびLV表示に影響を及ぼさない状態を示した。図3A〜図3Bでは、静止画撮像の露光時間T2が撮像表示V同期の周期よりも長く、静止画撮像とLV撮像とが重なる場合のタイムチャートを示している。 Next, FIGS. 3A to 3B will be described. 2A to 2B show a state in which the exposure time T2 of the still image is smaller than the LV imaging cycle (imaging display V synchronization) and does not affect the LV imaging and the LV display. 3A to 3B show time charts when the exposure time T2 of still image imaging is longer than the period of imaging display V synchronization and the still image imaging and LV imaging overlap.
縦の項目である撮像表示V同期211、静止画同期212、センサ出力213、画像処理214、表示V同期215、LV表示216は図2A〜図2Bで説明したとおりである。但し、後述する分割露光により得られる複数の静止画を合成する静止画合成351が加わっている。また、図2A〜図2Bでは静止画の露光時間T2が撮像表示V同期(表示V同期)の1周期内に収まっていたのに対し、図3A〜図3Bでは、静止画の露光時間が、撮像表示V同期の3周期の期間にまたがる程度に長い。そこで、図3A〜図3Bでは、長い露光時間の静止画を得るために、1つの静止画の露光時間を複数に分割する分割露光が行われる。本実施形態では、1つの静止画の露光時間を撮像表示V同期211に同期して分割している。1つの静止画1は、このような分割露光により得られる複数の静止画(静止画1−1〜静止画1−3)を合成すること(静止画合成351)により生成される。
The vertical items of imaging
図3Bにおけるセンサ出力213のタイミングに示されるように、撮像部100は撮像センサから静止画の露光時間T2を露光時間T3、T4、T5に分割して読み出しを行う(分割露光)。なお、分割露光の各露光において、撮像センサからの静止画の読み出し時間(TR:静止画の読み出し開始から完了までの時間)が必要になる。また、図3Bでは、直前の静止画撮影のための露光が完了してから(静止画の読み出しを開始してから)次の静止画撮影のための露光を開始するまでに必要な期間をt3=t4=t5としている。これらの期間は、例えば、撮像センサの1ラインの画像データの読み出し期間であり、読出を終えたラインから順次に次の静止画のための露光が開始される。図3Bの例では、露光時間T2(=T3+T4+T5)の静止画を得るのに要する撮像時間はT3+t3+T4+t4+T5+TRとなる。各分割露光における画像の読み出し時間が等しい場合、これをt(=t3=t4=t5)とすると、露光時間T2の静止画を得るのに要する撮像時間は、T3+T4+T5+2t+TRとなる。
As shown in the timing of the
また、図3Bの例では、撮像表示V同期211の信号を基準に、LV撮像の露光が完了するタイミングを静止画撮像における露光の分割タイミングとしている。但し、静止画撮像における露光の分割タイミングの決定方法はこれに限られるものではない。例えば、LV撮像の露光開始タイミングなどに基づいて静止画撮像における露光の分割タイミングが決定されてもよい。このように撮像表示V同期211に基づいて決定された分割タイミングを用いて分割露光を行うことで、通常のLV撮像からLV表示までの遅延と、静止画の分割露光を利用したLV表示の場合の表示遅延とを合わせることができる。すなわち、撮像表示V同期211の撮像周期に従って撮像されたLV画像が表示されるタイミングと、1つの静止画の露光を分割して得られた複数の静止画の各々が表示されるタイミングとを一致させることができる。
Further, in the example of FIG. 3B, the timing at which the exposure of the LV imaging is completed is set as the exposure division timing in the still image imaging based on the signal of the imaging
画像処理214では、画像処理部101が、分割読み出しをした静止画1−1(処理303)、静止画1−2(処理304)、静止画1−3(処理305)に画像処理を施す。このとき、画像処理部101は、分割露光により得られた複数の静止画の明るさを、ライブビュー画像の撮像条件に基づいて調整する。静止画をライブビュー表示に利用するためである。例えば、画像処理部101は、各露光時間T3、T4、T5とライブビュー撮像時の撮像条件とに基づいて、静止画1−1、1−2の表示輝度がライブビュー画像と合うように輝度調整を行う。例えばLV撮像と静止画撮像とで露光時間以外の撮像条件は同じであると仮定した場合、LVの露光時間をTLとすると、静止画1−1〜1−3のそれぞれからLV表示画像を生成する輝度調整のためのGainはそれぞれ下式(1)〜(3)となる。
In the
Gain1=TL/T3 ...(1)
Gain2=TL/T4 ...(2)
Gain3=TL/T5 ...(3)
上記の輝度調整の例では、式(1)〜(3)により、分割露光により得られた複数の静止画の明るさを、それぞれの分割された露光時間(T3〜T5)とライブビュー画像の撮像の露光時間(TL)との比に従って調整されている。輝度調整は、式(1)〜(3)で算出されたGain1〜3のうちの対応する露光時間のGainを用いて、下式(4)によって行われる。例えば、静止画1−1の輝度調整の場合、Gain1をGainとして用いて式(4)を計算することで輝度調整後の静止画が得られる。
Gain1 = TL / T3 ... (1)
Gain2 = TL / T4 ... (2)
Gain3 = TL / T5 ... (3)
In the above-mentioned brightness adjustment example, the brightness of a plurality of still images obtained by divided exposure is determined by the divided exposure times (T3 to T5) and the live view image according to the equations (1) to (3). It is adjusted according to the ratio with the exposure time (TL) of the imaging. The brightness adjustment is performed by the following equation (4) using the Gain of the corresponding exposure time among the
輝度調整後の静止画=静止画撮像による静止画×Gain ...(4)
LV表示216において、表示4(フレーム306)の次のフレーム307およびその次のフレーム308については、静止画撮像のためにLV撮像を実行できていない。そこで、静止画1−1と静止画1−2をフレーム307,308のLV画像として表示する。なお、図示の例では、表示7をLV撮像できたためフレーム308の次のフレームでは表示7がLV表示に用いられ、静止画1−3はLV表示には使用されない。静止画の露光時間が図示の例よりも長く、露光時間T5(および/またはその読み出し時間)または切り替え時間202が表示7のLV撮像と重なる場合は、表示7のLV撮像ができない。その場合、静止画1−3(305)が表示7の代わりにLV画像として用いられることになる。
Still image after brightness adjustment = Still image by still image imaging × Gain ... (4)
In the
静止画合成351では、分割露光したセンサ出力である静止画1−1、静止画1−2、静止画1−3を合成して露光時間T2に対応する静止画が生成される。図示の例では、静止画1−2がセンサ出力されるのと並行して静止画1−1と静止画1−2を加算する(合成処理309)ことで合成された静止画が得られる。さらに静止画1−3がセンサ出力されるのと並行して、合成処理309で合成された静止画と静止画1−3を加算(合成処理310)して合成された静止画が生成される。こうして合成処理309、310により生成された静止画は、露光時間T2(=T3+T4+T5)相当の静止画として取得される。
In the
なお、図3Bでは、静止画撮像における露光の分割タイミングをLV撮像のタイミング(LV撮像の露光時間の完了)を考慮して決定したが、これに限られるものではない。例えば、図3Cのように、撮像表示V同期211の周期Tvに従って、静止画撮像における露光の分割タイミングを決定してもよい。図3Cでは、静止画の露光時間T2を撮像表示V同期の周期Tvで分割しており、T2=Tv+Tv+Trとなっている。最後の期間Trは、Tvで分割した結果として得られた、Tvよりも短い露光の残時間である。撮像表示V同期211の周期Tvで分割露光を行うので、静止画1−1の撮像が、LV表示216のフレーム306'の表示に間に合わない。この場合、フレーム306'にその手前のフレーム306(表示4)が繰り返し表示されるようにしてもよいし、フレーム306'をブラックアウトとしてもよい。
In FIG. 3B, the exposure division timing in the still image imaging is determined in consideration of the LV imaging timing (completion of the exposure time of the LV imaging), but the present invention is not limited to this. For example, as shown in FIG. 3C, the exposure division timing in still image imaging may be determined according to the period Tv of the imaging
また、図2A〜図2B、図3A〜図3Cでは、ユーザによるシャッタボタン押下のタイミング200に対する静止画撮像のための露光開始タイミングを、タイミング200の次のLV撮像の露光完了後(レリーズタイムT0)とした。しかし、静止画撮像のための露光開始タイミングはこれに限られるものではなく、例えば、静止画露光開始タイミングをタイミング200に対して一番近い未来の撮像表示V同期のタイミングとしてもよい。この場合、静止画露光開始タイミングのLV撮像が静止画撮像に置き換わるので、静止画の露光時間の長さに関わらず、少なくとも1フレームは静止画撮像で得られた画像をLV表示することになる。
Further, in FIGS. 2A to 2B and FIGS. 3A to 3C, the exposure start timing for still image imaging with respect to the shutter
以上、図2A〜図3Cの参照により説明した動作を実現する制御部104の処理手順について、図4および図5のフローチャートを用いて説明する。まず、図2A〜図2Bと、図3A、図3Cにより説明した動作を実現する処理について図4を用いて説明する。図4は、制御部104による、LV表示静止画撮像における静止画の分割露光処理を示すフローチャートである。図4では、制御部104は、分割露光を行うかをある固定の閾値(Th)に基づいて判定し、撮像表示V同期(Tv)で分割露光を行う。
The processing procedure of the
ステップS401で、制御部104は、残露光時間Trの初期値として静止画の露光時間Tsをセットする。静止画の露光時間Tsはユーザの指定または制御部104による露出制御によって決まるシャッタースピードの時間である。図3Cでは、Ts=Tv+Tv+Trである。
In step S401, the
ステップS402で、制御部104は、残露光時間Trと固定の所定の閾値Thとを比較する。比較の結果、Trの方がThより大きい場合(S402でYES)、処理はステップS403に進み、TrがTh以下の場合(S402でNO)、処理はステップS406に進む。なお、閾値Thは、LV撮像を邪魔しないで静止画を撮像できる最大の露光時間を表す固定値である。例えば、撮像部100のLV撮像と静止画撮像の切替えに要する時間(例えば時間201と時間202)が撮像表示V同期の周期Tvから除かれた時間であり、撮像表示V同期211の周期Tv未満(Th<Tv)の時間である。
In step S402, the
ステップS403では、制御部104は、静止画をTvとTrのうちの短い方の時間を露光時間として撮像を実行することで分割露光を行う。ここでTvは撮像表示V同期211の1周期の時間である。また、TvとTrのうちの短い方の時間を用いるのは、Th<Tr<Tvの場合があるからである。撮像した分割露光画像はデータ転送部105を介して一時記録部107に一時記録される。ステップS404では、画像処理部101が、分割露光して撮像した画像を通常のLV撮像画像と合わせるように輝度調整し、表示部102は輝度調整された画像を表示デバイス103に表示する。なお、輝度調整には例えば図3A〜図3B(式(1)〜(4))で説明した方法を用いることができる。テップS405で、制御部104は、残露光時間Trを、現在のTrからTvを引いた値に更新する(Tr=Tr−Tv)。その後、処理はステップS402に戻る。こうして残露光時間Trが閾値Th以下になるまでステップS402からステップS405の処理が繰り返される。
In step S403, the
ステップS406では、制御部104は、残露光時間Trで静止画を分割露光、撮像する。但し、この時点でTr<0の場合(Tv>Tr>Thの場合、ステップS405でTr<0になる)はそのまま処理を終了する。ステップS407において、制御部104は、ステップS406で実行した分割露光または撮像部100の切り替え時間がLV撮像の開始タイミングに重なるか否かを判断する。分割露光がLV撮像の開始タイミングと重なる場合、画像処理部101は、当該分割露光、撮像により得られた静止画を通常のLV撮像画像と合わせるよう輝度調整し、表示部102は、輝度調整された静止画を表示デバイス103に表示する。なお、輝度調整については、図3A〜図3B、式(1)〜(4)により上述した通りである。
In step S406, the
静止画の分割露光が行われた場合、ステップS408において、画像処理部101は、分割露光により得られた複数枚の分割露光画像を合成し、露光時間T2に対応する一枚の静止画を生成する。図3Cの例では、露光時間Tvの2枚の静止画と、露光時間がTr(=T2−Tv−Tv)の静止画との2枚の静止画が合成される。生成方法は例えば図3A〜図3Bで説明した方法を用いることができる。なお、フローチャートでは、静止画の合成をステップS408でまとめて示しているが、図3Cに示したように、分割露光で得られた静止画を順次に合成していくようにしてもよい。また、静止画露光時間TsがThより小さい場合は、直ちにS406以降の処理が実行され、制御部104は、例えば、図2A〜図2Bで説明したタイミングによる動作を行うよう制御する。
When the split exposure of the still image is performed, in step S408, the
以上により、LV表示において、ブラックアウトや、同じ画像の連続表示などによる更新が途切れるような現象を起こすことなく、連続して更新画像を表示し続けることができる。 As described above, in the LV display, the updated images can be continuously displayed without causing a phenomenon such as blackout or interruption of updating due to continuous display of the same image.
図5は分割露光を行うかを撮像表示V同期に同期したタイミングまでの期間に基づいて判定して処理する場合の処理フローの例である。図5では、LV撮像が終了するタイミングまでの期間に基づいて分割露光を行うか否かを判定し、LV撮像が終了するタイミングまでの期間で静止画撮像の露光時間を分割する。図5に示される処理により、制御部104は、例えば、図2A〜図2B,図3A〜図3Bに示したタイミングによる動作を行うよう制御する。
FIG. 5 is an example of a processing flow in which it is determined whether or not to perform the divided exposure based on the period up to the timing synchronized with the imaging display V synchronization. In FIG. 5, it is determined whether or not to perform the divided exposure based on the period until the timing when the LV imaging ends, and the exposure time for the still image imaging is divided according to the period until the timing when the LV imaging ends. By the process shown in FIG. 5, the
ステップS501で、制御部104は、残露光時間Trに静止画の露光時間Tsをセットする(Tr=Ts)。露光時間Tsはユーザの指定または制御部104による露出制御によって決まるシャッタースピードの時間であり、図3Bの例では、Ts=T3+T4+T5である。
In step S501, the
ステップS502で、(次のLV撮像表示V同期までの期間+LV露光時間TL)をTeとして取得する。なお、本実施形態では、図3Bに示されるようにLV撮像の露光時間の完了タイミングに合わせるようTeを算出しているが、これに限られるものではない。例えば、上述したように、LV撮像の露光開始タイミングに合わせるなどの仕様に基づいてTeを算出してもよい。これによりLV撮像時と分割露光による撮像時とで、撮像部100から画像を読み出してから表示デバイス103で表示するまでの遅延を合わせることが可能となり、より確実にLV画像または静止画(分割静止画)をLV表示として利用できるようになる。ステップS503では、制御部104は、残露光時間TrとステップS502で取得したTeを比較する。比較の結果、Trの方がTeより大きい場合(ステップS503でYES)、当該静止画撮像の露光時間によって次のLV画像の撮像ができないので、処理はステップS504に進む。ステップS504以降では、静止画撮像を分割露光により撮像することで得られた分割静止画をLV表示に用いる処理が行われる。他方、TrがTe以下の場合(ステップS503でNO)、処理はステップS507に進む。
In step S502, (the period until the next LV imaging display V synchronization + LV exposure time TL) is acquired as Te. In this embodiment, Te is calculated so as to match the completion timing of the exposure time of LV imaging as shown in FIG. 3B, but the present invention is not limited to this. For example, as described above, Te may be calculated based on specifications such as matching the exposure start timing of LV imaging. This makes it possible to match the delay from reading the image from the
ステップS504では、制御部104は、静止画を露光時間Teで分割露光して撮像するよう撮像部100を制御する。撮像した分割露光画像はデータ転送部105を介して一時記録部107に一時記録される。ステップS505では、画像処理部101が、分割露光して撮像した画像を通常のLV撮像により得られる画像と合わせるよう輝度調整する。表示部102は輝度調整された画像を表示デバイス103に表示する。なお、輝度調整は、図3B、式(1)〜(4)で説明したとおりである。
In step S504, the
ステップS506で、制御部104は、残露光時間Trを、TrからTeを引いた値に更新して、処理をステップS502に戻す。制御部104は、ステップS502で新たにTeを取得し、ステップS503でTrとTeを比較し、TrがTe以下になるまでステップS502からステップS506の処理を繰り返す。こうして、例えば、図3Bに示されるように分割露光が実行されることになる。なお、図3Bにおいて、T3は、最初に算出されるTeであり、T4は次に算出されるTeである。T5は、TrがTe以下になった時点のTrである。ステップS507〜S509の処理は、図4のステップS406〜S408と同様である。
In step S506, the
以上のように、上記実施形態によれば、LV表示において、ブラックアウトや、同じ画像の連続表示などによる更新が途切れるような現象を起こすことなく、連続して更新画像を表示し続けることができる。したがって、上記実施形態によれば、静止画撮像や静止画の連写撮影時において、静止画の露光時間が長くなるなどしてLV撮像、表示が行えない場合でも、視認性のよい滑らかなLV表示を行うことが可能な撮像装置を提供することができる。 As described above, according to the above embodiment, in the LV display, the updated images can be continuously displayed without causing a phenomenon that the update is interrupted due to blackout or continuous display of the same image. .. Therefore, according to the above embodiment, even when LV imaging and display cannot be performed due to a long exposure time of a still image during still image imaging or continuous shooting of a still image, a smooth LV with good visibility is obtained. An image pickup apparatus capable of displaying can be provided.
<第2実施形態>
例えば、第1実施形態の図3B、図3Cに示されるように、分割露光を実施することにより静止画1−1から静止画1−3が得られる場合を考える。この場合、静止画1−3を得るための露光時間が短いと、撮像部100の撮像センサから静止画1−2を読み出す期間と、静止画1−3を読み出す期間とが重複する場合がある。このような読み出し期間の重複が発生する場合、静止画の読み出しを実行することができなくなる。第2実施形態では、このような読み出し期間の重複を回避して、確実に静止画の読み出しを行える撮像装置を説明する。なお、第2実施形態に係る撮像装置の構成は第1実施形態と同様である。
<Second Embodiment>
For example, as shown in FIGS. 3B and 3C of the first embodiment, consider a case where still images 1-3 can be obtained from still images 1-1 by performing divided exposure. In this case, if the exposure time for obtaining the still images 1-3 is short, the period for reading the still images 1-2 from the image sensor of the
また、静止画連写においてLV画像を連続して表示できる場合のタイミングチャートは、第1実施形態(図2A〜図2B)に示したとおりである。他方、静止画露光時間が長くなる場合は、図3A〜図3Cに示されるように、分割露光により静止画が撮像される。このような分割露光処理において、最後の分割露光における露光時間が短く、最後の分割露光による静止画の読み出し期間と1つ前の分割露光による静止画の読み出し期間とが重複する場合、図3B,図3Cとは異なるタイミングチャートによる静止画の撮影処理が必要となる。 Further, the timing chart in the case where the LV image can be continuously displayed in the still image continuous shooting is as shown in the first embodiment (FIGS. 2A to 2B). On the other hand, when the still image exposure time is long, the still image is imaged by the divided exposure as shown in FIGS. 3A to 3C. In such a split exposure process, when the exposure time in the last split exposure is short and the read-out period of the still image by the last split exposure overlaps with the read-out period of the still image by the previous split exposure, FIG. 3B, FIG. It is necessary to take a still image with a timing chart different from that of FIG. 3C.
まず、読み出し期間の重複について説明する。図6は、分割露光を伴う静止画撮影の様子を示す図である。図6(a)〜(b)は、図3B、図3Cの静止画1−1〜静止画1−3の露光および読み出しのタイミングを抽出して示した図である。図6(a)は、最後の分割露光(静止画1−3に対する分割露光)の露光時間T5が、1つ前の静止画(静止画1−2)の読み出し完了までの期間Toよりも長い場合を示す。期間Toは、静止画1−3の露光開始から静止画1−2の読み出し完了までの期間(To=TR−t4)である。T5>Toの場合、静止画1−2の読み出し期間と静止画1−3の読み出し期間が重複することはない。 First, overlapping read periods will be described. FIG. 6 is a diagram showing a state of still image shooting accompanied by divided exposure. 6 (a) to 6 (b) are views showing the exposure and readout timings of the still images 1-1 to 1-3 of FIGS. 3B and 3C. In FIG. 6A, the exposure time T5 of the last divided exposure (divided exposure to the still images 1-3) is longer than the period To until the reading of the previous still image (still image 1-2) is completed. Show the case. The period To is a period (To = TR-t4) from the start of exposure of the still image 1-3 to the completion of reading the still image 1-2. When T5> To, the reading period of the still image 1-2 and the reading period of the still image 1-3 do not overlap.
一方、図6(b)は、最後の分割露光(静止画1−3に対する分割露光)の露光時間T5が、1つ前の静止画(静止画1−2)の読み出し完了までの期間Toよりも短い場合を示す。この場合、静止画1−2の読み出し期間と静止画1−3の読み出し期間が、期間Twにおいて重複するため、露光時間T5の静止画1−3を得ることができない。なお、図中のT3〜T5は図3BのタイミングチャートのT3〜T5に対応するものであり、括弧書きで示したTv、Trは図3Cのタイミングチャートに対応する。また、図6では静止画撮影の分割数が3つの場合を示したが、これに限られるものではなく、分割数は2、4以上であってもよい。 On the other hand, in FIG. 6B, the exposure time T5 of the last divided exposure (divided exposure to the still image 1-3) is from the period To until the reading of the previous still image (still image 1-2) is completed. Also shows a short case. In this case, since the reading period of the still image 1-2 and the reading period of the still image 1-3 overlap in the period Tw, the still image 1-3 having the exposure time T5 cannot be obtained. In addition, T3 to T5 in the figure correspond to T3 to T5 of the timing chart of FIG. 3B, and Tv and Tr shown in parentheses correspond to the timing chart of FIG. 3C. Further, although FIG. 6 shows a case where the number of divisions for still image shooting is three, the number of divisions is not limited to this, and the number of divisions may be two or four or more.
本実施形態では、分割露光により撮影される複数の静止画のうち、読み出し期間に重複が発生する静止画撮影が存在する場合に、その重複が解消されるように撮像センサによる複数の静止画の撮影を変更する。図7は、分割露光による静止画の読み出し期間が重なる場合(図6(b))の対処例を示す図である。ここでは、図7(a)〜(d)の4つの方法について説明する。 In the present embodiment, among the plurality of still images captured by the divided exposure, when there is a still image capture in which duplication occurs in the readout period, the plurality of still images taken by the imaging sensor are arranged so that the duplication is eliminated. Change the shooting. FIG. 7 is a diagram showing an example of coping with the case where the reading periods of the still images by the divided exposure overlap (FIG. 6B). Here, the four methods of FIGS. 7A to 7D will be described.
第一の方法は、静止画の露光の開始タイミングを、読み出し期間の重複を回避するように遅延させる。図7(a)では、静止画読み出し期間が重なるタイミングの分割露光のタイミングを重ならないタイミングにずらすことで解決する方法が示されている。静止画1−2と静止画1−3は、静止画の合成画像の画質を考慮すれば、なるべく間を空けずに露光されることが望ましい。しかしながら、図6(b)に示したように、静止画1−3の露光時間が短いため、静止画1−2と静止画1−3の間を空けずに露光/読み出しが行われると、静止画1−2と静止画1−3の読み出し期間に重複が生じる。そこで、制御部104は、撮像部100における静止画1−3の露光の開始タイミングを、読み出し期間の重複を回避するように遅延させる。すなわち、静止画1−2の読み出し完了よりも静止画1−3の読み出しの開始が後になるようにTx(Tx>To−T5)だけ静止画1−3の露光の開始タイミングを後ろへずらすことにより、読み出し期間の重複が解消される。
The first method delays the start timing of exposure of a still image so as to avoid duplication of readout periods. FIG. 7A shows a method of solving the problem by shifting the timing of the divided exposure at the timing at which the still image reading periods overlap to the timing at which they do not overlap. Considering the image quality of the composite image of the still image, it is desirable that the still image 1-2 and the still image 1-3 are exposed as closely as possible. However, as shown in FIG. 6B, since the exposure time of the still image 1-3 is short, if the exposure / reading is performed without a gap between the still image 1-2 and the still image 1-3, The reading periods of the still image 1-2 and the still image 1-3 overlap. Therefore, the
第二の方法は、読み出し期間の重複が生じる静止画の露光時間に、複数の静止画のうちの当該静止画を除く他の静止画の少なくとも1つに割り当てられた露光時間の一部を移すことで読み出し期間の重複を回避する。図7(b)では、読み出し期間が重ならない分割となるように、他の静止画(静止画1−1)の露光時間を静止画1−3の露光時間に割り当てている。例えば、図3Bのように、撮像表示V同期211に同期して各分割露光の長さが決定される場合は、静止画の露光開始タイミング(静止画1−1の露光開始タイミング)を図7(b)に示すようにTxだけ後ろへずらす。これにより、静止画1−1の露光時間がTx減少し、静止画1−3の露光時間をTxだけ延ばすことができる。静止画1−3の露光時間をT5+Tx>ToとなるようにTxを設定することで、静止画1−2と静止画1−3の読み取り機関の重複を避けることができる。なお、図3Cのように、分割露光時間が固定長Tvで分割される場合は、例えば、静止画1−1の露光時間をTv−Txとし、静止画1−3の露光時間をTr+Tx>Toとすればよい。また、この場合、露光時間が短縮される静止画は、先頭の静止画に限られるものではない。また、複数の静止画の露光時間から最後の静止画を延長するための露光時間が取得されるようにしてもよい。例えば、静止画1−1と静止画1−2の露光時間をTv−Tx/2に変更し、静止画1−3の露光時間をTxだけ延長するようにしてもよい。
The second method transfers a part of the exposure time allocated to at least one of a plurality of still images other than the still image to the exposure time of the still image in which the readout periods overlap. This avoids duplication of read periods. In FIG. 7B, the exposure times of the other still images (still images 1-1) are assigned to the exposure times of the still images 1-3 so that the reading periods do not overlap. For example, as shown in FIG. 3B, when the length of each divided exposure is determined in synchronization with the imaging
第三の方法は、読み出し期間の重複が生じる静止画の撮影を中止することで読み出し期間の重複を回避する。図7(c)では、静止画読み出し期間が重なった分割露光を実施しないことで、上述した読み出し期間の重複が解消される様子を示している。最後の静止画1−3に関わる分割露光が実施されないため、静止画の全体の露光時間が、削除された静止画1−3の露光時間の分だけ不足することになる。この露光時間の不足は、例えば、静止画1−1と静止画1−2の画像合成後にゲインアップすることで解決され得る。 The third method avoids duplication of read periods by stopping the shooting of still images in which duplication of read periods occurs. FIG. 7C shows how the duplication of the above-mentioned readout periods is eliminated by not performing the divided exposure in which the still image readout periods overlap. Since the divided exposure related to the last still image 1-3 is not performed, the entire exposure time of the still image is insufficient by the exposure time of the deleted still image 1-3. This shortage of exposure time can be solved, for example, by increasing the gain after combining the images of the still image 1-1 and the still image 1-2.
また、実施を取りやめた静止画1−3のVのLV表示用の画像が無くなることによりLV撮像が可能となる場合には、制御部104は、LV表示画像を得るためにLV撮像を実施しLV表示する。
Further, when LV imaging becomes possible due to the disappearance of the V LV display image of the still image 1-3 whose implementation has been canceled, the
第四の方法は、読み出し期間が重複する2つの静止画の撮影を、それら2つの静止画の露光時間を足し合わせた露光時間による1つの静止画の撮影に変更することで読み出し期間の重複を回避する。例えば、図7(d)に示されるように、静止画読み出し期間が重なる分割露光が発生する場合に、これらの露光時間を分割せずに、露光時間を延長することで解決する。すなわち、図7(d)において静止画1−3の分割露光の読み出しが重なる場合、これを分割せず静止画1−2の露光時間をT4+T5とすることで、読み出し期間の重複が解消されている。 The fourth method is to change the shooting of two still images having overlapping readout periods to the shooting of one still image with the exposure time obtained by adding the exposure times of the two still images, thereby duplicating the readout periods. To avoid. For example, as shown in FIG. 7D, when divided exposures in which the still image reading periods overlap occur, the problem is solved by extending the exposure times without dividing the exposure times. That is, when the readings of the divided exposures of the still images 1-3 overlap in FIG. 7D, the duplication of the reading periods is eliminated by setting the exposure time of the still images 1-2 to T4 + T5 without dividing them. There is.
次に、図7(a)〜(d)により上述した、読み出し期間の重複を解消するための第一〜第四の方法を実現する動作例について、図8〜図11のフローチャートを用いて説明する。 Next, an operation example for realizing the first to fourth methods for eliminating the duplication of reading periods described above with reference to FIGS. 7 (a) to 7 (d) will be described with reference to the flowcharts of FIGS. 8 to 11. To do.
図8は図7(a)を参照して説明した第一の方法(静止画読み出し期間が重なるタイミングの分割露光のタイミングを重ならないタイミングにずらす)を実行するための処理を示すフローチャートである。 FIG. 8 is a flowchart showing a process for executing the first method (shifting the timing of the divided exposure at the timing at which the still image reading periods overlap to the timing at which they do not overlap) described with reference to FIG. 7A.
図8(a)は図4のフローチャートに追加される処理を示す。ステップS402で残露光時間Tr>閾値Thではない(ステップS402でNO)と判定されると、処理はステップS801に進む。ステップ801で、制御部104は、残露光時間Trと静止画読み出し期間Toとを比較する。残露光時間Trの方が静止画読み出し期間Toよりも長い(Tr>To)場合、処理はステップS406へ進む。ステップS406以降の処理は、図4に示したとおりである。他方、残露光時間Trが静止画読み出し期間To以下(Tr≦To)の場合、処理はステップS802に進む。このように、制御部104は、残露光時間Trと静止画読み出し期間Toを比較することで静止画の読み出し期間が重複するか否かを判断している。残露光時間Trの方が静止画読み出し期間Toよりも長い場合は静止画読み出し期間は重ならず、残露光時間Trが静止画読み出し期間To以下の場合は静止画読み出し期間が重なると判断される。
FIG. 8A shows a process added to the flowchart of FIG. If it is determined in step S402 that the residual exposure time Tr> threshold Th is not (NO in step S402), the process proceeds to step S801. In step 801 the
ステップS802では、静止画の読み出し期間が重ならないように残露光時間Trの露光開始タイミングを、例えば図7(a)の静止画1−3について示されるように後ろにずらす。その後、処理は、図4のステップS406へ進み、ステップS802で設定されたタイミングで分割露光が開始される。 In step S802, the exposure start timing of the residual exposure time Tr is shifted backward as shown for still images 1-3 in FIG. 7A, for example, so that the reading periods of the still images do not overlap. After that, the process proceeds to step S406 of FIG. 4, and the divided exposure is started at the timing set in step S802.
図8(b)は、図7(a)に示される動作を実現するために図5のフローチャートに追加される処理を示す。ステップS503で残露光時間Tr≦Teと判定されると(ステップS503でNO)、処理はステップS811に進む。ステップ811で、制御部104は、残露光時間Trと静止画読み出し期間Toとを比較する。残露光時間Trの方が静止画読み出し期間Toよりも長い(Tr>To)場合、処理はステップS507へ進む。ステップS507以降の処理は、図5に示したとおりである。他方、残露光時間Trが静止画読み出し期間To以下(Tr≦To)の場合、処理はステップS812に進む。ステップS812では、静止画の読み出し期間が重ならないように残露光時間Trの露光開始タイミングを、例えば図7(a)の静止画1−3について示されるように後ろにずらす。その後、処理は、図5のステップS507へ進み、ステップS812で設定されたタイミングで分割露光が開始される。
FIG. 8B shows a process added to the flowchart of FIG. 5 to realize the operation shown in FIG. 7A. If it is determined in step S503 that the remaining exposure time Tr ≦ Te (NO in step S503), the process proceeds to step S811. In step 811 the
図9は、図7(b)を参照して説明した第二の方法(静止画読み出し期間が重ならない分割となるように静止画の分割露光の期間を変更する)を実行するための処理を説明するフローチャートである。 FIG. 9 shows a process for executing the second method described with reference to FIG. 7B (changing the divided exposure period of the still image so that the still image reading periods do not overlap). It is a flowchart to explain.
図9(a)は図4のフローチャートに示される処理を開始するのに先立って実行される処理を示す。ステップS901で、制御部104は、残静止画露光時間Trを静止画露光時間Tsに設定する。静止画露光時間Tsはユーザの指定または制御部104による露出制御によって決まるシャッタースピードの時間である。ステップS902で、制御部104は、残静止画露光時間Trと閾値Thと比較する。Tr>Thの場合、処理はステップ903に進み、Tr≦Thの場合、処理はステップ904に進む。ステップS903で、制御部104は、残静止画露光時間Trを、Trから撮像表示V同期211の周期Tvを引いた値に更新する。Tr≦Thになるまで、ステップS902、S903が繰り返される。なお、閾値Th、周期Tvは図4に関して上述したとおりである。
FIG. 9A shows a process executed prior to starting the process shown in the flowchart of FIG. In step S901, the
ステップS904において、制御部104は、残静止画露光時間Trと静止画読み出し期間Toを比較する。図8の処理と同様に、残静止画露光時間Trと静止画読み出し期間Toを比較することで静止画読み出し期間が重なるか否かが判断される。残静止画露光時間Trの方が静止画読出し期間Toより長い(Tr>To)場合は、本処理を終了し、制御部104は、図4に示される静止画撮像を開始する。残静止画露光時間Trが静止画読出し期間To以下(Tr≦To)の場合、処理はステップS905に進む。ステップS905では、制御部104は、1つ目の分割露光の露光時間をTvからTxだけ差し引いた時間に設定した後、図4に示される静止画撮像を開始する。なお、図4のS403〜S405において、最初の分割露光に用いられるTvは、Tv−Txとなる。これにより、最後の分割露光の露光時間をTxだけ長くすることができる。したがって、例えば、TxをTo−Trとすれば、最後の分割露光の読み出し期間と1つ前の分割露光の読み出し期間は重ならなくなる。
In step S904, the
図9(b)は、図5のフローチャートに示される処理を開始するのに先立って実行される処理を示す。ステップS911で、制御部104は、残静止画露光時間Trを静止画露光時間Tsに設定する。そして、ステップS912において、制御部104は、(次のLV撮像表示V同期までの期間+LV露光時間TL)をTeとして取得する。ステップS913において、制御部104は、残静止画露光時間TrとTeを比較する。Tr>Teの場合、処理はステップ914に進み、Tr≦Teの場合、処理はステップ915に進む。ステップS914で、制御部104は、残静止画露光時間TrからTeを引いた値に更新する。Tr≦Teになるまで、ステップS913、S914が繰り返される。
FIG. 9B shows a process executed prior to starting the process shown in the flowchart of FIG. In step S911, the
ステップS915において、制御部104は、残静止画露光時間Trと静止画読み出し期間Toを比較することにより、静止画読み出し期間が重なるか否かを判断する。残静止画露光時間Trの方が静止画読出し期間Toより長い(Tr>To)場合は、本処理を終了し、制御部104は、図5に示される静止画撮像を開始する。残静止画露光時間Trが静止画読出し期間To以下(Tr≦To)の場合、処理はステップS916に進む。ステップ916では、図7(b)で示したように静止画の露光開始タイミングをずらす。例えば、To−Trだけ露光開始タイミングを後ろにずらすと最後の分割露光は読み出し期間が重ならなくなる。その上でステップS911から再度処理を行う。最終的にステップS915でNOと判定されたところで、その時点で設定されている静止画の露光開始タイミングにて分割露光が実施される。
In step S915, the
図10は図7(c)の参照により上述した第三の方法(静止画読み出し期間が重なる分割露光を中止することで読み出し期間の重複を回避する)を実行するための処理を示すフローチャートである。 FIG. 10 is a flowchart showing a process for executing the above-described third method (avoiding duplication of readout periods by canceling divided exposures in which still image readout periods overlap) with reference to FIG. 7 (c). ..
図10(a)は図4のフローチャートに追加される処理を示す。ステップS402で、制御部104は、残静止画露光時間Trと閾値Thと比較する。Trの方がThより大きい(Tr>Th)場合、処理はステップS403に進む。ステップS403〜S405の処理は図4で説明したとおりである。
FIG. 10A shows a process added to the flowchart of FIG. In step S402, the
ステップS402でTrがTh以下(Tr≦Th)と判定された場合、処理はステップS1001に進む。ステップS1001において、制御部104は、残静止画露光時間Trと静止画読み出し期間Toを比較する。残静止画露光時間Trの方が静止画読出し期間Toより長い(Tr>To)場合、処理はステップS406に進む。ステップS406以降の処理は図4で説明したとおりである。一方、残静止画露光時間Trが静止画読出し期間To以下(Tr≦To)の場合、処理はステップS1002に進む。上述したように、残静止画露光時間Trと静止画読み出し期間Toを比較することで静止画読み出し期間が重なるか否かが判断されている。
If it is determined in step S402 that Tr is Th or less (Tr ≦ Th), the process proceeds to step S1001. In step S1001, the
ステップS1002では、制御部104は、これ以上の静止画露光を行わず、静止画撮影を打ち切る。このとき、制御部104は、打ち切りにより不実行となった露光の露光時間Trを記憶する。ステップS1003において、LV撮像が間に合わない場合に、画像処理部101は、当該分割露光、撮像により得られた静止画を通常のLV撮像画像と合わせるよう輝度調整し、表示部102は、輝度調整された静止画を表示デバイス103に表示する。この処理は、図4により上述したS407の処理と同様である。
In step S1002, the
ステップS1004において、画像処理部101は、分割露光により取得された複数枚の分割露光画像を合成して一枚の静止画画像を生成する。生成方法は、ステップS408で説明した方法が用いられ得る。さらに、打ち切られた残りの露光時間Trの分だけ静止画の合計露光時間が短くなっているため、画像処理部101は、ステップS1005において、(静止画露光時間Ts)/(Ts−Tr)だけゲインアップを行う。これによって静止画露光時間Tsの静止画と同等の静止画像を生成することができる。
In step S1004, the
図10(b)は図5のフローチャートに追加される処理を示す。ステップS503で、制御部104は、残静止画露光時間TrとTeを比較する。Trの方がTeより大きい(Tr>Te)場合、処理はステップS504に進む。ステップS504〜S506の処理は図5で説明したとおりである。他方、ステップS503でTrがTe以下(Tr≦Te)と判定された場合、処理はステップS1011に進む。ステップS1011において、制御部104は、残静止画露光時間Trと静止画読み出し期間Toを比較する。残静止画露光時間Trの方が静止画読出し期間Toより長い(Tr>To)場合、処理はステップS507に進む。ステップS507以降の処理は図5で説明したとおりである。一方、残静止画露光時間Trが静止画読出し期間To以下(Tr≦To)の場合、処理はステップS1012に進む。上述したように、残静止画露光時間Trと静止画読み出し期間Toを比較することで静止画読み出し期間が重なるか否かが判断されている。ステップS1012〜S1015の処理は、図10(a)のステップS1002〜S1005の処理と同様である。
FIG. 10B shows a process added to the flowchart of FIG. In step S503, the
図11は図7(d)の参照により上述した第四の方法(静止画読み出し期間の重なる分割露光が発生する場合にこの露光時間を分割せずに静止画露光時間を延長する)を実行するための処理を示すフローチャートである。 FIG. 11 shows the above-described fourth method (extending the still image exposure time without dividing the exposure time when the divided exposures in which the still image reading periods overlap occur) with reference to FIG. 7 (d). It is a flowchart which shows the process for this.
図11(a)は図4のフローチャートに追加される処理を示す。ステップS402で、制御部104は、残静止画露光時間Trと閾値Thと比較する。Trの方がThより大きい(Tr>Th)場合、処理はステップS1101に進む。ステップS1101で、制御部104は、Tr−TvがToより大きいか否かを判定する。Tr−TvがToより大きい場合、処理はステップS403に進む。ステップS403〜ステップS405の処理は図4により上述したとおりである。また、ステップS402でTrがTh以下と判定された場合、処理はステップS406へ進む。ステップS406以降の処理は、図4により上述したとおりである。
FIG. 11A shows a process added to the flowchart of FIG. In step S402, the
また、ステップS1101において、Tr−TvがTo以下と判定された場合も処理はステップS406へ進む。この場合、静止画のための露光はこれ以上分割されず、Thより大きい残静止画露光時間Trを用いた露光が行われる。これは、静止画読み出し期間が重なることを予想して露光の分割を禁止した場合であり、ステップS406において撮像表示V同期の1周期Tvよりより長い残りの静止画露光時間Trのまま露光、撮像が行われる。その後のステップS407、S408の処理は、上述したとおりである。 Further, in step S1101, the process proceeds to step S406 even when it is determined that Tr-Tv is To or less. In this case, the exposure for the still image is not divided any more, and the exposure using the residual still image exposure time Tr larger than Th is performed. This is a case where the division of exposure is prohibited in anticipation of overlapping still image reading periods, and in step S406, exposure and imaging are performed with the remaining still image exposure time Tr longer than one cycle Tv of imaging display V synchronization. Is done. Subsequent processes in steps S407 and S408 are as described above.
以上のように、第2実施形態によれば、分割露光を行った際に、前後の分割静止画の読み出しにおいて画像の読み出し期間の重複が発生することを防止できる。 As described above, according to the second embodiment, when the divided exposure is performed, it is possible to prevent the overlapping of the image reading periods from occurring in the reading of the front and rear divided still images.
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。 The invention is not limited to the above embodiments, and various modifications and modifications can be made without departing from the spirit and scope of the invention. Therefore, a claim is attached to make the scope of the invention public.
100:センサ、101:画像処理部、102:表示部、103:表示デバイス、104:制御部、105:データ転送部、106:バス、107:一時記録部、108:記録部 100: Sensor, 101: Image processing unit, 102: Display unit, 103: Display device, 104: Control unit, 105: Data transfer unit, 106: Bus, 107: Temporary recording unit, 108: Recording unit
Claims (20)
1つの静止画の撮像の露光時間と前記ライブビュー画像の撮像周期に基づいて、前記1つの静止画の撮像における露光を分割して行うか否かを判定する判定手段と、
前記判定手段により露光を分割して行うと判定された場合、前記1つの静止画の撮像の露光時間を分割して、前記1つの静止画へ合成される複数の静止画を取得する分割手段と、
前記複数の静止画の1つ以上を順次にライブビュー画像として用いることにより、前記1つの静止画の撮像によりライブビュー画像を撮像できなかった期間におけるライブビュー表示を行う表示制御手段と、を備えることを特徴とする撮像装置。 An imaging device that captures a live view image and displays the live view on the display unit.
A determination means for determining whether or not to divide the exposure in the imaging of the one still image based on the exposure time for imaging one still image and the imaging cycle of the live view image.
When it is determined by the determination means that the exposure is divided, the exposure time for capturing the one still image is divided to obtain a plurality of still images to be combined into the one still image. ,
By sequentially using one or more of the plurality of still images as a live view image, a display control means for performing a live view display during a period in which the live view image could not be captured by capturing the one still image is provided. An imaging device characterized by this.
前記分割手段は前記分割タイミングで前記1つの静止画の撮像の露光時間を分割することを特徴とする請求項1に記載の撮像装置。 The determination means determines the division timing based on the imaging timing of the live view image determined by the imaging cycle of the live view image, and when the exposure period of the one still image exceeds the division timing, the one still image is stationary. Judging that the exposure of the image is divided,
The imaging apparatus according to claim 1, wherein the dividing means divides the exposure time for capturing an image of the one still image at the dividing timing.
前記判定手段により前記重複が発生すると判定された場合に、前記重複が解消されるように前記撮像センサによる前記複数の静止画の撮影を変更する変更手段と、をさらに備えることを特徴とする請求項1乃至10のいずれか1項に記載の撮像装置。 Of the plurality of still images divided by the dividing means, a reading period of the first still image from the image pickup sensor and a reading period of the second still image following the first still image from the image pickup sensor. Judgment means for determining whether or not duplication occurs in
The claim further includes, when the determination means determines that the duplication occurs, a changing means for changing the shooting of the plurality of still images by the image pickup sensor so that the duplication is eliminated. Item 2. The imaging apparatus according to any one of Items 1 to 10.
前記合成手段は、前記第2の静止画の撮影が中止された場合に、前記第2の静止画を除く前記複数の静止画を合成し、前記第2の静止画の露光時間に相当する輝度の不足を調整して1つの静止画を生成することを特徴とする請求項14に記載の撮像装置。 A compositing means for synthesizing the plurality of still images into the one still image is further provided.
When the shooting of the second still image is stopped, the synthesizing means synthesizes the plurality of still images excluding the second still image, and the brightness corresponding to the exposure time of the second still image. The imaging apparatus according to claim 14, wherein one still image is generated by adjusting for a shortage of images.
1つの静止画の撮像の露光時間と前記ライブビュー画像の撮像のタイミングに基づいて、前記1つの静止画の撮像における露光を分割して行うか否かを判定する判定工程と、
前記判定工程により露光を分割して行うと判定された場合、前記1つの静止画の撮像の露光時間を分割して、前記1つの静止画へ合成される複数の静止画を取得する分割工程と、
前記1つの静止画の撮像によりライブビュー画像の撮像ができなかった期間において、前記複数の静止画の1つ以上を順次にライブビュー画像として表示部に表示する表示制御工程と、を備えることを特徴とする撮像装置の制御方法。 It is a control method of an imaging device that captures a live view image and displays it in a live view.
A determination step of determining whether or not to divide the exposure in the imaging of the one still image based on the exposure time of the imaging of one still image and the timing of imaging the live view image.
When it is determined by the determination step that the exposure is divided, the exposure time for capturing the one still image is divided to obtain a plurality of still images to be combined into the one still image. ,
A display control step of sequentially displaying one or more of the plurality of still images on the display unit as a live view image during a period in which the live view image cannot be captured by the imaging of the one still image is provided. A characteristic method of controlling an imaging device.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019135677 | 2019-07-23 | ||
JP2019135677 | 2019-07-23 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021019347A true JP2021019347A (en) | 2021-02-15 |
Family
ID=74566203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020101077A Pending JP2021019347A (en) | 2019-07-23 | 2020-06-10 | Imaging apparatus and control method of the same |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021019347A (en) |
-
2020
- 2020-06-10 JP JP2020101077A patent/JP2021019347A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7057658B1 (en) | Digital camera capable of forming a smaller motion image frame | |
US8009337B2 (en) | Image display apparatus, method, and program | |
US7415166B2 (en) | Image processing device | |
JP4565504B2 (en) | Image synthesizer | |
JP2010074813A (en) | Imaging apparatus and imaging method | |
US8018497B2 (en) | Image pick-up apparatus having still image advancing/retreating manipulation function, and method and non-transitory computer readable medium therefor | |
JP5909997B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP2007228099A (en) | Imaging apparatus | |
JP4225241B2 (en) | Image display device | |
JP5023355B2 (en) | Liquid crystal display device, liquid crystal display method and program | |
JP4934617B2 (en) | Imaging apparatus and imaging method | |
JP4985180B2 (en) | Image processing apparatus, image processing method, image processing program, and imaging apparatus | |
JP6775386B2 (en) | Imaging device, its control method, program and recording medium | |
JP7319873B2 (en) | Imaging device and its control method | |
JP2021019347A (en) | Imaging apparatus and control method of the same | |
JP5530304B2 (en) | Imaging apparatus and captured image display method | |
US11394856B2 (en) | Image processing apparatus and method, and image capturing apparatus | |
JP7332376B2 (en) | IMAGING DEVICE, CONTROL METHOD THEREOF, AND PROGRAM | |
US20200358949A1 (en) | Image capturing apparatus and control method therefor | |
JP2018056652A (en) | Imaging device and control method for imaging device | |
JP2007251997A (en) | Imaging unit | |
JP5191941B2 (en) | Imaging apparatus, image processing apparatus, image processing method, and image processing program | |
JP7478006B2 (en) | Imaging device, control method thereof, and program | |
JP7523914B2 (en) | Image capture device and control method thereof | |
JP2005142707A (en) | Imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230601 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240607 |