JP2023039396A - Electronic apparatus and method for controlling the same - Google Patents
Electronic apparatus and method for controlling the same Download PDFInfo
- Publication number
- JP2023039396A JP2023039396A JP2022066491A JP2022066491A JP2023039396A JP 2023039396 A JP2023039396 A JP 2023039396A JP 2022066491 A JP2022066491 A JP 2022066491A JP 2022066491 A JP2022066491 A JP 2022066491A JP 2023039396 A JP2023039396 A JP 2023039396A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- photographing
- image
- image signal
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、電子機器及びその制御方法に関し、特に高ダイナミックレンジ画像を生成する技術に関するものである。 The present invention relates to an electronic device and its control method, and more particularly to technology for generating a high dynamic range image.
従来、一般的なデジタルカメラに使われているＣＣＤイメージセンサや、ＣＭＯＳイメージセンサ等の撮像素子を用いて、階調に関するダイナミックレンジを拡大する技術が提案されている。 2. Description of the Related Art Conventionally, there has been proposed a technique for expanding the dynamic range of gradation by using an imaging device such as a CCD image sensor or a CMOS image sensor used in general digital cameras.
特許文献１の撮像装置では、同一画素の信号に複数の異なる増幅ゲインをかけて同時に読み出し、信号処理により合成することで、ダイナミックレンジを拡大する技術が開示されている。また、特許文献２では、検出した被写体の状態や撮影モード等に応じて、撮影回数を切り替えて複数枚の撮影を行い、信号処理により合成することで、ダイナミックレンジを拡大する技術が開示されている。 An image pickup apparatus disclosed in Japanese Patent Laid-Open No. 2002-100001 discloses a technique of applying a plurality of different amplification gains to signals of the same pixel, reading them simultaneously, and synthesizing them by signal processing, thereby expanding the dynamic range. Further, Japanese Patent Laid-Open No. 2002-200002 discloses a technique for expanding the dynamic range by switching the number of shots according to the detected subject state, the shooting mode, etc., taking a plurality of shots, and synthesizing the shots by signal processing. there is
特許文献１に開示された方法でダイナミックレンジを更に拡大するために増幅ゲインの差を拡大して撮影すると、画素信号が所定の出力レベル以下の画素の黒つぶれや、所定の出力レベルを超える画素の白飛びは発生しにくくなる。一方で、中間の出力レベルの画素の階調を損失してしまう。 If the method disclosed in Japanese Patent Application Laid-Open No. 2002-200002 expands the difference in the amplification gain to further expand the dynamic range and shoots images, blackouts occur in pixels whose pixel signals have a predetermined output level or less, and pixels whose pixel signals exceed a predetermined output level. overexposure is less likely to occur. On the other hand, the gradation of pixels with intermediate output levels is lost.
また、特許文献２に開示された方法でダイナミックレンジを更に拡大するために撮影回数を増やして撮影すると、被写体が動いている場合には、不自然な合成画像が生成されてしまうことがある。
Further, if the number of times of photographing is increased in order to further expand the dynamic range by the method disclosed in
本発明は上記問題点を鑑みてなされたものであり、撮影回数を抑制しつつ、よりダイナミックレンジの広い高画質の画像を生成することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and it is an object of the present invention to generate a high-quality image with a wider dynamic range while suppressing the number of times of photographing.
上記目的を達成するために、本発明の電子機器は、被写体の光学像を光電変換して得られた画像信号に、複数の異なるゲインの少なくともいずれかをかけて出力する撮像手段と、前記撮像手段から出力された画像信号の輝度値を検出する検出手段と、前記輝度値に基づいて、撮影ごとに前記複数の異なるゲインを含む撮影条件を変えながら複数回の撮影を行うかどうかを判断する判断手段と、前記判断手段における判断の結果に応じて前記撮影条件を決定する決定手段と、前記決定手段により決定された前記撮影条件に基づいて、前記撮像手段を制御して撮影を行う制御手段とを有する。 In order to achieve the above object, an electronic apparatus according to the present invention includes imaging means for applying at least one of a plurality of different gains to an image signal obtained by photoelectrically converting an optical image of a subject, and outputting the image signal. detecting means for detecting the luminance value of the image signal output from the means; and determining, based on the luminance value, whether or not to perform multiple photographing while changing the photographing conditions including the plurality of different gains for each photographing. determining means; determining means for determining the photographing conditions according to the determination result of the determining means; and control means for controlling the imaging means to perform photographing based on the photographing conditions determined by the determining means. and
本発明によれば、撮影回数を抑制しつつ、よりダイナミックレンジの広い高画質の画像を生成することができる。 According to the present invention, it is possible to generate a high-quality image with a wider dynamic range while suppressing the number of times of photographing.
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. In addition, the following embodiments do not limit the invention according to the scope of claims. Although multiple features are described in the embodiments, not all of these multiple features are essential to the invention, and multiple features may be combined arbitrarily. Furthermore, in the accompanying drawings, the same or similar configurations are denoted by the same reference numerals, and redundant description is omitted.
＜第１の実施形態＞
●構成
図１は、本実施形態における撮像装置１００の構成を示すブロック図である。
図１において、撮影レンズ１０は、撮像装置１００の本体部に装着可能な交換レンズユニット、または本体部に組み込まれたレンズ部であり、フォーカスレンズやズームレンズ等の複数のレンズ群、及び、絞り機構等から構成される。機械式シャッター１２は、絞り機能を備え、撮像素子１４に入射する光量を制御するためのものである。
<First embodiment>
●Configuration FIG. 1 is a block diagram showing the configuration of an
In FIG. 1, an
撮像素子１４は、複数の画素を有するＣＭＯＳイメージセンサであって、撮影レンズ１０により結像された被写体の光学像に対し、各画素で光電変換を行って入射光量に応じて生成された電荷に応じた画像信号にゲインをかけて出力する。その際に、複数の異なるゲインをかけた画像信号を出力することにより、１回の撮影で複数の異なる信号レベルの画像信号を得ることができる。Ａ／Ｄ変換器１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するである。なお、Ａ／Ｄ変換器１６は撮像素子１４に内蔵されていてもかまわない。
The
タイミング発生部１８は、撮像素子１４、Ａ／Ｄ変換器１６にクロック信号や制御信号を供給し、メモリ制御部２２及びシステム制御部５０により制御される。機械式シャッター１２以外にも、タイミング発生部１８が撮像素子１４のリセットタイミングを制御することによって、電子シャッターとして、蓄積時間を制御することが可能であり、動画撮影等に使用できる。
The
画像処理部２０は、Ａ／Ｄ変換器１６からの画像データ或いはメモリ制御部２２からの画像データに対して所定の画素補間処理や色変換処理、ガンマ処理、露出補正処理等の各種信号処理を行って、処理した画像データを出力する。また、画像処理部２０によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。
The
画像処理部２０は、さらに任意の合成方法を用いてＨＤＲ（高ダイナミックレンジ）画像を生成する。例えば、所定の信号レベル以下の画像部分（通常画像）については高ゲインをかけた画像信号を用い、信号レベルが所定の信号レベルを超え、明るく白飛びしている画像部分については低ゲインをかけた画像信号を用いて合成を行う方法がある。なお、合成後の画像の暗部の信号に用いられる通常画像としては、暗部のランダムノイズが抑えられていることが好ましい。
The
メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、メモリ３０、圧縮・伸長部３２を制御する。Ａ／Ｄ変換器１６から出力される画像データは、画像処理部２０、メモリ制御部２２を介して、或いはメモリ制御部２２を介して、直接メモリ３０に書き込まれる。
The
メモリ３０は、ユーザーが撮像装置１００に指示をした内容を記憶する記憶部であり、例えば、電気的に消去・記録可能な不揮発性メモリである。すなわち、撮影した静止画像や動画像を格納するために用いられ、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。
The
これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０は、システム制御部５０の作業領域としても使用することが可能である。
This makes it possible to write a large amount of images to the
画像表示部２８は、撮影画像や撮影時の情報、及び操作部７０による操作用のユーザーインターフェース等を表示するためのものであり、例えば、ＴＦＴ－ＬＣＤ等から構成される。そして、メモリ３０に書き込まれた表示用の画像データが画像表示部２８により表示される。画像表示部２８を用いて、撮像した画像データを逐次表示することで、電子ファインダ（ＥＶＦ）機能を実現することができる。また、画像表示部２８は、システム制御部５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することができる。
The
システム制御部５０は、撮像装置１００全体を制御し、輝度差検出部１０７ａ、動き検出部１０７ｂ等を備える。輝度差検出部１０７ａは、Ａ／Ｄ変換器１６から出力される画像データを用いて、明部と暗部の輝度差を算出する。例えば、画面全体を複数エリアに分割し、エリア毎に輝度（明るさ）を測定して、明るいエリア（明部エリア）と暗いエリア（暗部エリア）との輝度差を算出する。動き検出部１０７ｂは、Ａ／Ｄ変換器１６から出力される現在のフレームの画像データとその前のフレームの画像データから、被写体の動き量を検出する処理を行う。
The
露光制御部４０は、画像処理部２０による演算結果に基づいて、画像撮影に用いる露出条件を算出する。また、後述するように、ＨＤＲ撮影時には、輝度差検出部１０７ａで算出した被写体の輝度差に基づいて撮影枚数を決定する。また、画像処理部２０による演算結果と動き検出部１０７ｂで検出した動き量とを用いて撮影時の露光条件を決定し、タイミング発生部１８及び絞り機能を備えるシャッター１２に対して制御信号を伝達する。
The
焦点調節部４２は、撮影レンズ１０のフォーカシングを制御し、ズーム制御部４４は、撮影レンズ１０のズーミングを制御する。フラッシュ４８は、ＡＦ補助光の投光機能、フラッシュ調光機能を有する。
A
また、画像処理部２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行う。そして、得られた演算結果に基づいてシステム制御部５０が露光制御部４０を制御することにより、自動露出（ＡＥ）処理を行う。また、フラッシュ４８を制御することにより、フラッシュプリ発光（ＥＦ）処理を行う。また、焦点調節部４２を制御することにより、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理を行う。さらに、得られた演算結果に基づいてオートホワイトバランス（ＡＷＢ）処理も行う。
Also, the
操作部６０、６２、６４、６６、７０及び７２は、ユーザーが撮像装置１００に指示を入力するために用いられ、レリーズ釦等のスイッチやモード切り換えダイヤル、ズーム操作レバー等の操作部材、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。ここで、これらの操作手段の具体的な説明を行う。操作部６０、６２、６４、６６、７０及び７２を介したユーザー入力は、システム制御部５０に通知される。
The
モードダイヤル６０は、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。
The
シャッタースイッチＳＷ１（６２）は、不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理等の動作開始を指示する。 A shutter switch SW1 (62) is turned ON during operation of a shutter button (not shown), and instructs the start of operations such as AF processing, AE processing, and AWB processing.
シャッタースイッチＳＷ２（６４）は、不図示のシャッターボタンの操作完了（例えば全押し）でＯＮとなり、読み出し処理、現像処理、及び記録処理からなる一連の処理の動作開始を指示する。 The shutter switch SW2 (64) is turned ON when the operation of the shutter button (not shown) is completed (for example, fully pressed), and instructs the start of a series of processing operations including reading processing, developing processing, and recording processing.
読み出し処理では、フラッシュ撮影の場合、ＥＦ処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させ、この露光期間中に発光させて、露光期間終了と同時に露光制御部４０により遮光することで、撮像素子１４への露光を終了させる。そして、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介してメモリ３０に画像データを書き込む。
In the reading process, in the case of flash photography, after performing EF processing, the
そして、画像処理部２０やメモリ制御部２２での演算を用いた現像処理を行う。更に、メモリ３０から画像データを読み出して、圧縮・伸長部３２で圧縮を行い、記録媒体２００に画像データを書き込む記録処理が行われる。
Then, development processing using calculations in the
不揮発性メモリ３１は、ＦｌａｓｈＲＯＭ等で構成され、システム制御部５０が実行するプログラムコードは不揮発性メモリ３１に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ３１内にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。
The
圧縮・伸長部３２は、適応離散コサイン変換（ＡＤＣＴ）等、公知の圧縮方法を用いて画像データを圧縮伸長する。また、圧縮・伸長部３２は、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
A compression/
表示切替スイッチ６６は、画像表示部２８の表示切替を行うことができる。この機能により、光学ファインダ７７を用いて撮影を行う際に、画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。
The
操作部７０は、各種ボタン、タッチパネルや回転式ダイヤル等から成り、一例として、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタンを含む。更に、メニュー移動＋（プラス）ボタン、メニュー移動－（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動－（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等も含む。 The operation unit 70 includes various buttons, a touch panel, a rotary dial, etc. Examples include a menu button, a set button, a macro button, a multi-screen playback page break button, a flash setting button, and a single/continuous/self-timer switching button. including. In addition, menu move + (plus) button, menu move - (minus) button, playback image move + (plus) button, playback image move - (minus) button, image quality selection button, exposure compensation button, date/time setting button etc. are also included.
ズームスイッチ７２は、ユーザーが撮像画像の倍率変更指示を行うために用いられる。ズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ７２を用いることにより、ズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理部２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。
The
サーミスタ７４は、撮像装置１００内部の温度を測定する。撮像素子１４の欠陥画素は温度による影響を受けるため、撮影時の温度により傷補正処理を変える必要がある。サーミスタ７４は、撮像装置１００内の撮像素子１４の近くに配置し、撮像素子１４自体の温度を測定する。
The thermistor 74 measures the temperature inside the
電源部８６は、アルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ－ｉｏｎ電池等の二次電池、ＡＣアダプター、または外部バッテリー等からなる。
インタフェース９０は、メモリカードやハードディスク等の記録媒体とのインタフェース、コネクタ９２は、メモリカードやハードディスク等の記録媒体と接続を行う。
The
An
光学ファインダ７７は、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。
通信部７５は、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信等の各種通信機能を有する。７６は、通信部７５により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
The
The communication unit 75 has various communication functions such as USB, IEEE1394, LAN, and wireless communication. A
記録媒体２００は、メモリカードやハードディスク等の記録媒体である。この記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、撮像装置１００とのインタフェース２０４、撮像装置１００と接続を行うコネクタ２０６を備えている。
A
図２は、撮像素子１４の回路構成の一例を示す図である。画素部２５０には、複数の画素２４０が画素Ｒ１＿１～Ｂｍ＿ｎ（ｍ、ｎは任意の整数）のように行列状に配置されている。なお、画素２４０において、Ｒは赤色、Ｇは緑色、Ｂは青色のカラーフィルタが画素上に配置されることを意味する。また、Ｒ（Ｇ，Ｂ）ｉ＿ｊは、画素２４０が第ｉ行第ｊ列の画素であることを示す。また、同じ列の画素２４０のうち、奇数行の画素２４０は垂直出力線２５２に接続され、偶数行の画素２４０は垂直出力線２５６に接続されている。
FIG. 2 is a diagram showing an example of the circuit configuration of the
列回路スイッチ２５５がオフの際は、奇数行の画素からの画像信号は垂直出力線２５２を介して列回路２５３にのみ入力され、列回路スイッチ２５５がオンの際は、列回路２５３と列回路２５７にそれぞれ入力される。偶数行の画素からの画像信号も同様に、列回路スイッチ２５５がオフの際は垂直出力線２５６を介して列回路２５７にのみ入力され、列回路スイッチ２５５がオンの際は列回路２５３と列回路２５７にそれぞれ入力される。列回路スイッチ２５５がオフの際は偶数行と奇数行の画素からの画像信号を同時に読み出しすることができ、オンの際は偶数行と奇数行の画素からの画像信号が順次読み出される。
When the
駆動信号ＲＥＳ、ＴＸ、ＳＥＬ、ＦＤＩＮＣはそれぞれ、垂直走査回路２５１から画素部２５０に供給される。なお、これらの駆動信号については、行に対応する数字を表す自然数変数ｍ（＝１，２，・・・，ｎ）を付加して、ＲＥＳ＿ｍ、ＴＸ＿ｍ、ＳＥＬ＿ｍ、ＦＤＩＮＣ＿ｍと表記する。
The drive signals RES, TX, SEL, and FDINC are supplied from the
ここで、画素２４０の１画素毎の構成について、図３を用いて説明する。
フォトダイオード（ＰＤ）３０１は入射光を光電変換し、入射光量に応じた電荷を蓄積する。転送スイッチ３０２は、信号ｔｘのレベルがＨｉｇｈレベルであるときに、ＰＤ３０１に蓄積されている電荷をフローティングディフュージョン（ＦＤ）部３０３に転送する。ＦＤ部３０３は、ソースフォロアを構成するトランジスタ３０４のゲートに接続されており、ＰＤ３０１から転送される電荷量を電圧値に変換する。
Here, the configuration of each pixel of the
A photodiode (PD) 301 photoelectrically converts incident light and accumulates electric charges according to the amount of incident light. The
リセットスイッチ３０５は、ＦＤ部３０３をリセットするためのスイッチ素子であり、信号ｒｅｓのレベルがＨｉｇｈレベルであるときに、ＦＤ部３０３のリセットを行う。また、信号ｔｘと信号ｒｅｓのレベルを同時にＨｉｇｈレベルにすると、転送スイッチ３０２及びＦＤリセットスイッチ３０５の両方がオンとなって、ＦＤ部３０３を経由してＰＤ３０１のリセットが行われる。
The
ＦＤｉｎｃスイッチ３０７は、信号ｆｄｉｎｃのレベルがＨｉｇｈレベルであるときに、付加容量３０８をＦＤ部３０３と接続する。また、信号ｆｄｉｎｃのレベルがＬｏｗレベルであるときにはＦＤｉｎｃスイッチ３０７がオフであり、付加容量３０８とＦＤ部３０３とは非接続状態となる。これにより、ＦＤ部３０３に生じる容量が変化する。言い換えると、ＦＤｉｎｃスイッチ３０７及び付加容量３０８は、入力ノードの容量値を可変とする容量可変手段として機能する。
The
ＦＤｉｎｃスイッチ３０７のオン・オフによって、ＦＤ部３０３に転送された電荷に対するトランジスタ３０４の出力電圧の変換比、すなわちゲイン（以下、ＦＤゲインという）を切り替えることができる。付加容量３０８がＦＤ部３０３に接続された接続状態では静電容量値が増加し、非接続状態の場合と比べて相対的にゲインが小さくなる。逆に、付加容量３０８とＦＤ部３０３とが非接続状態になると静電容量値が減少し、接続状態と比べて相対的にゲインが大きくなる。
By turning on/off the
このように、本実施形態の撮像素子１４は、信号ｆｄｉｎｃに応じてＦＤ部３０３に保持される電荷量を可変とし、画素２４０の出力ゲインを切り替えることができる。
In this manner, the
画素選択スイッチ３０６は、信号ｓｅｌのレベルがＨｉｇｈレベルであるときに、ＦＤ３０３において電圧に変換された画素信号を出力する（ｖｏｕｔ）。各画素２４０の出力は、前述したように列毎の垂直出力線２５２、２５６を介して列回路２５３、２５７に入力される。本実施形態では、１つの画素２４０に１つの垂直出力線２５２または２５６が繋がっている構成であるが、１つの画素２４０に、複数の垂直出力線が接続されていても構わない。また、列回路スイッチ２５５をオンにすることで、１つの垂直出力線を２つの列回路２５３、２５７に接続することが可能となり、１つの画素２４０の出力を、２つの列回路２５３、２５７を用いて複数種類のアナログゲインで増幅することが可能となる。
The
次に、図４を参照して、列回路２５３の構成について説明する。
１行分の画素２４０の出力（ｖｏｕｔ）は、その出力端子に接続された垂直出力線２５２を介して列回路２５３に入力される。列ごとに設けられた垂直出力線２５２は電流源２５４を介して接地されている。電流源２５４と、垂直出力線２５２に接続された画素２４０のトランジスタ３０４とによってソースフォロワ回路が構成される。
Next, the configuration of
The output (vout) of the
列回路２５３において、クランプ容量４０１は静電容量Ｃ１を有し、フィードバック容量４０２は静電容量Ｃ２を有する。画素部２５０の出力（ｖｏｕｔ）は、クランプ容量４０１を介して演算増幅器４０３の反転入力端子に入力される。演算増幅器４０３の非反転入力端子には基準電圧Ｖｒｅｆが供給される。演算増幅器４０３の反転入力端子と出力端子に接続されたフィードバック容量４０２と並列にスイッチ４０４が接続されている。スイッチ４０４は、フィードバック容量４０２の両端をショートさせるためのスイッチ素子であり、信号ｃｆｓにより制御される。スイッチ４０４のオン・オフ制御によってゲイン設定を変更できるため、入力された画素信号を複数種類のアナログゲインで増幅して出力することができる。
In
Ｓ信号転送スイッチ４０５は、画素部２５０から読み出される画素信号（以下「Ｓ信号」と記す。）を、Ｓ信号保持容量４０７に転送するためのスイッチ素子である。信号ｔｓのレベルをＨｉｇｈレベルにすることにより、演算増幅器４０３で増幅されたＳ信号が、Ｓ信号転送スイッチ４０５を介してＳ信号保持容量４０７に保持される。
The S
Ｎ信号転送スイッチ４０６は、画素部２５０から読み出されるノイズ信号（以下、「Ｎ信号」と記す。）をＮ信号保持容量４０８に転送するためのスイッチ素子である。信号ｔｎのレベルをＨｉｇｈレベルにすることにより、演算増幅器４０３で増幅されたＮ信号が、Ｎ信号転送スイッチ４０６を介してＮ信号保持容量４０８に保持される。
The N
Ｓ信号保持容量４０７、Ｎ信号保持容量４０８に保持されたＳ信号およびＮ信号は、出力端子ｖｓ、ｖｎからそれぞれ出力される。そして、出力端子ｖｓ、ｖｎから出力されたＳ信号とＮ信号の差分は、不図示のアナログ－デジタル変換回路によりデジタル信号に変換される。列回路２５３においてｃｆｓ、ｔｓ、ｔｎ等の駆動信号は、図１のタイミング発生部１８の制御に従って、図２のタイミングジェネレータ（ＴＧ）２６０から供給される。
The S signal and N signal held in the S
なお、列回路２５７も列回路２５３と同様の構成を有し、垂直出力線２５６に接続された一行分の画素２４０の出力を処理する。
Note that the
図２に戻り、メモリ２６１は、デジタル信号に変換された出力データを、ＴＧ２６０から出力される書き込み信号ｍｅｍｗｒに従って保持する。メモリ２６１に保持されたデータは、水平走査回路２６２の走査によりデータ出力部２６３へ順次転送される。データ出力部２６３は、ＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）等の伝送方式により、撮像素子１４の外部へデータを出力する。
Returning to FIG. 2 , the
●ＨＤＲ撮影処理
次に、本発明の実施形態に係る撮像装置１００のシステム制御部５０におけるＨＤＲ撮影時の処理について図５を参照して説明する。
●HDR Imaging Processing Next, processing during HDR imaging in the
まず、図５のフローチャートを参照して、測光結果を用いて撮影条件を決定してＨＤＲ画像の撮影を行う処理について説明する。なお、この処理は、操作部７０に含まれる不図示のレリーズ釦によりＨＤＲ撮影が指示されると開始される。すなわち、１回の蓄積により得られる画像信号に複数のゲインをかけて読み出すことで、同時に信号レベルの異なる２枚の画像を取得する。この２枚の画像を合成処理することで、ＨＤＲ撮影と呼ばれる高ダイナミックレンジ画像を生成することができる。 First, with reference to the flowchart of FIG. 5, the process of determining the shooting conditions using the photometry result and shooting an HDR image will be described. Note that this process is started when HDR shooting is instructed by a release button (not shown) included in the operation unit 70 . That is, by multiplying an image signal obtained by one accumulation by a plurality of gains and reading out, two images having different signal levels are obtained at the same time. By synthesizing these two images, a high dynamic range image called HDR imaging can be generated.
Ｓ２０１では、本撮影前に予め決められた露出でプリ撮影を行って撮像素子１４から出力された画像信号に基づいて画像処理部２０により測光を行う。このときに得られる画像信号は、撮像素子１４のすべての画素から読み出してもよいし、間引き読み出しや加算読み出しにより読み出してもよく、予め決められたゲインをかけて出力される。また、後述するように被写体の動きを検出するために、所定間隔で繰り返し読み出される。Ｓ２０２において、システム制御部５０は、画像処理部２０からＳ２０１で実施した測光結果を受け取り、輝度差検出部１０７ａで被写体の明部エリアと暗部エリアとの輝度差を算出する。
In S<b>201 , pre-shooting is performed with a predetermined exposure before actual shooting, and photometry is performed by the
Ｓ２０３では、Ｓ２０２で算出した被写体の輝度差が予め決められた第１の閾値Ｔｈｄ１以上であるか否かを露光制御部４０が判定する。輝度差が第１の閾値Ｔｈｄ１以上である場合には、撮影回数が追加撮影を含む２回であると判断してＳ２０４へ進み、輝度差が第１の閾値Ｔｈｄ１未満である場合には、追加撮影を実施せず、撮影回数が１回であると判断してＳ２０８に進む。
In S203, the
Ｓ２０４では、追加撮影を含む２回分の撮影条件を決定する。なお、Ｓ２０４における具体的な撮影条件の決定方法の詳細については、図３を参照して後述する。 In S204, shooting conditions for two shots including additional shooting are determined. The details of the method for determining specific imaging conditions in S204 will be described later with reference to FIG.
Ｓ２０５及びＳ２０６では、Ｓ２０４で決定した２回分の撮影条件に従い、１回目の撮影および２回目の撮影を行う。具体的には、システム制御部５０から焦点調節部４２、ズーム制御部４４及びタイミング発生部１８を介して撮影レンズ１０及び撮像素子１４を制御し、画像信号を取得する。
In S205 and S206, the first and second imaging are performed according to the two imaging conditions determined in S204. Specifically, the
Ｓ２０７では、Ｓ２０５及びＳ２０６で取得した複数枚の画像信号を画像処理部２０により合成してＨＤＲ画像を生成し、ＨＤＲ撮影の処理を終了する。
In S207, the
一方、Ｓ２０８では、追加撮影を行わないため、１回分の撮影条件を決定する。なお、Ｓ２０８における具体的な撮影条件の決定方法の詳細については、図８を参照して後述する。 On the other hand, in S208, since additional imaging is not performed, imaging conditions for one shot are determined. Details of the method for determining the specific imaging conditions in S208 will be described later with reference to FIG.
Ｓ２０９では、Ｓ２０８で決定した撮影条件に従い、Ｓ２０５と同様に撮影を行う。
Ｓ２１０では、Ｓ２０９で取得した複数枚の画像信号を画像処理部２０により合成してＨＤＲ画像を生成し、ＨＤＲ撮影の処理を終了する。
In S209, photographing is performed in the same manner as in S205 according to the photographing conditions determined in S208.
In S210, the
●撮影条件の決定方法
次に、図６及び図７のフローチャートを参照して、撮影条件の決定方法について説明する。
まず、図５のＳ２０４における撮影条件の決定方法について、図６を用いて説明する。
●Method for Determining Imaging Conditions Next, a method for determining imaging conditions will be described with reference to the flowcharts of FIGS. 6 and 7. FIG.
First, the method of determining the imaging conditions in S204 of FIG. 5 will be described with reference to FIG.
Ｓ４０１では、図５のＳ２０２で算出された被写体の輝度差が、予め決められた第２の閾値Ｔｈｄ２以上であるかどうかを判断する。なお、第２の閾値Ｔｈｄ２は、Ｓ２０３で用いられる第１の閾値Ｔｈｄ１よりも大きい値を設定する。第２の閾値Ｔｈｄ２以上（輝度差が大）である場合はＳ４０２に進み、第２の閾値Ｔｈｄ２未満かつ第１の閾値Ｔｈｄ１以上（輝度差が中）である場合はＳ４０９に進む。 In S401, it is determined whether or not the brightness difference of the object calculated in S202 of FIG. 5 is equal to or greater than a predetermined second threshold Thd2. Note that the second threshold Thd2 is set to a value larger than the first threshold Thd1 used in S203. If the difference is greater than or equal to the second threshold Thd2 (large luminance difference), the process proceeds to S402.
Ｓ４０２では、動き検出部１０７ｂにおいて、プリ撮影により得られた、Ｓ２０１で測光に用いた画像及びその前に得られた画像間の被写体の動きベクトル成分を算出する。動きベクトル成分が予め決められた閾値Ｔｈｖ以上であれば、被写体が動いていると判断し、Ｓ４０３に進む。一方、動きベクトル成分が閾値Ｔｈｖ未満であれば、被写体が動いていないと判断し、Ｓ４０６に進む。
In S402, the
Ｓ４０３では、画像処理部２０で取得した測光結果に基づいて、主被写体の明るさを判定する。主被写体の測光値が予め決められた閾値Ｔｈｐ以上であれば、主被写体が明るいと判断し、Ｓ４０４に進んで撮影条件を後述するＡ１に決定する。一方、主被写体の測光値が閾値Ｔｈｐ未満であれば、主被写体が暗いと判断し、Ｓ４０５に進んで撮影条件を後述するＡ２に決定する。
In S403, the brightness of the main subject is determined based on the photometric results obtained by the
Ｓ４０６においても、Ｓ４０３と同様の判断を行い、主被写体の測光値が閾値Ｔｈｐ以上であれば、主被写体が明るいと判断し、Ｓ４０７に進んで撮影条件を後述するＢ１に決定する。一方、主被写体の測光値が閾値Ｔｈｐ未満であれば、主被写体が暗いと判断し、Ｓ４０８に進んで撮影条件を後述するＢ２に決定する。 In S406, the same determination as in S403 is made, and if the photometric value of the main subject is equal to or greater than the threshold Thp, it is determined that the main subject is bright, and the process advances to S407 to set the shooting condition to B1, which will be described later. On the other hand, if the photometric value of the main subject is less than the threshold Thp, it is determined that the main subject is dark, and the process advances to S408 to determine B2 as the shooting condition, which will be described later.
また、Ｓ４０９ではＳ４０２と同様の判断を行い、被写体の動きベクトル成分が予め決められた閾値Ｔｈｖ以上であれば、被写体が動いていると判断してＳ４１０に進み、閾値Ｔｈｖ未満であれば、被写体が動いていないと判断してＳ４１３に進む。 In step S409, the same determination as in step S402 is performed. is not moving, and the process proceeds to S413.
Ｓ４１０及びＳ４１３では、それぞれＳ４０３と同様の判断を行う。そして、Ｓ４１０において主被写体の測光値が閾値Ｔｈｐ以上であれば、主被写体が明るいと判断してＳ４１１に進んで撮影条件を後述するＣ１に決定し、閾値Ｔｈｐ未満であれば、主被写体が暗いと判断してＳ４１２に進んで撮影条件を後述するＣ２に決定する。 In S410 and S413, the same determination as in S403 is made. If the photometric value of the main subject is equal to or greater than the threshold Thp in S410, it is determined that the main subject is bright, and the process advances to S411 to determine the shooting condition C1, which will be described later. Then, the process advances to S412 to determine C2, which will be described later, as the imaging condition.
また、Ｓ４１３において主被写体の測光値が閾値Ｔｈｐ以上であれば、主被写体が明るいと判断してＳ４１４に進んで撮影条件を後述するＤ１に決定し、閾値Ｔｈｐ未満であれば、主被写体が暗いと判断してＳ４１５に進んで撮影条件を後述するＤ２に決定する。 If the photometric value of the main subject is equal to or greater than the threshold Thp in S413, it is determined that the main subject is bright, and the process advances to S414 to determine the shooting condition D1, which will be described later. Then, the process advances to S415 to determine D2, which will be described later, as the imaging condition.
ここで、図８の表を参照して、撮影条件Ａ１～Ｄ２の具体例について説明する。
図８において、項目６０１は、図６で説明した撮影条件Ａ１～Ｄ２を示している。項目６０４は、図３で判定した被写体の状態である、輝度差、被写体の動きの有無、及び主被写体の明るさを示す。項目６０２は１回目の撮影に用いる撮影条件の具体的な内容、項目６０３は、２回目の撮影に用いる撮影条件の具体的な内容を示しており、ここでは、シャッタースピードＴｖと、撮像素子１４に設定する２種類のゲイン１及びゲイン２を示している。
Here, specific examples of the imaging conditions A1 to D2 will be described with reference to the table in FIG.
In FIG. 8, an
図８に示すように、図６のＳ４０１で輝度差が第２の閾値Ｔｈｄ２以上（輝度差が大）である場合には、撮像素子１４から出力する画像枚数を４枚に設定し、図６のＳ４０１で輝度差が第２の閾値Ｔｈｄ２未満かつ第１の閾値Ｔｈｄ１以上（輝度差が中）である場合には、撮像素子１４から出力する画像枚数を３枚に設定する。つまり、１回の撮影で最大２枚の画像を取得できるため、撮像素子１４から出力する画像枚数が３枚以上である場合には２回の撮影が必要となる。
As shown in FIG. 8, when the luminance difference is greater than or equal to the second threshold Thd2 (the luminance difference is large) in S401 of FIG. If the luminance difference is less than the second threshold Thd2 and equal to or greater than the first threshold Thd1 (medium luminance difference) in S401 of 1, the number of images to be output from the
また、被写体が動体である場合には、シャッタースピードを高速にすることで被写体ブレを軽減するとともに、主被写体の明るさに応じて、明るい場合には低いゲイン、暗い場合には高いゲインを設定している。ゲイン設定は、高ゲインになるとノイズが増えて画質が悪化する懸念があるため、できるだけ低いゲインで撮影する事が望ましい。そのため、被写体が動体でない場合には、同じ明るさであっても被写体が動体である場合よりも低いゲインを設定し、シャッタースピードを調整することで異なる明るさの被写体に対応するようにしている。 In addition, when the subject is moving, the shutter speed is increased to reduce subject blur, and depending on the brightness of the main subject, a low gain is set for bright subjects and a high gain for dark subjects. are doing. As for the gain setting, there is a concern that noise increases and image quality deteriorates when the gain becomes high, so it is desirable to shoot with the lowest possible gain. Therefore, when the subject is not moving, even if the brightness is the same, the gain is set lower than when the subject is moving, and the shutter speed is adjusted to handle subjects with different brightness. .
なお、輝度差が中である場合、２回の撮影により取得する画像枚数が３枚であるため、撮影条件Ｃ１、Ｃ２では、１回目の撮影においてゲイン１で増幅した１枚の画像を出力し、撮影条件Ｄ１、Ｄ２では、２回目の撮影においてゲイン１で増幅した１枚の画像を出力している。この場合、撮像素子１４では１種類のゲインをかけた１枚分の画像信号を出力する。そして、撮像素子１４が２系統の増幅部を有する場合には、いずれか一方のみを用いればよい。また、撮像素子１４が出力する画像枚数を１枚にするのは、１回目の撮影と２回目の撮影のいずれであっても構わない。
Note that when the luminance difference is medium, the number of images acquired by two shots is three. Therefore, under the shooting conditions C1 and C2, one image amplified with a gain of 1 is output in the first shot. , under photographing conditions D1 and D2, one image amplified with a gain of 1 is output in the second photographing. In this case, the
図５のＳ２０７では、このように異なる撮影条件で得られた４枚または３枚の画像信号を合成して、ＨＤＲ画像を生成する。 In S207 of FIG. 5, an HDR image is generated by synthesizing four or three image signals obtained under different shooting conditions.
次に、図５のＳ２０３で輝度差が第１の閾値Ｔｈｄ１未満（輝度差が小）と判断された場合のＳ２０８における撮影条件の決定方法について、図４を用いて説明する。
Ｓ５０１では、画像処理部２０で取得した測光結果に基づいて、主被写体の明るさを判定する。主被写体の測光値が予め決められた閾値Ｔｈｐ以上であれば、被写体が明るいと判断し、Ｓ５０２に進んで撮影条件を図８に示すＥ１に決定する。一方、主被写体の測光値が閾値Ｔｈｐ未満であれば、被写体が暗いと判断し、Ｓ５０３に進んで撮影条件を図５に示すＥ２に決定する。
Next, the method of determining the shooting conditions in S208 when it is determined in S203 in FIG. 5 that the luminance difference is less than the first threshold value Thd1 (the luminance difference is small) will be described with reference to FIG.
In S<b>501 , the brightness of the main subject is determined based on the photometric result obtained by the
Ｓ２０８では、Ｓ２０３で輝度差が第１の閾値Ｔｈｄ１未満、すなわち、輝度差が小さいと判断されている。そのため、撮影は１回のみ、撮像素子１４からは２枚の画像を出力するものとし、主被写体の明るさに応じて、図８で示すように１回の撮影で用いる撮影条件Ｅ１、Ｅ２を決定する。
In S208, it is determined in S203 that the luminance difference is less than the first threshold Thd1, that is, the luminance difference is small. Therefore, it is assumed that the photographing is performed only once and two images are output from the
上記の通り第１の実施形態によれば、測光結果に基づく被写体の状態に応じて、撮影条件を決定することで、撮影回数および撮像素子１４から出力される画像枚数を抑制しつつ、よりダイナミックレンジの広い、高画質のＨＤＲ画像を生成することができる。
As described above, according to the first embodiment, by determining the shooting conditions according to the state of the subject based on the photometric results, the number of shots and the number of images output from the
なお、上述した例では、輝度差を大、中、小の３段階に分け、撮像素子１４から出力される画像枚数を４枚から２枚としたが、本発明はこれに限れられるものではなく、第２の閾値Ｔｈｄ２との比較を行わずに２段階としても良いし、逆に、更に輝度値を４段階以上に分けてもよい。その場合にも、必要とされている画像の枚数に応じて必要な回数の撮影を行えばよい。
In the above example, the luminance difference is divided into three levels of large, medium, and small, and the number of images output from the
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。なお、第２の実施形態における撮像装置は、第１の実施形態において図１を参照して説明したものと同様であるため、説明を省略する。
上述した第１の実施形態では、プリ撮影で得られた画像の測光結果に基づいてＨＤＲ撮影を行う際の撮影条件を決定する場合について説明した。これに対し、第２の実施形態では、１回目のＨＤＲ撮影で得られた画像に基づいて、撮影条件を決定する場合について説明する。
<Second embodiment>
Next, a second embodiment of the invention will be described. Note that the imaging apparatus in the second embodiment is the same as that described with reference to FIG. 1 in the first embodiment, so description thereof will be omitted.
In the above-described first embodiment, a case has been described in which the shooting conditions for HDR shooting are determined based on the photometry result of an image obtained by pre-shooting. On the other hand, in the second embodiment, a case will be described in which the imaging conditions are determined based on the image obtained by the first HDR imaging.
以下、図９のフローチャートを参照して、１回目のＨＤＲ撮影で得られた画像の情報に基づいて撮影条件を決定してＨＤＲ画像の撮影を行う処理について説明する。なお、この処理は、図２に示す処理と同様に、操作部７０に含まれる不図示のレリーズ釦によりＨＤＲ画像の撮影が指示されると開始される。 Processing for determining shooting conditions based on image information obtained in the first HDR shooting and shooting an HDR image will be described below with reference to the flowchart of FIG. 9 . It should be noted that this process is started when an HDR image capturing instruction is given by a release button (not shown) included in the operation unit 70, similarly to the process shown in FIG.
Ｓ３０１において、上述したＳ２０１と同様に、本撮影前にプリ撮影を行って撮像素子１４から出力された画像信号を画像処理部２０で取得し、測光を行う。
In S301, as in S201 described above, pre-shooting is performed before main shooting, and an image signal output from the
Ｓ３０２では、システム制御部５０は、画像処理部２０からＳ３０１で実施した測光結果を受け取り、１回目の撮影条件を決定する。本実施形態では、１回目の撮影条件は、測光結果の明部を基準にして、絞り制御値、シャッタースピード、ゲイン１及びゲイン２（低ゲイン・高ゲイン）を決定する。
In S302, the
Ｓ３０３において、Ｓ３０２で決定した１回目の撮影条件に従い、システム制御部５０から焦点調節部４２、ズーム制御部４４及びタイミング発生部１８を介して撮影レンズ１０及び撮像素子１４を制御し、１回目の撮影を行い、画像信号を取得する。
In S303, according to the first shooting conditions determined in S302, the
Ｓ３０４において、システム制御部５０は、画像処理部２０からＳ３０３で撮影した１回目の画像信号を受け取り、輝度差検出部１０７ａで被写体の明部エリアと暗部エリアとの輝度差を算出する。なお、撮像素子１４からはゲイン１及びゲイン２で増幅された画像信号が出力されているが、いずれか一方を用いて算出する。また、ゲイン１及びゲイン２で増幅された画像信号の両方を用いて算出してもよい。
In S304, the
Ｓ３０５では、Ｓ３０４で算出した被写体の輝度差が予め決められた第３の閾値Ｔｈｄ３以上であるか否かを露光制御部４０が判定する。輝度差が第３の閾値Ｔｈｄ３以上である場合には、追加撮影を実施すると判断してＳ３０６へ進み、輝度差が第３の輝度差未満である場合には、追加撮影を実施しないと判断してＳ３０９に進む。
In S305, the
Ｓ３０６では、Ｓ３０３の撮影で用いた撮影画像の撮影条件と、Ｓ３０４で算出した輝度差に基づいて、追加で撮影する２回目の撮影条件を決定する。本実施形態では、Ｓ３０３で実施する１回目の撮影条件を被写体の明部を基準にして決定するため、２回目の撮影では、１回目の撮影で不足する暗部の階調を補うような撮影条件とする。 In S306, based on the shooting conditions of the shot image used in shooting in S303 and the luminance difference calculated in S304, the shooting conditions for the second additional shooting are determined. In the present embodiment, since the first shooting condition performed in S303 is determined based on the bright part of the subject, in the second shooting, the shooting conditions are set so as to compensate for the insufficient gradation of the dark part in the first shooting. and
Ｓ３０７では、２回目の撮影を行う。この撮影処理では、Ｓ３０６で決定した撮影条件に従い、システム制御部５０から焦点調節部４２、ズーム制御部４４及びタイミング発生部１８を介して撮影レンズ１０及び撮像素子１４を制御し、画像信号を取得する。そして、Ｓ３０８において、Ｓ３０３及びＳ３０７の２回の撮影処理で取得した複数枚の画像信号を画像処理部２０にて合成し、ＨＤＲ画像を生成し、処理を終了する。
In S307, the second shooting is performed. In this photographing process, the
なお、２回目の撮影で用いる撮影条件は、必要に応じて、撮像素子１４に２種類の異なるゲインを設定しても良いし、同じゲインを設定してもよい。同じゲインを設定した場合、撮像素子１４が２系統の増幅部を有する場合には、いずれか一方を用いればよい。
As for the imaging conditions used in the second imaging, two different gains may be set for the
一方、Ｓ３０９では、Ｓ３０３の撮影処理で取得した複数枚の画像信号を画像処理部２０にて合成し、ＨＤＲ画像を生成し、処理を終了する。
On the other hand, in S309, the
上記の通り本第２の実施形態によれば、Ｓ３０２における１回目のＨＤＲ撮影で得られた画像における被写体の状態に応じて、２回目の撮影を行うかどうかを判断することで、撮影回数を抑制しつつ、よりダイナミックレンジの広い、高画質のＨＤＲ画像を生成することができる。 As described above, according to the second embodiment, by determining whether or not to perform the second imaging according to the state of the subject in the image obtained by the first HDR imaging in S302, the number of times of imaging is reduced. A high-quality HDR image with a wider dynamic range can be generated while suppressing noise.
なお、上述した実施形態では、追加撮影をする際の一例として２回としているが、本発明は２回に限定されるものではなく、３回以上（複数回）の撮影を行ってもよい。 In the above-described embodiment, as an example of additional photography, two times are used, but the present invention is not limited to two times, and photography may be performed three or more times (a plurality of times).
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。
<Third Embodiment>
Next, a third embodiment of the invention will be described.
第３の実施形態では、図１０及び図１１を用いて、本実施形態におけるユーザーインターフェースに関して説明する。なお、第２の実施形態と同様に、図１で説明した撮像装置１００を用いることができるため、ここでは説明を省略する。
In the third embodiment, the user interface in this embodiment will be described with reference to FIGS. 10 and 11. FIG. As in the second embodiment, the
図１０は、ＨＤＲモードにおける追加撮影を許可するか否かを、ユーザーが操作部７０を操作することで撮像装置１００に設定するためのユーザーインターフェースの一例を示す。本実施形態では、ＨＤＲメニュー画面７０１において、ユーザーが事前に追加撮影を許可するボタン７０２、もしくは追加撮影を許可しないボタン７０３のいずれかを選択し、設定する事が可能である。設定した情報は不揮発性メモリ３１に保存される。
FIG. 10 shows an example of a user interface for allowing the user to operate the operation unit 70 to set whether or not to permit additional shooting in the HDR mode. In this embodiment, on the
図１１は、ＨＤＲ撮影時に追加撮影を行う場合の表示方法を示す図である。本実施形態では、ＨＤＲ撮影時の表示画面８０１に、追加撮影が必要な判断がされた時、メッセージ表示８０２をシステム制御部５０の指示で表示する。
FIG. 11 is a diagram showing a display method when additional shooting is performed during HDR shooting. In this embodiment, a
次に、図１２を用いて、第３の実施形態におけるＨＤＲ撮影処理について説明する。図１２は、第１の実施形態で説明した図５に示す撮像処理に、追加撮影の可否に関わる処理を追加したものである。以下、図５に示す処理と同様の処理には同じステップ番号を付して、適宜説明を省略する。 Next, HDR imaging processing in the third embodiment will be described with reference to FIG. 12 . FIG. 12 is obtained by adding processing related to whether or not additional photography is possible to the imaging processing shown in FIG. 5 described in the first embodiment. Hereinafter, the same step numbers are given to the same processes as those shown in FIG. 5, and the description thereof will be omitted as appropriate.
Ｓ２０３において、Ｓ２０２で算出した被写体の輝度差が第１の閾値Ｔｈｄ１以上であるか否かを露光制御部４０が判定する。輝度差が第１の閾値Ｔｈｄ１以上である場合にはＳ９０１の処理へ進み、輝度差が第１の閾値Ｔｈｄ１未満である場合に、Ｓ２０８の処理に進む。
In S203, the
Ｓ９０１では、不揮発性メモリ３１に保存された追加撮影に関する設定を取得し、Ｓ９０２に進む。Ｓ９０２では、Ｓ９０１で取得した追加撮影に関する設定値に応じて、追加撮影が許可されている場合はＳ９０３に進み、追加撮影が許可されていない場合はＳ２０８に進む。
In S901, settings related to additional shooting saved in the
Ｓ９０３では、システム制御部５０により画像表示部２８に図１１に示すメッセージ表示８０２を行い、Ｓ２０４に進む。なお、本実施形態では、画像表示部２８にメッセージを表示する場合について説明したが本発明はこれに限られるものではなく、例えば、音声や、ＬＥＤ等の発光部等を用いて通知するようにしても良い。
In S903, the
なお、図１２に示す例では、第１の実施形態と同様に、測光結果を用いて２回分の撮影条件を決定する場合について説明した。しかしながら、本発明はこれに限られるものではなく、第２の実施形態で説明したように、追加撮影を行うか否かを１回目の撮影で得られた画像の条件に基づいて決定する場合に適用してもよい。その場合、図９のＳ３０５でＹＥＳとなった場合に、Ｓ３０６の処理を行う前に図１２に示すＳ９０１～Ｓ９０３の処理を行えばよい。 Note that in the example shown in FIG. 12, as in the first embodiment, a case has been described in which the photometry results are used to determine the imaging conditions for two shots. However, the present invention is not limited to this, and as described in the second embodiment, when determining whether or not to perform additional photography based on the conditions of the image obtained in the first photography, may apply. In that case, if YES in S305 of FIG. 9, the processes of S901 to S903 shown in FIG. 12 may be performed before performing the process of S306.
上記の通り第３の実施形態によれば、第１及び第２の実施形態と同様の効果に加え、ユーザーによる追加撮影を許可／非許可の選択することで、よりユーザーの意図に応じた撮影を行うことができる。 As described above, according to the third embodiment, in addition to the same effects as those of the first and second embodiments, the user can select permission/non-permission for additional photography, so that the photography can be performed in accordance with the user's intentions. It can be performed.
なお、上述した実施形態では、１回の撮影で得られた画像信号に対し２種類のゲインをかけることで、明るさの異なる２枚の画像を取得し、この２枚の画像を合成する事でＨＤＲ画像を生成する例について説明した。しかしながら、本発明は２種類に限定されるものではなく、３種類以上のゲインをかけてもよい。 In the above-described embodiment, two images with different brightness are acquired by applying two types of gains to the image signal obtained by one shooting, and these two images are synthesized. has described an example of generating an HDR image. However, the present invention is not limited to two types of gains, and three or more types of gains may be applied.
＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。
<Fourth Embodiment>
Next, a fourth embodiment of the invention will be described.
図１３は、第４の実施形態における撮影処理のフローチャートである。
Ｓ１４０１では、１回の蓄積により得られる画像信号に複数のゲインをかけて読み出すことで、同時に信号レベルの異なる２枚の画像を取得する。この２枚の画像を合成処理することで、ＨＤＲ撮影により高ダイナミックレンジ画像を生成することができる。Ｓ２０２では、Ｓ２０１で取得した画像から画像中の輝度差と被写体の動きベクトルを検出する。
FIG. 13 is a flowchart of imaging processing in the fourth embodiment.
In S1401, an image signal obtained by one accumulation is multiplied by a plurality of gains and read out, thereby obtaining two images having different signal levels at the same time. By synthesizing these two images, a high dynamic range image can be generated by HDR photography. In S202, the luminance difference in the image and the motion vector of the object are detected from the image acquired in S201.
Ｓ１４０３では、Ｓ１４０２で検出した輝度差が閾値ｂＴｈを超えているか否かを判断し、同時に２枚の画像を撮影した条件で被写体のダイナミックレンジが不足していないかを判定する。輝度差が閾値ｂＴｈを超えている場合には、追加撮影が必要だと判断してＳ１４０４に進み、Ｓ１４０２で取得した被写体の動きベクトルが閾値ｖＴｈより小さいかどうかを判断する。 In S1403, it is determined whether or not the luminance difference detected in S1402 exceeds the threshold value bTh, and it is determined whether or not the dynamic range of the subject is insufficient under the condition that two images are simultaneously captured. If the luminance difference exceeds the threshold bTh, it is determined that additional imaging is necessary, and the process advances to S1404 to determine whether the motion vector of the object acquired in S1402 is smaller than the threshold vTh.
被写体の動きベクトルが閾値ｖＴｈより小さければ、追加撮影による合成ブレは目立たないので、追加撮影すると判断してＳ１４０５へ進む。一方、Ｓ１４０３で輝度差が閾値ｂＴｈ以下の場合には、被写体のダイナミックレンジが十分であると判断し、またＳ１４０４で動きベクトルが閾値ｖＴｈ以上の場合には、追加撮影による合成ブレが目立つため追加撮影しないと判断して、Ｓ１４０１へ戻る。 If the motion vector of the object is smaller than the threshold value vTh, the combined blur due to the additional shooting is inconspicuous. On the other hand, if the luminance difference is equal to or less than the threshold bTh in S1403, it is determined that the dynamic range of the subject is sufficient. It is determined not to shoot, and the process returns to S1401.
Ｓ１４０５では、追加撮影を挿入する時間があるかを判定し、追加撮影しても記録フレームレートが落ちない場合は、Ｓ１４０６において輝度差を再度判定する。輝度差が閾値ｂＴｈ２より大きければ、非常に明暗差の大きいシーンなので、Ｓ１４０７へ進み、複数ゲインによる追加撮影を行う。輝度差が閾値ｂＴｈ２以下であれば、Ｓ１４０８へ進んで単一ゲインによる追加撮影を行う。なお、これらの追加撮影については、図１４及び図１５を用いて詳細に後述する。 In S1405, it is determined whether there is time to insert additional shooting, and if the recording frame rate does not drop even after the additional shooting, the luminance difference is determined again in S1406. If the luminance difference is greater than the threshold bTh2, the scene has a very large difference in brightness, so the process advances to S1407 to perform additional shooting using multiple gains. If the luminance difference is equal to or less than the threshold value bTh2, the process advances to S1408 to perform additional imaging with a single gain. These additional shootings will be described later in detail with reference to FIGS. 14 and 15. FIG.
一方、Ｓ１４０５で追加撮影を行う時間が無いと判断した場合には、追加撮影することで記録フレームレートが低下するので、Ｓ１４０９で記録フレームレートを変更して、Ｓ１４１０で追加撮影を行う。この記録フレームレート変更処理については、図１７を用いて詳細に後述する。
上記動作を連続させることで、ＨＤＲ動画撮影を実現する。
On the other hand, if it is determined in S1405 that there is no time to perform additional shooting, the recording frame rate will decrease due to additional shooting, so the recording frame rate is changed in S1409 and additional shooting is performed in S1410. This recording frame rate change processing will be described later in detail using FIG.
By continuing the above operations, HDR video shooting is realized.
図１４は、本実施形態の複数ゲインによる追加撮影を示したタイミングチャートである。
図１４（ａ）は、Ｓ１４０３またはＳ１４０４で、追加撮影を行わないと判断したときのタイミングチャートを示している。各フレームで１回の蓄積を行い、得られた画素信号に２種類のゲインＨ／Ｌをかけて読み出して、Ｈ／Ｌの２枚の画像を合成して、ＨＤＲ画像を生成する。
FIG. 14 is a timing chart showing additional imaging with multiple gains according to this embodiment.
FIG. 14A shows a timing chart when it is determined in S1403 or S1404 that additional shooting is not performed. Accumulation is performed once for each frame, the obtained pixel signals are multiplied by two types of gains H/L, read out, and the two images of H/L are combined to generate an HDR image.
図１４（ｂ）は、Ｓ１４０５において追加撮影を行う時間があると判断しているときに、Ｓ１４０７で追加撮影を行うタイミングチャートを示している。読み出しフレーム（第１の撮影動作）間に、読み出しフレームを追加できるかどうかで、追加撮影（第２の撮影動作）する時間があるかを判断している。図１５（ｂ）のＨ１／Ｌ１が元の読み出しフレームで、Ｈ２／Ｌ２が追加撮影する読み出しフレームである。このようにして得られた４枚の画像Ｈ１／Ｌ１／Ｈ２／Ｌ２を合成することで、高ダイナミックレンジ画像を生成することができる。 FIG. 14B shows a timing chart for performing additional imaging in S1407 when it is determined in S1405 that there is time to perform additional imaging. It is determined whether there is time for additional imaging (second imaging operation) based on whether or not a readout frame can be added between readout frames (first imaging operation). H1/L1 in FIG. 15B is the original readout frame, and H2/L2 is the additional readout frame. A high dynamic range image can be generated by synthesizing the four images H1/L1/H2/L2 thus obtained.
なお、図１４（ｂ）では、通常撮影と追加撮影で蓄積時間を変更して４種類の画像の取得を行っているが、撮影条件によっては蓄積時間を揃えて読み出しゲインの変更のみで追加撮影を行ってもよい。具体的な例として、
Ｈ１＝ＩＳＯ４００、 Ｌ１＝ＩＳＯ１００
Ｈ２＝ＩＳＯ１６００、Ｌ２＝ＩＳＯ６４００
という組み合わせで撮影する。さらに蓄積時間とゲインの両方を変更して撮影しても良い。
次のフレームにおいても同様に、４枚の画像Ｈ３／Ｌ３／Ｈ４／Ｌ４を合成する。
In FIG. 14B, four types of images are acquired by changing the accumulation time between normal photography and additional photography. may be performed. As a concrete example,
H1=ISO400, L1=ISO100
H2=ISO1600, L2=ISO6400
Shoot with a combination of Further, shooting may be performed by changing both the accumulation time and the gain.
Similarly, in the next frame, four images H3/L3/H4/L4 are synthesized.
図１４（ｃ）は、Ｓ１４０６において単一ゲインで追加撮影を行うと判断された場合に、Ｓ１４０８において追加撮影を行うタイミングチャートを示している。図１４（ｃ）のＨ１／Ｌ１が元の読み出しフレームで、Ｍ２が追加撮影した読み出しフレームである。このようにして得られた３枚の画像Ｈ１／Ｌ１／Ｍ２を合成することで、高ダイナミックレンジ画像を生成することができる。 FIG. 14C shows a timing chart for performing additional imaging in S1408 when it is determined in S1406 to perform additional imaging with a single gain. H1/L1 in FIG. 14C is the original readout frame, and M2 is the additional readout frame. A high dynamic range image can be generated by synthesizing the three images H1/L1/M2 thus obtained.
図１４（ｂ）に示すように４枚の画像を合成する場合には、非常に広いダイナミックレンジの画像を生成することができるが、読み出す画像の数が倍増することで、消費電力の増加も大きいものとなる。これに対し、単一ゲインでの追加撮影では、通常撮影では輝度差がもう少し足りない場合に、消費電力増加を最小限に抑えながら、必要なダイナミックレンジを確保することができる。 When four images are synthesized as shown in FIG. 14(b), an image with a very wide dynamic range can be generated. becomes a big one. On the other hand, additional shooting with a single gain can ensure the necessary dynamic range while minimizing the increase in power consumption when the brightness difference is slightly insufficient in normal shooting.
図１５は、本実施形態の追加撮影による記録フレームレート変更を示したタイミングチャートであり、Ｓ１４０５で追加撮影する時間がない場合の処理を示す。
図１５（ａ）に示すように、フレーム間に追加撮影を挿入する時間がない場合は、記録フレームレートを変更することにより合成するフレームレートも変更して、追加撮影できるようにする。記録フレームレートは、当該フレームのフレームレート情報を変更することや、また同じ画像を２度出力することで、フレームレートが見かけ上変更するようにしてもよい。
FIG. 15 is a timing chart showing changes in the recording frame rate due to additional shooting according to this embodiment, and shows processing when there is no time for additional shooting in S1405.
As shown in FIG. 15A, when there is no time to insert additional shooting between frames, the recording frame rate is changed to change the composite frame rate so that additional shooting can be performed. The recording frame rate may be apparently changed by changing the frame rate information of the frame or by outputting the same image twice.
図１５（ｂ）は、記録フレームレートを落として追加撮影を行う場合を示すタイミングチャートである。４枚の画像Ｈ１／Ｌ１／Ｈ２／Ｌ２を取得することが可能なように記録フレームレートを落とすことで、合成する画像のフレームレートは１／２になる。 FIG. 15(b) is a timing chart showing a case where the recording frame rate is lowered and additional shooting is performed. By lowering the recording frame rate so that four images H1/L1/H2/L2 can be acquired, the frame rate of the image to be combined is halved.
図１５（ｃ）は、記録フレームレートを落として単一ゲインにより追加撮影を行う場合を示すタイミングチャートである。３枚の画像Ｈ１／Ｌ１／Ｍ２を取得することが可能なように記録フレームレートを落とすことで、合成する画像のフレームレートは１／２になる。ここでも図１４（ｃ）で説明したように、ダイナミックレンジがあと少し不足する場合に、消費電力増加を抑えて必要なダイナミックレンジを確保するための方法である。 FIG. 15(c) is a timing chart showing a case where the recording frame rate is lowered and additional shooting is performed with a single gain. By lowering the recording frame rate so that the three images H1/L1/M2 can be obtained, the frame rate of the image to be combined is halved. Again, as described with reference to FIG. 14C, this is a method for securing the necessary dynamic range by suppressing an increase in power consumption when the dynamic range is slightly insufficient.
図１６は、本実施形態の動きベクトルの検出方法を説明するための図である。
動きベクトルは、画像間の差分を検出することで推定することができる。Ｈ１／Ｌ１フレームとＨ２／Ｌ２フレーム間の動きベクトルを検出する場合、本実施形態では、適正画像に近いＨ１／Ｈ２フレーム間で検出を行う。Ｈ１／Ｈ２フレームをそれぞれ必要な解像度に変換し、画像間の差の絶対値の総和を求めることで、図１６に示すように、動きベクトルＳの検出を行うことができる。
そして、求めた動きベクトルＳが閾値ｂＴｈを超えた場合、動きが大きいものとみなすことができる。
FIG. 16 is a diagram for explaining the motion vector detection method of this embodiment.
Motion vectors can be estimated by detecting differences between images. When detecting a motion vector between the H1/L1 frame and the H2/L2 frame, in this embodiment, detection is performed between the H1/H2 frames that are close to the proper image. The motion vector S can be detected as shown in FIG. 16 by converting each of the H1/H2 frames to the required resolution and calculating the sum of the absolute values of the differences between the images.
Then, when the obtained motion vector S exceeds the threshold bTh, it can be regarded that the motion is large.
動きベクトルＳを検出するフレーム間で露出差がある場合は、画像間で露出差の正規化を行う必要がある。Ｈ１画像の露出Ｔｖ１／Ａｖ１／Ｓｖ１とＨ２画像の露出Ｔｖ２／Ａｖ２／Ｓｖ２から正規化係数Ｇａｉｎを求める。そして、求めた正規化係数ＧａｉｎをＨ２画像に乗算することで、Ｈ１画像と同じ露出の画像として扱うことができ、画像間の動きベクトルを検出することができる。 If there is an exposure difference between the frames for which the motion vector S is detected, it is necessary to normalize the exposure difference between the images. A normalization coefficient Gain is obtained from the exposure Tv1/Av1/Sv1 of the H1 image and the exposure Tv2/Av2/Sv2 of the H2 image. By multiplying the H2 image by the obtained normalization coefficient Gain, the H2 image can be handled as an image with the same exposure as the H1 image, and the motion vector between the images can be detected.
図１７は、本実施形態における表示の一例を示した図である。
「Ａ：現在の合成枚数」の表示は、図１４（ｂ）及び図１４（ｃ）で説明した、合成に使用している画像の枚数を表示する。ユーザーはカメラが合成している撮影枚数がどの程度なのかを、この表示を通じて確認することができる。
「Ｂ：現在の記録レート」の表示は、図１５（ｂ）及び図１５（ｃ）で説明した、記録フレームレートを表している。ユーザーはカメラが必要とするダイナミックレンジに応じて、記録フレームレートがユーザーの意図通りかをこの表示を通じて確認することができる。
これらがユーザーの意図しない表示になった場合は、ユーザーは設定を変更して意図通りの撮影が行えるようにすることができる。
FIG. 17 is a diagram showing an example of display in this embodiment.
The display of "A: current number of combined images" displays the number of images used for combining as described with reference to FIGS. 14(b) and 14(c). Through this display, the user can confirm how many shots the camera is combining.
The display of "B: current recording rate" indicates the recording frame rate described with reference to FIGS. 15(b) and 15(c). Through this display, the user can check whether the recording frame rate is as intended by the user according to the dynamic range required by the camera.
If these are not displayed as intended by the user, the user can change the settings so that shooting can be performed as intended.
上記の通り第４の実施形態によれば、画像を連続して撮影している場合にも、ダイナミックレンジを拡大した画像を得ることができる。 As described above, according to the fourth embodiment, it is possible to obtain an image with an expanded dynamic range even when images are continuously captured.
なお、上述した実施形態では、撮像装置に適用した場合について説明したが、本発明はこれに限られるものではない。異なるゲインを設定し、ダイナミックレンジ拡大合成が可能な電子機器であれば様々な電子機器に本発明を適用することができ、例えば、スマートフォンやカムコーダー、カメラ付きゲーム機等に適用可能である。 In addition, in the above-described embodiment, the case where the present invention is applied to an imaging device has been described, but the present invention is not limited to this. The present invention can be applied to various electronic devices as long as they are electronic devices capable of setting different gains and synthesizing with an expanded dynamic range.
また、上述した実施形態は、その一部または全部を組み合わせて用いることが可能である。 In addition, the embodiments described above can be used in combination with some or all of them.
＜他の実施形態＞
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
<Other embodiments>
Further, the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device executes the program. It can also be realized by a process of reading and executing. It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。 The invention is not limited to the embodiments described above, and various modifications and variations are possible without departing from the spirit and scope of the invention. Accordingly, the claims are appended to make public the scope of the invention.
１０：撮影レンズ、１４：撮像素子、１６：Ａ／Ｄ変換器、１８：タイミング発生部、２０：画像処理部、２２：メモリ制御部、２８：画像表示部、３０：メモリ、４０：露光制御部、５０：システム制御部、６０：モードダイヤルスイッチ、７０：操作部、７５：通信部、７６：コネクタ（またはアンテナ）、９０：インタフェース、９２：コネクタ、１００：撮像装置、１０７ａ：輝度差検出部、１０７ｂ：動き検出部、２００：記録媒体、２０２：記録部、２０４：インタフェース、２０６：コネクタ
10: photographing lens, 14: image sensor, 16: A/D converter, 18: timing generator, 20: image processing unit, 22: memory control unit, 28: image display unit, 30: memory, 40: exposure control Unit 50: System control unit 60: Mode dial switch 70: Operation unit 75: Communication unit 76: Connector (or antenna) 90: Interface 92: Connector 100:
Claims (22)
前記撮像手段から出力された画像信号の輝度値を検出する検出手段と、
前記輝度値に基づいて、撮影ごとに前記複数の異なるゲインを含む撮影条件を変えながら複数回の撮影を行うかどうかを判断する判断手段と、
前記判断手段における判断の結果に応じて前記撮影条件を決定する決定手段と、
前記決定手段により決定された前記撮影条件に基づいて、前記撮像手段を制御して撮影を行う制御手段と
を有することを特徴とする電子機器。 an imaging means for applying at least one of a plurality of different gains to an image signal obtained by photoelectrically converting an optical image of a subject and outputting the signal;
a detection means for detecting a luminance value of the image signal output from the imaging means;
determination means for determining, based on the luminance value, whether or not to perform a plurality of shootings while changing shooting conditions including the plurality of different gains for each shooting;
determining means for determining the photographing condition according to the determination result of the determining means;
and control means for controlling the imaging means to perform imaging based on the imaging conditions determined by the determination means.
前記決定手段は、前記被写体の動きと、主被写体の輝度値とに基づいて、各撮影における前記撮影条件を決定することを特徴とする請求項１に記載の電子機器。 further comprising motion detection means for detecting motion of the subject;
2. The electronic device according to claim 1, wherein said determining means determines said photographing conditions for each photograph based on the movement of said subject and the luminance value of a main subject.
前記判断手段は、当該第１の撮影条件で撮影を行って得た画像信号における明部と暗部との輝度差が予め決められた第１の閾値以上の場合に、前記複数回の撮影を行うと判断することを特徴とする請求項１に記載の電子機器。 The determining means further determines a first photographing condition based on a photometric value of an image signal obtained by pre-photographing by the imaging means,
The determining means performs the plurality of photographing operations when a luminance difference between a bright portion and a dark portion in an image signal obtained by photographing under the first photographing condition is equal to or greater than a predetermined first threshold value. 2. The electronic device according to claim 1, wherein the electronic device determines that
前記判断手段が複数回の撮影を行うと判断した場合に、前記決定手段は、前記第１の撮影条件で撮影を行って得た画像信号における暗部の輝度値に基づいて第２の撮影条件を決定することを特徴とする請求項８に記載の電子機器。 The determining means determines the first imaging condition based on a brightness value of a bright portion in an image signal obtained by performing the pre-imaging,
When the determining means determines that the photographing is performed a plurality of times, the determining means sets the second photographing condition based on the brightness value of the dark part in the image signal obtained by photographing under the first photographing condition. 9. The electronic device according to claim 8, characterized in that it determines.
前記操作手段により、複数回の撮影を行わない指示がされた場合に、前記判断手段は、前記輝度値に関わらず、複数回の撮影を行わないと判断することを特徴とする請求項１に記載の電子機器。 further comprising operating means;
2. The apparatus according to claim 1, wherein when said operation means gives an instruction not to perform multiple shots, said determination means determines not to perform multiple shots regardless of said luminance value. Electronics as described.
前記判断手段により前記複数回の撮影を行うと判断された場合に、前記制御手段は、連続する前記第１の撮影動作の間に、前記第１の撮影動作と異なる撮影条件を用いて第２の撮影動作を行うように前記撮像手段を制御し、前記決定手段は、前記第２の撮影動作で用いる撮影条件を決定し、
前記複数回の撮影は、１回の前記第１の撮影動作と、１回の前記第２の撮影動作であることを特徴とする請求項１に記載の電子機器。 The imaging means repeatedly performs a first imaging operation of applying at least one of a plurality of different gains to an image signal obtained by photoelectrically converting an optical image of a subject and outputting the image signal,
When the determining means determines that the plurality of times of photographing is to be performed, the control means performs a second photographing operation using photographing conditions different from those of the first photographing operation during the continuous first photographing operation. controlling the imaging means to perform the imaging operation of, the determining means determining imaging conditions to be used in the second imaging operation;
2. The electronic device according to claim 1, wherein the multiple times of photographing are one of the first photographing operation and one of the second photographing operation.
前記判定手段により、連続する前記第１の撮影動作の間に前記第２の撮影動作を行う時間が無いと判定された場合に、前記制御手段は、前記第２の撮影動作を行うことができるように、前記撮像手段が前記第１の撮影動作を行う間隔を変更するように制御することを特徴とする請求項１３に記載の電子機器。 further comprising determination means for determining whether there is time to perform the second shooting operation between the continuous first shooting operations;
When the determining means determines that there is no time to perform the second imaging operation between the continuous first imaging operations, the control means can perform the second imaging operation. 14. The electronic device according to claim 13, wherein control is performed so as to change the interval at which the imaging means performs the first photographing operation.
前記判断手段は、更に、前記動きが予め決められた閾値よりも小さい場合に、前記第２の撮影動作を行うと判断することを特徴とする請求項１３または１４に記載の電子機器。 further comprising motion detection means for detecting motion of the subject in the images obtained by the continuous first shooting operation;
15. The electronic device according to claim 13, wherein the determination means further determines that the second photographing operation is to be performed when the movement is smaller than a predetermined threshold.
前記表示手段は、前記記録手段により前記画像信号を記録するフレームレートを表示することを特徴とする請求項１７に記載の電子機器。 further comprising display means;
18. The electronic device according to claim 17, wherein said display means displays a frame rate at which said image signal is recorded by said recording means.
前記表示手段は、前記決定手段により決定された撮影条件で得られる画像の枚数を表示することを特徴とする請求項１に記載の電子機器。 further comprising display means;
2. The electronic apparatus according to claim 1, wherein said display means displays the number of images obtained under the photographing conditions determined by said determination means.
前記撮像工程で出力された画像信号の輝度値を検出する検出工程と、
前記輝度値に基づいて、撮影ごとに前記複数の異なるゲインを含む撮影条件を変えながら複数回の撮影を行うかどうかを判断する判断工程と、
前記判断工程における判断の結果に応じて前記撮影条件を決定する決定工程と、
前記決定工程で決定された前記撮影条件に基づいて、前記撮像手段を制御して撮影を行うように制御する制御工程と
を有することを特徴とする電子機器の制御方法。 an imaging step of applying at least one of a plurality of different gains to an image signal obtained by photoelectrically converting an optical image of a subject by an imaging means and outputting the image signal;
a detection step of detecting a luminance value of the image signal output in the imaging step;
a determination step of determining, based on the luminance value, whether or not to perform a plurality of shootings while changing shooting conditions including the plurality of different gains for each shooting;
a determination step of determining the imaging condition according to the result of determination in the determination step;
A control method for an electronic device, comprising: a control step of controlling the imaging means to perform imaging based on the imaging conditions determined in the determination step.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021146351 | 2021-09-08 | ||
| JP2021146351 | 2021-09-08 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023039396A true JP2023039396A (en) | 2023-03-20 |
Family
ID=85600555
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022066491A Pending JP2023039396A (en) | 2021-09-08 | 2022-04-13 | Electronic apparatus and method for controlling the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2023039396A (en) |
-
2022
- 2022-04-13 JP JP2022066491A patent/JP2023039396A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6675194B2 (en) | Imaging device, control method therefor, program, and storage medium | |
| US20060098107A1 (en) | Method and apparatus for removing noise from a digital image | |
| JP5343588B2 (en) | Imaging device | |
| JP7195120B2 (en) | Imaging device and its control method | |
| JP2009201094A (en) | Imaging apparatus and imaging method | |
| US10839497B2 (en) | Image processing apparatus and method | |
| JP5223686B2 (en) | Imaging apparatus and imaging method | |
| JP5063372B2 (en) | Image processing apparatus, control method, and program | |
| JP5800664B2 (en) | Imaging apparatus and control method thereof | |
| US10097751B2 (en) | Imaging apparatus and image compositing method | |
| JP2015033064A (en) | Imaging device, control method therefor, program, and storage medium | |
| JP5277863B2 (en) | Imaging apparatus and imaging method | |
| US9013597B2 (en) | Image pickup apparatus that carries out noise compensation, control method therefor, and storage medium | |
| JP2012019341A (en) | Imaging device, and method and program for controlling the same | |
| JP6559014B2 (en) | Imaging apparatus, control method thereof, and program | |
| JP2018006828A (en) | Imaging apparatus, control method therefor and program | |
| JP2012090041A (en) | Image processing device, method, and program | |
| JP5310331B2 (en) | Imaging apparatus and imaging method | |
| US10674092B2 (en) | Image processing apparatus and method, and image capturing apparatus | |
| JP2023039396A (en) | Electronic apparatus and method for controlling the same | |
| JP6353585B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
| JP5482428B2 (en) | Imaging apparatus, camera shake correction method, and program | |
| JP2012227744A (en) | Imaging apparatus | |
| JP2015053652A (en) | Imaging apparatus, and control method and control program for the same | |
| JP2014053777A (en) | Imaging apparatus |