JP2015216473A - Display controller - Google Patents
Display controller Download PDFInfo
- Publication number
- JP2015216473A JP2015216473A JP2014097312A JP2014097312A JP2015216473A JP 2015216473 A JP2015216473 A JP 2015216473A JP 2014097312 A JP2014097312 A JP 2014097312A JP 2014097312 A JP2014097312 A JP 2014097312A JP 2015216473 A JP2015216473 A JP 2015216473A
- Authority
- JP
- Japan
- Prior art keywords
- display
- luminance
- exposure
- brightness
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008859 change Effects 0.000 claims abstract description 123
- 238000003384 imaging method Methods 0.000 claims abstract description 60
- 238000000034 method Methods 0.000 claims description 91
- 230000004044 response Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000002123 temporal effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 83
- 230000008569 process Effects 0.000 description 76
- 230000035945 sensitivity Effects 0.000 description 24
- 230000000875 corresponding effect Effects 0.000 description 20
- 230000007613 environmental effect Effects 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 11
- 230000007423 decrease Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000001276 controlling effect Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 239000000470 constituent Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- CNQCVBJFEGMYDW-UHFFFAOYSA-N lawrencium atom Chemical compound [Lr] CNQCVBJFEGMYDW-UHFFFAOYSA-N 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Landscapes
- Studio Devices (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Liquid Crystal Display Device Control (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
Description
本発明は、デジタルカメラの表示制御装置に関する。 The present invention relates to a display control device for a digital camera.
デジタルカメラやビデオカメラに搭載される表示装置(EVF:Electronic View Finder)を人が見たときの見え方は、使用環境によって大きく変化する。図10は、環境に係わらず表示輝度が一定のEVFにおいて、晴天下と室内での見え方の違いを説明する図である。図10(A)は晴天下での見え方で、図10(B)は室内での見え方を示す図である。 The way a person sees a display device (EVF: Electronic View Finder) mounted on a digital camera or video camera varies greatly depending on the usage environment. FIG. 10 is a diagram for explaining a difference in appearance between a clear sky and a room in an EVF having a constant display luminance regardless of the environment. FIG. 10A is a view under a clear sky, and FIG. 10B is a view showing a view in a room.
図10(A)に示すように、EVFの輝度(例えば200cd/m2)よりはるかに明るい晴天下(例えば、10000lux)の環境で、EVFを覗いた場合に、一般に撮影者は画面を暗いと感じてしまう。なぜなら、晴天下では、撮影者の目が明るいシーンで適切に見えるよう順応されていて、その状態で200cd/m2程度のEVF映像を見ると、相対的に暗いと感じてしまうからである。 As shown in FIG. 10A, when looking into the EVF in a clear sky environment (for example, 10000 lux) much brighter than the brightness of the EVF (for example, 200 cd / m 2 ), the photographer generally considers that the screen is dark. I feel it. This is because, under clear sky, the photographer's eyes are adapted to be seen appropriately in a bright scene, and when viewing an EVF image of about 200 cd / m 2 in that state, it will feel relatively dark.
逆に、図10(B)に示すように、暗めの室内環境(例えば、100lux)で、200cd/m2のEVFを覗いた場合に、撮影者は多少明るく感じる。人は室内の環境化で被写体が適切な明るさに見えるよう、目が順応された状態になっているため、その状態で200cd/m2程度のEVF映像を見ると、相対的に明るく感じてしまう。 On the other hand, as shown in FIG. 10B, the photographer feels slightly bright when looking into an EVF of 200 cd / m 2 in a dark indoor environment (for example, 100 lux). Since the eyes are adapted so that the subject looks appropriate brightness in an indoor environment, when viewing an EVF image of about 200 cd / m 2 in that state, the person feels relatively bright. End up.
そこで、人の目の順応特性を考慮し、環境の明るさに応じてEVFの明るさを自動でコントロールするEVFが提案されている(例えば特許文献1)。 Therefore, an EVF that automatically controls the brightness of the EVF according to the brightness of the environment in consideration of the adaptation characteristics of the human eye has been proposed (for example, Patent Document 1).
図11は、環境の明るさに応じて輝度を変化させるEVFにおいて、見え方の違いを説明する図である。図11(A)は、環境が晴天下の場合に、EVFの輝度を上げるよう設定された場合である。カメラが環境の明るさを測定して、EVFの輝度を標準値(200cd/m2)から例えば800cd/m2に上げる。EVFの輝度が上がるので、明るさに慣れた撮影者の目にも、画面を暗いと感じにくくなる。 FIG. 11 is a diagram for explaining a difference in appearance in the EVF in which the luminance is changed according to the brightness of the environment. FIG. 11A shows a case where the brightness of the EVF is set to be increased when the environment is sunny. The camera measures the brightness of the environment and increases the brightness of the EVF from the standard value (200 cd / m 2 ) to, for example, 800 cd / m 2 . Since the brightness of the EVF increases, it becomes difficult for the photographer who is used to the brightness to feel that the screen is dark.
図11(B)は、環境が室内(100lux)の場合に、EVFの輝度を下げるよう設定された場合である。カメラが環境の明るさを測定して、EVFの輝度を標準値(200cd/m2)から例えば100cd/m2に下げる。EVFの輝度が下がるので、撮影者が画面を明るいと感じにくくなる。 FIG. 11B shows a case where the brightness of the EVF is set to be lowered when the environment is indoors (100 lux). Camera to measure the brightness of the environment, lowering the brightness of the EVF from the standard value (200cd / m 2) for example, 100 cd / m 2. Since the brightness of the EVF decreases, it becomes difficult for the photographer to feel the screen bright.
図11の説明では、環境に合わせてEVFの輝度を制御する例を説明した。ここで、EVFを見る人が感じる見え方(人の見え方)を、以下では、表示画像の輝度(明るさ)と称す。表示画像の輝度は、EVFのバックライトの輝度だけではなく、表示データの露出レベルにも影響される。ライブビュー時に、環境の明るさに応じてバックライトの輝度と表示データの露出レベルが変化した場合の表示画像の輝度の変化を、図12〜図15により説明する。 In the description of FIG. 11, the example in which the brightness of the EVF is controlled according to the environment has been described. Here, how the person viewing the EVF perceives (the way the person looks) is hereinafter referred to as the brightness (brightness) of the display image. The brightness of the display image is affected not only by the brightness of the EVF backlight, but also by the exposure level of the display data. Changes in the luminance of the display image when the luminance of the backlight and the exposure level of the display data change according to the brightness of the environment during live view will be described with reference to FIGS.
図12は、環境の明るさの変化に対応するカメラのAE制御を示すグラフである。環境の明るさ(左縦軸)が6Bvから2Bvに急変した場合に、AE制御による露光データの明るさ変化を露光差(右縦軸)として表したものである。環境の明るさを実線で示し、露光差を破線で示す。横軸は時間軸である。 FIG. 12 is a graph showing the AE control of the camera corresponding to the change in the brightness of the environment. When the environmental brightness (left vertical axis) suddenly changes from 6 Bv to 2 Bv, the exposure data brightness change by AE control is expressed as an exposure difference (right vertical axis). The brightness of the environment is indicated by a solid line, and the exposure difference is indicated by a broken line. The horizontal axis is the time axis.
環境の明るさが6Bvで安定している場合には、露光データも適正となる露光差±0e vに安定している。環境の明るさが2Bvに急変すると対応してAE制御が実行される。AEの動作としては、安定性を重視する観点から、すぐに環境の明るさに追従するのではなく、徐々に環境変化に対応させるよう露光条件をコントロールする。そのため、露光データの明るさが、環境変化により一時的に暗くなり(−4ev)、少しずつに適正露光(±0ev)に戻るようにAE制御が実行される。 When the brightness of the environment is stable at 6 Bv, the exposure data is also stable at an appropriate exposure difference ± 0 ev. When the brightness of the environment suddenly changes to 2 Bv, AE control is executed correspondingly. As an AE operation, from the viewpoint of emphasizing stability, the exposure conditions are controlled not to immediately follow the brightness of the environment but to gradually respond to environmental changes. Therefore, the AE control is executed so that the brightness of the exposure data temporarily becomes dark (−4 ev) due to the environmental change and gradually returns to the appropriate exposure (± 0 ev).
図13は、環境の明るさ変化(6Bv→2Bv)に対応するEVF輝度制御を示すグラフである。EVF輝度とは、EVFがTFT液晶表示装置の場合には、バックライトの輝度である。EVF輝度は、本来cd/m2だが、説明のため露光差と同様な単位(ev)で記載している。環境の明るさを実線で示し、EVF輝度を一点鎖線で示す。 FIG. 13 is a graph showing EVF brightness control corresponding to a change in the brightness of the environment (6Bv → 2Bv). The EVF luminance is the luminance of the backlight when the EVF is a TFT liquid crystal display device. The EVF luminance is originally cd / m 2 but is described in the unit (ev) similar to the exposure difference for explanation. The brightness of the environment is indicated by a solid line, and the EVF luminance is indicated by a one-dot chain line.
環境の明るさが6Bv程度の明るい環境では、EVFも明るめに設定される。環境の明るさが2Bvに低下すると、EVF輝度も低下させる必要がある。しかし、EVF輝度の急激な変化は撮影者に戸惑いを与えるので、環境の明るさが急変した場合でも、撮影者への安定感を優先して、すぐに環境の明るさに追従するのではなく、徐々に環境変化に対応させるようEVF輝度をコントロールする。そのため、EVF輝度としては少しずつに暗くなるよう制御される。 In a bright environment where the brightness of the environment is about 6 Bv, the EVF is also set brighter. When the brightness of the environment decreases to 2 Bv, it is necessary to decrease the EVF luminance. However, sudden changes in the EVF brightness cause confusion to the photographer. Therefore, even if the brightness of the environment changes suddenly, priority is given to the sense of stability for the photographer and not immediately following the brightness of the environment. Then, the EVF luminance is controlled so as to gradually adapt to environmental changes. Therefore, the EVF brightness is controlled so as to gradually become darker.
図14は、環境の明るさが変化した場合の表示画像の輝度変化(人の見え方の変化)を示す図である。表示画像の輝度は、EVF輝度(バックライト輝度)と表示データの露出レベルの合計であるので、環境の明るさの変化に対応する表示画像の輝度は、EVF輝度の変化及び露出レベルの変化の合計で決まる。環境の明るさを実線、露出差を破線、EVF輝度を一点鎖線、表示画像の輝度を二点鎖線で示す。図12や図13で示したように、露出レベルやEVF輝度が一定のカーブで変化するとすれば、表示画像の輝度(人の見え方、2点鎖線)は安定する。本例では、表示画像の輝度は一定である。 FIG. 14 is a diagram illustrating a luminance change (change in human appearance) of a display image when the brightness of the environment changes. Since the brightness of the display image is the sum of the EVF brightness (backlight brightness) and the exposure level of the display data, the brightness of the display image corresponding to the change in the brightness of the environment is the change in the EVF brightness and the change in the exposure level. Determined by total. The brightness of the environment is indicated by a solid line, the exposure difference is indicated by a broken line, the EVF luminance is indicated by a one-dot chain line, and the luminance of a display image is indicated by a two-dot chain line. As shown in FIG. 12 and FIG. 13, if the exposure level and EVF luminance change with a constant curve, the luminance of the display image (how a person looks, two-dot chain line) is stabilized. In this example, the brightness of the display image is constant.
しかしながら、表示データの露出レベルを制御する露光制御とEVF輝度を制御するEVF輝度制御が各々独立で行われると、表示データの露出レベルが変化するタイミングとEVF輝度制御によりEVFが変化するタイミングにズレが生じ、それにより人の見え方に相当する表示画像の輝度がちらつきとして発生することがある。 However, if the exposure control for controlling the exposure level of the display data and the EVF brightness control for controlling the EVF brightness are performed independently, the timing at which the exposure level of the display data changes and the timing at which the EVF changes by the EVF brightness control are shifted. As a result, the brightness of the display image corresponding to how a person sees may occur as flicker.
図15A,図15Bは、ライブビュー時に、環境の明るさに対応する従来の表示画像の輝度変化を示すタイミングチャートである。最上部の「VD(垂直駆動信号)長」のラインは、ライブビュー中にフレームを取り込むタイミングを刻むクロックを表す。「環境の明るさ」のラインは、被写体輝度を示し、本例では、VD#3の途中で6Bvから2Bvに変化したとする。 15A and 15B are timing charts showing changes in luminance of a conventional display image corresponding to the brightness of the environment during live view. The uppermost “VD (vertical drive signal) length” line represents a clock that marks the timing of capturing a frame during live view. The “environmental brightness” line indicates the subject brightness, and in this example, it is assumed that 6Bv changes to 2Bv in the middle of VD # 3.
「露光」のラインは、露光の各タイミングを示し、VDのタイミングで毎回ライブビュー用の画像が露光され、フレーム画像(以下、フレームとも略す)が得られる。「露光」のラインの各値は、適正露光値との差で表すもので、±0evは該フレームが適正露光であることを示す。適正露光値との差を露光ズレ量と呼び、以下で各フレームの画像の露出レベルを、露光ズレ量で表現する。つまり、露光演算を行う際、取り込まれたフレームの露光条件をTV,AV,SV、そのフレームから算出した環境の明るさをenvBvとすると、露光ズレ量 =envBv−(TV+AV−SV)となる。 The “exposure” line indicates each timing of exposure, and an image for live view is exposed every time at the timing of VD, and a frame image (hereinafter also abbreviated as a frame) is obtained. Each value of the “exposure” line is represented by a difference from the appropriate exposure value, and ± 0 ev indicates that the frame is appropriate exposure. The difference from the appropriate exposure value is called the exposure shift amount, and the exposure level of the image of each frame will be expressed by the exposure shift amount below. That is, when performing the exposure calculation, assuming that the exposure condition of the fetched frame is TV, AV, SV and the brightness of the environment calculated from the frame is envBv, the exposure shift amount = envBv− (TV + AV−SV).
「取込み」のラインは、フレームのデータを取り込む処理のタイミングを示すものであり、露光演算もそのデータを用いて、一定間隔で行われる。本例では、VD#1のフレームがVD#2で取込まれるように、露光されたフレームが次のVDタイミングで取込まれる。 The “take-in” line indicates the timing of the process of taking in the frame data, and the exposure calculation is also performed at regular intervals using the data. In this example, the exposed frame is captured at the next VD timing so that the frame of VD # 1 is captured at VD # 2.
「露光演算」のラインは、取り込まれたデータに基づきenvBvを算出する露光演算を行う処理である。AE演算及びヒステリシス制御は、次の露光条件(TV,AV,SV)を決定する処理である。本例では、VD#6で最初のAE演算が行われ、VD#8で最初のヒステリシス制御が行われる。露光条件の決定処理では、露光演算で算出したenvBvからヒステリシス制御により変更量(ここでは+0.7evとする)を算出し、算出した変更量に基づき次の露光条件(TV2,AV2,SV2)を決定する。 The “exposure calculation” line is a process for performing an exposure calculation for calculating envBv based on the captured data. The AE calculation and the hysteresis control are processes for determining the next exposure condition (TV, AV, SV). In this example, the first AE calculation is performed at VD # 6, and the first hysteresis control is performed at VD # 8. In the exposure condition determination process, a change amount (here, +0.7 ev) is calculated from the envBv calculated in the exposure calculation by hysteresis control, and the next exposure condition (TV2, AV2, SV2) is calculated based on the calculated change amount. decide.
ヒステリシス制御について説明する。環境の明るさが僅かに振動していた場合や急な変化を繰り返している場合に、それに顕著に対応するとかえって安定性が悪化するため、安定性の悪化を回避するための制御が、ヒステリシス制御である。
ヒステリシス制御は
1.小さな変化に対しては鈍感にし、大きな変化には比較的敏感に対応するようにする
2.急な変化にすぐに対応しないよう、変化の幅の上限を設ける
ような制御である。
The hysteresis control will be described. When the brightness of the environment is slightly oscillating or when sudden changes are repeated, the stability deteriorates if it responds prominently, so control to avoid the deterioration of stability is hysteresis control It is.
Hysteresis control is 1. 1. Be insensitive to small changes and be relatively sensitive to large changes. The control is such that an upper limit of the range of change is provided so as not to immediately respond to a sudden change.
図16は、ヒステリシス制御による露光変更量テーブルを示すグラフである。横軸は、露光(露出)ズレ量の絶対値である。例えば、環境の明るさがenvBv=3.0に安定している状態では、露光演算により算出される環境の明るさもenvBv=3.0と算出される。そして、取り込まれたデータの露光条件(TV,AV,SV)=3.0であるので、露光ズレ量 =0になる。 FIG. 16 is a graph showing an exposure change amount table by hysteresis control. The horizontal axis represents the absolute value of the exposure (exposure) deviation amount. For example, in a state where the brightness of the environment is stable at envBv = 3.0, the brightness of the environment calculated by the exposure calculation is also calculated as envBv = 3.0. Since the exposure condition (TV, AV, SV) of the fetched data is 3.0, the exposure shift amount = 0.
それに対し、環境の明るさenvBv=3.0からenvBv=2.5に変わった直後に取り込まれたフレームで露光演算が行われると、環境の明るさはenvBv=2.5と算出されるのに対し、取り込まれたフレーム自体を露光したときの露光条件(TV,AV,SV)は、前の環境の明るさで適正となる露光条件、つまり,露光条件(TV,AV,SV)=3.0 のままである。その結果、露光ズレ量 = 2.5 ― 3.0 = −0.5になる。 On the other hand, if the exposure calculation is performed on a frame taken immediately after the environmental brightness envBv = 3.0 changes to envBv = 2.5, the environmental brightness is calculated as envBv = 2.5. On the other hand, the exposure conditions (TV, AV, SV) when the captured frame itself is exposed are the exposure conditions that are appropriate for the brightness of the previous environment, that is, the exposure conditions (TV, AV, SV) = 3. 0.0. As a result, the exposure deviation amount = 2.5−3.0 = −0.5.
図16の縦軸は、露光変更量ΔBvである。露光変更量ΔBvは、1回の露光条件の変更において、変更する露光(露出)量を表す。露光変更量は、露光ズレ量が極わずかの場合には、ほとんど変化しないようにし、露光ズレ量が大きくなるにつれて、徐々に露光変更量が大きくなるように設定される。また、露光ズレ量がある一定以上の場合の、1回の変更量の上限を0.7evに規定している。この上限の規定により、上記図15に示すタイミングチャートにおいて、環境の明るさが6evから2evに変化した場合でも、露光条件の1回の変化量は0.7evとなる。 The vertical axis in FIG. 16 represents the exposure change amount ΔBv. The exposure change amount ΔBv represents the exposure (exposure) amount to be changed in one change of the exposure condition. The exposure change amount is set so that it hardly changes when the exposure shift amount is very small, and the exposure change amount gradually increases as the exposure shift amount increases. In addition, the upper limit of the amount of change for one time when the exposure deviation amount is a certain value or more is defined as 0.7 ev. Due to the upper limit, even when the brightness of the environment changes from 6 ev to 2 ev in the timing chart shown in FIG. 15, the amount of change in the exposure condition per time is 0.7 ev.
これにより、環境の明るさが僅かに振動していた場合や急な変化を繰り返している場合でも、それを顕著に拾わないようになる。 As a result, even when the brightness of the environment is slightly oscillating or abrupt changes are repeated, it is not picked up significantly.
ここで、ヒステリシス制御を考慮したBv値、つまり小さな変化に影響されず急な変化の繰り返しにも影響されにくい安定したBv値を安定化輝度(stabBv)と呼ぶ。 Here, the Bv value in consideration of hysteresis control, that is, a stable Bv value that is not affected by a small change and is not easily affected by repeated sudden changes is called a stabilized luminance (stabBv).
安定化輝度としては、現状での露光条件(TV,AV,SV)に対し、上記露光変更量(ΔBv)を用いて
stabBv=TV+AV−SV− ΔBv :[envBv< (TV+AV−SV) ]
stabBv=TV+AV−SV+ ΔBv : [envBv>= (TV+AV−SV)]
より求められ、安定化輝度を基に次の露光に必要な露光条件(TV,AV,SV)を算出すれば、ヒステリシス制御を考慮した露光演算が可能となる。決定された露光条件を基に、シャッター速・ISO感度・絞り等の具体的な露光条件、及びEVF輝度が変更される。
As the stabilized luminance, stabBv = TV + AV−SV−ΔBv: [envBv <(TV + AV−SV)] using the exposure change amount (ΔBv) with respect to the current exposure conditions (TV, AV, SV).
stabBv = TV + AV−SV + ΔBv: [envBv> = (TV + AV−SV)]
If the exposure conditions (TV, AV, SV) required for the next exposure are calculated based on the stabilized luminance, the exposure calculation considering the hysteresis control can be performed. Based on the determined exposure conditions, specific exposure conditions such as shutter speed, ISO sensitivity, aperture, and EVF brightness are changed.
しかし、露光条件の実際の変更には、時間がかかる場合がある。例えば、絞り機構を変更する場合には絞り機構を動かすための準備が必要であったり、他の機能の割り込みによる待ち時間が発生するからである。そのため、ライブビュー中に環境の明るさが変化して露光条件が設定されても、露光条件は直ちに変更されるわけではなく、場合によっては数フレーム遅れて実施される。本例では、露光条件の実際の変更はVD#11から行われる。 However, it may take time to actually change the exposure conditions. For example, when changing the aperture mechanism, it is necessary to prepare for moving the aperture mechanism, or a waiting time is generated due to interruption of other functions. For this reason, even if the exposure conditions are set by changing the brightness of the environment during live view, the exposure conditions are not immediately changed. In this example, the actual change of the exposure condition is performed from VD # 11.
図15の「画像処理」のラインは、取込まれたフレームが表示用に画像処理されるタイミングを示す。「EVF輝度」のラインは、VD長に同期した表示タイミングにおけるEVFのバックライトの各光量を示す。「表示データ」のラインは、VD長に同期した表示タイミングにおけるEVF表示フレームの各露出レベルを示す。取込まれたフレームは、次のVDタイミングで画像処理され、さらに次VDタイミングで表示される。つまり、VD#1で露光されたフレームが、VD#4でEVFに表示される。「表示画像の輝度」のラインは、VD長に同期した表示タイミングにおけるEVFの見え方を「表示画像の輝度」として表したものである。表示画像の輝度は、EVF輝度の光量と表示データのフレームの露出レベルとの合計になるので、例えば、VD#4では、5ev+0ev=5evとなる。 The “image processing” line in FIG. 15 indicates the timing at which the captured frame is image-processed for display. The “EVF luminance” line indicates the amount of light of the EVF backlight at the display timing synchronized with the VD length. The “display data” line indicates each exposure level of the EVF display frame at the display timing synchronized with the VD length. The captured frame is subjected to image processing at the next VD timing and further displayed at the next VD timing. That is, the frame exposed with VD # 1 is displayed on the EVF with VD # 4. The “display image brightness” line represents the appearance of the EVF at the display timing synchronized with the VD length as “display image brightness”. Since the brightness of the display image is the sum of the EVF brightness and the exposure level of the display data frame, for example, in VD # 4, 5ev + 0ev = 5ev.
「EVF輝度」は、露光条件のようなメカニカルな要素を含まないため、露光演算(例えば、VD#8)後に直ちに輝度が変更される(VD#9、5ev→4.3ev)。したがって、環境変化によるEVF輝度は、VD#9、VD#16、VD#23で変更される。一方、環境変化による表示データの露出レベル変化は、VD#6、VD#7、VD#14、VD#21で発生する。 Since “EVF luminance” does not include a mechanical element such as an exposure condition, the luminance is changed immediately after the exposure calculation (for example, VD # 8) (VD # 9, 5ev → 4.3ev). Therefore, the EVF luminance due to the environmental change is changed by VD # 9, VD # 16, and VD # 23. On the other hand, changes in the exposure level of display data due to environmental changes occur at VD # 6, VD # 7, VD # 14, and VD # 21.
このように、EVFの輝度変化と表示データの露出レベル変化のタイミングが合わない場合が発生するため、表示画像の輝度(人の見え方)は、VD#9、VD#14、VD#16、VD#21、VD#23のタイミングで、細かい変動が生じ、EVFを見ている人はちらつきを感じる。 In this way, since the EVF luminance change and the display data exposure level change timing may not match, the luminance of the display image (how the person looks) is VD # 9, VD # 14, VD # 16, Fine fluctuations occur at the timing of VD # 21 and VD # 23, and the person watching EVF feels flicker.
図17は、表示画像の輝度に細かい変動(ちらつき)が発生する様子を、図15のチャートをより簡略化してグラフにしたものである。環境の明るさの変化は、図15と同様に6Bv→2Bvとする。露出レベル(破線、表示データに相当)およびEVF輝度が、それぞれ同じ間隔で変更されるが、変更のタイミングがズレている場合である。露出レベル(破線)とEVF輝度(1点鎖線)の変更のタイミングが揃わないため、表示画像の輝度(2点鎖線)は、図示のように一定値になるまでの期間で増減を繰り返す。そのため、その期間、人はEVFの画面がちらつくと感じる。 FIG. 17 is a graph obtained by further simplifying the chart of FIG. 15 and showing how fine fluctuations (flickering) occur in the luminance of the display image. The change in the brightness of the environment is changed from 6Bv → 2Bv as in FIG. This is a case where the exposure level (broken line, corresponding to display data) and EVF luminance are changed at the same interval, but the timing of the change is shifted. Since the timing of changing the exposure level (dashed line) and EVF luminance (one-dot chain line) is not uniform, the luminance (two-dot chain line) of the display image repeatedly increases and decreases in a period until it reaches a constant value as shown in the figure. Therefore, during that period, people feel that the EVF screen flickers.
同様に、タイミングが揃わなくなる要因として、撮像レートと表示レートが異なる場合や複数のVD長で1回の露光を行う(多VD露光とも呼ぶ)場合が挙げられる。図18には、撮像とEVF表示のレートが異なる場合の例を示す。図18A,図18Bは、EVF表示VDの期間が撮像VDより短い場合のタイミングチャートである。EVF表示VDの周期が撮像VD周期の1/2であることで、表示データは同じフレームを2回使うことになる。そこで、例えばVD#8では、表示データの露出レベルが一定値(−3.3ev)であるが、EVF輝度は+4.3ev、+3.6evのように変化する。VD#12でも同様である。そのため、表示画像の輝度は増減を繰り返し、画面にちらつきが発生する。図19は、図18A,図18Bで説明したケースを簡略化して示すグラフで、表示画像の輝度(2点鎖線)が変動する。 Similarly, factors that cause inconsistent timing include a case where the imaging rate and the display rate are different, and a case where exposure is performed once with a plurality of VD lengths (also referred to as multi-VD exposure). FIG. 18 shows an example when the rates of imaging and EVF display are different. 18A and 18B are timing charts when the EVF display VD period is shorter than the imaging VD. Since the cycle of the EVF display VD is ½ of the imaging VD cycle, the display data uses the same frame twice. Therefore, for example, in VD # 8, the exposure level of the display data is a constant value (−3.3 ev), but the EVF luminance changes as +4.3 ev and +3.6 ev. The same applies to VD # 12. Therefore, the brightness of the display image repeatedly increases and decreases, causing flickering on the screen. FIG. 19 is a graph showing the case described in FIGS. 18A and 18B in a simplified manner, and the luminance (two-dot chain line) of the display image varies.
また、図20には、多VD露光となる場合の例を示す。図20A、図20Bは、複数のVD長で1回の露光を行う場合のタイミングチャートである。例えば、VD#1〜VD#2の期間で、1回の取込みが行われる。これにより、VD#15の前後、VD#23の前後で、表示画像の輝度に変動が発生し、画面にちらつきが生じる。表示画像の輝度の変化は、図19と同様である。
本願発明は、上記課題に鑑み、環境の明るさが変化しても表示装置の画面にちらつきが発生しないようにする表示制御装置を提供することを目的とする。
FIG. 20 shows an example in the case of multi-VD exposure. 20A and 20B are timing charts when a single exposure is performed with a plurality of VD lengths. For example, one capture is performed in the period of VD # 1 to VD # 2. As a result, the brightness of the display image fluctuates before and after VD # 15 and before and after VD # 23, and the screen flickers. The change in luminance of the display image is the same as in FIG.
In view of the above problems, an object of the present invention is to provide a display control device that prevents flickering on the screen of a display device even when the brightness of the environment changes.
上記目的を達成するために、撮像装置に設けられ、撮像部で得られた画像データを撮影視認用に表示する表示装置を制御する表示制御装置において、前記表示装置に表示される画像データをフレーム間で比較して、フレーム間で画像の露出レベルに変化が生じたかを判定する比較判定部と、環境の明るさの変化に応じて前記表示装置の輝度を変化させるよう制御する表示輝度制御部とを備え、前記表示輝度制御部は、前記比較判定部によりフレーム間で画像の露出レベルに変化が生じたと判定された場合に、前記画像の露出レベルに変化が生じたと判定されたフレームが前記表示装置に表示されるタイミングに対応して、前記表示装置の輝度を変化させるよう制御する。 In order to achieve the above object, in a display control device that controls a display device that is provided in an imaging device and displays image data obtained by an imaging unit for photographing visual recognition, the image data displayed on the display device is framed. A comparison / determination unit that determines whether or not the exposure level of the image has changed between frames, and a display luminance control unit that controls the luminance of the display device to change according to a change in the brightness of the environment And the display luminance control unit determines that the frame determined to have changed in the image exposure level is determined when the comparison determination unit determines that the image exposure level has changed between frames. Control is performed to change the luminance of the display device in accordance with the timing displayed on the display device.
本発明によれば、環境の明るさが変化しても表示装置の画面にちらつきが発生しないようにする表示制御装置を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, even if the brightness of an environment changes, the display control apparatus which prevents flickering from the screen of a display apparatus can be provided.
以下、図面に従って本発明の実施形態を説明する。図1は、本発明に係る表示制御装置が適用されるデジタルカメラ1のブロック図である。本実施形態では、撮像装置であるデジタルカメラ1の例として、レンズ交換式のデジタルカメラを示すが、レンズ一体型のデジタルカメラであっても良い。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram of a digital camera 1 to which a display control apparatus according to the present invention is applied. In the present embodiment, an interchangeable lens type digital camera is shown as an example of the digital camera 1 that is an imaging apparatus, but a lens-integrated digital camera may be used.
デジタルカメラ1は、カメラ本体100と交換式レンズ200を有している。交換式レンズ200は、カメラ本体100に対して着脱自在に構成される。 The digital camera 1 has a camera body 100 and an interchangeable lens 200. The interchangeable lens 200 is configured to be detachable from the camera body 100.
カメラ本体100は、メカシャッタ101、撮像素子102、撮像ドライバ103、アナログ処理部104、アナログ/デジタル(A/D)変換部105、SDRAM106、画像処理部107、AE制御部108、AF処理部109、AWB処理部110、JPEG処理部111、メモリI/F112、記録媒体113、マイクロコンピュータ115、操作部116、フラッシュメモリ117及びバス118等を有する。 The camera body 100 includes a mechanical shutter 101, an image sensor 102, an image driver 103, an analog processing unit 104, an analog / digital (A / D) conversion unit 105, an SDRAM 106, an image processing unit 107, an AE control unit 108, an AF processing unit 109, An AWB processing unit 110, a JPEG processing unit 111, a memory I / F 112, a recording medium 113, a microcomputer 115, an operation unit 116, a flash memory 117, a bus 118, and the like are included.
メカシャッタ101は、交換式レンズ200から入射する被写体光による露光時間を調整するものである。メカシャッタ101は、被写体光が入射する開口を遮蔽する遮光幕と遮光幕を移動させるアクチュエータを有する。メカシャッタ101は、主に静止画撮影時に開閉動作がなされ、ライブビュー時には開放状態が維持される。 The mechanical shutter 101 adjusts the exposure time by subject light incident from the interchangeable lens 200. The mechanical shutter 101 includes a light shielding curtain that shields an opening through which subject light enters and an actuator that moves the light shielding curtain. The mechanical shutter 101 is opened and closed mainly during still image shooting, and is kept open during live view.
撮像素子102は、交換式レンズ200を介して集光された被写体からの光束が結像される光電変換面を有する。光電変換面は、複数の画素が2次元状に配置され、光電変換面に結像された光束に対応した像(被写体像)を、その光量に応じた電気信号(以下、画像信号という)に変換して出力する。撮像素子102は、CCDあるいはCMOSいずれもタイプでもよい。 The image sensor 102 has a photoelectric conversion surface on which a light beam from a subject condensed through the interchangeable lens 200 is imaged. The photoelectric conversion surface has a plurality of pixels arranged two-dimensionally, and an image (subject image) corresponding to the light beam formed on the photoelectric conversion surface is converted into an electrical signal (hereinafter referred to as an image signal) corresponding to the amount of light. Convert and output. The image sensor 102 may be either CCD or CMOS.
撮像ドライバ103は、撮像素子102を所定のクロックで駆動して、露光・読出しを制御する回路である。また、撮像ドライバ103は、電子シャッター秒時(露光時間)を制御する。ライブビュー時には、撮像ドライバ103は、ドラフトモードで撮像素子102を高速駆動して電子シャッターにより露光時間を制御し、読出しを行う。 The imaging driver 103 is a circuit that drives the imaging device 102 with a predetermined clock to control exposure / reading. The imaging driver 103 controls the electronic shutter time (exposure time). During live view, the imaging driver 103 drives the imaging device 102 at a high speed in the draft mode, controls the exposure time with an electronic shutter, and performs reading.
アナログ処理部104は、撮像素子102により得られた画像信号に対してCDS(相
関二重サンプリング)処理やAGC(自動利得制御)処理等のアナログ処理を施す。A/
D変換部105は、アナログ処理部104により処理された画像信号をデジタル信号(以下、画像データとも呼ぶ)に変換する。アナログ処理部104のAGCやA/D変換部105によって、画像データの感度(SV)が調整される。また、撮像素子102、撮像ドライバ103、アナログ処理部104、A/D変換部105を、まとめて撮像部とも呼ぶ。撮像部については、図2で詳述する。
The analog processing unit 104 performs analog processing such as CDS (correlated double sampling) processing and AGC (automatic gain control) processing on the image signal obtained by the image sensor 102. A /
The D conversion unit 105 converts the image signal processed by the analog processing unit 104 into a digital signal (hereinafter also referred to as image data). The sensitivity (SV) of the image data is adjusted by the AGC and A / D converter 105 of the analog processing unit 104. In addition, the image sensor 102, the image driver 103, the analog processing unit 104, and the A / D conversion unit 105 are collectively referred to as an image capturing unit. The imaging unit will be described in detail with reference to FIG.
SDRAM106は、各種画像処理を実行するためのワークエリア、あるいはカメラ本体100内部で発生した各種のデータを一時的に記憶するための記憶部である。画像処理部107は、A/D変換部105から出力された画像データに対し、各種の画像処理を行う。画像処理部107は、ホワイトバランス(WB)補正部1071、同時化処理部1072、色再現処理部1073、NR処理部1074等を有する。 The SDRAM 106 is a work area for executing various image processing or a storage unit for temporarily storing various data generated in the camera body 100. The image processing unit 107 performs various types of image processing on the image data output from the A / D conversion unit 105. The image processing unit 107 includes a white balance (WB) correction unit 1071, a synchronization processing unit 1072, a color reproduction processing unit 1073, an NR processing unit 1074, and the like.
WB補正部1071は、AWB処理部110によって算出されたホワイトバランスゲインにより、画像データの色バランスを補正する。同時化処理部1072は、撮像素子102のベイヤー配列等による画像データから、1画素あたりR、G、Bの情報からなる画像データへ同時化(デモザイク)する処理を行う。色再現処理部1073は、画像の色味を変化させる色再現処理を行い、NR処理部1074は、ノイズを低減する処理を行う。ノイズ低減処理後の画像データは、SDRAM106に記憶される。 The WB correction unit 1071 corrects the color balance of the image data using the white balance gain calculated by the AWB processing unit 110. The synchronization processing unit 1072 performs processing for demosaicing from image data based on a Bayer array or the like of the image sensor 102 to image data including R, G, and B information per pixel. The color reproduction processing unit 1073 performs color reproduction processing that changes the color of an image, and the NR processing unit 1074 performs processing to reduce noise. The image data after the noise reduction processing is stored in the SDRAM 106.
AE制御部108は、画像データを用いて環境の明るさ(被写体輝度)を算出して、適正露光になるような露光条件を設定する。AE制御部108については、図2で詳述する。 The AE control unit 108 calculates the brightness of the environment (subject brightness) using the image data, and sets an exposure condition so as to achieve proper exposure. The AE control unit 108 will be described in detail with reference to FIG.
AF処理部109は、画像データから高周波成分の信号を取り出し、取り出した高周波成分の信号を積算してAF用の合焦評価値を取得する。AWB処理部110は、画像の撮像状況下における光源に応じて自動的にホワイトバランスを調整するオートホワイトバランス処理時に、ホワイトバランスゲインを算出する。 The AF processing unit 109 extracts high-frequency component signals from the image data, integrates the extracted high-frequency component signals, and acquires a focus evaluation value for AF. The AWB processing unit 110 calculates a white balance gain at the time of auto white balance processing that automatically adjusts white balance according to the light source under the image capturing condition.
JPEG処理部111は、画像の記録時に、画像処理部107による画像処理によって得られた画像データに対してJPEG方式等の圧縮処理を施す。また、JPEG処理部111は、画像の再生時においては、圧縮処理が施された画像データに対して伸張(デコード)処理を施す。 The JPEG processing unit 111 performs compression processing such as a JPEG method on the image data obtained by the image processing by the image processing unit 107 during image recording. Further, the JPEG processing unit 111 performs decompression (decoding) processing on the image data subjected to the compression processing at the time of image reproduction.
メモリI/F112は、マイクロコンピュータ115等が記録媒体113にアクセスす
るためのインターフェイスである。記録媒体113は、例えばカメラ本体100に着脱自
在になされた、不揮発性のメモリカードである。記録媒体113には、画像ファイル等が記録される。
The memory I / F 112 is an interface for the microcomputer 115 or the like to access the recording medium 113. The recording medium 113 is a nonvolatile memory card that is detachably attached to the camera body 100, for example. An image file or the like is recorded on the recording medium 113.
マイクロコンピュータ115は、制御プログラムを読込み、読込んだ制御プログラムに従ってカメラ1全体を統括的に制御する全体制御部である。マイクロコンピュータ115は、装着された交換式レンズ200の動作も制御する。マイクロコンピュータ115は、AE制御部108で演算された環境の明るさを用いて、絞り・シャッター・感度等の露光制御を行う。 The microcomputer 115 is an overall control unit that reads a control program and comprehensively controls the entire camera 1 in accordance with the read control program. The microcomputer 115 also controls the operation of the attached interchangeable lens 200. The microcomputer 115 uses the brightness of the environment calculated by the AE control unit 108 to perform exposure control such as aperture, shutter, and sensitivity.
操作部116は、ユーザによって操作される各種の操作部材である。操作部116とし
ては、例えば、レリーズボタンや電源ボタン、選択キー等が含まれる。レリーズボタンは撮影動作の実行を指示するための操作部材である。電源ボタンはカメラ本体100の電源のオン又はオフを指示するための操作部材である。
The operation unit 116 is various operation members operated by the user. The operation unit 116 includes, for example, a release button, a power button, a selection key, and the like. The release button is an operation member for instructing execution of a photographing operation. The power button is an operation member for instructing to turn on or off the power of the camera body 100.
操作部116は、マイクロコンピュータ115に接続され、操作部116になされた操作がマイクロコンピュータ115に通知される。なお、これらのボタンは、一部又は全部をタッチパネルによって操作される仮想的な操作部として構成しても良い。 The operation unit 116 is connected to the microcomputer 115, and the operation performed on the operation unit 116 is notified to the microcomputer 115. Note that some or all of these buttons may be configured as a virtual operation unit operated by a touch panel.
フラッシュメモリ117は、マイクロコンピュータ115が実行する種々のプログラムを記憶する不揮発性のメモリである。また、フラッシュメモリ117は、例えばホワイトバランス補正用のホワイトバランスゲインや色再現の処理に用いられるカラーマトリクス等の画像処理部107の動作に必要なパラメータ等の、カメラ本体100の動作に必要な各種のパラメータも記憶する。バス118は、カメラ本体100の内部で発生した各種のデータを伝送するための経路である。 The flash memory 117 is a nonvolatile memory that stores various programs executed by the microcomputer 115. The flash memory 117 also includes various parameters necessary for the operation of the camera main body 100, such as white balance gain for white balance correction and parameters necessary for the operation of the image processing unit 107 such as a color matrix used for color reproduction processing. Are also stored. The bus 118 is a path for transmitting various data generated inside the camera body 100.
また、カメラ本体100は、LCD制御部120、LCD121、EVF制御部122.EVF123及びアイセンサ124を有する。 The camera body 100 includes an LCD control unit 120, an LCD 121, an EVF control unit 122. An EVF 123 and an eye sensor 124 are included.
LCD制御部120は、表示装置であるLCD121を制御するものである。LCD121は、カメラ本体100の背面に設けられる大型の表示装置である。LCD121は、LCD制御部120から出力された画像データに基づく画像を表示する。 The LCD control unit 120 controls the LCD 121 that is a display device. The LCD 121 is a large display device provided on the back surface of the camera body 100. The LCD 121 displays an image based on the image data output from the LCD control unit 120.
LCD制御部120は、ライブビュー時には、画像処理部107でライブビュー用に画像処理された画像データを、LCD121表示用の画像データに変換して、LCD121に出力する。LCD制御部120は、再生時には、記録媒体113から読み出されJPEG処理部111で伸張された画像データを表示用の画像データに変換して、LCD121に出力する。また、LCD制御部120は、LCD121のLEDバックライトをPWM制御等でコントロール等して、LCD121の輝度を調整する。 During live view, the LCD control unit 120 converts the image data processed for live view by the image processing unit 107 into image data for display on the LCD 121 and outputs the image data to the LCD 121. The LCD control unit 120 converts the image data read from the recording medium 113 and expanded by the JPEG processing unit 111 into display image data during reproduction, and outputs the image data to the LCD 121. The LCD control unit 120 adjusts the luminance of the LCD 121 by controlling the LED backlight of the LCD 121 by PWM control or the like.
EVF制御部122は、EVF123を制御するものである。EVF123は、LCD121より画面サイズが小型の表示装置で、カメラ本体100の背面上部に設けられる覗き込み型の表示装置である。EVF123の表示体は、LCDあるいは有機ELいずれでも良い。 The EVF control unit 122 controls the EVF 123. The EVF 123 is a display device having a screen size smaller than that of the LCD 121 and is a look-in type display device provided at the upper back of the camera body 100. The display body of the EVF 123 may be either an LCD or an organic EL.
EVF制御部122は、ライブビュー時には、画像処理部107でライブビュー用に画像処理された画像データを、EVF123表示用の画像データに変換して、EVF123に出力する。EVF制御部122は、再生時には、記録媒体113から読み出されJPEG処理部111で伸張された画像データを表示用の画像データに変換して、EVF123に出力する。また、LCD制御部120と同様に、EVF制御部122はEVF123のLEDバックライトをPWM制御等でコントロール等して、EVF123の輝度を調整する。 During live view, the EVF control unit 122 converts the image data processed for live view by the image processing unit 107 into image data for EVF 123 display, and outputs the image data to the EVF 123. The EVF control unit 122 converts the image data read from the recording medium 113 and expanded by the JPEG processing unit 111 into display image data during reproduction, and outputs the image data to the EVF 123. Similarly to the LCD control unit 120, the EVF control unit 122 adjusts the luminance of the EVF 123 by controlling the LED backlight of the EVF 123 by PWM control or the like.
アイセンサ124は、EVF123に顔が付けられているかを検出する光学センサである。アイセンサ124の検出に応じて、マイクロコンピュータ115は、ライブビューあるいは再生画像の表示装置として、LCD121あるいはEVF123のいずれかを選択する。 The eye sensor 124 is an optical sensor that detects whether the EVF 123 has a face. In response to the detection of the eye sensor 124, the microcomputer 115 selects either the LCD 121 or the EVF 123 as a live view or playback image display device.
交換式レンズ200は、撮像レンズ210、絞り212、ドライバ214、レンズマイクロコンピュータ216及びフラッシュメモリ218等を有している。撮像レンズ210は、図示しない被写体からの光束をカメラ本体100内の撮像素子102に集光するための光学系である。この撮像レンズ210は、フォーカスレンズ及びズームレンズ等の複数のレンズを有している。 The interchangeable lens 200 includes an imaging lens 210, a diaphragm 212, a driver 214, a lens microcomputer 216, a flash memory 218, and the like. The imaging lens 210 is an optical system for condensing a light beam from a subject (not shown) on the imaging element 102 in the camera body 100. The imaging lens 210 has a plurality of lenses such as a focus lens and a zoom lens.
絞り212は、絞り羽根を有し、撮像レンズ210を介して入射する光束の量を絞り羽根の角度により調整する。ドライバ214は、撮像レンズ210内のフォーカスレンズやズームレンズをその光軸方向に駆動させたり、絞り212の絞り羽根を駆動する。 The diaphragm 212 has diaphragm blades, and adjusts the amount of light incident through the imaging lens 210 according to the angle of the diaphragm blades. The driver 214 drives the focus lens and zoom lens in the imaging lens 210 in the optical axis direction, and drives the diaphragm blades of the diaphragm 212.
レンズマイクロコンピュータ216は、制御プログラムに従い、マイクロコンピュータ115からの指示に応じて交換式レンズ200の各部を制御するものである。レンズマイクロコンピュータ216は、交換式レンズ200がカメラ本体100に装着された際にインターフェイス(I/F)150を介してカメラ本体100内のマイクロコンピュータ115と通信を行う。 The lens microcomputer 216 controls each part of the interchangeable lens 200 according to an instruction from the microcomputer 115 according to a control program. The lens microcomputer 216 communicates with the microcomputer 115 in the camera body 100 via the interface (I / F) 150 when the interchangeable lens 200 is attached to the camera body 100.
レンズマイクロコンピュータ216は、マイクロコンピュータ115からの制御に従ってドライバ214を駆動する。また、レンズマイクロコンピュータ216は、撮像レンズ210の収差情報等のレンズ情報をマイクロコンピュータ115に通知する。フラッシュメモリ218は、撮像レンズ210の収差情報等のレンズ情報や交換式レンズ200の動作を実行するために必要なプログラム等を記憶する。 The lens microcomputer 216 drives the driver 214 according to the control from the microcomputer 115. The lens microcomputer 216 notifies the microcomputer 115 of lens information such as aberration information of the imaging lens 210. The flash memory 218 stores lens information such as aberration information of the imaging lens 210, a program necessary for executing the operation of the interchangeable lens 200, and the like.
図2は、デジタルカメラ1の表示制御処理に関するブロック図である。図2は、図1で示したデジタルカメラ1において、ライブビュー時にEVF123に画像を表示する処理に係る部分の構成を示したものである。なお以下では、表示装置をEVF123とした場合の表示制御処理についてを説明するが、表示装置がLCD121であっても、実行される表示制御処理は同様である。 FIG. 2 is a block diagram regarding display control processing of the digital camera 1. FIG. 2 shows a configuration of a portion related to processing for displaying an image on the EVF 123 during live view in the digital camera 1 shown in FIG. In the following, the display control process when the display device is EVF 123 will be described, but the display control process to be executed is the same even if the display device is the LCD 121.
撮像部160は、撮像素子102、撮像ドライバ103、アナログ処理部104、A/D変換部105を有し、被写体像を光電変換して画像データを出力するものである。 The imaging unit 160 includes an imaging element 102, an imaging driver 103, an analog processing unit 104, and an A / D conversion unit 105. The imaging unit 160 photoelectrically converts a subject image and outputs image data.
アナログ処理部104は、画像信号を適正なゲインに増幅するAGC104aを有する。A/D変換部105も、AD変換時に画像データのゲインを調整するゲイン制御部105aを有する。AGC104aとゲイン制御部105aのいずれかあるいは両方の組み合わせで、画像データのゲイン(感度:SV)が決定される。 The analog processing unit 104 includes an AGC 104a that amplifies the image signal to an appropriate gain. The A / D conversion unit 105 also includes a gain control unit 105a that adjusts the gain of image data during AD conversion. The gain (sensitivity: SV) of the image data is determined by one or a combination of the AGC 104a and the gain control unit 105a.
撮像部160から出力される画像データは、露光時の露光条件と共に一旦SDRAM106に保持される。AE制御部108は、画像データを取込み、画像データから環境の明るさを算出する。また、AE制御部108は、安定化輝度算出部108aを有する。安定化輝度算出部108aは、環境の明るさの変化を緩やかな輝度変化に修正するようヒステリシス制御を行って、環境の明るさの変化に基づいた安定化輝度を算出する。 The image data output from the imaging unit 160 is temporarily held in the SDRAM 106 together with the exposure conditions at the time of exposure. The AE control unit 108 takes in the image data and calculates the brightness of the environment from the image data. The AE control unit 108 includes a stabilized luminance calculation unit 108a. The stabilized luminance calculation unit 108a performs hysteresis control so as to correct the change in the brightness of the environment to a gradual change in luminance, and calculates the stabilized luminance based on the change in the brightness of the environment.
図16で説明したように、安定化輝度とは、ヒステリシス制御を考慮したBv値、つまり小さな変化に影響されず急な変化の繰り返しにも影響されにくい安定したBv値である。なお、ヒステリシス制御とは、環境の明るさが僅かに振動していた場合や急な変化を繰り返している場合など、それを顕著に拾ってしまう事による安定性が悪化を回避するための制御である。安定化輝度算出部108aは、例えば図16に示すテーブルに基づき、安定化輝度を算出する。 As described with reference to FIG. 16, the stabilized luminance is a Bv value that takes hysteresis control into consideration, that is, a stable Bv value that is not affected by a small change and is not easily influenced by repeated sudden changes. Hysteresis control is a control to avoid deterioration of stability caused by picking it up significantly, such as when the brightness of the environment is slightly oscillating or sudden changes are repeated. is there. The stabilized luminance calculation unit 108a calculates the stabilized luminance based on, for example, the table shown in FIG.
また、AE制御部108は、露光条件演算部108bを有する。露光条件演算部108bは、算出された安定化輝度に基づき、適正な露光になるような露光条件(TV:シャッター速、AV:絞り値,SV:感度)を演算する。 The AE control unit 108 includes an exposure condition calculation unit 108b. The exposure condition calculation unit 108b calculates an exposure condition (TV: shutter speed, AV: aperture value, SV: sensitivity) that achieves appropriate exposure based on the calculated stabilized luminance.
AE制御部108は、安定化輝度に基づき算出した露光条件(TV,AV、SV)、及び算出した安定化輝度をマイクロコンピュータ115に通知する。 The AE control unit 108 notifies the microcomputer 115 of the exposure conditions (TV, AV, SV) calculated based on the stabilized luminance and the calculated stabilized luminance.
マイクロコンピュータ115は、通知された露光条件及び安定化輝度に基づき、露光制御処理、比較判定処理及び表示制御処理を実行する。以下では、マイクロコンピュータ115により実行される露光制御処理及び表示輝度制御処理を、露光制御部115a、比較判定部115b及び表示輝度制御部115cと称して説明する。 The microcomputer 115 executes an exposure control process, a comparison determination process, and a display control process based on the notified exposure conditions and stabilized luminance. Hereinafter, the exposure control process and the display brightness control process executed by the microcomputer 115 will be described as the exposure control unit 115a, the comparison determination unit 115b, and the display brightness control unit 115c.
露光制御部115aは、AE制御部108から通知された露光条件に基づき、変更する露光条件に対応する部位に変更を指示する。露光制御部115aは、絞り値AVを変更する場合には、インターフェイス(I/F)150を介してレンズマイクロコンピュータ216に指示する。レンズマイクロコンピュータ216は、指示値に応じてドライバ214を制御して絞り212の絞りを変更する。 Based on the exposure condition notified from the AE control unit 108, the exposure control unit 115a instructs the site corresponding to the changed exposure condition to be changed. The exposure control unit 115 a instructs the lens microcomputer 216 via the interface (I / F) 150 when changing the aperture value AV. The lens microcomputer 216 changes the aperture of the aperture 212 by controlling the driver 214 in accordance with the instruction value.
露光制御部115aは、シャッター速TVを変更する場合には、撮像ドライバ103を制御する。露光制御部115aは、感度SVを変更する場合には、AGC104a及び/またはゲイン制御部105aを制御する。 The exposure control unit 115a controls the imaging driver 103 when changing the shutter speed TV. The exposure control unit 115a controls the AGC 104a and / or the gain control unit 105a when changing the sensitivity SV.
比較判定部115bは、フレーム間の画像データを比較して、フレーム間の画像(以下、単にフレームとも称す)の輝度に変化があるかを判定する。比較判定部115bは、後述する第1の表示制御処理では、SDRAM106から各フレームの露光条件を取得し、EVF123に直近(直前)に表示したフレームと次に表示予定のフレーム間で画像の輝度に変化があるかを判定する。 The comparison determination unit 115b compares image data between frames to determine whether there is a change in luminance of an image between frames (hereinafter also simply referred to as a frame). In a first display control process to be described later, the comparison determination unit 115b acquires the exposure condition of each frame from the SDRAM 106, and adjusts the brightness of the image between the frame displayed immediately (immediately before) on the EVF 123 and the next scheduled display frame. Determine if there is a change.
また、後述する第2の表示制御処理では、画像処理部107において、各フレームの表示画像を生成すると同時に、フレームのRGBデータから、輝度のデータであるYデータを生成し、生成した画面全体のYデータからY平均値(Yave)を算出する。画像処理部107は、算出したY平均値をフレームの輝度として比較判定部115bに通知する。比較判定部115bは、画像処理部107から通知される各フレームのY平均値に基づき、EVF123に直近に表示されたフレームと次に表示予定のフレーム間で画像の輝度に変化があるかを判定する。 In a second display control process to be described later, the image processing unit 107 generates a display image of each frame, and at the same time generates Y data that is luminance data from the RGB data of the frame. The Y average value (Yave) is calculated from the Y data. The image processing unit 107 notifies the comparison determination unit 115b of the calculated Y average value as the luminance of the frame. The comparison determination unit 115b determines whether there is a change in the luminance of the image between the frame most recently displayed on the EVF 123 and the next scheduled display frame based on the Y average value of each frame notified from the image processing unit 107. To do.
また、比較判定部115bは、後述する第3の表示制御処理では、表示レート>撮像レートを判定する。さらに、比較判定部115bは、第4の表示制御処理では、画像データが多VD露光データであるかを判定する。 The comparison determination unit 115b determines display rate> imaging rate in a third display control process described later. Furthermore, the comparison determination unit 115b determines whether the image data is multi-VD exposure data in the fourth display control process.
表示輝度制御部115cは、比較判定部115bの判定結果で、表示するフレーム間で画像の輝度に変化があると判定される場合には、通知された安定化輝度等に基づき、変更するEVF輝度を算出する。表示輝度制御部115cは、画像の輝度が変化したフレーム(輝度変化フレームとも呼ぶ)が表示されるタイミングに合わせて、算出したEVF輝度をEVF制御部122に出力する。EVF制御部122は、表示輝度制御部115cから通知されたEVF輝度に基づきEVF123のバックライトの光量を増減する。 When the determination result of the comparison determination unit 115b determines that there is a change in image luminance between frames to be displayed, the display luminance control unit 115c changes the EVF luminance to be changed based on the notified stabilization luminance or the like. Is calculated. The display brightness control unit 115c outputs the calculated EVF brightness to the EVF control unit 122 in synchronization with the display timing of a frame in which the brightness of the image has changed (also referred to as a brightness change frame). The EVF control unit 122 increases or decreases the amount of light of the backlight of the EVF 123 based on the EVF luminance notified from the display luminance control unit 115c.
また、第3あるいは4の表示制御処理にて、表示輝度制御部115cは、比較判定部115bの判定結果で、表示レート>撮像レートあるいは画像データが多VD露光データであると判定された場合には、前後のフレームで輝度差の有無を判断し、輝度差有りの場合には、輝度変化フレームが表示されるタイミングに合わせて、算出したEVF輝度をEVF制御部122に出力する。 In the third or fourth display control process, the display brightness control unit 115c determines that the display rate> the imaging rate or the image data is multi-VD exposure data based on the determination result of the comparison determination unit 115b. Determines whether there is a luminance difference between the previous and next frames, and if there is a luminance difference, outputs the calculated EVF luminance to the EVF control unit 122 in accordance with the timing at which the luminance change frame is displayed.
これにより、表示するフレームの画像の輝度変化にEVF輝度の変更のタイミングを一致させることができる。そして、EVF輝度の変化量を、フレームの画像の輝度変化と同じく安定化輝度に基づく値に設定することで、フレームの輝度変化量に対応する量だけEVF輝度を変化させることができる。なお、EVF輝度の変化量は、フレームの画像の輝度変化量と等しい値でも良いし、フレームの輝度変化量に対し一定の割合(例えば、×1.5あるいは×0.8等)であってもよい。いずれでも、フレームの画像の輝度とEVF輝度の変化タイミングが一致するので、両者の合計である表示画像の輝度に変動は発生しない。このように、EVF123の表示を制御する比較判定部115b及び表示輝度制御部115cを表示制御装置とも呼ぶ。さらに、表示制御装置には、露光制御部115aや安定化輝度算出部108aが含まれていても良い。 Thereby, the EVF luminance change timing can be matched with the luminance change of the image of the frame to be displayed. Then, by setting the EVF luminance change amount to a value based on the stabilized luminance in the same manner as the luminance change of the frame image, the EVF luminance can be changed by an amount corresponding to the frame luminance change amount. The change amount of the EVF luminance may be a value equal to the luminance change amount of the image of the frame, or a certain ratio (for example, x1.5 or x0.8) with respect to the luminance change amount of the frame. Also good. In any case, since the change timing of the luminance of the image of the frame and the change timing of the EVF luminance coincide, the luminance of the display image, which is the sum of the two, does not vary. As described above, the comparison determination unit 115b and the display luminance control unit 115c that control the display of the EVF 123 are also referred to as a display control device. Further, the display control apparatus may include an exposure control unit 115a and a stabilized luminance calculation unit 108a.
上述のEVF輝度の制御(表示制御処理)の具体例を、以下に第1〜第4として説明する。図3A〜Cは、第1の表示制御処理の手順を示すフローチャートである。図3Aは、マイクロコンピュータ115において実行されるメインのフローチャートである。図3Bは主にAE制御部108において実行されるAE制御のサブルーチン、図3Cは主に比較判定部115bと表示輝度制御部115cで実行される表示制御のサブルーチンである。 Specific examples of the above-described EVF luminance control (display control processing) will be described below as first to fourth. 3A to 3C are flowcharts showing the procedure of the first display control process. FIG. 3A is a main flowchart executed in the microcomputer 115. 3B is an AE control subroutine mainly executed by the AE control unit 108, and FIG. 3C is a display control subroutine mainly executed by the comparison determination unit 115b and the display luminance control unit 115c.
マイクロコンピュータ115は、操作部116に含まれる電源ボタンの操作通知を受けて、電源ONの処理を行う(ステップS10)。マイクロコンピュータ115は、電源ON処理後、カメラの初期化処理を行う(ステップS12)。初期化処理の一つとして、露光制御部115aは、フラッシュメモリ117から、最初(デフォルト)の露光条件(TVdef, AVdef, SVdef)を読込む。また、表示輝度制御部115cは、フラッシュメモリ117から、最初(デフォルト)のEVF輝度(BLdef)を読み込む。 In response to the notification of the operation of the power button included in the operation unit 116, the microcomputer 115 performs a power ON process (step S10). The microcomputer 115 performs a camera initialization process after the power-on process (step S12). As one of the initialization processes, the exposure control unit 115a reads the first (default) exposure conditions (TVdef, AVdef, SVdef) from the flash memory 117. Further, the display brightness control unit 115 c reads the first (default) EVF brightness (BLdef) from the flash memory 117.
そして、露光制御部115aは、前フレームの露光条件(preTV、preAV、preSV)として、最初の露光条件(TV_def, AV_def, SV_def)を設定する(ステップS14)。 Then, the exposure control unit 115a sets the first exposure conditions (TV_def, AV_def, SV_def) as the exposure conditions (preTV, preAV, preSV) of the previous frame (step S14).
マイクロコンピュータ115は、露光設定を行う(ステップS16)。露光制御部115aが、露光条件(電源ON直後は、TV_def, AV_def, SV_def)に従って、シャッター速、絞り、感度等の設定を行う。 The microcomputer 115 performs exposure setting (step S16). The exposure control unit 115a sets the shutter speed, aperture, sensitivity, and the like according to the exposure conditions (TV_def, AV_def, SV_def immediately after turning on the power).
撮像部160は、露光を行い、撮像部160から出力された画像データを取り込む(ステップS18)。AE制御部108は、取り込まれた画像データを基に、AE制御を行う(ステップS20)。 The imaging unit 160 performs exposure and takes in the image data output from the imaging unit 160 (step S18). The AE control unit 108 performs AE control based on the captured image data (step S20).
図3Bに進む。AE制御部108は、まずフラッシュメモリ117から測光方式を読み込む(ステップS40)。選択された測光方式に基づき測光演算を行うためである。なお、測光方式の読み込みは、電源投入時や測光方式の変更操作が行われた場合のみでよい。 Proceed to FIG. 3B. The AE control unit 108 first reads a photometry method from the flash memory 117 (step S40). This is because the photometric calculation is performed based on the selected photometric method. It should be noted that the photometric method can be read only when the power is turned on or when the photometric method is changed.
AE制御部108は、取り込まれた画像データから測光エリアのデータを抽出して輝度値に変換し、環境の明るさenvBvを算出する(ステップS42)。AE制御部108は、算出した環境の明るさenvBvから、露光(露出)ズレ量を算出する。安定化輝度算出部108aは、例えば前述した図16に示す内容のテーブルを参照してし、露光ズレ量から露光(露出)変更量ΔBvを求め、安定化輝度を算出する(ステップS44)。安定化輝度算出部108aは、僅かな露光変化に引っ張られないよう、以下の式で、安定化輝度stabBvを算出する。 The AE control unit 108 extracts the photometric area data from the captured image data, converts it into a luminance value, and calculates the environmental brightness envBv (step S42). The AE control unit 108 calculates an exposure (exposure) deviation amount from the calculated environmental brightness envBv. The stabilized luminance calculation unit 108a refers to, for example, the table having the contents shown in FIG. 16 described above, calculates the exposure (exposure) change amount ΔBv from the exposure shift amount, and calculates the stabilized luminance (step S44). The stabilized luminance calculation unit 108a calculates the stabilized luminance stabBv with the following formula so as not to be pulled by a slight exposure change.
安定化輝度stabBvは、取り込まれた画像データの露光条件(Tv,Av,Sv)に対し、上記露光変更量ΔBvを用いて
stabBv=TV+AV−SV− ΔBv :[envBv< (TV+AV−SV) ]
stabBv=TV+AV−SV+ ΔBv : [envBv>= (TV+AV−SV)]
より求められる。
The stabilized luminance stabBv is obtained by using the exposure change amount ΔBv with respect to the exposure condition (Tv, Av, Sv) of the captured image data. StabBv = TV + AV−SV−ΔBv: [envBv <(TV + AV−SV)]
stabBv = TV + AV−SV + ΔBv: [envBv> = (TV + AV−SV)]
More demanded.
環境の明るさenvBvが6から2に変化したとすると、図16のグラフから、ΔBv=0.7になり、stabBv=6−0.7=5.3となる。 If the environmental brightness envBv is changed from 6 to 2, ΔBv = 0.7 and stabBv = 6−0.7 = 5.3 from the graph of FIG.
露光条件演算部108bは、算出された安定化輝度stabBvから、次の露光条件(AVnext、TVnext,SVnext)を算出する(ステップS46)。露光条件演算部108bは、露光条件(AVnext、TVnext,SVnext)の算出に当たっては、選択されたカメラモード(オート、絞り優先等々)に応じたプログラム線図を参照する。図3Aに戻り、ステップS22に進む。 The exposure condition calculation unit 108b calculates the next exposure condition (AVnext, TVnext, SVnext) from the calculated stabilized luminance stabBv (step S46). In calculating the exposure conditions (AVnext, TVnext, SVnext), the exposure condition calculation unit 108b refers to a program diagram corresponding to the selected camera mode (auto, aperture priority, etc.). Returning to FIG. 3A, the process proceeds to step S22.
マイクロコンピュータ115は、画像処理部107に画像データの画像処理を行わせ(ステップS22)、画像処理部107からは表示用の画像データが出力される。マイクロコンピュータ115は、比較判定部115bや表示輝度制御部115cにEVF123への表示制御を行わせる(ステップS24)。 The microcomputer 115 causes the image processing unit 107 to perform image processing of the image data (step S22), and the image processing unit 107 outputs display image data. The microcomputer 115 causes the comparison determination unit 115b and the display luminance control unit 115c to perform display control on the EVF 123 (step S24).
図3Cに進む。比較判定部115bは、これから表示予定の現フレームの露光条件(AV、TV,SV)を取得し(ステップS50)、直近に表示した前フレームの露光条件(preTV、preAV、preSV)を取得する(ステップS52)。 Proceed to FIG. 3C. The comparison / determination unit 115b acquires the exposure conditions (AV, TV, SV) of the current frame scheduled to be displayed (step S50), and acquires the exposure conditions (preTV, preAV, preSV) of the most recently displayed frame (step S50). Step S52).
比較判定部115bは、現フレームと前フレームの露光条件が一部でも変わっているかを判定する(ステップS54)。比較判定部115bが現フレームと前フレームの露光条件が全て同一であると判定すると(ステップS54NO)、表示輝度制御部115cは、表示輝度を変えることなく、EVF123設定を行い(ステップS62)、図3AのステップS26に進む。 The comparison determination unit 115b determines whether the exposure conditions of the current frame and the previous frame have changed even partly (step S54). If the comparison / determination unit 115b determines that the exposure conditions of the current frame and the previous frame are all the same (NO in step S54), the display luminance control unit 115c performs EVF 123 setting without changing the display luminance (step S62). Proceed to step S26 of 3A.
一方、比較判定部115bが、現フレームと前フレームの露光条件で少なくとも一部が変わっていると判定すると(ステップS54YES)、表示輝度制御部115cは、ステップS44で算出された安定化輝度stabBvを取得し(ステップS56)、安定化輝度stabBvに基づき、EVF輝度を算出する(ステップS58)。 On the other hand, when the comparison / determination unit 115b determines that at least a part of the exposure condition of the current frame and the previous frame has changed (YES in step S54), the display luminance control unit 115c uses the stabilized luminance stabBv calculated in step S44. Obtaining (step S56), EVF luminance is calculated based on the stabilized luminance stabBv (step S58).
図4は、安定化輝度stabBvに基づきEVF輝度を算出するテーブルをグラフ化した例である。表示輝度制御部115cは、例えば図4に示すようなカーブのテーブルを参照して、安定化輝度stabBvからEVF輝度を算出する。なお図4では、説明を分かりやすくするために、一般的にはcd/m2で表すEVF輝度を、段数表記で表している。 FIG. 4 is an example in which a table for calculating the EVF luminance based on the stabilized luminance stabBv is graphed. The display brightness control unit 115c calculates EVF brightness from the stabilized brightness stabBv with reference to, for example, a curve table as shown in FIG. In FIG. 4, for easy understanding, the EVF luminance generally represented by cd / m 2 is represented by the number of stages.
比較判定部115bは、preTV=TV、preAV=AV、preSV=SVとして、現フレームの露光条件を、前フレームの露光条件として保持する(ステップS62)。次のフレームでの露光条件変化の判断に、使用するためである。 The comparison / determination unit 115b sets preTV = TV, preAV = AV, and preSV = SV, and holds the exposure condition of the current frame as the exposure condition of the previous frame (step S62). This is for use in determining the exposure condition change in the next frame.
表示輝度制御部115cは、算出したEVF輝度を基にEVF設定を行う(ステップS62)。このように、EVF輝度の変更も、ヒステリシス制御により僅かな変化に引っ張られないようにされる。図3AのステップS26に進む。 The display brightness control unit 115c performs EVF setting based on the calculated EVF brightness (step S62). As described above, the change in the EVF luminance is not pulled by a slight change by the hysteresis control. Proceed to step S26 in FIG. 3A.
なお、表示輝度制御部115cは、本例ではEVF輝度をAE制御部108で得られたstabBvを用いて算出すると説明したが、AE制御部108から環境の明るさenvBvを受け取り、環境の明るさenvBvからヒステリシス制御を行い、EVF輝度を算出するようにしても良い。 In this example, the display brightness control unit 115c has been described as calculating the EVF brightness using the stabBv obtained by the AE control unit 108. However, the display brightness control unit 115c receives the environment brightness envBv from the AE control unit 108, and the environment brightness. Hysteresis control may be performed from envBv to calculate EVF luminance.
図3AのステップS26では、EVF制御部122は、表示輝度制御部115cから通知されたEVF輝度により、EVF123のバックライトの輝度を制御して、表示を行う。 In step S26 of FIG. 3A, the EVF control unit 122 performs display by controlling the luminance of the backlight of the EVF 123 based on the EVF luminance notified from the display luminance control unit 115c.
マイクロコンピュータ115は、電源オフ指示の有無を判断する(ステップS28)。マイクロコンピュータ115は、電源オフ指示があったと判断すると(ステップS28YES)、カメラのオフ処理を実行する。マイクロコンピュータ115は、電源オフ指示がないと判断すると(ステップS28NO)、露光制御部115aは、必要に応じて露光変更の準備をして(ステップS30)、ステップS16に戻る。露光制御部115aは、露光変更の準備として、電子シャッター速・絞り値・感度の変更を対応する各部に指示する。 The microcomputer 115 determines whether there is a power-off instruction (step S28). If the microcomputer 115 determines that there is a power-off instruction (YES in step S28), the microcomputer 115 executes a camera-off process. When the microcomputer 115 determines that there is no power-off instruction (NO in step S28), the exposure control unit 115a prepares for exposure change as necessary (step S30), and returns to step S16. The exposure control unit 115a instructs each corresponding unit to change the electronic shutter speed, aperture value, and sensitivity as preparation for exposure change.
図5は、環境の明るさ変化があった場合に、対応して第1の表示制御処理により制御される表示画像の輝度を示すグラフである。なお、図5では、簡便化のため、露光条件の設定に必要な時間等を、時間軸から省略している。環境の明るさ(実線、左縦軸)が6Bvから2Bvに低下するが、露出レベル(破線、右縦軸)は、一気に露光差0に戻るのでなく、階段状に露光差を縮めながら露光差0に復帰するよう制御される。ステップS44で説明したように、環境の明るさから直接露光条件が算出されるのではなく、安定化輝度に基づき露光条件が算出されるからである。 FIG. 5 is a graph showing the luminance of the display image controlled by the first display control process when there is a change in the brightness of the environment. In FIG. 5, for the sake of simplicity, the time required for setting the exposure conditions is omitted from the time axis. Although the brightness of the environment (solid line, left vertical axis) decreases from 6 Bv to 2 Bv, the exposure level (dashed line, right vertical axis) does not return to the exposure difference of 0 at once, but the exposure difference while reducing the exposure difference stepwise. Controlled to return to zero. This is because, as described in step S44, the exposure condition is not calculated directly from the brightness of the environment, but is calculated based on the stabilized luminance.
また、EVF輝度(1点鎖線、右縦軸)は、フレーム間での露出レベルが変化するタイミングと同じタイミングで、階段状に低下するよう制御される。ステップS50〜ステップS54で説明したように、露光条件の差があるフレーム表示時に、対応してEVF輝度を変更するからである。今回は効果をわかりやすく説明するため、EVF輝度の変化量は、露光差の変化量と同じとしている。これにより、露出レベルとEVF輝度の合計に相当する表示画像の輝度(2点鎖線、右縦軸)を、細かい変動のない安定した値にすることができる。つまり、画面にちらつきが発生することがない。 In addition, the EVF luminance (one-dot chain line, the right vertical axis) is controlled to decrease stepwise at the same timing as the exposure level changes between frames. This is because, as described in steps S50 to S54, the EVF luminance is changed correspondingly during frame display with a difference in exposure conditions. In this case, in order to explain the effect in an easy-to-understand manner, the amount of change in EVF luminance is the same as the amount of change in exposure difference. As a result, the luminance (two-dot chain line, right vertical axis) of the display image corresponding to the sum of the exposure level and the EVF luminance can be set to a stable value without fine fluctuations. That is, the screen does not flicker.
以上説明した第1の表示制御処理により制御されるEVF輝度等を、タイミングチャートで説明する。図6A〜Cは、環境の明るさに対応して、表示画像の輝度が変化の様子を示すタイミングチャートである。図A、B、Cの順に、時間が推移する。なお、図6のタイミングチャートは、図5で省略した露光演算や露光条件の設定に必要な時間も含まれているため、図5のグラフの時間軸とは、一部異なっている。 The EVF brightness and the like controlled by the first display control process described above will be described with reference to a timing chart. 6A to 6C are timing charts showing how the luminance of the display image changes corresponding to the brightness of the environment. Time changes in the order of FIGS. Note that the timing chart of FIG. 6 includes a time required for setting the exposure calculation and exposure conditions omitted in FIG. 5, and thus is partially different from the time axis of the graph of FIG. 5.
「VD(垂直駆動信号)長」は、ライブビュー中にフレームを取り込むタイミングを表す。VD長を、左から時間の順番にVD#1、VD#2・・で表す。「環境の明るさ」のラインは、被写体の明るさの変化を示す。本例では、環境の明るさenvBvが、VD#3の途中で6Bvから2Bvに変化(暗くなる)したとする。 The “VD (vertical drive signal) length” represents the timing of capturing a frame during the live view. The VD length is represented by VD # 1, VD # 2,... In order of time from the left. The “environmental brightness” line indicates a change in the brightness of the subject. In this example, it is assumed that the environmental brightness envBv changes (becomes dark) from 6 Bv to 2 Bv in the middle of VD # 3.
「露光」のラインは、ステップS18の前半の処理で、撮像素子102による露光のタイミングを示し、VDのタイミングで毎回ライブビュー用の画像が露光され、画像データ(以下、フレームと略す)が得られる。なお、「露光」の各値は、適正露光値との差で表すもので、±0evはフレームが適正露光であることを示す。適正露光値との差を露光ズレ量と呼び、以下で各フレームの画像の輝度を、露光ズレ量で表現する。 The “exposure” line indicates the timing of exposure by the image sensor 102 in the first half of step S18, and an image for live view is exposed every time at the timing of VD to obtain image data (hereinafter abbreviated as a frame). It is done. Each value of “exposure” is expressed by a difference from the appropriate exposure value, and ± 0 ev indicates that the frame is appropriate exposure. The difference from the appropriate exposure value is called the exposure shift amount, and the brightness of the image of each frame will be expressed by the exposure shift amount below.
「取込み」のラインは、ステップS18の後半の処理で、露光により得られたフレームを内部に取り込むタイミングを示す。本例では、VD#1のフレームがVD#2で取込まれ、露光されたフレームが次のVDタイミングでAE制御部108や画像処理部107に送られる。 The “take-in” line indicates the timing of taking in the frame obtained by the exposure in the latter half of step S18. In this example, the frame of VD # 1 is captured by VD # 2, and the exposed frame is sent to the AE control unit 108 and the image processing unit 107 at the next VD timing.
「露光演算」のラインは、取り込まれたフレームから、環境の明るさenvBv、安定化輝度stabBvや露光条件が算出されるタイミングを示す。露光演算として、AE演算及びヒステリシス(Hys)制御のタイミングを示す。AE演算は、ステップS40及びステップS42の処理で、取り込まれたフレームに基づき、適正露光と差である露光(露出)ズレ量を算出する。ヒステリシス(Hys)制御のタイミングで、安定化輝度算出部108aにより、露光ズレ量に基づいて安定化輝度stabBvが算出され、露光条件演算部108bにより次の露光条件(Tv,Av,Sv)が算出される。ステップS44及びステップS46の処理である。上述したように、安定化輝度算出部108aは、環境の明るさの変化を緩やかな輝度変化に修正するようヒステリシス制御を行って、算出した環境の明るさの変化に基づいた安定化輝度を算出する。 The “exposure calculation” line indicates the timing at which the environmental brightness envBv, the stabilized luminance stabBv, and the exposure conditions are calculated from the captured frame. As the exposure calculation, the timing of AE calculation and hysteresis (Hys) control is shown. In the AE calculation, an exposure (exposure) shift amount that is a difference from the appropriate exposure is calculated based on the captured frame in the processing of step S40 and step S42. At the timing of hysteresis (Hys) control, the stabilized luminance calculation unit 108a calculates the stabilized luminance stabBv based on the exposure shift amount, and the exposure condition calculation unit 108b calculates the next exposure condition (Tv, Av, Sv). Is done. This is the process of step S44 and step S46. As described above, the stabilized brightness calculation unit 108a performs hysteresis control so as to correct the change in the brightness of the environment to a moderate brightness change, and calculates the stabilized brightness based on the calculated change in the brightness of the environment. To do.
図6の例では、VD#6で最初のAE演算が行われ、VD#8で最初のヒステリシス制御が行われる。環境の明るさが−4ev(6Bvから2Bv)変化したことで、安定化輝度算出部108aと露光条件演算部108bにより、VD#8で、次の露光条件(Tv2,Av2,Sv2)として+0.7evとなるような露光条件が設定される。VD#9、VD#10で、ステップS30で説明した露光変更準備が行われ、VD#11から露光が変更される。 In the example of FIG. 6, the first AE calculation is performed at VD # 6, and the first hysteresis control is performed at VD # 8. Since the brightness of the environment has changed by −4 ev (from 6 Bv to 2 Bv), the stabilized luminance calculation unit 108 a and the exposure condition calculation unit 108 b use VD # 8 as the next exposure condition (Tv2, Av2, Sv2) to +0. The exposure condition is set to 7 ev. In VD # 9 and VD # 10, the exposure change preparation described in step S30 is performed, and the exposure is changed from VD # 11.
「画像処理」のラインは、取込まれたフレームが画像処理部107で表示用に画像処理されるタイミングを示す。「露光条件変化有」のラインは、画像処理部107やAE制御部108に取込まれたフレームが、1つ前のフレームに対して露光条件に変化が有るかの判断である。ステップS54の処理による判断である。前述のようにVD#11から露光が変更されるので、VD#10とVD#11では、露光条件が変化する。そこで、VD#10での露光フレームとVD#11での露光フレームを比較するVD#13では、露光条件に変化有りと判断される。 The “image processing” line indicates the timing at which the image processing unit 107 processes the captured frame for display. The “with exposure condition change” line is a determination as to whether the exposure condition of the frame taken into the image processing unit 107 or the AE control unit 108 has changed with respect to the previous frame. This is a determination by the process of step S54. As described above, since the exposure is changed from VD # 11, the exposure conditions change in VD # 10 and VD # 11. Therefore, in VD # 13 that compares the exposure frame at VD # 10 and the exposure frame at VD # 11, it is determined that the exposure condition has changed.
「EVF輝度」のラインは、各フレーム表示時におけるEVF123のバックライト輝度(光量)を示す。EVF輝度の表記として、露光と同様な段数表記で示す。「表示データ」のラインは、画像処理されてEVF123に表示されるフレームの露出レベルを示しており、各数値は適正露光(±0)に対する露光ズレ量を表している。VD#1で露光されたフレームが、VD#4でEVF123に表示される。なお、「表示データ」も、露光ズレ量で表記されるので、図5で破線で示した露出レベルと実質同一である。 The “EVF luminance” line indicates the backlight luminance (light quantity) of the EVF 123 when each frame is displayed. The EVF luminance is represented by the same number of steps as that of exposure. The “display data” line indicates the exposure level of the frame that is image-processed and displayed on the EVF 123, and each numerical value represents the exposure shift amount with respect to the appropriate exposure (± 0). The frame exposed by VD # 1 is displayed on the EVF 123 by VD # 4. Since “display data” is also expressed in terms of exposure deviation, it is substantially the same as the exposure level indicated by the broken line in FIG.
「表示画像の輝度」のラインは、EVF123に表示した際に人が感じる明るさを示す。表示画像の輝度は、EVF輝度と表示データの露出レベルとの合計となるため、例えば、VD#4の場合、表示画像の輝度は、5ev(EVF輝度)+0ev(表示データ)=5evとなる。 The line “luminance of display image” indicates the brightness perceived by a person when displayed on the EVF 123. Since the brightness of the display image is the sum of the EVF brightness and the exposure level of the display data, for example, in the case of VD # 4, the brightness of the display image is 5 ev (EVF brightness) +0 ev (display data) = 5 ev.
環境変化があった場合になされる露光条件(TV,AV、SV)の変更は、条件変更に時間がかかるので、露光演算されてから実際に露光条件が変更されるまで時間遅れが生じる。例えば、VD#8でヒステリシス制御されても、露光条件はVD#11で変更される。つまり、3VD遅れることになる。対して「EVF輝度」は、露光条件のようなメカニカルな要素を含まないため、輝度設定後、次のVDで対応させることができる。 Changing the exposure conditions (TV, AV, SV) when there is an environmental change takes time to change the conditions, so that there is a time delay from when the exposure calculation is performed until the exposure conditions are actually changed. For example, even if hysteresis control is performed with VD # 8, the exposure condition is changed with VD # 11. That is, it will be delayed by 3VD. On the other hand, since “EVF luminance” does not include mechanical elements such as exposure conditions, it can be handled by the next VD after luminance setting.
VD#6でAE演算が行われ、VD#8でヒステリシス制御が行われて、露光条件(TV1,AV1、SV1)から、露光条件(TVnext,AVnext、SVnext)として新たな露光条件(TV2,AV2、SV2)が算出される。ステップS40〜ステップS46の処理である。VD#10終了後に露光条件が変更され、VD#11から、新たな露光条件(TV2,AV2、SV2)に基づく露光が行われる。画像処理されたフレームとしては、VD#13の露光フレームから露光条件(TV2,AV2、SV2)が変更となる。 AE calculation is performed at VD # 6, hysteresis control is performed at VD # 8, and new exposure conditions (TV2, AV2) are changed from exposure conditions (TV1, AV1, SV1) to exposure conditions (TVnext, AVnext, SVnext). SV2) is calculated. This is the process of step S40 to step S46. After the completion of VD # 10, the exposure condition is changed, and the exposure based on the new exposure condition (TV2, AV2, SV2) is performed from VD # 11. The exposure condition (TV2, AV2, SV2) is changed from the exposure frame of VD # 13 as the image-processed frame.
これにより、VD#12のフレームとVD#13のフレームの比較により、露光条件の変化有りと判断される。比較判定部115bにより実行されるステップS50〜ステップS54の処理である。露光条件の変化有りの判断により、安定化輝度stabBvを取得して、EVF輝度が算出される。ステップS56〜ステップS60の処理である。 Thus, it is determined that there is a change in the exposure condition by comparing the frame of VD # 12 and the frame of VD # 13. This is the process of step S50 to step S54 executed by the comparison determination unit 115b. Based on the determination that there is a change in the exposure condition, the stabilized luminance stabBv is acquired, and the EVF luminance is calculated. This is the process of step S56 to step S60.
新たな露光条件(TV2,AV2、SV2)のフレームがVD#14から表示されるので、対応してVD#14からEVF輝度が変更される。ステップS62の処理である。VD#13〜VD#14で、表示データの露出レベルが−4ev→−3.3evに変化するのに応じて、EVF輝度も5.0ev→4.3evに変化させる。これにより、VD#13〜VD#14で、表示画像の輝度は1evのままで、変動しない。 Since frames of new exposure conditions (TV2, AV2, SV2) are displayed from VD # 14, the EVF luminance is changed from VD # 14 correspondingly. This is the process of step S62. In VD # 13 to VD # 14, the EVF luminance is also changed from 5.0 ev to 4.3 ev as the exposure level of the display data is changed from −4 ev to −3.3 ev. Thereby, in VD # 13 to VD # 14, the luminance of the display image remains 1 ev and does not vary.
また、VD#18でも、露光条件が変更される(TV3,AV3、SV3)ことで、VD#17とVD#18で露光されたフレーム間で露光条件に差が出る。VD#20で、前フレームと露光条件が変化すると判断され、VD#18の露光フレームに対応する表示データが表示されるVD#21のタイミングで、EVF輝度が変更される。 Also in VD # 18, the exposure conditions are changed between the frames exposed in VD # 17 and VD # 18 by changing the exposure conditions (TV3, AV3, SV3). At VD # 20, it is determined that the exposure condition changes from the previous frame, and the EVF luminance is changed at the timing of VD # 21 when the display data corresponding to the exposure frame of VD # 18 is displayed.
同様に、VD#25で、露光条件(TV4,AV4、SV4)に変更され、VD#25で露光されたフレームで輝度に変化が発生する。VD#27で、前フレームと露光条件が変化すると判断され、VD#25の露光フレームに対応する表示データが表示されるVD#28のタイミングで、EVF輝度が変更される。 Similarly, the exposure condition (TV4, AV4, SV4) is changed at VD # 25, and the luminance changes in the frame exposed at VD # 25. At VD # 27, it is determined that the exposure condition changes from the previous frame, and the EVF luminance is changed at the timing of VD # 28 when the display data corresponding to the exposure frame of VD # 25 is displayed.
このように、第1の表示制御処理によれば、表示データの露光条件を監視して、露光条件の変化によって表示データの露出レベルが変化するタイミングに合わせてEVF輝度を変更するので、露光条件を段階的に変更していく途中で、表示画像の輝度の変動を防止することができる。 Thus, according to the first display control process, the exposure condition of the display data is monitored, and the EVF brightness is changed in accordance with the timing at which the exposure level of the display data changes due to the change of the exposure condition. During the process of changing the process stepwise, it is possible to prevent fluctuations in the brightness of the display image.
図7A〜Cは、第2の表示制御処理の手順を示すフローチャートである。第2の表示制御処理は、露光条件の変化ではなく画像の明るさの変化から、表示データの露出レベルの変化を判断する例である。 7A to 7C are flowcharts showing the procedure of the second display control process. The second display control process is an example in which a change in the exposure level of the display data is determined from a change in the brightness of the image, not a change in the exposure conditions.
図7Aは、マイクロコンピュータ115により実行されるメインのフローチャートである。図7Bは主に画像処理部107により実行される輝度検出のサブルーチン、図7Cは主に比較判定部115bと表示輝度制御部115cにより実行されるEVF表示制御のサブルーチンである。 FIG. 7A is a main flowchart executed by the microcomputer 115. FIG. 7B is a luminance detection subroutine mainly executed by the image processing unit 107, and FIG. 7C is an EVF display control subroutine mainly executed by the comparison determination unit 115b and the display luminance control unit 115c.
マイクロコンピュータ115は、操作部116に含まれる電源ボタンの操作通知を受けて、電源ONの処理を行う(ステップS100)。マイクロコンピュータ115は、電源が投入されるとカメラの初期化処理を行う(ステップS102)。初期化処理の一つとして、露光制御部115aは、露光条件をデフォルト値に設定し、表示輝度制御部115cは、EVF輝度をデフォルト値に設定する。 In response to the notification of the operation of the power button included in the operation unit 116, the microcomputer 115 performs a power ON process (step S100). The microcomputer 115 performs camera initialization processing when the power is turned on (step S102). As one of the initialization processes, the exposure control unit 115a sets the exposure condition to a default value, and the display luminance control unit 115c sets the EVF luminance to a default value.
マイクロコンピュータ115は、設定した露光条件に基づき絞り等各部を設定して露光を行い、撮像部160から出力された画像データを取り込む(ステップS104)。マイクロコンピュータ115は、AE制御部108に、取り込まれた画像データを基に、AE制御として変更する露光量の演算を行わせる(ステップS106)。 The microcomputer 115 performs exposure by setting each part such as a diaphragm based on the set exposure condition, and takes in the image data output from the imaging unit 160 (step S104). The microcomputer 115 causes the AE control unit 108 to calculate the exposure amount to be changed as AE control based on the captured image data (step S106).
マイクロコンピュータ115は、画像処理部107に取込んだ画像データに対して画像処理を行わせる(ステップS108)。図7Bに進む。画像処理部107が現フレーム(画像データ)を取込む(ステップS120)。画像処理部107は、取込んだ現フレームに対し各種画像処理を行う(ステップS122)。画像処理としては、例えばホワイトバランス補正や色補正やγ補正が含まれる。画像処理部107は、フレームのRGBデータから、輝度のデータであるYデータを生成する(ステップS124)。画像処理部107は、生成した画面全体のYデータからY平均値(Yave)を算出する(ステップS126)。図7AのステップS110に進む。 The microcomputer 115 causes the image processing unit 107 to perform image processing on the captured image data (step S108). Proceed to FIG. 7B. The image processing unit 107 captures the current frame (image data) (step S120). The image processing unit 107 performs various image processing on the captured current frame (step S122). Examples of image processing include white balance correction, color correction, and γ correction. The image processing unit 107 generates Y data that is luminance data from the RGB data of the frame (step S124). The image processing unit 107 calculates a Y average value (Yave) from the generated Y data of the entire screen (step S126). Proceed to step S110 in FIG. 7A.
マイクロコンピュータ115は、表示制御を行う(ステップS110)。図7Cに進む。比較判定部115bは、画像処理部107から現フレームのY平均値(Yave)を取得する(ステップS130)。比較判定部115bは、前フレームのY平均値(preYave)を読込む(ステップS132)。比較判定部115bは、現フレームのY平均値(Yave)と前フレームのY平均値(preYave)の差分が、フレーム間誤差閾値(ΔYave)より大きいかを判定する(ステップS134)。フレーム間誤差閾値(ΔYave)は、フレーム間差分許容量であって、例えば、ΔYave=0.6evである。 The microcomputer 115 performs display control (step S110). Proceed to FIG. 7C. The comparison determination unit 115b acquires the Y average value (Yave) of the current frame from the image processing unit 107 (step S130). The comparison determination unit 115b reads the Y average value (preYave) of the previous frame (step S132). The comparison determination unit 115b determines whether the difference between the Y average value (Yave) of the current frame and the Y average value (preYave) of the previous frame is greater than the interframe error threshold (ΔYave) (step S134). The inter-frame error threshold (ΔYave) is an allowable difference between frames, for example, ΔYave = 0.6ev.
比較判定部115bが、差分がフレーム間誤差閾値(ΔYave)より大きいと判定すると(ステップS134YES)、表示輝度制御部115cは安定化輝度stabBvを取得する(ステップS136)。安定化輝度stabBvは、第1の表示制御処理のステップS44で説明したように、AE制御部108で算出される。安定化輝度stabBvについては、第1の表示制御処理で説明済なので、省略する。表示輝度制御部115cは、取得した安定化輝度stabBvに基づきEVF輝度を算出する(ステップS138)。 When the comparison determination unit 115b determines that the difference is larger than the inter-frame error threshold (ΔYave) (YES in step S134), the display luminance control unit 115c acquires the stabilized luminance stabBv (step S136). The stabilized luminance stabBv is calculated by the AE control unit 108 as described in step S44 of the first display control process. Since the stabilized luminance stabBv has already been described in the first display control process, it is omitted. The display brightness control unit 115c calculates EVF brightness based on the acquired stabilized brightness stabBv (step S138).
一方、比較判定部115bは、差分がフレーム間誤差閾値(ΔYave)より大きくはないと判定すると(ステップS134NO)、前フレームとの輝度差は少ないとして、表示輝度制御部115cは新たなEVF輝度算出を行わずに、ステップS140に進む。 On the other hand, if the comparison / determination unit 115b determines that the difference is not greater than the inter-frame error threshold (ΔYave) (NO in step S134), the display luminance control unit 115c determines that the luminance difference from the previous frame is small and the display luminance control unit 115c calculates a new EVF luminance. Without proceeding to step S140.
比較判定部115bは、現フレームのY平均値(Yave)を前フレームのY平均値(preYave)に代入して(ステップS140)、現フレームのY平均値を保持する。次のフレームと比較するためである。表示輝度制御部115cは、算出したEVF輝度でEVF123の設定を行う(ステップS142)。図7AのステップS112に進む。 The comparison determination unit 115b substitutes the Y average value (Yave) of the current frame for the Y average value (preYave) of the previous frame (step S140), and holds the Y average value of the current frame. This is for comparison with the next frame. The display brightness control unit 115c sets the EVF 123 with the calculated EVF brightness (step S142). Proceed to step S112 in FIG. 7A.
マイクロコンピュータ115は、EVF123への表示を行わせる(ステップS112)。マイクロコンピュータ115は、電源オフ指示の有無を判断する(ステップS114)。マイクロコンピュータ115は、電源オフ指示があったと判断すると(ステップS114YES)、カメラのオフ処理を実行する。マイクロコンピュータ115は、電源オフ指示がないと判断すると(ステップS114NO)、露光制御部115aは、露光変更の準備をして(ステップS116)、ステップS104に戻る。 The microcomputer 115 displays on the EVF 123 (step S112). The microcomputer 115 determines whether there is a power-off instruction (step S114). If the microcomputer 115 determines that there is a power-off instruction (YES in step S114), the microcomputer 115 executes a camera-off process. When the microcomputer 115 determines that there is no power-off instruction (NO in step S114), the exposure control unit 115a prepares for exposure change (step S116) and returns to step S104.
このように、第2の表示制御処理によれば、画像の明るさを監視して、露光条件の変化によって表示データの露出レベルが変化するタイミングに合わせてEVF輝度を変更するので、露光条件が変化した場合でも、表示画像の輝度の変動を防止することができる。また、画像の明るさ変化を元に判断するので、同じ露出レベルでのTV,AV,SVの設定値変更にも影響されずに処理することができる。なお、第2の表示制御処理のタイミングチャートは、図6の「露光条件変化有」の判断を、「Y平均値変化有」に代えただけであるので、図示は省略する。 As described above, according to the second display control process, the brightness of the image is monitored, and the EVF luminance is changed in accordance with the timing at which the exposure level of the display data changes due to the change of the exposure condition. Even when it changes, it is possible to prevent fluctuations in the luminance of the display image. Further, since the determination is based on the brightness change of the image, the processing can be performed without being affected by the change in the set values of TV, AV, and SV at the same exposure level. Note that the timing chart of the second display control process is omitted because the determination of “exposure condition changed” in FIG. 6 is simply replaced with “Y average value changed”.
図8A〜Cは、第3の表示制御処理の手順を示すフローチャートである。第3の表示制御処理は、表示レートと撮像レートの違いによりEVF設定を切換える例である。表示レートと撮像レートが違う場合とは、図19のタイミングチャートで示したような場合である。表示レートが撮像レートより高い場合、表示データの更新のほうが頻繁に行われる。そこで、表示レートが撮像レートより高い場合には、現在表示しようとしている画像と、直前に表示した画像との差分を算出し、差分がなければ、EVF輝度変更は行わず、差分があれば、EVF輝度変更を行うようにする例である。 8A to 8C are flowcharts showing the procedure of the third display control process. The third display control process is an example in which the EVF setting is switched depending on the difference between the display rate and the imaging rate. The case where the display rate and the imaging rate are different is a case as shown in the timing chart of FIG. When the display rate is higher than the imaging rate, the display data is updated more frequently. Therefore, if the display rate is higher than the imaging rate, the difference between the image that is currently displayed and the image that was displayed immediately before is calculated. If there is no difference, the EVF luminance change is not performed, and if there is a difference, In this example, EVF luminance change is performed.
図8Aは、マイクロコンピュータ115により実行されるメインのフローチャートである。図8Bは主にAE制御部108により実行されるAE制御のサブルーチン、図8Cは主に比較判定部115bと表示輝度制御部115cにより実行される表示制御のサブルーチンである。図8A〜Cの各処理は、第1及び第2の表示制御処理と同一の内容を含むので、相違点を中心に説明する。 FIG. 8A is a main flowchart executed by the microcomputer 115. FIG. 8B is an AE control subroutine mainly executed by the AE control unit 108, and FIG. 8C is a display control subroutine mainly executed by the comparison determination unit 115b and the display luminance control unit 115c. Each of the processes in FIGS. 8A to 8C includes the same contents as the first and second display control processes, and therefore will be described with a focus on the differences.
マイクロコンピュータ115は、操作通知を受けて電源ON処理、カメラの初期化処理を行う(ステップS200、ステップS202)。マイクロコンピュータ115は、露光設定を行う(ステップS204)。 Upon receiving the operation notification, the microcomputer 115 performs a power ON process and a camera initialization process (steps S200 and S202). The microcomputer 115 performs exposure setting (step S204).
撮像部160は露光を行い、画像データの取り込みを行う(ステップS206)。AE制御部108は、取り込まれた画像データを基に、AE制御を行う(ステップS208)。 The imaging unit 160 performs exposure and captures image data (step S206). The AE control unit 108 performs AE control based on the captured image data (step S208).
図8Bに進む。AE制御部108は、測光方式の読み込み(ステップS220)、取り込まれた画像データから環境の明るさenvBvを算出する(ステップS222)。安定化輝度算出部108aは、安定化輝度を算出する(ステップS224)。露光条件演算部108bは、算出された安定化輝度stabBvから、次の露光条件(AVnext、TVnext,SVnext)を算出して(ステップS226)、図8AのステップS210に進む。 Proceed to FIG. 8B. The AE control unit 108 reads the photometric method (step S220), and calculates the environmental brightness envBv from the captured image data (step S222). The stabilized luminance calculation unit 108a calculates the stabilized luminance (Step S224). The exposure condition calculation unit 108b calculates the next exposure condition (AVnext, TVnext, SVnext) from the calculated stabilized luminance stabBv (step S226), and proceeds to step S210 in FIG. 8A.
マイクロコンピュータ115は、画像処理部107に画像データの画像処理を行わせる(ステップS210)。画像処理部107は、ステップS124、ステップS126と同様にY平均値を算出する。マイクロコンピュータ115は、表示制御を行う(ステップS212)。図8Cに進む。 The microcomputer 115 causes the image processing unit 107 to perform image processing on the image data (step S210). The image processing unit 107 calculates the Y average value as in step S124 and step S126. The microcomputer 115 performs display control (step S212). Proceed to FIG. 8C.
比較判定部115bは、表示レート>撮像レートであるかを判定する(ステップS230)。表示レート>撮像レートとは、例えば表示レートが60回/秒で撮像レートが30回/秒のような場合で、図19で示したような例である。 The comparison determination unit 115b determines whether or not the display rate> the imaging rate (step S230). Display rate> imaging rate is an example as shown in FIG. 19, for example, when the display rate is 60 times / second and the imaging rate is 30 times / second.
比較判定部115bは、表示レート>撮像レートであると判定すると(ステップS230YES)、前表示画像との露出レベルの差分を算出する(ステップS232)。比較判定部115bは、露出レベルの差分が有るかを判定する(ステップS234)。比較判定部115bが露出レベルの差分が有ると判定すると(ステップS234YES)、表示輝度制御部115cはヒステリシス制御された安定化輝度stabBvをAE制御部108から取得する(ステップS236)。表示輝度制御部115cは、安定化輝度stabBvに基づき、EVF輝度を算出する(ステップS238)。安定化輝度stabBvやEVF輝度の算出については、第1の表示制御処理と同様である。 If the comparison determination unit 115b determines that the display rate> the imaging rate (YES in step S230), the comparison determination unit 115b calculates a difference in exposure level from the previous display image (step S232). The comparison determination unit 115b determines whether there is a difference in exposure level (step S234). When the comparison determination unit 115b determines that there is a difference in exposure level (YES in step S234), the display luminance control unit 115c acquires the stabilized luminance stabBv subjected to hysteresis control from the AE control unit 108 (step S236). The display brightness control unit 115c calculates EVF brightness based on the stabilized brightness stabBv (step S238). The calculation of the stabilized luminance stabBv and the EVF luminance is the same as in the first display control process.
一方、比較判定部115bが、表示レート>撮像レートでないと判定すると(ステップS230NO)、ステップS236に進む。また、比較判定部115bは、露出レベルに差分がないと判定すると(ステップS234NO)、ステップS240にジャンプする。 On the other hand, if the comparison determination unit 115b determines that the display rate is not higher than the imaging rate (NO in step S230), the process proceeds to step S236. If the comparison determination unit 115b determines that there is no difference in exposure level (NO in step S234), the process jumps to step S240.
表示輝度制御部115cは、算出したEVF輝度でEVF123を設定する(ステップS240)。図8Aに戻り、ステップS214に進む。マイクロコンピュータ115は、表示輝度制御部115cの表示制御に基づき、EVF制御部122にEVF123への表示を行わせる(ステップS214)。 The display brightness control unit 115c sets the EVF 123 with the calculated EVF brightness (step S240). Returning to FIG. 8A, the process proceeds to step S214. The microcomputer 115 causes the EVF control unit 122 to display on the EVF 123 based on the display control of the display brightness control unit 115c (step S214).
マイクロコンピュータ115は、電源オフ指示の有無を判断する(ステップS216)。マイクロコンピュータ115は、電源オフ指示があったと判断すると(ステップS216YES)、カメラのオフ処理を実行する。マイクロコンピュータ115は、電源オフ指示がないと判断すると(ステップS216NO)、露光制御部115aは、露光変更の準備をして(ステップS218)、ステップS204に戻る。 The microcomputer 115 determines whether there is a power-off instruction (step S216). When the microcomputer 115 determines that there is a power-off instruction (YES in step S216), the microcomputer 115 executes a camera-off process. When the microcomputer 115 determines that there is no power-off instruction (NO in step S216), the exposure control unit 115a prepares for exposure change (step S218), and returns to step S204.
このように、第3の表示制御処理によれば、表示レートが撮像レートより高い場合、現在表示しようとしている画像と、直前に表示した画像との露出レベルに差分があるかどうかの判断し、それに基づいてEVF輝度の変更を行うことで、表示画像の輝度の変動を防止することができる。なお、露出レベルの差分は、第1の表示制御処理あるいは第2の表示制御処理と同様に算出すればよい。 Thus, according to the third display control process, when the display rate is higher than the imaging rate, it is determined whether there is a difference in the exposure level between the currently displayed image and the image displayed immediately before, By changing the EVF luminance based on this, fluctuations in the luminance of the display image can be prevented. The exposure level difference may be calculated in the same manner as the first display control process or the second display control process.
図9は、第4の表示制御処理の手順を説明するフローチャートである。比較判定部115bと表示輝度制御部115cにより実行される表示制御のサブルーチンである。第4の表示制御処理は、画像データが複数のVD長期間で露光が行われたもの(多VD露光データとも呼ぶ)である場合に、EVF輝度処理を変える例である。多VD露光データは、図21で示した例である。第4の表示制御処理は、第3の表示制御処理におけるステップS230のみ異なる処理なので、表示制御のサブルーチンのみ説明する。 FIG. 9 is a flowchart for explaining the procedure of the fourth display control process. This is a display control subroutine executed by the comparison determination unit 115b and the display brightness control unit 115c. The fourth display control process is an example of changing the EVF luminance process when the image data is a plurality of VDs exposed for a long period of time (also referred to as multi-VD exposure data). Multi-VD exposure data is the example shown in FIG. Since the fourth display control process is different only in step S230 in the third display control process, only the display control subroutine will be described.
比較判定部115bは、「表示レート>撮像レート」に代えて、画像データが多VD露光データであるかを判定する(ステップS300)。比較判定部115bは、画像データが多VD露光データであると判定すると(ステップS300YES)、前表示画像との露出レベルの差分を算出する(ステップS302)。比較判定部115bは、画像データが多VD露光データではないと判断すると(ステップS300NO)、ステップS306に進む。
ステップS302以降の処理は、ステップS232以降と同じであるので省略する。
The comparison determination unit 115b determines whether the image data is multi-VD exposure data instead of “display rate> imaging rate” (step S300). If the comparison determination unit 115b determines that the image data is multi-VD exposure data (YES in step S300), the comparison determination unit 115b calculates a difference in exposure level from the previous display image (step S302). If the comparison determination unit 115b determines that the image data is not multi-VD exposure data (NO in step S300), the process proceeds to step S306.
Since the process after step S302 is the same as the process after step S232, it abbreviate | omits.
このように、第4の表示制御処理によれば、露光データが多VD露光データの場合には、現在表示しようとしている画像と、直前に表示した画像との露出レベルに差分があるかどうかを判断し、それに基づいてEVF輝度の変更を行うことで、多VD露光データの場合でも、適切に表示画像の輝度の変動を防止することができる。なお、露出レベルの差分は、第1の表示制御処理あるいは第2の表示制御処理と同様に算出すればよい。 As described above, according to the fourth display control process, when the exposure data is multi-VD exposure data, it is determined whether or not there is a difference in the exposure level between the currently displayed image and the image displayed immediately before. By determining and changing the EVF luminance based on the determination, even in the case of multi-VD exposure data, fluctuations in luminance of the display image can be appropriately prevented. The exposure level difference may be calculated in the same manner as the first display control process or the second display control process.
なお、以上説明した各例では、露光制御部115aや比較判定部115bを、プログラムを読込んだコンピュータにより実現されるソフトウェア処理として説明したが、これに限るものではなく、一部または全部をハードウェアで実現するようにしてもよい。 In each example described above, the exposure control unit 115a and the comparison determination unit 115b have been described as software processing realized by a computer that has read a program. However, the present invention is not limited to this, and a part or all of the hardware processing is performed. It may be realized by hardware.
なお、本発明は上述した実施形態そのままに限定されるものではく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。 Note that the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Moreover, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, all the constituent elements shown in the embodiments may be appropriately combined. Furthermore, constituent elements over different embodiments may be appropriately combined. Of course, various modifications and applications are possible without departing from the spirit of the invention.
1 カメラ
5 カメラ本体
10 交換式レンズ
102 撮像素子
103 撮像ドライバ
104 アナログ処理部
104a AGC
105 A/D変換部
105a ゲイン制御部
107 画像処理部
108 AE制御部
108a 安定化輝度算出部
108b 露光条件演算部
115 マイクロコンピュータ
115a 露光制御部
115b 比較判定部
115c 表示輝度制御部
117 フラッシュメモリ
122 EVF制御部
123 EVF
160 撮像部
DESCRIPTION OF SYMBOLS 1 Camera 5 Camera main body 10 Interchangeable lens 102 Image pick-up element 103 Image pick-up driver 104 Analog processing part 104a AGC
105 A / D conversion unit 105a Gain control unit 107 Image processing unit 108 AE control unit 108a Stabilized luminance calculation unit 108b Exposure condition calculation unit 115 Microcomputer 115a Exposure control unit 115b Comparison determination unit 115c Display luminance control unit 117 Flash memory 122 EVF Control unit 123 EVF
160 Imaging unit
Claims (9)
前記表示装置に表示される画像データをフレーム間で比較して、フレーム間で画像の露出レベルに変化が生じたかを判定する比較判定部と、
環境の明るさの変化に応じて前記表示装置の輝度を変化させるよう制御する表示輝度制御部とを備え、
前記表示輝度制御部は、前記比較判定部によりフレーム間で画像の露出レベルに変化が生じたと判定された場合に、前記画像の露出レベルに変化が生じたと判定されたフレームが前記表示装置に表示されるタイミングに対応して、前記表示装置の輝度を変化させるよう制御する
ことを特徴とする表示制御装置。 In a display control device that controls a display device that is provided in an imaging device and displays image data obtained by an imaging unit for photographing visual recognition,
A comparison determination unit that compares image data displayed on the display device between frames and determines whether a change has occurred in the exposure level of the image between frames; and
A display luminance control unit that controls to change the luminance of the display device according to a change in the brightness of the environment,
When the comparison and determination unit determines that a change has occurred in the exposure level of the image between frames, the display luminance control unit displays a frame that has been determined to have changed in the exposure level of the image on the display device. A display control device that controls to change the luminance of the display device in accordance with the timing of the display.
前記比較判定部は、各フレームの露光条件から前記フレーム間で画像の露出レベルに変化が生じたかを判定する
ことを特徴とする請求項1に記載の表示制御装置。 An exposure control unit that controls exposure conditions of the imaging unit in accordance with changes in the brightness of the environment;
The display control apparatus according to claim 1, wherein the comparison determination unit determines whether a change has occurred in an image exposure level between the frames based on an exposure condition of each frame.
ことを特徴とする請求項1に記載の表示制御装置。 The display control apparatus according to claim 1, wherein the comparison determination unit determines whether a change has occurred in an exposure level of the image between the frames based on luminance calculated based on image data of each frame.
前記表示輝度制御部は、前記画像の露出レベルに変化が生じたと判定されたフレームが前記表示装置に表示されるタイミングに対応して、前記表示装置の輝度を変化させるよう制御する
ことを特徴とする請求項1に記載の表示制御装置。 The comparison / determination unit further determines whether the display rate of the display device is higher than the imaging rate of the imaging unit, and determines that the display rate is higher than the imaging rate, the display device immediately To determine the change in the exposure level of the image between the frame displayed in
The display brightness control unit controls to change the brightness of the display device in response to a timing at which a frame determined to have changed in the exposure level of the image is displayed on the display device. The display control device according to claim 1.
前記表示輝度制御部は、前記画像の露出レベルに変化が生じたと判定されたフレームが前記表示装置に表示されるタイミングに対応して、前記表示装置の輝度を変化させるよう制御する
ことを特徴とする請求項1に記載の表示制御装置。 The comparison determination unit further determines whether or not the multiple VD exposure is performed in the imaging unit, and determines that the multiple VD exposure is performed, Next, determine the change in the exposure level of the image between the frames to be displayed,
The display brightness control unit controls to change the brightness of the display device in response to a timing at which a frame determined to have changed in the exposure level of the image is displayed on the display device. The display control device according to claim 1.
ことを特徴とする請求項1に記載の表示制御装置。 The display control device according to claim 1, wherein the display luminance control unit controls a luminance of a backlight of the display device as a luminance of the display device.
前記表示輝度制御部は、前記算出された安定化輝度に基づき前記表示装置の輝度を変化させる
ことを特徴とする請求項1に記載の表示制御装置。 It has a stabilized brightness calculation unit that calculates the stabilized brightness by converting the temporal change in the brightness of the environment into a gradual change,
The display control device according to claim 1, wherein the display luminance control unit changes the luminance of the display device based on the calculated stabilized luminance.
前記表示装置に表示される画像データをフレーム間で比較して、フレーム間で画像の露出レベルに変化が生じたかを判定する比較判定ステップと、
環境の明るさの変化に応じて前記表示装置の輝度を変化させるよう制御する表示輝度ステップとを含み、
前記表示輝度ステップは、前記比較判定ステップによりフレーム間で画像の露出レベルに変化が生じたと判定された場合に、前記画像の露出レベルに変化が生じたと判定されたフレームが前記表示装置に表示されるタイミングに対応して、前記表示装置の輝度を変化させるよう制御する
ことを特徴とする表示制御方法。 In a display control method for controlling a display device that is provided in an imaging device and displays image data obtained by an imaging unit for photographing visual recognition,
A comparison determination step of comparing image data displayed on the display device between frames and determining whether a change has occurred in an exposure level of the image between frames;
A display luminance step for controlling to change the luminance of the display device according to a change in the brightness of the environment,
In the display luminance step, when it is determined in the comparison determination step that a change has occurred in the exposure level of the image between frames, the frame that is determined to have changed in the exposure level of the image is displayed on the display device. A display control method, wherein control is performed so as to change the luminance of the display device in accordance with the timing of the display.
前記表示装置に表示される画像データをフレーム間で比較して、フレーム間で画像の露出レベルに変化が生じたかを判定する比較判定ステップと、
環境の明るさの変化に応じて前記表示装置の輝度を変化させるよう制御する表示輝度ステップとを含み、
前記表示輝度ステップは、前記比較判定ステップによりフレーム間で画像の露出レベルに変化が生じたと判定された場合に、前記画像の露出レベルに変化が生じたと判定されたフレームが前記表示装置に表示されるタイミングに対応して、前記表示装置の輝度を変化させるよう制御する
ことを特徴とするプログラム。
In a program executed by a computer of an imaging device to control a display device that displays image data obtained by the imaging unit for photographing and visual recognition,
A comparison determination step of comparing image data displayed on the display device between frames and determining whether a change has occurred in an exposure level of the image between frames;
A display luminance step for controlling to change the luminance of the display device according to a change in the brightness of the environment,
In the display luminance step, when it is determined in the comparison determination step that a change has occurred in the exposure level of the image between frames, the frame that is determined to have changed in the exposure level of the image is displayed on the display device. A program that controls to change the luminance of the display device in accordance with the timing of the display.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014097312A JP6346783B2 (en) | 2014-05-09 | 2014-05-09 | Display control device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014097312A JP6346783B2 (en) | 2014-05-09 | 2014-05-09 | Display control device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015216473A true JP2015216473A (en) | 2015-12-03 |
JP2015216473A5 JP2015216473A5 (en) | 2017-06-08 |
JP6346783B2 JP6346783B2 (en) | 2018-06-20 |
Family
ID=54752988
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014097312A Active JP6346783B2 (en) | 2014-05-09 | 2014-05-09 | Display control device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6346783B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107454342A (en) * | 2017-08-30 | 2017-12-08 | 努比亚技术有限公司 | A kind of control method, mobile terminal and computer-readable recording medium |
JP2018074440A (en) * | 2016-10-31 | 2018-05-10 | トヨタ自動車株式会社 | Vehicle rear image display device |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006324926A (en) * | 2005-05-18 | 2006-11-30 | Sharp Corp | Mobile terminal device and its control method |
JP2009200762A (en) * | 2008-02-21 | 2009-09-03 | Rohm Co Ltd | Image processing circuit, semiconductor device, and image processor |
JP2010063036A (en) * | 2008-09-05 | 2010-03-18 | Canon Inc | Imaging apparatus and image display method |
JP2010258569A (en) * | 2009-04-22 | 2010-11-11 | Canon Inc | Display controller, imaging apparatus, method for controlling display controller, and program |
-
2014
- 2014-05-09 JP JP2014097312A patent/JP6346783B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006324926A (en) * | 2005-05-18 | 2006-11-30 | Sharp Corp | Mobile terminal device and its control method |
JP2009200762A (en) * | 2008-02-21 | 2009-09-03 | Rohm Co Ltd | Image processing circuit, semiconductor device, and image processor |
JP2010063036A (en) * | 2008-09-05 | 2010-03-18 | Canon Inc | Imaging apparatus and image display method |
JP2010258569A (en) * | 2009-04-22 | 2010-11-11 | Canon Inc | Display controller, imaging apparatus, method for controlling display controller, and program |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018074440A (en) * | 2016-10-31 | 2018-05-10 | トヨタ自動車株式会社 | Vehicle rear image display device |
CN107454342A (en) * | 2017-08-30 | 2017-12-08 | 努比亚技术有限公司 | A kind of control method, mobile terminal and computer-readable recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP6346783B2 (en) | 2018-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8937677B2 (en) | Digital photographing apparatus, method of controlling the same, and computer-readable medium | |
JP4561912B2 (en) | Imaging apparatus, imaging method, and program | |
US8736748B2 (en) | Image capturing apparatus and control method controlling exposure time of image sensor | |
JP5495841B2 (en) | Camera and camera control method | |
US9277134B2 (en) | Image pickup apparatus and image pickup method | |
JP2017022610A (en) | Image processing apparatus and image processing method | |
JP5759190B2 (en) | Imaging apparatus and control method thereof | |
JP5458937B2 (en) | IMAGING DEVICE, IMAGING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM CONTAINING PROGRAM FOR EXECUTING THE IMAGING METHOD | |
US9232144B2 (en) | Imaging device, electronic viewfinder, and display control method | |
US9113117B2 (en) | Image-taking apparatus and method for controlling the same | |
US10270991B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
JP6346783B2 (en) | Display control device | |
JP6454983B2 (en) | Imaging apparatus and imaging display control method | |
JP2009272813A (en) | Imaging apparatus, and image display method | |
JP5948997B2 (en) | Imaging apparatus and imaging method | |
JP5316923B2 (en) | Imaging apparatus and program thereof | |
JP2010068046A (en) | Imaging apparatus | |
JP2013088446A (en) | Imaging apparatus | |
JP2007060327A (en) | Imaging apparatus | |
JP5355124B2 (en) | Imaging apparatus and scene discrimination method thereof | |
JP2017028637A (en) | Photographing device, and control method and program for the same | |
JP2006013731A (en) | Imaging device, white balance control method, and device for adjusting quantity of light | |
JP4789776B2 (en) | Imaging apparatus and imaging method | |
JP2015100091A (en) | Image processing device, imaging apparatus, image processing method and program | |
KR101373018B1 (en) | Apparatus and method for preventing hand-shaking during low light amount in digital image processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170418 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170418 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180528 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6346783 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |