JP6887245B2 - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

撮像装置及びその制御方法、プログラム、記憶媒体 Download PDF

Info

Publication number
JP6887245B2
JP6887245B2 JP2016241596A JP2016241596A JP6887245B2 JP 6887245 B2 JP6887245 B2 JP 6887245B2 JP 2016241596 A JP2016241596 A JP 2016241596A JP 2016241596 A JP2016241596 A JP 2016241596A JP 6887245 B2 JP6887245 B2 JP 6887245B2
Authority
JP
Japan
Prior art keywords
weighting
subject
time
imaging
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016241596A
Other languages
English (en)
Other versions
JP2018098649A5 (ja
JP2018098649A (ja
Inventor
天志 上坂
天志 上坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016241596A priority Critical patent/JP6887245B2/ja
Priority to US15/833,096 priority patent/US10129486B2/en
Publication of JP2018098649A publication Critical patent/JP2018098649A/ja
Publication of JP2018098649A5 publication Critical patent/JP2018098649A5/ja
Application granted granted Critical
Publication of JP6887245B2 publication Critical patent/JP6887245B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Description

本発明は、タイムラプス動画を撮影する技術に関するものである。
従来、間欠的に被写体を撮像することで取得された複数の画像同士を順につなぎ合せることで、被写体の時間的な変化を圧縮して記録した動画像(所謂タイムラプス動画)を取得する技術が知られている。
タイムラプス動画を取得するための間欠的な撮像を行う場合の露出制御としては、最初の撮像時に決定した露出を後の撮像に引き継ぐ固定露出制御と、撮像ごとに露出を演算する自動露出制御とが知られている。どちらの露出制御についてもそれぞれ適・不敵があり、撮影する被写体や撮影シーン、撮影モードなどに応じて、どちらの露出制御が適しているかは異なる。例えば、被写体の撮像間に環境光の明るさが大きく変化しないような、星空や星の軌跡をタイムラプス動画として取得したい場合などは固定露出制御が適している。これに対して、被写体の撮影間に環境光の明るさが大きく変化するような、日没を挟んで日中から夜間までの風景をタイムラプス動画として取得したい場合などは自動露出制御が適していると言える。
ここで、タイムラプス動画撮影において自動露出制御を行った場合、次のような問題が発生することがある。つまり、間欠的に取得された画像ごとに露出傾向にばらつきがあると、画面内の所定領域では画像ごとに明るさが異なるため、動画として再生した際に不自然なチラつきとして見えてしまうことである。
タイムラプス動画におけるチラつきの発生を抑制するための技術として、特許文献1では、撮影中の外乱を検知し、外乱が発生した時間区分の画像データをタイムラプス動画用の画像データから除外する方法が提案されている。
特開2015−159353号公報
特許文献1で提案されている技術では、カメラぶれや撮影画像データ間の輝度変化を検出することで外乱を検知している。しかしながら、特許文献1に記載された技術では、輝度変化が環境光自体の自然な輝度変化なのか外乱による突発的な輝度変化なのかを判断するのは困難であり、ユーザーにとって必要な画像データがタイムラプス動画から除外されてしまう場合がある。
本発明の目的は、必要な画像データが失われることなくチラつきを抑制したタイムラプス動画を取得することである。
本発明に係わる撮像装置は、被写体像を撮像して画像を取得する撮像手段と、被写体の明るさを複数の分割領域ごとに検出する分割測光手段と、特定の被写体領域を検出する被写体検出手段と、前記分割領域ごとの測光値に対して、重み付けする重み付け手段と、前記重み付け手段の重み付けに基づいて、前記撮像手段により画像を取得する際の露出を決定する露出決定手段と、記重み付け手段による前記分割領域ごとの測光値に対する重み付けの度合いを制御する制御手段と、を備え、前記制御手段は、複数の画像をつなぎ合わせてタイムラプス動画を生成するために、前記撮像手段を用いて間欠的に被写体を撮像する場合と、撮像時間に対する再生時間の比率が前記タイムラプス動画よりも大きい動画を生成するために、前記撮像手段を用いて被写体を撮像する場合とで、前記被写体検出手段が検出した前記特定の被写体領域に該当する測光値に対する重み付けの度合いを異ならせるように制御し、前記間欠的に被写体を撮像する場合に、前記撮像手段が画像を取得する時間間隔が第1の所定時間よりも長い場合の方が、前記時間間隔が前記第1の所定時間以下の場合よりも、前記特定の被写体領域に該当する前記測光値に対する重み付けの度合いが小さいことを特徴とする。
本発明によれば、必要な画像データが失われることなくチラつきを抑制したタイムラプス動画を取得することができる。
本発明の撮像装置の第1の実施形態であるデジタルカメラの構成を示すブロック図。 第1の実施形態におけるタイムラプス撮影時の動作を示すフローチャート。 第1の実施形態における自動露出処理の動作を示すフローチャート。 第1の実施形態における測光の重み付けの例を示す図。 第1の実施形態における測光の重み付けの例を示す図。 第2の実施形態における自動露出処理の動作を示すフローチャート。 第3の実施形態における自動露出処理の動作を示すフローチャート。
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
<第1の実施形態>
図1は、本発明の撮像装置の第1の実施形態であるデジタルカメラ(以下、単にカメラと称す)1の構成を示すブロック図である。カメラ1は、カメラ本体100にレンズユニット200(撮影光学系)が交換可能に装着されて構成されている。なお、図1に示す機能ブロックの1つ以上は、ASICやプログラマブルロジックアレイ(PLA)などのハードウェアによって実現されてもよいし、CPUやMPU等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。したがって、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。なお、図1に示すように、本実施形態のカメラ1は、カメラ本体100と交換レンズタイプのレンズユニット200を備えた、レンズ交換式の撮像装置であるが、これに限定されるものではない。例えば、カメラ1は、カメラ本体100とレンズユニット200とが一体的に構成されている撮像装置であってもよい。
(撮像装置の基本構成)
まず、カメラ本体100内の構成について説明する。図1において、マイクロコンピュータからなるCCPU(以下カメラマイコン)101は、撮像装置100の各部を制御するシステム制御回路である。カメラマイコン101は撮像装置システムの制御を行うだけでなく、各種の条件判定も行う。撮像素子102は、赤外カットフィルタやローパスフィルタ等を含むCCD、CMOSセンサ等からなり、後述のレンズ群202によって被写体像が結像される。測光回路106は、撮像素子102によって撮像された画像信号をデジタル信号処理回路111と協調することによって演算し、測光制御を行う。測光回路106は、撮像領域内を所定数の領域に分割して分割領域毎の輝度値を出力する分割測光回路と、分割測光結果から露出制御値を決定する露出制御値決定回路とを有する。
焦点検出回路107は、撮像素子102によって撮像された画像データをデジタル信号処理回路111と協調することによって演算し、焦点検出制御を行う。ゲイン切換え回路108は、撮像素子102の信号の増幅のゲインを切換える。ゲインの切換えは、撮影の条件や、撮影者の入力等によりカメラマイコン101により制御される。A/D変換器109は、増幅された撮像素子102からのアナログ信号をデジタル信号に変換する。タイミングジェネレータ(TG)110は、撮像素子102の増幅された信号の入力とA/D変換器109の変換タイミングを同期させるタイミング信号を生成する。デジタル信号処理回路111は、A/D変換器109でデジタル信号に変換された画像データを、パラメータに従って処理する。なお、図示はしていないが、カメラ本体100は、処理された画像を記憶するメモリなどの記憶手段も有する。
レンズマウント130は、後述するレンズマイコン201とのインタフェースであり、レンズマイコン201とカメラマイコン101との間でデータを通信するための通信端子を有する。この通信端子は、カメラマイコン101とレンズマイコン201の間の通信を可能とする。また、この通信により、レンズユニットの種類や各種状態がカメラ本体100内のカメラマイコン101で判別可能となる。
入力部112は、撮像装置をタイムラプス動画撮影待機状態にする撮影待機ボタン114、レリーズボタン(SW1、SW2)115、その他図示しないAFエリアの任意選択モードと多点/顔追尾モード切り替え等のスイッチやボタンなどを含む。また、シャッター速度優先モードと絞り優先モードを含む撮影モード切り替えダイヤルなども含んでおり、カメラの設定などを外部から入力することが可能である。表示部113は、各種設定されたモードやその他の撮影情報などを表示する液晶装置や発光素子などからなる。
顔検知回路116は、撮像素子102によって撮像した画像信号から、デジタル信号処理回路111と協調することによって、被写体の状況として人物の顔の有無を検出する。顔検知回路116により、画像信号における、顔の数、それぞれの顔の位置および大きさ、顔の向きなどが特定される。顔の検出方法としては、本実施形態では、画像信号から目、鼻、口などの顔の特徴部分を抽出することで顔領域を特定している。しかし、肌色データを抽出し、肌色範囲と判断された領域を顔領域とする方法や、顔の輪郭に注目した楕円形状情報を利用する方法など、他の方法を用いても構わない。
重み付け判定回路117は、測光回路106による分割測光結果に対して、分割領域毎の重み付けを判定する。この判定結果は測光回路106での測光制御に使用される。判定方法の詳細については後述する。
次に、レンズユニット200の構成と動作について説明する。図1において、マイクロコンピュータであるLPU(以下、レンズマイコン)201は、レンズユニット200の各部の動作を制御する。レンズマイコン201は、レンズの制御や各種の条件判定も行う。レンズ群202は、複数枚のレンズで構成され、被写体像を結像させる。レンズ群202は、光軸方向に移動することで焦点調節を行うフォーカスレンズを含む。
レンズ駆動部203は、レンズ群202の焦点検出および焦点位置合わせ用の光学系を移動させる。レンズ群202の駆動量は、カメラ本体100内にある焦点検出回路107の出力に基づいて、カメラマイコン101内で算出される。エンコーダ204は、レンズ群202の駆動時に位置を検出する。なお、算出されたレンズ群202の駆動量は、カメラマイコン101からレンズマイコン201に通信される。そして、エンコーダ204の駆動情報により駆動量分だけレンズマイコン201がレンズ駆動部203を動作させ、レンズ群202が合焦位置へ移動される。また、焦点検出の際には、カメラマイコン101からレンズマイコン201へ駆動方向および駆動速度が通信され、レンズ群202が焦点検出に適するように駆動される。
絞り205は、光量を調節するのに用いられる。絞り駆動回路206は、絞り205を駆動する。レンズマイコン201は、絞り駆動回路206を制御することにより、絞り205の駆動制御を行う。絞り205を制御するために必要な絞り駆動量は、カメラマイコン101からレンズマイコン201に通信により通知される。なお、レンズ群202の焦点距離は、単焦点レンズのように固定であってもよいし、ズームレンズのように可変であってもよい。
(タイムラプス動画撮影)
以下、図2のフローチャートを参照して、タイムラプス動画撮影時の動作について説明する。なお、図2に図示するフローチャートにおける各処理は、カメラマイコン101の指示に従い、カメラ1の各部を動作させることで実行される。
タイムラプス動画とは、所定の時間間隔で間欠的な撮像(タイムラプス撮影)を行って取得された複数の画像データを時系列順につなぎ合わせて得られる動画であり、被写体の時間的な変化を短時間で見ることができる。このタイムラプス動画としては、当該タイムラプス動画の生成に用いる複数の画像データを取得するのに必要な総撮像時間に対して、再生可能な時間が短くなる。
図2において、ステップS101では、ユーザーが入力部112により、タイムラプス動画撮影における間欠的な撮像の間隔(インターバル)および撮像回数を設定する。撮像間隔に関しては、あらかじめ用意された選択肢の中からユーザーが選択可能としてもよいし、ユーザーが任意に設定可能としてもよい。また、夕景タイムラプスモード、星空タイムラプスモード、ウォークラプスモードなど撮影用途に応じてモードを選択する形式とし、選択されたモードに応じてカメラ本体100が撮像間隔と撮像回数を選択的に決定するようにしてもよい。
次に、ステップS102では、タイムラプス動画撮影待機ボタンが操作されると、タイムラプス動画撮影待機状態に移行する。ステップS103は、タイムラプス動画撮影待機状態であり、撮像素子102により撮像した画像を表示部113にスルー画として表示する。次に、ステップS104では、焦点検出回路107を用いたAF(オートフォーカス)処理を行い、その後、ステップS105では、測光回路106を用いたAE(自動露出)処理を行う。AE処理の詳細については後述する。タイムラプス動画撮影待機状態では、本撮影の指示があるまで、本撮影に最適な露出状態(条件)の検出を継続する。
ステップS106では、レリーズボタン115の入力を検出するとタイムラプス本撮像を開始する。ステップS107では、被写体を撮像し、タイムラプス動画の生成に用いる静止画(記録画像)を取得する。レンズユニット200で結像され、撮像素子102で光電変換された画像信号は、A/D変換器109を経て、デジタル信号処理回路111から画像データとして出力される。そして、この画像データは、所定のメモリに一時記憶される。
ステップS108では、前述したい記録画像を取得するための撮像回数が事前に設定された撮像回数に到達したか否かを判断する。到達している場合はステップS112に進み、間欠的に撮像された複数枚の画像データがデジタル信号処理部111により結合され、動画フォーマットに変換された後に、タイムラプス動画として記録される。そして、タイムラプス動画撮影を終了する。設定された撮像回数に到達していない場合はステップS109へ進む。
ステップS109では、設定された時間間隔が経過するまで待機する。設定時間が経過するとステップS110に進み、再度AF処理を行う。その後ステップS111に進みAE処理を行い、以降ステップS107以降の処理を繰り返す。
なお、本実施形態では、タイムラプス動画をカメラ1の内部で生成する構成について説明したが、これに限定されるものではない。例えば、カメラ1で取得したタイムラプス動画用の画像を、カメラ1の外部に設けられた電子機器において合成することで、タイムラプス動画を生成する構成であってもよい。
(AE処理)
以下、図3のフローチャートを参照して、本発明の第1の実施形態におけるAE処理の詳細について説明する。なお、図3に図示するフローチャートにおける各処理は、カメラマイコン101の指示に従い、カメラ1の各部を動作させることで実行される。
まず、ステップS201では、分割測光値を取得する。分割測光値は、測光回路106内の分割測光回路により出力され、図4に示すように撮影領域を9×7の63個の領域に分割した各分割領域での輝度値として取得される。
ステップS202では、初回露出制御時の測光アルゴリズムとして中央重点平均測光を選択し、画面中央と周辺部の重み付けの比率を決定する。この測光アルゴリズムは、タイムラプス動画撮影および動画撮影を行う撮影モードである場合に、カメラマイコン101により選択される。中央重点平均測光では画面中央に重みを置きつつ比較的広い範囲を平均的に測光する。この際の各分割領域の重み付けの比重(重み付け度合い)を図4に数値として示している。この例では画面の中央領域と端の領域の比率は12:1となっている。すなわち、画像データの端部に対して中央部の重み付け度合いは約12倍となる。
ステップS203では、顔検知回路116により顔検出を行う。ここでは検出された顔の数、それぞれの顔の位置、顔の優先度などが特定され記憶される。ここで顔が検出された場合はステップS204へ進み、顔が検出されなければステップS206へ進む。
ステップS204では、タイムラプス動画撮影状態か否かを判定する。タイムラプス動画撮影状態とは、タイムラプス動画撮影待機状態もしくはタイムラプスの本撮影と本撮影の間の状態を意味する。タイムラプス動画撮影状態ではない通常の静止画や動画撮影の場合はステップS205へ進み、タイムラプス動画撮影状態であれば、ステップS205の顔領域に対する重み付けのステップをスキップし、ステップS206へ進む。これはタイムラプス動画撮影において、顔領域に重み付けをすると、画面内に顔が存在するフレームと顔が存在しないフレームとで露出が異なり、タイプラプス動画として結合した場合に、画像がチラついて見えるからである。そのため、本実施形態では、タイムラプス動画撮影時には顔の検出結果を露出に反映しないようにする。
ステップS205では、ステップS203で検出された顔の座標に対して分割測光値の重み付けを高くする評価測光アルゴリズムに基づいた重み付け設定を行う。顔領域の重み付け例を図5に示す。図5では、顔座標を中心とした9ブロックを顔評価領域として設定し、他の領域との重み付け比率を6:1としている。その後ステップS206へ進む。なお、この顔領域の重み付けの比率はこの値に限定されるものではなく、撮影モードやシーンに応じて重み付けを変更してもよい。例えば、風景撮影モードでは、顔の検出結果を用いず(あるいは重み付けをゼロとし)、ポートレイトモードの場合は顔領域の重み付けを大きくするなどが考えられる。また、ユーザーがカメラを手持ちしてタイムラプス動画を撮影するウォークラプス撮影時は、人物を撮影している可能性が高いので、顔領域の重み付けを大きくするなどが考えられる。
ステップS206では、これまでの分割測光領域毎の重み付けと分割測光結果から平均測光値を算出する。ステップS205での顔評価ステップをスキップした場合は、ステップS202で求めた重み付け比率に従い平均化する。タイムラプス動画撮影時に顔評価ステップをスキップすることで、タイムラプス動画として結合される各フレームの露出に関して、撮影画角内の顔による影響を排除できる。ステップS205で顔評価ステップを実施した場合には、顔評価時の重み付けに従って平均化する。また、ステップS202での中央重点的な重み付けとステップS205での顔を評価する重み付けをミックスして使用してもよい。平均測光結果を出力したらステップS207へ進む。
ステップS207では、測光結果から撮影用のTV(シャッター速度)、AV(絞り値)、SV(撮影感度)などの露出パラメータを生成する。ここではタイムラプス動画撮影の待機中か撮影中かで露出パラメータの生成方法を変更する。待機中の露出パラメータは、図2のステップS105での処理のようにタイムラプス動画の本撮影前に行われるAE処理により生成される。この場合、プログラムAEに基づく露出演算が行われる。プログラムAEでは平均測光結果により求められた輝度値に応じて、TV、AV、SVがそれぞれ決定される。TVに関しては手振れしにくい秒時(例えば1/60秒)を定めて、この秒時を超えて長秒にならないようにAVおよびSVを制御する。例えば、暗い被写体を撮像する際に、TVが1/60秒に設定し、AVを開放側にシフトし、SVを高感度側にシフトする。そして、AVが開放値に到達し、SVの高感度側の限度に到達すると、より長秒側のTVを選択する。
一方、撮影中の露出パラメータは、タイムラプス動画の本撮影と本撮影の間において、図2のステップS111に示される処理により生成される。この場合、絞り優先AEに基づく露出演算が行われる。タイムラプス動画一コマ目を撮影した際のAV(絞り値)をそのまま使用し、TV(シャッター速度)およびSV(撮影感度)を使用して露出調整を行う。これは、撮影した複数のフレーム画像をタイムラプス動画として結合した際に、フレームごとに絞りが異なると、被写界深度や周辺光量の落ち具合などの違いにより、再生時にチラつきとして見えてしまうからである。
なお、上記で説明した測光領域の分割数や重み付けの詳細については、単なる一例であり、特に上記の値に限定されるものではない。
以上説明したように、本実施形態では、タイムラプス動画の各フレームの露出決定に顔情報を使用せず、固定的な重み付けを適用する。これにより、フレーム間の顔の有り無し、顔位置の変化、顔の誤検知もしくは検知能力の限界付近での検知結果の揺らぎによるタイムラプス動画の露出への影響を排除しつつ、必要な画像データが欠落することの無いタイムラプス動画撮影を行うことが可能となる。
<第2の実施形態>
以下、図6のフローチャートを参照して、本発明の第2の実施形態におけるAE処理の詳細について説明する。なお、図6に図示するフローチャートにおける各処理は、カメラマイコン101の指示に従い、カメラ1の各部を動作させることで実行される。また、ステップS301〜S304までは、図3におけるステップS201〜S204までの処理と同一であるため説明を省略する。
ステップS305では、タイムラプス動画撮影の本撮影間の間隔を判定する。撮像間隔は、図2のステップS101において設定される設定値である。設定された撮像間隔を所定の時間間隔と比較し、それより長ければステップS306およびステップS307をスキップしてステップS308へ進む。所定の時間間隔としては例えば10秒程度の比較的短い時間が設定される。
ステップS306では、タイムラプス動画撮影の開始から終了までの総撮像時間を判定する。総撮像時間は図2のステップS101において設定される撮像間隔および撮像回数から求められる。求められた総撮像時間を所定時間と比較し、それより長ければステップS307をスキップしてステップS308へ進む。所定時間としては、例えば同一シーンと判定されるような、5分程度の比較的短い時間が設定される。
ステップS307では、顔検出座標に対して分割測光値の重み付けを高くする評価測光アルゴリズムに基づいた重み付け設定を行う。ステップS308以降の処理は図3のステップS206以降の処理と同一であるため説明を省略する。
以上説明したように、本実施形態では、タイムラプスモードにおいて、撮像間もしくは最初の撮像から最後の撮像までの総撮像時間が長時間となる場合に、各撮像の露出決定に顔情報を使用せず、固定の重み付け度合いを適応する。この構成により、撮像間隔や総撮像時間に応じて、顔領域に対する露出の重み付け度合いを変更できる。したがって、撮像間隔や総撮像時間が比較的短く、環境光の変化が小さい状況では、顔領域に対する露出の重み付けを設定することで、主被写体である可能性が高い顔領域が適正な明るさとなるように露出制御が可能である。これに対して、撮像間隔や総撮像時間が比較的長く、環境光の変化が大きい状況では、顔領域に対する露出の重み付けを設定せずに、主被写体である可能性が低い顔領域の影響でタイムラプス動画に不自然なチラつきが生じることを抑制する。以上説明した構成により、本実施形態のカメラ1は、画像データ内の顔の有無による露出制御の違いがタイムラプス動画に影響することを抑制しつつ、必要な画像データが欠落することの無いタイムラプス動画の取得が可能となる。
<第3の実施形態>
以下、図7のフローチャートを参照して、本発明の第3の実施形態におけるAE処理の詳細について説明する。なお、図7に図示するフローチャートにおける各処理は、カメラマイコン101の指示に従い、カメラ1の各部を動作させることで実行される。
まず、ステップS401では、分割測光値を取得する。次に、ステップS402では、初回の露出制御時の測光アルゴリズムとして中央重点平均測光を選択し、分割測光値の重み付けを決定する。中央重点平均測光では、画面中央に重みを置きつつ比較的広い範囲を平均的に測光する。その後ステップS403へ進む。
ステップS403では、タイムラプス動画撮影状態か否かを判定する。タイムラプス動画撮影状態とはタイムラプス動画撮影待機状態もしくはタイムラプスの本撮影と本撮影の間の状態を意味する。タイムラプス動画撮影状態ではない通常の静止画や動画撮影の場合はステップS404へ進み、タイムラプス動画撮影状態であればステップS404をスキップしてS405へ進む。
ステップS404では、焦点検出位置に対して分割測光値の重み付けを高くする評価測光アルゴリズムに基づいた重み付け設定を行う。焦点検出位置の重み付け例を図5に示す。図5では焦点検出位置を中心とした9ブロックを主焦点検出領域として設定し、他の領域との重み付け比率を6:1としている。焦点検出位置は図2のステップS104およびステップS110で実施されるAF処理に使用されるAF位置であり、入力部112により設定される場合と、AF処理中に撮像装置により自動で選択される場合とがある。自動で選択される場合は、焦点検出回路107により焦点検出処理内で決定され、その決定アルゴリズムには、至近優先や前述の顔検出に代表される被写体検出結果に追尾するなど公知の技術が使用される。その後ステップS405へ進む。
ステップS405では、これまでの分割測光領域毎の重み付けと分割測光結果とから平均測光結果を算出する。ステップS404での主焦点検出領域の評価測光をスキップした場合はステップS402で求めた重み付け比率に従い平均化する。タイムラプス動画の撮影時に焦点検出位置評価ステップをスキップすることで、タイムラプス動画として結合される各記録画像を取得する際のの露出に関して撮影画角内の被写体の動きや、被写体平面内での焦点検出位置のばらつきによる影響を排除できる。ステップS404での主焦点検出領域評価ステップを実施した場合には、焦点検出位置の重み付けに従って平均化する。また、ステップS402での中央重点的な重み付けとステップS404での主焦点検出領域に重点を置く重み付けをミックスして使用してもよい。平均測光結果を出力したらステップS406へ進む。
ステップS406では測光結果から撮影用のTV(シャッター速度)、AV(絞り値)、SV(撮影感度)などの露出パラメータを生成する。処理内容としては前述のとおりであるので説明を省略する。
以上説明したように、本実施形態では、タイムラプス動画を生成するための各画像の露出決定に焦点検出位置情報を使用せず、固定的な重み付けを適応する。これにより、フレーム間の被写***置の変化、AFフレームの揺らぎによる動画露出への影響を排除しつつ、必要な画像データが欠落することの無いタイムラプス動画撮影が可能となる。
なお、第2の実施形態と同様に、撮影フレーム間、もしくは先頭フレームから最終フレームまでの撮影所要時間が長時間となる場合に、タイムラプス動画の各フレームの露出決定に焦点検出位置情報を使用せず、固定的な重み付けを適応するようにしてもよい。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、前述した実施形態では、タイムラプスモードにおいて、顔領域および焦点検出領域などの所定の領域について、重み付け度合いを設定しないような構成について説明したが、これに限定されるものではない。少なくとも、タイムラプスモードと通常動画を取得する撮像モードとで、所定の領域に対する露出の重み付け度合いを異ならせる構成であってもよい。具体的に、通常動画を取得する撮像モードに対して、タイムラプスモードでは、所定の領域の重み付け度合いを小さくする構成であってもよい。なお、通常動画を取得する撮像モードはタイムラプスモードよりも、同一の動画を取得する総撮像時間に対する再生時間の比率が大きい。
(その他の実施形態)
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
100:カメラ本体、101:カメラマイコン、102:撮像素子、106:測光回路、107、焦点検出回路、111:デジタル信号処理回路、112:入力部、114:撮影待機ボタン、115:レリーズボタン、116:顔検知回路、117:重み付け判定回路

Claims (11)

  1. 被写体像を撮像して画像を取得する撮像手段と、
    被写体の明るさを複数の分割領域ごとに検出する分割測光手段と、
    特定の被写体領域を検出する被写体検出手段と、
    前記分割領域ごとの測光値に対して、重み付けする重み付け手段と、
    前記重み付け手段の重み付けに基づいて、前記撮像手段により画像を取得する際の露出を決定する露出決定手段と、
    記重み付け手段による前記分割領域ごとの測光値に対する重み付けの度合いを制御する制御手段と、を備え
    前記制御手段は、複数の画像をつなぎ合わせてタイムラプス動画を生成するために、前記撮像手段を用いて間欠的に被写体を撮像する場合と、撮像時間に対する再生時間の比率が前記タイムラプス動画よりも大きい動画を生成するために、前記撮像手段を用いて被写体を撮像する場合とで、前記被写体検出手段が検出した前記特定の被写体領域に該当する測光値に対する重み付けの度合いを異ならせるように制御し、
    前記間欠的に被写体を撮像する場合に、前記撮像手段が画像を取得する時間間隔が第1の所定時間よりも長い場合の方が、前記時間間隔が前記第1の所定時間以下の場合よりも、前記特定の被写体領域に該当する前記測光値に対する重み付けの度合いが小さいことを特徴とする撮像装置。
  2. 前記被写体検出手段は、前記特定の被写体領域として被写体の顔を検出するとを特徴とする請求項1に記載の撮像装置。
  3. 記制御手段は、前記間欠的に被写体を撮像する場合の前記時間間隔が前記第1の所定時間よりも長い場合に、前記特定の被写体領域に該当する前記測光値に対して、前記被写体検出手段による被写体の検出結果に応じた重み付けを反映させないように御することを特徴とする請求項1または2に記載の撮像装置。
  4. 記制御手段は、前記間欠的に被写体を撮像する場合の、タイムラプス動画を取得するための総撮像時間が第2の所定時間よりも長い場合に、前記特定の被写体領域に該当する前記測光値に対して、前記被写体検出手段による被写体の検出結果に応じた重み付けを反映させないように御することを特徴とする請求項1または2に記載の撮像装置。
  5. 撮影光学系の焦点位置を検出する焦点検出手段をさらに備え、前記制御手段は、前記焦点検出手段の焦点検出領域の位置に該当する測光値に対する重み付けの度合いを制御することを特徴とする請求項1に記載の撮像装置。
  6. 前記制御手段は、前記間欠的に被写体を撮像する場合には、前記分割領域ごとの測光値の重み付けに前記焦点検出領域の位置に応じた重み付けの度合いを反映させないように御することを特徴とする請求項に記載の撮像装置。
  7. 前記制御手段は、前記間欠的に被写体を撮像する場合、前記撮像手段が画像を取得する時間間隔が第1の所定時間よりも長い場合に、記焦点検出領域の位置に応じた重み付けの度合いを反映させないように御することを特徴とする請求項に記載の撮像装置。
  8. 前記制御手段は、前記間欠的に被写体を撮像する場合、撮影所要時間が第2の所定時間よりも長い場合に、記焦点検出領域の位置に応じた重み付けの度合いを反映させないように御することを特徴とする請求項に記載の撮像装置。
  9. 被写体像を撮像して画像を取得する撮像手段を備える撮像装置を制御する方法であって、
    被写体の明るさを複数の分割領域ごとに検出する分割測光工程と、
    特定の被写体領域を検出する被写体検出工程と、
    前記分割領域ごとの測光値に対して、重み付けする重み付け工程と、
    前記重み付け工程での重み付けに基づいて、前記撮像手段により画像を取得する際の露出を決定する露出決定工程と、
    記重み付け工程における前記分割領域ごとの測光値に対する重み付けの度合いを制御する制御工程と、を有し、
    前記制御工程では、複数の画像をつなぎ合わせてタイムラプス動画を生成するために、前記撮像手段を用いて間欠的に被写体を撮像する場合と、撮像時間に対する再生時間の比率が前記タイムラプス動画よりも大きい動画を生成するために、前記撮像手段を用いて被写体を撮像する場合とで、前記被写体検出工程において検出した前記特定の被写体領域に該当する測光値に対する重み付けの度合いを異ならせるように制御し、
    前記間欠的に被写体を撮像する場合に、前記撮像手段が画像を取得する時間間隔が第1の所定時間よりも長い場合の方が、前記時間間隔が前記第1の所定時間以下の場合よりも、前記特定の被写体領域に該当する前記測光値に対する重み付けの度合いを小さくすることを特徴とする撮像装置の制御方法。
  10. 請求項に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
  11. 請求項に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
JP2016241596A 2016-12-13 2016-12-13 撮像装置及びその制御方法、プログラム、記憶媒体 Active JP6887245B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016241596A JP6887245B2 (ja) 2016-12-13 2016-12-13 撮像装置及びその制御方法、プログラム、記憶媒体
US15/833,096 US10129486B2 (en) 2016-12-13 2017-12-06 Image capturing apparatus, control method therefor, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016241596A JP6887245B2 (ja) 2016-12-13 2016-12-13 撮像装置及びその制御方法、プログラム、記憶媒体

Publications (3)

Publication Number Publication Date
JP2018098649A JP2018098649A (ja) 2018-06-21
JP2018098649A5 JP2018098649A5 (ja) 2020-01-23
JP6887245B2 true JP6887245B2 (ja) 2021-06-16

Family

ID=62489935

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016241596A Active JP6887245B2 (ja) 2016-12-13 2016-12-13 撮像装置及びその制御方法、プログラム、記憶媒体

Country Status (2)

Country Link
US (1) US10129486B2 (ja)
JP (1) JP6887245B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110012210B (zh) * 2018-01-05 2020-09-22 Oppo广东移动通信有限公司 拍照方法、装置、存储介质及电子设备
US11012634B2 (en) 2018-06-29 2021-05-18 Canon Kabushiki Kaisha Image pickup apparatus capable of performing image pickup with reduced flicker influence, method for controlling the same, and storage medium
CN112532859B (zh) * 2019-09-18 2022-05-31 华为技术有限公司 视频采集方法和电子设备
CN115702383A (zh) * 2020-06-17 2023-02-14 索尼集团公司 成像控制装置、成像控制方法和程序
CN115514900B (zh) * 2022-08-26 2023-11-07 中国科学院合肥物质科学研究院 一种成像光谱仪快速自动化曝光成像方法及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0644687B1 (en) * 1993-09-17 2003-12-03 Canon Kabushiki Kaisha Image pickup apparatus
JP5849515B2 (ja) * 2011-08-11 2016-01-27 株式会社ニコン 露出演算装置およびカメラ
JP5895409B2 (ja) * 2011-09-14 2016-03-30 株式会社リコー 撮像装置
JP6321990B2 (ja) 2014-02-21 2018-05-09 オリンパス株式会社 撮像装置および撮像方法
JP2015225256A (ja) * 2014-05-28 2015-12-14 株式会社ニコン 撮影装置
JP6486093B2 (ja) 2014-12-17 2019-03-20 キヤノン株式会社 撮像装置、その制御方法、及びプログラム
JP6486109B2 (ja) * 2015-01-09 2019-03-20 キヤノン株式会社 露出制御装置、その制御方法、およびプログラム

Also Published As

Publication number Publication date
JP2018098649A (ja) 2018-06-21
US20180167545A1 (en) 2018-06-14
US10129486B2 (en) 2018-11-13

Similar Documents

Publication Publication Date Title
JP4378272B2 (ja) 撮影装置
JP6936930B2 (ja) 撮像装置および焦点調節方法
JP6887245B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2007243759A (ja) ディジタル撮像装置
JP6244062B2 (ja) 撮影装置、撮影装置本体、及び撮影装置の制御方法
JP6166848B2 (ja) 撮影装置、撮影装置本体、及びレンズ鏡筒
JP2007264049A (ja) 撮像方法および装置
JP2010147786A (ja) 撮像装置及び画像処理方法
JP2011217334A (ja) 撮像装置および撮像装置の制御方法
JP5618765B2 (ja) 撮像装置及びその制御方法
JP4182864B2 (ja) 電子カメラ
JP2015139025A (ja) 撮像装置
JP2010011153A (ja) 撮像装置、撮像方法及びプログラム
JP2008283456A (ja) 撮像装置及び撮像方法
JP2012163679A (ja) 撮像装置、ストロボ制御方法およびストロボ制御プログラム
JP2017216637A (ja) 撮像装置及び制御方法
JP2013162188A (ja) パノラマ撮影機能付きカメラ
KR20100112788A (ko) 손떨림 방지 기능과 플래쉬 기능의 제어 방법, 이를 이용한 촬영 방법 및 디지털 카메라 모듈
JP2021131441A (ja) 電子機器
JP2017009815A (ja) 焦点検出装置、焦点検出方法、およびカメラシステム
JP2006050139A (ja) 光学機器
JP2020134766A (ja) 撮像装置および撮像装置の制御方法
JP4356585B2 (ja) デジタルカメラ
JP2012227744A (ja) 撮像装置
JP6727975B2 (ja) 撮像装置、その制御方法とプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201013

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210518

R151 Written notification of patent or utility model registration

Ref document number: 6887245

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151