JP2018165800A - 像ブレ補正装置、撮像装置および撮像装置の制御方法 - Google Patents

像ブレ補正装置、撮像装置および撮像装置の制御方法 Download PDF

Info

Publication number
JP2018165800A
JP2018165800A JP2017063597A JP2017063597A JP2018165800A JP 2018165800 A JP2018165800 A JP 2018165800A JP 2017063597 A JP2017063597 A JP 2017063597A JP 2017063597 A JP2017063597 A JP 2017063597A JP 2018165800 A JP2018165800 A JP 2018165800A
Authority
JP
Japan
Prior art keywords
image
detection
subject
amount
blur correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017063597A
Other languages
English (en)
Other versions
JP6932531B2 (ja
Inventor
仁志 宮澤
Hitoshi Miyazawa
仁志 宮澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017063597A priority Critical patent/JP6932531B2/ja
Priority to US15/937,132 priority patent/US10659692B2/en
Priority to CN201810266102.6A priority patent/CN108668074B/zh
Publication of JP2018165800A publication Critical patent/JP2018165800A/ja
Application granted granted Critical
Publication of JP6932531B2 publication Critical patent/JP6932531B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6815Motion detection by distinguishing pan or tilt from motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

【課題】被写体の画像ブレを補正する像ブレ補正において、画面内の被写体の動き量を精度良く検出する。【解決手段】撮像光学系を通して撮像手段により撮像される被写体の画像のブレを、像ブレ補正手段により補正する像ブレ補正装置は、撮像された複数の画像から画像の動き量を検出する動きベクトル検出部151と、検出した画像の動き量および振れ検出手段により検出される振れの検出信号から被写体の動き量を算出し、算出した前記被写体の動き量に基づいて、像ブレ補正手段を制御する像ブレ補正制御部121と、を備え、動きベクトル検出部151は、複数の設定で画像の動き量を検出し、複数の設定で検出した画像の動き量の相関性を判定し、相関性の判定に基づいて画像の動き量の検出に用いる設定を決定する。【選択図】図1

Description

本発明は、像ブレ補正装置、撮像装置および撮像装置の制御方法に関する。
カメラの撮影方法の一つに流し撮りがある。流し撮りは、被写体の躍動感を得るために低速なシャッタ速度に設定し、例えば、水平方向に移動している被写体の動きに合わせてカメラを追従させながら撮影する手法である。流し撮りでは、被写体の動きとカメラの動きにズレが生じると被写体振れが発生する。また、シャッタ速度を低速にする程、背景の流し量が増えて被写体の躍動感は得られるが、一方で、像ブレや被写体振れが発生しやすくなる。
そこで、流し撮りを簡単に実現するために、2つの撮影アシスト機能が考えられる。1つ目のアシスト機能は、被写体の動きとカメラの動きのズレを検出し、そのズレに応じた被写体振れを光学補正系で補正する機能(以下、第1アシスト機能)である。2つ目のアシスト機能は、シャッタ速度をカメラが自動で設定する機能(以下、第2アシスト機能)である。この2つのアシスト機能を備えた撮影モードを流し撮りアシストモード(以下、流し撮りアシスト)と呼ぶ。
特許文献1は、第1アシスト機能について、被写体の速度とカメラを振る速度との差分を検出し、当該差分に相当するズレ量を、像ブレ補正機能を用いて補正する撮像装置を開示している。
特開2006−317848号公報
特許文献1の撮像装置は、動きベクトルと角速度を用いて、動きベクトルで検出したベクトルの中から被写体に相当するベクトル(以下、被写体ベクトル)を検出し、被写体の速度とカメラを振る速度との差分を検出している。この被写体の速度とカメラを振る速度との差分は、検出被写体の動きとカメラの動きのズレに対応している。動きベクトルの検出方法に関しては、相関演算に基づく相関法やブロックマッチング法等が公知例である。ブロックマッチング法では、入力された画像信号を複数の適当な大きさのブロック領域に分割し、ブロックごとに動きベクトルを検出する。まず、画像信号をブロック領域に分割し、このブロック単位で前のフレームとの差を計算し、計算した差の絶対値の和が最小となる前のフレームのブロックを探索する。そして、現在のフレームのあるブロックと探索した差の絶対値の和が最小となる前のフレームのブロックにおける画面間の相対的なズレが、そのブロックの動きベクトルを示している。
しかしながら、例えば、真白な壁といったように特徴点のない模様でのベクトル検出では、動きベクトルを誤検出する場合がある。動きベクトルを誤検出すると、光学補正系の駆動量を正しく算出できないため、被写体の振れ補正を過補正気味に制御してしまう恐れがある。
本発明は、被写体の画像ブレを補正する像ブレ補正において、画面内の被写体の動き量を精度良く検出することを目的とする。
上記課題を解決するために、本発明の像ブレ補正装置は、撮像光学系を通して撮像手段により撮像される被写体の画像のブレを、像ブレ補正手段により補正する像ブレ補正装置であって、撮像された複数の画像から画像の動き量を検出する検出手段と、前記検出手段が検出した前記画像の動き量および振れ検出手段により検出される振れの検出信号から被写体の動き量を算出する算出手段と、前記算出手段が算出した前記被写体の動き量に基づいて、前記像ブレ補正手段を制御する制御手段と、を備え、前記検出手段は、複数の設定で前記画像の動き量を検出し、前記複数の設定で検出した前記画像の動き量の相関性を判定し、前記相関性の判定に基づいて前記画像の動き量の検出に用いる設定を決定する。
本発明によれば、被写体の画像ブレを補正する像ブレ補正において、画面内の被写体の動き量を精度良く検出することができる。
撮像装置の構成を示す図である。 光学補正系の制御ブロック図である。 流し撮り撮影時におけるベクトル検出を説明する図である。 被写体ベクトル検出を説明する図である。 流し撮り撮影時における被写体の角速度を説明する図である。 動きベクトル検出部の苦手シーンを説明する図である。 動きベクトル検出部の検出設定を説明する図である。 動きベクトル検出部の検出設定による相関性を説明する図である。 流し撮りアシストの全体フローチャートである。 流し撮りアシストの第1アシスト機能のフローチャートである。 流し撮りアシストの第2アシスト機能のフローチャートである。
図1は、本実施形態に関わる撮像装置1の構成を示す図である交換レンズ100をカメラ本体部131に装着可能な撮像システムの一例として、流し撮りを支援する流し撮りアシストの機能を有するデジタルカメラを説明する。流し撮りアシストの設定が行われた場合の制御モードを、「流し撮りアシストモード」という。
交換レンズ100は、撮影レンズユニット101を備える。撮影レンズユニット101は、主撮像光学系102、焦点距離を変更可能なズームレンズ群103、および像ブレ補正用のシフトレンズ群104を備える。シフトレンズ群(以下、単にシフトレンズともいう)104は、被写体からの光の結像位置を変更することにより像ブレを補正する補正レンズの役目をもつ。撮影レンズユニット101の光軸と垂直な方向にシフトレンズ104を移動させることにより、撮像装置1の振れによる光軸に対する像の振れを光学的に補正できる。
交換レンズ100は、さらに、ズームエンコーダ106、位置検出センサ105、角速度センサ111を備える。ズームエンコーダ106は、ズームレンズ群103の位置を検出する。位置検出センサ105はシフトレンズ群104の位置を検出する。角速度センサ111は、撮像装置1の振れを検出する振れ検出手段の一例であるジャイロセンサ等であり、振れ検出信号を出力する。
交換レンズ100は、さらに、レンズ制御部112、ドライバ113、アンプ114を備える。レンズ制御部112は、レンズシステム制御用のマイクロコンピュータを備える。レンズ制御部112は、ドライバ113を介してシフトレンズ群104の駆動制御を行う。アンプ114は、シフトレンズ群104の位置検出センサ105の出力を増幅し、位置検出信号をレンズ制御部112に出力する。
交換レンズ100は、さらに、マウント接点部115を備え、カメラ本体部131のマウント接点部144と接続される。レンズ制御部112は、第1および第2の制御部を備える。第1の制御部は、像ブレ補正制御を行う像ブレ補正制御部121である。第2の制御部は、流し撮りアシスト用の制御を行う流し撮り制御部122である。レンズ制御部112はその他にもフォーカスレンズの移動による焦点調節制御や絞り制御等も行うが、図示上の簡略化のため省略する。また、像ブレ補正制御部121による像ブレ補正では、例えば横方向と縦方向といった、直交する2軸に関して振れの検出および補正が行われるが、2軸に関して同じ構成であるため、1軸分のみ説明する。このように、本実施形態の撮像装置1は、光学素子(シフトレンズ)を光軸と直交する方向に移動させて像ブレ補正を行う像ブレ補正装置を備える。なお、像振れ補正の方法は、補正素子としてシフトレンズ104を光軸と直交する方向に移動させる方法ではなく、補正素子として後述する撮像素子133を光軸と直交する方向に移動させる方法であってもよい。第1アシスト機能時も同様である。
カメラ本体部131は、露光時間を制御するためのシャッタ132、撮像素子133、アナログ信号処理回路(AFE)134、カメラ信号処理回路135を備える。撮像素子133は、例えばCMOS(相補型金属酸化膜半導体)型イメージセンサ等であり、撮像光学系を通して結像される被写体からの光を受光し、光電変換により電気信号を出力する。アナログ信号処理回路(AFE)134は、撮像素子133の出力信号を処理してカメラ信号処理回路135に供給する。
カメラ信号処理回路135は動きベクトル検出部151を備える。動きベクトル検出部151は、撮像素子133の出力信号に基づいて被写体の動きを検出する。またカメラ信号処理回路135は、撮像素子133の出力信号を処理して記録用の信号をメモリカード140に出力し、また表示用の信号を表示部141に出力する。
メモリカード140は、撮影された映像の信号を記録するための記録媒体であり、カメラ本体部131に着脱可能である。表示部141は液晶パネル(LCD)等の表示デバイスを備える。表示部141はユーザがカメラで撮影しようとしている画像のモニタ表示を行い、また撮影された画像を画面に表示する。表示部141は、カメラ本体部131に備えられていてもよいし、カメラ信号処理回路135からの出力を表示する外部装置であってもよい。
カメラ本体部131は、さらに、タイミングジェネレータ(TG)136、操作部142を備える。TG136は、撮像素子133やアナログ信号処理回路134の動作タイミングを設定する。操作部142は、電源スイッチ、レリーズスイッチ、切り替えスイッチ等を備える。ユーザは切り替えスイッチを操作して、流し撮りアシストモードに設定可能である。
カメラ本体部131は、さらに、カメラ制御部143、ドライバ138、シャッタ駆動用モータ139、シャッタ132を備える。カメラ制御部143は、カメラシステム制御用のマイクロコンピュータを備え、撮像システムの各構成部を制御する。カメラ制御部143は、シャッタ制御部161、被写体角速度算出部162、シャッタ速度算出部163を備える。シャッタ制御部161はドライバ138を介してシャッタ駆動用モータ139を制御し、シャッタ132の動作を制御する。被写体角速度算出部162は主被写体の角速度を算出する。シャッタ速度算出部163は、流し撮りアシストモードが設定されたときのシャッタ速度を算出する。
カメラ本体部131は、さらに、交換レンズ100とのマウント接点部144、角速度センサ171を備える。レンズ制御部112とカメラ制御部143は、マウント接点部115および144を介して所定のタイミングでシリアル通信を行う。角速度センサ171はカメラ本体部131の振れを検出し、振れ検出信号をカメラ制御部143に出力する。
図1の撮像システムにおいて、ユーザが操作部142の電源スイッチを操作し、カメラの電源がONすると、その状態変化をカメラ制御部143が検出する。カメラ制御部143は、カメラ本体部131の各回路への電源供給および初期設定を行う。また、交換レンズ100への電源供給が行われ、レンズ制御部112は交換レンズ100内の初期設定を行う。カメラ制御部143とレンズ制御部112とが通信可能な状態となった後、両者の間で所定のタイミングで通信が開始される。カメラ制御部143からレンズ制御部112への通信では、カメラの状態、撮影設定情報等が送信される。またレンズ制御部112からカメラ制御部143への通信では、交換レンズ100の焦点距離情報、角速度情報等が送信される。
ユーザは操作部142の切り替えスイッチを操作することにより、通常モードと流し撮りアシストモードを変更することができる。通常モードとは、流し撮りアシストモードの設定が行われていないモードである。通常モードが選択された場合、交換レンズ100内では角速度センサ111が、手ブレ等によりカメラに加わる振れを検出する。像ブレ補正制御部121は角速度センサ111による検出信号を用いてシフトレンズ群104の駆動制御を行う。これにより、像ブレ補正動作が行われ、撮像画像の像ブレが低減される。
図2を参照して、像ブレ補正機能に関して説明する。図2は像ブレ補正と流し撮りアシスト動作に関する構成図である。図1と共通の構成については既に使用した符号を付すことで、それらの詳細な説明を省略する。
像ブレ補正制御部121は、オフセット除去部201、利得位相算出部202、積分器203、像ブレ補正制御判定部204、減算器205、A/D変換器206、制御器207、パルス幅変調部208を備える。オフセット除去部201は、角速度センサ111による角速度検出信号に含まれるオフセットを除去する。オフセット除去部201は、例えばハイパスフィルタ(HPF)等で構成されたフィルタ演算部によって、角速度センサ111の出力に含まれている直流成分を除去する。
利得位相算出部202は、オフセット除去部201の出力を取得し、増幅および位相補償を行う。利得位相算出部202はオフセット成分が除去された角速度信号に対し、所定のゲインで増幅する増幅器、および位相補償フィルタで構成される。積分器203は利得位相算出部202の出力を積分する。積分器203は任意の周波数帯域で、その特性を変更し得る機能を有しており、シフトレンズ群104の駆動量を算出する。
像ブレ補正制御部121は、撮像装置1のパンニング(またはチルティング)の判定処理を行う。例えば、角速度センサ111の検出信号の示す角速度が、所定の閾値以上の大きさであって、所定時間(判定用の閾値時間)が経過した場合、パンニング動作中であると判定される。この場合、オフセット除去部201内のHPFのカットオフ周波数を高周波側に除々に変更する処理が行われる。カットオフ周波数を高周波側へ除々に変更し、像ブレ補正制御の目標信号を除々に小さくすることで、シフトレンズを光学中心位置に戻す制御が行われる。この制御を行わない場合には、パンニング動作と判定されるほどの大きな振れの角速度検出信号によって像ブレ補正が行われる。その結果、シフトレンズが補正限界点(制御範囲の限界位置)に到達し、撮影者に不自然な画角変化が画面上で見える可能性がある。HPFのカットオフ周波数を高周波側へ除々に変更する処理を行うことで、このような現象の発生を防止できる。
像ブレ補正制御判定部(以下、制御判定部という)204は、積分器203と後述の積分器225の各出力を取得し、カメラ情報取得部226の出力に応じてシフトレンズを駆動させるための信号を切り替える。撮影モードが流し撮りアシストモードに設定されている場合、制御判定部204は、流し撮り制御部122で算出された積分器225の出力を選択する。撮影モードが流し撮りアシストモード以外に設定されている場合、制御判定部204は、像ブレ補正制御部121で算出された積分器203の出力を選択する。なお、積分器225およびカメラ情報取得部226については後述する。
位置検出センサ105は、シフトレンズ群104の位置を検出し、検出信号をアンプ114が増幅する。A(アナログ)/D(デジタル)変換器206は、アンプ114が増幅した検出信号をデジタル化して減算器205に出力する。減算器205は、制御判定部204の出力を正入力とし、A/D変換器206の出力を負入力として減算を行い、減算結果である偏差データを制御器207へ出力する。
制御器207は、減算器205の出力する偏差データに対し、所定のゲインで増幅する増幅器、および位相補償フィルタを備える。偏差データは、制御器207において増幅器および位相補償フィルタによって信号処理が行われた後、パルス幅変調部208に出力される。パルス幅変調部208は、制御器207の出力データを取得し、パルス波のデューティー比を変化させる波形(即ちPWM波形)に変調して、シフトレンズ駆動用のドライバ113へ出力する。シフトレンズ群104の駆動にはボイスコイル型モータが使用され、ドライバ113はパルス幅変調部208の出力にしたがって、シフトレンズ群104を撮像光学系の光軸と垂直な方向に移動させる。
次に、流し撮りアシストに係る第1アシスト機能について説明する。第1アシスト機能は、被写体の動きとカメラの動きのズレを検出し、そのズレに応じた被写体振れを光学補正系で補正する機能である。
ユーザが操作部142により、流し撮りアシストモードに設定する操作を行うと、カメラ制御部143は流し撮りアシストの制御に切り替える。また、その切り替えを示す情報がカメラ制御部143からレンズ制御部112へと送信され、レンズ制御部112は流し撮りアシストモードの制御に切り替わる。図1および図2を参照して、流し撮り制御部122について説明する。流し撮り制御部122は、通信制御部211、角速度出力部222、被写体角速度取得部223、減算器224、積分器225およびカメラ情報取得部226を有する。
カメラ情報取得部226(図2)は、通信制御部211を介してカメラ制御部143から送信されてくる各種のカメラ情報を取得する。カメラ情報は、流し撮りアシストモードの設定情報やレリーズ情報等である。カメラ情報取得部226は、制御判定部204に対し、判定処理に必要な情報を出力する。角速度出力部222は、オフセット除去部201の出力、つまりオフセット成分が除去された角速度センサ111の角速度検出信号を取得する。角速度出力部222は、通信制御部211とマウント接点部115を介して、カメラ制御部143へ角速度検出信号を送信する。
被写体角速度取得部223は、カメラ本体部131内の被写体角速度算出部162で算出される被写体の角速度のデータを、マウント接点部144と通信制御部211を介して取得する。減算器224は、オフセット除去部201の出力を正入力とし、被写体角速度取得部223の出力を負入力として、減算を行う。被写体角速度取得部223による被写体の角速度から、オフセット成分が除去された検出信号の示す角速度が減算されることで、偏差が算出される。減算器224は偏差を積分器225に出力する。積分器225は偏差を積分し、積分演算の結果を制御判定部204に出力する。
被写体角速度算出部162が行う被写体の角速度の算出処理では、画像の動き量をベクトルで検出し、検出した全ベクトルから被写体に対応するベクトル(被写体ベクトル)を正確に検出する処理が実行される。そして、検出された被写体ベクトルを角速度(被写体角速度)へ変換する処理が行われる。
ここで、被写体ベクトルを正確に検出する方法について説明する。
カメラ本体部131では、流し撮りアシスト中にカメラ信号処理回路135内の動きベクトル検出部151が動きベクトルを検出する。つまり、アナログ信号処理回路134で信号処理された複数の映像情報から、画像の動きベクトルが検出される。
図3を参照して、動きベクトル検出の具体例を説明する。図3は、動体である被写体301の撮影シーンの例を示し、撮影画面の水平方向をX方向とし、垂直方向をY方向と定義する。この場合、動きベクトル検出部151により検出される2種類のベクトルは、被写体301の部分に対応するベクトルと、背景部分に対応するベクトルである。複数の検出ブロックに相当する矩形枠は、動きベクトルを検出するための検出枠302である。図3の設定は、流し撮りにおいて被写体の振れのみを光学的補正系で補正するために密集型の配置とされている。つまり、密集型の配置に設定することで、検出枠302に対応する各検出ブロックの検出精度を高めることができる。被写体に焦点を合わせるためのフォーカス枠(焦点検出枠)303を矩形枠で示す。
図4は、動きベクトル検出部151が検出したベクトルをヒストグラム(度数分布)演算したときの結果を例示する。横軸はブレ量(単位:pixel)を表し、動きベクトルに相当する。縦軸は動きベクトルの度数を表す。図4(A)は図3のX方向(画面の水平方向)のヒストグラムを示す。図4(B)は図3のY方向(画面の垂直方向)のヒストグラムを示す。
まず、図4(A)を用いてX方向の動作について説明する。図3の被写体301の撮影において、カメラが被写体301の動きに上手く追従できていれば、被写体の動きとカメラの動きとのズレ量は小さい。この場合、被写体301の部分に相当するベクトル群401は0pix付近に存在する。一方、カメラが被写体301の動きに上手く追従できていなければ、被写体の動きとカメラの動きとのズレ量は大きくなる。その結果、被写体301の部分に相当するベクトル群401は0pixの位置から離れていく。
動きベクトル検出部151は、検出したベクトルに対して、当該ベクトルが主被写体に対応するベクトル(以下、主被写体ベクトルという)であるか、背景に対応するベクトル(以下、背景ベクトルという)であるかを判別していない。つまり、この段階では、被写体301に対応するベクトル群401と、背景に対応するベクトル群402の区別がつかない。そこで、背景ベクトルの大きさと、撮像面上での振れ量(像面移動量)とが同等になることを利用して、被写体ベクトルと背景ベクトルを判別する処理が行われる。具体的には、交換レンズ100内の角速度センサ111の角速度から像面移動量403が算出される。そして、像面移動量403を基準にして、予め定められた範囲(以下、背景判定閾値という)404内に存在するベクトルが背景ベクトルと判定される。また、被写体判定用の閾値405が度数軸上に設定される。背景判定閾値404の範囲外に存在するベクトルであって、かつ閾値405を超えているベクトルが被写体ベクトルと判定される。
最終的に制御に使用するベクトルである主被写体ベクトルは、被写体ベクトルと判定されたベクトル群401の内、カメラのフォーカス枠303(図3)に最も近いベクトルの位置を起点とし、その周囲のベクトルを同心円状に積算した値によって算出される。積算は、一定数(例えば、4個)のベクトルを同心円状に積算する。被写体ベクトルに関して、フォーカス枠303に最も近い被写体ベクトルを起点にする理由は、通常、撮影者は撮影対象である主被写体にフォーカス枠303を合わせているからである。
図5を参照して、ベクトル群401の一部のみを積算し、全てを積算しない理由を説明する。図5は、流し撮り撮影時における被写体の角速度を説明する図である。角度差502は、撮像装置1に正対する位置(正面)と撮像装置1とを結ぶ直線と、撮像装置1と被写体301とを結ぶ直線とがなす角度を表している。
被写体301を撮像装置1の正面である撮影距離501で撮像すると、被写体301と撮像装置1の角度差502は0度になり、このとき撮像装置1で撮像した被写体301の構図は構図508となる。構図508では、被写体301と撮像装置1に角度差502がなく、被写体は真横で写るので、被写体301の前方位置504と後方位置505での角速度は同等になる。一方、被写体301を撮影距離503で撮影すると、被写体301と撮像装置1の角度差502がθ度となり、このとき撮像装置1で撮像した被写体301の構図は構図509となる。構図509では、被写体301と撮像装置1の角度差502に応じて、被写体301の前方位置506と後方位置507で角速度は異なる。つまり、被写体301と撮像装置1の角度差502があると、被写体301は一定の速度で動いていても、被写体301の位置によって角速度が変化している。そのため、角度差502をつけた構図509で被写体301を撮影し、検出したベクトル群401全てを積算すると、流し撮りで止めたい即ち主被写体としたい前方位置506ではなく、後方位置507付近を止める主被写体ベクトルを算出してしまう場合がある。
図4の説明に戻る。積算により算出された被写体ベクトルは主被写体の像面移動量に相当する。主被写体の像面移動量を角速度へ換算することで主被写体の角速度(補正すべき被写体振れ量)が求まる。尚、像面移動量の算出時に用いる角速度については、角速度センサ111の代わりに、カメラ本体部131内の角速度センサ171により検出される角速度を用いてもよい。
続いて、図4(B)を用いてカメラのY方向の動作を説明する。図3の撮影シーンでは、撮影者がX方向へカメラを移動させる操作を行うものとする。この場合、Y方向の角速度は微小な値(例えば1deg/sec以下)となる。つまり、Y方向の像面移動量403は0pix付近に位置することになるので、Y方向における微小な被写体ベクトルは背景判定閾値404の範囲内に含まれる。そのため、被写体に対応するベクトル群401が背景ベクトルの候補として誤検出される可能性がある。そこで、背景判定閾値404を角速度に応じて変化させX方向の背景判定閾値404よりも小さくすることで、Y方向の被写体ベクトルを正しく検出する。
図6は、動きベクトル検出部151の苦手シーンを説明する図である。動きベクトル検出部151は、例えば、真白い壁など画像に特徴点がない場合に正しくベクトルを検出できない場合がある。図6は、被写体301と撮像装置1の角度差502を例えば+30度つけた構図で、撮影者は被写体301の前方部分をとめようとしている場合である。動きベクトル検出部151は、被写体に焦点を合わせるためのフォーカス枠303を囲むようにベクトル検出のための検出枠302を配置する。検出枠302が配置された被写体301の前方位置は真白で模様がなく、ベクトルを検出する際に特徴としてとらえられる部分がないため、動きベクトル検出部151がベクトルを誤検出する恐れがある。そこで、本実施形態では、動きベクトル検出部151においてベクトルの検出枠302の設定を動的に変更しながら画像の動きベクトルを検出する。そして、動きベクトル検出部151の検出設定に対する相関性を判定し、どの検出設定で検出したベクトルを最終的に制御に採用するかを決定することで、所望の位置での動きベクトルを算出する。
図7は、動きベクトル検出部151によるベクトルの検出枠302の設定を示す図である。図7(A)は各検出モードの設定を表し、図7(B)は検出モードを組み合わせた設定を表している。動きベクトル検出部151は、検出モードA〜検出モードCの3種類のベクトル検出の検出モードを有している。
図7(A)に示されるように、検出モードAの検出枠のサイズは、全検出モードの中で最も小さく設定されている。検出モードAの検出枠の最大検出レンジは他の検出モードより狭いが、検出分解能は細かくなる。検出モードBでは、検出枠のサイズも最大検出レンジも検出分解能も「通常」のものが設定される。具体的には、検出モードBの検出枠のサイズは、検出モードAの検出枠のサイズよりも大きく、検出モードCの検出枠のサイズよりも小さく設定されている。そのため、検出モードBの最大検出レンジは検出モードAの最大検出レンジよりも広く、検出モードCの最大検出レンジよりも狭い。そして、検出モードBの検出分解能は、検出モードAの検出分解能よりも粗いが、検出モードCの検出分解能よりは細かい。検出モードCの検出枠のサイズは、検出モードBの検出枠のサイズよりも大きく設定されている。検出モードCの最大検出レンジは、検出モードBの最大検出レンジよりも広く、検出分解能は、検出モードBの検出分解能よりも粗い。
図7(B)に示されるように、動きベクトル検出部151は、設定αおよび設定βの2種類のベクトル検出の設定を有している。設定αは、検出モードAと検出モードBを組み合わせた設定である。設定βは、検出モードBと検出モードCを組み合わせた設定である。なお、動きベクトル検出部151が有する検出モードは3種類に限られるものではなく、検出枠設定の異なる複数の検出モードを有していればよい。また、動きベクトル検出部151が有するベクトル検出の設定は、2種類に限られるものではなく、例えば検出モードAと検出モードCを組み合わせた設定など、検出モードの組み合わせに対応する設定であれば設定に含めてよい。
通常の流し撮りでアシストモードでは、検出モードAと検出モードBを組み合わせた設定αでベクトルの検出を行う。検出モードAと検出モードBの相関性について、図8を参照して説明する。図8は、検出設定による相関性を説明する図である。横軸はブレ量(単位:pixel)を表し、動きベクトルに相当する。縦軸は動きベクトルの度数を表す。
図8(A)は、検出モードAと検出モードBで検出したベクトルのヒストグラムで、検出モードAと検出モードBの検出に相関性がある場合を示している。相関性の判定では、検出モードAで被写体と判定されたベクトルのうちヒストグラム上の度数ピークを有するベクトルと、検出モードBで被写体と判定されたベクトルのうちヒストグラム上の度数ピークを有するベクトルの振れ量の差分を閾値と比較する。差分が相関性判定閾値以下であれば相関性ありと判定する。相関性判定閾値は、例えば、検出モードAと検出モードBの組合せ時は2pixと設定し、検出モードの組合せパターンに応じて変更しても良い。
図8(A)では、検出モードAで被写体と判定されたベクトル801と、検出モードBで被写体と判定されたベクトル802の差分803が相関性判定閾値以下であるため、相関性ありと判定される。相関性ありと判定された場合は、検出モードのうち検出枠設定の小さい方の検出モードを制御に用いる検出モードとして採用する。したがって、図8(A)では、検出モードAで検出した動きベクトルの検出値を制御に用いる。
一方、図8(B)は、検出モードAと検出モードBで検出したベクトルのヒストグラムで、検出モードAと検出モードBの検出に相関性がない場合を示している。図8(B)では、検出モードAで被写体と判定されたベクトル804と、検出モードBで被写体と判定されたベクトル805の振れ量の差分806が相関性判定閾値より大きいため、相関性なしと判定される。相関性なしと判定された場合、ベクトルの検出信頼度の高い検出モードを制御に用いる。動きベクトル検出部151により検出されるベクトルの検出信頼度は、ベクトル検出値と同時に出力される値である。例えば画像情報に特徴点がない場合や、低輝度で画像情報のコントラストが低い場合等に検出信頼度が低い値をとるものとする。つまり、動きベクトル検出部151により画像情報を対象として検出し難い場合に取得されるベクトルは検出信頼度が低いと判定される。各検出ブロックで検出信頼度を出力し、各検出ブロックの検出信頼度から検出枠302の全体の信頼度を算出し、全体の信頼度が信頼度判定閾値(例えば、80%)以上となる検出モードを制御に採用する。
図8(B)において、検出モードAの設定の信頼度が信頼度判定閾値未満で検出モードBの設定の信頼度が信頼度判定閾値以上であれば、検出モードBを採用する。また、検出モードAと検出モードBともに信頼度判定閾値未満であれば、検出モードBと検出モードCを組み合わせた設定βにする。なお、検出モードAと検出モードBともに信頼度判定閾値以上である場合、信頼度の高い方の検出モードを採用するようにしてもよいし、検出枠が小さい設定の検出モードAを採用するようにしてもよい。
なお、検出モードの組合せ設定を変更したフレームで検出したベクトルは誤検出している可能性がある。誤検出したベクトルを制御に使うと、被写体振れ補正を過補正気味に制御してしまうため、被写体角速度を0deg/secとする。被写体角速度を0deg/secにすることで、流し撮りしている方向の光学補正系は光学中心位置に保持されるため、被写体振れ補正の誤制御を防ぐことが可能となる。
被写体ベクトルが決定された後、被写体角速度の算出処理が実行される。焦点距離、フレームレート、および撮像素子の画素ピッチを用いて、角速度[deg/sec]から像面移動量[pix]を算出する処理とは逆の算出処理によって、像面移動量[pix]から角速度[deg/sec]を算出することができる。カメラ制御部143は、被写体角速度算出部162が算出した被写体の角速度に、交換レンズ100内の角速度出力部222による角速度データを加算した値をレンズ制御部112に送信する。カメラ制御部143の送信情報は、マウント接点部144,115を介して交換レンズ100内のレンズ制御部112が受信する。
続いて、流し撮りアシストの第2アシスト機能について説明する。第2アシスト機能は、シャッタ速度をカメラが自動で設定する機能である。
カメラ本体部131内のシャッタ速度算出部163は、流し撮りアシスト用のシャッタ速度を算出する。具体的には以下の情報を用いて、(1)式によりシャッタ速度が算出される。
TV=α/f/(ωc―ωs)・・・・・(1)
上式中、
TV:シャッタ速度、
α:操作部142により撮影者が設定する背景の流し効果の設定値、
f:マウント接点部115,144を介して得られる交換レンズ100の焦点距離、
ωc:カメラ本体部131内の角速度センサ171により検出される角速度、
ωs:被写体角速度算出部162により算出される被写体角速度、
である。
背景の流し効果の設定値αは、背景画像の振れ量が像面上移動量で例えば800μm(マイクロメートル)となるように、予め設定される値である。背景の流し効果については小、中、大のように、複数の効果を段階的に設定可能である。撮影者は、流し撮りアシストモードを設定し、背景の流し効果を所望の設定にするだけで、カメラ本体部131がシャッタ速度を自動的に設定して制御する。よって、流し撮りに不慣れな撮影者でも簡単にシャッタ速度の設定を行える。なお、背景の流し効果は、小、中、大のように設定するのではなく、1〜10のように数値で設定するのでもよい。
図9〜図11のフローチャートを参照し、流し撮りアシストの制御について説明する。図9は、流し撮りアシストの制御に関する全体的な処理の流れを示すフローチャートである。以下の処理は、カメラ制御部143およびレンズ制御部112の各CPUが所定の制御プログラムを解釈して実行することにより実現される。
S901で、カメラ制御部143は、操作部142で撮影者により流し撮りアシストモードの設定操作が行われたか否かを判定する。流し撮りアシストモードに設定された場合、S902の処理に進み、流し撮りアシストモード以外に設定された場合、流し撮りアシストの制御は行われず、処理を終了する。
S902で、カメラ制御部143はカメラ本体部131に装着された交換レンズ100が流し撮りアシストに対応した交換レンズであるか否かを判定する。交換レンズ100が、流し撮りアシストに対応した交換レンズであると判定された場合、S903に進み、流し撮りアシストに対応していない交換レンズであると判定された場合、S908へ進む。尚、交換レンズ100が流し撮りアシストに対応しているか否かの判定処理は、レンズ制御部112からカメラ制御部143へ送信されるレンズ情報の信号に基づいて行われる。
S903で、動きベクトル検出部151は、ベクトル検出の設定に基づいてベクトルの検出枠302の設定を行い、S904に進む。
S904で、動きベクトル検出部151は、複数の検出枠で画面内の動きを動きベクトルで検出し、S905に進む。
本実施形態において、例えば、設定αが設定されていた場合、S903で、動きベクトル検出部151は、検出モードAに対応する検出枠と設定モードBに対応する設定枠を設定する。そして、S904で、動きベクトル検出部151は、検出モードAに対応する検出枠と設定モードBに対応する設定枠それぞれに基づいて画面内の動きベクトルを検出する。
S905で、角速度センサ111により検出される角速度検出信号は、レンズ制御部112からカメラ制御部143へ送信される。カメラ制御部143は振れの角速度検出信号を取得し、次にS906へ進む。
S906で、カメラ制御部143は、S905で取得した角速度を像面移動量へ換算する演算を行う。交換レンズ100内の角速度センサ111により検出される角速度と、撮像光学系の焦点距離と、フレームレートを用いて像面上での移動量(像面移動量)が算出される。次にS907へ進む。
S907で、被写体角速度算出部162は、S904で検出されたベクトルから判定される主被写体ベクトルから主被写体の角速度を算出する。算出処理の詳細については図10を用いて後で説明する。次にS908へ進む。
S908では、シャッタ速度算出部163は、流し撮りアシスト用のシャッタ速度を算出する。算出処理の詳細については図11を用いて後で説明する。次にS909へ進む。
S909で、レンズ制御部112は、S907で算出された被写体角速度と、S908で算出された流し撮りアシスト用のシャッタ速度の各データをカメラ制御部143から受信し、露光期間中にシフトレンズ群104を駆動させる制御量を決定する。ドライバ113は決定された制御量にしたがってシフトレンズ群104を駆動する。光学的な像ブレ補正系により、カメラのパンニング動作時の角速度と主被写体の角速度との差分が低減される結果、流し撮りの成功確率を高めることができる。その後、図9の処理を終了する。
図10のフローチャートを参照して、図9のS907に示す被写体角速度の算出処理、および像ブレ補正量の算出処理について説明する。
S1001で、カメラ制御部143は、図9のS904で検出されたベクトルによりヒストグラム演算を行う。ヒストグラム(図8)が生成された後、次のS1002へ進む。
S1002で、カメラ制御部143は、動きベクトル検出部151の検出結果に基づき、各検出モードで被写体ベクトルが検出できているかの判定を行う。被写体ベクトルが検出できていると判定された場合は、S1003に進む。一方、被写体ベクトルが検出できていないと判定された場合は、S1012に進み、被写体振れ補正制御ではなく像ブレ補正制御へ切替える。
S1003で、動きベクトル検出部151は、S1001で生成したヒストグラムに基づき、S903で設定した各検出モードの動き量の相関性を判定する。動き量の相関性があると判定された場合は、S1005に進む。一方、動き量の相関性がないと判定された場合は、S1008に進む。
S1004で、動きベクトル検出部151は、流し撮り制御に用いる検出モードを決定する。本実施形態では、検出枠設定の小さい方の検出モードを採用する。次にS1005に進む。
S1005で、カメラ制御部143およびカメラ信号処理回路135は、被写体ベクトル算出処理を行う。具体的には、図3に例示するフォーカス枠303の位置に最も近い検出ブロックを起点として、同心円状に検出ブロックを検索する処理が実行され、一定数の被写体ベクトルを積算する処理が行われる。この算出処理では、S1004もしくはS1009で決定された検出モードの検出枠によるベクトル検出に基づいて、被写体ベクトルが算出される。次に、S1006に進む。
S1006で、被写体角速度算出部162は、主被写体の角速度を算出する。つまり、図9のS906で角速度から像面移動量を算出した方法とは逆の方法によって、主被写体の像面移動量から被写体角速度を算出する処理が行われる。次に、S1007へ進む。
S1007で、カメラ制御部143は、S1006で算出された被写体角速度に対し、角速度出力部222からカメラ制御部143へ送信される角速度の値を加算して、レンズ制御部112へ送信する。被写体角速度取得部223はカメラ制御部143からレンズ制御部112へ送信された被写体角速度を取得して減算器224に出力する。減算器224は、交換レンズ100内の角速度センサ111の角速度と、被写体角速度との差分を演算する。積分器225は算出された差分を積分し、被写体の振れ補正制御の目標制御値(被写体振れ補正量)として制御判定部204へ出力する。次にリターン処理へ移行する。
S1008で、動きベクトル検出部151は、検出モード毎に、全体の検出信頼度を算出し、その値が信頼度判定閾値(例えば、80%)以上であるかを判定する。全体の検出信頼度は、各検出ブロックの検出信頼度の高いベクトルが全検出数に対する割合である。全体の検出信頼度が信頼度判定閾値以上であると判定された場合は、S1009に進む。一方、信頼度判定閾値以上でないと判定された場合は、S1010に進む。
S1009で、動きベクトル検出部151は、流し撮り制御に用いる検出モードを決定する。本実施形態では、S1008で算出した検出信頼度が高い方の検出モードを採用し、その検出設定モードで検出したベクトルを、次のS1005での被写体ベクトル算出に用いる。
S1010で、動きベクトル検出部151は、検出設定を変更する。例えば、元の設定αを設定βに変更する。次に、S1011に進む。
S1011で、被写体角速度算出部162は、現在の設定組合せによる検出モードで検出したベクトルに動き量相関性と検出信頼度が低いため、被写体角速度を0deg/secに設定する。これは、誤検出したベクトルを用いて被写体角速度を算出した場合に、被写体振れを過補正気味に補正してしまうことを防ぐためである。次に、S1006に進む。
S1002で被写体ベクトルが検出できないと判定された場合、光学補正系の制御は像ブレ補正制御に切り替わり、像ブレ補正制御部121が制御を行う。S1012で、レンズ制御部112の像ブレ補正制御部121は、交換レンズ100内の角速度センサ111で検出された角速度を取得し、次のS1013へ進む。
S1013で、像ブレ補正制御部121のオフセット除去部201は、S1012で取得した角速度に重畳しているオフセット成分を除去する。例えば、任意の周波数帯域でその特性を変更し得る機能を有するハイパスフィルタ(HPF)を用いる方法がある。この方法では、角速度に含まれる低周波数成分をハイパスフィルタで遮断してから高周波数帯域の信号を出力することで、角速度に重畳しているオフセット成分が除去される。
S1014で、像ブレ補正制御部121の利得位相算出部202は、S1013でオフセット除去された角速度に対して、フィルタ処理を施す際の利得および位相を算出する。所定のゲインで増幅する増幅器、および位相補償フィルタで構成されたフィルタ回路により、角速度検出信号に対する信号処理が行われた後、次のS1015へ進む。
S1015で、像ブレ補正制御部121の積分器203は、S1014のフィルタ回路によって信号処理された角速度を積分する。積分により得られた角度値は像ブレ補正制御の目標制御値(像ブレ補正量)として、制御判定部204に出力される。その後、リターン処理へ移行する。
次に、図11のフローチャートを参照して、図9のS908に示す流し撮り用のシャッタ速度の算出について説明する。
S1101で、カメラ制御部143は、操作部142により撮影者が設定操作を行った背景流し効果の設定値(α)を取得し、次のS1102へ進む。
S1102で、カメラ制御部143は、レンズ制御部112から送信される焦点距離の情報を、マウント接点部115およびマウント接点部144を介して取得し、次のS1103へ進む。
S1103で、カメラ制御部143は、カメラ本体部131内の角速度センサ171により検出される角速度(ωc)を取得した後、次のS1104へ進む。
S1104で、カメラ制御部143は、図10のS1006で演算された被写体角速度(ωs)を取得し、次のS1105へ進む。
S1105で、シャッタ速度算出部163は、S1101〜S1104で取得した各データを用いて、(1)式に基づき、流し撮り用のシャッタ速度(TV)を算出する。なお、図9のS902で流し撮りアシストに対応していないレンズがカメラ本体部131に装着されていると判定された場合には、角速度センサ111により検出される角速度を取得できない。この場合には、図10のS1001のヒストグラムから判別される背景ベクトルにより背景の角速度が算出されて、流し撮り用のシャッタ速度が算出される。または、シャッタ速度算出部163にて予めプログラムされた値(例えば1/60秒)によりシャッタ速度を設定してもよい。または、第2アシスト機能におけるシャッタ速度の設定に関して、ユーザが操作部142で自動設定と手動設定を選択できる構成にしてもよい。つまり、流し撮りに習熟している撮影者は、手動でシャッタ速度を任意に設定することができる。また、流し撮りに不慣れな撮影者は自動設定を選択できる。
以上、説明したように、本実施形態では、複数のベクトルの検出枠を設定することで、被写体ベクトルの検出を精度良く実行することができる。流し撮りアシストにかかわる第1および第2アシスト機能により、背景画像が流れて主被写体の像ブレが低減された、綺麗な流し撮り写真が簡単に撮影可能となる。
本発明の好ましい実施形態について図1の構成の撮像装置1、所謂ミラーレスカメラを用いて説明したが、本発明は一眼レフカメラやコンパクトデジタルカメラ等にも幅広く適用可能である。また、上記の実施形態では、動きベクトル検出部151が検出モードA〜検出モードCの3種類のベクトル検出の検出モードを有している例を説明したが、それぞれ異なるモードに対応する処理を行う複数のベクトル検出部を備えていてもよい。また、動きベクトル検出部151は、同一の映像情報に対して異なる検出モードでベクトル検出を行っているが、時間的に略同時期に撮像されたとみなせる映像情報であれば、複数の映像情報に対してそれぞれ別々の検出モードでベクトル検出してもよい。時間的に略同時期に撮像されたとみなせる映像情報は、例えば、複数の撮像素子で略同時期に撮像された映像情報や、同一の撮像素子内で異なる領域を使って略同時期に撮像して別々に出力された映像情報や、同一の撮像素子で連続的に撮像された映像情報である。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
100 交換レンズ
112 レンズ制御部
121 像ブレ補正制御部
122 流し撮り制御部
131 カメラ本体
143 カメラ制御部
151 動きベクトル検出部

Claims (12)

  1. 撮像光学系を通して撮像手段により撮像される被写体の画像のブレを、像ブレ補正手段により補正する像ブレ補正装置であって、
    撮像された複数の画像から画像の動き量を検出する検出手段と、
    前記検出手段が検出した前記画像の動き量および振れ検出手段により検出される振れの検出信号から被写体の動き量を算出する算出手段と、
    前記算出手段が算出した前記被写体の動き量に基づいて、前記像ブレ補正手段を制御する制御手段と、を備え、
    前記検出手段は、複数の設定で前記画像の動き量を検出し、前記複数の設定で検出した前記画像の動き量の相関性を判定し、前記相関性の判定に基づいて前記画像の動き量の検出に用いる設定を決定する
    ことを特徴とする像ブレ補正装置。
  2. 前記検出手段は、複数の設定で検出した前記画像の動き量のヒストグラムを生成し、前記ヒストグラムに基づいて前記複数の設定で検出した前記画像の動き量の差分を算出し、前記差分が第1の閾値以下である場合、前記相関性があると判定する
    ことを特徴とする請求項1に記載の像ブレ補正装置。
  3. 前記検出手段は、前記相関性があると判定された場合、前記複数の設定のうち、前記画像の動き量を検出する検出枠が小さい設定を、前記画像の動き量の検出に用いる設定に決定する
    ことを特徴とする請求項1または請求項2に記載の像ブレ補正装置。
  4. 前記検出手段は、さらに、前記画像の動き量と検出の信頼度を検出値として出力し、
    前記検出手段は、前記相関性がないと判定された場合、前記信頼度に基づいて前記画像の動き量の検出に用いる設定を決定する
    ことを特徴とする請求項1乃至3のうちいずれか1項に記載の像ブレ補正装置。
  5. 前記検出手段は、前記信頼度が高い動き量が検出された数が第2の閾値以上であるか判定し、前記第2の閾値以上であると判定された場合、前記複数の設定のうち該信頼度を出力した設定を前記画像の動き量の検出に用いる設定に決定し、前記第2の閾値未満であると判定された場合、前記複数の設定とは異なる複数の設定を前記画像の動き量の検出に用いる設定に決定する
    ことを特徴とする請求項4に記載の像ブレ補正装置。
  6. 前記第2の閾値未満であると判定された場合、前記制御手段は、前記被写体の角速度を0として、前記像ブレ補正手段を制御する
    ことを特徴とする請求項5に記載の像ブレ補正装置。
  7. 前記複数の設定はそれぞれ、前記画像の動き量を検出する検出枠の大きさが異なる
    ことを特徴とする請求項1乃至6のうちいずれか1項に記載の像ブレ補正装置。
  8. 算出手段は、前記検出手段が検出した前記画像の動き量のうち焦点検出枠に最も近い位置を起点とし、一定数を積算することで、前記被写体の動き量を算出する
    ことを特徴とする請求項1乃至7のうちいずれか1項に記載の像ブレ補正装置。
  9. 流し撮りを支援するモードを設定する設定手段を備え、
    前記モードが設定された場合、前記制御手段は、前記像ブレ補正装置に対する前記被写体の角速度データを算出し、前記被写体の像ブレを補正する補正量を算出して前記像ブレ補正手段を制御し、
    前記モードが設定されない場合、前記制御手段は、前記検出信号から算出される像ブレの補正量により前記像ブレ補正手段を制御する
    ことを特徴とする請求項1乃至8のうちいずれか1項に記載の像ブレ補正装置。
  10. 請求項1乃至9のいずれか1項に記載の像ブレ補正装置と、
    前記撮像手段と、
    前記像ブレ補正手段と、を備え、
    前記像ブレ補正手段は、前記被写体からの光の結像位置を変更することにより像ブレを補正する補正レンズを備える
    ことを特徴とする撮像装置。
  11. 撮像装置の振れを検出する振れ検出手段と、
    流し撮りを支援するモードを設定する設定手段と、
    前記モードが設定された場合、前記振れ検出手段による検出信号及び被写体の角速度から流し撮り用のシャッタ速度を算出してシャッタ制御を行う制御手段と、を備える
    ことを特徴とする請求項10に記載の撮像装置。
  12. 撮像光学系を通して撮像手段により撮像される被写体の画像のブレを、像ブレ補正手段により補正する像ブレ補正装置にて実行される制御方法であって、
    撮像された複数の画像から画像の動き量を検出する検出工程と、
    前記検出工程において検出した前記画像の動き量および振れ検出手段により検出される振れの検出信号から被写体の動き量を算出する算出工程と、
    前記算出工程において算出された前記被写体の動き量に基づいて、前記像ブレ補正手段を制御する制御工程と、を備え、
    前記検出工程では、複数の設定で前記画像の動き量を検出し、前記複数の設定で検出した前記画像の動き量の相関性を判定し、前記相関性の判定に基づいて前記画像の動き量の検出に用いる設定を決定する
    ことを特徴とする像ブレ補正装置の制御方法。
JP2017063597A 2017-03-28 2017-03-28 像ブレ補正装置、撮像装置および撮像装置の制御方法 Active JP6932531B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017063597A JP6932531B2 (ja) 2017-03-28 2017-03-28 像ブレ補正装置、撮像装置および撮像装置の制御方法
US15/937,132 US10659692B2 (en) 2017-03-28 2018-03-27 Image blur correction device, imaging apparatus, control method of imaging apparatus and non-transitory storage medium
CN201810266102.6A CN108668074B (zh) 2017-03-28 2018-03-28 图像模糊校正装置及其控制方法、摄像设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017063597A JP6932531B2 (ja) 2017-03-28 2017-03-28 像ブレ補正装置、撮像装置および撮像装置の制御方法

Publications (2)

Publication Number Publication Date
JP2018165800A true JP2018165800A (ja) 2018-10-25
JP6932531B2 JP6932531B2 (ja) 2021-09-08

Family

ID=63670101

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017063597A Active JP6932531B2 (ja) 2017-03-28 2017-03-28 像ブレ補正装置、撮像装置および撮像装置の制御方法

Country Status (3)

Country Link
US (1) US10659692B2 (ja)
JP (1) JP6932531B2 (ja)
CN (1) CN108668074B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11330209B2 (en) * 2018-03-29 2022-05-10 Sony Semiconductor Solutions Corporation Imaging device and electronic device enabled to control position of lens
US11153485B2 (en) * 2019-09-05 2021-10-19 Gopro, Inc. Automated camera mode selection using local motion vector
CN111263069B (zh) * 2020-02-24 2021-08-03 Oppo广东移动通信有限公司 防抖参数处理方法、装置、电子设备和可读存储介质
CN111526285B (zh) * 2020-04-15 2021-07-13 浙江大华技术股份有限公司 一种图像防抖方法及电子设备、计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004297719A (ja) * 2003-03-28 2004-10-21 Toshiba Corp フレーム補間方法及びこれを用いた画像表示システム
JP2005077886A (ja) * 2003-09-02 2005-03-24 Canon Inc 撮影装置
JP2008124787A (ja) * 2006-11-13 2008-05-29 Sanyo Electric Co Ltd 手ぶれ補正装置及び方法並びに撮像装置
JP2012170006A (ja) * 2011-02-16 2012-09-06 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
JP2014236231A (ja) * 2013-05-30 2014-12-15 株式会社ニコン カメラ
JP2016171541A (ja) * 2015-03-16 2016-09-23 キヤノン株式会社 動きベクトル検出装置、動体角速度算出装置、撮像装置およびレンズ装置
JP2016201662A (ja) * 2015-04-09 2016-12-01 キヤノン株式会社 撮像装置およびその制御方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006317848A (ja) 2005-05-16 2006-11-24 Canon Inc 静止画撮像装置
JP4178480B2 (ja) * 2006-06-14 2008-11-12 ソニー株式会社 画像処理装置、画像処理方法、撮像装置および撮像方法
JP2014123809A (ja) * 2012-12-20 2014-07-03 Canon Inc 撮像装置、撮像システム、および、撮像装置の制御方法
TWI542201B (zh) * 2013-12-26 2016-07-11 智原科技股份有限公司 降低視訊畫面抖動的方法與裝置
JP6512907B2 (ja) * 2015-04-08 2019-05-15 キヤノン株式会社 シフト素子制御装置、シフト素子制御プログラムおよび光学機器
JP6494386B2 (ja) * 2015-04-10 2019-04-03 キヤノン株式会社 撮像装置およびその制御方法
JP6579807B2 (ja) * 2015-06-08 2019-09-25 キヤノン株式会社 撮像制御装置、撮像装置および撮像制御プログラム
JP6674264B2 (ja) * 2016-01-26 2020-04-01 キヤノン株式会社 像振れ検出装置及び方法、及び撮像装置
JP6821358B2 (ja) * 2016-08-31 2021-01-27 キヤノン株式会社 制御装置、撮像装置、レンズ装置、制御方法、プログラム、および、記憶媒体
JP6818473B2 (ja) * 2016-09-07 2021-01-20 キヤノン株式会社 ブレ補正装置およびその制御方法、撮像装置
JP2018146663A (ja) 2017-03-02 2018-09-20 キヤノン株式会社 像ブレ補正装置およびその制御方法、撮像装置、レンズ装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004297719A (ja) * 2003-03-28 2004-10-21 Toshiba Corp フレーム補間方法及びこれを用いた画像表示システム
JP2005077886A (ja) * 2003-09-02 2005-03-24 Canon Inc 撮影装置
JP2008124787A (ja) * 2006-11-13 2008-05-29 Sanyo Electric Co Ltd 手ぶれ補正装置及び方法並びに撮像装置
JP2012170006A (ja) * 2011-02-16 2012-09-06 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
JP2014236231A (ja) * 2013-05-30 2014-12-15 株式会社ニコン カメラ
JP2016171541A (ja) * 2015-03-16 2016-09-23 キヤノン株式会社 動きベクトル検出装置、動体角速度算出装置、撮像装置およびレンズ装置
JP2016201662A (ja) * 2015-04-09 2016-12-01 キヤノン株式会社 撮像装置およびその制御方法

Also Published As

Publication number Publication date
CN108668074B (zh) 2020-11-27
US10659692B2 (en) 2020-05-19
US20180288330A1 (en) 2018-10-04
JP6932531B2 (ja) 2021-09-08
CN108668074A (zh) 2018-10-16

Similar Documents

Publication Publication Date Title
JP5328307B2 (ja) 振れ補正機能を有する撮影装置及びその制御方法
US10250808B2 (en) Imaging apparatus and control method therefor
JP6598537B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
US10623641B2 (en) Image blur correction apparatus, control method, imaging apparatus, and lens apparatus
JP6821358B2 (ja) 制御装置、撮像装置、レンズ装置、制御方法、プログラム、および、記憶媒体
CN108668074B (zh) 图像模糊校正装置及其控制方法、摄像设备和存储介质
JP7013199B2 (ja) 撮像装置およびその制御方法
JP2005215388A (ja) 交換レンズ及びそれを用いたカメラシステム
JP2012078495A (ja) 撮像装置、ブレ補正装置及びブレ補正方法
JP2011217311A (ja) 撮像装置および撮像装置の制御方法
JP2011217334A (ja) 撮像装置および撮像装置の制御方法
JP2017161649A (ja) 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
JP6935269B2 (ja) 像ブレ補正装置およびその制御方法、撮像装置
JP2018082232A (ja) 撮像装置および制御方法
JP6330283B2 (ja) 被写体追尾装置、撮像装置及び被写体追尾プログラム
JP7214424B2 (ja) 撮像装置およびその制御方法
JP7451152B2 (ja) 撮像装置、制御方法及びコンピュータプログラム
JP2019008143A (ja) 像ブレ補正装置、撮像装置、撮像システム、制御方法、プログラムおよび記憶媒体
US20160057350A1 (en) Imaging apparatus, image processing method, and non-transitory computer-readable medium
WO2020012960A1 (ja) 撮像装置
WO2019203147A1 (ja) 撮像装置
JP2016213648A (ja) 撮像装置、レンズ装置、撮像装置の制御方法、およびレンズ装置の制御方法
JP2022124464A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2015158627A (ja) 撮像装置およびその制御方法
JP2021082932A (ja) 光学機器、撮像装置および制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200324

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210720

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210818

R151 Written notification of patent or utility model registration

Ref document number: 6932531

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151