JP7346076B2 - 制御装置、レンズ装置、撮像装置、制御方法、および、プログラム - Google Patents

制御装置、レンズ装置、撮像装置、制御方法、および、プログラム Download PDF

Info

Publication number
JP7346076B2
JP7346076B2 JP2019091070A JP2019091070A JP7346076B2 JP 7346076 B2 JP7346076 B2 JP 7346076B2 JP 2019091070 A JP2019091070 A JP 2019091070A JP 2019091070 A JP2019091070 A JP 2019091070A JP 7346076 B2 JP7346076 B2 JP 7346076B2
Authority
JP
Japan
Prior art keywords
blur
information
amount
motion vector
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019091070A
Other languages
English (en)
Other versions
JP2020187244A (ja
JP2020187244A5 (ja
Inventor
健二 西津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019091070A priority Critical patent/JP7346076B2/ja
Priority to US16/865,663 priority patent/US11490012B2/en
Priority to EP20173378.9A priority patent/EP3739868B1/en
Priority to CN202010401032.8A priority patent/CN111953891B/zh
Publication of JP2020187244A publication Critical patent/JP2020187244A/ja
Publication of JP2020187244A5 publication Critical patent/JP2020187244A5/ja
Application granted granted Critical
Publication of JP7346076B2 publication Critical patent/JP7346076B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689Motion occurring during a rolling shutter mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Description

本発明は、像ブレ補正を行うことが可能な制御装置、レンズ装置、および、撮像装置に関する。
近年、デジタルカメラやビデオカメラなどの光学機器に加わる手ブレなどによって生じた撮影画像のブレを補正する様々なブレ補正機構が提案されている。ブレ補正機構は、ジャイロセンサなどのブレ角速度を検出するセンサ出力に応じて、光学系の光軸の位置をずらすことでブレ補正を行う。また、光軸位置をずらす方法としては、撮影レンズの一部や撮像素子を光軸直交方向に移動させる方法が広く用いられている。
また、ブレ補正機構によってブレ補正したブレ残りを、撮像素子によって画像から動きベクトル(動きベクトル量)として検出する方法がある。動きベクトルは、画像における特徴点をフレームごとの動き量として検出したものである。よって、動きベクトルをフレーム間の時間で除算することにより、撮像素子の像面移動速度を算出することができる。また、撮像光学系の実焦点距離が分かれば、f×tanθの関係から像面移動速度を角速度に変換することができるため、動きベクトル量からブレ残りの角速度を検出することが可能である。
特許文献1には、光学的なブレ補正手段を用いてブレ補正を行った後のブレ残り量を動きベクトル情報として検出し、その動きベクトル情報をブレ補正手段の目標値としてフィードバックすることで、より精度のよい像ブレ補正を行う撮像装置が開示されている。
特許第3610210号公報
特許文献1に開示された撮像装置において、動きベクトルとして検出したブレ残り量は、基本的に静止した被写体に対するベクトル情報である必要がある。これは、動く被写体の動きベクトルを検出して光学的なブレ補正手段にフィードバックすると、動く被写体に追従するようにブレ補正手段を駆動することになり、高精度の像ブレ補正を行うことができないためである。すなわち、静止した被写体つまり背景の動きベクトルを正確に検出することが重要になるが、背景の動きベクトルを正確に検出することは困難である。
そこで本発明は、高精度な像ブレ補正を行うことが可能な制御装置、レンズ装置、撮像装置、制御方法、および、プログラムを提供することを目的とする。
本発明の一側面としての制御装置は、撮像素子からの撮像信号を用いて算出された動きベクトルに基づく第1ブレ情報を取得する第1取得手段と、ブレ検出手段からのブレ信号に基づく第2ブレ情報を取得する第2取得手段と、前記第1ブレ情報と前記第2ブレ情報を合成することにより得られた第3ブレ情報に基づいて、像ブレ補正素子の駆動制御を行う制御手段と、を有し、前記動きベクトルは、前記像ブレ補正素子が移動しているときの撮像信号に基づいて計算され、前記第1ブレ情報はブレ残りを示し、前記第2ブレ情報はブレ補正対象に加わったブレを示し、前記第3ブレ情報を得る際に用いられる前記第1ブレ情報に対する重みは、前記第1ブレ情報と前記第2ブレ情報の比較に基づいて、前記第1ブレ情報の示すブレ量が前記第2ブレ情報の示すブレ量より大きい場合における前記重みが、前記第1ブレ情報の示すブレ量が前記第2ブレ情報の示すブレ量より小さい場合における前記重みよりも小さくなるように決定されることを特徴とする。
本発明の他の側面としてのレンズ装置は、撮像光学系と前記制御装置とを有する。
本発明の他の側面としての撮像装置は、撮像光学系を介して形成される光学像を光電変換して撮像信号を出力する撮像素子と、前記制御装置とを有する。
本発明の他の側面としての制御方法は、撮像素子からの撮像信号を用いて算出された動きベクトルに基づく第1ブレ情報を取得する第1取得ステップと、ブレ検出手段からのブレ信号に基づく第2ブレ情報を取得する第2取得ステップと、前記第1ブレ情報と前記第2ブレ情報を合成することにより得られた第3ブレ情報に基づいて、像ブレ補正素子の駆動制御を行う補正ステップと、を有し、前記動きベクトルは、前記像ブレ補正素子が移動しているときの撮像信号に基づいて計算され、前記第1ブレ情報はブレ残りを示し、前記第2ブレ情報はブレ補正対象に加わったブレを示し、前記補正ステップにおいて、前記第3ブレ情報を得る際に用いられる前記第1ブレ情報に対する重みは、前記第1ブレ情報と前記第2ブレ情報の比較に基づいて、前記第1ブレ情報の示すブレ量が前記第2ブレ情報の示すブレ量より大きい場合における前記重みが、前記第1ブレ情報の示すブレ量が前記第2ブレ情報の示すブレ量より小さい場合における前記重みよりも小さくなるように決定される。
本発明の他の側面としてのプログラムは、前記制御方法をコンピュータに実行させる。
本発明の他の目的及び特徴は、以下の実施形態において説明される。
本発明によれば、高精度な像ブレ補正を行うことが可能な制御装置、レンズ装置、撮像装置、制御方法、および、プログラムを提供することができる。
各実施形態におけるカメラシステムのブロック図である。 第1の実施形態における制御装置のブロック図である。 第1の実施形態における動きベクトル情報コントロール処理のフローチャートである。 第2の実施形態における制御装置のブロック図である。 第2の実施形態における動きベクトルフィードバック量コントロール処理のフローチャートである。
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
〔第1の実施形態〕
まず、図1を参照して、本実施形態におけるカメラシステム(撮像システム)の構成について説明する。カメラシステム(撮像システム)100は、カメラ本体(撮像装置)101と、カメラ本体101に着脱可能かつ通信可能な交換レンズ(レンズ装置)102とを備えて構成される。
撮影動作を行う前(いわゆるエイミング中)は、フォーカルプレーンシャッタ103が開いた状態になっており、被写体からの撮影光束は、交換レンズ102の撮像光学系を通り、撮像部(撮像手段)(撮像素子)104上に結像する。撮像部104に結像した画像はLCD105に表示される。これによりユーザは、エイミング中の被写体像を視認することができる。撮像部104はCMOSセンサであり、撮像光学系を介して形成された被写体像(光学像)を光電変換する。
撮影動作(静止画露光を開始する動作)に入ると、フォーカルプレーンシャッタ103がシャッタ駆動回路106により駆動される。露光開始前のシャッタ動作は、カメラ設定に応じて異なる。例えば先幕メカシャッタ動作を行う設定である場合、露光前にフォーカルプレーンシャッタ103が閉じて撮像部104の蓄積信号リセットを行った後、フォーカルプレーンシャッタ103が開き、露光処理が始まる。一方、先幕電子シャッタ動作を行う設定である場合、フォーカルプレーンシャッタ103は閉じずに撮像部104の蓄積信号リセットが行われ、その後に露光処理が始まる。露光処理が始まると、撮影光束が撮影光学画像として撮像部104面上に結像する。その撮影光学画像は、撮像部104によって光電変換され撮像信号となる。
タイミングジェネレータ107は、撮像部104の蓄積動作、読み出し動作、および、リセット動作等を制御する。CDS回路108(2重相関サンプリング回路)は、撮像部104の蓄積電荷ノイズを低減するための回路である。ゲインコントロール回路109は、撮像信号を増幅する回路である。A/D変換器110は、増幅された撮像信号(アナログ信号)をデジタル信号である画像データへ変換する。映像信号処理回路111は、A/D変換器110でデジタル化された画像データに対して、フィルタ処理、色変換処理、および、ガンマ処理等の信号処理を行う。また映像信号処理回路(ベクトル算出手段)111は、撮像部104からの撮像信号を用いて動きベクトル(動きベクトル情報)を算出(生成)し、カメラMPU115へ出力する。映像信号処理回路111で信号処理された画像信号は、バッファメモリ112に格納され、LCD105に表示され、または着脱可能なメモリカード113に記録される。
操作部114は、カメラ本体101における撮影モードの設定、記録画像ファイルサイズの設定、撮影動画のサイズの設定、フレームレートの設定、静止画撮影時のレリーズ、動画撮影時の録画開始/停止等を行うためのスイッチ類である。ユーザが操作部114によって撮影モードとして動画モードを選択した場合、フォーカルプレーンシャッタ103は開いた状態となり、基本的には静止画露光を行う際と同じ順序で信号処理が行われ画像信号へと変換される。ユーザによる操作部114の操作によって動画撮影が開始した場合、画像信号が繋ぎ合わされることで動画となり、メモリカード113に撮影動画の記録が行われる。
カメラMPU(制御装置)115は、カメラ本体101の前述の各動作を制御する。またカメラMPU115は、カメラ本体101のインターフェース回路(カメラ側インターフェース回路)116および交換レンズ102のインターフェース回路(レンズ側インターフェース回路)117を介して、レンズMPU118と相互に通信する。この通信では、カメラ本体101と交換レンズ102との間で様々なデータのやり取りを行う。またカメラMPU115は、ローリングシャッタの歪み補正値を算出する算出部を有する。この歪み補正値は、映像信号処理回路111内のローリングシャッタ歪み補正部に入力され、歪みの補正処理が行われる。
温度センサ119は、サーミスタ等の温度センサである。温度センサ119の出力信号は、カメラMPU115に入力され、カメラ制御に利用され、またはインターフェース回路116、117を介してレンズMPU118に入力されレンズ制御に利用される。
交換レンズ102は、撮像光学系の一部として、フォーカスレンズ120、ズームレンズ121、補正レンズ(像ブレ補正素子)122、および、絞り123を有する。フォーカスレンズ120は、レンズMPU118からの制御信号に従って、フォーカス制御回路124およびフォーカスレンズ駆動用モータ125を介して、光軸OAに沿った方向(光軸方向)に駆動される。フォーカス制御回路124は、フォーカスレンズ120を駆動する駆動回路、および、フォーカスレンズ120の移動に応じたゾーンパターン信号やパルス信号を出力するフォーカスエンコーダを含む。被写体距離は、フォーカスエンコーダにより検知することができる。
ズームレンズ121は、ユーザが不図示のズーム操作環を操作することにより光軸方向に移動する。ズームエンコーダ126は、ズームレンズ121の移動に応じたゾーンパターン信号を出力する。撮影像倍率は、レンズMPU118がフォーカスエンコーダとズームエンコーダ126からの信号を読み取り、被写体距離と焦点距離との組み合わせにより予め記憶されている撮影像倍率データを読み出すことによって得られる。
補正レンズ122は、像ブレ補正制御回路127およびリニアモータ128を介して、光軸OAに直交する方向など、光軸方向とは異なる方向に駆動される。像ブレ補正は、次のようにして行われる。すなわち、ブレ検出手段としての角速度センサ129が、交換レンズ102に加わった回転ブレを検出し、その回転ブレの程度を示す角速度信号を出力する。以下、角速度センサ129から出力される角速度信号を、ブレ信号ともいう。角速度センサ129は、例えばジャイロセンサである。A/D変換器130は角速度センサ129から出力されたブレ検出信号をデジタル信号に変換し、レンズMPU118に入力する。
レンズMPU118は、各種信号処理を行うとともに、補正レンズ駆動目標信号を算出する。またレンズMPU118は、補正レンズ駆動目標信号と補正レンズエンコーダ131から出力される補正レンズ位置信号との差に応じた駆動信号を像ブレ補正制御回路127に出力する。このように像ブレ補正は、補正レンズエンコーダ131から出力される補正レンズ位置信号を像ブレ補正制御回路127にフィードバックすることで行われる。なお像ブレ補正制御は、カメラ本体101を中心として、上下方向の傾きを検出するためのピッチ軸、および、左右方向の傾きを検出するためのヨー軸の2軸それぞれにおいて行われる。またレンズMPU118は、像ブレ補正を行うため、像ブレ補正手段118aおよびフィードバック制御手段118bを有する。なお、これらの機能については、後述する。
絞り123は、レンズMPU118からの制御信号に従って、絞り制御回路132およびステッピングモータ133を介して駆動される。スイッチ(SW)134は、レンズ像ブレ補正ON/OFFの選択用スイッチである。
次に、図2を参照して、本実施形態におけるカメラMPU115が動きベクトルを取得してから交換レンズ102の像ブレ補正制御回路127へ入力するレンズ目標信号になるまでの流れを説明する。図2は、制御装置のブロック図である。
カメラMPU115は、動きベクトル取得部1151およびフィルタ処理部1152を有する。動きベクトル取得部1151は、映像信号処理回路111から動きベクトル情報を取得する。そしてフィルタ処理部1152は、取得した動きベクトル情報に対してノイズ除去などの各種フィルタ処理を行う。フィルタ処理された動きベクトル情報は、インターフェース回路116、117を通じて、レンズMPU118に入力される。
レンズMPU118は、角速度変換処理部(第1取得手段)1181、動きベクトル処理部(第2取得手段)(動きベクトル情報コントロール処理部)1182、フィルタ処理部1183、1184、加算器1185、積分フィルタ1186、および、レンズ移動量変換処理部1187を有する。角速度変換処理部1181、動きベクトル処理部1182、および、フィルタ処理部1183は、フィードバック制御手段118bを構成する。フィルタ処理部1184、加算器1185、積分フィルタ1186、および、レンズ移動量変換処理部1187は、像ブレ補正手段(制御手段)118aを構成する。
レンズMPU118の角速度変換処理部1181は、入力された動きベクトル情報(像面移動速度情報)(第1ブレ情報)を角速度情報に変換する。続いて動きベクトル処理部1182は、動きベクトル情報コントロール処理を行う。なお、動きベクトル情報コントロール処理の詳細に関しては、後述する。その後、フィルタ処理部1183は、ノイズ除去やブレ補正精度向上のための各種フィルタ処理を行う。
角速度センサ129で得られたブレ信号(角速度信号)は、A/D変換器130を通じてデジタル信号に変換され、レンズMPU118に入力される。デジタル信号に変換されたブレ信号(第2ブレ情報)は、動きベクトル処理部1182に入力される。またフィルタ処理部1184は、デジタル信号に変換されたブレ信号に対して、ノイズ除去やブレ補正精度向上のための各種フィルタ処理を行う。続いて加算器1185は、動きベクトル情報に基づいて得られた角速度信号(フィルタ処理部1183の出力信号)と、角速度センサ129から得られた角速度信号(フィルタ処理部1184の出力信号)とを加算し第3ブレ情報を生成する。積分フィルタ1186は、加算後の角速度信号を角度信号に変換する。
続いてレンズ移動量変換処理部1187は、角度信号に対してレンズ移動量変換処理を行い、補正レンズ122を移動するための目標信号を生成する。この目標信号は、前述したように補正レンズエンコーダ131との差分を取ることで補正レンズ122を駆動するための駆動信号になり、像ブレ補正制御回路127に入力される。このように、動きベクトル情報から得られたブレ残り(ブレ残り信号)を補正レンズ122の駆動信号にフィードバックすることで、より高精度のブレ補正を行うことができる。
次に、図3を参照して、レンズMPU118(動きベクトル処理部1182)における動きベクトル情報コントロール処理に関して説明する。図3は、動きベクトル情報コントロール処理のフローチャートである。図3の各ステップは、主に、レンズMPU118のフィードバック制御手段118b(動きベクトル処理部1182)により実行される。レンズMPU118が動きベクトル情報コントロール処理を開始すると、ステップS301から処理が開始する。
まずステップS301において、レンズMPU118(動きベクトル処理部1182)は、角速度センサ129の出力信号(ブレ信号、角速度信号)と、角速度変換後の動きベクトル(動きベクトル情報)の大きさとを比較する。動きベクトル情報はブレ残り情報であるため、背景の動きベクトルを正確に検出できていれば、実際に発生しているブレより大きくなることは基本的には考えにくい。このためレンズMPU118は、実際に発生しているブレ(すなわち、角速度センサ129のブレ信号)よりも動きベクトルに基づいて検出されたブレ残り(ブレ残り信号)が大きい場合、動きベクトル情報を誤検出している可能性が高いと判定する。
ステップS301にて角速度センサ129の出力信号が角速度変換後の動きベクトル情報よりも大きい場合、ステップS302に進む。ステップS302において、レンズMPU118は、動きベクトルをそのまま用いる。すなわちレンズMPU118は、動きベクトルに基づいて算出されたブレ残りをそのまま像ブレ補正手段118aにフィードバックする。
一方、ステップS301にて角速度センサ129の出力信号の大きさが角速度変換後の動きベクトルの大きさ以下である場合、ステップS303に進む。ステップS303において、レンズMPU118(動きベクトル処理部1182)は、動きベクトルの絶対値が所定値以上であるか否かを判定する。動きベクトルの絶対値が所定値以上である場合、ステップS304に進む。ステップS304において、レンズMPU118は、動きベクトルを0、すなわち動きベクトルに基づいて算出されたブレ残りを0にして像ブレ補正手段118aにフィードバックする。一方、動きベクトルの絶対値が所定値よりも小さい場合、ステップS305に進む。ステップS305において、レンズMPU118は、動きベクトルに0.5を乗算、すなわちブレ残りに0.5を乗算して像ブレ補正手段118aにフィードバックする。
動きベクトル情報を誤検出している状態の場合、そのまま動きベクトル情報を補正レンズ122の駆動信号へフィードバックしてしまうと、正しいブレ補正ができずユーザに違和感を持たれる可能性が高い。このためフィードバック制御手段118b(動きベクトル処理部1182)は、動きベクトル情報を誤検出していると判定した場合、動きベクトル情報をそのまま使わずに小さな値に設定する。本実施形態では、特に絶対値が大きい場合、より値を小さくするために動きベクトルを0にする。これは、誤検出の際にフィードバックする動きベクトルの値が大きいほど、補正レンズ122の駆動信号への影響度が大きくなるためである。
このように本実施形態では、動きベクトルを誤検出した可能性が高い場合、補正レンズ122への駆動信号として加算する動きベクトル情報(ブレ残り信号)を適切にコントロールすることができる。また本実施形態では、動きベクトル情報コントロール処理の後段にフィルタ処理部1183を挿入することにより、動きベクトル情報コントロール処理後の信号変位が滑らかになるメリットがある。
〔第2の実施形態〕
次に、図4および図5を参照して、本発明の第2の実施形態について説明する。なお本実施形態において、カメラシステムの基本構成は、図1を参照して説明した構成と同様であるため、その説明は省略する。
図4を参照して、本実施形態におけるカメラMPU115が動きベクトルを取得してから交換レンズ102の像ブレ補正制御回路127へ入力するレンズ目標信号になるまでの流れを説明する。図4は、制御装置のブロック図である。
フィードバック制御手段118aは、角速度変換処理部1181、フィルタ処理部1188、および、動きベクトル処理部(第2取得手段)(動きベクトルフィードバック量コントロール処理部)1189を有する。角速度変換処理部1181は、入力された動きベクトル情報(像面移動速度情報)を角速度情報に変換する。角速度変換処理部1181からの出力信号(角速度変換後の動きベクトル情報)は、動きベクトル処理部1189へも入力される。続いてフィルタ処理部1188は、ノイズ除去やブレ補正精度向上のための各種フィルタ処理を行う。その後、動きベクトル処理部1189は、動きベクトルフィードバック量コントロール処理を行う。なお、動きベクトルフィードバック量コントロール処理の詳細に関しては、後述する。
角速度センサ129で得られたブレ信号は、A/D変換器130を通じてデジタル信号に変換され、レンズMPU118に入力される。デジタル信号に変換されたブレ信号は、動きベクトル処理部1189に入力される。またフィルタ処理部1184は、デジタル信号に変換されたブレ信号に対して、ノイズ除去やブレ補正精度向上のための各種フィルタ処理を行う。続いて加算器1185は、動きベクトル情報に基づいて得られた角速度信号(動きベクトル処理部1189の出力信号)と、角速度センサ129から得られた角速度信号(フィルタ処理部1184の出力信号)とを加算する。積分フィルタ1186は、加算後の角速度信号を角度信号に変換する。
続いてレンズ移動量変換処理部1187は、角度信号に対してレンズ移動量変換処理を行い、補正レンズ122を移動するための目標信号を生成する。この目標信号は、前述したように補正レンズエンコーダ131との差分を取ることで補正レンズ122を駆動するための駆動信号になり、像ブレ補正制御回路127に入力される。このように、動きベクトル情報から得られたブレ残り(ブレ残り信号)を補正レンズ122の駆動信号にフィードバックすることで、より高精度のブレ補正を行うことができる。
次に、図5を参照して、レンズMPU118(動きベクトル処理部1189)における動きベクトルフィードバック量コントロール処理に関して説明する。図5は、動きベクトルフィードバック量コントロール処理のフローチャートである。図5の各ステップは、主に、レンズMPU118のフィードバック制御手段118b(動きベクトル処理部1189)により実行される。レンズMPU118が動きベクトルフィードバック量コントロール処理を開始すると、ステップS501から処理が開始する。
まずステップS501において、レンズMPU118(動きベクトル処理部1189)は、角速度センサ129の出力信号(ブレ信号、角速度信号)と、角速度変換後の動きベクトル(動きベクトル情報)の大きさとを比較する。
ステップS501にて角速度センサ129の出力信号が角速度変換後の動きベクトル情報よりも大きい場合、ステップS502に進む。ステップS502において、レンズMPU118は、フィードバック量に1を乗算する。すなわちレンズMPU118は、動きベクトルに基づいて算出されたブレ残りのフィードバック量を1として像ブレ補正手段118aにフィードバックする。
一方、ステップS501にて角速度センサ129の出力信号の大きさが角速度変換後の動きベクトルの大きさ以下である場合、ステップS503に進む。ステップS503において、レンズMPU118(動きベクトル処理部1189)は、動きベクトルの絶対値が所定値以上であるか否かを判定する。動きベクトルの絶対値が所定値以上である場合、ステップS504に進む。ステップS504において、レンズMPU118は、フィードバック量に0を乗算する、すなわち動きベクトルに基づいて算出されたブレ残りのフィードバック量を0にして像ブレ補正手段118aにフィードバックする。一方、動きベクトルの絶対値が所定値よりも小さい場合、ステップS505に進む。ステップS505において、レンズMPU118は、フィードバック量に0.5を乗算する、すなわちブレ残りのフィードバック量に0.5を乗算して像ブレ補正手段118aにフィードバックする。
このように本実施形態では、動きベクトルを誤検出した可能性が高い場合、補正レンズ122への駆動信号として加算する動きベクトル情報(ブレ残り信号)を適切にコントロールすることができる。また本実施形態では、動きベクトルフィードバック量コントロール処理を角速度加算(加算器1155)の直前に挿入することにより、誤検出した動きベクトル情報の反映をより早く反映させないようにできるメリットがある。
各実施形態において、制御装置(レンズMPU118)は、像ブレ補正手段118aおよびフィードバック制御手段118bを有する。像ブレ補正手段118aは、角速度センサ129からのブレ信号と、撮像部104からの撮像信号を用いて算出された動きベクトルとに基づいて、光軸に対して直交方向の成分を含む方向に補正レンズ122を移動させる。このように補正レンズ122を移動させることによって、像ブレ補正手段118aは、撮像部104に対する撮像光学系の光軸の位置を移動させる。フィードバック制御手段は、像ブレ補正手段118aが光軸の位置を移動させる際に、動きベクトルを用いて算出されたブレ残り(ブレ残り信号)を像ブレ補正手段にフィードバックする。またフィードバック制御手段は、ブレ信号と動きベクトルとに基づいて、ブレ残りのフィードバック量を変更する。
好ましくは、フィードバック制御手段は、ブレ信号および動きベクトルのそれぞれの大きさに基づいて、フィードバック量を変更する。また好ましくは、フィードバック制御手段は、ブレ信号および動きベクトルのそれぞれの所定期間における平均値の大きさに基づいて、フィードバック量を変更する。また好ましくは、フィードバック制御手段は、ブレ信号(角速度信号)が角速度変換後の動きベクトルよりも大きいか否かに基づいて、フィードバック量を変更する(S301、S501)。また好ましくは、フィードバック制御手段は、動きベクトルの絶対値が所定値よりも大きいか否かに基づいて、フィードバック量を変更する(S303、S503)。また好ましくは、フィードバック制御手段は、ブレ信号および動きベクトルのそれぞれの周波数に基づいて、フィードバック量を変更する。
好ましくは、フィードバック制御手段は、動きベクトルを角速度に変換し、角速度変換後の動きベクトルを制御して、フィードバック量を変更する(図2)。また好ましくは、フィードバック制御手段は、動きベクトルを角速度に変換してフィルタ処理を行い、角速度変換後かつフィルタ処理後の動きベクトルを制御して、フィードバック量を変更する(図4)。
なお各実施形態では、ステップS303またはステップS503において、動きベクトルの絶対値が所定値以上であるか否かを判定しているが、これに限定されるものではない。例えば、角速度センサ129の出力信号が角速度変換後の動きベクトルよりも小さい場合、常に動きベクトルを0に設定(または、フィードバック量に0を乗算)してもよい。または、常に動きベクトルを0以外の一定値に設定(または、フィードバック量に一定値を乗算)してもよい。また、動きベクトルの絶対値を判定するための所定値を複数の段階に分けて、乗算する値をより細かくコントロールしてもよい。また、例えば動きベクトルの大きさに応じたゲインを算出し、それを乗算するようにしてもよい。
また各実施形態では、角速度センサ129の出力信号の大きさと、角速度変換後の動きベクトルの大きさとを比較することで動きベクトル情報が誤検出しているか否かを判定しているが、これに限定されるものではない。動きベクトル情報は、基本的にフレーム毎に更新される情報であるため、角速度センサ129の出力信号をその更新周期に合わせて取得して比較に用いることが好ましい。これにより、より精度の高い検出が可能になる。また、ベクトルを更新する周期(フレームレート)間の角速度センサ129の出力信号の平均値を比較に用いることにより、衝撃などにより角速度センサ129にステップ的な出力が発生した場合でも、その影響を少なくすることができる。また、角速度センサ129の出力信号の周波数と動きベクトル情報の周波数との関係も動きベクトルの誤検出を判定する情報になり得る。例えば、角速度センサ129で検出しているブレ周波数の分布と、動きベクトル情報によるブレ残り周波数分布とが大きく異なる場合、動きベクトルを誤検出している可能性が高いと判定することができる。
また各実施形態では、交換レンズ102の補正レンズ122を光軸直交方向にずらすことによって像ブレ補正を行う構成について説明したが、これに限定されるものではない。例えば、カメラ本体101の撮像部104を光軸直交方向にずらすことで像ブレ補正を行う構成でも、各実施形態と同様の効果を得ることができる。また、カメラ本体101と交換レンズ102に共に光学的なブレ補正機構が存在する構成であれば、補正量を分割することでより大きなブレまで補正可能にすることができる。
また各実施形態では、制御装置としてのレンズMPU118が像ブレ補正手段118aおよびフィードバック制御手段118bを有するが、これに限定されるものではない。制御装置としてのカメラMPU115が像ブレ補正手段およびフィードバック制御手段としての機能の少なくとも一部を有していてもよい。また各実施形態では、交換レンズ102に角速度センサ(ブレ検出手段)129を設けた構成について説明したが、交換レンズ102の代わりにカメラ本体101に同様の角速度センサを設けてもよい。また、カメラ本体101と交換レンズ102の両方に角速度センサを設けて、両方の角度センサの出力信号のうちの少なくとも一方を用いてもよい。両方の角速度センサの出力信号を使用する場合は、カメラ本体101と交換レンズ102のそれぞれに設けた角速度センサの出力の平均値を使用してもよい。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
各実施形態では、ブレ検出手段の出力信号に基づいて補正レンズを駆動し、ブレ補正後のブレ残りを動きベクトル情報として検出し、検出した動きベクトル情報をブレ補正機構にフィードバックして高精度の像ブレ補正を行う。また、ブレ検出手段の出力信号と動きベクトル情報とを比較して、動きベクトル情報が正しくブレ残りを検出できていないと判定される場合、フィードバック量を少なくする。これにより、動きベクトル情報が誤検出されている場合でも、ユーザに違和感を与えることなく適切なブレ補正が可能になる。このため各実施形態によれば、高精度な像ブレ補正を行うことが可能な制御装置、レンズ装置、撮像装置、制御方法、および、プログラムを提供することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
118 レンズMPU(制御装置)
118a 像ブレ補正手段
118b フィードバック制御手段

Claims (14)

  1. 撮像素子からの撮像信号を用いて算出された動きベクトルに基づく第1ブレ情報を取得する第1取得手段と、
    ブレ検出手段からのブレ信号に基づく第2ブレ情報を取得する第2取得手段と、
    前記第1ブレ情報と前記第2ブレ情報を合成することにより得られた第3ブレ情報に基づいて、像ブレ補正素子の駆動制御を行う制御手段と、を有し、
    前記動きベクトルは、前記像ブレ補正素子が移動しているときの撮像信号に基づいて計算され、前記第1ブレ情報はブレ残りを示し、前記第2ブレ情報はブレ補正対象に加わったブレを示し、
    前記第3ブレ情報を得る際に用いられる前記第1ブレ情報に対する重みは、前記第1ブレ情報と前記第2ブレ情報の比較に基づいて、前記第1ブレ情報の示すブレ量が前記第2ブレ情報の示すブレ量より大きい場合における前記重みが、前記第1ブレ情報の示すブレ量が前記第2ブレ情報の示すブレ量より小さい場合における前記重みよりも小さくなるように決定されることを特徴とする制御装置。
  2. 前記第1ブレ情報の示すブレ量が前記第2ブレ情報の示すブレ量より大きい場合において、前記第1ブレ情報の示すブレ量が第1ブレ量であるときの前記重みは、前記第1ブレ情報の示すブレ量が前記第1ブレ量よりも小さい第2ブレ量であるときの前記重みよりも、小さいことを特徴とする請求項1に記載の制御装置。
  3. 前記第1ブレ情報の示すブレ量および前記第2ブレ情報の示すブレ量はそれぞれ、所定期間における前記第1ブレ情報の平均値および前記第2ブレ情報の平均値に基づいて決定されることを特徴とする請求項1または2に記載の制御装置。
  4. 前記重みは、前記第1ブレ情報の周波数特性と前記第2ブレ情報の周波数特性を比較することにより決定されることを特徴とする請求項1乃至3のいずれか一項に記載の制御装置。
  5. ブレ検出手段は角速度センサであることを特徴とする請求項1乃至4のいずれか一項に記載の制御装置。
  6. 前記ブレ信号は、角速度信号であることを特徴とする請求項1乃至5のいずれか一項に記載の制御装置。
  7. 撮像光学系と、
    請求項1乃至6のいずれか一項に記載の制御装置と、を有することを特徴とするレンズ装置。
  8. ブレを検出して前記ブレ信号を出力するブレ検出手段を更に有することを特徴とする請求項7に記載のレンズ装置。
  9. 前記制御手段は、前記像ブレ補正素子である前記撮像光学系に含まれる補正レンズを光軸に対して直交方向の成分を含む方向に移動させることを特徴とする請求項7または8に記載のレンズ装置。
  10. 撮像光学系を介して形成される光学像を光電変換して撮像信号を出力する撮像素子と、請求項1乃至6のいずれか一項に記載の制御装置と、を有することを特徴とする撮像装置。
  11. 前記撮像素子からの前記撮像信号を用いて前記第1ブレ情報を算出するベクトル算出手段を更に有することを特徴とする請求項10に記載の撮像装置。
  12. 前記制御手段は、前記像ブレ補正素子である前記撮像素子の位置を光軸に対して直交方向に移動させることを特徴とする請求項10または11に記載の撮像装置。
  13. 撮像素子からの撮像信号を用いて算出された動きベクトルに基づく第1ブレ情報を取得する第1取得ステップと、
    ブレ検出手段からのブレ信号に基づく第2ブレ情報を取得する第2取得ステップと、
    前記第1ブレ情報と前記第2ブレ情報を合成することにより得られた第3ブレ情報に基づいて、像ブレ補正素子の駆動制御を行う補正ステップと、を有し、
    前記動きベクトルは、前記像ブレ補正素子が移動しているときの撮像信号に基づいて計算され、前記第1ブレ情報はブレ残りを示し、前記第2ブレ情報はブレ補正対象に加わったブレを示し、
    前記補正ステップにおいて、前記第3ブレ情報を得る際に用いられる前記第1ブレ情報に対する重みは、前記第1ブレ情報と前記第2ブレ情報の比較に基づいて、前記第1ブレ情報の示すブレ量が前記第2ブレ情報の示すブレ量より大きい場合における前記重みが、前記第1ブレ情報の示すブレ量が前記第2ブレ情報の示すブレ量より小さい場合における前記重みよりも小さくなるように決定されることを特徴とする制御方法。
  14. 請求項13に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
JP2019091070A 2019-05-14 2019-05-14 制御装置、レンズ装置、撮像装置、制御方法、および、プログラム Active JP7346076B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019091070A JP7346076B2 (ja) 2019-05-14 2019-05-14 制御装置、レンズ装置、撮像装置、制御方法、および、プログラム
US16/865,663 US11490012B2 (en) 2019-05-14 2020-05-04 Control apparatus for correcting blur, lens apparatus, imaging apparatus, control method, and storage medium
EP20173378.9A EP3739868B1 (en) 2019-05-14 2020-05-07 Control apparatus, lens apparatus, imaging apparatus, control method, and program
CN202010401032.8A CN111953891B (zh) 2019-05-14 2020-05-13 控制设备、镜头设备、摄像设备、控制方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019091070A JP7346076B2 (ja) 2019-05-14 2019-05-14 制御装置、レンズ装置、撮像装置、制御方法、および、プログラム

Publications (3)

Publication Number Publication Date
JP2020187244A JP2020187244A (ja) 2020-11-19
JP2020187244A5 JP2020187244A5 (ja) 2022-05-06
JP7346076B2 true JP7346076B2 (ja) 2023-09-19

Family

ID=70613721

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019091070A Active JP7346076B2 (ja) 2019-05-14 2019-05-14 制御装置、レンズ装置、撮像装置、制御方法、および、プログラム

Country Status (4)

Country Link
US (1) US11490012B2 (ja)
EP (1) EP3739868B1 (ja)
JP (1) JP7346076B2 (ja)
CN (1) CN111953891B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11599974B2 (en) * 2019-11-22 2023-03-07 Nec Corporation Joint rolling shutter correction and image deblurring

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014128015A (ja) 2012-12-27 2014-07-07 Canon Inc 撮像装置及びその制御方法、プログラム、記憶媒体
US20170214855A1 (en) 2016-01-26 2017-07-27 Canon Kabushiki Kaisha Vibration detection apparatus, vibration detection method, and image capturing apparatus
JP2018205551A (ja) 2017-06-06 2018-12-27 キヤノン株式会社 撮像装置およびその制御方法
JP2019008143A (ja) 2017-06-26 2019-01-17 キヤノン株式会社 像ブレ補正装置、撮像装置、撮像システム、制御方法、プログラムおよび記憶媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5839535A (ja) 1981-08-31 1983-03-08 Mazda Motor Corp 自動車の後部座席の支持装置
JP3610210B2 (ja) 1997-12-01 2005-01-12 キヤノン株式会社 撮像装置及び交換レンズ式撮像装置
JP3466895B2 (ja) 1997-12-12 2003-11-17 キヤノン株式会社 振れ補正装置、撮像装置、撮像システム、カメラユニット、及びレンズユニット
JP2002016836A (ja) 2000-06-29 2002-01-18 Toshiba Corp 撮像装置の揺れ補正装置及び方法
JP2002214659A (ja) 2001-01-16 2002-07-31 Canon Inc ぶれ補正機能付きカメラ
US20050128309A1 (en) * 2003-07-25 2005-06-16 Nikon Corporation Shooting lens having vibration reducing function and camera system for same
JP2014126861A (ja) * 2012-12-27 2014-07-07 Canon Inc 撮像装置及びその制御方法、プログラム、記憶媒体
JP2016009998A (ja) 2014-06-24 2016-01-18 キヤノン株式会社 撮像装置、撮像方法及びプログラム
JP6823469B2 (ja) 2017-01-20 2021-02-03 キヤノン株式会社 像ブレ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体
JP6420888B2 (ja) 2017-11-30 2018-11-07 キヤノン株式会社 像ブレ補正装置及びその制御方法、プログラム、記憶媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014128015A (ja) 2012-12-27 2014-07-07 Canon Inc 撮像装置及びその制御方法、プログラム、記憶媒体
US20170214855A1 (en) 2016-01-26 2017-07-27 Canon Kabushiki Kaisha Vibration detection apparatus, vibration detection method, and image capturing apparatus
JP2017134177A (ja) 2016-01-26 2017-08-03 キヤノン株式会社 像振れ検出装置及び方法、及び撮像装置
JP2018205551A (ja) 2017-06-06 2018-12-27 キヤノン株式会社 撮像装置およびその制御方法
JP2019008143A (ja) 2017-06-26 2019-01-17 キヤノン株式会社 像ブレ補正装置、撮像装置、撮像システム、制御方法、プログラムおよび記憶媒体

Also Published As

Publication number Publication date
JP2020187244A (ja) 2020-11-19
CN111953891A (zh) 2020-11-17
EP3739868A8 (en) 2021-01-06
CN111953891B (zh) 2022-08-26
EP3739868B1 (en) 2023-08-16
EP3739868A1 (en) 2020-11-18
US20200366846A1 (en) 2020-11-19
US11490012B2 (en) 2022-11-01

Similar Documents

Publication Publication Date Title
KR101034109B1 (ko) 촬영장치 및 프로그램이 기억된 컴퓨터 판독 가능한 기록매체
JP2007139952A (ja) 撮像装置
JP6995561B2 (ja) 像ブレ補正装置およびその制御方法、撮像装置
JP6598537B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2017211487A (ja) 撮像装置及び自動焦点調節方法
JP6581474B2 (ja) 像振れ補正装置及びその制御方法、プログラム、記憶媒体
JP6932531B2 (ja) 像ブレ補正装置、撮像装置および撮像装置の制御方法
JP2006080844A (ja) 電子カメラ
JP2011128422A (ja) 撮像装置、レンズ装置及び焦点検出方法
JP5014267B2 (ja) 撮像装置
JP7346076B2 (ja) 制御装置、レンズ装置、撮像装置、制御方法、および、プログラム
JP2011217334A (ja) 撮像装置および撮像装置の制御方法
JP2009118164A (ja) カメラ
JP5023750B2 (ja) 測距装置および撮像装置
JP6168827B2 (ja) 像振れ補正装置および光学機器
US11330179B2 (en) Imaging device and control method thereof
JP6584259B2 (ja) 像ブレ補正装置、撮像装置および制御方法
JP2019125880A (ja) 撮像装置およびその制御方法
JP4905048B2 (ja) 撮像装置、撮像装置の制御方法および制御プログラム
JP2019095630A (ja) 像振れ補正装置を有する光学機器
JP2015197562A (ja) 光学機器、光学機器を備えた撮像装置、光学機器の制御方法
JP2019036828A (ja) 像ブレ補正装置およびその制御方法、撮像装置
JP7119678B2 (ja) 交換レンズ及びカメラボディ
JP6778014B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
WO2019203147A1 (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220422

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220422

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230906

R151 Written notification of patent or utility model registration

Ref document number: 7346076

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151