JP7091474B2 - ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置 - Google Patents

ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置 Download PDF

Info

Publication number
JP7091474B2
JP7091474B2 JP2020557879A JP2020557879A JP7091474B2 JP 7091474 B2 JP7091474 B2 JP 7091474B2 JP 2020557879 A JP2020557879 A JP 2020557879A JP 2020557879 A JP2020557879 A JP 2020557879A JP 7091474 B2 JP7091474 B2 JP 7091474B2
Authority
JP
Japan
Prior art keywords
correction unit
blur
unit
control device
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020557879A
Other languages
English (en)
Other versions
JPWO2020111267A1 (ja
Inventor
毅 潘
雅彦 杉本
智紀 増田
貴志 橋本
哲也 藤川
慶延 岸根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020111267A1 publication Critical patent/JPWO2020111267A1/ja
Application granted granted Critical
Publication of JP7091474B2 publication Critical patent/JP7091474B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Adjustment Of Camera Lenses (AREA)

Description

本開示の技術は、ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置に関する。
撮像装置により被写体を示す被写体光が結像されることで得られた被写体像のぶれ(以下、「被写体像のぶれ」、または単に「ぶれ」とも称する)を補正する補正部として、一般的に、機械式補正部と電子式補正部とが知られている。機械式補正部は、補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることでぶれを補正する。電子式補正部は、撮像素子により撮像されることで得られた画像に画像処理を施すことでぶれを補正する。
特開2013-126075号公報に記載の撮像装置は、機械式補正部と電子式補正部とを備えている。特開2013-126075号公報に記載の撮像装置では、撮像素子における電子シャッタのシャッタ速度(露光時間)と、ぶれの量とが取得される。そして、機械式補正部および電子式補正部が、露光時間とぶれの量に応じて、選択的に動作する。具体的には、露光時間が設定量よりも長い場合は、機械式補正部および電子式補正部のうちの機械式補正部のみが動作し、露光時間が設定量以下の場合は、機械式補正部および電子式補正部のうちの電子式補正部のみが動作する。また、ぶれの量が設定量以上の場合は、機械式補正部および電子式補正部のうちの機械式補正部のみが動作し、ぶれの量が設定量よりも小さい場合は、機械式補正部および電子式補正部のうちの電子式補正部のみが動作する。
本開示の技術は、機械式補正部および電子式補正部を選択的に動作させる場合に、機械式補正部の動作時間を減らすことが可能なぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置を提供することを目的とする。
上記目的を達成するために、本開示のぶれ補正制御装置は、補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される動作推奨条件に関係する関係量を、予め定められた時点毎に取得する取得部と、機械式補正部の動作、および、撮像素子により撮像されることで得られた画像に画像処理を施すことでぶれを補正する電子式補正部の動作を制御する動作制御部であり、取得部において取得した関係量が動作推奨条件を満たす状態が、連続する複数の時点の時系列で画定された設定期間継続していない場合は、機械式補正部および電子式補正部のうちの電子式補正部のみを動作させる制御を行う動作制御部と、を備える。
動作制御部は、取得部において取得した関係量が動作推奨条件を満たす状態が設定期間継続した場合は、機械式補正部および電子式補正部のうちの機械式補正部のみを動作させる制御を行うことが好ましい。
設定期間を変更する変更部を備えることが好ましい。
関係量は、撮像素子における被写体像の露光時間であることが好ましい。この場合、動作推奨条件は、露光時間が第1設定量以上であるという条件であることが好ましい。
関係量は、ぶれの振幅とぶれの周波数であることが好ましい。この場合、動作推奨条件は、振幅が第2設定量以上で、かつ、周波数が第3設定量以上のぶれがあるという条件であることが好ましい。
第2設定量は、周波数が高くなるにつれて小さくなる量であることが好ましい。また、第3設定量は、振幅が大きくなるにつれて小さくなる量であることが好ましい。
関係量は、撮像素子における被写体像の露光時間内のぶれの量であることが好ましい。この場合、動作推奨条件は、ぶれの量が第4設定量以上であるという条件であることが好ましい。
取得部は、連続するフレーム毎に関係量を取得することが好ましい。
監視カメラシステムに用いられることが好ましい。
本開示の撮像装置は、上記いずれかに記載のぶれ補正制御装置を備える。
本開示のぶれ補正制御装置の作動方法は、補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される動作推奨条件に関係する関係量を、予め定められた時点毎に取得する取得ステップと、機械式補正部の動作、および、撮像素子により撮像されることで得られた画像に画像処理を施すことでぶれを補正する電子式補正部の動作を制御する動作制御ステップであり、取得ステップにおいて取得した関係量が動作推奨条件を満たす状態が、連続する複数の時点の時系列で画定された設定期間継続していない場合は、機械式補正部および電子式補正部のうちの電子式補正部のみを動作させる制御を行う動作制御ステップと、を備える。
本開示のぶれ補正制御装置の作動プログラムは、補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される動作推奨条件に関係する関係量を、予め定められた時点毎に取得する取得部と、機械式補正部の動作、および、撮像素子により撮像されることで得られた画像に画像処理を施すことでぶれを補正する電子式補正部の動作を制御する動作制御部であり、取得部において取得した関係量が動作推奨条件を満たす状態が、連続する複数の時点の時系列で画定された設定期間継続していない場合は、機械式補正部および電子式補正部のうちの電子式補正部のみを動作させる制御を行う動作制御部として、コンピュータを機能させるためのプログラムである。
本開示の技術によれば、機械式補正部および電子式補正部を選択的に動作させる場合に、機械式補正部の動作時間を減らすことが可能なぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置を提供することができる。
監視カメラシステムを示す図である。 監視カメラのブロック図である。 監視カメラのCPUのブロック図である。 動作推奨条件の内容を示す図である。 フレームF10~フレームF20の露光時間の推移を示したグラフである。 記憶制御部の処理を説明するための図である。 動作制御部の処理の設定を示す表である。 フレームF50~フレームF61の露光時間の推移を示したグラフである。 図8のように露光時間が推移した場合に、図7の表で示した設定で、いずれの補正部が動作するかを示した図であり、図9Aは、フレームF50~フレームF54の露光時間に応じて、フレームF55において動作させる補正部を選択する様子を、図9Bは、フレームF51~フレームF55の露光時間に応じて、フレームF56において動作させる補正部を選択する様子を、それぞれ示す。 図8のように露光時間が推移した場合に、図7の表で示した設定で、いずれの補正部が動作するかを示した図であり、図10Aは、フレームF52~フレームF56の露光時間に応じて、フレームF57において動作させる補正部を選択する様子を、図10Bは、フレームF53~フレームF57の露光時間に応じて、フレームF58において動作させる補正部を選択する様子を、それぞれ示す。 図8のように露光時間が推移した場合に、図7の表で示した設定で、いずれの補正部が動作するかを示した図であり、図11Aは、フレームF54~フレームF58の露光時間に応じて、フレームF59において動作させる補正部を選択する様子を、図11Bは、フレームF55~フレームF59の露光時間に応じて、フレームF60において動作させる補正部を選択する様子を、図11Cは、フレームF56~フレームF60の露光時間に応じて、フレームF61において動作させる補正部を選択する様子を、それぞれ示す。 図9~図11の説明をまとめたグラフである。 監視カメラの処理手順を示すフローチャートである。 動作制御部の処理の設定の別の例を示す表である。 図14の表で示した設定の場合の効果を示す図であり、図15Aは、フレームF70~フレームF80の露光時間の推移を示したグラフ、図15Bは、1フレーム分の露光時間に応じて動作させる補正部を切り替える場合の、各フレームにおける動作する補正部を示す表、図15Cは、図14の表で示した設定で動作させる補正部を切り替える場合の、各フレームにおける動作する補正部を示す表を、それぞれ示す。 設定期間を変更する態様を示す図である。 ぶれ検出センサからのぶれの検出信号を高速フーリエ変換にかけ、各々振幅をもつ複数の異なる周波数のぶれに分解する様子を概念的に示す図である。 第2実施形態の動作推奨条件の内容を示す図である。 第2設定量を周波数が高くなるにつれて小さくなる量とし、第3設定量を振幅が大きくなるにつれて小さくなる量とする態様を示すグラフである。 第2設定量および第3設定量の変化のバリエーションを示すグラフであり、図20Aは、第2設定量および第3設定量を曲線的に変化させる例、図20Bは、第2設定量および第3設定量を段階的に変化させる例を、それぞれ示す。 ある時間にぶれ検出センサで検出されたぶれに対する露光時間内のぶれの量を示す図である。 第3実施形態の動作推奨条件の内容を示す図である。 ぶれ補正制御装置の所在のバリエーションを示す図であり、図23Aは、管理装置にぶれ補正制御装置の機能をもたせた態様を、図23Bは、監視カメラおよび管理装置とは別に、ぶれ補正制御装置を設けた態様を、それぞれ示す。
以下、本開示の技術の実施形態の一例を、図面を参照しつつ説明する。
[第1実施形態]
図1において、監視カメラシステム2は、監視カメラ10と、管理装置11と、記憶装置12とを備える。監視カメラ10は、本開示の技術に係る「撮像装置」の一例であり、屋内外の柱、または壁等に設置され、監視対象を撮像することで監視対象の動画を生成する。監視カメラ10は、生成した動画を管理装置11に送信する。管理装置11は、監視カメラ10とは別の場所に設置される。ここでいう「別の場所」とは、例えば管理室等を指す。管理装置11は、監視カメラ10からの動画を受信する。管理装置11は、受信した動画を記憶装置12に送信し、動画を記憶装置12に記憶させる。
図2において、監視カメラ10は撮像光学系15を有する。撮像光学系15は、第1光学系16、絞り17、第2光学系18、および補正光学系19を備えている。第1光学系16は対物レンズを含む光学系であり、被写体を示す被写体光を、被写体像として後述する撮像素子25の受光面に結像させる。絞り17は、第1光学系16から第2光学系18に至る被写体像の光量を調整する。絞り17にはアクチュエータ20が取り付けられている。アクチュエータ20は、ドライバ21により駆動制御される。ドライバ21の制御の下、アクチュエータ20が駆動することで、絞り17の開度が変更される。
監視カメラ10に与えられる振動(以下、単に「振動」とも称する)には、屋外であれば、自動車の通行による振動、風による振動、および道路工事による振動等があり、屋内であれば、エアコンディショナーの動作による振動、および人の出入りによる振動等がある。補正光学系19は、振動による被写体像のぶれを補正するための光学系である。補正光学系19にはアクチュエータ22が取り付けられている。アクチュエータ22は、ドライバ23により駆動制御される。ドライバ23の制御の下、アクチュエータ22が駆動することで、補正光学系19が光軸OAに対して機械的に移動する。
なお、本実施形態において、「ぶれ」とは、振動に起因して光軸OAが被写体像に対して変動することによって生じる現象を指す。ここでいう「光軸OA」とは、第1光学系16の対物レンズの光軸を指す。光軸OAの変動とは、例えば、基準軸(例えば、ぶれが発生する前の光軸OA)に対して、ぶれにより光軸OAが傾くことを意味する。なお、本実施形態において、ぶれの補正には、ぶれをなくすという意味の他に、ぶれを低減するという意味も含まれる。
補正光学系19とアクチュエータ22とドライバ23とで、機械式補正部24が実現される。機械式補正部24によるぶれの補正方法としては、周知の種々の方法を採用することができる。最も単純には、機械式補正部24は、ぶれを打ち消す方向に、ぶれを打ち消す量だけ、補正光学系19を移動させる。
撮像光学系15の後段には、撮像素子25が配置されている。撮像素子25は、例えば、CCD(Charge Coupled Device)イメージセンサである。撮像素子25は、可視光、例えば、約700nm以下の短波長側の光に基づく撮像を行う。ただし、本実施形態はこれに限定されず、撮像素子25は、赤外光、例えば、約700nmよりも長波長側の光)に基づく撮像を行ってもよい。この場合、撮像素子25の画素としては、赤外光に感度を有する光電変換素子を用いればよい。特に、短波近赤外光(SWIR;Short-wavelength infrared)に基づく撮像に対しては、撮像素子25として、例えば、InGaAsイメージセンサおよび/またはタイプ2型量子井戸構造(T2SL;Simulation of Type-II Quantum Well)イメージセンサ等を用いればよい。撮像素子25は、ドライバ26の制御の下、所定のフレームレートで、撮像光学系15で取り込まれた被写体像を撮像し、アナログの撮像信号を出力する。なお、ここでいう「所定のフレームレート」とは、例えば、数フレーム/秒から数十フレーム/秒を指す。
監視カメラ10は、AFE(Analog Front End)30、DSP(Digital Signal Processor)31、画像メモリ32、電子式補正部33、通信I/F(Interface)34、ROM(Read Only Memory)35、RAM(Random Access Memory)36、およびCPU(Central Processing Unit)37等を有する。AFE30、DSP31、画像メモリ32、電子式補正部33、通信I/F34、ROM35、RAM36、およびCPU37は、バスライン38を介して相互に接続されている。なお、ROM35、RAM36、CPU37、およびバスライン38は、本開示の技術に係る「コンピュータ」の一例である。
AFE30は、撮像素子25からのアナログの撮像信号を受信する。AFE30は、アナログの撮像信号に対して、相関二重サンプリング、および自動ゲイン調整等のアナログ信号処理を施した後、A/D(Analog/Digital)変換を行ってデジタルの撮像信号とする。なお、撮像素子25はMOS(Metal Oxide Semiconductor)イメージセンサ、またはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサでもよい。撮像素子25がCMOSイメージセンサであった場合は、AFE30およびDSP31は、その一部または全部がCMOSイメージセンサ内に一体的に組み込まれていてもよい。この場合、AFE30は、A/D変換機能のみで構成されていてもよい。
DSP31は、デジタルの撮像信号に対して、各種デジタル信号処理を施す。各種デジタル信号処理とは、例えば、デモザイク処理、ノイズ除去処理、階調補正処理、および色補正処理等を指す。DSP31は、デジタル信号処理後の撮像信号を画像メモリ32に出力する。画像メモリ32は、DSP31からの撮像信号を、被写体像を表す画像として記憶する。
電子式補正部33は、画像メモリ32に記憶された画像に画像処理を施すことで、被写体像のぶれを補正する。機械式補正部24の場合と同様に、電子式補正部33によるぶれの補正方法としては、周知の種々の方法を採用することができる。
電子式補正部33によるぶれの補正方法としては、例えば、画像出力領域切り出し方法と、画像比較方法とが挙げられる。画像出力領域切り出し方法では、まず、撮像素子25は、撮像領域を、最終的に画像として出力する領域(以下、画像出力領域)よりも一回り大きくしておく。電子式補正部33は、画像メモリ32に記憶された画像から、画像出力領域に該当する画像を切り出す。この際、電子式補正部33は、ぶれに応じて、画像出力領域の切り出し位置を変更する。
画像比較方法では、まず、電子式補正部33は、画像メモリ32から、時系列的に前後する画像を取得し、取得した時系列的に前後する画像を比較する。次に、電子式補正部33は、画像を比較した結果を元に、先行の画像に対する後続の画像のずれ量およびずれ方向を算出する。そして、電子式補正部33は、後続の画像を、算出したずれ量およびずれ方向が打ち消された画像に加工する。なお、以下では、機械式補正部24および電子式補正部33を区別して説明する必要がない場合、符号を付さずに「補正部」と称する。
通信I/F34は、画像メモリ32から画像を読み出し、読み出した画像を管理装置11に送信する。通信I/F34は、例えば、ネットワークインターフェースである。ネットワークインターフェースは、ネットワークを介して、管理装置11との間で各種情報の伝送制御を行う。ネットワークの一例としては、インターネットあるいは公衆通信網等のWAN(Wide Area Network)が挙げられる。
ROM35は、監視カメラ10の制御プログラムといった各種プログラム、並びに各種プログラムに付随する各種データを記憶する。RAM36は、CPU37が処理を実行するためのワークメモリである。CPU37は、ROM35に記憶されたプログラムをRAM36へ読み出し、読み出したプログラムにしたがった処理を実行する。これにより、CPU37は、監視カメラ10の各部の動作を統括的に制御する。
CPU37には、ぶれ検出センサ40、測光センサ41、およびタッチパネルディスプレイ42が接続されている。ぶれ検出センサ40は、例えば、ジャイロセンサである。ジャイロセンサは、ピッチ軸PA、ヨー軸YA、およびロール軸RA(光軸OAに平行な軸)の各軸(図1参照)回りの回転ぶれを検出する。また、ぶれ検出センサ40は、例えば、加速度センサである。加速度センサは、ピッチ軸PAとヨー軸YAとに平行な平面内のシフトぶれを検出する。ぶれ検出センサ40は、ぶれの検出信号をCPU37に出力する。なお、本実施形態での平行の意味には、完全な平行の意味の他に、設計上および製造上において許容される誤差を含む略平行の意味も含まれる。
測光センサ41は、AE(Automatic Exposure)制御を行うために、1フレーム毎に被写体像の光量を測定する。測光センサ41は、光量の測定信号をCPU37に出力する。
タッチパネルディスプレイ42は、ディスプレイに対してタッチパネルが重ねられたデバイスである。ディスプレイは、CPU37の制御下で、画像を含む各種情報を表示する。タッチパネルは、ディスプレイの表示画面に重ねられており、ユーザの指またはタッチペン等の指示体による接触を受け付ける。タッチパネルディスプレイ42には、監視カメラ10の各種設定を行うための設定画面等が表示される。タッチパネルディスプレイ42は、設定画面等を通じて、ユーザからの操作指示の入力を受け付ける。
図3において、ROM35には、作動プログラム50が記憶されている。作動プログラム50は、監視カメラ10をぶれ補正制御装置として機能させるためのプログラムである。なお、作動プログラム50は、本開示の技術に係る「ぶれ補正制御装置の作動プログラム」の一例である。
また、ROM35には、動作推奨条件51と設定期間SPが記憶されている。動作推奨条件51は、機械式補正部24の動作が推奨される条件である。設定期間SPは、連続する複数のフレームの時系列で画定された期間である。
CPU37は、作動プログラム50を実行することで、RAM36等と協働して、AE制御部60、取得部61、記憶制御部62、および動作制御部63として機能する。AE制御部60、取得部61、記憶制御部62、および動作制御部63のうちの取得部61と動作制御部63とで、ぶれ補正制御装置64が実現される。
AE制御部60は、測光センサ41からの光量の測定信号を受信する。AE制御部60は、受信した光量の測定信号に応じた露出値を設定する。AE制御部60は、1フレーム毎に露出値を設定する。より詳しくは、AE制御部60は、前のフレームの光量の測定信号に基づいて、次のフレームの露出値を設定する。
AE制御部60は、設定した露出値に応じた絞り17の開度を算出する。AE制御部60は、算出した開度に絞り17の実際の開度を合わせるように、ドライバ21を介してアクチュエータ20を駆動させる。
また、AE制御部60は、設定した露出値に応じた、撮像素子25における被写体像の露光時間を算出する。AE制御部60は、算出した露光時間に実際の露光時間を合わせるように、ドライバ26を介して撮像素子25を駆動させる。AE制御部60は、算出した露光時間を取得部61に出力する。
取得部61は、AE制御部60からの露光時間を取得する。取得部61により取得された露光時間は、本開示の技術に係る「関係量」の一例であり、動作推奨条件51に関係する関係量に相当する。また、前述のように、AE制御部60は、1フレーム毎に露出値を設定するので、露光時間も1フレーム毎に算出して、1フレーム毎に取得部61に出力する。このため、取得部61は、連続するフレーム毎に露光時間を取得する。この連続するフレームの各々の露光時間が取得部61によって取得される時点が、本開示の技術に係る「予め定められた時点」の一例である。取得部61は、取得した露光時間を記憶制御部62に出力する。
記憶制御部62は、取得部61からの露光時間をRAM36に記憶する制御を行う。また、記憶制御部62は、連続する複数のフレームに対応する複数の露光時間をRAM36から読み出し、読み出した複数の露光時間を動作制御部63に出力する。
動作制御部63は、ぶれ検出センサ40からのぶれの検出信号を受信する。動作制御部63は、受信した検出信号に基づいて、被写体像のぶれを打ち消すよう、機械式補正部24および電子式補正部33の動作を制御する。
動作制御部63は、ROM35から、動作推奨条件51および設定期間SPを読み出す。そして、これら動作推奨条件51および設定期間SPと、記憶制御部62からの、連続する複数のフレームに対応する複数の露光時間とに応じて、連続する複数のフレームの次のフレームにおいて、機械式補正部24および電子式補正部33を選択的に動作させる制御を行う。
より具体的には、動作制御部63は、露光時間が動作推奨条件51を満たす状態が設定期間SP継続していない場合は、機械式補正部24および電子式補正部33のうちの電子式補正部33のみを動作させる制御を行う。一方、動作制御部63は、露光時間が動作推奨条件51を満たす状態が設定期間SP継続した場合は、機械式補正部24および電子式補正部33のうちの機械式補正部24のみを動作させる。
図4に示すように、動作推奨条件51は、露光時間が第1設定量TH1以上であるという条件である。
図5は、フレームF10~フレームF20の露光時間の推移を示したグラフである。各フレームF10~フレームF20のうち、フレームF10、フレームF11、フレームF13、フレームF15~フレームF19は、露光時間が第1設定量TH1以上であるため、動作推奨条件51を満たしている。これに対して、フレームF12、フレームF14、フレームF20は、露光時間が第1設定量TH1未満であるため、動作推奨条件51を満たしていない。
図6に示すように、記憶制御部62は、最も古いフレームの露光時間を、最も新しいフレームの露光時間に順次更新しつつ、設定期間SPを画定する連続する複数のフレームに対応する複数の露光時間をRAM36に記憶させる。そして、この複数の露光時間のセットを、1フレーム毎に順次動作制御部63に出力する。
図6では、設定期間SPが5フレームであり、図5で示したフレームF10~フレームF20の露光時間がROM35に順次記憶されていく様子を示している。図6の左上は、フレームF10~フレームF14の露光時間がROM35に記憶されている状態である。この状態から1フレーム分の取得時間が経過した図6の右上では、図6の左上において最も古かったフレームF10の露光時間が、最も新しいフレームF15の露光時間に更新されている。以下同様に、図6の左下ではフレームF12~フレームF16の露光時間がROM35に記憶され、図6の右下ではフレームF13~フレームF17の露光時間がROM35に記憶される。
図7の表70に示すように、動作制御部63は、動作推奨条件51を満たしたフレームの数Nが、設定期間SPを画定するフレームの数と同じである場合、次のフレームにおいて、機械式補正部24および電子式補正部33のうちの機械式補正部24のみを動作させる制御を行う。一方、動作制御部63は、動作推奨条件51を満たしたフレームの数Nが、設定期間SPを画定するフレームの数と異なる場合、次のフレームにおいて、機械式補正部24および電子式補正部33のうちの電子式補正部33のみを動作させる制御を行う。なお、以下の図では、「M」を円で囲んだマークで機械式補正部24が示されており、「E」を円で囲んだマークで電子式補正部33が示されている。
動作推奨条件51を満たしたフレームの数Nが、設定期間SPを画定するフレームの数と同じである場合、とは、露光時間が動作推奨条件51を満たす状態が設定期間SP継続した場合、と同義である。また、動作推奨条件51を満たしたフレームの数Nが、設定期間SPを画定するフレームの数と異なる場合、とは、露光時間が動作推奨条件51を満たす状態が設定期間SP継続していない場合、と同義である。
図7では、設定期間SPが図6の場合と同じ5フレームの場合を例示している。この例では、動作推奨条件51を満たしたフレームの数Nが5の場合に、次のフレームにおいて機械式補正部24のみが動作される。一方、動作推奨条件51を満たしたフレームの数Nが0~4の場合に、次のフレームにおいて電子式補正部33のみが動作される。
図8は、フレームF50~フレームF61の露光時間の推移を示したグラフである。各フレームF50~フレームF61のうち、フレームF50~フレームF54は、露光時間が第1設定量TH1未満であるため、動作推奨条件51を満たしていない。対して、フレームF55~フレームF61は、露光時間が第1設定量TH1以上であるため、動作推奨条件51を満たしている。
図9~図11は、図8のように露光時間が推移した場合に、図7の表70で示した設定で、具体的にいずれの補正部が動作するかを示した図である。まず、図9Aは、フレームF50~フレームF54の露光時間に応じて、フレームF55において動作させる補正部を選択する様子を示している。フレームF50~フレームF54の露光時間は、全て動作推奨条件51を満たしていない。すなわち、動作推奨条件51を満たしたフレームの数Nが0であり、設定期間SPを画定するフレームの数5と異なる。このため、動作制御部63は、フレームF55において電子式補正部33のみを動作させる。
続いて図9Bは、フレームF51~フレームF55の露光時間に応じて、フレームF56において動作させる補正部を選択する様子を示している。フレームF51~フレームF55の露光時間は、フレームF55を除いて、動作推奨条件51を満たしていない。すなわち、動作推奨条件51を満たしたフレームの数Nが1であり、設定期間SPを画定するフレームの数5と異なる。このため、動作制御部63は、図9Aの場合と同じく、フレームF56において電子式補正部33のみを動作させる。
図10Aは、フレームF52~フレームF56の露光時間に応じて、フレームF57において動作させる補正部を選択する様子を示している。フレームF52~フレームF56の露光時間は、フレームF52~フレームF54が動作推奨条件51を満たさず、フレームF55、フレームF56が動作推奨条件51を満たしている。すなわち、動作推奨条件51を満たしたフレームの数Nが2であり、設定期間SPを画定するフレームの数5と異なる。このため、動作制御部63は、図9A、図9Bの場合と同じく、フレームF57において電子式補正部33のみを動作させる。
続いて図10Bは、フレームF53~フレームF57の露光時間に応じて、フレームF58において動作させる補正部を選択する様子を示している。フレームF53~フレームF57の露光時間は、フレームF53、フレームF54が動作推奨条件51を満たさず、フレームF55~フレームF57が動作推奨条件51を満たしている。すなわち、動作推奨条件51を満たしたフレームの数Nが3であり、設定期間SPを画定するフレームの数5と異なる。このため、動作制御部63は、図9A、図9B、図10Aの場合と同じく、フレームF58において電子式補正部33のみを動作させる。
図11Aは、フレームF54~フレームF58の露光時間に応じて、フレームF59において動作させる補正部を選択する様子を示している。フレームF54~フレームF58の露光時間は、フレームF54を除いて、動作推奨条件51を満たしている。すなわち、動作推奨条件51を満たしたフレームの数Nが4であり、設定期間SPを画定するフレームの数5と異なる。このため、動作制御部63は、図9A、図9B、図10A、図10Bの場合と同じく、フレームF59において電子式補正部33のみを動作させる。
続いて図11Bは、フレームF55~フレームF59の露光時間に応じて、フレームF60において動作させる補正部を選択する様子を示している。フレームF55~フレームF59の露光時間は、全て動作推奨条件51を満たしている。すなわち、動作推奨条件51を満たしたフレームの数Nが5であり、設定期間SPを画定するフレームの数5と同じである。このため、動作制御部63は、フレームF60において機械式補正部24のみを動作させる。
さらに図11Cは、フレームF56~フレームF60の露光時間に応じて、フレームF61において動作させる補正部を選択する様子を示している。フレームF56~フレームF60の露光時間は、全て動作推奨条件51を満たしている。すなわち、動作推奨条件51を満たしたフレームの数Nが5であり、設定期間SPを画定するフレームの数5と同じである。このため、動作制御部63は、図11Bの場合と同じく、フレームF61において機械式補正部24のみを動作させる。
図9~図11の説明をまとめると、図12に示すようになる。すなわち、フレームF55~フレームF59までは、機械式補正部24および電子式補正部33のうちの電子式補正部33のみが動作される。しかし、フレームF60からは、機械式補正部24および電子式補正部33のうちの機械式補正部24のみが動作される。
次に、上記構成による作用について、図13のフローチャートを参照して説明する。まず、ぶれを補正する指示がタッチパネルディスプレイ42等によって受け付けられたことを条件に、作動プログラム50にしたがってCPU37によって実行されるぶれ補正処理について説明する。ぶれ補正処理は、図3に示すAE制御部60、取得部61、記憶制御部62、および動作制御部63としてCPU37を機能させる処理である。
図13のステップST100に示すように、AE制御部60において、測光センサ41からの光量の測定信号に応じた露出値が設定される。そして、露出値に応じた露光時間が算出される。露光時間はAE制御部60から取得部61に出力される。
取得部61では、AE制御部60からの露光時間が取得される(ステップST110)。このステップST110は、本開示の技術に係る「取得ステップ」の一例である。露光時間は取得部61から記憶制御部62に出力され、図6で示したように、記憶制御部62によってRAM36に記憶される(ステップST120)。
監視カメラ10の起動時において、RAM36に設定期間SP分の露光時間が記憶されていない場合(ステップST130でNO)は、動作制御部63により、機械式補正部24および電子式補正部33のうちの機械式補正部24のみが動作される(ステップST140)。なお、監視カメラ10の起動時において、RAM36に設定期間SP分の露光時間が記憶されていない場合に、機械式補正部24ではなく、電子式補正部33を動作させてもよい。
RAM36に設定期間SP分の露光時間が記憶されていた場合(ステップST130でYES)、記憶制御部62により、設定期間SP分の露光時間がRAM36から読み出され、動作制御部63に出力される。
動作制御部63では、記憶制御部62からの設定期間SP分の露光時間と、第1設定量TH1との大小が比較される。そして、図4で示したように、動作制御部63では、露光時間が第1設定量TH1以上の場合は、動作推奨条件51を満たしたと判定される。こうして、設定期間SPにおいて、動作推奨条件51を満たしたフレームの数Nが判明する。
動作制御部63では、動作推奨条件51を満たしたフレームの数Nと設定期間SPを画定するフレームの数が比較される(ステップST150)。
動作推奨条件51を満たしたフレームの数Nが、設定期間SPを画定するフレームの数と異なる場合、すなわち、露光時間が動作推奨条件51を満たす状態が設定期間SP継続していない場合(ステップST150でYES)、図9、図10、図11Aで示したように、動作制御部63により、次のフレームにおいて、機械式補正部24および電子式補正部33のうちの電子式補正部33のみが動作される(ステップST160)。一方、動作推奨条件51を満たしたフレームの数Nが、設定期間SPを画定するフレームの数と同じである場合、すなわち、露光時間が動作推奨条件51を満たす状態が設定期間SP継続した場合(ステップST150でNO)、図11B、図11Cで示したように、動作制御部63により、次のフレームにおいて、機械式補正部24および電子式補正部33のうちの機械式補正部24のみが動作される(ステップST170)。ステップST100から、ステップST160、ステップST170のいずれかまでの各処理は、監視カメラ10の電源がオフされる(ステップST180でYES)まで繰り返し続けられる。なお、ステップST160およびステップST170は、本開示の技術に係る「動作制御ステップ」の一例である。
以上説明したように、ぶれ補正制御装置64は、取得部61と動作制御部63とを備えている。取得部61は、連続するフレーム毎に露光時間を取得する。動作制御部63は、露光時間が動作推奨条件51を満たす状態が設定期間SP継続していない場合は、機械式補正部24および電子式補正部33のうちの電子式補正部33のみを動作させる制御を行う。露光時間が動作推奨条件51を満たす状態が設定期間SP継続する場合よりも、露光時間が動作推奨条件51を満たす状態が設定期間SP継続しない場合のほうが、確率としては高い。このため、電子式補正部33の動作時間が増える。したがって、相対的に機械式補正部24の動作時間を減らすことが可能となる。結果として、監視カメラ10の寿命を延ばすことができる。
動作制御部63は、露光時間が動作推奨条件51を満たす状態が設定期間SP継続した場合は、機械式補正部24および電子式補正部33のうちの機械式補正部24のみを動作させる制御を行う。露光時間が動作推奨条件51を満たす状態が設定期間SP継続した場合は、電子式補正部33では補正が難しいぶれが発生していると考えられる。したがって、上記のような制御を行うことで、電子式補正部33では補正が難しいぶれが発生している場合でも、適切に対処することができる。
動作推奨条件51は、露光時間が第1設定量TH1以上であるという条件で、比較的単純な内容である。したがって、動作推奨条件51を満たしているか否かの判断が比較的容易である。
監視カメラシステム2に用いられる監視カメラ10に、ぶれ補正制御装置64の機能をもたせている。監視カメラ10は常時稼働している場合が多く、その分、民生用のデジタルカメラといった他の撮像装置と比べて、高い耐久性が求められる。このため、機械式補正部24の動作時間を減らす必要性が高い。したがって、ぶれ補正制御装置64を監視カメラシステム2に用いれば、より優れた効果を発揮することができる。
なお、図7の表70で示した設定に代えて、図14の表80に示す設定を採用してもよい。図14では、設定期間SPが2フレームとなっている。この例では、動作推奨条件51を満たしたフレームの数Nが2の場合に、次のフレームにおいて機械式補正部24のみが動作される。一方、動作推奨条件51を満たしたフレームの数Nが0および1の場合に、次のフレームにおいて電子式補正部33のみが動作される。
ここで、図15AのフレームF70~フレームF77のように、露光時間が第1設定量TH1の前後を1フレーム毎に変動する状況を考える。図15Aに示す状況において、1フレーム分の露光時間に応じて、動作させる補正部を切り替える場合、図15Bの表82に示すように、フレームF75~フレームF80において、フレームF76、フレームF78~80の計4フレームで機械式補正部24が動作する。対して、図14の表80で示した設定で、動作させる補正部を切り替える場合、図15Cの表84に示すように、機械式補正部24が動作するのはフレームF79、フレームF80の計2フレームだけとなる。このように、設定期間SPを画定するフレームの数を2とした場合においても、機械式補正部24の動作時間を減らすことが可能となる。
なお、図16に示すように、設定期間SPをユーザが設定変更可能としてもよい。
図16において、CPU37は、設定期間SPを変更する変更部90として機能する。変更部90は、ユーザの求めに応じて、設定期間変更画面95をタッチパネルディスプレイ42に表示させる。設定期間変更画面95は、設定期間SPを画定するフレームの数を変更するためのスピンボックス96、設定ボタン97、およびキャンセルボタン98を備えている。
スピンボックス96が操作されて、設定期間SPを画定するフレームの数が所望の数値とされた後、設定ボタン97が選択される。これにより、設定期間SPを画定するフレームの数の設定変更指示が変更部90で受け付けられる。変更部90は、設定変更指示を受けて、ROM35の設定期間SPを画定するフレームの数を、スピンボックス96で設定された数値に書き換える。
このように、設定期間SPを変更する変更部90を備えるので、あらゆる要望に臨機応変に対応することができる。具体的には、機械式補正部24の動作時間を設定前よりも減らす設定にしたり、逆に機械式補正部24の動作時間を設定前よりも増やす設定にしたりすることができる。
設定期間SPを画定するフレームの数は、大きい値とする程、機械式補正部24の動作時間を減らすことが可能となる。ただし、設定期間SPを画定するフレームの数をあまりに大きな値にしすぎると、電子式補正部33では補正が難しいぶれが発生している場合に、適切に機械式補正部24に動作が切り替わらなくなるおそれがある。このため、設定期間SPを画定するフレームの数には、上限値を設けることが好ましい。
設定期間SPを画定するフレームの数を、時間帯といった他の要素に応じて変更してもよい。例えば、機械式補正部24の動作が推奨されるぶれが発生しやすいと考えられる時間帯(午前8時から午後5時まで等)は、設定期間SPを画定するフレームの数を比較的小さい値として、機械式補正部24の動作時間を相対的に増やす。対して、上記の時間帯以外は、設定期間SPを画定するフレームの数を比較的大きい値として、機械式補正部24の動作時間を相対的に減らす。
[第2実施形態]
図17~図20に示す第2実施形態では、本開示の技術に係る「関係量」の一例として、ぶれの振幅とぶれの周波数とが採用された場合について説明する。なお、以下では、ぶれの振幅を単に「振幅」と称する場合がある。同じく、ぶれの周波数を単に「周波数」と称する場合がある。
前述のように、監視カメラ10に与えられる振動には様々な種類がある。このため、ぶれ検出センサ40で検出されるぶれは、振幅および周波数が異なる様々なぶれを合成したものであると考えられる。そこで、第2実施形態においては、図17に概念的に示すように、ぶれ検出センサ40からのぶれの検出信号を高速フーリエ変換にかける。そして、高速フーリエ変換の結果に基づき、ぶれ検出センサ40で検出されるぶれを、各々振幅をもつ複数の異なる周波数のぶれに分解する。第2実施形態では、こうして得られたぶれの振幅とぶれの周波数とを、関係量として取得部61が取得する。なお、高速フーリエ変換にかけるぶれの検出信号は、例えば、ピッチ軸PAとヨー軸YAとに平行な平面内のシフトぶれを検出する加速度センサの検出信号である。
振幅に対しては第2設定量TH2が設定され、周波数に対しては第3設定量TH3が設定される。図18に示すように、動作推奨条件110は、振幅が第2設定量TH2以上で、かつ、周波数が第3設定量TH3以上のぶれがあるという条件である。すなわち、高速フーリエ変換によって振幅と周波数とに分解された複数のぶれのうち、振幅が第2設定量TH2以上で、かつ、周波数が第3設定量TH3以上のぶれが1つでもあれば、動作推奨条件110を満たしたことになる。なお、以降の処理は、関係量として、露光時間に代えてぶれの振幅とぶれの周波数とが採用されている以外は、上記第1実施形態と同じであるため、説明を省略する。
このように、第2実施形態では、関係量として、ぶれの振幅とぶれの周波数とが採用されている。そして、動作推奨条件110として、振幅が第2設定量TH2以上で、かつ、周波数が第3設定量TH3以上のぶれがあるという条件が採用されている。したがって、実際に発生しているぶれの種類に適応した補正部を、動作制御部63が動作させることができる。
図19に示すように、第2設定量TH2は、周波数が高くなるにつれて小さくなる量であってもよい。このようにする理由は、振幅が同じで周波数が異なるぶれがあった場合、周波数が高いぶれ程、同じ露光時間内のぶれの量が多くなるためである。第2設定量TH2を、周波数が高くなるにつれて小さくなる量とすれば、動作推奨条件110を、より適切な条件とすることができる。
また、第3設定量TH3は、振幅が大きくなるにつれて小さくなる量であってもよい。このようにする理由は、周波数が同じで振幅が異なるぶれがあった場合、振幅が大きいぶれ程、同じ露光時間内のぶれの量が多くなるためである。第3設定量TH3を、振幅が大きくなるにつれて小さくなる量とすれば、動作推奨条件110を、より適切な条件とすることができる。
なお、図19では、第2設定量TH2および第3設定量TH3が直線的に変化しているが、これに限定されない。第2設定量TH2が、周波数が高くなるにつれて小さくなる量となり、第3設定量TH3が、振幅が大きくなるにつれて小さくなる量となればよく、図20Aに示すように第2設定量TH2および第3設定量TH3を曲線的に変化させてもよい。また、図20Bに示すように段階的に変化させてもよい。また、これらのバリエーションを組み合わせて、例えば、第2設定量TH2を直線的に変化させ、かつ、第3設定量TH3を曲線的に変化させる等してもよい。
[第3実施形態]
図21および図22に示す第3実施形態では、本開示の技術に係る「関係量」の一例として、露光時間内のぶれの量が採用された場合について説明する。
図21は、ある時間にぶれ検出センサ40で検出されたぶれBLに対する露光時間内のぶれの量を示す図である。ぶれBLの波形の頂点を跨がない露光時間T1の場合、ぶれの量は、露光時間T1の開始時と露光時間T1の終了時とのそれぞれのぶれの量の差分の絶対値Δ1である。対して、ぶれBLの波形の頂点を跨ぐ露光時間T2の場合、ぶれの量は、δAとδBを加算したΔ2である。ここで、δAは、露光時間T2の開始時のぶれの量と、ぶれBLの波形の頂点のぶれの量との差分の絶対値である。また、δBは、露光時間T2の終了時のぶれの量と、ぶれBLの波形の頂点のぶれの量との差分の絶対値である。第3実施形態では、こうして得られた露光時間内のぶれの量を、関係量として取得部61が取得する。
図22に示すように、動作推奨条件115は、露光時間内のぶれの量が第4設定量TH4以上であるという条件である。なお、以降の処理は、関係量として、露光時間に代えて露光時間内のぶれの量が採用されている以外は、上記第1実施形態と同じであるため、説明を省略する。
このように、第3実施形態では、関係量として、露光時間内のぶれの量が採用されている。そして、動作推奨条件115として、露光時間内のぶれの量が第4設定量TH4以上であるという条件が採用されている。したがって、実際に発生しているぶれの量に適応した補正部を、動作制御部63が動作させることができる。
第1実施形態と第2実施形態とを複合して実施してもよい。この場合、動作推奨条件は、露光時間が第1設定量TH1以上であって、振幅が第2設定量TH2以上で、かつ、周波数が第3設定量TH3以上のぶれがある、という条件になる。
上記各実施形態では、監視カメラ10にぶれ補正制御装置64の機能をもたせているが、これに限らない。図23Aに示すように、監視カメラ150ではなく、管理装置151にぶれ補正制御装置152の機能をもたせてもよい。または図23Bに示すように、監視カメラ200および管理装置201とは別に、ぶれ補正制御装置202を設けてもよい。
上記各実施形態では、露光時間等の関係量が動作推奨条件を満たす状態が設定期間SP継続した場合、機械式補正部24および電子式補正部33のうちの機械式補正部24のみを動作させる制御を行っているが、これに限らない。露光時間等の関係量が動作推奨条件を満たす状態が設定期間SP継続した場合に、機械式補正部24だけでなく、電子式補正部33も補助的に動作させてもよい。例えば、機械式補正部24が補正の8割を担い、電子式補正部33が補正の2割を担うよう動作させる。こうして電子式補正部33を補助的に動作させれば、機械式補正部24の動作負担が減るため、より監視カメラ10の寿命を延ばすことができる。
上記各実施形態では、補正光学系19を機械的に移動させる機械式補正部24を例示したが、これに限らない。撮像素子25を機械的に移動させる機械式補正部でもよいし、補正光学系19および撮像素子25の両方を機械的に移動させる機械式補正部でもよい。
関係量を取得する予め定められた時点は、フレームで規定される時点でなくてもよい。例えば、関係量をぶれの振幅と周波数とする第2実施形態の場合は、関係量を取得する予め定められた時点を、ぶれ検出センサ40の検出信号のサンプリング間隔で規定される時点としてもよい。
同様に、設定期間を画定する連続する複数の時点も、連続する複数のフレームでなくてもよく、また、連続するフレーム毎に関係量を取得しなくてもよい。例えば奇数フレーム毎に関係量を取得してもよい。
動画を撮像する場合だけでなく、秒単位の間隔で静止画を撮像する、いわゆるインターバル撮像に、本開示の技術を適用してもよい。この場合、消費電力を抑えるために、ぶれ検出センサ40、測光センサ41、およびCPU37は、静止画の撮像の合間は起動させないでおき、静止画の撮像タイミングの例えば10フレーム前となったら起動させてもよい。
本開示の技術は、監視カメラ以外の撮像装置、例えば民生用のデジタルカメラ、スマートフォン、あるいはタブレット端末等に対しても適用することが可能である。
上記各実施形態において、例えば、AE制御部60、取得部61、記憶制御部62、動作制御部63、変更部90といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。各種のプロセッサには、上述したように、ソフトウェア(作動プログラム50)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、および/またはASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。いずれのプロセッサにもメモリが内蔵または接続されており、いずれのプロセッサもメモリを使用することで各種の処理を実行する。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、および/または、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。
以上の記載から、以下の付記項1および付記項2に記載の発明を把握することができる。
[付記項1]
補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される動作推奨条件に関係する関係量を、予め定められた時点毎に取得する取得プロセッサと、
前記機械式補正部の動作、および、前記撮像素子により撮像されることで得られた画像に画像処理を施すことで前記ぶれを補正する電子式補正部の動作を制御する動作制御プロセッサであり、前記取得プロセッサにおいて取得した前記関係量が前記動作推奨条件を満たす状態が、連続する複数の時点の時系列で画定された設定期間継続していない場合は、前記機械式補正部および前記電子式補正部のうちの前記電子式補正部のみを動作させる制御を行う動作制御プロセッサと、
を備えるぶれ補正制御装置。
[付記項2]
プロセッサと、
前記プロセッサに接続又は内蔵されたメモリと、を含み、
前記プロセッサは、
補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される動作推奨条件に関係する関係量を、予め定められた時点毎に取得し、
前記機械式補正部の動作、および、前記撮像素子により撮像されることで得られた画像に画像処理を施すことで前記ぶれを補正する電子式補正部の動作を制御し、取得した前記関係量が前記動作推奨条件を満たす状態が、連続する複数の時点の時系列で画定された設定期間継続していない場合は、前記機械式補正部および前記電子式補正部のうちの前記電子式補正部のみを動作させる制御を行う、
ぶれ補正制御装置。
本開示の技術は、上述の種々の実施形態および/または種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。
以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「Aおよび/またはB」は、「AおよびBのうちの少なくとも1つ」と同義である。つまり、「Aおよび/またはB」は、Aだけであってもよいし、Bだけであってもよいし、AおよびBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「および/または」で結び付けて表現する場合も、「Aおよび/またはB」と同様の考え方が適用される。
本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (16)

  1. 補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される動作推奨条件に関係する関係量を、予め定められた時点毎に取得する取得部と、
    前記機械式補正部の動作、および、前記撮像素子により撮像されることで得られた画像に画像処理を施すことで前記ぶれを補正する電子式補正部の動作を制御する動作制御部であり、前記取得部において取得した前記関係量が前記動作推奨条件を満たす状態が、連続する複数の時点の時系列で画定された設定期間継続していない場合は、前記機械式補正部および前記電子式補正部のうちの前記電子式補正部のみを動作させる制御を行う動作制御部と、
    を備えるぶれ補正制御装置。
  2. 前記動作制御部は、前記取得部において取得した前記関係量が前記動作推奨条件を満たす状態が前記設定期間継続した場合は、前記機械式補正部および前記電子式補正部のうちの前記機械式補正部のみを動作させる制御を行う請求項1に記載のぶれ補正制御装置。
  3. 前記設定期間を変更する変更部を備える請求項1または請求項2に記載のぶれ補正制御装置。
  4. 前記関係量は、前記撮像素子における前記被写体像の露光時間である請求項1から請求項3のいずれか1項に記載のぶれ補正制御装置。
  5. 前記動作推奨条件は、前記露光時間が第1設定量以上であるという条件である請求項4に記載のぶれ補正制御装置。
  6. 前記関係量は、前記ぶれの振幅と前記ぶれの周波数である請求項1から請求項5のいずれか1項に記載のぶれ補正制御装置。
  7. 前記動作推奨条件は、前記振幅が第2設定量以上で、かつ、前記周波数が第3設定量以上のぶれがあるという条件である請求項6に記載のぶれ補正制御装置。
  8. 前記第2設定量は、前記周波数が高くなるにつれて小さくなる量である請求項7に記載のぶれ補正制御装置。
  9. 前記第3設定量は、前記振幅が大きくなるにつれて小さくなる量である請求項7または請求項8に記載のぶれ補正制御装置。
  10. 前記関係量は、前記撮像素子における前記被写体像の露光時間内の前記ぶれの量である請求項1から請求項3のいずれか1項に記載のぶれ補正制御装置。
  11. 前記動作推奨条件は、前記ぶれの量が第4設定量以上であるという条件である請求項10に記載のぶれ補正制御装置。
  12. 前記取得部は、連続するフレーム毎に前記関係量を取得する請求項1から請求項11のいずれか1項に記載のぶれ補正制御装置。
  13. 監視カメラシステムに用いられる請求項1から請求項12のいずれか1項に記載のぶれ補正制御装置。
  14. 請求項1から請求項13のいずれか1項に記載のぶれ補正制御装置を備える撮像装置。
  15. 補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される動作推奨条件に関係する関係量を、予め定められた時点毎に取得する取得ステップと、
    前記機械式補正部の動作、および、前記撮像素子により撮像されることで得られた画像に画像処理を施すことで前記ぶれを補正する電子式補正部の動作を制御する動作制御ステップであり、前記取得ステップにおいて取得した前記関係量が前記動作推奨条件を満たす状態が、連続する複数の時点の時系列で画定された設定期間継続していない場合は、前記機械式補正部および前記電子式補正部のうちの前記電子式補正部のみを動作させる制御を行う動作制御ステップと、
    を備えるぶれ補正制御装置の作動方法。
  16. 補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される動作推奨条件に関係する関係量を、予め定められた時点毎に取得する取得部と、
    前記機械式補正部の動作、および、前記撮像素子により撮像されることで得られた画像に画像処理を施すことで前記ぶれを補正する電子式補正部の動作を制御する動作制御部であり、前記取得部において取得した前記関係量が前記動作推奨条件を満たす状態が、連続する複数の時点の時系列で画定された設定期間継続していない場合は、前記機械式補正部および前記電子式補正部のうちの前記電子式補正部のみを動作させる制御を行う動作制御部として、
    コンピュータを機能させるためのぶれ補正制御装置の作動プログラム。
JP2020557879A 2018-11-29 2019-11-29 ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置 Active JP7091474B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018224228 2018-11-29
JP2018224228 2018-11-29
PCT/JP2019/046892 WO2020111267A1 (ja) 2018-11-29 2019-11-29 ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置

Publications (2)

Publication Number Publication Date
JPWO2020111267A1 JPWO2020111267A1 (ja) 2021-10-14
JP7091474B2 true JP7091474B2 (ja) 2022-06-27

Family

ID=70852936

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020557879A Active JP7091474B2 (ja) 2018-11-29 2019-11-29 ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置

Country Status (4)

Country Link
US (1) US11212448B2 (ja)
JP (1) JP7091474B2 (ja)
CN (1) CN113170040B (ja)
WO (1) WO2020111267A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7113911B2 (ja) * 2018-11-29 2022-08-05 富士フイルム株式会社 ぶれ補正制御装置、撮像装置、撮像装置のぶれ補正方法、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013126075A (ja) 2011-12-14 2013-06-24 Jvc Kenwood Corp 撮像装置及び画像ぶれ補正方法
JP2017129785A (ja) 2016-01-21 2017-07-27 オリンパス株式会社 撮像装置、像ブレ補正方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69423430T2 (de) * 1993-12-02 2000-09-07 Canon K.K., Tokio/Tokyo Vorrichtung zur Bildzitterkorrektur
JP2006126667A (ja) * 2004-10-29 2006-05-18 Canon Inc カメラシステム、カメラおよび交換レンズ
JP6478504B2 (ja) * 2014-07-16 2019-03-06 キヤノン株式会社 撮像装置およびその制御方法
JP6614810B2 (ja) * 2015-05-29 2019-12-04 キヤノン株式会社 ブレ補正装置、撮像装置、ブレ補正方法
KR102639757B1 (ko) * 2017-01-09 2024-02-23 엘지이노텍 주식회사 카메라 모듈 및 이를 포함하는 광학기기
JP2019117977A (ja) * 2017-12-26 2019-07-18 キヤノン株式会社 防振制御装置、撮像装置、撮像システム、制御方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013126075A (ja) 2011-12-14 2013-06-24 Jvc Kenwood Corp 撮像装置及び画像ぶれ補正方法
JP2017129785A (ja) 2016-01-21 2017-07-27 オリンパス株式会社 撮像装置、像ブレ補正方法

Also Published As

Publication number Publication date
US20210274099A1 (en) 2021-09-02
CN113170040B (zh) 2023-08-08
US11212448B2 (en) 2021-12-28
CN113170040A (zh) 2021-07-23
WO2020111267A1 (ja) 2020-06-04
JPWO2020111267A1 (ja) 2021-10-14

Similar Documents

Publication Publication Date Title
JP6680377B2 (ja) 撮像装置、撮像方法及びプログラム
WO2019071613A1 (zh) 一种图像处理方法及装置
JP7113911B2 (ja) ぶれ補正制御装置、撮像装置、撮像装置のぶれ補正方法、及びプログラム
JP2011097141A (ja) 撮像装置、撮像装置の制御方法、及びプログラム
US10573681B2 (en) Imaging device, camera, and imaging method
KR950010529A (ko) 촬상장치
US9667882B2 (en) Image processing apparatus, image-pickup apparatus, image processing method, non-transitory computer-readable storage medium for generating synthesized image data
US10721415B2 (en) Image processing system with LED flicker mitigation
JP2012182748A (ja) 撮像装置及びその制御方法、プログラム並びに記憶媒体
JP2012044317A (ja) 画像処理装置、撮像装置、及び画像処理方法
JP2015227995A5 (ja)
JP2017011367A5 (ja)
JP7091474B2 (ja) ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置
KR101805629B1 (ko) 영상의 상태에 따라 적응적인 영상 처리를 위한 방법 및 장치
JP7091473B2 (ja) ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置
JP2023002656A (ja) 画像処理装置、投影システム、画像処理方法、及び画像処理プログラム
JP5063881B2 (ja) ラインスキャン方式のイメージセンサシャッタモジュール及びそのシャッタ制御方法
US10715723B2 (en) Image processing apparatus, image acquisition system, image processing method, and image processing program
JP5882759B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP6910841B2 (ja) 撮像装置及びその調整方法
US11575841B2 (en) Information processing apparatus, imaging apparatus, method, and storage medium
JP2007104445A (ja) イメージセンサの固定パターンノイズ除去装置
JP2014112780A (ja) 撮像装置、撮像方法及びプログラム
JP2012095181A5 (ja)
JP2017163233A (ja) 撮影装置及び撮影方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220615

R150 Certificate of patent or registration of utility model

Ref document number: 7091474

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150