JP7087187B2 - ぶれ補正装置、撮像装置、監視システム、及びプログラム - Google Patents

Description

本開示の技術は、ぶれ補正装置、撮像装置、監視システム、及びプログラムに関する。

以下の説明において、「ぶれ」とは、被写体を示す被写体光が光学系を介して受光面に結像される撮像装置において、被写体光が受光面に結像されることで得られる被写体像が、撮像装置に与えられた振動に起因して光学系の光軸と受光面との位置関係が変化することで変動する現象を指す。

撮像装置の結像面に結像される被写体像は、光学像と、電子像である画像とに大別され、光学像のぶれは機械式補正部によって補正され、画像のぶれは電子式補正部によって補正される。被写体像のぶれを補正するには、検出されたぶれ量に基づいて導出されたぶれ補正量が用いられる。機械式補正部は、ぶれ補正量に基づいて光学系及び／又は撮像素子を機械的に移動させることでぶれを補正する。電子式補正部は、ぶれ補正量に基づいて画像に画像処理を施すことでぶれを補正する。

一般的に、１フレームの露光期間の中心位置で取得されたぶれ補正量を用いてぶれを補正することが好ましいとされている（例えば、特開２００３－２３４９４６号公報参照）。

図２３には、撮像されることで得られた動画像に含まれる連続する３フレーム分の露光期間と、撮像素子から画像を読み出す読出期間との関係が示されている。撮像装置では、ローリングシャッタ方式で撮像が行われる場合、図２３に示すように、各フレームの撮像毎に撮像素子による露光期間の中心位置（露光期間の中央の時刻）にぶれ補正量が取得される。そして、取得されたぶれ補正量が、撮像素子から読み出された画像についてのぶれの補正に供される。

ローリングシャッタ方式で撮像が行われる場合、図２３に示すように、各フレームの撮像において、ぶれ補正量が取得されるタイミング（以下、単に「取得タイミング」とも称する）は、撮像素子から画像の読み出しを開始するタイミング（以下、単に「読出開始タイミング」とも称する）よりも遅い。

そのため、図２３に示す例では、１フレーム目の露光期間の中心位置で取得されたぶれ補正量Ａは、ぶれ補正量Ａの取得タイミング以降に撮像素子から読み出された１フレーム目の画像についてのぶれの補正に供される。また、２フレーム目の露光期間の中心位置で取得されたぶれ補正量Ｂは、ぶれ補正量Ｂの取得タイミング以降に撮像素子から読み出された２フレーム目の画像についてのぶれの補正に供される。更に、３フレーム目の露光期間の中心位置で取得されたぶれ補正量Ｃは、ぶれ補正量Ｃの取得タイミング以降に撮像素子から読み出された３フレーム目の画像についてのぶれの補正に供される。

本開示の技術に係る一つの実施形態は、撮像されることで得られた動画像に含まれる隣接する２フレームの各画像に対して共通のぶれ補正量に基づいてぶれの補正が行われる場合に比べ、撮像されることで得られた動画像のぶれを高精度に補正することができるぶれ補正装置、撮像装置、監視システム、及びプログラムを提供する。

本開示の技術に係る第１の態様は、撮像素子により撮像されることで得られた画像のぶれの補正に供するぶれ補正量を、撮像素子での１フレーム分の露光中に取得する取得部と、撮像素子により撮像されることで得られた動画像に含まれる１フレーム分の画像である補正対象画像に対して、補正対象画像を得るのに要する露光中に取得部により取得されたぶれ補正量に基づいて画像処理を施すことでぶれを補正する補正部と、を含むぶれ補正装置である。これにより、撮像されることで得られた動画像に含まれる隣接する２フレームの各画像に対して共通のぶれ補正量に基づいてぶれの補正が行われる場合に比べ、撮像されることで得られた動画像のぶれを高精度に補正することができる。

本開示の技術に係る第２の態様は、補正対象画像は記憶部に記憶され、補正部は、記憶部に記憶された補正対象画像に対して、補正対象画像を得るのに要する露光中に取得部によって取得されたぶれ補正量に基づいて画像処理を施すことでぶれを補正する第１の態様に係るぶれ補正装置である。これにより、ぶれ補正量が取得されるタイミングが画像の読み出しを開始するタイミングよりも遅い場合であっても、動画像に含まれる１フレーム内で取得されたぶれ補正量に基づいて同じフレームの補正対象画像のぶれを補正することができる。

本開示の技術に係る第３の態様は、画像は１フレーム毎に記憶部に記憶され、記憶部に記憶された１フレーム毎の画像の各々が補正対象画像である第２の態様に係るぶれ補正装置である。これにより、撮像されることで得られた動画像に含まれる隣接する２フレームの各画像に対して共通のぶれ補正量に基づいてぶれの補正が行われる場合に比べ、動画像に含まれる１フレーム毎の補正対象画像の各々のぶれを高精度に補正することができる。

本開示の技術に係る第４の態様は、補正部は、隣接する先フレーム及び後フレームのうちの先フレームの画像が撮像素子から読み出される第１読出期間と後フレームの画像が撮像素子から読み出される第２読出期間とが重複しない場合において、後フレームの補正対象画像に対して、第１読出期間と第２読出期間との間の露光中に取得部によって取得されたぶれ補正量に基づいて画像処理を施すことでぶれを補正する第１の態様に係るぶれ補正装置である。これにより、隣接する先フレーム及び後フレームのうちの後フレームの補正対象画像に対するぶれの補正に対して、先フレームの露光中に取得されたぶれ補正量が影響を及ぼすことを回避することができる。

本開示の技術に係る第５の態様は、補正部は、後フレームの補正対象画像に対して、第１読出期間と第２読出期間との間の１フレーム分の全露光期間を通じて取得部によって取得されたぶれ補正量に基づいて画像処理を施すことでぶれを補正する第４の態様に係るぶれ補正装置である。これにより、１つのぶれ補正量のみに基づいてぶれが補正される場合に比べ、ぶれの補正精度を高めることができる。

本開示の技術に係る第６の態様は、取得部は、補正対象画像に対応する露光が行われている期間のうちの特定のラインの露光が行われている間にぶれ補正量を取得する第１の態様から第４の態様の何れか１つの態様に係るぶれ補正装置である。これにより、補正対象画像に対応する露光が行われている期間のうちの特定のラインの露光が行われている間に取得されたぶれ補正量に基づいて補正対象画像のぶれを補正することができる。

本開示の技術に係る第７の態様は、取得部は、１フレーム目の露光中において撮像素子からの画像の読み出しの開始時点よりも早くぶれ補正量を取得する第１の態様から第６の態様の何れか１つの態様に係るぶれ補正装置である。これにより、１フレーム目の補正対象画像に対して、１フレーム目に取得されたぶれ補正量に基づいてぶれの補正を行うことができる。

本開示の技術に係る第８の態様は、補正部は、第１補正モード又は第２補正モードでぶれを補正し、第１補正モードは、補正対象画像を得るのに要する露光中に取得部により取得されたぶれ補正量に基づいて補正対象画像に対して画像処理を施すことでぶれを補正する補正モードであり、第２補正モードは、撮像素子から読み出し中の１フレームに満たない画像である未完画像に対して、取得部によって取得された最新のぶれ補正量に基づいて画像処理を施すことでぶれを補正する補正モードである第１の態様から第７の態様の何れか１つの態様に係るぶれ補正装置である。これにより、第１補正モードでは、第２補正モードよりもぶれの補正の高精度化を実現することができ、第２補正モードでは、第１補正モードよりもぶれの補正の高速化を実現することができる。

本開示の技術に係る第９の態様は、補正部は、動画像を記憶媒体に記憶させる場合に第１補正モードでぶれを補正する第８の態様に係るぶれ補正装置である。これにより、第２補正モードで未完画像のぶれを補正する場合に比べ、ぶれの補正の精度が高い動画像を保存することができる。

本開示の技術に係る第１０の態様は、補正部は、ライブビュー画像を表示部に対して表示させる場合に第２補正モードでぶれを補正する第８の態様又は第９の態様に係るぶれ補正装置である。これにより、補正対象画像が記憶部に記憶されるのを待ってから補正対象画像のぶれを補正して得た補正画像を表示部に表示させる場合に比べ、リアルタイム性の高い動画像を表示部に表示させることができる。

本開示の技術に係る第１１の態様は、補正部は、第１補正モード及び第２補正モードのうち、撮像素子からの画像の読み出しを開始する読出開始タイミング及び取得部によるぶれ補正量の取得タイミングに応じて定められた補正モードでぶれを補正する第８の態様に係るぶれ補正装置である。これにより、第１補正モード及び第２補正モードのうち、読出開始タイミング及び取得部によるぶれ補正量の取得タイミングとは無関係に決められた補正モードでぶれが補正される場合に比べ、適切な補正モードでぶれを補正することができる。

本開示の技術に係る第１２の態様は、補正部は、撮像素子による１フレーム分の撮像において、取得タイミングが読出開始タイミング以前であれば第１補正モードでぶれを補正し、取得タイミングが読出開始タイミングよりも遅ければ第２補正モードでぶれを補正する第１１の態様に係るぶれ補正装置である。これにより、第１補正モード及び第２補正モードのうち、取得部によるぶれ補正量の取得タイミングと読出開始タイミングとの関係性に依らずに決められた補正モードでぶれが補正される場合に比べ、適切な補正モードでぶれを補正することができる。

本開示の技術に係る第１３の態様は、補正部は、動画像を外部装置に送信する場合に第１補正モードでぶれを補正する第８の態様に係るぶれ補正装置である。これにより、第２補正モードで未完画像のぶれを補正する場合に比べ、ぶれの補正の精度が高い動画像を外部装置に送信することができる。

本開示の技術に係る第１４の態様は、第１の態様から第１３の態様の何れか１つの態様に係るぶれ補正装置と、撮像素子と、を含む撮像装置である。これにより、撮像されることで得られた動画像に含まれる隣接する２フレームの各画像に対して共通のぶれ補正量に基づいてぶれの補正が行われる場合に比べ、撮像されることで得られた動画像のぶれを高精度に補正することができる。

本開示の技術に係る第１５の態様は、第１４の態様に係る撮像装置と、補正部によりぶれが補正されることで得られた補正済み画像を表示部に対して表示させる制御、及び補正済み画像を記憶装置に対して記憶させる制御のうちの少なくとも一方を行うコントローラと、を含む監視システムである。これにより、撮像されることで得られた動画像に含まれる隣接する２フレームの各画像に対して共通のぶれ補正量に基づいてぶれの補正が行われる場合に比べ、撮像されることで得られた動画像のぶれを高精度に補正することができる。

本開示の技術に係る第１６の態様は、コンピュータを、第１の態様から第１３の態様の何れか１つの態様に係るぶれ補正装置に含まれる取得部及び補正部として機能させるためのプログラムである。これにより、撮像されることで得られた動画像に含まれる隣接する２フレームの各画像に対して共通のぶれ補正量に基づいてぶれの補正が行われる場合に比べ、撮像されることで得られた動画像のぶれを高精度に補正することができる。

本開示の技術に係る第１７の態様は、プロセッサを含むぶれ補正装置であって、プロセッサは、撮像素子により撮像されることで得られた画像のぶれの補正に供するぶれ補正量を、撮像素子での１フレーム分の露光中に取得し、撮像素子により撮像されることで得られた動画像に含まれる１フレーム分の画像である補正対象画像に対して、補正対象画像を得るのに要する露光中に取得したぶれ補正量に基づいて画像処理を施すことでぶれを補正するぶれ補正装置である。これにより、撮像されることで得られた動画像に含まれる隣接する２フレームの各画像に対して共通のぶれ補正量に基づいてぶれの補正が行われる場合に比べ、撮像されることで得られた動画像のぶれを高精度に補正することができる。

第１～第３実施形態に係る監視システムの構成の一例を示す概略構成図である。 第１～第３実施形態に係る監視カメラの光学系及び電気系の構成の一例を示すブロック図である。 第１～第３実施形態に係る管理装置の電気系の構成の一例を示すブロック図である。 第１～第３実施形態に係る監視カメラでのＣＰＵから出力される信号の出力タイミングと、撮像素子の露光期間と、撮像素子からアナログ画像が読み出される期間との関係の一例を示すタイムチャートである。 第１実施形態に係る監視カメラに含まれるぶれ補正装置の機能及びその周辺のデバイスの一例を示すブロック図である。 第１実施形態に係る監視カメラにより撮像されることで得られた動画像に含まれる１フレーム目の補正対象画像に対するぶれを補正する場合の説明に供する概念図である。 第１実施形態に係る監視カメラにより撮像されることで得られた動画像に含まれる３フレーム目の補正対象画像に対するぶれを補正する場合の説明に供する概念図である。 第１実施形態に係る監視カメラにより撮像されることで得られた動画像に含まれる２フレーム目の補正対象画像に対するぶれを補正する場合の説明に供する概念図である。 第１実施形態に係るぶれ補正処理の流れの一例を示すフローチャートである。 第１実施形態に係る管理処理の流れの一例を示すフローチャートである。 第２実施形態に係る監視カメラに含まれるぶれ補正装置に対して設定される補正モードと補正モードが設定される条件との関係の一例を示す概念図である。 第２実施形態に係る監視カメラに含まれるぶれ補正装置に対して第１補正モードが設定された場合のぶれ補正装置の機能及びその周辺のデバイスの一例を示すブロック図である。 第２実施形態に係る監視カメラに含まれるぶれ補正装置に対して第２補正モードが設定された場合のぶれ補正装置の機能及びその周辺のデバイスの一例を示すブロック図である。 第２実施形態に係るぶれ補正処理の流れの一例を示すフローチャートである。 第２実施形態に係る第２補正モードぶれ補正処理の流れの一例を示すフローチャートである。 第２実施形態に係る監視カメラに含まれるぶれ補正装置に対して設定される補正モードと補正モードが設定される条件との関係の変形例を示す概念図である。 第２実施形態に係る監視カメラに含まれるぶれ補正装置に対して第１補正モードが設定された場合のぶれ補正装置の機能及びその周辺のデバイスの変形例を示すブロック図である。 第３実施形態に係る監視カメラに含まれるぶれ補正装置に対して設定される補正モードと補正モードが設定される条件との関係の一例を示す概念図である。 第３実施形態に係る監視カメラにより撮像されることで得られた動画像に含まれる１フレーム目及び２フレーム目の各々の露光期間及び読出期間の一例を示すタイムチャートである。 第３実施形態に係る監視カメラに含まれるぶれ補正装置に対して第１補正モードが設定された場合のぶれ補正装置の機能及びその周辺のデバイスの一例を示すブロック図である。 第３実施形態に係る監視カメラに含まれるぶれ補正装置に対して第２補正モードが設定された場合のぶれ補正装置の機能及びその周辺のデバイスの一例を示すブロック図である。 第３実施形態に係るぶれ補正処理の流れの一例を示すフローチャートである。 第１読出期間と第２読出期間との間の１フレーム分の全露光期間を通じて取得されたぶれ補正量に基づいてデジタル画像のぶれが補正される態様の一例を示す概念図である。 ぶれ補正プログラムが記憶された記憶媒体から、ぶれ補正プログラムがぶれ補正装置内のコンピュータにインストールされる態様の一例を示す概念図である。 従来技術に係るぶれ補正装置による動画像に対するぶれの補正の態様の一例を示すタイムチャートである。

以下、本開示の技術の実施形態の一例を、図面を参照しつつ説明する。

先ず、以下の説明で使用される文言について説明する。

ＣＰＵとは、“Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称を指す。ＲＡＭとは、“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＲＯＭとは、“Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。

ＡＳＩＣとは、“Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称を指す。ＰＬＤとは、“Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ”の略称を指す。ＦＰＧＡとは、“Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ”の略称を指す。ＡＦＥとは、“Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ”の略称を指す。ＤＳＰとは、“Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ”の略称を指す。ＳｏＣとは、“Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ”の略称を指す。

ＳＳＤとは、“Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ”の略称を指す。ＤＶＤ－ＲＯＭとは、“Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。ＵＳＢとは、“Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ”の略称を指す。ＨＤＤとは、“Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ”の略称を指す。ＥＥＰＲＯＭとは、“Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。

ＣＣＤとは、“Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ”の略称を指す。ＣＭＯＳとは、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称を指す。ＥＬとは、“Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ”の略称を指す。Ａ／Ｄとは、“Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ”の略称を指す。Ｉ／Ｆとは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＵＩとは、“Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＷＡＮとは、“Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ”の略称を指す。また、以下の説明において、ディスプレイに表示される「画像」以外で、「画像」と表現されている場合、「画像」には「画像を示すデータ」の意味も含まれる。

［第１実施形態］
図１において、監視システム２は、監視カメラ１０及び管理装置１１を備えている。監視システム２は、本開示の技術に係る「監視システム」の一例であり、監視カメラ１０は、本開示の技術に係る「撮像装置」の一例であり、管理装置１１は、本開示の技術に係る「外部装置」の一例である。

監視カメラ１０は、屋内外の柱又は壁等に設置され、被写体である監視対象を撮像し、撮像することで動画像を生成する。動画像には、撮像することで得られた複数フレームの画像が含まれている。監視カメラ１０は、撮像することで得た動画像を、通信ライン１２を介して管理装置１１に送信する。

管理装置１１は、ディスプレイ１３及び二次記憶装置１４を備えている。ディスプレイ１３としては、例えば、液晶ディスプレイ又は有機ＥＬディスプレイ等が挙げられる。なお、ディスプレイ１３は、本開示の技術に係る「表示部（ディスプレイ）」の一例である。

二次記憶装置１４の一例としては、ＨＤＤが挙げられる。二次記憶装置１４は、ＨＤＤではなく、フラッシュメモリ、ＳＳＤ、又はＥＥＰＲＯＭなどの不揮発性のメモリであればよい。なお、二次記憶装置１４は、本開示の技術に係る「記憶装置」の一例である。

管理装置１１では、監視カメラ１０によって送信された動画像が受信され、受信された動画像がディスプレイ１３に表示されたり、二次記憶装置１４に記憶されたりする。

一例として図２に示すように、監視カメラ１０は、光学系１５及び撮像素子２５を備えている。撮像素子２５は、光学系１５の後段に位置している。光学系１５は、対物レンズ１５Ａ及びレンズ群１５Ｂを備えている。対物レンズ１５Ａ及びレンズ群１５Ｂは、監視対象側から撮像素子２５の受光面２５Ａ側にかけて、光学系１５の光軸ＯＡに沿って、対物レンズ１５Ａ及びレンズ群１５Ｂの順に配置されている。レンズ群１５Ｂには、光軸ＯＡに沿って移動可能なフォーカス用のレンズ及びズーム用のレンズ等が含まれており、フォーカス用のレンズ及びズーム用のレンズは、与えられた動力に応じて光軸ＯＡに沿って移動する。このように構成された光学系１５によって、監視対象を示す監視対象光は、受光面２５Ａに結像される。なお、撮像素子２５は、本開示の技術に係る「撮像素子」の一例である。ここでは、撮像素子２５として、ＣＣＤイメージセンサが採用されているが、これはあくまでも一例に過ぎず、撮像素子２５は、ＣＭＯＳイメージセンサ等の他のイメージセンサであってもよい。

監視カメラ１０は、ドライバ２６、ＡＦＥ３０、ＤＳＰ３１、画像メモリ３２、ぶれ補正装置３３、通信Ｉ／Ｆ３４、ＲＡＭ３５、ＲＯＭ３６、ＣＰＵ３７、ぶれ量検出センサ４０、ディスプレイ４２、及び受付デバイス４３を備えている。ドライバ２６、ＡＦＥ３０、ＤＳＰ３１、画像メモリ３２、ぶれ補正装置３３、通信Ｉ／Ｆ３４、ＣＰＵ３７、ＲＯＭ３６、ＲＡＭ３５、ぶれ量検出センサ４０、ディスプレイ４２、及び受付デバイス４３の各々は、バスライン３８に接続されている。なお、ぶれ補正装置３３は、本開示の技術に係る「ぶれ補正装置」の一例である。また、画像メモリ３２は、本開示の技術に係る「メモリ」の一例である。

ＲＯＭ３６には、監視カメラ１０用の各種プログラム（以下、単に「撮像装置用プログラム」と称する）が記憶されている。ＣＰＵ３７は、ＲＯＭ３６から撮像装置用プログラムを読み出し、読み出した撮像装置用プログラムをＲＡＭ３５に展開する。ＣＰＵ３７は、ＲＡＭ３５に展開した撮像装置用プログラムに従って監視カメラ１０の全体を制御する。

撮像素子２５には、ドライバ２６及びＡＦＥ３０の各々が接続されている。撮像素子２５は、ドライバ２６の制御の下、既定のフレームレートで監視対象を撮像する。ここで言う「既定のフレームレート」とは、例えば、数フレーム／秒から数十フレーム／秒を指す。

受光面２５Ａは、マトリクス状に配置された複数の感光画素（図示省略）によって形成されている。撮像素子２５では、各感光画素が露光され、感光画素毎に光電変換が行われる。感光画素毎に光電変換が行われることで得られた電荷は、監視対象を示すアナログの撮像信号であり、アナログ画像として撮像素子２５に蓄積される。各感光画素は、アナログ画像が読み出される前後等のタイミングで、ＣＰＵ３７の制御の下、ドライバ２６によってリセットされる。各感光画素に対する露光期間は、シャッタスピードに従って定められ、シャッタスピードは、各感光画素に対するリセットのタイミング及びアナログ画像の読み出しのタイミングが制御されることで調節される。

撮像素子２５には、ドライバ２６から垂直同期信号及び水平同期信号が入力される。垂直同期信号は、１フレーム分のアナログ画像の送信を開始するタイミングを規定する信号である。水平同期信号は、１水平ライン分のアナログ画像の出力を開始するタイミングを規定する信号である。撮像素子２５は、ドライバ２６から入力された垂直同期信号に従ってフレーム単位でのアナログ画像のＡＦＥ３０への出力を開始し、ドライバ２６から入力された水平同期信号に従って水平ライン単位でのアナログ画像のＡＦＥ３０への出力を開始する。

ＡＦＥ３０は、撮像素子２５からのアナログ画像を受信する。換言すると、アナログ画像は、ＡＦＥ３０によって撮像素子２５から読み出される。ＡＦＥ３０は、アナログ画像に対して、相関二重サンプリング及びゲイン調整等のアナログ信号処理を施した後、Ａ／Ｄ変換を行うことで、デジタルの撮像信号であるデジタル画像を生成する。ここで、アナログ画像は、本開示の技術に係る「ぶれ補正装置」での撮像素子からの読出対象とされる「画像」の一例である。また、デジタル画像は、本開示の技術に係る「ぶれ補正装置」での補正部による補正対象とされる「画像」の一例である。なお、以下では、説明の便宜上、アナログ画像とデジタル画像とを区別して説明する必要がない場合、単に「画像」と称する。

なお、図２に示す例では、ＡＦＥ３０が撮像素子２５の外部に設けられているが、本開示の技術はこれに限定されず、ＡＦＥ３０は、撮像素子２５内に一体的に組み込まれていてもよい。

ＤＳＰ３１は、デジタル画像に対して、各種デジタル信号処理を施す。各種デジタル信号処理とは、例えば、デモザイク処理、ノイズ除去処理、階調補正処理、及び色補正処理等を指す。ＤＳＰ３１は、１フレーム毎に、デジタル信号処理後のデジタル画像を画像メモリ３２に出力する。画像メモリ３２は、ＤＳＰ３１からのデジタル画像を記憶する。

ところで、監視カメラ１０に与えられる振動には、屋外であれば、自動車の通行による振動、風による振動、及び道路工事による振動等があり、屋内であれば、エアコンディショナーの動作による振動、及び人の出入りによる振動等がある。そのため、監視カメラ１０では、監視カメラ１０に与えられた振動（以下、単に「振動」とも称する）に起因してぶれが生じる。本実施形態において、「ぶれ」とは、監視カメラ１０において、デジタル画像が光軸ＯＡと受光面２５Ａとの位置関係が変化することで変動する現象を指す。

ぶれ量検出センサ４０は、例えば、ジャイロセンサである。ジャイロセンサは、ピッチ軸ＰＡ、ヨー軸ＹＡ、及びロール軸ＲＡ（例えば、図２に示す光軸ＯＡに平行な軸）の各軸（図１参照）周りの回転ぶれの量をぶれ量として検出する。なお、本実施形態での平行の意味には、完全な平行の意味の他に、設計上および製造上において許容される誤差を含む略平行の意味も含まれる。

なお、ここでは、ぶれ量検出センサ４０の一例としてジャイロセンサを挙げているが、これはあくまでも一例であり、ぶれ量検出センサ４０は、加速度センサであってもよい。加速度センサは、ピッチ軸ＰＡとヨー軸ＹＡに平行な２次元状の面内でのぶれ量を検出する。ぶれ量検出センサ４０は、検出したぶれ量をＣＰＵ３７に出力する。

また、ここでは、ぶれ量検出センサ４０という物理的なセンサによってぶれ量が検出される形態例を挙げているが、本開示の技術はこれに限定されない。例えば、画像メモリ３２に記憶された時系列的に前後するデジタル画像を比較することで得た動きベクトルをぶれ量として用いてもよい。また、物理的なセンサによって検出されたぶれ量と、画像処理によって得られた動きベクトルとに基づいて最終的に使用されるぶれ量が導出されるようにてもよい。

ぶれ補正装置３３は、ＡＳＩＣを含むデバイス（本開示の技術に係る「プロセッサ」の一例）であり、ぶれ量検出センサ４０によって検出されたぶれ量に応じたぶれ補正量を取得する。ぶれ補正量は、画像メモリ３２に記憶されたデジタル画像のぶれの補正に供される。すなわち、ぶれ補正装置３３は、取得したぶれ補正量に基づいて、画像メモリ３２に記憶されたデジタル画像に対して画像処理を施すことでぶれを補正する。

本実施形態では、デジタル画像に対する画像処理の一例として、画像切出処理が採用されている。画像切出処理とは、画像メモリ３２に記憶されたデジタル画像から一部の画像領域を切り出す処理を指す。画像切出処理が行われる場合、撮像素子２５の撮像領域が、ぶれが補正されたデジタル画像として出力する領域（以下、単に「画像出力領域」）よりも広く設定された上で撮像が行われる。ぶれ補正量は、例えば、画像メモリ３２に記憶されたデジタル画像のうちの画像出力領域以外の画像領域を特定する情報である。画像切出処理では、画像メモリ３２に記憶されたデジタル画像から、ぶれ補正量に基づいて画像出力領域が特定される。そして、画像メモリ３２に記憶されたデジタル画像から、特定された画像出力領域が切り出され、切り出された画像出力領域が、ぶれが補正されたデジタル画像として、ＣＰＵ３７を介して通信Ｉ／Ｆ３４に出力される。

なお、本実施形態において、「ぶれの補正」には、ぶれを無くすという意味の他に、ぶれを低減するという意味も含まれる。ぶれ補正装置３３は、ぶれを補正したデジタル画像を通信Ｉ／Ｆ３４に出力する。

また、ここでは、ぶれ補正装置３３として、ＡＳＩＣを含むデバイスを例示しているが、本開示の技術はこれに限定されるものではなく、例えば、ＦＰＧＡ又はＰＬＤを含むデバイスであってもよい。また、例えば、ぶれ補正装置３３は、ＡＳＩＣ、ＦＰＧＡ、及びＰＬＤのうちの複数を含むデバイスであってもよい。また、ぶれ補正装置３３として、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、ぶれ補正装置３３は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

通信Ｉ／Ｆ３４は、例えば、ネットワークインターフェースであり、ネットワークを介して、管理装置１１との間で各種情報の伝送制御を行う。ネットワークの一例としては、インターネット又は公衆通信網等のＷＡＮが挙げられる。監視カメラ１０と管理装置１１との間の通信を司る。通信Ｉ／Ｆ３４は、ぶれ補正装置３３からＣＰＵ３７を介して入力されたデジタル画像、すなわち、ぶれ補正装置３３によってぶれが補正されたデジタル画像を管理装置１１に送信する。

受付デバイス４３は、例えば、キーボード、マウス、及びタッチパネル等であり、ユーザからの各種指示を受け付ける。ＣＰＵ３７は、受付デバイス４３によって受け付けられた各種指示を取得し、取得した指示に従って動作する。

ディスプレイ４２は、ＣＰＵ３７の制御下で、各種情報を表示する。ディスプレイ４２に表示される各種情報としては、例えば、受付デバイス４３によって受け付けられた各種指示の内容、及びぶれ補正装置３３によってぶれが補正されたデジタル画像等が挙げられる。

一例として図３に示すように、管理装置１１は、ディスプレイ１３、二次記憶装置１４、コントローラ６０、受付デバイス６２、及び通信Ｉ／Ｆ６６を備えている。コントローラ６０は、ＣＰＵ６０Ａ、ＲＯＭ６０Ｂ、及びＲＡＭ６０Ｃを備えている。受付デバイス６２、ディスプレイ１３、二次記憶装置１４、ＣＰＵ６０Ａ、ＲＯＭ６０Ｂ、ＲＡＭ６０Ｃ、及び通信Ｉ／Ｆ６６の各々は、バスライン７０に接続されている。

ＲＯＭ６０Ｂには、管理装置１１用の各種プログラム（以下、単に「管理装置用プログラム」と称する）が記憶されている。ＣＰＵ６０Ａは、ＲＯＭ６０Ｂから管理装置用プログラムを読み出し、読み出した管理装置用プログラムをＲＡＭ６０Ｃに展開する。ＣＰＵ６０Ａは、ＲＡＭ６０Ｃに展開した管理装置用プログラムに従って管理装置１１の全体を制御する。

通信Ｉ／Ｆ６６は、例えば、ネットワークインターフェースである。通信Ｉ／Ｆ６６は、ネットワークを介して、管理装置１１の通信Ｉ／Ｆ３４に対して通信可能に接続されており、管理装置１１との間で各種情報の伝送制御を行う。例えば、通信Ｉ／Ｆ６６は、管理装置１１に対してデジタル画像の送信を要求し、デジタル画像の送信の要求に応じて管理装置１１の通信Ｉ／Ｆ３４から送信されたデジタル画像を受信する。

受付デバイス６２は、例えば、キーボード、マウス、及びタッチパネル等であり、ユーザからの各種指示を受け付ける。ＣＰＵ６０Ａは、受付デバイス６２によって受け付けられた各種指示を取得し、取得した指示に従って動作する。

ディスプレイ１３は、ＣＰＵ６０Ａの制御下で、各種情報を表示する。ディスプレイ１３に表示される各種情報としては、例えば、受付デバイス６２によって受け付けられた各種指示の内容、及び通信Ｉ／Ｆ６６によって受信されたデジタル画像等が挙げられる。

二次記憶装置１４は、ＣＰＵ６０Ａの制御下で、各種情報を記憶する。二次記憶装置１４に記憶される各種情報としては、例えば、通信Ｉ／Ｆ６６によって受信されたデジタル画像等が挙げられる。

このように、コントローラ６０は、通信Ｉ／Ｆ６６によって受信されたデジタル画像をディスプレイ１３に対して表示させる制御、及び通信Ｉ／Ｆ６６によって受信されたデジタル画像を二次記憶装置１４に対して記憶させる制御を行う。

なお、ここでは、デジタル画像をディスプレイ１３に対して表示させ、かつ、通信Ｉ／Ｆ６６によって受信されたデジタル画像を二次記憶装置１４に対して記憶させるようにしているが、本開示の技術はこれに限定されない。例えば、デジタル画像のディスプレイ１３に対する表示とデジタル画像の二次記憶装置１４に対する記憶との何れかが行われるようにしてもよい。

監視カメラ１０により動画像用の撮像が行われる場合、一例として図４に示すように、ＣＰＵ３７は、フレーム単位で、垂直同期信号を、ドライバ２６（図１参照）を介して撮像素子２５に出力する。撮像素子２５に垂直同期信号が入力されると、撮像素子２５からアナログ画像の読み出しが開始される。そして、ＣＰＵ３７は、垂直同期信号が出力されてから既定時間（後述）が経過したときに、ぶれ量検出センサ４０に対して、ぶれ量の検出を指示するぶれ量検出信号を出力する。ぶれ量検出センサ４０は、ＣＰＵ３７からぶれ量検出信号が入力されると、ぶれ量を検出し、検出したぶれ量をぶれ補正装置３３に出力する。

詳しくは後述するが、ぶれ量検出センサ４０によって検出されたぶれ量に応じて、ぶれ補正量が算出される。そして、ぶれ補正装置３３は、ぶれ補正量取得タイミングで、ぶれ補正量を取得する。ここで言う「ぶれ補正量取得タイミング」とは、ぶれ補正装置３３によってぶれ補正量が取得されるタイミングとして予め定められたタイミングを指す。図４に示す例では、ぶれ補正量取得タイミングとして、１フレーム分の露光期間の中央のタイミングが示されている。上記の既定時間とは、例えば、ぶれ補正装置３３に対してぶれ補正量取得タイミングでぶれ補正量を取得させるタイミングにてＣＰＵ３７に対して検出指示信号を出力させるまでに要する時間として予め定められた時間を指す。

一例として図５に示すように、ぶれ補正装置３３は、ぶれ補正量算出部８０、取得部８２、補正部８４、及び補正タイミング判定部８８を備えている。なお、取得部８２は、本開示の技術に係る「取得部」の一例であり、補正部８４は、本開示の技術に係る「補正部」の一例である。

ぶれ補正量算出部８０は、ぶれ量検出センサ４０によって検出されたぶれ量を取得し、取得したぶれ量に基づいてぶれ補正量を算出する。ぶれ補正量算出部８０では、ぶれ量を独立変数とし、ぶれ補正量を従属変数とした演算式を用いてぶれ補正量が算出される。

なお、ここでは、ぶれ補正量が演算式を用いて算出される形態例を挙げているが、本開示の技術はこれに限定されない。例えば、ぶれ量とぶれ補正量とが対応付けられたぶれ補正量導出テーブル（図示省略）に基づいてぶれ補正量が導出されるようにしてもよい。

取得部８２は、ぶれ補正量算出部８０によって算出されたぶれ補正量を、上述のぶれ補正量取得タイミング（図４参照）で取得する。ぶれ補正量取得タイミングでぶれ補正量が取得されるということは、撮像素子２５での１フレーム分の露光中にぶれ補正量が取得されるということを意味する。

補正タイミング判定部８８は、画像メモリ３２に補正対象画像が記憶されたか否かを判定し、画像メモリ３２に補正対象画像が記憶された場合に、ぶれの補正を指示する補正指示信号を補正部８４に出力する。補正対象画像とは、撮像素子２５により撮像されることで得られた動画像に含まれる１フレーム分のデジタル画像を指す。つまり、ぶれ補正装置３３では、ＤＳＰ３１によって画像メモリ３２に記憶された１フレーム分のデジタル画像が補正対象画像として扱われる。また、画像メモリ３２には、１フレーム毎にデジタル画像が記憶されるので、１フレーム毎のデジタル画像の各々が補正対象画像として扱われる。

補正タイミング判定部８８は、画像メモリ３２の記憶内容を監視しており、画像メモリ３２に１フレーム分のデジタル画像が記憶された場合に、画像メモリ３２に補正対象画像が記憶されたと判定し、補正指示信号を補正部８４に出力する。

補正部８４は、補正タイミング判定部８８からの補正指示信号が入力されると、画像メモリ３２から補正対象画像を取得し、取得した補正対象画像に対して、上述した画像切出処理を行うことで、ぶれを補正する。補正対象画像に対してぶれの補正が行われることで得られた補正画像は、補正部８４によってＣＰＵ３７に出力され、ＣＰＵ３７により通信Ｉ／Ｆ３４を介して管理装置１１に送信される。

ぶれ補正装置３３は、上述した既定のフレームレートに従って撮像されることで得られた動画像に含まれる各デジタル画像に対して、同様の方法で、ぶれを補正する。そして、ぶれを補正することで得た各補正画像は、ＣＰＵ３７を介して管理装置１１に順次に送信される。

管理装置１１では、監視カメラ１０のＣＰＵ３７から送信された各補正画像がコントローラ６０に順次に入力される。そして、ディスプレイ１３は、コントローラ６０の制御下で、コントローラ６０に順次に入力された補正画像をライブビュー画像として表示し、二次記憶装置１４は、コントローラ６０の制御下で、コントローラ６０に順次に入力された補正画像を記憶する。なお、コントローラ６０は、本開示の技術に係る「コントローラ」の一例である。

図６Ａには、監視対象が撮像されることで得られた動画像に含まれる１フレーム目から３フレーム目までの各フレームについての露光期間及び読出期間の一例が示されている。ここで言う「露光期間」とは、撮像素子２５に対して露光が行われている期間を指し、読出期間とは、撮像素子２５からのアナログ画像の読み出しに要する期間を指す。

監視カメラ１０では、ローリングシャッタ方式での撮像が行われる。従って、一例として図６Ａに示すように、読出開始タイミングと読出終了タイミングとの間にずれが生じる。読出開始タイミングは、撮像素子２５の撮像領域の１行目の水平ラインのアナログ画像の読み出しを行うタイミングであり、読出終了タイミングは、撮像素子２５の撮像領域の最終行の水平ラインのアナログ画像の読み出しを行うタイミングである。ローリングシャッタ方式では、水平同期信号に従って撮像素子２５の撮像領域の１行目から最終行にかけて１水平ライン毎に順次にアナログ画像の読み出しが行われる。そのため、読出終了タイミングは、読出開始タイミングよりも遅れて到来する。これに伴って、撮像素子２５の撮像領域の１行目の露光が行われるタイミングと撮像素子２５の撮像領域の最終行の露光が行われるタイミングとの間にずれが生じる。

各フレームにおいて、ぶれ補正量は、撮像素子２５の撮像領域の列方向の中央に位置する水平ラインに対する露光が行われているタイミングで取得部８２（図５参照）によって取得される。より具体的には、撮像素子２５の撮像領域の列方向の中央に位置する水平ラインの中央の感光画素に対する露光が行われるタイミングで取得部８２によってぶれ補正量が取得される。なお、撮像素子２５の撮像領域の列方向の中央に位置する水平ラインに対する露光が行われているタイミングは、本開示の技術に係る「補正対象画像に対応する露光が行われている期間のうちの特定のラインの露光が行われている間」の一例である。

ここでは、撮像素子２５の撮像領域の列方向の中央に位置する水平ラインに対する露光が行われているタイミングで取得部８２によってぶれ補正量が取得されているが、本開示の技術はこれに限定されない。例えば、撮像素子２５の撮像領域の列方向の中央に位置する水平ラインよりも列方向に複数ライン分（例えば、数ラインから数十ライン分）だけ前又は後に位置する水平ラインに対する露光が行われているタイミングで取得部８２によってぶれ補正量が取得されるようにしてもよい。

図６Ａに示す例では、１フレーム目について撮像素子２５の撮像領域の列方向の中央に位置する水平ラインに対する露光が行われているタイミングで取得部８２によってぶれ補正量Ａが取得される。そして、撮像素子２５から読み出された１フレーム目のアナログ画像に対応する１フレーム分のデジタル画像が補正対象画像として画像メモリ３２に記憶されると、補正部８４は、取得部８２によって取得されたぶれ補正量Ａに基づいて画像切出処理を行う。これにより、１フレーム目の補正対象画像に対するぶれが補正される。

同様に、図６Ｂに示す例では、２フレーム目について撮像素子２５の撮像領域の列方向の中央に位置する水平ラインに対する露光が行われているタイミングで取得部８２によってぶれ補正量Ｂが取得される。そして、撮像素子２５から読み出された２フレーム目のアナログ画像に対応する１フレーム分のデジタル画像が補正対象画像として画像メモリ３２に記憶されると、補正部８４は、取得部８２によって取得されたぶれ補正量Ｂに基づいて画像切出処理を行う。これにより、２フレーム目の補正対象画像に対するぶれが補正される。

同様に、図６Ｃに示す例では、３フレーム目について撮像素子２５の撮像領域の列方向の中央に位置する水平ラインに対する露光が行われているタイミングで取得部８２によってぶれ補正量Ｃが取得される。そして、撮像素子２５から読み出された３フレーム目のアナログ画像に対応する１フレーム分のデジタル画像が補正対象画像として画像メモリ３２に記憶されると、補正部８４は、取得部８２によって取得されたぶれ補正量Ｃに基づいて画像切出処理を行う。これにより、３フレーム目の補正対象画像に対するぶれが補正される。なお、撮像されることで得られた動画像に含まれる３フレーム目以降の各フレームについても同様の処理が行われる。

次に、監視システム２の本開示の技術に係る部分の作用について説明する。

先ず、ぶれ補正装置３３によって実行されるぶれ補正処理の流れについて図７を参照しながら説明する。

図７に示すぶれ補正処理では、先ず、ステップＳＴ２０で、ぶれ補正量算出部８０は、ぶれ量検出センサ４０によって検出されたぶれ量が入力されたか否かを判定する。ステップＳＴ２０において、ぶれ量検出センサ４０によって検出されたぶれ量が入力されていない場合は、判定が否定されて、ぶれ量補正処理はステップＳＴ３４へ移行する。ステップＳＴ２０において、ぶれ量検出センサ４０によって検出されたぶれ量が入力された場合は、判定が肯定されて、ぶれ補正処理はステップＳＴ２２へ移行する。

ステップＳＴ２２で、ぶれ補正量算出部８０は、入力されたぶれ量に基づいてぶれ補正量を算出し、算出したぶれ補正量を取得部８２に出力する。取得部８２は、ぶれ補正量算出部８０によって出力されたぶれ補正量を取得し、その後、ぶれ補正処理はステップＳＴ２４へ移行する。

ステップＳＴ２４で、補正タイミング判定部８８は、画像メモリ３２に補正対象画像が記憶されたか否かを判定する。すなわち、補正タイミング判定部８８は、画像メモリ３２に１フレーム分のデジタル画像が記憶されたか否かを判定する。ステップＳＴ２４において、画像メモリ３２に補正対象画像が記憶されていない場合は、判定が否定されて、ステップＳＴ２４の判定が再び行われる。ここで、画像メモリ３２に補正対象画像が記憶されていない場合とは、例えば、画像メモリ３２にデジタル画像が何ら記憶されていない場合、及び画像メモリ３２に記憶されているデジタル画像が１フレームに満たない場合を指す。ステップＳＴ２４において、画像メモリ３２に補正対象画像が記憶された場合は、判定が肯定されて、ぶれ補正処理はステップＳＴ２６へ移行する。

ステップＳＴ２６で、補正タイミング判定部８８は、補正指示信号を補正部８４に出力し、その後、ぶれ補正処理はステップＳＴ２８へ移行する。

ステップＳＴ２８で、補正部８４は、補正タイミング判定部８８からの補正指示信号が入力されたか否かを判定する。ステップＳＴ２８において、補正タイミング判定部８８からの補正指示信号が入力されていない場合は、判定が否定されて、ステップＳＴ２８の判定が再び行われる。ステップＳＴ２８において、補正タイミング判定部８８からの補正指示信号が入力された場合は、判定が肯定されて、ぶれ補正処理はステップＳＴ３０へ移行する。

ステップＳＴ３０で、補正部８４は、画像メモリ３２に記憶されている補正対象画像を取得する。そして、補正部８４は、取得した補正対象画像に対して、ステップＳＴ２２で取得部８２によって取得されたぶれ補正量に基づいて画像切出処理を実行することで、補正対象画像のぶれを補正し、その後、ぶれ補正処理はステップＳＴ３２へ移行する。

ステップＳＴ３２で、補正部８４は、補正対象画像のぶれが補正されることで得られた補正画像をＣＰＵ３７に出力し、その後、ぶれ補正処理はステップＳＴ３４へ移行する。なお、ＣＰＵ３７は、補正部８４から入力された補正画像を通信Ｉ／Ｆ３４を介して管理装置１１に送信する。

ステップＳＴ３４で、補正部８４は、ぶれ補正処理を終了する条件（以下、「ぶれ補正処理終了条件」と称する）を満足したか否かを判定する。ぶれ補正処理終了条件としては、例えば、ぶれ補正処理を終了させる指示が受付デバイス４３によって受け付けられた、との条件が挙げられる。ステップＳＴ３４において、ぶれ補正処理終了条件を満足していない場合は、判定が否定されて、ぶれ補正処理はステップＳＴ２０へ移行する。ステップＳＴ３４において、ぶれ補正処理終了条件を満足した場合は、判定が肯定されて、ぶれ補正処理が終了する。

次に、管理装置１１のコントローラ６０によって実行される管理処理の流れについて図８を参照しながら説明する。

図８に示す管理処理では、先ず、ステップＳＴ４０で、コントローラ６０は、監視カメラ１０から送信された補正画像が通信Ｉ／Ｆ６６によって受信されたか否かを判定する。ステップＳＴ４０において、監視カメラ１０から送信された補正画像が通信Ｉ／Ｆ６６によって受信されていない場合は、判定が否定されて、管理処理はステップＳＴ４８へ移行する。ステップＳＴ４０において、監視カメラ１０から送信された補正画像が通信Ｉ／Ｆ６６によって受信された場合は、判定が肯定されて、管理処理はステップＳＴ４１へ移行する。

ステップＳＴ４１で、コントローラ６０は、補正画像がディスプレイ１３に表示されているか否かを判定する。ステップＳＴ４１において、補正画像がディスプレイ１３に表示されていない場合、すなわち、補正画像がディスプレイ１３に表示されていない場合は、判定が否定されて、管理処理はステップＳＴ４２へ移行する。ステップＳＴ４１において、補正画像がディスプレイ１３に表示されている場合は、判定が肯定されて、管理処理はステップＳＴ４４へ移行する。

ステップＳＴ４２で、コントローラ６０は、ディスプレイ１３に対して、通信Ｉ／Ｆ６６によって受信された最新の補正画像の表示を開始させ、その後、管理処理はステップＳＴ４６へ移行する。

ステップＳＴ４４で、コントローラ６０は、ディスプレイ１３に表示されている補正画像を、通信Ｉ／Ｆ６６によって受信された最新の補正画像に更新し、その後、管理処理はステップＳＴ４６に移行する。

ステップＳＴ４６で、コントローラ６０は、通信Ｉ／Ｆ６６によって受信された最新の補正画像を二次記憶装置１４に記憶し、その後、管理処理はステップＳＴ４８へ移行する。

ステップＳＴ４８で、コントローラ６０は、管理処理を終了する条件（以下、「管理処理終了条件」と称する）を満足したか否かを判定する。管理処理終了条件としては、例えば、管理処理を終了させる指示が受付デバイス６２によって受け付けられた、との条件が挙げられる。ステップＳＴ４８において、管理処理終了条件を満足していない場合は、判定が否定されて、管理処理はステップＳＴ４０へ移行する。ステップＳＴ４８において、管理処理終了条件を満足した場合は、判定が肯定されて、管理処理はステップＳＴ５０へ移行する。

ステップＳＴ５０で、コントローラ６０は、補正画像がディスプレイ１３に表示されているか否かを判定する。ステップＳＴ５０において、補正画像がディスプレイ１３に表示されていない場合、すなわち、補正画像がディスプレイ１３に表示されていない場合は、判定が否定されて、管理処理が終了する。ステップＳＴ５０において、補正画像がディスプレイ１３に表示されている場合は、判定が肯定されて、管理処理はステップＳＴ５２へ移行する。

ステップＳＴ５２で、コントローラ６０は、ディスプレイ１３に対して補正画像の表示を終了させ、その後、管理処理が終了する。

以上説明したように、監視カメラ１０では、撮像されることで得られた動画像に含まれる補正対象画像に対して、補正対象画像を得るのに要する露光中に取得されたぶれ補正量に基づいて画像処理として画像切出処理が行われることでぶれが補正される。これにより、動画像に含まれる隣接する先フレーム及び後フレームのうち、後フレームのデジタル画像に対するぶれの補正は、先フレームの露光中に取得されたぶれ補正量の影響を受けない。従って、撮像されることで得られた動画像に含まれる隣接する２フレームの各画像に対して共通のぶれ補正量に基づいてぶれの補正が行われる場合に比べ、撮像されることで得られた動画像のぶれを高精度に補正することができる。

また、監視カメラ１０では、画像メモリ３２に記憶された補正対象画像に対して、補正対象画像を得るのに要する露光中に取得されたぶれ補正量に基づいて画像処理として画像切出処理が行われることでぶれが補正される。つまり、画像メモリ３２に記憶された１フレーム分のデジタル画像に対して、現時点で画像メモリ３２に記憶されている１フレーム分のデジタル画像を得るのに要した露光中に取得されたぶれ補正量に基づいてぶれの補正が行われる。従って、ぶれ補正量の取得タイミングがアナログ画像の読出開始タイミングよりも遅い場合であっても、動画像に含まれる１フレーム内で取得されたぶれ補正量に基づいてぶれを補正することができる。

また、監視カメラ１０では、デジタル画像が１フレーム毎に画像メモリ３２に記憶され、画像メモリ３２に記憶された１フレーム毎のデジタル画像の各々が補正対象画像として扱われる。従って、撮像されることで得られた動画像に含まれる隣接する２フレームの各画像に対して共通のぶれ補正量に基づいてぶれの補正が行われる場合に比べ、動画像に含まれる１フレーム毎の補正対象画像の各々のぶれを高精度に補正することができる。

更に、監視カメラ１０では、補正対象画像に対応する露光が行われている期間のうちの中央の水平ラインの露光が行われている間にぶれ補正量が取得部８２によって取得される。従って、補正対象画像に対応する露光が行われている期間のうちの中央の水平ラインの露光が行われている間に取得されたぶれ補正量に基づいて補正対象画像のぶれを補正することができる。

［第２実施形態］
上記第１実施形態では、ぶれ補正装置３３による補正方法として、１種類の補正方法を例示したが、本第２実施形態では、２種類の補正方法を使い分ける形態例について説明する。なお、本第２実施形態では、上記第１実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第１実施形態と異なる部分について説明する。

一例として図９に示すように、ぶれ補正装置３３に対しては、第１補正モード又は第２補正モードが設定され、監視カメラ１０により撮像されることで得られた動画像のぶれが補正部８４によって第１補正モード又は第２補正モードで補正される。

一例として図９に示すように、ぶれ補正装置３３に対しては、監視カメラ１０により撮像されることで得られた動画像を管理装置１１の二次記憶装置１４（図３参照）に記憶させる場合に第１補正モードが設定される。また、ぶれ補正装置３３に対しては、監視カメラ１０により撮像されることで得られた動画像をライブビュー画像として管理装置１１のディスプレイ１３（図３参照）に対して表示させる場合に第２補正モードが設定される。

図１０は、第１補正モードで画像のぶれが補正される場合のぶれ補正装置３３の機能の一例を示す機能ブロック図であり、図１１は、第２補正モードで画像のぶれが補正される場合のぶれ補正装置３３の機能の一例を示す機能ブロック図である。

一例として図１０に示すように、管理装置１１において、動画像記憶指示が受付デバイス６２によって受け付けられると、受付デバイス６２は、動画像記憶指示信号をコントローラ６０に出力する。ここで、動画像記憶指示とは、監視カメラ１０により撮像されることで得られた動画像を二次記憶装置１４に記憶させる指示を指す。また、動画像記憶指示信号とは、監視カメラ１０により撮像されることで得られた動画像を二次記憶装置１４に記憶させる指示を示す信号を指す。

コントローラ６０は、動画像記憶指示信号を監視カメラ１０に送信する。コントローラ６０により送信された動画像記憶指示信号は、監視カメラ１０の通信Ｉ／Ｆ３４（図２参照）によって受信され、ＣＰＵ３７に動画像記憶指示信号が出力される。

ＣＰＵ３７は、動画像記憶指示信号が入力されると、第１補正モードで画像のぶれを補正することを指示する第１補正モード信号をぶれ補正装置３３に出力する。ぶれ補正装置３３は、第１補正モード信号が入力されると、第１補正モードで作動する。

第１補正モードとは、上記第１実施形態で説明したぶれ補正処理（図７参照）が実行される補正モードである。すなわち、第１補正モードでは、補正部８４が、補正対象画像を得るのに要する露光中に取得部８２により取得されたぶれ補正量に基づいて補正対象画像に対して画像処理を施すことで補正対象画像のぶれを補正する。

一例として図１１に示すように、管理装置１１において、ライブビュー指示が受付デバイス６２によって受け付けられると、受付デバイス６２は、ライブビュー指示信号をコントローラ６０に出力する。ここで、ライブビュー指示とは、監視カメラ１０により撮像されることで得られた動画像をライブビュー画像としてディスプレイ１３に対して表示させる指示を指す。また、ライブビュー指示信号とは、監視カメラ１０により撮像されることで得られた動画像をライブビュー画像としてディスプレイ１３に対して表示させる指示を示す信号を指す。

コントローラ６０は、ライブビュー指示信号を監視カメラ１０に送信する。コントローラ６０により送信されたライブビュー指示信号は、監視カメラ１０の通信Ｉ／Ｆ３４（図２参照）によって受信され、ＣＰＵ３７にライブビュー指示信号が出力される。

ＣＰＵ３７は、ライブビュー指示信号が入力されると、第２補正モードで画像のぶれを補正することを指示する第２補正モード信号をぶれ補正装置３３に出力する。ぶれ補正装置３３では、第２補正モード信号が入力されると、第２補正モードで作動する。

第２補正モードでは、補正部８４は、画像メモリ３２から、１フレームに満たないデジタル画像である未完画像を取得し、取得した未完画像のぶれを最新のぶれ補正量に基づいて補正する。すなわち、第２補正モードでは、補正部８４は、画像メモリ３２にデジタル画像が記憶されると、１フレーム分のデジタル画像が画像メモリ３２に記憶される前に、画像メモリ３２に既に記憶されたデジタル画像を未完画像として取得する。そして、補正部８４は、未完画像に対して、取得部８２によって取得された最新のぶれ補正量に基づいて画像切出処理を行うことで、未完画像のぶれを補正する。

次に、監視システム２の本開示の技術に係る部分の作用について説明する。

先ず、ぶれ補正装置３３によって実行されるぶれ補正処理の流れについて図１２を参照しながら説明する。

図１２に示すぶれ補正処理では、先ず、ステップＳＴ８０で、ぶれ補正装置３３は、ＣＰＵ３７から第１補正モード信号が入力されたか否かを判定する。ステップＳＴ８０において、ＣＰＵ３７から第１補正モード信号が入力された場合、判定が肯定されて、ぶれ補正処理はステップＳＴ８２へ移行する。ステップＳＴ８０において、ＣＰＵ７３から第２補正モード信号が入力された場合、判定が否定されて、ぶれ補正処理はステップＳＴ８４へ移行する。

ステップＳＴ８２で、ぶれ補正装置３３は、第１補正モードぶれ補正処理を実行し、その後、ぶれ補正処理はステップＳＴ８６へ移行する。ここで、第１補正モードぶれ補正処理とは、上記第１実施形態で説明したぶれ補正処理（図７参照）を指す。

ステップＳＴ８４で、ぶれ補正装置３３は、後述の第２補正モードぶれ補正処理（図１３参照）を実行し、その後、ぶれ補正処理はステップＳＴ８６へ移行する。

ステップＳＴ８６で、ぶれ補正装置３３は、上記第１実施形態で説明したぶれ補正処理終了条件を満足したか否かを判定する。ステップＳＴ８６において、ぶれ補正処理終了条件を満足していない場合は、判定が否定されて、ぶれ補正処理はステップＳＴ８０へ移行する。ステップＳＴ８６において、ぶれ補正処理終了条件を満足した場合は、判定が肯定されて、ぶれ補正処理が終了する。

次に、監視システム２の本開示の技術に係る部分の作用について説明する。なお、本第２実施形態では、上記第１実施形態で説明した作用とは異なる部分について説明する。

先ず、ぶれ補正装置３３によって実行される第２補正モードぶれ補正処理の流れについて図１３を参照しながら説明する。

図１３に示す第２補正モードぶれ補正処理では、先ず、ステップＳＴ１００で、ぶれ補正量算出部８０は、ぶれ量検出センサ４０によって検出されたぶれ量が入力されたか否かを判定する。ステップＳＴ１００において、ぶれ量検出センサ４０によって検出されたぶれ量が入力されていない場合は、判定が否定されて、第２補正モードぶれ量補正処理はステップＳＴ１１２へ移行する。ステップＳＴ１００において、ぶれ量検出センサ４０によって検出されたぶれ量が入力された場合は、判定が肯定されて、第２補正モードぶれ補正処理はステップＳＴ１０２へ移行する。

ステップＳＴ１０２で、ぶれ補正量算出部８０は、入力されたぶれ量に基づいてぶれ補正量を算出し、算出したぶれ補正量を取得部８２に出力する。取得部８２は、ぶれ補正量算出部８０によって出力されたぶれ補正量を取得し、その後、ぶれ補正処理はステップＳＴ１０４へ移行する。

ステップＳＴ１０４で、補正部８４は、画像メモリ３２に未完画像が記憶されているか否かを判定する。ここで、画像メモリ３２に未完画像が記憶されていない場合とは、画像メモリ３２にデジタル画像が何ら記憶されていない場合を指す。また、画像メモリ３２に未完画像が記憶されている場合とは、画像メモリ３２に１フレーム未満のデジタル画像が記憶されている場合を指す。

ステップＳＴ１０４において、画像メモリ３２に未完画像が記憶されていない場合は、判定が否定されて、ステップＳＴ１０４の判定が再び行われる。ステップＳＴ１０４において、画像メモリ３２に未完画像が記憶されている場合は、第２補正モードぶれ補正処理はステップＳＴ１０６へ移行する。

ステップＳＴ１０６で、補正部８４は、画像メモリ３２に記憶されている未完画像を取得し、その後、第２補正モードぶれ補正処理はステップＳＴ１０８へ移行する。

ステップＳＴ１０８で、補正部８４は、取得した未完画像に対して、ステップＳＴ１０２で取得部８２によって取得されたぶれ補正量に基づいて画像切出処理を実行することで、未完画像のぶれを補正し、その後、第２補正モードぶれ補正処理はステップＳＴ１１０へ移行する。

ステップＳＴ１１０で、補正部８４は、未完画像のぶれが補正されることで得られた補正画像をＣＰＵ３７に出力し、その後、第２補正モードぶれ補正処理はステップＳＴ１１０へ移行する。なお、ＣＰＵ３７は、補正部８４から入力された補正画像を通信Ｉ／Ｆ３４を介して管理装置１１に送信する。

ステップＳＴ１１２で、補正部８４は、第２補正モードぶれ補正処理を終了する条件（以下、「第２補正モードぶれ補正処理終了条件」と称する）を満足したか否かを判定する。第２補正モードぶれ補正処理終了条件としては、例えば、第２補正モードぶれ補正処理を終了させる指示が受付デバイス４３によって受け付けられた、との条件が挙げられる。ステップＳＴ１１２において、第２補正モードぶれ補正処理終了条件を満足していない場合は、判定が否定されて、第２補正モードぶれ補正処理はステップＳＴ１００へ移行する。ステップＳＴ１１２において、第２補正モードぶれ補正処理終了条件を満足した場合は、判定が肯定されて、第２補正モードぶれ補正処理が終了する。

以上説明したように、本第２実施形態に係る監視カメラ１０では、補正部８４によって第１補正モード又は第２補正モードによって画像のぶれが補正される。第１補正モードでは、上記第１実施形態で説明したぶれ補正処理が実行され、第２補正モードでは、未完画像のぶれが最新のぶれ補正量に基づいて補正される。つまり、第１補正モードでは、補正対象画像を得るのに要する露光中に取得されたぶれ補正量に基づいて補正対象画像のぶれが補正され、第２補正モードでは、１フレーム未満のデジタル画像である未完画像に対して最新のぶれ補正量に基づいてぶれが補正される。従って、第１補正モードでは、第２補正モードよりもぶれの補正の高精度化を実現することができ、第２補正モードでは、第１補正モードよりもぶれの補正の高速化を実現することができる。

また、本第２実施形態に係る監視カメラ１０では、撮像されることで得られた動画像を二次記憶装置１４に記憶させる場合に第１補正モードで補正対象画像のぶれが補正される。従って、第２補正モードで未完画像のぶれを補正する場合に比べ、ぶれの補正の精度が高い動画像を保存することができる。

また、本第２実施形態に係る監視カメラ１０では、撮像されることで得られた動画像をライブビュー画像としてディスプレイ１３に対して表示させる場合に第２補正モードで未完画像のぶれが補正される。第１補正モードでは、１フレーム分のデジタル画像である補正対象画像が画像メモリ３２に記憶されるのを待つ必要があるのに対し、第２補正モードでは、補正対象画像が画像メモリ３２に記憶されるのを待つ必要がない。つまり、第２補正モードでは、画像メモリ３２に１フレーム分のデジタル画像が記憶される前の段階で、１フレームに満たないデジタル画像である未完画像を対象にしてぶれの補正が行われる。従って、補正対象画像が画像メモリ３２に記憶されるのを待ってから補正対象画像のぶれを補正して得た補正画像をディスプレイ１３に表示させる場合に比べ、リアルタイム性の高い動画像をディスプレイ１３に表示させることができる。

なお、上記第２実施形態では、動画像を二次記憶装置１４に記憶させる場合に第１補正モードが設定され、動画像をディスプレイ１３に対して表示させる場合に第２補正モードが設定される場合について説明したが、本開示の技術はこれに限定されない。監視カメラ１０と管理装置１１との間で情報の授受を行う場合、情報を送信してから受信するまでの間、タイムラグが発生する。タイムラグが発生するのであれば、第２補正モードよりもぶれの補正に時間を要する第１補正モードでぶれの補正を行う時間を確保することができる。そこで、一例として図１４に示すように、監視カメラ１０から管理装置１１に動画像が送信される場合にぶれ補正装置３３に対して第１補正モードが設定される。また、監視カメラ１０から管理装置１１に動画像が送信されない場合にぶれ補正装置３３に対して第２補正モードが設定される。

この場合、ぶれ補正装置３３はデフォルトの状態では第２補正モードで作動し、一例として図１５に示すように、ぶれ補正装置３３にＣＰＵ３７から第１補正モード信号が入力されると、第２補正モードから第１補正モードに移行する。

一例として図１５に示すように、管理装置１１において、送信要求指示が受付デバイス６２によって受け付けられると、受付デバイス６２は、補正画像送信要求信号をコントローラ６０に出力する。ここで、送信要求指示とは、監視カメラ１０に対して補正画像の送信を要求する指示を指す。また、補正画像送信要求信号とは、監視カメラ１０に対して補正画像の送信を要求する指示を示す信号を指す。

コントローラ６０は、補正画像送信要求指示信号を監視カメラ１０に送信する。コントローラ６０により送信された補正画像送信指示信号は、監視カメラ１０の通信Ｉ／Ｆ３４（図２参照）によって受信され、ＣＰＵ３７に補正画像送信指示信号が出力される。

ＣＰＵ３７は、補正画像送信要求指示信号が入力されると、第１補正モード信号をぶれ補正装置３３に出力する。ぶれ補正装置３３は、第１補正モード信号が入力されると、第１補正モードで作動する。

このように、監視カメラ１０から動画像を管理装置１１に送信する場合に、補正部８４によって第１補正モードでぶれの補正が行われる。この場合、監視カメラ１０から管理装置１１への動画像の送信に要するタイムラグを利用して第２補正モードよりもぶれの補正に時間を要する第１補正モードでぶれの補正を行う時間を確保することができる。従って、第２補正モードで未完画像のぶれを補正する場合に比べ、ぶれの補正の精度が高い動画像を監視カメラ１０から管理装置１１に送信することができる。

［第３実施形態］
上記第２実施形態では、露光期間の長短とは無関係に第１補正モード又は第２補正モードが設定される場合について説明したが、本第３実施形態では、露光期間の長短に応じて第１補正モードと第２補正モードとが選択的に設定される場合について説明する。なお、本第３実施形態では、上記第１及び第２実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第１及び第２実施形態と異なる部分について説明する。

本第３実施形態に係るぶれ補正装置３３に含まれる補正部８４は、第１補正モード及び第２補正モードのうち、上記第１実施形態で説明した読出開始タイミング及び取得部８２によるぶれ補正量の取得タイミングに応じて定められた補正モードでぶれの補正を行う。具体的には、一例として図１６に示すように、撮像素子２５による１フレーム分の撮像において、取得部８２によるぶれ補正量の取得タイミングが読出開始タイミング以前であれば、補正部８４は、第１補正モードでぶれを補正する。また、撮像素子２５による１フレーム分の撮像において、取得部８２によるぶれ補正量の取得タイミングが読出開始タイミングよりも遅ければ第２補正モードでぶれを補正する。

図１７には、図６Ａに示す例よりも各フレームの露光期間を長くした場合の１フレーム目及び２フレーム目の各々の露光期間及び読出期間の一例が示されている。図１７に示す例では、図６Ａに示す例の撮像が行われる場合の各フレームのシャッタスピードよりも、各フレームのシャッタスピードが遅く設定されることによって図６Ａに示す例よりも露光期間が長く設定されている。

図１７に示す例では、動画像に含まれる１フレーム目において、取得部８２によるぶれ補正量Ａの取得タイミングが読出開始タイミングよりも早い。すなわち、取得部８２は、１フレーム目の露光中において、ぶれ補正量Ａを、読出開始タイミングよりも早く取得している。この場合、１フレーム目の補正対象画像に対しては、ぶれ補正量Ａに基づいて画像切出処理が行われることで、ぶれの補正が行われる。なお、図１７に示す例において、１フレーム目の読出開始タイミングは、本開示の技術に係る「撮像素子からの画像の読み出しの開始時点」の一例である。

図１７に示す例では、動画像用の撮像において、隣接する１フレーム目及び２フレーム目のうちの１フレーム目の撮像には第１読出期間が設定されており、２フレーム目の撮像には第２読出期間が設定されている。第１読出期間は、１フレーム目のアナログ画像が撮像素子２５から読み出される期間である。第２読出期間は、２フレーム目のアナログ画像が撮像素子２５から読み出される期間である。

図１７に示す例では、第１読出期間と第２読出期間とが重複していない。そして、第１読出期間と第２読出期間との間の露光中に取得部８２によってぶれ補正量Ｂが取得される。この場合、２フレーム目の補正対象画像に対しては、取得部８２によって取得されたぶれ補正量Ｂに基づいて画像切出処理が行われることで、ぶれの補正が行われる。なお、ここで言う「１フレーム目」は、本開示の技術に係る「先フレーム」の一例であり、ここで言う「２フレーム目」は、本開示の技術に係る「後フレーム」の一例である。また、ここでは、１フレーム目と２フレーム目との関係性を例示しているが、これは、あくまでも一例であり、本開示の技術はこれに限定されない。すなわち、撮像されることで得られた動画像に含まれる２フレーム目以降の隣接する先フレーム及び後フレームも、図１７に示す例の１フレーム目及び２フレーム目と同様の関係性を有する。

図１８には、第１補正モードで画像のぶれが補正される場合のぶれ補正装置３３の機能の一例が示されており、図１９には、第２補正モードで画像のぶれが補正される場合のぶれ補正装置３３の機能の一例が示されている。

図１８に示すぶれ補正装置３３は、図１０に示すぶれ補正装置３３に比べ、補正タイミング判定部８８を有しない点が異なる。第１補正モードにおいて、補正部８４は、補正指示信号の入力がなくとも画像メモリ３２からデジタル画像を取得する。具体的には、第１補正モードにおいて、補正部８４は、取得部８２によってぶれ補正量が取得されたことをトリガーとして、既に画像メモリ３２に記憶されているデジタル画像を取得し、取得したデジタル画像に対してぶれ補正量に基づくぶれの補正を行う。

すなわち、補正部８４は、画像メモリ３２内のデジタル画像が未完画像であったとしても、取得部８２によってぶれ補正量が取得されたことをトリガーとして、画像メモリ３２からデジタル画像を取得し、取得したデジタル画像に対してぶれの補正を行う。現在のフレームでぶれの補正対象とされた１フレーム分のデジタル画像に対するぶれの補正は、次のフレームの露光中に取得部８２によってぶれ補正量が取得されるまでに完了する。

一例として図１８に示すように、露光期間指示が受付デバイス４３によって受け付けられると、受付デバイス４３は、露光期間指示信号をコントローラ６０に出力する。ここで、露光期間指示とは、１フレーム分の露光期間の指示を指す。また、露光期間指示信号とは、１フレーム分の露光期間の指示を示す信号を指す。

コントローラ６０は、露光期間指示信号を監視カメラ１０に送信する。コントローラ６０により送信された露光期間指示信号は、監視カメラ１０の通信Ｉ／Ｆ３４（図２参照）によって受信され、ＣＰＵ３７に露光期間指示信号が出力される。

ＣＰＵ３７は、露光期間指示信号が入力されると、露光期間指示信号により指示された露光期間が閾値以上か否かを判定する。閾値は、実機による試験及び／又はコンピュータ・シミュレーション等によって、既定の条件を満足する露光期間として予め定められた値である。既定の条件とは、各フレームにおいて、取得部８２によるぶれ補正量の取得タイミングが読出開始タイミングよりも早く、かつ、先フレーム読出期間と後フレーム読出期間とが重複しない、との条件を指す。ここで、先フレーム読出期間とは、隣接する先フレーム及び後フレームのうちの先フレームのアナログ画像の読出期間を指す。後フレーム読出期間とは、隣接する先フレーム及び後フレームのうちの後フレームのアナログ画像の読出期間を指す。

ＣＰＵ３７は、露光期間指示信号により指示された露光期間が閾値以上の場合に第１補正モード信号をぶれ補正装置３３に出力する。ぶれ補正装置３３は、ＣＰＵ３７から第１補正モード信号が入力されると、第１補正モードで作動する。本第３実施形態において、ぶれ補正装置３３に対して第１補正モードが設定されると、補正部８４は、既に画像メモリ３２に記憶されているデジタル画像を取得し、取得したデジタル画像に対して、現時点で取得部８２によって取得されているぶれ補正量に基づいてぶれを補正する。同じぶれ補正量に基づくぶれの補正は、１フレーム分のデジタル画像に対して行われる。結果的に、これは、上記第１及び第２実施形態で説明した補正対象画像に対してぶれの補正が行われることと技術的に同じ意義を有する。

一例として図１９に示すように、ＣＰＵ３７は、露光期間指示信号により指示された露光期間が閾値未満の場合に第２補正モード信号をぶれ補正装置３３に出力する。ぶれ補正装置３３は、ＣＰＵ３７から第２補正モード信号が入力されると、上記第２実施形態で説明した第２補正モードで作動する。

次に、監視システム２の本開示の技術に係る部分の作用について説明する。なお、本第３実施形態では、上記第２実施形態で説明した作用とは異なる部分について説明する。

図２０には、ぶれ補正装置３３によって実行される第１補正モードぶれ補正処理の流れの一例が示されている。

図２０に示す第１補正モードぶれ補正処理では、先ず、ステップＳＴ１５０で、ぶれ補正量算出部８０は、ぶれ量検出センサ４０によって検出されたぶれ量が入力されたか否かを判定する。ステップＳＴ１５０において、ぶれ量検出センサ４０によって検出されたぶれ量が入力されていない場合は、判定が否定されて、第１補正モードぶれ量補正処理はステップＳＴ１６４へ移行する。ステップＳＴ１５０において、ぶれ量検出センサ４０によって検出されたぶれ量が入力された場合は、判定が肯定されて、第１補正モードぶれ補正処理はステップＳＴ１５２へ移行する。

ステップＳＴ１５２で、ぶれ補正量算出部８０は、入力されたぶれ量に基づいてぶれ補正量を算出し、算出したぶれ補正量を取得部８２に出力する。取得部８２は、ぶれ補正量算出部８０によって出力されたぶれ補正量を取得し、その後、第１補正モードぶれ補正処理はステップＳＴ１５４へ移行する。

ステップＳＴ１５４で、補正部８４は、画像メモリ３２にデジタル画像が記憶されたか否かを判定する。ステップＳＴ１５４において、画像メモリ３２にデジタル画像が記憶されていない場合は、判定が否定されて、ステップＳＴ１５４の判定が再び行われる。ここで、画像メモリ３２にデジタル画像が記憶されていない場合とは、例えば、画像メモリ３２にデジタル画像が何ら記憶されていない場合を指す。ステップＳＴ１５４において、画像メモリ３２にデジタル画像が記憶された場合は、判定が肯定されて、第１補正モードぶれ補正処理はステップＳＴ１５６へ移行する。

ステップＳＴ１５６で、補正部８４は、画像メモリ３２に記憶されているデジタル画像を取得し、その後、第１補正モードぶれ補正処理はステップＳＴ１５８へ移行する。

ステップＳＴ１５８で、補正部８４は、ステップＳＴ１５６で取得したデジタル画像に対して、ステップＳＴ１５２で取得部８２によって取得されたぶれ補正量に基づいて画像切出処理を実行することで、デジタル画像のぶれを補正し、その後、第１補正モードぶれ補正処理はステップＳＴ１６０へ移行する。

ステップＳＴ１６０で、補正部８４は、デジタル画像のぶれが補正されることで得られた補正画像をＣＰＵ３７に出力し、その後、第１補正モードぶれ補正処理はステップＳＴ１６２へ移行する。なお、ＣＰＵ３７は、補正部８４から入力された補正画像を通信Ｉ／Ｆ３４を介して管理装置１１に送信する。

ステップＳＴ１６２で、補正部８４は、１フレーム分のデジタル画像に対してステップＳＴ１５８の処理が完了したか否かを判定する。ステップＳＴ１６２において、１フレーム分のデジタル画像に対してステップＳＴ１５８の処理が完了していない場合は、判定が否定されて、第１補正モードぶれ補正処理はステップＳＴ１５４へ移行する。ステップＳＴ１６２において、１フレーム分のデジタル画像に対してステップＳＴ１５８の処理が完了した場合は、判定が肯定されて、第１補正モードぶれ補正処理はステップＳＴ１６４へ移行する。

ステップＳＴ１６４で、補正部８４は、第１補正モードぶれ補正処理を終了する条件（以下、「第１補正モードぶれ補正処理終了条件」と称する）を満足したか否かを判定する。第１補正モードぶれ補正処理終了条件としては、例えば、第１補正モードぶれ補正処理を終了させる指示が受付デバイス４３によって受け付けられた、との条件が挙げられる。ステップＳＴ１６４において、第１補正モードぶれ補正処理終了条件を満足していない場合は、判定が否定されて、第１補正モードぶれ補正処理はステップＳＴ１５０へ移行する。ステップＳＴ１５２において、第１補正モードぶれ補正処理終了条件を満足した場合は、判定が肯定されて、第１補正モードぶれ補正処理が終了する。

以上説明したように、本第３実施形態に係る監視カメラ１０では、１フレーム目の露光中において撮像素子２５からのアナログ画像の読み出しの開始時点よりも早くぶれ補正量が取得部８２によって取得される。従って、１フレーム目に読み出された１フレーム分のアナログ画像に対応する１フレーム分のデジタル画像である補正対象画像に対して、１フレーム目の露光期間に取得されたぶれ補正量に基づいてぶれの補正を行うことができる。

また、本第３実施形態に係る監視カメラ１０では、第１読出期間と第２読出期間とが重複しない場合において、２フレーム目の１フレーム分のデジタル画像に対して、第１読出期間と第２読出期間との間の露光中に取得されたぶれ補正量に基づいてぶれが補正される。これにより、２フレーム目の１フレーム分のデジタル画像のぶれは、１フレーム目に取得されたぶれ補正量の影響を受けることなく、２フレーム目の露光中に取得されたぶれ補正量に基づいて補正される。３フレーム目以降のデジタル画像に対するぶれについても同様の方法で補正される。従って、隣接する先フレーム及び後フレームのうちの後フレームのデジタル画像に対するぶれの補正に対して、先フレームの露光中に取得されたぶれ補正量が影響を及ぼすことを回避することができる。

また、本第３実施形態に係る監視カメラ１０では、第１補正モード及び第２補正モードのうち、読出開始タイミングと取得部８２によるぶれ補正量の取得タイミングとに応じて定められた補正モードでぶれが補正される。従って、第１補正モード及び第２補正モードのうち、読出開始タイミング及び取得部８２によるぶれ補正量の取得タイミングとは無関係に決められた補正モードでぶれが補正される場合に比べ、適切な補正モードでぶれを補正することができる。

更に、本第３実施形態に係る監視カメラ１０では、取得部８２によるぶれ補正量の取得タイミングが読出開始タイミング以前であれば第１補正モードでぶれが補正される。また、取得部８２によるぶれ補正量の取得タイミングが読出開始タイミングよりも遅ければ第２補正モードでぶれが補正される。従って、第１補正モード及び第２補正モードのうち、取得部８２によるぶれ補正量の取得タイミングと読出開始タイミングとの関係性に依らずに決められた補正モードでぶれが補正される場合に比べ、適切な補正モードでぶれを補正することができる。

なお、上記第３実施形態では、第１読出期間と第２読出期間との間の露光期間の中央の時点に取得されたぶれ補正量Ｂに基づいて２フレーム目のデジタル画像のぶれが補正される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図２１に示すように、第１読出期間と第２読出期間との間の１フレーム分の全露光期間を通じて取得部８２によって取得された複数のぶれ補正量Ｂに基づいて２フレーム目のデジタル画像に対して画像切出処理を施すことでぶれを補正するようにしてもよい。複数のぶれ補正量Ｂを利用する形態例としては、複数のぶれ補正量Ｂ（図２１に示す例では、５つのぶれ補正量Ｂ）の平均値に基づいて２フレーム目のデジタル画像に対して画像切出処理を施すことでぶれが補正される形態例が挙げられる。３フレーム目以降のデジタル画像に対しても同様の方法でぶれを補正することが可能である。このようにぶれを補正することで、１つのぶれ補正量のみに基づいてぶれが補正される場合に比べ、ぶれの補正精度を高めることができる。

また、上記第３実施形態では、シャッタスピードが調節されることで第１読出期間と第２読出期間とが重複しない露光期間が設定される形態例に挙げて説明したが、本開示の技術はこれに限定されない。例えば、ＣＰＵ３７は、シャッタスピードの調節に加え、撮像素子２５の撮像領域の各感光画素に対するリセットのタイミングと、撮像素子２５に対する垂直同期信号の入力タイミングとを制御することで、上述した既定の条件を満足する露光期間を設定してもよい。このように制御することで、例えば、隣接する先フレーム及び後フレームのうちの先フレームの読出期間が後フレームの露光期間と重ならないようにすることもできる。これにより、図２１に示す例に比べ、先フレームの読出期間の終了時点と後フレームの露光期間中でのぶれ補正量の取得タイミングとが離れるので、図２１に示す例に比べ、先フレーム（例えば１フレーム目）のぶれの補正を、余裕をもって行うことができる。また、図２１に示す例に比べ、後フレーム（例えば２フレーム目）のぶれの補正も、余裕をもって行うことができる。

また、上記各実施形態では、ぶれ補正装置３３としてＡＳＩＣを含むデバイスを例示しているが、本開示の技術はこれに限定されない。例えば、ぶれ補正装置３３は、コンピュータによるソフトウェア構成により実現されるようにしてもよい。

この場合、例えば、図２２に示すように、ぶれ補正装置３３は、コンピュータ１８５２を備えている。そして、コンピュータ１８５２に上述したぶれ補正処理を実行させるためのぶれ補正プログラム１９０２を記憶媒体１９００に記憶させておく。コンピュータ１８５２は、ＣＰＵ１８５２Ａ、ＲＯＭ１８５２Ｂ、及びＲＡＭ１８５２Ｃを備えている。記憶媒体１９００に記憶されているぶれ補正プログラム１９０２は、コンピュータ１８５２にインストールされ、ＣＰＵ１８５２Ａは、ぶれ補正プログラム１９０２に従って、上述したぶれ補正処理を実行する。

図２２に示す例では、ＣＰＵ１８５２Ａは、単数のＣＰＵであるが、本開示の技術はこれに限定されず、複数のＣＰＵを採用してもよい。なお、記憶媒体１９００の一例としては、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。

また、通信網（図示省略）を介してコンピュータ１８５２に接続される他のコンピュータ又はサーバ装置等の記憶部にぶれ補正プログラム１９０２を記憶させておき、上述の監視カメラ１０の要求に応じてぶれ補正プログラム１９０２がコンピュータ１８５２にダウンロードされるようにしてもよい。この場合、ダウンロードされたぶれ補正プログラム１９０２がコンピュータ１８５２のＣＰＵ１８５２Ａによって実行される。

また、コンピュータ１８５２は、ぶれ補正装置３３の外部に設けられるようにしてもよい。この場合、コンピュータ１８５２がぶれ補正プログラム１９０２に従ってぶれ補正装置３３を制御するようにすればよい。

上記のぶれ補正処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、ぶれ補正処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することでぶれ補正処理を実行する。

ぶれ補正処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、ぶれ補正処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、ぶれ補正装置３３内の処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、ぶれ補正処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、ぶれ補正装置３３内の処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

また、上記各実施形態では、本開示の技術に係る撮像装置の一例として監視カメラ１０を挙げたが、本開示の技術はこれに限定されない。例えば、監視カメラ１０に代えて、携帯型のレンズ交換式カメラ、携帯型のレンズ固定式カメラ、パーソナル・コンピュータ、スマートデバイス、又はウェアラブル端末装置等の各種の電子機器に対しても本開示の技術は適用可能である。これらの電子機器であっても、上記各実施形態で説明した監視カメラ１０と同様の作用及び効果が得られる。

また、上記各実施形態では、ローリングシャッタ方式による撮像を例示したが、本開示の技術はこれに限定されず、グローバルシャッタ方式による撮像が行われる場合であっても本開示の技術は成立する。

また、上記のぶれ補正処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (16)

1. プロセッサと、
   前記プロセッサに内蔵又は接続されたメモリと、を備え、
   前記プロセッサは、
   撮像素子により撮像されることで得られた画像のぶれの補正に供するぶれ補正量を、前記撮像素子での１フレーム分の露光中に取得し、
   前記撮像素子から読み出し中の１フレームに満たない前記画像である未完画像に対して、取得した最新の前記ぶれ補正量に基づいて画像処理を施すことで前記ぶれを補正する
   ぶれ補正装置。
2. 前記未完画像は前記メモリに記憶され、
   前記プロセッサは、前記メモリに記憶された前記未完画像に対して、前記未完画像を得るのに要する露光中に取得した前記ぶれ補正量に基づいて前記画像処理を施すことで前記ぶれを補正する請求項１に記載のぶれ補正装置。
3. 前記画像は１フレーム毎に前記メモリに記憶され、
   前記未完画像は、前記メモリに記憶される１フレーム毎の前記画像の各々についての画像である請求項２に記載のぶれ補正装置。
4. 前記プロセッサは、隣接する先フレーム及び後フレームのうちの前記先フレームの前記画像が前記撮像素子から読み出される第１読出期間と前記後フレームの前記画像が前記撮像素子から読み出される第２読出期間とが重複しない場合において、前記後フレームの前記未完画像に対して、前記第１読出期間と前記第２読出期間との間の露光中に取得した前記ぶれ補正量に基づいて前記画像処理を施すことで前記ぶれを補正する請求項１に記載のぶれ補正装置。
5. 前記プロセッサは、前記後フレームの前記未完画像に対して、前記第１読出期間と前記第２読出期間との間の１フレーム分の全露光期間を通じて取得した前記ぶれ補正量に基づいて前記画像処理を施すことで前記ぶれを補正する請求項４に記載のぶれ補正装置。
6. 前記プロセッサは、前記未完画像に対応する露光が行われている期間のうちの特定のラインの露光が行われている間に前記ぶれ補正量を取得する請求項１から請求項４の何れか一項に記載のぶれ補正装置。
7. 前記プロセッサは、１フレーム目の前記露光中において前記撮像素子からの前記画像の読み出しの開始時点よりも早く前記ぶれ補正量を取得する請求項１から請求項６の何れか一項に記載のぶれ補正装置。
8. プロセッサと、
   前記プロセッサに内蔵又は接続されたメモリと、を備え、
   前記プロセッサは、
   撮像素子により撮像されることで得られた画像のぶれの補正に供するぶれ補正量を、前記撮像素子での１フレーム分の露光中に取得し、
   第１補正モード又は第２補正モードで前記ぶれを補正し、
   前記第１補正モードは、前記撮像素子により撮像されることで得られた動画像に含まれる１フレーム分の画像である補正対象画像に対して、前記補正対象画像を得るのに要する露光中に取得した前記ぶれ補正量に基づいて画像処理を施すことで前記ぶれを補正する補正モードであり、
   前記第２補正モードは、前記撮像素子から読み出し中の１フレームに満たない前記画像である未完画像に対して、取得した最新の前記ぶれ補正量に基づいて前記画像処理を施すことで前記ぶれを補正する補正モードである
   ぶれ補正装置。
9. 前記プロセッサは、前記動画像を記憶媒体に記憶させる場合に前記第１補正モードで前記ぶれを補正する請求項８に記載のぶれ補正装置。
10. 前記プロセッサは、ライブビュー画像をディスプレイに対して表示させる場合に前記第２補正モードで前記ぶれを補正する請求項８又は請求項９に記載のぶれ補正装置。
11. 前記プロセッサは、前記第１補正モード及び前記第２補正モードのうち、前記撮像素子からの前記画像の読み出しを開始する読出開始タイミング及び前記ぶれ補正量の取得タイミングに応じて定められた補正モードで前記ぶれを補正する請求項８に記載のぶれ補正装置。
12. 前記プロセッサは、前記撮像素子による１フレーム分の撮像において、前記取得タイミングが前記読出開始タイミング以前であれば前記第１補正モードで前記ぶれを補正し、前記取得タイミングが前記読出開始タイミングよりも遅ければ前記第２補正モードで前記ぶれを補正する請求項１１に記載のぶれ補正装置。
13. 前記プロセッサは、前記動画像を外部装置に送信する場合に前記第１補正モードで前記ぶれを補正する請求項８に記載のぶれ補正装置。
14. 請求項１から請求項１３の何れか一項に記載のぶれ補正装置と、
    前記撮像素子と、
    を含む撮像装置。
15. 請求項１４に記載の撮像装置と、
    前記プロセッサにより前記ぶれが補正されることで得られた補正済み画像をディスプレイに対して表示させる制御、及び前記補正済み画像を記憶装置に対して記憶させる制御のうちの少なくとも一方を行うコントローラと、
    を含む監視システム。
16. プロセッサと、前記プロセッサに内蔵又は接続されたメモリとを備えたコンピュータに、
    撮像素子により撮像されることで得られた画像のぶれの補正に供するぶれ補正量を、前記撮像素子での１フレーム分の露光中に取得し、
    前記撮像素子から読み出し中の１フレームに満たない前記画像である未完画像に対して、取得した最新の前記ぶれ補正量に基づいて画像処理を施すことで前記ぶれを補正することを含む処理を実行させるためのプログラム。

Images