JP7234412B2 - 撮像支援装置、撮像装置、撮像システム、撮像支援方法、及びプログラム - Google Patents

Description

本開示は、撮像支援装置、撮像装置、撮像システム、撮像支援方法、及びプログラムに関する。

特開２００５－２１０５０７号公報には、被写体を撮像して撮像画像を取得する撮像手段と、撮像手段の撮像方向の水平からの傾き角度を撮像方向傾き角度として取得する撮像方向傾き角度取得手段と、撮像方向傾き角度に基づいて、撮像方向の水平からの傾きに起因して生じる被写体の鉛直方向の撮像画像中での傾斜を矯正するように撮像画像を補正する画像補正手段と、画像補正手段により補正した画像を出力する画像出力手段と、を備えたことを特徴とする撮像装置が開示されている。

特開平０４－２１１５８３号公報には、撮像レンズと、光電変換手段と、記憶装置と、傾き検出手段と、記憶手段制御装置と、出力端とで構成され、記憶装置は第１のスイッチと、第１の記憶手段と、第２の記憶手段と、第２のスイッチとで構成され、撮像レンズを経た入射光は光電変換手段にて光・電気変換を受けた後、電気信号として記憶装置に入力され、記憶装置に入力された信号は、第１のスイッチに入力され、第１のスイッチは第１フィールド期間に渡って第１の記憶手段側へ倒れ、次の第２フィールド期間に渡って第２の記憶手段側へ倒れ、第１の記憶手段に第１フィールド期間に渡って記憶された映像信号は次の第２フィールドに渡って読み出され、第２の記憶手段に第２フィールド期間に渡って記憶された映像信号は次の第１フィールドに渡って読み出され、第２のスイッチは第１のスイッチとは逆相の動作を行い、第１の記憶手段と第２の記憶手段とに交互に倒れて１系列の信号として出力端に出力し、傾き検出手段により検出された傾き情報は記憶手段制御装置に入力され、記憶手段制御装置は傾き情報に従って記憶装置の第１の記憶手段及び第２の記憶手段の読みだし動作を制御して、実時間で出力動画像信号の傾きを補正するように信号を出力する様に構成することを特徴としたビデオカメラ装置が開示されている。

特開２０１３－１７９４３１号公報には、撮像装置と、該撮像装置と接続可能な雲台と、撮像装置と雲台との間で通信する通信手段とからなる撮像システムであって、撮像装置は、撮像光軸に対するロール方向の傾き度合いを検出する傾き検出手段を有し、雲台は、通信手段を介して傾き検出手段の検出結果を受信する受信手段と、撮像装置を撮像光軸の周り方向に回転させる回転駆動手段とを有し、回転駆動手段は、傾き検出手段の検出結果に基づいて、撮像装置の撮像画像が水平面に対して水平となるように撮像装置を回転させることを特徴とする撮像システムが開示されている。

本開示の技術に係る一つの実施形態は、撮像装置が旋回機構に対して傾いて取り付けられた場合の撮像画像の位置ずれを解消することができる撮像支援装置、撮像装置、撮像システム、撮像支援方法、及びプログラムを提供する。

本開示の技術に係る第１の態様は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を含み、プロセッサは、第１軸と、第１軸と交差する第２軸との各々を中心軸として撮像装置を旋回可能な旋回機構に対する撮像装置の傾きであって、第１軸と第２軸とに交差する第３軸を中心軸とした回転方向の傾きに関する情報を、撮像装置の旋回角度の時系列変化に基づいて導出し、撮像装置によって撮像されることで得られる撮像画像の位置を、傾きに関する情報に基づいて調整する撮像支援装置である。

本開示の技術に係る第２の態様は、傾きに関する情報が、旋回機構によって第１軸又は第２軸を中心軸として撮像装置が旋回されている状態での時系列変化に基づいてプロセッサによって導出される、本開示の技術に係る第１の態様に係る撮像支援装置である。

本開示の技術に係る第３の態様は、傾きに関する情報が、第１軸又は第２軸を中心軸とした旋回方向のうちの一方向に撮像装置が旋回されている状態での時系列変化に基づいてプロセッサによって導出される本開示の技術に係る第２の態様に係る撮像支援装置である。

本開示の技術に係る第４の態様は、第１軸を中心軸とした旋回角度の変化量が第１既定値以上であり、かつ、第２軸を中心軸とした旋回角度の変化量が第２既定値以上の場合に傾きに関する情報がプロセッサによって導出される本開示の技術に係る第２の態様又は第３の態様に係る撮像支援装置である。

本開示の技術に係る第５の態様は、傾きに関する情報が、旋回機構による旋回の中心軸に対する撮像装置の傾きの角度である本開示の技術に係る第１の態様から第４の態様の何れか１つに係る撮像支援装置である。

本開示の技術に係る第６の態様は、プロセッサが、単位時間あたりの第１軸の旋回角度の変位量と単位時間あたりの第２軸の旋回角度の変位量との相違度に基づいて、傾きの角度を導出する本開示の技術に係る第５の態様に係る撮像支援装置である。

本開示の技術に係る第７の態様は、相違度が、単位時間あたりの第１軸の旋回角度の変位量と単位時間あたりの第２軸の旋回角度の変位量との比率である本開示の技術に係る第６の態様に係る撮像支援装置である。

本開示の技術に係る第８の態様は、プロセッサが、旋回機構によって第１軸又は第２軸を中心軸として撮像装置が旋回されている状態において、下記式（１）に基づいて傾きの角度を導出する本開示の技術に係る第５の態様から第７の態様の何れか１つに係る撮像支援装置である。

θ＝ａｒｃｔａｎ（Ｔ２／Ｔ１） ・・・・・（１）
θ ：撮像装置の傾きの角度（ｄｅｇｒｅｅ）
Ｔ１：第１軸および第２軸のうちの一方の軸の単位時間当たりの旋回角度の変位量（ｄｅｇｒｅｅ／ｓ）
Ｔ２：第１軸および第２軸のうちの他方の軸の単位時間当たりの旋回角度の変位量（ｄｅｇｒｅｅ／ｓ）

本開示の技術に係る第９の態様は、プロセッサが、傾きに関する情報の信頼度を導出し、導出した信頼度が既定の度合いを上回る場合に、傾きに関する情報に基づいて位置を調整する本開示の技術に係る第１の態様から第８の態様の何れか１つに係る撮像支援装置である。

本開示の技術に係る第１０の態様は、信頼度が、傾きに関する情報のデータ群の標準偏差であり、プロセッサは、標準偏差が閾値以下の場合に、傾きに関する情報に基づいて位置を調整する本開示の技術に係る第９の態様に係る撮像支援装置である。

本開示の技術に係る第１１の態様は、撮像装置が、撮像装置の回転方向及び回転速度を検出するセンサを含み、時系列変化は、センサの検出結果に基づいてプロセッサによって導出される本開示の技術に係る第１の態様から第１０の態様の何れか１つに係る撮像支援装置である。

本開示の技術に係る第１２の態様は、センサが、第１軸又は第２軸を中心軸とした角速度を検出するジャイロセンサである本開示の技術に係る第１１の態様に係る撮像支援装置である。

本開示の技術に係る第１３の態様は、プロセッサが、傾きに関する情報に基づいて、撮像装置の傾きに起因した撮像画像の傾きを解消させる方向に撮像画像を回転させる画像処理を行う本開示の技術に係る第１の態様から第１２の態様の何れか１つに係る撮像支援装置である。

本開示の技術に係る第１４の態様は、撮像装置が、撮像素子を回転させる撮像素子回転機構を含み、プロセッサは、傾きに関する情報に基づいて撮像素子回転機構を作動させて、撮像装置の傾きに起因した撮像画像の傾きを解消させる方向に撮像素子を回転させる本開示の技術に係る第１の態様から第１３の態様の何れか１つに係る撮像支援装置である。

本開示の技術に係る第１５の態様は、プロセッサが、傾きに関する情報に基づいて撮像画像の位置の調整結果が反映された画像を表示部に対して表示させる制御、及び調整結果が反映された画像を示す画像データをメモリに対して記憶させる制御のうちの少なくとも一方を行う本開示の技術に係る第１の態様から第１４の態様の何れか１つに係る撮像支援装置である。

本開示の技術に係る第１６の態様は、プロセッサが、傾きに関する情報に基づいて撮像画像の位置の調整結果が反映された画像を表示部に対して表示させる制御、及び調整結果が反映された画像を示す画像データをストレージに対して記憶させる制御のうちの少なくとも一方を行う本開示の技術に係る第１の態様から第１５の態様の何れか１つに係る撮像支援装置である。

本開示の技術に係る第１７の態様は、本開示の技術に係る第１の態様から第１６の態様の何れか１つに係る撮像支援装置と、撮像素子と、を含み、撮像素子は、撮像を行うことで撮像画像を生成する撮像装置である。

本開示の技術に係る第１８の態様は、本開示の技術に係る第１の態様から第１６の態様の何れか１つに係る撮像支援装置と、撮像装置と、を含み、撮像装置は、撮像を行うことで撮像画像を生成する撮像システムである。

本開示の技術に係る第１９の態様は、旋回機構をさらに含み、旋回機構は、撮像装置を第１軸と第２軸との各々を中心軸として旋回させる本開示の技術に係る第１８の態様に係る撮像システムである。

本開示の技術に係る第２０の態様は、撮像装置による撮像を支援する撮像支援方法であって、第１軸と、第１軸と交差する第２軸との各々を中心軸として撮像装置を旋回可能な旋回機構に対する撮像装置の傾きであって、第１軸と第２軸とに交差する第３軸を中心軸とした回転方向の傾きに関する情報を、撮像装置の旋回角度の時系列変化に基づいて導出すること、並びに、撮像装置によって撮像されることで得られる撮像画像の位置を、傾きに関する情報に基づいて調整することを含む撮像支援方法である。

本開示の技術に係る第２１の態様は、コンピュータに、撮像装置による撮像を支援する処理を実行させるためのプログラムであって、処理は、第１軸と、第１軸と交差する第２軸との各々を中心軸として撮像装置を旋回可能な旋回機構に対する撮像装置の傾きであって、第１軸と第２軸とに交差する第３軸を中心軸とした回転方向の傾きに関する情報を、撮像装置の旋回角度の時系列変化に基づいて導出すること、並びに、撮像装置によって撮像されることで得られる撮像画像の位置を、傾きに関する情報に基づいて調整することを含むプログラムである。

実施形態に係る監視システムの構成の一例を示す概略構成図である。 実施形態に係る監視カメラの外観の一例を示す斜視図である。 実施形態に係る監視カメラの外観の一例を示す斜視図である。 実施形態に係る監視カメラの光学系及び電気系の構成の一例を示すブロック図である。 実施形態に係る管理装置及び旋回機構の電気系の構成の一例を示すブロック図である。 実施形態に係る監視カメラに生じる取り付け時の傾きの説明に供する概念図である。 実施形態に係る監視カメラに生じる取り付け時の傾きの説明に供する概念図である。 実施形態に係る監視カメラに生じる位置ずれの説明に供する概念図である。 実施形態に係る監視カメラに生じる位置ずれの説明に供する概念図である。 実施形態に係る監視カメラに含まれるＣＰＵの機能の一例を示す機能ブロック図である。 実施形態に係る撮像支援装置による位置ずれの解消の説明に供する概念図である。 実施形態に係る撮像支援装置による位置ずれの解消の説明に供する概念図である。 実施形態に係る撮像支援装置による位置ずれの解消の説明に供する概念図である。 実施形態に係る撮像支援装置による位置ずれの解消の説明に供する概念図である。 実施形態に係る撮像支援装置による位置ずれの解消の説明に供する概念図である。 実施形態に係る監視カメラに含まれるＣＰＵの機能の一例を示す機能ブロック図である。 実施形態に係る角度変位量の検出の一例を示す概念図である。 実施形態に係る傾き角度の一例を示す概念図である。 実施形態に係る角度変位量の検出の一例を示す概念図である。 実施形態に係る傾き角度の一例を示す概念図である。 実施形態に係る角度変位量の検出の一例を示す概念図である。 実施形態に係る傾き角度の一例を示す概念図である。 実施形態に係る撮像画像の傾きの調整の一例を示す概念図である。 実施形態に係る位置ずれ解消処理の流れの一例を示すフローチャートである。 実施形態に係る位置ずれ解消処理の流れの一例を示すフローチャートである。 実施形態に係る監視カメラの外観の一例を示す斜視図である。 実施形態に係る監視カメラ及び旋回機構の電気系の構成の一例を示すブロック図である。 実施形態に係る監視カメラに含まれるＣＰＵの機能の変形例を示す機能ブロック図である。 実施形態に係る監視カメラの光学系及び電気系の構成の変形例を示すブロック図である。 実施形態に係る監視カメラに含まれるＣＰＵの機能の変形例を示す機能ブロック図である。 実施形態に係る位置ずれ解消処理プログラムが記憶された記憶媒体から、位置ずれ解消処理プログラムが監視カメラ内のコンピュータにインストールされる態様の一例を示す概念図である。

添付図面に従って本開示の技術に係る実施形態の一例について説明する。

先ず、以下の説明で使用される文言について説明する。

ＣＰＵとは、“Central Processing Unit”の略称である。ＧＰＵとは、“Graphics Processing Unit”の略称である。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称である。ＰＬＤとは、“Programmable Logic Device”の略称である。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称である。ＡＦＥとは、“Analog Front End”の略称である。ＤＳＰとは、"Digital Signal Processor”の略称である。ＳｏＣとは、“System-on-a-chip”の略称である。ＳＳＤとは、“Solid State Drive”の略称である。ＵＳＢとは、“Universal Serial Bus”の略称である。ＨＤＤとは、“Hard Disk Drive”の略称である。ＥＥＰＲＯＭとは、“Electrically Erasable and Programmable Read Only Memory”の略称である。ＥＬとは、“Electro-Luminescence”の略称である。Ａ／Ｄとは、“Analog/Digital”の略称である。Ｉ／Ｆとは、“Interface”の略称である。ＵＩとは、“User Interface”の略称である。ＷＡＮとは、“Wide Area Network”の略称である。ＩＳＰとは、“Image Signal Processor”の略称である。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称である。ＣＣＤとは、“Charge Coupled Device”の略称である。ＳＷＩＲとは、“Short-Wavelength InfraRed”の略称である。

本明細書の説明において、「水平」とは、完全な水平の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの水平を指す。本明細書の説明において、「平行」とは、完全な平行の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの平行を指す。本明細書の説明において、「垂直」とは、完全な垂直の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの垂直を指す。本明細書の説明において、「一致」とは、完全な一致の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの一致を指す。

［第１実施形態］
一例として図１に示すように、監視システム２は、監視カメラ１０及び管理装置１１を備えている。監視システム２は、本開示の技術に係る「撮像システム」の一例であり、監視カメラ１０は、本開示の技術に係る「撮像装置」の一例である。

監視カメラ１０は、屋内外の柱、壁又は建物の一部（例えば、屋上）等に、旋回機構１６を介して設置され、被写体である監視対象を撮像し、撮像することで動画像を生成する。動画像には、撮像することで得られた複数フレームの画像が含まれている。監視カメラ１０は、撮像することで得た動画像を、通信ライン１２を介して管理装置１１に送信する。

管理装置１１は、ディスプレイ１３を備えている。管理装置１１は、監視カメラ１０によって送信された動画像を受信し、受信した動画像をディスプレイ１３に表示する。ディスプレイ１３としては、例えば、液晶ディスプレイ又は有機ＥＬディスプレイ等が挙げられる。なお、ディスプレイ１３は、本開示の技術に係る「表示部（ディスプレイ）」の一例である。

監視カメラ１０には、旋回機構１６が取り付けられる。旋回機構１６は、制御ライン１４を通じて、管理装置１１により駆動を制御される。旋回機構１６は、監視カメラ１０を旋回可能とする。具体的には、旋回機構１６は、第１軸と、第１軸と交差する第２軸との各々を中心軸として監視カメラ１０を旋回可能な２軸旋回機構である。一例として図２に示すように、旋回機構１６は、ピッチ軸ＰＡを中心軸とした旋回方向に監視カメラ１０を旋回可能である。また、一例として図３に示すように、旋回機構１６は、ヨー軸ＹＡを中心軸とした旋回方向に監視カメラ１０を旋回可能である。旋回機構１６は、本開示の技術に係る「旋回機構」の一例である。また、「ピッチ軸ＰＡ」は、本開示の技術に係る「第１軸」の一例であり、「ヨー軸ＹＡ」は、本開示の技術に係る「第２軸」の一例である。

一例として図４に示すように、監視カメラ１０は、光学系１５及び撮像素子２５を備えている。撮像素子２５は、光学系１５の後段に位置している。光学系１５は、対物レンズ１５Ａ及びレンズ群１５Ｂを備えている。対物レンズ１５Ａ及びレンズ群１５Ｂは、監視対象側（物体側）から撮像素子２５の受光面２５Ａ側（像側）にかけて、光学系１５の光軸ＯＡに沿って、対物レンズ１５Ａ及びレンズ群１５Ｂの順に配置されている。レンズ群１５Ｂには、ズームレンズ１５Ｂ１等が含まれている。ズームレンズ１５Ｂ１は、移動機構２１によって光軸ＯＡに沿って移動可能に支持されている。移動機構２１は、ズームレンズ用のモータ（図示省略）から与えられた動力に応じてズームレンズ１５Ｂ１を光軸ＯＡに沿って移動させる。また、レンズ群１５Ｂには、防振レンズ１５Ｂ２が含まれている。防振レンズ１５Ｂ２は、後述するアクチュエータ１７から与えられた動力に応じて光軸ＯＡに対して垂直方向に変動する。このように構成された光学系１５によって、監視対象を示す監視対象光は、受光面２５Ａに結像される。なお、撮像素子２５は、本開示の技術に係る「撮像素子」の一例である。

ところで、監視カメラ１０に与えられる振動には、屋外であれば、自動車の通行による振動、風による振動、及び道路工事による振動等があり、屋内であれば、エアコンディショナーの動作による振動、及び人の出入りによる振動等がある。また、監視カメラ１０に与えられる振動には、監視カメラ１０を旋回機構１６により旋回させる間の振動、及び旋回機構１６による旋回動作を開始又は停止した際の振動等がある。そのため、監視カメラ１０では、監視カメラ１０に与えられた振動（以下、単に「振動」とも称する）に起因して振れが生じる。

なお、本実施形態において、「振れ」とは、監視カメラ１０において、受光面２５Ａでの被写体像が、光軸ＯＡと受光面２５Ａとの位置関係が変化することで変動する現象を指す。換言すると、「振れ」とは、監視カメラ１０に与えられた振動に起因して光軸ＯＡが傾くことによって、受光面２５Ａに結像されることで得られた光学像が変動する現象とも言える。光軸ＯＡの変動とは、例えば、基準軸（例えば、振れが発生する前の光軸ＯＡ）に対して光軸ＯＡが傾くことを意味する。以下では、振動に起因して生じる振れを、単に「振れ」とも称する。

そこで、監視カメラ１０は、機械式振れ補正部２９及び電子式振れ補正部３３を有する。機械式振れ補正部２９及び電子式振れ補正部３３は、監視カメラ１０に与えられた振動に起因して生じる振れを補正する。機械式振れ補正部２９は、モータ（例えば、ボイスコイルモータ）等の駆動源によって生成された動力を防振レンズに付与することで防振レンズを撮像光学系の光軸に対して垂直な方向に移動させ、これによって振れを補正する機構である。電子式振れ補正部３３は、振れ量に基づいて撮像画像に対して画像処理を施すことで振れを補正する。つまり、機械式振れ補正部２９及び電子式振れ補正部３３等の振れ補正部（振れ補正コンポーネント）は、ハードウェア構成及び／又はソフトウェア構成で機械的又は電子的に振れの補正を行う。ここで、機械的な振れの補正とは、モータ（例えば、ボイスコイルモータ）等の駆動源によって生成された動力を用いて防振レンズ及び／又は撮像素子等の振れ補正素子を機械的に動かすことにより実現される振れの補正を指し、電子的な振れの補正とは、例えば、プロセッサによって画像処理が行われることで実現される振れの補正を指す。なお、本実施形態において、「振れの補正」には、振れを無くすという意味の他に、振れを低減するという意味も含まれる。

機械式振れ補正部２９は、防振レンズ１５Ｂ２、アクチュエータ１７、ドライバ２３、及び位置検出センサ３９を備えている。

機械式振れ補正部２９による振れの補正方法としては、周知の種々の方法を採用することができる。本実施形態では、振れの補正方法として、振れ量検出センサ４０（後述）によって検出された振れ量に基づいて、防振レンズ１５Ｂ２を移動させる方法が採用されている。具体的には、振れを打ち消す方向に、振れを打ち消す量だけ防振レンズ１５Ｂ２を移動させることで振れの補正が行われるようにしている。

防振レンズ１５Ｂ２にはアクチュエータ１７が取り付けられている。アクチュエータ１７は、ボイスコイルモータが搭載されたシフト機構であり、ボイスコイルモータを駆動させることで、防振レンズ１５Ｂ２を光軸ＯＡに対して垂直方向に変動させる。なお、ここでは、アクチュエータ１７として、ボイスコイルモータが搭載されたシフト機構が採用されているが、本開示の技術はこれに限定されず、ボイスコイルモータに代えて、ステッピングモータ又はピエゾ素子等の他の動力源を適用してもよい。

アクチュエータ１７は、ドライバ２３により駆動を制御される。アクチュエータ１７がドライバ２３の制御下で駆動することで、防振レンズ１５Ｂ２の位置が光軸ＯＡに対して機械的に変動する。

位置検出センサ３９は、防振レンズ１５Ｂ２の現在位置を検出し、検出した現在位置を示す位置信号を出力する。ここでは、位置検出センサ３９の一例として、ホール素子を含むデバイスが採用されている。ここで、防振レンズ１５Ｂ２の現在位置とは、防振レンズ１５Ｂ２の二次元平面（以下、防振レンズ二次元平面という）内の現在位置を指す。防振レンズ二次元平面とは、光軸ＯＡに対して垂直な二次元平面を指す。なお、本実施形態では、位置検出センサ３９の一例として、ホール素子を含むデバイスが採用されているが、本開示の技術はこれに限定されず、ホール素子に代えて、磁気センサ又はフォトセンサなどを採用してもよい。

監視カメラ１０は、コンピュータ１９、ＤＳＰ３１、画像メモリ３２、電子式振れ補正部３３、通信Ｉ／Ｆ３４、振れ量検出センサ４０、及びＵＩ系デバイス４３を備えている。コンピュータ１９は、メモリ３５、ストレージ３６、及びＣＰＵ３７を備えている。ＣＰＵ３７は、本開示の技術に係る「プロセッサ」の一例である。また、メモリ３５は、本開示の技術に係る「メモリ」の一例である。

撮像素子２５、ＤＳＰ３１、画像メモリ３２、電子式振れ補正部３３、通信Ｉ／Ｆ３４、メモリ３５、ストレージ３６、ＣＰＵ３７、振れ量検出センサ４０、及びＵＩ系デバイス４３は、バス３８に接続されている。また、ドライバ２３もバス３８に接続されている。なお、図４に示す例では、図示の都合上、バス３８として１本のバスが図示されているが、複数本のバスであってもよい。バス３８は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。

メモリ３５は、各種情報を一時的に記憶し、ワークメモリとして用いられる。メモリ３５の一例としては、ＲＡＭが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。ストレージ３６は、不揮発性の記憶装置である。ここでは、ストレージ３６の一例として、フラッシュメモリが採用されている。フラッシュメモリはあくまでも一例に過ぎず、ストレージ３６としては、例えば、フラッシュメモリに代えて、又は、フラッシュメモリと併せて、磁気抵抗メモリ及び／又は強誘電体メモリなどの各種の不揮発性メモリを用いることができる。また、不揮発性の記憶装置は、ＥＥＰＲＯＭ、ＨＤＤ、及び／又はＳＳＤ等であってもよい。ストレージ３６には、監視カメラ１０用の各種プログラムが記憶されている。ＣＰＵ３７は、ストレージ３６から各種プログラムを読み出し、読み出した各種プログラムをメモリ３５上で実行することで監視カメラ１０の全体を制御する。

撮像素子２５は、ＣＭＯＳイメージセンサである。撮像素子２５は、ＣＰＵ３７の指示の下、既定のフレームレートで監視対象を撮像する。ここで言う「既定のフレームレート」とは、例えば、数十フレーム／秒から数百フレーム／秒を指す。なお、撮像素子２５そのものにも制御装置（撮像素子制御装置）が内蔵されていても良く、その場合はＣＰＵ３７が指示する撮像指示に応じて、撮像素子２５内部の詳細な制御を撮像素子制御装置が行う。また、撮像素子２５が、ＤＳＰ３１の指示の下に既定のフレームレートで対象被写体を撮像しても良く、この場合は、ＤＳＰ３１が出力する撮像指示に応じて、撮像素子２５内部の詳細な制御を撮像素子制御装置が行う。なお、ＤＳＰ３１はＩＳＰと呼ばれることもある。

撮像素子２５の受光面２５Ａは、マトリクス状に配置された複数の感光画素（図示省略）によって形成されている。撮像素子２５では、各感光画素が露光され、感光画素毎に光電変換が行われる。

感光画素毎に光電変換が行われることで得られた電荷は、対象被写体を示すアナログの撮像信号である。ここでは、複数の感光画素として、赤外光に感度を有する複数の光電変換素子（一例として、赤外光透過フィルタが配置された光電変換素子）が採用されている。

監視カメラ１０では、こうした赤外光に感度を有する光電変換素子を用いることによって、赤外光（例えば、約７００ナノメートルよりも長波長側の光）に基づく撮像が行われる。特に、ＳＷＩＲについての撮像に対しては、例えば、撮像素子２５として、ＣＭＯＳイメージセンサに代えて、ＩｎＧａＡｓセンサ及び／又はタイプ２型量子井戸（Ｔ２ＳＬ；Ｓｉｍｕｌａｔｉｏｎ ｏｆ Ｔｙｐｅ－ＩＩ Ｑｕａｎｔｕｍ Ｗｅｌｌ）センサ等を用いればよい。但し、本実施形態はこれに限定されず、可視光に感度を有する光電変換素子を用いて、可視光（例えば、約７００ナノメートル以下の短波長側の光）に基づく撮像が行われるようにしてもよく、可視光と赤外光の両方に感度を有する光電変換素子を用いたり、光学系１５を透過した入射光をフィルタ又はダイクロイックプリズム等で可視光と赤外光に分離し、それぞれの光に感度を持つ光電変換素子を用いたりしてもよい。

撮像素子２５は、アナログの撮像信号に対してＡ／Ｄ変換等の信号処理を施すことで、デジタルの撮像信号によって構成されるデジタル画像を生成する。撮像素子２５は、バス３８を介してＤＳＰ３１に接続されており、生成したデジタル画像を、バス３８を介してフレーム単位でＤＳＰ３１に出力する。ここで、デジタル画像は、本開示の技術に係る「撮像画像」の一例である。

なお、ここでは、撮像素子２５の一例としてＣＭＯＳイメージセンサを挙げて説明しているが、本開示の技術はこれに限定されず、撮像素子２５としてＣＣＤイメージセンサを適用してもよい。この場合、撮像素子２５はＣＣＤドライバ内蔵のＡＦＥ（図示省略）を介してバス３８に接続される。ＡＦＥは、撮像素子２５によって得られたアナログの撮像信号に対してＡ／Ｄ変換等の信号処理を施すことでデジタル画像を生成し、生成したデジタル画像をＤＳＰ３１に出力する。ＣＣＤイメージセンサはＡＦＥに内蔵されたＣＣＤドライバによって駆動される。もちろんＣＣＤドライバは単独で設けられても良い。

ＤＳＰ３１は、デジタル画像に対して、各種デジタル信号処理を施す。各種デジタル信号処理とは、例えば、デモザイク処理、ノイズ除去処理、階調補正処理、及び色補正処理等を指す。

ＤＳＰ３１は、１フレーム毎に、デジタル信号処理後のデジタル画像を画像メモリ３２に出力する。画像メモリ３２は、ＤＳＰ３１からのデジタル画像を記憶する。なお、以下では、説明の便宜上、画像メモリ３２に記憶されたデジタル画像を「撮像画像」とも称する。

振れ量検出センサ４０は、例えば、ジャイロセンサ４１を含むデバイスであり、監視カメラ１０の振れ量を検出する。振れ量検出センサ４０は、一対の軸方向の各々について振れ量を検出する。ジャイロセンサ４１は、ピッチ軸ＰＡ、及びヨー軸ＹＡの各軸（図１参照）周りの回転振れの量を検出する。振れ量検出センサ４０は、ジャイロセンサ４１によって検出されたピッチ軸ＰＡ周りの回転振れの量及びヨー軸ＹＡ周りの回転振れの量を、ピッチ軸ＰＡ及びヨー軸ＹＡに平行な二次元状の面内での振れ量に変換することで、監視カメラ１０の振れ量を検出する。振れ量検出センサ４０は、検出した振れ量をＣＰＵ３７に出力する。ここで、ジャイロセンサ４１は、本開示の技術に係る「センサ」及び「ジャイロセンサ」の一例である。

ここでは、振れ量検出センサ４０の一例としてジャイロセンサ４１を挙げているが、これはあくまでも一例であり、振れ量検出センサ４０は、加速度センサであってもよい。加速度センサは、ピッチ軸ＰＡとヨー軸ＹＡに平行な二次元状の面内での振れ量を検出する。

また、ここでは、振れ量検出センサ４０という物理的なセンサによって振れ量が検出される形態例を挙げているが、本開示の技術はこれに限定されない。例えば、画像メモリ３２に記憶された時系列的に前後する撮像画像を比較することで得た動きベクトルを、振れ量として用いてもよい。また、物理的なセンサによって検出された振れ量と、画像処理によって得られた動きベクトルとに基づいて、最終的に使用される振れ量を導出してもよい。

ＣＰＵ３７は、振れ量検出センサ４０によって検出された振れ量を取得し、取得した振れ量に基づいて機械式振れ補正部２９及び電子式振れ補正部３３を制御する。振れ量検出センサ４０によって検出された振れ量は、機械式振れ補正部２９及び電子式振れ補正部３３の各々による振れの補正に用いられる。

電子式振れ補正部３３は、ＡＳＩＣを含むデバイスである。電子式振れ補正部３３は、振れ量検出センサ４０によって検出された振れ量に基づいて、画像メモリ３２内の撮像画像に対して画像処理を施すことで振れを補正する。機械式振れ補正部２９及び電子式振れ補正部３３は、振れ量検出センサ４０によって検出された振れ量に従って振れを補正する。

なお、ここでは、電子式振れ補正部３３として、ＡＳＩＣを含むデバイスを例示しているが、本開示の技術はこれに限定されるものではなく、例えば、ＦＰＧＡ又はＰＬＤを含むデバイスであってもよい。また、例えば、電子式振れ補正部３３は、ＡＳＩＣ、ＦＰＧＡ、及びＰＬＤのうちの複数を含むデバイスであってもよい。また、電子式振れ補正部３３として、ＣＰＵ、ストレージ、及びメモリを含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、電子式振れ補正部３３は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

通信Ｉ／Ｆ３４は、例えば、ネットワークインターフェースであり、ネットワークを介して、管理装置１１との間で各種情報の伝送制御を行う。ネットワークの一例としては、インターネット又は公衆通信網等のＷＡＮが挙げられる。通信Ｉ／Ｆ３４は、監視カメラ１０と管理装置１１との間の通信を司る。

ＵＩ系デバイス４３は、受付デバイス４３Ａ及びディスプレイ４３Ｂを備えている。受付デバイス４３Ａは、例えば、ハードキー及びタッチパネル等であり、監視システム２の使用者（以下、単に「使用者」とも称する）からの各種指示を受け付ける。ＣＰＵ３７は、受付デバイス４３Ａによって受け付けられた各種指示を取得し、取得した指示に従って動作する。

ディスプレイ４３Ｂは、ＣＰＵ３７の制御下で、各種情報を表示する。ディスプレイ４３Ｂに表示される各種情報としては、例えば、受付デバイス４３Ａによって受け付けられた各種指示の内容、及び撮像画像等が挙げられる。

一例として図５に示すように、管理装置１１は、ディスプレイ１３、制御装置６０、受付デバイス６２、及び通信Ｉ／Ｆ６６～６８を備えている。制御装置６０は、ＣＰＵ６０Ａ、ストレージ６０Ｂ、及びメモリ６０Ｃを備えている。受付デバイス６２、ディスプレイ１３、ＣＰＵ６０Ａ、ストレージ６０Ｂ、メモリ６０Ｃ、及び通信Ｉ／Ｆ６６～６８の各々は、バス７０に接続されている。なお、図５に示す例では、図示の都合上、バス７０として１本のバスが図示されているが、複数本のバスであってもよい。バス７０は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。

メモリ６０Ｃは、各種情報を一時的に記憶し、ワークメモリとして用いられる。メモリ６０Ｃの一例としては、ＲＡＭが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。ストレージ６０Ｂは、不揮発性の記憶装置である。ここでは、ストレージ６０Ｂの一例として、フラッシュメモリが採用されている。フラッシュメモリはあくまでも一例に過ぎず、ストレージ６０Ｂとしては、例えば、フラッシュメモリに代えて、又は、フラッシュメモリと併せて、磁気抵抗メモリ及び／又は強誘電体メモリなどの各種の不揮発性メモリが用いられる。また、不揮発性の記憶装置は、ＥＥＰＲＯＭ、ＨＤＤ、及び／又はＳＳＤ等であってもよい。ストレージ６０Ｂには、管理装置１１用の各種プログラム（以下、単に「管理装置用プログラム」と称する）が記憶されている。ＣＰＵ６０Ａは、ストレージ６０Ｂから管理装置用プログラムを読み出し、読み出した管理装置用プログラムをメモリ６０Ｃ上で実行することで管理装置１１の全体を制御する。また、ストレージ６０Ｂには、受信された動画像が記憶される。ストレージ６０Ｂは、本開示の技術に係る「ストレージ」の一例である。

通信Ｉ／Ｆ６６は、例えば、ネットワークインターフェースである。通信Ｉ／Ｆ６６は、ネットワークを介して、監視カメラ１０の通信Ｉ／Ｆ３４に対して通信可能に接続されており、監視カメラ１０との間で各種情報の伝送制御を行う。例えば、通信Ｉ／Ｆ６６は、監視カメラ１０に対して撮像画像の送信を要求し、撮像画像の送信の要求に応じて監視カメラ１０の通信Ｉ／Ｆ３４から送信された撮像画像を受信する。

旋回機構１６は、ヨー軸旋回機構７１、ピッチ軸旋回機構７２、モータ７３、モータ７４、ドライバ７５、及びドライバ７６を備えている。モータ７３は、ドライバ７５の制御下で駆動することで動力を生成する。ヨー軸旋回機構７１は、モータ７３によって生成された動力を受けることで、監視カメラ１０をヨー軸ＹＡ周りに旋回させる。モータ７４は、ドライバ７６の制御下で駆動することで動力を生成する。ピッチ軸旋回機構７２は、モータ７４によって生成された動力を受けることで、監視カメラ１０をピッチ軸ＰＡ周りに旋回させる。

通信Ｉ／Ｆ６７及び６８は、例えば、ネットワークインターフェースである。通信Ｉ／Ｆ６７は、ネットワークを介して、ドライバ７５に対して通信可能に接続されている。ＣＰＵ６０Ａは、通信Ｉ／Ｆ６７及びドライバ７５を介して、モータ７３を制御することで、ヨー軸旋回機構７１の旋回動作を制御する。通信Ｉ／Ｆ６８は、ネットワークを介して、ドライバ７６に対して通信可能に接続されている。ＣＰＵ６０Ａは、通信Ｉ／Ｆ６８及びドライバ７６を介して、モータ７４を制御することで、ピッチ軸旋回機構７２の旋回動作を制御する。

受付デバイス６２は、例えば、キーボード、マウス、及びタッチパネル等であり、使用者からの各種指示を受け付ける。ＣＰＵ６０Ａは、受付デバイス６２によって受け付けられた各種指示を取得し、取得した指示に従って動作する。

ディスプレイ１３は、ＣＰＵ６０Ａの制御下で、各種情報を表示する。ディスプレイ１３に表示される各種情報としては、例えば、受付デバイス６２によって受け付けられた各種指示の内容、及び通信Ｉ／Ｆ６６によって受信された撮像画像等が挙げられる。

ストレージ６０Ｂは、ＣＰＵ６０Ａの制御下で、各種情報を記憶する。ストレージ６０Ｂに記憶される各種情報としては、例えば、通信Ｉ／Ｆ６６によって受信された撮像画像等が挙げられる。

このように、制御装置６０は、通信Ｉ／Ｆ６６によって受信された撮像画像をディスプレイ１３に対して表示させる制御、及び通信Ｉ／Ｆ６６によって受信された撮像画像をストレージ６０Ｂに対して記憶させる制御を行う。ディスプレイ１３に表示される撮像画像は、本開示の技術に係る「調整結果が反映された画像」の一例である。また、ストレージ６０Ｂに記憶される撮像画像は、本開示の技術に係る「画像データ」の一例である。

なお、ここでは、撮像画像をディスプレイ１３に表示させ、かつ、通信Ｉ／Ｆ６６によって受信された撮像画像をストレージ６０Ｂに記憶させるようにしているが、本開示の技術はこれに限定されない。例えば、撮像画像のディスプレイ１３への表示と撮像画像のストレージ６０Ｂへの記憶との何れかが行われるようにしてもよい。また、制御装置６０は、通信Ｉ／Ｆ６６によって受信された撮像画像を、メモリ６０Ｃに対して一時的に記憶させるようにしてもよい。

ところで、監視カメラ１０が旋回機構１６に組付けられる際、組付け作業の精度、又は監視カメラ１０もしくは旋回機構１６の寸法精度等の原因により、一例として図６及び図７に示すように、監視カメラ１０が旋回機構１６に対して傾いた状態で組付けられることがある。具体的には、ヨー軸ＹＡとピッチ軸ＰＡとに交差するロール軸ＲＡを中心軸とした回転方向に角度θだけ傾いた状態で、監視カメラ１０が旋回機構１６に対して取り付けられることがある。ここで、傾きの角度θは、旋回機構１６による旋回の中心軸に対する監視カメラ１０の傾きの角度である。以下の説明において、監視カメラ１０の傾きの角度θは、単に「傾き角度」とも称する。なお、ロール軸ＲＡは、本開示の技術に係る「第３軸」の一例である。なお、図６及び図７では、旋回機構１６に対して傾いた状態で組付けられた、実線で示す監視カメラ１０と区別するために、旋回機構１６に対して傾いていない状態で組付けられた監視カメラ１０を破線で示している。続く図８及び図９も同じである。

このように、監視カメラ１０が旋回機構１６に対して傾いて取り付けられている場合、監視カメラ１０による特定被写体（一例として、人又は物等）の撮像に影響を及ぼすことがある。すなわち、一例として図８に示すように、監視カメラ１０による特定被写体の撮像が開始された初期状態では、実線の吹き出し内に示すように、特定被写体画像は撮像画像の右端に位置している。その後、一例として図９に示すように、旋回機構１６がヨー軸ＹＡを中心軸として旋回し、監視カメラ１０を旋回させる。このとき、監視カメラ１０の旋回に伴って撮像範囲が変化し、その結果、特定被写体画像の位置が撮像画像内で移動する。ここで、旋回機構１６に対して監視カメラ１０が傾かずに取り付けられている場合、旋回機構１６によりヨー軸ＹＡを中心軸として監視カメラ１０が旋回されると、特定被写体画像の位置は、図９の右側の破線の吹き出し内に示すように、撮像画像内を水平方向に移動して、例えば撮像画像内の中央に移動する。

しかし、監視カメラ１０が旋回機構１６に対して傾いた状態で取り付けられている場合、図９の左側の実線の吹き出し内に示すように、特定被写体画像の位置は、撮像画像内の水平方向だけでなく、上下方向にも移動する。すなわち、旋回機構１６によりヨー軸ＹＡのみを中心軸として旋回されているにもかかわらず、撮像画像内では、特定被写体画像の位置が斜め方向に移動することとなる。この結果、監視カメラ１０による撮像が困難になることがある。特に、一例として監視カメラ１０が特定被写体の追尾機能を有する場合、旋回機構１６による旋回によって特定被写体の移動に追従することが困難となる。つまり、旋回機構１６による旋回によって特定被写体の移動に追従しようとしても、旋回機構１６に対する監視カメラ１０のロール軸ＲＡを中心軸とした回転方向の傾きに起因した撮像画像の位置ずれによって、使用者の意図しない方向に撮像画像内を特定被写体画像の位置が移動する。このため、監視カメラ１０による撮像が困難になり、特に特定被写体を追尾しながら撮像する場合に影響が顕著となる場合がある。

そこで、監視カメラ１０が旋回機構１６に対して傾いて取り付けられているときの撮像画像の位置ずれを解消するために、一例として図１０に示すように、ストレージ３６には、位置ずれ解消処理プログラム３６Ａが記憶されている。位置ずれ解消処理プログラム３６ＡはＣＰＵ３７によって実行される。具体的には、ＣＰＵ３７は、ストレージ３６から位置ずれ解消処理プログラム３６Ａを読み出す。さらに、ＣＰＵ３７は、読み出した位置ずれ解消処理プログラム３６Ａをメモリ３５上で実行することで、撮像素子２５を含む監視カメラ１０による撮像を支援する撮像支援装置のプロセッサとして機能する。このように、ＣＰＵ３７は、撮像支援装置のプロセッサとして機能することで、監視カメラ１０が傾いた状態で旋回機構１６に取り付けられた状態下での撮像を支援する。

ＣＰＵ３７は、角速度取得部３７Ａ、角度変位量導出部３７Ｂ、旋回判定部３７Ｃ、傾き角度データ群導出部３７Ｄ、信頼度導出部３７Ｅ、信頼度判定部３７Ｆ、傾き角度導出部３７Ｇ、及び画像処理部３７Ｈとして動作する。また、ＣＰＵ３７は、位置ずれ解消のための傾き角度θを導出するに際し、ディスプレイ４３Ｂに対し、旋回動作を行うように使用者に指示する表示を行わせる。以下の説明では、ＣＰＵ３７による傾き角度θの導出において、ヨー軸ＹＡのみを中心軸とした旋回機構１６の旋回を使用者に行わせた場合について説明する。

角速度取得部３７Ａは、ジャイロセンサ４１からの出力を取得する。具体的には、角速度取得部３７Ａは、使用者による旋回機構１６による旋回が行われている間、ジャイロセンサ４１から規定の時間間隔（以下の説明において、サンプリングレートとも称する）で出力される角速度を逐次取得する。一例として、角速度取得部３７Ａは、旋回機構１６によって監視カメラ１０がヨー軸ＹＡを中心軸として旋回している状態での、ヨー軸ＹＡを中心軸とした旋回方向の角速度、及びピッチ軸ＰＡを中心軸とした旋回方向の角速度を取得する。さらに、角速度取得部３７Ａは、ヨー軸ＹＡを中心軸とした旋回方向のうちの一方向に監視カメラ１０が旋回されている状態での角速度を取得する。角速度取得部３７Ａは、こうしてジャイロセンサ４１のサンプリングレートにしたがって逐次取得した角速度を、角速度データ群としてメモリ３５に記憶させる。

角度変位量導出部３７Ｂは、メモリ３５に記憶された角速度データ群を取得し、角速度データ群から角度変位量を導出する。具体的には、角度変位量導出部３７Ｂは、ヨー軸ＹＡ及びピッチ軸ＰＡ周りの角速度の変化を時間で積分することにより、ヨー軸ＹＡ及びピッチ軸ＰＡ周りの角度変位量をそれぞれ導出する。角度変位量導出部３７Ｂは、角度変位量から旋回機構１６における旋回角度を導出する。角度変位量導出部３７Ｂは、導出した旋回角度を旋回判定部３７Ｃへ出力する。さらに、角度変位量導出部３７Ｂは、導出した角度変位量を、角度変位量データ群としてメモリ３５に記憶させる。なお、角度変位量データ群は、本開示の技術に係る「旋回角度の時系列変化」の一例である。

旋回判定部３７Ｃは、旋回機構１６における旋回角度が既定値以上となったか否かを判定する。具体的には、旋回判定部３７Ｃは、ヨー軸ＹＡを中心軸とした旋回角度の変化量が第１既定値以上であり、かつ、ピッチ軸ＰＡを中心軸とした旋回角度の変化量が第２既定値以上となっているかを判定する。旋回角度が既定値以上となっているかを判定することにより、後述する傾き角度の導出に用いられる角度変位量データ群が既定のデータ数以上取得される。

旋回判定部３７Ｃは、上記判定が肯定された場合、角速度取得部３７Ａによるジャイロセンサ４１からの角速度の取得を終了させる。また、ディスプレイ４３Ｂに対して旋回機構１６の旋回を終了するように使用者に報知する表示をさせる。

傾き角度データ群導出部３７Ｄは、旋回判定部３７Ｃにおける判定が肯定された場合に、傾き角度データ群を導出する。詳細は後述するが、傾き角度データ群導出部３７Ｄは、メモリ３５から取得した角度変位量データ群に基づいて、旋回機構１６に対する監視カメラ１０の傾き角度θのデータ群を導出する。傾き角度データ群導出部３７Ｄは、導出した傾き角度データ群を信頼度導出部３７Ｅに出力する。

信頼度導出部３７Ｅは、傾き角度データ群に基づいて信頼度を導出する。信頼度は、傾き角度データ群が、ノイズを含まず、データのばらつきの少ない精度の高いデータ群であるか否かを示す指標であり、精度の高いデータ群であるほど高い値となる。一例として、詳細は後述するが、信頼度導出部３７Ｅは、傾き角度データ群から統計学的手法を用いて信頼度を導出する。信頼度導出部３７Ｅは、導出した信頼度を信頼度判定部３７Ｆへ出力する。

信頼度判定部３７Ｆは、信頼度が既定の度合いを上回るか否かを判定する。傾き角度データ群の信頼度が既定の度合いを上回ると判定された場合、信頼度判定部３７Ｆは、傾き角度データ群を傾き角度導出部３７Ｇへ出力する。

傾き角度導出部３７Ｇは、傾き角度データ群から傾き角度θを導出する。傾き角度導出部３７Ｇは、導出した傾き角度θを画像処理部３７Ｈへ出力する。なお、傾き角度θは、本開示の技術に係る「傾きに関する情報」の一例である。

画像処理部３７Ｈは、監視カメラ１０の傾きに起因した撮像画像の位置ずれを解消させるように撮像画像に対して画像処理を行う。具体的には、画像処理部３７Ｈは、画像メモリ３２からデジタル画像を取得する。そして、画像処理部３７Ｈは、傾き角度θに基づいて、監視カメラ１０の傾きに起因した撮像画像の傾きを解消させる方向に、撮像画像を回転させる。

続いて、ヨー軸ＹＡ及びピッチ軸ＰＡを中心軸とした旋回により得られた角度変位量データ群から、ロール軸ＲＡを中心軸とした回転方向の傾き角度θを導出する方法について説明する。まず、一例として図１１に示すように、監視カメラ１０が旋回機構１６に対して傾かずに取り付けられている場合について説明する。この場合、一例としてヨー軸ＹＡを中心軸として旋回機構１６が監視カメラ１０を旋回させると、監視カメラ１０のジャイロセンサ４１は、ヨー軸ＹＡを中心軸とする旋回を検出する。対して監視カメラ１０のピッチ軸ＰＡは、旋回の中心軸であるヨー軸ＹＡに対して直交している。このため、一例として図１２に示すように、角度変位量としては、ジャイロセンサ４１の出力結果から、ヨー軸ＹＡを中心軸とした旋回によるヨー軸ＹＡの角度変位量のみが得られる。つまり、監視カメラ１０が旋回機構１６に対して傾いていない場合、旋回機構１６によりヨー軸ＹＡを中心軸として監視カメラ１０が旋回されても、ジャイロセンサ４１の出力結果から、ピッチ軸ＰＡを中心軸とした旋回の角度変位量については得られない。

一方、一例として図１３に示すように、監視カメラ１０が旋回機構１６に対して傾いて取り付けられている場合、ヨー軸ＹＡを中心軸として旋回機構１６が監視カメラ１０を旋回させると、ジャイロセンサ４１は、ヨー軸ＹＡを中心軸とする旋回を検出する。さらに、監視カメラ１０は、旋回機構１６に対して傾いていることから、監視カメラ１０のピッチ軸ＰＡが、旋回の中心軸であるヨー軸ＹＡに対して傾斜している。このため、ヨー軸ＹＡを中心軸とした旋回において、ジャイロセンサ４１は、ピッチ軸ＰＡを中心軸とした旋回も検出する。

すなわち、一例として図１３に示すように、監視カメラ１０が、旋回機構１６に対して傾いて取り付けられていることにより、ヨー軸ＹＡのみを中心軸として旋回させても、監視カメラ１０においてピッチ軸ＰＡを中心軸とした旋回に伴う角速度が変化する。換言すれば、監視カメラ１０において、ヨー軸ＹＡを中心軸とした旋回に要する運動エネルギが減少した分、ピッチ軸ＰＡを中心軸とした旋回の運動エネルギが増加する。この結果、ジャイロセンサ４１は、監視カメラ１０におけるピッチ軸ＰＡを中心軸とした旋回の角速度を出力する。

一例として図１４に示すように、監視カメラ１０が旋回機構１６に対して傾いて取り付けられている場合、ヨー軸ＹＡを中心軸とした旋回によるジャイロセンサ４１からの角速度の出力から、監視カメラ１０のヨー軸ＹＡの角度変位量に加えて、ピッチ軸ＰＡを中心軸とした旋回による角度変位量も得られる。このように、監視カメラ１０がヨー軸ＹＡを中心軸として旋回されているにも関わらず、ピッチ軸ＰＡを中心軸とした旋回による角度変位量も得られるのは、上記したように監視カメラ１０の傾きに起因する。

このとき、監視カメラ１０の傾きの角度θが増すほど、ピッチ軸ＰＡの角度変位量が増加する。極端な例として、監視カメラ１０の傾きの角度θが９０度のとき、監視カメラ１０においては、ピッチ軸ＰＡの旋回のみが検出され、ヨー軸ＹＡの旋回は検出されないことになる。つまり、ヨー軸ＹＡ及びピッチ軸ＰＡをそれぞれ中心軸とした旋回を検出したジャイロセンサ４１からの各軸の出力の比は、監視カメラ１０の旋回機構１６に対する傾き角度θに依存する。

以上の通り、ヨー軸ＹＡ及びピッチ軸ＰＡを中心軸とした旋回におけるそれぞれの角度変位量は、監視カメラ１０の旋回機構１６に対する傾き角度θに対応している。つまり、監視カメラ１０において、ヨー軸ＹＡ及びピッチ軸ＰＡを中心軸とした旋回におけるジャイロセンサ４１の出力比から、監視カメラ１０の旋回機構１６に対する傾きの角度θを導出することが可能である。

以下に傾き角度の導出の具体的な方法について説明する。まず、監視カメラ１０のヨー軸ＹＡ及びピッチ軸ＰＡの角度変位量データ群を時間によって規格化し、単位時間当たりの角度変位量を求める。さらに、単位時間当たりの角度変位量から、監視カメラ１０の旋回機構１６に対する傾きの角度θを導出する。すなわち、監視カメラ１０において、ヨー軸ＹＡ及びピッチ軸ＰＡを中心軸とした旋回における単位時間当たりの角度変位量の相違度から、監視カメラ１０の旋回機構１６に対する傾きを導出することができる。具体的には、ヨー軸ＹＡを中心軸とした旋回における単位時間当たりの角度変位量と、ピッチ軸ＰＡを中心軸とした旋回における単位時間当たりの角度変位量との比率から、監視カメラ１０の旋回機構１６に対する傾きの角度θを導出することができる。

より具体的には、一例として図１５に示すように、以下の式（１）から監視カメラ１０の旋回機構１６に対する傾きの角度θを求めることができる。

θ＝ａｒｃｔａｎ（Ｔ２／Ｔ１） ・・・・・（１）
θ ：監視カメラ１０の傾きの角度（ｄｅｇｒｅｅ）
Ｔ１：単位時間当たりのヨー軸ＹＡの旋回角度の変位量（ｄｅｇｒｅｅ／ｓ）
Ｔ２：単位時間当たりのピッチ軸ＰＡの旋回角度の変位量（ｄｅｇｒｅｅ／ｓ）

さらに、角度変位量データ群においては、以下に説明するように旋回状態の変動に応じたノイズが生じていることがある。そこで、監視カメラ１０の傾きの角度θの導出に際しては、そのようなノイズを除く処理を行ってから、傾きの角度θを導出する。

まず、監視カメラ１０のヨー軸ＹＡ及びピッチ軸ＰＡの角度変位量データ群を時間によって規格化し、単位時間当たりの角度変位量を求める。具体的には、一例として図１６に示すように、傾き角度データ群導出部３７Ｄにおいて、メモリ３５から取得した角度変位量データ群から、以下の式（２）に基づいて角度変位量の差分値δを導出する。

δ＝ｔ［ｉ＋１］－ｔ［ｉ］ ・・・・・（２）
δ： 角度変位量の差分値
ｔ［ｉ］： ｉ番目に取得された角度変位量
i： １～ｎ－１の任意の整数（ｎは取得したデータの数）

ここで、角度変位量データ群における角度変位量の各データの取得が規定の時間間隔で行われるとすると、角度変位量の差分値δは、単位時間当りの角度変位量Ｔと考えることができる。すなわち、以下の関係式（３）が成り立つ。

Ｔ＝δ ・・・・・（３）
Ｔ： 単位時間当たりの角度変位量
δ： 角度変位量の差分値

このように求めた単位時間当たりの角度変位量Ｔを用いて、角速度データ群からノイズが除去される。具体的には、傾き角度データ群導出部３７Ｄにおいて、単位時間当たりの角度変位量Ｔの絶対値が第３既定値以下であるか否かが判定される。一例として図１７に示すように、旋回機構１６が停止している間の角度変位量を元に傾き角度θが導出される場合を考える。この場合、一例として図１８に示すように、単位時間当たりのヨー軸ＹＡの旋回角度の変位量Ｔ１、単位時間当たりのピッチ軸ＰＡの旋回角度の変位量Ｔ２がともに略０となるので、式（１）より傾き角度θは不定となり、傾き角度θは大きく変動する。このため、旋回機構１６が停止しているような場合の角度変位量データ群から傾き角度データ群を導出すると、傾き角度θのばらつきが大きくなる。そこで、旋回機構１６が停止していて旋回が行われず、角度変位量がほとんど変化していないデータが、ノイズとして除かれる。具体的には、単位時間当たりの角度変位量Ｔ１、Ｔ２の絶対値が、両方とも第３既定値以下であるか否かが判定され、当該判定が肯定された角度変位量Ｔの算出に用いた角度変位量ｔが、ノイズとして角度変位量データ群から除かれる。この結果、旋回機構１６が停止している場合のように、単位時間当たりの角度変位量Ｔが第３既定値以下の場合の角度変位量が、角度変位量データ群から除かれる。第３既定値には、その性質上、０に近い値が設定される。

また、旋回機構１６が作動している場合であっても、一例として図１７に示す期間ＰＲのように、単位時間当たりのヨー軸ＹＡの旋回角度の変位量Ｔ１、単位時間当たりのピッチ軸ＰＡの旋回角度の変位量Ｔ２がともに略０となる場合がある。この場合の角度変位量も、角度変位量データ群からノイズとして除かれる。

監視カメラ１０が傾かずに旋回機構１６に取り付けられている場合も同様に、一例として図１９に示すように、旋回機構１６が停止していて旋回が行われず、角度変位量がほとんど変化していないデータが、ノイズとして除かれる。また、ピッチ軸ＰＡ周りの角度変位量ｔは略０で、これにより単位時間当たりのピッチ軸ＰＡの旋回角度の変位量Ｔ２も略０に近い値で、ほとんど変化していない。この結果、一例として図２０に示すように、傾き角度θが導出されるものの、略０に近い値であり、このような場合は本開示の技術で調整の対象としている監視カメラ１０の傾きが生じていないと言える。

以上説明したような傾き角度データ群導出部３７Ｄにおける判定を経て、角度変位量データ群からノイズが除去される。そして、ノイズが除去された角度変位量データ群から、上記式（１）によって傾き角度θのデータ群が導出される。

さらに、旋回機構１６の動作状況によって、傾き角度θを導出するために取得されるデータの信頼性が低下している場合がある。すなわち、旋回機構１６による旋回が既定の条件で行われず、データの取得条件が変化している場合である。このような状況として、例えば、旋回機構１６の動作の調子が悪い場合、又は旋回機構１６の周辺での振動による影響が大きい場合が挙げられる。一例として図２１に示すように、旋回が時計方向及び反時計方向のうちの一方向にのみ行われず、時計方向及び反時計方向のうちの一方向への旋回がされた後、時計方向及び反時計方向のうちの他方向の旋回がされる場合がある。この場合、一例として図２２に示すように、傾き角度θを導出すると、傾き角度θが大きく変動する。このように変動が大きい傾き角度θを用いた場合は、撮像画像の位置ずれは適切に解消されない。

そこで、信頼度導出部３７Ｅでは、傾き角度データ群について統計的処理を行って、傾き角度データ群に関する信頼度を導出する。一例として、傾き角度データ群の信頼度は、傾き角度データ群の標準偏差σである。信頼度導出部３７Ｅは、公知の統計学的手法を用いて、傾き角度データ群から標準偏差σを導出する。

信頼度判定部３７Ｆは、傾き角度データ群の標準偏差σが閾値以下となっているか否かを判定する。信頼度判定部３７Ｆは、傾き角度データ群の標準偏差σが、閾値以下となっていれば、傾き角度データ群を構成する複数の傾き角度θのばらつきが少なく、傾き角度データ群の信頼性が確保されていると判定する。

図１８は、傾き角度データ群の標準偏差σが閾値以下であり、信頼度判定部３７Ｆにおいて傾き角度データ群の信頼性ありと判定した場合を示している。対して図２２は、傾き角度データ群の標準偏差σが閾値より大きく、信頼度判定部３７Ｆにおいて傾き角度データ群の信頼性不十分と判定した場合を示している。

信頼度判定部３７Ｆにおける判定が肯定された場合、傾き角度導出部３７Ｇは、撮像画像の位置ずれの調整に用いる傾き角度θとして、傾き角度データ群の平均値μを導出する。傾き角度導出部３７Ｇは、導出した傾き角度θの値を画像処理部３７Ｈへ出力する。なお、傾き角度θとして、傾き角度データ群の最頻値、中央値を導出してもよい。

画像処理部３７Ｈは、一例として図２３に示すように、傾き角度θに基づいて、監視カメラ１０の傾きに起因した撮像画像の傾きを解消させる方向に、撮像画像を回転させるように画像処理を行う。この結果、一例として図２３に示すように、調整後の画像において、撮像画像の位置ずれが解消され、監視カメラ１０のヨー軸ＹＡを中心軸とした旋回に応じて、特定被写体画像が撮像画像内を水平方向に移動するので、監視カメラ１０による撮像が容易に行われる。特に、監視カメラ１０が追尾機能を有する場合には、監視カメラ１０の旋回動作と、それに応じた撮像画像内の特定被写体画像の位置の変化が一致するので、追尾機能によって特定被写体を追尾することが容易となる。

次に、監視システム２の本開示の技術に係る部分の作用について図２４及び図２５を参照しながら説明する。なお、図２４及び図２５には、ＣＰＵ３７によって実行される位置ずれ解消処理の流れの一例が示されている。なお、図２４及び図２５に示す位置ずれ解消処理の流れは、本開示の技術に係る「撮像支援方法」の一例である。

一例として図２４に示す位置ずれ解消処理では、先ず、ステップＳＴ１０で、ＣＰＵ３７は、メモリ３５に記憶された角速度データ群及び角度変位量データ群をリセットする。ステップＳＴ１１で、角速度取得部３７Ａは、角速度を取得するタイミングが到来したかを判定する。角速度を取得するタイミングが到来していない場合、判定が否定されて、位置ずれ解消処理は、ステップＳＴ１１を繰り返す。ステップＳＴ１１において、角速度を取得するタイミングが到来した場合は、判定が肯定されて、位置ずれ解消処理は、ステップＳＴ１２へ移行する。

ステップＳＴ１２で、角速度取得部３７Ａは、ジャイロセンサ４１からヨー軸ＹＡ及びピッチ軸ＰＡ周りのそれぞれの最新の角速度を取得する。その後、位置ずれ解消処理は、ステップＳＴ１３へ移行する。

ステップＳＴ１３で、角速度取得部３７Ａは、ステップＳＴ１２で取得した最新の角速度を、角速度データ群の一部としてメモリ３５に記憶させる。その後、位置ずれ解消処理は、ステップＳＴ１４へ移行する。

ステップＳＴ１４で、角度変位量導出部３７Ｂは、メモリ３５に記憶されている角速度データ群から、ヨー軸ＹＡ及びピッチ軸ＰＡを中心軸とした旋回の旋回角度を導出する。その後、位置ずれ解消処理は、ステップＳＴ１５へ移行する。

ステップＳＴ１５で、旋回判定部３７Ｃは、ヨー軸ＹＡ周りの旋回角度が、第１既定値以上となっているか判定する。ヨー軸ＹＡ周りの旋回角度が、第１既定値未満である場合、判定が否定されて、位置ずれ解消処理は、ステップＳＴ１１へ移行する。ヨー軸ＹＡ周りの旋回角度が、第１既定値以上である場合、判定が肯定されて、位置ずれ解消処理は、ステップＳＴ１６へ移行する。

ステップＳＴ１６で、旋回判定部３７Ｃは、ピッチ軸ＰＡ周りの旋回角度が、第２既定値以上となっているか判定する。ピッチ軸ＰＡ周りの旋回角度が、第２既定値未満である場合、判定が否定されて、位置ずれ解消処理は、ステップＳＴ１１へ移行する。ピッチ軸ＰＡ周りの旋回角度が、第２既定値以上である場合、判定が肯定されて、位置ずれ解消処理は、ステップＳＴ１７へ移行する。

ステップＳＴ１７で、角度変位量導出部３７Ｂは、角速度データ群を時間で積分することにより、角度変位量データ群を導出する。角度変位量導出部３７Ｂは、角度変位量データ群をメモリ３５に記憶させる。

一例として図２５に示す位置ずれ解消処理では、ステップＳＴ１８で、傾き角度データ群導出部３７Ｄは、メモリ３５から取得した角度変位量データ群から角度変位量の差分値δ、すなわち単位時間当たりの角度変位量Ｔを導出する。その後、位置ずれ解消処理は、ステップＳＴ１９へ移行する。

ステップＳＴ１９で、傾き角度データ群導出部３７Ｄは、ヨー軸ＹＡ及びピッチ軸ＰＡを中心軸とした旋回のそれぞれの角度変位量データ群について、単位時間当たりの角度変位量Ｔの絶対値が第３既定値以下のデータをノイズとして除去する。その後、位置ずれ解消処理は、ステップＳＴ２０へ移行する。

ステップＳＴ２０で、傾き角度データ群導出部３７Ｄは、ノイズが除去された角度変位量データ群から傾き角度データ群を導出する。その後、位置ずれ解消処理は、ステップＳＴ２１へ移行する。

ステップＳＴ２１で、信頼度導出部３７Ｅは、信頼度として、ステップＳＴ２１で導出された傾き角度データ群の標準偏差σを導出する。その後、位置ずれ解消処理は、ステップＳＴ２２へ移行する。

ステップＳＴ２２で、信頼度判定部３７Ｆは、ステップＳＴ２１で導出された標準偏差σが閾値以下となっているかを判定する。標準偏差σが閾値以下となっている場合、判定が肯定されて、位置ずれ解消処理は、ステップＳＴ２３へ移行する。標準偏差σが閾値より大きい場合、判定が否定されて、位置ずれ解消処理は、ステップＳＴ２５へ移行する。

ステップＳＴ２３で、傾き角度導出部３７Ｇは、傾き角度データ群から平均値μを導出する。その後、位置ずれ解消処理は、ステップＳＴ２４へ移行する。

ステップＳＴ２４で、画像処理部３７Ｈは、ステップＳＴ２４で導出された傾き角度データ群の平均値μを傾き角度θとして、撮像画像の位置ずれを調整する。その後、位置ずれ解消処理は、ステップＳＴ２５に移行する。

ステップＳＴ２５で、ＣＰＵ３７は、位置ずれ解消処理を終了する条件（以下、「位置ずれ解消処理終了条件」と称する）を満足したか否かを判定する。位置ずれ解消処理終了条件としては、例えば、位置ずれ解消処理を終了させる指示が受付デバイス６２によって受け付けられた、との条件が挙げられる。ステップＳＴ２５において、位置ずれ解消処理終了条件を満足していない場合は、判定が否定されて、位置ずれ解消処理はステップＳＴ１０へ移行する。ステップＳＴ２５において、位置ずれ解消終了条件を満足した場合は、判定が肯定されて、位置ずれ解消処理は終了する。

図１９及び図２０で示した例のように、上記したステップＳＴ２４で導出された傾き角度θが、予め定められた角度よりも小さい場合は、使用者が撮像画像の傾きを感じるおそれが少ないため、傾き角度θに基づく撮像画像の調整は行わなくてもよい。予め定められた角度の設定は、監視カメラ１０の傾き角度θを様々に変更した官能試験またはシミュレーションに基づき、撮像画像の傾きに起因した視覚的な違和感を使用者に対して生じさせる角度を事前に求めておくことで実現される。

なお、本実施形態では、ヨー軸ＹＡを中心軸とした旋回において、ロール軸ＲＡを中心軸とした監視カメラ１０の旋回機構１６に対する傾き角度θを導出する形態例について説明したが、本開示の技術は、これに限定されない。例えば、ピッチ軸ＰＡを中心軸とした旋回において、ロール軸ＲＡを中心軸とした監視カメラ１０の旋回機構１６に対する傾き角度の導出がされてもよい。

また、本実施形態では、画像処理部３７Ｈによって位置ずれが解消される形態例を挙げて説明しているが、本開示の技術はこれに限定されない。例えば、電子式振れ補正部３３によって位置ずれが解消されてもよい。この場合、電子式振れ補正部３３は、傾き角度θに基づいて、画像メモリ３２内の撮像画像に対して画像処理を施すことで位置ずれを解消する。

また、本実施形態では、ストレージ３６が位置ずれ解消処理プログラム３６Ａを記憶している形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、管理装置１１のストレージ６０Ｂが、位置ずれ解消処理プログラム３６Ａを記憶してもよい。この場合、ＣＰＵ６０Ａは、ストレージ６０Ｂに記憶されている位置ずれ解消処理プログラム３６Ａに従って位置ずれ解消処理を実行する。具体的には、ＣＰＵ６０Ａは、ストレージ６０Ｂから位置ずれ解消処理プログラム３６Ａを読み出し、読み出した位置ずれ解消処理プログラム３６Ａをメモリ６０Ｃ上で実行することで、角速度取得部３７Ａに相当する角速度取得部、角度変位量導出部３７Ｂに相当する角度変位量導出部、旋回判定部３７Ｃに相当する旋回判定部、傾き角度データ群導出部３７Ｄに相当する傾き角度データ群導出部、信頼度導出部３７Ｅに相当する信頼度導出部、信頼度判定部３７Ｆに相当する信頼度判定部、傾き角度導出部３７Ｇに相当する傾き角度導出部、及び画像処理部３７Ｈに相当する画像処理部として動作する。

また、本実施形態では、監視カメラ１０のＣＰＵ３７及び管理装置１１のＣＰＵ６０Ａのうちのいずれか一方で、位置ずれ解消処理が実行される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、位置ずれ解消処理は、管理装置１１のＣＰＵ６０Ａと監視カメラ１０のＣＰＵ３７とで分散されて実行されてもよい。

また、本実施形態では、旋回判定部３７Ｃにおいて、旋回角度が既定値以上となっているかが判定される形態例を挙げて説明したが、本開示の技術は、これに限定されない。例えば、旋回判定部３７Ｃは、旋回機構１６における旋回が既定時間以上行われたかを判定するようにしてもよい。

また、本実施形態では、振れ量検出センサ４０としてのジャイロセンサ４１によって角速度を検出し、ヨー軸ＹＡ及びピッチ軸ＰＡ周りの角度変位量を導出する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、ジャイロセンサは、振れ量検出センサ４０とは別に監視カメラ１０に設けられてもよい。また、ジャイロセンサは、ピッチ軸ＰＡ及びヨー軸ＹＡのそれぞれの軸周りの角速度を検出するために複数設けられてもよい。さらに、センサは、監視カメラ１０の回転方向及び回転速度が検出できればよく、ジャイロセンサに限定されない。

また、本実施形態では、傾き角度データ群の信頼性を判定する際に、標準偏差σが閾値以下となっているか否かを判定する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、信頼度判定部３７Ｆは、標準偏差σが３σ≦閾値となっているか否かを判定することにより、傾き角度データ群の信頼性を判定してもよい。

また、本実施形態では、傾き角度データ群の信頼性を示す信頼度として、標準偏差σを用いる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、信頼度として、傾き角度データ群の信頼性を統計学的に示すことができればよく、傾き角度データ群の分散等であってもよい。また、信頼度として傾き角度データ群の標準偏差σと分散の両方が用いられてもよい。すなわち、信頼度判定部３７Ｆは、標準偏差σが第１閾値以下であり、かつ、分散が第２閾値以下であるか否かを判定するようにしてもよい。

また、本実施形態では、使用者が旋回機構１６を旋回させている間、傾き角度を導出するのに必要な角速度を検出する形態例を示したが、本開示の技術はこれに限定されない。例えば、ＣＰＵ３７が、傾き角度を導出するのに必要な旋回条件で、旋回機構１６を旋回させるように制御してもよい。

また、本実施形態では、相違度として、ヨー軸ＹＡ及びピッチ軸ＰＡ周りの単位時間当たりの角度変位量の比率を用いる形態例を示したが、本開示の技術はこれに限定されない。例えば、相違度として、ヨー軸ＹＡ及びピッチ軸ＰＡ回りの単位時間当たりの角度変位量の差分の絶対値が用いられてもよい。

以上、説明したように監視カメラ１０では、ピッチ軸ＰＡとヨー軸ＹＡとの各々を中心軸として監視カメラ１０を旋回可能な旋回機構１６に対して、監視カメラ１０がロール軸ＲＡを中心軸とした回転方向に傾いて取り付けられることがある。この場合に、ロール軸ＲＡを中心軸とした回転方向の傾き角度θを、監視カメラ１０の角度変位量データ群に基づいて導出し、撮像画像の位置を傾き角度θに基づいて調整することで、旋回機構１６に対する監視カメラ１０の傾きに起因した撮像画像の位置ずれが解消される。

監視カメラ１０では、傾き角度θは、旋回機構１６によってヨー軸ＹＡ又はピッチ軸ＰＡを中心軸として監視カメラ１０が旋回されている状態での角度変位量データ群に基づいて導出される。これにより、ヨー軸ＹＡ及びピッチ軸ＰＡの両方を中心軸として旋回機構１６を旋回させる場合と比較して、例えばヨー軸ＹＡのみを中心軸として旋回させたとき、本来検出されないはずのピッチ軸ＰＡの旋回が、監視カメラ１０の傾きに起因して検出され、傾きに起因したピッチ軸ＰＡの角度変位量データ群が容易に求められる。このため、ヨー軸ＹＡ及びピッチ軸ＰＡ回りの角度変位量データ群から、傾き角度θを導出することが容易となる。この結果、ヨー軸ＹＡ及びピッチ軸ＰＡの両方を中心軸として旋回させる場合と比較して、旋回機構１６に対する監視カメラ１０の傾きに起因した撮像画像の位置ずれが効率よく解消される。

監視カメラ１０では、傾き角度θは、ヨー軸ＹＡ又はピッチ軸ＰＡを中心軸とした旋回方向のうちの一方向に旋回されている状態での角度変位量データ群に基づいて導出される。これにより、一方向と他方向の両方に旋回させる場合と比較して、旋回条件の変化による角度変位量のノイズが減少し、角度変位量データ群の精度が向上する。このため、角度変位量データ群から導出される傾き角度θの精度が向上する。この結果、一方向と他方向の両方に撮像装置を旋回させる場合と比較して、旋回機構１６に対する監視カメラ１０の傾きに起因した撮像画像の位置ずれが精度よく解消される。

監視カメラ１０では、ヨー軸ＹＡを中心軸とした旋回角度が第１既定値以上であり、かつ、ピッチ軸ＰＡを中心軸とした旋回角度が第２既定値以上の場合に傾き角度が導出される。これにより、角度変位量が既定値未満の場合に傾き角度が導出される場合と比較して、傾き角度θの導出に用いられる角度変位量データ群が既定のデータ数以上取得され、データ量が確保される。このため、角度変位量データ群から導出される傾き角度θの精度が向上する。この結果、角度変位量が既定値未満の場合に傾き角度θが導出される場合と比較して、旋回機構１６に対する監視カメラ１０の傾きに起因した撮像画像の位置ずれが精度よく解消される。

監視カメラ１０では、監視カメラ１０の傾きに関する情報として傾きの角度θが導出され、導出された傾きの角度θに基づいて撮像画像の位置の調整が行われる。これにより、監視カメラ１０の旋回機構１６に対する傾き角度θという定量的な指標により調整が行われ、旋回機構１６に対する監視カメラ１０の傾きに起因した撮像画像の位置ずれが解消される。

監視カメラ１０では、ピッチ軸ＰＡ及びヨー軸ＹＡの単位時間当たりの角度変位量の相違度という指標に基づいて傾き角度θが導出される。これにより、ピッチ軸ＰＡ及びヨー軸ＹＡの単位時間当たりの角度変位量の相違を考慮せず、それぞれの角度変位量から傾き角度θを導出する場合と比較して、相違度を用いて傾き角度θが簡便に導出される。この結果、旋回機構１６に対する監視カメラ１０の傾きに起因した撮像画像の位置ずれが簡便に解消される。

監視カメラ１０では、単位時間あたりのヨー軸ＹＡの角度変位量と単位時間あたりのピッチ軸ＰＡの角度変位量との相違度は、単位時間あたりのヨー軸ＹＡの角度変位量と単位時間あたりのピッチ軸ＰＡの角度変位量との比率である。これにより、複雑な計算式を用いずに、単位時間あたりのヨー軸ＹＡの角度変位量と単位時間あたりのピッチ軸ＰＡの角度変位量との比率という簡便な関係式に基づいて、傾きの角度θが導出される。この結果、旋回機構１６に対する監視カメラ１０の傾きに起因した撮像画像の位置ずれが効率よく解消される。

監視カメラ１０では、傾き角度データ群導出部３７Ｄは、旋回機構１６によってヨー軸ＹＡ又はピッチ軸ＰＡを中心軸として監視カメラ１０が旋回されている状態において、上記式（１）に基づいて傾きの角度θを導出する。これにより、上記式（１）という定量的な計算式に基づいて傾きの角度θが導出されるので、旋回機構１６に対する監視カメラ１０の傾きに起因した撮像画像の位置ずれが精度よく解消される。

監視カメラ１０では、信頼度導出部３７Ｅは、傾き角度データ群の信頼度を導出し、信頼度判定部３７Ｆは、導出された信頼度が既定の度合いを上回るか否かを判定する。これにより、傾き角度データ群の信頼度が既定の度合い以下の場合にも、撮像画像の位置の調整を行う場合と比較して、旋回機構１６に対する監視カメラ１０の傾きに起因した撮像画像の位置ずれが適切に解消される。

監視カメラ１０では、信頼度は、傾き角度データ群の標準偏差σであり、信頼度判定部３７Ｆは、標準偏差σが閾値以下であるか否かを判定する。このように、信頼度の判定に際して傾き角度データ群の標準偏差σが用いられることにより、導出された傾き角度θの信頼性が統計学的に保証される。この結果、信頼度の判定が妥当なものとなり、旋回機構１６に対する監視カメラ１０の傾きに起因した撮像画像の位置ずれが適切に解消される。

監視カメラ１０では、監視カメラ１０に搭載されたセンサによる検出結果に基づいて監視カメラ１０の角度変位量が導出されるので、監視カメラ１０の旋回について、例えば外部のセンサを用いる場合と比較して、角度変位量データ群の精度が向上し、角度変位量データ群に基づいて導出される傾き角度θの精度が向上する。この結果、旋回機構１６に対する監視カメラ１０の傾きに起因した撮像画像の位置ずれが精度よく解消される。

監視カメラ１０では、センサは、ヨー軸ＹＡ又はピッチ軸ＰＡを中心軸とした角速度を検出するジャイロセンサ４１である。ジャイロセンサ４１により検出された角速度データ群を時間積分すれば角度変位量データ群が導出できる。これにより、例えば加速度センサを用いて角度変位量を導出する場合と比較して、角度変位量データ群に基づいて傾き角度θが簡便に導出できる。この結果、旋回機構１６に対する監視カメラ１０の傾きに起因した撮像画像の位置ずれが簡便に解消される。

監視カメラ１０では、傾きに関する情報に基づいて、監視カメラ１０の傾きに起因した撮像画像の傾きを解消させる方向に撮像画像を回転させる画像処理を行う。画像処理により撮像画像の位置の調整がされるので、機械的な調整機構を追加することなく、旋回機構１６に対する監視カメラ１０の傾きに起因した撮像画像の位置ずれが解消される。

［第２実施形態］
上記第１実施形態では、管理装置１１を介して使用者によって旋回機構１６が旋回される場合について説明したが、本第２実施形態では、監視カメラ１０が旋回機構１６を旋回させる場合について説明する。なお、本第２実施形態では、上記第１実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第１実施形態と異なる部分について説明する。

本第２実施形態に係る監視カメラ１０において、一例として図２６に示すように、監視カメラ１０と旋回機構１６とは通信ライン１２を介して通信可能に接続されている。具体的には、一例として図２７に示すように、監視カメラ１０の通信Ｉ／Ｆ３４を介して、旋回機構１６と監視カメラ１０とが通信可能に接続されている。本実施形態では、一例として図２８に示すように、ＣＰＵ３７から、傾き角度θを導出するのに必要な旋回動作に関する旋回指示信号が、旋回機構１６に出力される。旋回機構１６は、旋回指示信号に基づいて、監視カメラ１０を旋回させる。

以上説明したように、第２実施形態の監視カメラ１０によれば、傾き角度θを導出するに際して、使用者が旋回機構１６を旋回させる必要がなくなり、使用者が管理装置１１を介して旋回機構１６を旋回させる場合と比較して、傾き角度を導出する際の利便性が向上する。

［第３実施形態］
上記第１実施形態及び第２実施形態では、画像処理によって撮像画像の位置ずれが調整される場合について説明したが、本第３実施形態では、撮像素子２５を回転させて撮像画像の位置ずれを解消する場合について説明する。なお、本第３実施形態では、上記第１実施形態及び第２実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第１及び第２実施形態と異なる部分について説明する。

本実施形態に係る監視カメラ１０において、一例として図２９に示すように、監視カメラ１０は、撮像素子２５を回転させる撮像素子回転機構２５Ｂを備えている。具体的には、撮像素子回転機構２５Ｂとして、撮像素子２５には、アクチュエータ２５Ｂ１が取り付けられている。アクチュエータ２５Ｂ１は、ボイスコイルモータが搭載されたシフト機構であり、ボイスコイルモータを駆動させることで、撮像素子２５を光軸ＯＡを中心軸とする回転方向に回転させる。なお、ここでは、アクチュエータ２５Ｂ１として、ボイスコイルモータが搭載されたシフト機構が採用されているが、本開示の技術はこれに限定されず、ボイスコイルモータに代えて、ステッピングモータ又はピエゾ素子等の他の動力源を適用してもよい。なお、撮像素子回転機構２５Ｂは、本開示の技術に係る「撮像素子回転機構」の一例である。

アクチュエータ２５Ｂ１は、ドライバ２５Ｂ２により制御される。アクチュエータ２５Ｂ１がドライバ２５Ｂ２の制御下で駆動することで、撮像素子２５の位置が光軸ＯＡを中心軸とする回転方向に機械的に変動する。

一例として図３０に示すように、撮像素子回転機構２５Ｂは、ＣＰＵ３７からの傾き角度に関する信号に基づいて、監視カメラ１０の撮像素子２５を回転させる。これにより、撮像素子２５による撮像の範囲が回転する。この結果、監視カメラ１０の旋回機構１６に対する傾きに起因した撮像画像の位置ずれが解消される。

以上説明したように、第３実施形態の監視カメラ１０によれば、撮像素子回転機構２５Ｂというメカニカルな機構により撮像画像の位置の調整がされるので、ＣＰＵ３７における処理の負担を過度に増やすことなく、旋回機構１６に対する監視カメラ１０の傾きに起因した撮像画像の位置ずれが解消される。

なお、上記実施形態の撮像素子回転機構２５Ｂとして、機械式振れ補正部２９としての撮像素子移動式振れ補正機構が用いられてもよい。

また、上記実施形態では、画像処理の代わりに、撮像素子回転機構２５Ｂによって撮像画像の位置の調整が行われる形態例を示したが、本開示の技術はこれに限定されない。例えば、ＣＰＵ３７における画像処理部３７Ｈによる撮像画像に対する画像処理と、撮像素子回転機構２５Ｂによる撮像素子２５の回転とが併用されてもよい。具体的には、一例として、まず、撮像素子回転機構２５Ｂにより、撮像素子２５が、撮像画像の位置ずれが解消する方向に回転される。さらに、撮像素子回転機構２５Ｂによる撮像素子２５の回転では、撮像画像の位置ずれが解消できない場合に、画像処理部３７Ｈにおいて傾き角度θに基づいて撮像画像に対する画像処理が行われる。この結果、監視カメラ１０の傾きに起因した撮像画像の位置ずれが解消される。

上記各実施形態では、プロセッサとしてＡＳＩＣ及びＦＰＧＡを含むデバイスを例示しているが、本開示の技術はこれに限定されず、各種処理は、コンピュータによるソフトウェア構成により実現されるようにしてもよい。

この場合、例えば、図３１に示すように、監視カメラ１０にはコンピュータ１９が内蔵されている。コンピュータ１９に上記各実施形態に係る位置ずれ解消処理を実行させるための位置ずれ解消処理プログラム３６Ａは、非一時的記憶媒体である記憶媒体１００に記憶されている。記憶媒体１００の一例としては、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。

コンピュータ１９は、メモリ３５、ストレージ３６、及びＣＰＵ３７を備えている。ストレージ３６は、ＥＥＰＲＯＭ等の不揮発性の記憶装置であり、メモリ３５は、ＲＡＭ等の揮発性の記憶装置である。記憶媒体１００に記憶されている位置ずれ解消処理プログラム３６Ａは、コンピュータ１９にインストールされる。ＣＰＵ３７は、位置ずれ解消処理プログラム３６Ａに従って位置ずれ解消処理を実行する。

位置ずれ解消処理プログラム３６Ａは、記憶媒体１００ではなく、ストレージ３６に記憶されていてもよい。この場合、ＣＰＵ３７は、ストレージ３６から位置ずれ解消処理プログラム３６Ａを読み出し、読み出した位置ずれ解消処理プログラム３６Ａをメモリ３５で実行する。このように、位置ずれ解消処理プログラム３６ＡがＣＰＵ３７よって実行されることで位置ずれ解消処理が実現される。

また、通信網（図示省略）を介してコンピュータ１９に接続される他のコンピュータ又はサーバ装置等の記憶部に、位置ずれ解消処理プログラム３６Ａを記憶させておき、上述の監視カメラ１０の要求に応じて位置ずれ解消処理プログラム３６Ａがダウンロードされ、コンピュータ１９にインストールされるようにしてもよい。

なお、コンピュータ１９に接続される他のコンピュータ又はサーバ装置等の記憶部、又はストレージ３６に位置ずれ解消処理プログラム３６Ａの全てを記憶させておく必要はなく、位置ずれ解消処理プログラム３６Ａの一部を記憶させておいてもよい。

図３１に示す例では、監視カメラ１０にコンピュータ１９が内蔵されている態様例が示されているが、本開示の技術はこれに限定されず、例えば、コンピュータ１９が監視カメラ１０の外部に設けられるようにしてもよい。

図３１に示す例では、ＣＰＵ３７は、単数のＣＰＵであるが、複数のＣＰＵであってもよい。また、ＣＰＵ３７に代えてＧＰＵを適用してもよい。

図３１に示す例では、コンピュータ１９が例示されているが、本開示の技術はこれに限定されず、コンピュータ１９に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ１９に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

上記各実施形態で説明した位置ずれ解消処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、位置ずれ解消処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで位置ずれ解消処理を実行する。

位置ずれ解消処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、位置ずれ解消処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、位置ずれ解消処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、位置ずれ解消処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、位置ずれ解消処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の位置ずれ解消処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

また、図１に示す例では、監視カメラ１０を例示したが、本開示の技術はこれに限定されない。すなわち、撮像装置の内蔵された各種の電子機器（例えば、レンズ交換式カメラ、レンズ固定式カメラ、スマートデバイス、パーソナル・コンピュータ、及び／又はウェアラブル端末装置等）に対しても本開示の技術は適用可能であり、これらの電子機器であっても、上記の監視カメラ１０と同様の作用及び効果が得られる。

また、上記各実施形態では、本開示の技術に係る「表示部（ディスプレイ）」としてディスプレイ４３Ｂを例示したが、本開示の技術はこれに限定されない。本開示の技術に係る「表示部（ディスプレイ）」の一例は、撮像装置に対して接続された別体のディスプレイであってもよい。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (21)

1. プロセッサと、
   前記プロセッサに接続又は内蔵されたメモリと、を含み、
   前記プロセッサは、
   第１軸と、前記第１軸と交差する第２軸との各々を中心軸として撮像装置を旋回可能な旋回機構に対する前記撮像装置の傾きであって、前記第１軸と前記第２軸とに交差する第３軸を中心軸とした回転方向の傾きに関する情報を、前記撮像装置の前記第１軸及び前記第２軸の各々を中心軸とした旋回角度の時系列変化に基づいて導出し、
   前記撮像装置によって撮像されることで得られる撮像画像の位置を、前記傾きに関する情報に基づいて調整する
   撮像支援装置。
2. 前記傾きに関する情報は、前記旋回機構によって前記第１軸又は前記第２軸を中心軸として前記撮像装置が旋回されている状態での前記時系列変化に基づいて前記プロセッサによって導出される請求項１に記載の撮像支援装置。
3. 前記傾きに関する情報は、前記第１軸又は前記第２軸を中心軸とした旋回方向のうちの一方向に前記撮像装置が旋回されている状態での前記時系列変化に基づいて前記プロセッサによって導出される請求項２に記載の撮像支援装置。
4. 前記第１軸を中心軸とした旋回角度の変化量が第１既定値以上であり、かつ、前記第２軸を中心軸とした旋回角度の変化量が第２既定値以上の場合に前記傾きに関する情報が前記プロセッサによって導出される請求項２又は請求項３に記載の撮像支援装置。
5. 前記傾きに関する情報は、前記旋回機構による旋回の中心軸に対する前記撮像装置の傾きの角度である請求項１から請求項４の何れか一項に記載の撮像支援装置。
6. 前記プロセッサは、単位時間あたりの前記第１軸の旋回角度の変位量と単位時間あたりの前記第２軸の旋回角度の変位量との相違度に基づいて、前記傾きの角度を導出する請求項５に記載の撮像支援装置。
7. 前記相違度は、単位時間あたりの前記第１軸の旋回角度の変位量と単位時間あたりの前記第２軸の旋回角度の変位量との比率である請求項６に記載の撮像支援装置。
8. 前記プロセッサは、前記旋回機構によって前記第１軸又は前記第２軸を中心軸として前記撮像装置が旋回されている状態において、下記式（１）に基づいて前記傾きの角度を導出する請求項５から請求項７の何れか一項に記載の撮像支援装置。
   θ＝ａｒｃｔａｎ（Ｔ２／Ｔ１） ・・・・・（１）
   θ ：撮像装置の傾きの角度（ｄｅｇｒｅｅ）
   Ｔ１：第１軸及び第２軸のうちの一方の軸の単位時間当たりの旋回角度の変位量（ｄｅｇｒｅｅ／ｓ）
   Ｔ２：第１軸及び第２軸のうちの他方の軸の単位時間当たりの旋回角度の変位量（ｄｅｇｒｅｅ／ｓ）
9. 前記プロセッサは、前記傾きに関する情報の信頼度を導出し、導出した前記信頼度が既定の度合いを上回る場合に、前記傾きに関する情報に基づいて前記位置を調整する請求項１から請求項８の何れか一項に記載の撮像支援装置。
10. 前記信頼度は、前記傾きに関する情報のデータ群の標準偏差であり、
    前記プロセッサは、前記標準偏差が閾値以下の場合に、前記傾きに関する情報に基づいて前記位置を調整する請求項９に記載の撮像支援装置。
11. 前記撮像装置は、前記撮像装置の回転方向及び回転速度を検出するセンサを含み、
    前記時系列変化は、前記センサの検出結果に基づいて前記プロセッサによって導出される請求項１から請求項１０の何れか一項に記載の撮像支援装置。
12. 前記センサは、前記第１軸又は前記第２軸を中心軸とした角速度を検出するジャイロセンサである請求項１１に記載の撮像支援装置。
13. 前記プロセッサは、前記傾きに関する情報に基づいて、前記撮像装置の傾きに起因した撮像画像の傾きを解消させる方向に前記撮像画像を回転させる画像処理を行う請求項１から請求項１２の何れか一項に記載の撮像支援装置。
14. 前記撮像装置は、撮像素子を回転させる撮像素子回転機構を含み、
    前記プロセッサは、前記傾きに関する情報に基づいて前記撮像素子回転機構を作動させて、前記撮像装置の傾きに起因した撮像画像の傾きを解消させる方向に前記撮像素子を回転させる請求項１から請求項１３の何れか一項に記載の撮像支援装置。
15. 前記プロセッサは、前記傾きに関する情報に基づいて前記撮像画像の位置の調整結果が反映された画像をディスプレイに対して表示させる制御、及び前記調整結果が反映された前記画像を示す画像データを前記メモリに対して記憶させる制御のうちの少なくとも一方を行う請求項１から請求項１４の何れか一項に記載の撮像支援装置。
16. 前記プロセッサは、前記傾きに関する情報に基づいて前記撮像画像の位置の調整結果が反映された画像をディスプレイに対して表示させる制御、及び前記調整結果が反映された前記画像を示す画像データをストレージに対して記憶させる制御のうちの少なくとも一方を行う請求項１から請求項１５の何れか一項に記載の撮像支援装置。
17. 請求項１から請求項１６の何れか一項に記載の撮像支援装置と、
    撮像素子と、を含み、
    前記撮像素子は、撮像を行うことで前記撮像画像を生成する
    撮像装置。
18. 請求項１から請求項１６の何れか一項に記載の撮像支援装置と、
    前記撮像装置と、を含み、
    前記撮像装置は、撮像を行うことで前記撮像画像を生成する
    撮像システム。
19. 旋回機構をさらに含み、
    前記旋回機構は、前記撮像装置を前記第１軸と前記第２軸との各々を中心軸として旋回させる請求項１８に記載の撮像システム。
20. 撮像装置による撮像を支援する撮像支援方法であって、
    第１軸と、前記第１軸と交差する第２軸との各々を中心軸として前記撮像装置を旋回可能な旋回機構に対する前記撮像装置の傾きであって、前記第１軸と前記第２軸とに交差する第３軸を中心軸とした回転方向の傾きに関する情報を、前記撮像装置の旋回角度の時系列変化に基づいて導出すること、並びに、
    前記撮像装置によって撮像されることで得られる撮像画像の位置を、前記傾きに関する情報に基づいて調整すること
    を含む撮像支援方法。
21. コンピュータに、撮像装置による撮像を支援する処理を実行させるためのプログラムであって、
    前記処理は、
    第１軸と、前記第１軸と交差する第２軸との各々を中心軸として前記撮像装置を旋回可能な旋回機構に対する前記撮像装置の傾きであって、前記第１軸と前記第２軸とに交差する第３軸を中心軸とした回転方向の傾きに関する情報を、前記撮像装置の旋回角度の時系列変化に基づいて導出すること、並びに、
    前記撮像装置によって撮像されることで得られる撮像画像の位置を、前記傾きに関する情報に基づいて調整することを含む
    プログラム。

Images