JP2023136247A - 防振制御装置及び方法、撮像装置、撮像システム、プログラム及び記憶媒体 - Google Patents

Abstract

【課題】 被写体の誤検出や乗り移りを精度よく判定し、画像の品質を損なわずに被写体ブレ補正を行うこと。【解決手段】 学習済みモデルを用いて、入力した画像から被写体を検出し、検出した被写体の被写体情報を出力する検出手段と、連続して入力する複数の画像において、検出された被写体のうち、一つの被写体を追跡する追跡手段と、被写体情報に基づいて、追跡の信頼度を算出する信頼度算出手段と、追跡された被写体の位置と、画像内の予め決められた目標位置との差に基づく暫定のブレ補正量を、信頼度に基づいて調整することにより、ブレ補正に用いるブレ補正量を算出する補正量算出手段と、を有する。【選択図】 図１

Description

本発明は、防振制御装置及び方法、撮像装置、撮像システム、プログラム及び記憶媒体に関し、特に被写体ブレ補正の制御技術に関する。

従来、デジタルカメラ等の撮像装置において、カメラ本体部を保持するユーザの「手ブレ」の他、人物等の被写体の位置が変化することで生じる「被写体ブレ」を補正することが行われる。

「手ブレ」は、撮像装置に取り付けた角速度センサや、撮像した画像間の静止物体（例えば背景）の動きベクトルを用いることで検出することができる。一方「被写体ブレ」は、撮像した画像から被写体を検出し、検出した被写体の画像における位置を計測することで検出することができる。

この被写体検出において、意図した被写体（以下、「目標被写体」と呼ぶ。）とは異なる被写体（以下、「非目標被写体」と呼ぶ。）を、目標被写体として検出してしまう誤検出の問題がある。目標被写体を検出している状態から、非目標被写体を目標被写体として誤検出すると、被写体ブレの対象となる被写体が乗り移る現象（以下、「乗り移り」と呼ぶ。）が起きる。

そこで、特許文献１には、被写体の乗り移りを防ぐため、被写体を示す部分画像をテンプレートとして、連続するフレーム間でテンプレートマッチングを行い、マッチング結果に基づいて被写体検出の信頼度を求める技術が開示されている。

特許第６８３３４８３号公報

特許文献１では、テンプレートマッチングにより得られる評価値（ＳＡＤ値）の分布や、被写体領域の特徴色の分布によって被写体検出の信頼度を判定している。しかしながら、ＳＡＤ値や特徴色の分布だけでは、目標被写体に類似した非目標被写体の存在を精度よく判定することが難しく、目標被写体の誤検出や乗り移りを十分に抑えることが難しい。

また特許文献１の技術では、過去のフレームと現在のフレームとの輝度や色情報の相関に基づいて被写体の誤検出を判定しているため、最初のフレームで非目標被写体を目標被写体として誤検出した場合には対処できない。

一方、被写体ブレ補正では、目標被写体の位置が画像内の所定の位置付近に安定して留まるように制御を行う。その際、非目標被写体が目標被写体として誤検出されると、目標被写体の位置を安定させることができない。また、被写体の乗り移りが起こると、乗り移り前後の目標被写体の位置の差が制御に反映されてしまい、その結果、目標被写体が移動していないにも関わらず、画像における目標被写体の位置が変化し、画像の品質を損なってしまうという課題がある。

本発明は上記問題点を鑑みてなされたものであり、被写体の誤検出や乗り移りを精度よく判定し、画像の品質を損なわずに被写体ブレ補正を行えるようにすることを目的とする。

上記目的を達成するために、本発明の防振制御装置は、学習済みモデルを用いて、入力した画像から被写体を検出し、検出した被写体の被写体情報を出力する第１の検出手段と、連続して入力する複数の画像において、前記第１の検出手段により検出された被写体のうち、一つの被写体を追跡する追跡手段と、前記被写体情報に基づいて、前記追跡手段による前記追跡の信頼度を算出する信頼度算出手段と、前記追跡手段により追跡された被写体の位置と、画像内の予め決められた目標位置との差に基づく暫定のブレ補正量を、前記信頼度に基づいて調整することにより、ブレ補正に用いる第１のブレ補正量を算出する第１の補正量算出手段と、を有する。

本発明によれば、被写体の誤検出や乗り移りを精度よく判定し、画像の品質を損なわずに被写体ブレ補正を行えるようにすることができる。

本発明の第１の実施形態に係る撮像装置の構成を示すブロック図。 第１の実施形態における被写体ブレ補正処理を説明するフローチャート。 第１の実施形態における被写体追尾の信頼度の算出方法を説明する図。 第１の実施形態における被写体ブレ補正量の算出方法を説明する図。 第２の実施形態に係る撮像装置の構成を示すブロック図。 第２の実施形態における像ブレ補正処理を説明するフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る防振制御装置を有する撮像装置１００の構成を示すブロック図である。フォーカスレンズや変倍レンズ、ブレ補正のための補正レンズ等の複数のレンズや絞り等を備えた光学系１０１により形成された被写体の光学像は、ＣＭＯＳセンサやＣＣＤセンサ等の撮像素子を含む撮像部１０２にて画像信号に変換されて、出力される。なお、光学系１０１は、レンズユニットとして、撮像装置１００から着脱可能に構成されていても良い。その場合、撮像装置１００とレンズユニットは撮像システムを構成する。撮像部１０２から出力された画像信号には、現像処理部１０３にてホワイトバランス処理や色（輝度・色差信号）変換、γ補正等の現像処理が実施され、画像データが出力される。

被写体検出部１０４は、現像処理部１０３から入力した画像データに対して、学習済みモデルを用いて１つ以上の被写体を検出し、検出した被写体の被写体情報を生成して出力する。被写体情報は、各被写体の位置、各被写体の大きさ、各被写体の種類、検出した被写体の数の少なくともいずれかを含むものとする。被写体追跡部１０５は、被写体検出部１０４により検出された被写体のうち、任意の一つの被写体を追跡する。追跡信頼度算出部１０６は、被写体検出部１０４から得られる被写体情報に基づいて、被写体追跡部１０５による被写体追跡の信頼度を算出する。

被写体ブレ補正量算出部１０７は、被写体追跡部１０５により追跡されている被写体の位置と画像内の目標位置を用いて、被写体ブレ補正量を算出する。

そして、被写体ブレ補正量算出部１０７により算出された被写体ブレ補正量に基づいて、被写体の位置を、目標位置に近づけるようにブレ補正を行う。なお、ブレ補正には、公知の方法を用いることができ、例えば、光学系１０１に含まれる補正レンズ（不図示）や、撮像部１０２に含まれる撮像素子を光軸に対して垂直な面上で移動する光学式ブレ補正を用いることができる。また、被写体ブレ補正量に基づいて撮像部１０２から出力された画像データの画素位置をずらして切り取る電子式ブレ補正を用いても、更には、光学式ブレ補正と電子式ブレ補正とを併用してもよい。

次に、図１に示す構成を有する撮像装置１００における被写体ブレ補正処理について、図２に示すフローチャートを用いて説明する。なお、この処理は、例えば、静止画撮影前のライブビュー表示中に不図示の操作部材により被写体ブレ補正が指示された場合や、動画撮影が指示された場合等に開始される。
Ｓ２０１において、被写体検出部１０４は、現像処理部１０３から入力する画像データの画像から、学習済みモデルを用いて１つ以上の被写体を検出し、検出された被写体の被写体情報を生成して出力する。

Ｓ２０２において、被写体追跡部１０５は、Ｓ２０１で被写体検出部１０４により検出された被写体のうち、任意の一つの被写体を追跡する。被写体の追跡は、追跡対象の被写体を含む部分画像をテンプレートとして、公知のテンプレートマッチングを用いて行うことができる。

なお、２枚目以降の画像に対しては、直前の画像で追跡対象となっている被写体を追跡するが、１枚目の画像の場合、追跡対象の被写体を選択する。その際に、Ｓ２０１において複数の被写体が検出されている場合、最も主要と考えられる被写体を選択すればよい。例えば、被写体のサイズが大きく、被写体の位置が画像の中央に近く、被写体検出の信頼度が高いものほど、優先的に選択するようにする。または、ユーザに選択させるようにしてもよい。
また、２枚目以降の画像において、追跡対象の被写体が追跡できない場合には、再びＳ２０１で検出された被写体のうちの一つを選択して追跡を行う。

次に、Ｓ２０３において、追跡信頼度算出部１０６は、Ｓ２０１で被写体検出部１０４から出力された被写体情報に基づいて、Ｓ２０２における被写体追跡部１０５による被写体追跡の信頼度を算出する。

ここで、被写体情報に基づいて被写体追跡の信頼度を算出する方法の一例を図３を参照して説明する。先述の通り、被写体情報は、各被写体の位置、各被写体の大きさ、各被写体の種類、検出した被写体の数の少なくともいずれかを含む。各被写体の位置の情報は、複数の被写体が検出されている場合に、被写体間の距離に換算した上で利用することができる。例えば、追跡対象の被写体と、他の被写体との距離が短い（近い）ほど、他の被写体への乗り移りが発生する可能性が高くなると考えられる。そのため、追跡信頼度算出部１０６は、被写体検出部１０４により検出された被写体間の距離が短いほど被写体追跡の信頼度を低くし、長い（遠い）ほど被写体追跡の信頼度を高くする。

また、被写体の大きさが小さいほど、テンプレートマッチングによる追跡時に、テンプレートに含まれる被写体の情報量が少なくなり、他の被写体への乗り移りが発生する可能性が高くなると考えられる。そのため、追跡信頼度算出部１０６は、被写体の大きさの情報に基づいて、追跡対象の被写体の大きさが小さいほど被写体追跡の信頼度を低くし、大きいほど被写体追跡の信頼度を高くする。

被写体の種類の情報は、例えば被写体同士の種類の類似度に換算した上で用いることができる。追跡対象の被写体と、他の被写体との種類の類似度が高いほど、他の被写体への乗り移りが発生する可能性が高くなると考えられる。例えば、人物同士や動物同士、乗り物同士等、同じ種類の被写体だと乗り移りが発生し易くなる。また、人物と乗り物に比べて、人物と動物の方が種類の類似度が高く、乗り移りやすいと考えられる。そのため、追跡信頼度算出部１０６は、被写体検出部１０４により検出された被写体同士の種類の類似度が高いほど被写体追跡の信頼度を低くし、類似度が低いほど被写体追跡の信頼度を高くする。

類似度は、検出された被写体の種類に応じて予め決めておき、記憶しておいてもよい。例えば、検出されている被写体が人物同士の場合は高い類似度（類似スコア）が設定され、人物と乗り物の場合は低い類似度が設定され、人物と動物の場合は、人物同士の場合よりも低く、人物と乗り物の場合よりも高い類似度が設定される。動物の中でも種類まで特定できる場合は、例えば猫同士の場合は高い類似度が設定され、猫と人物の場合は低い類似度が設定され、猫と乗り物等の生物ではないものの場合は更に低い類似度が設定される。また猫と犬の場合は猫同士の場合よりも低く、猫と人物の場合よりも高い類似度が設定される。他の動物の場合でも同様である。

また、３つ以上の被写体が検出された場合は、その中の高い類似度が採用される。例えば、人物と犬と電車が１つずつ検出された場合は、人物と犬の類似度が採用される。

また、検出される被写体の数が多いほど、被写体追跡において、他の被写体への乗り移りが発生する可能性が高くなると考えられる。そのため、追跡信頼度算出部１０６は、被写体の数の情報に基づいて、被写体検出部１０４により検出された被写体の数が多いほど、被写体追跡の信頼度を低くし、数が少ないほど被写体追跡の信頼度を高くする。

以上のように、被写体情報の各種類の情報に基づいて被写体追跡の信頼度を得ることができる。なお、最終的な被写体追跡の信頼度としては、被写体情報の各種類の情報に対して閾値を設け、信頼度を離散的な数値に数値化して加重平均を取ってもよいし、あるいは、優先度の高い信頼度を採用してもよい。

また、上記の手法は、テンプレートマッチングにより得られる評価値（ＳＡＤ値）の分布や、被写体領域の特徴色の分布から被写体追跡の信頼度を算出する公知の手法と組み合わせることが可能である。その場合、それぞれの手法で算出された被写体追跡の信頼度の加重平均を取るか、あるいは、優先度の高い方を採用して、最終的な被写体追跡の信頼度とすればよい。

Ｓ２０４において、被写体ブレ補正量算出部１０７は、まず、Ｓ２０２で被写体追跡部１０５により追跡された被写体の位置と、画像内の目標位置を用いて被写体ブレ補正量を算出する。そして、Ｓ２０３で追跡信頼度算出部１０６により算出された被写体追跡の信頼度に基づいて、被写体ブレ補正量を調整する。ここで、図４を用いて、被写体ブレ補正量の算出方法について説明する。

黒四角４０１は、画像内の目標位置を示し、任意の位置に設定することができる。図４の例では撮像画面の中央に設定している。点線で示した矩形４０２は、Ｓ２０１で検出された被写体の領域を示し、黒丸４０３はその重心位置を示している。矢印４０４は、座標４０１と座標４０３の差であり、この差を暫定の被写体ブレ補正量とする。

なお、画像のノイズや被写体検出の精度による影響で、検出される被写体の位置は誤差を持つのが一般的である。そのため、検出される被写体の位置あるいは被写体ブレ補正量に対してＬＰＦを適用し、低周波成分を暫定の被写体ブレ補正量として用いることが望ましい。

次に、暫定の被写体ブレ補正量に対して、被写体追跡の信頼度を加味して調整し、最終的な被写体ブレ補正量を算出する。被写体追跡の信頼度が低い場合、被写体の誤検出や乗り移りが考えられる。そのため、被写体ブレ補正量算出部１０７は、被写体追跡の信頼度が低いほど、被写体ブレ補正量が小さくなるように調整する。なお、被写体ブレ補正量の調整は、信頼度の判定に閾値を設け、段階的に行っても良い。
被写体ブレ補正量を小さくする方法は、いくつか考えられる。例えば、被写体追跡の信頼度が低いほど、被写体ブレ補正量が小さくなるようなゲインを乗算する方法や、被写体ブレ補正量に対するＬＰＦのカットオフ周波数を低くする方法、あるいは、画像間の被写体ブレ補正量の上限を小さくする方法が考えられる。
以上のようにして、被写体追跡の信頼度に基づいて、被写体ブレ補正量を算出する。

Ｓ２０５では、Ｓ２０４で被写体ブレ補正量算出部１０７により算出された被写体ブレ補正量に基づいて、ブレ補正を行う。そして、Ｓ２０６において、被写体ブレ補正を終了するかどうかを判断する。ここでは例えば、不図示の操作部材により被写体ブレ補正の終了指示や、動画撮影の終了指示がなされたかどうかを判断する。被写体ブレ補正を続ける場合には、Ｓ２０１戻って、次に入力する画像データの画像に対して上記処理を繰り返し、終了する場合には被写体ブレ補正を終了する。

以上の処理によって、連続して撮像された複数の画像における被写体の誤検出や乗り移りを精度よく判定し、映像の品位を損なわずに被写体ブレ補正を行うことができる。

なお、図２に示す被写体ブレ補正処理は、撮影時に撮像装置１００においてリアルタイムで行うことが可能であるが、動画を撮影した場合には、電子式ブレ補正により、動画の再生時に行うことも可能である。
例えば、撮像した動画を不図示の記録手段に記録しておき、記録された動画の各フレームの画像に対してＳ２０１～Ｓ２０６の処理を行うことで、動画の再生時に被写体ブレ補正を行うことができる。また、動画の記録時に、撮像した動画に加えて、被写体検出部１０４により生成された被写体情報を記録しておき、動画の再生時に被写体検出を行わなくて済むようにしてもよい。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
第１の実施形態では、被写体ブレのみをブレ補正の対象として扱ったが、本実施形態では手ブレも加味してブレ補正を行う。

図５は、本発明の第２の実施形態に係る防振制御装置を有する撮像装置５００の構成を示すブロック図である。なお、図５において、図１に示した構成要素と共通する部分については、図１と同じ符号を付して説明を省略する。本実施形態の撮像装置５００は、図１に示した構成に加えて、手ブレ検出部５０１、手ブレ補正量算出部５０２、ブレ補正量合成部５０３を有する。

手ブレ検出部５０１は、撮像装置５００に加わる手ブレを検出する。手ブレ検出部５０１としては、例えばジャイロセンサを用いることができるが、これに限られるものではない。手ブレ補正量算出部５０２は、手ブレ検出部５０１により検出された手ブレを補正するための手ブレ補正量を算出する。ブレ補正量合成部５０３は、被写体ブレ補正量算出部１０７から出力される被写体ブレ補正量と、手ブレ補正量算出部５０２から出力される手ブレ補正量とを合成して、最終的なブレ補正量（合成ブレ補正量）を算出する。

図６は、第２の実施形態における像ブレ補正動作を示すフローチャートである。なお、図６において、図２に示したステップと共通するステップについては、図２と同じ符号を付して説明を省略する。

Ｓ２０４において、被写体ブレ補正量算出部１０７が被写体ブレ補正量を算出すると、Ｓ６０１に移行する。

Ｓ６０１において、手ブレ検出部５０１は、撮像装置５００に加わる手ブレを検出する。なお、Ｓ６０１を実行するタイミングは、Ｓ６０２よりも前であればよく、Ｓ２０１～Ｓ２０４と前後しても構わないし、並行して行ってもよい。

Ｓ６０２において、手ブレ補正量算出部５０２は、Ｓ６０１で検出された手ブレを補正するための手ブレ補正量を算出する。例えば、手ブレ検出部５０１がジャイロセンサの場合、得られた手ブレの角速度信号を積分し、符号を反転させることで、手ブレ補正量を算出することができる。

Ｓ６０３において、ブレ補正量合成部５０３は、Ｓ２０４で得られた被写体ブレ補正量と、Ｓ６０２で得られた手ブレ補正量とを合成して、最終的なブレ補正量（合成ブレ補正量）を算出する。このとき、被写体ブレ補正量と手ブレ補正量の合成比率（重み）を、Ｓ２０３で追跡信頼度算出部１０６により算出された被写体追跡の信頼度に応じて動的に変更するとよい。

合成方法としては、例えば、周波数で分けて合成する方法がある。具体的には、被写体ブレ補正量に対してＬＰＦを適用して低周波成分を抽出する。一方、手ブレ補正量に対してＨＰＦを適用して高周波成分を抽出する。このようにして得られた被写体ブレ補正量の低周波成分と、手ブレ補正量の高周波成分とを、被写体追跡の信頼度に基づいて重み付け加算することで合成する。

ここで、重みの制御は、ＬＰＦとＨＰＦのカットオフ周波数を略一致させた上で、被写体追跡の信頼度に応じてカットオフ周波数を変更することで行うことができる。具体的には、被写体追跡の信頼度が低いほど、ＬＰＦとＨＰＦのカットオフ周波数を下げることで、被写体ブレ補正量の低周波成分の重みを小さくし、手ブレ補正量の高周波成分の重みを大きくする。

Ｓ６０４では、Ｓ６０３で得られる最終的なブレ補正量に基づいて、ブレ補正を行う。ここでも、ブレ補正の方法としては、第１の実施形態と同様に、光学式ブレ補正、電子式ブレ補正、これらの併用が考えられる。

上記の通り第２の実施形態によれば、被写体の誤検出や乗り移りを精度よく判定し、映像の品位を損なわずに被写体ブレ補正及び手ブレ補正を行うことができる。

＜他の実施形態＞
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１：光学系、１０２：撮像部、１０３：現像処理部、１０４：被写体検出部、１０５：被写体追跡部、１０６：追跡信頼度算出部、１０７：被写体ブレ補正量算出部、５０１：手ブレ検出部、５０２：手ブレ補正量算出部、５０３：ブレ補正量合成部

Claims (23)

1. 学習済みモデルを用いて、入力した画像から被写体を検出し、検出した被写体の被写体情報を出力する第１の検出手段と、
   連続して入力する複数の画像において、前記第１の検出手段により検出された被写体のうち、一つの被写体を追跡する追跡手段と、
   前記被写体情報に基づいて、前記追跡手段による前記追跡の信頼度を算出する信頼度算出手段と、
   前記追跡手段により追跡された被写体の位置と、画像内の予め決められた目標位置との差に基づく暫定のブレ補正量を、前記信頼度に基づいて調整することにより、ブレ補正に用いる第１のブレ補正量を算出する第１の補正量算出手段と
   を有することを特徴とする防振制御装置。
2. 前記追跡手段は、テンプレートマッチングにより前記被写体の追跡を行うことを特徴とする請求項１に記載の防振制御装置。
3. 前記被写体情報は、前記第１の検出手段が検出した被写体それぞれの位置、大きさ、種類、及び、前記第１の検出手段が検出した被写体の数の少なくともいずれかを含むことを特徴とする請求項１または２に記載の防振制御装置。
4. 前記信頼度算出手段は、前記第１の検出手段が複数の被写体を検出している場合に、前記複数の被写体間の距離が第１の距離の場合に、当該第１の距離より長い第２の距離の場合よりも、前記信頼度を低くすることを特徴とする請求項３に記載の防振制御装置。
5. 前記信頼度算出手段は、前記追跡手段により追跡されている被写体の大きさが第１の大きさの場合に、当該第１の大きさよりも大きい第２の大きさの場合よりも、前記信頼度を低くすることを特徴とする請求項３または４に記載の防振制御装置。
6. 前記信頼度算出手段は、前記第１の検出手段が複数の被写体を検出している場合に、前記追跡手段により追跡されている被写体の種類と、他の被写体の種類との類似度が高いほど、前記信頼度を低くすることを特徴とする請求項３乃至５のいずれか１項に記載の防振制御装置。
7. 前記信頼度算出手段は、前記第１の検出手段が検出した被写体の数が第１の数の場合に、当該第１の数よりも少ない第２の数の場合よりも、前記信頼度を低くすることを特徴とする請求項３乃至６のいずれか１項に記載の防振制御装置。
8. 前記第１の補正量算出手段は、前記信頼度が第１の信頼度の場合に、当該第１の信頼度よりも高い第２の信頼度の場合よりも、前記暫定のブレ補正量が小さくなるように調整することを特徴とする請求項１乃至７のいずれか１項に記載の防振制御装置。
9. 前記第１の補正量算出手段は、前記信頼度が前記第１の信頼度の場合に、前記第２の信頼度の場合よりも、前記暫定のブレ補正量が小さくなるゲインをかけることを特徴とする請求項８に記載の防振制御装置。
10. 前記第１の補正量算出手段は、前記信頼度が前記第１の信頼度の場合に、前記第２の信頼度の場合よりも、前記暫定のブレ補正量に対するＬＰＦのカットオフ周波数を低くすることを特徴とする請求項８に記載の防振制御装置。
11. 前記第１の補正量算出手段は、前記信頼度が前記第１の信頼度の場合に前記第２の信頼度の場合よりも、前記第１のブレ補正量の上限を小さくすることを特徴とする請求項８に記載の防振制御装置。
12. 前記第１のブレ補正量に基づいて、前記被写体の位置を前記目標位置に近づけるように電子式のブレ補正を行う電子式ブレ補正手段を更に有することを特徴とする請求項１乃至１１のいずれか１項に記載の防振制御装置。
13. 前記入力した画像を撮像した撮像手段に加わる手ブレを検出する第２の検出手段と、
    前記第２の検出手段により検出された前記手ブレを補正するための第２のブレ補正量を算出する第２の算出手段と、
    前記第１のブレ補正量と前記第２のブレ補正量とを合成して、ブレ補正に用いる合成ブレ補正量を算出する合成手段と
    を更に有することを特徴とする請求項１乃至１２のいずれか１項に記載の防振制御装置。
14. 前記合成手段は、前記第１のブレ補正量と前記第２のブレ補正量とを、前記信頼度に応じて重み付け合成することを特徴とする請求項１３に記載の防振制御装置。
15. 前記合成手段は、前記第１のブレ補正量の低周波成分と、前記第２のブレ補正量の高周波成分を、前記信頼度に基づいて重み付け加算することを特徴とする請求項１４に記載の防振制御装置。
16. 前記合成手段は、前記信頼度が低いほど、前記第１のブレ補正量の低周波成分の重みを小さくし、前記第２のブレ補正量の高周波成分の重みを大きくすることを特徴とする請求項１５に記載の防振制御装置。
17. 前記合成ブレ補正量に基づいて、前記被写体の位置を前記目標位置に近づけるように電子式のブレ補正を行う電子式ブレ補正手段を更に有することを特徴とする請求項１３乃至１６のいずれか１項に記載の防振制御装置。
18. 請求項１乃至１７のいずれか１項に記載の防振制御装置と、
    撮像手段と、
    光学式のブレ補正を行う光学式ブレ補正手段と
    を有することを特徴とする撮像装置。
19. 請求項１乃至１７のいずれか１項に記載の防振制御装置と、撮像手段と、を含む撮像装置と、
    前記撮像装置に着脱可能なレンズユニットと、
    光学式のブレ補正を行う光学式ブレ補正手段と
    を有することを特徴とする撮像システム。
20. 第１の検出手段が、学習済みモデルを用いて、入力した画像から被写体を検出し、検出した被写体の被写体情報を出力する第１の検出工程と、
    追跡手段が、連続して入力する複数の画像において、前記第１の検出工程で検出された被写体のうち、一つの被写体を追跡する追跡工程と、
    信頼度算出手段が、前記被写体情報に基づいて、前記追跡工程における前記追跡の信頼度を算出する信頼度算出工程と、
    第１の補正量算出手段が、前記追跡工程において追跡された被写体の位置と、画像内の予め決められた目標位置との差に基づく暫定のブレ補正量を、前記信頼度に基づいて調整することにより、ブレ補正に用いる第１のブレ補正量を算出する第１の補正量算出工程と
    を有することを特徴とする防振制御方法。
21. 第２の検出手段が、前記入力した画像を撮像した撮像手段に加わる手ブレを検出する第２の検出工程と、
    第２の算出手段が、前記第２の検出工程で検出された前記手ブレを補正するための第２のブレ補正量を算出する第２の算出工程と、
    合成手段が、前記第１のブレ補正量と前記第２のブレ補正量とを合成して、ブレ補正に用いる合成ブレ補正量を算出する合成工程と
    を更に有することを特徴とする請求項２０に記載の防振制御方法。
22. コンピュータを、請求項１乃至１７のいずれか１項に記載の防振制御装置の各手段として機能させるためのプログラム。
23. 請求項２２に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images