JP2023136247A - 防振制御装置及び方法、撮像装置、撮像システム、プログラム及び記憶媒体 - Google Patents
防振制御装置及び方法、撮像装置、撮像システム、プログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP2023136247A JP2023136247A JP2022041765A JP2022041765A JP2023136247A JP 2023136247 A JP2023136247 A JP 2023136247A JP 2022041765 A JP2022041765 A JP 2022041765A JP 2022041765 A JP2022041765 A JP 2022041765A JP 2023136247 A JP2023136247 A JP 2023136247A
- Authority
- JP
- Japan
- Prior art keywords
- reliability
- subject
- blur correction
- correction amount
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims description 31
- 238000000034 method Methods 0.000 title claims description 24
- 238000012937 correction Methods 0.000 claims abstract description 142
- 238000001514 detection method Methods 0.000 claims abstract description 49
- 230000003287 optical effect Effects 0.000 claims description 13
- 230000006641 stabilisation Effects 0.000 claims description 13
- 238000011105 stabilization Methods 0.000 claims description 13
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000002955 isolation Methods 0.000 claims 16
- 239000002131 composite material Substances 0.000 claims 1
- 238000013016 damping Methods 0.000 claims 1
- 230000000593 degrading effect Effects 0.000 abstract description 2
- 230000007704 transition Effects 0.000 abstract 1
- 238000012546 transfer Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 12
- 241000282326 Felis catus Species 0.000 description 6
- 241001465754 Metazoa Species 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 241000282472 Canis lupus familiaris Species 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Structure And Mechanism Of Cameras (AREA)
- Adjustment Of Camera Lenses (AREA)
- Exposure Control For Cameras (AREA)
Abstract
【課題】 被写体の誤検出や乗り移りを精度よく判定し、画像の品質を損なわずに被写体ブレ補正を行うこと。【解決手段】 学習済みモデルを用いて、入力した画像から被写体を検出し、検出した被写体の被写体情報を出力する検出手段と、連続して入力する複数の画像において、検出された被写体のうち、一つの被写体を追跡する追跡手段と、被写体情報に基づいて、追跡の信頼度を算出する信頼度算出手段と、追跡された被写体の位置と、画像内の予め決められた目標位置との差に基づく暫定のブレ補正量を、信頼度に基づいて調整することにより、ブレ補正に用いるブレ補正量を算出する補正量算出手段と、を有する。【選択図】 図1
Description
本発明は、防振制御装置及び方法、撮像装置、撮像システム、プログラム及び記憶媒体に関し、特に被写体ブレ補正の制御技術に関する。
従来、デジタルカメラ等の撮像装置において、カメラ本体部を保持するユーザの「手ブレ」の他、人物等の被写体の位置が変化することで生じる「被写体ブレ」を補正することが行われる。
「手ブレ」は、撮像装置に取り付けた角速度センサや、撮像した画像間の静止物体(例えば背景)の動きベクトルを用いることで検出することができる。一方「被写体ブレ」は、撮像した画像から被写体を検出し、検出した被写体の画像における位置を計測することで検出することができる。
この被写体検出において、意図した被写体(以下、「目標被写体」と呼ぶ。)とは異なる被写体(以下、「非目標被写体」と呼ぶ。)を、目標被写体として検出してしまう誤検出の問題がある。目標被写体を検出している状態から、非目標被写体を目標被写体として誤検出すると、被写体ブレの対象となる被写体が乗り移る現象(以下、「乗り移り」と呼ぶ。)が起きる。
そこで、特許文献1には、被写体の乗り移りを防ぐため、被写体を示す部分画像をテンプレートとして、連続するフレーム間でテンプレートマッチングを行い、マッチング結果に基づいて被写体検出の信頼度を求める技術が開示されている。
特許文献1では、テンプレートマッチングにより得られる評価値(SAD値)の分布や、被写体領域の特徴色の分布によって被写体検出の信頼度を判定している。しかしながら、SAD値や特徴色の分布だけでは、目標被写体に類似した非目標被写体の存在を精度よく判定することが難しく、目標被写体の誤検出や乗り移りを十分に抑えることが難しい。
また特許文献1の技術では、過去のフレームと現在のフレームとの輝度や色情報の相関に基づいて被写体の誤検出を判定しているため、最初のフレームで非目標被写体を目標被写体として誤検出した場合には対処できない。
一方、被写体ブレ補正では、目標被写体の位置が画像内の所定の位置付近に安定して留まるように制御を行う。その際、非目標被写体が目標被写体として誤検出されると、目標被写体の位置を安定させることができない。また、被写体の乗り移りが起こると、乗り移り前後の目標被写体の位置の差が制御に反映されてしまい、その結果、目標被写体が移動していないにも関わらず、画像における目標被写体の位置が変化し、画像の品質を損なってしまうという課題がある。
本発明は上記問題点を鑑みてなされたものであり、被写体の誤検出や乗り移りを精度よく判定し、画像の品質を損なわずに被写体ブレ補正を行えるようにすることを目的とする。
上記目的を達成するために、本発明の防振制御装置は、学習済みモデルを用いて、入力した画像から被写体を検出し、検出した被写体の被写体情報を出力する第1の検出手段と、連続して入力する複数の画像において、前記第1の検出手段により検出された被写体のうち、一つの被写体を追跡する追跡手段と、前記被写体情報に基づいて、前記追跡手段による前記追跡の信頼度を算出する信頼度算出手段と、前記追跡手段により追跡された被写体の位置と、画像内の予め決められた目標位置との差に基づく暫定のブレ補正量を、前記信頼度に基づいて調整することにより、ブレ補正に用いる第1のブレ補正量を算出する第1の補正量算出手段と、を有する。
本発明によれば、被写体の誤検出や乗り移りを精度よく判定し、画像の品質を損なわずに被写体ブレ補正を行えるようにすることができる。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
<第1の実施形態>
図1は、本発明の第1の実施形態に係る防振制御装置を有する撮像装置100の構成を示すブロック図である。フォーカスレンズや変倍レンズ、ブレ補正のための補正レンズ等の複数のレンズや絞り等を備えた光学系101により形成された被写体の光学像は、CMOSセンサやCCDセンサ等の撮像素子を含む撮像部102にて画像信号に変換されて、出力される。なお、光学系101は、レンズユニットとして、撮像装置100から着脱可能に構成されていても良い。その場合、撮像装置100とレンズユニットは撮像システムを構成する。撮像部102から出力された画像信号には、現像処理部103にてホワイトバランス処理や色(輝度・色差信号)変換、γ補正等の現像処理が実施され、画像データが出力される。
図1は、本発明の第1の実施形態に係る防振制御装置を有する撮像装置100の構成を示すブロック図である。フォーカスレンズや変倍レンズ、ブレ補正のための補正レンズ等の複数のレンズや絞り等を備えた光学系101により形成された被写体の光学像は、CMOSセンサやCCDセンサ等の撮像素子を含む撮像部102にて画像信号に変換されて、出力される。なお、光学系101は、レンズユニットとして、撮像装置100から着脱可能に構成されていても良い。その場合、撮像装置100とレンズユニットは撮像システムを構成する。撮像部102から出力された画像信号には、現像処理部103にてホワイトバランス処理や色(輝度・色差信号)変換、γ補正等の現像処理が実施され、画像データが出力される。
被写体検出部104は、現像処理部103から入力した画像データに対して、学習済みモデルを用いて1つ以上の被写体を検出し、検出した被写体の被写体情報を生成して出力する。被写体情報は、各被写体の位置、各被写体の大きさ、各被写体の種類、検出した被写体の数の少なくともいずれかを含むものとする。被写体追跡部105は、被写体検出部104により検出された被写体のうち、任意の一つの被写体を追跡する。追跡信頼度算出部106は、被写体検出部104から得られる被写体情報に基づいて、被写体追跡部105による被写体追跡の信頼度を算出する。
被写体ブレ補正量算出部107は、被写体追跡部105により追跡されている被写体の位置と画像内の目標位置を用いて、被写体ブレ補正量を算出する。
そして、被写体ブレ補正量算出部107により算出された被写体ブレ補正量に基づいて、被写体の位置を、目標位置に近づけるようにブレ補正を行う。なお、ブレ補正には、公知の方法を用いることができ、例えば、光学系101に含まれる補正レンズ(不図示)や、撮像部102に含まれる撮像素子を光軸に対して垂直な面上で移動する光学式ブレ補正を用いることができる。また、被写体ブレ補正量に基づいて撮像部102から出力された画像データの画素位置をずらして切り取る電子式ブレ補正を用いても、更には、光学式ブレ補正と電子式ブレ補正とを併用してもよい。
次に、図1に示す構成を有する撮像装置100における被写体ブレ補正処理について、図2に示すフローチャートを用いて説明する。なお、この処理は、例えば、静止画撮影前のライブビュー表示中に不図示の操作部材により被写体ブレ補正が指示された場合や、動画撮影が指示された場合等に開始される。
S201において、被写体検出部104は、現像処理部103から入力する画像データの画像から、学習済みモデルを用いて1つ以上の被写体を検出し、検出された被写体の被写体情報を生成して出力する。
S201において、被写体検出部104は、現像処理部103から入力する画像データの画像から、学習済みモデルを用いて1つ以上の被写体を検出し、検出された被写体の被写体情報を生成して出力する。
S202において、被写体追跡部105は、S201で被写体検出部104により検出された被写体のうち、任意の一つの被写体を追跡する。被写体の追跡は、追跡対象の被写体を含む部分画像をテンプレートとして、公知のテンプレートマッチングを用いて行うことができる。
なお、2枚目以降の画像に対しては、直前の画像で追跡対象となっている被写体を追跡するが、1枚目の画像の場合、追跡対象の被写体を選択する。その際に、S201において複数の被写体が検出されている場合、最も主要と考えられる被写体を選択すればよい。例えば、被写体のサイズが大きく、被写体の位置が画像の中央に近く、被写体検出の信頼度が高いものほど、優先的に選択するようにする。または、ユーザに選択させるようにしてもよい。
また、2枚目以降の画像において、追跡対象の被写体が追跡できない場合には、再びS201で検出された被写体のうちの一つを選択して追跡を行う。
また、2枚目以降の画像において、追跡対象の被写体が追跡できない場合には、再びS201で検出された被写体のうちの一つを選択して追跡を行う。
次に、S203において、追跡信頼度算出部106は、S201で被写体検出部104から出力された被写体情報に基づいて、S202における被写体追跡部105による被写体追跡の信頼度を算出する。
ここで、被写体情報に基づいて被写体追跡の信頼度を算出する方法の一例を図3を参照して説明する。先述の通り、被写体情報は、各被写体の位置、各被写体の大きさ、各被写体の種類、検出した被写体の数の少なくともいずれかを含む。各被写体の位置の情報は、複数の被写体が検出されている場合に、被写体間の距離に換算した上で利用することができる。例えば、追跡対象の被写体と、他の被写体との距離が短い(近い)ほど、他の被写体への乗り移りが発生する可能性が高くなると考えられる。そのため、追跡信頼度算出部106は、被写体検出部104により検出された被写体間の距離が短いほど被写体追跡の信頼度を低くし、長い(遠い)ほど被写体追跡の信頼度を高くする。
また、被写体の大きさが小さいほど、テンプレートマッチングによる追跡時に、テンプレートに含まれる被写体の情報量が少なくなり、他の被写体への乗り移りが発生する可能性が高くなると考えられる。そのため、追跡信頼度算出部106は、被写体の大きさの情報に基づいて、追跡対象の被写体の大きさが小さいほど被写体追跡の信頼度を低くし、大きいほど被写体追跡の信頼度を高くする。
被写体の種類の情報は、例えば被写体同士の種類の類似度に換算した上で用いることができる。追跡対象の被写体と、他の被写体との種類の類似度が高いほど、他の被写体への乗り移りが発生する可能性が高くなると考えられる。例えば、人物同士や動物同士、乗り物同士等、同じ種類の被写体だと乗り移りが発生し易くなる。また、人物と乗り物に比べて、人物と動物の方が種類の類似度が高く、乗り移りやすいと考えられる。そのため、追跡信頼度算出部106は、被写体検出部104により検出された被写体同士の種類の類似度が高いほど被写体追跡の信頼度を低くし、類似度が低いほど被写体追跡の信頼度を高くする。
類似度は、検出された被写体の種類に応じて予め決めておき、記憶しておいてもよい。例えば、検出されている被写体が人物同士の場合は高い類似度(類似スコア)が設定され、人物と乗り物の場合は低い類似度が設定され、人物と動物の場合は、人物同士の場合よりも低く、人物と乗り物の場合よりも高い類似度が設定される。動物の中でも種類まで特定できる場合は、例えば猫同士の場合は高い類似度が設定され、猫と人物の場合は低い類似度が設定され、猫と乗り物等の生物ではないものの場合は更に低い類似度が設定される。また猫と犬の場合は猫同士の場合よりも低く、猫と人物の場合よりも高い類似度が設定される。他の動物の場合でも同様である。
また、3つ以上の被写体が検出された場合は、その中の高い類似度が採用される。例えば、人物と犬と電車が1つずつ検出された場合は、人物と犬の類似度が採用される。
また、検出される被写体の数が多いほど、被写体追跡において、他の被写体への乗り移りが発生する可能性が高くなると考えられる。そのため、追跡信頼度算出部106は、被写体の数の情報に基づいて、被写体検出部104により検出された被写体の数が多いほど、被写体追跡の信頼度を低くし、数が少ないほど被写体追跡の信頼度を高くする。
以上のように、被写体情報の各種類の情報に基づいて被写体追跡の信頼度を得ることができる。なお、最終的な被写体追跡の信頼度としては、被写体情報の各種類の情報に対して閾値を設け、信頼度を離散的な数値に数値化して加重平均を取ってもよいし、あるいは、優先度の高い信頼度を採用してもよい。
また、上記の手法は、テンプレートマッチングにより得られる評価値(SAD値)の分布や、被写体領域の特徴色の分布から被写体追跡の信頼度を算出する公知の手法と組み合わせることが可能である。その場合、それぞれの手法で算出された被写体追跡の信頼度の加重平均を取るか、あるいは、優先度の高い方を採用して、最終的な被写体追跡の信頼度とすればよい。
S204において、被写体ブレ補正量算出部107は、まず、S202で被写体追跡部105により追跡された被写体の位置と、画像内の目標位置を用いて被写体ブレ補正量を算出する。そして、S203で追跡信頼度算出部106により算出された被写体追跡の信頼度に基づいて、被写体ブレ補正量を調整する。ここで、図4を用いて、被写体ブレ補正量の算出方法について説明する。
黒四角401は、画像内の目標位置を示し、任意の位置に設定することができる。図4の例では撮像画面の中央に設定している。点線で示した矩形402は、S201で検出された被写体の領域を示し、黒丸403はその重心位置を示している。矢印404は、座標401と座標403の差であり、この差を暫定の被写体ブレ補正量とする。
なお、画像のノイズや被写体検出の精度による影響で、検出される被写体の位置は誤差を持つのが一般的である。そのため、検出される被写体の位置あるいは被写体ブレ補正量に対してLPFを適用し、低周波成分を暫定の被写体ブレ補正量として用いることが望ましい。
次に、暫定の被写体ブレ補正量に対して、被写体追跡の信頼度を加味して調整し、最終的な被写体ブレ補正量を算出する。被写体追跡の信頼度が低い場合、被写体の誤検出や乗り移りが考えられる。そのため、被写体ブレ補正量算出部107は、被写体追跡の信頼度が低いほど、被写体ブレ補正量が小さくなるように調整する。なお、被写体ブレ補正量の調整は、信頼度の判定に閾値を設け、段階的に行っても良い。
被写体ブレ補正量を小さくする方法は、いくつか考えられる。例えば、被写体追跡の信頼度が低いほど、被写体ブレ補正量が小さくなるようなゲインを乗算する方法や、被写体ブレ補正量に対するLPFのカットオフ周波数を低くする方法、あるいは、画像間の被写体ブレ補正量の上限を小さくする方法が考えられる。
以上のようにして、被写体追跡の信頼度に基づいて、被写体ブレ補正量を算出する。
被写体ブレ補正量を小さくする方法は、いくつか考えられる。例えば、被写体追跡の信頼度が低いほど、被写体ブレ補正量が小さくなるようなゲインを乗算する方法や、被写体ブレ補正量に対するLPFのカットオフ周波数を低くする方法、あるいは、画像間の被写体ブレ補正量の上限を小さくする方法が考えられる。
以上のようにして、被写体追跡の信頼度に基づいて、被写体ブレ補正量を算出する。
S205では、S204で被写体ブレ補正量算出部107により算出された被写体ブレ補正量に基づいて、ブレ補正を行う。そして、S206において、被写体ブレ補正を終了するかどうかを判断する。ここでは例えば、不図示の操作部材により被写体ブレ補正の終了指示や、動画撮影の終了指示がなされたかどうかを判断する。被写体ブレ補正を続ける場合には、S201戻って、次に入力する画像データの画像に対して上記処理を繰り返し、終了する場合には被写体ブレ補正を終了する。
以上の処理によって、連続して撮像された複数の画像における被写体の誤検出や乗り移りを精度よく判定し、映像の品位を損なわずに被写体ブレ補正を行うことができる。
なお、図2に示す被写体ブレ補正処理は、撮影時に撮像装置100においてリアルタイムで行うことが可能であるが、動画を撮影した場合には、電子式ブレ補正により、動画の再生時に行うことも可能である。
例えば、撮像した動画を不図示の記録手段に記録しておき、記録された動画の各フレームの画像に対してS201~S206の処理を行うことで、動画の再生時に被写体ブレ補正を行うことができる。また、動画の記録時に、撮像した動画に加えて、被写体検出部104により生成された被写体情報を記録しておき、動画の再生時に被写体検出を行わなくて済むようにしてもよい。
例えば、撮像した動画を不図示の記録手段に記録しておき、記録された動画の各フレームの画像に対してS201~S206の処理を行うことで、動画の再生時に被写体ブレ補正を行うことができる。また、動画の記録時に、撮像した動画に加えて、被写体検出部104により生成された被写体情報を記録しておき、動画の再生時に被写体検出を行わなくて済むようにしてもよい。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。
第1の実施形態では、被写体ブレのみをブレ補正の対象として扱ったが、本実施形態では手ブレも加味してブレ補正を行う。
次に、本発明の第2の実施形態について説明する。
第1の実施形態では、被写体ブレのみをブレ補正の対象として扱ったが、本実施形態では手ブレも加味してブレ補正を行う。
図5は、本発明の第2の実施形態に係る防振制御装置を有する撮像装置500の構成を示すブロック図である。なお、図5において、図1に示した構成要素と共通する部分については、図1と同じ符号を付して説明を省略する。本実施形態の撮像装置500は、図1に示した構成に加えて、手ブレ検出部501、手ブレ補正量算出部502、ブレ補正量合成部503を有する。
手ブレ検出部501は、撮像装置500に加わる手ブレを検出する。手ブレ検出部501としては、例えばジャイロセンサを用いることができるが、これに限られるものではない。手ブレ補正量算出部502は、手ブレ検出部501により検出された手ブレを補正するための手ブレ補正量を算出する。ブレ補正量合成部503は、被写体ブレ補正量算出部107から出力される被写体ブレ補正量と、手ブレ補正量算出部502から出力される手ブレ補正量とを合成して、最終的なブレ補正量(合成ブレ補正量)を算出する。
図6は、第2の実施形態における像ブレ補正動作を示すフローチャートである。なお、図6において、図2に示したステップと共通するステップについては、図2と同じ符号を付して説明を省略する。
S204において、被写体ブレ補正量算出部107が被写体ブレ補正量を算出すると、S601に移行する。
S601において、手ブレ検出部501は、撮像装置500に加わる手ブレを検出する。なお、S601を実行するタイミングは、S602よりも前であればよく、S201~S204と前後しても構わないし、並行して行ってもよい。
S602において、手ブレ補正量算出部502は、S601で検出された手ブレを補正するための手ブレ補正量を算出する。例えば、手ブレ検出部501がジャイロセンサの場合、得られた手ブレの角速度信号を積分し、符号を反転させることで、手ブレ補正量を算出することができる。
S603において、ブレ補正量合成部503は、S204で得られた被写体ブレ補正量と、S602で得られた手ブレ補正量とを合成して、最終的なブレ補正量(合成ブレ補正量)を算出する。このとき、被写体ブレ補正量と手ブレ補正量の合成比率(重み)を、S203で追跡信頼度算出部106により算出された被写体追跡の信頼度に応じて動的に変更するとよい。
合成方法としては、例えば、周波数で分けて合成する方法がある。具体的には、被写体ブレ補正量に対してLPFを適用して低周波成分を抽出する。一方、手ブレ補正量に対してHPFを適用して高周波成分を抽出する。このようにして得られた被写体ブレ補正量の低周波成分と、手ブレ補正量の高周波成分とを、被写体追跡の信頼度に基づいて重み付け加算することで合成する。
ここで、重みの制御は、LPFとHPFのカットオフ周波数を略一致させた上で、被写体追跡の信頼度に応じてカットオフ周波数を変更することで行うことができる。具体的には、被写体追跡の信頼度が低いほど、LPFとHPFのカットオフ周波数を下げることで、被写体ブレ補正量の低周波成分の重みを小さくし、手ブレ補正量の高周波成分の重みを大きくする。
S604では、S603で得られる最終的なブレ補正量に基づいて、ブレ補正を行う。ここでも、ブレ補正の方法としては、第1の実施形態と同様に、光学式ブレ補正、電子式ブレ補正、これらの併用が考えられる。
上記の通り第2の実施形態によれば、被写体の誤検出や乗り移りを精度よく判定し、映像の品位を損なわずに被写体ブレ補正及び手ブレ補正を行うことができる。
<他の実施形態>
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
101:光学系、102:撮像部、103:現像処理部、104:被写体検出部、105:被写体追跡部、106:追跡信頼度算出部、107:被写体ブレ補正量算出部、501:手ブレ検出部、502:手ブレ補正量算出部、503:ブレ補正量合成部
Claims (23)
- 学習済みモデルを用いて、入力した画像から被写体を検出し、検出した被写体の被写体情報を出力する第1の検出手段と、
連続して入力する複数の画像において、前記第1の検出手段により検出された被写体のうち、一つの被写体を追跡する追跡手段と、
前記被写体情報に基づいて、前記追跡手段による前記追跡の信頼度を算出する信頼度算出手段と、
前記追跡手段により追跡された被写体の位置と、画像内の予め決められた目標位置との差に基づく暫定のブレ補正量を、前記信頼度に基づいて調整することにより、ブレ補正に用いる第1のブレ補正量を算出する第1の補正量算出手段と
を有することを特徴とする防振制御装置。 - 前記追跡手段は、テンプレートマッチングにより前記被写体の追跡を行うことを特徴とする請求項1に記載の防振制御装置。
- 前記被写体情報は、前記第1の検出手段が検出した被写体それぞれの位置、大きさ、種類、及び、前記第1の検出手段が検出した被写体の数の少なくともいずれかを含むことを特徴とする請求項1または2に記載の防振制御装置。
- 前記信頼度算出手段は、前記第1の検出手段が複数の被写体を検出している場合に、前記複数の被写体間の距離が第1の距離の場合に、当該第1の距離より長い第2の距離の場合よりも、前記信頼度を低くすることを特徴とする請求項3に記載の防振制御装置。
- 前記信頼度算出手段は、前記追跡手段により追跡されている被写体の大きさが第1の大きさの場合に、当該第1の大きさよりも大きい第2の大きさの場合よりも、前記信頼度を低くすることを特徴とする請求項3または4に記載の防振制御装置。
- 前記信頼度算出手段は、前記第1の検出手段が複数の被写体を検出している場合に、前記追跡手段により追跡されている被写体の種類と、他の被写体の種類との類似度が高いほど、前記信頼度を低くすることを特徴とする請求項3乃至5のいずれか1項に記載の防振制御装置。
- 前記信頼度算出手段は、前記第1の検出手段が検出した被写体の数が第1の数の場合に、当該第1の数よりも少ない第2の数の場合よりも、前記信頼度を低くすることを特徴とする請求項3乃至6のいずれか1項に記載の防振制御装置。
- 前記第1の補正量算出手段は、前記信頼度が第1の信頼度の場合に、当該第1の信頼度よりも高い第2の信頼度の場合よりも、前記暫定のブレ補正量が小さくなるように調整することを特徴とする請求項1乃至7のいずれか1項に記載の防振制御装置。
- 前記第1の補正量算出手段は、前記信頼度が前記第1の信頼度の場合に、前記第2の信頼度の場合よりも、前記暫定のブレ補正量が小さくなるゲインをかけることを特徴とする請求項8に記載の防振制御装置。
- 前記第1の補正量算出手段は、前記信頼度が前記第1の信頼度の場合に、前記第2の信頼度の場合よりも、前記暫定のブレ補正量に対するLPFのカットオフ周波数を低くすることを特徴とする請求項8に記載の防振制御装置。
- 前記第1の補正量算出手段は、前記信頼度が前記第1の信頼度の場合に前記第2の信頼度の場合よりも、前記第1のブレ補正量の上限を小さくすることを特徴とする請求項8に記載の防振制御装置。
- 前記第1のブレ補正量に基づいて、前記被写体の位置を前記目標位置に近づけるように電子式のブレ補正を行う電子式ブレ補正手段を更に有することを特徴とする請求項1乃至11のいずれか1項に記載の防振制御装置。
- 前記入力した画像を撮像した撮像手段に加わる手ブレを検出する第2の検出手段と、
前記第2の検出手段により検出された前記手ブレを補正するための第2のブレ補正量を算出する第2の算出手段と、
前記第1のブレ補正量と前記第2のブレ補正量とを合成して、ブレ補正に用いる合成ブレ補正量を算出する合成手段と
を更に有することを特徴とする請求項1乃至12のいずれか1項に記載の防振制御装置。 - 前記合成手段は、前記第1のブレ補正量と前記第2のブレ補正量とを、前記信頼度に応じて重み付け合成することを特徴とする請求項13に記載の防振制御装置。
- 前記合成手段は、前記第1のブレ補正量の低周波成分と、前記第2のブレ補正量の高周波成分を、前記信頼度に基づいて重み付け加算することを特徴とする請求項14に記載の防振制御装置。
- 前記合成手段は、前記信頼度が低いほど、前記第1のブレ補正量の低周波成分の重みを小さくし、前記第2のブレ補正量の高周波成分の重みを大きくすることを特徴とする請求項15に記載の防振制御装置。
- 前記合成ブレ補正量に基づいて、前記被写体の位置を前記目標位置に近づけるように電子式のブレ補正を行う電子式ブレ補正手段を更に有することを特徴とする請求項13乃至16のいずれか1項に記載の防振制御装置。
- 請求項1乃至17のいずれか1項に記載の防振制御装置と、
撮像手段と、
光学式のブレ補正を行う光学式ブレ補正手段と
を有することを特徴とする撮像装置。 - 請求項1乃至17のいずれか1項に記載の防振制御装置と、撮像手段と、を含む撮像装置と、
前記撮像装置に着脱可能なレンズユニットと、
光学式のブレ補正を行う光学式ブレ補正手段と
を有することを特徴とする撮像システム。 - 第1の検出手段が、学習済みモデルを用いて、入力した画像から被写体を検出し、検出した被写体の被写体情報を出力する第1の検出工程と、
追跡手段が、連続して入力する複数の画像において、前記第1の検出工程で検出された被写体のうち、一つの被写体を追跡する追跡工程と、
信頼度算出手段が、前記被写体情報に基づいて、前記追跡工程における前記追跡の信頼度を算出する信頼度算出工程と、
第1の補正量算出手段が、前記追跡工程において追跡された被写体の位置と、画像内の予め決められた目標位置との差に基づく暫定のブレ補正量を、前記信頼度に基づいて調整することにより、ブレ補正に用いる第1のブレ補正量を算出する第1の補正量算出工程と
を有することを特徴とする防振制御方法。 - 第2の検出手段が、前記入力した画像を撮像した撮像手段に加わる手ブレを検出する第2の検出工程と、
第2の算出手段が、前記第2の検出工程で検出された前記手ブレを補正するための第2のブレ補正量を算出する第2の算出工程と、
合成手段が、前記第1のブレ補正量と前記第2のブレ補正量とを合成して、ブレ補正に用いる合成ブレ補正量を算出する合成工程と
を更に有することを特徴とする請求項20に記載の防振制御方法。 - コンピュータを、請求項1乃至17のいずれか1項に記載の防振制御装置の各手段として機能させるためのプログラム。
- 請求項22に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022041765A JP2023136247A (ja) | 2022-03-16 | 2022-03-16 | 防振制御装置及び方法、撮像装置、撮像システム、プログラム及び記憶媒体 |
US18/180,975 US20230300463A1 (en) | 2022-03-16 | 2023-03-09 | Image stabilization control apparatus and method, image capturing apparatus, image capturing system, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022041765A JP2023136247A (ja) | 2022-03-16 | 2022-03-16 | 防振制御装置及び方法、撮像装置、撮像システム、プログラム及び記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023136247A true JP2023136247A (ja) | 2023-09-29 |
Family
ID=88067705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022041765A Pending JP2023136247A (ja) | 2022-03-16 | 2022-03-16 | 防振制御装置及び方法、撮像装置、撮像システム、プログラム及び記憶媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20230300463A1 (ja) |
JP (1) | JP2023136247A (ja) |
-
2022
- 2022-03-16 JP JP2022041765A patent/JP2023136247A/ja active Pending
-
2023
- 2023-03-09 US US18/180,975 patent/US20230300463A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230300463A1 (en) | 2023-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10997696B2 (en) | Image processing method, apparatus and device | |
JP5179398B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
US20110150280A1 (en) | Subject tracking apparatus, subject region extraction apparatus, and control methods therefor | |
JP5643563B2 (ja) | 画像処理装置及びその制御方法 | |
US9865064B2 (en) | Image processing apparatus, image processing method, and storage medium | |
US8159544B2 (en) | Method for adjusting photographing settings of digital camera through motion detection | |
JP5625995B2 (ja) | 被写体追跡装置、被写体追跡方法及びプログラム | |
JP2008288975A (ja) | 撮像装置、撮像方法および撮像プログラム | |
US9600871B2 (en) | Image correcting apparatus, image correcting method and computer readable recording medium recording program thereon | |
JP5210198B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
JP2010114752A (ja) | 撮像装置及び撮像方法及びプログラム | |
JP2015012482A (ja) | 画像処理装置及び画像処理方法 | |
JP5454622B2 (ja) | 撮像装置、合成画像生成方法、及び、プログラム | |
JP2007104249A (ja) | 画像補正装置、画像補正方法、プログラム、及び記録媒体 | |
JP6305290B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
JP2010154306A (ja) | 撮像制御装置、撮像制御プログラム及び撮像制御方法 | |
JP2023136247A (ja) | 防振制御装置及び方法、撮像装置、撮像システム、プログラム及び記憶媒体 | |
JP2018185576A (ja) | 画像処理装置および画像処理方法 | |
CN115272088A (zh) | 图像处理方法、图像处理器、电子设备及存储介质 | |
US20130236055A1 (en) | Image analysis device for calculating vector for adjusting a composite position between images | |
JP5636660B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4043499B2 (ja) | 画像補正装置及び画像補正方法 | |
US20230276127A1 (en) | Image processing apparatus and image processing method | |
US20230215034A1 (en) | Image processing apparatus, image processing method, and image capture apparatus | |
JP6873815B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 |