JP2023086274A - 画像処理装置およびその制御方法 - Google Patents
画像処理装置およびその制御方法 Download PDFInfo
- Publication number
- JP2023086274A JP2023086274A JP2021200669A JP2021200669A JP2023086274A JP 2023086274 A JP2023086274 A JP 2023086274A JP 2021200669 A JP2021200669 A JP 2021200669A JP 2021200669 A JP2021200669 A JP 2021200669A JP 2023086274 A JP2023086274 A JP 2023086274A
- Authority
- JP
- Japan
- Prior art keywords
- tracking
- unit
- threshold
- subject
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012545 processing Methods 0.000 title claims description 78
- 238000003384 imaging method Methods 0.000 claims abstract description 53
- 238000003672 processing method Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 description 112
- 238000001514 detection method Methods 0.000 description 52
- 238000011156 evaluation Methods 0.000 description 26
- 238000003702 image correction Methods 0.000 description 25
- 238000012805 post-processing Methods 0.000 description 14
- 238000012937 correction Methods 0.000 description 13
- 238000007781 pre-processing Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000004091 panning Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 101000686491 Platymeris rhadamanthus Venom redulysin 1 Proteins 0.000 description 4
- 101000686495 Platymeris rhadamanthus Venom redulysin 2 Proteins 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- WPPDXAHGCGPUPK-UHFFFAOYSA-N red 2 Chemical compound C1=CC=CC=C1C(C1=CC=CC=C11)=C(C=2C=3C4=CC=C5C6=CC=C7C8=C(C=9C=CC=CC=9)C9=CC=CC=C9C(C=9C=CC=CC=9)=C8C8=CC=C(C6=C87)C(C=35)=CC=2)C4=C1C1=CC=CC=C1 WPPDXAHGCGPUPK-UHFFFAOYSA-N 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000003705 background correction Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- CNQCVBJFEGMYDW-UHFFFAOYSA-N lawrencium atom Chemical compound [Lr] CNQCVBJFEGMYDW-UHFFFAOYSA-N 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】 消費電力を抑制しながら良好な性能を実現する被写体追尾機能を備えた撮像装置およびその制御方法を提供すること。【解決手段】 撮像手段で取得した画像を用いて被写体追尾を行う第1の追尾手段と、前記撮像手段で取得した画像を用いて被写体追尾を行う、前記第1の追尾手段に比べて演算負荷が小さい第2の追尾手段と、前記撮像手段で取得した画像から検出される特徴点に基づいて前記第1の追尾手段と前記第2の追尾手段の両方を有効にするか、一方を無効にするかを切り替える制御手段と、を有することを特徴とする。ことを特徴とする【選択図】 図2
Description
本発明は被写体の追尾処理に関する画像処理装置およびその制御方法に関する。
デジタルカメラなどの撮像装置には、顔領域などの特徴領域の検出を経時的に適用することにより、特徴領域を追尾する機能(被写体追尾機能)を有するものがある。また、学習済みのニューラルネットワークを用いて被写体を追尾する装置も知られている(特許文献1)。
画像を用いた被写体認識や被写体追尾を行う技術において、機械学習(ニューラルネットワーク、深層学習)を用いることにより、画像領域間の相関や類似性などを用いる場合よりも被写体追尾の精度を向上させることができる場合がある。しかしながら、ニューラルネットワークを用いた処理は演算量が多く、高速なプロセッサや大規模な回路が必要となるため、消費電力が大きいという問題がある。例えば、ライブビュー表示用の動画像に対してニューラルネットワークを用いた被写体追尾を適用した場合、ライブビュー表示による電池の消耗が問題となる。また、機械学習済モデルの回路を用いた被写体追尾の中であっても、学習モデルによって演算負荷、消費電力に差がある場合もある。
本発明は上記課題に鑑みなされたものであり、消費電力を抑制しながら良好な性能を実現する被写体追尾機能を備えた画像処理装置および画像処理方法の提供を目的とする。
上記課題を解決するために、本発明の画像処理装置は、撮像手段で取得した画像を用いて被写体追尾を行う第1の追尾手段と、前記撮像手段で取得した画像を用いて被写体追尾を行う、前記第1の追尾手段に比べて演算負荷が小さい第2の追尾手段と、前記撮像手段で取得した画像から検出される特徴点に基づいて前記第1の追尾手段と前記第2の追尾手段の両方を有効にするか、一方を無効にするかを切り替える制御手段と、を有する、ことを特徴とする。
本発明によれば、消費電力を抑制しながら良好な性能を実現する被写体追尾機能を実現することができる。
以下、添付の図面を参照して本発明の好適な実施形態を説明する。
(第1の実施形態)
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
なお、以下の実施形態では、本発明をデジタルカメラなどの撮像装置で実施する場合に関して説明する。しかし、本発明は撮像機能を有する任意の電子機器でも実施可能である。このような電子機器には、コンピュータ機器(パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、PDAなど)、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器でも実施可能である。
図1は第1の実施形態に係る画像処理装置の一例としての撮像装置100の機能構成例を示すブロック図である。
光学系101はフォーカスレンズなどの可動レンズを含む複数枚のレンズを有し、撮影範囲の学像を撮像素子103の結像面に形成する。
制御部102は、CPUを有し、例えばROM123に記憶されたプログラムをRAM122に読み込んで実行する。制御部102は、各機能ブロックの動作を制御することにより、撮像装置100の機能を実現する。ROM123は例えば書き換え可能な不揮発性メモリであり、制御部102のCPUが実行可能なプログラム、設定値、GUIデータなどを記憶する。RAM122は、制御部102のCPUが実行するプログラムを読み込んだり、プログラムの実行中に必要な値を保存したりするために用いられるシステムメモリである。なお、図1では省略しているが、制御部102は各機能ブロックと通信可能に接続されている。
撮像素子103は、例えば原色ベイヤ配列のカラーフィルタを有するCMOSイメージセンサであってよい。撮像素子103には光電変換領域を有する複数の画素が2次元配置されている。撮像素子103は、光学系101が形成する光学像を複数の画素によって電気信号群(アナログ画像信号)に変換する。アナログ画像信号は撮像素子103が有するA/D変換器によってデジタル画像信号(画像データ)に変換されて出力される。A/D変換器は撮像素子103の外部に設けられてもよい。
評価値生成部124は、撮像素子103から得られる画像データから、自動焦点検出(AF)に用いる信号や評価値を生成したり、自動露出制御(AE)に用いる評価値を算出したりする。評価値生成部124は、生成した信号および評価値を制御部102に出力する。制御部102は、評価値生成部124から得られる信号や評価値に基づいて、光学系101のフォーカスレンズ位置を制御したり、撮影条件(露光時間、絞り値、ISO感度など)を決定したりする。評価値生成部124は、後述する後処理部114が生成する表示用画像データから信号や評価値を生成してもよい。
第1前処理部104は、撮像素子103から得られる画像データに対して色補間処理を適用する。色補間処理は、デモザイク処理などとも呼ばれ、画像データを構成する画素データのそれぞれが、R成分、G成分、B成分の値を有するようにする処理である。また、第1前処理部104は、必要に応じて画素数を削減する縮小処理を適用してもよい。第1前処理部104は、処理を適用した画像データを表示用メモリ107に格納する。
第1画像補正部109は、表示用メモリ107に格納された画像データに対してホワイトバランス補正処理およびシェーディング補正処理といった補正処理や、RGB形式からYUV形式への変換処理などを適用する。なお、第1画像補正部109は、補正処理を適用する際、表示用メモリ107に格納されている画像データのうち、処理対象フレームとは異なる1フレーム以上の画像データを用いてもよい。第1画像補正部109は、例えば、処理対象のフレームより時系列で前および/または後のフレームの画像データを補正処理に用いることができる。第1画像補正部109は、処理を適用した画像データを、後処理部114に出力する。
後処理部114は、第1画像補正部109から供給される画像データから、記録用画像データや表示用画像データを生成する。後処理部114は、例えば画像データに符号化処理を適用し、符号化した画像データを格納するデータファイルを記録用画像データとして生成する。後処理部114は、記録用画像データを記録部118に供給する。
また、後処理部114は、第1画像補正部109から供給される画像データから、表示部121に表示するための表示用画像データを生成する。表示用画像データは、表示部121での表示サイズに応じたサイズを有する。後処理部114は表示用画像データを情報重畳部120に供給する。
記録部118は、後処理部114で変換された記録用画像データを記録媒体119に記録する。記録媒体119は、例えば半導体メモリカード、内蔵不揮発性メモリなどであってよい。
第2前処理部105は、撮像素子103が出力する画像データに対して色補間処理を適用する。第2前処理部105は、処理を適用した画像データを追尾用メモリ108に格納する。追尾用メモリ108と表示用メモリ107とは同一メモリ空間内の別アドレス空間として実装されてもよい。また、第2前処理部105は、処理負荷を軽減するために必要に応じて画素数を削減する縮小処理を適用してもよい。なお、ここでは第1前処理部104と第2前処理部105とを別個の機能ブロックとして記載したが、共通の前処理部を用いる構成としてもよい。
第2画像補正部106は、追尾用メモリ108に格納された画像データに対してホワイトバランス補正処理およびシェーディング補正処理といった補正処理や、RGB形式からYUV形式への変換処理などを適用する。また、第2画像補正部106は、被写体検出処理に適した画像処理を画像データに適用してもよい。第2画像補正部106は、例えば、画像データの代表輝度(例えば全画素の平均輝度)が予め定められた閾値以下であれば、代表輝度が閾値以上になるよう、画像データ全体に一定の係数(ゲイン)を乗じてもよい。
なお、第2画像補正部106は、補正処理を適用する際、追尾用メモリ108に格納されている画像データのうち、処理対象フレームとは異なる1フレーム以上の画像データを用いてもよい。第2画像補正部106は、例えば、処理対象のフレームより時系列で前および/または後のフレームの画像データを補正処理に用いることができる。第2画像補正部106は、処理を適用した画像データを、追尾用メモリ108に格納する。
なお、第2前処理部105、第2画像補正部106など、被写体追尾機能に関する機能ブロックは、被写体追尾機能を実施しない場合には動作しなくてよい。また、被写体追尾機能を適用する画像データは、ライブビュー表示用もしくは記録用に撮影される動画データである。動画データは例えば30fps、60fps、120fpsといった所定のフレームレートを有する。
検出部110は、1フレーム分の画像データから、予め定められた候補被写体の領域(候補領域)を1つ以上検出する。また、検出部110は、検出した領域ごとに、フレーム内の位置および大きさ、候補被写体の種類(自動車、飛行機、鳥、昆虫、人体、頭部、瞳、猫、犬など)を示すオブジェクトクラスとその信頼度を関連付ける。また、オブジェクトクラスごとに、検出した領域数を計数する。
検出部110は、人物や動物の顔領域のような特徴領域を検出するための公知技術を用いて候補領域を検出することができる。例えば、学習データを用いて学習済みのクラス識別器として検出部110を構成してもよい。識別(分類)のアルゴリズムに特に制限はない。多クラス化したロジスティック回帰、サポートベクターマシン、ランダムフォレスト、ニューラルネットワークなどを実装した識別器を学習させることで、検出部110を実現できる。検出部110は、検出結果を追尾用メモリ108に格納する。
対象決定部111は、検出部110が検出した候補領域あるいは後述する追尾部115による追尾結果から、追尾対象とする被写体領域(主被写体領域)を決定する。追尾対象の被写体領域は、例えば、オブジェクトクラス、領域の大きさなど、検出結果に含まれる項目ごとに予め付与された優先順位に基づいて決定することができる。具体的には、候補領域ごとに優先順位の合計を算出し、合計が最も小さい候補領域を追尾対象の被写体領域として決定してもよい。あるいは、特定のオブジェクトクラスに属する候補領域のうち、画像の中央もしくは焦点検出領域に最も近い候補領域や、最も大きい候補領域を追尾対象の被写体領域として決定してもよい。対象決定部111は、決定した被写体領域を特定する情報を追尾用メモリ108に格納する。
難度判定部112は、対象決定部111が決定した追尾対象の被写体領域について、追尾の難度を示す評価値である難度スコアを算出する。例えば、難度判定部112は、追尾の難度に影響を与える1つ以上の要素を考慮して難度スコアを算出することができる。追尾の難度に影響を与える要素としては、被写体領域の大きさ、被写体のオブジェクトクラス(種類)、同じオブジェクトクラスに属する領域の総数、画像内の位置などが例示されるが、これらに限定されない。難度スコアの算出方法の具体例については後述する。難度判定部112は、算出した難度スコアを追尾制御部113に出力する。
追尾制御部113は、難度判定部112が算出した難度スコアに基づいて、追尾部115が有する複数の追尾部のそれぞれについて、有効とするか無効とするかを決定する。本実施形態では、追尾部115が、演算負荷と追尾精度が異なる複数の追尾部を有する。具体的には、追尾部115は、深層学習(DL)を用いて被写体追尾を行うDL追尾部116と、DLを用いずに被写体追尾を行う非DL追尾部117とを有する。DL追尾部116は、非DL追尾部117よりも処理精度が高い反面、演算負荷が非DL追尾部117よりも大きいものとする。
この場合、追尾制御部113は、DL追尾部116と非DL追尾部117のそれぞれについて、有効とするか無効とするかを決定する。また、追尾制御部113は、有効とする追尾部についての動作頻度についても併せて決定する。動作頻度とは、追尾処理を適用する頻度(fps)である。
追尾部115は、追尾用メモリ108に格納された、処理対象のフレーム(現フレーム)の画像データから追尾対象の被写体領域を推定し、推定した被写体領域のフレーム内の位置と大きさを追尾結果として求める。追尾部115は例えば、現フレームの画像データと、現フレームより前に撮影された過去フレーム(例えば1つ前のフレーム)との画像データとを用いて、現フレーム内の追尾対象の被写体領域を推定する。追尾部115は、追尾結果を情報重畳部120に出力する。
ここで、追尾部115は、過去フレームにおける追尾対象の被写体領域に対応する、処理対象のフレーム内の領域を推定するものである。つまり、処理対象のフレームについて対象決定部111が決定した追尾対象の被写体領域は、処理対象のフレームに対する追尾処理における追尾対象の被写体領域ではない。処理対象のフレームに対する追尾処理における追尾対象の被写体領域は、過去フレームにおける追尾対象の被写体領域である。処理対象のフレームについて対象決定部111が決定した追尾対象の被写体領域は、追尾対象の被写体が別の被写体に切り替わった場合に、次のフレームの追尾処理に用いられる。
追尾部115は深層学習(DL)を用いて被写体追尾を行うDL追尾部116と、DLを用いずに被写体追尾を行う非DL追尾部117とを有する。そして、追尾制御部113によって有効とされた追尾部が、追尾制御部113によって設定された動作頻度で追尾結果を出力する。
DL追尾部116は、学習済みの、畳み込み層を含む多層ニューラルネットワークを用いて、追尾対象の被写体領域の位置および大きさを推定する。より具体的には、DL追尾部116は、対象となりうるオブジェクトクラスごとの被写体領域についての特徴点と、特徴点が含む特徴量とを抽出する機能と、抽出した特徴点をフレーム間で対応付ける機能とを有する。したがって、DL追尾部116は、過去フレームの追尾対象の被写体領域についての特徴点に対応付けられる現フレームの特徴点から、現フレームにおける追尾対象の被写体領域の位置と大きさを推定することができる。
DL追尾部116は、現フレームについて推定した追尾対象の被写体領域について、位置、大きさ、および信頼度スコアを出力する。信頼度スコアは、フレーム間における特徴点の対応付けの信頼度、すなわち、追尾対象の被写体領域の推定結果の信頼度を示す。信頼度スコアが、フレーム間の特徴点の対応付けの信頼度が低いことを示す場合、現フレームにおいて推定された被写体領域が、過去フレームにおける追尾対象の被写体領域とは異なる被写体に関する領域である可能性があることを示す。
一方、非DL追尾部117は、深層学習を用いない手法によって、現フレームにおける追尾対象の被写体領域を推定する。ここでは、非DL追尾部117が、色構成の類似度に基づいて追尾対象の被写体領域を推定するものとする。しかし、過去フレームにおける追尾対象の被写体領域をテンプレートとしたパターンマッチングなど、他の方法を用いてもよい。非DL追尾部117は、現フレームについて推定した追尾対象の被写体領域について、位置、大きさ、および信頼度スコアを出力する。
ここで、色構成の類似度について説明する。ここでは、説明および理解を容易にするため、過去フレームと現フレームとで追尾対象の被写体領域の形状および大きさが同一であるものとする。また、画像データがRGBの色成分ごとに8ビット(値0~255)の深度を有するものとする。
非DL追尾部117は、ある色成分(例えばR成分とする)について、取り得る値の範囲(0~255)を複数の領域に分割する。そして、非DL追尾部117は、追尾対象の被写体領域に含まれる画素について、R成分の値が属する領域によって分類した結果(値の範囲ごとの頻度)を、追尾対象の被写体領域の色構成とする。
最も単純な例として、R成分の取り得る値の範囲(0~255)を、0~127のRed1と、128~255のRed2とに分割したものとする。そして、過去フレームにおける追尾対象の被写体領域の色構成が、Red1が50画素、Red2が70画素であったとする。また、現フレームにおける追尾対象の被写体領域の色構成が、Red1が45画素、Red2が75画素であったとする。
この場合、非DL追尾部117は色構成の類似度を表すスコア(類似度スコア)を、同じ値の範囲に分類された画素数の差に基づいて、以下の様に算出することができる。
類似度スコア=|50-45|+|70-75|=10
仮に、現フレームにおける追尾対象の被写体領域の色構成が、Red1が10画素、Red2が110画素であったとすると、類似度スコアは、
類似度スコア=|50-10|+|70-110|=80
となる。このように、色構成の類似度が低いほど類似度スコアは大きくなる。あるいは、類似度スコアが小さいほど、色構成の類似度が高いことを表す。
類似度スコア=|50-45|+|70-75|=10
仮に、現フレームにおける追尾対象の被写体領域の色構成が、Red1が10画素、Red2が110画素であったとすると、類似度スコアは、
類似度スコア=|50-10|+|70-110|=80
となる。このように、色構成の類似度が低いほど類似度スコアは大きくなる。あるいは、類似度スコアが小さいほど、色構成の類似度が高いことを表す。
情報重畳部120は、追尾部115が出力する追尾結果に含まれる、被写体領域の大きさに基づいて、追尾枠の画像を生成する。例えば、追尾枠の画像は、被写体領域に外接する矩形の輪郭を表す枠状の画像であってよい。そして、情報重畳部120は、追尾結果に含まれる被写体領域の位置に追尾枠が表示されるように、後処理部114が出力する表示用画像データに対して追尾枠の画像を重畳させて合成画像データを生成する。情報重畳部120はまた、撮像装置100の現在の設定値や状態などを表す画像を生成し、これらの画像が予め定められた位置に表示されるように、後処理部114が出力する表示用画像データに重畳させてもよい。情報重畳部120は、合成画像データを表示部121に出力する。
表示部121は例えば液晶ディスプレイや有機ELディスプレイであってよい。表示部121は、情報重畳部120が出力する合成画像データに基づく画像を表示する。以上のようにして1フレーム分のライブビュー表示が行われる。
評価値生成部124は、撮像素子103から得られる画像データから、自動焦点検出(AF)に用いる信号や評価値の生成や、自動露出制御(AE)に用いる評価値(輝度情報)を算出する。輝度情報は、各カラーフィルタ画素(赤、青、緑)を積分した積分値(赤、青、緑)から、色変換をして輝度を生成する。なお、輝度情報の生成は別の方法を用いても良い。また、自動ホワイトバランス(AWB)に用いる評価値(色毎(赤、青、緑)積分値)を、輝度情報を生成する時と同様の方法で算出する。制御部102は、この色毎積分値から光源を特定し、白いものが白となるように画素の補正値を算出する。この補正値を後述する第1画像補正部109や第2画像補正部106で、各画素に乗算することで、ホワイトバランスを行う。また、手振れ補正のための手振れ検出に用いる評価値(動きベクトル情報)を、2枚以上の画像データを用いて、基準となる画像データから動きベクトルを算出する。評価値生成部124は、生成した信号および評価値を制御部102に出力する。制御部102は、評価値生成部124から得られる信号や評価値に基づいて、光学系101のフォーカスレンズ位置を制御したり、撮影条件(露光時間、絞り値、ISO感度など)を決定したりする。評価値生成部124は、後述する後処理部114が生成する表示用画像データから信号や評価値を生成してもよい。
選択部125は、DL追尾部116が出力する信頼度スコア、および非DL追尾部117が出力する類似度スコアに基づいて、DL追尾部116および非DL追尾部117の追尾結果の一方を採用する。選択部125は例えば信頼度スコアが予め定められた信頼度スコア閾値以下、かつ類似度スコアが予め定められた類似度スコア閾値以下であった場合には、非DL追尾部117の追尾結果を採用し、それ以外の場合には、DL追尾部116の追尾結果を採用する。選択部125は、採用した追尾結果を、情報重畳部120および制御部102に出力する。
なお、ここではDL追尾部116および非DL追尾部117の追尾結果のいずれを採用するかを信頼度スコアおよび類似度スコアに基づいて決定した。しかし、他の方法で決定してもよい。例えば、DL追尾部116の精度は、非DL追尾部117の精度より高い傾向にあることを利用して、DL追尾部116の追尾結果を優先して採用してもよい。具体的には、DL追尾部116の追尾結果が得られていればDL追尾部116の追尾結果を採用し、得られていなければ非DL追尾部117の追尾結果を採用してもよい。
撮像装置動き検出部126は、撮像装置100自体の動きを検出し、ジャイロセンサーなどで構成される。撮像装置動き検出部126は、検出した撮像装置の動き情報を制御部102に出力する。制御部102は、撮像装置の動き情報を元に手振れ検出や、撮像装置の一定方向への振りを検出し、流し撮り撮影の判定を行う。なお、流し撮り判定には、撮像装置動き検出部126の結果と、評価値生成部124の動きベクトルを組み合わせて、撮像装置は一定方向へ振られているが、被写体の動きベクトルが殆どないことを見ることで、流し撮り判定精度を向上されることができる。
次に図2を用いて、撮像装置100が撮像動作を行う際の追尾制御部113による被写体の追尾処理の動作フローを説明する。本実施形態では、流し撮り撮影を行うシーンであるか否か、および輝度の低いシーンであるか否かに応じてDL追尾および非DL追尾を制御する。しかし、判定するシーンとしてはいずれか一方だけでもよいし、他のシーン判定を行いさらにDL追尾あるいは非DL追尾を判定するように構成してよい。
S201において追尾制御部113は、撮像装置動き検出部126が検出した撮像装置自体の動き情報を取得し、S202へ進む。
S202において追尾制御部113は、撮像装置自体の動き情報を元に、一定方向に撮像装置の動きがあるどうかで流し撮り判定し、流し撮りしていると判定した場合は、S205へ進み、流し撮りしていないと判定した場合は、S203へ進む。
S203において追尾制御部113は、評価値生成部124で生成した輝度情報を取得し、S204へ進む。
S204において追尾制御部113は、取得した輝度情報と閾値を比較して、閾値未満であれば、S205へ進み、閾値以上であれば、S206へ進む。具体的には、画像データの明るさに応じて、暗ければS205へ進み、明るければS206へ進むことを意味する。本実施例では、1フレームの輝度情報のみで判定しているが、複数フレームに渡って輝度情報と閾値を比較して、複数フレームで閾値未満であれば、S205へ進むように動作させてもよい。
S205において追尾制御部113は、DL追尾部116を無効に、非DL追尾部117を有効にすることを決定し、処理を終える。これは、流し撮りでは対象の被写体、つまり動いている被写体を撮像装置が追尾するのではなく、ユーザーが被写体を捉えて撮像装置自体を一定方向に動かすため、追尾性能が要求されていないシーンと捉えて、非DL追尾部117の動作頻度を低減させてもよい。同様に、画像データが暗いとき、つまり夜景撮影が想定されるため、追尾性能が要求されていないシーンと捉えて、非DL追尾部117の動作頻度を低減させてもよい。
S206において、追尾制御部113は、DL追尾部116を有効に、非DL追尾部117を無効にすることを決定し、処理を終える。
(表示部121による表示処理)
図3は、ライブビュー表示の例を示す図である。図3(a)は、後処理部114が出力する表示用画像データが表す画像300を示す。また、図2(b)は、表示用画像データに対して追尾枠303の画像を重畳した合成画像データが表す画像302を示す。ここでは撮影範囲に候補被写体301が1つだけ存在するため、候補被写体301が追尾対象の被写体として選択される。そして、候補被写体301を囲むように追尾枠303が重畳されている。なお、図2(b)の例では、追尾枠303が4つの中空かぎ形状の組み合わせから構成されているが、中空でないかぎ形状の組み合わせ、切れ目のない枠、矩形の組み合わせ、三角形の組み合わせなど、他の形態の追尾枠303としてもよい。また、追尾枠303の形態はユーザが選択可能であってもよい。
図3は、ライブビュー表示の例を示す図である。図3(a)は、後処理部114が出力する表示用画像データが表す画像300を示す。また、図2(b)は、表示用画像データに対して追尾枠303の画像を重畳した合成画像データが表す画像302を示す。ここでは撮影範囲に候補被写体301が1つだけ存在するため、候補被写体301が追尾対象の被写体として選択される。そして、候補被写体301を囲むように追尾枠303が重畳されている。なお、図2(b)の例では、追尾枠303が4つの中空かぎ形状の組み合わせから構成されているが、中空でないかぎ形状の組み合わせ、切れ目のない枠、矩形の組み合わせ、三角形の組み合わせなど、他の形態の追尾枠303としてもよい。また、追尾枠303の形態はユーザが選択可能であってもよい。
図4は、撮像装置100による一連の撮像動作における被写体追尾機能の動作に関するフローチャートである。各ステップは制御部102あるいは制御部102の指示により各部で実行される。
S400で制御部102は、撮像素子103を制御して1フレームの撮像を行い、画像データを取得する。
S401で第1前処理部104は、撮像素子103から読み出された画像データに対して前処理を適用する。
S402で制御部102は、前処理を適用した画像データを表示用メモリ107に格納する。
S403で第1画像補正部109は、表示用メモリ107から読み出した画像データに対し、所定の画像補正処理の適用を開始する。
S404で制御部102は、適用すべき画像補正処理をすべて完了したか否かを判定し、すべて完了したと判定されれば、画像補正処理を適用した画像データを後処理部114に出力し、S405に進む。また、第1画像補正部109は、画像補正処理がすべて完了したと判定されなければ、画像補正処理を継続する。
S405で後処理部114は、第1画像補正部109によって画像補正処理が適用された画像データから、表示用の画像データを生成し、情報重畳部120に出力する。
S406で情報重畳部120は、後処理部114が生成した表示用の画像データと、追尾枠の画像データと、他の情報を示す画像データとを用いて、撮影画像に追尾枠や他の情報の画像が重畳した合成画像のデータを生成する。情報重畳部120は、合成画像データを表示部121に出力する。
S407で表示部121は、情報重畳部120が生成した合成画像データを表示する。これにより、1フレーム分のライブビュー表示が完了する。
以上のように、本実施形態では第1の追尾手段と、第1の追尾手段よりも演算負荷が小さい第2の追尾手段とを用いる画像処理装置において、撮像装置の動きおよび画像データの明るさの少なくとも1つに基づいて第1及び第2の追尾手段の有効・無効を制御する。そのため、良好な追尾結果を得る必要性が低いシーンにおいて、第1の追尾手段を無効とすることで、消費電力を抑制することができる。
また本実施形態では、撮像装置自体の動きや画像データの明るさに基づいてDL/非DL追尾部の有効・無効を制御するに当たって、DL追尾部116が有効な場合には非DL追尾部117が無効にするといった排他的に制御する例を示した。しかしこれに限らず、難度が高くなる流し撮りシーンや低輝度値においてはそのパンニング速度や輝度値の低さに応じてDL追尾部116と非DL追尾部117をどちらも有効にしてもよい。すなわち、このとき両方の追尾結果に基づいて追尾処理を行うように制御してもよい。なお、上記実施形態ではDL追尾部116と非DL追尾部117の有効、無効に制御を2値で切り替える例を示した。しかしこれに限らず、画像の明るさや被写体の動きに応じて多段階で切り替えてもよい。すなわち、DL追尾部116と非DL追尾部117の有効にも演算負荷の大きさが複数段階用意され、より効果的な場合にはより演算負荷の高い処理を行うよう切り替えられてもよい。
またDL追尾部116と非DL追尾部117の無効は、本実施形態ではL追尾部116で行う演算処理をすべて省略、実行しない例を示した。しかしこれに限らず、追尾処理のための前処理、追尾の本処理のための演算など有効な場合に行う追尾演算処理、追尾結果出力処理の少なくとも一部が省略、実行されないことを含んでもよい。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。なお、ここでは、前述した第1の実施形態と異なる部分のみを説明し、同一の部分については、同一の符号を付すなどして詳細な説明を省略する。第2の実施形態では、撮像装置が撮像画像や撮影パラメータ、撮像装置の姿勢などの少なくともいずれか1つに基づいて自動で撮影シーンを認識した結果を用いて、DL追尾部116、非DL追尾部117、検出部110を制御する。以下、図5、図6を用いて説明する。
次に、本発明の第2の実施形態について説明する。なお、ここでは、前述した第1の実施形態と異なる部分のみを説明し、同一の部分については、同一の符号を付すなどして詳細な説明を省略する。第2の実施形態では、撮像装置が撮像画像や撮影パラメータ、撮像装置の姿勢などの少なくともいずれか1つに基づいて自動で撮影シーンを認識した結果を用いて、DL追尾部116、非DL追尾部117、検出部110を制御する。以下、図5、図6を用いて説明する。
図5は、第2の実施形態の制御部102の動作フローである。
S501において制御部102は、図4(説明は後述する)に示す撮影シーンを判別して、S502へ進む。図4の撮影シーンの判別には、背景の明るい/暗いは、評価値生成部124で取得した輝度情報から判定し、背景の青空/夕景は、ホワイトバランスの補正値を算出する過程で得た光源情報と、輝度情報から判定する。また、被写体の人物、人物以外は、検出部110の結果から判定し、動体、非動体は、追尾部115より判定する。これらの判定方法に限らず、画像やジャイロセンサ、赤外センサ、ToF(タイムオブフライト)センサ等で得られた情報から撮影シーンを判定できる公知の処理シーケンスであれば、いずれも適用可能である。流し撮り判定は第1の実施形態と同じ方法で行う。
S502において制御部102は、図4に示す撮影シーンに応じた図5(説明は後述する)に示す動作モードとなるように制御をして処理を終える。具体的には、制御部102は、図4の撮影シーンの表中の動作モードに応じて、検出部110の制御と追尾制御部113へ通知を行う。通知を受け取った追尾制御部113が追尾部116の制御を行う。
図6(a)は、撮影シーンと検出部110と追尾部105の動作モードの関係を示す表である。横軸を被写体の判定で、人物、人物以外で、かつ動体か非動体かをまたは流し撮りのシーンかどうかの項目で、縦軸が背景の明るさと青空や夕景かの項目である。つまり、被写体と背景を判定して、動作モードを決める表となっている。なお、図4の撮影シーンは1例であり、他の撮影シーンを追加して動作モードを決定してもよい。
図6(b)は、検出部110と追尾部105の動作モードを示す表である。
動作モード1では、DL追尾部116を無効、非DL追尾部117を有効、検出部110で検出する対象を人物と人物以外として動作させ、かつ検出部110の動作周期を例えば、撮影のフレームレートの半分以下にする。
動作モード2では、DL追尾部116を無効、非DL追尾部117を有効、検出部110で検出する対象を人物と人物以外、非動体物、例えば建物、道路、空、木などとして動作させ、かつ動作周期を例えば、撮影のフレームレートの半分以下にする。非動体物の認識結果は、例えば、ホワイトバランスの光源特定で使用や、第1画像補正部109や第2画像補正部106の補正処理で、人口物と非人口物を区別した画像処理を施すために使用する。
動作モード3では、DL追尾部116を有効、非DL追尾部117を有効、検出部110で検出する対象を人物と人物以外として動作させ、かつ動作周期を例えば、人物は撮影のフレームレートを同じ、人物以外を撮影のフレームレートの半分以下にする。
動作モード4では、DL追尾部116をON、非DL追尾部117を有効、検出部110で検出する対象を人物と人物以外、非動体物として動作させる。かつ動作周期を例えば、人物は撮影のフレームレートを同じ、人物以外、非動体物を撮影のフレームレートの半分以下にする。
動作モード5では、DL追尾部116を無効、非DL追尾部117を有効、検出部110で検出する対象を人物と人物以外として動作させ、かつ動作周期を例えば、人物は撮影のフレームレートを同じ、人物以外を撮影のフレームレートの半分以下にする。
動作モード6では、DL追尾部116を有効、非DL追尾部117を有効、検出部110で検出する対象を人物と人物以外として動作させ、かつ動作周期を例えば、人物は撮影のフレームレートの半分以下、人物以外を撮影のフレームレートと同じにする。
動作モード7では、DL追尾部116を有効、非DL追尾部117を有効、検出部110で検出する対象を人物と人物以外、非動体物として動作させる。また、動作周期を例えば、人物と非動体物は撮影のフレームレートの半分以下、人物以外を撮影のフレームレートと同じにする。
動作モード8では、DL追尾部116を無効、非DL追尾部117を有効、検出部110で検出する対象を人物と人物以外として動作させ、かつ動作周期を例えば、人物は撮影のフレームレートの半分以下、人物以外を撮影のフレームレートと同じにする。
なお、図6(b)の動作モードは、図6(a)に示すシーンに応じた動作モードの一例であり、動作モードを変更してもよい。本実施形態では、撮影シーン判定として被写体が動体か非動体かの判定に、非DL追尾部116を使用するため、どの動作モードでも非DL追尾部116は有効とした。しかし被写体の動体判定に、検出部110で検出した被写体の位置を複数フレーム渡って監視することで、動体判定を行ってもよい。その場合、被写体が非動体の場合(動体でないと判定される場合)には、非DL追尾116を無効としてもよい。
以上のように、本実施形態では、第1の追尾手段と、第1の追尾手段よりも演算負荷が小さい第2の追尾手段とを用いる画像処理装置において、画像が撮影されたシーンに基づいて第1及び第2の追尾手段の有効・無効を制御するようにした。さらに、画像が撮影されたシーンに基づいて画像から検出部で検出するオブジェクトの制限や動作周期の変更を行った。そのため、良好な追尾結果を得る必要性が低いシーンにおいて、消費電力を抑制することができる。
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。第3の実施形態では、撮像画像内の複数の領域でいわゆる「特徴点」を検出する画像処理装置において、これら特徴点の検出結果に基づいてDL追尾部116、非DL追尾部117、検出部110を制御する。以下、図7、図8を用いて説明する。
次に、本発明の第3の実施形態について説明する。第3の実施形態では、撮像画像内の複数の領域でいわゆる「特徴点」を検出する画像処理装置において、これら特徴点の検出結果に基づいてDL追尾部116、非DL追尾部117、検出部110を制御する。以下、図7、図8を用いて説明する。
図7は、第3の実施形態の制御部102の動作フローである。本フローは、撮像装置100に電源が入った状態で、メニューより撮像を行うモードが選択され、撮像素子103から順次取得される撮像画像に対して追尾処理を行う対象の追尾被写体を決定し、追尾処理を行うときに動作するものとする。また、追尾制御のONOFFの設定がある場合には、追尾制御がONに設定されている場合に本フローが始まるように制御されていてもよい。
S701では、制御部102は、撮像素子103から出力された、または検出追尾用メモリ108に記憶された撮像画像を取得する。
S702で、制御部102の指示により、評価値生成部124は、S601で得られた撮像画像を解析し画像内から特徴点を検出する検出処理を行う。特徴点の検出処理の詳細については後述する。
S703で、制御部102は、S602で各特徴点を検出する際に算出した特徴点強度の情報を取得する。
S704で、制御部102は、前フレームまでに、DL追尾部116、非DL追尾部117あるいはその他の被写体検出処理(顔検出など)によって追尾対象の被写体が含まれる領域として決定している追尾被写体領域内で検出された特徴点について判定処理を行う。具体的には、追尾被写体領域内の特徴点強度が第1の閾値以上の特徴点の数が第2の閾値以上であるか否かを判定する。特徴点強度が第1の閾値以上の特徴点の数が第2の閾値以上である場合S705に進み、特徴点強度が第1の閾値以上の特徴点の数が第2の閾値未満である場合S706に進む。
S705で、制御部102は、撮像画像内で前フレームにおいて追尾被写体領域と決定された領域外で検出された特徴点について判定処理を行う。具体的には、追尾被写体領域外の特徴点強度が第3の閾値以上の特徴点の数が第4の閾値以上であるか否かを判定する。特徴点強度が第3の閾値以上の特徴点の数が第4の閾値以上である場合S707に進み、特徴点強度が第3の閾値以上の特徴点の数が第4の閾値未満である場合S708に進む。
S706で、制御部102は、撮像画像内で前フレームにおいて追尾被写体領域と決定された領域外で検出された特徴点について判定処理を行う。具体的には、追尾被写体領域外の特徴点強度が第3の閾値以上の特徴点の数が第4の閾値以上であるか否かを判定する。特徴点強度が第3の閾値以上の特徴点の数が第4の閾値以上である場合S709に進み、特徴点強度が第3の閾値以上の特徴点の数が第4の閾値未満である場合S710に進む。
S707では、制御部102の指示により追尾制御部113は、DL追尾部116、非DL追尾部117をともに有効にし、かつDL追尾処理の動作レートを非DL追尾処理の動作レートより高く設定する。追尾被写体領域内外で複雑なテクスチャの被写体が多く存在し、追尾の難度が高いため、どちらの追尾処理も高レートで行うことで追尾精度を維持することができる。
S708では、制御部102の指示により追尾制御部113は、DL追尾部116を無効に、非DL追尾部117を有効にする。ここで、本実施形態では、このときの非DL追尾処理の動作レートはS707で設定される非DL追尾処理の動作レートより高い。追尾被写体領域内外の区別が容易であるため、非DL追尾のみで追尾処理を行うことで追尾精度を維持しつつ消費電力を抑制できる。
S709では、制御部102の指示により追尾制御部113は、DL追尾部116を有効に、非DL追尾部117を無効にする。ここで、本実施形態では、このときのDL追尾処理の動作レートはS707~S710でDL追尾部116に設定される動作レートの中で最も高いものとする。追尾被写体領域内には特徴点数が少なく、追尾被写体領域外には特徴点数が多いということはそれだけ追いにくく、特に特徴点検出処理のように画像内のエッジ部分などに基づいて追尾処理を行う非DL追尾処理は却って誤った結果を出力する可能性が高くなる。したがって、DL追尾処理のみで追尾することで追尾精度の低下を抑制する。
S710では、制御部102の指示により追尾制御部113は、DL追尾部116、非DL追尾部117をともに有効にし、かつDL追尾処理、非DL追尾処理の動作レートをそれぞれS707で設定される動作レートより低く設定する。追尾被写体領域内外のいずれの領域でも検出できる特徴点が少ない状況では、DL追尾処理、非DL追尾処理ともに精度が出にくいので、例えば結果がいろいろな領域に振れる恐れがある。それらが高レートで反映されると画像のちらつきの原因になるので、どちらの追尾処理も有効にしつつ動作レートを下げることで追尾結果のちらつきによる視認性の低下を抑制する。
(特徴点検出処理)
図8は特徴点検出部201で行う特徴点検出処理のフローチャートである。S800で、制御部102は、追尾被写体の領域に対して水平一次微分フィルタ処理を行うことで水平一次微分画像を生成する。S802で、制御部102は、S800で得た水平一次微分画像に対してさらに水平一次微分フィルタ処理を行うことで水平二次微分画像を生成する。
図8は特徴点検出部201で行う特徴点検出処理のフローチャートである。S800で、制御部102は、追尾被写体の領域に対して水平一次微分フィルタ処理を行うことで水平一次微分画像を生成する。S802で、制御部102は、S800で得た水平一次微分画像に対してさらに水平一次微分フィルタ処理を行うことで水平二次微分画像を生成する。
S801で、制御部102は、追尾被写体の領域に対して垂直一次微分フィルタ処理を行うことで垂直一次微分画像を生成する。
S804で、制御部102は、S801で得た垂直一次微分画像に対してさらに垂直一次微分フィルタ処理を行うことで水平二次微分画像を生成する。
S803で、制御部102は、S800で得た水平一次微分画像に対してさらに垂直一次微分フィルタ処理を行うことで水平一次微分、垂直一次微分画像を生成する。
S805で、制御部102は、S802、S803、S804で得られた微分値のヘシアン行列Hの行列式Detを計算する。S802で得られた水平二次微分値をLxx、S804で得られた垂直二次微分値をLyy、S803で得られた水平一次微分、垂直一次微分値をLxyとするとき、ヘシアン行列Hは式(1)で表され、行列式Detは式(2)で表される。
S806で、制御部102は、S805で得られた行列式Detが0以上であるかを判断する。行列式Detが0以上の時、S807に進む。行列式Detが0未満の時、S808に進む。
S807で、制御部102は、行列式Detが0以上の点を特徴点として検出する。
S808で、制御部102は、入力された被写体領域全てに対して処理を行ったと判断した場合、特徴点検出処理を終了する。処理が全て完了していない場合は、S800からS807の処理を繰り返し、特徴点検出処理を続ける。
以上のように本実施形態では、第1の追尾手段と、第1の追尾手段よりも演算負荷が小さい第2の追尾手段とを用いる画像処理装置において、画像の特徴量に基づいて第1及び第2の追尾手段の有効・無効を制御するようにした。そのため、良好な追尾結果を得る必要性が低いシーンにおいて、消費電力を抑制することができる。
以上、本発明を実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることは言うまでもない。
102 制御部
110 検出部
113 追尾制御部
115 追尾部
116 DL追尾部
117 非DL追尾部
124 評価値生成部
126 撮像装置動き検出部
110 検出部
113 追尾制御部
115 追尾部
116 DL追尾部
117 非DL追尾部
124 評価値生成部
126 撮像装置動き検出部
Claims (7)
- 撮像手段で取得した画像を用いて被写体追尾を行う第1の追尾手段と、
前記撮像手段で取得した画像を用いて被写体追尾を行う、前記第1の追尾手段に比べて演算負荷が小さい第2の追尾手段と、
前記撮像手段で取得した画像から検出される特徴点に基づいて前記第1の追尾手段と前記第2の追尾手段の両方を有効にするか、一方を無効にするかを切り替える制御手段と、を有する、
ことを特徴とする画像処理装置。 - 前記制御手段は、前記第1の追尾手段あるいは前記第2の追尾手段による追尾の対象となる追尾被写体領域内の特徴点の数と前記追尾被写体領域外の特徴点の数に基づいて前記第1の追尾手段と前記第2の追尾手段の両方を有効にするか、一方を無効にするかを切り替えることを特徴とする請求項1に記載の画像処理装置。
- 前記制御手段は、
前記追尾被写体領域内において、強度が第1の閾値より高い前記特徴点の数が第2の閾値より多く、
前記追尾被写体領域外において、強度が第3の閾値より高い前記特徴点の数が第4の閾値より多い場合、
前記第1の追尾手段と前記第2の追尾手段の両方を有効にすることを特徴とする請求項1または2に記載の画像処理装置。 - 前記制御手段は、
前記追尾被写体領域内において、強度が第1の閾値より高い前記特徴点の数が第2の閾値より少なく、
前記追尾被写体領域外において、強度が第3の閾値より高い前記特徴点の数が第4の閾値より多い場合、
前記第1の追尾手段を有効にし、前記第2の追尾手段を無効にすることを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。 - 前記制御手段は、
前記追尾被写体領域内において、強度が第1の閾値より高い前記特徴点の数が第2の閾値より多く、
前記追尾被写体領域外において、強度が第3の閾値より高い前記特徴点の数が第4の閾値より少ない場合、
前記第1の追尾手段を無効にし、前記第2の追尾手段を有効にすることを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。 - 前記制御手段は、
前記追尾被写体領域内において、強度が第1の閾値より高い前記特徴点の数が第2の閾値より少なく、
前記追尾被写体領域外において、強度が第3の閾値より高い前記特徴点の数が第4の閾値より少ない場合、
前記第1の追尾手段と記第2の追尾手段の両方を有効にしつつ、動作レートをそれ以外の場合に比べて低くすることを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。 - 撮像手段で取得した画像を用いて被写体追尾を行う第1の追尾手段で追尾を行う第1の追尾ステップと、
前記撮像手段で取得した画像を用いて被写体追尾を行う、前記第1の追尾手段に比べて演算負荷が小さい第2の追尾手段で追尾を行う第2の追尾ステップと、
前記撮像手段で取得した画像から検出される特徴点に基づいて前記第1の追尾手段と前記第2の追尾手段の両方を有効にするか、一方を無効にするかを切り替える制御ステップと、を有する、
ことを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021200669A JP2023086274A (ja) | 2021-12-10 | 2021-12-10 | 画像処理装置およびその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021200669A JP2023086274A (ja) | 2021-12-10 | 2021-12-10 | 画像処理装置およびその制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023086274A true JP2023086274A (ja) | 2023-06-22 |
Family
ID=86850422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021200669A Pending JP2023086274A (ja) | 2021-12-10 | 2021-12-10 | 画像処理装置およびその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023086274A (ja) |
-
2021
- 2021-12-10 JP JP2021200669A patent/JP2023086274A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102574141B1 (ko) | 이미지 디스플레이 방법 및 디바이스 | |
JP6049448B2 (ja) | 被写体領域追跡装置、その制御方法及びプログラム | |
TWI701609B (zh) | 影像物件追蹤方法及其系統與電腦可讀取儲存媒體 | |
JP2011165008A (ja) | 画像認識装置および方法 | |
US10013632B2 (en) | Object tracking apparatus, control method therefor and storage medium | |
US20200412982A1 (en) | Laminated image pickup device, image pickup apparatus, image pickup method, and recording medium recorded with image pickup program | |
US20210256713A1 (en) | Image processing apparatus and image processing method | |
JP6924064B2 (ja) | 画像処理装置およびその制御方法、ならびに撮像装置 | |
US20220321792A1 (en) | Main subject determining apparatus, image capturing apparatus, main subject determining method, and storage medium | |
JP5118590B2 (ja) | 被写体追尾方法及び撮像装置 | |
WO2023106103A1 (ja) | 画像処理装置およびその制御方法 | |
JP5539565B2 (ja) | 撮像装置及び被写体追跡方法 | |
US10140503B2 (en) | Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus | |
JP2023086274A (ja) | 画像処理装置およびその制御方法 | |
JP2023165555A (ja) | 画像処理装置、撮像装置、制御方法及びプログラム | |
US11575826B2 (en) | Image processing apparatus and method, and image capturing apparatus | |
JP2016081095A (ja) | 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム | |
JP5247419B2 (ja) | 撮像装置および被写体追跡方法 | |
JP6776532B2 (ja) | 画像処理装置、撮像装置、電子機器及び画像処理プログラム | |
US20240078830A1 (en) | Image processing apparatus and image processing method | |
JP7525990B2 (ja) | 主被写体判定装置、撮像装置、主被写体判定方法、及びプログラム | |
US20220309706A1 (en) | Image processing apparatus that tracks object and image processing method | |
US20230011551A1 (en) | Image-capturing apparatus | |
US20230177860A1 (en) | Main object determination apparatus, image capturing apparatus, and method for controlling main object determination apparatus | |
JP2024056441A (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |