JP7443005B2 - 画像処理装置、撮像装置および制御方法 - Google Patents
画像処理装置、撮像装置および制御方法 Download PDFInfo
- Publication number
- JP7443005B2 JP7443005B2 JP2019169625A JP2019169625A JP7443005B2 JP 7443005 B2 JP7443005 B2 JP 7443005B2 JP 2019169625 A JP2019169625 A JP 2019169625A JP 2019169625 A JP2019169625 A JP 2019169625A JP 7443005 B2 JP7443005 B2 JP 7443005B2
- Authority
- JP
- Japan
- Prior art keywords
- control
- subject
- correction
- focus
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 134
- 238000012545 processing Methods 0.000 title claims description 103
- 238000003384 imaging method Methods 0.000 title claims description 31
- 238000012937 correction Methods 0.000 claims description 146
- 239000013598 vector Substances 0.000 claims description 137
- 238000004091 panning Methods 0.000 claims description 109
- 230000006641 stabilisation Effects 0.000 claims description 27
- 238000011105 stabilization Methods 0.000 claims description 27
- 238000010801 machine learning Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 description 117
- 230000008569 process Effects 0.000 description 105
- 238000004364 calculation method Methods 0.000 description 59
- 210000005252 bulbus oculi Anatomy 0.000 description 42
- 230000003287 optical effect Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 24
- 210000001747 pupil Anatomy 0.000 description 14
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000005286 illumination Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 4
- 210000004087 cornea Anatomy 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- MHABMANUFPZXEB-UHFFFAOYSA-N O-demethyl-aloesaponarin I Natural products O=C1C2=CC=CC(O)=C2C(=O)C2=C1C=C(O)C(C(O)=O)=C2C MHABMANUFPZXEB-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6815—Motion detection by distinguishing pan or tilt from motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Adjustment Of Camera Lenses (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Description
また、従来、流し撮り時において、被写体とカメラの角速度がある程度一致し、焦点制御により被写体が認識され、被写体のブレ量が検知可能になるまで、振れ補正光学系を制御して像ブレを補正することができなかった。したがって、流し撮り時の像ブレ補正の開始タイミングが遅くなるという課題がある。本発明は、流し撮り時に、被写体に焦点が合う前に像ブレ補正制御を行って、流し撮りをアシストすることができる画像処理装置の提供を目的とする。
撮像画像の像ブレを補正手段の駆動により補正する補正制御手段と、
前記撮像画像における流し撮り用の被写体を指定するための指定領域を決定する決定手段と、
被写体に焦点を合わせる焦点制御を実行する焦点制御手段と、
前記撮像画像に基づいて動きベクトルを取得する取得手段と、を有し、
前記補正制御手段は、流し撮り制御手段と、手振れ補正制御手段と、を含み、
流し撮りが行われる場合に、前記補正制御手段が、前記指定領域の動きに基づいて前記流し撮り制御手段を駆動して、前記指定領域に係る像ブレを補正する第1の補正制御を実行した後に、前記焦点制御手段が、前記焦点制御を実行する、と共に、
流し撮りを行わない場合には、前記補正制御手段が、前記手振れ補正制御手段により手振れ補正制御を行い、
前記補正制御手段は、前記焦点制御手段が前記焦点制御を実行した後に、前記取得手段により取得される動きベクトルに基づいて前記補正手段を駆動して、前記被写体に係る像ブレを補正する第2の補正制御を実行し、前記第2の補正制御による像ブレの補正余地がある場合に、前記第1の補正制御を実行することを特徴とする。
図1は、本実施形態の画像処理装置の一例である撮像装置の構成を示す図である。
図1では、本実施形態の撮像装置として、デジタルカメラ100を例にとって説明する。本発明は、デジタルカメラ100に限らず、焦点制御の前に流し撮りアシスト用の制御を実行する任意の画像処理装置、光学機器等に適用できる。デジタルカメラ100は、照明光源13乃至照明光源駆動回路205を有する。撮像レンズユニット101は、フォーカスレンズや防振レンズを含む複数のレンズ群および絞りを備える。撮影の際、撮像レンズユニット101は、CPU等を有するシステム制御部118に制御されて、フォーカス調節、露出調節、像ブレ補正等を行う。CPUは、Central Processing Unitの略称である。
Random Access Memoryの略称である。DRAM107は、所定枚数の静止画像、所定時間の動画像、音声等のデータ、システム制御部118の動作用の定数、プログラム等を格納するのに十分な記憶容量を備える。メモリ制御部106は、システム制御部118或いはデータ転送部105からの指示に応じて、DRAM107へのデータ書き込み及びデータ読み出しを行う。
図1及び図2において、対応する構成要素は同じ番号で表記されている。本実施形態の撮像装置であるデジタルカメラ100は、カメラ本体1Bと、交換レンズ1Aとを有する。交換レンズ1Aは、カメラ本体1Bに着脱可能である。カメラ本体1Bを本実施形態の撮像装置としてもよい。また、本発明は、レンズ一体型のカメラにも適用可能である。
Xc≒(Xa+Xb)/2・・・式(1)
上記より、眼球用撮像素子17上に結像する瞳孔中心に相当するc' のX座標、光源13a,13bの角膜反射像Pd' ,Pe' の座標を求めることができた。
β× Oc× SINθX≒{(Xd+Xe)/2}-Xc・・・式(2)
θyの算出方法は、θxの算出方法と同様である。
Hx=m×(Ax×θx+Bx)・・・式(3)
Hy=m×(Ay×θy+By)・・・式(4)
係数mは、デジタルカメラ100のファインダ光学系の構成で定まる定数である。具体的には、係数mは、回転角θx、θyを表示部113上での瞳孔141の中心cに対応する位置座標に変換するために用いられる変換係数である。また、Ax,Bx,Ay,Byは、ユーザの視線の個人差を補正するために用いられる視線補正係数である。Ax,Bx,Ay,Byは、所定のキャリブレーション作業を行うことで取得され、予めメモリに記憶されている。
図1及び図2と共通の構成要素については、既に使用した符号を付すことで、詳細な説明を省略する。
ユーザは、操作部115の切り替えスイッチを操作することにより、撮影モードを通常モードと流し撮りモードとに切り替え可能である。通常モードが選択された場合、交換レンズ1A内では、角速度センサ2111が、手振れ等によりデジタルカメラ100に加わる振れ(角速度)を検出する。手振れ補正制御部121は、角速度センサ2111による振れ検出信号に基づいて、シフトレンズ群2104の駆動制御を行う。これにより、手振れ補正制御が行われ、撮像画像に係る像ブレが低減される。
(1)撮影モードが流し撮りモードに設定されている場合は、制御判定部604は、流し撮り制御部2122で算出された積分器225の出力を選択する。
(2)撮影モードが流し撮りモード以外に設定されている場合は、制御判定部604は、手振れ補正制御部2121で算出された積分器603の出力を選択する。
撮影画面の水平方向をX方向とし、垂直方向をY方向と定義する。動きベクトル検出部2151により検出される2種類のベクトルは、被写体701の部分に対応するベクトルと、背景部分に対応するベクトルである。動きベクトルを検出するための検出枠702は、矩形枠で示す複数の検出ブロックを有する。また、図7中には、被写体に焦点を合わせるためのフォーカス枠(焦点検出枠)703を示す。
図8に示すヒストグラムの横軸はブレ量(単位:pixel)を表し、動きベクトルに相当する。縦軸は動きベクトルの度数を表す。図8(A)は、ユーザが一定の角速度以上でデジタルカメラ100を振っている方向(例えば、図7の水平方向)のヒストグラムを示す。
以下の処理は、カメラ制御部2143、カメラ信号処理回路2135およびレンズ制御部2112が、所定の制御プログラムを解釈して実行することにより実現される。すなわち、本実施形態において、カメラ制御部2143、カメラ信号処理回路2135およびレンズ制御部2112は、シフトレンズ群2104を駆動して像ブレを補正する制御を実行する補正制御手段として機能する。なお、図9におけるSは、フローチャート中の各処理に対応するステップ番号を示す。
カメラ制御部2143は、流し撮りモードの設定が行われたか否かを判定する。流し撮りモードが設定された場合、処理がS902に進む。通常モードが設定された場合、流し撮りモードの制御は行われず、処理が終了する。
(S902)交換レンズ1Aの判別処理
カメラ制御部2143が、カメラ本体1Bに装着された交換レンズ1Aが、流し撮りモードに対応した交換レンズであるか否かを判定する。交換レンズ1Aが、流し撮りモードに対応した交換レンズであると判定された場合、処理がS903に進む。交換レンズ1Aが、流し撮りモードに対応していない交換レンズであると判定された場合は、処理が終了する。なお、交換レンズ1Aが流し撮りモードに対応しているか否かの判定処理は、レンズ制御部2112からカメラ制御部2143へ送信されるレンズ情報の信号に基づいて行われる。コンパクトデジタルカメラ等のようにレンズ通信の機能を有していない場合には、S902の判定処理は不要であり、処理がS903へ進む。
カメラ信号処理回路2135が、図5を参照して説明した処理により、ユーザが注視する注視点位置を検出する。そして、カメラ信号処理回路2135は、検出した注視点位置を含む領域(注視領域)を示す注視枠を設定する。注視枠で囲まれた領域が注視領域である。そして、処理がS904に進む。
なお、注視領域は、ユーザにより指定された、または予め指定された指定領域の一例である。本発明の適用範囲は、ユーザの視線により指定される領域に限定されない。例えば、ユーザが所定の画面上においてタッチ操作等で指定した領域に注視枠を設定してもよい。
注視枠1102は、現フレームにおける注視領域を示す。また、注視枠1103は、次フレームにおける注視領域を示す。図9の説明に戻る。
(S904)シフトレンズ群2104の位置取得1
カメラ制御部2143が、レンズ制御部2112から、位置センサ2105が検出したシフトレンズ群2104の位置情報を取得する。取得されるシフトレンズ群2104の位置情報は、動きベクトル検出部2151の検出期間と同期した位置センサ2105の出力の平均値である。そして、処理がS905へ進む。
カメラ制御部2143が、連続するフレーム間での注視枠の動きを示す注視枠移動量を取得する。例えば、カメラ制御部2143は、図11中の注視枠1102から注視枠1103への移動量である注視枠移動量1104を取得する。そして、処理がS906に進む。
(S906)角速度取得1
カメラ制御部2143が、レンズ制御部2112から、角速度センサ2111が検出した振れ検出信号(角速度)を取得する。また、カメラ制御部2143が、カメラ本体1B内の角速度センサ2171が検出した振れ検出信号(角速度)を取得する。本ステップで取得される振れ検出信号の値は、S905における注視枠の移動量の取得期間と同期した、角速度センサ2111または角速度センサ2171の出力の平均値である。そして、処理がS915に進む。
カメラ制御部2143は、S906で取得した角速度を像面移動量へ換算する演算を行う。具体的には、カメラ制御部2143は、交換レンズ1A内の角速度センサ2111により検出される角速度と、撮像光学系の焦点距離と、フレームレートとに基づいて、像面上での移動量(像面移動量)を算出する。そして、処理がS908に進む。
(S908)注視枠角速度算出
被写体角速度算出部2162が、S905で取得された注視枠移動量1104に基づいて、注視枠の角速度(注視枠角速度)を算出する。注視枠角速度は、例えば、図11の注視枠1102から注視枠1103への移動に係る角速度である。注視枠角速度の算出処理の詳細については、図10を参照して後述する。そして、処理がS909に進む。
レンズ制御部2112は、S908で算出された注視枠角速度をカメラ制御部2143から受信する。レンズ制御部2112の流し撮り制御部2122が、注視枠角速度に基づいて、シフトレンズ群2104を駆動させる制御量を決定する。ドライバ2113は、決定された制御量にしたがってシフトレンズ群2104を駆動する。これにより、デジタルカメラ100の振れに対する注視枠の領域内の画像のブレ(注視領域に係る像ブレ)が補正される。S909における、注視領域に係る像ブレを補正する制御(第1の補正制御)は、後述するS910の焦点制御の前に実行される。
レンズ制御部2112が、被写体1101に焦点を合わせる焦点制御を実行する。像面位相差の検出結果に基づく自動焦点調節が行われる。交換レンズ1A内のズームレンズ群2103が駆動し、焦点位置が調節される。そして、処理がS911に進む。
(S911)距離情報取得
距離取得部2181が、撮像画像に関連する距離情報を取得する。また、動きベクトル検出部2151が、動きベクトルの検出枠702を設定する。そして、処理がS912に進む。
カメラ制御部2143が、レンズ制御部2112から、位置センサ2105が検出したシフトレンズ群2104の位置情報を取得する。取得されるシフトレンズ群2104の位置情報は、動きベクトル検出部2151による動きベクトルの検出期間と同期した、位置センサ2105の出力の平均値である。そして、処理がS913に進む。
(S913)動きベクトル取得
動きベクトル検出部2151が、検出枠702内の領域を対象として、画像から動きベクトルを検出する。そして、処理がS914に進む。
カメラ制御部2143が、レンズ制御部2112から、角速度センサ2111が検出した振れ検出信号(角速度)を取得する。また、カメラ制御部2143が、カメラ本体1B内の角速度センサ2171が検出した振れ検出信号(角速度)を取得する。本ステップで取得される振れ検出信号の値は、動きベクトル検出部2151による動きベクトルの検出期間と同期した、角速度センサ2111または角速度センサ2171の出力の平均値である。そして、処理がS915に進む。
(S915)像面移動量算出2
カメラ制御部2143が、S914で取得した角速度を像面移動量へ換算する演算を行う。具体的には、カメラ制御部2143は、交換レンズ1A内の角速度センサ2111により検出される角速度と、撮像光学系の焦点距離と、フレームレートを用いて、像面上での移動量(像面移動量)を算出する。そして処理がS916に進む。
被写体角速度算出部2162は、S913で取得された動きベクトルに基づいて、被写体角速度を算出する。被写体角速度の算出に関しては、図10を参照して後述する。
(S917)振れ補正光学系の駆動
レンズ制御部2112の流し撮り制御部2122が、S916で算出された被写体角速度をカメラ制御部2143から受信し、露光期間中にシフトレンズ群2104を駆動させる制御量を決定する。ドライバ2113は、決定された制御量にしたがってシフトレンズ群2104を駆動する。これにより、焦点制御(S910)後において、被写体に係る像ブレを補正する制御(第2の補正制御)が実行される。そして、処理が終了する。
(S1001)レンズ位置加算
カメラ制御部2143が、図9のS904またはS912で取得されたシフトレンズ群2104の位置情報の値を、動きベクトル検出部2151の検出値に加算する処理を実行する。これにより、動きベクトルの検出中に手振れ補正制御によってシフトレンズ群2104が駆動されたとしても、被写体振れに係る像を求めることができる。そして、処理がS1002へ進む。
カメラ制御部2143が、S908の注視枠角速度の算出処理を行うかを判定する。S908の注視枠角速度の算出処理を行う場合は、処理がS1004に進む。S908の注視枠角速度の算出処理ではなく、S917の被写体角速度の算出処理を行う場合は、処理がS1011に進む。
(S1004)注視枠移動量の算出可否の判定
カメラ制御部2143が、S905で注視枠移動量1104を取得できているかを判定する。注視枠移動量1104を取得できている場合は、処理がS1005に進む。注視枠移動量1104を取得できていない場合は、処理がS1017に進む。
被写体角速度算出部2162が、注視枠角速度を算出する。具体的には、図9のS907またはS915で角速度から像面移動量を算出した方法とは逆の方法によって、注視枠の像面移動量(注視枠移動量1104)から注視枠角速度を算出する処理が行われる。そして、処理がS1016に進む。
(S1006)注視枠振れ補正量算出
カメラ制御部2143が、S1005で算出された注視枠角速度に対し、角速度出力部622(図6)からカメラ制御部2143へ送信される角速度の値を加算して、被写体角速度としてレンズ制御部2112に送信する。被写体角速度取得部623が、カメラ制御部2143から受信した被写体角速度を減算器624に出力する。減算器624は、交換レンズ1A内の角速度センサ2111が検出する角速度と、被写体角速度との差分を演算する。積分器625は算出された差分を積分し、積分値を像ブレ補正制御の目標制御値(注視枠振れ補正量)として、制御判定部604に出力する。注視枠振れ補正量は、注視領域に係る像ブレを補正するための振れ補正光学系の目標制御値である。そして、処理がリターン処理へ移行する。
カメラ信号処理回路2135が、図9のS911で取得された距離情報に基づき、図11の検出枠702における各検出ブロックに対応する距離情報の重み付けを行う。そして、処理がS1012に進む。
(S1012)ヒストグラム生成
カメラ制御部2143が、図9のS913で取得された動きベクトルに基づいて、動きベクトルに関するヒストグラム演算を行う。ヒストグラムの生成後、処理がS1013に進む。
カメラ制御部2143は、生成されたヒストグラムに基づき、被写体ベクトル候補が検出できているか否かを判定する。被写体ベクトル候補が検出できている場合は、処理がS1014に進む。被写体ベクトル候補が検出できていない場合は、処理がS1017に進む。
(S1014)被写体ベクトル算出
カメラ制御部2143は、被写体ベクトル候補の中から最終的に使用する被写体ベクトルを選択する。例えば、フォーカス枠703(図7)の位置に最も近い検出ブロックで被写体ベクトルが検出され、且つその距離情報が取得できている場合に、当該最も近い検出ブロックで検出されたベクトルが被写体ベクトルとして選択される。なお、上記最も近い検出ブロックを起点として、その周囲の被写体ベクトルを積算してもよい。被写体ベクトルの算出後に、処理がS1015に進む。
被写体角速度算出部2162が、S1014で算出された被写体ベクトルに対応する被写体の像面移動量に基づき、被写体角速度を算出する。被写体角速度算出部2162は、図9のS907またはS915で角速度から像面移動量を算出した方法とは逆の方法によって、被写体角速度を算出する。そして、処理がS1016に進む。
(S1016)被写体振れ補正量算出
カメラ制御部2143は、S1015で算出された被写体角速度に対し、角速度出力部622からカメラ制御部2143へ送信される角速度の値を加算して、レンズ制御部2112へ送信する。被写体角速度取得部623は、カメラ制御部2143からレンズ制御部2112へ送信された被写体角速度を取得して減算器624に出力する。減算器624は、交換レンズ1A内の角速度センサ2111が検出した角速度と、被写体角速度との差分を演算する。積分器625は、算出された差分を積分し、積分値を被写体に係る像ブレを補正するための振れ補正光学系の目標制御値(被写体振れ補正量)として制御判定部604へ出力する。そして、処理がリターン処理へ移行する。
本ステップから、振れ補正光学系の制御が、手振れ補正制御部2121による手振れ補正制御に切り替わる。手振れ補正制御部2121が、交換レンズ1A内の角速度センサ2111が検出した振れ検出信号が示す角速度を取得する。そして、処理がS1018に進む。
(S1018)オフセット除去
手振れ補正制御部2121が、任意の周波数帯域でその特性を変更し得る機能を有するハイパスフィルタを用いて、S1017で取得された振れ検出信号に含まれる低周波数成分を遮断してから高周波数帯域の信号を出力する処理を実行する。これにより、振れ検出信号に重畳しているオフセット成分が除去される。そして、処理がS1019に進む。
手振れ補正制御部2121が、オフセット成分が除去された振れ検出信号に対して、所定のゲインで増幅し、位相補償を行う。そして、処理がS1020に進む。
(S1020)手振れ補正量算出
手振れ補正制御部2121が、積分器603によって、S1019で処理された信号に係る角速度を積分する。積分により得られた角度値は、手振れ補正制御の目標制御値(手振れ補正量)として、制御判定部604に出力される。そして、処理がリターン処理へ移行する。
図12は、第2実施形態における流し撮りアシスト用の制御を説明するフローチャートである。
第2実施形態におけるデジタルカメラ100の構成は、第1実施形態におけるデジタルカメラの構成と同様である。以下の処理は、カメラ制御部2143、カメラ信号処理回路2135およびレンズ制御部2112が、所定の制御プログラムを解釈して実行することにより実現される。図12中のSは、フローチャート中の各処理に対応するステップ番号を示す。以下に、第2実施形態について、第1実施形態との差異を中心に説明する。S1201乃至S1204は、図9のS901乃至S904と同様である。
S1203で検出されたユーザの注視点位置を含む領域が注視枠1403となる。図12の説明に戻る。
(S1205)動きベクトル取得1
動きベクトル検出部2151が、図14の注視枠1403と重なるように配置された検出枠704における動きを動きベクトルとして検出する。なお、検出枠704は、注視枠1403を含む所定の領域に配置されていればよく、検出枠704の大きさは、注視枠1403と一致する必要はない。また、S1205においては、さらに、距離取得部2181が、撮像画像に関連する距離情報を取得する。そして、処理がS1206へ進む。S1206、S1207は、図9のS906、S907と同様である。
被写体角速度算出部2162が、S1204乃至S1206で取得した情報に基づいて、注視枠1403の角速度(注視枠角速度)を算出する。注視枠角速度の算出処理の詳細については、図13を参照して後述する。そして、処理がS1209に進む。
(S1209)制御量の判定
レンズ制御部2112が、S1208で算出された注視枠角速度をカメラ制御部2143から受信する。レンズ制御部2112の流し撮り制御部2122が、注視枠角速度に基づいて、注視枠の領域内の画像のブレ(注視領域に係る像ブレ)を補正するためにシフトレンズ群2104を駆動させる制御量を決定する。流し撮り制御部2122は、決定した制御量に基づいて、振れ補正量のマージンがあるか、つまりS1218における、被写体に係る像ブレの補正余地があるかを判定する。被写体に係る像ブレの補正のために必要な所定の制御量が確保できない場合、流し撮り制御部2122は、被写体に係る像ブレの補正余地がないと判定して、処理がS1211に進む。被写体に係る像ブレの補正のために必要な所定の制御量が確保できる場合、流し撮り制御部2122は、被写体に係る像ブレの補正余地があると判定し、処理がS1210に進む。本ステップの判定処理によって、S1218での被写体振れ補正量のマージンが確保される。ただし、S1209の判定処理を省略してもよい。
ドライバ2113が、S1209で決定された制御量にしたがってシフトレンズ群2104を駆動する。これにより、注視領域に係る像ブレが補正される。そして、処理がS1211に進む。S1211乃至S1216は、図9のS910乃至S915と同様である。なお、本実施形態では、S1211の時点で焦点制御が実行されるが、S1204の処理などと同時に開始するようにしてもよい。また、S1212では、距離情報の取得の他、図14に示す動きベクトルの検出枠702が設定される。
被写体角速度算出部2162が、S1212乃至S1215で取得された情報を用いて、被写体角速度を算出する。被写体角速度の算出処理の詳細については、図13を参照して後述する。
(S1218)振れ補正光学系の駆動2
レンズ制御部2112の流し撮り制御部2122が、S1217で算出された被写体角速度をカメラ制御部2143から受信し、露光期間中にシフトレンズ群2104を駆動させる制御量を決定する。ドライバ2113は、決定された制御量にしたがってシフトレンズ群2104を駆動する。これにより、焦点制御(S1211)後において、被写体に係る像ブレが補正される。そして、処理が終了する。
(S1301)レンズ位置加算
カメラ制御部2143は、図12のS1204またはS1213で取得されたシフトレンズ群2104の位置情報の値を、動きベクトル検出部2151の検出値に加算する処理を実行する。これにより、動きベクトルの検出中に手振れ補正制御によってシフトレンズ群2104が駆動されたとしても、被写体振れに係る像を求めることができる。そして、処理がS1302へ進む。
カメラ信号処理回路2135が、図12のS1205またはS1212で取得された距離情報に基づき、図14の検出枠704または検出枠702における各検出ブロックに対応する距離情報の重み付けを行う。なお、画面内の距離情報が取得できていない場合は、本処理を省略する。そして、処理がS1012に進む。
(S1303)ヒストグラム生成
カメラ制御部2143が、図12のS1205またはS1214で取得された動きベクトルに基づいて、動きベクトルに関するヒストグラム演算を行う。ヒストグラムの生成後、処理がS1304に進む。
カメラ制御部2143は、生成されたヒストグラムに基づき、被写体ベクトル候補が検出できているか否かを判定する。被写体ベクトル候補が検出できている場合は、処理がS1305に進む。被写体ベクトル候補が検出できていない場合は、処理がS1308に進む。
(S1305)被写体ベクトル算出
カメラ制御部2143は、被写体ベクトル候補の中から最終的に使用する被写体ベクトルを選択する。例えば、図14では図示を省略するフォーカス枠の位置に最も近い検出ブロックで被写体ベクトルが検出され、且つその距離情報が取得できている場合に、当該最も近い検出ブロックで検出されたベクトルが被写体ベクトルとして選択される。なお、上記最も近い検出ブロックを起点として、その周囲の被写体ベクトルを積算してもよい。被写体ベクトルの算出後に、処理がS1306に進む。
被写体角速度算出部2162が、S1305で算出された被写体ベクトルに対応する被写体の像面移動量に基づき、被写体角速度を算出する。被写体角速度算出部2162は、図12のS1207またはS1216で角速度から像面移動量を算出した方法とは逆の方法によって、被写体角速度を算出する。そして、処理がS1307に進む。
(S1307)被写体振れ補正量算出
カメラ制御部2143は、算出された被写体角速度に対し、角速度出力部622からカメラ制御部2143へ送信される角速度の値を加算して、レンズ制御部2112へ送信する。被写体角速度取得部623は、カメラ制御部2143からレンズ制御部2112へ送信された被写体角速度を取得して減算器624に出力する。減算器624は、交換レンズ1A内の角速度センサ2111が検出した角速度と、被写体角速度との差分を演算する。積分器625は、算出された差分を積分し、積分値を像ブレを補正するための振れ補正光学系の目標制御値(被写体振れ補正量)として制御判定部604へ出力する。そして、処理がリターン処理へ移行する。S1308乃至S1311は、図10のS1017乃至S1020と同様である。第2実施形態の画像処理装置によれば、被写体に係る像ブレの補正余地を残して、注視領域に係る像ブレを補正することができる。
図15は、第3実施形態における流し撮りアシスト用の制御を説明するフローチャートである。
第3実施形態におけるデジタルカメラ100の構成は、第1実施形態または第2実施形態におけるデジタルカメラの構成と同様である。以下の処理は、カメラ制御部2143、カメラ信号処理回路2135およびレンズ制御部2112が、所定の制御プログラムを解釈して実行することにより実現される。図15中のSは、フローチャート中の各処理に対応するステップ番号を示す。以下に、第3実施形態について、第2実施形態との差異を中心に説明する。図15のS1501乃至S1512は、図12のS1201乃至S1212と同様であるので、説明を省略する。
カメラ信号処理回路2135が、S1512で取得された距離情報に基づいて、被写体候補を検出する。
図16および図17は、被写体候補の検出と動きベクトルの検出枠の設定を説明する図である。
例えば、図16(A)に示すように、カメラ信号処理回路2135は、距離情報に基づいて、被写体候補1601を決定し、その周辺領域を被写体候補の領域(被写体候補領域)1603として検出する。また、例えば、図17(A)に示すように、カメラ信号処理回路2135は、距離情報に基づいて、複数の被写体候補1701乃至1703を決定し、各々の被写体候補の周辺領域を被写体候補領域1711乃至1713として検出する。そして、処理がS1514に進む。
カメラ信号処理回路2135が、図5を参照して説明した処理により、ユーザが注視する注視点位置を検出する。そして、カメラ信号処理回路2135は、検出した注視点位置を含む領域(注視領域)を示す注視枠を設定する。
(S1515)被写体領域選択
カメラ信号処理回路2135が、S1513で検出された被写体候補領域と、S1514で設定された注視枠とに基づいて、被写体領域を選択し、被写体領域に基づいて、動きベクトルの検出枠1722を配置する。
図18は、第4実施形態における流し撮りアシスト用の制御を説明するフローチャートである。
第4実施形態におけるデジタルカメラ100の構成は、第1実施形態、第2実施形態または第3実施形態におけるデジタルカメラ100の構成と同様である。以下の処理は、カメラ制御部2143、カメラ信号処理回路2135およびレンズ制御部2112が、所定の制御プログラムを解釈して実行することにより実現される。図18中のSは、フローチャート中の各処理に対応するステップ番号を示す。以下に、第4実施形態について、第2実施形態との差異を中心に説明する。図18のS1801乃至S1803は、図12のS1201乃至S1203と同様である。
カメラ信号処理回路2135が、S1803で設定された注視枠の位置が撮影画角の所定の位置であるかを判定する。この例では、カメラ信号処理回路2135は、注視枠の位置が画角の中央であるかを判定する。注視枠の位置が所定の位置(例えば、画角の中央)でない場合は、処理がS1804に戻る。注視枠の位置が所定の位置である場合は、処理がS1805に進む。なお、所定の位置は、被写体をどの位置で止めた構図を求めるかによって可変である。
図19に示す例では、注視枠1902が画面の中央に位置している。したがって、処理が図18のS1805に進む。S1805乃至S1818の処理は、図12のS1204乃至S1218の処理と同様であるので、説明は省略する。
カメラ信号処理回路2135が、S1804と同様に、注視枠の位置が撮影画角の所定の位置であるかを判定する。この例では、カメラ信号処理回路2135は、注視枠の位置が画角の中央であるかを判定する。注視枠の位置が所定の位置(例えば、画角の中央)でない場合は、処理がS1819に戻る。注視枠の位置が所定の位置である場合は、処理がS1820に進む。なお、所定の位置は、被写体をどの位置で止めた構図を求めるかによって可変である。
カメラ制御部2143およびカメラ信号処理回路2135が、撮影制御手段として機能し、注視枠が所定の位置(例えば、画角の中央)にある画角で被写体の撮影を行う。
なお、S1801の判定処理では、カメラ制御部2143は、流し撮りモードが設定されたか否かを判定するが、この判定処理に代えて、以下の処理を行ってもよい。すなわち、カメラ制御部2143が、デジタルカメラ100の撮影方向を変更する動作(例えばパンニング)がされており、かつ、ユーザが被写体を注視している場合に、流し撮りが行われると判定する。そして、処理がS1802に進む。例えば、注視点位置と被写体候補領域とが重なっている場合に、カメラ制御部2143は、ユーザが被写体を注視していると判定する。カメラ制御部2143が、被写体候補領域と重なっている注視点位置に対応する注視時間が所定時間以上である場合に、ユーザが被写体を注視していると判定するようにしてもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
114 CPU
Claims (16)
- 撮像画像の像ブレを補正手段の駆動により補正する補正制御手段と、
前記撮像画像における流し撮り用の被写体を指定するための指定領域を決定する決定手段と、
被写体に焦点を合わせる焦点制御を実行する焦点制御手段と、
前記撮像画像に基づいて動きベクトルを取得する取得手段と、を有し、
前記補正制御手段は、流し撮り制御手段と、手振れ補正制御手段と、を含み、
流し撮りが行われる場合に、前記補正制御手段が、前記指定領域の動きに基づいて前記流し撮り制御手段を駆動して、前記指定領域に係る像ブレを補正する第1の補正制御を実行した後に、前記焦点制御手段が、前記焦点制御を実行する、と共に、
流し撮りを行わない場合には、前記補正制御手段が、前記手振れ補正制御手段により手振れ補正制御を行い、
前記補正制御手段は、前記焦点制御手段が前記焦点制御を実行した後に、前記取得手段により取得される動きベクトルに基づいて前記補正手段を駆動して、前記被写体に係る像ブレを補正する第2の補正制御を実行し、前記第2の補正制御による像ブレの補正余地がある場合に、前記第1の補正制御を実行する
ことを特徴とする画像処理装置。 - 前記取得手段は、前記決定手段によって決定される前記指定領域に基づいて、前記第2の補正制御を実行するために用いる動きベクトルを取得する領域を決定する
ことを特徴とする請求項1に記載の画像処理装置。 - 撮像画像の像ブレを補正手段の駆動により補正する補正制御手段と、
前記撮像画像における流し撮り用の被写体を指定するための指定領域を決定する決定手段と、
被写体に焦点を合わせる焦点制御を実行する焦点制御手段と、
前記撮像画像に基づいて動きベクトルを取得する取得手段と、を有し、
前記補正制御手段は、流し撮り制御手段と、手振れ補正制御手段と、を含み、
流し撮りが行われる場合に、前記補正制御手段が、前記指定領域の動きに基づいて前記流し撮り制御手段を駆動して、前記指定領域に係る像ブレを補正する第1の補正制御を実行した後に、前記焦点制御手段が、前記焦点制御を実行する、と共に、
流し撮りを行わない場合には、前記補正制御手段が、前記手振れ補正制御手段により手振れ補正制御を行い、
前記補正制御手段は、前記焦点制御手段が前記焦点制御を実行した後に、前記取得手段により取得される動きベクトルに基づいて前記補正手段を駆動して、前記被写体に係る像ブレを補正する第2の補正制御を実行し、
前記取得手段は、前記決定手段によって決定される前記指定領域に基づいて、前記第2の補正制御を実行するために用いる動きベクトルを取得する領域を決定する
ことを特徴とする画像処理装置。 - 前記取得手段は、
前記撮像画像に含まれる被写体までの奥行き方向の距離を示す距離情報に基づいて、被写体候補の領域を決定し、
前記被写体候補の領域が前記指定領域より大きい場合に、前記指定領域を含む所定の領域を、前記第2の補正制御を実行するために用いる動きベクトルを取得する領域として決定する
ことを特徴とする請求項2または3に記載の画像処理装置。 - 前記取得手段は、
前記被写体の候補の領域が複数である場合は、前記指定領域と位置が重なる前記被写体候補の領域を含む所定の領域を、前記第2の補正制御を実行するために用いる動きベクトルを取得する領域として決定する
ことを特徴とする請求項4に記載の画像処理装置。 - 前記指定領域は、ユーザが注視する注視領域である
ことを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。 - 前記決定手段は、前記ユーザの視線情報に基づいて前記注視領域を決定する
ことを特徴とする請求項6に記載の画像処理装置。 - 前記補正制御手段は、流し撮りモードが設定されている場合に、前記補正手段を駆動して、前記第1の補正制御と前記第2の補正制御を実行する
ことを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。 - 撮像画像の像ブレを補正手段の駆動により補正する補正制御手段と、
前記撮像画像の指定領域を決定する決定手段と、
被写体に焦点を合わせる焦点制御を実行する焦点制御手段と、を有し、
流し撮りが行われる場合に、前記補正制御手段が、前記指定領域の動きに基づいて前記補正手段を駆動して、前記指定領域に係る像ブレを補正する第1の補正制御を実行した後に、前記焦点制御手段が、前記焦点制御を実行すると共に、
前記補正制御手段は、前記決定された指定領域が撮影画角の所定の位置にある場合に、前記第1の補正制御を実行する
ことを特徴とする画像処理装置。 - 撮像画像の像ブレを補正手段の駆動により補正する補正制御手段と、
前記撮像画像の指定領域を決定する決定手段と、
被写体に焦点を合わせる焦点制御を実行する焦点制御手段と、を有し、
流し撮りが行われる場合に、前記補正制御手段が、前記指定領域の動きに基づいて前記補正手段を駆動して、前記指定領域に係る像ブレを補正する第1の補正制御を実行した後に、前記焦点制御手段が、前記焦点制御を実行すると共に、
流し撮り時のユーザの視線情報に基づいて機械学習により作成された学習モデルが記憶手段に記憶されており、
前記補正制御手段は、前記ユーザの視線情報を入力とする、前記学習モデルに基づく前記流し撮りが行われるか否かの判定結果に応じて、前記補正手段の駆動による前記第1の補正制御を実行する
ことを特徴とする画像処理装置。 - 被写体光を光電変換して前記撮像画像に係る信号を出力する撮像素子と、請求項1乃至10のいずれか1項に記載の画像処理装置と、を有する
ことを特徴とする撮像装置。 - 前記決定された指定領域が撮影画角の所定の位置にある場合に被写体の撮影を行う制御を実行する撮影制御手段を有する
ことを特徴とする請求項11に記載の撮像装置。 - 撮像画像の像ブレを補正するための補正制御工程を有する画像処理装置の制御方法であって、
前記撮像画像における流し撮り用の被写体を指定するための指定領域を決定する決定工程と、
被写体に焦点を合わせる焦点制御を実行する焦点制御工程と、
前記撮像画像に基づいて動きベクトルを取得する取得工程と、を有し、
前記補正制御工程は、流し撮り制御工程と、手振れ補正制御工程と、を含み、
流し撮りが行われる場合に、前記指定領域の動きに基づく前記流し撮り制御工程により、前記指定領域に係る像ブレを補正する第1の補正制御を実行した後に、前記焦点制御工程において、前記焦点制御を実行する、と共に、
流し撮りを行わない場合には、前記補正制御工程において、前記手振れ補正制御工程により手振れ補正制御を行い、
前記補正制御工程は、前記焦点制御工程において前記焦点制御を実行した後に、前記取得工程において取得される動きベクトルに基づいて前記被写体に係る像ブレを補正する第2の補正制御を実行し、前記第2の補正制御による像ブレの補正余地がある場合に、前記第1の補正制御を実行する
ことを特徴とする制御方法。 - 撮像画像の像ブレを補正するための補正制御工程を有する画像処理装置の制御方法であって、
前記撮像画像における流し撮り用の被写体を指定するための指定領域を決定する決定工程と、
被写体に焦点を合わせる焦点制御を実行する焦点制御工程と、
前記撮像画像に基づいて動きベクトルを取得する取得工程と、を有し、
前記補正制御工程は、流し撮り制御工程と、手振れ補正制御工程と、を含み、
流し撮りが行われる場合に、前記指定領域の動きに基づく前記流し撮り制御工程により、前記指定領域に係る像ブレを補正する第1の補正制御を実行した後に、前記焦点制御工程において、前記焦点制御を実行する、と共に、
流し撮りを行わない場合には、前記補正制御工程において、前記手振れ補正制御工程により手振れ補正制御を行い、
前記補正制御工程は、前記焦点制御工程において前記焦点制御を実行した後に、前記取得工程において取得される動きベクトルに基づいて前記被写体に係る像ブレを補正する第2の補正制御を実行し、
前記取得工程は、前記決定工程において決定される前記指定領域に基づいて、前記第2の補正制御を実行するために用いる動きベクトルを取得する領域を決定する
ことを特徴とする制御方法。 - 撮像画像の像ブレを補正するための補正制御工程を有する画像処理装置の制御方法であって、
前記撮像画像の指定領域を決定する決定工程と、
被写体に焦点を合わせる焦点制御を実行する焦点制御工程と、を有し、
流し撮りが行われる場合に、前記補正制御工程において、前記指定領域の動きに基づいて前記指定領域に係る像ブレを補正する第1の補正制御を実行した後に、前記焦点制御工程において、前記焦点制御を実行すると共に、
前記補正制御工程は、前記決定された指定領域が撮影画角の所定の位置にある場合に、前記第1の補正制御を実行する
ことを特徴とする制御方法。 - 撮像画像の像ブレを補正するための補正制御工程を有する画像処理装置の制御方法であって、
前記撮像画像の指定領域を決定する決定工程と、
被写体に焦点を合わせる焦点制御を実行する焦点制御工程と、を有し、
流し撮りが行われる場合に、前記補正制御工程において、前記指定領域の動きに基づいて前記指定領域に係る像ブレを補正する第1の補正制御を実行した後に、前記焦点制御工程において、前記焦点制御を実行すると共に、
流し撮り時のユーザの視線情報に基づいて機械学習により作成された学習モデルが記憶手段に記憶されており、
前記補正制御工程は、前記ユーザの視線情報を入力とする、前記学習モデルに基づく前記流し撮りが行われるか否かの判定結果に応じて、前記第1の補正制御を実行する
ことを特徴とする制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019169625A JP7443005B2 (ja) | 2019-09-18 | 2019-09-18 | 画像処理装置、撮像装置および制御方法 |
US17/021,059 US11457148B2 (en) | 2019-09-18 | 2020-09-15 | Image processing apparatus, imaging apparatus, and control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019169625A JP7443005B2 (ja) | 2019-09-18 | 2019-09-18 | 画像処理装置、撮像装置および制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021047291A JP2021047291A (ja) | 2021-03-25 |
JP7443005B2 true JP7443005B2 (ja) | 2024-03-05 |
Family
ID=74868734
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019169625A Active JP7443005B2 (ja) | 2019-09-18 | 2019-09-18 | 画像処理装置、撮像装置および制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11457148B2 (ja) |
JP (1) | JP7443005B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114616533A (zh) * | 2019-10-30 | 2022-06-10 | 艾梅崔克斯持株公司株式会社 | 目光交流检测装置 |
JP2021164087A (ja) * | 2020-04-01 | 2021-10-11 | キヤノン株式会社 | 撮像装置およびその制御方法 |
US11381730B2 (en) * | 2020-06-25 | 2022-07-05 | Qualcomm Incorporated | Feature-based image autofocus |
JP2022171084A (ja) * | 2021-04-30 | 2022-11-11 | キヤノン株式会社 | 撮像装置及びその制御方法、並びにプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013255168A (ja) | 2012-06-08 | 2013-12-19 | Toyota Infotechnology Center Co Ltd | 撮像装置、および撮像方法 |
JP2014153517A (ja) | 2013-02-07 | 2014-08-25 | Canon Inc | 画像処理装置および画像処理方法、プログラム並びに記憶媒体 |
JP2016066007A (ja) | 2014-09-25 | 2016-04-28 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP2018180323A (ja) | 2017-04-14 | 2018-11-15 | キヤノン株式会社 | 像ブレ補正装置、撮像装置および制御方法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3389281B2 (ja) | 1993-04-07 | 2003-03-24 | オリンパス光学工業株式会社 | カメラ |
JP3302104B2 (ja) * | 1993-06-30 | 2002-07-15 | キヤノン株式会社 | 撮像装置 |
JPH07253605A (ja) * | 1994-03-16 | 1995-10-03 | Canon Inc | 光学装置の像振れ防止装置 |
JP2956543B2 (ja) | 1995-09-08 | 1999-10-04 | キヤノン株式会社 | 視線検出機能を備えたカメラ |
JP4769553B2 (ja) * | 2005-11-16 | 2011-09-07 | キヤノン株式会社 | 撮像装置 |
EP1959677B1 (en) * | 2007-02-16 | 2019-09-04 | Nikon Corporation | Camera system and camera body |
JP2010085440A (ja) * | 2008-09-29 | 2010-04-15 | Olympus Imaging Corp | 撮影装置及びカメラシステム |
US8593545B2 (en) * | 2010-06-09 | 2013-11-26 | Olympus Imaging Corp. | Imaging apparatus, imaging method, and computer-readable recording medium with switched image capturing mode |
JP5932226B2 (ja) * | 2011-02-24 | 2016-06-08 | キヤノン株式会社 | 撮像装置 |
JP5954388B2 (ja) * | 2014-10-02 | 2016-07-20 | 株式会社ニコン | 振れ補正装置および撮影装置 |
US9900513B2 (en) * | 2015-01-16 | 2018-02-20 | Canon Kabushiki Kaisha | Control apparatus, optical apparatus, and lens apparatus |
JP6711608B2 (ja) * | 2015-01-16 | 2020-06-17 | キヤノン株式会社 | 制御装置、および、レンズ装置 |
JP6581474B2 (ja) * | 2015-11-11 | 2019-09-25 | キヤノン株式会社 | 像振れ補正装置及びその制御方法、プログラム、記憶媒体 |
JP6702737B2 (ja) * | 2016-01-27 | 2020-06-03 | キヤノン株式会社 | 像ブレ補正装置、および、像ブレ補正装置の制御方法 |
JP6781589B2 (ja) * | 2016-08-08 | 2020-11-04 | キヤノン株式会社 | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 |
JP6661493B2 (ja) * | 2016-08-30 | 2020-03-11 | キヤノン株式会社 | 像ブレ制御装置、撮像装置および制御方法 |
JP6818473B2 (ja) * | 2016-09-07 | 2021-01-20 | キヤノン株式会社 | ブレ補正装置およびその制御方法、撮像装置 |
JP6935269B2 (ja) * | 2017-08-14 | 2021-09-15 | キヤノン株式会社 | 像ブレ補正装置およびその制御方法、撮像装置 |
-
2019
- 2019-09-18 JP JP2019169625A patent/JP7443005B2/ja active Active
-
2020
- 2020-09-15 US US17/021,059 patent/US11457148B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013255168A (ja) | 2012-06-08 | 2013-12-19 | Toyota Infotechnology Center Co Ltd | 撮像装置、および撮像方法 |
JP2014153517A (ja) | 2013-02-07 | 2014-08-25 | Canon Inc | 画像処理装置および画像処理方法、プログラム並びに記憶媒体 |
JP2016066007A (ja) | 2014-09-25 | 2016-04-28 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP2018180323A (ja) | 2017-04-14 | 2018-11-15 | キヤノン株式会社 | 像ブレ補正装置、撮像装置および制御方法 |
Also Published As
Publication number | Publication date |
---|---|
US20210084226A1 (en) | 2021-03-18 |
JP2021047291A (ja) | 2021-03-25 |
US11457148B2 (en) | 2022-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7443005B2 (ja) | 画像処理装置、撮像装置および制御方法 | |
JP7346654B2 (ja) | 画像処理装置、撮像装置、制御方法、プログラム、及び記憶媒体 | |
JP2007128077A (ja) | デジタル撮像システムでの自動焦点を改善するシステムおよび方法 | |
JP2010015024A (ja) | 撮像装置、その制御方法、プログラム及び記憶媒体 | |
JP7013199B2 (ja) | 撮像装置およびその制御方法 | |
JP2016143022A (ja) | 撮像装置及び撮像方法 | |
JP2021124669A (ja) | 電子機器 | |
JP6932531B2 (ja) | 像ブレ補正装置、撮像装置および撮像装置の制御方法 | |
JP2007129310A (ja) | 撮像装置 | |
JP7500217B2 (ja) | 電子機器 | |
JP6220144B2 (ja) | 焦点調節装置およびその制御方法 | |
US11330179B2 (en) | Imaging device and control method thereof | |
US11523048B2 (en) | Electronic device, control method of electronic device, and non-transitory computer readable medium | |
JP7353868B2 (ja) | レンズ制御装置、その制御方法 | |
JP2015233211A (ja) | 撮像装置およびその制御方法ならびにプログラム | |
JP2017219697A (ja) | 撮像装置及び撮像装置の制御方法 | |
JP7406889B2 (ja) | レンズ制御装置、その制御方法 | |
JP7406898B2 (ja) | レンズ制御装置、その制御方法 | |
JP2015052735A (ja) | レンズ装置、撮像装置、撮像システム、レンズ装置の制御方法、プログラム、および、記憶媒体 | |
US11050923B2 (en) | Imaging apparatus and control method | |
JP7414484B2 (ja) | 光学機器、撮像装置および制御方法 | |
JP5135813B2 (ja) | 光学系駆動装置およびカメラ | |
JP2007057933A (ja) | 電子ビューファインダを有するカメラ | |
JP2005148232A (ja) | 撮像装置及び再生装置 | |
JP2021033062A (ja) | レンズ制御装置、その制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220913 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230926 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240221 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7443005 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |