JP2022111437A - 動きベクトル算出装置、撮像装置および動きベクトル算出方法 - Google Patents
動きベクトル算出装置、撮像装置および動きベクトル算出方法 Download PDFInfo
- Publication number
- JP2022111437A JP2022111437A JP2021006856A JP2021006856A JP2022111437A JP 2022111437 A JP2022111437 A JP 2022111437A JP 2021006856 A JP2021006856 A JP 2021006856A JP 2021006856 A JP2021006856 A JP 2021006856A JP 2022111437 A JP2022111437 A JP 2022111437A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- time
- data
- vector calculation
- optical system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000013598 vector Substances 0.000 title claims abstract description 75
- 238000004364 calculation method Methods 0.000 title claims abstract description 56
- 238000003384 imaging method Methods 0.000 title claims description 25
- 238000013507 mapping Methods 0.000 claims abstract description 83
- 230000003287 optical effect Effects 0.000 claims abstract description 56
- 230000008859 change Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 40
- 238000000034 method Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000002789 length control Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 229910005580 NiCd Inorganic materials 0.000 description 1
- 229910005813 NiMH Inorganic materials 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Lens Barrels (AREA)
- Adjustment Of Camera Lenses (AREA)
- Image Analysis (AREA)
Abstract
【課題】動きベクトルの算出周期の向上を可能とする動きベクトル算出装置を提供する。【解決手段】光学装置が、被写体像の輝度変化を検出するイベントセンサ180の出力に基づいて、イベントデータを取得し、マッピング時間に取得されるイベントデータをマッピングして、フレームを生成する。光学装置は、イベントデータに対するマッピングを複数のフレームについて一部重複させる制御を行い、マッピング開始時刻にマッピング時間の差がある複数のフレームに基づいて、動きベクトルを算出する。【選択図】図1
Description
本発明は、動きベクトル算出装置、撮像装置および動きベクトル算出方法に関する。
入射される被写体光の輝度変化を検出して、イベント信号を出力する画素を有するイベントベースのビジョンセンサ(以下、「イベントセンサ」と記述)が提案されている。撮像装置等の光学装置は、イベント信号に係るデータであるイベントデータを取得することができる。イベントセンサは、既存のCMOS(Complementary Metal Oxide Semiconductor)センサと比較すると、高速動作、高ダイナミックレンジ、低消費電力という特徴を有する。特許文献1は、所定時間の間に発生したイベントデータをマッピングすることでフレームを生成し、生成したフレーム同士を比較することで動きベクトルを算出する方法を開示している。
しかし、特許文献1に開示された技術では、イベントデータをマッピングする所定時間(以下、「マッピング時間」と記述)によって、動きベクトルを算出する周期が律速してしまう。マッピング時間は、任意に設定可能な値であるが、被写体形状や動きベクトルの大小によって、精度良く動きベクトルを算出できる値が変わるので、所望の算出周期に合わせて変更することは好ましくない。本発明は、動きベクトルの算出周期の向上を可能とする動きベクトル算出装置の提供を目的とする。
本発明の一実施形態の動きベクトル算出装置は、被写体光の輝度変化を検出する検出手段の出力に基づいて、輝度変化に関する情報を含むデータを取得する取得手段と、第1の時間において取得される前記データに対して所定の処理を実行して、フレームを生成する生成手段と、前記データに対する前記所定の処理を複数のフレームについて一部重複させる制御を行う制御手段と、前記データに対する前記所定の処理の開始時刻に前記第1の時間の差がある複数のフレームに基づいて、動きベクトルを算出する算出手段と、を有する。
本発明によれば、動きベクトルの算出周期を向上させることが可能となる。
(実施例1)
図1は、本実施形態の光学装置の構成例を示す図である。
図1では、光学装置の一例として、レンズ交換式のカメラ(撮像装置)を例にとって説明する。もちろん、本発明は、レンズ一体型のカメラにも適用可能である。また、本発明は、外部から取得した情報に基づいて動きベクトルを算出する動きベクトル算出装置にも適用可能である。
図1は、本実施形態の光学装置の構成例を示す図である。
図1では、光学装置の一例として、レンズ交換式のカメラ(撮像装置)を例にとって説明する。もちろん、本発明は、レンズ一体型のカメラにも適用可能である。また、本発明は、外部から取得した情報に基づいて動きベクトルを算出する動きベクトル算出装置にも適用可能である。
図1に示す撮像装置は、撮像装置の本体部100と、入射光を本体部100内の撮像素子105に導くレンズユニット190とを備える。レンズユニット190は、本体部100に着脱可能である。
まず、本体部100の構成について説明する。シャッター103は、光量を調節する。シャッター制御部104は、画像処理部106からの露出情報に基づいて、レンズユニット190内のレンズ制御部194と連携しながら、シャッター103を制御する。撮像素子105は、被写体光を光電変換する撮像手段である。具体的には、レンズ195、絞り193、レンズ側マウント部192及び本体部側マウント部102、シャッター103を介して、不図示の被写体の光学像が撮像素子105に結像し、当該光学像が電気信号に変換される。
画像処理部106は、撮像素子105から出力される映像信号に対して、所定の演算処理を行い、当該演算結果に基づいて、画素補間処理、色変換処理やホワイトバランス処理等の画像処理を施す。表示部110は、画像処理部106による画像処理結果を表示する。また、画像処理部106は、JPEG等の画像圧縮機能を有する。
記録回路107は、画像データの記録または読み出しを行うための、半導体メモリ等の着脱可能な記録媒体に対して読み書きを行う回路である。通信部111は、無線または有線ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部111は、無線LAN(Local Area Network)やインターネットとも接続可能である。通信部111は、撮像によって得られるスルー画像、あるいは記録回路107に記録された画像を送信可能である。また、通信部111は、外部機器から画像データやその他の各種情報を受信可能である。
操作部114は、ユーザの操作を受け付け、システム制御部150に対して、ユーザの操作に応じた各種の動作指示を入力する。操作部114は、スイッチやダイヤル、タッチパネル、視線検知によるポインティング、音声認識装置等のいずれか一つ又はそれらの組み合わせを有する。
システムタイマー112は、各種制御に用いる時間や、内蔵された時計の時間を計測する。システムメモリ113には、システム制御部150の動作用の定数、変数、メモリ140から読み出したプログラム等が展開される。システムメモリ113には、例えばRAM(Random Access Memory)が用いられる。また、システムメモリ113は、3軸加速度センサ130の各軸出力値を蓄積する。電源スイッチ115は、撮像装置の電源ON、OFFを切り替え設定することができる。
シャッターボタン116は、撮影指示を行うための操作手段である。第一のシャッタースイッチ117は、シャッターボタン116の半押しによる撮影準備指示によってONとなり、第一のシャッタースイッチ信号(SW1)を発生する。SW1により、オートフォーカス処理、自動露出処理、オートホワイトバランス処理、フラッシュプリ発光処理等の動作が開始される。第二のシャッタースイッチ118は、シャッターボタン116の全押しによる撮影指示によってONとなり、第二のシャッタースイッチ信号(SW2)を発生する。システム制御部150は,SW2により、撮像素子105からの信号読み出しから記録回路107に画像データを書き込むまでの一連の撮影処理の動作を開始する。
また、3軸ジャイロセンサ120は、撮像装置の角速度を3軸において検知する。軸加速度センサ130は、撮像装置の加速度を3軸において検知する。メモリ140には、システム制御部150の動作用の定数、プログラム等が記憶される。メモリ140には、電気的に消去・記憶可能な不揮発性メモリも含まれ、ROM(Read Only Memory)が用いられる。
システム制御部150は、少なくとも一つのプロセッサーを有し、撮像装置全体の動作を制御する。また、システム制御部150は、コネクタ101及び191を介して、レンズユニット190が有するレンズ制御部194を制御する。電源制御部160は、電池検出回路、保護回路、DC/DCコンバータ、LDO(Low Drop
Out)レギュレータ等を有する。電源制御部160は、システム制御部150の指示に基づき、電源部161を制御し、所望の電源電圧を所望の期間、撮像装置の各部に供給する。電源制御部160は、電池装着の有無、電池種類、残量の検出を行い、過電流を検出した場合には、電源を遮断して、電源回路に接続された負荷回路を保護する。また、電源部161は、アルカリ電池、リチウム電池等の一次電池、またはNiCd電池、NiMH電池、Li電池等の二次電池、ACアダプター等を有する。
Out)レギュレータ等を有する。電源制御部160は、システム制御部150の指示に基づき、電源部161を制御し、所望の電源電圧を所望の期間、撮像装置の各部に供給する。電源制御部160は、電池装着の有無、電池種類、残量の検出を行い、過電流を検出した場合には、電源を遮断して、電源回路に接続された負荷回路を保護する。また、電源部161は、アルカリ電池、リチウム電池等の一次電池、またはNiCd電池、NiMH電池、Li電池等の二次電池、ACアダプター等を有する。
本体部側マウント部102は、本体部100をレンズユニット190に接続するためのインターフェースである。コネクタ101は、本体部100をレンズユニット190と電気的に接続するコネクタである。防振ユニット170は、撮像画像に生じるブレ(像ブレ)を補正(防振)する補正手段である。防振ユニット170は、システム制御部150による制御にしたがって、撮像素子105の位置を変える。これにより、像ブレが補正される。この例では、システム制御部150が、補正制御手段として機能し、イベントデータに基づいて動きベクトルを高速で算出し、算出された動きベクトルを撮像装置の動き量として防振ユニット170を駆動する。なお、例えばレンズユニット190側に像ブレを補正するためのレンズを設け、撮像装置がこのレンズを駆動することによって、像ブレ補正を行うようにしてもよい。
イベントセンサ180は、イベントセンサ180の光学系181を通して結像された被写体像の輝度変化を検出して、信号(イベント信号)を生成して出力する画素を有する、イベントベースのビジョンセンサである。イベントセンサ180は、シリアル通信を介してイベント信号をシステム制御部150に出力する。これにより、システム制御部150は、イベント信号に係るデータ(イベントデータ)を取得する。イベントデータは、輝度変化が生じた画素情報を含むデータである。イベントデータは、例えば、輝度変化のタイムスタンプ、輝度変化が検出された画素の座標情報、輝度変化の種類の情報を有する。
イベントセンサ180は、輝度変化が生じた画素情報を出力するので、従来のCMOSセンサと比較すると、出力する情報の冗長性が削減されている。したがって、イベントセンサ180は、高速動作、高ダイナミックレンジ、低電力という特徴を持つ。また、従来のCMOSセンサは、周期的に情報を出力するので、動きベクトルを算出するために必要となるフレームの生成周期がフレームレートに依存する。一方、イベントセンサは、輝度変化が生じたタイミングを含む情報を画素単位で高速に出力する。したがって、システム制御部150が、所定時間の間に発生したイベントデータをマッピングすることで、高速にフレームを生成することができる。マッピングは、イベントデータに対する所定の処理の一例であり、イベントデータに含まれる情報を所定時間(マッピング時間)でひとまとまりにする処理である。また、イベントセンサ180の光学系181は、焦点距離を変動させるアクチュエータを有する。焦点距離は、システム制御部150によって制御される。
次に、レンズユニット190の構成について説明する。レンズユニット190は、交換レンズタイプのレンズユニットであり、被写体光を、レンズ195から、絞り193、レンズ側マウント部192及び本体部側マウント部102、シャッター103を介して導き、撮像素子105上に結像させる。コネクタ191は、レンズユニット190を本体部100と電気的に接続するコネクタである。レンズ側マウント部192は、レンズユニット190を本体部100に接続するためのインターフェースである。絞り193は、レンズ195から入る光量を調整する。
レンズ制御部194は、レンズユニット190全体を制御する。レンズ制御部194は、動作用の定数、変数、プログラム等を記憶するメモリ、レンズユニット190固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値等を保持する不揮発メモリの機能も有する。レンズ制御部194は、画像処理部106によって測定された画像の合焦状態に応じて、レンズ195のフォーカシングを制御し、撮像素子105に入射する被写体像の結像位置を変更して、AF動作を行うことが可能である。また、レンズ制御部194は、絞り193の制御や、レンズ195の焦点距離を制御する機能も有する。
図2は、本実施形態の光学装置が有する防振機構の構成例を示す図である。
システム制御部150は、イベントセンサ180の出力に基づいて動きベクトルを算出し、算出された動きベクトルに基づいて、防振ユニット170を駆動することで、像ブレを補正する。図2に示すように、システム制御部150は、防振制御部300、光学系制御部301、苦手シーン検出部302、動きベクトル算出部303を有する。
システム制御部150は、イベントセンサ180の出力に基づいて動きベクトルを算出し、算出された動きベクトルに基づいて、防振ユニット170を駆動することで、像ブレを補正する。図2に示すように、システム制御部150は、防振制御部300、光学系制御部301、苦手シーン検出部302、動きベクトル算出部303を有する。
動きベクトル算出部303は、イベントセンサ180から取得したイベントデータに基づいて、動きベクトルを算出する。防振制御部300は、算出部303で算出された動きベクトルの値から撮像装置100の動き量を決定し、決定した動き量に基づいて、撮像画像がブレないように防振ユニット170を駆動させる。
光学系制御部301は、光学系181を制御する。光学系制御部301は、苦手シーン検出部302の出力や動きベクトル算出部303の出力に応じて、光学系181の焦点距離の設定範囲を決定し、当該設定範囲内で光学系181の焦点距離を制御する。苦手シーン検出部302は、イベントセンサ180の出力に基づいて、苦手シーンの検出処理を行う。イベントセンサ180の出力に含まれる被写体の画素情報が、動きベクトルを正確に算出できない所定の被写体条件を満たす場合に、苦手シーン検出部302は、苦手シーンが検出されたことを示す情報を検出結果として光学系制御部301に対して通知する。被写体の画素情報は、イベントセンサ180が出力する輝度変化が生じた画素情報のうち、被写体に対応する領域の画素情報である。
図3は、苦手シーンに応じた焦点距離の制御の一例を説明する図である。
図3(A)および図3(C)は、苦手シーンの一例を示す。図3(A)では、被写体が直線状である。画角400内には直線状の被写体401が映っている。また、図3(C)では、被写体のコントラストが低く、閾値以下である。画角402の所定の領域(この例では、中央領域403)が低コントラストになっている。図3(A)、図3(C)が示す苦手シーンでは、動きベクトルを算出するための2組のフレームを比較した場合に、移動方向が一意に定まらないので、算出精度が低下する。
図3(A)および図3(C)は、苦手シーンの一例を示す。図3(A)では、被写体が直線状である。画角400内には直線状の被写体401が映っている。また、図3(C)では、被写体のコントラストが低く、閾値以下である。画角402の所定の領域(この例では、中央領域403)が低コントラストになっている。図3(A)、図3(C)が示す苦手シーンでは、動きベクトルを算出するための2組のフレームを比較した場合に、移動方向が一意に定まらないので、算出精度が低下する。
図3(A)に示す苦手シーンが検出されると、光学系制御部301は、焦点距離を下げて画角を広げる。これにより、図3(B)に示すように、広がった画角404には、図3(A)に示す被写体400の周囲の被写体が含まれるようになり、動きベクトルの算出精度が向上する。また、図3(C)に示す苦手シーンが検出された場合も、光学系制御部301は、焦点距離を下げて画角を広げる。これにより、図3(D)に示すように、広がった画角405には、図3(C)に示すコントラストが低い中央領域403の周囲の被写体が含まれるようになり、動きベクトルの算出精度が向上する。
図4は、従来の動きベクトルの算出方法を説明する図である。
イベントデータ200乃至207は、それぞれ、輝度変化が発生した画素の座標情報を含む。黒い矩形で示す画素が、輝度変化が発生した画素である。時刻208乃至215は、輝度変化が発生した時刻を表す。
イベントデータ200乃至207は、それぞれ、輝度変化が発生した画素の座標情報を含む。黒い矩形で示す画素が、輝度変化が発生した画素である。時刻208乃至215は、輝度変化が発生した時刻を表す。
符号222は、マッピングが開始される時刻(マッピング開始時刻)を示す。この例では、マッピング開始時刻(tm1)216、マッピング開始時刻(tm2)217が図示されている。マッピング開始時刻tm2は、直前のマッピング開始時刻tm1と、符号220で示すマッピング時間mとの和で表される。
符号221は、イベントデータから生成されるフレーム群を表す。フレーム群221には、フレーム218とフレーム219とが含まれる。フレーム218は、マッピング開始時刻tm1からマッピング時間mの間に発生したイベントデータ200~203に含まれる画素の座標をマッピングすることによって生成される。フレーム219は、マッピング開始時刻tm2からマッピング時間mの間に発生したイベントデータ204~207に含まれる画素の座標をマッピングすることによって生成される。そして、動きベクトルは、隣り合うフレーム218とフレーム219を用いたテンプレートマッチングにより算出される。
図4を参照して説明した従来の動きベクトルの算出方法では、フレーム群221を生成する周期が、マッピング時間mに依存している。したがって、動きベクトルの算出周期がマッピング時間mによって決まってしまい、動きベクトルの算出周期を向上させることが困難である。以下に説明する実施例1の光学装置によれば、動きベクトルの算出周期を向上させることが可能となる。
図5は、実施例1の光学装置による動きベクトルの算出方法を説明する図である。
図5に示す符号が示す各要素のうち、図4に示す符号と同一の符号が付された要素は、図4に示す符号が示す要素と同様である。符号223、224、225は、マッピング開始時刻を表す。また、符号229は、マッピング開始時間差dを示す。マッピング開始時間差dは、各フレームに対応するマッピング開始時刻の、直前のフレームに対応するマッピング開始時刻との差分(時間差)を表す。マッピング開始時間差d(第2の時間)は、マッピング時間m(第1の時間)より短い時間に設定される。
図5に示す符号が示す各要素のうち、図4に示す符号と同一の符号が付された要素は、図4に示す符号が示す要素と同様である。符号223、224、225は、マッピング開始時刻を表す。また、符号229は、マッピング開始時間差dを示す。マッピング開始時間差dは、各フレームに対応するマッピング開始時刻の、直前のフレームに対応するマッピング開始時刻との差分(時間差)を表す。マッピング開始時間差d(第2の時間)は、マッピング時間m(第1の時間)より短い時間に設定される。
実施例1では、システム制御部150が、フレームを生成するためのイベントデータのマッピングを、複数のフレームについて一部重複させる。具体的には、システム制御部150は、マッピング開始時間差dに相当する時間が経過するごとに、イベントデータのマッピングを開始して、複数のフレーム226、227、228を連続的に生成する。すなわち、システム制御部150は、各フレームに対応するイベントデータのマッピングを、直前のフレームに対応するイベントデータのマッピング開始時刻からマッピング開始時間差dだけ遅らせて開始する。これにより、図5中のフレーム群230が生成される。
システム制御部150は、マッピング開始時刻tm1からマッピング時間mの間に発生したイベントデータ200~203をマッピングすることにより、フレーム226を生成する。また、システム制御部150は、マッピング開始時刻tm2からマッピング時間mの間に発生したイベントデータ202~205をマッピングすることにより、フレーム227を生成する。マッピング開始時刻tm2は、マッピング開始時刻tm1からマッピング開始時間差dだけ経過した時刻である。また、システム制御部150は、マッピング開始時刻tm3からマッピング時間mの間に発生したイベントデータ204~207をマッピングすることにより、フレーム228を生成する。マッピング開始時刻tm3は、マッピング開始時刻tm2からマッピング開始時間差dだけ経過した時刻である。
マッピング開始時間差dは、イベントデータのマッピングの重複度nに応じて決まる。例えば、マッピング開始時間差dは、以下の式のように、マッピング時間mをイベントデータのマッピングの重複度nで除算して得られる時間に設定される。
マッピング開始時間差d=マッピング時間m/n
マッピング開始時間差d=マッピング時間m/n
図5に示す例では、イベントデータ202および203のマッピングが、2つのフレーム(フレーム226とフレーム227)で重複している。また、イベントデータ204および205のマッピングが、2つのフレーム(フレーム227とフレーム228)で重複している。したがって、図5に示す例では、イベントデータのマッピングの重複度は2である。
システム制御部150は、マッピング開始時刻にマッピング時間mの差がある複数のフレームに基づいて、テンプレートマッチングにより動きベクトルを算出する。図5に示す例では、フレーム226とフレーム228に基づいて、動きベクトルが算出される。また、フレーム227と、マッピング開始時刻tm2からマッピング時間mだけ経過した時刻にマッピングが開始されたフレーム(不図示)とに基づいて、動きベクトルが算出される。これにより、動きベクトルがマッピング開始時間差dごとに算出される。したがって、本実施形態によれば、図4を参照して説明した従来の動きベクトルの算出方法よりも、動きベクトルの算出周期を向上させることができる。
本実施形態の動きベクトルの算出方法による、動きベクトルの算出精度は、主にマッピング時間mによって決まる。算出精度はフレーム群230に含まれるイベントデータの数によって変化し、イベントデータの数はマッピング時間mに依存しているからである。また、時間当たりの発生するイベントデータの数は、被写体条件や焦点距離によって変化するので、動きベクトルの算出精度を維持するためのマッピング時間mの値も被写体条件や焦点距離によって変化する。例えば、イベントセンサの光学系181の焦点距離が大きいほど、画素分解能が上がるので、動きベクトルの算出精度を維持するためのマッピング時間mの値が小さくなる。
一方、動きベクトルの算出周期は、マッピング時間mと重複度nによって決まる。重複度nを大きくすることで、動きベクトルの算出周期は向上するが、光学装置の処理負荷が大きくなってしまう。したがって、本実施形態では、システム制御部150は、マッピング時間mの値を小さくし、重複度nを小さくしても高い算出周期を保てるように、光学系制御部301で設定される光学系181の焦点距離が可能な限り大きくなるように制御する。その上で、システム制御部150は、設定された焦点距離に基づき、動きベクトルの算出精度を維持するようにマッピング時間mを決定する。そして、システム制御部150は、決定されたマッピング時間mに基づいて、動きベクトルの算出周期を維持するように重複度nを設定し、重複度nに応じたマッピング開始時間差dを設定することで算出周期を決定する。
(実施例2)
図6は、実施例2の光学装置の動作処理を説明するフローチャートである。
実施例2の光学機器は、苦手シーンが検出されたか否かに応じて、焦点距離を変更する制御を実行する。図6に示すフローチャート中のSは、当該フローチャートにしたがう各処理のステップ番号を示す。
図6は、実施例2の光学装置の動作処理を説明するフローチャートである。
実施例2の光学機器は、苦手シーンが検出されたか否かに応じて、焦点距離を変更する制御を実行する。図6に示すフローチャート中のSは、当該フローチャートにしたがう各処理のステップ番号を示す。
図6に示すフローチャートにしたがう処理は、システム制御部150が、システムメモリ113に展開されたプログラムを実行することにより実現される。当該処理は、撮影者が被写体に対して撮像装置100を構えた時に開始される。
S501において、システム制御部150が、苦手シーン検出部302による苦手シーンの検出結果に基づいて、苦手シーンが検出されたかを判断する。苦手シーンが検出された場合は、処理がS506に進む。苦手シーンが検出されない場合は、処理がS502に進む。
S501において、システム制御部150が、苦手シーン検出部302による苦手シーンの検出結果に基づいて、苦手シーンが検出されたかを判断する。苦手シーンが検出された場合は、処理がS506に進む。苦手シーンが検出されない場合は、処理がS502に進む。
後述するS502乃至S504の処理において、システム制御部150は、処理負荷を減らすために、苦手シーンが検出されない範囲すなわち被写体の画素情報が所定の被写体条件を満たさない範囲で、焦点距離を徐々に上げていく。これにより、システム制御部150は、焦点距離を、苦手シーンが検出されない範囲での最大値に設定する。また、後述するSS506乃至S508において、システム制御部150は、苦手シーンが検出されない画角になるように、焦点距離を徐々に下げていく。
S502において、システム制御部150が、焦点距離が光学系181で設定できる最大値になっているかを判断する。光学系181で設定できる焦点距離の最大値は、例えば、動きベクトル算出部303の出力に基づいて、公知の技術により決定される。焦点距離が光学系181で設定できる最大値になっている場合は、処理がS509に進む。焦点距離が光学系181で設定できる最大値になっていない場合は、処理がS503に進む。
S503において、システム制御部150が、光学系181の焦点距離を一定値上げる。続いて、S504において、システム制御部150が、苦手シーンが検出されたかを判断する。苦手シーンが検出されない場合は、処理がS502に戻る。苦手シーンが検出された場合は、処理がS505に進む。S505において、システム制御部150が、光学系181の焦点距離を一定値下げる。そして、処理がS509に進む。これにより、光学系181の焦点距離を、苦手シーンが検出されない範囲での最大値となるように制御できる。
また、S506において、システム制御部150が、焦点距離が光学系181で設定できる最小値になっているかを判断する。光学系181で設定できる焦点距離の最小値は、例えば、動きベクトル算出部303の出力に基づいて、公知の技術により決定される。焦点距離が光学系181で設定できる最小値になっている場合は、処理がS509に進む。焦点距離が光学系181で設定できる最小値になっていない場合は、処理がS507に進む。
S507において、システム制御部150が、光学系181の焦点距離を一定値下げる。続いて、S508において、システム制御部150が、苦手シーンが検出されたかを判断する。苦手シーンが検出された場合は、処理がS506に戻る。苦手シーンが検出されない場合は、処理がS509に進む。これにより、光学系181の焦点距離を、苦手シーンが検出されない範囲での最大値となるように制御できる。
次に、S509において、システム制御部150が、光学系181で設定された焦点距離に基づいて、マッピング時間mを設定する。具体的には、システム制御部150は、処理の開始時点から現在までの焦点距離の変化に基づき、動きベクトルの算出精度が維持されるマッピング時間mを設定する。
次に、S510において、システム制御部150が、S509において設定したマッピング時間mに基づいて、重複度nを設定する。具体的には、システム制御部150は、処理の開始時点から現在までのマッピング時間mの変化に基づき、動きベクトルの算出周期が維持される重複度nを設定する。以上説明した本実施形態の光学装置によれば、イベントセンサの出力に基づく動きベクトルの算出精度を維持しつつ、光学装置の負荷を抑えながら、算出周期を向上させることができる。以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、動きベクトル算出装置として機能すれば、光学系を有していない装置でも外部から必要な情報を取得することで本発明を適用できる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 本体部
150 システム制御部
180 イベントセンサ
190 レンズユニット
150 システム制御部
180 イベントセンサ
190 レンズユニット
Claims (13)
- 被写体像の輝度変化を検出する検出手段の出力に基づいて、輝度変化が生じた画素情報を含むデータを取得する取得手段と、
第1の時間において取得される前記データに対して所定の処理を実行して、フレームを生成する生成手段と、
前記データに対する前記所定の処理を複数のフレームについて一部重複させる制御を行う制御手段と、
前記データに対する前記所定の処理の開始時刻に前記第1の時間の差がある複数のフレームに基づいて、動きベクトルを算出する算出手段と、を有する
ことを特徴とする動きベクトル算出装置。 - 前記生成手段は、前記データに対する前記所定の処理の重複度に応じて決まる第2の時間ごとに前記データに対する前記所定の処理を開始して、前記複数のフレームを連続的に生成する
ことを特徴とする請求項1に記載の動きベクトル算出装置。 - 前記算出手段は、前記第2の時間ごとに前記動きベクトルを算出する
ことを特徴とする請求項2に記載の動きベクトル算出装置。 - 前記制御手段は、前記第2の時間を、前記第1の時間を前記データに対する前記所定の処理の重複度で除算して得られる時間に設定する
ことを特徴とする請求項2または請求項3に記載の動きベクトル算出装置。 - 前記データに対する前記所定の処理は、前記データに含まれる輝度変化した画素の座標情報のマッピングである
ことを特徴とする請求項1乃至4のいずれか1項に記載の動きベクトル算出装置。 - 前記検出手段は、イベントベースのビジョンセンサであり、
前記制御手段は、前記ビジョンセンサの光学系の焦点距離に応じて前記第1の時間を設定する
ことを特徴とする請求項1乃至5のいずれか1項に記載の動きベクトル算出装置。 - 前記制御手段は、前記ビジョンセンサの光学系の焦点距離に基づいて、前記第1の時間を設定する
ことを特徴とする請求項6に記載の動きベクトル算出装置。 - 前記制御手段は、前記設定された前記第1の時間に基づいて、前記データに対する前記所定の処理の重複度を設定する
ことを特徴とする請求項7に記載の動きベクトル算出装置。 - 前記ビジョンセンサの光学系を制御する光学系制御手段を有し、
前記光学系制御手段は、前記検出手段の出力に基づいて、被写体の画素情報が所定の条件を満たすと判断した場合に、前記ビジョンセンサの光学系の焦点距離を変更する制御を行う
ことを特徴とする請求項6乃至8のいずれか1項に記載の動きベクトル算出装置。 - 前記光学系制御手段は、被写体が直線状の被写体である場合、または画角の所定の領域のコントラストが閾値より低い場合に、前記ビジョンセンサの光学系の焦点距離を下げる制御を行う
ことを特徴とする請求項9に記載の動きベクトル算出装置。 - 前記光学系制御手段は、前記ビジョンセンサの光学系の焦点距離を、前記被写体の画素情報が前記所定の条件を満たさない範囲での最大値に設定する
ことを特徴とする請求項9または請求項10に記載の動きベクトル算出装置。 - 被写体を撮像する撮像手段と、
被写体像の輝度変化を検出する検出手段の出力に基づいて、輝度変化が生じた画素情報を含むデータを取得する取得手段と、
第1の時間において取得される前記データに対して所定の処理を実行して、フレームを生成する生成手段と、
前記データに対する前記所定の処理を複数のフレームについて一部重複させる制御を行う制御手段と、
前記データに対する前記所定の処理の開始時刻に前記第1の時間の差がある複数のフレームに基づいて、動きベクトルを算出する算出手段と、
前記算出された動きベクトルに基づいて、補正手段を駆動して、撮像画像のブレを補正する補正制御手段を有する
ことを特徴とする撮像装置。 - 被写体像の輝度変化を検出する検出手段の出力に基づいて、輝度変化が生じた画素情報を含むデータを取得する取得工程と、
第1の時間において取得される前記データに対して所定の処理を実行して、フレームを生成する生成工程と、
前記データに対する前記所定の処理を複数のフレームについて一部重複させる制御を行う制御工程と、
前記データに対する前記所定の処理の開始時刻に前記第1の時間の差がある複数のフレームに基づいて、動きベクトルを算出する算出工程と、を有する
ことを特徴とする動きベクトル算出方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021006856A JP2022111437A (ja) | 2021-01-20 | 2021-01-20 | 動きベクトル算出装置、撮像装置および動きベクトル算出方法 |
GB2117885.0A GB2603844B (en) | 2021-01-20 | 2021-12-10 | Motion vector calculation device, imaging device, and motion vector calculation method |
US17/578,138 US11704818B2 (en) | 2021-01-20 | 2022-01-18 | Motion vector calculation device, imaging device, and motion vector calculation method |
DE102022101026.0A DE102022101026A1 (de) | 2021-01-20 | 2022-01-18 | Bewegungsvektorberechnungsvorrichtung, Abbildungsvorrichtung, und Bewegungsvektorberechnungsverfahren |
CN202210053602.8A CN114827394A (zh) | 2021-01-20 | 2022-01-18 | 运动矢量计算装置、摄像装置和运动矢量计算方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021006856A JP2022111437A (ja) | 2021-01-20 | 2021-01-20 | 動きベクトル算出装置、撮像装置および動きベクトル算出方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022111437A true JP2022111437A (ja) | 2022-08-01 |
Family
ID=80080112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021006856A Pending JP2022111437A (ja) | 2021-01-20 | 2021-01-20 | 動きベクトル算出装置、撮像装置および動きベクトル算出方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11704818B2 (ja) |
JP (1) | JP2022111437A (ja) |
CN (1) | CN114827394A (ja) |
DE (1) | DE102022101026A1 (ja) |
GB (1) | GB2603844B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024101210A1 (ja) * | 2022-11-11 | 2024-05-16 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102433931B1 (ko) * | 2015-07-30 | 2022-08-19 | 삼성전자주식회사 | 움직임 인식 방법 및 움직임 인식 장치 |
WO2018219931A1 (en) | 2017-05-29 | 2018-12-06 | Universität Zürich | Block-matching optical flow and stereo vision for dynamic vision sensors |
KR102163416B1 (ko) * | 2018-08-13 | 2020-10-08 | 삼성전기주식회사 | 조리개 모듈 및 이를 포함하는 카메라 모듈 |
JP6860264B2 (ja) | 2019-06-28 | 2021-04-14 | 株式会社Smmプレシジョン | ファラデー回転子及びその製造方法並びに光アイソレータ、光伝送装置 |
-
2021
- 2021-01-20 JP JP2021006856A patent/JP2022111437A/ja active Pending
- 2021-12-10 GB GB2117885.0A patent/GB2603844B/en active Active
-
2022
- 2022-01-18 US US17/578,138 patent/US11704818B2/en active Active
- 2022-01-18 DE DE102022101026.0A patent/DE102022101026A1/de active Pending
- 2022-01-18 CN CN202210053602.8A patent/CN114827394A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024101210A1 (ja) * | 2022-11-11 | 2024-05-16 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
GB202117885D0 (en) | 2022-01-26 |
GB2603844A (en) | 2022-08-17 |
US11704818B2 (en) | 2023-07-18 |
DE102022101026A1 (de) | 2022-07-21 |
US20220230329A1 (en) | 2022-07-21 |
CN114827394A (zh) | 2022-07-29 |
GB2603844B (en) | 2023-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9479692B2 (en) | Image capturing apparatus and method for controlling the same | |
US8228383B2 (en) | Image pickup apparatus and method for controlling ranging area based on detected object | |
US11223774B2 (en) | Imaging apparatus, lens apparatus, and method for controlling the same | |
US10708503B2 (en) | Image capture system, image capturing apparatus, lens unit, control methods therefor, and storage medium | |
JP2017211487A (ja) | 撮像装置及び自動焦点調節方法 | |
CN106470317B (zh) | 摄像设备及其控制方法 | |
JP7210185B2 (ja) | 撮像装置及びその制御方法 | |
US20090167931A1 (en) | Imaging device | |
JP2022111437A (ja) | 動きベクトル算出装置、撮像装置および動きベクトル算出方法 | |
US11202011B2 (en) | Control apparatus, image capturing apparatus, lens apparatus, image capturing system, control method, and storage medium | |
JP2009217188A (ja) | デジタル一眼レフカメラ | |
JP6429497B2 (ja) | 撮像装置、制御方法、及びプログラム | |
JP6552235B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JP2017134185A (ja) | 像ブレ補正装置、撮像装置、レンズ装置、像ブレ補正装置の制御方法、プログラム、および、記憶媒体 | |
JP6786288B2 (ja) | 撮像装置、レンズ装置、制御方法、プログラム、および、記憶媒体 | |
US20230185163A1 (en) | Interchangeable lens device, imaging device, imaging system, method, and program | |
JP7254555B2 (ja) | 撮像装置および撮像装置の制御方法 | |
JP2018113624A (ja) | 撮像装置、及び撮像装置の制御方法 | |
US20240147078A1 (en) | Photographing system having exposure control with sensing result, photographing device, and controlling method | |
JP2018017748A (ja) | 制御装置、撮像装置、レンズ装置、撮像システム、制御方法、プログラム、および、記憶媒体 | |
JP2023119433A (ja) | システム並びに装置、制御方法 | |
JP2023070454A (ja) | 画像処理装置及び方法、及び撮像装置 | |
JP2018146606A (ja) | 画像処理装置、撮像装置および制御方法 | |
JP2010206275A (ja) | 電子カメラ | |
JP2019028343A (ja) | 撮像装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240118 |