JP2024003460A - 姿勢算出装置、姿勢算出方法、姿勢算出装置を備える撮像装置とその制御方法 - Google Patents
姿勢算出装置、姿勢算出方法、姿勢算出装置を備える撮像装置とその制御方法 Download PDFInfo
- Publication number
- JP2024003460A JP2024003460A JP2022102631A JP2022102631A JP2024003460A JP 2024003460 A JP2024003460 A JP 2024003460A JP 2022102631 A JP2022102631 A JP 2022102631A JP 2022102631 A JP2022102631 A JP 2022102631A JP 2024003460 A JP2024003460 A JP 2024003460A
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- attitude
- output
- calculation
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 131
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000003384 imaging method Methods 0.000 title claims description 24
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 230000001133 acceleration Effects 0.000 claims description 49
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000005389 magnetism Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1654—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with electromagnetic compass
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B7/00—Measuring arrangements characterised by the use of electric or magnetic techniques
- G01B7/004—Measuring arrangements characterised by the use of electric or magnetic techniques for measuring coordinates of points
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Gyroscopes (AREA)
- Accessories Of Cameras (AREA)
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Abstract
【課題】 複数のセンサを用いて姿勢角を算出する場合に、精度よく姿勢角を算出することが可能な姿勢算出装置を提供すること。
【解決手段】 姿勢算出手段は、移動装置の動きを検出する第1のセンサと、第2のセンサと、から検出信号を取得する取得手段と、第1のセンサの出力に基づいて移動装置の第1の姿勢情報を算出する第1の算出手段と、第1のセンサの出力と第2のセンサの出力とに基づいて、第1の算出手段と異なる方法で前記移動装置の第2の姿勢情報を算出する第2の算出手段と、移動装置の動きの状態を判定する判定手段と、判定結果に基づいて、前記移動装置の姿勢を決定する決定手段と、を備える。決定手段は、移動装置の動きが第1の状態であると判定された場合は第1の姿勢情報を前記移動装置の姿勢を示す情報とし、移動装置の動きが第1の状態よりも大きい第2の状態であると判定された場合は第2の姿勢情報を移動装置の姿勢を示す情報とする。
【選択図】 図4
【解決手段】 姿勢算出手段は、移動装置の動きを検出する第1のセンサと、第2のセンサと、から検出信号を取得する取得手段と、第1のセンサの出力に基づいて移動装置の第1の姿勢情報を算出する第1の算出手段と、第1のセンサの出力と第2のセンサの出力とに基づいて、第1の算出手段と異なる方法で前記移動装置の第2の姿勢情報を算出する第2の算出手段と、移動装置の動きの状態を判定する判定手段と、判定結果に基づいて、前記移動装置の姿勢を決定する決定手段と、を備える。決定手段は、移動装置の動きが第1の状態であると判定された場合は第1の姿勢情報を前記移動装置の姿勢を示す情報とし、移動装置の動きが第1の状態よりも大きい第2の状態であると判定された場合は第2の姿勢情報を移動装置の姿勢を示す情報とする。
【選択図】 図4
Description
本発明は、動きを検出する複数のセンサを用いて姿勢を算出する技術に関するものである。
ビデオカメラ等の撮像装置には、搭載された角速度センサの出力から相対的な姿勢変化を算出する機能を有するものがある。撮像装置の姿勢は直交する3軸まわりの角度で表現され、角速度センサの出力である角速度を積算することによって運動による姿勢(角度)の変化量を算出できる。しかしながら、角速度センサは温度変化等によって特に低周波帯域での出力が変化する特性があるため、温度変化が生じると、角速度を積算して得られた姿勢が真値からずれてしまう。そのため、加速度センサや地磁気センサといった撮像装置の動きを検出可能な他の種類のセンサを併用することで、角速度センサの出力変化による姿勢の算出角度の誤差を低減する方法が提案されている。
特許文献1には、角速度センサの出力信号と加速度センサ及び地磁気センサの出力信号を合成し、撮像装置の角度を算出する姿勢角算出装置が記載されている。
しかしながら、加速度センサ及び地磁気センサの出力は、低周波帯域の誤差の影響は角速度センサの出力よりも小さいものの、高周波ノイズが多く含まれている。よって、これらセンサの出力信号を常に使用すると、算出する姿勢角度の精度が低下してしまう場合がある。
本発明は上述の課題を鑑みてなされたものであり、複数のセンサの出力を用いて姿勢角を算出する場合に、精度よく姿勢角を算出することが可能な姿勢算出装置を提供することを目的とする。
本発明の一側面としての姿勢算出装置は、移動装置の動きを検出する第1のセンサと、前記第1のセンサが検出する動きと同じ軸における前記移動装置の動きを検出する第2のセンサと、から検出信号を取得する取得手段と、前記第1のセンサの出力に基づいて前記移動装置の第1の姿勢情報を算出する第1の算出手段と、前記第1のセンサの出力と前記第2のセンサの出力とに基づいて、前記第1の算出手段と異なる方法で前記移動装置の第2の姿勢情報を算出する第2の算出手段と、前記第2のセンサの出力に基づいて前記移動装置の動きの状態を判定する判定手段と、前記判定手段による判定結果に基づいて、前記移動装置の姿勢を決定する決定手段と、を備え、前記第1のセンサは、当該第1のセンサの出力が前記第2のセンサの出力よりも、高周波帯域におけるノイズが小さく、低周波帯域における誤差成分と誤差成分の変動との少なくともいずれかが大きいものであり、前記決定手段は、前記第2のセンサの出力に基づいて取得される前記移動装置の動きが第1の状態であると判定された場合は、前記第1の姿勢情報を前記移動装置の姿勢を示す情報とし、前記第2のセンサの出力に基づいて取得される前記移動装置の動きが前記第1の状態よりも大きい第2の状態であると判定された場合は、前記第2の姿勢情報を前記移動装置の姿勢を示す情報とすることを特徴とする。本発明のその他の側面については、以下で説明する実施の形態で明らかにする。
本発明によれば、複数のセンサの出力を用いて、精度よく姿勢角を算出することが可能な姿勢算出装置を提供することができる。
以下に、本発明の好ましい実施形態を添付の図面に基づいて詳細に説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。
本実施形態では、撮像装置であるカメラ100(ビデオカメラを含む)内に姿勢算出装置を設けた形態について図面を参照して説明する。
図1は、本発明の第1の実施形態に係わるカメラ100の構成を示すブロック図である。カメラ100は、主に静止画像と動画像の撮影を行うためのレンズ括り付けのデジタルカメラである。ただし、本発明の適用範囲はレンズ括り付けのデジタルカメラに限定されるものではなく、レンズ交換式のデジタルカメラにも同様に適用できる。また、デジタルカメラ以外の各種の撮像システムに適用することも可能である。
撮像レンズ101は撮像光学系である。簡略化のため、図1にはレンズを1つしか記載していないが、変倍を行うズームレンズ、像ブレ補正を行うシフトレンズ等の像ブレ補正レンズ、焦点調節を行うフォーカスレンズ等を含むことができる。これらの構成により、被写体像を撮像素子102上に結像させる
撮像素子102は撮像レンズ101により結像された被写体像を撮像するものである。被写体像を光電変換して電荷を蓄積し、その電荷を読み出すことにより複数の画素からなる画像信号を信号処理部103へ出力する。撮像素子102は、例えばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等で構成される。
撮像素子102は撮像レンズ101により結像された被写体像を撮像するものである。被写体像を光電変換して電荷を蓄積し、その電荷を読み出すことにより複数の画素からなる画像信号を信号処理部103へ出力する。撮像素子102は、例えばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等で構成される。
信号処理部103は、撮像素子102から出力された画像信号にホワイトバランス調整やガンマ補正等の信号処理を施し、各フレームの画像信号からなる映像信号を生成して画像メモリ104に格納する。表示制御部105は画像メモリ104に格納された映像信号を読み出し、表示デバイス106に画像を表示させる。表示デバイス106は、画像を表示することができるデバイスであり、例えばLCD(Liquid Crystal Display)パネルで構成される。
角速度センサ107は、カメラ100に加わる動き(振れ)の角速度を検出するセンサであり、直交する3本の検出軸で各軸まわりの角速度を検出する角速度検出部として機能する。検出軸の詳細については後述する。角速度センサ107は例えばジャイロセンサである。本発明及び本明細書では、角速度センサ107のように、カメラ100に加わる動きの角速度を検出するセンサであっても、カメラ100の動きを検出するという。なお、角速度センサ107は、1つの検出軸の各軸回りの角速度を検出する3つの角速度センサが別々に設けられてもよいし、ユニット化されていてもよい。角速度センサ107は、検出信号である角速度信号を姿勢演算部200に出力する。
加速度センサ108は、カメラ100に加わる動き(振れ)の加速度を検出するセンサであり、直交する3本の検出軸で加速度を検出する加速度検出部として機能する。これにより、重力方向を検出することができる。本発明及び本明細書では、加速度センサ108のように、カメラ100に加わる動きの加速度を検出するセンサであっても、カメラ100の動きを検出するという。なお、加速度センサ108は、1つの検出軸の各軸回りの加速度を検出する3つの加速度センサが別々に設けられてもよいし、ユニット化されていてもよい。加速度センサ108は、検出信号である加速度信号を姿勢演算部200に出力する。
地磁気センサ109は、カメラ100が受ける磁気を検出するセンサであり、直交する3本の検出軸で磁気を検出することで地磁気の方向を検出する地磁気検出部として機能する。地磁気センサ109はカメラ100の動きそのものを検出するセンサではないが、地磁気の方向の変化に基づいてカメラ100の動きを検出することができる。よって、本発明及び本明細書では、地磁気センサ109のように、カメラ100に加わる動きの地磁気の方向を検出するセンサであっても、カメラ100の動きを検出するという。なお、地磁気センサ109は、1つの検出軸の各軸回りの地磁気を検出する3つの地磁気センサが別々に設けられてもよいし、ユニット化されていてもよい。地磁気センサ109は、検出信号である地磁気信号を姿勢演算部200に出力する。
姿勢演算部200は角速度センサ107から出力された角速度信号、加速度センサ108から出力された加速度信号、及び地磁気109センサから出力された地磁気信号を用いた演算処理を行う。これにより、カメラ100の姿勢を示す情報(以下、姿勢情報と呼ぶことがある)として、基準角度に対する現在のカメラ100の角度(以下、姿勢角と呼ぶことがある)を算出する。
姿勢演算部200による詳細な姿勢算出方法は後述する。姿勢演算部200は算出した姿勢情報を記録制御部111に出力する。
操作部110は、ユーザのカメラ操作による、映像(動画)記録開始及び停止の操作情報を取得する。操作部110は、例えばタッチパネルやスイッチ等で構成される。
記録制御部111は操作部110から映像の記録が指示された場合、画像メモリ104に格納された映像信号と姿勢演算部200から出力された姿勢情報とを同期させて記録媒体112に出力し、記録させる。記録媒体112は、カメラ100に備え付けられていてもよいし、可搬式であってもよく、例えば半導体メモリやハードディスク等で構成される。
図2は、カメラ100の姿勢を表すための絶対座標系を示す図である。絶対座標系は、直交する3軸で構成される。本実施形態では絶対座標系の3軸をXO、YO、ZOで表し、東方向をXO軸、重力方向をYO軸、北方向をZO軸と定義する。また、絶対座標系のXO軸まわりの回転角をPitch角(ピッチ角)、YO軸まわりの回転角をYaw角(ヨー角)、ZO軸まわりの回転角をRoll角(ロール角)とする。
図2(a)は、カメラ100の姿勢が第1の姿勢である時のカメラ100と絶対座標との関係を示す図である。図2(b)は、カメラ100の姿勢が第1の姿勢から変化した後のカメラ100と絶対座標との関係を示す図である。絶対座標系の各軸の向きは、カメラ100(搭載されたセンサを含む)の姿勢が変化しても変化しない。
本実施形態では、図2(a)に示すように、撮像レンズ101の光軸がZO軸、カメラ100水平方向がXO軸と一致する第1の姿勢をとるときの姿勢角(Pitch角、Yaw角、Roll角)を0角度であるとして説明をする。カメラ100が所定の姿勢をとるときの、この0角度に対する変位角を初期角度とし、後述する加速度角度演算部201及び地磁気角度演算部202で算出する。以降は初期角度を基準とした相対的な角度をカメラの姿勢角として算出する。所定の姿勢は特に問わず、例えば、カメラの電源起動時の姿勢でもよいし、映像記録開始時の変位角でもよい。この場合、初期角度は、それぞれ、カメラの電源起動時の変位角または、映像記録開始時の変位角となる。
図3は、角速度センサ107の検出方向を表すためのセンサ座標系を示す図である。センサ座標系は、直交する3軸で構成される。本実施形態ではセンサ座標系の3軸をX、Y、Zで表し、角速度センサ107は、X、Y、Z軸を中心とする回転角の速度を検出する。また、カメラ100が上述の第1の姿勢をとるときはセンサ座標系の3軸をX、Y、Zの向きが絶対座標系のXO、YO、ZOの向きとそれぞれ一致しているものとする。
図3(a)は、角速度センサ107が固定されているカメラ100が第1の姿勢をとるとき(映像記録開始時)のカメラ100とセンサ座標との関係を示す図である。図3(b)は、カメラ100の姿勢が第1の姿勢から変化したときのカメラ100とセンサ座標との関係を示す図である。センサ座標系は、カメラ100の姿勢が変化すると、その変化に相当する回転角で回転し、各軸(X、Y、Z)の向きが変化する。そのため、角速度センサ107の出力からカメラ100の姿勢を算出するためには、センサ座標系から絶対座標系への変換が必要である。この変換方法についての説明は後述する。
図3では、角速度センサ107のみについて説明したが、加速度センサ108及び地磁気センサ109の出力についても同様にセンサ座標系で表されるため、絶対座標系への変換が必要である。尚、本実施形態では、角速度センサ107と加速度センサ108と地磁気センサ109との検出軸はX、Y、Zで一致しているものとするが、各センサの検出軸がズレている場合はその補正を行うことで同様に姿勢を検出することができる。
以下、姿勢演算部200による姿勢情報の算出について説明する。姿勢演算部200は、姿勢情報を算出する方法が異なる第1の算出手段と第2の算出手段とを有し、カメラ100の動きの大きさに応じていずれの算出手段で算出された姿勢情報をカメラの姿勢情報とするかを決定して出力する。カメラ100の動きが小さいときは、低周波帯域の誤差と誤差変化が加速度センサ108と地磁気センサ109よりも生じやすいが、高周波帯域のノイズ成分が少ない角速度センサ107の出力に基づいて姿勢情報を検出する第1の算出手段を選択する。カメラの動きが大きいときは、角速度センサ107の出力に加えて、加速度センサ108と地磁気センサ109の出力にも基づいて姿勢情報を算出する第2の算出手段を選択する。このように、角速度センサ107の出力のみに基づいて姿勢情報を算出すると誤差が生じやすい状態のときに加速度センサ108と地磁気センサ109も用いて姿勢を算出する。これにより、低周波帯域の誤差と高周波帯域のノイズ成分との影響を軽減した姿勢情報を算出することができる。
図4及び図5を用いて姿勢演算部200による姿勢情報の算出について詳細に説明する。図4は、姿勢演算部200の構成を示すブロック図である。また、図5は、姿勢演算部200における処理の流れを示すフローチャート図である。図5に示す処理は、任意の所定の周期で繰り返し実行される。
姿勢演算部200を構成する各ブロックについて説明をする。加速度角度演算部201は、加速度センサ108から出力されたセンサ座標系における加速度信号(Ax、Ay、Az:X軸加速度、Y軸加速度、Z軸加速度)から絶対座標系におけるPitch角θA及びRoll角φAを(式1)、(式2)によって算出する。算出結果は、静止判定部203及びカルマンフィルタ演算部207に出力する。
地磁気角度演算部202は、地磁気センサ109から出力されたセンサ座標系における地磁気信号(Mx、My、Mz:X軸地磁気、Y軸地磁気、Z軸地磁気)から絶対座標系におけるYaw角を算出する。まず、センサ座標系で表される地磁気信号(Mx、My、Mz)と、後述する出力決定部208から出力される姿勢角(ψ、θ、φ:Yaw角、Pitch角、Roll角)とを用いて、絶対座標系における地磁気信号(Mx’、My’、Mz’:X0軸地磁気、Y0軸地磁気、Z0軸地磁気)を(式3)によって算出する。尚、出力決定部208から出力される姿勢角(ψ、θ、φ)を第3の姿勢情報と呼ぶことがある。
算出した絶対座標系における地磁気信号から(式4)によってYaw角ψMを算出し、算出結果を静止判定部203及びカルマンフィルタ演算部207に出力する。
静止判定部203は、加速度角度演算部201から出力されたPitch角θA及びRoll角φA、及び地磁気角度演算部202から出力されたYaw角ψMを用いて、カメラ100に生じている動きの状態を判定する判定手段として機能する。本実施形態の静止判定部203は、カメラ100の動きの状態として静止しているか否かを判定し、その判定結果(静止状態/非静止状態)をオフセット演算部204及び出力決定部208に出力する。静止判定部203は、例えば、Pitch角θA及びRoll角φA、Yaw角ψMの所定時間の出力変動幅が、それぞれ所定値以内であればカメラ100が静止状態であると判定する。静止判定部203は、低周波帯域の誤差が角速度センサ107よりも小さい加速度センサ108と地磁気センサ109との出力に基づいてカメラ100に生じている動きの状態を判定する。そのため、角速度センサ107の出力に基づいて動きの状態を判定するよりも、精度よく動きの状態を判定できる。
オフセット演算部204は、角速度センサ107から出力された角速度信号に含まれるオフセット値を算出して出力する。以下、オフセット演算部204で算出されたオフセット値を、オフセット算出値と呼ぶ。本実施形態では、静止判定部203でカメラ100が静止状態であると判定された場合にのみ、オフセット値を新たに算出して出力することで、オフセット算出値を更新する。一方で、非静止状態であると判定された場合にはオフセット値の算出と更新はせず、前回のオフセット算出値を出力する。本実施形態では、オフセット算出値は、所定の期間に出力される角速度信号の平均値とする。尚、平均値の代わりに、所定の期間に出力される角速度信号に対してローパスフィルタ処理を施して抽出した低周波帯域の成分を、オフセット算出値としてもよい。
オフセット減算器205は、角速度センサ107から出力された角速度信号からオフセット演算部204から出力されたオフセット算出値を差し引いたオフセット補正後角速度信号を角速度角度演算部206に出力する。
角速度角度演算部206は、角速度に基づいて、カメラの姿勢情報を算出する第1の算出手段として機能する。角速度角度演算部206は、オフセット減算器205から出力されたオフセット補正後角速度信号及び後述する出力決定部208から出力された姿勢角に基づいて絶対座標系におけるカメラ100の姿勢角を算出して出力する。角速度角度演算部206により算出される姿勢角(ψG,θG,φG:Yaw角、Pitch角、Roll角)を以下、第1の姿勢情報と呼ぶことがある。
角速度角度演算部206による絶対座標系におけるカメラ100の姿勢角の算出方法について説明をする。まず、(式5)に示すようにセンサ座標系で表されるオフセット補正後角速度信号(ωy,ωx,ωz:Yaw角速度、Pitch角速度、Roll角速度)を、後述する出力決定部208から出力される姿勢角(ψ、θ、φ)を用いて絶対座標系における
次に、(式6)に示すように、算出した絶対座標系における
を積算することによって絶対座標系における角度(ψG,θG,φG)を算出する。角速度信号の積分器(ψG(t-1),θG(t-1),φG(t-1))は、映像記録開始時(t=0)では0であり、時間経過とともに角速度信号が検出され、角速度が積算されていく。
角速度角度演算部206は、算出した絶対座標系における角度(ψG,θG,φG)を、カルマンフィルタ演算部207及び出力決定部208に出力する。
カルマンフィルタ演算部207は、角速度角度演算部206から出力された姿勢角(ψG,θG,φG)に加え、加速度センサと地磁気センサとの検出結果も用いて第2の姿勢情報を算出する第2の算出手段として機能する。具体的には、角速度角度演算部206から出力された姿勢角(ψG,θG,φG)、加速度角度演算部201から出力されたPitch角θA及びRoll角φA、及び地磁気角度演算部202から出力されたYaw角ψMをカルマンフィルタに入力する。これにより、各出力に含まれる誤差を低減した第2の姿勢情報(ψK,θK,φK:Yaw角、Pitch角、Roll角)を算出する。
カルマンフィルタ演算部207による第2の姿勢情報の算出方法について説明をする。カルマンフィルタは状態方程式及び観測方程式からリアルタイムに最適な状態値を推定するフィルタである。カルマンフィルタは公知の情報であるため、詳細な説明は省略する。(式7)に示すように、カルマンフィルタの状態値x(t)を求めるべき姿勢角(ψK,θK,φK)とし、観測値y(t)を加速度角度演算部201及び地磁気角度演算部202から出力された姿勢角(ψM、θA、φA)とする。さらに、入力値u(t)を角速度角度演算部206から出力された姿勢角(ψG,θG,φG)とすると、状態方程式及び観測方程式は(式8)で示される。
なお、プロセスノイズv(t)、及び観測ノイズw(t)は、各センサ(角速度センサ107、加速度センサ108、地磁気センサ109)に含まれるノイズや発生する誤差を勘案して、公知の技術に則って、適切な値に設定する。
出力決定部208は、静止判定部203によるカメラ100の静止判定結果に応じて、第1の姿勢情報と第2の姿勢情報とのいずれをカメラ100の姿勢情報として出力するかを決定する。そして、決定された方の姿勢情報を第3の姿勢情報(ψ、θ、φ)として記録制御部111に出力する。出力決定部208は、静止判定結果が、カメラ100が静止状態であることを示す場合には角速度角度演算部206から出力された第1の姿勢情報(ψG,θG,φG)を第3の姿勢情報(ψ、θ、φ)として出力する。一方、出力決定部208は、静止判定結果が、カメラが非静止状態であることを示す場合にはカルマンフィルタ演算部207から出力された第2の姿勢情報(ψK,θK,φK)を第3の姿勢情報(ψ、θ、φ)として出力する。
このように構成される姿勢演算部200による姿勢情報の算出フローについて、図5のフローチャートを用いて説明をする。
まず、ステップS101において、加速度角度演算部201は、加速度センサ108から出力されたセンサ座標系における加速度信号(Ax、Ay、Az)から絶対座標系におけるPitch角θA及びRoll角φAを算出する。
次に、ステップS102において、地磁気角度演算部202は、地磁気センサ109から出力されたセンサ座標系における地磁気信号(Mx、My、Mz)から絶対座標系におけるYaw角を算出する。
次に、ステップS103において、静止判定部203は、ステップS101で算出したPitch角θA、Roll角φA、ステップS102で算出したYaw角ψMを用いて、カメラ100が静止しているか否かを判定する。静止状態であると判定された場合は、ステップS104へ進み、静止状態でない(非静止状態である)と判定された場合は、ステップS105へ進む。
ステップS104において、オフセット演算部204は、角速度センサ107から出力された角速度信号に含まれるオフセット値を算出して、前回のステップS104で算出されたオフセット値を更新してステップS105へ進む。
ステップS105において、角速度角度演算部206は、オフセット補正後角速度信号(ωy,ωx,ωz)及び前回のフローで出力決定部208から出力された姿勢角(ψ,θ,φ)に基づいて、カメラの第1の姿勢情報(ψG,θG,φG)を算出する。
ステップS106では、カルマンフィルタ演算部207は、ステップS105で算出された第1の姿勢情報(ψG,θG,φG)、加速度角度演算部201と地磁気角度演算部202からから出力されたPitch角θA、Roll角φA、Yaw角ψMに基づいて第2の姿勢情報(ψK,θK,φK)を算出する。
ステップS107では、ステップS103で静止判定部203が判定した結果を参照する。判定結果が静止状態であることを示す場合(つまり、ステップS104を経由してステップS107へ至った場合)はステップS108へ進む。判定結果が静止状態であることを示さない場合(つまり、ステップS104を経由せずにステップS107へ至った場合)はステップS109へ進む。
ステップS108では、角速度センサ107の出力に基づいて算出された第1の姿勢をカメラ100の姿勢情報として出力する。ステップS108を実行する場合、カメラ100が静止状態であるため、角速度センサ107の出力に含まれる低周波帯域の誤差成分の影響がオフセット算出値の減算により十分に低減できていることが推測される。そのため、高周波帯域のノイズの影響が第2の姿勢よりも小さい第1の姿勢をカメラ100の姿勢情報として出力する。
一方、ステップS109では、角速度センサ107、加速度センサ108及び地磁気センサ109の出力に基づいて算出された第2の姿勢をカメラ100の姿勢情報として出力する。ステップS109を実行する場合、カメラ100が非静止状態であり、カメラ100の動きに起因する低周波成分と誤差とを分離することが難しいため、加速度センサ108及び地磁気センサ109の検出結果にも基づいて姿勢情報を算出する。
以上説明してきたように、本実施形態によれば、加速度センサ及び地磁気センサに含まれる高周波ノイズによる影響を抑えつつ、温度等による角速度センサの低周波帯域の誤差または誤差変動の影響を精度よく補正し、カメラの姿勢角を算出することが可能となる。
[変形例]
上述の実施形態では、カメラ100の姿勢は、撮像レンズ101の光軸がZO軸、カメラ本体の水平方向がXO軸と一致する状態を0角度とし、初期角度に対する相対的な角度として算出する方法について説明した。しかしながら、0角度として設定する姿勢は特に問わない。例えば、Pitch角に対して傾いた状態が0角度であってもよい。
上述の実施形態では、カメラ100の姿勢は、撮像レンズ101の光軸がZO軸、カメラ本体の水平方向がXO軸と一致する状態を0角度とし、初期角度に対する相対的な角度として算出する方法について説明した。しかしながら、0角度として設定する姿勢は特に問わない。例えば、Pitch角に対して傾いた状態が0角度であってもよい。
上述の実施形態では、角速度センサ107を第2のセンサよりも低周波帯域の誤差成分または誤差成分の変動が大きく、高周波帯域のノイズ成分が小さい第1のセンサとした。また、加速度センサ108及び地磁気センサ109を第1のセンサよりも低周波帯域の誤差成分または誤差成分の変動は小さく、高周波帯域のノイズ成分が大きい第2のセンサとした。しかしながら、使用するセンサはこれらに限定されない。角度情報が取得できる別のセンサを用いる場合、低周波帯域の誤差成分または誤差成分の変動が相対的に大きく高周波帯域のノイズ成分が相対的に小さいものを上述の実施形態における角速度センサに当てはめる。そして、低周波帯域の誤差成分または誤差成分の変動が相対的に小さく高周波帯域のノイズ成分が相対的に大きいものを上述の実施形態における加速度センサ及び地磁気センサに当てはめることで、上述の実施形態と同様に姿勢情報を算出することができる。
また、上述の実施形態では、静止しているか否かに応じて第1の算出手段と第2の算出手段のいずれで算出された姿勢情報をカメラの姿勢情報とするかを選択したが、本発明はこれに限定されない。例えば、静止しているとまでは言えなくても、角速度センサ107の出力に基づいて姿勢を算出したほうが算出される姿勢の精度が高いと判断される程度の小さな動きしか生じていない場合は、第1の姿勢情報をカメラ100の姿勢情報とする形態でもよい。
また、上述の実施形態では、撮像装置であるカメラ100が姿勢算出装置を備える形態について説明をしたが、姿勢算出装置はこれに限定されず、姿勢算出装置が姿勢を算出する対象である移動装置も撮像装置に限定されない。
例えば、上述の実施形態の機能を有し、車体の姿勢として傾斜角を算出するための傾斜角検出装置として機能する姿勢算出装置も本発明に含む。また、本発明及び本明細書において移動装置とは駆動部を備え、自力で移動できる移動体(自動車や電車などの車両、ドローンなどの航空機を含む)だけではなく、ユーザや移動体によって姿勢を変えることができる可搬装置を含む。具体的には、撮像装置のほか、携帯電話(スマートフォン)、タブレット、パーソナルコンピュータ、ヘッドマウントディスプレイ、スマートグラス等を含む。
また、姿勢算出装置は、必ずしも移動装置内に設けられていなくてもよい。移動装置内に設けられた各種センサから検出信号を受信できれば、姿勢算出装置は移動装置から離れた位置に設置され、移動装置と一体的に移動しない構成としてもよい。検出信号の受信は、有線または無線の通信により取得可能に構成されていれば良い。
また、上述の実施形態では、カメラが静止状態であってもカルマンフィルタ演算部207により第2の姿勢情報の算出を行った。しかしながら、カメラが静止状態であり、決定手段が角速度角度演算部206からの出力を姿勢算出手段200からの出力とする場合は、カルマンフィルタ演算部207での第2の姿勢情報の算出を一時的に停止してもよい。例えば、第2の姿勢情報(ψK,θK,φK)の算出を行うステップS106を、ステップS107で静止状態でないと判定された後に行ってもよい。
上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光/光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。また、上述の実施形態の一部を適宜組み合わせてもよい。
100 カメラ
107 角速度センサ
108 加速度センサ
109 地磁気センサ
200 姿勢演算部
201 加速度角度演算部
202 地磁気角度演算部
203 静止判定部
204 オフセット演算部
205 オフセット減算器
206 角速度角度演算部
207 カルマンフィルタ演算部
208 出力決定部
107 角速度センサ
108 加速度センサ
109 地磁気センサ
200 姿勢演算部
201 加速度角度演算部
202 地磁気角度演算部
203 静止判定部
204 オフセット演算部
205 オフセット減算器
206 角速度角度演算部
207 カルマンフィルタ演算部
208 出力決定部
Claims (13)
- 移動装置の動きを検出する第1のセンサと、前記第1のセンサが検出する動きと同じ軸における前記移動装置の動きを検出する第2のセンサと、から検出信号を取得する取得手段と、
前記第1のセンサの出力に基づいて前記移動装置の第1の姿勢情報を算出する第1の算出手段と、
前記第1のセンサの出力と前記第2のセンサの出力とに基づいて、前記第1の算出手段と異なる方法で前記移動装置の第2の姿勢情報を算出する第2の算出手段と、
前記第2のセンサの出力に基づいて前記移動装置の動きの状態を判定する判定手段と、
前記判定手段による判定結果に基づいて、前記移動装置の姿勢を決定する決定手段と、を備え、
前記第1のセンサは、当該第1のセンサの出力が前記第2のセンサの出力よりも、高周波帯域におけるノイズが小さく、低周波帯域における誤差成分と誤差成分の変動との少なくともいずれかが大きいものであり、
前記決定手段は、
前記第2のセンサの出力に基づいて取得される前記移動装置の動きが第1の状態であると判定された場合は、前記第1の姿勢情報を前記移動装置の姿勢を示す情報とし、
前記第2のセンサの出力に基づいて取得される前記移動装置の動きが前記第1の状態よりも大きい第2の状態であると判定された場合は、前記第2の姿勢情報を前記移動装置の姿勢を示す情報とすることを特徴とする姿勢算出装置。 - 前記第1の姿勢情報と前記第2の姿勢情報とのそれぞれは、所定の姿勢に対する前記移動装置のYaw角とPitch角とRoll角との角度の情報を含むことを特徴とする請求項1に記載の姿勢算出装置。
- 前記第1のセンサは、3軸における前記移動装置の動きを検出し、
前記第2のセンサは、3軸における前記移動装置の動きを検出することを特徴とする請求項1に記載の姿勢算出装置。 - 前記第1の算出手段は、
前記第1のセンサの出力に対してローパスフィルタ処理を施した信号に基づいて前記第1の姿勢情報を算出することを特徴とする請求項1に記載の姿勢算出装置。 - 前記第1の算出手段は、
所定の期間の前記第1のセンサの出力の平均値を第1のセンサの出力から除した信号に基づいて前記第1の姿勢情報を算出することを特徴とする請求項1に記載の姿勢算出装置。 - 前記第1のセンサは前記移動装置の動きの角速度を検出する角速度センサであり、
前記第2のセンサは前記移動装置の動きの加速度を検出する加速度センサまたは前記移動装置の方向の変化を検出する地磁気センサの少なくともいずれかであることを特徴とする請求項1に記載の撮像装置。 - 前記第1の姿勢情報と前記第2の姿勢情報とのそれぞれは、前記移動装置のYaw角とPitch角とRoll角とであり、
前記第2のセンサは、前記地磁気センサと前記加速度センサとを有し、
前記第2の算出手段は、
前記地磁気センサの出力と前記角速度センサの出力とに基づいて前記Yaw角を算出し、前記加速度センサの出力と前記角速度センサの出力とに基づいて前記Pitch角と前記Roll角とを算出する請求項6に記載の姿勢算出装置。 - 前記第1の状態は、前記移動装置が静止している状態であることを特徴とする請求項1に記載の姿勢算出装置。
- 前記第2の算出手段は、
前記第1のセンサの出力に基づく信号と前記第2のセンサの出力に基づく信号とをカルマンフィルタに入力することで前記第2の姿勢情報を算出することを特徴とする請求項1に記載の姿勢算出装置。 - 撮像光学系により結像される被写体像を撮像する撮像素子を備える撮像装置であって、
前記撮像素子が出力する画像信号の記録を制御する記録制御手段と、
請求項1乃至9のいずれか1項に記載の姿勢算出装置と、を備え、
前記姿勢算出装置が算出する前記移動装置の姿勢は、前記撮像装置の姿勢であり、
前記記録制御手段は、前記画像信号と前記決定手段により決定された前記撮像装置の姿勢とを同期づけて記録することを特徴とする撮像装置。 - 前記第1のセンサと前記第2のセンサとを備える請求項10に記載の撮像装置。
- 駆動部を備える移動体であって、
請求項1乃至9のいずれか1項に記載の姿勢算出装置を備え、
前記姿勢算出装置が算出する前記移動装置の姿勢は、前記移動体の姿勢であることを特徴とする移動体。 - 移動装置の姿勢を示す情報を算出する姿勢算出装置の制御方法であって、
前記移動装置の動きを検出する第1のセンサと、前記第1のセンサが検出する動きと同じ軸における前記移動装置の動きを検出する第2のセンサと、からの検出信号を取得する取得工程と、
前記第1のセンサの出力に基づいて前記移動装置の第1の姿勢を示す情報を算出する第1の算出工程と、
前記第1のセンサの出力と前記第2のセンサの出力とに基づいて、前記第1の算出工程と異なる方法で前記移動装置の第2の姿勢を示す情報を算出する第2の算出工程と、
前記第2のセンサの出力に基づいて前記移動装置の動きの状態を判定する判定工程と、
前記判定工程による判定結果に基づいて、前記移動装置の姿勢を決定する決定工程と、を有し、
前記第1のセンサは、当該第1のセンサの出力が前記第2のセンサの出力よりも、高周波帯域におけるノイズが小さく、低周波帯域における誤差成分と誤差成分の変動との少なくともいずれかが大きいものであり、
前記決定工程において、
前記第2のセンサの出力に基づいて取得される前記移動装置の動きが第1の状態であると判定された場合は、前記第1の姿勢を示す情報を前記移動装置の姿勢を示す情報とし、
前記第2のセンサの出力に基づいて取得される前記移動装置の動きが前記第1の状態よりも大きい第2の状態であると判定された場合は、前記第2の姿勢を示す情報を前記移動装置の姿勢を示す情報とすることを特徴とする姿勢算出装置の制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022102631A JP2024003460A (ja) | 2022-06-27 | 2022-06-27 | 姿勢算出装置、姿勢算出方法、姿勢算出装置を備える撮像装置とその制御方法 |
US18/340,670 US20230417553A1 (en) | 2022-06-27 | 2023-06-23 | Orientation calculation apparatus, orientation calculation method, imaging apparatus including orientation calculation apparatus, and method for controlling same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022102631A JP2024003460A (ja) | 2022-06-27 | 2022-06-27 | 姿勢算出装置、姿勢算出方法、姿勢算出装置を備える撮像装置とその制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024003460A true JP2024003460A (ja) | 2024-01-15 |
Family
ID=89323715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022102631A Pending JP2024003460A (ja) | 2022-06-27 | 2022-06-27 | 姿勢算出装置、姿勢算出方法、姿勢算出装置を備える撮像装置とその制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20230417553A1 (ja) |
JP (1) | JP2024003460A (ja) |
-
2022
- 2022-06-27 JP JP2022102631A patent/JP2024003460A/ja active Pending
-
2023
- 2023-06-23 US US18/340,670 patent/US20230417553A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230417553A1 (en) | 2023-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200314340A1 (en) | Anti-shake method and apparatus for panoramic video, and portable terminal | |
JP4586534B2 (ja) | 撮像装置、手ブレ補正装置、携帯電話機および手ブレ補正方法 | |
JP6098874B2 (ja) | 撮像装置および画像処理装置 | |
US8159541B2 (en) | Image stabilization method and apparatus | |
JP6128389B2 (ja) | 撮像装置 | |
KR101856947B1 (ko) | 촬영장치, 움직임 추정장치, 영상 보정 방법, 움직임 추정방법 및 컴퓨터 판독가능 기록매체 | |
US20170085740A1 (en) | Systems and methods for storing images and sensor data | |
US11412142B2 (en) | Translation correction for optical image stabilization | |
JP2006099109A (ja) | 2つの2軸線形加速度計を用いて画像取込装置の動きを検出するためのシステムおよび方法 | |
US11042984B2 (en) | Systems and methods for providing image depth information | |
US9210323B2 (en) | Image capture device and image processor | |
JP2017147682A (ja) | 全天球撮影システム | |
CN114338994A (zh) | 光学防抖方法、装置、电子设备和计算机可读存储介质 | |
JP2011188345A (ja) | 携帯電子機器 | |
JP2014016451A (ja) | 撮像装置、手振れ補正量算出方法、手振れ補正量算出プログラム | |
JP2024003460A (ja) | 姿勢算出装置、姿勢算出方法、姿勢算出装置を備える撮像装置とその制御方法 | |
CN113301249B (zh) | 全景视频处理方法、装置、计算机设备和存储介质 | |
JP2024003461A (ja) | 姿勢算出装置、姿勢算出方法、姿勢算出装置を備える撮像装置とその制御方法 | |
JP7269354B2 (ja) | 撮像装置、システム、像ぶれ補正方法、プログラム、及び記録媒体 | |
JP7017961B2 (ja) | ぶれ補正装置及びぶれ補正方法 | |
JP2012237884A (ja) | ブレ補正装置及び光学機器 | |
US20150103191A1 (en) | Imaging apparatus and detecting apparatus | |
JP2015049446A (ja) | 撮像装置 | |
JP2021111902A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20230199326A1 (en) | Systems and methods for capturing stabilized images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |