JP2020181059A - 撮像装置及びその制御方法、姿勢角算出装置、プログラム、記憶媒体 - Google Patents
撮像装置及びその制御方法、姿勢角算出装置、プログラム、記憶媒体 Download PDFInfo
- Publication number
- JP2020181059A JP2020181059A JP2019083211A JP2019083211A JP2020181059A JP 2020181059 A JP2020181059 A JP 2020181059A JP 2019083211 A JP2019083211 A JP 2019083211A JP 2019083211 A JP2019083211 A JP 2019083211A JP 2020181059 A JP2020181059 A JP 2020181059A
- Authority
- JP
- Japan
- Prior art keywords
- imaging device
- motion vector
- angular velocity
- detection
- acceleration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 80
- 238000003384 imaging method Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims description 61
- 239000013598 vector Substances 0.000 claims abstract description 76
- 230000001133 acceleration Effects 0.000 claims abstract description 54
- 238000001514 detection method Methods 0.000 claims description 70
- 230000008859 change Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 36
- 238000006243 chemical reaction Methods 0.000 description 31
- 238000012545 processing Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 230000000295 complement effect Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000005389 magnetism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 241001290864 Schoenoplectus Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C1/00—Measuring angles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/04—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by terrestrial means
- G01C21/08—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by terrestrial means involving use of the magnetic field of the earth
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P13/00—Indicating or recording presence, absence, or direction, of movement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
- G01P15/02—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses
- G01P15/08—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses with conversion into electric or magnetic values
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental & Geological Engineering (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geology (AREA)
- Automation & Control Theory (AREA)
- Studio Devices (AREA)
- Accessories Of Cameras (AREA)
- Adjustment Of Camera Lenses (AREA)
- Gyroscopes (AREA)
Abstract
Description
図1は、本発明の第1の実施形態に係わる撮像システム100の構成を示すブロック図である。撮像システム100は、主に静止画像と動画像の撮影を行うためのレンズ交換式あるいはレンズ括り付けのデジタルカメラである。ただし、本発明の適用範囲はデジタルカメラに限定されるものではなく、各種の撮像システムに適用することが可能である。
θv=tan-1(Yv/f) …(式2)
また、(式1)、(式2)で算出したYaw角ψv、Pitch角θvを、処理される周期ごとに積算し続ける。積算後のYaw角をψv_int、Pitch角をθv_intとし、ドリフト推定部113へ出力する。
y(t)=C(t)x(t)+n(t) …(式15)
姿勢角演算方法の一例を図6のフローチャートを参照しながら説明する。なお、図6に示される処理は、各センサの検出周期など、任意の所定の周期で繰り返し実行される。
図7は、本発明の第2の実施形態に係わる撮像システム150の構成を示すブロック図である。なお、図1と同様の構成には同じ符号を付し、説明は省略する。図7は、図1の構成に対し、ドリフト推定部113が削除され、ドリフト推定部113とは異なる制御のドリフト推定部118が追加された構成となっている。また、図1の姿勢演算部200が内部構成の異なる姿勢演算部250となっている。以下、図8のブロック図を用いて、本実施形態における姿勢演算部250の構成と、その動作について具体的に説明する。なお図8において、図4と同様の構成には同じ符号を付し、説明は省略する。図8の姿勢演算部250の構成は、図4の構成に対し、角速度角度変換部201が削除され、クォータニオン変換部207が追加された構成となっている。
図8において、クォータニオン変換部207は、角速度センサ110から出力される角速度データと、ドリフト推定部118から出力されるデータを、姿勢角演算部206から出力される姿勢角データから差し引いたデータを、回転角度へ変換する。まず、姿勢角演算部206から出力される姿勢角データからドリフト推定部118のデータを差し引いたデータを(ψEst_q,θEst_q,φEst_q)とすると、(式24)を用いてクォータニオンへ変換できる。その後、角速度センサ110から出力されるY軸回り、X軸回り、Z軸回りの角速度データを(ωy,ωx,ωz)とし、(式25)を用いて角速度からクォータニオンへ変換する。所定の積分時間をtとし、(式25)で求めたクォータニオンを積分した値を(式26)の回転行列を用いてオイラー角(ψG,θG,φG)へ変換し、姿勢角演算部206へ出力する。
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
Claims (15)
- 撮像装置であって、
前記撮像装置の動きの角速度を検出する角速度検出手段と、
前記撮像装置の動きの加速度を検出する加速度検出手段と、
前記撮像装置で撮像された画像に基づいて動きベクトルを検出する動きベクトル検出手段と、
前記角速度検出手段の検出値と、前記加速度検出手段の検出値と、前記動きベクトル検出手段の検出値とに基づいて前記撮像装置の姿勢角を算出する算出手段と、を備え、
前記算出手段は、前記動きベクトル検出手段により得られた検出値を用いて前記角速度検出手段の出力を補正し、補正した値に基づいて前記撮像装置の姿勢角を算出することを特徴とする撮像装置。 - 前記算出手段は、前記撮像装置の姿勢角を、加速度が変化しない軸に基づく座標系での姿勢角として算出することを特徴とする請求項1に記載の撮像装置。
- 前記撮像装置に加わる地磁気を検出する地磁気検出手段をさらに備え、前記算出手段は、前記角速度検出手段の検出値と、前記加速度検出手段の検出値と、前記動きベクトル検出手段の検出値と、前記地磁気検出手段の検出値とに基づいて、前記撮像装置の姿勢角を算出することを特徴とする請求項1または2に記載の撮像装置。
- 前記地磁気検出手段の検出値の信頼性を判定する判定手段をさらに備え、前記算出手段は、前記判定手段の判定結果に基づいて、前記地磁気検出手段の検出値を前記撮像装置の姿勢角の算出に用いるか否かを決定することを特徴とする請求項3に記載の撮像装置。
- 前記算出手段は、前記判定手段により前記地磁気検出手段の信頼性が所定値以上と判定された場合に、前記地磁気検出手段の検出値を前記撮像装置の姿勢角の算出に用いることを特徴とする請求項4に記載の撮像装置。
- 前記算出手段は、前記判定手段により前記地磁気検出手段の信頼性が所定値より低いと判定された場合に、前記地磁気検出手段の検出値を前記撮像装置の姿勢角の算出に用いないことを特徴とする請求項5に記載の撮像装置。
- 前記判定手段により前記地磁気検出手段の信頼性が所定値より低いと判定された場合に、ユーザーにその旨を通知する通知手段をさらに備えることを特徴とする請求項4乃至6のいずれか1項に記載の撮像装置。
- 前記算出手段から得られる前記撮像装置の姿勢角と、前記動きベクトル検出手段により得られる検出値とを用いて、前記算出手段の算出誤差を推定する推定手段をさらに備え、前記算出手段は、前記角速度検出手段の検出値と、前記加速度検出手段の検出値と、前記地磁気検出手段の検出値と、前記推定手段による推定値とに基づいて、前記撮像装置の姿勢角を算出することを特徴とする請求項4乃至7のいずれか1項に記載の撮像装置。
- 前記算出手段により算出された姿勢角に基づく情報を、画像に関連付けて記録する記録手段をさらに備えることを特徴とする請求項1乃至8のいずれか1項に記載の撮像装置。
- 前記算出手段は、オイラー角を用いて前記撮像装置の姿勢角を算出することを特徴とする請求項2に記載の撮像装置。
- 前記算出手段は、クォータニオンを用いて前記撮像装置の姿勢角を算出することを特徴とする請求項3に記載の撮像装置。
- 撮像装置の制御方法であって、
前記撮像装置の動きの角速度を検出する角速度検出工程と、
前記撮像装置の動きの加速度を検出する加速度検出工程と、
前記撮像装置で撮像された画像に基づいて動きベクトルを検出する動きベクトル検出工程と、
前記角速度検出工程の検出値と、前記加速度検出工程の検出値と、前記動きベクトル検出工程の検出値とに基づいて前記撮像装置の姿勢角を算出する算出工程と、を有し、
前記算出工程では、前記動きベクトル検出工程において得られた検出値を用いて前記角速度検出工程の出力を補正し、補正した値に基づいて前記撮像装置の姿勢角を算出することを特徴とする撮像装置の制御方法。 - 請求項12に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
- 請求項12に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
- 撮像装置の動きの角速度情報を取得する角速度取得手段と、
前記撮像装置の動きの加速度情報を取得する加速度取得手段と、
前記撮像装置で撮像された画像に基づく動きベクトル情報を取得する動きベクトル取得手段と、
前記角速度取得手段により取得した角速度情報と、前記加速度取得手段により取得した加速度情報と、前記動きベクトル取得手段により取得した動きベクトル情報とに基づいて前記撮像装置の姿勢角を算出する算出手段と、を備え、
前記算出手段は、前記動きベクトル検出手段により取得した動きベクトル情報を用いて前記角速度検出手段により取得した角速度情報を補正し、補正した情報に基づいて前記撮像装置の姿勢角を算出することを特徴とする姿勢角算出装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019083211A JP7240241B2 (ja) | 2019-04-24 | 2019-04-24 | 撮像装置及びその制御方法、姿勢角算出装置、プログラム、記憶媒体 |
US16/845,679 US11361465B2 (en) | 2019-04-24 | 2020-04-10 | Image capturing apparatus and control method thereof, and orientation angle calculation apparatus for estimating orientation of image capturing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019083211A JP7240241B2 (ja) | 2019-04-24 | 2019-04-24 | 撮像装置及びその制御方法、姿勢角算出装置、プログラム、記憶媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020181059A true JP2020181059A (ja) | 2020-11-05 |
JP2020181059A5 JP2020181059A5 (ja) | 2022-04-26 |
JP7240241B2 JP7240241B2 (ja) | 2023-03-15 |
Family
ID=72917219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019083211A Active JP7240241B2 (ja) | 2019-04-24 | 2019-04-24 | 撮像装置及びその制御方法、姿勢角算出装置、プログラム、記憶媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11361465B2 (ja) |
JP (1) | JP7240241B2 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009031295A (ja) * | 2008-08-05 | 2009-02-12 | Olympus Corp | 移動体姿勢検出装置 |
WO2009150793A1 (ja) * | 2008-06-09 | 2009-12-17 | パナソニック株式会社 | 撮像装置、撮像方法 |
JP2011139169A (ja) * | 2009-12-25 | 2011-07-14 | Canon Inc | 撮像装置 |
JP2012088466A (ja) * | 2010-10-19 | 2012-05-10 | Canon Inc | 防振制御装置、撮像装置、及び防振制御方法 |
JP2012173301A (ja) * | 2011-02-17 | 2012-09-10 | Nikon Corp | ブレ補正装置及び光学機器 |
JP2015114438A (ja) * | 2013-12-10 | 2015-06-22 | キヤノン株式会社 | 画像処理装置およびそれを備えた撮像装置、画像処理方法 |
JP2017060091A (ja) * | 2015-09-18 | 2017-03-23 | カシオ計算機株式会社 | 姿勢推定装置、姿勢推定方法及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050168597A1 (en) * | 2004-02-04 | 2005-08-04 | Clay Fisher | Methods and apparatuses for formatting and displaying content |
US10165276B2 (en) * | 2010-09-30 | 2018-12-25 | Texas Instruments Incorporated | Method and apparatus for frame coding in vertical raster scan order for HEVC |
JP5061264B1 (ja) | 2012-03-23 | 2012-10-31 | 国立大学法人 千葉大学 | 小型姿勢センサ |
JP6152511B2 (ja) * | 2013-03-29 | 2017-06-28 | 株式会社メガチップス | 携帯端末装置、プログラムおよび補正方法 |
JP6585995B2 (ja) * | 2015-11-06 | 2019-10-02 | クラリオン株式会社 | 画像処理システム |
FR3048783B1 (fr) * | 2016-03-11 | 2018-04-06 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Procede de detection d'une anomalie dans le cadre de l'utilisation d'un dispositif de localisation magnetique |
US10726569B2 (en) * | 2017-05-16 | 2020-07-28 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium |
-
2019
- 2019-04-24 JP JP2019083211A patent/JP7240241B2/ja active Active
-
2020
- 2020-04-10 US US16/845,679 patent/US11361465B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009150793A1 (ja) * | 2008-06-09 | 2009-12-17 | パナソニック株式会社 | 撮像装置、撮像方法 |
JP2009031295A (ja) * | 2008-08-05 | 2009-02-12 | Olympus Corp | 移動体姿勢検出装置 |
JP2011139169A (ja) * | 2009-12-25 | 2011-07-14 | Canon Inc | 撮像装置 |
JP2012088466A (ja) * | 2010-10-19 | 2012-05-10 | Canon Inc | 防振制御装置、撮像装置、及び防振制御方法 |
JP2012173301A (ja) * | 2011-02-17 | 2012-09-10 | Nikon Corp | ブレ補正装置及び光学機器 |
JP2015114438A (ja) * | 2013-12-10 | 2015-06-22 | キヤノン株式会社 | 画像処理装置およびそれを備えた撮像装置、画像処理方法 |
JP2017060091A (ja) * | 2015-09-18 | 2017-03-23 | カシオ計算機株式会社 | 姿勢推定装置、姿勢推定方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7240241B2 (ja) | 2023-03-15 |
US20200342618A1 (en) | 2020-10-29 |
US11361465B2 (en) | 2022-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6663040B2 (ja) | 奥行き情報取得方法および装置、ならびに画像取得デバイス | |
US20200314340A1 (en) | Anti-shake method and apparatus for panoramic video, and portable terminal | |
US8310563B2 (en) | Imaging apparatus, imaging method, and program | |
JP6209002B2 (ja) | 撮像装置およびその制御方法 | |
JP5027746B2 (ja) | 位置測定方法、位置測定装置、およびプログラム | |
US20100149368A1 (en) | Imaging apparatus, imaging method, and program | |
US20100141735A1 (en) | Imaging apparatus, imaging method, and program | |
JP2016525842A (ja) | カメラ動き予測及び修正のための方法 | |
US20020041282A1 (en) | Shape measurement system | |
JP2010014450A (ja) | 位置測定方法、位置測定装置、およびプログラム | |
JP2017147682A (ja) | 全天球撮影システム | |
US20190045127A1 (en) | Image pick-up apparatus and control method thereof | |
US11196929B2 (en) | Signal processing device, imaging device, and signal processing method | |
JP5886241B2 (ja) | 携帯型撮影装置 | |
JP7240241B2 (ja) | 撮像装置及びその制御方法、姿勢角算出装置、プログラム、記憶媒体 | |
US20220174217A1 (en) | Image processing method and device, electronic device, and computer-readable storage medium | |
JP6725106B2 (ja) | 撮像装置 | |
JP2015095670A (ja) | 撮像装置、その制御方法、および制御プログラム | |
US9210384B2 (en) | System and method for real time registration of images | |
JP7017961B2 (ja) | ぶれ補正装置及びぶれ補正方法 | |
JP5409451B2 (ja) | 3次元変化検出装置 | |
US20150103191A1 (en) | Imaging apparatus and detecting apparatus | |
JP2015049446A (ja) | 撮像装置 | |
JP2020061770A (ja) | 全天球画像生成方法、全天球画像生成表示方法、全天球画像生成システムのプログラム及び全天球画像生成表示システムのプログラム | |
US11282223B2 (en) | Signal processing apparatus, signal processing method, and imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220418 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220418 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230303 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7240241 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |