JP2017060091A - 姿勢推定装置、姿勢推定方法及びプログラム - Google Patents
姿勢推定装置、姿勢推定方法及びプログラム Download PDFInfo
- Publication number
- JP2017060091A JP2017060091A JP2015185127A JP2015185127A JP2017060091A JP 2017060091 A JP2017060091 A JP 2017060091A JP 2015185127 A JP2015185127 A JP 2015185127A JP 2015185127 A JP2015185127 A JP 2015185127A JP 2017060091 A JP2017060091 A JP 2017060091A
- Authority
- JP
- Japan
- Prior art keywords
- axis
- rotation angle
- unit
- relative rotation
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 50
- 239000013598 vector Substances 0.000 claims abstract description 133
- 238000003384 imaging method Methods 0.000 claims abstract description 70
- 230000001133 acceleration Effects 0.000 claims abstract description 44
- 230000005484 gravity Effects 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims description 97
- 238000012545 processing Methods 0.000 claims description 41
- 230000008569 process Effects 0.000 claims description 25
- 230000006870 function Effects 0.000 description 18
- 230000009466 transformation Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
- G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
- G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Heart & Thoracic Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Electromagnetism (AREA)
- Power Engineering (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Gyroscopes (AREA)
- Navigation (AREA)
- Automation & Control Theory (AREA)
Abstract
Description
加速度センサからの出力信号に基づいて、第1の方向のベクトルを検出する第1検出手段と、
連続して撮像された複数の画像を取得する取得手段と、
前記取得手段により取得された前記複数の画像に基づいて、前記複数の画像間における第1の軸回りの相対的な回転角度を算出する算出手段と、
前記算出手段により算出された前記第1の軸回りの前記相対的な回転角度及び前記第1検出手段により検出された前記第1の方向のベクトルに基づいて、前記第1の方向とは異なる第2の方向を推定する推定手段と、
を備えた、
ことを特徴としている。
姿勢推定装置を用いた姿勢推定方法であって、
加速度センサからの出力信号に基づいて、第1の方向のベクトルを検出する処理と、
連続して撮像された複数の画像を取得する処理と、
取得された前記複数の画像に基づいて、前記複数の画像間における第1の軸回りの相対的な回転角度を算出する処理と、
算出された前記第1の軸回りの前記相対的な回転角度及び検出された前記第1の方向のベクトルに基づいて、前記第1の方向とは異なる第2の方向を推定する処理と、
を含む、
ことを特徴としている。
姿勢推定装置のコンピュータを、
加速度センサからの出力信号に基づいて、第1の方向のベクトルを検出する第1検出手段、
連続して撮像された複数の画像を取得する取得手段、
前記取得手段により取得された前記複数の画像に基づいて、前記複数の画像間における第1の軸回りの相対的な回転角度を算出する算出手段、
前記算出手段により算出された前記第1の軸回りの前記相対的な回転角度及び前記第1検出手段により検出された前記第1の方向のベクトルに基づいて、前記第1の方向とは異なる第2の方向を推定する推定手段、
として機能させる、
ことを特徴としている。
また、中央制御部1、メモリ2、撮像部3、画像処理部4、加速度検出部5、角速度検出部6、姿勢推定部7、表示部8及び記録媒体制御部9は、バスライン11を介して接続されている。
電子撮像部3bは、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサから構成され、レンズ部3aの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、図示は省略するが、撮像部3は、レンズ部3aを通過する光の量を調整する絞りを備えていても良い。
なお、撮像制御部3cは、AF(自動合焦処理)、AE(自動露出処理)、AWB(自動ホワイトバランス)等の被写体を撮影する際の条件の調整制御を行っても良い。
また、画像処理部4は、画像を再生表示する場合には、記録媒体9a(後述)等から読み出された表示対象に係る静止画像や動画像の画像データを対応する所定の符号化方式に従って復号して表示部8に出力する。このとき、画像処理部4は、例えば、表示パネル8bの表示解像度等に基づいて所定サイズ(例えば、VGAやQVGAサイズ)に縮小して表示部8に出力しても良い。
すなわち、加速度検出部5は、例えば、当該撮像装置100本体の互いに直交する3軸方向の加速度をそれぞれ検出する3軸加速度センサ5aを具備し、この3軸加速度センサ5aからの出力信号に基づいて、第1の方向のベクトルを検出する。具体的には、加速度検出部5は、3軸加速度センサ5aによる各軸の検出信号の時間平均に基づいて第1の方向のベクトルを生成する。3軸加速度センサ5aは、重力加速度の他に並進加速度も検出するため、第1の方向と重力方向(第2の方向)とは一般的に異なる。
なお、上記した第1の方向のベクトルの生成手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
また、加速度検出部5により検出される第1の方向のベクトル値は、所定の格納手段(例えば、メモリ2等)に一時的に格納されても良い。
ここで、第1の軸としては、当該撮像装置100本体のロール軸やピッチ軸が挙げられるが(図2参照)、以下の説明では、第1の軸としてロール軸を例示して説明する。
すなわち、角速度検出部6は、例えば、当該撮像装置100本体の互いに直交する3軸(ロール軸、ピッチ軸及びヨー軸)を中心とする回動の角速度をそれぞれ検出する3軸角速度センサ6aを具備し、この3軸角速度センサ6aからの出力信号に基づいて、当該撮像装置100本体のロール軸(第1の軸)回りの角速度を検出する。
なお、角速度検出部6により検出されるロール軸(第1の軸)回りの角速度の値は、所定の格納手段(例えば、メモリ2等)に一時的に格納されても良い。
なお、姿勢推定部7の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
すなわち、画像取得部7aは、撮像部3による任意の被写体の撮影の際に、例えば、画像処理部4により逐次生成されたライブビュー画像に係る複数のフレーム画像の画像データをメモリ2から逐次取得する。
すなわち、動きベクトル検出部7bは、撮像部3により連続して撮像され、画像取得部7aにより取得された複数のフレーム画像間における特徴点の動きベクトルを検出する。
具体的には、動きベクトル検出部7bは、例えば、画像取得部7aにより取得された複数のフレーム画像に対して特徴検出処理を行う。そして、動きベクトル検出部7bは、これら複数のフレーム画像のうちの、何れか一つのフレーム画像を基準フレーム画像として、当該基準フレーム画像から所定数の特徴の高いブロック領域(特徴点)を選択し、当該ブロックの内容をテンプレート(例えば、8×8画素の正方形等)として検出する。また、動きベクトル検出部7bは、複数のフレーム画像のうちの、基準フレーム画像よりも時間軸で後ろ(或いは、前)の一つのフレーム画像内にて各テンプレートがどこに対応するか、つまり、対象画像内にてテンプレートの画素値が最適にマッチする位置(対応領域)をそれぞれ探索し、画素値の相違度の評価値(例えば、差分二乗和(SSD)や差分絶対値和(SAD)等)が最も良かったものを当該テンプレートの動きベクトルとして算出する。
そして、動きベクトル検出部7bは、それぞれの特徴点について算出された全ての動きベクトルを統合して、当該一つのフレーム画像における全体の動きベクトルとして算出する。
なお、上記した動きベクトルの検出手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
すなわち、角度算出部7cは、画像取得部7aにより取得された複数のフレーム画像に基づいて、当該複数のフレーム画像間におけるロール軸(第1の軸)回りの相対的な回転角度を算出する。具体的には、角度算出部7cは、動きベクトル検出部7bにより検出された動きベクトルに基づいて、複数のフレーム画像間におけるロール軸(第1の軸)回りの相対的な回転角度を算出する。
ここで、複数のフレーム画像間における動きベクトルに基づいて相対的な回転角度を算出する方法は、公知の技術であるので、詳細な説明は省略するが、例えば、角度算出部7cは、動きベクトル検出部7bにより検出された一つのフレーム画像の全体の動きベクトルに基づいて、ロール軸(第1の軸)を回転中心として画像を回転させる線形変換(例えば、アフィン変換等)のパラメータを算出し、当該一つのフレーム画像の基準フレーム画像に対する相対的な回転角度を算出する。
なお、上記した相対的な回転角度の算出手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
例えば、特徴点の識別が困難な暗所で撮影された画像や平坦な画像からは動きベクトルの検出が不可能となる場合がある。そこで、角度算出部7cは、例えば、ライブビュー画像の輝度値や画素値のばらつき量(非平坦度)等に基づいて、動きベクトル検出部7bにより動きベクトルを検出可能であるか否かを判定し、検出不可と判定された場合に、角速度検出部6により検出されたロール軸(第1の軸)回りの角速度に基づいて、ロール軸(第1の軸)回りの相対的な回転角度を算出する。
すなわち、方向推定部(推定手段)7dは、角度算出部7cにより算出されたロール軸(第1の軸)回りの相対的な回転角度及び加速度検出部5により検出された第1の方向のベクトルに基づいて、重力方向(第2の方向)を推定する。具体的には、方向推定部7dは、ロール軸(第1の軸)回りの相対的な回転角度及び第1の方向のベクトルに基づいて、カルマンフィルタにより当該撮像装置100のロール軸(第1の軸)回りの回転角度を算出する。そして、方向推定部7dは、算出されたロール軸(第1の軸)回りの回転角度から当該撮像装置100の姿勢(重力方向(第2の方向)に対する傾き)を求めることで、重力方向(第2の方向)を推定する。
xt+1=Atxt+Rtut+wt …式(1)
yt=Htxt+vt …式(2)
上記式において、xtはロール軸(第1の軸)回りの回転角度、utは動きベクトル或いは角速度から算出されるロール軸(第1の軸)回りの相対的な回転角度、Rtは回転行列、At、Htはそれぞれ単位行列、ytは重力方向のベクトル、wt及びvtはそれぞれシステムノイズ及び観測ノイズである。
なお、表示パネル8bとしては、例えば、液晶表示パネルや有機EL(Electro-Luminescence)表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。
なお、記録媒体9aは、例えば、不揮発性メモリ(フラッシュメモリ)等により構成されている。
そして、ユーザにより各種ボタンが操作されると、操作入力部10は、操作されたボタンに応じた操作指示を中央制御部1に出力する。中央制御部1は、操作入力部10から出力され入力された操作指示に従って所定の動作(例えば、被写体の撮影等)を各部に実行させる。
なお、操作入力部10は、表示部8の表示パネル8bと一体となって設けられたタッチパネル(図示略)を有していても良い。
次に、撮像装置100による姿勢推定処理について、図3を参照して説明する。
図3は、姿勢推定処理に係る動作の一例を示すフローチャートである。
なお、ステップS2における第1の方向のベクトルの検出と、ステップS3における複数のフレーム画像の取得の順序は、一例であってこれに限られるものではなく、逆であっても良い。
ここで、動きベクトルを検出可能であると判定されると(ステップS4;YES)、動きベクトル検出部7bは、画像取得部7aにより取得された複数のフレーム画像間における特徴点の動きベクトルを検出する(ステップS5)。
一方、動きベクトルを検出可能でないと判定されると(ステップS4;NO)、角速度検出部6は、3軸角速度センサ6aからの出力信号に基づいて、当該撮像装置100本体のロール軸(第1の軸)回りの角速度を検出する(ステップS6)。なお、ロール軸(第1の軸)回りの角速度の検出は、当該姿勢推定処理の最中は常に行われても良い。
これにより、姿勢推定処理を終了する。
従って、連続して撮像された複数のフレーム画像を利用して当該複数のフレーム画像間におけるロール軸(第1の軸)回りの相対的な回転角度を算出することができ、この結果、例えば、手ぶれ補正などにおいて当該撮像装置100の姿勢の推定をより適正に行うことができる。
例えば、第2の方向を重力方向とし、第1の軸を当該撮像装置100のロール軸やピッチ軸としたが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
すなわち、プログラムメモリ(図示略)に、第1検出処理ルーチン、取得処理ルーチン、算出処理ルーチン、推定処理ルーチンを含むプログラムを記録しておく。そして、第1検出処理ルーチンにより中央制御部1のCPUを、加速度センサからの出力信号に基づいて、第1の方向のベクトルを検出する手段として機能させるようにしても良い。また、取得処理ルーチンにより中央制御部1のCPUを、連続して撮像された複数の画像を取得する手段として機能させるようにしても良い。また、算出処理ルーチンにより中央制御部1のCPUを、取得された複数の画像に基づいて、複数の画像間における第1の軸回りの相対的な回転角度を算出する手段として機能させるようにしても良い。また、推定処理ルーチンにより中央制御部1のCPUを、算出された第1の軸回りの相対的な回転角度及び検出された第1の方向のベクトルに基づいて、第1の方向とは異なる第2の方向を推定する手段として機能させるようにしても良い。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<付記1>
加速度センサからの出力信号に基づいて、第1の方向のベクトルを検出する第1検出手段と、
連続して撮像された複数の画像を取得する取得手段と、
前記取得手段により取得された前記複数の画像に基づいて、前記複数の画像間における第1の軸回りの相対的な回転角度を算出する算出手段と、
前記算出手段により算出された前記第1の軸回りの前記相対的な回転角度及び前記第1検出手段により検出された前記第1の方向のベクトルに基づいて、前記第1の方向とは異なる第2の方向を推定する推定手段と、
を備えた、
ことを特徴とする姿勢推定装置。
<付記2>
前記取得手段により取得された前記複数の画像間における特徴点の動きベクトルを検出する第2検出手段を更に備え、
前記算出手段は、前記第2検出手段により検出された前記動きベクトルに基づいて、前記複数の画像間における前記第1の軸回りの前記相対的な回転角度を算出することを特徴とする付記1に記載の姿勢推定装置。
<付記3>
角速度センサからの出力信号に基づいて、前記第1の軸回りの角速度を検出する第3検出手段を更に備え、
前記算出手段は、前記第2検出手段により前記動きベクトルを検出不可の場合に、前記第3検出手段により検出された前記第1の軸回りの角速度に基づいて、前記第1の軸回りの前記相対的な回転角度を算出することを特徴とする付記2に記載の姿勢推定装置。
<付記4>
撮像手段を更に備え、
前記第2検出手段は、前記撮像手段により連続して撮像され、前記取得手段により取得された前記複数の画像間における前記特徴点の前記動きベクトルを検出することを特徴とする付記2又は3に記載の姿勢推定装置。
<付記5>
前記推定手段は、前記算出手段により算出された前記第1の軸回りの前記相対的な回転角度及び前記第1検出手段により検出された前記第1の方向のベクトルに基づいて、カルマンフィルタにより当該姿勢推定装置の前記第1の軸回りの回転角度を算出することで、前記第2の方向を推定することを特徴とする付記1〜4の何れか一つに記載の姿勢推定装置。
<付記6>
前記第2の方向は、重力方向であり、
前記第1の軸は、当該姿勢推定装置のロール軸及びピッチ軸のうちの、少なくとも一方を含むことを特徴とする付記1〜5の何れか一つに記載の姿勢推定装置。
<付記7>
姿勢推定装置を用いた姿勢推定方法であって、
加速度センサからの出力信号に基づいて、第1の方向のベクトルを検出する処理と、
連続して撮像された複数の画像を取得する処理と、
取得された前記複数の画像に基づいて、前記複数の画像間における第1の軸回りの相対的な回転角度を算出する処理と、
算出された前記第1の軸回りの前記相対的な回転角度及び検出された前記第1の方向のベクトルに基づいて、前記第1の方向とは異なる第2の方向を推定する処理と、
を含む、
ことを特徴とする姿勢推定方法。
<付記8>
姿勢推定装置のコンピュータを、
加速度センサからの出力信号に基づいて、第1の方向のベクトルを検出する第1検出手段、
連続して撮像された複数の画像を取得する取得手段、
前記取得手段により取得された前記複数の画像に基づいて、前記複数の画像間における第1の軸回りの相対的な回転角度を算出する算出手段、
前記算出手段により算出された前記第1の軸回りの前記相対的な回転角度及び前記第1検出手段により検出された前記第1の方向のベクトルに基づいて、前記第1の方向とは異なる第2の方向を推定する推定手段、
として機能させる、
ことを特徴とするプログラム。
1 中央制御部
3 撮像部
5 加速度検出部
5a 3軸加速度センサ
6 角速度検出部
6a 3軸角速度センサ
7 姿勢推定部
7a 画像取得部
7b 動きベクトル検出部
7c 角度算出部
7d 方向推定部
加速度センサからの出力信号に基づいて、第1の方向のベクトルを検出する第1検出手段と、
連続して撮像された複数の画像を取得する取得手段と、
前記取得手段により取得された前記複数の画像に基づいて、前記複数の画像の間における第1の軸の回りの相対的な回転角度を算出する算出手段と、
前記算出手段により算出された前記第1の軸の回りの前記相対的な回転角度及び前記第1検出手段により検出された前記第1の方向のベクトルに基づいて、前記第1の方向とは異なる第2の方向を推定する推定手段と、
を備えた、
ことを特徴とする。
姿勢推定装置を用いた姿勢推定方法であって、
加速度センサからの出力信号に基づいて、第1の方向のベクトルを検出する処理と、
連続して撮像された複数の画像を取得する処理と、
取得された前記複数の画像に基づいて、前記複数の画像の間における第1の軸の回りの相対的な回転角度を算出する処理と、
算出された前記第1の軸の回りの前記相対的な回転角度及び検出された前記第1の方向のベクトルに基づいて、前記第1の方向とは異なる第2の方向を推定する処理と、
を含む、
ことを特徴とする。
姿勢推定装置のコンピュータを、
加速度センサからの出力信号に基づいて、第1の方向のベクトルを検出する第1検出手段、
連続して撮像された複数の画像を取得する取得手段、
前記取得手段により取得された前記複数の画像に基づいて、前記複数の画像の間における第1の軸の回りの相対的な回転角度を算出する算出手段、
前記算出手段により算出された前記第1の軸の回りの前記相対的な回転角度及び前記第1検出手段により検出された前記第1の方向のベクトルに基づいて、前記第1の方向とは異なる第2の方向を推定する推定手段、
として機能させる、
ことを特徴とする。
ここで、第1の軸としては、当該撮像装置100本体のロール軸やピッチ軸が挙げられるが(図2参照)、以下の説明では、第1の軸としてロール軸を例示して説明する。
すなわち、角速度検出部6は、例えば、当該撮像装置100本体の互いに直交する3軸(ロール軸、ピッチ軸及びヨー軸)を中心とする回動の角速度をそれぞれ検出する3軸角速度センサ6aを具備し、この3軸角速度センサ6aからの出力信号に基づいて、当該撮像装置100本体のロール軸(第1の軸)の回りの角速度を検出する。
なお、角速度検出部6により検出されるロール軸(第1の軸)の回りの角速度の値は、所定の格納手段(例えば、メモリ2等)に一時的に格納されても良い。
すなわち、動きベクトル検出部7bは、撮像部3により連続して撮像され、画像取得部7aにより取得された複数のフレーム画像の間における特徴点の動きベクトルを検出する。
具体的には、動きベクトル検出部7bは、例えば、画像取得部7aにより取得された複数のフレーム画像に対して特徴検出処理を行う。そして、動きベクトル検出部7bは、これら複数のフレーム画像のうちの、何れか一つのフレーム画像を基準フレーム画像として、当該基準フレーム画像から所定数の特徴の高いブロック領域(特徴点)を選択し、当該ブロックの内容をテンプレート(例えば、8×8画素の正方形等)として検出する。また、動きベクトル検出部7bは、複数のフレーム画像のうちの、基準フレーム画像よりも時間軸で後ろ(或いは、前)の一つのフレーム画像内にて各テンプレートがどこに対応するか、つまり、対象画像内にてテンプレートの画素値が最適にマッチする位置(対応領域)をそれぞれ探索し、画素値の相違度の評価値(例えば、差分二乗和(SSD)や差分絶対値和(SAD)等)が最も良かったものを当該テンプレートの動きベクトルとして算出する。
そして、動きベクトル検出部7bは、それぞれの特徴点について算出された全ての動きベクトルを統合して、当該一つのフレーム画像における全体の動きベクトルとして算出する。
なお、上記した動きベクトルの検出手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
すなわち、角度算出部7cは、画像取得部7aにより取得された複数のフレーム画像に基づいて、当該複数のフレーム画像の間におけるロール軸(第1の軸)の回りの相対的な回転角度を算出する。具体的には、角度算出部7cは、動きベクトル検出部7bにより検出された動きベクトルに基づいて、複数のフレーム画像の間におけるロール軸(第1の軸)の回りの相対的な回転角度を算出する。
ここで、複数のフレーム画像の間における動きベクトルに基づいて相対的な回転角度を算出する方法は、公知の技術であるので、詳細な説明は省略するが、例えば、角度算出部7cは、動きベクトル検出部7bにより検出された一つのフレーム画像の全体の動きベクトルに基づいて、ロール軸(第1の軸)を回転中心として画像を回転させる線形変換(例えば、アフィン変換等)のパラメータを算出し、当該一つのフレーム画像の基準フレーム画像に対する相対的な回転角度を算出する。
なお、上記した相対的な回転角度の算出手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
例えば、特徴点の識別が困難な暗所で撮影された画像や平坦な画像からは動きベクトルの検出が不可能となる場合がある。そこで、角度算出部7cは、例えば、ライブビュー画像の輝度値や画素値のばらつき量(非平坦度)等に基づいて、動きベクトル検出部7bにより動きベクトルを検出可能であるか否かを判定し、検出不可と判定された場合に、角速度検出部6により検出されたロール軸(第1の軸)の回りの角速度に基づいて、ロール軸(第1の軸)の回りの相対的な回転角度を算出する。
すなわち、方向推定部(推定手段)7dは、角度算出部7cにより算出されたロール軸(第1の軸)の回りの相対的な回転角度及び加速度検出部5により検出された第1の方向のベクトルに基づいて、重力方向(第2の方向)を推定する。具体的には、方向推定部7dは、ロール軸(第1の軸)の回りの相対的な回転角度及び第1の方向のベクトルに基づいて、カルマンフィルタにより当該撮像装置100のロール軸(第1の軸)の回りの回転角度を算出する。そして、方向推定部7dは、算出されたロール軸(第1の軸)の回りの回転角度から当該撮像装置100の姿勢(重力方向(第2の方向)に対する傾き)を求めることで、重力方向(第2の方向)を推定する。
xt+1=Atxt+Rtut+wt …式(1)
yt=Htxt+vt …式(2)
上記式において、xtはロール軸(第1の軸)の回りの回転角度、utは動きベクトル或いは角速度から算出されるロール軸(第1の軸)の回りの相対的な回転角度、Rtは回転行列、At、Htはそれぞれ単位行列、ytは重力方向のベクトル、wt及びvtはそれぞれシステムノイズ及び観測ノイズである。
ここで、動きベクトルを検出可能であると判定されると(ステップS4;YES)、動きベクトル検出部7bは、画像取得部7aにより取得された複数のフレーム画像の間における特徴点の動きベクトルを検出する(ステップS5)。
一方、動きベクトルを検出可能でないと判定されると(ステップS4;NO)、角速度検出部6は、3軸角速度センサ6aからの出力信号に基づいて、当該撮像装置100本体のロール軸(第1の軸)の回りの角速度を検出する(ステップS6)。なお、ロール軸(第1の軸)の回りの角速度の検出は、当該姿勢推定処理の最中は常に行われても良い。
これにより、姿勢推定処理を終了する。
従って、連続して撮像された複数のフレーム画像を利用して当該複数のフレーム画像の間におけるロール軸(第1の軸)の回りの相対的な回転角度を算出することができ、この結果、例えば、手ぶれ補正などにおいて当該撮像装置100の姿勢の推定をより適正に行うことができる。
すなわち、プログラムメモリ(図示略)に、第1検出処理ルーチン、取得処理ルーチン、算出処理ルーチン、推定処理ルーチンを含むプログラムを記録しておく。そして、第1検出処理ルーチンにより中央制御部1のCPUを、加速度センサからの出力信号に基づいて、第1の方向のベクトルを検出する手段として機能させるようにしても良い。また、取得処理ルーチンにより中央制御部1のCPUを、連続して撮像された複数の画像を取得する手段として機能させるようにしても良い。また、算出処理ルーチンにより中央制御部1のCPUを、取得された複数の画像に基づいて、複数の画像の間における第1の軸の回りの相対的な回転角度を算出する手段として機能させるようにしても良い。また、推定処理ルーチンにより中央制御部1のCPUを、算出された第1の軸の回りの相対的な回転角度及び検出された第1の方向のベクトルに基づいて、第1の方向とは異なる第2の方向を推定する手段として機能させるようにしても良い。
Claims (8)
- 加速度センサからの出力信号に基づいて、第1の方向のベクトルを検出する第1検出手段と、
連続して撮像された複数の画像を取得する取得手段と、
前記取得手段により取得された前記複数の画像に基づいて、前記複数の画像間における第1の軸回りの相対的な回転角度を算出する算出手段と、
前記算出手段により算出された前記第1の軸回りの前記相対的な回転角度及び前記第1検出手段により検出された前記第1の方向のベクトルに基づいて、前記第1の方向とは異なる第2の方向を推定する推定手段と、
を備えた、
ことを特徴とする姿勢推定装置。 - 前記取得手段により取得された前記複数の画像間における特徴点の動きベクトルを検出する第2検出手段を更に備え、
前記算出手段は、前記第2検出手段により検出された前記動きベクトルに基づいて、前記複数の画像間における前記第1の軸回りの前記相対的な回転角度を算出することを特徴とする請求項1に記載の姿勢推定装置。 - 角速度センサからの出力信号に基づいて、前記第1の軸回りの角速度を検出する第3検出手段を更に備え、
前記算出手段は、前記第2検出手段により前記動きベクトルを検出不可の場合に、前記第3検出手段により検出された前記第1の軸回りの角速度に基づいて、前記第1の軸回りの前記相対的な回転角度を算出することを特徴とする請求項2に記載の姿勢推定装置。 - 撮像手段を更に備え、
前記第2検出手段は、前記撮像手段により連続して撮像され、前記取得手段により取得された前記複数の画像間における前記特徴点の前記動きベクトルを検出することを特徴とする請求項2又は3に記載の姿勢推定装置。 - 前記推定手段は、前記算出手段により算出された前記第1の軸回りの前記相対的な回転角度及び前記第1検出手段により検出された前記第1の方向のベクトルに基づいて、カルマンフィルタにより当該姿勢推定装置の前記第1の軸回りの回転角度を算出することで、前記第2の方向を推定することを特徴とする請求項1〜4の何れか一項に記載の姿勢推定装置。
- 前記第2の方向は、重力方向であり、
前記第1の軸は、当該姿勢推定装置のロール軸及びピッチ軸のうちの、少なくとも一方を含むことを特徴とする請求項1〜5の何れか一項に記載の姿勢推定装置。 - 姿勢推定装置を用いた姿勢推定方法であって、
加速度センサからの出力信号に基づいて、第1の方向のベクトルを検出する処理と、
連続して撮像された複数の画像を取得する処理と、
取得された前記複数の画像に基づいて、前記複数の画像間における第1の軸回りの相対的な回転角度を算出する処理と、
算出された前記第1の軸回りの前記相対的な回転角度及び検出された前記第1の方向のベクトルに基づいて、前記第1の方向とは異なる第2の方向を推定する処理と、
を含む、
ことを特徴とする姿勢推定方法。 - 姿勢推定装置のコンピュータを、
加速度センサからの出力信号に基づいて、第1の方向のベクトルを検出する第1検出手段、
連続して撮像された複数の画像を取得する取得手段、
前記取得手段により取得された前記複数の画像に基づいて、前記複数の画像間における第1の軸回りの相対的な回転角度を算出する算出手段、
前記算出手段により算出された前記第1の軸回りの前記相対的な回転角度及び前記第1検出手段により検出された前記第1の方向のベクトルに基づいて、前記第1の方向とは異なる第2の方向を推定する推定手段、
として機能させる、
ことを特徴とするプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015185127A JP6332212B2 (ja) | 2015-09-18 | 2015-09-18 | 姿勢推定装置、姿勢推定方法及びプログラム |
KR1020160080248A KR102592745B1 (ko) | 2015-09-18 | 2016-06-27 | 자세 추정 장치, 자세 추정 방법 및 기록 매체에 저장된 컴퓨터 프로그램 |
US15/208,774 US10401174B2 (en) | 2015-09-18 | 2016-07-13 | Posture estimating apparatus for estimating posture, posture estimating method and recording medium |
CN201610647213.2A CN106550186B (zh) | 2015-09-18 | 2016-08-09 | 姿态估计装置、姿态估计方法以及记录介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015185127A JP6332212B2 (ja) | 2015-09-18 | 2015-09-18 | 姿勢推定装置、姿勢推定方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017060091A true JP2017060091A (ja) | 2017-03-23 |
JP6332212B2 JP6332212B2 (ja) | 2018-05-30 |
Family
ID=58282699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015185127A Active JP6332212B2 (ja) | 2015-09-18 | 2015-09-18 | 姿勢推定装置、姿勢推定方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10401174B2 (ja) |
JP (1) | JP6332212B2 (ja) |
KR (1) | KR102592745B1 (ja) |
CN (1) | CN106550186B (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020057358A (ja) * | 2018-10-01 | 2020-04-09 | 三星電子株式会社Samsung Electronics Co.,Ltd. | ポーズ情報を取得する方法及び装置 |
JP2020181059A (ja) * | 2019-04-24 | 2020-11-05 | キヤノン株式会社 | 撮像装置及びその制御方法、姿勢角算出装置、プログラム、記憶媒体 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102457618B1 (ko) * | 2017-12-11 | 2022-10-21 | 한화테크윈 주식회사 | 틸트-각도 유지 방법, 틸팅 제어 방법, 및 감시 카메라 |
CN114390188B (zh) * | 2020-10-22 | 2023-05-12 | 华为技术有限公司 | 一种图像处理方法和电子设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002016836A (ja) * | 2000-06-29 | 2002-01-18 | Toshiba Corp | 撮像装置の揺れ補正装置及び方法 |
JP2002158525A (ja) * | 2000-11-22 | 2002-05-31 | Mitsubishi Electric Corp | 衛星追尾用アンテナ制御装置 |
WO2012063468A1 (ja) * | 2010-11-11 | 2012-05-18 | パナソニック株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP2014018291A (ja) * | 2012-07-13 | 2014-02-03 | Camelot:Kk | 情報処理端末のイベント実行ユニット、イベント実行方法及びイベント実行プログラム |
JP2014128015A (ja) * | 2012-12-27 | 2014-07-07 | Canon Inc | 撮像装置及びその制御方法、プログラム、記憶媒体 |
JP5614527B2 (ja) * | 2010-03-05 | 2014-10-29 | セイコーエプソン株式会社 | 姿勢情報算出装置、姿勢情報算出システム、姿勢情報算出方法及び姿勢情報算出プログラム |
JP2014240266A (ja) * | 2013-05-13 | 2014-12-25 | 株式会社豊田中央研究所 | センサドリフト量推定装置及びプログラム |
JP2015119259A (ja) * | 2013-12-17 | 2015-06-25 | キヤノン株式会社 | 表示制御装置、その制御方法、およびプログラム、並びに記憶媒体 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6041874Y2 (ja) | 1979-07-12 | 1985-12-20 | 株式会社東芝 | 保温釜 |
JPS6024811B2 (ja) | 1979-07-12 | 1985-06-14 | レマ・サムイロウイツチ・バルシテイン | グリコ−ルとジカルボン酸のポリエステルの製造法 |
JPH05176218A (ja) | 1991-12-25 | 1993-07-13 | Matsushita Electric Ind Co Ltd | 画像動き補正装置 |
JP2007114466A (ja) | 2005-10-20 | 2007-05-10 | Toshiba Corp | 手ぶれ補正機能を有する撮影装置 |
KR101404843B1 (ko) * | 2006-06-22 | 2014-06-09 | 가부시키가이샤 니콘 | 위치 결정 장치, 떨림 보정 장치 및 전자 기기 |
US8988536B2 (en) * | 2010-12-23 | 2015-03-24 | Samsung Electronics Co., Ltd. | Image processing circuit, method of operation thereof, and digital camera including same |
KR101361805B1 (ko) * | 2012-06-07 | 2014-02-21 | 조춘식 | 의료 영상 보상 방법, 시스템 및 장치 |
JP5977611B2 (ja) * | 2012-07-24 | 2016-08-24 | オリンパス株式会社 | ブレ量検出装置、撮像装置及びブレ量検出方法 |
JP6058978B2 (ja) * | 2012-11-19 | 2017-01-11 | サターン ライセンシング エルエルシーSaturn Licensing LLC | 画像処理装置及び画像処理方法、撮影装置、並びにコンピューター・プログラム |
GB2509102B (en) * | 2012-12-20 | 2015-09-02 | Thales Holdings Uk Plc | Image processor for processing images received from a plurality of image sensors |
JP6152511B2 (ja) | 2013-03-29 | 2017-06-28 | 株式会社メガチップス | 携帯端末装置、プログラムおよび補正方法 |
KR102124617B1 (ko) * | 2013-09-03 | 2020-06-19 | 삼성전자주식회사 | 이미지 합성 방법 및 그 전자 장치 |
JP6353214B2 (ja) | 2013-11-11 | 2018-07-04 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
-
2015
- 2015-09-18 JP JP2015185127A patent/JP6332212B2/ja active Active
-
2016
- 2016-06-27 KR KR1020160080248A patent/KR102592745B1/ko active IP Right Grant
- 2016-07-13 US US15/208,774 patent/US10401174B2/en active Active
- 2016-08-09 CN CN201610647213.2A patent/CN106550186B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002016836A (ja) * | 2000-06-29 | 2002-01-18 | Toshiba Corp | 撮像装置の揺れ補正装置及び方法 |
JP2002158525A (ja) * | 2000-11-22 | 2002-05-31 | Mitsubishi Electric Corp | 衛星追尾用アンテナ制御装置 |
JP5614527B2 (ja) * | 2010-03-05 | 2014-10-29 | セイコーエプソン株式会社 | 姿勢情報算出装置、姿勢情報算出システム、姿勢情報算出方法及び姿勢情報算出プログラム |
WO2012063468A1 (ja) * | 2010-11-11 | 2012-05-18 | パナソニック株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP2014018291A (ja) * | 2012-07-13 | 2014-02-03 | Camelot:Kk | 情報処理端末のイベント実行ユニット、イベント実行方法及びイベント実行プログラム |
JP2014128015A (ja) * | 2012-12-27 | 2014-07-07 | Canon Inc | 撮像装置及びその制御方法、プログラム、記憶媒体 |
JP2014240266A (ja) * | 2013-05-13 | 2014-12-25 | 株式会社豊田中央研究所 | センサドリフト量推定装置及びプログラム |
JP2015119259A (ja) * | 2013-12-17 | 2015-06-25 | キヤノン株式会社 | 表示制御装置、その制御方法、およびプログラム、並びに記憶媒体 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020057358A (ja) * | 2018-10-01 | 2020-04-09 | 三星電子株式会社Samsung Electronics Co.,Ltd. | ポーズ情報を取得する方法及び装置 |
CN110992405A (zh) * | 2018-10-01 | 2020-04-10 | 三星电子株式会社 | 用于输出姿态信息的方法和装置 |
JP7365148B2 (ja) | 2018-10-01 | 2023-10-19 | 三星電子株式会社 | ポーズ情報を取得する方法及び装置 |
JP2020181059A (ja) * | 2019-04-24 | 2020-11-05 | キヤノン株式会社 | 撮像装置及びその制御方法、姿勢角算出装置、プログラム、記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP6332212B2 (ja) | 2018-05-30 |
US10401174B2 (en) | 2019-09-03 |
KR20170034299A (ko) | 2017-03-28 |
CN106550186A (zh) | 2017-03-29 |
US20170084018A1 (en) | 2017-03-23 |
KR102592745B1 (ko) | 2023-10-20 |
CN106550186B (zh) | 2019-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109194876B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
KR100968974B1 (ko) | 손떨림 보정 장치 | |
KR101856947B1 (ko) | 촬영장치, 움직임 추정장치, 영상 보정 방법, 움직임 추정방법 및 컴퓨터 판독가능 기록매체 | |
US8072497B2 (en) | Imaging apparatus and recording medium | |
EP2219366B1 (en) | Image capturing device, image capturing method, and image capturing program | |
JP6418879B2 (ja) | 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 | |
US9779290B2 (en) | Detecting apparatus, detecting method and computer readable recording medium recording program for detecting state in predetermined area within images | |
JP6652039B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP6656035B2 (ja) | 画像処理装置、撮像装置および画像処理装置の制御方法 | |
JP6332212B2 (ja) | 姿勢推定装置、姿勢推定方法及びプログラム | |
JP2006186592A5 (ja) | ||
JP2009213114A (ja) | 撮像装置及びプログラム | |
JP6282133B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2015095670A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP6316030B2 (ja) | 撮像装置及びその制御方法 | |
US11109034B2 (en) | Image processing apparatus for alignment of images, control method for image processing apparatus, and storage medium | |
JP2009159380A (ja) | 撮像装置及び撮像方法 | |
JP2009027437A (ja) | 画像処理装置,画像処理方法及び撮像装置 | |
JP6188369B2 (ja) | 撮像装置 | |
JP4919165B2 (ja) | 画像合成装置及びプログラム | |
JP2008066910A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2007036654A (ja) | 撮像装置 | |
JP6478481B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2008153741A (ja) | 奥行方向移動判定装置および方法、手ぶれ補正装置、プログラムおよび記録媒体 | |
JP2021026180A5 (ja) | 像振れ補正装置、撮像装置及び像振れ補正制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170926 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20171017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180115 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20180123 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180403 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180416 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6332212 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |