JP2009031295A - Mobile object posture detection device - Google Patents
Mobile object posture detection device Download PDFInfo
- Publication number
- JP2009031295A JP2009031295A JP2008202066A JP2008202066A JP2009031295A JP 2009031295 A JP2009031295 A JP 2009031295A JP 2008202066 A JP2008202066 A JP 2008202066A JP 2008202066 A JP2008202066 A JP 2008202066A JP 2009031295 A JP2009031295 A JP 2009031295A
- Authority
- JP
- Japan
- Prior art keywords
- information
- posture
- image
- detection means
- translation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
Description
この発明は、移動体の3次元空間内での姿勢を検出する移動体姿勢検出装置に係り、特に、ヘッドマウンティングディスプレイ(HMD)を装着した人間の頭部の姿勢を検知し、その情報に基づいて画像を生成し、あたかも目の前に仮想空間が存在するかのように画像を表示するバーチャルリアリティ(VR)システムにおいて、更に場所を限定することなく何処でも使えるようなシステムを提供するための、自立型の移動体姿勢検出装置に関する。 The present invention relates to a mobile body posture detection device that detects the posture of a mobile body in a three-dimensional space, and in particular, detects the posture of a human head equipped with a head mounting display (HMD) and based on the information. In a virtual reality (VR) system that generates an image and displays the image as if there is a virtual space in front of the eyes, a system that can be used anywhere without limiting the location is provided. The present invention relates to a self-supporting mobile body posture detection device.
従来、姿勢位置検出装置として、以下に示すようなものが知られている。 Conventionally, the following devices are known as posture position detection devices.
まず、操作者の周辺の場所に光や超音波、磁界などの基準点となる発信器を設けて、それに対応する位置を検出するようにした基準点設置型の姿勢位置検出装置がある。 First, there is a reference position installation type posture position detection apparatus in which a transmitter serving as a reference point for light, ultrasonic waves, magnetic fields, or the like is provided at a location around an operator and a position corresponding to the transmitter is detected.
これにに対し、自立型の姿勢位置検出装置の従来技術としてジャイロなどの角速度センサを利用したシステムが開発されている。 On the other hand, a system using an angular velocity sensor such as a gyro has been developed as a prior art of a self-supporting posture position detection device.
ジャイロセンサは、ジャイロ自身の回転に対する角速度を出力するので、この情報を積分することにより、変位した相対角度を求めることができる。 Since the gyro sensor outputs an angular velocity with respect to the rotation of the gyro itself, the displaced relative angle can be obtained by integrating this information.
よって、ジャイロセンサを直交する3軸の空間上にそれぞれ配置することにより、この空間に対する回転姿勢位置を求めることができるようになる。 Therefore, by arranging the gyro sensors on three orthogonal spaces, the rotational posture position with respect to this space can be obtained.
これらのジャイロセンサの出力は、ある基準電圧を中心に回転方向の向きに対して、正負の信号として出力されるが、その基準となるオフセット信号が温度や湿度の変化でドリフトしたり、また外部磁界により特性が変わったり、また音などの振動によって出力信号そのものが変動したりする。 The output of these gyro sensors is output as a positive or negative signal with respect to the direction of rotation around a reference voltage, but the reference offset signal drifts due to changes in temperature and humidity, or externally The characteristics change due to the magnetic field, and the output signal itself fluctuates due to vibrations such as sound.
しかるに、角度を求めるのに、オフセット信号に対する出力値の差分を常に積分して利用しているため、これらのドリフトやノイズが含まれていると、その演算結果である角度情報には大きな誤差が蓄積されてしまう。 However, since the difference of the output value with respect to the offset signal is always integrated and used to obtain the angle, if these drifts and noise are included, the angle information that is the calculation result has a large error. It will be accumulated.
したがって、従来より、これらのドリフト信号をキャンセルするための対策が提案されている。 Therefore, conventionally, countermeasures for canceling these drift signals have been proposed.
その一つには、方位センサからの情報を絶対方位として利用し、ジャイロのドリフト成分をキャンセルする方法がある。 One of them is a method of canceling a gyro drift component by using information from a direction sensor as an absolute direction.
この方位センサとしては、GPSや地磁気センサを利用したシステムが開発されている。 As this direction sensor, a system using a GPS or a geomagnetic sensor has been developed.
これは、例えば、特許文献1、2等に開示されている。 This is disclosed in, for example, Patent Documents 1 and 2 and the like.
GPSは、いくつかの衛星からの信号をキャッチしながらGPS自体の位置を特定するシステムであるが、建物の中やトンネルの中など電波が届き難いところでは使えない。 GPS is a system that identifies the position of GPS itself while catching signals from several satellites, but cannot be used in places where radio waves are difficult to reach, such as in buildings or tunnels.
これ対して、地磁気センサは、地球上の地磁気ベクトルに対して水平面内の直交した2軸に配置したMR素子が出力する情報により、地球の概ね北向きの地磁気ベクトルの方向に対する磁気の強さを検出することができるので、各MR素子の2つの信号より方位方向を求めることができる。 On the other hand, the geomagnetic sensor determines the magnetic strength with respect to the direction of the earth's generally north-facing geomagnetic vector based on the information output by the MR elements arranged in two orthogonal axes in the horizontal plane with respect to the earth's geomagnetic vector. Since it can be detected, the azimuth direction can be obtained from the two signals of each MR element.
すなわち、それぞれの磁気の強さをX、Yとすると、(1)式により方位(θ)が求められる。 That is, assuming that the magnetic strengths are X and Y, the azimuth (θ) can be obtained from equation (1).
θ=arcTan(Y/X) …(1)
因みに、地磁気ベクトルは、地球上の地域毎に固有なわずかながら地理上の北に対して偏角と呼ばれる誤差が存在する。
θ = arcTan (Y / X) (1)
Incidentally, the geomagnetic vector has an error called a declination with respect to a small geographical north that is unique to each region on the earth.
車のナビゲーションシステムなどに利用する姿勢検出装置ではこれらを補正して使わなければならないが、VRシステム用の仮想表示用のシステムにおいては、あるローカルな空間での基準方位情報として利用するだけなので、絶対的な方向の精度は必要ない。 In a posture detection device used for a car navigation system or the like, these must be corrected, but in a virtual display system for a VR system, it is only used as reference orientation information in a certain local space. Absolute direction accuracy is not required.
よって、その方位情報の変位とジャイロの変位角度情報を比較することにより、ジャイロのドリフトなどによる誤差を検知することができる。 Therefore, by comparing the displacement of the azimuth information and the displacement angle information of the gyro, an error due to a gyro drift or the like can be detected.
また、ジャイロの積算情報である角度データがリセットされたときを初期状態とし、そのときの地磁気ベクトルを測定しておくと、ジャイロの積算結果との比較により絶対的な位置の補正も可能となる。 Also, if the angle data, which is gyro accumulation information, is reset, the initial state is set, and if the geomagnetic vector at that time is measured, the absolute position can be corrected by comparison with the gyro accumulation result. .
しかし、ここで地磁気センサの問題として、地磁気センサによるコンパスは水平面内に置いて測定しなければならないと言うことである。 However, the problem with the geomagnetic sensor is that the compass by the geomagnetic sensor must be measured in a horizontal plane.
これは前述した偏角と同様に、地磁気ベクトルが地球上の地域毎に固有な垂直面内の仰角と呼ばれる傾きを持っており、東京辺りでは、北向きに対して約48度前後下を向いている。 Like the declination described above, the geomagnetic vector has an inclination called the elevation angle in the vertical plane that is unique to each region on the earth, and around Tokyo, it is about 48 degrees below the north. ing.
この傾きは、コンパスが水平面から傾いたときに方位の誤差として発生する要因である。 This inclination is a factor that occurs as an orientation error when the compass is inclined from the horizontal plane.
車のナビゲーションのようなシステムでは、車は基本的に水平面内で動いているので、このままでも使うことができる。 In systems like car navigation, the car is basically moving in a horizontal plane, so it can be used as it is.
しかし、VRシステムでは人間の3次元的な姿勢を測定するために傾いた状態でも検知する必要がある。 However, in the VR system, it is necessary to detect even a tilted state in order to measure a three-dimensional posture of a human.
図4は、VRシステムの一例を示している。 FIG. 4 shows an example of a VR system.
これは操作者の目の前の空間にコンピュータのデスクトップ画像を仮想的に表示した様子をイメージ化した図である。 This is an image of a virtual display of a computer desktop image in the space in front of the operator.
ここで、操作者が右を向くと、デスクトップ画像の右側の画面がHMD上に現れ、反対を向くと左側の画面が現れ、更に上下方向を向くとその方向の画面が現れてきて、操作者はあたかも目の前に大きなデスクトップ空間が存在しているかのように感じることができる。 Here, when the operator turns to the right, the screen on the right side of the desktop image appears on the HMD. When the operator turns to the opposite side, the screen on the left side appears. When the operator turns further up and down, the screen in that direction appears. You can feel as if there is a large desktop space in front of you.
なお、図4において、参照符号51は仮想スクリーン、52は実スクリーン、53はアイコン、54はウィンドウ、60はHMDである。 In FIG. 4, reference numeral 51 is a virtual screen, 52 is a real screen, 53 is an icon, 54 is a window, and 60 is an HMD.
図5は、このときの3次元空間の座標軸を示している。 FIG. 5 shows the coordinate axes of the three-dimensional space at this time.
すなわち、図5は、操作者の前方方向を+X軸、左方向を+Y軸、上方向を+Z軸とした3次元空間座標を示している。 That is, FIG. 5 shows three-dimensional space coordinates in which the forward direction of the operator is the + X axis, the left direction is the + Y axis, and the upward direction is the + Z axis.
また、それぞれの軸に対する右ネジの回転方向を+ロール(Roll)、+ピッチ(Pitch)、+ヨー(Yaw)とする。 Also, the rotation direction of the right screw with respect to each axis is defined as + roll (Roll), + pitch (Pitch), and + yaw (Yaw).
操作者が、左右画面を見るために左右を向く場合にはYaw方向の変化となるが、画面の上下方向を見るために頭を上下方向に動かすと、Pitch方向が変化する。 When the operator turns left and right to view the left and right screens, the Yaw direction changes. However, when the head is moved up and down to see the vertical direction of the screen, the Pitch direction changes.
また、前記のジンバル機構に相当する機能として、加速度センサにより傾斜角を測定し、その傾き情報より地磁気センサ方位出力(θ)を補正するソフトウェアジンバル機構の方法がある。 Further, as a function corresponding to the gimbal mechanism, there is a software gimbal mechanism method in which an inclination angle is measured by an acceleration sensor and a geomagnetic sensor azimuth output (θ) is corrected from the inclination information.
ジャィロと地磁気センサに加速度センサを組み合わせた装置としては、特許文献3に開示された従来例がある。 As a device combining an acceleration sensor with a gyroscope and a geomagnetic sensor, there is a conventional example disclosed in Patent Document 3.
但し、この場合、磁気センサは3軸必要になり、それぞれの軸に対する出力をX.Y、Zとし、このときの水平面に対する傾きをRoll,Pitchとすると、一般的な補正式は(2)式となる。 However, in this case, three axes are required for the magnetic sensor, and the output for each axis is X.X. If Y and Z are assumed, and the inclination with respect to the horizontal plane at this time is Roll and Pitch, a general correction equation is expressed by equation (2).
ここで、XhとYhは水平面内へ磁気ベクトルの強さを補正した値である。 Here, Xh and Yh are values obtained by correcting the strength of the magnetic vector in the horizontal plane.
Xh=X*cos(Roll)+Y*sin (Roll)*sin(Pitch)-Zcos(Roll)*sin(Pilch)
Yh=Y*cos(Roll)+Z*sin(Roll)
θ=arcTan(Yh/Xh) …(2)
また、加速度センサは、重力ベクトルGに対してセンサが(θg )傾いたときに、その検出方向の軸に垂直に投影した長さに相当する重力加速度成分(G・cos(θg ))と、その他に加減速運動による運動加速度成分が生じる。
Xh = X * cos (Roll) + Y * sin (Roll) * sin (Pitch) -Zcos (Roll) * sin (Pilch)
Yh = Y * cos (Roll) + Z * sin (Roll)
θ = arcTan (Yh / Xh) (2)
The acceleration sensor has a gravitational acceleration component (G · cos (θg)) corresponding to the length projected perpendicularly to the axis of the detection direction when the sensor is inclined (θg) with respect to the gravity vector G, and In addition, a motion acceleration component due to acceleration / deceleration motion occurs.
この運動加速度成分をキャンセルするために、フィルタリング処理を施す必要がある。 In order to cancel this motion acceleration component, it is necessary to perform a filtering process.
このような構成とすることにより、理論的には、矛盾なく3次元空間上の姿勢を求めることができるようになる。 By adopting such a configuration, it is theoretically possible to obtain a posture in a three-dimensional space without contradiction.
また、加速度センサは、地球の重力を基準として、その傾き情報の出力を利用するようにしたつまり傾斜センサとして使われている。 The acceleration sensor is used as an inclination sensor that uses the output of the inclination information with reference to the gravity of the earth.
また、画像処理による移動体の動きを検出する方法としては特許文献4に開示された従来例がある。 Further, as a method for detecting the movement of a moving body by image processing, there is a conventional example disclosed in Patent Document 4.
特別なマークや光源を移動体の周りの空間に配置し、それを画像処理により動きベクトルを検出することにより、移動体の姿勢を測定する方法が従来より提案されている。
しかるに、図4のVRシステムを実現するために、図5の姿勢位置検出に地磁気センサを用いると、方位出力は水平方向から傾くために誤差を生じる。 However, when the geomagnetic sensor is used for the posture position detection of FIG. 5 in order to realize the VR system of FIG. 4, the azimuth output is inclined from the horizontal direction, resulting in an error.
よって、一般的に、地磁気センサでは、水平状態を保つための機械的なジンバル機構を搭載することにより誤差を少なくしようとしているが、機械的な機構を検出装置に搭載することは小型化や軽量化の点で難点となる。 Therefore, in general, geomagnetic sensors try to reduce errors by installing a mechanical gimbal mechanism for maintaining a horizontal state, but mounting a mechanical mechanism on a detection device is smaller and lighter. It becomes a difficult point in terms of conversion.
また、地磁気センサは、外乱に弱く、付近に存在する鉄類や磁化された物、建物等により磁場歪みの影響を受け易く、また外部磁場により地磁気センサ自体が誤差を持つなど、絶対的な方位センサとして使うには多くの問題がある。 In addition, the geomagnetic sensor is sensitive to external disturbances, is susceptible to magnetic field distortion by nearby irons, magnetized objects, buildings, etc., and has an absolute orientation such that the geomagnetic sensor itself has an error due to an external magnetic field. There are many problems with using it as a sensor.
但し、あるローカルな領域のみで利用するような用途においては、絶対的な方位が違っていても問題にはならないが、近くにモータやCRT等が有ったり、他に帯磁した物が動くだけでも磁場が乱れ、相対的な基準方位として使うだけにしても、周りの環境に注意する必要がある。 However, in applications that are used only in a certain local area, there is no problem even if the absolute orientation is different, but there is a motor, CRT, etc. nearby, and other magnetized objects only move. However, the magnetic field is disturbed and it is necessary to pay attention to the surrounding environment even if it is used only as a relative reference orientation.
また、地磁気センサでは、反応速度が遅いなどの問題がある。 In addition, the geomagnetic sensor has problems such as a slow reaction speed.
更に、ジャィロと地磁気センサに加速度センサを組み合わせた装置でも、やはり前記のような磁気センサとしての問題点を有している。 Furthermore, even a device in which an acceleration sensor is combined with a gyroscope and a geomagnetic sensor still has problems as the magnetic sensor as described above.
しかも、以上のような問題点の他に、利用上での大きな問題点がある。 In addition to the above problems, there are major problems in use.
すなわち、方位センサは、地球上の地理上の絶対方向に対する相対値を示すために、例えば、電車や車の中に居た場合、利用者自身が動かなくても乗り物の地球に対する方向が変わるために、勝手に姿勢が変化することになる。 That is, the direction sensor indicates a relative value with respect to the absolute direction of the geography on the earth. For example, when the user is in a train or a car, the direction of the vehicle changes with respect to the earth even if the user does not move. In addition, the posture will change without permission.
携帯型のコンピュータシステムにおいて、VR空間的な表示技術を利用した表示画面を利用するシステムにおいては、このような環境では利用者自身の前に画像を固定できなくなり、利用者の意志に関わらず画像が勝手に動いてしまう。 In a portable computer system that uses a display screen using VR spatial display technology, an image cannot be fixed in front of the user in such an environment, and the image can be displayed regardless of the user's will. Will move without permission.
また、上記のように、加速度センサを傾斜センサとして地球上で利用する場合、人間も常に重力に対して行動しているために、水平状態の場合には問題とはならないが、例えば、山道等で傾きが生じる場合、あるいは重力が及ばない宇宙空間などで利用しようとした場合には、やはり使えなくなってしまう。 In addition, as described above, when the acceleration sensor is used as an inclination sensor on the earth, since humans always act against gravity, there is no problem in the horizontal state. If you try to use it in a space where gravity does not reach or if you try to use it in a space where gravity does not reach, you will not be able to use it.
以上のような移動体の姿勢を検出するための自立型のセンサとしての従来技術では、ジャイロセンサのドリフトを補正するために、相対的あるいは絶対的な基準となる地磁気センサの方位を参照情報とした場合、それが磁気的な外乱の影響を受けたり、水平面に対する傾斜により誤差を生じたりして、参照情報がずれてしまう問題がある。 In the prior art as a self-supporting sensor for detecting the posture of a moving body as described above, in order to correct the drift of the gyro sensor, the orientation of the geomagnetic sensor serving as a relative or absolute reference is used as reference information. In this case, there is a problem that the reference information is shifted due to the influence of magnetic disturbance or an error caused by the inclination with respect to the horizontal plane.
また、GPSにしても建物内やトンネル内などの電波の届き難い所では使えないと共に、方位センサや加速度センサは重力や地球の磁場を基準とするために、その影響を正しく受ける場所でしか使うことができない。 In addition, GPS cannot be used in places where radio waves are difficult to reach, such as in buildings or tunnels, and orientation sensors and acceleration sensors are used only in locations that are affected by gravity and the Earth's magnetic field. I can't.
更に、乗り物などの移動物体の中において利用しようとするときには、操作者の乗り物に対する姿勢ではなく、乗り物自体の姿勢を検出するために、操作者の意志に関わらず勝手に表示などが動いてしまう。 Furthermore, when trying to use the vehicle in a moving object such as a vehicle, the display moves freely regardless of the operator's will to detect the posture of the vehicle itself, not the posture of the operator. .
また、画像処理による移動体の姿勢検出においては、取り込まれた周辺画像の特徴点などの条件により演算することができないようなことが起きると、測定不能となってしまう。 Further, in the detection of the posture of the moving object by image processing, measurement cannot be performed if an operation that cannot be performed due to conditions such as feature points of the captured peripheral image occurs.
また、画像処理により移動体の姿勢を測定する従来の方法においては、特徴点としての基準マークが空間内のどの位置にあるかを常に前の画像から検出した特徴点との比較により求めるために、前の画像と次の画像とのオーバーラップがない状態では、動きベクトルを検出することができず、再度特徴点を抽出して次の画像入力処理に移らなければならないので、システムの画像処理速度のパフォーマンスにより動き検出速度の限界が決定されるために、人の動きに対応して画像処理するには、高速画像処理システムが必要となる。 In addition, in the conventional method of measuring the posture of a moving object by image processing, in order to always obtain a position in a space where a reference mark as a feature point is located by comparison with a feature point detected from a previous image In the state where there is no overlap between the previous image and the next image, the motion vector cannot be detected, and the feature point must be extracted again to move to the next image input process. Since the limit of the motion detection speed is determined by the speed performance, a high-speed image processing system is required to perform image processing corresponding to human movement.
このように、従来より画像処理においては、高速な演算処理が可能な装置が必要となるような、いわゆる重い演算処理が多く、非常に高い処理能力のコンピュータが必要となり、携帯型の処理装置とするには多くの問題点がある。 As described above, in image processing, conventionally, there are many so-called heavy calculation processes that require a device capable of high-speed calculation processing, and a computer with very high processing capacity is required. There are many problems to do.
本発明は、以上のような点の問題点について着目してなされたもので、どのような環境でも良好に使用することができる移動体姿勢位置検出装置を提供することを目的としている。 The present invention has been made paying attention to the above-described problems, and an object of the present invention is to provide a mobile body posture position detection device that can be used satisfactorily in any environment.
また、本発明は、以上のような点の問題点について着目してなされたもので、低速の処理能力のコンピュータでも使用することができる移動体姿勢位置検出装置を提供することを目的としている。 Another object of the present invention is to provide a moving body posture position detecting device that can be used even with a computer having a low processing capacity.
本発明によると、上記課題を解決するために、
測定対象物としての移動体に装着または内蔵され、該移動体の移動に伴って移動して、該移動体の姿勢情報を検出する装置において、
前記移動体の空間上の3軸の姿勢角度情報を算出する角度検出手段と、
前記移動体の空間上の3軸の並進位置情報を算出する並進位置検出手段と、
前記移動体自体に設置され、前記移動体の周りの画像から移動体の並進と姿勢の6軸の画像姿勢情報を算出する画像処理姿勢検出手段と、
前記角度検出手段からの姿勢角度情報と、前記並進位置検出手段からの並進位置情報と、前記画像処理姿勢検出手段からの画像姿勢情報のそれぞれの情報により空間上での前記移動体の6軸姿勢情報を算出する空間姿勢演算手段と、を有しており、
前記角度検出手段は、
直交する3軸上の空間の角速度情報を検出する角速度検出手段と、
前記角速度情報より前記移動体の姿勢角度情報を演算する第1姿勢演算手段とで構成され、
前記並進位置検出手段は、
直交する3軸上の空間の並進方向の加速度情報を検出する加速度検出手段と、
前記加速度情報より前記移動体の傾き情報と並進情報を演算する第2姿勢演算手段とで構成され、
前記画像処理姿勢検出手段は、
前記装置周辺の画像を時系列に入力する画像入力手段と、
この画像入力手段によって入力された画像の中から複数の特徴点を抽出して、それらの特徴点を記憶すると共に、以前に記憶されている特徴点の座標等の特徴点情報を探索検出する特徴点検出手段と、
前記特徴点の2次元画像の中での変位から画像の動きベクトルを検出する動きベクトル検出手段と、
前記姿勢角度情報と前記並進情報と前記特徴点の情報から移動体の回転方向と並進方向の画像姿勢情報を演算する第3姿勢演算手段とで構成され、
前記角度検出手段からの姿勢角度情報と、前記加速度検出手段からの並進方向の加速度情報とに基づいて画像データ上での特徴点の2次元の動きを推定し、この情報をもとに前記探索検出の範囲を狭めることを特徴とする移動体姿勢検出装置が提供される。
According to the present invention, in order to solve the above problems,
In an apparatus that is attached to or built in a moving object as a measurement object, moves along with the movement of the moving object, and detects posture information of the moving object.
Angle detection means for calculating three-axis posture angle information on the space of the moving body;
Translation position detection means for calculating translation position information of three axes on the space of the moving body;
Image processing posture detection means installed on the moving body itself and calculating six-axis image posture information of translation and posture of the moving body from images around the moving body;
The six-axis posture of the moving object in space based on the posture angle information from the angle detection means, the translation position information from the translation position detection means, and the image posture information from the image processing posture detection means. A spatial attitude calculation means for calculating information,
The angle detection means includes
Angular velocity detection means for detecting angular velocity information of a space on three orthogonal axes;
A first posture calculating means for calculating posture angle information of the moving body from the angular velocity information;
The translation position detection means includes
Acceleration detecting means for detecting acceleration information in the translation direction of a space on three orthogonal axes;
A second posture calculating means for calculating tilt information and translation information of the moving body from the acceleration information;
The image processing posture detection means is
Image input means for inputting images around the device in time series;
A feature that extracts a plurality of feature points from the image input by the image input means, stores the feature points, and searches and detects feature point information such as the coordinates of the feature points stored previously. Point detection means;
Motion vector detection means for detecting a motion vector of the image from a displacement in the two-dimensional image of the feature point;
The posture angle information, the translation information, and third feature calculation means for calculating the image posture information of the rotation direction and translation direction of the moving body from the information of the feature points,
Based on the posture angle information from the angle detection means and the acceleration information in the translation direction from the acceleration detection means, the two-dimensional motion of the feature point on the image data is estimated, and the search is performed based on this information. There is provided a mobile body posture detection device characterized by narrowing a detection range.
従って、以上説明したように、本発明によれば、どのような環境でも良好に使用することができる移動体姿勢検出装置を提供することができる。 Therefore, as described above, according to the present invention, it is possible to provide a moving body posture detection device that can be used satisfactorily in any environment.
また、本発明よれば、低速の処理能力のコンピュータでも使用することができる移動体姿勢検出装置を提供することができる。 Further, according to the present invention, it is possible to provide a moving body posture detecting apparatus that can be used even with a computer having a low processing capacity.
すなわち、この発明によれば、角速度センサ及び加速度センサからの情報を、移動体の姿勢検出に使用するのみならず、この情報を巧みに流用することにより。探索検出の範囲を狭めて演算の高速化をも実現できるものである。 That is, according to the present invention, not only the information from the angular velocity sensor and the acceleration sensor is used for detecting the posture of the moving body, but also by skillfully diverting this information. The speed of calculation can be increased by narrowing the search detection range.
以下図面を参照して本発明の実施の形態について説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1及び図11は、本発明による第1の実施の形態の構成を示す全体及び要部のブロック図である。 FIG. 1 and FIG. 11 are block diagrams of the whole and main parts showing the configuration of the first embodiment according to the present invention.
図2は、カメラ姿勢補正の動作時の構成を示す全体のブロック図である。 FIG. 2 is an overall block diagram showing the configuration during the camera posture correction operation.
図3は、画像処理に関する各種モードの流れを示す。 FIG. 3 shows the flow of various modes related to image processing.
すなわち、図1及び図11に示すように、測定対象物としての移動体の空間上の3軸の姿勢角度情報を算出する角度検出手段100は、直交する3軸上空間に配置された3つの角速度センサにより構成された角速度検出手段11と、前記角速度検出手段11からの角速度情報より移動体の姿勢角度情報を演算する第1姿勢演算手段15とで構成される。
That is, as shown in FIG. 1 and FIG. 11, the angle detection means 100 for calculating the three-axis posture angle information on the space of the moving body as the measurement object includes three pieces arranged in the three-axis space orthogonal to each other. An angular
また、移動体の空間上の3軸の並進位置情報を算出する並進位置検出手段101は、直交する3軸上の空間の並進方向の加速度情報を検出する加速度検出手段26と、前記加速度検出手段26からの加速度情報より移動体の傾き情報と並進情報を演算する第2姿勢演算手段27とで構成される。
Further, the translation position detecting means 101 for calculating the translational position information of the three axes in the space of the moving body includes the acceleration detection means 26 for detecting the acceleration information in the translational direction of the space on the three orthogonal axes, and the acceleration detection means. 26 includes a second posture calculation means 27 for calculating the tilt information and translation information of the moving body from the acceleration information from the
また、移動体自体に設置され、移動体の周りの画像から移動体の並進と姿勢の6軸の画像姿勢情報を算出する画像処理姿勢検出手段102は、周辺の画像を撮像面に投影するするカメラ部と、その投影像を映像信号に変換するための撮像素子(CCD等)を含んで構成され、その画像を時系列に入力するた画像入力手段17と、この画像入力手段17から入力された画像の中から複数の特徴点を抽出し、その特徴点を記憶し、同時に以前に記憶された特徴点の座標を探索検出する特徴点検出手段18と、この特徴点検出手段18による特徴点の2次元の中での変位から画像の動きベクトルを検出する動きベクトル検出手段19と、前記角速度情報と前記加速度情報と前記特徴点の情報から移動体の回転方向と並進方向の姿勢を演算する第3姿勢演算手段20とで構成される。
Further, the image processing posture detection means 102 that is installed on the moving body itself and calculates six-axis image posture information of translation and posture of the moving body from images around the moving body projects the surrounding image onto the imaging surface. An
さらに、前記角度検出手段100からの姿勢角度情報と、前記並進位置検出手段101からの並進位置情報と、前記画像処理姿勢検出手段102からの画像姿勢情報のそれぞれからの情報により空間上での移動体の6軸姿勢情報を算出する空間姿勢演算手段103は、前記動きベクトル検出手段19からの情報と前記角速度検出手段11と前記加速度検出手段26からの情報とにより第1姿勢演算手段15の姿勢演算方法と第2姿勢演算手段27の姿勢演算方法とを変更する情報を送る停止判定制御手段16と、前記第1姿勢演算手段15と第2姿勢演算手段27と第3姿勢演算手段20のそれぞれからの情報を演算する補正演算手段21とで構成されている。 Further, movement in space is performed by information from each of the attitude angle information from the angle detection means 100, the translation position information from the translation position detection means 101, and the image attitude information from the image processing attitude detection means 102. The spatial posture calculation means 103 for calculating the six-axis posture information of the body is the posture of the first posture calculation means 15 based on the information from the motion vector detection means 19 and the information from the angular velocity detection means 11 and the acceleration detection means 26. The stop determination control means 16 for sending information for changing the calculation method and the attitude calculation method of the second attitude calculation means 27, the first attitude calculation means 15, the second attitude calculation means 27, and the third attitude calculation means 20, respectively. It is comprised with the correction calculating means 21 which calculates the information from.
図10は、上述したように構成される移動体姿勢位置検出装置における角速度検出手段11及び加速度検出手段26としての角速度センサ及び加速度センサの配置関係を示す。
FIG. 10 shows the positional relationship between the
ここで、角速度センサとしては、X,Y,Zの3軸それぞれで圧電型振動ジャイロセンサ等が図10に示すように配置されて用いられる。 Here, as the angular velocity sensor, a piezoelectric vibration gyro sensor or the like is arranged and used as shown in FIG. 10 for each of the three axes of X, Y, and Z.
また、加速度センサとしては、マイクロマシン技術等で作られた微少な電子機械式センサで、一つはX軸とY軸方向の加速度を検出する2軸型のデバイスと、もう一つはY軸方向を検出できる1軸型のデバイスとが、図10に示すように配置されて用いられる。 The acceleration sensor is a small electromechanical sensor made by micromachine technology, etc., one is a biaxial device that detects acceleration in the X-axis and Y-axis directions, and the other is in the Y-axis direction. A single-axis type device capable of detecting the above is arranged and used as shown in FIG.
そして、ジャイロセンサは直交する3軸上の空間に配置されているために、それぞれの配置された軸周りの回転運動に対する角速度を出力し、その軸周りの回転方向により符号が変わる。 And since the gyro sensor is arrange | positioned in the space on three orthogonal axes | shafts, it outputs the angular velocity with respect to the rotational motion around each arrange | positioned axis | shaft, and a code | symbol changes with the rotation directions around the axis | shaft.
ジャイロ出力(Vg)より角度(θ)を求める関係式を式(3)に示す。 Expression (3) shows a relational expression for obtaining the angle (θ) from the gyro output (Vg).
各ジャイロ毎に静止時の基準出力であるオフセットを保持しておき、そのオフセツト (Vo)と、ジャイロ出力の差分信号とが角速度信号(ω)となり、これを積分することにより角度が求められる。 An offset, which is a reference output at rest, is held for each gyro, and an offset (Vo) and a differential signal of the gyro output become an angular velocity signal (ω), and an angle is obtained by integrating this.
この演算の結果、空間内での相対的な姿勢の変位が求められる。 As a result of this calculation, a relative posture displacement in space is obtained.
ω=As・(Vg+Vo+Vt+Vn)
θ=Σ(ω) …(3)
ここで、Asは時間(Δt)のファクタが含まれるジャイロのスケールファクタであり、Vtは変動成分、Vnはノイズ成分を示す。
ω = As · (Vg + Vo + Vt + Vn)
θ = Σ (ω) (3)
Here, As is a gyro scale factor including a time (Δt) factor, Vt is a fluctuation component, and Vn is a noise component.
また、この基準出力であるオフセットは単体によりばらつきがあり、単体毎に記憶して補正してやる必要がある。 Further, the offset, which is the reference output, varies depending on a single unit, and needs to be stored and corrected for each single unit.
更に、温度変化などにより変動し、その変動成分(Vt)とノイズ成分(Vn)は誤差成分となる。 Further, it fluctuates due to temperature change and the fluctuation component (Vt) and noise component (Vn) become error components.
よって、ジャイロの角度情報には、これらの誤差成分が積分されるため、その値は停止状態でもふらついてしまうので、出力のドリフトエラーとして現れることになる。 Therefore, since these error components are integrated into the gyro angle information, the value fluctuates even in the stopped state, and thus appears as an output drift error.
そこで、この差分出力をローパスフィルタリング(LPF)し、誤差成分であるノイズ成分(Vn)や装置に加わる振動成分等の高域周波数(fh)をカットし、第1姿勢演算手段15での第1情報として利用する。 Therefore, the differential output is subjected to low-pass filtering (LPF) to cut a high frequency (fh) such as a noise component (Vn) that is an error component or a vibration component applied to the apparatus, and the first attitude calculation means 15 performs the first operation. Use as information.
これと、同時に、ドリフト成分等であるより低域の周波数(fl)でカットした第2情報をオフセット値として求め、第2情報と差分を取ることにより、誤差を低減することができる。 At the same time, the second information cut at a lower frequency (fl) that is a drift component or the like is obtained as an offset value, and an error can be reduced by taking a difference from the second information.
しかし、このときのローパスフィルタ(LPF)のカットオフ周波数(fl)は高く設定すれば、それだけ大きなドリフトなどに対して低減効果が出るが、本来の姿勢変化による動作信号もカットしてしまうために、ゆっくりとした動作に対して反応しなくなってしまう。 However, if the cut-off frequency (fl) of the low-pass filter (LPF) at this time is set high, the effect of reducing large drifts can be obtained, but the operation signal due to the original posture change is also cut off. , It stops responding to slow movements.
そこで、後述する停止判定制御手段16により、本装置が止まっていると判断したときにのみローパスフィルタの情報をオフセットとして記憶する。 Therefore, the low-pass filter information is stored as an offset only when it is determined by the stop determination control means 16 described later that the present apparatus is stopped.
こうすることにより、ローパスフィルタのカットオフ周波数(fl)を低く設定することができ、より低速の動きに対しても検出することが可能となり、ドリフトによる変動も少なくなる。 By doing so, the cut-off frequency (fl) of the low-pass filter can be set low, it is possible to detect even a slower movement, and fluctuation due to drift is reduced.
また、加速度センサは2つの使い方があり、一つは地球重力の重力加速度を利用した傾斜センサとしての機能、もう一つが慣性運動により発生する運動加速度センサ機能である。 The acceleration sensor can be used in two ways. One is a function as a tilt sensor using the gravitational acceleration of the earth's gravity, and the other is a motion acceleration sensor function generated by inertial motion.
この運動加速度情報を積分することにより速度情報が得られ、さらに積分することにより位置情報が得られる。 By integrating this motion acceleration information, velocity information is obtained, and by further integrating, position information is obtained.
例えば、X軸方向の加速度センサについて考えてみると、このときのX軸加速度センサに寄与する重力加速度成分(Gx)と、X軸加速度センサ出力(Va)、加速度センサスケールファクタ(As)、X軸加速度センサの水平面に対する傾斜つまりY軸周りの回転角度(θ)、地球の重力G(1G=9.8m/s)、静止時出力(Vo)とする。 For example, when considering an acceleration sensor in the X-axis direction, the gravitational acceleration component (Gx) contributing to the X-axis acceleration sensor at this time, the X-axis acceleration sensor output (Va), the acceleration sensor scale factor (As), X The inclination of the axial acceleration sensor with respect to the horizontal plane, that is, the rotation angle (θ) around the Y axis, the gravity G of the earth (1G = 9.8 m / s), and the stationary output (Vo).
Gx=G×sinθ
Va=Gx×As−Vo
θ=sin−1{(Va−Vo)/As} …(4)
傾斜センサとしては、式(4)で求めることができる。
Gx = G × sin θ
Va = Gx × As−Vo
θ = sin −1 {(Va−Vo) / As} (4)
As an inclination sensor, it can obtain | require by Formula (4).
しかし、このとき、加速度センサが運動状態であれば、加速度情報には重力加速度と運動加速度の加算された情報が得られるために、この結果の情報を低周波成分を通過させようにローパスフィルタリングをすることにより、重力加速度成分を得ることができる。 However, at this time, if the acceleration sensor is in a motion state, information obtained by adding the gravitational acceleration and the motion acceleration is obtained as the acceleration information. Therefore, low-pass filtering is performed so that the resulting information passes through the low frequency component. By doing so, a gravitational acceleration component can be obtained.
したがって、この情報をもとにジャイロデータの角度情報のドリフト成分を補正するのに使うこともできる。 Therefore, it can be used to correct the drift component of the angle information of the gyro data based on this information.
よって、加速度センサによる傾斜情報は、静的には絶対的な参照データとなるが、運動状態や乗り物などの中での移動体の検出には使うことができない。 Therefore, although the tilt information by the acceleration sensor is statically absolute reference data, it cannot be used to detect a moving body in a motion state or a vehicle.
また、このときに、補正できるジャイロ情報は、X軸とY軸周りの回転のみであり、重力軸に対する回転方向であるZ軸周りの情報は補正できない。 Further, at this time, the gyro information that can be corrected is only the rotation around the X axis and the Y axis, and the information around the Z axis that is the rotation direction with respect to the gravity axis cannot be corrected.
また、2つ目の運動加速度センサ機能については、(5)式の演算により並進運動による加速度情報(α)を前記同様にX軸方向の加速度センサが水平面に対して傾斜(θ)している場合について考えてみる。 As for the second motion acceleration sensor function, the acceleration information (α) obtained by translational motion is tilted (θ) with respect to the horizontal plane in the same manner as described above by the calculation of equation (5). Think about the case.
α={(Va−Vo)/(As−Gsinθ)}/cosθ …(5)
このときの角度情報(θ)については(上記傾斜センサ機能からの演算情報は使わずに)前記Y軸の角速度センサより得られた角度情報を使用することで求めることができる。
α = {(Va−Vo) / (As−Gsin θ)} / cos θ (5)
The angle information (θ) at this time can be obtained by using angle information obtained from the Y-axis angular velocity sensor (without using the calculation information from the tilt sensor function).
位置情報を検出するには、運動加速度情報を2回積分してやればよく、これにより位置情報を得ることができる。 In order to detect the position information, the motion acceleration information may be integrated twice, whereby the position information can be obtained.
以上の演算をX,Y,Z軸に対する運動加速度成分(αx,αy,αz)と重力加速度成分(Gx,Gy,Gz)とに分解して同様に行えば、3次元空間上での並進方向の加速度情報、速度情報及び位置情報を得ることが可能となる。 If the above calculation is decomposed into the motion acceleration components (α x , α y , α z ) and the gravitational acceleration components (G x , G y , G z ) with respect to the X, Y, and Z axes, and the same operation is performed, three-dimensional It is possible to obtain acceleration information, velocity information, and position information in the translation direction in space.
ただし、ここでもジヤイロの場合と同様に積分型演算を行っているために、位置情報には誤差が含まれている。 However, since the integral type calculation is performed here as in the case of the gyroscope, the position information includes an error.
ところで、停止状態では運動加速度が加わらないので、重力加速度を利用して得た角度情報のみを利用するが、停止状態でない場合は、運動加速度の値を有意として扱うものとする。 By the way, since the motion acceleration is not applied in the stop state, only the angle information obtained by using the gravitational acceleration is used. However, when the stop state is not set, the value of the motion acceleration is treated as significant.
なお、本発明において、姿勢位置情報とは角度情報及び並進位置情報の一方または双方を表わすものとする。 In the present invention, posture position information represents one or both of angle information and translation position information.
次に、図1に戻って各部の動作、機能及び処理について説明する。 Next, returning to FIG. 1, the operation, function, and processing of each unit will be described.
「画像入力手段17」
画像入力手段17は、カメラ光学系を通して得られた光学投影像を撮像素子であるCCDにより次元画像の映像信号に変換し、この映像信号をフレームメモリに蓄積する。
"Image input means 17"
The image input means 17 converts an optical projection image obtained through the camera optical system into a video signal of a dimensional image by a CCD as an image sensor, and stores this video signal in a frame memory.
また、画像入力手段17は、この2次元画像の映像信号に対して輪郭抽出等の前処理を施し、その時系列画像データを特徴点検手段18に転送する。 The image input means 17 performs preprocessing such as contour extraction on the video signal of the two-dimensional image, and transfers the time-series image data to the feature inspection means 18.
こうして、画像入力手段17は、測定対象物としての移動体の運動に伴う移動体周辺の画像をカメラで撮影して得られる時系列画像データを入力する。 In this way, the image input means 17 inputs time-series image data obtained by taking an image of the periphery of the moving object with the movement of the moving object as the measurement object.
この場合、カメラにより撮像される周辺画像としては、カメラ撮像画角内に多くの特徴点がある固定物体を撮影することが重要である。 In this case, as a peripheral image captured by the camera, it is important to capture a fixed object having many feature points within the camera imaging angle of view.
また、周辺に存在する運動物体や、乗り物などの移動体の中にいるときの外の景色などが撮影されないように、天井や壁などの特徴点にカメラ方向を向けることが重要となる。 In addition, it is important to point the camera toward a feature point such as a ceiling or a wall so that a moving object existing in the vicinity or an outside scenery when in a moving body such as a vehicle is not photographed.
このように、画像入力方向に配慮することで、確実な画像処理が可能となり、加速度センサや角速度センサによる動き情報を補正することが可能となる。 Thus, by considering the image input direction, it is possible to perform reliable image processing, and it is possible to correct motion information by an acceleration sensor or an angular velocity sensor.
「特徴点検出手段18」
特徴点検出手段18は、まず、画像入力手段17から入力される時系列画像データに対して、特徴点抽出部18aでの画像処理によって他の領域と容易に弁別できると共に、物体上の同一の点が撮影されたことを特定できる複数の特徴点を抽出する。
"Feature point detection means 18"
First, the feature
次に、特徴点検出手段18は、その特徴点抽出部18aで抽出された特徴点データと座標値とを特徴点記憶部18bに保持記憶すると同時に、特徴点・姿勢情報記憶部18cに前回記憶した特徴点を追跡して、その位置を検出し、その2次元画像上の座標情報を取得する。
Next, the feature point detection means 18 retains and stores the feature point data and coordinate values extracted by the feature
「ジャイロ・加速度データ情報による画像相関処理」
一般的に、2次元相関処理あるいはテンプレートマッチング処理と呼ばれ、テンプレートである特徴点データを入力画像データに対して2次元方向に走査しながら相関処理を行う。
"Image correlation processing using gyro / acceleration data information"
In general, this is called two-dimensional correlation processing or template matching processing, and correlation processing is performed while scanning feature point data as a template in two-dimensional directions with respect to input image data.
このときに、問題となる要因の一つがカメラのZ軸周りの回転である。 At this time, one of the problematic factors is rotation around the Z axis of the camera.
例えば、操作者の頭部の運動を図7に示すHMD60によって測定するときに、この運動測定用のカメラ62の入力方向が操作者の頭部の前方方向に取り付けられていた場合、首を左右に傾けたときのX軸周りの回転であるRollの発生により、カメラ62で撮影された画像には2次元面の回転が生じる。
For example, when the movement of the operator's head is measured by the
また、同様に、図9に示すように、この運動測定用のカメラ62の方向を上方向に取り付けていた場合にも、首を左右に動かしたときのZ軸周りの回転であるYawの動きで画像に回転が生じる。
Similarly, as shown in FIG. 9, even when the direction of the
画像のフィールド間相関を行うとき、画面上での濃淡値であるパターンを回転させてから相関処理を行わなければならないと共に、回転を行うためのアフィン変換処理を各特徴点データのパターン毎に処理しなければならず、またその角度についても繰り返し変更して相関処理することになり、非常に多くの演算回数が必要となる。 When inter-field correlation of images is performed, correlation processing must be performed after rotating the pattern that is the gray value on the screen, and affine transformation processing for rotation is processed for each pattern of each feature point data In addition, since the angle is repeatedly changed and correlation processing is performed, a very large number of calculations are required.
よって、この処理は画像処理における最も負荷の重い処理の一つとなる。 Therefore, this processing is one of the most heavy processing in image processing.
そこで、角速度センサからの姿勢角度情報と加速度センサからの並進情報をもとにして、後で述べる画像ベクトル推定手段10により、画像データ上での特徴点の2次元の動きを推定することができるので、この情報をもとに探索範囲を狭めることができ、相関処理をより効率よく行うことができる。 Therefore, based on the attitude angle information from the angular velocity sensor and the translation information from the acceleration sensor, the two-dimensional motion of the feature point on the image data can be estimated by the image vector estimation means 10 described later. Therefore, the search range can be narrowed based on this information, and the correlation process can be performed more efficiently.
つまり、ジャイロから演算された角度情報を用いることで、より少ない角度範囲のアフィン変換と、加速度情報を加えることでの特徴点の2次元座標予想位置の範囲の相関処理をするだけでよくなる。 In other words, by using the angle information calculated from the gyro, it is only necessary to perform correlation processing between the affine transformation of a smaller angle range and the range of the predicted two-dimensional coordinate position of the feature point by adding the acceleration information.
このように、ジャイロセンサ情報と加速度センサ情報を利用することにより、演算処理の負荷を大幅に減らすことが可能となる。 Thus, by using the gyro sensor information and the acceleration sensor information, it is possible to significantly reduce the processing load.
「特徴点・姿勢記憶部18c」
次に、特徴点検出手段18の中の特徴点記憶部18bと特徴点・姿勢記憶部18cでは、特徴点の固定空間座標に対する位置を記憶する。
“Feature Point /
Next, the feature
初期化時に、固定座標空間OXYZと頭部座標系(OhXhYhZh座標系)とは完全に一致している。 During initialization, it is exactly the same fixed coordinate space OXYZ the head coordinate system (O h X h Y h Z h coordinate system).
ここで、特徴点は、移動体の周りの固定された物体の座標であるため、その周辺画像のシーンに固定された絶対参照点と考えることができる。 Here, since the feature point is a coordinate of a fixed object around the moving body, it can be considered as an absolute reference point fixed in the scene of the surrounding image.
したがって、この特徴点は、固定座標空間における絶対参照点となる。 Therefore, this feature point becomes an absolute reference point in the fixed coordinate space.
図8は、頭部運動姿勢に対するカメラの位置の関係とカメラ入力画像である投影画像面と空間中の特徴点である固定点Poの関係を表した図である。 FIG. 8 is a diagram illustrating the relationship between the position of the camera with respect to the head movement posture, the relationship between the projection image plane that is the camera input image, and the fixed point Po that is the feature point in the space.
ここで、カメラ座標から見たPo点を(Xc,Yc,Zc)とする。 Here, the Po point viewed from the camera coordinates is (Xc, Yc, Zc).
また、3次元空間座標と画像平面上点Q(x,y)との投影関係式は(6)式となる。 The projection relational expression between the three-dimensional space coordinates and the point Q (x, y) on the image plane is the expression (6).
x=fXc/Zc,
y=fY/Zc …(6)
更に、加速度センサからの並進情報により頭部位置の並進ベクトルが得られるため、この情報と2つの画像間の同じ特徴点の2次元座標より空間上での3次元位置を推定することができる。
x = fXc / Zc,
y = fY / Zc (6)
Furthermore, since the translation vector of the head position is obtained from the translation information from the acceleration sensor, the three-dimensional position in space can be estimated from this information and the two-dimensional coordinates of the same feature point between the two images.
そして、特徴点抽出部18aによって抽出されたそれぞれの特徴点の2次元座標上の座標データは、特徴点記憶部18bに記憶される。
The coordinate data on the two-dimensional coordinates of each feature point extracted by the feature
更に、その中から濃淡値等の変化に富んだ特徴点は、次の特徴点・姿勢情報記憶部18cに記憶される。
Furthermore, feature points rich in changes such as gray values are stored in the next feature point / posture
すなわち、この特徴点・姿勢情報記憶部18cには、その特徴点固有の番号と、固定座標空間OXYZに対する特徴点(Xo,Yo、Zo)座標を内部情報の形で記憶する参照点基準情報と、固定点の時系列データ番号と、時系列データ番号毎に推定された特徴点の特徴点位置情報と、そのときの角速度センサからの姿勢情報と加速度センサからの並進情報とが記憶される。
That is, the feature point / posture
ここで、特徴点固有の番号は、背景画像の中で抽出された特徴点毎の固有の番号であり、入力画像の1画角中に常に少なくとも8点が得られるように管理される。 Here, the number unique to the feature point is a number unique to each feature point extracted from the background image, and is managed so that at least eight points are always obtained in one angle of view of the input image.
また、特徴点時系列データ番号は、固有の特徴点毎に特徴点位置情報を管理する番号である。 The feature point time-series data number is a number for managing feature point position information for each unique feature point.
この特徴点位置情報は、すべての時系列に入力されるデータを記憶する訳ではなく、その画像を取り込んだときの位置情報である並進情報の値がある閾値以上の位置情報を優先的に保管する。 This feature point position information does not store all time-series input data, but preferentially stores position information above a certain threshold value of translation information, which is position information when the image is captured. To do.
例えば、移動体が運動をしたときの同一地点からでない種々の方向からの同一の特徴点Poの情報を記憶する。 For example, information on the same feature point Po from various directions that are not from the same point when the moving body moves is stored.
更に、特徴点位置情報の値が大きく異なった場合や検出できなかったとき、そのときの系列データは記憶せずに破棄される。 Further, when the value of the feature point position information is greatly different or cannot be detected, the series data at that time is discarded without being stored.
そして、この状態がある一定時間続く場合には、その特徴点が固定物体ではないと判断して全てのデータを破棄する。 If this state continues for a certain period of time, it is determined that the feature point is not a fixed object, and all data is discarded.
視点Ocから特徴点Po点に向かう単位方向ベクトルをmと定義すると、特徴点位置情報にはカメラ原点Ocから見たベクトルmと、角速度センサからの角度情報と、加速度センサからの並進情報とが記憶される。 If a unit direction vector from the viewpoint Oc toward the feature point Po is defined as m, the feature point position information includes a vector m viewed from the camera origin Oc, angle information from the angular velocity sensor, and translation information from the acceleration sensor. Remembered.
「第3姿勢演算手段20」
次に、第3姿勢演算手段20では、特徴点位置情報が2点以上になるとステレオカメラの原理により特徴点までの距離情報を求めることができるため、その距離情報を求めて、参照基準情報として記憶する。
"Third attitude calculation means 20"
Next, in the third posture calculation means 20, since the distance information to the feature point can be obtained by the principle of the stereo camera when the feature point position information becomes two points or more, the distance information is obtained as reference standard information. Remember.
また、第3姿勢演算手段20では、特徴点位置情報がある閾値以上の点数になると、それらの情報を最小二乗法により原点Oからの位置情報を求めて参照基準情報として記憶する。 In addition, when the feature point position information reaches a certain threshold or more, the third posture calculation means 20 obtains the position information from the origin O by the least square method and stores it as reference standard information.
この参照基準情報は原点Oから見た方向ベクトルMiと、原点OからPoまでの距離Piを演算し記憶することにより、特徴点の処理を原点座標に換算して利用できるように管理される。 This reference standard information is managed so that the feature point processing can be converted into the origin coordinates and used by calculating and storing the direction vector Mi viewed from the origin O and the distance Pi from the origin O to Po.
式(7)は、2つの画面の特徴点情報を最小二乗法により最適解を導くための条件を示す。 Expression (7) represents a condition for deriving an optimal solution from the feature point information of the two screens by the least square method.
ここで、Mは、固定座標空間における原点Oから特徴点を見た単位方向ベクトルを表し、i(=1…n)は特徴点固有番号である。 Here, M represents a unit direction vector when the feature point is viewed from the origin O in the fixed coordinate space, and i (= 1... N) is a feature point unique number.
Σ|mi h Rmi|2 >min …(7)
miはある時点での単位方向ベクトルで式(6)により求められる。
Σ | mi h Rmi | 2 > min (7)
mi is a unit direction vector at a certain point in time, and is obtained by equation (6).
Rmiはmi点に対しR回転された移動後のベクトルを表し、角速度センサからの角度情報より求められる。 Rmi represents a vector after movement that has been R-rotated with respect to the mi point, and is obtained from angle information from the angular velocity sensor.
また、hはmiからRmiまでの並進ベクトルを表し、加速度センサからの並進情報より求められる。 H represents a translation vector from mi to Rmi, and is obtained from translation information from the acceleration sensor.
故に、この参照基準情報は角速度センサからの角度情報と加速度センサからの並進情報との誤差を含んだそれぞれの姿勢情報と、画像上の複数の特徴点の情報をもとに最小二乗法で近似的に推定された情報である。 Therefore, this reference standard information is approximated by the least square method based on each posture information including errors between the angle information from the angular velocity sensor and the translation information from the acceleration sensor, and information on multiple feature points on the image. Information.
よって、更に、この処理を時系列データ毎に行い、それぞれ固有の参照基準情報に対して平均化を行うことにより、角速度センサからの角度情報と加速度センサからの並進情報による誤差を少なくすることができる。 Therefore, by further performing this process for each time series data and averaging each of the unique reference standard information, errors due to the angle information from the angular velocity sensor and the translation information from the acceleration sensor can be reduced. it can.
この参照基準情報が、ある閾値以上の個数で補間演算されると、特徴点位置情報の時系列データに保管することを止め、特徴点位置情報は全て破棄される。 When this reference standard information is interpolated with a number equal to or greater than a certain threshold, it is no longer stored in the time-series data of the feature point position information, and all the feature point position information is discarded.
以上の処理は、また新たに検出された特徴点についても同様の手順で処理されていく。 The above processing is also performed in the same procedure for newly detected feature points.
また、前記特徴点位置情報を保存するための条件として、その画像を取り込んだときの位置情報である並進情報の値がある閾値以上の位置情報を優先的に保管していたが、この条件において並進情報がゼロとなる条件(実際にはある閾値以下)のとき、この特徴点位置情報が直接利用される。 Further, as a condition for storing the feature point position information, the position information of the translation information, which is the position information when the image is captured, is preferentially stored in a position equal to or greater than a certain threshold. This feature point position information is directly used when the translation information is zero (actually below a certain threshold).
この条件では、固定座標空間OXYZと頭部座標系(OhXhYhZh座標系)とが一致しているため、2次元画像の式(6)により求められる回転姿勢情報はそのまま角度センサからの姿勢情報の補正に利用することが可能となる。 Under this condition, since the fixed coordinate space OXYZ and the head coordinate system (O h X h Y h Z h coordinate system) match, the rotational posture information obtained by the equation (6) of the two-dimensional image remains as an angle. It can be used to correct posture information from the sensor.
「動きベクトル検出手段19」
この動きベクトル検出手段19は、前記の特徴点マッチング法により1フィールド毎の画像の動き情報を検出し、その情報より動きベクトルを検出するものである。
"Motion vector detection means 19"
The motion vector detection means 19 detects motion information of an image for each field by the feature point matching method, and detects a motion vector from the information.
特徴点マッチング法とは、画面上での濃淡値を代表点として選んだいくつかの画素と、その周囲の画素とのフィールド間相関からフィールド毎の動きベクトルを求めるものである。 The feature point matching method is to obtain a motion vector for each field from the inter-field correlation between some pixels selected with the gray value on the screen as a representative point and the surrounding pixels.
すなわち、動きベクトル検出手段19は、前記特徴点検出手段18により得られたいくつかの特徴点の2次元座標値の時系列データをもとに2次元画像上(xy座標)での動きベクトル分布の処理を行う。 That is, the motion vector detection means 19 is a motion vector distribution on a two-dimensional image (xy coordinates) based on time-series data of two-dimensional coordinate values of some feature points obtained by the feature point detection means 18. Perform the process.
更に、動きベクトル検出手段19は、動きベクトルの分布より、同じ向きと大きさのベクトル領域の分割を行う。 Further, the motion vector detecting means 19 divides vector regions having the same direction and size from the motion vector distribution.
「停止判定制御手段16」
この停止判定制御手段16は、前記動きベクトル検出手段19からの動きベクトル情報より周辺の画像の動きがある閾値内であり、ジャイロデータのLPF出力からの第1情報もある閾値以下で、更にその状態が一定時間内続いていると判定したならば、被計測移動体が停止していると判定し前記ジャイロ出力処理系のオフセット保持手段12の情報を現在のLPF出力からの第2情報により更新する。
"Stop determination control means 16"
The stop determination control means 16 is within a threshold value where there is motion of the surrounding image from the motion vector information from the motion vector detection means 19, and the first information from the LPF output of the gyro data is also below a certain threshold value. If it is determined that the state has continued for a certain period of time, it is determined that the measured moving body is stopped, and the information of the offset holding means 12 of the gyro output processing system is updated with the second information from the current LPF output. To do.
また、加速度検出手段26からの情報を演算する第2姿勢演算手段27に対しても、同様の判定条件を加える。
The same determination condition is also applied to the second
但し、ジャイロデータと違うのは、停止したと判断されたときのデータは傾斜データと判定して演算処理する。 However, the difference from the gyro data is that the data when it is determined that the vehicle is stopped is determined to be inclination data and is processed.
よって、被計測移動体が停止しているときは、ドリフトによる誤差は一切発生しないが、停止していない状態が長く続くようなとき、第1姿勢演算手段15の出力にはドリフトによる誤差が加算される問題がある。 Therefore, when the measured moving body is stopped, no error due to drift occurs. However, when the state where it is not stopped continues for a long time, the error due to drift is added to the output of the first attitude calculation means 15. There is a problem.
「カメラ姿勢パラメータ保持手段22」
次に、カメラ62の取り付け位置と方向について説明する。
“Camera posture parameter holding means 22”
Next, the mounting position and direction of the
前記第3姿勢演算手段20における2次元画像解析結果は、カメラ座標系に対する座標系である。 The two-dimensional image analysis result in the third posture calculation means 20 is a coordinate system with respect to the camera coordinate system.
しかし、求める動きは、操作者の頭部の空間的な運動であるために、頭部運動座標系とカメラ座標系の関係を求めておく必要がある。 However, since the desired motion is a spatial motion of the operator's head, it is necessary to obtain the relationship between the head motion coordinate system and the camera coordinate system.
図7は、撮影方向が頭部に対して前方方向を向くように設置された場合であって、カメラ62がHMD60に取り付けられているイメージを示す。
FIG. 7 shows an image in which the
図8は、固定座標系OXYZ空間内での頭部座標系(OhXhYhZh座標系)とカメラ座標系(OcXcYcZc座標系)の関係を示す。 Figure 8 shows the relationship between the head coordinate system with the fixed coordinate system OXYZ space (O h X h Y h Z h coordinate system) and the camera coordinate system (OcXcYcZc coordinate system).
固定座標系OXYZ座標系に対する頭部の回転姿勢を、Zh軸周りにyh回転させ、回転後のYh軸周りにph回転させ、回転後のXh軸周りにrhの回転を与えたときの姿勢を求める回転行列をRhとし、また並進移動べクトルをPhとして定義する。 The rotation orientation of the head relative to a fixed coordinate system OXYZ coordinate system, then y h rotated around Z h-axis, then p h rotated around Y h-axis after rotation, the rotation of r h around X h axis after rotation the rotation matrix for obtaining the posture of when given as R h, also defines the translational movement base vector as P h.
また、頭部OhXhYhZh座標系に対するカメラ回転姿勢をZc軸周りにyc、回転後のYc軸周りにpc、回転後のXc軸周りにrcの回転を与えたときの姿勢を求める回転行列をRcとし、また並進移動ベクトルをPcとして定義する。 Further, the posture of when given rotation rc head O h X h Y h Z h coordinate yc the camera rotation position around Zc axis relative system, pc around Yc axis after rotation around Xc axis after rotation Is defined as Rc, and a translation vector is defined as Pc.
頭部座標系は、固定座標系に対して運動の基点である首の部分を原点Oh(XhYhZh)と定義し、また頭部座標系に対してカメラ原点の位置をOc(Xc,Yc,Zc)と定義する。 In the head coordinate system, the neck portion that is the base point of motion with respect to the fixed coordinate system is defined as the origin O h (X h Y h Z h ), and the position of the camera origin with respect to the head coordinate system is defined as Oc. It is defined as (Xc, Yc, Zc).
また、カメラ座標系から見た点Poの位置を(Xc,Yc,Zc)とすると、固定座標系の空間の点Poは頭部およびカメラ62の姿勢に対して式(8)のように表される(但し、Sx,CxはsinX、cosXを表す)。
この関係式(8)の右辺第1項は頭部の運動パラメータ、第2項がカメラ姿勢パラメータとなる。 The first term on the right side of the relational expression (8) is the head movement parameter, and the second term is the camera posture parameter.
カメラ姿勢パラメータは、カメラ姿勢パラメータ保持手段22に保持されていて、前もって分かっている。 The camera posture parameters are held in the camera posture parameter holding means 22 and are known in advance.
よって、以上の関係式よりカメラ画像により得られる動きベクトルから、固定空間における頭部の動きに変換することが可能となる。 Therefore, it is possible to convert the motion vector obtained from the camera image from the above relational expression into the motion of the head in the fixed space.
また、逆に、頭部の動き情報である加速度情報と角速度情報から画像特徴点の動きを予想することが可能となる。 Conversely, it is possible to predict the movement of the image feature point from the acceleration information and the angular velocity information, which are head movement information.
図3に示す「姿勢検出動作モード」44では、第3姿勢演算手段20における演算処理で求められる運動パラメータを式(8)の右辺第2項に代入することにより、被計測移動体の姿勢を求めることが可能となる。 In the “posture detection operation mode” 44 shown in FIG. 3, the posture of the moving body to be measured is changed by substituting the motion parameter obtained by the calculation processing in the third posture calculation means 20 into the second term on the right side of the equation (8). It can be obtained.
「補正演算手段21」
前記第3姿勢演算手段20では、画像処理による演算により、原点Oからのベクトルに換算された姿勢角度と並進情報を含む参照基準情報を求めている。
"Correction calculation means 21"
The third attitude calculation means 20 obtains reference standard information including an attitude angle converted into a vector from the origin O and translation information by calculation by image processing.
しかし、この処理にはジャイロや加速度センサによる処理よりも多くの時間を有するために、基本的には第1姿勢演算手段15からの並進位置情報と第2姿勢演算手段27からの回転角度情報が本発明による移動体姿勢位置検出装置の姿勢位置演算情報として用いられる。 However, since this process takes more time than a process using a gyroscope or an acceleration sensor, basically, the translation position information from the first attitude calculation means 15 and the rotation angle information from the second attitude calculation means 27 are included. It is used as posture position calculation information of the mobile body posture position detection apparatus according to the present invention.
但し、補正演算手段21では、角速度センサの角度情報と加速度センサの並進情報より原点Oからのベクトルに換算し、ジャイロデータのドリフトを含んだ姿勢角度情報や加速度センサからの並進情報を、このときの参照基準情報と求めたベクトルとの差を角速度センサの角度情報と加速度センサの並進情報の誤差成分として補正するために用いる。 However, the correction calculation means 21 converts the angle information of the angular velocity sensor and the translation information of the acceleration sensor into a vector from the origin O, and converts the attitude angle information including the drift of the gyro data and the translation information from the acceleration sensor at this time. This is used to correct the difference between the reference standard information and the obtained vector as an error component between the angular information of the angular velocity sensor and the translation information of the acceleration sensor.
第1姿勢演算手段15及び第2姿勢演算手段27の情報に対して第3姿勢演算手段20の参照基準情報との誤差(ε)が発生した場合、第3姿勢演算手段20の値に補正するべく、またゆっくりと補正されるようにその差分を加算していく。 When an error (ε) with respect to the reference reference information of the third attitude calculation means 20 occurs with respect to the information of the first attitude calculation means 15 and the second attitude calculation means 27, the value is corrected to the value of the third attitude calculation means 20. Therefore, the difference is added so as to be corrected again slowly.
例えば、ジャイロデータについてみれば、このときの補正値の幅は第1姿勢演算手段15からの最新の角速度(ωt)に係数(k)を乗じたものを誤差(ε)がゼロになるまで加算し続ける。 For example, regarding the gyro data, the width of the correction value at this time is obtained by multiplying the latest angular velocity (ωt) from the first attitude calculation means 15 by the coefficient (k) until the error (ε) becomes zero. Keep doing.
これを式(9)に示す。 This is shown in equation (9).
θt=θt−1+ωt+ε・k …(9)
このとき時の(k)は
ωt=0 ならば k=0
0>ωt>Tmax ならば k=0.5、
ωt>Tmax ならば k=1となる。
θt = θ t−1 + ωt + ε · k (9)
At this time, if (k) is ωt = 0, then k = 0
If 0>ωt> Tmax, k = 0.5,
If ωt> Tmax, k = 1.
よって、姿勢変化がなく停止状態では誤差が発生していても誤差の補正は行わない。 Therefore, no error correction is performed even if an error occurs in the stop state without any change in posture.
しかし、動作状態では、その角速度に応じて誤差をキャンセルする幅を大きくする。 However, in the operating state, the width for canceling the error is increased according to the angular velocity.
このようにすることにより、VR的な表示を観察しているときに操作者の意志に関わらず勝手に映像が動くことなく、また動作中に誤差がキャンセルされることで操作者にはその補正による動きを分かり難くするという効果がある。 By doing so, the image is not moved freely regardless of the operator's intention while observing the VR-like display, and the error is canceled during the operation, so that the operator can correct the error. It has the effect of making it difficult to understand the movement caused by.
これは、並進情報に関しても同様の処理が行われる。 The same processing is performed for translation information.
「画像ベクトル推定手段10」
画像べクトル推定手段10は、前記カメラ姿勢演算式(8)において、前記カメラ姿勢パラメータ保持手段22のカメラ姿勢パラメータ情報と、頭部運動パラメータの代わりに、ジャイロ角速度情報と加速度センサからの加速度情報をそれぞれ式に代入することによりカメラ62の動きを予測し、更に、そのカメラ62の動き情報より特徴点の移動位置を予測することが可能となる。
"Image vector estimation means 10"
The image vector estimation means 10 uses gyro angular velocity information and acceleration information from the acceleration sensor instead of the camera attitude parameter information of the camera attitude parameter holding means 22 and the head movement parameter in the camera attitude calculation formula (8). By substituting each into the equation, the movement of the
特徴点検出手段18に対しては、画像回転によるアフィン変換角度情報や特徴点マッチング領域の座標推定情報として、また動きベクトル検出手段19に対しては、動きベクトルそのものか、あるいは画像領域の中から周辺に存在する運動物体や、乗り物などの移動体の中にいるときの外の景色などの誤差要因となる移動、ベクトルデータを除去するための判定情報として利用することができる。 For the feature point detection means 18, the affine transformation angle information by the image rotation or the coordinate estimation information of the feature point matching area, and for the motion vector detection means 19, either the motion vector itself or the image area. It can be used as determination information for removing motion data and vector data that cause an error factor such as a moving object such as a moving object such as a vehicle outside and a scenery outside the vehicle.
角速度検出手段11からの角速度情報あるいは角度情報と、加速度検出手段26からの加速度情報あるいは並進情報により推定で求められる特徴点の動きあるいは画像ベクトルの動きなどの他のいくつかの処理の中で利用される情報を予め計算しておくことにより、演算負荷を減らすことが可能となる。 Used in several other processes such as motions of feature points or image vectors obtained by estimation from angular velocity information or angular information from the angular velocity detection means 11 and acceleration information or translation information from the acceleration detection means 26 By calculating the information to be performed in advance, the calculation load can be reduced.
「測定不能判定と警告表示」
画像入力手段17から特徴点検出手段18に対し、特徴点の少ない壁や天井などを撮像することにより、その特徴点が見つからないような画像が入力されたとき動きベクトルが測定できなくなってしまう。
`` Unable to measure and warning display ''
If the
また、運動物体がカメラ62の直ぐ前を横切つたりした場合や、操作者が乗り物などの移動体の中にいるときで外の景色だけが写るようなとき、画像処理による動きベクトル検出手段19ではジャイロデータによる角度情報および加速度センサからの加速度情報と大きく異なる動きベクトルが検出される。
Also, when a moving object crosses just in front of the
その他に、画像演算処理システムの処理能力以上の早い動きにより更新画像データに過去の特徴点がなくなってしまったときにも、上述と同様に検出不能となってしまう。 In addition, even when the past feature points are lost in the updated image data due to the rapid movement exceeding the processing capability of the image arithmetic processing system, the detection becomes impossible as described above.
このようなときには、測定不能と判断し、補正演算手段21ではジャイロデータによる角度演算情報および加速度センサからの加速度情報のみで演算し、画像処理演算情報による補正を行わない演算モードとする。
In such a case, it is determined that the measurement is impossible, and the
よって、本発明では、常に、どのような条件でも姿勢を検出し続けることができるようになる。 Therefore, in the present invention, the posture can always be detected under any condition.
その後、前回記憶していた特徴点が抽出された場合には、そのときの位置情報により姿勢情報の補正を再開する。 Then, when the feature point memorize | stored last time is extracted, correction | amendment of attitude | position information is restarted with the positional information at that time.
しかし、このような測定不能状態が長く続くことは、ジャイロのドリフトや加速度センサの積算などによる誤差が発生する要因になる。 However, such a state incapable of being measured continues for a long time, which causes an error due to gyro drift or acceleration sensor integration.
そのために、本発明では、このような状態が一定期間続くと操作者に対して警告を発する機能を有している。 Therefore, the present invention has a function of issuing a warning to the operator when such a state continues for a certain period.
例えば、ブザー音やLED等光による警告を発する方法や、HMDの映像情報にそのステータスを表示する方法、またこの姿勢位置検出装置の情報を入力しているホストシステムに対してステータス情報の中にエラー情報として操作者に知らせることができる。 For example, a method for issuing a warning by light such as a buzzer sound or LED, a method for displaying the status in the video information of the HMD, and status information for the host system that is inputting the information of the posture position detection device. The operator can be notified as error information.
「カメラ取付方向変更手段23関連」
カメラ62の取付方向については、通常はHMD60を装着した状態のときの前方の画像を撮像することが基本になっている。
"Camera mounting direction change means 23 related"
As for the mounting direction of the
しかし、前記のような測定不能状態が発生するような条件下で使用できなくならないように、図2に示すように、カメラ取り付け方向を変更することが可能なカメラ取付方向変更手段23を備えている。 However, as shown in FIG. 2, the camera mounting direction changing means 23 capable of changing the camera mounting direction is provided so that the camera cannot be used under the condition that the measurement impossible state as described above occurs. Yes.
例えば、このカメラ取付方向変更手段23によりカメラ62を操作者の頭頂方向に向けたり、左右どちらかに向けたりすることで、その使用している環境下で最も測定に良い条件の画像が得られる方向に設定することが可能となる。
For example, by directing the
また、このカメラ取り付け方向の切り替えに対して、前記カメラ姿勢パラメータ保持手段22は予めそれぞれの取付方向に対する姿勢パラメータデータを保管しているので、切換スイッチ(図示せず)やホストシステムからのパラメータ設定コマンド等によりその設定を切り換えることができるようにしてもよい。 Further, for the switching of the camera mounting direction, since the camera posture parameter holding means 22 stores posture parameter data for each mounting direction in advance, parameter setting from a changeover switch (not shown) or a host system is performed. The setting may be switched by a command or the like.
また、カメラ62内にカメラ姿勢検知手段24を組み込むことにより、前記切り替え操作を自動で行うことも可能である。
Further, by incorporating the camera posture detection means 24 in the
これは、カメラ取付方向変更手段23とHMD60本体との結合面にマイクロスイッチやホール素子による接合検出器等によりカメラ62の取付位置による取付方向を検知する方法である。
This is a method of detecting the mounting direction depending on the mounting position of the
または、前記加速度センサである半導体加速度センサをカメラ62の内側に装着することにより、カメラ62の取付傾斜角度を知る傾斜センサとして利用することも可能である。
Alternatively, by mounting the semiconductor acceleration sensor, which is the acceleration sensor, on the inside of the
したがって、カメラ姿勢検知手段24は、カメラ取付方向変更手段23により取り付け方向が変更されたのを自動的に検出し、カメラ姿勢パラメータ保持手段22の姿勢パラメータデータの変更を自動的に行うことが可能となり、使用者への負担を減らすことができる。
Therefore, the camera
「カメラパラメ一タ自動キャリブレーション機能」
前記までのカメラ取り付け方向に関する機能は、計測されたカメラ姿勢パラメータを前もってシステムに組み込んで利用することにより、極めて簡便にカメラ方向とその姿勢パラメータの変更を行うことができる。
"Camera parameter automatic calibration function"
The functions related to the camera mounting direction up to the above can be used to change the camera direction and its posture parameters very simply by incorporating the measured camera posture parameters into the system in advance.
しかし、より自由度のあるカメラ取付方向変更手段23を備えた画像入力手段17に対して、あるいは操作者の動きの原点となる首の基点位置に対するカメラ位置の個人差など(例えば、頭の大きさ、首の長さなど)の違いにより、その姿勢パラメータに誤差が生じてしまう。 However, an individual difference of the camera position with respect to the image input means 17 having the camera mounting direction changing means 23 having a higher degree of freedom or the base position of the neck that is the origin of the movement of the operator (eg, the size of the head Error in the posture parameter due to the difference in the length of the neck).
そこで、カメラ姿勢パラメータ演算手段25は、カメラ姿勢パラメータである取り付け姿勢や位置を各利用者毎に測定し、カメラ姿勢パラメータ保持手段22に記憶する機能を有している。
Therefore, the camera posture
前記カメラパラメータ演算の関連式(8)に、既知の運動データを与えたときの画像処理から得られる動きベクトルを求めることにより、カメラ取り付け位置の姿勢パラメータを自動的に求めることができる。 By obtaining the motion vector obtained from the image processing when the known motion data is given to the relational expression (8) of the camera parameter calculation, the posture parameter of the camera mounting position can be obtained automatically.
このカメラパラメ一タ自動キャリブレーションの機能は、以下のようにして簡単な操作で遂行することができる。 The camera parameter automatic calibration function can be performed by a simple operation as follows.
まず、カメラ姿勢キャリブレーションにおいては、入力する画像などに関してはなるべく遠方の画像を取り込むことを条件とする。 First, in camera posture calibration, it is a condition that an image as far as possible is captured as far as an input image or the like.
そして、利用者が、この装置を実際に利用する状態にカメラ62を向け取り付けた状態で、この装置を装着する頭をなるべく並進運動を行わずゆつくりと上下左右横振り等の回転運動を行い画像を入力するだけで、キャリブレーションが可能となる。
Then, with the
図3に示す「カメラ姿勢キャリブレーションモード」35のとき、第1姿勢演算手段15及び第2姿勢演算手段27は通常の動作や演算を行っている。 In the “camera posture calibration mode” 35 shown in FIG. 3, the first posture calculation means 15 and the second posture calculation means 27 perform normal operations and calculations.
カメラ姿勢パラメータ演算手段25は、ジャイロデータによる姿勢データと加速度センサからの並進情報と第3演算手段20により得られた画像処理のデータを何点かサンプリングする。 The camera attitude parameter calculation means 25 samples several points of attitude data based on gyro data, translation information from the acceleration sensor, and image processing data obtained by the third calculation means 20.
このときの特徴点マッチングでは、カメラ姿勢パラメータが定まっていないために、特徴点の動き予測を行わないモードで処理される。 The feature point matching at this time is processed in a mode in which the motion prediction of the feature point is not performed because the camera posture parameter is not determined.
これらの結果を前記カメラ姿勢パラメータ演算の関連式(8)に代入して、最小二乗法により、カメラ姿勢パラメータを逆算することが可能となる。 By substituting these results into the relational expression (8) of the camera posture parameter calculation, it is possible to reversely calculate the camera posture parameter by the least square method.
キャリブレーションが終了すると、この姿勢パラメータをカメラ姿勢パラメータ保持手段22に記憶し、その後は図3に示す通常動作の「姿勢検出動作モード」44等の演算に使用する。 When the calibration is completed, this posture parameter is stored in the camera posture parameter holding means 22 and thereafter used for calculation such as “posture detection operation mode” 44 of the normal operation shown in FIG.
よって、カメラ取付方向変更手段23に関しては、より自由度のある手法を用いることができ、カメラ方向もより自由度が増し、どのような方向に向けた場合でも、前述したようなキャリブレーションを実行することにより、装置を良好な状態で使うことができると共に、個人差などの誤差も解消することができる。 Therefore, a more flexible method can be used for the camera mounting direction changing means 23, and the degree of freedom of the camera direction is also increased, and the calibration as described above is performed in any direction. By doing so, the apparatus can be used in a good state, and errors such as individual differences can be eliminated.
なお、この場合には、カメラ姿勢検知手段24などは不要となる。 In this case, the camera posture detection means 24 and the like are not necessary.
「前処理入力による特徴点検出記憶手段」
本移動体姿勢位置検出装置は、その他の特徴として、特徴点を前処理により記憶するモードを備えている。
"Feature point detection and storage means by pre-processing input"
The moving body posture position detection apparatus includes a mode for storing feature points by preprocessing as another feature.
すなわち、図3に示すこの「特徴点前処理モード」37では、まず、通常利用する範囲の頭部運動を行う。 That is, in the “feature point preprocessing mode” 37 shown in FIG. 3, first, the head movement in the range normally used is performed.
前記の通常行われる「姿勢検出動作モード」44と同様にジャイロセンサ、加速度センサ及び画像処理による姿勢検出動作が行われる。 Similar to the “posture detection operation mode” 44 that is normally performed, the posture detection operation by the gyro sensor, the acceleration sensor, and the image processing is performed.
このときに抽出されている特徴点は、姿勢情報と共に特徴点検出手段18の中の特徴点・姿勢情報記憶部18cにも記憶される。
The feature points extracted at this time are also stored in the feature point / posture
更に、参照基準情報も計算して、この特徴点・姿勢情報記憶部18cに記憶する。
Further, reference standard information is also calculated and stored in the feature point / posture
よって、現在撮像されてる画像内の特徴点だけでなく、環境内の周りの画像の特徴点と姿勢情報が、それぞれ関連付けながら特徴点・姿勢情報記憶部18cに記憶保持される。
Therefore, not only the feature points in the currently captured image but also the feature points and posture information of the surrounding images in the environment are stored and held in the feature point / posture
そして、その後の「姿勢検出動作モード」44においては、カメラ画像内の特徴点情報を姿勢情報より特徴点・姿勢情報記憶部18cより取り出すことにより、その情報を利用しながら動きベクトルを検出する。
Then, in the “posture detection operation mode” 44 thereafter, the feature point information in the camera image is extracted from the feature point / posture
または、参照基準情報を特徴点・姿勢情報記憶部18cより取り出すことにより、補正を行うことができる。
Alternatively, correction can be performed by extracting the reference standard information from the feature point / posture
よって、特徴点検出手段18の特徴点抽出部18aの処理を簡略化することができるため、画像処理においてより演算負荷を少なくすることが可能となると共に、より高速化を計ることができる。
Therefore, since the processing of the feature
また、この「特徴点前処理モード」37内における特徴点情報に関する測定が短時間で完了するため、角速度センサや加速度センサのドリフトなどの発生を少なくすることができ、特徴点の情報の誤差を低減することができる。 In addition, since the measurement regarding the feature point information in the “feature point preprocessing mode” 37 is completed in a short time, the occurrence of drift of the angular velocity sensor and the acceleration sensor can be reduced, and the error of the feature point information can be reduced. Can be reduced.
また、この「特徴点前処理モード」37は、例えば、ある決まった場所にある椅子に座って作業を行うような固定した環境で使用する場合に有効な利用方法である。 Further, the “feature point preprocessing mode” 37 is an effective usage method when used in a fixed environment where, for example, the user sits on a chair in a certain place and works.
「固定マーク検出動作モード」
更に、その他の特徴として、図3に示す「固定マーク検出動作モード」43がある。
"Fixed mark detection operation mode"
As another feature, there is a “fixed mark detection operation mode” 43 shown in FIG.
この「固定マーク検出動作モード」は、個人で常に使う場所が固定されていたり、アミューズメント施設内のある部屋の中で使用するというような、前述の「特徴点前処理記憶モード」37の場合よりも更に固定された環境で使用するようなときに利用する。 This “fixed mark detection operation mode” is more than the case of the “feature point preprocessing storage mode” 37 described above, in which the place where the individual uses is always fixed or used in a room in the amusement facility. Is also used when used in a fixed environment.
これは、特徴点となる画像パターンを予め記憶しており、このパターンにのみ相関処理を行うモードである。 This is a mode in which an image pattern serving as a feature point is stored in advance, and correlation processing is performed only on this pattern.
画像パターンである固定マークが、カメラ画角内に常に8個以上撮像できるように、その環境内の周囲に配置される。 Fixed marks, which are image patterns, are arranged around the environment so that eight or more images can always be captured within the camera angle of view.
この固定マークの配置に際して、通常では、周期的に配置するのを避け、なるべくランダムに配置するが、ジャイロセンサや加速度センサからの情報も加味されているために、一般的な画像処理のみによる姿勢検出装置よりは、この配置に関しても自由度が高い。 Normally, this fixed mark is placed at random, avoiding periodic placement, but it also includes information from the gyro sensor and acceleration sensor. This arrangement is more flexible than the detection device.
よって、特徴点検出手段18の特徴点抽出部18aの処理を省略することができるため、画像処理においてより演算負荷を少なくすることが可能となると共に、高速化を計ることができる。
Therefore, since the processing of the feature
また、更に、「特徴点前処理記憶モード」37のような記憶メモリを多く必要としないので、システム構成をより簡単にすることができる。 Further, since a large amount of storage memory such as the “feature point preprocessing storage mode” 37 is not required, the system configuration can be further simplified.
「固定マーク登録モード42」
更に、その他の特徴として、前記「固定マーク検出動作モード」43においては、内部に予め特徴点となる画像パターンを記憶しておくようにしているが、図3に示すこの「固定マーク登録モード」42では、前述の「固定マーク検出動作モード」43に先立ち、操作者自身でカメラ62の画像から入力したマークを登録し、そのマークに対して「固定マーク検出動作モード」43を行う点で違っている。
"Fixed
Further, as another feature, in the “fixed mark detection operation mode” 43, an image pattern serving as a feature point is stored in advance, but this “fixed mark registration mode” shown in FIG. 42 is different from the aforementioned “fixed mark detection operation mode” 43 in that the operator inputs a mark input from the image of the
この「固定マーク登録モード」42では、画像入力手段17から入力された画像を特徴点データとなるように変換して内部に記憶する。 In the “fixed mark registration mode” 42, the image input from the image input means 17 is converted into feature point data and stored internally.
但し、このときの入力画像には固定マークとして登録するもの以外の画像が写らないようにする必要がある。 However, it is necessary to prevent images other than those registered as fixed marks from appearing in the input image at this time.
よって、この「固定マーク登録モード」42では、前記と同様に、特徴点検出手段18の特徴点抽出部18aの処理を省略することができるため、画像処理においてより演算負荷を少なくすることが可能となると共に、より高速化を計ることができる。
Therefore, in the “fixed mark registration mode” 42, since the processing of the feature
また、この「固定マーク登録モード」42では、画像処埋による安定的な信号を得たいときには、識別し易いマーカーなどを配置することで、より精度を上げることができる。 In the “fixed mark registration mode” 42, when a stable signal is obtained by image processing, it is possible to improve the accuracy by arranging a marker that is easy to identify.
更に、この「固定マーク登録モード」42では、「特徴点前処理記憶モード」37のような記憶メモリを多く必要としないので、システム構成をより簡単にすることができる。 Furthermore, in this “fixed mark registration mode” 42, since a large amount of storage memory is not required as in the “feature point preprocessing storage mode” 37, the system configuration can be simplified.
更に、この「固定マーク登録モード」42では、個人でマークを製作したり、使用環境内にある画像をマークとして登録することが可能なので、使用環境内における周辺環境の設計の自由度が増し、より利便性を向上することができる。 Furthermore, in this “fixed mark registration mode” 42, it is possible to produce a mark by an individual or register an image in the use environment as a mark, which increases the degree of freedom in designing the surrounding environment in the use environment. Convenience can be improved.
「赤外線発光手段」
更に、その他の特徴として、本装置は、画像入力手段17の画像入力範囲を照射するように配置された赤外線LED等の赤外発光手段(図示せず)を備えている。
"Infrared light emitting means"
Furthermore, as another feature, this apparatus includes infrared light emitting means (not shown) such as an infrared LED arranged to irradiate the image input range of the image input means 17.
画像入力手段17は、周りが自然光や照明器具によって照明された状態の画像を入力する場合は問題ないが、夜間や暗い部屋などで、照明器具を使用しない環境で本装置を使いたいときに、本装置側に備えている赤外線LEDを発光させることにより、このような環境でも使用することが可能となる。 The image input means 17 is not a problem when inputting an image in which the surroundings are illuminated by natural light or lighting equipment. However, when the user wants to use the apparatus in an environment where no lighting equipment is used, such as at night or in a dark room, By making the infrared LED provided on the apparatus side emit light, it can be used even in such an environment.
この場合、赤外線LEDは、画像入力手段17の画像入力処理に同期して、発光させ、それ以外では発光を停止させるようにしている。 In this case, the infrared LED is made to emit light in synchronization with the image input processing of the image input means 17, and the light emission is stopped otherwise.
このように、点灯・消灯を繰り返すことにより、余計な電力消費を避けて、低消費電力化を計っている。 In this way, by repeatedly turning on and off, unnecessary power consumption is avoided and low power consumption is achieved.
また、夜景のような遠方の光パターンを利用出来る場合には、赤外線LEDの発光は行わない。 Further, when a distant light pattern such as a night view can be used, the infrared LED does not emit light.
「人工網膜チップ」
更に、その他の特徴として、前記構成において画像入力手段17の投影像を映像信号に変換するための撮像素子から、その映像信号を画像データとして蓄積し、その画像データを更に輪郭抽出を行ったり、特徴抽出部18aの処理、パターンマッチング処理、映像入力信号のゲインレベルの調整等の機能を一つの人工網膜チップにより構成する。
"Artificial retina chip"
Further, as another feature, from the image sensor for converting the projection image of the image input means 17 into a video signal in the above configuration, the video signal is accumulated as image data, and the image data is further subjected to contour extraction, Functions such as processing of the
この人工網膜チップは、画像演算処理機能と、アナログ調整機能とを内蔵したイメージセンサ(例えば、三菱電機株式会社製人工網膜IC)で、現在は128×128画素の濃淡画像を処理・出力することができる。 This artificial retina chip is an image sensor (for example, an artificial retina IC manufactured by Mitsubishi Electric Corporation) with a built-in image arithmetic processing function and an analog adjustment function, and currently processes and outputs a grayscale image of 128 × 128 pixels. Can do.
カメラ62の光学系は画角30゜を有しており、回転角方向に関しては30/128=0.23゜より、1画素当たり0.23゜となり、アナログ濃淡画像信号を補間処理することで、更に高分解能化を計ることができる。
The optical system of the
これにより、ドリフトのない参照点データとして、十分使用することが可能である。 As a result, it can be sufficiently used as reference point data without drift.
よって、後段の演算処理のための処理系もより低価格で汎用的な処理システムで構成することが可能となる。 Therefore, the processing system for the subsequent arithmetic processing can be configured with a general-purpose processing system at a lower price.
この人工網膜チップを画像入力手段17に用いることにより、システムの小型化、低価格化、高速化、低消費電力化を計ることができる。 By using this artificial retina chip for the image input means 17, it is possible to reduce the size, cost, speed, and power consumption of the system.
以上の説明において、画像処理に関する各種設定やモード変更に関しては、本装置内にある内部スイッチ(図示せず)の設定及び装置ステータス情報により自動的に行うことができる。 In the above description, various settings relating to image processing and mode changes can be automatically performed by setting internal switches (not shown) in the apparatus and apparatus status information.
また、これは、本装置の情報を利用するホストコンピュータからの設定コマンドによって、変更することも可能である。 This can also be changed by a setting command from a host computer that uses the information of the apparatus.
図3は、以上における画像処理モード関連のフローチャートを示している。 FIG. 3 is a flowchart related to the image processing mode described above.
このフローは、装置本体へのリセット入力あるいはパワーオンリセットにより、開始31となる。 This flow is started 31 by a reset input or power-on reset to the apparatus main body.
そして、まず、初期化モード32において、各種データの初期設定が行われると同時に、内部スイッチのデータが読み込まれる。
First, in the
次に、カメラモード判定部33では、内部スイッチのカメラキャリブレーションモードスイッチが「オン」に設定されていれば、「カメラ姿勢キャリブレーションモード」35を実行し、カメラ姿勢パラメータを測定してそれをカメラ姿勢パラメータ保持手段22に保持する。
Next, if the camera calibration mode switch of the internal switch is set to “ON”, the camera
また、カメラキャリブレーションモードスイッチが「オフ」であれば、「カメラ姿勢パラメータ変更モード」34の処理を行う。 If the camera calibration mode switch is “OFF”, the processing of “camera posture parameter change mode” 34 is performed.
この「カメラ姿勢パラメータ変更モード」34では、カメラ姿勢検知手段24のステータス情報よりカメラ取り付け方向情報を調べ、その情報に対応して内部に記憶されているカメラ姿勢パラメータ情報を読み出し、カメラ姿勢パラメータ保持手段22に保持する。
In this “camera posture parameter change mode” 34, the camera mounting direction information is checked from the status information of the camera posture detection means 24, the camera posture parameter information stored therein corresponding to the information is read, and the camera posture parameter is held. Hold in the
また、このときにステータス情報にステータスがない場合、すなわち、カメラ姿勢検知手段24がないカメラ装置の場合には、内部スイッチのカメラ取り付け方向設定スイッチ情報によりカメラ姿勢パラメータ情報を読み出し、カメラ姿勢パラメータ保持手段22に保持する。
If the status information does not have a status at this time, that is, if the camera device does not have the camera posture detection means 24, the camera posture parameter information is read by the camera mounting direction setting switch information of the internal switch, and the camera posture parameter is held. Hold in the
次に、各種動作モード判定部36,38,41では、内部スイッチの動作モード設定スイッチにより、「姿勢検出動作モード」44、「前処理データ利用・姿勢検出動作モード」37,44、「内部固定マークによる固定マーク検出動作モード」43、「登録マークによる固定マーク検出動作モード」42,43の以上5つの動作モードを選択し、実行する。
Next, in the various operation
但し、この動作モード及びカメラモードなどは、この実施の形態のように、全てのモードをサポートする必要はなく、あるモードだけ単独で動かす装置として、構成することも可能である。 However, the operation mode, the camera mode, and the like do not need to support all the modes as in this embodiment, and can be configured as a device that operates only in a certain mode.
また、本実施の形態では、操作者の頭部運動を測定するための例で説明したが、これに限定された利用だけでなく、操作者の他の身体の部分の動きを検出するためにも使用することができる。 Further, in the present embodiment, the example for measuring the head movement of the operator has been described, but not only the use limited to this, but also for detecting the movement of other body parts of the operator. Can also be used.
また図6は、携帯型コンピュータに本発明による移動体姿勢位置検出装置である頭部検出装置を内蔵したHMD表示装置を組み込んだシステムを例示する図である。 FIG. 6 is a diagram exemplifying a system in which an HMD display device incorporating a head detecting device which is a mobile body posture position detecting device according to the present invention is incorporated in a portable computer.
図6において、参照符号60は頭部姿勢検出装置内蔵のHMD表示装置、61はモードスイッチ、70はマイクロホン、71はスピーカ、72は信号ケーブル、73はPCカード等のグラフィック制御システム、74は携帯型コンピュータである。
In FIG. 6,
また、図9は、周辺画像の撮像手段であるカメラ62を操作者の頭上方向に向けた場合を例示する図である。
FIG. 9 is a diagram exemplifying a case where the
そして、上述したような実施の形態で示した本発明には、特許請求の範囲に示した請求項1以外に、以下のような付記として示す発明が含まれている。 The present invention shown in the embodiment as described above includes the invention shown as the following supplementary notes in addition to the claim 1 shown in the claims.
付記1.上記姿勢位置決定手段は、上記角度情報検出手段よりの角度情報を上記画像解析手段よりの角度情報を用いて補正し、上記並進位置情報検出手段よりの並進位置情報を上記画像解析手段よりの並進位置情報を用いて補正することによって、前記測定対象物の角度情報と並進位置情報を決定することを特徴とする請求項1記載の姿勢位置検出装置。 Appendix 1. The posture position determination means corrects the angle information from the angle information detection means using the angle information from the image analysis means, and translates the translation position information from the translation position information detection means from the image analysis means. The posture position detection apparatus according to claim 1, wherein angle information and translational position information of the measurement object are determined by correcting using position information.
付記2.測定対象物に装着または内蔵され、該測定対象物の移動に伴って移動して、該測定対象物の姿勢位置情報を検出する姿勢位置検出装置において、
装置周辺を撮像して画像情報を取得可能な画像情報取得手段と、
上記画像情報を解析して、装置の傾きを表わす角度情報を検出する画像解析手段と、
上記画像情報を用いずに、角度情報を検出可能な角度情報検出手段と、
上記画像解析手段よりの角度情報と、上記角度情報検出手段よりの角度情報を用いて、測定対象物の角度情報を演算する姿勢位置演算手段と、
を具備することを特徴とする姿勢位置検出装置。
Appendix 2. In a posture position detection device that is attached to or built in a measurement object, moves with the movement of the measurement object, and detects posture position information of the measurement object.
Image information acquisition means capable of acquiring image information by imaging the periphery of the device;
Image analysis means for analyzing the image information and detecting angle information representing the inclination of the apparatus;
Angle information detection means capable of detecting angle information without using the image information;
Posture position calculation means for calculating angle information of the measurement object using angle information from the image analysis means and angle information from the angle information detection means;
A posture position detecting device comprising:
付記3.測定対象物に装着または内蔵され、該測定対象物の移動に伴って移動して、該測定対象物の姿勢情報を検出する姿勢検出装置において、
前記装置周辺を撮像して画像情報を取得可能な画像情報取得手段と、
上記画像情報を解析して、前記装置の位置移動を表わす並進位置情報を検出する画像解析手段と、
上記画像情報を用いずに、並進位置情報を検出可能な並進位置情報検出手段と、
上記画像解析手段よりの並進位置情報と、上記並進位置情報検出手段よりの並進位置情報とを用いて、前記測定対象物の並進位置情報を演算する姿勢位置演算手段と、
を具備することを特徴とする姿勢位置検出装置。
Appendix 3. In a posture detection device that is attached to or built in a measurement object, moves with the movement of the measurement object, and detects posture information of the measurement object.
Image information acquisition means capable of acquiring image information by imaging the periphery of the device;
Image analysis means for analyzing the image information and detecting translational position information representing position movement of the device;
Translation position information detecting means capable of detecting translation position information without using the image information;
Posture position calculation means for calculating the translation position information of the measurement object using the translation position information from the image analysis means and the translation position information from the translation position information detection means;
A posture position detecting device comprising:
付記4. 移動体の姿勢を検出する装置において
前記移動体の空間上の3軸の姿勢角度情報を算出する角度検出手段と、
前記移動体の空間上の3軸の並進位置情報を算出する並進位置検出手段と、
前記移動体自体に設置され、前記移動体の周りの画像から移動体の並進と姿勢の6軸の画像姿勢情報を算出する画像処理姿勢検出手段と、
前記角度検出手段からの姿勢角度情報と、前記並進位置検出手段からの並進位置情報と、前記画像処理姿勢検出手段からの画像姿勢情報のそれぞれ情報により空間上での前記移動体の6軸姿勢情報を算出する空間姿勢演算手段と、
を具備することを特徴とする移動体姿勢検出装置。
Appendix 4. In an apparatus for detecting the posture of a moving body, angle detection means for calculating three-axis posture angle information in the space of the moving body;
Translation position detection means for calculating translation position information of three axes on the space of the moving body;
Image processing posture detection means installed on the moving body itself and calculating six-axis image posture information of translation and posture of the moving body from images around the moving body;
6-axis attitude information of the moving body in space based on information of the attitude angle information from the angle detection means, the translation position information from the translation position detection means, and the image attitude information from the image processing attitude detection means. A spatial attitude calculation means for calculating
A moving body posture detection apparatus comprising:
この付記4.は、第1の実施形態が対応する。 Appendix 4 Corresponds to the first embodiment.
この発明によれば、参照点をもたず、空間内での相対的な姿勢変化や並進変位情報を検出する角度検出手段と並進位置検出手段の情報に対して、被計測移動体に対する空間上での絶対的な参照点を持つことが可能な画像処理姿勢検出手段との情報を、関連づけることにより、空間上の絶対参照点に対する姿勢を求めることが可能となる。 According to this invention, there is no reference point, and the information on the angle detection means and the translation position detection means for detecting relative posture change and translational displacement information in the space is measured on the space to be measured. By associating the information with the image processing posture detecting means capable of having an absolute reference point at the position, the posture with respect to the absolute reference point in space can be obtained.
付記5. 前記角度検出手段は、
直交する3軸上の空間の角速度情報を検出する角速度検出手段と、
前記角度情報より前記移動体の姿勢角度情報を演算する第1姿勢演算手段とで構成され、
前記並進位置検出手段は、
直交する3軸上の空間の並進方向の加速度情報を検出する加速度検出手段と、
前記加速度情報より前記移動体の傾き情報と並進情報を演算する第2姿勢演算手段とで構成され、
前記画像処理姿勢検出手段は、
前記装置周辺の画像を時系列に入力する画像入力手段と、
この画像入力手段によって入力された画像の中から複数の特徴点を抽出して、それらの特徴点を記憶すると共に、以前に記憶されている特徴点の座標等の特徴点情報を探索検出する特徴点検出手段と、
前記特徴点の2次元画像の中での変位から画像の動きベクトルを検出する動きベクトル検出手段と、
前記姿勢角度情報と前記並進情報と前記特徴点の情報から移動体の回転方向と並進方向の画像姿勢情報を演算する第3姿勢演算手段とで構成され、
前記空間姿勢演算手段は、
前記動きベクトル検出手段からの情報と前記角速度検出手段と前記加速度検出手段とにより前記第1姿勢演算手段の姿勢演算方法と前記第2姿勢演算手段の姿勢演算方法とを変更する情報を送る停止判定制御手段と、
前記第1姿勢演算手段と第2姿勢演算手段と第3姿勢演算手段それぞれからの情報を演算する補正演算手段と、
で構成されることを特徴とする付記4.に記載の移動体姿勢検出装置。
Angular velocity detection means for detecting angular velocity information of a space on three orthogonal axes;
A first posture calculating means for calculating posture angle information of the moving body from the angle information;
The translation position detection means includes
Acceleration detecting means for detecting acceleration information in the translation direction of a space on three orthogonal axes;
A second posture calculating means for calculating tilt information and translation information of the moving body from the acceleration information;
The image processing posture detection means is
Image input means for inputting images around the device in time series;
A feature that extracts a plurality of feature points from the image input by the image input means, stores the feature points, and searches and detects feature point information such as the coordinates of the feature points stored previously. Point detection means;
Motion vector detection means for detecting a motion vector of the image from a displacement in the two-dimensional image of the feature point;
The posture angle information, the translation information, and third feature calculation means for calculating the image posture information of the rotation direction and translation direction of the moving body from the information of the feature points,
The space posture calculation means includes
Stop determination that sends information for changing the attitude calculation method of the first attitude calculation means and the attitude calculation method of the second attitude calculation means by the information from the motion vector detection means, the angular velocity detection means, and the acceleration detection means Control means;
Correction calculation means for calculating information from each of the first attitude calculation means, the second attitude calculation means, and the third attitude calculation means;
Supplementary note 4 characterized by comprising The moving body attitude | position detection apparatus of description.
この発明によれば、角速度検出手段より角度を検出するとき及び加速度検出手段で並進位置を検出するときの角速度及び中間データの速度データを画像処理のための補助データとして利用することができ、画像処理の計算負荷を減らす効果があると共に、画像処理のみによる装置に比較して演算処理の負荷が小さくなるため、高速処理が可能であり、また低速の処理系で構成することができ、更に、画像処理での動きベクトルとの比較により停止状態を判定することでジャイロのドリフトなどを補正することができる。 According to the present invention, the angular velocity and intermediate data velocity data when the angle is detected by the angular velocity detecting means and when the translation position is detected by the acceleration detecting means can be used as auxiliary data for image processing. It has the effect of reducing the processing load of processing, and the load of arithmetic processing is reduced compared to a device that only uses image processing. Therefore, high-speed processing is possible, and it can be configured with a low-speed processing system. Gyro drift or the like can be corrected by determining the stop state by comparison with a motion vector in image processing.
また、その他の効果としては移動体の中においても移動体に対する相対的な姿勢を検出することができる。 In addition, as another effect, it is possible to detect the relative posture with respect to the moving body even in the moving body.
付記6.(高速に取り込まれ処理される)前記角速度検出手段の姿勢角度情報と前記加速度検出手段からの並進情報を前記移動体姿勢検出装置の6軸姿勢情報として利用すると共に、上記姿勢角度情報や変位情報よりも低速に演算処理される画像処理姿勢検出手段の画像姿勢情報を上記6軸姿勢情報の基準参照用の補正情報として利用することを特徴とする付記4.または5.に記載の移動体姿勢検出装置。 Appendix 6. The attitude angle information of the angular velocity detection means (translated and processed at high speed) and the translation information from the acceleration detection means are used as 6-axis attitude information of the mobile body attitude detection device, and the attitude angle information and displacement information The image posture information of the image processing posture detection means that is processed at a lower speed is used as reference information correction information for the six-axis posture information. Or 5. The moving body attitude | position detection apparatus of description.
この発明によれば、画像処理による姿勢演算処理時間に比べて高速でしかも演算負荷の少ない角速度検出手段と加速度検出手段からの情報を本移動体姿勢検出装置の6軸姿勢情報として利用し、画像姿勢検出手段からの情報は固定空間から得られた参照基準情報として前記姿勢情報を補正するために使用することによって6軸姿勢情報としては高速に検出することができると共に、画像姿勢検出手段による基準点情報で定期的に修正することでその誤差を補正することが可能となる。 According to this invention, information from the angular velocity detection means and the acceleration detection means, which is faster than the posture calculation processing time by image processing and has a small calculation load, is used as the six-axis posture information of the moving body posture detection device, The information from the posture detection means can be used as reference standard information obtained from the fixed space to correct the posture information, so that the six-axis posture information can be detected at high speed, and the reference by the image posture detection means. The error can be corrected by periodically correcting the point information.
付記7.前記角速度検出手段と、前記加速度検出手段と、画像入力手段の画像入力方向と取付位置座標との取付関係であるカメラ姿勢パラメータ情報を記憶した画像ベクトル推定手段を備えたことを特徴とする付記4.または5.に記載の移動体姿勢検出装置。 Appendix 7. Supplementary note 4 comprising image angle estimation means, acceleration detection means, and image vector estimation means for storing camera posture parameter information which is an attachment relationship between an image input direction of the image input means and attachment position coordinates. . Or 5. The moving body attitude | position detection apparatus of description.
この発明によれば、角速度検出手段からの角速度情報或いは角度情報と、加速度検出手段からの加速度情報あるいは並進情報により椎定で求められる特徴点の動きあるいは画像ベクトルの動きなどの他のいくつかの処理の中で利用される情報を予め計算しておくことで、演算負荷を減らすことが可能となる。 According to the present invention, the angular velocity information or angle information from the angular velocity detection means and the motion of feature points or the motion of image vectors obtained by the spine based on the acceleration information or translation information from the acceleration detection means. By calculating information used in the process in advance, it is possible to reduce the calculation load.
付記8.前記特徴点検出手段は、
前記画像入力手段が画像を入力した時点での前記特徴点検出手段の特徴点情報に、前記第1姿勢演算手段での姿勢角度情報と、前記第2姿勢演算手段での並進情報とを一組の特徴点姿勢情報として記憶すると共に、同一特徴点に対する異なった位置(前記並進情報がある閾値以上の値を持ったもの)の特徴点姿勢情報を優先的に記憶する特徴点姿勢情報記憶機能を有し、
前記第3姿勢演算手段は、
2点以上の前記特徴点姿勢情報より特徴点の固定座標空間の原点からの座標に近似補正して求めることを特徴とする付記4.乃至7.に記載の移動体姿勢検出装置。
Appendix 8. The feature point detecting means includes
The feature point information of the feature point detection unit at the time when the image input unit inputs an image includes a set of posture angle information in the first posture calculation unit and translation information in the second posture calculation unit. A feature point orientation information storage function for preferentially storing feature point orientation information of different positions (the translation information having a value equal to or greater than a certain threshold) with respect to the same feature point Have
The third posture calculation means includes
3. Additional remarks obtained by approximating the coordinates of the feature points from the origin in the fixed coordinate space from the feature point orientation information of two or more points. To 7. The moving body attitude | position detection apparatus of description.
この発明によれば、同一特徴点に対する座標情報を求める場合、並進情報が大きいほど精度が上がり、また測定データ数が多いほど誤差を低減することができると共に、特徴点の固定空間上での求める座標情報の誤差を減らすことが可能となり、更に、2次元画像処理から求められた特徴点情報にはカメラの姿勢パラメータ情報が含まれるため、特徴点情報を固定座標原点からの情報に変換して保存しておくことで角速度検出手段の姿勢角度情報とか速度検出手段からの並進情報を参照基準情報と比較するときの処理が簡単になり、処理が高速になる。 According to the present invention, when obtaining coordinate information for the same feature point, the accuracy increases as the translation information increases, and the error can be reduced as the number of measurement data increases, and the feature point is obtained in a fixed space. It is possible to reduce the error of the coordinate information. Furthermore, since the feature point information obtained from the two-dimensional image processing includes the camera posture parameter information, the feature point information is converted into information from the fixed coordinate origin. By storing the information, the processing when comparing the attitude angle information of the angular velocity detection means or the translation information from the speed detection means with the reference standard information is simplified, and the processing becomes faster.
付記9. 前記補正演算手段は、
前記第3姿勢演算手段で近似補正して求められた画像姿勢情報を参照基準情報とし、前記第1姿勢演算手段での姿勢角度情報と前記第2姿勢演算手段での並進情報とが前記参照基準情報に一致するように補正すると共に、この補正値を停止中には補正せず、動作中にその動作データの変化データの値によってその補正幅を調整することを特徴とする付記8.に記載の移動体姿勢検出装置。
Appendix 9. The correction calculation means includes
The image posture information obtained by approximation correction by the third posture calculation means is used as reference standard information, and the posture angle information in the first posture calculation means and the translation information in the second posture calculation means are the reference standards. Supplementary note 8, wherein the correction value is corrected so as to coincide with the information, and the correction value is not corrected when stopped, and the correction width is adjusted according to the value of the change data of the operation data during operation. The moving body attitude | position detection apparatus of description.
この発明によれば、参照基準情報を複数の測定点から近似補間した情報より求めることで、画像処理による誤差や、角速度検出手段や加速度検出手段からの情報による誤差を減らすことが可能となり、角速度検出手段の姿勢角度情報とか速度検出手段からの並進情報を、また誤差補正に際してはこのようにすることでVR的な表示を観察しているときに操作者の意志に関わらず勝手に映像が動くこともなく、また動作中に誤差がキャンセルされることで、操作者にはその補正による動きを判り難くするという効果がある。 According to this invention, it is possible to reduce errors due to image processing and errors due to information from the angular velocity detection means and the acceleration detection means by obtaining the reference standard information from information obtained by approximate interpolation from a plurality of measurement points. By detecting the attitude angle information of the detecting means and the translation information from the speed detecting means, and when correcting the error, the image moves freely regardless of the will of the operator when observing a VR-like display. In addition, since the error is canceled during the operation, there is an effect that it is difficult for the operator to understand the movement due to the correction.
付記10. 前記特徴点検出手段は、
同一特徴点に対する同じ位置(前記並進情報がある閾値以下の値を持ったもの)で異なった角度(前記並進情報がある閾値以上の値を持ったもの)の特徴点姿勢情報を角度の参照基準情報として利用し、
前記補正演算手段は、
この角度の参照基準情報に一致するように姿勢角度情報のみ補正することを特徴とする付記8.に記載の移動体姿勢検出装置。
Feature point posture information of different angles (those whose translation information has a value greater than or equal to a certain threshold) at the same position (those whose translation information has a certain threshold value or less) with respect to the same feature point Used as information,
The correction calculation means includes
Supplementary note 8. Only posture angle information is corrected so as to match the reference reference information of this angle. The moving body attitude | position detection apparatus of description.
この発明によれば、VR的な仮想表示システムでは並進による動作より回転中心の動きの方が多いため、並進情報が大きい場合のデータだけではデータ効率が悪くなるが、並進がゼロのときの角度情報はそのままジャイロ情報の角度情報の参照基準情報となるため、演算処理を高速にすることができる。 According to the present invention, in the VR virtual display system, the movement of the center of rotation is more than the operation by translation, so that the data efficiency is deteriorated only with the data when the translation information is large, but the angle when the translation is zero. Since the information becomes the reference standard information of the angle information of the gyro information as it is, the calculation process can be speeded up.
付記11. 前記画像ベクトル推定手段からの情報により、取り込まれた画像データの特徴点の移動位置と回転角を推定することを特徴とする付記7.乃至10に記載の移動体姿勢検出装置。
この発明によれば、カメラ取付状態が変わつても特徴点探索のためのマッチング領域の予測ができ、2次元走査回数やアフィン変換等の画像処理の演算を減らすことができ、カルマンフィルタなどによる探策領域の予測方式より、特徴点処理を簡単に高速化することができる。 According to the present invention, it is possible to predict a matching region for feature point search even when the camera mounting state changes, reduce the number of two-dimensional scanning operations and image processing operations such as affine transformation, and search using a Kalman filter or the like. Feature point processing can be easily accelerated by the region prediction method.
付記12. 前もって移動体の周りの画像を入力し、そのときの前記特徴点検出手段の特徴点姿勢情報を記憶し、
次からは前記第1姿勢演算手段と第2姿勢演算手段との情報より特徴点抽出の処理を行わずに、前記記憶情報を利用すると共に、
複数の記憶した特徴点姿勢情報をもとに前記第3姿勢演算手段により、特徴点の固定座標空間の原点からの座標に近似補正した参照基準情報を求めて記憶しておくことを特徴とする付記7.乃至11に記載の移動体姿勢検出装置。
Appendix 12. Input an image around the moving body in advance, store the feature point posture information of the feature point detection means at that time,
From the next time, using the stored information without performing feature point extraction processing from the information of the first posture calculation means and the second posture calculation means,
Based on a plurality of stored feature point posture information, the third posture calculation means obtains and stores reference standard information approximated to the coordinates of the feature point from the origin of the fixed coordinate space. Appendix 7. The moving body attitude | position detection apparatus of thru | or 11.
この発明によれば、特徴点の固定空間の座標を予め求めるモードで測定しておくことで、角速度検出手段や加速度検出手段からの情報のドリフトや誤差の発生が少ない間で座標情報を特定できるため、より精度を上げることができると共に、抽出処理を簡略化することができるため、画像処理においてより演算負荷を少なくすることが可能となり、またより高速化を計ることができる。 According to the present invention, coordinate information can be specified while there is little occurrence of information drift and error from the angular velocity detecting means and the acceleration detecting means by measuring the coordinates of the fixed points of the feature points in a mode in advance. Therefore, the accuracy can be further improved and the extraction process can be simplified, so that the calculation load can be further reduced in the image processing, and the speed can be further increased.
付記13.前記動きベクトル検出手段は、
処理された情報の中から前記画像ベクトル推定手段の情報との推定による動きベクトルのみを選択出力することを特徴とする付記7.乃至12に記載の移動体姿勢検出装置。
Appendix 13. The motion vector detecting means includes
6. Only the motion vector obtained by estimation with the information of the image vector estimation means is selectively output from the processed information. The moving body attitude | position detection apparatus of thru | or 12.
この発明によれば、画像の中で固定物体以外の動体による動きベクトルが存在したときの判定条件にジャイロデータを利用することで信頼性が上がる。 According to the present invention, reliability is improved by using gyro data as a determination condition when a motion vector due to a moving object other than a fixed object exists in an image.
付記14. 前記特徴点検出手段で特徴点が検出されないとき、あるいは前記動きベクトル検出手段の情報が前記画像ベクトル椎定手段の情報による動きベクトルとの類似度がある閾値以下のとき、検出不能と判定し、後処理の前記第3姿勢演算手段及び補正演算手段にはその情報を使わないことを特徴とする付記13に記載の移動体姿勢検出装置。 Appendix 14. When the feature point is not detected by the feature point detection unit, or when the information of the motion vector detection unit is equal to or less than a certain threshold with the motion vector based on the information of the image vector determination unit, it is determined that detection is impossible. 14. The mobile body posture detection apparatus according to appendix 13, wherein the information is not used for the third posture calculation unit and the correction calculation unit in post-processing.
この発明によれば、運動物体がカメラの直ぐ前を横切ったり、壁や天井などの特徴点が見つからないような画像が入力されたとき等の動きベクトルが測定できないとき、ジャイロデータのみとすることで、画像処理のみによる装置に比較して測定てきなくなる条件を少なくでき、常にどの様な条件でも姿勢を検出し続けることができる。 According to the present invention, when a motion object cannot be measured, such as when a moving object crosses immediately in front of the camera or an image in which a feature point such as a wall or ceiling cannot be found is input, only gyro data is used. As a result, it is possible to reduce the number of conditions that cannot be measured as compared with an apparatus using only image processing, and it is possible to always detect the posture under any conditions.
付記15. 前記動きベクトル検出手段が検出不能と判定したとき、その情報を使用者に知らせる手段を備えたことを特徴とする付記14に記載の移動体姿勢検出装置。
この発明によれば、前記理由で検出不能となったとき、使用者に知らせることで画像処理状態を知ることができ、ジャイロのドリフトなどによる誤差が発生する状況や要因を減らすことができる。 According to the present invention, when detection becomes impossible due to the above-described reason, the user can be notified of the image processing state by notifying the user, and the situation and factors that cause errors due to gyro drift or the like can be reduced.
付記16. 前記画像入力手段の入力方向を変更することが可能なカメラ取付方向変更手段を備えたことを特徴とする付記4.乃至12に記載の移動体姿勢検出装置。
この発明によれば、現在の環境の中で検出に適した方向にカメラを向けることで、動体の少ない固定画像情報が多い画像処埋による条件の良い方向へ向けることができる。 According to the present invention, by directing the camera in a direction suitable for detection in the current environment, the camera can be directed in a good condition by image processing with a large amount of fixed image information with few moving objects.
付記17. 変更されたカメラ取付方向情報を前記画像ベクトル推定手段に知らせるカメラ姿勢パラメータ保持手段を備えたことを特徴とする付記16に記載の移動体姿勢検出装置。
この発明によれば、使用している環境下で測定に良い条件の画像が得られる方向に向けた場合の姿勢パラメータを設定することが可能となる。 According to the present invention, it is possible to set the posture parameter when the image is directed in a direction in which an image having good conditions for measurement can be obtained in the environment in use.
付記18. 前記画像入力手段の入力方向が変更されたことを検知し、その情報をカメラ姿勢保持手段へ転送するカメラ姿勢検知手段を備えたことを特徴とする付記17に記載の移動体姿勢検出装置。
この発明によれば、傾斜センサなどをカメラユニットに組み込むことで、取付方向を自動的に検出し設定を自動的に行うことができるため、使用者への負担を減らすことができる。 According to the present invention, by incorporating an inclination sensor or the like into the camera unit, the mounting direction can be automatically detected and the setting can be performed automatically, so that the burden on the user can be reduced.
付記19. 移動体を運動をさせたときの前記第1姿勢演算手段の情報と前記第2姿勢演算手段の情報と前記第3手段姿勢演算手段の情報とによりカメラ姿勢パラメータを演算し、その情報を前記カメラ姿勢パラメータ保持手段に送るカメラ姿勢パラメータ演算手段を備えたことを特徴とする付記18に記載の移動体姿勢検出装置。
この発明によれば、カメラ取り付け方向変更手段に関してはより自由度のある方法を用いることができ、カメラ方向の設定もより自由度が増し、どのような方向に向けてもキャリブレーションをすれば使うことができるようになると共に、個人差などの誤差も解消することができ、またカメラ姿勢検知手段などは不要となる。 According to the present invention, a method with a higher degree of freedom can be used for the camera mounting direction changing means, and the setting of the camera direction can be further increased, and can be used if calibration is performed in any direction. In addition, it is possible to eliminate errors such as individual differences, and camera posture detection means is not required.
付記20. ある特定のマークに対しての特徴点を予め記憶した固定マーク情報記憶手段と、
前記特定のマークに対してのみのテンプレートマッチングを行うように指示する固定マーク指示手段と、
を備えたことを特徴とする付記4.乃至19に記載の移動体姿勢検出装置。
Fixed mark instruction means for instructing to perform template matching only for the specific mark;
Additional note 4 characterized by comprising The moving body attitude | position detection apparatus of thru | or 19.
この発明によれば、特徴点抽出処理を省略することができるため、画像処理においてより演算負荷を少なくすることが可能となり、またより高速化を計ることができると共に、記憶メモリを多く必要としないのでシステム構成をより簡単にすることができる。 According to the present invention, since the feature point extraction process can be omitted, it is possible to reduce the calculation load in the image processing, and it is possible to increase the speed and not to require a large amount of storage memory. Therefore, the system configuration can be simplified.
付記21. 前記固定マーク情報記憶手段に対して、前記画像入力手段により入力された画像デ一タを登録することを特徴とする付記20に記載の移動体姿勢検出装置。
この発明によれば、特徴点抽出処理を省略することができるため、画像処理においてより演算負荷を少なくする事が可能となり、またより高速化を計ることができると共に、画像処理による安定的な信号を得たいときには、識別しやすいマーカーなどを配置することでより精度をあげることができ、記憶メモリを多く必要としないのでシステム構成をより簡単にすることができ、更に、個人でマークを製作したり、特別なマークを設置することもなく、使用環境内にある画像をマークとして登録することが可能なことで、使用環境内における周辺環境の設計の自由度が増し、より利便性を向上することができる。 According to the present invention, since the feature point extraction process can be omitted, it is possible to reduce the calculation load in the image processing, and it is possible to further increase the speed and to provide a stable signal by the image processing. If you want to obtain a mark, it is possible to improve the accuracy by arranging easy-to-identify markers, etc., and because it does not require a lot of storage memory, the system configuration can be simplified. In addition, it is possible to register an image in the usage environment as a mark without installing a special mark, increasing the degree of freedom in designing the surrounding environment in the usage environment and improving convenience. be able to.
付記22. 前記画像入力手段による画像入力範囲を照射するように配置された赤外線発光手段を備えたことを特徴とする付記4.乃至21.に記載の移動体姿勢検出装置。
この発明によれば、夜間や暗い場所でも画像入力処理が可能となるので、夜間や暗い場所などで、照明器具を使用しない環境でも装置を使用することが可能となる。 According to the present invention, image input processing can be performed even at night or in a dark place, so that the apparatus can be used even in an environment where no lighting equipment is used at night or in a dark place.
付記23. 前記画像入力手段から前記特徴点検出手段と前記動きベクトル検出手段までを人工網膜チップにより構成したことを特徴とする付記4.乃至22.に記載の移動体姿勢検出装置。
この発明によれば、演算処理のための処理系もより低価格で汎用的な処理システムで構成することが可能となり、更に、このような構成とすることでシステムの小型化、低価格化、高速化、低消費電力化を計ることが可能となる。 According to the present invention, it is possible to configure a processing system for arithmetic processing at a lower price and a general-purpose processing system. Furthermore, by adopting such a configuration, the system can be reduced in size, reduced in price, High speed and low power consumption can be achieved.
100…角度検出手段、
11…角速度検出手段、
15…第1姿勢演算手段、
101…並進位置検出手段、
26…加速度検出手段、
27…第2姿勢演算手段、
102…画像処理姿勢検出手段、
17…画像入力手段、
18…特徴点検出手段、
19…動きベクトル検出手段、
20…第3姿勢演算手段、
103…空間姿勢演算手段、
16…停止判定制御手段、
21…補正演算手段、
60…HMD、
62…カメラ、
10…画像ベクトル推定手段、
18a…特徴点抽出部、
18b…特徴点記憶部、
18c…特徴点・姿勢記憶部、
23…カメラ取付方向変更手、段
24…カメラ姿勢検知手段、
25…カメラ姿勢パラメータ演算手段。
100: Angle detection means,
11: Angular velocity detection means,
15 ... 1st attitude | position calculation means,
101 ... Translation position detecting means,
26: Acceleration detecting means,
27. Second posture calculation means,
102: Image processing posture detection means,
17 ... image input means,
18 ... feature point detection means,
19 ... motion vector detection means,
20 ... Third posture calculation means,
103 ... spatial posture calculation means,
16 ... Stop determination control means,
21: Correction calculation means,
60 ... HMD,
62 ... Camera,
10: Image vector estimation means,
18a ... feature point extraction unit,
18b: Feature point storage unit,
18c: Feature point / posture storage unit,
23 ... Camera mounting direction change hand, Step 24 ... Camera posture detection means,
25: Camera posture parameter calculation means.
Claims (1)
前記移動体の空間上の3軸の姿勢角度情報を算出する角度検出手段と、
前記移動体の空間上の3軸の並進位置情報を算出する並進位置検出手段と、
前記移動体自体に設置され、前記移動体の周りの画像から移動体の並進と姿勢の6軸の画像姿勢情報を算出する画像処理姿勢検出手段と、
前記角度検出手段からの姿勢角度情報と、前記並進位置検出手段からの並進位置情報と、前記画像処理姿勢検出手段からの画像姿勢情報のそれぞれの情報により空間上での前記移動体の6軸姿勢情報を算出する空間姿勢演算手段と、を有しており、
前記角度検出手段は、
直交する3軸上の空間の角速度情報を検出する角速度検出手段と、
前記角速度情報より前記移動体の姿勢角度情報を演算する第1姿勢演算手段とで構成され、
前記並進位置検出手段は、
直交する3軸上の空間の並進方向の加速度情報を検出する加速度検出手段と、
前記加速度情報より前記移動体の傾き情報と並進情報を演算する第2姿勢演算手段とで構成され、
前記画像処理姿勢検出手段は、
前記装置周辺の画像を時系列に入力する画像入力手段と、
この画像入力手段によって入力された画像の中から複数の特徴点を抽出して、それらの特徴点を記憶すると共に、以前に記憶されている特徴点の座標等の特徴点情報を探索検出する特徴点検出手段と、
前記特徴点の2次元画像の中での変位から画像の動きベクトルを検出する動きベクトル検出手段と、
前記姿勢角度情報と前記並進情報と前記特徴点の情報から移動体の回転方向と並進方向の画像姿勢情報を演算する第3姿勢演算手段とで構成され、
前記角度検出手段からの姿勢角度情報と、前記加速度検出手段からの並進方向の加速度情報とに基づいて画像データ上での特徴点の2次元の動きを推定し、この情報をもとに前記探索検出の範囲を狭めることを特徴とする移動体姿勢検出装置。 In a device that is attached to or built in a moving object as a measurement object, moves along with the movement of the moving object, and detects posture information of the moving object,
Angle detection means for calculating three-axis posture angle information on the space of the moving body;
Translation position detection means for calculating translation position information of three axes on the space of the moving body;
Image processing posture detection means installed on the moving body itself and calculating six-axis image posture information of translation and posture of the moving body from images around the moving body;
The six-axis posture of the moving object in space based on the posture angle information from the angle detection means, the translation position information from the translation position detection means, and the image posture information from the image processing posture detection means. A spatial attitude calculation means for calculating information,
The angle detection means includes
Angular velocity detection means for detecting angular velocity information of a space on three orthogonal axes;
A first posture calculating means for calculating posture angle information of the moving body from the angular velocity information;
The translation position detection means includes
Acceleration detecting means for detecting acceleration information in the translation direction of a space on three orthogonal axes;
A second posture calculation means for calculating tilt information and translation information of the moving body from the acceleration information;
The image processing posture detection means is
Image input means for inputting images around the device in time series;
A feature that extracts a plurality of feature points from the image input by the image input means, stores the feature points, and searches and detects feature point information such as the coordinates of the feature points stored previously. Point detection means;
Motion vector detection means for detecting a motion vector of the image from a displacement in the two-dimensional image of the feature point;
The posture angle information, the translation information, and a third posture calculation means for calculating the image posture information of the rotation direction and translation direction of the moving body from the information of the feature points,
Based on the posture angle information from the angle detection means and the acceleration information in the translation direction from the acceleration detection means, the two-dimensional motion of the feature point on the image data is estimated, and the search is performed based on this information. A mobile body posture detection device characterized by narrowing a detection range.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008202066A JP4422777B2 (en) | 2008-08-05 | 2008-08-05 | Moving body posture detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008202066A JP4422777B2 (en) | 2008-08-05 | 2008-08-05 | Moving body posture detection device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10269558A Division JP2000097637A (en) | 1998-09-24 | 1998-09-24 | Attitude position detecting device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009031295A true JP2009031295A (en) | 2009-02-12 |
JP4422777B2 JP4422777B2 (en) | 2010-02-24 |
Family
ID=40401910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008202066A Expired - Fee Related JP4422777B2 (en) | 2008-08-05 | 2008-08-05 | Moving body posture detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4422777B2 (en) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010286963A (en) * | 2009-06-10 | 2010-12-24 | Nissan Motor Co Ltd | Moving object detection device and moving object detection method |
JP2011040003A (en) * | 2009-08-18 | 2011-02-24 | Sony Corp | Operation input system, control apparatus, handheld device, and operation input method |
JP2011226932A (en) * | 2010-04-20 | 2011-11-10 | Fujitsu Ltd | Position detection system, method, storage medium and program |
JP2012129824A (en) * | 2010-12-15 | 2012-07-05 | Canon Inc | Feature detection device, feature detection method, and program therefor |
CN104737179A (en) * | 2012-10-18 | 2015-06-24 | 摩福公司 | Method for authenticating an image capture of a three-dimensional entity |
KR20150096922A (en) * | 2014-02-17 | 2015-08-26 | 삼성전자주식회사 | Apparatus for estimating camera pose and method for estimating camera pose |
WO2015162946A1 (en) * | 2014-04-22 | 2015-10-29 | ソニー株式会社 | Head region position detection device and head region position detection method, image processing device and image processing method, display device, and computer program |
WO2016031105A1 (en) * | 2014-08-26 | 2016-03-03 | ソニー株式会社 | Information-processing device, information processing method, and program |
US9851566B2 (en) | 2014-12-24 | 2017-12-26 | Seiko Epson Corporation | Electronic apparatus, display device, and control method for electronic apparatus |
JP2018009886A (en) * | 2016-07-14 | 2018-01-18 | 国立大学法人 宮崎大学 | Facial direction detection system, facial direction detection device, and facial direction detection program |
CN108113700A (en) * | 2017-12-07 | 2018-06-05 | 苏州掌声医疗科技有限公司 | A kind of position calibration method applied in 3-D supersonic imaging data acquisition |
WO2019087658A1 (en) * | 2017-11-01 | 2019-05-09 | ソニー株式会社 | Information processing device, information processing method, and program |
CN111045438A (en) * | 2019-10-21 | 2020-04-21 | 武汉大学 | Shipborne self-stabilizing platform and control system and method thereof |
CN111540059A (en) * | 2013-01-30 | 2020-08-14 | 英西图公司 | Enhanced video system providing enhanced environmental perception |
JP2020181059A (en) * | 2019-04-24 | 2020-11-05 | キヤノン株式会社 | Imaging device, method for controlling the same, attitude angle calculation device, program, and storage medium |
CN112699706A (en) * | 2019-10-22 | 2021-04-23 | 广州弘度信息科技有限公司 | Fall detection method, system and storage medium |
JP2021511699A (en) * | 2018-01-18 | 2021-05-06 | バルブ コーポレーション | Position tracking system for head-mounted displays including sensor integrated circuits |
CN113959341A (en) * | 2021-10-14 | 2022-01-21 | 江苏科技大学 | Optical structure displacement measuring method, system and storage medium |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04109322U (en) * | 1991-03-05 | 1992-09-22 | 株式会社明電舎 | moving distance detector |
JPH0777419A (en) * | 1993-09-08 | 1995-03-20 | Toshiba Corp | Deviation quantity measuring device for vehicle |
JPH0990026A (en) * | 1995-09-27 | 1997-04-04 | Honda Motor Co Ltd | Object detecting device and its method |
JPH09229648A (en) * | 1996-02-21 | 1997-09-05 | Canon Inc | Input/output method and device for image information |
JPH10116359A (en) * | 1996-10-09 | 1998-05-06 | Sony Corp | Camera parameter arithmetic unit and image composing device |
JP2000097637A (en) * | 1998-09-24 | 2000-04-07 | Olympus Optical Co Ltd | Attitude position detecting device |
-
2008
- 2008-08-05 JP JP2008202066A patent/JP4422777B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04109322U (en) * | 1991-03-05 | 1992-09-22 | 株式会社明電舎 | moving distance detector |
JPH0777419A (en) * | 1993-09-08 | 1995-03-20 | Toshiba Corp | Deviation quantity measuring device for vehicle |
JPH0990026A (en) * | 1995-09-27 | 1997-04-04 | Honda Motor Co Ltd | Object detecting device and its method |
JPH09229648A (en) * | 1996-02-21 | 1997-09-05 | Canon Inc | Input/output method and device for image information |
JPH10116359A (en) * | 1996-10-09 | 1998-05-06 | Sony Corp | Camera parameter arithmetic unit and image composing device |
JP2000097637A (en) * | 1998-09-24 | 2000-04-07 | Olympus Optical Co Ltd | Attitude position detecting device |
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010286963A (en) * | 2009-06-10 | 2010-12-24 | Nissan Motor Co Ltd | Moving object detection device and moving object detection method |
JP2011040003A (en) * | 2009-08-18 | 2011-02-24 | Sony Corp | Operation input system, control apparatus, handheld device, and operation input method |
JP2011226932A (en) * | 2010-04-20 | 2011-11-10 | Fujitsu Ltd | Position detection system, method, storage medium and program |
JP2012129824A (en) * | 2010-12-15 | 2012-07-05 | Canon Inc | Feature detection device, feature detection method, and program therefor |
JP2015533432A (en) * | 2012-10-18 | 2015-11-24 | モルフォ | Authentication method for 3D entity image acquisition |
CN104737179A (en) * | 2012-10-18 | 2015-06-24 | 摩福公司 | Method for authenticating an image capture of a three-dimensional entity |
CN104737179B (en) * | 2012-10-18 | 2019-05-14 | 摩福公司 | Method for authenticating the picture catching of 3D solid |
CN111540059B (en) * | 2013-01-30 | 2023-12-01 | 英西图公司 | Enhanced video system providing enhanced environmental awareness |
CN111540059A (en) * | 2013-01-30 | 2020-08-14 | 英西图公司 | Enhanced video system providing enhanced environmental perception |
KR20150096922A (en) * | 2014-02-17 | 2015-08-26 | 삼성전자주식회사 | Apparatus for estimating camera pose and method for estimating camera pose |
KR102209008B1 (en) * | 2014-02-17 | 2021-01-28 | 삼성전자주식회사 | Apparatus for estimating camera pose and method for estimating camera pose |
JPWO2015162946A1 (en) * | 2014-04-22 | 2017-04-13 | ソニー株式会社 | Head position detection device, head position detection method, image processing device, image processing method, display device, and computer program |
WO2015162946A1 (en) * | 2014-04-22 | 2015-10-29 | ソニー株式会社 | Head region position detection device and head region position detection method, image processing device and image processing method, display device, and computer program |
WO2016031105A1 (en) * | 2014-08-26 | 2016-03-03 | ソニー株式会社 | Information-processing device, information processing method, and program |
US10169880B2 (en) | 2014-08-26 | 2019-01-01 | Sony Corporation | Information processing apparatus, information processing method, and program |
US9851566B2 (en) | 2014-12-24 | 2017-12-26 | Seiko Epson Corporation | Electronic apparatus, display device, and control method for electronic apparatus |
JP2018009886A (en) * | 2016-07-14 | 2018-01-18 | 国立大学法人 宮崎大学 | Facial direction detection system, facial direction detection device, and facial direction detection program |
WO2019087658A1 (en) * | 2017-11-01 | 2019-05-09 | ソニー株式会社 | Information processing device, information processing method, and program |
JP7147775B2 (en) | 2017-11-01 | 2022-10-05 | ソニーグループ株式会社 | Information processing device, information processing method and program |
JPWO2019087658A1 (en) * | 2017-11-01 | 2020-11-26 | ソニー株式会社 | Information processing equipment, information processing methods and programs |
US11508084B2 (en) | 2017-11-01 | 2022-11-22 | Sony Corporation | Information processing apparatus and information processing method for accurately estimating a self location |
CN108113700B (en) * | 2017-12-07 | 2023-01-31 | 成都优途科技有限公司 | Position calibration method applied to three-dimensional ultrasonic imaging data acquisition |
CN108113700A (en) * | 2017-12-07 | 2018-06-05 | 苏州掌声医疗科技有限公司 | A kind of position calibration method applied in 3-D supersonic imaging data acquisition |
JP2021511699A (en) * | 2018-01-18 | 2021-05-06 | バルブ コーポレーション | Position tracking system for head-mounted displays including sensor integrated circuits |
JP7207809B2 (en) | 2018-01-18 | 2023-01-18 | バルブ コーポレーション | Position tracking system for head-mounted displays containing sensor integrated circuits |
JP2020181059A (en) * | 2019-04-24 | 2020-11-05 | キヤノン株式会社 | Imaging device, method for controlling the same, attitude angle calculation device, program, and storage medium |
CN111045438A (en) * | 2019-10-21 | 2020-04-21 | 武汉大学 | Shipborne self-stabilizing platform and control system and method thereof |
CN111045438B (en) * | 2019-10-21 | 2023-09-08 | 贵州省水利水电勘测设计研究院 | Shipborne self-stabilizing platform and control system and method thereof |
CN112699706A (en) * | 2019-10-22 | 2021-04-23 | 广州弘度信息科技有限公司 | Fall detection method, system and storage medium |
CN113959341A (en) * | 2021-10-14 | 2022-01-21 | 江苏科技大学 | Optical structure displacement measuring method, system and storage medium |
CN113959341B (en) * | 2021-10-14 | 2024-04-26 | 江苏科技大学 | Optical structure displacement measuring method, system and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP4422777B2 (en) | 2010-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4422777B2 (en) | Moving body posture detection device | |
JP2000097637A (en) | Attitude position detecting device | |
US9134339B2 (en) | Directed registration of three-dimensional scan measurements using a sensor unit | |
Lobo et al. | Vision and inertial sensor cooperation using gravity as a vertical reference | |
JP4142460B2 (en) | Motion detection device | |
EP3246660B1 (en) | System and method for referencing a displaying device relative to a surveying instrument | |
JP6594039B2 (en) | Image processing apparatus, method, and program | |
TWI397671B (en) | System and method for locating carrier, estimating carrier posture and building map | |
CN103733024B (en) | There is orientation based on remote control unit and the phospecting apparatus of proportional calibrating function and method | |
US7489806B2 (en) | Motion detection apparatus | |
JP5722224B2 (en) | Handheld positioning interface for spatial query | |
JP2000097637A5 (en) | Posture position detection device and moving body posture detection device | |
US20060185432A1 (en) | Five degree of freedom intertial measurement device | |
WO2016077703A1 (en) | Gyroscope assisted scalable visual simultaneous localization and mapping | |
JP2004144557A (en) | Three-dimensional visual sensor | |
KR20090009172A (en) | Method and apparatus for measuring position of the mobile robot | |
JP2007033257A (en) | Information processing method and device | |
KR101880185B1 (en) | Electronic apparatus for estimating pose of moving object and method thereof | |
KR20090008924A (en) | Method for measuring pose of a mobile robot and method and apparatus for measuring position of the mobile robot using the method | |
JP2006099109A (en) | System and method for detecting image capture device movement with two dual axis linear accelerometers | |
JP4132068B2 (en) | Image processing apparatus, three-dimensional measuring apparatus, and program for image processing apparatus | |
CN112050806B (en) | Positioning method and device for moving vehicle | |
KR101076803B1 (en) | Map constructing method of inhouse robot and start position determining method thereof | |
Núnez et al. | Data Fusion Calibration for a 3D Laser Range Finder and a Camera using Inertial Data. | |
KR20190076815A (en) | Method for estimating pose of moving object of electronic apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090210 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090818 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091007 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091110 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091204 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121211 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121211 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |