CN105699696A - 用于惯性传感器的调整和自测试的装置及方法 - Google Patents

用于惯性传感器的调整和自测试的装置及方法 Download PDF

Info

Publication number
CN105699696A
CN105699696A CN201511035376.7A CN201511035376A CN105699696A CN 105699696 A CN105699696 A CN 105699696A CN 201511035376 A CN201511035376 A CN 201511035376A CN 105699696 A CN105699696 A CN 105699696A
Authority
CN
China
Prior art keywords
inertial sensor
motion feature
processing unit
video camera
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201511035376.7A
Other languages
English (en)
Inventor
R·比希勒
R·多施
T·克劳斯
L·米登多夫
C·豪贝尔特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN105699696A publication Critical patent/CN105699696A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P21/00—Testing or calibrating of apparatus or devices covered by the preceding groups
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Manufacturing & Machinery (AREA)
  • Environmental & Geological Engineering (AREA)
  • Studio Devices (AREA)
  • Gyroscopes (AREA)
  • Automation & Control Theory (AREA)
  • Telephone Function (AREA)

Abstract

本发明涉及一种装置(10)，其具有摄像机(100)、处理单元(200)和至少一个惯性传感器(300)，其中所述处理单元(200)设置用于由所述至少一个惯性传感器(300)的运动数据(30)确定所述装置(10)的第一运动特征(320)。本发明的核心在于，所述处理单元(200)设置用于由借助所述摄像机(100)观察的对象(400)的图像数据(40)确定所述装置(10)的第二运动特征(420)。本发明也涉及用于惯性传感器的调整和自测试的方法以及计算机程序产品。

Description

用于惯性传感器的调整和自测试的装置及方法
背景技术
本发明涉及一种装置，其具有摄像机、处理单元和至少一个惯性传感器，其中所述处理单元设置用于由所述至少一个惯性传感器的运动数据确定所述装置的第一运动特征(Bewegungsprofil)。所述装置例如作为智能手机或者数字摄像机已知。智能手机的惯性传感器在生产时的最终检测中被调整(abgleichen)。由于成本原因，通常仅仅进行最少的调整，这限制了精确度。通过将传感器安装(焊接)在智能手机中产生进一步的精确度降低。这可以在智能手机最终检测时通过之后校准再次去除，但这导致增大的成本并且对生产提出更高的要求。尤其当惯性传感器应当被应用在例如室内导航的应用中时，可达到的精确度受限制。如果多个惯性传感器和多个输入设备(例如摄像机)组合，则在所述***内信号的不同渡越时间(时延)同时可能导致偏差，所述偏差在分析处理时必须被考虑。因此，尤其对于增强现实领域的应用而言，也需要摄像机和惯性传感器的在时间上的调整。此外存在以下必要性：例如为了借助惯性传感器的诊断目的在现场进行自测试。
发明内容
本发明的任务是，借助摄像机改善惯性传感器的调整和自测试。
本发明涉及一种装置，其具有摄像机、处理单元和至少一个惯性传感器，其中所述处理单元设置用于由所述至少一个惯性传感器的运动数据确定所述装置的第一运动特征。本发明的核心在于，所述处理单元设置用于由借助摄像机观察的、具有规律的多次重复的图像图案二维对象的图像数据来确定所述装置的第二运动特征。
在此有利地，能够实现所述至少一个惯性传感器借助摄像机而无需其他检测装备的自测试或者校准。有利地，能够实现在正常运行中的自测试和校准、即在制造期间没有附加的检测成本。有利地，能够实现重复检测以补偿不利的周围环境条件以及老化。本发明的一种有利构型设置，所述处理单元设置用于由借助摄像机观察的、具有规律的多次重复的图像图案的二维对象的图像数据来确定所述装置的第二运动特征。由此，当摄像机100的张角如此小使得仅仅可以拍摄二维对象400的具有不太完整的图像图案410的区段时，有利地也可以可靠地构建第二运动特征。
本发明的一种有利构型设置，处理单元设置用于将第二运动特征与第一运动特征进行比较。本发明的一种有利构型设置，处理单元设置用于由一运动特征与第二运动特征的比较提供用于调整惯性传感器的调整信息。本发明的一种有利构型设置，惯性传感器是转速传感器，并且所述处理单元设置用于由第一运动特征与第二运动特征的比较提供用于转速传感器的偏置校准的调整信息。本发明的一种有利构型设置，所述处理单元设置用于确定所述至少一个惯性传感器的灵敏度。本发明的一种特别有利的构型设置，所述装置是智能手机，并且所述处理单元是具有相应的软件(App)的智能手机的处理器单元。本发明的一种特别有利的构型设置，所述相应的软件(App)可以通过相关(Korrelation)来确定并且调整摄像机和惯性传感器的时延。
本发明也涉及一种用于惯性传感器的调整和自测试的方法以及一种计算机程序产品。通过本发明，尤其在智能手机中应当通过智能手机的摄像机来支持惯性传感器的精确调整和自测试。尤其在转速传感器中，可以改善偏置校准和灵敏度的确定。也可以显著改善惯性传感器的自测试。将图案模版和智能手机的主摄像机用于所述任务是非常有利的。本发明也涉及一种用于调整摄像机与至少一个惯性传感器之间的时延的方法。
附图说明
图1示出根据本发明的装置；
图2示出二维对象，即具有图像图案的图像；
图3示出根据本发明的用于惯性传感器的调整和自测试的方法；
图4以比较示出转速传感器的第一运动特征和摄像机的第二运动特征。
具体实施方式
图1示出根据本发明的装置。所示出的是具有摄像机100、处理单元200以及示例性地具有第一惯性传感器300和第二惯性传感器300的装置10。处理单元200设置用于由惯性传感器300的运动数据30确定所述装置10的第一运动特征320。所述处理单元例如可以是具有相应的软件的控制设备或者微控制器。所述处理单元尤其可以是具有适合的软件(App)的智能手机的处理器单元。惯性传感器300例如可以是加速度传感器、磁传感器或者转速传感器。由多个所述传感器或者其它传感器构成的传感器融合***也是可能的。在所述示例中，第一惯性传感器是x、y加速度传感器，而第二惯性传感器是z转速传感器。通过将所述传感器以在其位置和取向方面的限制的精确度安装到所述装置中，所述传感器的相应的坐标系(x′，y′，z′)、(x″，y″，z″)...容易地与所述装置自身的坐标系(x，y，z)进行区分。在本示例中，第一惯性传感器因此实际上具有用于加速度的传感方向x′、y′。第二惯性传感器具有传感方向z″，因此所述第二惯性传感器探测围绕轴线z″的转速。根据本发明，处理单元200设置用于由借助摄像机观察的、具有规律的多次重复的图像图案410的二维对象400的图像数据40确定所述装置10的第二运动特征420。此外，处理单元200设置用于将所述第二运动特征420与所述第一运动特征320进行比较。由此，可以识别并且相应地补偿惯性传感器的取向误差。此外，可以确定惯性传感器的灵敏度。此外，摄像机与惯性传感器之间的时延可以被确定并且通过两个测量序列中的一个的移位来补偿。
图2示出一个二维对象，即具有图像图案的图像。所示出的是具有规律的多次重复的图像图案410的二维对象400。图像图案410在二维对象400的两个延伸方向上多次重复。由此，当摄像机100的张角如此小使得仅仅可以拍摄二维对象400的具有不太完整的图像图案410的区段时，也可以可靠地构建第二运动特征。
图3示出根据本发明的用于惯性传感器的调整和自测试的方法。
根据本发明，所述方法包括以下步骤：
A-提供具有摄像机100、处理单元200和至少一个惯性传感器300的装置10；
B-提供对象400，
C-使所述装置相对于所述对象400运动，其中所述摄像机100持续地至少暂时地和/或至少部分地观察所述二维对象400；
在此，
D-接收所述至少一个惯性传感器300的运动数据30并且接收所述摄像机100的图像数据40，
E-由所述至少一个惯性传感器300的运动数据30确定所述装置10的第一运动特征320，
F-由所述摄像机100的图像数据40确定所述装置10的第二运动特征420。
连续地在所述方法期间或者在所述方法之后可选择地在步骤G中连续进行第一运动特征320与第二运动特征420的相互比较。
由所述比较的结果可以确定所述至少一个惯性传感器300的灵敏度。可以在信号的大小和传感方向方面校准或者调整所述惯性传感器300。在一个实施例中，在步骤B中提供尤其具有规律的多次重复的图像图案410的对象400。
图4以比较示出转速传感器的第一运动特征和摄像机的第二运动特征。通过第一运动特征320与第二运动特征420的比较，可以确定转速传感器的校准参数、例如偏置和灵敏度以及摄像机与惯性传感器之间的时延。
本发明的一个具体应用示例是具有摄像机和惯性传感器的智能手机。在所述智能手机上，借助菜单点“惯性传感器校准”和“惯性传感器自测试”使应用软件开始。随后，使所述智能手机借助其主摄像机在特定的如在图2中所示出那样的图像图案上摆动。在此，记录惯性传感器的测量数据并且创建第一运动特征。同时，借助摄像机并且借助图像处理来检测智能手机的运动并且将其换算到所述惯性传感器的坐标系中。在此，建立第二运动特征。通过第一运动特征与第二运动特征的比较，即通过惯性传感器的测量值的运动特征与通过摄像机图像所计算出的运动的相关以及通过用于传感器的模型方法(Modellansatz)，可以尤其针对转速传感器来确定校准参数、例如惯性传感器的偏置和灵敏度以及摄像机与惯性传感器之间的时延。所述方式对于功能“自测试”非常相似。在图4中示出所述软件的可能的示例性界面。对于使用者而言，所需要的图像图案可以电子地并且通过打印地简单地附加到设备和程序上。

Claims (13)

1.一种装置(10)，其具有摄像机(100)、处理单元(200)和至少一个惯性传感器(300)，其中，所述处理单元(200)设置用于由所述至少一个惯性传感器(300)的运动数据(30)确定所述装置(10)的第一运动特征(320)，其特征在于，所述处理单元(200)设置用于由借助所述摄像机(100)观察的对象(400)的图像数据(40)确定所述装置(10)的第二运动特征(420)。
2.根据权利要求1所述的装置，其特征在于，所述处理单元(200)设置用于由借助所述摄像机(100)观察的、尤其具有规律的多次重复的图像图案(410)的二维对象(400)的图像数据(40)确定所述装置(10)的第二运动特征(420)。
3.根据权利要求1或2所述的装置，其特征在于，所述处理单元(200)设置用于将所述第二运动特征(420)与所述第一运动特征(320)进行比较。
4.根据权利要求3所述的装置，其特征在于，所述处理单元(200)设置用于由所述第一运动特征(320)与所述第二运动特征(420)的比较提供用于调整所述惯性传感器(300)的调整信息。
5.根据权利要求3所述的装置，其特征在于，所述惯性传感器(300)是转速传感器，并且所述处理单元(200)设置用于由所述第一运动特征(320)与所述第二运动特征(420)的比较提供用于所述转速传感器的偏置校准的调整信息。
6.根据权利要求2所述的装置，其特征在于，所述处理单元(200)设置用于确定所述至少一个惯性传感器(300)的灵敏度。
7.一种用于惯性传感器的调整和自测试的方法，其特征在于以下步骤：
(A)提供一种装置(10)，其具有摄像机(100)、处理单元(200)和至少一个惯性传感器(300)；
(B)提供对象(400)；
(C)使所述装置(10)相对于所述对象(400)运动，其中，所述摄像机(100)持续地至少暂时地和/或至少部分地观察所述对象(400)；在此，
(D)接收所述至少一个惯性传感器(300)的运动数据(30)并且接收所述摄像机(100)的图像数据(40)；
(E)由所述至少一个惯性传感器(300)的运动数据(30)确定所述装置(10)的第一运动特征(320)；
(F)由所述摄像机(100)的图像数据(40)确定所述装置(10)的第二运动特征(420)。
8.根据权利要求7所述的用于惯性传感器的调整和自测试的方法，其特征在于，在所述步骤(B)中实现尤其具有规律的多次重复的图像图案(410)的二维对象(400)的提供。
9.根据权利要求7或8所述的用于惯性传感器的调整和自测试的方法，其特征在于以下步骤：
(G)将所述第一运动特征(320)与所述第二运动特征(420)进行相互比较。
10.根据权利要求7至9中任一项所述的用于惯性传感器的调整和自测试的方法，其特征在于，进行所述至少一个惯性传感器(300)的调整和/或自测试。
11.根据权利要求7至10中任一项所述的用于惯性传感器的调整和自测试的方法，其特征在于，通过所述第一运动特征(320)与所述第二运动特征(420)的相关来求取所述摄像机(100)与所述至少一个惯性传感器(300)之间的时延。
12.根据权利要求11所述的方法，其特征在于，调整所述摄像机(100)与所述至少一个惯性传感器(300)之间的时延。
13.一种计算机程序产品，其具有软件，其设置用于实施根据权利要求7至12中任一项所述的方法。
CN201511035376.7A 2014-12-12 2015-12-11 用于惯性传感器的调整和自测试的装置及方法 Pending CN105699696A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102014225677 2014-12-12
DE102014225677.1 2014-12-12
DE102015203968.4 2015-03-05
DE102015203968.4A DE102015203968A1 (de) 2014-12-12 2015-03-05 Vorrichtung zum Abgleich und Selbsttest von Inertialsensoren und Verfahren

Publications (1)

Publication Number Publication Date
CN105699696A true CN105699696A (zh) 2016-06-22

Family

ID=56082738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511035376.7A Pending CN105699696A (zh) 2014-12-12 2015-12-11 用于惯性传感器的调整和自测试的装置及方法

Country Status (4)

Country Link
US (1) US20160170502A1 (zh)
KR (1) KR20160072055A (zh)
CN (1) CN105699696A (zh)
DE (1) DE102015203968A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109791048A (zh) * 2016-08-01 2019-05-21 无限增强现实以色列有限公司 使用场景捕获数据校准惯性测量单元（imu）的组件的方法和***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130335554A1 (en) * 2012-06-14 2013-12-19 Qualcomm Incorporated Adaptive estimation of frame time stamp latency
US20140126771A1 (en) * 2012-11-05 2014-05-08 Qualcomm Incorporated Adaptive scale and/or gravity estimation
US20140176418A1 (en) * 2012-12-21 2014-06-26 Qualcomm Incorporated Display of separate computer vision based pose and inertial sensor based pose

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9417689B1 (en) * 2013-05-17 2016-08-16 Amazon Technologies, Inc. Robust device motion detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130335554A1 (en) * 2012-06-14 2013-12-19 Qualcomm Incorporated Adaptive estimation of frame time stamp latency
US20140126771A1 (en) * 2012-11-05 2014-05-08 Qualcomm Incorporated Adaptive scale and/or gravity estimation
US20140176418A1 (en) * 2012-12-21 2014-06-26 Qualcomm Incorporated Display of separate computer vision based pose and inertial sensor based pose

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109791048A (zh) * 2016-08-01 2019-05-21 无限增强现实以色列有限公司 使用场景捕获数据校准惯性测量单元（imu）的组件的方法和***

Also Published As

Publication number Publication date
US20160170502A1 (en) 2016-06-16
DE102015203968A1 (de) 2016-06-16
KR20160072055A (ko) 2016-06-22

Similar Documents

Publication Publication Date Title
US10341647B2 (en) Method for calibrating a camera and calibration system
US9631956B2 (en) Methods and systems for calibrating sensors of a computing device
JP5496008B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
CN109475386B (zh) 内部设备跟踪***以及操作其的方法
CN107883867A (zh) 测量***
US20160189362A1 (en) 3d recording device, method for producing a 3d image, and method for setting up a 3d recording device
JP2016045150A (ja) 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法およびプログラム
CA2901655A1 (en) Image processing device, image processing method, and program therefor
US9451166B1 (en) System and method for imaging device motion compensation
US20180290300A1 (en) Information processing apparatus, information processing method, storage medium, system, and article manufacturing method
KR20160077684A (ko) 객체 추적 장치 및 방법
JP2009503711A (ja) 第２の対象物に対する第１対象物の相対位置を決定する方法及びシステム及び、対応するコンピュータプログラム及び対応するコンピュータ可読記録媒体
KR101503046B1 (ko) 다축 감지 장치 및 이의 교정 방법
WO2006060576A1 (en) Precise, no-contact, position sensing using imaging
JP6697174B1 (ja) 情報処理装置、プログラムおよび情報処理システム
JP2010160379A (ja) カメラキャリブレーション方法、およびカメラキャリブレーション装置
JP6883767B2 (ja) 変位計測装置および変位計測方法
CN105699696A (zh) 用于惯性传感器的调整和自测试的装置及方法
TW201621273A (zh) 行動定位裝置及其定位方法
KR101575934B1 (ko) 관성 센서 및 광학 센서를 이용한 모션 캡쳐 장치 및 방법
JP2007010419A (ja) 対象物の３次元形状検証システム。
JP2018087715A5 (zh)
KR102110542B1 (ko) 멀티 레이어 3d 디스플레이 캘리브레이션 장치 및 방법
US9354247B2 (en) Method for calibrating a rotation rate sensor, and electrical device
US11893167B2 (en) Information processing device, information processing method, non-transitory computer readable medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160622

RJ01 Rejection of invention patent application after publication