CN1717573A - 移动终端装置 - Google Patents

Abstract

一种移动终端装置(1)，其使用加速度传感器作为倾斜角传感器(24)，根据检测结果实现各种应用。处理部(10)根据用于检测加速度分量的倾斜角传感器(24)所检测出的低频加速度分量，对人的步数进行计数。此时，主要利用三轴中与重力轴最相近的轴的加速度分量。另外，可使显示部(36)所显示的对所述三维物体或三维空间的视点。通过有效利用倾斜角传感器(24)的检测结果，可实现用途广泛的移动终端装置(1)。

Description

移动终端装置

技术领域

本发明涉及手机等移动终端装置，特别涉及具备定位功能的移动终端装置。

技术背景

近年来，具有方位测定功能的移动终端装置的开发不断取得进展。其中，测量方位用的是磁传感器。这样的移动终端装置根据GPS(GlobalPositioning System：全球定位***)的位置信息，根据测得的方位将当前的位置等显示在画面中的地图上。

磁传感器不仅能够检测出自然的磁场，也能检测出移动终端装置内部或周边的电气设备等产生的动磁场。因此，为了仅提取自然磁场的成分，需要从检测出的磁成分中消除动磁场成分。在使用两轴磁传感器的情况下，因为无法求出磁场强度，所以很难从中有效地去除动磁场成分。

发明内容

为了求取磁场强度，探讨引入了三轴磁传感器。另外，为了正确求出方位，考虑到移动终端装置的倾斜，需要对三轴磁传感器检测出的地磁矢量分量进行修正。用倾斜角传感器来测量移动终端装置的倾斜。

根据这样的情况，具有方位测定功能的移动终端装置最好设置倾斜角传感器。本发明人致力于对该倾斜角传感器的有效利用，开发了各种应用。因此，本发明的目的在于，提供具有方位测量功能的移动终端装置的各种可能性，并实现用途广泛的移动终端装置。

本发明的一个实施方式涉及一种移动终端装置，该装置包括：磁传感器，用于检测地磁矢量的三轴分量；倾斜角传感器，用于检测三轴方向的加速度分量；处理部，用于根据倾斜角传感器的检测结果对磁传感器检测出的地磁矢量分量进行坐标变换，求出方位，处理部根据在倾斜角传感器的各轴中与重力轴最相近的轴的检测结果，检测出规定范围内的频率的加速度分量，对用户的步数进行计数。根据该方式，通过使该装置具有步数计的功能，能够实现用途广泛的移动终端装置。

处理部也可以根据方位和步数求出用户的移动轨迹，还可以从步数的计数中去掉在所检测出的加速度分量中的在规定时间内收敛的成分。通过从步数中去掉除了步行动作以外的晃动或冲击，由此能够使装置具有精度更高的步数计的功能。

本发明的另一实施方式也涉及一种移动终端装置，该装置包括：磁传感器，用于检测地磁矢量的三轴分量；倾斜角传感器，用于检测三轴方向的加速度分量；显示部，用于显示来自对三维物体或三维空间的规定视点的图像；处理部，用于根据倾斜角传感器的检测结果对磁传感器检测出的地磁矢量分量进行坐标变换，求出方位，处理部根据磁传感器和倾斜角传感器的检测结果移动相对于三维物体或三维空间的视点。处理部可以根据磁传感器和倾斜角传感器的检测结果求出偏离(ヨ一)角、纵偏(ピツチ)角和横偏(ロ一ル)角，使其与视点的三维移动相对应。根据该方式，能够实现可从全方位观察三维物体或三维空间的移动终端装置。

本发明的又一实施方式也涉及一种移动终端装置，该装置包括：磁传感器，用于检测地磁矢量的三轴分量；倾斜角传感器，用于检测三轴方向的加速度分量；显示部，用于显示地图；处理部，用于根据倾斜角传感器的检测结果对磁传感器检测出的地磁矢量分量进行坐标变换，求出方位，处理部根据磁传感器和倾斜角传感器的检测结果旋转地图，以使地图的方位与实际的方位对准。根据该方式，能够实现地图和实际方位相关联的显示。

本发明的再一实施方式也涉及一种移动终端装置，该装置包括：磁传感器，用于检测地磁矢量的三轴分量；倾斜角传感器，用于检测三轴方向的加速度分量；摄像部，用于获得运动图像；处理部，用于根据倾斜角传感器的检测结果对磁传感器检测出的地磁矢量分量进行坐标变换，求出方位，处理部根据磁传感器和倾斜角传感器的检测结果，修正运动图像的手晃动影响。在检测出手晃动时，处理部可以根据磁传感器和倾斜角传感器的检测结果，通过将手晃动时的帧的特征点和其前一帧的特征点加起来进行修正。根据该方式，可实现装载具有手晃动修正功能的照相机的移动终端装置。

在上述实施方式中，可以进一步具有检测气压的气压传感器，处理部可以根据气压传感器的检测结果预测天气。由此能够实现可进行天气预报的移动终端装置。

以上的构成要素的任意组合以及将本发明的表现形式在方法、***、记录媒体、计算机程序等中进行的变换的也都作为本发明的实施方式而有效。

根据本发明，就能够提供有效利用倾斜角传感器的移动终端装置。

附图说明

图1为表示涉及本发明实施方式的移动终端装置的构成的图；

图2为根据磁传感器和倾斜角传感器的检测结果计算出方位的流程图；

图3为表示在显示部中显示三维物体的例子的图；

图4为表示在显示部中显示地图的例子的图；

图5为表示通过处理部修正手晃动的情形的图。其中，(a)表示检测到手晃动时的帧的前一帧，(b)表示检测到手晃动时的帧，(c)表示对帧进行合成的情形。

附图标号说明

1：移动终端装置；   10：处理部；         20：检测部；

22：磁传感器；      24：倾斜角传感器；   26：气压传感器；

28：温度传感器；    30：摄像部；         32：通信部；

34：GPS信息取得部； 36：显示部

优选实施方式

图1表示涉及本发明实施方式的移动终端装置1的构成。

这种移动终端装置1为移动电话、PHS(Personal Handyphone System个人手机***)以及PDA(Personal data assistant：个人数据助理)等的移动用小型电子装置。图1虽然表示用于实现方位测定以及后述的应用的构成，但是，本领域的技术人员应该能理解移动终端装置1根据用途还可以具有其他的构成。

移动终端装置1包括：处理部10、检测部20、摄像部30、通信部32、GPS信息取得部34以及显示部36。检测部20具有磁传感器22、倾斜角传感器24、气压传感器26以及温度传感器28，具有检测位置、方位、姿势、高度等的功能。摄像部30具有CCD等光电转换元件，获取图像并传输给处理部10。通信部32具有通过外部的服务器和无线回路进行通信的功能。该通信也可以通过有线回路进行。GPS信息取得部34从GPS卫星接收位置信息。处理部10根据该位置信息计算出当前的位置，即当前的纬度和经度。另外，通过根据来自磁传感器22的方位信息可修正位置信息，由此可以求出正确的当前位置和方位。处理部10也可以按照将位置信息和方位信息相互补充的方式来利用。另外，处理部10也可以不利用来自GPS卫星的位置信息，而仅根据来自检测部20的检测结果求出当前位置和方位信息。显示部36具有显示器，根据应用来输出在处理部10中被处理的信息。另外，具有在图中未示出的扬声器，可以用声音向用户输出各种信息。

磁传感器22检测地磁矢量的三轴分量，其种类不限，可使用如磁通(フラツクスゲ一ト)型传感器，或使用霍尔元件、磁阻元件的传感器等。其按照互相垂直的方式设有X轴、Y轴和Z轴。根据X轴、Y轴的地磁矢量检测出偏离角，它是从磁北极起的旋转角，或称偏航角。但是，在赤道附近，该地磁矢量基本为水平，在除此之外的地方则是倾斜的。另外，移动终端装置1的姿势不一定始终是水平的。因此，必须利用相对于重力方向的相对角度即纵偏角和横偏角来修正该地磁矢量。通过倾斜角传感器24检测出该纵偏角和横偏角。处理部10利用所述纵偏角和横偏角修正X轴和Y轴的检测结果，以使Z轴的检测结果始终等同于保持为Z轴水平时的检测结果的状态。这样，通过将磁传感器22做成三轴、将Z轴的检测结果用于修正，从而即使在姿势变化较大的情况下，也能够保持方位角的精度。

倾斜角传感器24为检测三轴方向的加速度分量的加速度传感器，其方式有电阻值变化方式、电容变化方式、压电变化方式等。倾斜角传感器24也同样是在水平面上以垂直的方式设置X轴和Y轴、在重力方向上设有Z轴。因移动终端装置1的姿势倾斜而重力加速度发生变化，通过检测该重力加速度来检测纵偏角和横偏角。在移动终端装置1静止的状态下，通过两轴也能够正确地检测移动终端装置1的姿势。在带有移动终端装置1的用户在走路、或者乘汽车或自行车等的交通工具的情况下，因为在倾斜角传感器24上增加有运动加速度分量，所以不能正确地检测出姿势。通过设置三轴，能够分离出重力加速度和运动加速度，检测出正确的姿势。如果对各轴的输出值进行积分而求出估计角度，并比较该角度和加速度分量而进行规定的运算，则能够计算出正确的纵偏角和横偏角。

气压传感器26用于检测外部空气的压力，温度传感器28用于检测温度。所检测的温度用于修正因温度的漂移引起的磁传感器22、倾斜角传感器24和气压传感器26的输出偏差。

图2表示根据磁传感器22和倾斜角传感器24的检测结果计算出方位的流程图。首先，根据通过倾斜角传感器24检测出的三轴方向的加速度分量计算出磁传感器22的倾斜角(S10)。在其中计算出纵偏角和横偏角。磁传感器22检测地磁矢量的三轴分量(S12)。处理部10根据纵偏角和横偏角对地磁矢量分量进行坐标变换(S14)，求出正确的方位(S16)。此时也可以利用温度传感器28的检测结果对温度进行修正。这样，将倾斜角传感器24的检测结果利用于方位的计算。但是，本发明还能有效利用该检测结果，实现下面所示的应用。

(应用1)

在应用1中，移动终端装置1具有步数计的功能。倾斜角传感器24根据移动终端装置1的移动检测出三轴方向的加速度。因此，在带有移动终端装置1的用户的步行中，倾斜角传感器24不仅可检测与移动终端装置1的倾斜角相对应的加速度分量，而且根据用户的移动也可检测出低频加速度分量。

处理部10对倾斜角传感器24的检测结果进行频率分析，并根据位于规定范围内的频率加速度分量对用户的步数进行计数。该规定范围按照包括用户的步行速度的方式被预先设定。最适合的值可以通过模拟和实测方式求出。因为步行动作主要是向重力方向加上加速度分量，所以使用在倾斜角传感器24内最靠近重力轴的轴的检测结果。另外，根据其它两轴的检测结果，可以修正最靠近重力轴的轴的检测结果。对究竟哪个轴与重力轴最相近的判断是：在静止状态下，可以选择重力加速度分量最大的轴；在运动状态下，可以根据各轴所具有的电阻值等的变化和计算出的纵偏角、横偏角的值来计算。

另外，在对步数进行计数时，如果能够区分因步行动作引起的晃动和其他的冲击，则能够进一步提高精度。因步行动作引起的晃动是规律性的动作，所以只要是在步行，则不收敛。相对于此，单纯的冲击在规定的时间内收敛。因此，对于超过该规定时间的晃动成分，作为步行加以计数，对于在规定时间内收敛的冲击，则不作为步行计数。在此，规定的时间可以通过模拟或实测的方式求出一般成年人的步行动作的晃动或移动终端装置1掉落时的冲击等，由此可求出其最适合的值。处理部10可以将计算出的步数显示在显示部36中。另外，也可以显示对应于步数的消耗能量(卡路里)。

处理部10可以根据储存在图中未示出的ROM上的地图数据和从GPS信息取得部34中获取的GPS信息，在地图上表示现在的位置，显示在显示部36中。而且，可以显示用户的移动轨迹。处理部10虽然可以通过GPS信息求出移动轨迹，但是，在电波不能到达的状态下，不能通过GPS信息求出移动轨迹。另外，在通过GPS信息求出移动轨迹的情况下，计算出起始点和测定点的移动距离。但是，如果在某个时间内不移动一定的距离，则无法计算出正确的方位。而且，基于GPS信息的方位是因为经过测定点之后进行计算，所以也可能与当前值的方位不同。

因此，处理部10根据由磁传感器22检测的方位、由倾斜角传感器24检测的步数及步幅来求出移动轨迹。因为步幅在步行中基本为一定，所以可以通过与步数相乘的方式计算出步行距离。步幅可以采用设定值，也可以由用户输入进去，另外，也可以最初获得两地间的GPS信息并登记由计算而求出的值。

处理部10可以适当地分开使用通过GPS信息计算出的计算值和通过磁传感器22和倾斜角传感器24计算出的计算值。例如，在来自GPS卫星的电波不能到达的地方，可以进行使用后者的计算值的控制。另外，在取平均值或发生急剧的变化的情况下，也可以将两个计算值互相补充来使用，如比较两个计算值来进行确认等。

(应用2)

在应用2中，通过改变移动终端装置1的朝向或姿势，可将显示在显示部36的三维物体或三维空间的图像切换为视点被切换的所述物体等的图像。如果用户改变移动终端装置1的朝向或姿势，磁传感器22和倾斜角传感器24检测出该变化成分。处理部10根据该检测结果计算出偏离角、纵偏角以及横偏角。

图3为表示在显示部中显示三维物体的例子的图。用户可以从全方位观察显示在画面中的三维物体40。即，相对于三维物体40的视点最好向上下方向、左右方向、进深方向自由地移动。处理部10将该三个方向的移动量与根据磁传感器22和倾斜角传感器24的检测结果而计算出的偏离角、纵偏角和横偏角的变化相对应。设计人员可以自由设计该三个对应关系以及对各角度变化的视点的移动量。另外，可以由用户任意变更这些设定。例如，将偏离角的变化与进深方向的移动相对应时，如果用户在将移动终端装置1的姿势保持的同时将其旋转，则可以进行扩大或缩小显示。另外，也可以移动视点而迂回到三维物体40的里侧。这样，通过用户改变移动终端装置1的朝向或姿势，即使不进行键盘操作，也能自由地变化视点。

(应用3)

在应用3中，对在显示部36中所显示的地图上的方位和实际方位进行关联显示。图4为表示在显示部36中显示地图的例子的图。处理部1 0根据图中未示出的ROM等所储存的地图数据，在显示部36中显示地图。与此同时，通过倾斜角传感器24的检测结果修正磁传感器22的检测结果，计算出方位，按照所显示的地图上的方位和实际方位相一致的方式转动所显示的地图。因此，显示在显示部36的地图也因用户的朝向改变而转动。

另外，处理部10可不转动显示在显示部36的地图本身，而始终将北方向显示在画面中，但是也可以加上电子指南针52这样的显示，使用户知道实际上的北方向。这样，通过将地图和实际的方位关联来显示，能够使用户得到有益的信息。

另外，与应用2相同，可通过改变移动终端装置1的朝向或姿势切换显示在显示部36的地图图像的视点。如果用户改变移动终端装置1的朝向或姿势切，则磁传感器22和倾斜角传感器24可检测出该变化成分。处理部10根据该检测结果计算出偏离角、纵偏角、横偏角。设计人员可将该纵偏角、横偏角、偏离角的变化与图4所示的视点50的上下方向、左右方向、高度方向的移动量相对应。例如，在用户将改变偏离角的动作传递给移动终端装置1时，发生自地图平面起的高度的变化，可进行扩大或缩小显示。另外，在用户将改变纵偏角和横偏角的动作传递给移动终端装置1时，地图将会上下或左右滚动。与应用2相同，三个对应关系和相对于各角度变化的视点的移动量可以由设计人员自由设定。另外，也可以由用户任意改变这些设定。

在应用2、3中，也可以进行这样的处理：在偏离角、纵偏角、横偏角的角速度大于规定的阈值时，有效移动视点；在小于该阈值时，不移动视点。规定的阈值的最适合的值可以通过模拟或实测的方式求出。在该情况下，在用户以小于规定速度改变移动终端装置1的朝向或姿势时，显示在显示部36中的图像会保持静止的状态，在以大于规定速度改变时，该图像会进行滚动等。

(应用4)

在应用4中，可对用摄像部30摄制运动图像过程中产生的手晃动进行修正。如果在用移动终端装置1的摄像部30拍摄运动图像过程中用户的手晃动，则磁传感器22和倾斜角传感器24可检测该手晃动引起的变化成分。处理部10根据该变化成分判断移动终端装置1的朝向或姿势的变化是否为因手晃动引起的。例如，可进行下述处理：对于超过规定阈值的晃动不视为手晃动，而对于规定阈值以下的微弱的晃动视为手晃动。在此，规定阈值的最适合的值可通过模拟或实测的方式求出。

图5为表示通过处理部10修正手晃动的情形的图。其中，(a)表示检测到手晃动时的帧的前一帧，(b)表示检测到手晃动时的帧，(c)表示对帧进行合成的情况。如果检测到了手晃动，处理部10就提取手晃动时的帧的前一帧的特征点，特征点的提取可利用各帧的亮度成分。在图6(a)中是将人的颈部作为特征点60来提取的。另外，从检测到手晃动时的帧中搜索该特征点60。该特征点60的搜索是可以在前一帧的特征点60的像素位置的上下左右大约10％的范围内进行。如果提取在检测到手晃动时的帧的特征点60，处理部10就对前一帧的特征点60和检测到手晃动时的帧的特征点60进行重叠，对两个帧进行合成。该情形表示在图6(c)中。在图6中因为检测到手晃动时的帧的特征点60偏向右侧，所以如果对两个帧进行合成，则在检测到手晃动时的帧的左端出现剩余部分。处理部10对该合成范围以外的剩余部分进行切除，做成在检测到手晃动时的帧。

如上所述，在通过如带照相机的移动电话那样的移动终端装置1进行摄像时发生手晃动的情况下，可以不使用复杂的结构，而通过根据所述应用的图像处理容易地进行修正。此时，通过磁传感器22和倾斜角传感器24的检测结果可仅对检测到发生手晃动时进行修正，所以也可使计算量的增加抑制到最小限度。

(应用5)

在应用5中，采用气压传感器26对气压、高度、天气进行测定，并对其进行显示。在该应用中，利用高度越高其气压越低的关系计算出高度。因为气压的测定值因气候而变化，所以最好预先在图中未示出的ROM等中用图表方式记录地球表面的气压、即绝对气压以及高于地球表面处的上升分量、即相对气压的关系。另外，绝对气压和相对气压的关系可以用计算式的形式储存在记录部中。处理部10根据气压传感器26的输出值计算出绝对气压和相对气压，确定高度。

处理部10每隔规定的时间获取气压传感器26的测定数据，对气压的变化进行测定。从该气压变化可以预测天气的趋向，例如，如果气压趋于上升，则天气转晴，如果气压趋于下降，则天气转阴。

这样，根据实施方式对本发明进行了说明。实施方式仅仅是例子，本领域的技术人员应该可以理解，这些各构成要素和各处理程序的组合中可以有各种变型例，且这些变型例也属于本发明的范围。

可以利用从磁传感器22和倾斜角传感器24的检测结果得到的偏离角、纵偏角和横偏角形成各种应用。例如，利用偏离角，可以将单纯地指示方位的电子指南针显示在显示部36中。另外，也可以将偏离角、纵偏角和横偏角的变化以及这些角速度与电源的开和关或音量的高低等各种操作命令相关联起来。

产业上的利用可行性

本发明可适用于涉及装有各种传感器的移动终端装置的领域。

Claims (7)

1.一种移动终端装置，其特征在于包括：

磁传感器，用于检测地磁矢量的三轴分量；

倾斜角传感器，用于检测三轴方向的加速度分量；

处理部，用于根据所述倾斜角传感器的检测结果对所述磁传感器检测出的地磁矢量分量进行坐标变换，求出方位，

所述处理部根据在所述倾斜角传感器的各轴中与重力轴最相近的轴的检测结果，检测出规定范围内的频率的加速度分量，对用户的步数进行计数。

2.如权利要求1所述的移动终端装置，其特征在于所述处理部根据所述方位和所述步数求出用户的移动轨迹。

3.如权利要求1所述的移动终端装置，其特征在于所述处理部从步数的计数中去掉在所检测出的加速度分量中在规定时间内收敛的成分。

4.一种移动终端装置，其特征在于包括：

磁传感器，用于检测地磁矢量的三轴分量；

倾斜角传感器，用于检测三轴方向的加速度分量；

显示部，用于显示来自相对于三维物体或三维空间的规定视点的图像；

处理部，用于根据所述倾斜角传感器的检测结果对所述磁传感器检测出的地磁矢量分量进行坐标变换，求出方位，

所述处理部根据所述磁传感器和所述倾斜角传感器的检测结果，移动相对于所述三维物体或三维空间的视点。

5.一种移动终端装置，其特征在于包括：

磁传感器，用于检测地磁矢量的三轴分量；

倾斜角传感器，用于检测三轴方向的加速度分量；

显示部，用于显示地图；

处理部，用于根据所述倾斜角传感器的检测结果对所述磁传感器检测出的地磁矢量分量进行坐标变换，求出方位，

所述处理部根据所述磁传感器和所述倾斜角传感器的检测结果旋转所述地图，以使所述地图的方位与实际的方位对准。

6.一种移动终端装置，其特征在于包括：

磁传感器，用于检测地磁矢量的三轴分量；

倾斜角传感器，用于检测三轴方向的加速度分量；

摄像部，用于取得动图像；

处理部，用于根据所述倾斜角传感器的检测结果对所述磁传感器检测出的地磁矢量分量进行坐标变换，求出方位，

所述处理部根据所述磁传感器和所述倾斜角传感器的检测结果修正所述运动图像中的手晃动。

7.如权利要求1至6中任一项所述的移动终端装置，其特征在于进一步具有检测所述气压的气压传感器，

所述处理部根据所述气压传感器的检测结果预测天气。

Images