KR100665731B1

KR100665731B1 - Mobile terminal apparatus

Info

Publication number: KR100665731B1
Application number: KR1020067015946A
Authority: KR
Inventors: 야스히로 다무라
Original assignee: 가부시키가이샤 씨앤드엔
Priority date: 2006-08-07
Filing date: 2004-07-15
Publication date: 2007-01-09
Also published as: KR20060103467A

Abstract

휴대 단말 장치(l)는 경사각 센서(24)로서 가속도 센서를 사용하고, 이 검출 결과를 기초로 다양한 응용을 실현한다. 처리부(10)는 가속도 성분을 검출하는 경사각 센서(24)에 의해 검출되는 저주파의 가속도 성분을 기초로 사람의 보수를 카운트한다. 이 때, 3축 중에서 가장 중력축에 따르는 축의 가속도 성분을 주로 이용한다. 또 표시부(36)에 표시되는 3차원 오브젝트 또는 3차원 공간에 대한 시점을 이동시킨다. 경사각 센서(24)의 검출 결과를 효과적으로 이용함으로써 고효율성의 휴대 단말 장치(1)를 실현하는 것이 가능해진다.The portable terminal device 1 uses an acceleration sensor as the inclination angle sensor 24, and realizes various applications based on the detection result. The processor 10 counts the reward of the person based on the low frequency acceleration component detected by the inclination angle sensor 24 which detects the acceleration component. At this time, the acceleration component of the axis along the gravity axis most of the three axes is mainly used. The viewpoint of the three-dimensional object or three-dimensional space displayed on the display unit 36 is shifted. By using the detection result of the inclination-angle sensor 24 effectively, it becomes possible to realize the highly efficient portable terminal device 1.

Description

휴대 단말 장치{Mobile terminal apparatus}Mobile terminal apparatus

도 1은 본 발명의 실시형태에 따른 휴대 단말 장치의 구성을 나타내는 도면이고,1 is a diagram illustrating a configuration of a portable terminal device according to an embodiment of the present invention.

도 2는 자기 센서 및 경사각 센서의 검출 결과를 기초로 방위를 산출하는 흐름을 나타내는 도면이고,2 is a diagram illustrating a flow of calculating a bearing based on detection results of a magnetic sensor and an inclination angle sensor;

도 3은 표시부에 3차원 오브젝트를 표시한 예를 나타내는 도면이고,3 is a diagram illustrating an example in which a 3D object is displayed on a display unit.

도 4는 표시부에 지도를 표시한 예를 나타내는 도면이고,4 is a diagram illustrating an example of displaying a map on a display unit;

도 5는 처리부에 의해 손떨림을 보정하는 상태를 나타내는 도면이며, (a)는 손떨림 검출시의 프레임의 한 장 이전의 프레임을 나타내고, (b)는 손떨림 검출시의 프레임을 나타내고, (c)는 프레임을 합성한 상태를 나타낸다.Fig. 5 is a diagram showing a state in which camera shake is corrected by the processing unit, (a) shows a frame before one frame of hand shake detection, (b) shows a frame upon hand shake detection, and (c) shows Indicates a state in which frames are synthesized.

<부호의 설명><Description of the code>

1 휴대 단말 장치1 mobile terminal device

10 처리부10 processing unit

20 검출부20 detector

22 자기 센서22 magnetic sensor

24 경사각 센서24 tilt angle sensor

26 기압 센서26 barometric pressure sensor

28 온도 센서28 temperature sensor

30 촬상부30 Imaging Section

32 통신부32 Communication Department

34 GPS 정보 취득부34 GPS information acquisition unit

36 표시부36 Display

본 발명은 휴대 전화 등의 휴대 단말 장치에 관한 것으로, 특히 방위를 구하는 기능을 구비한 휴대 단말 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a portable terminal device such as a mobile phone, and more particularly to a portable terminal device having a function for obtaining a bearing.

최근, 방위의 측정 기능을 갖는 휴대 단말 장치가 개발되어 오고 있다. 방위의 측정에는 자기 센서가 이용된다. 이러한 휴대 단말 장치는 GPS(Globa1 Positioning System)로부터의 위치 정보를 기초로, 측정한 방위에 따라 현재 위치 등을 화면의 지도상에 표시한다.In recent years, a portable terminal device having an orientation measuring function has been developed. Magnetic sensors are used to measure the orientation. Such a mobile terminal device displays a current position and the like on a map of a screen according to a measured orientation based on position information from a GPS (Globa1 Positioning System).

자기 센서는 자연 자계뿐만 아니라, 휴대 단말 장치 내부나 주변의 전기 기기 등에 의해 발생되는 동적인 자계도 검출한다. 따라서, 자연 자계의 성분만을 추출하기 위해서는 검출한 자기 성분에서 동적인 자기 성분을 삭제할 필요가 있다. 2축 자기 센서를 이용하는 경우에는 자계 강도를 구할 수 없기 때문에, 동적인 자기 성분을 효율적으로 제거하기 어렵다.The magnetic sensor not only detects a natural magnetic field but also detects a dynamic magnetic field generated by an electric device or the like inside or around the portable terminal device. Therefore, in order to extract only components of the natural magnetic field, it is necessary to delete dynamic magnetic components from the detected magnetic components. In the case of using a two-axis magnetic sensor, the magnetic field strength cannot be obtained. Therefore, it is difficult to efficiently remove the dynamic magnetic component.

자계 강도를 구하기 위해 3축 자기 센서의 도입이 검토되고 있다. 또한, 방위를 올바르게 구하기 위해서는 휴대 단말 장치의 기울기를 고려하여, 3축 자기 센서에 의해 검출되는 지자기 벡터 성분을 보정할 필요가 있다. 휴대 단말 장치의 기울기는 경사각 센서에 의해 측정된다.In order to obtain the magnetic field strength, the introduction of a three-axis magnetic sensor is under consideration. In addition, in order to correctly determine the orientation, it is necessary to correct the geomagnetic vector component detected by the three-axis magnetic sensor in consideration of the inclination of the portable terminal device. The inclination of the portable terminal device is measured by the inclination angle sensor.

이러한 사정에 감안하여, 방위 측정 기능을 갖는 휴대 단말 장치에는 경사각 센서가 마련되는 것이 바람직하다. 본 발명자는 이 경사각 센서를 효과적으로 활용하는 것에 주목하여, 다양한 응용을 개발하기에 이르렀다. 그래서, 본 발명은 방위 측정 기능을 갖는 휴대 단말 장치의 다양한 가능성을 제공하며, 고효율성의 휴대 단말 장치를 실현하는 것을 목적으로 한다.In view of such circumstances, it is preferable that the inclination angle sensor is provided in the portable terminal device having the azimuth measurement function. The present inventors have focused on using this tilt angle sensor effectively, and have come to develop various applications. Therefore, an object of the present invention is to provide various possibilities of a portable terminal apparatus having an orientation measuring function and to realize a highly efficient portable terminal apparatus.

본 발명의 일형태는 휴대 단말 장치이다. 이 장치는 지자기 벡터의 3축 성분을 검출하는 자기 센서와, 3축 방향의 가속도 성분을 검출하는 경사각 센서와, 자기 센서에 의해 검출된 지자기 벡터 성분을 경사각 센서의 검출 결과에 의거하여 좌표 변환하여 방위를 구하는 처리부를 구비하며, 처리부는 경사각 센서의 각 축 중에서 가장 중력축에 따르는 축의 검출 결과를 기초로, 소정 범위에 있는 주파수의 가속도 성분을 검출하여 사용자의 보수(발검음수)를 카운트한다. 이 형태에 따르면, 고정밀도의 보수계 기능을 갖도록 함으로써 고효율성의 휴대 단말 장치를 실현할 수 있다.One embodiment of the present invention is a portable terminal device. The device coordinates the magnetic sensor for detecting the 3-axis component of the geomagnetic vector, the tilt angle sensor for detecting the acceleration component in the 3-axis direction, and the geomagnetic vector component detected by the magnetic sensor based on the detection result of the tilt angle sensor. A processing unit is provided to obtain an orientation, and the processing unit detects an acceleration component of a frequency in a predetermined range based on the detection result of the axis along the gravity axis among the axes of the inclination angle sensor to count the user's reward (detection number). According to this aspect, a highly efficient portable terminal device can be realized by having a high precision pedometer function.

처리부는 방위 및 보수에 의거하여 사용자의 이동 궤적을 구할 수도 있고, 검출한 가속도 성분 중에서 소정 시간 내에 집속한 성분을 보수의 카운트에서 뺄 수도 있다. 보행 동작 이외의 진동이나 충격을 보수의 카운트에서 뺌으로써 더욱 고정밀도의 보수계 기능을 갖도록 할 수 있다.The processing unit may obtain a user's movement trajectory based on the orientation and the reward, or may subtract the component focused within a predetermined time from the detected acceleration component from the count of the reward. Vibration and shock other than the walking operation can be subtracted from the count of the reward to have a more accurate pedometer function.

본 발명의 다른 형태도 휴대 단말 장치이다. 이 장치는 지자기 벡터의 3축 성분을 검출하는 자기 센서와, 3축 방향의 가속도 성분을 검출하는 경사각 센서와, 3차원 오브젝트 또는 3차원 공간에 대한 소정의 시점으로부터의 화상을 표시하는 표시부와, 자기 센서에 의해 검출된 지자기 벡터의 성분을 경사각 센서의 검출 결과에 의거하여 좌표 변환하여 방위를 구하는 처리부를 구비하며, 처리부는 자기 센서 및 경사각 센서의 검출 결과에 의거하여 3차원 오브젝트 또는 3차원 공간에 대한 시점(視点)을 이동시킨다. 처리부는 자기 센서 및 경사각 센서의 검출 결과에 의거하여 요각, 피치각 및 롤각을 구하고, 시점의 3차원 이동에 대응시킬 수도 있다. 이 형태에 따르면, 3차원 오브젝트 또는 3차원 공간을 전방위에서 관찰할 수 있는 휴대 단말 장치를 실현할 수 있다.Another aspect of the present invention is a portable terminal device. The apparatus includes a magnetic sensor for detecting the three-axis component of the geomagnetic vector, an inclination angle sensor for detecting the acceleration component in the three-axis direction, a display unit for displaying an image from a predetermined viewpoint with respect to a three-dimensional object or three-dimensional space, And a processing unit which coordinates the components of the geomagnetic vector detected by the magnetic sensor based on the detection result of the inclination angle sensor to obtain an orientation. The processing unit includes a three-dimensional object or a three-dimensional space based on the detection result of the magnetic sensor and the inclination angle sensor. Move the viewpoint to. The processing unit may obtain the yaw angle, the pitch angle and the roll angle based on the detection results of the magnetic sensor and the tilt angle sensor, and may correspond to the three-dimensional movement of the viewpoint. According to this aspect, a portable terminal device capable of observing a three-dimensional object or a three-dimensional space from all directions can be realized.

본 발명의 또 다른 형태도 휴대 단말 장치이다. 이 장치는 지자기 벡터의 3축 성분을 검출하는 자기 센서와, 3축 방향의 가속도 성분을 검출하는 경사각 센서와, 지도를 표시하는 표시부와, 자기 센서에 의해 검출된 지자기 벡터의 성분을 경사각 센서의 검출 결과에 의거하여 좌표 변환하여 방위를 구하는 처리부를 구비하며, 처리부는 자기 센서 및 경사각 센서의 검출 결과에 의거하여 지도의 방위를 실제 방위와 맞도록 지도를 회전시킨다. 이 형태에 따르면, 지도와 실제 방위가 관련된 표시가 가능해진다.Still another aspect of the present invention is a portable terminal device. The device includes a magnetic sensor for detecting three-axis components of the geomagnetic vector, an inclination angle sensor for detecting acceleration components in the three-axis direction, a display portion for displaying a map, and a component of the geomagnetic vector detected by the magnetic sensor. And a processing unit that calculates the orientation by coordinate transformation based on the detection result, and the processing unit rotates the map so that the orientation of the map matches the actual orientation based on the detection results of the magnetic sensor and the inclination angle sensor. According to this form, the display in which the map and the actual bearing are related is possible.

본 발명의 또 다른 형태도 휴대 단말 장치이다. 이 장치는 지자기 벡터의 3 축 성분을 검출하는 자기 센서와, 3축 방향의 가속도 성분을 검출하는 경사각 센서와, 동영상을 취득하는 촬상부와, 자기 센서에 의해 검출된 지자기 벡터의 성분을 경사각 센서의 검출 결과에 의거하여 좌표 변환하여 방위를 구하는 처리부를 구비하며, 처리부는 자기 센서 및 경사각 센서의 검출 결과에 의거하여 동영상 도중의 손떨림을 보정한다. 처리부는 자기 센서 및 경사각 센서의 검출 결과에 의거하여 손떨림을 검출하면, 손떨림 검출시의 프레임과 그 이전의 프레임의 특징점을 병합하여 보정할 수도 있다. 이 형태에 따르면, 손떨림 보정 기능이 있는 카메라를 탑재한 휴대 단말 장치를 실현할 수 있다.Still another aspect of the present invention is a portable terminal device. The device uses a magnetic sensor to detect three-axis components of the geomagnetic vector, an inclination angle sensor to detect acceleration components in the three-axis direction, an image pickup unit to acquire a moving image, and a component of the geomagnetic vector detected by the magnetic sensor. And a processing unit for determining the orientation by transforming coordinates based on the detection result, wherein the processing unit corrects the camera shake during the moving picture based on the detection results of the magnetic sensor and the inclination angle sensor. If the processor detects a hand shake based on the detection result of the magnetic sensor and the inclination angle sensor, the processing unit may merge and correct the feature point of the frame at the time of the hand shake detection and the previous frame. According to this aspect, a portable terminal device equipped with a camera having a camera shake correction function can be realized.

상기 형태에, 기압을 검출하는 기압 센서를 더 구비할 수도 있고, 처리부는 기압 센서의 검출 결과에 의거하여 날씨를 예측할 수도 있다. 일기예보가 가능한 휴대 단말 장치를 실현할 수 있다.The said aspect may further be equipped with the atmospheric pressure sensor which detects atmospheric pressure, and a process part may predict the weather based on the detection result of an atmospheric pressure sensor. A portable terminal device capable of weather forecasting can be realized.

또한, 이상의 구성 요소의 임의의 조합, 본 발명의 표현을 방법, 시스템, 기록 매체, 컴퓨터 프로그램 등의 사이에서 변환시킨 것도 또한 본 발명의 형태로서 효과적이다.In addition, any combination of the above components, and the expression of the present invention converted between a method, a system, a recording medium, a computer program, etc., are also effective as aspects of the present invention.

본 발명에 따르면, 경사각 센서를 효과적으로 이용한 휴대 단말 장치를 제공할 수 있다.According to the present invention, it is possible to provide a portable terminal device using the tilt angle sensor effectively.

도 1은 본 발명의 실시형태에 따른 휴대 단말 장치(1)의 구성을 나타낸다. 이 휴대 단말 장치(1)는 휴대 전화, PHS(Personal Handyphone System) 및 PDA(personal data assistant) 등의 휴대용 소형 전자 기기이다. 도 1은 방위 측정 및 후술하는 응용을 실현하기 위한 구성을 나타내는데, 당업자라면 휴대 단말 장 치(1)가 용도에 따라 다른 구성을 구비할 수도 있음을 이해할 수 있다.1 shows a configuration of a portable terminal device 1 according to an embodiment of the present invention. The portable terminal device 1 is a portable small electronic device such as a mobile phone, a personal handyphone system (PHS) and a personal data assistant (PDA). Fig. 1 shows a configuration for realizing the azimuth measurement and the application described later. Those skilled in the art can understand that the portable terminal device 1 may have other configurations depending on the application.

휴대 단말 장치(1)는 처리부(10) 검출부(20), 촬상부(30), 통신부(32), GPS 정보 취득부(34) 및 표시부(36)를 구비한다. 검출부(20)는 자기 센서(22), 경사각 센서(24), 기압 센서(26) 및 온도 센서(28)를 갖고, 위치나 방위, 자세, 고도 등을 검출하는 기능을 갖는다. 촬상부(30)는 CCD 등의 광전변환 소자를 구비하고, 화상을 취득하여 처리부(10)로 전달한다. 통신부(32)는 외부의 서버와 무선 회선에 의해 통신하는 기능을 갖는다. 이 통신은 유선 회선에 의해 행해질 수도 있다. GPS 정보 취득부(34)는 GPS 위성으로부터 위치 정보를 받는다. 처리부(10)는 이 위치 정보에 의거하여 현재 위치 즉 현재의 위도 및 경도를 계산한다. 또한, 위치 정보를 자기 센서(22)로부터의 방위 정보에 의해 보정할 수 있도록 함으로써, 정확한 현재 위치 및 방위를 구할 수 있다. 처리부(10)는 위치 정보 및 방위 정보를 서로 보완하도록 이용할 수도 있다. 또한 처리부(10)는 GPS 위성으로부터의 위치 정보를 이용하지 않고, 검출부(20)로부터의 검출 결과에만 의거하여 현재 위치 및 방위를 구할 수도 있다. 표시부(36)는 디스플레이를 갖고, 처리부(10)에서 처리된 정보를 응용에 의해 출력한다. 또한, 스피커(도시 생략)를 구비하여 사용자에 대해 각종 정보를 음성 출력할 수도 있다.The portable terminal device 1 includes a processing unit 10 detection unit 20, an imaging unit 30, a communication unit 32, a GPS information acquisition unit 34, and a display unit 36. The detector 20 has a magnetic sensor 22, an inclination angle sensor 24, an air pressure sensor 26, and a temperature sensor 28, and has a function of detecting a position, azimuth, attitude, altitude, and the like. The imaging unit 30 includes a photoelectric conversion element such as a CCD, acquires an image, and transfers the image to the processing unit 10. The communication unit 32 has a function of communicating with an external server by a wireless line. This communication may be performed by a wired line. The GPS information acquisition unit 34 receives location information from the GPS satellites. The processing unit 10 calculates the current position, that is, the current latitude and longitude, based on this position information. Further, by allowing the positional information to be corrected by the orientation information from the magnetic sensor 22, the accurate current position and orientation can be obtained. The processor 10 may use the position information and the orientation information to complement each other. In addition, the processor 10 may obtain the current position and orientation based only on the detection result from the detector 20 without using the position information from the GPS satellites. The display unit 36 has a display and outputs information processed by the processing unit 10 by an application. In addition, a speaker (not shown) may be provided to output a variety of information to the user.

자기 센서(22)는 지자기 벡터의 3축 성분을 검출하고, 플럭스 게이트형 센서나 홀 소자, 자기 저항 소자를 사용한 것 등 그 종류는 불문한다. 서로 직행하도록 X축, Y축 및 Z축이 배치된다. X축, Y축의 지자기 벡터를 기초로 자북으로부터의 회전각인 방위각, 즉 요각을 검출한다. 단, 지자기 벡터는 적도 근처에서는 거의 수 평이지만, 그 이외의 장소에서는 경사져 있다. 또 휴대 단말 장치(1)의 자세가 항상 수평이라고는 할 수 없다. 따라서, 중력의 방향에 대한 상대각, 즉 피치각 및 롤각을 사용하여 해당 지자기 벡터를 보정해야 한다. 이 피치각 및 롤각은 경사각 센서(24)에 의해 검출된다. 처리부(10)는 Z축의 검출 결과가 항상 Z축의 수평시의 검출 결과로 유지된 상태와 동등하도록, 상기 피치각 및 롤각을 사용하여 X축 및 Y축의 검출 결과를 보정한다. 이와 같이, 자기 센서(22)를 3축으로 하고 Z축의 검출 결과를 보정에 이용함으로써, 자세가 크게 변화된 경우라도 방위각의 정밀도를 유지할 수 있다.The magnetic sensor 22 detects three-axis components of the geomagnetic vector, regardless of its kind such as using a flux gate type sensor, a hall element, or a magnetoresistive element. The X-axis, Y-axis and Z-axis are arranged so as to be parallel to each other. The azimuth angle, i.e., the yaw angle, which is the rotation angle from the magnetic north is detected based on the geomagnetic vectors of the X and Y axes. However, the geomagnetic vector is almost horizontal near the equator but inclined elsewhere. In addition, the posture of the portable terminal device 1 is not always horizontal. Therefore, the corresponding geomagnetic vector should be corrected using the relative angle to the direction of gravity, that is, the pitch angle and the roll angle. This pitch angle and the roll angle are detected by the inclination angle sensor 24. The processing unit 10 corrects the detection results of the X-axis and the Y-axis by using the pitch angle and the roll angle so that the detection result of the Z-axis is always equal to the state maintained as the detection result of the Z-axis horizontal. Thus, by making the magnetic sensor 22 into three axes and using the Z-axis detection result for correction, the azimuth angle precision can be maintained even when a posture changes large.

경사각 센서(24)는 3축 방향의 가속도 성분을 검출하는 가속도 센서로서, 저항값 변화 방식, 용량 변화 방식, 압전 변화 방식 등이 있다. 경사각 센서(24)도 수평면에서 직행하도록 X축, Y축이 배치되고, 중력 방향으로 Z축이 배치된다. 휴대 단말 장치(1)의 자세가 기울어짐으로써 중력 가속도가 변화되고, 이 중력 가속도를 검출함으로써 피치각 및 롤각을 검출한다. 휴대 단말 장치(1)가 정지되어 있는 상태에서는, 2축이라도 휴대 단말 장치(l)의 자세를 정확하게 검출할 수 있다. 휴대 단말 장치(1)를 보유하고 있는 사용자가 보행하고 있거나, 자동차나 자전거 등의 탈것에 타고 있거나 하는 경우, 경사각 센서(24)에 운동 가속도 성분이 가해져 정확하게 자세를 검출할 수 없다. 3축으로 함으로써 중력 가속도와 운동 가속도를 분리할 수 있어 정확한 자세를 검출할 수 있다. 각 축의 출력값을 적분하여 예상 각도를 구하고, 그것과 가속도 성분을 비교하여 소정의 연산을 행하면 정확한 피치각 및 롤각을 산출할 수 있다.The inclination angle sensor 24 is an acceleration sensor that detects an acceleration component in the three axis direction, and includes a resistance value change method, a capacitance change method, a piezoelectric change method, and the like. The inclination angle sensor 24 is also arranged with the X axis and the Y axis so as to go straight in the horizontal plane, and the Z axis is disposed in the gravity direction. Gravity acceleration changes as the attitude | position of the portable terminal apparatus 1 inclines, and a pitch angle and a roll angle are detected by detecting this gravity acceleration. In the state where the portable terminal device 1 is stopped, the attitude | position of the portable terminal device 1 can be detected correctly even in two axes. When the user who holds the portable terminal device 1 is walking or is riding in a vehicle such as a car or a bicycle, a motion acceleration component is added to the inclination angle sensor 24, so that the posture cannot be detected accurately. By setting it as 3 axes, gravity acceleration and movement acceleration can be separated, and accurate posture can be detected. By calculating the expected angle by integrating the output values of the respective axes, and comparing the acceleration components with the acceleration components, a predetermined calculation can be performed to calculate an accurate pitch angle and roll angle.

기압 센서(26)는 바깥 공기의 압력을 검출하고, 온도 센서(28)는 온도를 검출한다. 검출한 온도는, 온도 드리프트에 의한 자기 센서(22), 경사각 센서(24) 및 기압 센서(26)의 출력 편차를 보정하기 위해 사용된다.The barometric pressure sensor 26 detects the pressure of the outside air, and the temperature sensor 28 detects the temperature. The detected temperature is used to correct the output deviation of the magnetic sensor 22, the inclination angle sensor 24, and the barometric pressure sensor 26 due to the temperature drift.

도 2는 자기 센서(22) 및 경사각 센서(24)의 검출 결과를 기초로 방위를 산출하는 흐름을 나타낸다. 우선, 경사각 센서(24)에서 검출된 3축 방향의 가속도 성분을 기초로 자기 센서(22)의 경사각을 산출한다(S10). 여기에서는 피치각 및 롤각을 산출한다. 자기 센서(22)는 지자기 벡터의 3축 성분을 검출한다(S12). 처리부(10)는 지자기 벡터의 성분을 피치각 및 롤각에 의해 좌표 변환하여(S14) 정확한 방위를 구한다(Sl6). 이 때 온도 센서(28)의 검출 결과를 이용하여 온도 보정을 행할 수도 있다. 이와 같이, 경사각 센서(24)의 검출 결과는 방위의 산출에 이용되나, 본 발명은 이 검출 결과를 더 효과적으로 이용하여 이하에 나타내는 응용을 실현한다.2 shows a flow for calculating the azimuth based on the detection results of the magnetic sensor 22 and the inclination angle sensor 24. First, the inclination angle of the magnetic sensor 22 is calculated based on the acceleration component of the three-axis direction detected by the inclination angle sensor 24 (S10). Here, the pitch angle and the roll angle are calculated. The magnetic sensor 22 detects three-axis components of the geomagnetic vector (S12). The processor 10 coordinate-converts the components of the geomagnetic vector by the pitch angle and the roll angle (S14) to obtain an accurate orientation (Sl6). At this time, temperature correction may be performed using the detection result of the temperature sensor 28. In this way, the detection result of the inclination angle sensor 24 is used for the calculation of the orientation, but the present invention realizes the application shown below by using this detection result more effectively.

<응용 1><Application 1>

응용 1에서는, 휴대 단말 장치(1)에 보수계의 기능을 갖도록 한다. 경사각 센서(24)는 휴대 단말 장치(l)의 움직임에 맞춰 3축 방향의 가속도 성분을 검출한다. 따라서, 휴대 단말 장치(1)를 보유하는 사용자가 보행 중에, 경사각 센서(24)는 휴대 단말 장치(1)의 경사각에 대응하는 가속도 성분뿐만 아니라, 사용자의 움직임에 따라 저주파의 가속도 성분도 검출한다.In application 1, the portable terminal device 1 is provided with the function of a pedometer. The inclination angle sensor 24 detects the acceleration component in the three axis direction in accordance with the movement of the portable terminal device 1. Accordingly, while the user holding the portable terminal device 1 is walking, the inclination angle sensor 24 detects not only the acceleration component corresponding to the inclination angle of the portable terminal device 1 but also the low frequency acceleration component in accordance with the user's movement.

처리부(10)는 경사각 센서(24)의 검출 결과를 주파수 해석하고, 소정 범위에 있는 주파수의 가속도 성분에 의거하여 사용자의 보수를 카운트한다. 이 소정 범위 는 사용자의 보행 속도를 포함하도록 미리 설정된다. 최적값은 시뮬레이션이나 실측에 의해 구할 수도 있다. 보행 동작은 주로 중력의 방향으로 가속도 성분을 가하는 것이므로, 경사각 센서(24) 중 가장 중력축에 따르는 축의 검출 결과를 사용한다. 또한, 다른 2축의 검출 결과를 기초로 가장 중력축에 따르는 축의 검출 결과를 보정할 수도 있다. 어느 축이 가장 중력축에 따르는지의 판단은, 정지 상태에서는 중력 가속도 성분이 가장 큰 축을 선정하고, 운동 상태에서는 각 축이 갖는 저항값 등의 변화와 산출되는 피치각 및 롤각의 값을 기초로 산출할 수 있다.The processor 10 frequency-analyzes the detection result of the inclination angle sensor 24 and counts the user's reward based on the acceleration component of the frequency in the predetermined range. This predetermined range is preset to include the walking speed of the user. The optimum value can also be obtained by simulation or measurement. Since the walking motion mainly applies an acceleration component in the direction of gravity, the detection result of the axis along the gravity axis of the inclination angle sensor 24 is used. Further, the detection result of the axis along the gravity axis can be corrected based on the detection result of the other two axes. Determination of which axis follows the gravity axis is based on the axis having the largest gravity acceleration component in the stationary state, and calculated based on the change in the resistance value of each axis, etc. can do.

또한, 보수를 카운트할 때, 보행 동작에 의한 진동과 그 밖의 충격을 나누면 정밀도를 더욱 높일 수 있다. 보행 동작에 의한 진동은 규칙적인 동작이므로, 보행하고 있는 한 집속하지 않는다. 이에 대해, 단순한 충격은 소정 시간 내에 집속한다. 따라서, 이 소정 시간을 초과하는 진동 성분을 보행으로서 카운트하고, 소정 시간 내에 집속한 충격은 보행으로서 카운트하지 않는다. 여기서, 소정 시간은 일반 성인의 보행 동작의 진동이나, 휴대 단말 장치(1)를 떨어뜨렸을 때의 충격 등을 시뮬레이션이나 실측에 의해 구하여 최적값을 구할 수 있다. 처리부(10)는 산출한 보수를 표시부(36)에 표시할 수 있다. 또한, 보수에 대응하는 소비 칼로리를 표시할 수도 있다.In addition, when counting a reward, it is possible to further improve the accuracy by dividing the vibration caused by the walking operation and other impacts. Since the vibration by the walking motion is a regular motion, it does not focus as long as it is walking. In contrast, a simple impact focuses within a predetermined time. Therefore, the vibration component exceeding this predetermined time is counted as walking, and the impact focused in a predetermined time is not counted as walking. In this case, the predetermined time can be determined by simulation or actual measurement of vibration of walking motion of a general adult, impact when the portable terminal device 1 is dropped, etc., to obtain an optimum value. The processor 10 may display the calculated reward on the display unit 36. It is also possible to display calories consumed corresponding to the reward.

처리부(10)는 ROM(도시 생략) 상에 저장되어 있는 지도 데이타와, GPS 정보 취득부(34)로부터 취득한 GPS 정보를 기초로 현재 위치를 지도상에 나타내고, 표시부(36)에 표시할 수 있다. 그리고, 사용자의 이동 궤적을 표시할 수 있다. 처리부(10)는 GPS 정보에 의해 이동 궤적을 구할 수 있으나, 전파가 닿지 않는 상태에 서는 GPS 정보에 의해 이동 궤적을 구할 수 없다. 또한, GPS 정보에 의해 이동 궤적을 구하는 경우, 시작점과 측정점의 이동 거리를 산출하게 되는데, 일정 거리를 어느 시간 내에 이동하지 않으면 정확한 방위를 산출할 수 없다. 또한, GPS 정보를 기초로 한 방위는 측정점을 지난 후에 계산하기 때문에, 현재값의 방위와 다를 가능성도 있다.The processing unit 10 can display the current position on the map based on the map data stored on the ROM (not shown) and the GPS information acquired from the GPS information acquisition unit 34, and display it on the display unit 36. . And, the movement trajectory of the user can be displayed. The processor 10 may obtain the movement trajectory by the GPS information, but may not obtain the movement trajectory by the GPS information in a state where radio waves do not reach. In addition, when the movement trajectory is obtained from the GPS information, the movement distance between the starting point and the measurement point is calculated. However, if the movement distance is not moved within a certain time, the exact orientation cannot be calculated. In addition, since the bearing based on the GPS information is calculated after passing the measurement point, it may be different from the bearing of the current value.

그래서, 처리부(10)는 자기 센서(22)에 의해 검출되는 방위, 경사각 센서(24)에 의해 검출되는 보수 및 보폭을 기초로 이동 궤적을 구한다. 보폭은 보행 중에는 거의 일정하기 때문에, 보수에 곱함으로써 보행 거리를 산출할 수 있다. 보폭은 설정값을 이용할 수도 있고, 사용자가 입력할 수도 있다. 또한, 처음에 두 지점 사이의 GPS 정보를 취득하여 계산해서 구한 것을 등록할 수도 있다.Thus, the processor 10 calculates the movement trajectory based on the azimuth detected by the magnetic sensor 22, the complement detected by the inclination angle sensor 24, and the stride length. Since the stride length is almost constant during walking, the walking distance can be calculated by multiplying the reward. The stride length can be set or user input. In addition, it is also possible to register the information obtained by first obtaining the GPS information between the two points.

처리부(10)는 GPS 정보에 의한 계산값과, 자기 센서(22) 및 경사각 센서(24)에 의한 계산값을 적당히 구분해서 사용한다. 예를 들면, GPS 위성으로부터의 전파가 닿지 않는 장소에서는, 후자의 계산값을 사용하는 제어가 가능하다. 또 평균값을 취하거나 급한 변화가 생긴 경우에 두 계산값을 비교하여 확인하는 등의 두 계산값을 보완하면서 사용할 수도 있다.The processing unit 10 appropriately classifies the calculated value by the GPS information and the calculated value by the magnetic sensor 22 and the inclination angle sensor 24. For example, in a place where radio waves from a GPS satellite do not reach, control using the latter calculated value is possible. It can also be used to complement two calculations, such as taking an average value or comparing two calculations in case of sudden change.

<응용 2><Application 2>

응용 2에서는, 표시부(36)에 표시된 3차원 오브젝트 또는 3차원 공간의 화상을 휴대 단말 장치(1)의 방향이나 자세를 변화시킴으로써 시점을 전환한 상기 오브젝트 등의 화상으로 전환할 수 있다. 사용자가 휴대 단말 장치(1)의 방향이나 자세를 변화시키면, 자기 센서(22) 및 경사각 센서(24)는 그 변화 성분을 검출한다. 처 리부(10)는 그 검출 결과를 기초로 요각, 피치각 및 롤각을 산출한다.In application 2, the image of the three-dimensional object or the three-dimensional space displayed on the display unit 36 can be switched to an image such as the object whose viewpoint has been switched by changing the orientation and attitude of the portable terminal apparatus 1. When the user changes the direction or posture of the portable terminal device 1, the magnetic sensor 22 and the inclination angle sensor 24 detect the change component. The processing unit 10 calculates the yaw angle, pitch angle and roll angle based on the detection result.

도 3은 표시부에 3차원 오브젝트를 표시한 예를 나타내는 도면이다. 사용자는 화면 내에 표시된 3차원 오브젝트(40)를 전방위에서 관찰할 수 있다. 즉, 3차원 오브젝트(40)에 대한 시점이 상하 방향, 좌우 방향 및 전후 방향으로 자유롭게 이동할 수 있다. 처리부(10)는 이 3개의 방향으로의 이동량을 자기 센서(22) 및 경사각 센서(24)의 검출 결과를 기초로 산출되는 요각, 피치각 및 롤각의 변화에 대응시킨다. 이 3개의 대응 관계와 각각의 각도 변화에 대한 시점의 이동량은 설계자가 자유롭게 설정할 수 있다. 또한, 사용자가 이러한 설정을 임의로 변경할 수도 있다. 예를 들면, 전후 방향의 이동에 요각의 변화를 대응시킨 경우, 사용자가 휴대 단말 장치(1)의 자세를 유지하면서 회전시키면 확대 또는 축소 표시를 할 수 있다. 또한, 시점을 이동시켜 3차원 오브젝트(40)의 뒷면으로 이동할 수도 있다. 이와 같이, 사용자가 휴대 단말 장치(1)의 방향이나 자세를 변화시킴으로써 키 조작을 하지 않아도 자유롭게 시점을 변화시킬 수 있다.3 is a diagram illustrating an example in which a three-dimensional object is displayed on a display unit. The user can observe the three-dimensional object 40 displayed in the screen from all directions. That is, the viewpoint with respect to the 3D object 40 can move freely in an up-down direction, a left-right direction, and a front-back direction. The processor 10 corresponds to the change in the yaw angle, pitch angle, and roll angle calculated based on the detection results of the magnetic sensor 22 and the tilt angle sensor 24 in these three directions. The three correspondences and the amount of movement of the viewpoint for each angle change can be freely set by the designer. In addition, the user may change these settings arbitrarily. For example, when the change in the yaw angle is made to correspond to the movement in the front-rear direction, when the user rotates while maintaining the posture of the portable terminal device 1, the display can be enlarged or reduced. In addition, the viewpoint may be moved to move to the rear side of the 3D object 40. In this way, the user can freely change the viewpoint without changing the direction or posture of the portable terminal apparatus 1 without the key operation.

<응용 3><Application 3>

응용 3에서는, 표시부(36)에 표시된 지도상의 방위와 실제 방위를 관련지어 표시한다. 도 4는 표시부(36)에 지도를 표시한 예를 나타내는 도면이다. 처리부(10)는 ROM(도시 생략) 등에 저장되어 있는 지도 데이타에 의거하여, 표시부(36)에 지도를 표시한다. 그와 동시에, 자기 센서(22)의 검출 결과를 경사각 센서(24)의 검출 결과에 따라 보정하여 방위를 산출한다. 표시한 지도상의 방위와 실제 방위가 일치하도록, 표시한 지도를 회전시킨다. 따라서, 사용자가 방향을 바꿈으로써 표시부(36)에 표시된 지도도 회전한다.In application 3, the orientation on the map displayed on the display unit 36 and the actual orientation are displayed in association with each other. 4 is a diagram illustrating an example in which a map is displayed on the display unit 36. The processing unit 10 displays a map on the display unit 36 based on map data stored in a ROM (not shown) or the like. At the same time, the azimuth is calculated by correcting the detection result of the magnetic sensor 22 in accordance with the detection result of the inclination angle sensor 24. The displayed map is rotated so that the displayed bearing matches the actual bearing. Therefore, the map displayed on the display unit 36 also rotates as the user changes directions.

또한, 처리부(10)는 표시부(36)에 표시한 지도 자체를 회전시키지 않고, 항상 북쪽을 화면상의 위쪽에 표시하지만, 전자 나침반(52)과 같은 표시를 아울러 행하여 실제 북쪽을 사용자에게 인식시킬 수도 있다. 이와 같이, 지도와 실제 방위가 관련지어 표시됨으로써, 사용자는 유익한 정보를 얻을 수 있다.In addition, the processor 10 does not rotate the map itself displayed on the display unit 36, but always displays the north on the upper side of the screen. However, the processor 10 may also perform the same display as the electronic compass 52 to recognize the actual north. have. In this way, the map and the actual bearing are displayed in association with each other, so that the user can obtain useful information.

또한, 응용 2와 마찬가지로, 표시부(36)에 표시된 지도 화상의 시점을, 휴대 단말 장치(1)의 방향이나 자세를 변화시킴으로써 전환할 수 있다. 사용자가 휴대 단말 장치(1)의 방향이나 자세를 변화시키면, 자기 센서(22) 및 경사각 센서(24)는 그 변화 성분을 검출한다. 처리부(10)는 그 검출 결과를 기초로 요각, 피치각 및 롤각을 산출한다. 설계자는 피치각, 롤각 및 요각의 변화와, 도 4에 나타내는 시점(50)의 상하 방향, 좌우 방향, 전후 방향의 이동량을 대응시킨다. 예를 들면, 사용자가 요각을 변화시키는 움직임을 휴대 단말 장치(1)에 가한 경우, 지도 평면으로부터의 전후가 변화되어 확대 또는 축소 표시시킬 수 있다. 또한, 사용자가 피치각 및 롤각을 변화시키는 움직임을 휴대 단말 장치(1)에 가한 경우, 지도가 상하 또는 좌우로 스크롤한다. 또한, 응용 2와 마찬가지로, 3개의 대응 관계와 각각의 각도 변화에 대한 시점의 이동량은 설계자가 자유롭게 설정할 수 있다. 또한, 사용자가 이러한 설정을 임의로 변경할 수도 있다.In addition, similarly to the application 2, the viewpoint of the map image displayed on the display unit 36 can be switched by changing the direction and attitude of the portable terminal device 1. When the user changes the direction or posture of the portable terminal device 1, the magnetic sensor 22 and the inclination angle sensor 24 detect the change component. The processing unit 10 calculates the yaw angle, the pitch angle and the roll angle based on the detection result. The designer associates the change of the pitch angle, the roll angle, and the yaw angle with the amount of movement in the up, down, left, and right directions of the viewpoint 50 shown in FIG. For example, when the user applies the movement of changing the yaw angle to the portable terminal device 1, the front and rear from the map plane may be changed to enlarge or reduce the display. In addition, when the user applies the movement of changing the pitch angle and the roll angle to the portable terminal device 1, the map scrolls up and down or left and right. In addition, similarly to Application 2, the three correspondence relations and the amount of movement of the viewpoint for each angle change can be freely set by the designer. In addition, the user may change these settings arbitrarily.

응용 2, 3에 있어서, 요각, 피치각 및 롤각의 각 속도가 소정의 임계값 이상일 때 시점의 이동을 효과적으로 행하고, 그 임계값 미만일 때에는 시점의 이동을 행하지 않도록 처리할 수도 있다. 소정의 임계값의 최적값은, 시뮬레이션이나 실측 에 의해 구할 수도 있다. 이 경우, 사용자가 소정 속도 미만으로 휴대 단말 장치(1)의 방향이나 자세를 변화시킨 경우, 표시부(36)에 표시된 화상은 정지된 상태를 유지하고, 소정 속도 이상으로 변화시킨 경우, 해당 화상은 스크롤 등을 하게 된다.In applications 2 and 3, the movement of the viewpoint can be effectively performed when the respective speeds of the yaw angle, the pitch angle and the roll angle are equal to or greater than a predetermined threshold value, and the movement of the viewpoint can not be performed when the velocity is less than the threshold value. The optimum value of the predetermined threshold value can also be obtained by simulation or measurement. In this case, when the user changes the direction or posture of the portable terminal apparatus 1 below a predetermined speed, the image displayed on the display unit 36 remains stationary, and when the user changes the speed or higher than the predetermined speed, the image is Scrolling, etc.

<응용 4><Application 4>

응용 4에서는, 촬상부(30)에서 동영상을 촬상 중에 발생하는 손떨림을 보정한다. 휴대 단말 장치(1)의 촬상부(30)에서 사용자가 동영상의 촬상 중에 손떨림을 일으키면, 자기 센서(22) 및 경사각 센서(24)는 그 손떨림에 의한 변화 성분을 검출한다. 처리부(10)는 그 변화 성분에 의해, 휴대 단말 장치(1)의 방향이나 자세의 변화가 손떨림에 의한 것인지 아닌지를 판단한다. 예를 들면, 소정의 임계값을 초과하는 진동 등은 손떨림으로 간주하지 않고, 소정의 임계값 미만의 미세한 진동을 손떨림으로 간주하는 처리가 가능하다. 여기서, 소정의 임계값의 최적값은 시뮬레이션이나 실측에 의해 구할 수도 있다.In application 4, the image pickup unit 30 corrects for camera shake occurring during image capturing. When the user shakes the hand during imaging of the moving picture in the imaging unit 30 of the portable terminal device 1, the magnetic sensor 22 and the tilt angle sensor 24 detect the change component due to the shake. The processing unit 10 determines whether or not the change in the direction and posture of the portable terminal device 1 is caused by hand shaking based on the change component. For example, a vibration or the like exceeding a predetermined threshold value is not regarded as a hand shake, but a process in which minute vibrations below the predetermined threshold value are regarded as hand shake is possible. Here, the optimum value of a predetermined threshold value can also be calculated | required by simulation or measurement.

도 5는 처리부(10)에 의해 손떨림을 보정하는 상태를 나타내는 도면이다. (a)는 손떨림 검출시의 프레임의 한 장 이전의 프레임을 나타내고, (b)는 손떨림 검출시의 프레임을 나타내고, (c)는 프레임을 합성한 상태를 나타낸다. 처리부(10)는 손떨림을 감지하면, 손떨림 검출시의 프레임의 한 장 이전의 프레임의 특징점을 추출한다. 특징점의 추출은 각 프레임의 휘도 성분을 이용할 수도 있다. 도 5의 (a)에서는 인물의 목 부분을 특징점(60)으로서 추출하고 있다. 그리고, 손떨림 검출시의 프레임 중에서 그 특징점(60)을 검색한다. 특징점(60)의 검색은, 한 장 이 전의 프레임의 특징점(60)의 화소 위치에서 상하 좌우 10%정도의 범위에서 행할 수 있다. 처리부(10)는 손떨림 검출시의 프레임의 특징점(60)을 추출하면, 한 장 이전의 프레임의 특징점(60)과 손떨림 검출시의 프레임의 특징점(60)을 겹쳐서 두 장의 프레임을 합성한다. 이 형태를 도 5의 (c)에 나타낸다. 도 5에서는 손떨림 검출시의 프레임의 특징점(60)이 오른쪽으로 어긋나 있었으므로, 두 장의 프레임을 합성하면, 손떨림 검출시의 프레임의 좌단에 잉여 부분이 생긴다. 처리부(10)는 이 합성 범위 밖의 잉여 부분을 잘라버리고 손떨림 검출시의 프레임으로 한다.5 is a diagram illustrating a state in which camera shake is corrected by the processor 10. (a) shows the frame one frame before the frame at the time of the camera shake detection, (b) shows the frame at the time of camera shake detection, and (c) shows the state which combined the frames. When the processor 10 detects a hand shake, the processor 10 extracts feature points of one frame before the frame at the time of detecting the hand shake. Extraction of the feature point may use the luminance component of each frame. In FIG. 5A, the neck of the person is extracted as the feature point 60. The feature point 60 is then searched for in the frame at the time of the camera shake detection. The feature point 60 can be searched in the range of about 10% in the vertical direction at the pixel position of the feature point 60 of the previous frame. When the processing unit 10 extracts the feature point 60 of the frame at the time of the camera shake detection, the processing unit 10 combines the feature point 60 of the frame at the previous frame with the feature point 60 of the frame at the time of the camera shake detection to synthesize two frames. This form is shown in FIG.5 (c). In FIG. 5, since the feature points 60 of the frame at the time of the camera shake detection are shifted to the right, when two frames are combined, a surplus portion is formed at the left end of the frame at the time of the camera shake detection. The processing part 10 cuts off the excess part outside this composition range, and sets it as the frame at the time of a shake detection.

이와 같이, 카메라가 부착된 휴대 전화 등의 휴대 단말 장치(1)로 촬상하는 경우에 일어나는 손떨림을 복잡한 기구를 사용하지 않고, 응용에 의한 화상 처리로 용이하게 보정할 수 있다. 이 때, 자기 센서(22) 및 경사각 센서(24)의 검출 결과에 의해 손떨림 발생을 인식했을 때에만 보정을 행할 수 있으므로, 연산량의 증가도 최소한으로 억제할 수 있다.In this manner, camera shake that occurs when imaging with a portable terminal device 1 such as a mobile phone with a camera can be easily corrected by image processing by an application without using a complicated mechanism. At this time, since the correction can be performed only when the hand shake is recognized by the detection results of the magnetic sensor 22 and the inclination angle sensor 24, the increase in the amount of calculation can be suppressed to a minimum.

<응용 5><Application 5>

응용 5에서는, 기압 센서(26)를 사용하여 기압, 고도, 날씨를 측정하여 표시한다. 고도가 높아질수록 기압은 낮아지는 관계를 이용하여 고도를 산출한다. 기압의 측정값은 기후에 따라 변화되기 때문에, 지표면에서의 기압, 즉 절대 기압과, 지표면보다 높은 위치에서의 상승분, 즉 상대 기압의 관계를 미리 테이블로서 ROM(도시 생략) 등에 기록해 두는 것이 바람직하다. 또한, 절대 기압과 상대 기압의 관계는 연산식의 형식으로 기록부에 저장되어 있을 수 있다. 처리부(10)는 기압 센서(26)의 출력값에 의거하여 절대 기압 및 상대 기압을 산출하여 고도를 특정한 다.In application 5, the barometric pressure sensor 26 is used to measure and display the barometric pressure, altitude, and weather. The higher the altitude, the lower the barometric pressure. Since the measured value of the air pressure varies with the climate, it is preferable to record the relationship between the air pressure on the ground surface, that is, the absolute air pressure, and the rise at a position higher than the ground surface, i.e., the relative air pressure, as a table in advance in a ROM (not shown). . In addition, the relationship between the absolute air pressure and the relative air pressure may be stored in the recording unit in the form of an arithmetic expression. The processor 10 determines the altitude by calculating the absolute air pressure and the relative air pressure based on the output value of the air pressure sensor 26.

처리부(10)는 기압 센서(26)의 측정 데이타를 소정 시간마다 취득하여 기압의 변화를 측정한다. 이 기압의 변화로부터, 기압이 상승 경향이면 날씨는 좋아지고, 반대로 기압이 하강 경향이면 날씨는 나빠지듯이, 날씨의 경향을 예측할 수 있다.The processing unit 10 acquires the measurement data of the air pressure sensor 26 every predetermined time and measures the change in air pressure. From this change in air pressure, the weather tends to improve when the air pressure tends to rise, whereas the weather tends to be predicted as the weather worsens when the air pressure tends to fall.

이상, 본 발명을 실시형태를 기초로 설명했다. 실시형태는 예시이며, 이들 각 구성 요소나 각 처리 공정의 조합에 다양한 변형예가 가능하며, 또 당업자라면 이러한 변형예도 본 발명의 범위에 있다는 것을 이해할 수 있다.In the above, this invention was demonstrated based on embodiment. Embodiment is an illustration, Various modifications are possible for each of these component and the combination of each processing process, and those skilled in the art can understand that such a modification is also in the scope of this invention.

자기 센서(22) 및 경사각 센서(24)의 검출 결과로부터 얻어지는 요각, 피치각 및 롤각을 사용하여 다양한 응용을 구축할 수 있다. 예를 들면, 요각을 이용하여 단순히 방위를 가리키는 전자 나침반을 표시부(36)에 표시할 수도 있다. 그 밖에, 요각, 피치각 및 롤각의 변화나 이들의 각 속도를 전원의 온오프나 음량의 상하 등 각종 조작 명령에 관련지을 수도 있다.Various applications can be constructed using the yaw angle, pitch angle and roll angle obtained from the detection results of the magnetic sensor 22 and the tilt angle sensor 24. For example, an electronic compass indicating a bearing can be displayed on the display unit 36 using the yaw angle. In addition, changes in yaw angle, pitch angle and roll angle, and their respective speeds can be associated with various operation commands such as turning on and off the power supply and raising and lowering the volume.

본 발명은 각종 센서를 탑재한 휴대 단말 장치에 관한 분야에 적용 가능하다.INDUSTRIAL APPLICABILITY The present invention can be applied to a field related to a portable terminal device equipped with various sensors.

상술한 바와 같이, 본 발명의 방위 측정 기능을 갖는 휴대 단말 장치에는 경사각 센서가 마련되어, 방위 측정 기능을 갖는 휴대 단말 장치의 다양한 가능성을 제공하며, 고효율성의 휴대 단말 장치를 실현하였다.As described above, the portable terminal device having the orientation measurement function of the present invention is provided with an inclination angle sensor, providing various possibilities of the portable terminal device having the orientation measurement function, thereby realizing a highly efficient portable terminal device.

Claims

휴대 단말 장치에 있어서,In a portable terminal device,

지자기 벡터의 3축 성분을 검출하는 자기 센서와,A magnetic sensor for detecting triaxial components of the geomagnetic vector,

3축 방향의 가속도 성분을 검출하는 경사각 센서와,An inclination angle sensor for detecting acceleration components in three axes;

3차원 오브젝트 또는 3차원 공간에 대한 소정의 시점으로부터의 화상을 표시하는 표시부와,A display unit for displaying an image from a predetermined viewpoint with respect to the three-dimensional object or the three-dimensional space;

상기 자기 센서, 상기 경사각 센서 및 상기 표시부에 접속되고, 상기 자기 센서에 의해 검출된 지자기 벡터의 성분을 상기 경사각 센서의 검출 결과에 의거하여 좌표 변환하여 방위를 구하는 처리부를 구비하며,A processing unit connected to the magnetic sensor, the inclination angle sensor, and the display unit, and configured to coordinate-convert the components of the geomagnetic vector detected by the magnetic sensor based on a detection result of the inclination angle sensor to obtain an orientation;

상기 처리부는 상기 표시부가 상기 화상을 표시하고, 상기 3차원 오브젝트 또는 3차원 공간을 전방위에서 관찰하기 때문에, 상기 휴대 단말 장치의 방향 및 자세의 적어도 하나의 변화를 상기 자기 센서 및 상기 경사각 센서의 검출 결과에 의거하여 요각, 피치각 및 롤각의 변화로서 검출하고, 그 변화에 대응시켜, 상기 3차원 오브젝트 또는 3차원 공간에 대한 시점을 상하 방향, 좌우 방향 및 전후 방향으로 이동시키는 것을 특징으로 하는 휴대 단말 장치.Since the processing unit displays the image and observes the three-dimensional object or the three-dimensional space from all directions, the processor detects at least one change in the orientation and attitude of the portable terminal device by the magnetic sensor and the inclination angle sensor. Based on the results, it is detected as a change in the yaw angle, the pitch angle and the roll angle, and in response to the change, the portable device characterized by moving the viewpoint to the three-dimensional object or the three-dimensional space in the up-down direction, the left-right direction and the front-rear direction. Terminal device.