KR20120085534A - Mothod for displaying the motion pattern on the mobile terminal - Google Patents

Mothod for displaying the motion pattern on the mobile terminal Download PDF

Info

Publication number
KR20120085534A
KR20120085534A KR1020110006919A KR20110006919A KR20120085534A KR 20120085534 A KR20120085534 A KR 20120085534A KR 1020110006919 A KR1020110006919 A KR 1020110006919A KR 20110006919 A KR20110006919 A KR 20110006919A KR 20120085534 A KR20120085534 A KR 20120085534A
Authority
KR
South Korea
Prior art keywords
mobile terminal
motion
user
information
motion pattern
Prior art date
Application number
KR1020110006919A
Other languages
Korean (ko)
Other versions
KR101223404B1 (en
Inventor
최성열
Original Assignee
최성열
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 최성열 filed Critical 최성열
Priority to KR1020110006919A priority Critical patent/KR101223404B1/en
Publication of KR20120085534A publication Critical patent/KR20120085534A/en
Application granted granted Critical
Publication of KR101223404B1 publication Critical patent/KR101223404B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

PURPOSE: A motion pattern displaying method of a mobile terminal is provided to display a motion pattern according to a motion of a user by using motion data sensed by a sensor even if the motion of the user gets out of a size of a mobile terminal. CONSTITUTION: An inertia sensor provides state information of a mobile terminal according to a user motion to a control unit by sensing the state information. The control unit extracts specific effective information from main spots determined with the state information(S16). Image information corresponding to the specific effective information is combined in a database(S17). The combined image information is displayed on a screen as a motion pattern indicating that a virtual stroked object flies(S18).

Description

모바일 단말기에서 모션패턴을 디스플레이하는 방법{MOTHOD FOR DISPLAYING THE MOTION PATTERN ON THE MOBILE TERMINAL}MOMOOD FOR DISPLAYING THE MOTION PATTERN ON THE MOBILE TERMINAL}

본 발명은 모바일 단말기를 휴대한 사용자가 취하는 모션에 대응하는 모션패턴을 모바일 단말기의 화면에 디스플레이하는 방법에 관한 것이고, 더 상세하게는 모바일 단말기에 내장된 센서가 사용자의 모션에 따른 모바일 단말기의 운동변화를 감지하고, 센서의 감지 데이타를 사용해서 가상의 피타격체가 비행하는 모션패턴을 모바일 단말기의 화면에 디스플레이하는 방법에 관한 것이다.
The present invention relates to a method of displaying a motion pattern corresponding to a motion taken by a user carrying a mobile terminal on a screen of the mobile terminal, and more particularly, a sensor embedded in the mobile terminal moves the mobile terminal according to the user's motion. The present invention relates to a method of detecting a change and displaying a motion pattern of a virtual hitter on a screen of a mobile terminal using sensing data of a sensor.

일반적으로, 휴대폰, 스마트폰, PDA(Personal Digital Assistants) 등과 같은 모바일 단말기는 이동통신 서비스 지역 안을 임의로 이동하면서 기지국(BS: Base Station)을 통해 일반전화 가입자 또는 다른 이동통신 전화기와 통화를 수행하였다.In general, a mobile terminal such as a mobile phone, a smart phone, and personal digital assistants (PDAs) has made a call with a general subscriber or another mobile phone through a base station (BS) while arbitrarily moving in a mobile communication service area.

최근, 모바일 단말기는 전화통화 뿐만 아니라 휴대하면서 개인정보를 관리하거나 개인용 컴퓨터(personal computer)와의 정보교류를 수행할 수 있는 스마트폰으로 발전하였다.Recently, a mobile terminal has developed into a smart phone that can manage personal information or carry out information exchange with a personal computer while carrying as well as a telephone call.

즉, 모바일 단말기는 화상이나 동영상의 송수신, 가상 3차원 음향 및 스테레오 사운드 구현, MP3 플레이어 기능, 사진 촬영이 가능한 카메라와 카메라를 이용한 부가 서비스, GPS 기반의 위치기반서비스 등 하루가 다르게 그 성능이 향상되었으며, 이러한 모바일 단말기의 사용이 보편화되면서 음성통화 이외의 부가적인 기능을 요구하고 있다.In other words, the mobile terminal improves its performance differently each day such as transmitting and receiving images and videos, realizing virtual 3D sound and stereo sound, MP3 player function, cameras and additional services using cameras, and GPS-based location-based services. As the use of such mobile terminals is becoming more common, additional functions other than voice calls are required.

특히, 스마트폰에 적용되는 기능이 추가되면서 이러한 기능을 활용할 수 있는 애플리케이션이 다양하게 개발되고 있다.In particular, as functions applied to smart phones are added, various applications that can utilize these functions are being developed.

예를 들어, 아이튠즈 스토어에서 키워드 "volkswagen"으로 검색되는 어플리케이션은 스마트폰에 내장된 센서가 스마트폰의 움직임을 감지하고 이러한 감지 데이터를 통해서 사용자가 레이싱을 즐기는 게임으로 개발되었다.For example, an application retrieved by the keyword "volkswagen" from the iTunes store has been developed as a game in which a sensor built into a smartphone detects the movement of the smartphone and the user enjoys racing based on the sensed data.

또한, 대한민국 공개특허공보 제10-2999-0009681호에는 모바일 단말기의 움직임에 따라 상기 모바일 단말기의 운동 상태 변화를 측정하며, 측정된 운동 상태 변화에 대응하는 신호를 생성하는 센싱부; 및 상기 센싱부에서 생성된 신호를 입력 신호로 사용하여 상기 모바일 단말기 상에서 미리 설정된 애플리케이션을 구동하는 구동부를 포함하는 애플리케이션 구동 장치 및 방법이 개시되어 있다.In addition, Korean Patent Laid-Open Publication No. 10-2999-0009681 may include: a sensing unit measuring a change in the exercise state of the mobile terminal according to the movement of the mobile terminal and generating a signal corresponding to the measured change in the exercise state; And a driving unit configured to drive a predetermined application on the mobile terminal using the signal generated by the sensing unit as an input signal.

상술된 레이싱 게임용 애플리케이션과 구동부를 포함하는 애플리케이션 구동장치 및 방법과 같은 선행기술문헌은 사용자가 키패드 버튼 또는 조이스틱을 조작하는 대신에 모바일 단말기 자체를 움직임으로써 게임을 실행할 수 있는 기술이였다. 선행기술문헌에 나타난 기술들은 키패드 버튼 또는 조이스틱 등의 조작부를 모바일 단말기 자체의 움직임으로 대체하는 기술이였다.Prior art documents such as the application driving apparatus and method including the racing game application and the driving unit described above have been a technology that allows a user to execute a game by moving the mobile terminal itself instead of manipulating a keypad button or a joystick. The technologies shown in the prior art document was a technique of replacing a control unit such as a keypad button or a joystick with the movement of the mobile terminal itself.

키패드 버튼 또는 조이스틱 등의 조작부를 조작하는 동작은 소정 범위 예를 들어 모바일 단말기 정도의 크기 범위 내에서 이루어지는 상대적으로 작은 규모의 소동작이며, 이러한 소동작을 감지하기 위한 센서는 고감도의 능력을 요구하지 않았다. 또한, 선행기술문헌에 나타난 기술들이 적용되는 모바일 단말기에 장착되는 센서는 기본적으로 모바일 단말기에 있어서 장착공간의 제약 등의 원인으로 인하여 한정된 감지능력을 가질 수 밖에 없었다.The operation of operating a control panel such as a keypad button or a joystick is a relatively small scale operation made within a predetermined range, for example, a size range of a mobile terminal, and a sensor for detecting such small movement does not require high sensitivity. Did. In addition, the sensor mounted on the mobile terminal to which the techniques shown in the prior art document are applied has a limited sensing ability due to the limitation of the mounting space in the mobile terminal.

그러나, 사용자의 동작이 모바일 단말기 정도의 크기 범위를 넘어서는 상대적으로 큰 동작의 모션인 경우에 모바일 단말기도 상대적으로 크게 움직이게 되지만, 종래의 한정된 감지능력을 가진 센서는 이와 같은 모바일 단말기의 큰 움직임을 감지하지 못하는 문제점을 야기시켰다.
However, when the user's motion is a motion of a relatively large motion beyond the size range of the mobile terminal, the mobile terminal also moves relatively large. However, a sensor having a limited detection capability of the prior art detects a large motion of such a mobile terminal. It caused a problem.

대한민국 공개특허공보 제10-2999-0009681호Republic of Korea Patent Application Publication No. 10-2999-0009681

아이튠즈 스토어에서 키워드 'volkswagen'으로 검색되는 레이싱 어플리케이션Racing application searched by keyword 'volkswagen' in iTunes Store

본 발명은 상술된 바와 같은 종래의 문제점을 해결하기 위하여 제안된 것으로, 일정 범위, 예를 들어 모바일 단말기를 휴대한 사용자가 모바일 단말기의 크기 범위를 넘어서는 상대적으로 큰 동작의 모션을 취하여도 모바일 단말기에 장착된 센서에 의해서 감지되는 사용자의 모션 데이타를 이용해서 가상의 골프공과 같은 가상의 비행체가 비행하는 모션패턴을 모바일 단말기의 화면에 디스플레이할 수 있는 방법을 제공하는 데 그 목적이 있다.The present invention has been proposed to solve the conventional problems as described above, even if a user carrying a mobile terminal takes a relatively large motion beyond the size range of the mobile terminal. An object of the present invention is to provide a method for displaying a motion pattern of a virtual vehicle such as a virtual golf ball on a screen of a mobile terminal using motion data of a user sensed by an installed sensor.

본 발명의 다른 목적은 모바일 단말기를 손에 휴대하고 있는 사용자의 팔이 가상의 피타격체를 타격하기 위한 스윙과 같은 큰 모션을 취하는 경우에 모바일 단말기에 장착된 센서가 사용자의 스윙 모션의 동작 중에서 미리 설정된 특징점에서 감지되는 사용자의 모션 데이타를 이용해서 가상의 골프공과 같은 가상의 피타격체가 비행하는 모션패턴을 모바일 단말기의 화면에 디스플레이할 수 있는 방법을 제공하는 데 있다.Another object of the present invention is a sensor mounted on the mobile terminal when the user's arm carrying the mobile terminal in the hand takes a large motion, such as a swing to strike the virtual target, during the operation of the user's swing motion The present invention provides a method for displaying a motion pattern of a virtual hitter, such as a golf ball, on a screen of a mobile terminal by using motion data of a user sensed at a predetermined feature point.

본 발명의 또 다른 목적은 사용자가 모바일 단말기를 손에 휴대한 상태에서 가상의 골프공과 같은 가상의 피타격체를 목표지점에 위치시킬 수 있도록 타격하는 스윙과 같은 모션을 취하는 경우에 모바일 단말기에 장착된 센서가 사용자의 스윙 모션의 동작 중에서 미리 설정된 특징점에서 감지되는 사용자의 모션 데이타를 이용해서 가상의 피타격체가 비행하는 모션패턴을 모바일 단말기의 화면에 디스플레이할 수 있는 방법을 제공하는 데 있다.Another object of the present invention is mounted on the mobile terminal when the user takes a motion such as a swing to hit the target to the virtual target, such as a virtual golf ball while the mobile terminal is held in the hand The present invention provides a method for displaying a motion pattern in which a virtual target is flying on a screen of a mobile terminal by using a user's motion data detected at a predetermined feature point among a user's swing motion.

그리고, 본 발명의 목적들은 상술된 내용에 제한되지 않으며, 언급되지 않은 또 다른 목적들은 본 발명의 요지 내에서 아래의 기재로부터 당업자가 추론할 수 있을 것이다.
And the objectives of the present invention are not limited to the above-mentioned content, and other objects which are not mentioned may be inferred by those skilled in the art from the following description within the gist of the present invention.

상기 목적을 달성하기 위한 본 발명에 따르면, 적어도 하나의 관성센서를 구비한 센서부와, 화면과, 조합가능한 영상정보가 저장되어 있는 데이터베이스와, 제어부를 구비한 모바일 단말기를 휴대한 사용자가 초기의 정지된 준비자세에서부터 가상의 피타격체를 타격하는 타격자세까지의 동작을 포함하는 스윙의 모션을 취하였을 때 가상의 피타격체가 비행하는 모션패턴을 상기 화면에 디스플레이하는 방법은 상기 관성센서가 상기 사용자의 모션에 따른 상기 모바일 단말기의 상태정보를 감지해서 상기 제어부에 제공하는 제공단계와; 상기 제어부에서는 상기 관성센서로부터 제공되는 상태정보에서 미리 설정된 다수개의 주요 지점에서 유효한 특정정보(파라미터: parameter)를 추출하는 추출단계와; 상기 추출단계에서 추출된 유효한 특정정보에 대응하는 영상정보를 상기 데이타베이스에서 조합하는 조합단계와; 상기 조합단계에서 조합된 영상정보가 가상의 피타격체가 비행하는 모션패턴으로 상기 화면에 디스플레이되는 출력단계로 이루어진 것을 특징으로 한다.According to the present invention for achieving the above object, a user carrying a mobile terminal having a sensor unit having at least one inertial sensor, a screen, a database storing combinable image information, and a control unit may be used. A method of displaying on the screen a motion pattern in which a virtual target is flying when a swing motion including a motion from a stationary ready position to a hitting position hitting a virtual target is taken. A providing step of detecting state information of the mobile terminal according to a user's motion and providing the same to the controller; The control unit extracts specific information (parameters) valid at a plurality of predetermined main points from the state information provided from the inertial sensor; A combining step of combining image information corresponding to the valid specific information extracted in the extracting step in the database; The image information combined in the combining step is characterized in that the output step is displayed on the screen in a motion pattern in which the virtual target is flying.

상기 모바일 단말기의 상태정보는 상기 관성센서에 의해서 감지되는 가속도, 방향 및 각속도로부터 선택되는 적어도 하나의 정보이다.The state information of the mobile terminal is at least one information selected from acceleration, direction and angular velocity detected by the inertial sensor.

상기 주요 지점은 상기 준비자세에서부터 상기 타격자세까지의 스윙동작을 소정의 시간단위별로 지정된 지점이고, 상기 소정의 시간단위는 하나의 순간(예를 들어 t)를 의미하거나 또는 일정 범위(예를 들어 t±0.01 등)을 의미할 수 있다.The main point is a point at which the swing motion from the ready posture to the striking posture is designated for each predetermined time unit, and the predetermined time unit means one moment (for example, t) or a predetermined range (for example, t ± 0.01, etc.).

상기 추출단계는 상기 주요 지점들 사이의 주요 구간에서의 유효한 특정정보를 더 추출한다.The extracting step further extracts valid specific information in the main section between the main points.

상기 조합단계는 상기 추출단계에서 추출된 특정정보를 관계식에 입력하여 상기 가상의 피타격체가 비행하는 물리량을 연산하는 연산단계를 포함한다.The combining step includes a calculating step of calculating a physical quantity that the virtual target is flying by inputting specific information extracted in the extracting step into a relational expression.

상기 관계식은 다수의 실험 데이타로부터 도출되는 실험식 또는 기계학습(machine learning)의 학습 알고리즘으로부터 도출되는 함수식이다.
The relational expression is an empirical formula derived from a plurality of experimental data or a functional formula derived from a learning algorithm of machine learning.

본 발명에 따르면, 모바일 단말기를 휴대한 사용자가 모바일 단말기의 크기를 넘어서는 상대적으로 큰 동작의 모션을 취하여도 모바일 단말기에 장착된 센서에 의해서 감지되는 사용자의 모션 데이타를 이용해서 사용자의 모션에 따른 모션패턴을 모바일 단말기의 화면에 영상으로 디스플레이할 수 있다.According to the present invention, even if a user carrying a mobile terminal takes a relatively large motion beyond the size of the mobile terminal, the motion according to the user's motion using the user's motion data detected by a sensor mounted on the mobile terminal. The pattern may be displayed as an image on the screen of the mobile terminal.

또한, 본 발명에 따르면, 모바일 단말기를 손에 휴대하고 있는 사용자의 팔이 가상의 피타격체를 타격하기 위한 스윙과 같이 모바일 단말기의 크기를 넘어서는 상대적으로 큰 동작의 모션을 취하는 경우에 모바일 단말기에 장착된 센서가 사용자의 스윙 모션 가운데 미리 설정된 특징점에서 감지되는 사용자의 모션 데이타를 이용해서 가상의 골프공과 같은 가상의 피타격체가 비행하는 모션패턴을 모바일 단말기의 화면에 영상으로 디스플레이할 수 있다.In addition, according to the present invention, when the arm of the user carrying the mobile terminal in his hand takes a motion of a relatively large motion beyond the size of the mobile terminal, such as a swing to hit the virtual target body The mounted sensor may display a motion pattern of a virtual hitter, such as a virtual golf ball, on the screen of the mobile terminal using the user's motion data detected at a predetermined feature among the user's swing motions.

본 발명의 또 다른 목적은 사용자가 모바일 단말기를 손에 휴대한 상태에서 가상의 피타격체를 목표지점에 위치시킬 수 있도록 타격하는 스윙과 같이 모바일 단말기의 크기를 넘어서는 상대적으로 큰 동작의 모션에 대응해서 모바일 단말기의 화면에 영상으로 디스플레이되는 가상의 골프공과 같은 가상의 피타격체의 비행상태를 파악하여 사용자의 모션을 정확하게 분석할 수 있다.
Still another object of the present invention is to respond to a motion of a relatively large motion beyond the size of the mobile terminal, such as a swing hitting the user so that the virtual target can be positioned at the target point while the user holds the mobile terminal in his hand. Therefore, it is possible to accurately analyze the motion of the user by grasping the flying state of the virtual target such as the virtual golf ball displayed on the screen of the mobile terminal.

도 1은 본 발명에 따른 모바일 단말기에서 모션패턴을 디스플레이하는 방법이 구현되는 모바일 단말기의 주요 구성을 나타내는 도면.
도 2는 본 발명의 방법이 구현되는 모바일 단말기의 모션을 설명하기 위한 도면.
도 3은 본 발명을 설명하기 위해 예시된 데이타의 그래프.
도 4는 본 발명의 방법이 실행되는 과정을 순차적으로 나타내는 흐름도.
도 5 내지 도 8은 본 발명의 실시예에 따라서 모바일 단말기의 화면에 구현되는 골프게임의 사진.1 is a view showing the main configuration of a mobile terminal in which a method for displaying a motion pattern in a mobile terminal according to the present invention is implemented.
2 is a view for explaining the motion of a mobile terminal in which the method of the present invention is implemented.
3 is a graph of the data illustrated to illustrate the present invention.
4 is a flowchart sequentially illustrating a process of executing the method of the present invention.
5 to 8 is a picture of a golf game implemented on the screen of the mobile terminal according to an embodiment of the present invention.

이하, 본 발명에 따른 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.Hereinafter, a detailed description of an embodiment according to the present invention will be described with reference to the accompanying drawings. In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

본 명세서에 있어서, 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 직접 전송하거나 또는 적어도 하나의 또 다른 구성요소를 통하여 전송할 수 있다.In the present specification, any one component may directly transmit data or signals to another component or may transmit through at least one other component.

본 명세서에 있어서, 용어 '모션'은 골프공과 같은 피타격체를 원거리에 있는 목표지점으로 비행시키기 위하여 팔을 상대적으로 크게 스윙하는 것과 같이 모바일 단말기의 크기를 넘어서는 범위에서 이루어지는 상대적으로 큰 동작을 의미하지만, 피타격체를 근접 거리에 있는 목표지점으로 이동시키는 등의 특별한 경우에는 팔을 상대적으로 작게 스윙하는 것과 같은 작은 동작을 의미할 수도 있다. 용어 '모션패턴'은 가상의 골프공과 같은 가상의 피타격체가 모바일 단말기의 화면에서 비행하는 상태를 나타내는 영상을 의미한다.In the present specification, the term 'motion' refers to a relatively large motion that is made in a range beyond the size of a mobile terminal, such as swinging an arm relatively large in order to fly a hit such as a golf ball to a target point at a distance. However, in special cases, such as moving the hitter to a target at close range, this may mean a small operation such as swinging the arm relatively small. The term 'motion pattern' refers to an image representing a state in which a virtual target such as a virtual golf ball is flying on a screen of a mobile terminal.

먼저, 모바일 단말기(1)는 6축센싱이 가능한 가속도센서, 방향센서, 자이로센서 등과 같은 관성센서를 포함하는 센서부(10)와, 제어부(20)와, LCD 화면과 같은 UI출력부(30)와, 가상의 피타격체가 비행하는 상태의 영상정보를 조합할 수 있는 데이터가 저장되어 있는 데이터베이스(40)를 포함한다. 도 1에 있어서, 모바일 단말기(1)의 구성요소 각각은 기능 및 논리적으로 분리될 수 있음을 나타나기 위해 구분하여 도면에 표시한 것이며, 물리적으로 반드시 별도의 구성요소이거나 별도의 코드로 구현되는 것을 의미하는 것은 아니다.First, the mobile terminal 1 includes a sensor unit 10 including an inertial sensor such as an acceleration sensor, a direction sensor, a gyro sensor capable of 6-axis sensing, a controller 20, and a UI output unit 30 such as an LCD screen. And a database 40 in which data for combining image information of a state in which the virtual hit body is flying can be stored. In FIG. 1, each of the components of the mobile terminal 1 is separately shown in the drawings to indicate that they may be functionally and logically separated, and means that they are physically necessarily separate components or implemented as separate codes. It is not.

모바일 단말기(1)는 무선링크를 통하여 사용자에게 인터넷 데이터를 포함하는 인터넷 서비스를 제공하는 기기로서, 이는 포괄적인 개념의 휴대기기들이다. 즉, 핸드폰, 무선단말, PDA(Personal Digital Assistant), GSM(Global System for Mobile)폰, W-CDMA(Wideband CDMA)폰, CDMA-2000폰, MBS(Mobile Broad and System)폰, PMP(Portable Multimedia Player), 핸드헬드 컴퓨터(Handheld Computer), 스마트폰(SMART-PHONE) 등과 같은 멀티미디어 폰 및 멀티미디어 플레이어 등을 포함할 수 있다. 여기서, MBS폰은 현재 논의되고 있는 제4세대 시스템에서 사용될 핸드폰일 수 있다. The mobile terminal 1 is a device for providing an Internet service including Internet data to a user through a wireless link, which is a comprehensive concept of portable devices. That is, mobile phone, wireless terminal, PDA (Personal Digital Assistant), GSM (Global System for Mobile) phone, W-CDMA (Wideband CDMA) phone, CDMA-2000 phone, Mobile Broad and System (MBS) phone, Portable Multimedia (PMP) Multimedia phones such as a player, a handheld computer, a smart phone, and the like. Here, the MBS phone may be a mobile phone to be used in the fourth generation system currently being discussed.

센서부(10)는 가속도센서(11), 방향센서(12) 및 자이로센서(13)와 같은 관성센서를 포함할 수 있고, 이러한 관성센서는 6축센싱이 가능한 것이 바람직하다.The sensor unit 10 may include an inertial sensor such as an acceleration sensor 11, a direction sensor 12, and a gyro sensor 13, and the inertial sensor may be capable of six-axis sensing.

방향센서(12)는 모바일 단말기(1)의 기준점(c)으로부터 사용자의 모션에 의해 모바일 단말기(1)가 이동되는 방향이 6축(도 2 참조) 중 어느 하나의 방향인지를 실시간으로 측정하여 모션캡쳐모듈(21)로 전송한다. 여기서 6축은 x축, -x축, y축, -y축, z축 및 -z축을 의미하며, 예를 들어 도 2에 도시된 바와 같이 평면상의 동, 서, 남, 북 및 이들의 조합에 의한 방향성으로 변환되어 측정 및 표기될 수 있다. The direction sensor 12 measures in real time whether the direction in which the mobile terminal 1 is moved by the user's motion from the reference point c of the mobile terminal 1 is one of the six axes (see FIG. 2). Transmission to the motion capture module 21. Here, the six axes mean the x-axis, -x-axis, y-axis, -y-axis, z-axis, and -z-axis, and for example, as shown in FIG. Can be converted to directionality and measured and marked.

가속도센서(11)는 센싱의 시작점인 모바일 단말기(1)의 기준점(c)을 시점으로 하여 사용자의 모션에 의해 모바일 단말기(1)가 이동되는 방향에서의 가속도를 실시간 측정하여 모션캡쳐모듈(21)로 전송한다.The acceleration sensor 11 measures the acceleration in the direction in which the mobile terminal 1 moves by the user's motion in real time based on the reference point c of the mobile terminal 1, which is the starting point of sensing, as the motion capture module 21. To send).

자이로센서(13)는 모바일 단말기(1)의 기준점(c)으로부터 사용자의 모션에 의해 모바일 단말기(1)가 이동하는 방향에서의 각속도를 측정하여 모션캡쳐모듈(21)로 전송한다. 예를 들어, 자이로센서(13)는 방향센서(12)에 의해 측정되는 x축을 중심으로 사용자의 모션에 의해 변화되는 수평면상의 각도(α, -α), y축을 중심으로 사용자의 모션에 의해 변환되는 수직면상의 각도(β,-β) 및 z축을 중심으로 사용자의 모션에 의해 변환되는 수직면상의 각도(γ,-γ)를 실시간으로 측정하여 모션캡쳐모듈(21)로 전송할 수 있다. 이때, 각도에 있어서 양의 값은 반시계방향으로 회전한 각도이며, 음의 값은 시계방향으로 회전한 각도를 의미한다. The gyro sensor 13 measures the angular velocity in the direction in which the mobile terminal 1 moves by the user's motion from the reference point c of the mobile terminal 1 and transmits the angular velocity to the motion capture module 21. For example, the gyro sensor 13 is converted by the user's motion about the angle (α, -α) on the horizontal plane that is changed by the user's motion about the x axis measured by the direction sensor 12, and the y axis. The angle (β, -β) on the vertical plane and the angle (γ, -γ) on the vertical plane converted by the user's motion about the z-axis can be measured in real time and transmitted to the motion capture module 21. At this time, the positive value in the angle is the angle rotated counterclockwise, the negative value means the angle rotated in the clockwise direction.

한편, 설명의 편의를 위해 모바일 단말기(1)가 기준점(c)으로부터 이동된 것을 가정하여 설명하였으나, 가속도센서(11), 방향센서(12), 자이로센서(13) 각각은 모바일 단말기(1)가 이동되는 순간부터 미리 설정된 시간 단위로 각각 측정되는 가속도, 방향, 각속도를 모션캡쳐모듈(21)로 전송할 수 있음은 당업자에 의해 자명하다. 상기 시간 단위는 하나의 순간(예를 들어 t)를 의미하거나 또는 일정 범위(예를 들어 t±0.01, t±0.02 등)을 의미할 수 있다.On the other hand, for convenience of description, it has been described assuming that the mobile terminal 1 is moved from the reference point (c), each of the acceleration sensor 11, the direction sensor 12, the gyro sensor 13 is a mobile terminal (1) It will be apparent to those skilled in the art that the acceleration, the direction, and the angular velocity, which are measured in units of a predetermined time from the moment of movement, can be transmitted to the motion capture module 21. The time unit may mean one instant (eg t) or may mean a range (eg t ± 0.01, t ± 0.02, etc.).

제어부(20)는 모션캡쳐모듈(21), 유효성판단모듈(22) 및 연산모듈(23)을 포함한다. 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.The controller 20 includes a motion capture module 21, a validity determination module 22, and a calculation module 23. Herein, a module may mean a functional and structural combination of hardware for carrying out the technical idea of the present invention and software for driving the hardware. For example, the module may mean a logical unit of a predetermined code and a hardware resource for performing the predetermined code, and means a physically connected code or does not necessarily mean one kind of hardware. It can be easily inferred by the average expert in the art.

모션캡쳐모듈(21)은 상술된 바와 같이 가속도센서(11), 방향센서(12), 자이로센서(13) 각각으로부터 사용자의 모션에 의해 이동되는 모바일 단말기(1)의 방향, 가속도 및 각속도와 같은 상태정보를 실시간으로 수신한다. The motion capture module 21 may be configured such as the direction, acceleration, and angular velocity of the mobile terminal 1 moved by the user's motion from each of the acceleration sensor 11, the direction sensor 12, and the gyro sensor 13 as described above. Receive status information in real time.

유효성판단모듈(22)은 모션캡쳐모듈(21)이 관성센서들로부터 수신하였던 모바일 단말기(1)의 상태정보가 데이타베이스(40)에 미리 저장되어 있는 주요 지점에서의 특정정보(파라미터: parameter)에 해당되는 지 여부를 판단한다.The validity judgment module 22 includes specific information (parameter: parameter) at the main point where the state information of the mobile terminal 1, which the motion capture module 21 has received from the inertial sensors, is stored in the database 40 in advance. Determine whether this is true.

데이타베이스(40)에는 모바일 단말기(1)의 움직임에 따라서 피타격체의 비행 상태를 나타내는 영상정보가 저장되어 있다. 이러한 영상정보는 다량의 실험 데이타로부터 도출되는 실험식 또는 기계학습(machine learning)의 학습 알고리즘으로부터 도출되는 함수의 관계식으로 표현될 수 있다.The database 40 stores image information indicating a flying state of the hit body according to the movement of the mobile terminal 1. Such image information may be represented by a relational expression of a function derived from an experimental equation derived from a large amount of experimental data or a learning algorithm of machine learning.

영상정보는 이동통신망을 통한 데이터 전송에 따라 모바일 단말기(1)의 데이터베이스(40)에 저장될 수 있다. 여기서, 이동통신망은 동기식 이동 통신망일 수도 있고, 비동기식 이동 통신망일 수도 있다. 비동기식 이동 통신망의 일 실시예로서, WCDMA(Wideband Code Division Multiple Access) 방식의 통신망을 들 수 있다. 이 경우 도면에 도시되진 않았지만, 이동통신망은 RNC(Radio Network Controller), 및 비동기식 MSC(Mobile Switching Center) 등을 포함할 수 있다. 한편, WCDMA망을 일 예로 들었지만, 3G LTE망, 4G망 등 차세대 이동통신망으로 변경될 수 있음은 주지의 사실이다. The image information may be stored in the database 40 of the mobile terminal 1 according to data transmission through the mobile communication network. The mobile communication network may be a synchronous mobile communication network or an asynchronous mobile communication network. An example of an asynchronous mobile communication network is a communication network of a wideband code division multiple access (WCDMA) scheme. In this case, although not shown in the drawings, the mobile communication network may include a radio network controller (RNC), an asynchronous mobile switching center (MSC), and the like. Meanwhile, although the WCDMA network is taken as an example, it is well known that it may be changed to a next-generation mobile communication network such as 3G LTE network and 4G network.

또한, 본 명세서에서 데이터베이스(40)라 함은, 각각의 데이터베이스에 대응되는 정보를 저장하는 소프트웨어 및 하드웨어의 기능적 구조적 결합을 의미할 수 있다. DB는 적어도 하나의 테이블로 구현될 수도 있으며, 데이터베이스에 저장된 정보를 검색, 저장, 및 관리하기 위한 별도의 DBMS(Database Management System)을 더 포함할 수도 있다. 또한, 링크드 리스트(linked-list), 트리(Tree), 관계형 데이터베이스의 형태 등 다양한 방식으로 구현될 수 있으며, 데이터베이스에 대응되는 정보를 저장할 수 있는 모든 데이터 저장매체 및 데이터 구조를 포함한다.In addition, the database 40 in the present specification may mean a functional structural combination of software and hardware that stores information corresponding to each database. The DB may be implemented as at least one table, and may further include a separate Database Management System (DBMS) for searching, storing, and managing information stored in the database. In addition, it may be implemented in various ways, such as a linked-list, a tree, a relational database, and includes all data storage media and data structures capable of storing information corresponding to the database.

도 3의 그래프는 실험식을 통해서 얻어진 데이타를 예시한 것이다. 도 3의 그래프는 수많은 미가공 데이타(raw data)에서 물리적인 의미를 갖는 데이타를 나타낸다. 물리적인 의미를 갖는 데이타는 피타격체에 가해지는 타격력, 타격방향, 타격포인트 등과 같은 스윙 데이타 및 이러한 스윙 데이타에 따른 피타격체의 비행방향, 비행속도 등과 같은 피타격체의 비행 데이타를 의미한다.The graph of Figure 3 illustrates the data obtained through the empirical formula. The graph of FIG. 3 represents data having physical meaning in a large number of raw data. Data having a physical meaning refers to swing data such as hitting force, hitting direction, and hitting point applied to the hit target, and flight data of the hit target such as flight direction and flight speed of the hit target according to the swing data. .

유효성판단모듈(22)은 관성센서가 감지하였던 모바일 단말기(1)의 상태정보가 도 3에 표시된 그래프의 범위에 속하는 지 여부 또는 어느 정도(예를 들어, %단위) 그래프의 범위에 속하는 지 여부를 판단하게 된다. 결과적으로, 모바일 단말기(1)의 상태정보가 도 3의 그래프에 속하게 되어 유효한 경우에는 그에 대응하는 영상정보가 도출될 수 있다. 그리고, 사용자의 스윙에 따른 모바일 단말기(1)의 상태정보가 부분적으로 도 3의 그래프에 속하는 경우에는 이러한 유효한 데이타 각각에 해당하는 영상정보를 조합할 수 있다.The validity judgment module 22 determines whether the state information of the mobile terminal 1 detected by the inertial sensor falls within the range of the graph shown in FIG. 3 or to what extent (for example,%) the graph falls within the range of the graph. Will be judged. As a result, when the state information of the mobile terminal 1 belongs to the graph of FIG. 3 and is valid, image information corresponding thereto may be derived. When the state information of the mobile terminal 1 according to the swing of the user partly belongs to the graph of FIG. 3, image information corresponding to each of these valid data may be combined.

도 3의 그래프를 참조하면, x축은 시간(t)을 의미하고, y축은 운동량(p)을 의미한다. 시간축에서 to, t1, t2, t3는 사용자가 초기의 정지된 준비자세에서부터 가상의 피타격체를 타격하는 타격자세까지의 동작을 포함하는 스윙을 취하였을 때 소정의 시간단위별로 지정된 주요 지점이다. 상기 소정의 시간단위는 하나의 순간(예를 들어 t)를 의미하거나 또는 일정 범위(예를 들어 t±0.01, t±0.02 등)을 의미할 수 있다.Referring to the graph of FIG. 3, the x-axis means time t and the y-axis means momentum p. In the time axis, to, t1, t2, and t3 are the major points designated by predetermined time units when the user takes a swing that includes the motion from the initial ready stance to the striking posture of hitting the virtual target. The predetermined time unit may mean one instant (for example, t) or a certain range (for example, t ± 0.01, t ± 0.02, etc.).

시간 t0는 사용자가 초기의 정지된 준비자세에서 동작을 시작하는 시간을 의미한다. 예를 들어, 사용자가 골프의 풀스윙 동작을 취하였을 때, 시간 t0는 초기의 정지된 준비자세(어드레스 자세)에서 백스윙을 시작할 때의 시간이고, 시간 t1은 손목코킹을 취할 때의 시간이고, 시간 t2는 백스윙의 톱에 도달하는 시간이고, 시간 t3는 다운스윙 후 임팩트에 도달하는 시간이다.The time t0 means the time when the user starts to operate in the initial stopped ready position. For example, when the user has taken a full swing action of golf, time t0 is the time when starting the backswing in the initial stationary ready position (address posture), time t1 is the time when taking wrist caulking, Time t2 is the time to reach the top of the backswing and time t3 is the time to reach the impact after the downswing.

따라서, 사용자가 스윙 동작의 모션을 취하였을 때, 모바일 단말기(1)의 움직임을 관성센서가 감지하였을 때 얻어지는 모바일 단말기(1)의 상태정보는 상술된 다수개의 주요 지점에서의 특정정보(파라미터: parameter)와 비교하게 된다. 비교 결과 모바일 단말기(1)의 상태정보가 유효하면 그에 대응하는 유효한 특정정보가 추출된다. 유효한 특정정보는 예를 들어, 각 지점에서의 순간 방향, 순간 가속도, 순간 각가속도, 순간 가속도의 변화량 및 순간 각가속도의 변화량과, 지점들 사이의 구간에서의 평균 방향, 평균 가속도, 평균 각가속도, 평균 가속도의 변화량 및 순간 각가속도의 변화량 등으로 이루어질 수 있다.Therefore, when the user takes the motion of the swing motion, the state information of the mobile terminal 1 obtained when the inertial sensor detects the movement of the mobile terminal 1 is characterized by specific information (parameters: parameter). As a result of the comparison, if the state information of the mobile terminal 1 is valid, valid specific information corresponding thereto is extracted. Valid specific information includes, for example, the instantaneous direction, the instantaneous acceleration, the instantaneous angular acceleration, the amount of change in the instantaneous acceleration and the amount of change in the instantaneous angular acceleration, the average direction, the average acceleration, the average angular acceleration, the average acceleration in the interval between the points. It can be made of the amount of change and the amount of change in the instantaneous angular acceleration.

연산모듈(23)은 유효성판단모듈(22)에서 추출된 유효한 특정정보에 대응하는 영상정보를 조합하게 된다. 연산모듈(23)에서 조합되는 영상정보는 가상의 피타격체가 비행하는 상태를 나타낸다. 또한, 연산모듈(23)에서는 상기 추출단계에서 추출된 특정정보를 관계식에 입력하여 상기 가상의 피타격체가 비행하는 물리량을 연산하게 된다. 물리량은 피타격체에 가해지는 타격력, 타격방향, 타격포인트 등과 같은 스윙 데이타 및 이러한 스윙 데이타에 따른 피타격체의 비행방향, 비행속도 등과 같은 피타격체의 비행 데이타를 의미한다.The calculation module 23 combines the image information corresponding to the valid specific information extracted by the validity determination module 22. The image information combined in the calculation module 23 represents a state in which the virtual target body is flying. In addition, the calculation module 23 inputs the specific information extracted in the extraction step into a relational expression to calculate the physical quantity that the virtual target is flying. The physical quantity refers to swing data such as hitting force, hitting direction, and hitting point applied to the hit target, and flight data of the hit target such as flight direction and flight speed of the hit target according to the swing data.

즉, 모바일 단말기(1)의 연산모듈(23)은 정의된 파라미터를 관계식에 입력하여 물리량을 연산하고, 그 연산 결과를 모바일 단말기(1)의 LCD 화면과 같은 UI출력부(30)를 통해서 디스플레이하게 된다.That is, the calculation module 23 of the mobile terminal 1 inputs the defined parameter into the relational expression to calculate the physical quantity, and displays the calculation result through the UI output unit 30 such as the LCD screen of the mobile terminal 1. Done.

한편, 모바일 단말기(1)의 연산모듈(23)에서 얻어지는 연산 결과는 모바일 단말기의 입출력인터페이스(I/O interface)를 통해 외부로 연결된 디스플레이장치에 디스플레이될 수 있다.On the other hand, the calculation result obtained from the calculation module 23 of the mobile terminal 1 may be displayed on the display device connected to the outside through the I / O interface of the mobile terminal.

이하, 도 4 내지 도 8을 참조하여 모바일 단말기의 사용자가 골프의 스윙동작을 취하였을 때 가상의 골프공이 비행하는 모션패턴을 모바일 단말기의 화면에 디스플레이하는 과정을 설명한다.Hereinafter, a process of displaying a motion pattern of a virtual golf ball flying on a screen of the mobile terminal when the user of the mobile terminal performs a swinging action of golf with reference to FIGS. 4 to 8.

모바일 단말기(1)에는 적어도 하나의 관성센서를 구비한 센서부와, 화면과, 조합가능한 영상정보가 저장되어 있는 데이터베이스와, 제어부가 제공된다.The mobile terminal 1 is provided with a sensor unit having at least one inertial sensor, a screen, a database storing combinable image information, and a control unit.

먼저, 사용자는 도 5에 예시된 바와 같이 모바일 단말기의 화면에 디스플레이되어 있는 골프게임의 초기화면에서 실시하고자 하는 게임을 선택한다.First, the user selects a game to be played on the initial screen of the golf game displayed on the screen of the mobile terminal as illustrated in FIG. 5.

초기화면에 있어서, 니어핀모드는 사용자가 취하는 스윙 동작에 의해서 가상의 골프공이 목표지점에 온그린되었을 때 점수를 획득하는 게임이다. 니어핀모드에 있어서, 목표지점은 거리별로 설정할 수도 있다. 콤보샷 모드는 사용자가 취하는 스윙 동작에 의해서 가상의 골프공이 연속으로 온그린되는 횟수를 의미한다. 즉, 온그린 횟수가 높을수록 높은 점수를 획득하게 된다. 장타모드는 사용자가 취하는 스윙 동작에 의해서 가상의 골프공이 가장 먼거리를 비행하였을 때 점수를 획득하는 게임이다. 그리고, 퍼팅모드는 사용자가 취하는 스윙 동작에 의해서 가상의 골프공이 홀컵에 들어갔을 때 점수를 획득하는 게임이다.In the initial screen, the near pin mode is a game in which a score is obtained when a virtual golf ball is drawn on a target point by a swing action taken by a user. In the near pin mode, the target point may be set for each distance. The combo shot mode refers to the number of times a virtual golf ball is continuously drawn on a green by a swinging action taken by a user. In other words, the higher the number of on-greens, the higher the score. Long hit mode is a game that scores when the virtual golf ball is flying the longest distance by the swing action taken by the user. The putting mode is a game in which a score is obtained when a virtual golf ball enters the hole cup by a swing action taken by the user.

상술된 게임 모드에 적용되는 게임방식은 게임을 시작하기 위하여 게임아이템을 소비하고, 게임 점수를 획득하였을 때 게임아이템을 지급하는 등 다양하게 변경될 수 있다.The game method applied to the above-described game mode may be changed in various ways such as consuming a game item to start a game and paying a game item when a game score is obtained.

사용자가 초기화면에서 니어핀모드를 선택하게 되면, 도 6에 예시된 바와 같은 니어핀모드용 화면이 디스플레이된다. 니어핀모드용 화면에서, 사용자는 목표지점까지의 거리, 골프채 등의 조건을 선택할 수 있다. When the user selects the near pin mode on the initial screen, the near pin mode screen as illustrated in FIG. 6 is displayed. In the near pin mode screen, the user can select conditions such as distance to the target point, golf club, and the like.

도 6에 예시되어 있는 조건 선택이 완료되면, 도 7에 예시된 바와 같은 게임시작화면이 디스플레이된다. 이때, 사용자는 어드레스 자세를 취하게 된다(도 4의 S11단계). 어드레스 자세가 안정된 후에 사용자는 도 7의 게임시작화면을 활성화시킨 후 팔을 스윙하는 모션을 취한다.When the condition selection illustrated in FIG. 6 is completed, the game start screen as illustrated in FIG. 7 is displayed. At this time, the user takes an address posture (step S11 of FIG. 4). After the address posture is stabilized, the user takes a motion of swinging the arm after activating the game start screen of FIG.

사용자가 스윙 모션을 취하게 되면 모바일 단말기(1)의 상태정보를 관성센서가 감지하게 된다(도 4의 S12단계). 모바일 단말기(1)의 상태정보는 상기 관성센서에 의해서 감지되는 가속도, 방향 및 각속도로부터 선택되는 적어도 하나의 정보이고, 이러한 정보는 제어부(20)의 모션캡쳐모듈(21)로 제공된다.When the user takes a swing motion, the inertial sensor detects the state information of the mobile terminal 1 (step S12 of FIG. 4). The state information of the mobile terminal 1 is at least one information selected from acceleration, direction and angular velocity detected by the inertial sensor, and this information is provided to the motion capture module 21 of the controller 20.

제어부(20)의 모션캡쳐모듈(21)에서는 미리 설정된 다수개의 주요 지점(특징점) 및 주요 지점들 사이의 구간에서의 상태정보를 로딩(도 4의 S13단계)한다.The motion capture module 21 of the controller 20 loads a plurality of preset main points (feature points) and state information in a section between the main points (step S13 of FIG. 4).

이 후, 제어부(20)의 유효성판단모듈(22)에서는 상기 주요 지점 및 주요 지점들 사이의 구간에서 로딩된 모바일 단말기(10)의 상태정보가 데이타베이스에 저장되어 있는 데이타의 범위에 속하는 지 여부를 판단하게 된다(도 4의 S14단계). 즉, 모바일 단말기(10)의 상태정보는 데이타베이스에 저장되어 있는 데이타에서 목표거리 180m의 니어핀모드에 해당하는 데이타와 비교하게 되고 그 결과 데이타 범위에 속하는 지 여부를 판단하게 된다.Thereafter, the validity judgment module 22 of the controller 20 determines whether the state information of the mobile terminal 10 loaded in the interval between the main point and the main points falls within the range of data stored in the database. It is determined (step S14 of Figure 4). That is, the state information of the mobile terminal 10 is compared with the data corresponding to the near pin mode of the target distance of 180m from the data stored in the database, and as a result, it is determined whether it is within the data range.

모바일 단말기(10)의 상태정보가 유효한 것으로 판단되면 다음 단계로 진행하지만, 유효하지 않은 것으로 판단되면 사용자가 초기 상태로 복귀하도록 안내화면을 제공한다(도 4의 S15단계).If it is determined that the status information of the mobile terminal 10 is valid, the process proceeds to the next step, but if it is determined to be invalid, the user provides a guide screen to return to the initial state (step S15 of FIG. 4).

모바일 단말기(10)의 상태정보가 유효한 경우에, 이런 상태정보에 대응하는 유효한 특정정보(파라미터: parameter)를 데이타베이스(40)로부터 추출한다(도 4의 S16단계). 그리고, 추출된 유효한 특정정보에 대응하는 영상정보는 제어부(20)의 연산모듈(23)에서 관계식에 입력하여 상기 가상의 피타격체가 비행하는 물리량을 연산하고, 연산된 물리량을 조합한다(도 4의 S17단계).When the state information of the mobile terminal 10 is valid, valid specific information (parameter) corresponding to this state information is extracted from the database 40 (step S16 of FIG. 4). The image information corresponding to the extracted valid specific information is input to a relational expression by the calculation module 23 of the controller 20 to calculate a physical quantity that the virtual target is flying, and combine the calculated physical quantities (FIG. 4). Step S17).

연산된 물리량은 도 8에 예시된 바와 같이 가상의 피타격체가 비행하는 영상정보의 모션패턴으로 화면(유저인터페이스 출력부)에 디스플레이된다(도 4의 S18단계).The calculated physical quantity is displayed on the screen (user interface output unit) as a motion pattern of the image information that the virtual target is flying as illustrated in FIG. 8 (step S18 of FIG. 4).

사용자는 모바일 단말기(1)의 화면에 디스플레이되는 모션패턴을 분석하여 자신의 스윙 자세를 교정할 수 있다. 예를 들어, 사용자가 스윙을 취하였을 때 관성센서에 의해서 감지되는 모바일 단말기(1)의 상태정보와 데이타베이스에 저장되어 있는 데이타의 비교결과를 화면에 디스플레이하는 경우, 사용자는 화면에 디스플레이되는 비교결과를 확인하고서 자신의 스윙 자세가 정상인지 여부를 판단하게 된다.The user may analyze his / her motion pattern displayed on the screen of the mobile terminal 1 to correct his swing posture. For example, when displaying a comparison result of the state information of the mobile terminal 1 detected by the inertial sensor and the data stored in the database when the user takes a swing, the user displays the comparison displayed on the screen. After checking the result, it is determined whether or not his swing position is normal.

한편, 본 발명의 다른 실시예에 따르면, 사용자가 취하는 모션을 감지하는 관성센서를 구비한 모바일 단말기에서 얻어지는 가상의 피타격체가 비행하는 영상정보의 모션패턴은 IPTV용 모니터와 같은 외부의 디스플레이장치에 출력될 수 있다. 즉, 제어부(20)의 연산모듈(23)에서 관계식을 통하여 가상의 피타격체가 비행하는 물리량을 연산하고, 연산된 물리량을 조합함으로써 구성되는 영상정보는 모바일 단말기의 입출력인터페이스(I/O interface)를 통해 외부로 연결된 디스플레이장치에 디스플레이될 수 있다.On the other hand, according to another embodiment of the present invention, the motion pattern of the image information flying by the virtual target to be obtained from the mobile terminal having an inertial sensor for detecting the motion taken by the user to an external display device such as an IPTV monitor Can be output. That is, the image information configured by calculating the physical quantity that the virtual target is flying through the relational expression in the calculation module 23 of the control unit 20 and combining the calculated physical quantities is input / output interface (I / O interface) of the mobile terminal. It can be displayed on the display device connected to the outside through.

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
As described above, preferred embodiments of the present invention have been disclosed in the present specification and drawings, and although specific terms have been used, they have been used only in a general sense to easily describe the technical contents of the present invention and to facilitate understanding of the invention , And are not intended to limit the scope of the present invention. It is to be understood by those skilled in the art that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein.

10: 센서부
20: 제어부
30: UI출력부
40: 데이터베이스10: sensor
20: control unit
30: UI output
40: database

Claims (7)

적어도 하나의 관성센서를 구비한 센서부와, 화면과, 조합가능한 영상정보가 저장되어 있는 데이터베이스와, 제어부를 구비한 모바일 단말기를 휴대한 사용자가 초기의 정지된 준비자세에서부터 가상의 피타격체를 타격하는 타격자세까지의 동작을 포함하는 스윙의 모션을 취하였을 때 가상의 피타격체가 비행하는 모션패턴을 상기 화면에 디스플레이하는 방법에 있어서,
상기 관성센서가 상기 사용자의 모션에 따른 상기 모바일 단말기의 상태정보를 감지해서 상기 제어부에 제공하는 제공단계와;
상기 제어부에서는 상기 관성센서로부터 제공되는 상태정보에서 미리 설정된 다수개의 주요 지점에서 유효한 특정정보(파라미터: parameter)를 추출하는 추출단계와;
상기 추출단계에서 추출된 유효한 특정정보에 대응하는 영상정보를 상기 데이타베이스에서 조합하는 조합단계와;
상기 조합단계에서 조합된 영상정보가 가상의 피타격체가 비행하는 모션패턴으로 상기 화면에 디스플레이되는 출력단계로 이루어진 것을 특징으로 하는 모바일 단말기에서 모션패턴을 디스플레이하는 방법.
A user carrying a mobile terminal including a sensor unit having at least one inertial sensor, a screen, a database storing combinable image information, and a control unit may be configured to perform a virtual target object from an initial stationary staging position. In the method of displaying the motion pattern that the virtual hit the target flying when the swing including the motion up to the striking strike position on the screen,
Providing, by the inertial sensor, the state information of the mobile terminal according to the motion of the user to provide to the controller;
The control unit extracts specific information (parameters) valid at a plurality of predetermined main points from the state information provided from the inertial sensor;
A combining step of combining image information corresponding to the valid specific information extracted in the extracting step in the database;
And displaying the motion pattern on the screen as a motion pattern in which the virtual target is flying.
제1항에 있어서,
상기 모바일 단말기의 상태정보는 상기 관성센서에 의해서 감지되는 가속도, 방향 및 각속도의 정보로부터 선택되는 적어도 하나의 정보로 이루어진 것을 특징으로 하는 모바일 단말기에서 모션패턴을 디스플레이하는 방법.
The method of claim 1,
And the state information of the mobile terminal comprises at least one piece of information selected from information of acceleration, direction, and angular velocity detected by the inertial sensor.
제2항에 있어서,
상기 주요 지점은 상기 준비자세에서부터 상기 타격자세까지의 스윙동작을 소정의 시간단위별로 지정하는 지점이고, 상기 소정의 시간단위는 하나의 순간을 의미하거나 또는 일정 범위를 의미하는 것을 특징으로 하는 모바일 단말기에서 모션패턴을 디스플레이하는 방법.
The method of claim 2,
The main point is a point for designating a swing operation from the ready posture to the striking posture for each predetermined time unit, and the predetermined time unit means one moment or a certain range. How to display a motion pattern on a computer.
제2항에 있어서,
상기 추출단계는 상기 주요 지점들 사이의 주요 구간에서의 유효한 특정정보를 더 추출하는 것을 특징으로 하는 모바일 단말기에서 모션패턴을 디스플레이하는 방법.
The method of claim 2,
And wherein said extracting step further extracts valid specific information in main sections between said main points.
제4항에 있어서,
상기 조합단계는 상기 추출단계에서 추출된 특정정보를 관계식에 입력하여 상기 가상의 피타격체가 비행하는 물리량을 연산하는 연산단계를 포함하는 것을 특징으로 하는 모바일 단말기에서 모션패턴을 디스플레이하는 방법.
The method of claim 4, wherein
The combining step includes a step of calculating the physical amount to fly the virtual target to enter the specific information extracted in the extraction step in the relational expression, the method for displaying a motion pattern in a mobile terminal.
제2항에 있어서,
상기 관계식은 다수의 실험 데이타로부터 도출되는 실험식 또는 기계학습(machine learning)의 학습 알고리즘으로부터 도출되는 함수식인 것을 특징으로 하는 모바일 단말기에서 모션패턴을 디스플레이하는 방법.
The method of claim 2,
Wherein the relational expression is an empirical equation derived from a plurality of experimental data or a functional equation derived from a learning algorithm of machine learning.
제1항에 있어서,
상기 조합단계에서 조합된 영상정보를 입출력 인터페이스를 통해서 외부에 연결된 디스플레이장치에 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 모바일 단말기에서 모션패턴을 디스플레이하는 방법.
The method of claim 1,
And displaying the image information combined in the combining step on a display device connected to the outside through an input / output interface.
KR1020110006919A 2011-01-24 2011-01-24 Mothod for displaying the motion pattern on the mobile terminal KR101223404B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110006919A KR101223404B1 (en) 2011-01-24 2011-01-24 Mothod for displaying the motion pattern on the mobile terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110006919A KR101223404B1 (en) 2011-01-24 2011-01-24 Mothod for displaying the motion pattern on the mobile terminal

Publications (2)

Publication Number Publication Date
KR20120085534A true KR20120085534A (en) 2012-08-01
KR101223404B1 KR101223404B1 (en) 2013-01-16

Family

ID=46871751

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110006919A KR101223404B1 (en) 2011-01-24 2011-01-24 Mothod for displaying the motion pattern on the mobile terminal

Country Status (1)

Country Link
KR (1) KR101223404B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109634420A (en) * 2018-12-16 2019-04-16 苏州运智互动科技有限公司 Archery analog control method based on smart phone and somatosensory device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004113689A (en) 2002-09-30 2004-04-15 Mitsumi Electric Co Ltd Cellular phone with golf game function
KR20100020131A (en) * 2008-08-12 2010-02-22 구의정 Swing simulation system and the method and the program
JP5624726B2 (en) 2009-03-30 2014-11-12 任天堂株式会社 GAME PROGRAM AND GAME DEVICE

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109634420A (en) * 2018-12-16 2019-04-16 苏州运智互动科技有限公司 Archery analog control method based on smart phone and somatosensory device

Also Published As

Publication number Publication date
KR101223404B1 (en) 2013-01-16

Similar Documents

Publication Publication Date Title
US10769833B2 (en) Method and apparatus for processing display of resource in animation, and terminal
CN105555373B (en) Augmented reality equipment, methods and procedures
US11173362B2 (en) Analysis apparatus, analysis method, and recording medium
EP3805982B1 (en) Gesture recognition method, apparatus and device
CN107707817B (en) video shooting method and mobile terminal
CN109224437A (en) The exchange method and terminal and storage medium of a kind of application scenarios
CN106648118A (en) Virtual teaching method based on augmented reality, and terminal equipment
US20130016093A1 (en) Display device, control system, and storage medium storing control program
JP6050884B1 (en) Control method and program for competitive game
KR102241414B1 (en) Electronic device for providing a feedback for a specivic motion using a machine learning model a and machine learning model and method for operating thereof
CN109126135B (en) Virtual shooting method, computer storage medium and terminal
CN109173250B (en) Multi-role control method, computer storage medium and terminal
CN110009004A (en) Image processing method, computer equipment and storage medium
CN109908578A (en) A kind of game seismaesthesia control method, terminal and computer readable storage medium
CN108683850A (en) A kind of shooting reminding method and mobile terminal
CN109173249B (en) Virtual pass method, computer storage medium and terminal
CN107450841A (en) interactive object control method and device
KR20150062998A (en) Method for providing caddy service, storage medium storing the method and method for operating caddy service system
CN106598237A (en) Game interaction method and device based on virtual reality
CN108600609A (en) The method and device of auxiliary photo-taking
CN111158624A (en) Application sharing method, electronic equipment and computer readable storage medium
CN106582006A (en) Method and device for shooting game interaction based on virtual reality
KR101223404B1 (en) Mothod for displaying the motion pattern on the mobile terminal
JP2012090709A (en) Mobile terminal, program and method for counting golf stroke
JP6002345B1 (en) Information processing apparatus including game program, method, and touch screen

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160108

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161110

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180110

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190110

Year of fee payment: 7