KR20020028578A - Method of displaying and evaluating motion data using in motion game apparatus - Google Patents
Method of displaying and evaluating motion data using in motion game apparatus Download PDFInfo
- Publication number
- KR20020028578A KR20020028578A KR1020000059646A KR20000059646A KR20020028578A KR 20020028578 A KR20020028578 A KR 20020028578A KR 1020000059646 A KR1020000059646 A KR 1020000059646A KR 20000059646 A KR20000059646 A KR 20000059646A KR 20020028578 A KR20020028578 A KR 20020028578A
- Authority
- KR
- South Korea
- Prior art keywords
- motion
- original actor
- displayed
- player
- basic frame
- Prior art date
Links
Classifications
-
- A63F13/10—
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/45—Controlling the progress of the video game
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
- A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8005—Athletics
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 모션 게임 장치의 모션 데이터를 재생하는 방법 및 평가하는 방법에 관한 것으로서, 구체적으로는 게임자가 원연기자의 모션을 보다 용이하게 따라하도록 하기 위한 모션 데이터의 재생 방법 및 이를 따라하는 게임자의 모션을 평가하는 방법에 관한 것이다.The present invention relates to a method for reproducing and evaluating motion data of a motion game device. More specifically, the present invention relates to a method of reproducing motion data so that the player can easily follow the motion of the original actor, and the motion of the player following the motion data. It is about how to evaluate.
최근, 음악재생장치와 게임자의 발동작을 감지하는 마루면체를 구비하고, 게임기에서 재생되는 음악과 더불어 게임자가 따라하여야 하는 발동작을 모니터 또는 마루면체의 발동작 지시기를 통해서 게임자에게 알려주고, 게임자는 타이밍을 맞추어 해당 발동작을 따라 하는 일명 DDR 게임기가 유행하고 있다.Recently, a music player and a floor surface detecting the foot movements of the game player is provided, and the game player to follow the foot movements along with the music played on the game machine through the monitor or floor foot motion indicators, the gamers to inform the timing A so-called DDR game machine that follows the movement of a person is popular.
이러한 DDR 게임기보다 더 진보된 것으로는 해당 게임자의 발동작뿐만 아니라, 손을 뻗는 동작을 감지하기 위하여 일정한 위치에 감지센서를 설치하여 게임자가 발동작 뿐만아니라 손에 대한 모션을 체크하는 게임기가 등장하고 있다.More advanced than such a DDR game machine, a game machine in which a player checks a motion of a hand as well as a foot motion by installing a sensor at a predetermined position in order to detect not only the motion of the corresponding player but also the motion of reaching the hand.
그러나, 현재까지의 게임기들은 지정된 위치의 발동작 또는 발동작과 손 뻗는 동작만을 감지할 수 있는 게임기에 국한된 것으로서, 원연기자의 자연스러운 모션을 디스플레이하고 이를 따라 하는 게임자의 전체 모션을 평가할 수 없는 문제점이 있었다.However, until now, game machines are limited to game machines capable of detecting only a foot motion or a foot motion and a stretched motion of a designated position, and there is a problem in that it is not possible to display the natural motion of the original actor and evaluate the overall motion of the player following it.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 원연기자의 모션을 보여 주는 모션 게임 장치에 있어서 게임자가 보다 용이하게 원연기자의 모션을 따라 할 수 있도록 모션 데이터를 재생하는 방법을 제시하고자 한다.Accordingly, the present invention is to solve the above problems, to provide a method for reproducing motion data so that the player can easily follow the motion of the original actor in the motion game device showing the motion of the original actor do.
본 발명의 또 다른 목적은 원연기자의 모션을 보여 주는 모션 게임 장치에 있어서 원연기자의 모션을 따라 하는 게임자의 모션을 실시간으로 빠르게 평가할 수 있는 모션 데이터 평가 방법을 제시하고자 하는 데 있다.It is still another object of the present invention to provide a motion data evaluation method capable of rapidly evaluating the motion of a player following the motion of the original actor in real time in the motion game apparatus showing the motion of the original actor.
도 1은 본 발명에서 제시하는 모션 게임 장치의 외관 구성도.1 is an external configuration diagram of a motion game device according to the present invention.
도 2는 본 발명이 적용되는 모션 게임 장치의 블록 구성도.2 is a block diagram of a motion game apparatus to which the present invention is applied.
도 3은 리타겟팅을 처리하는 흐름을 도시한 흐름도.3 is a flow chart illustrating a flow of processing retargeting.
도 4는 본 발명에서 사용하는 3차원 원연기자의 영상 프레임의 구조의 일예를 설명하기 위한 프레임 구조도.4 is a frame structure diagram for explaining an example of the structure of an image frame of a three-dimensional original actor used in the present invention.
도 5와 도 6은 원연기자 모션의 예비 동작을 디스플레이하는 방식을 설명하기 위한 설명도.5 and 6 are explanatory diagrams for explaining a method of displaying the preliminary operation of the original actor motion.
도 7은 도 4에 제시된 모션프레임을 이용하여 모션을 디스플레이하고 평가하는 전체적인 동작을 도시하는 절차도.7 is a process diagram showing the overall operation of displaying and evaluating motion using the motion frame shown in FIG.
도 8은 게임자의 모션을 평가하는 방법을 설명하는 흐름도.8 is a flowchart for explaining a method for evaluating a player's motion.
도 9는 본 발명의 실행 흐름을 보다 상세히 도시한 흐름도.9 is a flow diagram illustrating the execution flow of the present invention in more detail.
상기의 본 발명의 목적은 원연기자의 주요 모션을 표시하는 기본 프레임에 대한 정보를 포함하고, 복수 개 프레임으로 구성되는 원연기자의 모션 데이터를 디스플레이 장치에 재생하는 모션 게임 장치의 모션 데이터 디스플레이 방법에 있어서, 원연기자의 연속동작을 재생하기 위한 화면상의 재생위치점(Xf,Yf,Zf)과 소정의 시각후에 재생될 기본 프레임을 미리 보여주기 위한 화면상의 초기위치점(Xi,Yi,Zi)을 설정하는 제 1 단계와 재생위치점(Xf,Yf,Zf)에 원연기자의 연속동작을 현재시각 t를 기준으로 지속적으로 디스플레이함과 동시에에 디스플레이 될 기본 프레임을 도출한 후 상기 초기위치점(Xi,Yi,Zi)에 상기 기본 프레임을 디스플레이하는 제 2 단계 및 시간이 지남에 따라 상기 초기위치점(Xi,Yi,Zi)에 디스플레이 된 상기 기본 프레임이 상기재생위치점(Xf,Yf,Zf)으로 점진적으로 이동하면서 디스플레이 하는 제 3 단계를 구비하는 것을 특징으로 하는 모션 게임 장치의 모션 데이터 디스플레이 방법에 의해서 달성 가능하다.The above object of the present invention is a motion data display method of a motion game apparatus including information on a basic frame indicating a main motion of an original actor and reproducing motion data of the original actor consisting of a plurality of frames on a display device. The playback position points (Xf, Yf, Zf) and a predetermined time on the screen for reproducing the continuous operation of the original actor The first step of setting the initial position points (Xi, Yi, Zi) on the screen to show the basic frame to be played back later, and the continuous motion of the original actor at the playback position points (Xf, Yf, Zf) at the present time t. Continuously displayed as a reference After deriving the basic frame to be displayed in the second step of displaying the basic frame at the initial position point (Xi, Yi, Zi) and displayed in the initial position point (Xi, Yi, Zi) over time And a third step of displaying the basic frame while gradually moving to the play position point (Xf, Yf, Zf).
상기의 본 발명의 목적은 원연기자의 주요 모션을 표시하는 기본 프레임에 대한 정보를 포함하고, 복수 개 프레임으로 구성되며, 원연기자의 연속동작을 재생하기 위한 디스플레이 장치상의 소정위치인 재생위치점(Xf,Yf,Zf)과 소정의 시각후에 재생될 기본 프레임을 미리 보여주기 위한 디스플레이 장치상의 초기위치점(Xi,Yi,Zi)을 구비하며 원연기자의 모션 데이터를 디스플레이 장치에 재생하는 방법에 있어서, 재생위치점(Xf,Yf,Zf)에 원연기자의 연속동작을 현재시각 t를 기준으로 지속적으로 디스플레이함과 동시에에 디스플레이 될 기본 프레임을 도출한 후 상기 초기위치점(Xi,Yi,Zi)에 상기 기본 프레임을 디스플레이하는 제 1 단계 및 시간이 지남에 따라 상기 초기위치점(Xi,Yi,Zi)에 디스플레이 된 상기 기본 프레임이 상기 재생위치점(Xf,Yf,Zf)으로 점진적으로 이동하면서 디스플레이 되는 제 2 단계를 구비하는 것을 특징으로 하는 모션 게임 장치의 모션 데이터 디스플레이 방법에 의해서도 달성 가능하다.The above object of the present invention includes information on the basic frame indicating the main motion of the original actor, and is composed of a plurality of frames, and is a playback position point which is a predetermined position on the display device for reproducing the continuous motion of the original actor ( Xf, Yf, Zf) and predetermined time A method for reproducing motion data of an original actor on a display device having initial position points (Xi, Yi, Zi) on a display device for previewing a basic frame to be reproduced later, the playback position points (Xf, Yf, Zf) Continuous display of the original actor's continuous motion based on the current time t After deriving the basic frame to be displayed on the first step and displaying the basic frame at the initial position point (Xi, Yi, Zi) and displayed over the initial position point (Xi, Yi, Zi) over time It can also be achieved by the motion data display method of the motion game apparatus, characterized in that it comprises a second step that is displayed while the basic frame is gradually moved to the play position point (Xf, Yf, Zf).
상기의 본 발명의 또 다른 목적은 원연기자의 주요 모션을 표시하는 기본 프레임에 대한 정보를 포함하고, 복수 개 프레임으로 구성되며, 원연기자의 연속동작을 재생하기 위한 디스플레이 장치상의 소정위치인 재생위치점(Xf,Yf,Zf)과 소정의 시각후에 재생될 기본 프레임을 미리 보여주기 위한 디스플레이 장치상의초기위치점(Xi,Yi,Zi)을 설정하고 상기 디스플레이 장치에 디스플레이 되는 원연기자의 모션 데이터를 따라 하는 게임자의 모션을 평가하는 방법에 있어서, 원연기자의 3차원 모션 데이터를 게임자 신체 치수를 반영하여 변환한 후 리타겟팅된 원연기자의 3차원 모션 데이터를 저장하는 제 1 단계와 리타겟팅된 원연기자의 3차원 모션 데이터를 이용하여 재생위치점(Xf,Yf)에 원연기자의 연속동작을 현재시각 t를 기준으로 지속적으로 디스플레이함과 동시에에 디스플레이 될 기본 프레임을 도출한 후 상기 초기위치점(Xi,Yi,Zi)에 상기 기본 프레임을 디스플레이하는 제 2 단계와 시간이 지남에 따라 상기 초기위치점(Xi,Yi,Zi)에 디스플레이 된 상기 기본 프레임이 상기 재생위치점(Xf,Yf,Zf)으로 점진적으로 이동하면서 디스플레이 되는 제 3 단계와 디스플레이 되는 원연기자의 모션을 따라하면서 동일한 동작을 학습하는 게임자의 3차원 모션 데이터를 축출한 후 저장하는 제 4 단계와 제 3 단계의 상기 재생위치점(Xf,Yf,Zf)에 디스플레이 되는 기본 프레임으로부터 게임자에 부착된 센서 위치에 해당하는 원연기자의 기준 센서 좌표값을 계산하는 제 5 단계 및 게임자의 3차원 모션 데이터와 상기 기준 센서 좌표값을 비교하는 제 6 단계를 구비하는 것을 특징으로 하는 모션 게임 장치를 이용하는 게임자 모션 평가 방법에 의해서 달성 가능하다.Another object of the present invention described above is a playback position, which is a predetermined position on a display device for reproducing a continuous motion of the original actor, comprising information on the basic frame indicating the main motion of the original actor, and comprising a plurality of frames. Points Xf, Yf, and Zf and Predetermined Times In the method for setting the initial position point (Xi, Yi, Zi) on the display device for showing the basic frame to be reproduced later in advance and following the motion data of the original actor displayed on the display device, After converting the 3D motion data of the original actor to reflect the body size of the player, the first step of storing the 3D motion data of the retargeted original actor and the playback position using the 3D motion data of the retargeted original actor Continuously displaying the continuous movement of the original actor at the point (Xf, Yf) based on the current time t. After deriving the basic frame to be displayed in the second step of displaying the basic frame at the initial position point (Xi, Yi, Zi) and displayed in the initial position point (Xi, Yi, Zi) over time After the basic frame is moved out to the play position point (Xf, Yf, Zf), the 3D motion data of the game player learning the same motion while following the motion of the displayed third stage and the displayed original actor is evicted. A fifth step of calculating a reference sensor coordinate value of the original actor corresponding to the sensor position attached to the player from the basic frames displayed at the play position points Xf, Yf, and Zf of the fourth and third steps of storing; And a sixth step of comparing the three-dimensional motion data of the game player with the reference sensor coordinate value. It is achieved by.
이하 도면을 이용하여 본 발명을 보다 상세히 설명하기로 한다. 도 1은 본 발명에서 제시하는 모션 게임 장치의 외관 구성도로서, 복수 개 카메라 (100)와원연기자의 모션을 보여주는 디스플레이 장치(200), 게임자의 입력을 받는 입력부 및 음향 장치로 구성된다. 게임자는 복수 개의 광학센서(도면에는 미도시)를 부착한 후 카메라가 감지할 수 있는 일정한 범위 내에서 모션을 취하게 된다. 카메라(100)는 게임자에 부착된 광학센서를 이용하여 게임자의 모션을 추적할 수 있게 된다.Hereinafter, the present invention will be described in more detail with reference to the accompanying drawings. FIG. 1 is an external configuration diagram of a motion game apparatus according to the present invention, and includes a plurality of cameras 100, a display apparatus 200 showing motions of original actors, an input unit for receiving input from a game player, and a sound apparatus. After attaching a plurality of optical sensors (not shown), the player takes motion within a certain range that the camera can detect. The camera 100 may track the motion of the game player using an optical sensor attached to the game player.
이때 부착되는 광학센서 수는 가능한 모든 관절부위에 부착하는 것이 바람직하나, 광학센서 수가 증가하면 이미지 프로세싱 작업이 증가하므로 처리 속도 및 용량을 고려하여 적절한 수를 선택하여야 한다. 부착되는 카메라 수도 많을수록 정밀한 데이터를 얻을 수 있으나, 센서 수와 유사한 문제를 가져 오므로 적절한 갯수를 선택하여야 한다.In this case, the number of optical sensors to be attached is preferably attached to all joints. However, as the number of optical sensors increases, image processing increases, and an appropriate number should be selected in consideration of processing speed and capacity. The more cameras attached, the more accurate data can be obtained. However, since the problem is similar to the number of sensors, an appropriate number should be selected.
도 2는 본 발명에서 사용되는 모션 게임 장치의 블록 구성도이다. 본 발명의 모션 게임 장치는 게임자 입력을 받는 입력부, 제어부, 센서/카메라, 영상출력장치, 음악 DB, 캐릭터/무대 DB 및 음향 출력 장치 및 영상메모리로 구성된다. 제어부는 입력부의 출력에 따라 모션 선택 신호를 출력하는 모션 선택부, 원연기자의 복수 개 모션데이터를 저장하는 모션데이터 저장부, 원연기자의 모션을 리타겟팅하는 리타겟팅 처리부, 리타겟팅된 모션데이터를 저장하는 리타겟팅 원연기자 모션데이터 저장부, 게임자의 모션데이터를 저장하는 게임자 모션데이터 저장부, 리타겟팅 원연기자 모션데이터와 게임자의 모션 데이터를 비교 평가하는 모션 평가부 및 게임자 모션을 캡쳐하는 모션캡쳐부 및 모션평가부의 출력을 영상출력장치에 표시하기 위한 결과영상출력부로 구성된다.2 is a block diagram of a motion game apparatus used in the present invention. The motion game apparatus of the present invention comprises an input unit for receiving a player input, a controller, a sensor / camera, an image output device, a music DB, a character / stage DB, an audio output device, and an image memory. The control unit may include a motion selection unit for outputting a motion selection signal according to the output of the input unit, a motion data storage unit for storing a plurality of motion data of the original actor, a retargeting processing unit for retargeting the motion of the original actor, and retargeted motion data. Retargeting original actor motion data storage unit for storing, the game player motion data storage unit for storing the motion data of the game player, a motion evaluation unit for comparing and evaluating the motion data of the game player motion data with the retargeting original actor and capturing the player motion And a resultant image output unit for displaying the output of the motion capture unit and the motion evaluation unit on the image output device.
이하에서는 도 2의 모션 게임 장치의 동작 흐름을 설명하기로 한다. 게임자는 입력부를 이용하여 복수 개 모션 데이터 중 하나를 선택한다. 모션선택부는 모션데이터 저장부에 기록된 복수 개 모션 데이터 중 하나를 선택한 후 리타겟팅 처리부로 입력한다.Hereinafter, an operation flow of the motion game apparatus of FIG. 2 will be described. The player selects one of the plurality of motion data using the input unit. The motion selection unit selects one of the plurality of motion data recorded in the motion data storage unit and inputs it to the retargeting processor.
리타겟팅 처리부는 게임자로부터 신체 사이즈를 입력받거나 또는 카메라를 이용한 이미지 프로세싱을 통하여 신체 사이즈를 감지한 후, 게임자와 원연기자의 신체칫수 차이값을 축출한 후 원연기자의 모션데이터를 리타겟팅 처리한 후, 리타겟팅 원연기자 모션 데이터 저장부에 저장한다. 리타겟팅에 대한 구체적인 설명은 도 3을 통하여 설명하기로 한다. 리타겟팅된 원연기자의 모션은 영상처리부와 영상 메모리 및 영상출력장치를 통하여 게임자에게 제공된다. 이때 게임자가 용이하게 원연기자의 모션을 따라 할 수 있도록 앞으로 제공될 중요 모션에 대한 기본 프레임을 프레임 저장부 및 슬라이딩 제어부를 통하여 게임자에게 제공한다. 게임자의 모션은 게임자 모션 데이터 저장부에 실시간으로 저장되고, 모션 평가부는 게임자 모션과 리타겟팅 원연기자 모션데이터를 비교 평가한 후, 그 결과를 영상출력장치를 통하여 게임자에게 제공하게 된다.The retargeting processor receives the body size from the player or detects the body size through image processing using a camera, extracts the difference in the body dimensions between the player and the original actor, and then retargets the motion data of the original actor. Then, it is stored in the retargeting original actor motion data storage. A detailed description of the retargeting will be described with reference to FIG. 3. The motion of the retargeted original actor is provided to the player through the image processor, the image memory, and the image output device. At this time, the basic frame for the important motion to be provided in the future so that the player can easily follow the motion of the original actor is provided to the player through the frame storage unit and the sliding control unit. The player's motion is stored in the player's motion data storage in real time, and the motion evaluation unit compares and evaluates the player's motion and the retargeting original actor's motion data, and provides the result to the player through the image output device.
원연기자의 신체 사이즈와 게임자의 신체 사이즈가 차이가 있으므로 모션을 분석하기 전에 먼저 이러한 문제점을 해결하여야 한다. 이러한 문제점을 해결하는 과정을 리타겟팅이라 하며, 도 3은 리타겟팅을 처리하는 순서를 보여준다.Since there is a difference between the body size of the original actor and the body size of the game player, this problem must be resolved before analyzing the motion. The process of solving this problem is called retargeting, and FIG. 3 shows an order of processing the retargeting.
먼저 사용자의 입력 또는 카메라로부터 영상캡쳐를 통한 이미지 프로세싱을 이용하여 원연기자의 신체 데이터와 게임자의 신체 데이터를 입수한다. 2가지 데이터를 분석한 후 게임자의 신체 칫수에 적합하게금 원연기자의 모션 데이터를 변환한다. 일반적으로 이러한 변환은 도 3에 도시된 바와 같이 원연기자 3차원 모션 데이터를 즉, 모션 데이터를 얻는 기준이 되는 신체 부위를 중심으로(대부분 허리를 기준으로 한다) 원연기자의 3차원 모션 데이터를 확대하거나 축소한 후, 중심 이동을 시킨다. 중심 이동후에는 제약조건을 만족하기 위한 변형을 함으로써 최종적으로 리타겟팅된 원연기자의 모션 데이터를 입수할 수 있다. 제약조건을 만족하기 위한 변형이 필요한 이유를 예로 들어 설명하면, 2m 키를 가진 농구선수의 3차원 모션 데이터를 1m 키의 초등학생 신체 칫수를 고려하여 농구선수의 3차원 모션 데이터를 허리를 중심으로 축소하면 지면에 닿아야 하는 발부분이 허공이 뜨는 현상이 발생하게 된다. 따라서 "발부분은 반드시 지면에 닿아야 한다"라는 제약조건을 부여하고 이러한 제약조건을 고려하여 농구선수의 3차원 모션 데이터를 변환하여야 한다.First, the body data of the original actor and the body data of the game player are obtained by using image processing through image capturing from a user input or a camera. After analyzing the two data, the motion data of the original actor is transformed according to the size of the player's body. In general, this transformation enlarges the original actor's three-dimensional motion data, as shown in FIG. 3, that is, the body's three-dimensional motion data centered on the body part (mostly based on the waist) to which the motion data is obtained. After zooming in or out, move the center After the center movement, the motion data of the final retargeted original actor can be obtained by transforming to satisfy the constraint. As an example, the reason why the deformation is required to satisfy the constraint is to reduce the 3D motion data of the basketball player with 2m height and to reduce the 3D motion data of the basketball player with the waist in consideration of the body size of elementary school students 1m tall. When the foot part that should touch the ground will float. Therefore, the constraint "foot must touch the ground" should be given and the 3D motion data of the basketball player should be converted in consideration of this constraint.
도 4는 본 발명에서 사용하는 3차원 원연기자의 영상 프레임의 구조의 일예를 보여주는 프레임 구조도이다. 각 박스는 단위시간 간격으로 저장되는 모션 프레임을 표시하며, 각 박스 위의 기호는 프레임 번호를 나타낸다. 원연기자의 영상 프레임은 시작과 끝 프레임, 모션프레임으로 구성되어 있음을 알 수 있다. 모션프레임은 기본모션 프레임과 일반모션 프레임으로 구분되어 있으며, 모션프레임 중특별한 모션(즉, 춤동작 중 핵심이 되는 모션)을 표현하는 프레임을 기본모션 프레임이라고 정의한다. 기본모션 프레임에 대한 정보는 모션 데이터를 생성하는 시점 또는 모션 데이터를 저장한 후 전문가(content 제작자)에 의해 "특정자세"를 지정하는 관리툴(management program)에 의하여 지정(marking, check pointing)될 수 있다. 기본모션 프레임 여부에 대한 정보는 원연기자의 모션을 나타내는 모션 프레임의 일부에 포함하거나 또는 별도의 파일을 이용할 수 있다.4 is a frame structure diagram showing an example of the structure of an image frame of a three-dimensional original actor used in the present invention. Each box represents a motion frame that is stored at unit time intervals, and the symbol above each box indicates the frame number. It can be seen that the video frame of the original actor is composed of a start frame, an end frame, and a motion frame. A motion frame is divided into a basic motion frame and a general motion frame, and a frame that expresses a special motion (that is, a core motion of a dance motion) among the motion frames is defined as a basic motion frame. The information on the basic motion frame may be marked (check pointing) by the management program which designates the "specific posture" by the expert (content creator) after the motion data is generated or after the motion data is generated. Can be. Information on whether the basic motion frame is included in a part of the motion frame indicating the motion of the original actor or may use a separate file.
모션 프레임은 일반적으로 동영상을 표시하기 위한 파일형태로 저장되며, 대표적인 일예로서 BVH 화일을 들 수 있다. BVH 화일 포맷은 신체의 각 부분을 표시하기 위한 몇 개의 센서로 구성되는 트리구조에 대해서 먼저 기술한 후, 각 신체부위에 대응되는 센서의 시간대별 좌표값 및 각도에 대한 정보로 표시된다. 이러한 BVH 파일을 이용하여 각 센서의 시간대별 좌표값을 파악할 수 있게 된다.The motion frame is generally stored in a file format for displaying a moving image, and a typical example is a BVH file. The BVH file format is described first with a tree structure composed of several sensors for displaying each part of the body, and is then displayed as information about time-point coordinate values and angles of the sensors corresponding to each body part. By using the BVH file, it is possible to grasp the coordinate values of each sensor.
도 5와 도 6은 원연기자 모션의 예비 동작을 디스플레이하는 방식을 설명하기 위한 설명도이다. 도 5 (a)는 원연기자의 모션을 표시하는 원연기자 모션프레임을 나타내고, (b)는 원연기자의 모션 프레임 중 기본 모션에 대한 정보를 표시하는 기본 모션프레임이며, (c)는 이를 보고 따라 하는 게임자의 모션을 저장하는 게임자 모션 프레임을 각각 나타낸다. (b)에 도시한 바와 10, 17, 19, 21, 25, 27, 28, 31, 37, 38, 40, 42 및 48번째 프레임이 기본 모션 프레임으로 지정되어 있음을 알 수 있다. 현재 시각 t는 게임자가 원연기자의 모션을 따라 하여야 하는 시점으로서, 원연기자의 실시간 모션이 제공되며,는 기본 모션프레임을 검출하기 위한 시간 간격을 표시하기 위한 것이다. 도 5에 따르면는 6 프레임이 디스플레이 되는 시간으로 규정된 상태를 나타낸다. 도 5에 따르면 현재 시각 t에서는 원연기자의 16번째 모션프레임이 게임자에게 제공됨과 동시에, 시각 t와사이에 존재하는 기본 모션프레임(17, 19, 21번째 프레임)이 게임자에게 미리 보여 주기 위하여 디스플레이 됨을 나타낸다.5 and 6 are explanatory diagrams for explaining a method of displaying a preliminary operation of the original actor motion. 5 (a) shows the original actor motion frame displaying the motion of the original actor, (b) is a basic motion frame displaying information about the basic motion of the motion frame of the original actor, (c) is according to Represents a gamers motion frame that stores the gamers' motion. As shown in (b), it can be seen that the 10th, 17th, 19th, 21st, 25th, 27th, 28th, 31st, 37th, 38th, 40th, 42nd and 48th frames are designated as the basic motion frames. The current time t is the point in time at which the player should follow the motion of the original actor, and the real time motion of the original actor is provided. Is for indicating a time interval for detecting a basic motion frame. According to FIG. 5 Indicates the state specified by the time when 6 frames are displayed. According to FIG. 5, at the present time t, the 16th motion frame of the original actor is provided to the player, and at the time t It indicates that the basic motion frame (17th, 19th, 21st frame) existing in between is displayed for previewing to the player.
예를들어, 도 6은 이러한 사항이 이차원 디스플레이 장치를 통해서 디스플레이 되는 방식을 표현하는 것으로써 도 6 (a)에 도시한 바와 같이 화면상의 일정영역(61)에는 현재 게임자가 따라하여야 하는 원연기자의 연속 모션(도 5의 16번째 프레임)이 디스플레이 되고, 나머지 영역(62, 63, 64)에는 다음 순간 취해야 하는 주요 모션(도 5의 17, 19 및 21번째 프레임)이 시간에 따라 순차적으로 실시간 모션 디스플레이가 재생되는 일정영역(61)으로 접근하면서 디스플레이 되도록 하였다. 이러한 디스플레이 방식을 적용함으로써 게임자는 다음 주요 동작을 미리 파악할 수 있으므로 용이하게 원연기자의 모션을 따라 할 수 있게 된다.For example, FIG. 6 represents the manner in which these matters are displayed through the two-dimensional display device. As shown in FIG. Continuous motion (16th frame of Fig. 5) is displayed, and the remaining areas 62, 63, and 64 are the main motions (17th, 19th and 21st frame of Fig. 5) which should be taken at the next moment in real time in sequence. The display is displayed while approaching the predetermined region 61 to be reproduced. By applying such a display method, the player can easily grasp the next major motion so that the player can easily follow the motion of the original actor.
화면상의 좌표를 도 6(a)에 도시한 바와 같은 좌표축을 기준으로 설정할 때, 게임자의 눈의 높이(He)가 게임자의 발바닥 위치로부터 디스플레이 장치 화면의 중심간의 거리(Dy)보다 큰 경우에는 안내 동작이 시작되는 Y축상의 좌표값 Yi와 실시간 연속 동작이 디스플레이 되는 화면상의 Y축상의 좌표값 Yf는 수학식 1을 만족하여야 한다. 이는 게임자의 눈높이를 고려하여 안내 동작을 디스플레이 함으로써보다 입체감을 주기 위한 것이다.When the coordinates on the screen are set based on the coordinate axis as shown in Fig. 6 (a), when the height He of the player's eyes is greater than the distance Dy between the center of the display device screen from the sole position of the player The coordinate value Yi on the Y axis at which the operation is started and the coordinate value Yf on the Y axis on the screen at which the real time continuous motion is displayed must satisfy Equation 1. This is to give a more three-dimensional effect by displaying the guide operation in consideration of the eye level of the gamer.
이와 유사하게, 게임자의 눈의 높이(He)가 게임자의 발바닥 위치로부터 디스플레이 장치 화면의 중심간의 거리(Dy)보다 작은 경우에는 안내 동작이 시작되는 Y축상의 좌표값 Yi와 실시간 연속 동작이 디스플레이 되는 화면상의 Y축상의 좌표값 Yf는 수학식 2을 만족하여야 한다.Similarly, if the height He of the player's eye is smaller than the distance Dy between the center of the display device screen from the sole position of the player, the coordinate value Yi on the Y axis and the real time continuous motion at which the guide operation is started are displayed. The coordinate value Yf on the Y axis on the screen must satisfy Equation 2.
이때 시작점 (Xi,Yi,Zi)와 끝점 (Xf,Yf,Zf)로 구성되는 벡터의 방향성은 원연기자의 각 관절에 부착된 센서 위치값을 포함하는 원연기자의 BVH 등의 모션 데이터를 분석함으로써 용이하게 판단할 수 있으므로, 벡터의 방향성을 고려하여 안내 동작을 디스플레이 한다면 보다 현실감 있게 안내 동작을 디스플레이 할 수 있을 것이다. 그리고, 원연기자의 연속 동작이 디스플레이 되는 화면상의 위치점 (Xf,Yf,Zf)를 화면의 중앙에 위치시키는 것이 게임자의 편의를 위하여 보다 바람직하며, 시작점 (Xi,Yi,Zi)은 디스플레이하고자 하는 예비동작의 프레임수와 화면의 수평사이즈를 고려하여 적절하게 지정하는 것이 좋다. 게임자의 눈 높이(He)는 게임자가 입력한 키 또는 카메라로부터 연산된 게임자의 키로부터 눈의 위치에 대한 통계치 값을 이용하여 용이하게 계산할 수 있다.At this time, the directionality of the vector consisting of the start point (Xi, Yi, Zi) and the end point (Xf, Yf, Zf) is analyzed by analyzing motion data such as BVH of the original actor including the sensor position values attached to each joint of the original actor. Since it can be easily determined, if the guide operation is displayed in consideration of the direction of the vector, the guide operation can be displayed more realistically. And, it is more preferable for the convenience of the player to position the position points (Xf, Yf, Zf) on the screen on which the continuous action of the original actor is displayed, and the starting points (Xi, Yi, Zi) are to be displayed. It is appropriate to designate in consideration of the frame number of the preliminary operation and the horizontal size of the screen. The height of the player's eye He can be easily calculated using a statistical value of the eye position from the key input by the player or the key of the player calculated from the camera.
도 7은 도 4에 제시된 모션프레임을 이용하여 모션을 디스플레이하고 평가하는 전체적인 동작을 설명하는 흐름도이다. 게임자는 입력부를 이용하여 모션 데이터, 음악DB, 캐릭터 DB를 선택한다.(s71 단계) 다음으로 게임자로부터 입력받은 신체사이즈 또는 카메라의 영상분석을 통해 파악된 게임자의 신체사이즈를 이용하여 원연기자와 게임자의 신체 칫수를 비교한다.(s72 단계) 이러한 비교 값을 이용하여 원연기자의 3차원 영상 좌표값 데이터를 변환(리타겟팅)한다.(s73 단계) 이때 원연기자의 모션을 캡쳐하기 위해서 원연기자의 몸에 부착하는 센서의 위치와 갯수가 게임자에 부착되는 센서의 위치와 갯수가 다르므로 이를 적절히 평가하기 위해서는 우선적으로 비교할 대상을 일치시킬 필요가 있다. 따라서 게임자에 부착되는 센서의 위치와 갯수를 기준으로 원연기자 모션 데이터로부터 기준 센서의 위치 데이터를 계산한다.(s74 단계)FIG. 7 is a flowchart illustrating the overall operation of displaying and evaluating motion using the motion frame shown in FIG. 4. The player selects the motion data, the music DB, and the character DB using the input unit (step s71). Next, the player uses the body size inputted from the player or the body size of the game player identified through video analysis of the camera. The body dimensions of the gamers are compared (step s72). The comparison value is used to convert (retarget) the 3D image coordinate data of the original actor. (Step s73) At this time, the original actor is captured to capture the motion of the original actor. Since the position and the number of sensors attached to the body are different from the position and the number of the sensors attached to the game player, it is necessary to first match the object to be compared in order to properly evaluate them. Accordingly, the position data of the reference sensor is calculated from the original actor motion data based on the position and the number of sensors attached to the game player (step S74).
그런 후, 원연기자의 3차원 모션 데이터를 실시간으로 디스플레이함과 동시에 안내 동작을 디스플레이 한다.(s75 단계) 디스플레이 되는 원연기자의 모션은 리타겟팅되기 전 원연기자의 3차원 모션을 디스플레이할 수도 있으나 리타겟팅된 후의 원연기자 3차원 모션을 디스플레이하는 것이 바람직하다. 리타겟팅 되기전 원연기자의 3차원 모션을 디스플레이할 경우에는 원연기자의 모션을 충실히 재현할 수 있는 장점이 있는 반면 게임자의 모션과 원연기자의 모션을 정확히 평가하는데 어려움이 있다. 리타겟팅된 원연기자의 3차원 모션을 디스플레이할 경우에는 게임자 모션과 비교시 편리하게 처리할 수 있다는 장점이 있다. 즉 게임자의 모션을 원연기자의 모션과 중첩되게 디스플레이할 경우, 리타겟팅된 모션을 사용하면 게임자가 원연기자의 모션과의 동작차이가 얼마인지를 쉽게 인식할 수 있는 잇점이 있다.Thereafter, the 3D motion data of the original actor is displayed in real time and the guide operation is displayed (step S75). The displayed motion of the original actor may display the 3D motion of the original actor before being retargeted. It is desirable to display the original actor three-dimensional motion after being targeted. When displaying the original actor's three-dimensional motion before retargeting, the original actor's motion can be faithfully reproduced, while it is difficult to accurately evaluate the game player's motion and the original actor's motion. When displaying the three-dimensional motion of the retargeted original actor has the advantage that it can be conveniently processed compared to the player motion. In other words, when displaying the motion of the player overlapping with the motion of the original actor, using the retargeted motion has the advantage that the player can easily recognize the difference in operation with the motion of the original actor.
디스플레이되는 원연기자의 모션을 보면서 따라하는 게임자의 모션은 실시간으로 프레임 단위로 저장된다.(s76 단계) 이때 시각 t에서 디스플레이되는 원연기자 3차원 모션 프레임이 기본모션 프레임인지를 판단(s77 단계)한 후, 기본모션 프레임인 경우에는 s74 단계에서 계산된 기준 센서 위치 데이터와 실시간으로 파악되는 게임자 모션 프레임을 비교 평가한다.(s78 단계) 이때 s76 단계와 s77 단계는 순서상 바꾸어 수행되어도 무관하며, s74 단계는 s77 단계 후에 수행될 수도 있다. 즉, 원연기자 3차원 모션 프레임이 기본모션 프레임인지 여부를 판단한 후, 기본 모션 프레임에 대한 기준 센서 위치 데이터를 계산하면서 계산된 결과와 게임자의 모션으로부터 얻어진 센서의 위치를 비교 평가할 수도 있다. s77 단계이후에 s76 단계 또는 s74 단계가 수행될 경우에는 원연기자의 기본 모션 프레임을 따라하는 게임자의 모션 프레임만이 저장되고, 기본 프레임에 대한 기준 센서 위치 데이터만을 연산하면 된다는 잇점이 있다.The motion of the game player following the motion of the displayed original actor is stored in real time in units of frames (step S76). At this time, it is determined whether the original actor 3D motion frame displayed at time t is a basic motion frame (step S77). After that, in the case of the basic motion frame, the reference sensor position data calculated in step S74 is compared with the gamers motion frame that is recognized in real time (step S78). In this case, steps s76 and s77 may be performed in a different order. Step s74 may be performed after step s77. That is, after determining whether the original actor's three-dimensional motion frame is the basic motion frame, the calculated result may be compared with the position of the sensor obtained from the game player's motion while calculating the reference sensor position data for the basic motion frame. When step s76 or step s74 is performed after step s77, only the motion frame of the player following the basic motion frame of the original actor is stored, and only the reference sensor position data for the base frame needs to be calculated.
이후 마지막 프레임인지 여부를 체크한 후(s79 단계), 마지막 프레임이 아닌 경우에는 s75 단계를 다시 시작하고, 마지막 프레임인 경우에는 상기 비교 평가 결과를 이용하여 최종적인 결과를 디스플레이 한다.(s80 단계)After checking whether it is the last frame (step s79), if it is not the last frame, step s75 is restarted, and if it is the last frame, the final result is displayed using the comparison evaluation result (step s80).
게임자의 동작이 원연기자의 기본 모션 프레임과 일치하는 지에 대한 비교 평가는 짧은 시간내 실시간으로 이루어져야 하기 때문에 가능한 영상 평가 절차에소요되는 시간을 줄이기 위해서 도 8에 제시된 절차에 의해 수행되도록 하였다.In order to reduce the time required for the image evaluation procedure, the comparison procedure for whether the motion of the player matches the basic motion frame of the original actor should be performed in real time within a short time.
1. 기준 센서 위치값 연산 단계 (S81 단계)1.Reference sensor position value calculation step (step S81)
전술한 바와 같이 원연기자의 모션을 캡쳐하기 위해서 원연기자의 몸에 부착된 센서의 위치와 갯수가 게임자에 부착되는 센서의 위치와 갯수에 있어서 이를 적절히 평가하기 위해서는 우선적으로 비교할 대상을 일치시킬 필요가 있다. 따라서 게임자에 부착되는 센서의 위치와 갯수를 기준으로 원연기자의 기준 모션 데이터로부터 기준 센서의 3차원 위치값을 연산한다. 이를 기준 센서 위치값이라고 정의하고, 설명의 편의상 게임자에 부착된 센서 1의 기준 센서 위치값을 (X1,Y1,Z1)이라고 가정한다.As described above, in order to properly capture the position and number of sensors attached to the original actor's body in order to capture the motion of the original actor, it is necessary to first match the targets to be compared. There is. Therefore, the 3D position value of the reference sensor is calculated from the reference motion data of the original actor based on the position and the number of sensors attached to the game player. This is defined as a reference sensor position value, and for convenience of description, it is assumed that the reference sensor position value of the sensor 1 attached to the game player is (X1, Y1, Z1).
2. 각 카메라별 2차원 좌표값 산출 단계 (S82 단계)2. Step of calculating two-dimensional coordinate values for each camera (step S82)
전술한 바와 같이 게임자에 부착된 센서의 3차원 위치를 파악하기 위해서 복수 개 카메라를 이용하게 된다. 이렇게 구비된 복수 개 카메라의 2차원 영상을 합성함으로써 3차원 영상을 얻을 수 있다. 2차원 영상에서 3차원 영상을 합성하는 방식과 유사한 절차를 반대로 수행함으로써 해당하는 원연기자의 3차원 영상을 구현하기 위해서 각 카메라에 구비되어야 하는 해당 센서위치 2차원 좌표값을 산출할 수 있다. 이러한 영상 처리 방법을 통하여 상기 S1 단계의 기준 센서 위치값 (X1,Y1,Z1)으로부터 제 1 카메라에 표시되어야 할 2차원 좌표값 (X11,Y11), 제 2 카메라에 표시되어야 할 2차원 좌표값 (X21,Y21), ... , 제 n 번째 카메라를 통해 표시되어야 할 2차원 좌표값 (Xn1,Yn1)를 각각 산출할 수 있다.As described above, a plurality of cameras are used to determine the three-dimensional position of the sensor attached to the player. The 3D image can be obtained by synthesizing the 2D images of the plurality of cameras. By performing a procedure similar to the method of synthesizing a 3D image from a 2D image, a corresponding sensor position 2D coordinate value to be provided in each camera can be calculated to implement a 3D image of a corresponding original actor. Through this image processing method, two-dimensional coordinate values (X11, Y11) to be displayed on the first camera and two-dimensional coordinate values to be displayed on the second camera from the reference sensor position values (X1, Y1, Z1) of the step S1. (X21, Y21), ..., two-dimensional coordinate values (Xn1, Yn1) to be displayed through the n-th camera can be calculated, respectively.
3. 각 카메라의 타겟 영역 산출(S83 단계)3. Target area calculation of each camera (step S83)
각 카메라별로 센서가 발견되어야 하는 정확한 위치점으로부터 일정한 영역을 설정한다. 예를 들어 게임자가 원연기자의 정확한 모션을 따라할 경우 카메라 1 에 인식되는 센서 1 의 정확한 위치값은 (X11,Y11)이어야 하지만, 한치의 오차도 없이 정확한 모션을 취한다는 것은 불가능할 것이다. 따라서 (X11,Y11)을 중심으로 일정한 영역, 예를 들어 여유 마진을 5로 설정할 경우에는 (X11 - 5, Y11 - 5), (X11 + 5, Y11 - 5), (X11 + 5, Y11 + 5) 및 (X11 - 5, Y11 + 5)으로 이루어지는 사각 영역을 선정한다. 이러한 방식으로 선정된 영역을 편의상 타겟 영역이라고 지칭하기로 한다.For each camera, set a certain area from the exact location where the sensor should be found. For example, if the player follows the exact motion of the original actor, the exact position value of sensor 1 recognized by camera 1 should be (X11, Y11), but it will be impossible to take accurate motion without any error. Therefore, if you set a certain area around (X11, Y11), for example, the margin margin is 5, (X11-5, Y11-5), (X11 + 5, Y11-5), (X11 + 5, Y11 + 5) and a rectangular region consisting of (X11-5, Y11 + 5) is selected. The region selected in this manner will be referred to as a target region for convenience.
4. 타겟 영역내 센서검출 유무 체크(S84 단계)4. Check whether the sensor is detected in the target area (step S84)
각 카메라의 영상 자료 중에서 S83 단계에서 설정된 상기 타겟 영역내에 게임자에 부착된 센서의 영상좌표가 인입되는지의 여부를 체크한다. 통상의 이미지 처리 방식과 같이 각 카메라로부터 영상 출력되는 영상데이터의 전체 영역을 검색하여 게임자에 부착된 센서의 위치값을 파악한 후 이를 원연기자의 센서 위치값과 비교하는 방식을 적용할 경우에는 영상 처리에 상당한 시간이 소요된다. 따라서 센서가 발견되어야 하는 타겟 영역을 미리 설정하고 전체 영역이 아니라 일정 타겟 영역만을 체크함으로써 이미지 프로세싱의 시간을 상당히 절약할 수 있는 잇점이 있다. 이러한 방식으로 체크할 때, 모든 카메라의 타겟 영역내에서 센서가 발견되면 게임자가 모션을 정확하게 따라 한 것으로 평가하고, 발견되지 않을 경우에는게임자의 모션이 원연기자의 모션과 다름을 용이하게 판단할 수 있다. 또는 이렇게 검출된 이차원 데이터를 조합해서 3차원 위치 정보를 획득한 후, 즉 하나의 센서를 기준으로 2대 이상의 카메라로부터 얻은 2차원 검출 정보를 가지고 최종적으로 사용될 센서의 3차원 정보를 산출한 후 원연기자의 3차원 데이터와 비교하는 방법을 사용할 수도 있다. 복수개의 2차원 정보에서 3차원 정보를 얻어내는 알고리즘은 컴퓨터 비젼 분야의 일반적인 이론을 따랐으므로, 여기에서는 설명을 생략한다.It is checked whether the video coordinates of the sensor attached to the game player are inserted into the target area set in step S83 among the video data of each camera. In the case of applying the method of searching the entire area of the image data output from each camera to find the position value of the sensor attached to the game player and comparing it with the sensor position value of the original actor as in the conventional image processing method The process takes considerable time. Therefore, there is an advantage in that the time for image processing can be considerably saved by presetting a target area where a sensor should be found and checking only a predetermined target area instead of the entire area. When checked in this way, if a sensor is found within the target area of all cameras, the gamer will evaluate the motion correctly, and if it is not found, it can be easily determined that the motion of the player is different from that of the original actor. have. Alternatively, after obtaining the three-dimensional position information by combining the two-dimensional data detected in this way, that is, after calculating the three-dimensional information of the sensor to be finally used with the two-dimensional detection information obtained from two or more cameras based on one sensor You can also use a method that compares with the actor's three-dimensional data. An algorithm for obtaining three-dimensional information from a plurality of two-dimensional information follows a general theory in the field of computer vision, and thus description thereof is omitted here.
도 9는 본 발명의 실행 흐름을 보다 상세히 도시한 흐름도이다. 사용자 선택에 따라 음악(s101, s102 단계), 고성능 모션 캡쳐 시스템을 사용해서 사용자의 전신 동작을 추적할 수 있고, 이를 원연기자의 영상과 별도로 가시화하는 경우에 적용될 수 있는 캐릭터 및 무대 (s103, s104 단계)를 선택한다. 원연기자의 모션 캡쳐 DB로부터 원연기자 모션 데이터를 판독한다.(s105 단계) 원연기자 모션 데이터에 캐릭터 이미지를 오버레이한다.(s106 단계) 원연기자의 이미지를 그대로 사용하게 되면 영상파일의 사이즈가 증가하므로 원연기자의 모션 좌표에 이미 저장된 캐릭터 이미지를 오버레이함으로써 데이터 처리량을 줄일 수 있게 된다. 다음으로 모션 데이터와 음악 데이터를 매칭시키는 작업을 한다.(s107 단계) 원연기자의 모션 데이터는 디스플레이 장치를 이용하고, 음악은 사운드 장치를 사용하여 출력한다. (s108 단계) 사용자는 출력 자료에 따라 모션을 취하게 된다.(s109 단계)그런 후, 다수의 카메라를 이용하여 전신 모션을 캡쳐하고, 영상으로부터 마크를식별하고 프레임 단위로 모션을 추적한다.(s110, s111 단계) 이렇게 획득한 영상자료를 이용하여 2차원 좌표값을 추출하고, 추출된 데이터로부터 3차원 모션 좌표값을 획득하게 된다.(s113, s114 단계)9 is a flow chart illustrating the execution flow of the present invention in more detail. Depending on the user's selection, music (s101, s102 steps) and a high-performance motion capture system can be used to track the user's full body motion, which can be applied to visualize it separately from the original actor's image (s103, s104). Step). The original actor's motion data is read from the original actor's motion capture DB (step s105). The character image is overlaid on the original actor's motion data. (Step s106) If the original actor's image is used as it is, the image file size increases. Data throughput can be reduced by overlaying the character image already stored in the motion coordinates of the original actor. Next, a process of matching the motion data with the music data is performed (step s107). The motion data of the original actor is output using a display device, and the music is output using a sound device. (Step s108) The user takes motion according to the output data. (Step s109) Then, using a plurality of cameras to capture the whole body motion, to identify the mark from the image and to track the motion by frame. Steps s110 and s111) Two-dimensional coordinate values are extracted using the obtained image data, and three-dimensional motion coordinate values are obtained from the extracted data (steps s113 and s114).
다음으로 원연기자 좌표 데이터와 모션 캡쳐된 학습자의 3차원 좌표값을 이용하여 신체 칫수를 비교한다.(s115, s116 단계) 실측비교결과가 차이가 있을 경우에는 리타겟팅을 실시한다.(s117, s118 단계) 리타겟팅은 도 9에 제시된 흐름과 같이 학습자 모션 캡쳐 중간에 시행할 수도 있지만, 본격적인 모션 캡쳐가 실행되기 전에 행할 수도 있다. 리타겟팅 후에는 기준 프레임인 경우 원연기자 데이터와 학습자의 데이터를 비교하여 일치 또는 불일치 여부를 체크한다.(s119, s120 단계) 일치가 될 경우에는 점수를 부여하고, 일치된 총횟수를 카운트하여 동작 일치 메세지 또는 광고대상품 DB를 이용하여 획득한 광고 대상물을 표시할 수 있게 한다.(s122 내지 s124 단계) 사용자 모션 저장부에 모션 캡쳐 데이터를 저장한 후, 마지막 프레임인지의 여부를 체크한다.(s125, s126 단계) 마지막 프레임이 아닌 경우에는 다음 모션을 캡쳐하게 되며, 마지막 프레임인 경우에는 게임을 종료하게 된다.Next, the body dimensions are compared using the original actor coordinate data and the motion-captured learner's three-dimensional coordinate values (steps s115 and s116). If there are differences in the measured results, retargeting is performed (s117, s118). Step) The retargeting may be performed in the middle of learner motion capture as shown in the flow shown in FIG. 9, but may be performed before full-scale motion capture is executed. After retargeting, it compares the original actor data with the learner's data in the case of the reference frame and checks whether there is a match or inconsistency (steps s119 and s120). The advertisement object obtained by using the match message or the advertisement price product DB can be displayed (steps s122 to s124). After storing the motion capture data in the user motion storage unit, it is checked whether or not it is the last frame. Steps s125 and s126) If it is not the last frame, the next motion is captured. If it is the last frame, the game ends.
원연기자 모션 데이터와 학습자의 모션 데이터가 불일치할 경우에는 불일치 횟수에 따라 게임을 종료할 것인가의 기능설정여부를 검토한 후 (s127 단계), 특정횟수이상 불일치한 경우에 강제로 게임을 종료하게 한다.If there is a discrepancy between the original actor's motion data and the learner's motion data, review whether or not to set the function to end the game according to the number of discrepancies (step s127). .
이상에서 설명한 바와 같이, 본 발명의 모션 게임 장치에 의해서 댄서 등의 모션을 따라하는 게임자 또는 게임자의 모션의 평가가 실시간으로 가능하게 되었다.As described above, the motion game apparatus of the present invention makes it possible to evaluate in real time the motion of a player or a player following a motion of a dancer or the like.
원연기자의 모션을 보여 주는 모션 게임 장치에 있어서 게임자가 보다 용이하게 원연기자의 모션을 따라 할 수 있도록 모션 데이터를 재생하는 방법을 제시함으로써 사용의 편리성을 증대 시키는 효과를 가져 왔으며, 원연기자의 모션을 따라 하는 게임자의 모션을 실시간으로 빠르게 평가하게 됨으로써 모션 게임 장치의 실용화가 가능하게 되었다.In the motion game device that shows the original actor's motion, the method of reproducing the motion data can be easily presented to the player so that the player can easily follow the motion of the original actor. By quickly evaluating the motion of the game player following the motion in real time, the motion game apparatus can be put to practical use.
본 발명은 특정의 실시예와 관련하여 도시 및 설명하였지만, 첨부된 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도내에서 다양한 개조 및 변화가 가능하다는 것을 당업계에서 통상의 지식을 가진자라면 누구나 쉽게 알 수 있을 것이다.While the invention has been shown and described with respect to particular embodiments, it will be apparent to those skilled in the art that various modifications and changes can be made without departing from the spirit and scope of the invention as indicated by the appended claims. Anyone can grow up easily.
Claims (9)
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2000-0059646A KR100412932B1 (en) | 2000-10-11 | 2000-10-11 | Method of displaying and evaluating motion data using in motion game apparatus |
| US09/881,066 US6554706B2 (en) | 2000-05-31 | 2001-06-15 | Methods and apparatus of displaying and evaluating motion data in a motion game apparatus |
| AU2001294329A AU2001294329A1 (en) | 2000-10-11 | 2001-10-11 | Method of displaying and evaluating motion data used in motion game apparatus |
| PCT/KR2001/001710 WO2002030535A1 (en) | 2000-10-11 | 2001-10-11 | Method of displaying and evaluating motion data used in motion game apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2000-0059646A KR100412932B1 (en) | 2000-10-11 | 2000-10-11 | Method of displaying and evaluating motion data using in motion game apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20020028578A true KR20020028578A (en) | 2002-04-17 |
| KR100412932B1 KR100412932B1 (en) | 2003-12-31 |
Family
ID=19692866
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2000-0059646A KR100412932B1 (en) | 2000-05-31 | 2000-10-11 | Method of displaying and evaluating motion data using in motion game apparatus |
Country Status (3)
| Country | Link |
|---|---|
| KR (1) | KR100412932B1 (en) |
| AU (1) | AU2001294329A1 (en) |
| WO (1) | WO2002030535A1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160093131A (en) * | 2015-01-28 | 2016-08-08 | 한국전자통신연구원 | Method and System for Motion Based Interactive Service |
| KR20220042666A (en) * | 2020-09-28 | 2022-04-05 | 한국생산기술연구원 | Apparatus and method for quantitatively analyzing and evaluating posture to train exercise by repetitive motion |
| KR20220046930A (en) * | 2020-10-08 | 2022-04-15 | 주식회사 참핏 | Apparatus, system and method for avaluating flexibility of the body |
| CN112069075B (en) * | 2020-09-09 | 2023-06-30 | 网易（杭州）网络有限公司 | Fashionable dress test method and device for game roles and game client |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004007034A1 (en) * | 2002-07-12 | 2004-01-22 | Awaba Group Pty Ltd | A dance training device |
| US7625284B2 (en) | 2007-06-14 | 2009-12-01 | Harmonix Music Systems, Inc. | Systems and methods for indicating input actions in a rhythm-action game |
| EP2494432B1 (en) | 2009-10-27 | 2019-05-29 | Harmonix Music Systems, Inc. | Gesture-based user interface |
| US9981193B2 (en) | 2009-10-27 | 2018-05-29 | Harmonix Music Systems, Inc. | Movement based recognition and evaluation |
| US8550908B2 (en) | 2010-03-16 | 2013-10-08 | Harmonix Music Systems, Inc. | Simulating musical instruments |
| US9358456B1 (en) | 2010-06-11 | 2016-06-07 | Harmonix Music Systems, Inc. | Dance competition game |
| US9024166B2 (en) | 2010-09-09 | 2015-05-05 | Harmonix Music Systems, Inc. | Preventing subtractive track separation |
| GB2495551B (en) | 2011-10-14 | 2014-04-09 | Sony Comp Entertainment Europe | Motion scoring method and apparatus |
| KR101271688B1 (en) | 2011-11-03 | 2013-06-05 | 삼성중공업 주식회사 | Device and method for measuring motion of floating dock |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2804949B2 (en) * | 1990-01-31 | 1998-09-30 | 富士電機株式会社 | Moving image processing method |
| US5554033A (en) * | 1994-07-01 | 1996-09-10 | Massachusetts Institute Of Technology | System for human trajectory learning in virtual environments |
| JP3452783B2 (en) * | 1998-01-27 | 2003-09-29 | 株式会社第一興商 | Karaoke device with choreography scoring function |
| JP3003851B1 (en) * | 1998-07-24 | 2000-01-31 | コナミ株式会社 | Dance game equipment |
| KR20010027314A (en) * | 1999-09-13 | 2001-04-06 | 윤종용 | karaoke system for marking motion and marking method |
| KR20000024237A (en) * | 2000-01-31 | 2000-05-06 | 김완호 | Music accompaniment system having function of dance appraisal and guidance and method thereof |
| KR20000054349A (en) * | 2000-06-02 | 2000-09-05 | 김용환 | 3 -Dimetional Dance Simulator with the Capability of Free Step |
-
2000
- 2000-10-11 KR KR10-2000-0059646A patent/KR100412932B1/en not_active IP Right Cessation
-
2001
- 2001-10-11 AU AU2001294329A patent/AU2001294329A1/en not_active Abandoned
- 2001-10-11 WO PCT/KR2001/001710 patent/WO2002030535A1/en active Application Filing
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160093131A (en) * | 2015-01-28 | 2016-08-08 | 한국전자통신연구원 | Method and System for Motion Based Interactive Service |
| CN112069075B (en) * | 2020-09-09 | 2023-06-30 | 网易（杭州）网络有限公司 | Fashionable dress test method and device for game roles and game client |
| KR20220042666A (en) * | 2020-09-28 | 2022-04-05 | 한국생산기술연구원 | Apparatus and method for quantitatively analyzing and evaluating posture to train exercise by repetitive motion |
| KR20220046930A (en) * | 2020-10-08 | 2022-04-15 | 주식회사 참핏 | Apparatus, system and method for avaluating flexibility of the body |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2002030535A1 (en) | 2002-04-18 |
| KR100412932B1 (en) | 2003-12-31 |
| AU2001294329A1 (en) | 2002-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP4002198A1 (en) | Posture acquisition method and device, and key point coordinate positioning model training method and device | |
| CN1222859C (en) | Apparatus and method for indicating target by image processing without three-dimensional modeling | |
| KR100845390B1 (en) | Image processing apparatus, image processing method, record medium, and semiconductor device | |
| CN110544301A (en) | Three-dimensional human body action reconstruction system, method and action training system | |
| KR101936692B1 (en) | Dance training apparatus and method using automatic generation of dance key motion | |
| CN112560605B (en) | Interaction method, device, terminal, server and storage medium | |
| CN106355153A (en) | Virtual object display method, device and system based on augmented reality | |
| KR20090084563A (en) | Method and apparatus for generating the depth map of video image | |
| KR20020028578A (en) | Method of displaying and evaluating motion data using in motion game apparatus | |
| WO2010038693A1 (en) | Information processing device, information processing method, program, and information storage medium | |
| CN102075680A (en) | Image processing apparatus, image processing method and program | |
| KR20150039252A (en) | Apparatus and method for providing application service by using action recognition | |
| CN110544302A (en) | Human body action reconstruction system and method based on multi-view vision and action training system | |
| CN104252712A (en) | Image generating apparatus and image generating method | |
| KR20010095900A (en) | 3D Motion Capture analysis system and its analysis method | |
| CN113342157B (en) | Eyeball tracking processing method and related device | |
| KR20020011851A (en) | Simulation game system using machine vision and pattern-recognition | |
| JP2004248725A (en) | Analysis device and method of shot ball | |
| US20070298396A1 (en) | Computer executable dynamic presentation system for simulating human meridian points and method thereof | |
| CN112416124A (en) | Dance posture feedback method and device | |
| KR102388715B1 (en) | Apparatus for feeling to remodeling historic cites | |
| Chouvatut et al. | Virtual piano with real-time interaction using automatic marker detection | |
| KR200239844Y1 (en) | Simulation game system using machine vision and pattern-recognition | |
| JP2001051579A (en) | Method and device for displaying video and recording medium recording video display program | |
| KR20010107478A (en) | Motion game apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20061213 Year of fee payment: 4 |
|
| LAPS | Lapse due to unpaid annual fee |