KR101007947B1 - 네트워크를 이용한 가상현실 무도 대련시스템 및 그 방법 - Google Patents

네트워크를 이용한 가상현실 무도 대련시스템 및 그 방법 Download PDF

Info

Publication number
KR101007947B1
KR101007947B1 KR1020100082131A KR20100082131A KR101007947B1 KR 101007947 B1 KR101007947 B1 KR 101007947B1 KR 1020100082131 A KR1020100082131 A KR 1020100082131A KR 20100082131 A KR20100082131 A KR 20100082131A KR 101007947 B1 KR101007947 B1 KR 101007947B1
Authority
KR
South Korea
Prior art keywords
user
dalian
image
motion
information
Prior art date
Application number
KR1020100082131A
Other languages
English (en)
Inventor
윤상범
Original Assignee
윤상범
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤상범 filed Critical 윤상범
Priority to KR1020100082131A priority Critical patent/KR101007947B1/ko
Application granted granted Critical
Publication of KR101007947B1 publication Critical patent/KR101007947B1/ko
Priority to US13/179,560 priority patent/US8282482B2/en
Priority to PCT/KR2011/005467 priority patent/WO2012026681A2/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0015—Dancing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/833—Hand-to-hand fighting, e.g. martial arts competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G09B19/0038—Sports
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8029—Fighting without shooting
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 다수의 단말기에서 각각의 사용자 동작을 감지하여 입체 영상으로 구현하고, 네트워크 데이터통신을 통하여 대련과정을 수행함으로써 시간적 공간적 제약을 받지 않고 혼자서도 상대방 대련자의 가상 캐릭터와 효과적으로 대련을 수행할 수 있으며, 부상 등의 위험을 방지하도록 하는 네트워크를 이용한 가상현실 무도 대련시스템 및 그 방법에 관한 것이다. 본 발명은 인터넷망에 접속된 네트워크 서버에서 사용자 단말기로부터 전송된 사용자 정보를 수신하 로그인시키고, 상기 사용자 단말기의 선택에 따라 대련자 정보 및 대련진행정보를 전송받아 해당 대련프로그램을 구동시키며, 이에 따라 사용자 단말기의 동작 인식부에서 인식된 사용자 동작과 상기 위치 감지부에서 감지된 사용자 발의 이동 위치를 참조하여 3D공간의 사용자 동작을 결정하고 사용자 동작영상을 생성하며, 네트워크를 통하여 수신된 상대방 대련자의 동작영상과 함께 메인영상과 배경영상을 표시하고, 상기 사용자 동작과 상기 대련자 동작중 그 동작들이 일정공간에서 서로 중첩되는가를 비교하여 공격유효값을 판정하고, 상기 판정된 공격유효값에 따라 상대방의 가상 캐릭터를 이용한 타격반응영상을 생성하여 표시하며, 타격구동신호를 송수신하여 타격구동모듈을 동작시키고, 대련진행정보를 각각의 DB에 업데이트함과 아울러 사용자 단말기에서 그 결과를 화면에 표시하는 것을 특징으로 한다.

Description

네트워크를 이용한 가상현실 무도 대련시스템 및 그 방법{System and method for cyber training of martial art on network}
본 발명은 네트워크를 이용한 가상현실 무도 대련시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 다수의 단말기에서 각각의 사용자 동작을 감지하여 입체 영상으로 구현하고, 네트워크 데이터통신을 통하여 대련과정을 수행함으로써 시간적 공간적 제약을 받지 않고 혼자서도 상대방 대련자의 가상 캐릭터와 효과적으로 대련을 수행할 수 있으며, 부상 등의 위험을 방지하도록 하는 네트워크를 이용한 가상현실 무도 대련시스템 및 그 방법에 관한 것이다.
본 발명에서 정의하는 무도(武道)란 태권도, 쿵푸, 공수도, 기공, 검도 및 마샬아트(Martial art) 등의 각종 무술들과, 권투, 레슬링, 격투기 등의 각종 격투 스포츠를 총괄하여 의미한다.
일반적으로 무도를 수련하려면, 수련자가 도장이나 학원으로 직접 찾아가야 하나, 시간 및 장소의 제한 때문에 바쁜 현대인들에게는 무도 수련에 많은 어려움이 있었다.
이러한 어려움을 해결하기 위한 종래기술로는 도장이나 학원에 다니지 않고도 교육용 동영상 자료를 전송받아 무술 또는 생활체육을 수련할 수 있고, 그 수련 성취도를 온라인 원격 심사에 의하여 알 수 있도록 하는 방법에 대한 공개특허공보 공개번호 특2002-0041688호(발명의 명칭 : 무술 및 생활체육에 대한 온라인 원격 교육 및 심사방법)가 공개되어 있다.
그러나, 이러한 종래기술은, 단순히 교육용 동영상을 재생하여 시청하는 일방적인 해설 위주의 교육 기능만을 제공하기 때문에 사용자와 장치간 실시간 상호 정보 교환이 이루어지지 못함으로써 사용자 혼자서 효과적으로 대련과정을 수행할 수 없는 문제점이 있었다.
또한, 오프라인상에서 적정한 수준의 대련자를 선별하기 어렵고, 수련자들이 실제로 대련을 수행할 경우 부상 등의 위험이 있는 문제점이 있었다.
또한. 부상의 위험으로 인하여 공격 부위 등을 제한할 경우 실질적인 공격을 할수 없기 때문에 대련 효과를 상승시킬 수 없는 문제점도 있었다.
본 발명은 상술한 종래의 문제점을 극복하기 위한 것으로서, 다수의 단말기에서 각각의 사용자 동작을 감지하여 입체 영상으로 구현하고, 네트워크 데이터통신을 통하여 대련과정을 수행함으로써 가정 또는 도장이나 학원에서 시간적 공간적 제약을 받지 않고 혼자서도 상대방 대련자의 가상 캐릭터와 효과적으로 대련을 수행할 수 있으며, 부상 등의 위험을 방지하면서도 대련 효과를 상승시킬 수 있는 네트워크를 이용한 가상현실 무도 대련시스템 및 그 방법을 제공하는 데에 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명에 따른 네트워크를 이용한 가상현실 무도 대련시스템은, 인터넷망에 접속되어 네트워크 서버와 사용자 정보를 송수신하며, 대련자 정보를 수신하여 종목, 등급, 지역 및 성별 대련조건을 검색 및 선택하고, 이에 따른 대련 진행 정보를 수신하여 해당 대련프로그램을 구동하고, 사용자 동작영상과 함께 대련자 동작영상 및 타격구동신호를 송수신하여 대련기능을 수행하는 사용자 단말기; 상기 사용자 단말기로부터 전송된 사용자 정보를 수신하고 미리 저장된 정보와 비교하여 로그인시키는 사용자 정보 관리수단; 상기 사용자 단말기에 대련자 정보를 송수신하고, 대련자의 등급, 지역, 성별 정보와 대련 기록들을 업데이트 및 관리하는 대련자 정보 관리수단; 상기 사용자 단말기에 대련진행정보를 송수신하고, 대련 순서, 승점 및 감점 정보, 승패 정보, 랭킹 정보들을 업데이트 및 관리하는 대련진행정보 관리수단; 상기 사용자 단말기로부터 전송된 사용자 동작영상을 수신하여 업데이트 및 관리하는 영상정보 관리수단; 상기 사용자 단말기와 정보를 송수신하는 통신수단을 포함하는 네트워크 서버; 사용자 정보를 저장하는 사용자 정보 DB; 대련자 정보를 저장하는 대련자 정보 DB; 대련진행정보를 저장하는 대련진행정보 DB; 사용자 동작영상을 저장하는 영상정보 DB를 포함하며, 상기 네트워크 서버의 요청에 따라 각각의 정보를 입출력시키는 데이터 관리수단; 및 상기 네트워크 서버에 접속하여 네트워크 관리자 정보를 송수신하며 시스템을 관리하는 네트워크 관리자 단말기를 포함하는 것을 특징으로 한다.
상기 대련진행정보 관리수단은, 지역별, 연령별, 성별에 따라 대련 랭킹을 기록 관리하되, 해당 분류내에서 상대 평가 방식으로 랭킹을 결정한다.
상기 사용자 단말기의 지역 분류는, ISP(Internet Service Provider)에서 할당된 사용자의 접속 IP를 통하여 확인할 수 있다.
상기 사용자 단말기는, 사용자 정보를 입력받아 로그인시키고, 종목, 등급, 지역 및 성별 대련조건을 선택하는 입력부; 사용자의 이동 속도, 거리, 위치 및 각도를 검출하여 사용자 동작을 인식하는 동작 인식부; 평면상에서 사용자 발의 이동 위치를 감지하는 위치 감지부; 상기 입력부의 선택에 대응되는 종목, 등급, 지역 및 성별 대련조건에 따른 대련프로그램을 저장하고, 사용자 정보 및 판정 결과를 저장하는 데이터 저장부; 상기 입력부의 선택 결과에 따라 상기 데이터 저장부에 저장된 해당 대련프로그램을 구동시키고, 상기 동작 인식부에서 인식된 사용자 동작과 상기 위치 감지부에서 감지된 사용자 발의 이동 위치를 참조하여 3D공간에서의 사용자 동작을 결정하고, 상기 네트워크 서버에서 수신되는 대련자 동작을 비교하여 공격유효값을 판정하고, 해당 점수를 결정하여 승점 또는 감점을 누적시키고, 미리 저장된 가상 캐릭터를 이용하여 사용자 동작영상 및 대련자 동작영상을 생성하며, 상기 판정된 공격유효값에 따라 상대방의 가상 캐릭터를 이용하여 사용자 타격반응영상 및 대련자 타격반응영상을 생성하고, 이에 따른 타격구동신호를 생성하는 제어부; 상기 제어부의 사용자 동작영상 및 대련자 동작영상을 표시하는 메인영상 표시부; 상기 제어부의 타격구동신호에 따라 물리적 진동 또는 충격을 구현하여 사용자 신체에 전달하는 타격 구동부; 및 상기 네트워크 서버의 통신수단과 사용자 정보, 대련자 정보, 대련진행정보, 타격구동신호 및 동작영상을 송수신하여 상기 제어부에 전달하는 통신부를 포함한다.
상기 입력부는; 사용자 정보를 입력받아 로그인시키는 로그인키; 및 상기 종목, 등급, 지역 및 성별 대련조건중 어느 하나의 조건 또는 이들의 조합을 선택하는 대련조건 선택키를 포함한다.
상기 동작 인식부는; 사용자의 신체에 다수의 마커를 부착하고, 상기 마커의 동작을 적외선 촬영으로 검출하여 사용자 동작을 인식하는 다수의 모션 캡쳐 카메라로 구성된다.
상기 동작 인식부는; 지자기의 방향을 감지하는 지자기 센서; 압전재료에 가속을 발생시켜 가속도를 감지하는 가속도 센서 및 회전하는 각의 수직힘을 통하여 회전각가속도를 감지하는 자이로 센서중 어느 하나를 사용자의 신체 또는 옷에 부착하거나, 또는 상기 센서들의 조합하여 부착한다.
상기 위치 감지부는; 소정 면적을 갖으며, 압력부위에 저항이 발생하도록 겹쳐진 두장의 패널로 형성되어 사용자의 발이 누르는 좌표의 위치를 측정하는 저항식 터치패드를 포함한다.
상기 제어부는; 상기 입력부의 종목, 등급, 지역 및 성별 대련조건의 선택 결과에 따라 상기 데이터 저장부에 저장된 해당 대련프로그램을 구동시키는 프로그램 구동모듈; 상기 동작 인식부에서 인식된 사용자 동작과 상기 위치 감지부에서 감지된 사용자 발의 이동 위치를 참조하여 3D공간에서의 사용자 동작을 결정하는 동작결정모듈; 상기 사용자 동작과 상기 네트워크 서버에서 수신되는 대련자 동작중 그 동작들이 일정공간에서 서로 중첩되는가를 비교하는 비교모듈; 상기 비교모듈의 비교 결과, 중첩될 경우 각 동작의 이동 속도, 거리, 위치 및 각도에 따라 공격유효값을 판정하고, 해당 점수를 결정하여 승점 또는 감점을 누적시키는 판정모듈; 미리 저장된 가상 캐릭터를 이용하여 사용자 동작영상 및 대련자 동작영상을 생성하고, 상기 판정모듈에서 판정된 공격유효값에 따라 상대방의 가상 캐릭터를 이용한 타격반응영상을 생성하는 영상생성모듈; 및 상기 공격유효값에 따른 타격구동신호를 생성하여 출력하는 타격구동모듈을 포함한다.
상기 영상생성모듈은, 상기 메인영상 표시부의 사용자 동작영상에 따른 효과영상 및 배경영상을 더 생성하고, 상기 효과영상 및 배경영상을 평판디스플레이모듈에 표시하는 배경영상 표시부를 더 포함한다.
상기 제어부는, 상기 영상생성모듈에서 생성된 상기 메인영상, 효과영상 및 배경영상에 따른 효과음 및 배경음악을 생성하는 음향생성모듈을 더 포함하고, 상기 음향생성모듈에서 생성된 효과음 및 배경음악을 스피커를 통하여 출력하는 음향 출력부를 더 포함한다.
상기 메인영상 표시부는; 사용자가 착용하는 3D안경과 상기 3D안경을 통하여 입체로 보여지는 3D 입체 영상을 화면에 디스플레이하는 3D 입체 영상 디스플레이모듈로 구성된다.
상기 메인영상 표시부는; 홀로그래피의 원리를 이용하여 간섭 줄무늬를 만들어 연속적인 입체 영상을 재현하는 홀로그램 영상 디스플레이모듈로 구성된다.
상기 메인영상 표시부는; 사용자의 머리에 착용하고, 구현된 영상을 HMD 화면에 디스플레이하는 HMD(Head Mounted Display)모듈로 구성된다.
사용자의 영상을 촬영하는 사용자 영상 촬영부를 더 포함하고, 상기 제어부는 상기 사용자 영상 촬영부에서 실제 촬영된 영상을 이용하여 사용자 동작영상을 생성할 수 있다.
본 발명에 따른 네트워크를 이용한 가상현실 무도 대련방법은, 인터넷망에 접속된 네트워크 서버의 사용자 정보 관리수단에서 사용자 단말기로부터 전송된 사용자 정보를 수신하고 사용자 정보 DB에 미리 저장된 정보와 비교하여 로그인시키는 단계; 상기 사용자 단말기에서 대련자 정보를 수신하여 종목, 등급, 지역 및 성별 대련조건을 선택하여 전송하고, 대련진행정보 관리수단에서 상기 선택에 따른 대련진행정보를 대련진행정보 DB로부터 읽어내어 상기 사용자 단말기에 전송하고, 이에 따른 대련 프로그램을 구동시키는 단계; 사용자 단말기의 동작 인식부에서 사용자의 이동 속도, 거리, 위치 및 각도를 검출하여 사용자 동작을 인식하고, 위치 감지부에서 평면상에서 사용자 발의 이동 위치를 감지하며, 제어부에서 상기 동작 인식부에서 인식된 사용자 동작과 상기 위치 감지부에서 감지된 사용자 발의 이동 위치를 참조하여 3D공간의 사용자 동작을 결정하는 단계; 사용자 단말기의 제어부에서 상기 사용자 동작에 따라 미리 저장된 가상 캐릭터를 이용하여 사용자 동작영상을 생성 및 전송하고, 네트워크 서버로부터 대련자 동작영상을 수신하며, 메인영상 표시부에 상기 사용자 동작영상과 대련자 동작영상을 메인영상으로 하여 배경영상과 함께 표시하고, 이에 따른 음향을 생성 및 출력하는 단계; 상기 사용자 동작과 상기 네트워크 서버에서 수신되는 대련자 동작중 그 동작들이 일정공간에서 서로 중첩되는가를 비교하여 중첩될 경우 각 동작의 이동 속도, 거리, 위치 및 각도에 따라 공격유효값을 판정하고, 상기 판정된 공격유효값에 따라 상대방의 가상 캐릭터를 이용한 타격반응영상을 생성하여 표시하며, 상기 공격유효값에 따른 타격구동신호를 송수신하여 타격구동모듈을 동작시키는 단계; 및 상기 공격유효값에 따른 해당 점수를 결정하여 승점 또는 감점을 누적시키고, 해당 대련자 정보 및 대련진행정보를 송신하여 대런자 정보 DB 및 대련진행정보 DB를 업데이트시키고, 지역별, 연령별, 성별에 따라 대련 랭킹을 기록하며 판정결과를 화면에 표시하는 단계를 포함하는 것을 특징으로 한다.
상기 사용자 단말기의 지역 분류는, ISP(Internet Service Provider)에서 할당된 사용자의 접속 IP를 통하여 확인할 수 있다.
상기 사용자 동작을 인식하는 단계는; 다수의 모션 캡쳐 카메라로 사용자의 신체에 다수의 마커를 부착하고, 상기 마커의 동작을 적외선 촬영으로 검출하여 사용자 동작을 인식한다.
상기 사용자 동작을 인식하는 단계는; 사용자의 신체 또는 옷에 부착된 지자기 센서를 이용하여 지자기의 방향을 감지하거나, 가속도 센서를 이용하여 압전재료에 가속을 발생시켜 가속도를 감지하거나 또는 자이로 센서를 이용하여 회전하는 각의 수직힘을 통하여 회전각가속도를 감지하여 사용자 동작을 인식한다.
상기 사용자 동작영상을 표시하는 단계는; 상기 제어부에서 효과영상 및 배경영상을 더 생성하고, 배경영상 표시부는 상기 효과영상 및 배경영상을 화면에 표시한다.
상기 음향을 출력하는 단계는; 상기 제어부에서 상기 사용자 동작영상 및 대련자 동작영상에 따른 효과음 및 배경음악을 생성하며, 음향 출력부는 상기 효과음 및 배경음악을 스피커를 통하여 출력한다.
상기 사용자 동작영상을 표시하는 단계는; 3D 입체 영상 디스플레이모듈을 이용하여 사용자가 착용한 3D안경을 통하여 보여지는 3D 입체 영상을 화면에 디스플레이하거나, 홀로그램 영상 디스플레이모듈을 이용하여 홀로그래피의 원리로 간섭 줄무늬를 만들어 연속적인 입체 영상을 재현하거나 또는 HMD(Head Mounted Display)모듈을 이용하여 사용자의 머리에 착용하고, 구현된 영상을 HMD 화면에 디스플레이한다.
상기와 같이 구성된 본 발명에 따른 네트워크를 이용한 가상현실 무도 대련시스템 및 그 방법에 의하면, 다수의 단말기에서 각각의 사용자 동작을 감지하여 입체 영상으로 구현하고, 네트워크 데이터통신을 통하여 대련과정을 수행함으로써 가정 또는 도장이나 학원에서 시간적 공간적 제약을 받지 않고 혼자서도 상대방 대련자의 가상 캐릭터와 효과적으로 대련을 수행할 수 있으며, 부상 등의 위험을 방지할 수 있는 효과가 있다.
도 1은 본 발명에 따른 네트워크를 이용한 가상현실 무도 대련시스템을 나타낸 블록 구성도.
도 2는 도 1의 사용자 단말기를 나타낸 블록 구성도.
도 3은 본 발명에 따른 홀로그램을 이용하여 가상현실 무도 대련시스템을 구현하기 위한 일실시예를 나타낸 사시도.
도 4는 도 3의 평면도.
도 5는 홀로그램 디스플레이 모듈을 이용하여 영상을 구현한 예를 나타낸 개념도.
도 6은 3D 입체 영상 디스플레이 모듈을 이용하여 영상을 구현한 예를 나타낸 개념도.
도 7은 도 6의 3D 입체 안경의 일실시예를 나타낸 도면.
도 8은 HMD모듈을 이용한 예를 나타낸 개념도.
도 9는 도 8의 HMD모듈의 일실시예를 나타낸 도면.
도 10 및 도 11은 본 발명에 따른 가상현실 무도 대련방법을 나타낸 제어 흐름도.
이하, 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되지 아니하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명에 따른 네트워크를 이용한 가상현실 무도 대련시스템을 나타낸 블록 구성도이다.
도시된 바와 같이, 본 발명은 네트워크 관리자 단말기(10), 네트워크 서버(20), 사용자 정보 관리수단(21), 대련자 정보 관리수단(22), 대련진행정보 관리수단(23), 영상정보 관리수단(25), 통신수단(26), 데이터 관리수단(30), 사용자 정보 DB(31), 대련자 정보 DB(32), 대련진행정보 DB(33), 영상정보 DB(35), 인터넷망(40) 및 사용자 단말기(50)를 포함한다.
도시된 바와 같이, 사용자 단말기(50)는 가정 또는 도장이나 학원에 설치되어 시간적 공간적 제약을 받지 않고 이용할 수 있다.
사용자 단말기(50)는 인터넷망(40)에 접속되어 네트워크 서버(20)와 사용자 정보를 송수신하며, 대련자 정보를 수신하여 종목, 등급, 지역 및 성별 대련조건을 검색 및 선택하고, 이에 따른 대련 진행 정보를 수신하여 해당 대련프로그램을 구동하고, 사용자 동작영상과 함께 대련자 동작영상 및 타격구동신호를 송수신하여 대련기능을 수행한다. 이에 대한 더욱 상세한 구성은 첨부된 도 2 내지 도 4를 참조하여 후술하기로 한다.
네트워크 서버(20)는 사용자 정보 관리수단(21), 대련자 정보 관리수단(22), 대련진행정보 관리수단(23), 영상정보 관리수단(25), 통신수단(26)을 포함한다.
사용자 정보 관리수단(21)은 상기 사용자 단말기(50)로부터 전송된 사용자 정보를 수신하고 미리 저장된 정보와 비교하여 로그인시킨다.
대련자 정보 관리수단(22)은 상기 사용자 단말기(50)에 대련자 정보를 송수신하고, 대련자의 등급, 지역, 성별 정보와 대련 기록들을 업데이트 및 관리한다.
대련진행정보 관리수단(23)은 상기 사용자 단말기(50)에 대련진행정보를 송수신하고, 대련 순서, 승점 및 감점 정보, 승패 정보, 랭킹 정보들을 업데이트 및 관리한다.
영상정보 관리수단(25)은 상기 사용자 단말기로부터 전송된 사용자 동작영상을 수신하여 업데이트 및 관리한다.
통신수단(26)은 상기 사용자 단말기(50)와 정보를 송수신한다.
데이터 관리수단(30)은 사용자 정보를 저장하는 사용자 정보 DB(31); 대련자 정보를 저장하는 대련자 정보 DB(32); 대련진행정보를 저장하는 대련진행정보 DB(33); 사용자 동작영상을 저장하는 영상정보 DB(35)를 포함하며, 상기 네트워크 서버(20)의 요청에 따라 각각의 정보를 입출력시킨다.
네트워크 관리자 단말기(10)는 상기 네트워크 서버(20)에 접속하여 네트워크 관리자 정보를 송수신하며 시스템을 관리한다.
상기 대련진행정보 관리수단(23)은, 지역별, 연령별, 성별에 따라 대련 랭킹을 기록 관리하되, 해당 분류내에서 상대 평가 방식으로 랭킹을 결정한다.
상기 사용자 단말기(50)의 지역 분류는, ISP(Internet Service Provider)에서 할당된 사용자의 접속 IP를 통하여 확인하는 것이 바람직하다.
도 2는 도 1의 사용자 단말기를 나타낸 블록 구성도이고, 도 3은 본 발명에 따른 홀로그램을 이용하여 가상현실 무도 대련시스템을 구현하기 위한 일실시예를 나타낸 사시도이며, 도 4는 도 3의 평면도이다.
도시된 바와 같이, 본 발명의 사용자 단말기(50)는, 입력부(100), 로그인키(110), 대련조건 선택키(120), 동작 인식부(200), 동작 캡쳐 카메라(210), 지자기 센서(220), 가속도 센서(230), 자이로 센서(240), 위치감지부(300), 저항식 터치패드(310), 제어부(400), 프로그램 구동모듈(410), 동작결정모듈(420), 비교모듈(430), 판정모듈(440), 영상생성모듈(450), 음향생성모듈(460), 타격구동모듈(470), 데이터 저장부(500), 메인영상 표시부(600), 3D 입체 영상 디스플레이모듈(610), 3D안경(611), 홀로그램 영상 디스플레이모듈(620), HMD모듈(630), 배경영상 표시부(700), 평면디스플레이모듈(710), 음향 출력부(800), 스피커(810), 사용자 영상 촬영부(900), 타격 구동부(1000), 진동모터(1010), 저주파 자극기(1020) 및 통신부(1100)를 포함한다.
입력부(100)는 사용자 정보를 입력받아 로그인시키고, 종목, 등급, 지역 및 성별 대련조건을 선택한다. 이를 위하여, 상기 입력부(100)는 로그인키(110) 및 대련조건 선택키(120)로 구성된다.
로그인키(110)는 입력된 사용자 정보를 통해 진정한 사용자를 식별하여 로그인한다. 사용자는 로그인키(110)를 통하여 숫자, 문자 등을 입력하여 로그인할 수 있으며, 별도의 카드 또는 전자칩을 이용하여 로그인할 수도 있다.
대련조건 선택키(120)는 미리 저장된 다수의 종목, 등급, 지역 및 성별 대련조건중 어느 하나의 조건 또는 이들의 조합을 선택한다.
동작 인식부(200)는 사용자 동작을 인식한다. 이를 위하여, 상기 동작 인식부(200)는 도 3에 도시된 바와 같이, 다수의 모션 캡쳐 카메라(210)로 구성될 수 있다.
다수의 모션 캡쳐 카메라(210)는 여러 각도에서 사용자를 촬영할 수 있도록 배치되고, 사용자의 신체에 다수의 마커를 부착하고, 상기 마커의 동작을 적외선 촬영으로 검출하여 사용자의 동작을 인식한다. 여기서 상기 마커는 사용자의 머리, 몸통, 양 손목 및 양 발목에 부착되며, 사용자의 신체는 링크 구조를 갖는 관절 모델 집합으로 해석되는 것이 바람직하다.
잘 알려진 바와 같이, 모션 캡쳐(motion capture)란 몸에 센서를 부착시켜 인체의 동작을 디지털 형태로 기록하는 작업을 말한다. 신체 여러 부분에 센서를 부착한 뒤에 센서의 위치값을 통해 가상캐릭터가 같은 동작으로 움직이게 하는 것이 이 기술의 핵심이다. 어떤 실제물체의 동작을 수치적 데이타로 저장하였다가 컴퓨터로 만든 가상의 물체에 동작 데이터를 넘겨주는 과정을 모션 캡쳐라 할 수 있다. 여기서 말하는‘모션 캡쳐’란 실제 물체의 동작을 컴퓨터에 입력해 수치적 데이터로 컴퓨터에 저장하는 것을 말한다. 간단히 과정을 살펴보면 동작을 감지할 수 있는 센서를 물체에 부착하고, 물체가 이동할 때의 수치 데이터를 일정 간격을 두고 저장하는 것이다. 이렇게 ‘동작 캡처’를 활용해 CG 처리된 영상은 부드러운 곡선을 그리며 보다 현실적인 동작으로 퀄리티 높은 영상을 보여주는 장점이 있다. 이러한 경우에는 사람의 관절에 '특수마커(센서)'를 부착시킨다. 그리고 마커들의 위치, 회전 데이터를 특수 장치에 의해 실시간으로 인식시켜 'motion data set' 혹은 '동작커브(motion curve)'를 만들게 된다. 적외선 리플렉터 방식은 동작연기자의 관절 부위의 마커를 6∼8개의 카메라가 2차원적으로 포착하여 그 동작을 3차원적으로 추적하여 동작을 캡처하는 방식이다.
다른 한편, 상기 동작 인식부(200)는 지자기 센서(220), 가속도 센서(230), 자이로 센서(240)중 어느 하나를 사용자의 신체에 부착하거나 또는 이들을 조합하여 부착할 수 있다.
지자기 센서(220)는 지자기의 방향을 감지한다. 상기 지자기 센서(220)는 지구의 자기장을 감지하여 나침반과 같이 동서남북을 정보를 알 수 있다.
가속도 센서(230)는 압전재료에 가속을 발생시켜 가속도를 감지한다. 상기 가속도 센서(230)는 통상의 압전재료에 가속을 발생시키면, 힘이 걸려서 전하가 발생하는 원리를 이용한다.
자이로 센서(240)는 회전하는 각의 수직힘을 통하여 회전각가속도를 감지한다. 상기 자이로 센서(240)는 회전하는 각의 수직방향으로 코리올리스 힘이 발생하게 되고, 이 수직힘을 가속도 센서와 마찬가지 원리로 감지하는 것이다.
위치 감지부(300)는 평면상에서 사용자 발의 이동 위치와 압력을 감지하여 사용자의 위치 및 무게 등의 이동을 감지할 수 있다. 상기 위치 감지부(300)는 바닥면에 배치되는 발판 형태의 저항식 터치패드(310)가 적용될 수 있다.
상기 저항식 터치패드(310)는 소정 면적을 갖으며, 압력부위에 저항이 발생하도록 겹쳐진 두장의 패널로 형성되어 사용자의 발이 누르는 좌표의 위치와 그 압력을 측정할 수 있다.
데이터 저장부(500)는 상기 입력부(100)의 선택에 대응되는 종목, 등급, 지역 및 성별 대련조건에 따른 대련프로그램을 저장하고, 사용자 정보 및 판정 결과를 저장한다.
상기 데이터 저장부(500)는 하드 디스크 기억 장치나 RAM 등의 각종 데이터 기억 수단에 의해 구성될 수 있다.
제어부(400)는 상기 입력부(100)의 선택 결과에 따라 상기 데이터 저장부(500)에 저장된 해당 대련프로그램을 구동시키고, 상기 동작 인식부(200)에서 인식된 사용자 동작과 상기 위치 감지부(300)에서 감지된 사용자 발의 이동 위치를 참조하여 3D공간에서의 정확한 사용자 동작을 결정하고, 상기 사용자 동작과 상기 대련프로그램에 의하여 구동되는 대련자 동작을 비교하여 공격유효값을 판정하고, 해당 점수를 결정하여 승점 또는 감점을 누적시키고, 미리 저장된 가상 캐릭터를 이용하여 사용자 동작영상 및 대련자 동작영상을 생성하며, 상기 판정된 공격유효값에 따라 상대방의 가상 캐릭터를 이용하여 사용자 타격반응영상 및 대련자 타격반응영상을 생성하고, 이에 따른 타격구동신호를 생성한다.
이를 위하여, 상기 제어부(400)는 프로그램 구동모듈(410), 동작결정모듈(420), 비교모듈(430), 판정모듈(440), 영상생성모듈(450), 음향생성모듈(460), 타격구동모듈(470)을 포함한다.
프로그램 구동모듈(410)은 상기 입력부(100)의 종목, 등급, 지역 및 성별 대련조건의 선택 결과에 따라 상기 데이터 저장부(500)에 저장된 해당 대련프로그램을 구동시킨다.
동작결정모듈(420)은 상기 동작 인식부(200)에서 인식된 사용자 동작과 상기 위치 감지부(300)에서 감지된 사용자 발의 이동 위치를 참조하여 3D공간에서의 정확한 사용자 동작을 결정한다.
비교모듈(430)은 상기 사용자 동작과 수신된 대련자 동작중 그 동작들이 일정공간에서 서로 중첩되는가를 비교한다.
판정모듈(440)은 상기 비교모듈(430)의 비교 결과, 중첩될 경우 각 동작의 이동 속도, 거리, 위치 및 각도에 따라 공격유효값을 판정하고, 상기 공격유효값의 크기에 따라 해당 점수를 결정하여 승점 또는 감점을 누적시킨다.
더욱 구체적으로는 상기 공격유효값은 일정 범위를 갖으며, 사용자의 대련횟수를 카운트하여 그 대련횟수가 증가함에 따라 공격유효값의 범위를 점차 줄여 그 정확도를 상승시키도록 하는 것이 바람직하다. 이에 따라 사용자는 신체에 무리가 가지 않도록 자연스럽게 기술 습득 및 기술 향상을 얻을 수 있다.
영상생성모듈(450)은 미리 저장된 가상 캐릭터를 이용하여 사용자 동작영상 및 대련자 동작영상을 생성하고, 상기 판정모듈(440)에서 판정된 공격유효값에 따라 상대방의 가상 캐릭터를 이용한 타격반응영상을 생성한다.
음향생성모듈(460)은 상기 영상생성모듈(450)에서 생성된 상기 사용자 및 대련자 동작영상과 타격반응영상에 따른 효과음 및 배경음악을 생성한다.
타격구동모듈(470)은 상기 공격유효값에 따른 타격구동신호를 생성하여 출력한다.
통신부(1100)는 상기 네트워크 서버(20)의 통신수단(26)과 정보를 송수신한다. 특히, 사용자 정보, 대련자 정보, 대련진행정보, 타격구동신호 및 동작영상을 송수신한다.
또한, 본 발명은 사용자의 영상을 촬영하는 사용자 영상 촬영부(900)를 더 포함할 수 있다. 이때, 상기 제어부(400)는 상기 사용자 영상 촬영부(900)에서 실제 촬영된 영상을 이용하여 사용자 동작영상을 생성하는 것이 바람직하다.
메인영상 표시부(600)는 상기 제어부의 사용자 동작영상 및 대련자 동작영상을 표시한다.
상기 메인영상 표시부(600)는 3D 입체 영상 디스플레이모듈(610), 홀로그램 영상 디스플레이모듈(620), HMD모듈(630)중 어느 하나가 적용될 수 있다.
또한, 본 발명은 효과영상 및 배경영상을 통상의 평판디스플레이모듈(Flat Panel Display, FPD)(710)에 표시하는 배경영상 표시부(700)를 더 포함할 수 있다. 상기 효과영상 및 배경영상은 상기 영상생성모듈(450)에서 생성되며 이때, 상기 사용자 및 대련자 동작영상과 타격반응영상에 따른 효과영상 및 배경영상을 생성하는 것이 바람직하다.
예로서, 발치기 동작일 경우에는 파란색 별무늬를 효과영상으로 표시한다거나 정권 지르기 동작일 경우에는 빨간색 원형무늬를 효과영상으로 표시할 수 있으며, 또는 불꽃놀이 영상을 배경영상으로 표시하면서 각각의 효과영상을 중첩표시할 수도 있다.
도 5에 도시된 바와 같이, 홀로그램 영상 디스플레이모듈(620)은 홀로그래피의 원리를 이용하여 간섭 줄무늬를 만들어 연속적인 입체 영상을 재현한다.
도 5는 홀로그램 디스플레이 모듈을 이용하여 영상을 구현한 예를 나타낸 개념도로서, 잘 알려진 바와 같이, 홀로그램은 영상이 3차원이고, 실물과 똑같이 입체적으로 보이는 사진으로서, 홀로그래피의 원리를 이용하여 만들어지며, 입체상을 재현하는 간섭 줄무늬를 기록한 매체이다. 홀로그래피의 원리는 레이저에서 나온 광선을 2개로 나눠 하나의 빛은 직접 스크린을 비추게 하고, 다른 하나의 빛은 우리가 보려고 하는 물체에 비추는 것이다. 이때 직접 스크린을 비추는 빛을 기준광(reference beamㆍ참조광)이라고 하고, 물체를 비추는 빛을 물체광(object beam)이라고 한다. 물체광은 물체의 각 표면에서 반사돼 나오는 빛이므로 물체 표면에 따라 위상차(물체 표면에서부터 스크린까지의 거리)가 각각 다르게 나타난다. 이때 변형되지 않은 기준광이 물체광과 간섭을 일으키며 이때의 간섭무늬가 스크린에 저장된다. 이러한 간섭무늬가 저장된 필름을 홀로그램이라고 한다. 저장된 영상을 다시 재현하려면 기록할 때 사용된 광선을 다시 스크린 건판에 쏘아야 한다. 재생 시 사용하는 광선은 기록 시와 같은 진동수를 가진 파동만이 3차원으로 재현되고, 파장과 위상이 다른 파들은 아무런 효과가 없이 저장된 홀로그램을 통과해 버리기 때문에 기록 시 사용된 기준광과 반드시 정확히 일치해야 한다.
도 6 및 도 7에 도시된 바와 같이, 3D 입체 영상 디스플레이모듈(610)은 사용자가 착용하는 3D안경(611)과 상기 3D안경(611)을 통하여 입체로 보여지는 3D 입체 영상을 화면에 디스플레이한다. 상기 메인영상 표시부(600)를 통상의 LCD, LED 또는 PDP 등의 평면 디스플레이 소자로 구성하고, 여기에 사용자가 착용하는 3D안경(611)을 더 부가하여 3D 입체 영상을 화면에 디스플레이할 수 있다.
도 6은 3D 입체 영상 디스플레이 모듈을 이용하여 영상을 구현한 예를 나타낸 개념도이고, 도 7은 도 6의 3D 입체 안경의 일실시예를 나타낸 도면으로서, 상기 3D안경(611)은 편광안경 또는 액정셔터안경이 적용될 수 있다. 상기 편광안경은 2대의 카메라로 각각 촬영된 영상을 수직방향 및 수평방향의 빛 정보로 분리하여 보게 함으로써 입체를 느끼게 한다.
상기 액정셔터안경은 안경의 한쪽을 닫아서 한쪽씩 교대로 보게 하여 입체를 느끼게 하는 것으로 전력이 필요하다. 본 발명에서는 별도의 배터리를 구비하여 충전식으로 구현할 수 있다.
본 발명의 상기 3D안경(611)은 안경다리가 형성되어 있으나, 상기 안경다리를 밴드형태로 형성하여 착용감을 향상시키는 것도 바람직하다.
도 8 및 도 9는 상기 메인영상 표시부(600)를 상기 HMD(Head Mounted Display)모듈(630)로 구성한 예를 나타낸다.
도 8은 HMD모듈을 이용한 예를 나타낸 개념도이고, 도 9는 도 8의 HMD모듈의 일실시예를 나타낸 도면으로써, 상기 HMD모듈(630)은 사용자의 머리에 착용하는 디스플레이 장치로서, 영상생성모듈(450)에서 구현된 영상을 HMD 화면에 디스플레이한다.
상기 HMD모듈(630)은 모노와 스테레오 방식과 모양에 따라 개방형과 밀폐형으로 구분된다. 이것은 우리가 영화를 보는 것처럼 우리의 시야를 HMD로 막아줌으로써 몰입을 하는데 더욱 더 큰 효과를 준다. 여기서 화면에는 CRT와 LCD를 쓰는데 본 발명에서는 후자를 이용하여 전력소비를 낮추고 착용감을 향상시킬 수 있다.
한편, 도 2에 도시된 바와 같이, 배경영상 표시부(700)는 영상생성모듈(450)에서 생성된 효과영상 및 배경영상을 표시한다.
이를 위하여, 상기 배경영상 표시부(700)는 통상의 평판디스플레이모듈(710)이 적용될 수 있다. 상기 평판디스플레이모듈(710)은 LCD, LED 또는 PDP 등으로 구성된 평판 디스플레이(Flat Panel Display, FPD)를 총칭한다.
음향 출력부(800)는 상기 음향생성모듈(460)에서 생성된 보정값에 해당하는 설명음성을 스피커(810)를 통하여 출력한다. 또한, 상기 설명음성과 함께 메인영상, 효과영상 및 배경영상에 대한 각각의 효과음 및 배경음악을 출력할 수도 있다.
본 발명의 도면에는 2개의 스피커를 도시하였으나, 바람직하기로는 5.1ch 등의 입체음향을 구현하기 위하여 적어도 5개 이상의 다수개의 스피커를 배치할 수 있다.
도 10 및 도 11은 본 발명에 따른 네트워크를 이용한 가상현실 무도 대련방법을 나타낸 제어 흐름도로서, 상기와 같이 구성된 본 발명의 작용을 첨부된 도면을 참조하여 설명한다.
먼저, 인터넷망(40)에 접속된 네트워크 서버(20)의 사용자 정보 관리수단(21)에서 사용자 단말기(50)로부터 전송된 사용자 정보를 수신하고 사용자 정보 DB(31)에 미리 저장된 정보와 비교하여 로그인시킨다(S101~S103).
이때, 사용자는 사용자 단말기(50) 입력부(100)의 로그인키(110)를 통해 사용자 정보를 숫자, 문자 등으로 입력하여 장치에 로그인한다. 또한, 사용자 정보가 입력된 별도의 IC카드 또는 전자칩을 이용하여 로그인할 수도 있다.
로그인이 완료되면, 네트워크 서버(20)로부터 대련자 정보를 수신하고, 대련조건 선택키(120)를 이용하여 종목, 등급, 지역 및 성별 대련조건을 선택하여 전송한다(S104~S105).
상기 대련자 정보는 네트워크 서버(20)에 로그인되어 대련대기상태로 있는 다른 사용자 단말기(51)에 대한 등급, 지역 및 성별 정보를 포함한다. 상기 대련자 정보는 대련자 정보 관리수단(22)에서 관리되어 대련자 정보 DB(32)에 저장된다.
또한, 대련진행정보 관리수단(23)에서는 상기 선택에 따른 대련진행정보를 대련진행정보 DB(33)로부터 읽어내어 상기 사용자 단말기(50)에 전송하고, 이에 따른 대련 프로그램을 구동시킨다(S106~S107).
상기 대련 프로그램의 구동에 따라, 사용자 단말기(50)의 동작 인식부(200)에서 사용자의 이동 속도, 거리, 위치 및 각도를 검출하여 사용자 동작을 인식한다.
또한, 위치 감지부(300)에서 평면상에서 사용자 발의 이동 위치를 감지하며, 제어부(400)에서는 상기 동작 인식부(200)에서 인식된 사용자 동작과 상기 위치 감지부(300)에서 감지된 사용자 발의 이동 위치를 참조하여 3D공간의 정확한 사용자 동작을 결정한다(S108~S110).
영상생성모듈(450)은 미리 저장된 가상 캐릭터를 이용하여 사용자 동작영상을 생성함과 아울러, 통신부(1100)를 통하여 상기 네트워크 서버(20)로 전송시킨다(S111).
또한, 상기 네트워크 서버(20)로부터 대련자 동작영상을 수신하고, 메인영상 표시부(600)에 상기 영상생성모듈(450)에서 생성된 상기 사용자 동작영상과 상기 대련자 동작영상을 배경영상과 함께 표시한다(S112~S113).
이때, 상기 제어부(400)의 영상생성모듈(450)에서는 상기 사용자 동작영상 및 대련자 동작영상에 따른 효과영상 및 배경영상을 더 생성하고, 상기 효과영상 및 배경영상을 배경영상 표시부(700)에 별도로 표시하는 것이 바람직하다.
상기 배경영상 표시부(700)는 영상생성모듈(450)에서 생성된 효과영상 및 배경영상을 상기 메인영상 표시부(600)의 뒷쪽에 더 표시하여, 상기 메인영상 표시부(600)에 의하여 디스플레이되는 사용자의 영상을 더욱 입체적으로 부각시킬 수 있다. 이때, 상기 메인영상 표시부(600)는 영상이 투영될 수 있는 홀로그램 또는 투명스크린으로 구성하는 것이 바람직하다.
또한, 음향생성모듈(460)에서 생성된 효과음 및 배경음악을 음향 출력부(800)에 출력한다(S114).
이후, 상기 제어부(400)에서 상기 사용자 동작과 대련자 동작을 비교하여 공격유효값을 판정한다(S115~S116).
즉, 상기 제어부의 비교모듈(430) 및 판정모듈(440)에서는 상기 사용자 동작과 상기 대련자 동작중 그 동작들이 일정공간에서 서로 중첩되는가를 비교하고, 상기 비교 결과, 중첩될 경우 각 동작의 이동 속도, 거리, 위치 및 각도에 따라 공격유효값을 판정할 수 있다.
이후, 상기 제어부(400)에서 미리 저장된 가상 캐릭터를 이용하여 사용자 동작영상 및 대련자 동작영상을 각각 생성하고, 상기 판정된 공격유효값에 따라 상대방의 가상 캐릭터를 이용하여 사용자 타격반응영상 및 대련자 타격반응영상을 생성한다. 상기 메인영상 표시부(600)에 상기 제어부(400)에서 생성된 각각의 상기 타격반응영상을 표시할 수 있다.
즉, 사용자의 공격인가를 판단하여 사용자 공격일 경우에는 사용자 공격유효값에 따른 대련자 타격반응영상을 생성하고, 가상 캐릭터를 이용하여 상기 대련자 타격반응영상을 표시함과 아울러 타격구동신호를 전송한다(S117~S120).
한편, 대련자의 공격일 경우에는 반대로 대련자 공격유효값에 따른 사용자 타격반응영상을 생성하고, 가상 캐릭터를 이용하여 상기 사용자 타격반응영상을 표시함과 아울러, 타격구동신호를 수신한다(S121~S123).
이때, 상기 각각의 타격반응영상이 표시될 동안 사용자의 동작은 영상으로 구현시키지 않고 대기상태로 있으며, 타격 구동부(1000)에서 상기 제어부(400)의 타격구동모듈(470)에서 출력된 타격구동신호에 따라 물리적 진동 또는 충격을 구현하여 사용자 신체에 전달한다(S124).
이후, 상기 공격유효값에 대한 해당 점수를 결정하여 승점 또는 감점을 누적시킨다(S125).
이와 같은 일련의 대련과정이 종료되면, 상기 공격유효값에 따른 해당 점수를 결정하여 승점 또는 감점을 누적시키고, 해당 대련자 정보 및 대련진행정보를 송신하여 대런자 정보 DB 및 대련진행정보 DB를 업데이트시키고, 판정결과를 화면에 표시하고, 데이터를 저장한 후 해당 프로그램을 종료한다(S127~S129).
따라서, 상술한 바와 같은 본 발명에 의하면, 다수의 단말기에서 각각의 사용자 동작을 감지하여 입체 영상으로 구현하고, 네트워크 데이터통신을 통하여 대련과정을 수행함으로써 가정 또는 도장이나 학원에서 시간적 공간적 제약을 받지 않고 혼자서도 상대방 대련자의 가상 캐릭터와 효과적으로 대련을 수행할 수 있으며, 부상 등의 위험을 방지할 수 있다.
또한, 본 발명은 상술한 무도 분야 외에도 정형화된 몸동작을 익힐 수 있는 분야, 예로서, 각종 댄스, 체조, 스포츠 등의 다양한 분야에 응용될 수 있다.
본 발명은 상술한 특정의 바람직한 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
10 : 네트워크 관리자 단말기 20 : 네트워크 서버
21 : 사용자 정보 관리수단 22 : 대련자 정보 관리수단
23 : 대련진행정보 관리수단 25 : 영상정보 관리수단
26 : 통신수단 30 : 데이터 관리수단
31 : 사용자 정보 DB 32 : 대련자 정보 DB
33 : 대련진행정보 DB 35 : 영상정보 DB
40 : 인터넷망 50 : 사용자 단말기
100 : 입력부 110 : 로그인키
120 : 대련조건 선택키
200 : 동작 인식부 210 : 모션 캡쳐 카메라
220 : 지자기 센서 230 : 가속도 센서
240 : 자이로 센서 300 : 위치 감지부
310 : 저항식 터치패드 400 : 제어부
410 : 프로그램 구동모듈 420 : 동작결정모듈
430 : 비교모듈 450 : 영상생성모듈
460 : 음향생성모듈 500 : 데이터 저장부
600 : 메인영상 표시부 610 : 3D 입체 영상 디스플레이모듈
611 : 3D안경 620 : 홀로그램 영상 디스플레이모듈
630 : HMD모듈 700 : 배경영상 표시부
710 : 평판디스플레이모듈 800 : 음향 출력부
810 : 스피커 900 : 사용자 영상 촬영부
1000 : 타격 구동부 1010 : 진동모터
1020 : 저주파 자극기 1100 : 통신부

Claims (22)

  1. 인터넷망에 접속되어 네트워크 서버와 사용자 정보를 송수신하며, 대련자 정보를 수신하여 종목, 등급, 지역 및 성별 대련조건을 검색 및 선택하고, 이에 따른 대련 진행 정보를 수신하여 해당 대련프로그램을 구동하고, 사용자 동작영상과 함께 대련자 동작영상 및 타격구동신호를 송수신하여 대련기능을 수행하는 사용자 단말기;
    상기 사용자 단말기로부터 전송된 사용자 정보를 수신하고 미리 저장된 정보와 비교하여 로그인시키는 사용자 정보 관리수단;
    상기 사용자 단말기에 대련자 정보를 송수신하고, 대련자의 등급, 지역, 성별 정보와 대련 기록들을 업데이트 및 관리하는 대련자 정보 관리수단;
    상기 사용자 단말기에 대련진행정보를 송수신하고, 대련 순서, 승점 및 감점 정보, 승패 정보, 랭킹 정보들을 업데이트 및 관리하는 대련진행정보 관리수단;
    상기 사용자 단말기로부터 전송된 사용자 동작영상을 수신하여 업데이트 및 관리하는 영상정보 관리수단;
    상기 사용자 단말기와 정보를 송수신하는 통신수단을 포함하는 네트워크 서버;
    사용자 정보를 저장하는 사용자 정보 DB; 대련자 정보를 저장하는 대련자 정보 DB; 대련진행정보를 저장하는 대련진행정보 DB; 사용자 동작영상을 저장하는 영상정보 DB를 포함하며, 상기 네트워크 서버의 요청에 따라 각각의 정보를 입출력시키는 데이터 관리수단; 및
    상기 네트워크 서버에 접속하여 네트워크 관리자 정보를 송수신하며 시스템을 관리하는 네트워크 관리자 단말기를 포함하는 네트워크를 이용한 가상현실 무도 대련시스템에 있어서,
    상기 사용자 단말기는,
    사용자 정보를 입력받아 로그인시키고, 종목, 등급, 지역 및 성별 대련조건을 선택하는 입력부;
    사용자의 이동 속도, 거리, 위치 및 각도를 검출하여 사용자 동작을 인식하는 동작 인식부;
    평면상에서 사용자 발의 이동 위치를 감지하는 위치 감지부;
    상기 입력부의 선택에 대응되는 종목, 등급, 지역 및 성별 대련조건에 따른 대련프로그램을 저장하고, 사용자 정보 및 판정 결과를 저장하는 데이터 저장부;
    상기 입력부의 선택 결과에 따라 상기 데이터 저장부에 저장된 해당 대련프로그램을 구동시키고, 상기 동작 인식부에서 인식된 사용자 동작과 상기 위치 감지부에서 감지된 사용자 발의 이동 위치를 참조하여 3D공간에서의 사용자 동작을 결정하고, 상기 네트워크 서버에서 수신되는 대련자 동작을 비교하여 공격유효값을 판정하고, 해당 점수를 결정하여 승점 또는 감점을 누적시키고, 미리 저장된 가상 캐릭터를 이용하여 사용자 동작영상 및 대련자 동작영상을 생성하며, 상기 판정된 공격유효값에 따라 상대방의 가상 캐릭터를 이용하여 사용자 타격반응영상 및 대련자 타격반응영상을 생성하고, 이에 따른 타격구동신호를 생성하는 제어부;
    상기 제어부의 사용자 동작영상 및 대련자 동작영상을 표시하는 메인영상 표시부;
    상기 제어부의 타격구동신호에 따라 물리적 진동 또는 충격을 구현하여 사용자 신체에 전달하는 타격 구동부; 및
    상기 네트워크 서버의 통신수단과 사용자 정보, 대련자 정보, 대련진행정보, 타격구동신호 및 동작영상을 송수신하여 상기 제어부에 전달하는 통신부를 포함하는 것을 특징으로 하는 네트워크를 이용한 가상현실 무도 대련시스템.
  2. 제 1항에 있어서,
    상기 대련진행정보 관리수단은,
    지역별, 연령별, 성별에 따라 분류하여 대련 랭킹을 결정하고 기록 관리하는 것을 특징으로 하는 네트워크를 이용한 가상현실 무도 대련시스템.
  3. 제 2항에 있어서,
    상기 사용자 단말기의 지역별 분류는, ISP(Internet Service Provider)에서 할당된 사용자의 접속 IP를 통하여 확인하는 것을 특징으로 하는 네트워크를 이용한 가상현실 무도 대련시스템.
  4. 삭제
  5. 제 1항에 있어서,
    상기 입력부는;
    사용자 정보를 입력받아 로그인시키는 로그인키; 및
    상기 종목, 등급, 지역 및 성별 대련조건중 어느 하나의 조건 또는 이들의 조합을 선택하는 대련조건 선택키를 포함하는 것을 특징으로 하는 가상현실 무도 대련시스템.
  6. 제 1항에 있어서,
    상기 동작 인식부는;
    사용자의 신체에 다수의 마커를 부착하고, 상기 마커의 동작을 적외선 촬영으로 검출하여 사용자 동작을 인식하는 다수의 모션 캡쳐 카메라로 구성되는 것을 특징으로 하는 가상현실 무도 대련시스템.
  7. 제 1항에 있어서,
    상기 동작 인식부는;
    지자기의 방향을 감지하는 지자기 센서;
    압전재료에 가속을 발생시켜 가속도를 감지하는 가속도 센서 및
    회전하는 각의 수직힘을 통하여 회전각가속도를 감지하는 자이로 센서중 어느 하나를 사용자의 신체 또는 옷에 부착하거나, 또는 상기 센서들의 조합하여 부착하는 것을 특징으로 하는 가상현실 무도 대련시스템.
  8. 제 1항에 있어서,
    상기 위치 감지부는;
    소정 면적을 갖으며, 압력부위에 저항이 발생하도록 겹쳐진 두장의 패널로 형성되어 사용자의 발이 누르는 좌표의 위치를 측정하는 저항식 터치패드를 포함하는 것을 특징으로 하는 가상현실 무도 대련시스템.
  9. 제 1항에 있어서,
    상기 제어부는;
    상기 입력부의 종목, 등급, 지역 및 성별 대련조건의 선택 결과에 따라 상기 데이터 저장부에 저장된 해당 대련프로그램을 구동시키는 프로그램 구동모듈;
    상기 동작 인식부에서 인식된 사용자 동작과 상기 위치 감지부에서 감지된 사용자 발의 이동 위치를 참조하여 3D공간에서의 사용자 동작을 결정하는 동작결정모듈;
    상기 사용자 동작과 상기 네트워크 서버에서 수신되는 대련자 동작중 그 동작들이 일정공간에서 서로 중첩되는가를 비교하는 비교모듈;
    상기 비교모듈의 비교 결과, 중첩될 경우 각 동작의 이동 속도, 거리, 위치 및 각도에 따라 공격유효값을 판정하고, 해당 점수를 결정하여 승점 또는 감점을 누적시키는 판정모듈;
    미리 저장된 가상 캐릭터를 이용하여 사용자 동작영상 및 대련자 동작영상을 생성하고, 상기 판정모듈에서 판정된 공격유효값에 따라 상대방의 가상 캐릭터를 이용한 타격반응영상을 생성하는 영상생성모듈; 및
    상기 공격유효값에 따른 타격구동신호를 생성하여 출력하는 타격구동모듈을 포함하는 것을 특징으로 하는 가상현실 무도 대련시스템.
  10. 제 9항에 있어서,
    상기 영상생성모듈은, 상기 메인영상 표시부의 사용자 동작영상에 따른 효과영상 및 배경영상을 더 생성하고,
    상기 효과영상 및 배경영상을 평판디스플레이모듈에 표시하는 배경영상 표시부를 더 포함하는 것을 특징으로 하는 가상현실 무도 대련시스템.
  11. 제 10항에 있어서,
    상기 제어부는, 상기 영상생성모듈에서 생성된 상기 메인영상, 효과영상 및 배경영상에 따른 효과음 및 배경음악을 생성하는 음향생성모듈을 더 포함하고,
    상기 음향생성모듈에서 생성된 효과음 및 배경음악을 스피커를 통하여 출력하는 음향 출력부를 더 포함하는 것을 특징으로 하는 가상현실 무도 대련시스템.
  12. 제 1항에 있어서,
    상기 메인영상 표시부는;
    사용자가 착용하는 3D안경과 상기 3D안경을 통하여 입체로 보여지는 3D 입체 영상을 화면에 디스플레이하는 3D 입체 영상 디스플레이모듈로 구성되는 것을 특징으로 하는 가상현실 무도 대련시스템.
  13. 제 1항에 있어서,
    상기 메인영상 표시부는;
    홀로그래피의 원리를 이용하여 간섭 줄무늬를 만들어 연속적인 입체 영상을 재현하는 홀로그램 영상 디스플레이모듈로 구성되는 것을 특징으로 하는 가상현실 무도 대련시스템.
  14. 제 1항에 있어서,
    상기 메인영상 표시부는;
    사용자의 머리에 착용하고, 구현된 영상을 HMD 화면에 디스플레이하는 HMD(Head Mounted Display)모듈로 구성되는 것을 특징으로 하는 가상현실 무도 대련시스템.
  15. 제 1항에 있어서,
    사용자의 영상을 촬영하는 사용자 영상 촬영부를 더 포함하고,
    상기 제어부는 상기 사용자 영상 촬영부에서 실제 촬영된 영상을 이용하여 사용자 동작영상을 생성하는 것을 특징으로 하는 가상현실 무도 대련시스템.
  16. 인터넷망에 접속된 네트워크 서버의 사용자 정보 관리수단에서 사용자 단말기로부터 전송된 사용자 정보를 수신하고 사용자 정보 DB에 미리 저장된 정보와 비교하여 로그인시키는 단계;
    상기 사용자 단말기에서 대련자 정보를 수신하여 종목, 등급, 지역 및 성별 대련조건을 선택하여 전송하고, 대련진행정보 관리수단에서 상기 선택에 따른 대련진행정보를 대련진행정보 DB로부터 읽어내어 상기 사용자 단말기에 전송하고, 이에 따른 대련 프로그램을 구동시키는 단계;
    사용자 단말기의 동작 인식부에서 사용자의 이동 속도, 거리, 위치 및 각도를 검출하여 사용자 동작을 인식하고, 위치 감지부에서 평면상에서 사용자 발의 이동 위치를 감지하며, 제어부에서 상기 동작 인식부에서 인식된 사용자 동작과 상기 위치 감지부에서 감지된 사용자 발의 이동 위치를 참조하여 3D공간의 사용자 동작을 결정하는 단계;
    사용자 단말기의 제어부에서 상기 사용자 동작에 따라 미리 저장된 가상 캐릭터를 이용하여 사용자 동작영상을 생성 및 전송하고, 네트워크 서버로부터 대련자 동작영상을 수신하며, 메인영상 표시부에 상기 사용자 동작영상과 대련자 동작영상을 메인영상으로 하여 배경영상과 함께 표시하고, 이에 따른 음향을 생성 및 출력하는 단계;
    상기 사용자 동작과 상기 네트워크 서버에서 수신되는 대련자 동작중 그 동작들이 일정공간에서 서로 중첩되는가를 비교하여 중첩될 경우 각 동작의 이동 속도, 거리, 위치 및 각도에 따라 공격유효값을 판정하고, 상기 판정된 공격유효값에 따라 상대방의 가상 캐릭터를 이용한 타격반응영상을 생성하여 표시하며, 상기 공격유효값에 따른 타격구동신호를 송수신하여 타격구동모듈을 동작시키는 단계; 및
    상기 공격유효값에 따른 해당 점수를 결정하여 승점 또는 감점을 누적시키고, 해당 대련자 정보 및 대련진행정보를 송신하여 대런자 정보 DB 및 대련진행정보 DB를 업데이트시키고, 판정결과를 화면에 표시하는 단계를 포함하는 것을 특징으로 하는 네트워크를 이용한 가상현실 무도 대련방법.
  17. 제 16항에 있어서,
    상기 사용자 단말기의 지역 분류는, ISP(Internet Service Provider)에서 할당된 사용자의 접속 IP를 통하여 확인하는 것을 특징으로 하는 네트워크를 이용한 가상현실 무도 대련방법.
  18. 제 16항에 있어서,
    상기 사용자 동작을 인식하는 단계는;
    다수의 모션 캡쳐 카메라로 사용자의 신체에 다수의 마커를 부착하고, 상기 마커의 동작을 적외선 촬영으로 검출하여 사용자 동작을 인식하는 것을 특징으로 하는 네트워크를 이용한 가상현실 무도 대련방법.
  19. 제 16항에 있어서,
    상기 사용자 동작을 인식하는 단계는;
    사용자의 신체 또는 옷에 부착된 지자기 센서를 이용하여 지자기의 방향을 감지하거나, 가속도 센서를 이용하여 압전재료에 가속을 발생시켜 가속도를 감지하거나 또는 자이로 센서를 이용하여 회전하는 각의 수직힘을 통하여 회전각가속도를 감지하여 사용자 동작을 인식하는 것을 특징으로 하는 네트워크를 이용한 가상현실 무도 대련방법.
  20. 제 16항에 있어서,
    상기 사용자 동작영상을 표시하는 단계는;
    상기 제어부에서 효과영상 및 배경영상을 더 생성하고, 배경영상 표시부는 상기 효과영상 및 배경영상을 화면에 표시하는 것을 특징으로 하는 네트워크를 이용한 가상현실 무도 대련방법.
  21. 제 16항에 있어서,
    상기 음향을 출력하는 단계는;
    상기 제어부에서 상기 사용자 동작영상 및 대련자 동작영상에 따른 효과음 및 배경음악을 생성하며, 음향 출력부는 상기 효과음 및 배경음악을 스피커를 통하여 출력하는 것을 특징으로 하는 네트워크를 이용한 가상현실 무도 대련방법.
  22. 제 16항에 있어서,
    상기 사용자 동작영상을 표시하는 단계는;
    3D 입체 영상 디스플레이모듈을 이용하여 사용자가 착용한 3D안경을 통하여 보여지는 3D 입체 영상을 화면에 디스플레이하거나, 홀로그램 영상 디스플레이모듈을 이용하여 홀로그래피의 원리로 간섭 줄무늬를 만들어 연속적인 입체 영상을 재현하거나 또는 HMD(Head Mounted Display)모듈을 이용하여 사용자의 머리에 착용하고, 구현된 영상을 HMD 화면에 디스플레이하는 것을 특징으로 하는 네트워크를 이용한 가상현실 무도 대련방법.
KR1020100082131A 2010-08-24 2010-08-24 네트워크를 이용한 가상현실 무도 대련시스템 및 그 방법 KR101007947B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100082131A KR101007947B1 (ko) 2010-08-24 2010-08-24 네트워크를 이용한 가상현실 무도 대련시스템 및 그 방법
US13/179,560 US8282482B2 (en) 2010-08-24 2011-07-10 System and method for cyber training of martial art on network
PCT/KR2011/005467 WO2012026681A2 (ko) 2010-08-24 2011-07-25 네트워크를 이용한 가상현실 무도 시스템 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100082131A KR101007947B1 (ko) 2010-08-24 2010-08-24 네트워크를 이용한 가상현실 무도 대련시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR101007947B1 true KR101007947B1 (ko) 2011-01-14

Family

ID=43616248

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100082131A KR101007947B1 (ko) 2010-08-24 2010-08-24 네트워크를 이용한 가상현실 무도 대련시스템 및 그 방법

Country Status (2)

Country Link
US (1) US8282482B2 (ko)
KR (1) KR101007947B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013154377A1 (ko) * 2012-04-12 2013-10-17 동국대학교 산학협력단 디지털 캐릭터를 이용한 무대 공연을 처리하는 장치 및 방법
KR101349350B1 (ko) 2012-05-09 2014-01-17 에이알비전 (주) 자세인식을 통한 영상사격 시뮬레이션 방법 및 시스템
KR101366444B1 (ko) * 2012-02-10 2014-02-25 전북대학교산학협력단 실시간 상호 연동 가능한 가상 사격 시스템
KR101835842B1 (ko) * 2016-05-03 2018-04-19 주식회사 닷 데이터 출력 시스템
KR20190074563A (ko) * 2017-12-20 2019-06-28 대구보건대학교산학협력단 모션인식과 가상현실을 이용한 치매고위험군과 경도인지장애를 위한 평가 및 훈련장치와 그 방법
KR20220113207A (ko) * 2021-02-05 2022-08-12 중앙대학교 산학협력단 혼합 현실을 이용한 가상 화재 대응 교육 평가 시스템 및 방법

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7459624B2 (en) 2006-03-29 2008-12-02 Harmonix Music Systems, Inc. Game controller simulating a musical instrument
EP2206539A1 (en) 2007-06-14 2010-07-14 Harmonix Music Systems, Inc. Systems and methods for simulating a rock band experience
US8678896B2 (en) 2007-06-14 2014-03-25 Harmonix Music Systems, Inc. Systems and methods for asynchronous band interaction in a rhythm action game
US20090310027A1 (en) * 2008-06-16 2009-12-17 James Fleming Systems and methods for separate audio and video lag calibration in a video game
US8663013B2 (en) 2008-07-08 2014-03-04 Harmonix Music Systems, Inc. Systems and methods for simulating a rock band experience
US8465366B2 (en) 2009-05-29 2013-06-18 Harmonix Music Systems, Inc. Biasing a musical performance input to a part
US8449360B2 (en) 2009-05-29 2013-05-28 Harmonix Music Systems, Inc. Displaying song lyrics and vocal cues
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
US8702485B2 (en) 2010-06-11 2014-04-22 Harmonix Music Systems, Inc. Dance game and tutorial
EP2494432B1 (en) 2009-10-27 2019-05-29 Harmonix Music Systems, Inc. Gesture-based user interface
US8550908B2 (en) 2010-03-16 2013-10-08 Harmonix Music Systems, Inc. Simulating musical instruments
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
US8562403B2 (en) 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
US9024166B2 (en) 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
US9155964B2 (en) 2011-09-14 2015-10-13 Steelseries Aps Apparatus for adapting virtual gaming with real world information
CN103595984A (zh) * 2012-08-13 2014-02-19 辉达公司 3d眼镜、3d显示***及3d显示方法
US20140118522A1 (en) * 2012-11-01 2014-05-01 Josh Heath Zuniga Dance learning system using a computer
US20140363799A1 (en) * 2013-06-06 2014-12-11 Richard Ivan Brown Mobile Application For Martial Arts Training
JP2015116336A (ja) * 2013-12-18 2015-06-25 マイクロソフト コーポレーション 複合現実感アリーナ
WO2016007969A1 (en) 2014-07-11 2016-01-14 ProSports Technologies, LLC Playbook processor
US9724588B1 (en) 2014-07-11 2017-08-08 ProSports Technologies, LLC Player hit system
WO2016007970A1 (en) 2014-07-11 2016-01-14 ProSports Technologies, LLC Whistle play stopper
US9305441B1 (en) 2014-07-11 2016-04-05 ProSports Technologies, LLC Sensor experience shirt
US9398213B1 (en) 2014-07-11 2016-07-19 ProSports Technologies, LLC Smart field goal detector
US9474933B1 (en) 2014-07-11 2016-10-25 ProSports Technologies, LLC Professional workout simulator
US10264175B2 (en) 2014-09-09 2019-04-16 ProSports Technologies, LLC Facial recognition for event venue cameras
KR101559972B1 (ko) * 2015-04-15 2015-10-14 김태오 태권도 품새 단련 시스템
US9730649B1 (en) 2016-09-13 2017-08-15 Open Water Internet Inc. Optical imaging of diffuse medium
JP2019152980A (ja) 2018-03-01 2019-09-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US10506181B2 (en) 2018-03-31 2019-12-10 Open Water Internet Inc. Device for optical imaging
US10778912B2 (en) * 2018-03-31 2020-09-15 Open Water Internet Inc. System and device for optical transformation
US10778911B2 (en) * 2018-03-31 2020-09-15 Open Water Internet Inc. Optical transformation device for imaging
KR20190139605A (ko) * 2018-06-08 2019-12-18 전자부품연구원 제스처 인식 장치 및 방법
US10441848B1 (en) * 2018-10-24 2019-10-15 Anna Skhisov System for automatic evaluation of martial arts moves
US11320370B2 (en) 2019-06-26 2022-05-03 Open Water Internet Inc. Apparatus for directing optical and acoustic signals
US11819318B2 (en) 2020-04-27 2023-11-21 Open Water Internet Inc. Optical imaging from light coherence
US11559208B2 (en) 2020-05-19 2023-01-24 Open Water Internet Inc. Imaging with scattering layer
US11259706B2 (en) 2020-05-19 2022-03-01 Open Water Internet Inc. Dual wavelength imaging and out of sample optical imaging
CN113834373B (zh) * 2021-09-27 2023-01-17 上海亿湾特训练设备科技有限公司 真人演绎虚拟现实室内室外攻防对抗作战训练***及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050030156A (ko) * 2003-09-24 2005-03-29 가부시키가이샤 세가 랭킹 데이터 생성 프로그램
KR20050118385A (ko) * 2004-06-14 2005-12-19 (주)펜타비전 네트워크를 통한 사용자 맞춤형 경연장 제공 시스템 및방법, 그 프로그램이 기록된 기록매체

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050030156A (ko) * 2003-09-24 2005-03-29 가부시키가이샤 세가 랭킹 데이터 생성 프로그램
KR20050118385A (ko) * 2004-06-14 2005-12-19 (주)펜타비전 네트워크를 통한 사용자 맞춤형 경연장 제공 시스템 및방법, 그 프로그램이 기록된 기록매체

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101366444B1 (ko) * 2012-02-10 2014-02-25 전북대학교산학협력단 실시간 상호 연동 가능한 가상 사격 시스템
WO2013154377A1 (ko) * 2012-04-12 2013-10-17 동국대학교 산학협력단 디지털 캐릭터를 이용한 무대 공연을 처리하는 장치 및 방법
KR101349350B1 (ko) 2012-05-09 2014-01-17 에이알비전 (주) 자세인식을 통한 영상사격 시뮬레이션 방법 및 시스템
KR101835842B1 (ko) * 2016-05-03 2018-04-19 주식회사 닷 데이터 출력 시스템
KR20190074563A (ko) * 2017-12-20 2019-06-28 대구보건대학교산학협력단 모션인식과 가상현실을 이용한 치매고위험군과 경도인지장애를 위한 평가 및 훈련장치와 그 방법
KR102106399B1 (ko) 2017-12-20 2020-05-04 대구보건대학교산학협력단 모션인식과 가상현실을 이용한 치매고위험군과 경도인지장애를 위한 평가 및 훈련 방법
KR20220113207A (ko) * 2021-02-05 2022-08-12 중앙대학교 산학협력단 혼합 현실을 이용한 가상 화재 대응 교육 평가 시스템 및 방법
KR102547011B1 (ko) * 2021-02-05 2023-06-26 중앙대학교 산학협력단 혼합 현실을 이용한 가상 화재 대응 교육 평가 시스템 및 방법

Also Published As

Publication number Publication date
US20120052947A1 (en) 2012-03-01
US8282482B2 (en) 2012-10-09

Similar Documents

Publication Publication Date Title
KR101007947B1 (ko) 네트워크를 이용한 가상현실 무도 대련시스템 및 그 방법
KR101007944B1 (ko) 네트워크를 이용한 가상현실 무도 수련시스템 및 그 방법
US10821347B2 (en) Virtual reality sports training systems and methods
KR101036429B1 (ko) 가상현실 무도 수련장치 및 방법, 그 기록 매체
US11826628B2 (en) Virtual reality sports training systems and methods
US20140180451A1 (en) Trajectory detection and feedback system for tennis
US20070021199A1 (en) Interactive games with prediction method
KR101599303B1 (ko) 가상 현실 기반의 야구 게임 시스템 및 그것을 이용한 게임 진행 방법
KR101962578B1 (ko) Vr을 이용한 피트니스 운동 서비스 제공 시스템
US20110256914A1 (en) Interactive games with prediction and plan with assisted learning method
US12041220B2 (en) 360-degree virtual-reality system for dynamic events
US20240245975A1 (en) Mixed reality simulation and training system
KR20010008367A (ko) 투구연습장치와 이를 이용한 투수의 투구분석방법 및오프라인의 투구연습장치의 투구정보를 온라인과 연계하여야구게임을 수행하는 방법
KR101032813B1 (ko) 가상현실 무도 대련장치 및 방법, 그 기록 매체
TWI423114B (zh) 互動式裝置及其運作方法
KR20210127860A (ko) 가상현실(vr) 무도 수련 시스템
WO2012026681A2 (ko) 네트워크를 이용한 가상현실 무도 시스템 및 그 제어 방법
KR102574229B1 (ko) 골프 스윙 분석 장치 및 그 방법
WO2012026680A2 (ko) 가상현실 무도 장치 및 그 제어 방법
US11331551B2 (en) Augmented extended realm system
JP2018157987A (ja) ゲームシステム、及びそれに用いられるコンピュータプログラム
JP7248353B1 (ja) ヒッティング解析システム及びヒッティング解析方法
KR101587730B1 (ko) 실시간 3 차원 게임 시스템 및 그의 처리 방법
TW202311912A (zh) 虛實互動方法、用於虛擬世界的運算系統及虛擬實境系統
CN114995642A (zh) 基于增强现实的运动训练方法、装置、服务器及终端设备

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140106

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150105

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160107

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170103

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180104

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 10