KR101244646B1 - 가상 공간과 현실 공간을 연계한 로봇 게임 시스템 - Google Patents

가상 공간과 현실 공간을 연계한 로봇 게임 시스템 Download PDF

Info

Publication number
KR101244646B1
KR101244646B1 KR1020090080941A KR20090080941A KR101244646B1 KR 101244646 B1 KR101244646 B1 KR 101244646B1 KR 1020090080941 A KR1020090080941 A KR 1020090080941A KR 20090080941 A KR20090080941 A KR 20090080941A KR 101244646 B1 KR101244646 B1 KR 101244646B1
Authority
KR
South Korea
Prior art keywords
robot
game
virtual
module
infrared
Prior art date
Application number
KR1020090080941A
Other languages
English (en)
Other versions
KR20110023227A (ko
Inventor
강행봉
Original Assignee
(주) 아이알로봇
가톨릭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 아이알로봇, 가톨릭대학교 산학협력단 filed Critical (주) 아이알로봇
Priority to KR1020090080941A priority Critical patent/KR101244646B1/ko
Publication of KR20110023227A publication Critical patent/KR20110023227A/ko
Application granted granted Critical
Publication of KR101244646B1 publication Critical patent/KR101244646B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 가상 공간과 현실 공간을 연계한 로봇 게임 시스템에 관한 것이다. 본 발명에 따른 로봇 게임 시스템은 스테이지 상에서 이동 가능한 적어도 하나의 로봇과; 상기 각 로봇의 움직임을 제어하는 로봇 제어 단말기와; 상기 스테이지를 촬영하는 가시광선 카메라 및 적외선 카메라와; 상기 가시광선 카메라 및 상기 적외선 카메라에 의해 촬영된 가시광선 영상과 적외선 영상에 기초하여 상기 로봇의 움직임을 추적하고, 상기 추적된 로봇의 움직임에 대한 움직임 추적 정보를 생성하는 움직임 추적 모듈과; 상기 각 로봇에 대응하는 가상 로봇과 상기 가상 로봇이 활동하는 가상 공간이 마련된 로봇 게임을 제공하며, 상기 움직임 추적 모듈에 의해 생성된 상기 움직임 추적 정보에 따라 상기 가상 공간 상에서의 상기 가상 로봇의 움직임을 제어하는 로봇 게임 모듈을 포함하는 것을 특징으로 한다. 이에 따라, 오프라인 상의 실제 로봇의 움직임이 온라인 상에서의 로봇 게임이 제공하는 가상 공간 상에서의 가상 로봇의 움직임으로 반영되어 가상 세계와 현실 세계 두 장르의 게임이 연계된 새로운 형태의 게임이 구현될 수 있다.

Description

가상 공간과 현실 공간을 연계한 로봇 게임 시스템{ROBOT GAME SYSTEM RELATING VIRTUAL SPACE TO REAL SPACE}
본 발명은 가상 공간과 현실 공간을 연계한 로봇 게임 시스템에 관한 것으로서, 보다 상세하게는 오프라인 상의 실제 로봇의 움직임이 온라인 상에서의 로봇 게임이 제공하는 가상 공간 상에서의 가상 로봇의 움직임으로 반영되어 가상 세계와 현실 세계 두 장르의 게임이 연계된 새로운 형태의 게임이 구현될 수 있는 가상 공간과 현실 공간을 연계한 로봇 게임 시스템에 관한 것이다.
근래에 정보 통신 기술의 비약적인 발전으로 인해, 컴퓨터를 이용한 다양한 게임 프로그램들이 개발되고 있으며, 소니사의 플레이스테이션 시리즈나 마이크로소프트사의 X-Box 시리즈와 같은 콘솔 게임 시장 또한 비약적으로 발전해가고 있다.
또한, 게임 프로그램의 장르도 현재, 역할 수행 게임(RPG : Role-Playing Game), MMORPG(Massively Multi-player Online Role-Playing Game), 대전 게임, 슈 팅 게임, 1인칭 슈팅(FPS : First Person Shooting) 게임 등과 같이 다양해지고 있으며, 기존의 게임 장르와 별개로 새로운 장르의 게임이나 기존 장르가 혼합된 게임이 지속적으로 개발되고 있다.
상기와 같은 컴퓨터 등과 같은 단말기를 이용한 가상 공간 상에서의 게임과는 별도로 실제 로봇을 이용한 오프라인 상에서의 게임 문화 또한 지속적으로 발전해오고 있다. 예를 들어, 실제 로봇을 이용한 미니 축구 게임이나, 로봇들 간의 대전 게임들이 다방면에서 진행되고 있으며, 센서 기술이나 제어 알고리즘의 발전으로 인해 보다 정밀한 모션이 가능한 로봇들이 등장하면서 많은 이들의 주목을 받고 있다.
이와 같이, 오프라인 상에서 실제 로봇을 이용한 게임과, 컴퓨터 등과 같은 단말기를 이용한 가상 공간 즉 온라인 상에서의 게임은 서로 장단점을 가지고 있다.
예를 들어, 오프라인 상에서의 실제 로봇을 이용한 게임은 실제 공간에서 로봇 간의 타격과 같은 현실감이 큰 반면, 가상 공간 상에서의 게임은 그래픽을 통해 타격과 같은 느낌의 표현은 가능하지만 실제 로봇에 의한 타격감을 그대로 느끼기에는 부족한 면이 있다.
또한, 오프라인 상에서의 실제 로봇 게임은 게임이 진행되는 스테이지를 꾸미는데 실제 물체들로 제작하여야 한다는 점에서 다양한 공간 디자인의 제약을 받는 반면, 가상 공간 상에서의 게임인 그래픽을 통해 다양한 디자인적 요소의 부가가 가능하고 수정 및 변경이 자유로워 시각적인 효과를 극대화시킬 수 있는 장점이 있다.
게임 유저들의 특성 상, 게임 유저들은 항상 새로운 장르나 새로운 게임 방식이 도입된 새로운 게임을 요구하고 있다. 이에, 게임 개발자들은 상술한 바와 같이 오프라인 상에서 실제 로봇을 이용한 게임과 컴퓨터 등과 같은 단말기를 이용한 온라인 상에사의 게임, 두 분야에서 새로운 장르나 게임 방식이 도입된 게임 개발에 주력하고 있는 실정이다.
그런데, 두 게임 분야에서 새로운 장르나 게임 방식이 도입되더라도, 상술한 바와 같이 각 분야의 게임이 갖는 장단점은 현 시점에서 극복하는 것은 어려운 실정이다. 예를 들어, 실제 로봇이 게임을 진행하는 스테이지에 가상 공간이 제공할 수 있는 시각적 효과를 부여한다는 것은 현실적으로 어렵고, 실제 로봇 간의 타격과 같은 느낌을 동일하게 가상 공간에 표현하는 것은 현실적으로 어렵다.
이에, 본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 오프라인 상의 실제 로봇의 움직임이 온라인 상에서의 로봇 게임이 제공하는 가상 공간 상에서의 가상 로봇의 움직임으로 반영되어 가상 세계와 현실 세계 두 장르의 게임이 연계된 새로운 형태의 게임이 구현될 수 있는 가상 공간과 현실 공간을 연계한 로봇 게임 시스템을 제공하는데 그 목적이 있다.
또한, 본 발명은 실제 로봇의 움직임을 추적하는데 있어 보다 정확한 추적이 가능한 로봇 게임 시스템을 제공하는데 그 목적이 있다.
상기 목적은 본 발명에 따라, 가상 공간과 현실 공간을 연계한 로봇 게임 시스템에 있어서, 스테이지 상에서 이동 가능한 적어도 하나의 로봇과; 상기 각 로봇의 움직임을 제어하는 로봇 제어 단말기와; 상기 스테이지를 촬영하는 가시광선 카메라 및 적외선 카메라와; 상기 가시광선 카메라 및 상기 적외선 카메라에 의해 촬영된 가시광선 영상과 적외선 영상에 기초하여 상기 로봇의 움직임을 추적하고, 상기 추적된 로봇의 움직임에 대한 움직임 추적 정보를 생성하는 움직임 추적 모듈과; 상기 각 로봇에 대응하는 가상 로봇과 상기 가상 로봇이 활동하는 가상 공간이 마련된 로봇 게임을 제공하며, 상기 움직임 추적 모듈에 의해 생성된 상기 움직임 추적 정보에 따라 상기 가상 공간 상에서의 상기 가상 로봇의 움직임을 제어하는 로봇 게임 모듈을 포함하는 것을 특징으로 하는 가상 공간과 현실 공간을 연계한 로봇 게임 시스템에 의해서 달성된다.
여기서, 상기 움직임 추적 모듈은, 상기 가시광선 영상으로부터 상기 로봇의 위치와 움직이는 방향에 대한 정보를 추출하고; 상기 적외선 영상으로부터 상기 로봇의 앞뒤에 대한 정보를 추출하며; 상기 로봇의 위치와 움직이는 방향에 대한 정보와, 상기 로봇의 앞뒤에 대한 정보를 이용하여 상기 움직임 추적 정보를 생성할 수 있다.
그리고, 상기 스테이지를 향해 적외선 광을 조사하는 적외선 조사 모듈과, 상기 각 로봇에 설치되어 상기 적외선 조사 모듈로부터의 상기 적외선 광을 상기 적외선 카메라 방향으로 반사하는 반사판을 더 포함하며; 상기 반사판은, 상기 움 직임 추적 모듈이 상기 적외선 영상으로부터 상기 로봇의 앞뒤에 대한 정보를 추출 가능하도록, 상기 로봇의 앞뒤가 구분 가능한 위치에 설치될 수 있다.
또한, 상기 로봇은 상기 로봇의 움직임을 수행하는 로봇 구동부와, 상기 로봇 제어 단말기와의 통신을 위한 로봇 통신부와, 상기 로봇 통신부를 통해 수신되는 상기 로봇 제어 단말기로부터의 로봇 제어신호에 기초하여 상기 로봇 구동부를 제어하는 로봇 제어부를 포함하고; 상기 로봇 게임 모듈은 상기 로봇 게임 상에서 상기 가상 로봇에 대해 발생하는 이벤트에 대한 이벤트 정보를 상기 로봇으로 전송하며; 상기 로봇 제어부는 상기 로봇 통신부를 통해 상기 로봇 게임 모듈로부터 수신되는 상기 이벤트 정보에 따라 상기 로봇이 움직이도록 상기 로봇 구동부를 제어할 수 있다.
여기서, 상기 스테이지의 바닥면에 설치되어 상기 로봇 게임 모듈에 의해 실행되는 상기 로봇 게임이 표시되는 테이블 탑 디스플레이부를 더 포함할 수 있다.
그리고, 상기 로봇 게임 모듈과 연결되어 상기 로봇 게임의 실행을 위한 게임 데이터를 수신하여 클라이언트 디스플레이부에 표시하는 클라이언트 단말기를 더 포함할 수 있다.
또한, 상기 로봇 게임 모듈과 인터넷을 통해 연결되어 상기 로봇 게임의 실행을 위한 게임 데이터를 수신하여 클라이언트 디스플레이부에 표시하고, 로봇 제어신호를 상기 인터넷을 통해 상기 로봇 게임 모듈로 전송하는 클라이언트 단말기를 더 포함하며; 상기 로봇 게임 모듈은 상기 클라이언트 단말기로부터의 상기 로봇 제어신호에 기초하여 상기 로봇 중 어느 하나를 제어할 수 있다.
이와 같이, 본 발명에 따르면 오프라인 상의 실제 로봇의 움직임이 온라인 상에서의 로봇 게임이 제공하는 가상 공간 상에서의 가상 로봇의 움직임으로 반영되어 가상 세계와 현실 세계 두 장르의 게임이 연계된 새로운 형태의 게임이 구현될 수 있는 효과가 제공된다.
또한, 가시광선 카메라와 적외선 카메라에 의해 촬영된 가시광선 영상과 적외선 영상을 융합하여 로봇의 움직임을 추적함으로써, 보다 정확한 로봇의 움직임이 추적 가능하게 된다.
이하에서는 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.
본 발명에 따른 가상 공간과 현실 공간을 연계한 로봇 게임 시스템은, 도 1 및 도 2에 도시된 바와 같이, 로봇(11,12), 로봇 제어 단말기(20,21), 가시광선 카메라(30), 적외선 카메라(31), 움직임 추적 모듈(60), 로봇 게임 모듈(50)을 포함한다. 여기서, 본 발명에서는 로봇 게임 시스템이 2명의 게임 유저가 진행하는 것을 예로 하고 있으며, 이에 따라 한 쌍의 로봇과 한 쌍의 로봇 제어 단말기로 구성되는 것을 예로 하여 설명한다.
로봇(11,12)은 실제 공간인 스테이지(10) 상에서 움직인다. 여기서, 본 발명에 따른 로봇(11,12)은, 도 3에 도시된 바와 같이, 로봇 구동부(11a), 로봇 통신 부(11b) 및 로봇 제어부(11c)를 포함할 수 있다.
로봇 구동부(11a)는 로봇(11,12)이 스테이지(10) 상에서 움직이도록 로봇(11,12)의 실제 움직임을 수행한다. 여기서, 로봇 구동부(11a)는 다수의 모터와, 로터의 구동에 따라 동작하는 바퀴나 관절 등을 포함할 수 있으며, 로봇(11,12)의 실제 움직임을 수행하기 위한 다양한 형태로 마련될 수 있다.
로봇 통신부(11b)는 로봇 제어 단말기(20,21)와 통신하며, 로봇 제어 단말기(20,21)로부터 전송되는 로봇 제어신호를 수신하여 로봇 제어부(11C)에 전달한다. 그리고, 로봇 제어부(11c)는 로봇 통신부(11b)를 통해 수신되는 로봇 제어신호에 기초하여 로봇(11,12)의 실제 움직임이 수행되도록 로봇 구동부(11a)를 제어한다.
로봇 제어 단말기(20,21)는 사용자의 조작에 따라 로봇 제어신호를 로봇(11,12)에 전송한다. 여기서, 로봇 제어 단말기(20,21)는 무선 통신을 통해 로봇(11,12)으로 로봇 제어신호를 전송할 수 있으며, 이 때 무선 통신으로는 RF 통신, 블루투스(Bluetooth), 적외선 통신과 같은 다양한 무선 통신 방식이 적용될 수 있다.
가시광선 카메라(30) 및 적외선 카메라(31)는 로봇(11,12)이 움직이는 실제 공간인 스테이지(10)를 촬영한다. 여기서, 가시광선 카메라(30)에 의해 촬영된 가시광선 영상과 적외선 카메라(31)에 의해 촬영된 적외선 영상은 움직임 추적 모듈(60)로 전달된다. 본 발명에 따른 가시광선 카메라(30) 및 적외선 카메라(31)는 스테이지(10)의 촬영이 가능한 다양한 형태, 예를 들어, CCD(Charge Coupled Device) 카메라나 CMOS(Complementary Metal Oxide Semiconductor) 카메라 형태로 마련될 수 있다.
여기서, 본 발명에 따른 가상 공간과 현실 공간을 연계한 로봇 게임 시스템에서, 가시광선 카메라(30) 및 적외선 카메라(31)는 실제 공간인 스테이지(10) 전체를 촬영할 수 있도록 배치된다. 도 5는 실제 공간인 스테이지(10)와 스테이지(10)의 촬영을 위한 가시광선 카메라(30) 및 적외선 카메라(31)의 구성의 일 예를 도시한 도면이다.
도 5를 참조하여 설명하면, 스테이지(10)는 대략 사각 형태로 마련되며, 스테이지(10) 상에서는 로봇(11,12)에 배치된다. 그리고, 스테이지(10)의 양 가장자리로부터 상향 설치된 대략 'ㄷ' 자 형태의 지지 프레임(31)에 중간 부분에 가시광선 카메라(30)와 적외선 카메라(31)가 설치되어 스테이지(10)와 스테이지(10) 내에서 움직이는 로봇(11,12)을 촬영한다.
여기서, 도 5에 도시된 스테이지(10), 가시광선 카메라(30) 및 적외선 카메라(31)의 구성은 본 발명에 따른 가상 공간과 현실 공간을 연계한 로봇 게임 시스템의 일 에에 불과하여, 다양한 배치 및 구성으로 구현 가능함은 물론이다. 또한, 로봇 제어 단말기(20,21)가 도 2에 도시된 바와 같이, 게임 유저가 휴대할 수 있는 단말기 형태로 마련될 수 있으며, 스테이지(10)의 가장 자리 부분에 빌트인(Built-in) 형태로 마련될 수 있음은 물론이다.
또한, 스테이지(10)에는, 도 5에 도시된 바와 같이, 스테이지(10)를 향해 적외선 광을 조사하는 적외선 조사 모듈(31a)이 설치될 수 있다. 본 발명에서는 적 외선 조사 모듈(31a)로 적외선 광을 조사하는 다수의 적외선 LED(Light Emitting Diode)가 적용되는 것을 예로 한다.
그리고, 로봇(11,12)에는 적외선 조사 모듈(31a)로부터의 적외선 광을 적외선 카메라(31) 방향으로 반사시키는 반사판(13,14)이 설치될 수 있다. 이에 따라 적외선 조사 모듈(31a)로부터 조사된 적외선 광이 반사판으로부터 반사되어, 적외선 카메라(31)가 스테이지(10)를 촬영하여 획득된 적외선 영상에서 반사판(13,14)이 더욱 명확하게 구분될 수 있다.
한편, 본 발명에 따른 움직임 추적 모듈(60) 및 로봇 게임 모듈(50)은, 도 2에 도시된 바와 같이, 메인 게임 컴퓨터(40)에 기 인스톨되어 저장된 프로그램 형태로 마련되는 것을 일 예로 한다.
도 4는 본 발명에 따른 메인 게임 컴퓨터(40)의 구성의 예를 도시한 도면이다. 도 4를 참조하여 설명하면, 본 발명에 따른 메인 게임 컴퓨터(40)는 중앙처리장치인 CPU(41)(Central Processing Unit), 칩셋(42), 메인 메모리(43), LCD 모니터와 같은 테이블 탑 디스플레이부(45), 네트워크부(44), 카메라 인터페이스부(46) 및 운영체계(48)(OS : Operating System)를 포함할 수 있다.
메인 메모리(43)는 비휘발성 메모리인 램(RAM : Random Access Memory) 형태로 마련되며, CPU(41)의 동작에 따른 어플리케이션 프로그램, 예컨대, 프로그램 형태로 마련된 움직임 추적 모듈(60) 및 로봇 게임 모듈(50) 등의 프로그램의 구동 데이터나 기타 데이터를 임시 저장한다. 칩셋(42)은 메인 메모리(43) 및 테이블 탑 디스플레이부(45)와 교환되는 데이터를 관리하며, CPU(41), 메인 메모리(43), 네트워크부(44), 카메라 인터페이스부(46) 및 하드디스크 드라이브(47) 간에 이동하는 데이터를 관리한다.
여기서, 테이블 탑 디스플레이부(45)는 도 2에 도시된 바와 같이, 그 화면이 스테이지(10)의 바닥면을 형성하도록 마련될 수 있다. 이에 따라, 테이블 탑 디스플레이부(45)의 화면에 로봇 게임이 표시되고, 실제 로봇(11,12)이 가상 공간을 움직이는 것과 같은 효과를 얻을 수 있게 된다.
그리고, 카메라 인터페이스부(46)는 가시광선 카메라(30) 및 적외선 카메라(31)가 접속되어, 가시광선 카메라(30) 및 적외선 카메라(31)에 의해 촬영된 가시광선 영상 및 적외선 영상을 수신한다. 여기서, 본 발명에 따른 카메라 인터페이스부(46)는 USB(Universal Serial Bus) 방식이나 IEEE 1394 방식과 같이 영상 데이터의 수신이 가능한 다양한 형태로 마련될 수 있다. 그리고, 네트워크부(44)는 인터넷 망을 통해 송수신되는 데이터를 관리한다.
한편, 움직임 추적 모듈(60)은 메인 게임 컴퓨터(40)에 인스톨되어 하드디스크 드라이브(47)에 저장된다. 여기서, 움직임 추적 모듈(60)은 가시광선 카메라(30) 및 적외선 카메라(31)에 의해 촬영되어 카메라 인터페이스부(46)를 통해 수신되는 가시광선 영상 및 적외선 영상에 기초하여 스테이지(10) 상에서의 로봇(11,12)의 움직임을 추적한다. 그리고, 움직임 추적 모듈(60)은 가시광선 영상 및 적외선 영상으로부터 추적된 로봇(11,12)의 움직임에 따라 움직임 추적 정보를 생성하여 로봇 게임 모듈(50)로 전달한다.
본 발명에 따른 움직임 추적 모듈(60)은, 도 6에 도시된 바와 같이, 전처리 모듈(61), 물체 추적 모듈(62), 로봇 방향 추적 모듈(63) 및 추적정보 생성모듈(64)을 포함할 수 있다.
전처리 모듈(61)은 스테이지(10)를 촬영한 가시광선 영상 중 정지 영상 내에서 스테이지(10)를 제외한 부분 즉 로봇(11,12)에 대한 로봇 영역을 추출한다. 본 발명에서는 전처리 모듈(61)이 백그라운드 서브트랙션 알고리즘(Background subtraction algorism)을 통해 영상으로부터 로봇 영역을 추출하는 것을 예로 한다.
여기서, 백그라운드 서브트랙션 알고리즘(Background subtraction algorism)은 정지된 가시광선 카메라(30)로 입력된 가시광선 영상 안에서 모션(Motion)이 발생하는 물체를 추출하는 방법으로, 본 발명에서와 같이 가시광선 카메라(30)가 고정된 환경에서 로봇(11,12)의 움직임을 추출하는데 적합하다. 그리고, 백그라운드 서브트랙션 알고리즘(Background subtraction algorism)은 가시광선 카메라(30)의 촬영에 의한 가시광선 영상에서 모션(Motion)이 발생하는 경우, Homography와 같은 정보를 이용하여 로봇(11,12)에 대한 로봇 영역의 추출을 위한 연산을 수행한다.
물체 추적 모듈(62)은 전처리 모듈(61)에 의해 추출된 로봇 영역에 기초하여, 기 설정된 물체 추적 알고리즘을 통해 로봇 영역의 움직임을 추적하고, 추적된 로봇 영역의 움직임에 기초하여 로봇(11,12)의 위치와 로봇(11,12)의 움직이는 방향에 대한 정보를 추출한다.
여기서, 물체 추적 모듈(62)에 의해 추출되는 로봇(11,12)의 위치에 대한 정보는 각 로봇(11,12)의 좌표에 대한 정보가 두 대 이상의 로봇(11,12)을 구분하기 위한 정보를 포함한다. 여기서, 로봇(11,12)의 구분은 로봇(11,12)의 색상을 달리함으로써 구분 가능할 수 있다.
본 발명에서는 물체 추적 모듈(62)이 파티클 필터 알고리즘(Particle filter algorism)을 통해 로봇 영역의 움직임을 추적하는 것을 일 예로 한다.
물체 추적 알고리즘에는 MeanShift 알고리즘, Template Matching 알고리즘 및 파티클 필터 알고리즘(Particle filter algorism) 등이 존재한다.
먼저, MeanShift 알고리즘은 Color Histogram을 기반으로 Back-projection 과정을 통해 입력 영상의 확률분포를 계산하고, 이를 통해 물체가 있을 확률이 가장 높은 곳을 찾아나가는 알고리즘이다. MeanShift 알고리즘은 이러한 과정을 통해 영상 안에서 확률분포의 Mean 값을 찾는데, Occlusion과 같은 문제가 발생할 경우 Local Mean에 갇혀버리는 문제가 발생할 수 있다.
Template Matching 알고리즘은 MeanShift 알고리즘이나 파티클 필터 알고리즘(Particle filter algorism)과는 달리 확률분포를 계산하지 않고 타겟 모델에 대한 Template를 후보 Template들과 실시간으로 비교하여 가능 매칭률이 가장 높은 모델을 찾는 알고리즘이다. 그리고, Template Matching 알고리즘은 MeanShift 알고리즘과 같이 Occlusion이나, 급격한 모델의 변화에 민감하게 반응하지만, 이러한 문제를 제외하면 가장 명확하게 물체를 추적하는 장점을 갖고 있다. 이와 같은 Template Matching 알고리즘의 장점 때문에 파티클 필터 알고리즘(Particle filter algorism)과 같은 확률 기반의 물체 추적 알고리즘에서 Template 정보를 추가하는 방법이 사용 가능한다.
그리고, 파티클 필터 알고리즘(Particle filter algorism)은 MeanShift 알고리즘과 마찬가지로 입력 영상의 확률분포를 계산하여 확률이 가장 높은 Mean값을 계산하여 타겟 물체를 추적하는 알고리즘이다. MeanShift 알고리즘과 다른 점은 Color Histogram의 Back-projection을 통해 영상의 확률분포를 계산하지 않고, 샘플을 생성함으로써 분포를 추정하는 방법이 적용되는 것이다. 이러한 방법의 단점은 MeanShift 알고리즘보다 계산량이 많다는 것이나, 이러한 문제는 하드웨어의 발달로 인해 실시간성의 보장이 가능할 정도로 해결이 되었으며, MeanShift 알고리즘에서 풀지 못한 Occlusion과 같은 문제를 극복할 수 있다는 장점을 갖고 있다.
한편, 로봇 방향 추적 모듈(63)은 적외선 카메라(31)로부터의 적외선 영상으로부터 로봇(11,12)의 앞뒤에 대한 정보를 추출한다. 여기서, 로봇(11,12)에 설치된 반사판(13,14)은 움직임 추적 모듈(60)의 로봇 방향 추적 모듈(63)이 적외선 영상으로부터 로봇(11,12)의 앞뒤에 대한 정보를 추출할 수 있도록 로봇(11,12)의 앞뒤가 구분 가능한 위치에 설치된다. 예를 들어, 로봇(11,12)의 앞부분과 뒷부분에 그 사이즈나 모양이 상이한 반사판(13,14)을 한 쌍으로 부착함으로써 로봇의 앞뒤에 대한 정보를 제공할 수 있다.
그리고, 추적정보 생성모듈(64)은 물체 추적 모듈(62)에 의채 추출된 로봇(11,12)의 위치와 움직이는 방향에 대한 정보와, 로봇 방향 추적 모듈(63)에 의해 추출된 로봇(11,12)의 앞뒤에 대한 정보를 이용하여 움직임 추적 정보를 생성한다.
다시, 도 1, 도 2 및 도 4를 참조하여 설명하면, 로봇 게임 모듈(50)은 메인 게임 컴퓨터(40)에 인스톨되어 하드디스크 드라이브(47)에 저장된다. 여기서, 로봇 게임 모듈(50)은 로봇(11,12)에 대응하는 가상 로봇과 가상 로봇이 활동하는 가상 공간이 마련된 로봇 게임을 제공한다.
로봇 게임 모듈(50)에 의해 로봇 게임이 메인 게임 컴퓨터(40) 상에서 실행되는 경우, 로봇 게임 모듈(50)은, 도 2에 도시된 바와 같은 가상 공간이 마련된 로봇 게임 실행 화면을 테이블 탑 디스플레이부에 표시한다. 그리고, 로봇 게임 모듈(50)은 움직임 추적 모듈(60)에 의해 생성된 움직임 추적 정보에 따라 로봇 게임 실행 화면(GW)에 표시된 가상 공간(110) 상에서의 가상 로봇의 움직임을 제어한다.
여기서, 테이블 탑 디스플레이부(45)의 화면이, 상술한 바와 같이 스테이지(10)의 바닥면을 형성하는 경우, 스테이지(10) 상의 실제 로봇(11,12)의 움직임에 따라 테이블 탑 디스플레이부(45)의 화면 상에 표시되는 가상 로봇이 함께 움직이는 효과가 나타난다.
상기와 같은 구성을 통해, 실제 공간인 스테이지(10) 상에서 움직이는 로봇(11,12)을 로봇 제어 단말기(20,21)를 통해 제어하고, 이에 따른 로봇(11,12)의 움직임에 대해 가시광선 카메라(30) 및 적외선 카메라(31)를 통해 촬영된 영상으로부터 움직임 추적 정보를 생성하여 이를 가상 공간 상에서의 가상 로봇의 움직임 제어에 적용함으로써, 오프라인 상의 실제 로봇(11,12)의 움직임이 온라인 상에서의 로봇 게임이 제공하는 가상 공간 상에서의 가상 로봇의 움직임으로 반영되어 가상 세계와 현실 세계 두 장르의 게임이 연계된 새로운 형태의 게임이 구현 가능하 게 된다.
한편, 본 발명에 따른 로봇 게임 시스템은, 도 7에 도시된 바와 같이, 메인 게임 컴퓨터(40)와 연결되는 적어도 하나의 클라이언트 단말기(80,90)를 포함할 수 있다. 본 발명에서는 상술한 바와 같이 2명의 게임 유저가 로봇 게임을 진행할 수 있도록 2개의 클라이언트 단말기(80,90)로 구성되는 것을 예로 한다.
클라이언트 단말기(80,90)는 메인 게임 컴퓨터(40)의 로봇 게임 모듈(50)로부터 로봇 게임의 실행을 위한 게임 데이터를 수신하고, 수신된 게임 데이터를 자진의 클라이언트 디스플레이부(81,91)에 표시한다. 도 5에서는 클라이언트 디스플레이부(81,91)가 스테이지(10)의 양측에 각각 설치되는 것을 예로 하고 있다.
이와 같이 각 게임 유저가 자신의 클라이언트 단말기(80,90)를 통해 클라이언트 디스플레이부(81,91)에 표시된 자신의 게임 화면을 보고, 스테이지(10)의 바닥면을 구성하는 테이블 탑 디스플레이부(45)에 표시되는 전체 게임 화면을 보면서 게임을 즐길 수 있게 된다. 즉, 클라이언트 디스플레이부(81,91)에는 각각의 게임 유저에 대한 개인 화면, 예를 들어, 자신이 보유한 아이템 등이 표시될 수 있다.
또한, 본 발명에 따른 가상 공간과 현실 공간을 연계한 로봇 게임 시스템의 로봇 게임 모듈(50)은 로봇 게임 상에서 가상 로봇에 대해 이벤트가 발생하는 경우, 해당 이벤트에 대한 이벤트 정보를 메인 게임 컴퓨터(40)의 네트워크부(44)를 통해 로봇(11,12)으로 전송한다.
도 8은 클라이언트 디스플레이부(81,91)에 표시된 게임 화면(GW)의 예를 도시한 도면이다. 도 8을 참조하여 설명하면, 가상 게임 상에서 가상 로봇(111,112) 에 대해 발생하는 이벤트는 도 8에 도시된 바와 같이, 가상 로봇(111,112)이 가상 공간(110)에 마련된 특정 아이템(Item)을 획득하는 경우, 이에 대한 이벤트 정보가 로봇 게임 모듈(50)로부터 실제 로봇(11,12)으로 전송된다.
이 때, 로봇 제어부(11c)는 로봇 통신부(11b)를 통해 수신되는 이벤트 정보에 따라 로봇(11,12)이 움직이도록 로봇 구동부(11a)의 설정을 변경하여 로봇 구동부(11a)를 제어한다. 예를 들어, 가상 공간(110) 상에서 획득한 아이템(Item)이 로봇(11,12)의 속도를 증가시키는 아이템(Item)인 경우, 로봇 제어부(11c)는 로봇 구동부(11a)의 속도 파라미터(Parameter)를 증가시켜 실제 로봇(11,12)의 속도가 증가되도록 제어할 수 있다.
이와 같이 증가된 로봇(11,12)의 속도는 다시 가시광선 카메라(30) 및 적외선 카메라(31)에 의해 촬영되어 로봇(11,12)의 움직임이 추적됨으로써, 가상 공간(110) 상에서 획득한 아이템(Item)의 영향이 실제 로봇(11,12)을 거쳐 가상 공간(110) 상의 가상 로봇(111,112)에 반영될 수 있다. 이외에도, 가상 로봇(111,112)에 발생하는 이벤트로는 타격 등을 받았을 때 그 속도가 감소하거나, 가상 로봇(111,112)의 특정 부위가 타격으로 인해 손상되었을 경우 실제 로봇(11,12)의 해당 부위에 있는 모터나 관절의 구동이 정지되는 등 다양한 형태로 반영될 수 있다.
한편, 도 9는 본 발명에 따른 로봇 게임 시스템의 다른 실시 형태를 도시한 도면이다. 도 9를 참조하여 설명하면, 클라이언트 단말기(80,90a) 중 어느 하나의 클라이언트 단말기(90a)가 인터넷을 통해 메인 게임 컴퓨터(40)와 연결된다.
그리고, 클라이언트 단말기(90a)는 인터넷을 통해 메인 게임 컴퓨터(40)로부터 로봇 게임의 실행을 위한 게임 데이터를 수신하고, 수신된 게임 데이터를 자신의 클라이언트 디스플레이부(91a)에 표시한다.
이 때, 인터넷을 통해 연결된 클라이언트 단말기(90a)에 대한 로봇(12)의 제어는 전술한 로봇 제어 단말기(22)가 아닌 클라이언트 단말기(90a)로부터 인터넷을 통해 전송되는 로봇 제어신호에 의해 수행된다.
즉, 클라이언트 단말기(90a)는 인터넷을 통해 로봇 제어신호를 메인 게임 컴퓨터(40)로 전송하고, 메인 게임 컴퓨터(40)의 로봇 게임 모듈(50)은 로봇 제어신호에 따라 해당 로봇(12)의 움직임을 제어하게 된다.
이에 따라, 원격지에 위치한 게임 유저는 클라이언트 컴퓨터(90a)의 클라이언트 디스플레이부(91a)를 통해 표시되는 가상 로봇(112)을 보면서 원격지에서 로봇(12)의 움직임을 제어하고, 이러한 제어는 다시 가상 로봇(112)의 움직임에 반영됨으로써, 원격지에서도 로봇 게임 시스템을 즐길 수 있게 된다.
도 1은 및 도 2는 본 발명에 따른 가상 공간과 현실 공간을 연계한 로봇 게임 시스템의 구성을 도시한 도면이고,
도 3은 본 발명에 따른 로봇 게임 시스템의 실제 로봇의 구성의 일 예를 도시한 도면이고,
도 4는 본 발명에 따른 로봇 게임 시스템의 움직임 추적 모듈 및 로봇 게임 모듈이 메인 게임 컴퓨터에 인스톨되어 저장된 프로그램 형태인 예를 도시한 도면이고,
도 5는 본 발명에 따른 로봇 게임 시스템에서 실제 공간인 스테이지, 가시광선 카메라 및 적외선 카메라의 배치의 일 예를 도시한 도면이고,
도 6는 본 발명에 따른 로봇 게임 시스템의 움직임 추적 모듈의 구성의 일 예를 도시한 도면이고,
도 7은 본 발명에 따른 로봇 게임 시스템의 다른 실시 형태를 설명하기 위한 도면이고,
도 8은 도 7의 로봇 게임 시스템의 클라이언트 디스플레이부에 표시되는 게임 화면의 예를 도시한 도면이고,
도 9는 본 발명의 또 다른 실시 형태에 따른 로봇 게임 시스템을 설명하기 위한 도면이다.

Claims (7)

  1. 가상 공간과 현실 공간을 연계한 로봇 게임 시스템에 있어서,
    스테이지 상에서 이동 가능한 적어도 하나의 로봇과,
    상기 각 로봇의 움직임을 제어하는 로봇 제어 단말기와,
    상기 스테이지를 촬영하는 가시광선 카메라 및 적외선 카메라와,
    상기 가시광선 카메라 및 상기 적외선 카메라에 의해 촬영된 가시광선 영상과 적외선 영상에 기초하여 상기 로봇의 움직임을 추적하고, 상기 추적된 로봇의 움직임에 대한 움직임 추적 정보를 생성하는 움직임 추적 모듈과,
    상기 각 로봇에 대응하는 가상 로봇과 상기 가상 로봇이 활동하는 가상 공간이 마련된 로봇 게임을 제공하며, 상기 움직임 추적 모듈에 의해 생성된 상기 움직임 추적 정보에 따라 상기 가상 공간 상에서의 상기 가상 로봇의 움직임을 제어하는 로봇 게임 모듈과,
    상기 스테이지를 향해 적외선 광을 조사하는 적외선 조사 모듈과,
    상기 각 로봇에 설치되어 상기 적외선 조사 모듈로부터의 상기 적외선 광을 상기 적외선 카메라 방향으로 반사하는 반사판을 포함하며;
    상기 움직임 추적 모듈은,
    상기 가시광선 영상으로부터 상기 로봇의 위치와 움직이는 방향에 대한 정보를 추출하고,
    상기 적외선 영상으로부터 상기 로봇의 앞뒤에 대한 정보를 추출하며,
    상기 로봇의 위치와 움직이는 방향에 대한 정보와, 상기 로봇의 앞뒤에 대한 정보를 이용하여 상기 움직임 추적 정보를 생성하며;
    상기 반사판은 상기 움직임 추적 모듈이 상기 적외선 영상으로부터 상기 로봇의 앞뒤에 대한 정보를 추출 가능하도록, 상기 로봇의 앞뒤가 구분 가능한 위치에 설치되는 것을 특징으로 하는 가상 공간과 현실 공간을 연계한 로봇 게임 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 로봇은 상기 로봇의 움직임을 수행하는 로봇 구동부와, 상기 로봇 제어 단말기와의 통신을 위한 로봇 통신부와, 상기 로봇 통신부를 통해 수신되는 상기 로봇 제어 단말기로부터의 로봇 제어신호에 기초하여 상기 로봇 구동부를 제어하는 로봇 제어부를 포함하고;
    상기 로봇 게임 모듈은 상기 로봇 게임 상에서 상기 가상 로봇에 대해 발생하는 이벤트에 대한 이벤트 정보를 상기 로봇으로 전송하며;
    상기 로봇 제어부는 상기 로봇 통신부를 통해 상기 로봇 게임 모듈로부터 수신되는 상기 이벤트 정보에 따라 상기 로봇이 움직이도록 상기 로봇 구동부를 제어하는 것을 특징으로 하는 가상 공간과 현실 공간을 연계한 로봇 게임 시스템.
  5. 제1항에 있어서,
    상기 스테이지의 바닥면에 설치되어 상기 로봇 게임 모듈에 의해 실행되는 상기 로봇 게임이 표시되는 테이블 탑 디스플레이부를 더 포함하는 것을 특징으로 하는 가상 공간과 현실 공간을 연계한 로봇 게임 시스템.
  6. 제1항, 제4항 또는 제5항에 있어서,
    상기 로봇 게임 모듈과 연결되어 상기 로봇 게임의 실행을 위한 게임 데이터를 수신하여 클라이언트 디스플레이부에 표시하는 클라이언트 단말기를 더 포함하는 것을 특징으로 하는 가상 공간과 현실 공간을 연계한 로봇 게임 시스템.
  7. 제1항, 제4항 또는 제5항에 있어서,
    상기 로봇 게임 모듈과 인터넷을 통해 연결되어 상기 로봇 게임의 실행을 위한 게임 데이터를 수신하여 클라이언트 디스플레이부에 표시하고, 로봇 제어신호를 상기 인터넷을 통해 상기 로봇 게임 모듈로 전송하는 클라이언트 단말기를 더 포함하며;
    상기 로봇 게임 모듈은 상기 클라이언트 단말기로부터의 상기 로봇 제어신호에 기초하여 상기 로봇 중 어느 하나를 제어하는 것을 특징으로 하는 가상 공간과 현실 공간을 연계한 로봇 게임 시스템.
KR1020090080941A 2009-08-31 2009-08-31 가상 공간과 현실 공간을 연계한 로봇 게임 시스템 KR101244646B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090080941A KR101244646B1 (ko) 2009-08-31 2009-08-31 가상 공간과 현실 공간을 연계한 로봇 게임 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090080941A KR101244646B1 (ko) 2009-08-31 2009-08-31 가상 공간과 현실 공간을 연계한 로봇 게임 시스템

Publications (2)

Publication Number Publication Date
KR20110023227A KR20110023227A (ko) 2011-03-08
KR101244646B1 true KR101244646B1 (ko) 2013-03-18

Family

ID=43931375

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090080941A KR101244646B1 (ko) 2009-08-31 2009-08-31 가상 공간과 현실 공간을 연계한 로봇 게임 시스템

Country Status (1)

Country Link
KR (1) KR101244646B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102069366B1 (ko) 2013-05-27 2020-01-23 경북대학교 산학협력단 교육용 로봇과 상호 작용하는 증강 현실 구현 장치 및 그 방법
KR101586651B1 (ko) * 2015-02-25 2016-01-20 (주) 라온엔터테인먼트 증강현실을 이용한 멀티플레이 로봇게임 시스템
KR101967216B1 (ko) * 2017-12-11 2019-04-09 한국기계연구원 자율기계용 시험 시스템 및 이의 제어방법
KR102359742B1 (ko) * 2020-05-15 2022-02-08 박재범 다채널 사운드 시스템이 구비된 의자
KR102334058B1 (ko) * 2021-06-22 2021-12-03 경상남도 (교육청) 바이러스 확산 방지 게임 장치
CN113524262A (zh) * 2021-08-20 2021-10-22 太仓中科信息技术研究院 摄像机器人虚实融合精度优化装置和方法
KR20230033304A (ko) 2021-09-01 2023-03-08 이진우 폐타이어 친환경 기와 및 그 제조방법, 그리고 폐타이어 친환경 기와를 이용한 지붕 시공방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004522147A (ja) 2001-01-26 2004-07-22 ワニー ソシエテ アノニム 赤外線による障害物検出および距離測定のための方法および装置
KR100769464B1 (ko) * 2006-07-31 2007-10-23 (주)다사로봇 스테이션에 구비된 주파수발신기를 이용한 이동로봇의 위치인식 시스템
KR20090000013A (ko) * 2006-12-14 2009-01-07 주식회사 케이티 네트워크 게임용 보행 로봇의 게임 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004522147A (ja) 2001-01-26 2004-07-22 ワニー ソシエテ アノニム 赤外線による障害物検出および距離測定のための方法および装置
KR100769464B1 (ko) * 2006-07-31 2007-10-23 (주)다사로봇 스테이션에 구비된 주파수발신기를 이용한 이동로봇의 위치인식 시스템
KR20090000013A (ko) * 2006-12-14 2009-01-07 주식회사 케이티 네트워크 게임용 보행 로봇의 게임 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
'인터넷 기반 제어용 축구로봇 시스템 설계 및 구현', KT 경제경영연구소 *
'인터넷 기반 제어용 축구로봇 시스템 설계 및 구현', KT 경제경영연구소*

Also Published As

Publication number Publication date
KR20110023227A (ko) 2011-03-08

Similar Documents

Publication Publication Date Title
KR100969873B1 (ko) 가상 공간과 현실 공간을 연계한 로봇 게임 시스템 및 로봇게임 방법
US9910509B2 (en) Method to control perspective for a camera-controlled computer
EP1636762B1 (en) System and method for providing a real-time three-dimensional interactive environment
US10831278B2 (en) Display with built in 3D sensing capability and gesture control of tv
US9694283B2 (en) Method and apparatus for tracking of a subject in a video game
KR101751078B1 (ko) 애니메이션 또는 모션들을 캐릭터에 적용하는 시스템 및 방법
KR101244646B1 (ko) 가상 공간과 현실 공간을 연계한 로봇 게임 시스템
US9498718B2 (en) Altering a view perspective within a display environment
US8241125B2 (en) Apparatus and method of interaction with a data processor
KR101945553B1 (ko) 수동 및 카메라 기반 아바타 제어
CN102207771A (zh) 推断参与运动捕捉***的用户意图
CN102947777A (zh) 用户跟踪反馈
US20140045593A1 (en) Virtual joint orientation in virtual skeleton
KR20150114058A (ko) 증강현실이 적용된 온/오프라인 3d 프린팅 로봇 전투 게임 시스템 및 이를 이용한 로봇 전투 게임 방법
Zabulis et al. A Multicamera Vision System Supporting the Development of Wide-Area Exertainment Applications.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20111017

Effective date: 20130131

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160304

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170310

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180312

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190311

Year of fee payment: 7