KR101280225B1 - Robot to progress a program using motion detection and method thereof - Google Patents

Robot to progress a program using motion detection and method thereof Download PDF

Info

Publication number
KR101280225B1
KR101280225B1 KR1020060091385A KR20060091385A KR101280225B1 KR 101280225 B1 KR101280225 B1 KR 101280225B1 KR 1020060091385 A KR1020060091385 A KR 1020060091385A KR 20060091385 A KR20060091385 A KR 20060091385A KR 101280225 B1 KR101280225 B1 KR 101280225B1
Authority
KR
South Korea
Prior art keywords
image
behavior
user
program
robot
Prior art date
Application number
KR1020060091385A
Other languages
Korean (ko)
Other versions
KR20080026403A (en
Inventor
오연순
김은정
한상윤
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020060091385A priority Critical patent/KR101280225B1/en
Publication of KR20080026403A publication Critical patent/KR20080026403A/en
Application granted granted Critical
Publication of KR101280225B1 publication Critical patent/KR101280225B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 자세추적을 이용하여 프로그램을 진행하는 로봇 및 그 방법에 관한 것이다. 즉, 로봇에서 사용자와 인터페이스를 할 때 사용자의 행동을 로봇에 부착된 화상 카메라로 입력받은 후 이를 자세 추적 분석하여 사용자가 어떤 행동을 하는 것인지 판단한 후 프로그램을 진행하는 로봇 및 그 방법에 관한 것이다.The present invention relates to a robot and a method for performing a program using posture tracking. That is, the present invention relates to a robot and a method for performing a program after determining a user's behavior by receiving a user's behavior through an image camera attached to the robot and analyzing the posture after the user's behavior is input.

본 발명에서는 사용자의 모습을 촬영하기 위한 화상카메라와; 특정 프로그램을 디스플레이하기 위한 영상출력수단과; 사용자의 행동을 판단하기 위한 자세추적수단; 및 상기 구성요소를 제어하기 위한 제어부를 포함하고, 상기 영상출력수단에서 특정 프로그램을 디스플레이하고 상기 화상 카메라에서 사용자의 모습을 촬영하는 도중에, 상기 제어부의 제어에 의해 상기 영상출력수단에서 프로그램의 디스플레이 진행을 정지하고 상기 자세추적수단이 동작하여, 상기 화상카메라에 의해 촬영되는 사용자의 영상 이미지를 상기 자세추적수단에서 처리한 후 그 처리된 데이터로 사용자의 행동을 판단하여, 사용자의 행동이 일정 조건을 만족할 경우 상기 영상출력수단에서 정지된 프로그램의 디스플레이를 계속 진행하는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇이 제시된다.In the present invention, the image camera for taking a picture of the user; Image output means for displaying a specific program; Posture tracking means for determining a user's behavior; And a control unit for controlling the component, wherein a display of a program is performed on the image output unit under the control of the control unit while displaying a specific program on the image output unit and capturing the user's appearance in the image camera. Stop and the posture tracking means operates, processes the video image of the user photographed by the image camera in the posture tracking means, and then judges the user's behavior based on the processed data. If satisfied, a robot for performing a program using posture tracking, which is characterized by continuing the display of the program stopped by the image output means, is presented.

로봇, 자세 추적 Robot, posture tracking

Description

자세추적을 이용하여 프로그램을 진행하는 로봇 및 그 방법 { Robot to progress a program using motion detection and method thereof}Robot to progress a program using motion detection and method

도 1은 본 발명의 실시예에 따른 로봇의 개략적인 블록도이다.1 is a schematic block diagram of a robot according to an embodiment of the present invention.

도 2는 본 발명의 실시예에 따른 자세 추적 수단의 개략적인 블록도이다.2 is a schematic block diagram of an attitude tracking means according to an embodiment of the present invention.

도 3은 본 발명의 실시예에 따른 사용자의 행동 판단을 위한 영상 이미지의 처리 예를 설명하기 위한 도면이다.3 is a diagram illustrating an example of processing a video image for determining a user's behavior according to an exemplary embodiment of the present invention.

도 4는 본 발명의 실시예에 따른 사용자의 행동 판단 방법을 설명하기 위한 흐름도이다.4 is a flowchart illustrating a method of determining a user's behavior according to an embodiment of the present invention.

< 도면의 주요 부호에 대한 설명 ><Description of Major Symbols in Drawing>

101 : 기능키 입력부 102 : 이동 매커니즘101: function key input unit 102: movement mechanism

103 : 영상출력수단 104 : 자세추적수단103: image output means 104: posture tracking means

105 : 화상 카메라 106 : 제어부105: image camera 106: control unit

201 : 영상 이미지 처리부 202 : 차영상 추출부201: Image image processor 202: difference image extractor

203 : 행동 판단부 204 : 데이터베이스203: behavior judgment unit 204: database

본 발명은 자세추적을 이용하여 프로그램을 진행하는 로봇 및 그 방법에 관한 것이다. 좀더 자세하게는 로봇에서 사용자와의 인터페이스를 할 때 사용자의 행동을 로봇에 부착된 화상 카메라로 입력받은 후 이를 자세 추적 분석하여 사용자가 어떠한 행동을 하는 것인지 판단한 후 프로그램을 진행하는 로봇 및 그 방법에 관한 것이다.The present invention relates to a robot and a method for performing a program using posture tracking. More specifically, when a robot interfaces with a user, the robot receives a user's behavior through an image camera attached to the robot and analyzes the posture to determine what the user is doing, and then proceeds with the program. will be.

기존 PC 기반의 교육 방식은 키보드와 마우스를 이용하여 모니터를 통해 교육이 진행되는데, 사용자의 반응은 키보드와 마우스를 통해 입력되는 정보에 의존하기 때문에 사용자의 행동 양식을 프로그램 내에 반영하거나 특정 행동을 하여야만 다음 단계로 진행하는 형식의 프로그램을 제공할 수 없다.Conventional PC-based training methods are conducted through the monitor using the keyboard and mouse. Since the user's reaction depends on the information input through the keyboard and mouse, the user's behavior must be reflected in the program or a specific action must be taken. You cannot provide a program of the type that proceeds to the next step.

이에 비해 어린이를 대상으로 하는 교육 프로그램에 있어서 어린이에게 호감의 대상이 되는 로봇을 이용한 체감형 프로그램은 더욱 높은 교육 효과를 기대할 수 있을 것이며, 또한 체감형 프로그램에서 사용자인 어린이의 행동을 지시하고 사용자의 행동이 적절하게 수행되었는지를 판단하는 기능을 제공하는 것은 체감형 어린이 교육프로그램에서 중요한 사항이 될 것이다.On the other hand, in the educational program for children, the haptic program using robots, which are the object of children's favor, can expect higher educational effect. Providing the ability to determine whether an action was performed properly will be important in immersive children's education programs.

본 발명은 상술한 문제점을 해결하기 위한 것으로서, 본 발명은 화상 카메라가 장착된 로봇에서 자세 추적 기능을 이용하여 사용자 행동의 판단 절차를 제공함으로써 로봇에서 운영되는 인터페이스 프로그램이나 컨텐츠 및 서비스 프로그램 등에서 더 높은 참여나 교육 효과를 낼 수 있게 하는 로봇 및 방법을 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and the present invention provides a procedure for determining user behavior using a posture tracking function in a robot equipped with an image camera, thereby providing a higher level of interface program or content and service program operated by the robot. It aims to provide robots and methods that enable participation or educational effects.

본 발명의 목적을 달성하기 위한 기술적 사상으로서, 본 발명에서는 사용자의 자세추적을 이용하여 특정 프로그램을 진행하는 로봇에 있어서,As a technical idea for achieving the object of the present invention, in the present invention, in the robot that proceeds a specific program using the user's posture tracking,

사용자의 모습을 촬영하기 위한 화상카메라와;An image camera for taking a picture of a user;

특정 프로그램을 디스플레이하기 위한 영상출력수단과;Image output means for displaying a specific program;

사용자의 행동을 판단하기 위한 자세추적수단; 및Posture tracking means for determining a user's behavior; And

상기 구성요소를 제어하기 위한 제어부를 포함하고,A control unit for controlling the component;

상기 영상출력수단에서 특정 프로그램을 디스플레이하고 상기 화상 카메라에서 사용자의 모습을 촬영하는 도중에, 상기 제어부의 제어에 의해 상기 영상출력수단에서 프로그램의 디스플레이 진행을 정지하고 상기 자세추적수단이 동작하여, 상기 화상카메라에 의해 촬영되는 사용자의 영상 이미지를 상기 자세추적수단에서 처리한 후 그 처리된 데이터로 사용자의 행동을 판단하여, 사용자의 행동이 일정 조건을 만족할 경우 상기 영상출력수단에서 정지된 프로그램의 디스플레이를 계속 진행하는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇이 제시된다.While displaying a specific program in the image output means and capturing the user's appearance in the image camera, the image output means stops the display of the program in the image output means and the posture tracking means operates to control the image. After processing the video image of the user captured by the camera in the posture tracking means to determine the user's behavior by the processed data, if the user's behavior satisfies a predetermined condition, the display of the program stopped in the video output means A robot that proceeds a program using posture tracking, which is characterized by continuing, is presented.

이하에서는 본 발명의 실시예에 대한 구성 및 작용을 첨부한 도면을 참조하면서 상세히 설명하기로 한다.Hereinafter, with reference to the accompanying drawings, the configuration and operation of the embodiment of the present invention will be described in detail.

도 1은 본 발명의 실시예에 따른 로봇의 개략적인 블록도이다.1 is a schematic block diagram of a robot according to an embodiment of the present invention.

도 1에서 알 수 있듯이 본 발명의 실시예에 따른 로봇은 로봇의 각종 기능을 선택하여 입력하기 위한 기능키 입력부(101)와, 로봇의 이동을 담당하는 이동매커 니즘(102)과, 사용자의 동영상과 교육 프로그램인 그래픽 애니메이션을 합성하여 출력하는 영상출력수단(103)과, 사용자의 자세를 추적하기 위한 자세 추적 수단(104)와, 사용자의 모습을 촬영하기 위한 화상 카메라(105) 및 상기 구성요소를 제어하기 위한 제어부(106)를 포함하여 이루어진다.As can be seen in Figure 1 the robot according to an embodiment of the present invention is a function key input unit 101 for selecting and inputting various functions of the robot, the movement mechanism 102 responsible for the movement of the robot, and the user's video And image output means 103 for synthesizing and outputting graphic animations, which are education programs, a posture tracking means 104 for tracking a posture of a user, an image camera 105 for capturing a user's appearance, and the components. It comprises a control unit 106 for controlling.

상기 기능키 입력부(101)는 로봇의 각종 기능을 선택하여 입력함으로써 로봇이 선택된 기능을 수행하도록 한다. 이 기능키 입력부를 통한 입력 신호에 따라 자세 추적 기능이 수행된다.The function key input unit 101 selects and inputs various functions of the robot so that the robot performs the selected function. The posture tracking function is performed according to the input signal through the function key input unit.

상기 이동 매커니즘(102)은 로봇의 이동을 담당하는 구성으로서, 구동 모터 및 구동 수단으로 구성된다. 구동 수단으로는 무한 궤도형, 바퀴 형, 인간 다리형 등이 될 수 있다.The movement mechanism 102 is a configuration that is responsible for the movement of the robot, it is composed of a drive motor and drive means. The drive means may be a caterpillar, a wheel, a human leg, or the like.

상기 영상출력수단(103)은 특정의 프로그램을 실행하여 디스플레이하는 기능을 수행한다. 본 발명의 실시예에 따라서는 로봇이 구비한 화상 카메라로 촬영한 사용자의 동영상을 특정의 프로그램인 그래픽 애니메이션 등과 합성하여 디스플레이하는 기능을 수행한다. 이로써 교육 프로그램을 사용하는 사용자는 교육프로그램 내에 참여하는 듯한 효과를 낼 수 있게 된다.The image output means 103 performs a function of executing a specific program and displaying the same. According to an exemplary embodiment of the present invention, a video of a user captured by an image camera provided by a robot is combined with a graphic animation, which is a specific program, and displayed. As a result, the user using the educational program can produce the effect of participating in the educational program.

상기 자세추적수단(104)은 로봇이 구비한 화상카메라가 촬영한 사용자의 영상 이미지로부터 사용자의 자세를 추적하여 사용자의 행동을 판단하는 기능을 수행한다. 도 2에서 이에 대해 상세히 설명하기로 한다.The posture tracking means 104 performs a function of tracking the posture of the user from the video image of the user captured by the image camera provided by the robot to determine the user's behavior. This will be described in detail with reference to FIG. 2.

상기 화상 카메라(105)는 사용자의 모습을 촬영한 후 그 영상이미지를 상기 자세추적수단에 전송해 준다. 본 발명의 실시예에서는 초당 30 프레임의 촬영 속도 로 사용자의 모습을 촬영하게 된다.The image camera 105 takes a picture of the user and transmits the video image to the posture tracking means. In an embodiment of the present invention, the user's appearance is captured at a shooting speed of 30 frames per second.

상기 제어부(106)는 로봇의 각 구성요소를 제어한다. 본 발명에서는 자세추적수단(104) 및 영상출력수단(103)과 연계되어 동작한다.The controller 106 controls each component of the robot. In the present invention, the posture tracking means 104 and the image output means 103 operates in conjunction with.

도 2는 본 발명의 실시예에 따른 자세추적 수단의 개략적인 블록도이다.2 is a schematic block diagram of a posture tracking means according to an embodiment of the present invention.

도 2에서 알 수 있듯이, 자세 추적 수단은 영상 이미지 처리부(201), 차영상 추출부(202), 행동 판단부(203) 및 데이터베이스(204)를 포함하여 이루어진다.As can be seen in FIG. 2, the posture tracking means includes a video image processor 201, a difference image extractor 202, a behavior determiner 203, and a database 204.

상기 영상 이미지 처리부(201)는 상기 화상 카메라(105)로 촬영한 각 프레임의 영상 이미지에서 사용자의 부분을 인식한 후 영상 이미지를 8*8 픽셀의 작은 사각형으로 나누어 사각형 기반으로 영역화한다. 도 3은 이를 설명하고 있다.The image image processing unit 201 recognizes a user's part in the image image of each frame photographed by the image camera 105, and divides the image image into small squares of 8 * 8 pixels to area based on squares. 3 illustrates this.

먼저, 화상 카메라로부터 전송받은 영상 이미지에서 사용자와 배경을 구분한다. 이는 영상 이미지의 컬러 색채 정보를 컬러 좌표 변환을 통해 그레이 스케일 영상 이미지로 변환하고, 이 변환된 영상 이미지에서 기울기인 그래디언트(gradient) 크기를 구한 후 영상의 밝기 값이 급격하게 변하는 경계선을 검출함으로써 사용자와 배경을 구분할 수 있다(도 3의 a).First, the user and the background are distinguished from the video image transmitted from the image camera. It converts the color color information of the video image into a gray scale video image through color coordinate conversion, obtains the gradient size of the gradient from the converted video image, and then detects the boundary line where the brightness value of the image changes rapidly. And background can be distinguished (a of FIG. 3).

다음으로 영상 이미지를 8*8 픽셀의 작은 사각형으로 나눈다(도 3의 b).Next, divide the video image into small squares of 8 * 8 pixels (b in FIG. 3).

다음으로 나누어진 각 사각형에서 사용자 부분을 일정 비율이상 포함하고 있는 사각형을 영역화한다(도 3의 c).In each of the divided rectangles, a rectangle containing a predetermined portion or more of the user portion is aread (FIG. 3C).

이 영역화된 이미지를 다음 단계의 진행을 위해 차영상 추출부(202)로 전송하게 된다.The areaized image is transmitted to the difference image extracting unit 202 for the next step.

상기 차영상 추출부(202)는 이전 프레임의 영역화된 영상 이미지와 현재의 전송받은 영역화된 영상 이미지를 비교하여(도 3의 d,e) 그 차이를 정해진 데이터형태로 추출한다. 즉, 현재 영역화된 이미지와 이전의 영역화된 이미지에서 공통되는 사각형 영역 부분을 제외한 사각형 영역에 대한 데이터 또는 현재 영역화된 이미지에서 이전의 영역화된 이미지를 제외한 사각형 영역에 대한 데이터를 추출한다. 이 데이터에는 사용자의 움직임 방향성 및 사용자의 신체 부분에 대한 데이터가 포함된다.The difference image extractor 202 compares the localized video image of the previous frame with the current transmitted localized video image (d, e of FIG. 3) and extracts the difference into a predetermined data type. That is, the data for the rectangular area except for the rectangular area part common in the current area image and the previous areaized image or the data for the rectangular area except for the previous area image in the current area image is extracted. . This data includes data on the direction of movement of the user and the body part of the user.

상기 행동 판단부(203)는 상기 차영상 추출부(202)에서 보내준 차영상 데이터를 바탕으로 상기 데이터베이스에 저장되어 있는 기준 행동 데이터와 비교하여 차영상 데이터가 어떤 기준 행동에 해당하는지를 판별하게 된다.The behavior determination unit 203 determines which reference behavior the difference image data corresponds to by comparing the reference behavior data stored in the database based on the difference image data sent from the difference image extraction unit 202.

상기 데이터베이스(204)는 기준 행동 데이터를 저장하고 있다. 즉, 사용자의 점프, 앉기, 손을 위로 들기, 몸을 움직이기 등의 행동을 판단하기 위해 기준 모델이 되는 사용자의 행동을 초당 30 프레임으로 촬영한 영상 이미지를 상기 영상 이미지 처리부에서 처리한 방식과 동일한 방식으로 처리한 후 각 행동에 대한 각 영상 이미지의 차영상 데이터가 미리 데이터베이스화되어 저장된다.The database 204 stores reference behavioral data. That is, the image image processing unit processes a video image photographed at 30 frames per second of a user's action as a reference model to determine a user's jumping, sitting, raising hands, or moving body. After processing in the same manner, the difference image data of each image image for each action is previously databased and stored.

도 4는 본 발명의 실시예에 따른 사용자의 행동 판단 방법을 설명하기 위한 흐름도이다.4 is a flowchart illustrating a method of determining a user's behavior according to an embodiment of the present invention.

먼저, 로봇에서 그래픽 애니메이션 등의 특정 프로그램을 실행하여 디스플레이를 시작한다(S401).First, the robot starts a display by executing a specific program such as graphic animation (S401).

다음으로, 로봇에서 구비하고 있는 화상 카메라로 사용자의 모습을 초당 30 프레임으로 촬영한다(S402).Next, the user's image is photographed at 30 frames per second by the image camera provided by the robot (S402).

다음으로, 로봇의 영상 출력 수단(103)에서는 특정 프로그램의 디스플레이 를 계속 진행한다. 한편, 디스플레이 도중에 화면상으로 교육 대상인 어린이에게 디스플레이되고 있는 그래픽 애니메이션 상의 캐릭터의 특정 행동을 따라할 것을 지시하게 되는데, 이 지시를 보여주는 그래픽 애니메이션 이미지에 소정의 행동 지시 코드를 실어 놓아, 그 이미지가 디스플레이되는 순간에 그 코드를 인식한 상기 영상출력수단(103)에서 상기 제어부(106)에 코드 인식 신호를 보내고 상기 제어부(106)에서는 제어신호로써 상기 자세 추적 수단(104)을 구동하게 한다. 또한 이 지시 코드에는 행동 종류를 나타내는 코드 또는 행동 종류를 나타내는 코드 및 목표치를 나타내는 코드가 포함되어 상기 제어부(106)에서 상기 자세추적수단의 행동 판단부(203)로 상기 코드 신호를 제어 신호에 실어 전송하여 준다.Next, the image output means 103 of the robot continues the display of the specific program. On the other hand, during the display, the instructional child is instructed to follow a specific action of the character on the graphic animation being displayed, and a predetermined action instruction code is placed on the graphic animation image showing the instruction, and the image is displayed. At the moment, the image output means 103 that recognizes the code sends a code recognition signal to the controller 106, and the controller 106 causes the posture tracking means 104 to be driven as a control signal. In addition, the instruction code includes a code indicating a behavior type or a code indicating a behavior type and a code indicating a target value so that the control unit 106 carries the code signal to a control signal from the behavior determination unit 203 of the posture tracking means. Send it.

상기와 같이 제어신호에 따라 상기 자세 추적 수단(104)이 구동된 후, 사용자인 어린이가 지시된 행동을 따라하는 것이 상기 행동 판단부(203)에 인식될 때까지 영상 출력 수단(103)에서는 그래픽 애니메이션의 디스플레이를 행동 지시 신의 마지막 장면으로 정지시켜 놓는다(S403). 또한 상기 영상 출력 수단(103)에서는 그래픽 애니메이션의 행동 지시 신(scene)을 이루는 이미지들을 일시 저장하였다가 상기 제어부(106)의 제어 신호에 따라 그 부분만을 재생한다. 행동 지시 신은 일련의 복수 개의 이미지로 구성되며 각 이미지에 일정 코드를 심어 상기 영상출력수단에서는 그 코드를 인식하여 시작 이미지부터 끝 이미지까지 저장하게 된다.After the posture tracking means 104 is driven in accordance with the control signal as described above, the image output means 103 performs a graphic until the behavior determination unit 203 recognizes that the child who is a user follows the indicated action. The display of the animation is stopped as the last scene of the action instruction scene (S403). In addition, the image output means 103 temporarily stores images constituting the action instruction scene of the graphic animation, and reproduces only the portion according to the control signal of the controller 106. The action instruction scene is composed of a series of a plurality of images and a certain code is planted in each image, and the image output means recognizes the code and stores it from the start image to the end image.

다음으로, 제어부의 제어 신호에 따라 화상카메라에서 촬영한 각 프레임 영상 이미지를 상기 영상 이미지 처리부(201)에서 전송받고, 상기 영상 이미지 처리 부(201)에서는 위에서 설명한 바와 같이 각 영상 이미지를 처리한 후 그 데이터를 차영상 추출부에 전송한다(S404). Next, the image image processing unit 201 receives each frame image image captured by the image camera according to a control signal of the controller, and the image image processing unit 201 processes each image image as described above. The data is transmitted to the difference image extracting unit (S404).

다음으로, 상기 차영상 추출부(202)에서 이전 프레임의 이미지와 현재 프레임의 이미지를 비교하여 각 영상 이미지에 대한 차영상 데이터를 추출하여 이를 상기 행동 판단부(203)로 전송한다(S405).Next, the difference image extracting unit 202 compares the image of the previous frame with the image of the current frame, extracts difference image data for each image image, and transmits the difference image data to the behavior determination unit 203 (S405).

다음으로, 상기 추출된 차영상 데이터를 이용하여 상기 행동 판단부(203)에서 상기 데이터베이스에 저장된 각 기준 행동의 데이터와 비교하여 상기 차영상 데이터가 가장 근접하고 있는 기준 행동을 판단하게 된다(S406). 이때 사용자의 행동이 일정한 목표치를 달성하였는지를 판단할 필요가 있을 수 있다. 예를 들면 상기 목표치를 나타내는 코드에 의해 사용자의 점프가 30센티미터 이상이어야 다음 단계로 넘어갈 수 있는 조건하에서는 점프라는 행동 판단과 동시에 사용자에 대한 자세 추적 처리 결과 30센티미터 이상의 차영상이 발생하였음을 판단하여야 한다. 이 경우에는 이미지 처리부에서 처리한 사각형 격자를 단위로 하여 추출하게 된다. 즉, 사각형 격자 하나당 어느 정도의 거리로 정하고 움직임 방향에 대한 최종 차영상 데이터가 정해진 사각형 격자의 개수 이상의 차가 생겨야 목표치를 달성하였음을 판단하게 된다.Next, the behavior determination unit 203 compares the reference behavior stored in the database with the extracted difference image data to determine the reference behavior closest to the difference image data (S406). . At this time, it may be necessary to determine whether the user's action has achieved a certain target value. For example, under the condition that the jump of the user is 30 centimeters or more according to the code indicating the target value, judging the behavior of jumping and judging the posture tracking process for the user, the difference image of 30 centimeters or more should be determined. do. In this case, the rectangular grid processed by the image processing unit is extracted as a unit. That is, it is determined that the target value is achieved only by a certain distance per square grating and a difference of more than the number of square gratings in which the final difference image data for the movement direction is determined.

예를 들면, 점프의 경우 점프 당시를 촬영한 영상 프레임의 이미지의 차영상 데이터는 위쪽으로의 움직임 방향성 정보를 갖고 있고, 사용자 점프의 최고점 도달 이후의 촬영 프레임 이미지의 차영상 데이터는 아래쪽으로의 움직임 방향성을 갖게 되므로, 위쪽 방향성을 가진 최초와 최후의 차영상 데이터를 누적하여 위쪽으로의 차가 정해진 사각형 격자 개수 이상의 차가 발생하였음을 구별한 후 목표치를 달성하였는지를 판단하게 된다.For example, in the case of a jump, the difference image data of an image of an image frame photographed at the time of the jump has upward direction information, and the difference image data of a captured frame image after reaching the highest point of the user jumps downward. Since the first and last difference image data having the upward direction are accumulated, it is determined that the difference is greater than the number of square grids determined by the upward difference, and then it is determined whether the target value is achieved.

다음으로, 상기 제어부(106)에서는 상기 행동 판단부(203)로부터 사용자의 행동이 행동 지시 코드를 만족한다는 신호를 전송받은 경우에는 영상 출력 수단을 제어하여 정지된 이미지의 다음 그래픽 애니메이션 이미지부터 재생시키게 된다(S407).Next, when the controller 106 receives a signal from the behavior determination unit 203 that the user's behavior satisfies the behavior instruction code, the controller 106 controls the image output means to play the next graphic animation image of the still image. (S407).

만약, 사용자의 행동이 행동 지시 코드를 만족하지 않을 경우에는 상기 제어부(106)는 상기 영상출력수단(103)을 제어하여 저장되어 있는 행동 지시 부분만을 다시 한 번 재생시키고(S408), 위의 S404 단계부터 반복하게 된다.If the user's action does not satisfy the action instruction code, the controller 106 controls the image output means 103 to reproduce only the stored action instruction portion once again (S408), and the above S404. Repeat from step.

본 발명의 실시예에 따라 사용자 행동 판단 방법의 처리를 할 때 사용자와 콘텐츠의 성격에 따라 정밀도를 매우 세밀하게 할 수도 있고 대략적으로 할 수도 있다. 이는 영상 처리시 격자를 만드는 사각형의 크기에 의해 정밀도가 변동된다. 사각형의 크기가 작아지면 정밀도가 높아지게 된다. 반면 사각형의 크기가 작아지면 사각형의 숫자가 많아져서 처리속도가 떨어질 수 있으며, 일반적으로 8*8 픽셀 격자를 사용하는 것을 기준으로 한다.According to the exemplary embodiment of the present invention, when the user behavior determination method is processed, the precision may be very fine or rough depending on the nature of the user and the content. The precision varies depending on the size of the rectangle that makes the grid during image processing. The smaller the rectangle, the higher the precision. On the other hand, if the size of the rectangle is smaller, the number of rectangles may increase, which may slow down the processing speed.

본 발명에 의하면, 사용자의 행동 판단을 프로그램내에 적용하여 기존의 프로그램에서 제공할 수 없던 사용자의 행동에 따른 프로그램 진행을 통해 적극적인 사용자의 참여를 유도할 수 있으며, 참여 효과가 매우 크게 될 수 있다.According to the present invention, the user's behavior determination can be applied in the program to induce active user participation through the program according to the user's behavior that cannot be provided in the existing program, and the participation effect can be very large.

또한 로봇을 이용한 교육 프로그램의 실행 및 사용자의 지시 행동의 수행을 통하여 교육 대상자의 높은 교육 효과를 기대할 수 있다.In addition, it is possible to expect a high educational effect of the subjects through the execution of the educational program using the robot and the execution of the instructional action of the user.

Claims (15)

사용자의 자세추적을 이용하여 특정 프로그램을 진행하는 로봇에 있어서,In a robot that runs a specific program using a user's posture tracking, 사용자의 모습을 촬영하여 영상 이미지를 획득하는 화상 카메라;An image camera for capturing a user's appearance to obtain a video image; 특정 프로그램을 디스플레이하거나, 상기 영상 이미지와 상기 특정 프로그램의 그래픽 애니메이션을 합성하여 출력하는 영상출력수단;Image output means for displaying a specific program or synthesizing the video image with graphic animation of the specific program; 상기 영상 이미지의 컬러 색채 정보를 컬러 좌표 변환을 통해 그레이 스케일 영상 이미지로 변환하고, 변환된 영상 이미지에서 기울기 그래디언트(gradient) 크기를 구한 후 영상 이미지의 밝기 값이 일정 값 이상으로 변하는 경계선을 검출하여 사용자 이미지와 배경 이미지로 구분하며, 상기 영상 이미지를 사각형 모양으로 나누고, 나누어진 사각형 모양에서 영상 이미지를 일정 비율 이상으로 포함하고 있는 사각형 모양들을 영역화 하는 영상이미지 처리부 ; After converting the color color information of the video image to a gray scale video image through color coordinate conversion, obtaining a gradient gradient size from the converted video image, detecting a boundary line where the brightness value of the video image changes to a predetermined value or more. A video image processing unit for classifying a user image and a background image, dividing the video image into quadrangular shapes, and regioning quadrangle shapes including a predetermined ratio of the video image in a divided quadrangle shape ; 상기 영역화 된 이전 프레임의 영상 이미지와 현재의 영역화 된 영상 이미지를 비교하여 공통되는 사각형 영역을 제외한 사각형 영역에 대한 차영상 데이터 또는 현재 영역화 된 영상 이미지에서 이전의 영역화 된 영상 이미지를 제외한 사각형 영역에 대한 차영상 데이터를 추출하는 차영상 추출부 ; Compare the image image of the previous previous frame with the current region image image, except for the difference image data for the rectangular region except for the common square region or the previous region image image from the current region image image. A difference image extraction unit for extracting difference image data for a rectangular region ; 상기 차영상 데이터를 기준 행동 데이터와 비교해 사용자의 행동을 판단하는 행동 판단부;A behavior determination unit that determines the user's behavior by comparing the difference image data with reference behavior data; 상기 기준 행동 데이터를 저장하고 있는 데이터베이스; 및A database storing the reference behavior data; And 상기 특정 프로그램의 실행에 따른 그래픽 애니메이션이 상기 영상출력수단의 화면 상에 출력되도록 제어하고, 상기 그래픽 애니메이션에 실려있는 행동 지시 코드가 인식된 경우에 상기 특정 프로그램의 실행을 정지하여 상기 영상출력수단의 화면 상에 행동 지시 신(Scene)이 출력되도록 제어하며, 상기 화상 카메라를 통해 획득된 사용자의 영상 이미지에 근거해 상기 행동 판단부를 통해 사용자의 행동을 판단하여 상기 사용자의 행동이 일정 조건을 만족할 경우, 상기 정지된 특정 프로그램의 실행이 진행되도록 제어하는 제어부 ; The graphic animation according to the execution of the specific program is controlled to be output on the screen of the image output means, and when the action instruction code included in the graphic animation is recognized, the execution of the specific program is stopped and the When a behavior instruction scene is controlled to be output on a screen, and the user's behavior satisfies a predetermined condition by determining the user's behavior through the behavior determination unit based on the video image of the user acquired through the image camera. A control unit controlling the execution of the stopped specific program to proceed; 를 포함하는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.Robot that proceeds the program using posture tracking, characterized in that it comprises a. 청구항 1에 있어서,The method according to claim 1, 상기 그래픽 애니메이션의 특정 이미지에는 그래픽 애니메이션 상의 캐릭터의 특정 행동을 따라 할 것을 지시하는 행동 지시 코드가 실려있는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.The robot of the program using a posture tracking, characterized in that the specific image of the graphic animation, the action instruction code for instructing to follow a specific action of the character on the graphic animation. 청구항 2에 있어서,The method according to claim 2, 상기 행동 지시 코드는 행동 종류를 나타내는 코드 또는 행동 종류를 나타낸 코드 및 목표치를 나타내는 코드가 포함된 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.The behavior instruction code is a robot for performing a program using posture tracking, characterized in that a code indicating a behavior type or a code indicating a behavior type and a code indicating a target value. 청구항 3에 있어서,The method of claim 3, 상기 행동 지시 코드 중 행동 목표치에 대한 정보는 8*8 픽셀 단위의 사각형 개수로 표현된 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.Information about the action target value of the action instruction code is a robot that performs a program using posture tracking, characterized in that expressed in the number of squares of 8 * 8 pixels. 청구항 1에 있어서,The method according to claim 1, 상기 사각형 모양은 8*8 픽셀 단위로 나뉘는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.The rectangular shape is a robot that proceeds the program using posture tracking, characterized in that divided by 8 * 8 pixels. 청구항 1에 있어서,The method according to claim 1, 상기 영상출력수단은 상기 그래픽 애니메이션의 시작 이미지부터 끝 이미지까지 일시 저장하였다가 상기 그래픽 애니메이션에 실려진 행동 지시 코드를 인식한 상기 제어부의 제어 신호에 따라 행동 지시 신을 출력하는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.The image output means temporarily stores from the start image to the end image of the graphic animation and outputs an action instruction scene according to a control signal of the controller that recognizes the action instruction code loaded on the graphic animation. Robot to run the program. 청구항 1에 있어서,The method according to claim 1, 상기 제어부는 상기 사용자의 행동에 근거해 사용자가 지시된 행동을 따라 하는 것이 상기 행동 판단부에 의해 인식될 때까지 상기 그래픽 애니메이션의 디스플레이를 행동 지시 신의 마지막 장면으로 정지시키는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.The controller stops the display of the graphic animation to the last scene of the action instruction scene until it is recognized by the action determination unit that the user follows the action instructed based on the action of the user. Robot to run the program. 청구항 1에 있어서,The method according to claim 1, 상기 일정 조건을 만족하는 것은 상기 판단된 사용자의 행동이 상기 행동 지시 종류 또는 행동 종류 및 목표치를 만족하는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.Satisfying the predetermined condition is a robot for performing a program using posture tracking, wherein the determined user's behavior satisfies the behavior instruction type or behavior type and a target value. 청구항 1에 있어서,The method according to claim 1, 상기 데이터베이스는 사용자의 점프, 앉기, 손을 위로 들기, 몸 움직이기를 포함하는 기준 모델이 되는 사용자의 행동을 초당 30 프레임으로 촬영한 영상 이미지를 상기 영상이미지 처리부에서 처리한 방식과 동일한 방식으로 처리한 후 각 행동에 대한 각 영상 이미지를 차영상 데이터로 저장하고 있는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.The database is configured to process a video image of a user's behavior, which is a reference model including jumping, sitting, raising hands, and body movement of the user at 30 frames per second, in the same manner as the image processing unit. A robot that performs a program using posture tracking, which stores each video image for each post-action as difference image data. 청구항 1에 있어서,The method according to claim 1, 상기 행동 판단부는 상기 추출된 차영상 데이터를 상기 데이터베이스에 저장된 각 기준 행동 데이터와 비교하여 상기 차영상 데이터가 가장 근접하고 있는 기준 행동을 판단하고, 상기 제어부는 상기 사용자의 행동이 일정한 목표치를 달성하였지에 대해 사각형 격자를 단위로 하여 사각형 격자 하나당 일정 거리로 정하여 움직임 방향에 대한 최종 차영상 데이터가 정해진 사각형 격자의 개수 이상의 차가 생길 때 목표치를 달성한 것으로 판단하는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.The behavior determining unit compares the extracted difference image data with each reference behavior data stored in the database to determine a reference behavior closest to the difference image data, and the control unit achieves a predetermined target value of the user's behavior. Program using posture tracking, which determines that the target value is achieved when the difference between the number of rectangular grids and the final difference image data for the movement direction is determined by setting a certain distance per square grid with respect to the rectangular grid as a unit. Robot to proceed. 화상 카메라, 영상출력수단, 영상이미지 처리부, 차영상 추출부, 행동 판단부, 데이터베이스 및 제어부를 포함하는 로봇에서 자세 추적을 이용하여 프로그램을 진행하는 방법에 있어서,In the method of using the posture tracking in the robot including an image camera, image output means, image image processing unit, difference image extraction unit, behavior determination unit, database and control unit, (a) 상기 영상출력수단이 특정 프로그램의 실행에 따른 그래픽 애니메이션을 디스플레이하는 단계;(a) displaying, by the image output means, a graphic animation according to execution of a specific program; (b) 상기 제어부가 상기 그래픽 애니메이션의 행동 지시 신에 포함된 행동 지시 코드를 인식하여 상기 특정 프로그램의 디스플레이를 행동 지시 신의 마지막 장면으로 정지시키는 단계; (b) the control unit recognizing the action instruction code included in the action instruction scene of the graphic animation and stopping the display of the specific program to the last scene of the action instruction scene ; (c) 상기 행동 지시 코드를 인식한 상기 제어부의 제어 신호에 따라 상기 화상 카메라가 사용자의 모습을 촬영하여 영상 이미지를 획득하는 단계; (c) acquiring an image of the user by capturing the user's image according to a control signal of the controller recognizing the action instruction code ; (d) 상기 영상이미지 처리부가 상기 영상 이미지의 컬러 색채 정보를 컬러 좌표 변환을 통해 그레이 스케일 영상 이미지로 변환하고, 변환된 영상 이미지에서 기울기 그래디언트(gradient) 크기를 구한 후 영상 이미지의 밝기 값이 일정 값 이상으로 변하는 경계선을 검출하여 사용자 이미지와 배경 이미지로 구분하며, 상기 영상 이미지를 사각형 모양으로 나누고, 나누어진 사각형 모양에서 영상 이미지를 일정 비율 이상으로 포함하고 있는 사각형 모양들을 영역화 하는 단계; (d) the image image processing unit converts the color color information of the image image into a gray scale image image through color coordinate conversion, obtains a gradient size of the gradient from the converted image image, and then the brightness value of the image image is constant. Detecting a boundary line that is changed to a value or more, dividing the image into a user image and a background image, dividing the video image into quadrangular shapes, and regioning quadrangular shapes including the image image in a divided ratio or more ; (e) 상기 차영상 추출부가 상기 영역화 된 이전 프레임의 영상 이미지와 현재의 영역화 된 영상 이미지를 비교하여 공통되는 사각형 영역을 제외한 사각형 영역에 대한 차영상 데이터 또는 현재 영역화 된 영상 이미지에서 이전의 영역화 된 영상 이미지를 제외한 사각형 영역에 대한 차영상 데이터를 추출하는 단계; (e) The difference image extracting unit compares the image image of the localized previous frame with the current regionalized image image to transfer the difference image data or the current region image image for the rectangular region except for the common rectangular region. Extracting difference image data for a rectangular region except for the regionized image image of the image ; (f) 상기 행동 판단부가 상기 차영상 데이터를 상기 데이터베이스에 저장된 기준 행동 데이터와 비교해 사용자의 행동을 판단하는 단계; 및(f) the behavior determining unit comparing the difference image data with reference behavior data stored in the database to determine a user's behavior; And (g) 상기 제어부가 상기 행동 판단부를 통해 상기 사용자의 행동을 판단하여 일정 조건을 만족할 경우, 상기 정지된 특정 프로그램을 실행하는 단계;(g) executing, by the controller, the stopped specific program when the user's behavior is determined through the behavior determination unit and satisfies a predetermined condition; 를 포함하는 로봇에서 자세추적을 이용하여 프로그램을 진행하는 방법.How to proceed the program using the posture tracking in the robot comprising a. 청구항 11에 있어서,The method of claim 11, 상기 (b) 단계는, 상기 영상출력수단이 상기 그래픽 애니메이션의 시작 이미지부터 끝 이미지까지 일시 저장하였다가 상기 그래픽 애니메이션의 행동 지시 신(Scene)에 실려진 행동 지시 코드를 인식한 상기 제어부의 제어 신호에 따라 행동 지시 신을 출력하는 것을 특징으로 하는 로봇에서 자세추적을 이용하여 프로그램을 진행하는 방법.In the step (b), the image output means temporarily stores from the start image to the end image of the graphic animation and then recognizes the action instruction code loaded in the action instruction scene of the graphic animation. According to the method of proceeding the program using the position tracking in the robot, characterized in that for outputting the action instruction scene. 청구항 11에 있어서,The method of claim 11, 상기 행동 지시 코드에는 사용자가 수행할 행동 종류 또는 사용자가 수행할 행동 종류 및 행동 목표치에 대한 정보가 실려 있는 것을 특징으로 하는 로봇에서 자세추적을 이용하여 프로그램을 진행하는 방법.The behavior instruction code is a method for proceeding a program using posture tracking in a robot, characterized in that the information on the type of behavior to be performed by the user or the type of behavior to be performed by the user. 청구항 11에 있어서,The method of claim 11, 상기 (b) 단계는 상기 제어부가 상기 사용자의 행동에 근거해 사용자가 지시된 행동을 따라 하는 것이 상기 행동 판단부에 의해 인식될 때까지 상기 그래픽 애니메이션의 디스플레이를 행동 지시 신의 마지막 장면으로 정지시키는 것을 특징으로 하는 로봇에서 자세추적을 이용하여 프로그램을 진행하는 방법.In the step (b), the control unit stops the display of the graphic animation to the last scene of the action instruction scene until it is recognized by the action determination unit that the user follows the action instructed based on the action of the user. How to proceed the program using the posture tracking in the robot. 청구항 11에 있어서,The method of claim 11, 상기 (f) 단계에서 상기 행동 판단부는 상기 추출된 차영상 데이터를 상기 데이터베이스에 저장된 각 기준 행동 데이터와 비교하여 상기 차영상 데이터가 가장 근접하고 있는 기준 행동을 판단하고, 상기 (g) 단계에서 상기 제어부는 상기 사용자의 행동이 일정 조건으로 일정한 목표치를 달성하였지에 대해 사각형 격자를 단위로 하여 사각형 격자 하나당 일정 거리로 정하여 움직임 방향에 대한 최종 차영상 데이터가 정해진 사각형 격자의 개수 이상의 차가 생길 때 목표치를 달성한 것으로 판단하는 것을 특징으로 하는 로봇에서 자세추적을 이용하여 프로그램을 진행하는 방법.In the step (f), the behavior determining unit compares the extracted difference image data with each reference behavior data stored in the database, and determines a reference behavior that is closest to the difference image data. The controller determines whether the user's behavior has achieved a certain target value under a predetermined condition, and sets a predetermined distance per square grid based on the square grid as a unit. How to proceed the program using the position tracking in the robot, characterized in that determined to achieve.
KR1020060091385A 2006-09-20 2006-09-20 Robot to progress a program using motion detection and method thereof KR101280225B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060091385A KR101280225B1 (en) 2006-09-20 2006-09-20 Robot to progress a program using motion detection and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060091385A KR101280225B1 (en) 2006-09-20 2006-09-20 Robot to progress a program using motion detection and method thereof

Publications (2)

Publication Number Publication Date
KR20080026403A KR20080026403A (en) 2008-03-25
KR101280225B1 true KR101280225B1 (en) 2013-07-05

Family

ID=39413837

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060091385A KR101280225B1 (en) 2006-09-20 2006-09-20 Robot to progress a program using motion detection and method thereof

Country Status (1)

Country Link
KR (1) KR101280225B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160130680A (en) * 2015-05-04 2016-11-14 경남대학교 산학협력단 Patient Fall Prevention Monitoring Device

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110003146A (en) 2009-07-03 2011-01-11 한국전자통신연구원 Apparatus for econgnizing gesture, robot system using the same and method for econgnizing gesture using the same
CN109508031A (en) * 2018-11-29 2019-03-22 广西师范学院 A kind of undersea robot

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010069800A (en) * 2001-05-11 2001-07-25 노일환 reconstruction device of the video data for a camera
JP2003080484A (en) * 2001-09-07 2003-03-18 Tomy Co Ltd Action reaction toy
JP2003085571A (en) * 2001-09-07 2003-03-20 Tomy Co Ltd Coloring toy
KR20040028911A (en) * 2001-07-02 2004-04-03 문라이트 코드리스 리미티드 Method and apparatus for motion estimation between video frames

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010069800A (en) * 2001-05-11 2001-07-25 노일환 reconstruction device of the video data for a camera
KR20040028911A (en) * 2001-07-02 2004-04-03 문라이트 코드리스 리미티드 Method and apparatus for motion estimation between video frames
JP2003080484A (en) * 2001-09-07 2003-03-18 Tomy Co Ltd Action reaction toy
JP2003085571A (en) * 2001-09-07 2003-03-20 Tomy Co Ltd Coloring toy

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160130680A (en) * 2015-05-04 2016-11-14 경남대학교 산학협력단 Patient Fall Prevention Monitoring Device
KR101712191B1 (en) * 2015-05-04 2017-03-03 경남대학교 산학협력단 Patient Fall Prevention Monitoring Device

Also Published As

Publication number Publication date
KR20080026403A (en) 2008-03-25

Similar Documents

Publication Publication Date Title
CN102448561B (en) Gesture coach
KR101718837B1 (en) A method, a device, and an electronic equipment for controlling an Application Program
US8165345B2 (en) Method, system, and computer program for detecting and characterizing motion
US9684968B2 (en) Method, system and computer program for detecting and characterizing motion
US7959511B2 (en) Information processing device for controlling movement of a game character by using a player image and game character movement control method
KR20110139694A (en) Method and system for gesture recognition
CN102947774A (en) Natural user input for driving interactive stories
JP2006320424A (en) Action teaching apparatus and method
CN109219426B (en) Rehabilitation training assistance control device and computer-readable recording medium
KR101410410B1 (en) Bodily sensation type learning apparatus and method
JP7278307B2 (en) Computer program, server device, terminal device and display method
KR20170018529A (en) Simulator based on healthcare unit and simulation method using the same
KR101280225B1 (en) Robot to progress a program using motion detection and method thereof
KR20050047024A (en) Dance game apparatus for arcade using image recognition and method thereof
KR20150097050A (en) learning system using clap game for child and developmental disorder child
JP2003085571A (en) Coloring toy
US20060211495A1 (en) Human-machine interactive virtual game control apparatus
JP5055548B2 (en) Exercise support apparatus and computer program
KR101447958B1 (en) Method and apparatus for recognizing body point
KR101525011B1 (en) tangible virtual reality display control device based on NUI, and method thereof
CN111632367A (en) Hand-trip system based on visual guidance and hand-trip response method
US20230390653A1 (en) Smoothing server for processing user interactions to control an interactive asset
KR101527188B1 (en) Method for Offering Multiple Player Game using Motion Sensor of Single
KR20030065620A (en) apparatus and method for recognizing action of virtual game system
KR200239844Y1 (en) Simulation game system using machine vision and pattern-recognition

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170414

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180328

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190719

Year of fee payment: 7