KR20080026403A - Robot to progress a program using motion detection and method thereof - Google Patents

Robot to progress a program using motion detection and method thereof Download PDF

Info

Publication number
KR20080026403A
KR20080026403A KR1020060091385A KR20060091385A KR20080026403A KR 20080026403 A KR20080026403 A KR 20080026403A KR 1020060091385 A KR1020060091385 A KR 1020060091385A KR 20060091385 A KR20060091385 A KR 20060091385A KR 20080026403 A KR20080026403 A KR 20080026403A
Authority
KR
South Korea
Prior art keywords
image
user
program
robot
action
Prior art date
Application number
KR1020060091385A
Other languages
Korean (ko)
Other versions
KR101280225B1 (en
Inventor
오연순
김은정
한상윤
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020060091385A priority Critical patent/KR101280225B1/en
Publication of KR20080026403A publication Critical patent/KR20080026403A/en
Application granted granted Critical
Publication of KR101280225B1 publication Critical patent/KR101280225B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Manipulator (AREA)

Abstract

A robot using pose tracing for progressing a program is provided to lead active participation of users by applying user behavior judgment in the program and progressing the program according to user behavior. A robot using pose tracing for progressing a program comprises an image camera(105), an image output unit(103), a pose tracing unit(104) and a controller(106). The image camera photographs shape of a user. The image output unit displays a specific program. The pose tracing unit judges behavior of the user. The controller controls the above-mentioned components.

Description

자세추적을 이용하여 프로그램을 진행하는 로봇 및 그 방법 { Robot to progress a program using motion detection and method thereof}Robot to progress a program using motion detection and method

도 1은 본 발명의 실시예에 따른 로봇의 개략적인 블록도이다.1 is a schematic block diagram of a robot according to an embodiment of the present invention.

도 2는 본 발명의 실시예에 따른 자세 추적 수단의 개략적인 블록도이다.2 is a schematic block diagram of an attitude tracking means according to an embodiment of the present invention.

도 3은 본 발명의 실시예에 따른 사용자의 행동 판단을 위한 영상 이미지의 처리 예를 설명하기 위한 도면이다.3 is a diagram illustrating an example of processing a video image for determining a user's behavior according to an exemplary embodiment of the present invention.

도 4는 본 발명의 실시예에 따른 사용자의 행동 판단 방법을 설명하기 위한 흐름도이다.4 is a flowchart illustrating a method of determining a user's behavior according to an embodiment of the present invention.

< 도면의 주요 부호에 대한 설명 ><Description of Major Symbols in Drawing>

101 : 기능키 입력부 102 : 이동 매커니즘101: function key input unit 102: movement mechanism

103 : 영상출력수단 104 : 자세추적수단103: image output means 104: posture tracking means

105 : 화상 카메라 106 : 제어부105: image camera 106: control unit

201 : 영상 이미지 처리부 202 : 차영상 추출부201: Image image processor 202: difference image extractor

203 : 행동 판단부 204 : 데이터베이스203: behavior judgment unit 204: database

본 발명은 자세추적을 이용하여 프로그램을 진행하는 로봇 및 그 방법에 관한 것이다. 좀더 자세하게는 로봇에서 사용자와의 인터페이스를 할 때 사용자의 행동을 로봇에 부착된 화상 카메라로 입력받은 후 이를 자세 추적 분석하여 사용자가 어떠한 행동을 하는 것인지 판단한 후 프로그램을 진행하는 로봇 및 그 방법에 관한 것이다.The present invention relates to a robot and a method for performing a program using posture tracking. More specifically, when a robot interfaces with a user, the robot receives a user's behavior through an image camera attached to the robot and analyzes the posture to determine what the user is doing, and then proceeds with the program. will be.

기존 PC 기반의 교육 방식은 키보드와 마우스를 이용하여 모니터를 통해 교육이 진행되는데, 사용자의 반응은 키보드와 마우스를 통해 입력되는 정보에 의존하기 때문에 사용자의 행동 양식을 프로그램 내에 반영하거나 특정 행동을 하여야만 다음 단계로 진행하는 형식의 프로그램을 제공할 수 없다.Conventional PC-based training methods are conducted through the monitor using the keyboard and mouse. Since the user's reaction depends on the information input through the keyboard and mouse, the user's behavior must be reflected in the program or a specific action must be taken. You cannot provide a program of the type that proceeds to the next step.

이에 비해 어린이를 대상으로 하는 교육 프로그램에 있어서 어린이에게 호감의 대상이 되는 로봇을 이용한 체감형 프로그램은 더욱 높은 교육 효과를 기대할 수 있을 것이며, 또한 체감형 프로그램에서 사용자인 어린이의 행동을 지시하고 사용자의 행동이 적절하게 수행되었는지를 판단하는 기능을 제공하는 것은 체감형 어린이 교육프로그램에서 중요한 사항이 될 것이다.On the other hand, in the educational program for children, the haptic program using robots, which are the object of children's favor, can expect higher educational effect. Providing the ability to determine whether an action was performed properly will be important in immersive children's education programs.

본 발명은 상술한 문제점을 해결하기 위한 것으로서, 본 발명은 화상 카메라가 장착된 로봇에서 자세 추적 기능을 이용하여 사용자 행동의 판단 절차를 제공함으로써 로봇에서 운영되는 인터페이스 프로그램이나 컨텐츠 및 서비스 프로그램 등에서 더 높은 참여나 교육 효과를 낼 수 있게 하는 로봇 및 방법을 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and the present invention provides a procedure for determining user behavior using a posture tracking function in a robot equipped with an image camera, thereby providing a higher level of interface program or content and service program operated by the robot. It aims to provide robots and methods that enable participation or educational effects.

본 발명의 목적을 달성하기 위한 기술적 사상으로서, 본 발명에서는 사용자의 자세추적을 이용하여 특정 프로그램을 진행하는 로봇에 있어서,As a technical idea for achieving the object of the present invention, in the present invention, in the robot that proceeds a specific program using the user's posture tracking,

사용자의 모습을 촬영하기 위한 화상카메라와;An image camera for taking a picture of a user;

특정 프로그램을 디스플레이하기 위한 영상출력수단과;Image output means for displaying a specific program;

사용자의 행동을 판단하기 위한 자세추적수단; 및Posture tracking means for determining a user's behavior; And

상기 구성요소를 제어하기 위한 제어부를 포함하고,A control unit for controlling the component;

상기 영상출력수단에서 특정 프로그램을 디스플레이하고 상기 화상 카메라에서 사용자의 모습을 촬영하는 도중에, 상기 제어부의 제어에 의해 상기 영상출력수단에서 프로그램의 디스플레이 진행을 정지하고 상기 자세추적수단이 동작하여, 상기 화상카메라에 의해 촬영되는 사용자의 영상 이미지를 상기 자세추적수단에서 처리한 후 그 처리된 데이터로 사용자의 행동을 판단하여, 사용자의 행동이 일정 조건을 만족할 경우 상기 영상출력수단에서 정지된 프로그램의 디스플레이를 계속 진행하는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇이 제시된다.While displaying a specific program in the image output means and capturing the user's appearance in the image camera, the image output means stops the display of the program in the image output means and the posture tracking means operates to control the image. After processing the video image of the user captured by the camera in the posture tracking means to determine the user's behavior by the processed data, if the user's behavior satisfies a predetermined condition, the display of the program stopped in the video output means A robot that proceeds a program using posture tracking, which is characterized by continuing, is presented.

이하에서는 본 발명의 실시예에 대한 구성 및 작용을 첨부한 도면을 참조하면서 상세히 설명하기로 한다.Hereinafter, with reference to the accompanying drawings, the configuration and operation of the embodiment of the present invention will be described in detail.

도 1은 본 발명의 실시예에 따른 로봇의 개략적인 블록도이다.1 is a schematic block diagram of a robot according to an embodiment of the present invention.

도 1에서 알 수 있듯이 본 발명의 실시예에 따른 로봇은 로봇의 각종 기능을 선택하여 입력하기 위한 기능키 입력부(101)와, 로봇의 이동을 담당하는 이동매커 니즘(102)과, 사용자의 동영상과 교육 프로그램인 그래픽 애니메이션을 합성하여 출력하는 영상출력수단(103)과, 사용자의 자세를 추적하기 위한 자세 추적 수단(104)와, 사용자의 모습을 촬영하기 위한 화상 카메라(105) 및 상기 구성요소를 제어하기 위한 제어부(106)를 포함하여 이루어진다.As can be seen in Figure 1 the robot according to an embodiment of the present invention is a function key input unit 101 for selecting and inputting various functions of the robot, the movement mechanism 102 responsible for the movement of the robot, and the user's video And image output means 103 for synthesizing and outputting graphic animations, which are education programs, a posture tracking means 104 for tracking a posture of a user, an image camera 105 for capturing a user's appearance, and the components. It comprises a control unit 106 for controlling.

상기 기능키 입력부(101)는 로봇의 각종 기능을 선택하여 입력함으로써 로봇이 선택된 기능을 수행하도록 한다. 이 기능키 입력부를 통한 입력 신호에 따라 자세 추적 기능이 수행된다.The function key input unit 101 selects and inputs various functions of the robot so that the robot performs the selected function. The posture tracking function is performed according to the input signal through the function key input unit.

상기 이동 매커니즘(102)은 로봇의 이동을 담당하는 구성으로서, 구동 모터 및 구동 수단으로 구성된다. 구동 수단으로는 무한 궤도형, 바퀴 형, 인간 다리형 등이 될 수 있다.The movement mechanism 102 is a configuration that is responsible for the movement of the robot, it is composed of a drive motor and drive means. The drive means may be a caterpillar, a wheel, a human leg, or the like.

상기 영상출력수단(103)은 특정의 프로그램을 실행하여 디스플레이하는 기능을 수행한다. 본 발명의 실시예에 따라서는 로봇이 구비한 화상 카메라로 촬영한 사용자의 동영상을 특정의 프로그램인 그래픽 애니메이션 등과 합성하여 디스플레이하는 기능을 수행한다. 이로써 교육 프로그램을 사용하는 사용자는 교육프로그램 내에 참여하는 듯한 효과를 낼 수 있게 된다.The image output means 103 performs a function of executing a specific program and displaying the same. According to an exemplary embodiment of the present invention, a video of a user captured by an image camera provided by a robot is combined with a graphic animation, which is a specific program, and displayed. As a result, the user using the educational program can produce the effect of participating in the educational program.

상기 자세추적수단(104)은 로봇이 구비한 화상카메라가 촬영한 사용자의 영상 이미지로부터 사용자의 자세를 추적하여 사용자의 행동을 판단하는 기능을 수행한다. 도 2에서 이에 대해 상세히 설명하기로 한다.The posture tracking means 104 performs a function of tracking the posture of the user from the video image of the user captured by the image camera provided by the robot to determine the user's behavior. This will be described in detail with reference to FIG. 2.

상기 화상 카메라(105)는 사용자의 모습을 촬영한 후 그 영상이미지를 상기 자세추적수단에 전송해 준다. 본 발명의 실시예에서는 초당 30 프레임의 촬영 속도 로 사용자의 모습을 촬영하게 된다.The image camera 105 takes a picture of the user and transmits the video image to the posture tracking means. In an embodiment of the present invention, the user's appearance is captured at a shooting speed of 30 frames per second.

상기 제어부(106)는 로봇의 각 구성요소를 제어한다. 본 발명에서는 자세추적수단(104) 및 영상출력수단(103)과 연계되어 동작한다.The controller 106 controls each component of the robot. In the present invention, the posture tracking means 104 and the image output means 103 operates in conjunction with.

도 2는 본 발명의 실시예에 따른 자세추적 수단의 개략적인 블록도이다.2 is a schematic block diagram of a posture tracking means according to an embodiment of the present invention.

도 2에서 알 수 있듯이, 자세 추적 수단은 영상 이미지 처리부(201), 차영상 추출부(202), 행동 판단부(203) 및 데이터베이스(204)를 포함하여 이루어진다.As can be seen in FIG. 2, the posture tracking means includes a video image processor 201, a difference image extractor 202, a behavior determiner 203, and a database 204.

상기 영상 이미지 처리부(201)는 상기 화상 카메라(105)로 촬영한 각 프레임의 영상 이미지에서 사용자의 부분을 인식한 후 영상 이미지를 8*8 픽셀의 작은 사각형으로 나누어 사각형 기반으로 영역화한다. 도 3은 이를 설명하고 있다.The image image processing unit 201 recognizes a user's part in the image image of each frame photographed by the image camera 105, and divides the image image into small squares of 8 * 8 pixels to area based on squares. 3 illustrates this.

먼저, 화상 카메라로부터 전송받은 영상 이미지에서 사용자와 배경을 구분한다. 이는 영상 이미지의 컬러 색채 정보를 컬러 좌표 변환을 통해 그레이 스케일 영상 이미지로 변환하고, 이 변환된 영상 이미지에서 기울기인 그래디언트(gradient) 크기를 구한 후 영상의 밝기 값이 급격하게 변하는 경계선을 검출함으로써 사용자와 배경을 구분할 수 있다(도 3의 a).First, the user and the background are distinguished from the video image transmitted from the image camera. It converts the color color information of the video image into a gray scale video image through color coordinate conversion, obtains the gradient size of the gradient from the converted video image, and then detects the boundary line where the brightness value of the image changes rapidly. And background can be distinguished (a of FIG. 3).

다음으로 영상 이미지를 8*8 픽셀의 작은 사각형으로 나눈다(도 3의 b).Next, divide the video image into small squares of 8 * 8 pixels (b in FIG. 3).

다음으로 나누어진 각 사각형에서 사용자 부분을 일정 비율이상 포함하고 있는 사각형을 영역화한다(도 3의 c).In each of the divided rectangles, a rectangle containing a predetermined portion or more of the user portion is aread (FIG. 3C).

이 영역화된 이미지를 다음 단계의 진행을 위해 차영상 추출부(202)로 전송하게 된다.The areaized image is transmitted to the difference image extracting unit 202 for the next step.

상기 차영상 추출부(202)는 이전 프레임의 영역화된 영상 이미지와 현재의 전송받은 영역화된 영상 이미지를 비교하여(도 3의 d,e) 그 차이를 정해진 데이터형태로 추출한다. 즉, 현재 영역화된 이미지와 이전의 영역화된 이미지에서 공통되는 사각형 영역 부분을 제외한 사각형 영역에 대한 데이터 또는 현재 영역화된 이미지에서 이전의 영역화된 이미지를 제외한 사각형 영역에 대한 데이터를 추출한다. 이 데이터에는 사용자의 움직임 방향성 및 사용자의 신체 부분에 대한 데이터가 포함된다.The difference image extractor 202 compares the localized video image of the previous frame with the current transmitted localized video image (d, e of FIG. 3) and extracts the difference into a predetermined data type. That is, the data for the rectangular area except for the rectangular area part common in the current area image and the previous areaized image or the data for the rectangular area except for the previous area image in the current area image is extracted. . This data includes data on the direction of movement of the user and the body part of the user.

상기 행동 판단부(203)는 상기 차영상 추출부(202)에서 보내준 차영상 데이터를 바탕으로 상기 데이터베이스에 저장되어 있는 기준 행동 데이터와 비교하여 차영상 데이터가 어떤 기준 행동에 해당하는지를 판별하게 된다.The behavior determination unit 203 determines which reference behavior the difference image data corresponds to by comparing the reference behavior data stored in the database based on the difference image data sent from the difference image extraction unit 202.

상기 데이터베이스(204)는 기준 행동 데이터를 저장하고 있다. 즉, 사용자의 점프, 앉기, 손을 위로 들기, 몸을 움직이기 등의 행동을 판단하기 위해 기준 모델이 되는 사용자의 행동을 초당 30 프레임으로 촬영한 영상 이미지를 상기 영상 이미지 처리부에서 처리한 방식과 동일한 방식으로 처리한 후 각 행동에 대한 각 영상 이미지의 차영상 데이터가 미리 데이터베이스화되어 저장된다.The database 204 stores reference behavioral data. That is, the image image processing unit processes a video image photographed at 30 frames per second of a user's action as a reference model to determine a user's jumping, sitting, raising hands, or moving body. After processing in the same manner, the difference image data of each image image for each action is previously databased and stored.

도 4는 본 발명의 실시예에 따른 사용자의 행동 판단 방법을 설명하기 위한 흐름도이다.4 is a flowchart illustrating a method of determining a user's behavior according to an embodiment of the present invention.

먼저, 로봇에서 그래픽 애니메이션 등의 특정 프로그램을 실행하여 디스플레이를 시작한다(S401).First, the robot starts a display by executing a specific program such as graphic animation (S401).

다음으로, 로봇에서 구비하고 있는 화상 카메라로 사용자의 모습을 초당 30 프레임으로 촬영한다(S402).Next, the user's image is photographed at 30 frames per second by the image camera provided by the robot (S402).

다음으로, 로봇의 영상 출력 수단(103)에서는 특정 프로그램의 디스플레이 를 계속 진행한다. 한편, 디스플레이 도중에 화면상으로 교육 대상인 어린이에게 디스플레이되고 있는 그래픽 애니메이션 상의 캐릭터의 특정 행동을 따라할 것을 지시하게 되는데, 이 지시를 보여주는 그래픽 애니메이션 이미지에 소정의 행동 지시 코드를 실어 놓아, 그 이미지가 디스플레이되는 순간에 그 코드를 인식한 상기 영상출력수단(103)에서 상기 제어부(106)에 코드 인식 신호를 보내고 상기 제어부(106)에서는 제어신호로써 상기 자세 추적 수단(104)을 구동하게 한다. 또한 이 지시 코드에는 행동 종류를 나타내는 코드 또는 행동 종류를 나타내는 코드 및 목표치를 나타내는 코드가 포함되어 상기 제어부(106)에서 상기 자세추적수단의 행동 판단부(203)로 상기 코드 신호를 제어 신호에 실어 전송하여 준다.Next, the image output means 103 of the robot continues the display of the specific program. On the other hand, during the display, the instructional child is instructed to follow a specific action of the character on the graphic animation being displayed, and a predetermined action instruction code is placed on the graphic animation image showing the instruction, and the image is displayed. At the moment, the image output means 103 that recognizes the code sends a code recognition signal to the controller 106, and the controller 106 causes the posture tracking means 104 to be driven as a control signal. In addition, the instruction code includes a code indicating a behavior type or a code indicating a behavior type and a code indicating a target value so that the control unit 106 carries the code signal to a control signal from the behavior determination unit 203 of the posture tracking means. Send it.

상기와 같이 제어신호에 따라 상기 자세 추적 수단(104)이 구동된 후, 사용자인 어린이가 지시된 행동을 따라하는 것이 상기 행동 판단부(203)에 인식될 때까지 영상 출력 수단(103)에서는 그래픽 애니메이션의 디스플레이를 행동 지시 신의 마지막 장면으로 정지시켜 놓는다(S403). 또한 상기 영상 출력 수단(103)에서는 그래픽 애니메이션의 행동 지시 신(scene)을 이루는 이미지들을 일시 저장하였다가 상기 제어부(106)의 제어 신호에 따라 그 부분만을 재생한다. 행동 지시 신은 일련의 복수 개의 이미지로 구성되며 각 이미지에 일정 코드를 심어 상기 영상출력수단에서는 그 코드를 인식하여 시작 이미지부터 끝 이미지까지 저장하게 된다.After the posture tracking means 104 is driven in accordance with the control signal as described above, the image output means 103 performs a graphic until the behavior determination unit 203 recognizes that the child who is a user follows the indicated action. The display of the animation is stopped as the last scene of the action instruction scene (S403). In addition, the image output means 103 temporarily stores images constituting the action instruction scene of the graphic animation, and reproduces only the portion according to the control signal of the controller 106. The action instruction scene is composed of a series of a plurality of images and a certain code is planted in each image, and the image output means recognizes the code and stores it from the start image to the end image.

다음으로, 제어부의 제어 신호에 따라 화상카메라에서 촬영한 각 프레임 영상 이미지를 상기 영상 이미지 처리부(201)에서 전송받고, 상기 영상 이미지 처리 부(201)에서는 위에서 설명한 바와 같이 각 영상 이미지를 처리한 후 그 데이터를 차영상 추출부에 전송한다(S404). Next, the image image processing unit 201 receives each frame image image captured by the image camera according to a control signal of the controller, and the image image processing unit 201 processes each image image as described above. The data is transmitted to the difference image extracting unit (S404).

다음으로, 상기 차영상 추출부(202)에서 이전 프레임의 이미지와 현재 프레임의 이미지를 비교하여 각 영상 이미지에 대한 차영상 데이터를 추출하여 이를 상기 행동 판단부(203)로 전송한다(S405).Next, the difference image extracting unit 202 compares the image of the previous frame with the image of the current frame, extracts difference image data for each image image, and transmits the difference image data to the behavior determination unit 203 (S405).

다음으로, 상기 추출된 차영상 데이터를 이용하여 상기 행동 판단부(203)에서 상기 데이터베이스에 저장된 각 기준 행동의 데이터와 비교하여 상기 차영상 데이터가 가장 근접하고 있는 기준 행동을 판단하게 된다(S406). 이때 사용자의 행동이 일정한 목표치를 달성하였는지를 판단할 필요가 있을 수 있다. 예를 들면 상기 목표치를 나타내는 코드에 의해 사용자의 점프가 30센티미터 이상이어야 다음 단계로 넘어갈 수 있는 조건하에서는 점프라는 행동 판단과 동시에 사용자에 대한 자세 추적 처리 결과 30센티미터 이상의 차영상이 발생하였음을 판단하여야 한다. 이 경우에는 이미지 처리부에서 처리한 사각형 격자를 단위로 하여 추출하게 된다. 즉, 사각형 격자 하나당 어느 정도의 거리로 정하고 움직임 방향에 대한 최종 차영상 데이터가 정해진 사각형 격자의 개수 이상의 차가 생겨야 목표치를 달성하였음을 판단하게 된다.Next, the behavior determination unit 203 compares the reference behavior stored in the database with the extracted difference image data to determine the reference behavior closest to the difference image data (S406). . At this time, it may be necessary to determine whether the user's action has achieved a certain target value. For example, under the condition that the jump of the user is 30 centimeters or more according to the code indicating the target value, judging the behavior of jumping and judging the posture tracking process for the user, the difference image of 30 centimeters or more should be determined. do. In this case, the rectangular grid processed by the image processing unit is extracted as a unit. That is, it is determined that the target value is achieved only by a certain distance per square grating and a difference of more than the number of square gratings in which the final difference image data for the movement direction is determined.

예를 들면, 점프의 경우 점프 당시를 촬영한 영상 프레임의 이미지의 차영상 데이터는 위쪽으로의 움직임 방향성 정보를 갖고 있고, 사용자 점프의 최고점 도달 이후의 촬영 프레임 이미지의 차영상 데이터는 아래쪽으로의 움직임 방향성을 갖게 되므로, 위쪽 방향성을 가진 최초와 최후의 차영상 데이터를 누적하여 위쪽으로의 차가 정해진 사각형 격자 개수 이상의 차가 발생하였음을 구별한 후 목표치를 달성하였는지를 판단하게 된다.For example, in the case of a jump, the difference image data of an image of an image frame photographed at the time of the jump has upward direction information, and the difference image data of a captured frame image after reaching the highest point of the user jumps downward. Since the first and last difference image data having the upward direction are accumulated, it is determined that the difference is greater than the number of square grids determined by the upward difference, and then it is determined whether the target value is achieved.

다음으로, 상기 제어부(106)에서는 상기 행동 판단부(203)로부터 사용자의 행동이 행동 지시 코드를 만족한다는 신호를 전송받은 경우에는 영상 출력 수단을 제어하여 정지된 이미지의 다음 그래픽 애니메이션 이미지부터 재생시키게 된다(S407).Next, when the controller 106 receives a signal from the behavior determination unit 203 that the user's behavior satisfies the behavior instruction code, the controller 106 controls the image output means to play the next graphic animation image of the still image. (S407).

만약, 사용자의 행동이 행동 지시 코드를 만족하지 않을 경우에는 상기 제어부(106)는 상기 영상출력수단(103)을 제어하여 저장되어 있는 행동 지시 부분만을 다시 한 번 재생시키고(S408), 위의 S404 단계부터 반복하게 된다.If the user's action does not satisfy the action instruction code, the controller 106 controls the image output means 103 to reproduce only the stored action instruction portion once again (S408), and the above S404. Repeat from step.

본 발명의 실시예에 따라 사용자 행동 판단 방법의 처리를 할 때 사용자와 콘텐츠의 성격에 따라 정밀도를 매우 세밀하게 할 수도 있고 대략적으로 할 수도 있다. 이는 영상 처리시 격자를 만드는 사각형의 크기에 의해 정밀도가 변동된다. 사각형의 크기가 작아지면 정밀도가 높아지게 된다. 반면 사각형의 크기가 작아지면 사각형의 숫자가 많아져서 처리속도가 떨어질 수 있으며, 일반적으로 8*8 픽셀 격자를 사용하는 것을 기준으로 한다.According to the exemplary embodiment of the present invention, when the user behavior determination method is processed, the precision may be very fine or rough depending on the nature of the user and the content. The precision varies depending on the size of the rectangle that makes the grid during image processing. The smaller the rectangle, the higher the precision. On the other hand, if the size of the rectangle is smaller, the number of rectangles may increase, which may slow down the processing speed. It is generally based on using an 8 * 8 pixel grid.

본 발명에 의하면, 사용자의 행동 판단을 프로그램내에 적용하여 기존의 프로그램에서 제공할 수 없던 사용자의 행동에 따른 프로그램 진행을 통해 적극적인 사용자의 참여를 유도할 수 있으며, 참여 효과가 매우 크게 될 수 있다.According to the present invention, the user's behavior determination can be applied in the program to induce active user participation through the program according to the user's behavior that cannot be provided in the existing program, and the participation effect can be very large.

또한 로봇을 이용한 교육 프로그램의 실행 및 사용자의 지시 행동의 수행을 통하여 교육 대상자의 높은 교육 효과를 기대할 수 있다.In addition, it is possible to expect a high educational effect of the subjects through the execution of the educational program using the robot and the execution of the user's directed action.

Claims (15)

사용자의 자세추적을 이용하여 특정 프로그램을 진행하는 로봇에 있어서,In a robot that runs a specific program using a user's posture tracking, 사용자의 모습을 촬영하기 위한 화상카메라와;An image camera for taking a picture of a user; 특정 프로그램을 디스플레이하기 위한 영상출력수단과;Image output means for displaying a specific program; 사용자의 행동을 판단하기 위한 자세추적수단; 및Posture tracking means for determining a user's behavior; And 상기 구성요소를 제어하기 위한 제어부를 포함하고,A control unit for controlling the component; 상기 영상출력수단에서 특정 프로그램을 디스플레이하고 상기 화상 카메라에서 사용자의 모습을 촬영하는 도중에, 상기 제어부의 제어에 의해 상기 영상출력수단에서 프로그램의 디스플레이 진행을 정지하고 상기 자세추적수단이 동작하여, 상기 화상카메라에 의해 촬영되는 사용자의 영상 이미지를 상기 자세추적수단에서 처리한 후 그 처리된 데이터로 사용자의 행동을 판단하여, 사용자의 행동이 일정 조건을 만족할 경우 상기 영상출력수단에서 정지된 프로그램의 디스플레이를 계속 진행하는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.While displaying a specific program in the image output means and capturing the user's appearance in the image camera, the image output means stops the display of the program in the image output means and the posture tracking means operates to control the image. After processing the video image of the user captured by the camera in the posture tracking means to determine the user's behavior by the processed data, if the user's behavior satisfies a predetermined condition, the display of the program stopped in the video output means Robot that proceeds the program using posture tracking, characterized in that to continue. 청구항 1에 있어서,The method according to claim 1, 상기 화상카메라는 초당 30 프레임으로 촬영하는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.The image camera is a robot for performing a program using posture tracking, characterized in that shooting at 30 frames per second. 청구항 1에 있어서,The method according to claim 1, 상기 자세추적수단은,The posture tracking means, 화상카메라로부터의 영상 이미지를 소정 방법으로 처리하는 영상이미지처리부와;An image image processing unit which processes the image image from the image camera by a predetermined method; 상기 영상이미지처리부로부터의 데이터로 이전의 영상이미지와 현재의 영상이미지의 차영상 데이터를 추출하는 차영상 추출부와;A difference image extracting unit extracting difference image data between a previous image image and a current image image using data from the image image processing unit; 사용자의 행동을 판단하기 위한 자료가 되는 기준 행동 데이터를 저장하고 있는 데이터베이스와;A database storing reference behavior data, which is a data for judging a user's behavior; 상기 차영상 추출부로부터의 차영상 데이터와 상기 데이터베이스의 데이터를 비교하여 사용자의 행동의 종류 또는 행동의 종류 및 목표치 달성 여부를 판단하는 행동판단부를 포함하는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.And a behavior determination unit that compares the difference image data from the difference image extraction unit with the data in the database to determine the type of action or type of action and whether the target value is achieved. Ongoing robot. 청구항 3에 있어서,The method according to claim 3, 상기 영상이미지 처리부는The image image processing unit 화상카메라가 촬영한 각 프레임 영상 이미지를 사용자 부분과 배경 부분으로 구분한 후, 영상 이미지를 사각형 모양으로 나눈 후, 사용자 부분을 일정 비율이상 포함하고 있는 사각형을 영역화하여 이에 대한 데이터를 생성하는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇. After dividing each frame video image taken by the video camera into a user part and a background part, dividing the video image into a rectangular shape, and then creating a data for this area by localizing a rectangle containing a certain ratio of the user part. A robot that runs a program using posture tracking. 청구항 4에 있어서,The method according to claim 4, 상기 사각형 모양은 8*8 픽셀 단위로 나뉘는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.The rectangular shape is a robot that proceeds the program using posture tracking, characterized in that divided by 8 * 8 pixels. 청구항 1에 있어서,The method according to claim 1, 상기 영상출력수단은 디스플레이 중인 프로그램의 특정 이미지에 실려있는 행동 지시 코드를 인식하여 디스플레이를 정지 화면으로 유지하는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.And the image output means recognizes the action instruction code contained in the specific image of the program being displayed and maintains the display as a still image. 청구항 6에 있어서,The method according to claim 6, 상기 행동 지시 코드에는 사용자가 수행할 행동 종류 또는 사용자가 수행할 행동 종류 및 행동 목표치에 대한 정보가 실려 있는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.The behavior instruction code is a robot for performing a program using posture tracking, characterized in that the information on the type of action to be performed by the user or the type of action to be performed by the user. 청구항 7에 있어서,The method according to claim 7, 상기 행동 지시 코드 중 행동 목표치에 대한 정보는 8*8 픽셀 단위의 사각형 개수로 표현되는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.Information about the action target value of the action instruction code is a robot that performs a program using posture tracking, characterized in that represented by the number of squares of 8 * 8 pixels. 청구항 7에 있어서,The method according to claim 7, 상기 자세추적수단은 사용자의 행동이 상기 행동 지시 코드에 실려있는 행동 종류 또는 행동종류 및 목표치를 만족함을 상기 제어부에 통보하고, 상기 제어부에서는 상기 영상출력수단으로 하여금 정지된 프로그램의 디스플레이를 계속 진행하게 하는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.The posture tracking means notifies the controller that the user's action satisfies the action type or the action type and the target value included in the action instruction code, and the control unit causes the image output means to continue displaying the stopped program. Robot that proceeds the program using posture tracking, characterized in that. 청구항 1에 있어서,The method according to claim 1, 상기 디스플레이되는 특정 프로그램은 그래픽 애니메이션인 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.The displayed program is a robot for performing a program using posture tracking, characterized in that the graphic animation. 로봇에서 자세 추적을 이용하여 프로그램을 진행하는 방법에 있어서,In the method of running the program using the position tracking in the robot, 특정 프로그램을 실행하여 디스플레이를 시작하는 1 단계와;Starting a display by executing a specific program; 사용자의 모습을 화상 카메라로 촬영하는 2 단계와;2 steps of photographing a user's appearance with an image camera; 행동 지시 코드를 인식하여 특정 프로그램의 디스플레이를 행동 지시 신의 마지막 장면으로 정지하고 행동 지시 신(scene)을 이루는 이미지를 저장하는 3 단계와;Recognizing the action instruction code to stop the display of a specific program as the last scene of the action instruction scene and to store an image forming the action instruction scene; 촬영된 각 프레임 영상 이미지를 소정 방법으로 처리하는 4 단계와;4 steps of processing each captured frame video image by a predetermined method; 이전 프레임 영상 이미지 데이터와 현재 프레임 영상 이미지 데이터를 비교하여 차영상 데이터를 추출하는 5 단계와;5 steps of extracting difference image data by comparing previous frame image image data with current frame image image data; 추출된 차영상 데이터를 이용하여 사용자의 행동이 상기 행동 지시 코드에 부합하는지를 판단하는 6 단계와;Using the extracted difference image data, determining whether the user's behavior corresponds to the behavior instruction code; 상기 행동 지시 코드와 사용자의 행동이 부합하는 경우에는 정지된 특정 프 로그램의 디스플레이를 재개하는 7 단계를 포함하고,If the action instruction code and the user's action is matched, including the seven steps of resuming the display of the suspended specific program, 상기 6단계에서의 판단 결과 사용자의 행동이 상기 행동 지시 코드에 부합하지 않을 경우에는 저장되어 있는 행동 지시 신을 다시 한번 재생한 후 상기 4단계부터의 절차를 반복하는 것을 특징으로 하는 로봇에서 자세추적을 이용하여 프로그램을 진행하는 방법.As a result of the determination in step 6, if the user's action does not correspond to the action instruction code, the robot performs posture tracking in which the procedure from step 4 is repeated after playing the stored action instruction scene once again. How to run the program. 청구항 11에 있어서,The method according to claim 11, 상기 4 단계는 화상카메라가 촬영한 각 프레임 영상 이미지를 사용자 부분과 배경 부분으로 구분한 후, 영상 이미지를 사각형 모양으로 나눈 후, 사용자 부분을 일정 비율이상 포함하고 있는 사각형을 영역화하여 이에 대한 데이터를 생성하는 것을 특징으로 하는 로봇에서 자세추적을 이용하여 프로그램을 진행하는 방법.Step 4 divides each frame video image captured by the image camera into a user portion and a background portion, divides the image image into quadrangular shapes, and then localizes a rectangle containing the user portion by a predetermined ratio. Method of using the posture tracking in the robot, characterized in that for generating a program. 청구항 11에 있어서,The method according to claim 11, 상기 행동 지시 코드에는 사용자가 수행할 행동 종류 또는 사용자가 수행할 행동 종류 및 행동 목표치에 대한 정보가 실려 있는 것을 특징으로 하는 로봇에서 자세추적을 이용하여 프로그램을 진행하는 방법.The behavior instruction code is a method for proceeding a program using posture tracking in a robot, characterized in that the information on the type of behavior to be performed by the user or the type of behavior to be performed by the user. 청구항 12에 있어서,The method according to claim 12, 상기 행동 지시 코드 중 행동 목표치에 대한 정보는 8*8 픽셀 단위의 사각형 개수로 표현되는 것을 특징으로 하는 로봇에서 자세추적을 이용하여 프로그램을 진 행하는 방법.The information on the action target value of the action instruction code is a method of using a posture tracking in the robot, characterized in that represented by the number of squares of 8 * 8 pixels. 청구항 12에 있어서,The method according to claim 12, 상기 사각형 모양은 8*8 픽셀 단위로 나뉘는 것을 특징으로 하는 로봇에서 자세추적을 이용하여 프로그램을 진행하는 방법.Wherein the rectangular shape is divided into 8 * 8 pixels unit in the robot using a posture tracking method for proceeding the program.
KR1020060091385A 2006-09-20 2006-09-20 Robot to progress a program using motion detection and method thereof KR101280225B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060091385A KR101280225B1 (en) 2006-09-20 2006-09-20 Robot to progress a program using motion detection and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060091385A KR101280225B1 (en) 2006-09-20 2006-09-20 Robot to progress a program using motion detection and method thereof

Publications (2)

Publication Number Publication Date
KR20080026403A true KR20080026403A (en) 2008-03-25
KR101280225B1 KR101280225B1 (en) 2013-07-05

Family

ID=39413837

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060091385A KR101280225B1 (en) 2006-09-20 2006-09-20 Robot to progress a program using motion detection and method thereof

Country Status (1)

Country Link
KR (1) KR101280225B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129154B2 (en) 2009-07-03 2015-09-08 Electronics And Telecommunications Research Institute Gesture recognition apparatus, robot system including the same and gesture recognition method using the same
CN109508031A (en) * 2018-11-29 2019-03-22 广西师范学院 A kind of undersea robot

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101712191B1 (en) * 2015-05-04 2017-03-03 경남대학교 산학협력단 Patient Fall Prevention Monitoring Device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010069800A (en) * 2001-05-11 2001-07-25 노일환 reconstruction device of the video data for a camera
US20030189980A1 (en) * 2001-07-02 2003-10-09 Moonlight Cordless Ltd. Method and apparatus for motion estimation between video frames
JP2003085571A (en) * 2001-09-07 2003-03-20 Tomy Co Ltd Coloring toy
JP2003080484A (en) * 2001-09-07 2003-03-18 Tomy Co Ltd Action reaction toy

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129154B2 (en) 2009-07-03 2015-09-08 Electronics And Telecommunications Research Institute Gesture recognition apparatus, robot system including the same and gesture recognition method using the same
CN109508031A (en) * 2018-11-29 2019-03-22 广西师范学院 A kind of undersea robot

Also Published As

Publication number Publication date
KR101280225B1 (en) 2013-07-05

Similar Documents

Publication Publication Date Title
CN102448561B (en) Gesture coach
CN102473320B (en) Bringing a visual representation to life via learned input from the user
JP3745802B2 (en) Image generation / display device
CN102332090B (en) Compartmentalizing focus area within field of view
EP3275514A1 (en) Virtuality-and-reality-combined interactive method and system for merging real environment
CN102947774A (en) Natural user input for driving interactive stories
US10108855B2 (en) Fitness device-based simulator and simulation method using the same
KR101718837B1 (en) A method, a device, and an electronic equipment for controlling an Application Program
JP2006320424A (en) Action teaching apparatus and method
TW201143866A (en) Tracking groups of users in motion capture system
EP1645315A3 (en) Pose detection method, video game apparatus pose detection program, and computer-readable medium containing program
KR101410410B1 (en) Bodily sensation type learning apparatus and method
JP7278307B2 (en) Computer program, server device, terminal device and display method
CN102622509A (en) Three-dimensional game interaction system based on monocular video
KR101280225B1 (en) Robot to progress a program using motion detection and method thereof
CN113556599A (en) Video teaching method and device, television and storage medium
CN104933278B (en) A kind of multi-modal interaction method and system for disfluency rehabilitation training
JP2003085571A (en) Coloring toy
KR20020011851A (en) Simulation game system using machine vision and pattern-recognition
KR101525011B1 (en) tangible virtual reality display control device based on NUI, and method thereof
KR101447958B1 (en) Method and apparatus for recognizing body point
KR101527188B1 (en) Method for Offering Multiple Player Game using Motion Sensor of Single
KR20120092960A (en) System and method for controlling virtual character
KR200239844Y1 (en) Simulation game system using machine vision and pattern-recognition
KR101297154B1 (en) Robot to display a movie using motion detection and method thereof

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170414

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180328

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190719

Year of fee payment: 7