KR101297154B1 - Robot to display a movie using motion detection and method thereof - Google Patents
Robot to display a movie using motion detection and method thereof Download PDFInfo
- Publication number
- KR101297154B1 KR101297154B1 KR1020060091252A KR20060091252A KR101297154B1 KR 101297154 B1 KR101297154 B1 KR 101297154B1 KR 1020060091252 A KR1020060091252 A KR 1020060091252A KR 20060091252 A KR20060091252 A KR 20060091252A KR 101297154 B1 KR101297154 B1 KR 101297154B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- posture
- user
- silhouette
- robot
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 자세추적을 이용하여 동영상물을 디스플레이하는 로봇 및 그 방법에 관한 것이다. 즉, 화상카메라를 구비하고 있는 로봇에서 화상카메라를 통해 사용자의 모습을 입력받아, 동영상물의 캐릭터의 자세와 사용자의 자세를 비교하여 사용자의 자세가 어느 정도 프로그램이 원하는 것과 일치하는 지에 대한 결과를 사용자에게 알려주면서 동영상물을 디스플레이하는 로봇에 관한 것이다.The present invention relates to a robot and a method for displaying a moving image using posture tracking. In other words, the robot equipped with the image camera receives the user's image through the image camera, and compares the position of the character with the character of the video and the user's posture, and shows the result of how much the user's posture matches the desired program. It's about robots that display video while letting them know.
본 발명에서는 사용자의 모습을 연속 촬영하는 화상카메라와; 동영상물을 실행하여 디스플레이하는 영상출력수단과; 사용자의 자세와 디스플레이되는 동영상물의 캐릭터의 자세를 비교하는 자세비교수단; 및 상기 구성요소들을 제어하기 위한 제어부를 포함하고, 상기 제어부의 제어 신호에 따라 상기 자세비교수단에서 상기 화상카메라로 촬영한 정지영상 이미지들로부터 얻어낸 차영상 정보와 상기 영상출력수단에서 실행되는 동영상물의 각 프레임이미지의 실루엣 처리 정보를 비교하여 사용자 자세의 동영상 캐릭터의 자세에 대한 일치성 정도를 판단한 후, 그 일치성 정도의 결과를 사용자에게 출력하여 주는 것을 특징으로 하는 자세추적을 이용하여 동영상물을 디스플레이하는 로봇이 제시된다.In the present invention, the image camera for continuous shooting of the user's appearance; Image output means for executing and displaying moving images; Posture comparison means for comparing the posture of the user with the posture of the character of the displayed video object; And a control unit for controlling the components, wherein, according to a control signal of the control unit, difference image information obtained from still image images photographed by the image camera in the posture comparator and the moving image of the video output unit. Compare the silhouette processing information of each frame image to determine the degree of correspondence with the posture of the video character of the user's posture, and then output the result of the degree of matching to the user. The displaying robot is presented.
로봇, 자세추적, 화상카메라 Robot, Posture Tracking, Video Camera
Description
도 1은 본 발명의 실시예에 따른 로봇의 개략적인 구성도이다.1 is a schematic configuration diagram of a robot according to an embodiment of the present invention.
도 2는 본 발명의 실시예에 따른 자세비교수단의 개략적인 구성도이다.2 is a schematic configuration diagram of a position comparison means according to an embodiment of the present invention.
도 3은 본 발명의 실시예에 따른 정지영상 이미지를 처리하는 개념을 설명하기 위한 도면이다.3 is a view for explaining a concept of processing a still image image according to an embodiment of the present invention.
도 4는 본 발명의 실시예에 따른 차영상 정보와 실루엣 처리 정보를 비교하는 개념을 설명하기 위한 도면이다.4 is a view for explaining a concept of comparing the difference image information and the silhouette processing information according to an embodiment of the present invention.
< 도면의 주요 부호에 대한 설명 ><Description of Major Symbols in Drawing>
101 : 기능키 입력부 102 : 이동매커니즘101: function key input unit 102: moving mechanism
103 : 영상 출력 수단 104 : 자세 비교 수단103: image output means 104: posture comparison means
105 : 화상카메라 106 : 제어부105: image camera 106: control unit
201 : 영상이미지 처리부 202 : 차영상 추출부201: Image image processor 202: difference image extractor
203 : 비교 판단부 204 : 음향 출력부203: comparison determination unit 204: sound output unit
본 발명은 자세추적을 이용하여 동영상물을 디스플레이하는 로봇 및 그 방법에 관한 것이다. 즉, 화상카메라를 구비하고 있는 로봇에서 화상카메라를 통해 사용자의 모습을 입력받아, 디스플레이되는 동영상물의 캐릭터의 자세와 사용자의 자세를 비교하여 사용자의 자세가 어느 정도 프로그램이 원하는 것과 일치하는 지에 대한 결과를 사용자에게 알려주면서 프로그램을 진행하는 로봇 및 방법에 관한 것이다.The present invention relates to a robot and a method for displaying a moving image using posture tracking. That is, the robot equipped with the image camera receives the user's image through the image camera and compares the posture of the character of the displayed video object with the posture of the user, and the result of how much the user's posture matches the desired program. It relates to a robot and a method of proceeding with the program while notifying the user.
이전에는 사용자의 행동이 특정 프로그램이 지시하는 행동과 어느 정도 일치하는 지를 판단하는 방법으로서 터치패드나 핸디 보조도구 등을 이용하는 것이 보통이었다. 이러한 방법들은 보조 도구를 사용하여야 하므로 특히 어린이를 대상으로 하는 교육프로그램에 적용하기에는 많은 불편함이 따른다.Previously, it was common to use a touchpad or a handy assistant as a way of determining how a user's behavior matches the behavior of a particular program. Since these methods require the use of assistive devices, they are inconvenient to apply to educational programs, especially for children.
또한 어린이를 대상으로 하는 교육프로그램에서 어린이의 관심사가 되는 로봇을 이용한 프로그램의 진행은 더욱 높은 교육 효과를 기대할 수 있을 것이며, 어린이 대상 프로그램에서 사용자인 어린이에게 프로그램 속의 캐릭터 행동을 따라하게하고 사용자의 행동이 어느 정도 요구하는 바와 일치하는 지를 알려주는 기능을 제공하는 것은 체감형 어린이 교육프로그램의 교육 목적을 달성하기 위한 중요한 요소가 될 것이다.In addition, the progress of the program using robots that are of interest to children in educational programs for children can expect higher educational effects. Providing a function that tells how much this is required will be an important factor in achieving the educational objectives of the immersive children's education program.
본 발명은 상기한 문제점을 해결하기 위한 것으로서 본 발명은 화상카메라를 구비하고 있는 로봇에서 화상카메라로 입력되는 사용자의 정지 영상에 대한 처리를 통해 각 정지 영상 간의 사용자의 행동 차이를 분석한 후, 그 차이와 동영상물의 실루엣 처리 정보와 비교하여 어느 정도의 행동 일치성을 보이는지 판단하여 그에 대한 결과를 사용자에게 알려주는 로봇 및 그 방법을 제공함에 목적이 있다.The present invention is to solve the above problems, the present invention is to analyze the behavior difference of the user between each still image through the processing of the still image of the user input to the image camera in the robot equipped with the image camera, It is an object of the present invention to provide a robot and a method for determining a degree of behavioral consistency by comparing the difference and silhouette processing information of a moving image and informing a user of the result.
상기한 목적을 달성하기 위한 기술적 사상으로서 본 발명에서는 사용자의 모습을 연속 촬영하는 화상카메라와;As a technical idea for achieving the above object, the present invention provides an image camera for continuously photographing a user's appearance;
동영상물을 실행하여 디스플레이하는 영상출력수단과;Image output means for executing and displaying moving images;
사용자의 자세와 디스플레이되는 동영상물의 캐릭터의 자세를 비교하는 자세비교수단; 및Posture comparison means for comparing the posture of the user with the posture of the character of the displayed video object; And
상기 구성요소들을 제어하기 위한 제어부를 포함하고,A control unit for controlling the components;
상기 제어부의 제어 신호에 따라 상기 자세비교수단에서 상기 화상카메라로 촬영한 정지영상 이미지들로부터 얻어낸 차영상 정보와 상기 영상출력수단에서 실행되는 동영상물의 각 프레임이미지의 실루엣 처리 정보를 비교하여 사용자 자세의 동영상 캐릭터의 자세에 대한 일치성 정도를 판단한 후, 그 일치성 정도의 결과를 사용자에게 출력하여 주는 것을 특징으로 하는 자세추적을 이용하여 동영상물을 디스플레이하는 로봇이 제시된다.According to the control signal of the controller, the difference image information obtained from the still image images photographed by the image camera in the posture comparing means and the silhouette processing information of each frame image of the moving image to be executed in the image output means are compared. After determining the degree of correspondence with respect to the posture of the video character, a robot displaying a moving image using posture tracking, which outputs the result of the degree of correspondence to the user, is presented.
이하에서는 첨부한 도면을 참조하면서 본 발명의 실시예에 대한 구성 및 작용을 상세히 설명하기로 한다.Hereinafter, with reference to the accompanying drawings will be described in detail the configuration and operation of the embodiment of the present invention.
도 1은 본 발명의 실시예에 따른 로봇의 개략적인 구성을 나타낸 도면이다.1 is a view showing a schematic configuration of a robot according to an embodiment of the present invention.
도 1에서 알 수 있듯이, 본 발명의 실시예에 따른 로봇은 로봇의 각종 기능을 선택하여 입력하기 위한 기능키 입력부(101)와, 로봇의 이동을 담당하는 이동매 커니즘(102)과, 사용자의 동영상과 동영상물의 동영상을 합성하여 출력하는 영상출력수단(103)과, 사용자의 자세와 동영상물의 캐릭터의 자세를 비교하기 위한 자세 비교 수단(104)과, 사용자의 모습을 촬영하기 위한 화상 카메라(105) 및 상기 구성요소를 제어하기 위한 제어부(106)를 포함하여 이루어진다.As can be seen in Figure 1, the robot according to an embodiment of the present invention, the function
상기 기능키 입력부(101)는 로봇의 각종 기능 중 하나를 선택하는 신호를 입력받음으로써 로봇이 선택된 기능을 수행하도록 한다. 이 기능키 입력부를 통한 입력 신호에 따라 자세 비교 기능이 수행된다.The function
상기 이동 매커니즘(102)은 로봇의 이동을 담당하는 구성으로서, 구동 모터 및 구동 수단으로 구성된다. 구동 수단으로는 무한 궤도형, 바퀴 형, 인간 다리형 등이 될 수 있다.The
상기 영상출력수단(103)은 특정의 동영상물을 실행하여 디스플레이하는 기능을 수행한다. 본 발명의 실시예에 따라서는 로봇이 구비한 화상 카메라로 촬영한 사용자의 동영상을 특정의 동영상물인 그래픽 애니메이션 등과 합성하여 디스플레이하는 기능을 수행한다. 이로써 교육프로그램인 동영상물을 사용하는 사용자는 교육프로그램 내에 참여하는 듯한 효과를 낼 수 있게 된다.The image output means 103 performs a function of executing and displaying a specific moving image. According to an exemplary embodiment of the present invention, a video of a user photographed by an image camera provided by a robot is synthesized and displayed by synthesizing a graphic animation, which is a specific video. As a result, a user using the video program, which is an educational program, can produce an effect as if participating in the educational program.
상기 자세비교수단(104)은 로봇이 구비한 화상카메라가 촬영한 사용자의 영상 이미지로부터 사용자의 자세를 추적하여 사용자의 자세와 동영상물의 캐릭터의 자세를 비교하는 기능을 수행한다. 도 2에서 이에 대해 상세히 설명하기로 한다.The posture comparing means 104 performs a function of comparing the posture of the user with the posture of the character of the moving image by tracking the posture of the user from the video image of the user captured by the image camera provided by the robot. This will be described in detail with reference to FIG. 2.
상기 화상 카메라(105)는 사용자의 모습을 촬영한 후 그 영상이미지를 상기 자세비교수단(104)에 전송해 준다. 본 발명의 실시예에서는 초당 10 ~ 30 프레임의 촬영 속도로 사용자의 모습을 촬영하게 되며, 이하에서는 초당 24 프레임으로 촬영된 것으로 설명한다.The
도 2는 본 발명의 실시예에 따른 자세비교수단(104)의 개략적인 구성도이다.2 is a schematic diagram of a posture comparing means 104 according to an embodiment of the present invention.
도 2에서 볼 수 있듯이, 상기 자세비교수단(104)은 영상이미지 처리부(201), 차영상 추출부(202), 비교판단부(203) 및 음향출력부(204)를 포함하고 있다.As shown in FIG. 2, the posture comparing means 104 includes an image
상기 영상이미지 처리부(201)에서는 상기 화상카메라(105)에서 촬영한 사용자의 정지 영상 이미지를 시간 순으로 전송받아 처리한다. 즉 각 정지 영상 이미지에 대하여 사용자 부분과 배경 부분을 구분한 후(도 3의 a), 영상 이미지를 8 * 8 픽셀의 작은 사각형인 셀 들로 나누어 각 셀에서 사용자 부분을 일정 비율이상 포함하고 있는 사용자 영역 셀을 포함하는 셀 이미지를 생성한다(도 3의 b 및 c). The image
상기 차영상 추출부(202)는 상기 영상 이미지 처리부(201)에서 각 정지 영상 이미지에 대한 처리이미지를 전송받아 현재의 처리이미지와 직전의 처리이미지를 비교하여 그 차에 대한 정보를 생성한다. 즉, 현재 처리이미지의 사용자 영역 셀에서 직전의 처리이미지의 사용자 영역 셀 을 제외한 나머지 사용자 영역 셀인 사용자 영역셀을 포함하는 셀 이미지가 차영상 정보가 된다.The
상기 비교판단부(203)는 상기 영상출력수단(103)으로부터의 실루엣 처리 정보와 상기 차영상추출부(202)로부터의 차영상 정보를 비교하여 사용자의 자세가 디스플레이되는 동영상물의 캐릭터의 자세와 어느 정도 일치하는 지를 판단하고 그 결과에 대한 신호를 상기 영상출력수단(103) 또는 상기 음향출력부(204)에 전송하여 준다.The
상기 음향출력부(204)는 상기 비교판단부(203)에서 전송되는 음향 신호를 외부에 출력한다. 이에는 스피커 등이 포함된다.The
로봇에서의 사용자 행동 비교 동작을 설명하기에 앞서, 본 발명의 로봇의 상기 영상출력수단(103)에서 실행되어 디스플레이될 동영상물의 하나인 그래픽 애니메이션에 대하여 설명하기로 한다.Prior to describing the user behavior comparison operation in the robot, a graphic animation, which is one of moving images to be displayed and executed in the image output means 103 of the robot of the present invention, will be described.
상기 그래픽 애니메이션은 개별 그래픽 이미지들의 집합이 그래픽 실행 프로그램에 따라 실행되어 연속적으로 디스플레이되는 것이다. 개별 그래픽 이미지에는 영상 정보는 물론이고 그래픽 애니메이션에 등장하는 캐릭터의 행동을 그대로 따라한 사람의 테두리인 실루엣에 대한 정보가 실려있다. 이 실루엣 처리 정보와 화상카메라로 입력받은 사용자의 행동의 차영상 정보를 비교하여 사용자 행동의 일치성 정도를 판단하게 된다. 실루엣 처리 정보는 위에서 설명한 것처럼 상기 자세비교수단(104)에서 얻어내는 차영상 정보처럼 사람의 테두리만이 영역화된 실루엣 영역 셀을 포함하는 셀 이미지와 실루엣 번호로 이루어져 있다. 또한 실루엣 처리정보가 그래픽 애니메이션 소스(source)에 포함되어 있다. 실루엣 처리정보는 화상카메라로 촬영한 각 사용자의 정지 영상 이미지와 매칭될 실루엣 번호에 대한 정보를 갖고 있다.In the graphic animation, a set of individual graphic images is executed according to a graphic execution program and displayed continuously. Each graphic image contains not only visual information, but also information about the silhouette, which is the border of the person, following the behavior of the characters in the graphic animation. The degree of consistency of the user's behavior is determined by comparing the silhouette processing information with the difference image information of the user's behavior received by the image camera. As described above, the silhouette processing information is composed of a cell image and a silhouette number including a silhouette region cell in which only a human edge is localized, such as difference image information obtained from the
로봇에서 사용자의 자세을 비교하는 동작은 다음과 같이 진행된다.The operation of comparing the posture of the user in the robot proceeds as follows.
로봇의 기능키 입력부(101)를 통하여 진행 시작 신호를 입력받는다. 상기 제어부(106)에서는 시작 신호를 인식하고 상기 화상카메라(105), 영상출력수단(103), 자세비교수단(104)을 구동시킬 준비를 한 후, 먼저 영상출력수단(103)을 구동시킨다. The progress start signal is received through the function
상기 영상출력수단(103)에서는 특정의 그래픽 애니메이션 소스를 실행하여 디스플레이하게 되며, 실행 화면에서는 그래픽 애니메이션 캐릭터가 댄스에 대한 설명을 하고, 사용자에게 댄스를 따라할 것을 지시하게 된다. 이 과정에서 상기 영상출력수단(103)에서 그래픽 애니메이션 소스에 있던 실루엣처리정보를 읽어내어 상기 자세비교수단(104)의 비교판단부(203)에 전송하여 준다.The image output means 103 executes and displays a specific graphic animation source, and on the execution screen, the graphic animation character explains the dance and instructs the user to follow the dance. In this process, the image output means 103 reads the silhouette processing information present in the graphic animation source and transmits it to the
실루엣처리정보에는 실루엣 번호와 그 번호에 해당하는 실루엣의 영상이미지에 대한 유지시간이 포함되어 있다. 예를 들면, 실루엣처리정보에 1:2, 2:5, 3:3, 4:2, 5:3, .... 형태의 데이터가 포함되어 있으면, 앞의 숫자는 실루엣 번호를 나타내고 뒤의 숫자는 해당 실루엣의 화상카메라의 영상이미지에 대한 유지시간을 의미한다. 즉 1번 실루엣은 2개의 영상이미지와 매칭되고, 2번 실루엣은 5개의 영상이미지와 매칭된다. The silhouette processing information includes a silhouette number and a holding time for a video image of a silhouette corresponding to the silhouette number. For example, if the silhouette processing information includes data of the form 1: 2, 2: 5, 3: 3, 4: 2, 5: 3, ..., the preceding number represents the silhouette number and The number means the holding time for the video image of the image camera of the corresponding silhouette. That is, silhouette 1 matches two video images, and silhouette 2 matches five video images.
상기 실루엣처리정보를 전송받은 상기 비교판단부(203)에서는 아래와 같은 실루엣비교표를 작성하게 된다.The
번호video
number
번호silhouette
number
상기 표는 상기 화상카메라(105)에서 초당 24 프레임으로 촬영되어 상기 자세비교수단(104)으로 순차적으로 1번 이미지부터 계속 전송될 정지 영상 이미지에 매칭되는 실루엣 번호를 나타내고 있다. 즉, 1번, 2번 영상이미지는 1번 실루엣과, 3,4,5,6,7번 영상이미지는 2번 실루엣과 각각 매칭되는 것처럼 계속하여 입력될 영상이미지와 실루엣이 각각 매칭되는 것이다. 이 표의 쓰임은 아래에서 설명하기로 한다.The table shows a silhouette number that is captured at 24 frames per second by the
상기 실루엣비교표가 작성되면 상기 비교판단부(104)에서 상기 제어부(106)로 실루엣비교표 작성완료 신호를 전송하고, 상기 영상출력수단(103)에서 상기 제어부(106)로 본격적인 따라하기 진행 신호를 전송하면, 상기 제어부(106)에서 화상카메라(105)를 구동시켜 사용자의 모습을 촬영하기 시작하여 촬영된 정지 영상 이미지를 순차적으로 상기 자세비교수단의 영상이미지처리부(201)로 전송하기 시작하게 하고, 상기 영상출력수단(103)에서는 캐릭터의 댄스 동작에 대한 디스플레이를 시작함과 동시에 1번 실루엣부터 상기 행동비교부(203)에 실루엣 처리 정보를 전송하게 된다. 즉 특정 그래픽 애니메이션이 디스플레이되는 중에 각 그래픽 이미지에 실려있는 실루엣 처리 정보를 계속하여 전송되게 된다. 이때 화상카메라의 촬영 속도와 영상출력수단의 그래픽애니메이션 실행 속도는 초당 24 프레임으로 동일하다.When the silhouette comparison table is created, the
화상카메라(105)로부터의 정지영상 이미지와 영상출력수단(103)으로부터의 실루엣 처리 정보를 전송받은 상기 자세비교수단(104)에서는 상기 정지영상 이미지를 처리한 처리이미지들로부터 차영상 정보를 생성하고, 이 차영상 정보와 특정의 실루엣 처리 정보를 비교하여 사용자의 자세와 캐릭터의 자세의 일치 정도를 판단한다.The
차영상 정보와 실루엣 처리 정보를 이용하여 자세의 일치성을 검사하는 과정은 다음과 같다.The process of checking the posture correspondence using the difference image information and the silhouette processing information is as follows.
차영상 정보와 실루엣 처리 정보를 이용한 자세 일치성 검사는 매 정지 영상이 입력될 때마다, 현재 입력된 영상 이미지와 직전에 입력된 영상 이미지에 대한 처리이미지의 차영상 정보를 추출한 후 그 차영상 정보와 해당 실루엣 처리 정보를 비교하여 일치성 검사를 하게 된다. 이때 그 비교 대상의 결정은 위의 표 1의 실루엣비교표를 이용하게 된다.The posture consistency test using the difference image information and the silhouette processing information extracts the difference image information of the processed image with respect to the currently inputted image image and the immediately preceding image image every time the still image is input, and then the difference image information. Conformity check is performed by comparing with the corresponding silhouette processing information. At this time, the comparison target is determined using the silhouette comparison table in Table 1 above.
즉, 상기 비교판단부(203)에서는 각 실루엣과 매칭되어 있는 영상의 이전 영상과의 차영상을 매칭되어 있는 각 실루엣과 비교하게 된다. 다시 말하면, 1번 영상과 2번 영상의 차영상과 1번 실루엣을, 2번 영상과 3번 영상의 차영상과 2번 실루엣을, 3번 영상과 4번 영상의 차영상과 2번 실루엣을 각각 계속 비교하여 실루엣과 차영상의 일치성 검사를 하게 된다.That is, the
도 4는 실루엣과 차영상을 비교하는 과정을 설명하는 그림이다.4 is a diagram illustrating a process of comparing a silhouette and a difference image.
도 4의 a는 차영상 정보를 나타내고, b는 비교할 실루엣 처리 정보를 나타낸다. 비교는 차영상 정보와 실루엣 처리 정보의 셀 이미지의 셀 격자를 상호 비교하면서 이루어진다. 즉, 셀 격자를 좌에서 우로, 위에서 아래로 순서대로 비교해 가며 a의 차영상 정보의 사용자 영역셀이 b의 실루엣 처리 정보의 실루엣 영역 셀의 내부 또는 외부에 존재하는지를 검사하는 것이다. 설명의 편의를 위하여 행과 열을 사용하기로 한다. 이때 실루엣 처리 정보의 셀 이미지를 각 행마다 1열부터 검사하기 시작하여 동일한 행에서 처음 실루엣 영역 셀 격자를 만나기 전까지의 열은 외부, 다시 실루엣 영역 셀 격자를 만나기까지의 열은 내부, 다시 실루엣 영역 셀 격자를 만난 다음 열부터는 외부로 구분된다. 도 4의 c는 b의 실루엣 처리 정보의 셀 이미지의 외부 영역을 나타낸다.4A shows difference image information, and b shows silhouette processing information to be compared. The comparison is made by comparing the cell grid of the cell image of the difference image information and the silhouette processing information with each other. In other words, the cell grid is compared from left to right and top to bottom, and the user grid cell of the difference image information of a is checked to be present inside or outside the silhouette region cell of the silhouette processing information of b. For convenience of explanation, rows and columns will be used. At this time, the cell image of the silhouette processing information is inspected starting from one column for each row, and the column until the first meeting of the silhouette area cell grid in the same row is outside, and the column until it meets the silhouette area cell grid is inside, again the silhouette area. After the cell grid is met, the columns are separated from the outside. 4C shows an outer region of the cell image of the silhouette processing information of b.
도 4의 a와 b를 비교해보면, 상기 비교판단부(203)에서는 1행부터 비교하기 시작하는데 a의 1행에는 사용자 영역셀이 없고, 2행에서 2열에 사용자 영역셀이 검출되고 동시에 b의 2열에서 실루엣 영역 셀이 검출되므로 2행 2열의 사용자 영역셀은 실루엣 영역 셀의 내부에 존재하는 것으로 판별되고, 다시 a의 2행 4열에 사용자 영역셀이 검출되고 동시에 b의 4열은 실루엣 영역 셀이 다시 검출되기 전이므로 2행 4열의 사용자 영역셀은 실루엣 영역 셀 내부에 존재하는 것으로 판별되며, 계속 이런 방식으로 각 행마다 검사하여 각 사용자 영역셀이 실루엣 영역 셀 내부에 존재하는지를 판별하게 된다. 이와 같은 방식으로 서로 매칭되는 정지 영상과 실루엣과의 일치성 비교를 1초 동안 24 프레임의 정지 영상이 입력된다면 1초 동안 24번 진행하게 된다.Comparing a and b of FIG. 4, the
마지막으로, 사용자의 자세가 어느 정도 캐릭터 자세와 일치하는지를 알려주기 위해서 일정시간 동안의 위와 같은 연속적인 비교 결과를 이용하게 된다. 일정 시간을 1초로 정하였다면, 1초 동안의 일치성 정도는 각 차영상에 대한 일치성 데이터를 모두 합산하여 외부에 존재하는 사용자 영역셀의 총수 또는 평균수로 그 정도를 판단할 수도 있고, 가장 일치성이 안 좋은 데이터를 기준으로 할 수도 있다.Finally, in order to indicate how much the user's posture matches the character's posture, the result of the continuous comparison for a predetermined time period is used. If the predetermined time is set to 1 second, the degree of correspondence for 1 second may be determined based on the total number or average number of user area cells existing outside by adding up the coincidence data of each difference image, and the most match It may be based on bad data.
예를 들면, 1초 동안 외부에 존재하는 사용자 영역셀의 총수 분포에 대한 환산점수를 정하여 두고 그 점수를 알려주거나, 각 점수대에 해당하는 효과음을 설정하여 두고 그 효과음을 출력하는 등의 방식으로 사용자에게 일치성 정도를 알려줄 수 있다.For example, the user may set a conversion score for the total number distribution of user area cells existing outside for one second and inform the score, or set the sound effect corresponding to each score range and output the sound effect. Can tell the degree of correspondence.
즉, 상기 비교판단부(203)에서 1초 동안의 일치성 정도의 점수를 파악하여 이를 상기 영상출력수단(103)에 전송하여 주면 영상출력수단(103)에서는 디스플레이 화면의 일정영역에 그 점수를 디스플레이해 주거나, 그 점수대에 해당하는 효과음에 대한 신호를 상기 음향출력부(204)에 전송하여 주면 음향출력부(204)에서 효과음을 출력하게 된다.That is, the
그 점수 분포에 대한 난이도는 동영상물의 내용에 따라 다르게 책정된다. 난이도를 낮게 할수록 실루엣 외부로 나오는 사용자 영역셀의 허용 수를 더 크게 할 수 있으며, 이에 대한 정보는 실루엣처리정보와 함께 상기 비교판단부(203)로 전송되어 비교판단부에서는 각 동영상물에 따른 다른 점수분포를 책정하여 그 점수분포에 맞게 적용할 수 있다.The difficulty of the score distribution is determined differently according to the contents of the moving picture. The lower the difficulty, the larger the allowable number of user area cells coming out of the silhouette. Information about this is transmitted to the
본 발명에 따르면, 간단한 처리 절차로 동영상물의 캐릭터 자세와 사용자의 자세를 비교하여 그 결과를 사용자에게 알려줄 수 있고, 사용자는 그 결과에 대한 효과음이나 점수를 통하여 어느 정도 교육 프로그램을 수행하고 있는지를 알 수 있어 사용자에게 더 높은 프로그램 몰입도 및 그 프로그램에 대한 만족도를 갖게 할 수 있다. According to the present invention, it is possible to inform the user of the result by comparing the character posture of the moving picture and the posture of the user with a simple processing procedure, and the user knows how much the education program is being performed through the sound effect or score on the result. This allows users to have higher program immersion and satisfaction with the program.
Claims (19)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020060091252A KR101297154B1 (en) | 2006-09-20 | 2006-09-20 | Robot to display a movie using motion detection and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020060091252A KR101297154B1 (en) | 2006-09-20 | 2006-09-20 | Robot to display a movie using motion detection and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20080026345A KR20080026345A (en) | 2008-03-25 |
| KR101297154B1 true KR101297154B1 (en) | 2013-08-21 |
Family
ID=39413790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020060091252A KR101297154B1 (en) | 2006-09-20 | 2006-09-20 | Robot to display a movie using motion detection and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101297154B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19990013213A (en) * | 1997-07-31 | 1999-02-25 | 구자홍 | Posture Corrector by Image Comparison |
| KR200143330Y1 (en) | 1996-04-26 | 1999-06-01 | 박혁기 | Apparatus for comparing golf swing motions |
| KR20050014041A (en) * | 2003-07-29 | 2005-02-07 | 주식회사 아임스이십일 | System for correting the swing motion of golfer |
-
2006
- 2006-09-20 KR KR1020060091252A patent/KR101297154B1/en not_active IP Right Cessation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR200143330Y1 (en) | 1996-04-26 | 1999-06-01 | 박혁기 | Apparatus for comparing golf swing motions |
| KR19990013213A (en) * | 1997-07-31 | 1999-02-25 | 구자홍 | Posture Corrector by Image Comparison |
| KR20050014041A (en) * | 2003-07-29 | 2005-02-07 | 주식회사 아임스이십일 | System for correting the swing motion of golfer |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20080026345A (en) | 2008-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109432753B (en) | Action correcting method, device, storage medium and electronic equipment | |
| JP6124308B2 (en) | Operation evaluation apparatus and program thereof | |
| CN111091732B (en) | Cardiopulmonary resuscitation (CPR) instructor based on AR technology and guiding method | |
| US6522332B1 (en) | Generating action data for the animation of characters | |
| JPH07141101A (en) | Input system using picture | |
| EP2203896B1 (en) | Method and system for selecting the viewing configuration of a rendered figure | |
| WO2006108279A1 (en) | Method and apparatus for virtual presence | |
| KR101410410B1 (en) | Bodily sensation type learning apparatus and method | |
| CN110490173B (en) | Intelligent action scoring system based on 3D somatosensory model | |
| KR20170078176A (en) | Apparatus for presenting game based on action recognition, method thereof and computer recordable medium storing the method | |
| CN112348942B (en) | Body-building interaction method and system | |
| KR20100118943A (en) | Augmented reality studio foreign language study system | |
| CN110841266A (en) | Auxiliary training system and method | |
| CN111901518B (en) | Display method and device and electronic equipment | |
| CN109407826A (en) | Ball game analogy method, device, storage medium and electronic equipment | |
| KR20020011851A (en) | Simulation game system using machine vision and pattern-recognition | |
| KR101297154B1 (en) | Robot to display a movie using motion detection and method thereof | |
| KR101280225B1 (en) | Robot to progress a program using motion detection and method thereof | |
| JP2001051579A (en) | Method and device for displaying video and recording medium recording video display program | |
| KR200239844Y1 (en) | Simulation game system using machine vision and pattern-recognition | |
| CN113741689B (en) | Kinect-based human body contour recognition interaction display system | |
| KR20040084173A (en) | Real Time Motion Comparing Method and System | |
| Wicaksono et al. | 3D Geometric Shape and Colors Interactive Learning Media using Raspberry Pi, OpenCV, and TensorFlow Lite. | |
| KR101285114B1 (en) | Bodily sensation Education method using Motion Detection in robot and thereof system | |
| WO2024131479A1 (en) | Virtual environment display method and apparatus, wearable electronic device and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160729 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20170414 Year of fee payment: 5 |
|
| LAPS | Lapse due to unpaid annual fee |