KR20080026403A - 자세추적을 이용하여 프로그램을 진행하는 로봇 및 그 방법 - Google Patents

자세추적을 이용하여 프로그램을 진행하는 로봇 및 그 방법 Download PDF

Info

Publication number
KR20080026403A
KR20080026403A KR1020060091385A KR20060091385A KR20080026403A KR 20080026403 A KR20080026403 A KR 20080026403A KR 1020060091385 A KR1020060091385 A KR 1020060091385A KR 20060091385 A KR20060091385 A KR 20060091385A KR 20080026403 A KR20080026403 A KR 20080026403A
Authority
KR
South Korea
Prior art keywords
image
user
program
robot
action
Prior art date
Application number
KR1020060091385A
Other languages
English (en)
Other versions
KR101280225B1 (ko
Inventor
오연순
김은정
한상윤
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020060091385A priority Critical patent/KR101280225B1/ko
Publication of KR20080026403A publication Critical patent/KR20080026403A/ko
Application granted granted Critical
Publication of KR101280225B1 publication Critical patent/KR101280225B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 자세추적을 이용하여 프로그램을 진행하는 로봇 및 그 방법에 관한 것이다. 즉, 로봇에서 사용자와 인터페이스를 할 때 사용자의 행동을 로봇에 부착된 화상 카메라로 입력받은 후 이를 자세 추적 분석하여 사용자가 어떤 행동을 하는 것인지 판단한 후 프로그램을 진행하는 로봇 및 그 방법에 관한 것이다.
본 발명에서는 사용자의 모습을 촬영하기 위한 화상카메라와; 특정 프로그램을 디스플레이하기 위한 영상출력수단과; 사용자의 행동을 판단하기 위한 자세추적수단; 및 상기 구성요소를 제어하기 위한 제어부를 포함하고, 상기 영상출력수단에서 특정 프로그램을 디스플레이하고 상기 화상 카메라에서 사용자의 모습을 촬영하는 도중에, 상기 제어부의 제어에 의해 상기 영상출력수단에서 프로그램의 디스플레이 진행을 정지하고 상기 자세추적수단이 동작하여, 상기 화상카메라에 의해 촬영되는 사용자의 영상 이미지를 상기 자세추적수단에서 처리한 후 그 처리된 데이터로 사용자의 행동을 판단하여, 사용자의 행동이 일정 조건을 만족할 경우 상기 영상출력수단에서 정지된 프로그램의 디스플레이를 계속 진행하는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇이 제시된다.
로봇, 자세 추적

Description

자세추적을 이용하여 프로그램을 진행하는 로봇 및 그 방법 { Robot to progress a program using motion detection and method thereof}
도 1은 본 발명의 실시예에 따른 로봇의 개략적인 블록도이다.
도 2는 본 발명의 실시예에 따른 자세 추적 수단의 개략적인 블록도이다.
도 3은 본 발명의 실시예에 따른 사용자의 행동 판단을 위한 영상 이미지의 처리 예를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 사용자의 행동 판단 방법을 설명하기 위한 흐름도이다.
< 도면의 주요 부호에 대한 설명 >
101 : 기능키 입력부 102 : 이동 매커니즘
103 : 영상출력수단 104 : 자세추적수단
105 : 화상 카메라 106 : 제어부
201 : 영상 이미지 처리부 202 : 차영상 추출부
203 : 행동 판단부 204 : 데이터베이스
본 발명은 자세추적을 이용하여 프로그램을 진행하는 로봇 및 그 방법에 관한 것이다. 좀더 자세하게는 로봇에서 사용자와의 인터페이스를 할 때 사용자의 행동을 로봇에 부착된 화상 카메라로 입력받은 후 이를 자세 추적 분석하여 사용자가 어떠한 행동을 하는 것인지 판단한 후 프로그램을 진행하는 로봇 및 그 방법에 관한 것이다.
기존 PC 기반의 교육 방식은 키보드와 마우스를 이용하여 모니터를 통해 교육이 진행되는데, 사용자의 반응은 키보드와 마우스를 통해 입력되는 정보에 의존하기 때문에 사용자의 행동 양식을 프로그램 내에 반영하거나 특정 행동을 하여야만 다음 단계로 진행하는 형식의 프로그램을 제공할 수 없다.
이에 비해 어린이를 대상으로 하는 교육 프로그램에 있어서 어린이에게 호감의 대상이 되는 로봇을 이용한 체감형 프로그램은 더욱 높은 교육 효과를 기대할 수 있을 것이며, 또한 체감형 프로그램에서 사용자인 어린이의 행동을 지시하고 사용자의 행동이 적절하게 수행되었는지를 판단하는 기능을 제공하는 것은 체감형 어린이 교육프로그램에서 중요한 사항이 될 것이다.
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 본 발명은 화상 카메라가 장착된 로봇에서 자세 추적 기능을 이용하여 사용자 행동의 판단 절차를 제공함으로써 로봇에서 운영되는 인터페이스 프로그램이나 컨텐츠 및 서비스 프로그램 등에서 더 높은 참여나 교육 효과를 낼 수 있게 하는 로봇 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 목적을 달성하기 위한 기술적 사상으로서, 본 발명에서는 사용자의 자세추적을 이용하여 특정 프로그램을 진행하는 로봇에 있어서,
사용자의 모습을 촬영하기 위한 화상카메라와;
특정 프로그램을 디스플레이하기 위한 영상출력수단과;
사용자의 행동을 판단하기 위한 자세추적수단; 및
상기 구성요소를 제어하기 위한 제어부를 포함하고,
상기 영상출력수단에서 특정 프로그램을 디스플레이하고 상기 화상 카메라에서 사용자의 모습을 촬영하는 도중에, 상기 제어부의 제어에 의해 상기 영상출력수단에서 프로그램의 디스플레이 진행을 정지하고 상기 자세추적수단이 동작하여, 상기 화상카메라에 의해 촬영되는 사용자의 영상 이미지를 상기 자세추적수단에서 처리한 후 그 처리된 데이터로 사용자의 행동을 판단하여, 사용자의 행동이 일정 조건을 만족할 경우 상기 영상출력수단에서 정지된 프로그램의 디스플레이를 계속 진행하는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇이 제시된다.
이하에서는 본 발명의 실시예에 대한 구성 및 작용을 첨부한 도면을 참조하면서 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 로봇의 개략적인 블록도이다.
도 1에서 알 수 있듯이 본 발명의 실시예에 따른 로봇은 로봇의 각종 기능을 선택하여 입력하기 위한 기능키 입력부(101)와, 로봇의 이동을 담당하는 이동매커 니즘(102)과, 사용자의 동영상과 교육 프로그램인 그래픽 애니메이션을 합성하여 출력하는 영상출력수단(103)과, 사용자의 자세를 추적하기 위한 자세 추적 수단(104)와, 사용자의 모습을 촬영하기 위한 화상 카메라(105) 및 상기 구성요소를 제어하기 위한 제어부(106)를 포함하여 이루어진다.
상기 기능키 입력부(101)는 로봇의 각종 기능을 선택하여 입력함으로써 로봇이 선택된 기능을 수행하도록 한다. 이 기능키 입력부를 통한 입력 신호에 따라 자세 추적 기능이 수행된다.
상기 이동 매커니즘(102)은 로봇의 이동을 담당하는 구성으로서, 구동 모터 및 구동 수단으로 구성된다. 구동 수단으로는 무한 궤도형, 바퀴 형, 인간 다리형 등이 될 수 있다.
상기 영상출력수단(103)은 특정의 프로그램을 실행하여 디스플레이하는 기능을 수행한다. 본 발명의 실시예에 따라서는 로봇이 구비한 화상 카메라로 촬영한 사용자의 동영상을 특정의 프로그램인 그래픽 애니메이션 등과 합성하여 디스플레이하는 기능을 수행한다. 이로써 교육 프로그램을 사용하는 사용자는 교육프로그램 내에 참여하는 듯한 효과를 낼 수 있게 된다.
상기 자세추적수단(104)은 로봇이 구비한 화상카메라가 촬영한 사용자의 영상 이미지로부터 사용자의 자세를 추적하여 사용자의 행동을 판단하는 기능을 수행한다. 도 2에서 이에 대해 상세히 설명하기로 한다.
상기 화상 카메라(105)는 사용자의 모습을 촬영한 후 그 영상이미지를 상기 자세추적수단에 전송해 준다. 본 발명의 실시예에서는 초당 30 프레임의 촬영 속도 로 사용자의 모습을 촬영하게 된다.
상기 제어부(106)는 로봇의 각 구성요소를 제어한다. 본 발명에서는 자세추적수단(104) 및 영상출력수단(103)과 연계되어 동작한다.
도 2는 본 발명의 실시예에 따른 자세추적 수단의 개략적인 블록도이다.
도 2에서 알 수 있듯이, 자세 추적 수단은 영상 이미지 처리부(201), 차영상 추출부(202), 행동 판단부(203) 및 데이터베이스(204)를 포함하여 이루어진다.
상기 영상 이미지 처리부(201)는 상기 화상 카메라(105)로 촬영한 각 프레임의 영상 이미지에서 사용자의 부분을 인식한 후 영상 이미지를 8*8 픽셀의 작은 사각형으로 나누어 사각형 기반으로 영역화한다. 도 3은 이를 설명하고 있다.
먼저, 화상 카메라로부터 전송받은 영상 이미지에서 사용자와 배경을 구분한다. 이는 영상 이미지의 컬러 색채 정보를 컬러 좌표 변환을 통해 그레이 스케일 영상 이미지로 변환하고, 이 변환된 영상 이미지에서 기울기인 그래디언트(gradient) 크기를 구한 후 영상의 밝기 값이 급격하게 변하는 경계선을 검출함으로써 사용자와 배경을 구분할 수 있다(도 3의 a).
다음으로 영상 이미지를 8*8 픽셀의 작은 사각형으로 나눈다(도 3의 b).
다음으로 나누어진 각 사각형에서 사용자 부분을 일정 비율이상 포함하고 있는 사각형을 영역화한다(도 3의 c).
이 영역화된 이미지를 다음 단계의 진행을 위해 차영상 추출부(202)로 전송하게 된다.
상기 차영상 추출부(202)는 이전 프레임의 영역화된 영상 이미지와 현재의 전송받은 영역화된 영상 이미지를 비교하여(도 3의 d,e) 그 차이를 정해진 데이터형태로 추출한다. 즉, 현재 영역화된 이미지와 이전의 영역화된 이미지에서 공통되는 사각형 영역 부분을 제외한 사각형 영역에 대한 데이터 또는 현재 영역화된 이미지에서 이전의 영역화된 이미지를 제외한 사각형 영역에 대한 데이터를 추출한다. 이 데이터에는 사용자의 움직임 방향성 및 사용자의 신체 부분에 대한 데이터가 포함된다.
상기 행동 판단부(203)는 상기 차영상 추출부(202)에서 보내준 차영상 데이터를 바탕으로 상기 데이터베이스에 저장되어 있는 기준 행동 데이터와 비교하여 차영상 데이터가 어떤 기준 행동에 해당하는지를 판별하게 된다.
상기 데이터베이스(204)는 기준 행동 데이터를 저장하고 있다. 즉, 사용자의 점프, 앉기, 손을 위로 들기, 몸을 움직이기 등의 행동을 판단하기 위해 기준 모델이 되는 사용자의 행동을 초당 30 프레임으로 촬영한 영상 이미지를 상기 영상 이미지 처리부에서 처리한 방식과 동일한 방식으로 처리한 후 각 행동에 대한 각 영상 이미지의 차영상 데이터가 미리 데이터베이스화되어 저장된다.
도 4는 본 발명의 실시예에 따른 사용자의 행동 판단 방법을 설명하기 위한 흐름도이다.
먼저, 로봇에서 그래픽 애니메이션 등의 특정 프로그램을 실행하여 디스플레이를 시작한다(S401).
다음으로, 로봇에서 구비하고 있는 화상 카메라로 사용자의 모습을 초당 30 프레임으로 촬영한다(S402).
다음으로, 로봇의 영상 출력 수단(103)에서는 특정 프로그램의 디스플레이 를 계속 진행한다. 한편, 디스플레이 도중에 화면상으로 교육 대상인 어린이에게 디스플레이되고 있는 그래픽 애니메이션 상의 캐릭터의 특정 행동을 따라할 것을 지시하게 되는데, 이 지시를 보여주는 그래픽 애니메이션 이미지에 소정의 행동 지시 코드를 실어 놓아, 그 이미지가 디스플레이되는 순간에 그 코드를 인식한 상기 영상출력수단(103)에서 상기 제어부(106)에 코드 인식 신호를 보내고 상기 제어부(106)에서는 제어신호로써 상기 자세 추적 수단(104)을 구동하게 한다. 또한 이 지시 코드에는 행동 종류를 나타내는 코드 또는 행동 종류를 나타내는 코드 및 목표치를 나타내는 코드가 포함되어 상기 제어부(106)에서 상기 자세추적수단의 행동 판단부(203)로 상기 코드 신호를 제어 신호에 실어 전송하여 준다.
상기와 같이 제어신호에 따라 상기 자세 추적 수단(104)이 구동된 후, 사용자인 어린이가 지시된 행동을 따라하는 것이 상기 행동 판단부(203)에 인식될 때까지 영상 출력 수단(103)에서는 그래픽 애니메이션의 디스플레이를 행동 지시 신의 마지막 장면으로 정지시켜 놓는다(S403). 또한 상기 영상 출력 수단(103)에서는 그래픽 애니메이션의 행동 지시 신(scene)을 이루는 이미지들을 일시 저장하였다가 상기 제어부(106)의 제어 신호에 따라 그 부분만을 재생한다. 행동 지시 신은 일련의 복수 개의 이미지로 구성되며 각 이미지에 일정 코드를 심어 상기 영상출력수단에서는 그 코드를 인식하여 시작 이미지부터 끝 이미지까지 저장하게 된다.
다음으로, 제어부의 제어 신호에 따라 화상카메라에서 촬영한 각 프레임 영상 이미지를 상기 영상 이미지 처리부(201)에서 전송받고, 상기 영상 이미지 처리 부(201)에서는 위에서 설명한 바와 같이 각 영상 이미지를 처리한 후 그 데이터를 차영상 추출부에 전송한다(S404).
다음으로, 상기 차영상 추출부(202)에서 이전 프레임의 이미지와 현재 프레임의 이미지를 비교하여 각 영상 이미지에 대한 차영상 데이터를 추출하여 이를 상기 행동 판단부(203)로 전송한다(S405).
다음으로, 상기 추출된 차영상 데이터를 이용하여 상기 행동 판단부(203)에서 상기 데이터베이스에 저장된 각 기준 행동의 데이터와 비교하여 상기 차영상 데이터가 가장 근접하고 있는 기준 행동을 판단하게 된다(S406). 이때 사용자의 행동이 일정한 목표치를 달성하였는지를 판단할 필요가 있을 수 있다. 예를 들면 상기 목표치를 나타내는 코드에 의해 사용자의 점프가 30센티미터 이상이어야 다음 단계로 넘어갈 수 있는 조건하에서는 점프라는 행동 판단과 동시에 사용자에 대한 자세 추적 처리 결과 30센티미터 이상의 차영상이 발생하였음을 판단하여야 한다. 이 경우에는 이미지 처리부에서 처리한 사각형 격자를 단위로 하여 추출하게 된다. 즉, 사각형 격자 하나당 어느 정도의 거리로 정하고 움직임 방향에 대한 최종 차영상 데이터가 정해진 사각형 격자의 개수 이상의 차가 생겨야 목표치를 달성하였음을 판단하게 된다.
예를 들면, 점프의 경우 점프 당시를 촬영한 영상 프레임의 이미지의 차영상 데이터는 위쪽으로의 움직임 방향성 정보를 갖고 있고, 사용자 점프의 최고점 도달 이후의 촬영 프레임 이미지의 차영상 데이터는 아래쪽으로의 움직임 방향성을 갖게 되므로, 위쪽 방향성을 가진 최초와 최후의 차영상 데이터를 누적하여 위쪽으로의 차가 정해진 사각형 격자 개수 이상의 차가 발생하였음을 구별한 후 목표치를 달성하였는지를 판단하게 된다.
다음으로, 상기 제어부(106)에서는 상기 행동 판단부(203)로부터 사용자의 행동이 행동 지시 코드를 만족한다는 신호를 전송받은 경우에는 영상 출력 수단을 제어하여 정지된 이미지의 다음 그래픽 애니메이션 이미지부터 재생시키게 된다(S407).
만약, 사용자의 행동이 행동 지시 코드를 만족하지 않을 경우에는 상기 제어부(106)는 상기 영상출력수단(103)을 제어하여 저장되어 있는 행동 지시 부분만을 다시 한 번 재생시키고(S408), 위의 S404 단계부터 반복하게 된다.
본 발명의 실시예에 따라 사용자 행동 판단 방법의 처리를 할 때 사용자와 콘텐츠의 성격에 따라 정밀도를 매우 세밀하게 할 수도 있고 대략적으로 할 수도 있다. 이는 영상 처리시 격자를 만드는 사각형의 크기에 의해 정밀도가 변동된다. 사각형의 크기가 작아지면 정밀도가 높아지게 된다. 반면 사각형의 크기가 작아지면 사각형의 숫자가 많아져서 처리속도가 떨어질 수 있으며, 일반적으로 8*8 픽셀 격자를 사용하는 것을 기준으로 한다.
본 발명에 의하면, 사용자의 행동 판단을 프로그램내에 적용하여 기존의 프로그램에서 제공할 수 없던 사용자의 행동에 따른 프로그램 진행을 통해 적극적인 사용자의 참여를 유도할 수 있으며, 참여 효과가 매우 크게 될 수 있다.
또한 로봇을 이용한 교육 프로그램의 실행 및 사용자의 지시 행동의 수행을 통하여 교육 대상자의 높은 교육 효과를 기대할 수 있다.

Claims (15)

  1. 사용자의 자세추적을 이용하여 특정 프로그램을 진행하는 로봇에 있어서,
    사용자의 모습을 촬영하기 위한 화상카메라와;
    특정 프로그램을 디스플레이하기 위한 영상출력수단과;
    사용자의 행동을 판단하기 위한 자세추적수단; 및
    상기 구성요소를 제어하기 위한 제어부를 포함하고,
    상기 영상출력수단에서 특정 프로그램을 디스플레이하고 상기 화상 카메라에서 사용자의 모습을 촬영하는 도중에, 상기 제어부의 제어에 의해 상기 영상출력수단에서 프로그램의 디스플레이 진행을 정지하고 상기 자세추적수단이 동작하여, 상기 화상카메라에 의해 촬영되는 사용자의 영상 이미지를 상기 자세추적수단에서 처리한 후 그 처리된 데이터로 사용자의 행동을 판단하여, 사용자의 행동이 일정 조건을 만족할 경우 상기 영상출력수단에서 정지된 프로그램의 디스플레이를 계속 진행하는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.
  2. 청구항 1에 있어서,
    상기 화상카메라는 초당 30 프레임으로 촬영하는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.
  3. 청구항 1에 있어서,
    상기 자세추적수단은,
    화상카메라로부터의 영상 이미지를 소정 방법으로 처리하는 영상이미지처리부와;
    상기 영상이미지처리부로부터의 데이터로 이전의 영상이미지와 현재의 영상이미지의 차영상 데이터를 추출하는 차영상 추출부와;
    사용자의 행동을 판단하기 위한 자료가 되는 기준 행동 데이터를 저장하고 있는 데이터베이스와;
    상기 차영상 추출부로부터의 차영상 데이터와 상기 데이터베이스의 데이터를 비교하여 사용자의 행동의 종류 또는 행동의 종류 및 목표치 달성 여부를 판단하는 행동판단부를 포함하는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.
  4. 청구항 3에 있어서,
    상기 영상이미지 처리부는
    화상카메라가 촬영한 각 프레임 영상 이미지를 사용자 부분과 배경 부분으로 구분한 후, 영상 이미지를 사각형 모양으로 나눈 후, 사용자 부분을 일정 비율이상 포함하고 있는 사각형을 영역화하여 이에 대한 데이터를 생성하는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.
  5. 청구항 4에 있어서,
    상기 사각형 모양은 8*8 픽셀 단위로 나뉘는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.
  6. 청구항 1에 있어서,
    상기 영상출력수단은 디스플레이 중인 프로그램의 특정 이미지에 실려있는 행동 지시 코드를 인식하여 디스플레이를 정지 화면으로 유지하는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.
  7. 청구항 6에 있어서,
    상기 행동 지시 코드에는 사용자가 수행할 행동 종류 또는 사용자가 수행할 행동 종류 및 행동 목표치에 대한 정보가 실려 있는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.
  8. 청구항 7에 있어서,
    상기 행동 지시 코드 중 행동 목표치에 대한 정보는 8*8 픽셀 단위의 사각형 개수로 표현되는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.
  9. 청구항 7에 있어서,
    상기 자세추적수단은 사용자의 행동이 상기 행동 지시 코드에 실려있는 행동 종류 또는 행동종류 및 목표치를 만족함을 상기 제어부에 통보하고, 상기 제어부에서는 상기 영상출력수단으로 하여금 정지된 프로그램의 디스플레이를 계속 진행하게 하는 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.
  10. 청구항 1에 있어서,
    상기 디스플레이되는 특정 프로그램은 그래픽 애니메이션인 것을 특징으로 하는 자세추적을 이용하여 프로그램을 진행하는 로봇.
  11. 로봇에서 자세 추적을 이용하여 프로그램을 진행하는 방법에 있어서,
    특정 프로그램을 실행하여 디스플레이를 시작하는 1 단계와;
    사용자의 모습을 화상 카메라로 촬영하는 2 단계와;
    행동 지시 코드를 인식하여 특정 프로그램의 디스플레이를 행동 지시 신의 마지막 장면으로 정지하고 행동 지시 신(scene)을 이루는 이미지를 저장하는 3 단계와;
    촬영된 각 프레임 영상 이미지를 소정 방법으로 처리하는 4 단계와;
    이전 프레임 영상 이미지 데이터와 현재 프레임 영상 이미지 데이터를 비교하여 차영상 데이터를 추출하는 5 단계와;
    추출된 차영상 데이터를 이용하여 사용자의 행동이 상기 행동 지시 코드에 부합하는지를 판단하는 6 단계와;
    상기 행동 지시 코드와 사용자의 행동이 부합하는 경우에는 정지된 특정 프 로그램의 디스플레이를 재개하는 7 단계를 포함하고,
    상기 6단계에서의 판단 결과 사용자의 행동이 상기 행동 지시 코드에 부합하지 않을 경우에는 저장되어 있는 행동 지시 신을 다시 한번 재생한 후 상기 4단계부터의 절차를 반복하는 것을 특징으로 하는 로봇에서 자세추적을 이용하여 프로그램을 진행하는 방법.
  12. 청구항 11에 있어서,
    상기 4 단계는 화상카메라가 촬영한 각 프레임 영상 이미지를 사용자 부분과 배경 부분으로 구분한 후, 영상 이미지를 사각형 모양으로 나눈 후, 사용자 부분을 일정 비율이상 포함하고 있는 사각형을 영역화하여 이에 대한 데이터를 생성하는 것을 특징으로 하는 로봇에서 자세추적을 이용하여 프로그램을 진행하는 방법.
  13. 청구항 11에 있어서,
    상기 행동 지시 코드에는 사용자가 수행할 행동 종류 또는 사용자가 수행할 행동 종류 및 행동 목표치에 대한 정보가 실려 있는 것을 특징으로 하는 로봇에서 자세추적을 이용하여 프로그램을 진행하는 방법.
  14. 청구항 12에 있어서,
    상기 행동 지시 코드 중 행동 목표치에 대한 정보는 8*8 픽셀 단위의 사각형 개수로 표현되는 것을 특징으로 하는 로봇에서 자세추적을 이용하여 프로그램을 진 행하는 방법.
  15. 청구항 12에 있어서,
    상기 사각형 모양은 8*8 픽셀 단위로 나뉘는 것을 특징으로 하는 로봇에서 자세추적을 이용하여 프로그램을 진행하는 방법.
KR1020060091385A 2006-09-20 2006-09-20 자세추적을 이용하여 프로그램을 진행하는 로봇 및 그 방법 KR101280225B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060091385A KR101280225B1 (ko) 2006-09-20 2006-09-20 자세추적을 이용하여 프로그램을 진행하는 로봇 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060091385A KR101280225B1 (ko) 2006-09-20 2006-09-20 자세추적을 이용하여 프로그램을 진행하는 로봇 및 그 방법

Publications (2)

Publication Number Publication Date
KR20080026403A true KR20080026403A (ko) 2008-03-25
KR101280225B1 KR101280225B1 (ko) 2013-07-05

Family

ID=39413837

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060091385A KR101280225B1 (ko) 2006-09-20 2006-09-20 자세추적을 이용하여 프로그램을 진행하는 로봇 및 그 방법

Country Status (1)

Country Link
KR (1) KR101280225B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129154B2 (en) 2009-07-03 2015-09-08 Electronics And Telecommunications Research Institute Gesture recognition apparatus, robot system including the same and gesture recognition method using the same
CN109508031A (zh) * 2018-11-29 2019-03-22 广西师范学院 一种海下机器人

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101712191B1 (ko) * 2015-05-04 2017-03-03 경남대학교 산학협력단 환자 낙상예방 모니터링 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010069800A (ko) * 2001-05-11 2001-07-25 노일환 촬상시스템의 영상 재구성장치
US20030189980A1 (en) * 2001-07-02 2003-10-09 Moonlight Cordless Ltd. Method and apparatus for motion estimation between video frames
JP2003085571A (ja) * 2001-09-07 2003-03-20 Tomy Co Ltd 塗り絵玩具
JP2003080484A (ja) * 2001-09-07 2003-03-18 Tomy Co Ltd 動作反応玩具

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129154B2 (en) 2009-07-03 2015-09-08 Electronics And Telecommunications Research Institute Gesture recognition apparatus, robot system including the same and gesture recognition method using the same
CN109508031A (zh) * 2018-11-29 2019-03-22 广西师范学院 一种海下机器人

Also Published As

Publication number Publication date
KR101280225B1 (ko) 2013-07-05

Similar Documents

Publication Publication Date Title
CN102448561B (zh) 姿势教练
CN102473320B (zh) 通过学习到的来自用户的输入使视觉表示生动化的方法
JP3745802B2 (ja) 画像生成／表示装置
EP3275514A1 (en) Virtuality-and-reality-combined interactive method and system for merging real environment
CN102947774A (zh) 用于驱动交互式故事的自然用户输入
US10108855B2 (en) Fitness device-based simulator and simulation method using the same
KR101718837B1 (ko) 응용프로그램의 제어방법, 장치 및 전자장비
JP2006320424A (ja) 動作教示装置とその方法
TW201143866A (en) Tracking groups of users in motion capture system
EP1645315A3 (en) Pose detection method, video game apparatus pose detection program, and computer-readable medium containing program
KR101410410B1 (ko) 체감형 학습 장치 및 방법
JP7278307B2 (ja) コンピュータプログラム、サーバ装置、端末装置及び表示方法
CN102622509A (zh) 基于单目视频的三维游戏交互***
CN109219426B (zh) 康复训练辅助控制装置以及计算机能够读取的记录介质
KR101280225B1 (ko) 자세추적을 이용하여 프로그램을 진행하는 로봇 및 그 방법
CN113556599A (zh) 视频教学方法、装置、电视机及存储介质
CN104933278B (zh) 一种用于言语障碍康复训练的多通道交互方法和***
JP2003085571A (ja) 塗り絵玩具
KR20020011851A (ko) 인공시각과 패턴인식을 이용한 체감형 게임 장치 및 방법.
KR101525011B1 (ko) Nui 기반의 실감형 가상공간 디스플레이 제어장치 및 제어방법
KR101447958B1 (ko) 신체 부분 검출 방법 및 장치
KR101527188B1 (ko) 단일의 모션센서를 이용한 다중 플레이어 게임 제공 방법
KR20120092960A (ko) 가상 캐릭터 제어 시스템 및 방법
KR200239844Y1 (ko) 인공시각과 패턴인식을 이용한 체감형 게임 장치.
KR101297154B1 (ko) 자세추적을 이용하여 동영상물을 디스플레이하는 로봇 및그 방법

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170414

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180328

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190719

Year of fee payment: 7