KR102222956B1 - projector user interface coordinate fixing system and method - Google Patents

projector user interface coordinate fixing system and method Download PDF

Info

Publication number
KR102222956B1
KR102222956B1 KR1020200149718A KR20200149718A KR102222956B1 KR 102222956 B1 KR102222956 B1 KR 102222956B1 KR 1020200149718 A KR1020200149718 A KR 1020200149718A KR 20200149718 A KR20200149718 A KR 20200149718A KR 102222956 B1 KR102222956 B1 KR 102222956B1
Authority
KR
South Korea
Prior art keywords
area
user
unit
image
projector
Prior art date
Application number
KR1020200149718A
Other languages
Korean (ko)
Inventor
정상권
이국환
Original Assignee
주식회사 조이펀
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 조이펀 filed Critical 주식회사 조이펀
Priority to KR1020200149718A priority Critical patent/KR102222956B1/en
Application granted granted Critical
Publication of KR102222956B1 publication Critical patent/KR102222956B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

The present invention relates to a user interface coordinate fixing system of a projector and a method thereof and, more specifically, to a user interface coordinate fixing system of a projector and a method thereof, which perform projection mapping processing so that the position of an image to be provided to the user does not change and is provided in a fixed manner when a projection image of the projector required for realization of motion responsive mixed reality is adjusted with a keystone. According to the present invention, when the projected image of the projector required for realization of motion-responsive mixed reality is adjusted with the keystone, the position of the image to be provided to a user is not changed and provided fixedly, so that the user can always interact in a fixed location area regardless of the size of the keystone area of the projector.

Description

프로젝터의 사용자 인터페이스 좌표 고정 시스템 및 방법{projector user interface coordinate fixing system and method}Projector user interface coordinate fixing system and method

본 발명은 프로젝터의 사용자 인터페이스 좌표 고정 시스템 및 방법에 관한 것으로, 보다 상세하게는 동작 반응형 혼합현실 구현에 필요한 프로젝터의 투영 이미지를 키스톤으로 조정할 때 사용자에게 제공하고자 하는 이미지의 위치가 변동되지 않고 고정으로 제공될 수 있도록 프로젝션 맵핑 처리를 하는 프로젝터의 사용자 인터페이스 좌표 고정 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for fixing the coordinates of a user interface of a projector, and more particularly, when adjusting a projection image of a projector required for realization of motion-responsive mixed reality with a keystone, the position of the image to be provided to the user does not change and is fixed. The present invention relates to a system and method for fixing user interface coordinates of a projector that performs projection mapping processing so that it can be provided.

일반적으로 에어로빅이나 태권도, 검도 등과 같이 동작을 주로 하는 운동의 학습에 있어서 가장 많이 사용되는 방법은 실제 학원에서의 현장 강좌를 통한 방법이다. 실제 현장 강좌는 강사의 실제 동작 모습을 보고 배울 수 있다는 현장감이 있으며 다른 수강생들과 함께 비교하면서 배울 수 있다는 면에서 장점이 있다. 그러나, 현장 강좌는 강사의 동작에 집중하다 보면 사용자 본인의 동작 확인이 어렵고 초급자의 경우 강좌의 진도를 따라가기 어려워 중도 포기하게 되는 경우가 많다. 또한, 일정한 시간에 학원에 가서 강습을 받아야 하는 시간 공간상의 제약이 있으며 집체 교육으로 진행되므로 개별적 반복학습 등의 재현성이 부족하다는 단점이 있었다. 또한 강습료나 학원으로의 이동에 걸리는 부대시간 등에 대한 부담도 컸었다.In general, the most commonly used method for learning movement-oriented movements such as aerobics, taekwondo, and kendo is through field lectures in actual academies. The actual on-site lecture has a sense of realism that you can learn by seeing the actual movement of the instructor, and it has an advantage in that you can learn while comparing it with other students. However, when on-site lectures focus on the instructor's movements, it is difficult to check the user's movements, and beginners often give up in the middle because it is difficult to keep up with the progress of the course. In addition, there is a shortcoming in that there is a time and space constraint in which students have to go to the academy at a certain time and take classes, and because the group education is conducted, the reproducibility of individual repetitive learning is insufficient. In addition, there was a heavy burden on the tuition fee and the incidental time required to travel to the academy.

한편, 현장 강좌의 이러한 단점을 극복하기 위해 TV 강좌 프로그램이나 비디오 강좌 프로그램 등이 제공되고 있다. 그러나, TV 강좌 프로그램은 시간을 맞추어 시청해야 하므로 역시 시간상의 제약을 극복하지 못하였고 일회성 프로그램으로 제작됨에 따라 반복연습이 불가했다. 그리고 비디오 강좌 프로그램은 시간상의 제약은 없고 반복연습도 가능하지만 TV 강좌 프로그램이나 비디오 강좌 프로그램 공히 일방적인 전달 교육 형태이므로 사용자 본인의 동작을 강사의 동작과 비교하여 잘못된 부분에 대한 지적을 함으로써 사용자로 하여금 자신의 동작을 교정할 수 있게 하거나 점수화하여 피드백을 줄 수 없는 문제점이 있었다. 또한, 비디오 영상을 시청하면서 운동 동작을 따라할 수 있으나 엎드리거나 옆으로 누워서 하는 운동 동작의 경우에는 정면에 위치한 비디오 영상을 보면서 동작을 따라하기가 쉽지 않으며, 사용자의 동작을 인식하기 위해 제공되는 고정된 인터렉션 이미지 인터페이스를 제공하지 않음으로써 사용자의 동작 자세 등이 정확한 동작인지를 알 수 없는 문제점이 있었다.Meanwhile, in order to overcome these shortcomings of field lectures, TV lecture programs and video lecture programs are being provided. However, TV lecture programs had to be watched in time, so they could not overcome time constraints, and as they were produced as one-time programs, repeated practice was not possible. In addition, the video lecture program is not limited in time and can be practiced repeatedly, but both TV lecture programs and video lecture programs are in the form of unilateral delivery training, so the user's actions are compared with the instructor's actions and pointed out about the wrong part. There was a problem in not being able to correct one's movements or give feedback by scoring. In addition, it is possible to imitate the movement while watching a video image, but in the case of an exercise movement performed while lying on the prone or lying on the side, it is not easy to follow the movement while watching the video image located in the front. There is a problem in that it is not possible to know whether the user's motion posture or the like is correct motion by not providing an interactive image interface.

KR10-2009087B1KR10-2009087B1

본 발명은 이와 같은 문제점을 해결하기 위해 창안된 것으로서, 동작 반응형 혼합현실 구현에 필요한 프로젝터의 투영 이미지를 키스톤으로 조정할 때 사용자에게 제공하고자 하는 이미지의 위치가 변동되지 않고 고정으로 제공될 수 있도록 한 프로젝터의 사용자 인터페이스 좌표 고정 시스템 및 방법을 제공함을 목적으로 한다.The present invention was invented to solve such a problem, and when adjusting the projection image of the projector required for realizing motion-responsive mixed reality with keystone, the position of the image to be provided to the user does not change and can be provided in a fixed manner. The object of the present invention is to provide a system and method for fixing the coordinates of the user interface of the projector.

또한, 본 발명은 동작 반응형 혼합현실 구현에 있어서 프로젝터로 제공되는 사용자 인터페이스 또는 반응형 사물들이 지정된 위치로 화면에 표현될 수 있도록 한 프로젝터의 사용자 인터페이스 좌표 고정 시스템 및 방법을 제공함을 목적으로 한다.In addition, an object of the present invention is to provide a system and method for fixing user interface coordinates of a projector so that a user interface or responsive objects provided by a projector can be expressed on a screen in a designated position in realizing motion-responsive mixed reality.

상기한 목적을 달성하기 위한 본 발명에 따른 프로젝터의 사용자 인터페이스 좌표 고정 시스템의 일측면에 따르면, 표본 사용자의 골격 정보를 입력받아 3차원 캐릭터 기준 동작 애니메이션을 생성하는 3차원 캐릭터 애니메이션 생성부; 상기 3차원 캐릭터 애니메이션 생성부에서 생성된 3차원 캐릭터 기준 동작 애니메이션을 이용한 적어도 하나 이상의 동작 학습 정보를 제공하는 동작 학습정보 제공부; 상기 골격 정보 인식 센서에서 측정된 프로젝션 이미지 영역에서의 사용자 위치 좌표에 기초하여 프로젝터 키스톤 비율을 계산하고 계산된 비율값으로 프로젝터 키스톤에 고정된 크기와 위치 값에 해당하는 인터렉션 이미지를 출력하도록 프로젝션 맵핑 제어를 수행하는 프로젝션 맵핑 처리부; 상기 동작 학습정보 제공부에서 제공되는 동작 학습 정보를 통한 3차원 캐릭터 기준 동작을 따라하는 사용자의 동작을 인식하여 상기 프로젝션 맵핑 처리부의 제어에 따라 검증하는 입력 처리부; 및 상기 입력 처리부에서 인식되어 검증된 사용자의 동작을 기반으로 그래픽 또는 사운드로 피드백 알림을 제공하는 출력 처리부를 포함할 수 있다.According to an aspect of the system for fixing the coordinates of the user interface of the projector according to the present invention for achieving the above object, there is provided a 3D character animation generator configured to receive skeleton information of a sample user and generate a 3D character reference motion animation; A motion learning information providing unit that provides at least one motion learning information using a three-dimensional character reference motion animation generated by the three-dimensional character animation generating unit; Projection mapping control to calculate the projector keystone ratio based on the coordinates of the user's position in the projection image area measured by the skeleton information recognition sensor, and output an interaction image corresponding to the size and position value fixed to the projector keystone using the calculated ratio value. A projection mapping processing unit that performs; An input processor for recognizing a user's motion following a 3D character reference motion through motion learning information provided from the motion learning information providing unit and verifying the motion according to the control of the projection mapping processor; And an output processing unit that provides a feedback notification in a graphic or sound based on a user's motion recognized and verified by the input processing unit.

또한, 상기 프로젝션 맵핑 처리부는 프로젝터 키스톤 조작에 의해 변동되는 프로젝션 이미지 영역을 인식하는 프로젝션 이미지 영역 인식부; 상기 프로젝션 이미지 영역 인식부에서 인식된 프로젝션 이미지 영역에서 사용자의 위치좌표 값을 저장하는 사용자 위치좌표 저장부; 상기 프로젝션 이미지 영역 인식부에서 인식된 프로젝션 이미지 영역과 상기 사용자 위치좌표 저장부에 저장된 사용자의 위치좌표 값을 일대일로 대응시켜 일치시키는 사용자 위치좌표 맵핑부; 상기 사용자 위치좌표 맵핑부에 의해 맵핑된 정보에 기초하여 상기 골격 정보 인식 센서에서 측정된 프로젝션 이미지 영역에서의 사용자 위치 좌표를 인식하는 사용자 위치좌표 인식부; 상기 사용자 위치좌표 인식부에서 인식된 사용자의 위치좌표 값을 이용하여 현재 프로젝터의 키스톤 비율을 계산하는 프로젝터 키스톤 비율 계산부; 및 상기 프로젝터 키스톤 비율 계산부에서 계산된 비율값으로 현재 프로젝터 키스톤에 고정된 크기와 위치 값에 해당하는 인터렉션 이미지를 출력하는 고정 사용자 인터페이스 출력부를 포함할 수 있다.In addition, the projection mapping processing unit may include a projection image area recognition unit that recognizes a projected image area that is changed by a projector keystone operation; A user location coordinate storage unit that stores a user's location coordinate value in the projected image area recognized by the projection image area recognition unit; A user location coordinate mapping unit for matching the projected image area recognized by the projection image area recognition unit with the user’s location coordinate value stored in the user location coordinate storage unit on a one-to-one basis; A user location coordinate recognition unit for recognizing user location coordinates in a projection image area measured by the skeleton information recognition sensor based on information mapped by the user location coordinate mapping unit; A projector keystone ratio calculation unit that calculates a keystone ratio of the current projector using the user's position coordinate value recognized by the user position coordinate recognition unit; And a fixed user interface output unit that outputs an interaction image corresponding to a size and a position value fixed to a current projector keystone as a ratio value calculated by the projector keystone ratio calculation unit.

또한, 상기 고정 사용자 인터페이스 출력부는 프로젝션 이미지 전체 영역을 최상단에 위치하여 프로젝션 이미지 전체 영역의 너비와 동일한 너비와 소정의 높이를 갖는 제1영역과 상기 제1영역의 하부에 위치하여 상기 제1영역의 너비보다 작은 너비와 서로 다른 비율의 높이를 갖는 제2영역과 상기 제2영역의 하부에 위치하여 상기 제2영역의 너비와 동일한 너비를 가지면서 서로 다른 비율의 높이를 갖는 제3영역 및 상기 제2영역 및 제3영역의 양측에 동일한 크기의 영역으로 위치하여 상기 프로젝션 이미지 전체 영역의 높이에서 상기 제1영역의 높이를 뺀 높이와 상기 프로젝션 이미지 전체 영역의 너비에서 상기 제2영역이나 제3영역의 너비를 뺀 너비를 갖는 제4영역으로 분할하는 프로젝션 이미지 영역 분할부; 프로젝션 이미지 전체 영역 확대 시 인터렉션 이미지가 위치한 상기 제3영역의 좌표를 고정시키는 인터렉션 이미지 좌표 고정부; 프로젝션 이미지 전체 영역 확대 시 상기 제2영역의 하단부가 상기 제3영역의 상단부와 겹치지 않도록 상기 제2영역을 상기 제3영역의 위로 이동시키는 프로젝션 이미지 영역 이동부; 및 프로젝션 이미지 전체 영역 확대하기 전에 측정한 상기 제1영역의 높이와 상기 제2영역의 높이의 비율을 유지시키는 프로젝션 이미지 비율 유지부를 포함할 수 있다.In addition, the fixed user interface output unit includes a first area having a width and a predetermined height equal to the width of the entire area of the projected image by placing the entire area of the projected image at the top, and the first area being located below the first area. A second region having a width smaller than the width and a height of a different ratio, a third region having a width equal to the width of the second region and having a height of a different ratio, and the third region located below the second region. The second area or the third area is located as an area of the same size on both sides of the second area and the third area so that the height of the entire area of the projection image minus the height of the first area and the width of the entire area of the projection image A projection image area dividing unit that divides into a fourth area having a width subtracting the width of; An interaction image coordinate fixing unit fixing coordinates of the third area where the interaction image is located when the entire area of the projected image is enlarged; A projection image area moving unit for moving the second area above the third area so that the lower end of the second area does not overlap the upper end of the third area when the entire area of the projection image is enlarged; And a projection image ratio maintaining unit that maintains a ratio of the height of the first area and the height of the second area measured before the entire area of the projection image is enlarged.

한편, 상기한 목적을 달성하기 위한 본 발명에 따른 프로젝터의 사용자 인터페이스 좌표 고정 방법의 일측면에 따르면, 3차원 캐릭터 애니메이션 생성부가 표본 사용자의 골격 정보를 입력받아 3차원 캐릭터 기준 동작 애니메이션을 생성하는 단계; 동작 학습정보 제공부가 상기 3차원 캐릭터 애니메이션 생성부에서 생성된 3차원 캐릭터 기준 동작애니메이션을 이용한 적어도 하나 이상의 동작 학습 정보를 제공하는 단계; 프로젝션 맵핑 처리부가 상기 골격 정보 인식 센서에서 측정된 프로젝션 이미지 영역에서의 사용자 위치 좌표에 기초하여 프로젝터 키스톤 비율을 계산하고 계산된 비율값으로 프로젝터 키스톤에 고정된 크기와 위치 값에 해당하는 인터렉션 이미지를 출력하도록 프로젝션 맵핑 제어를 수행하는 단계; 입력 처리부가 상기 동작 학습정보 제공부에서 제공되는 동작 학습 정보를 통한 3차원 캐릭터 기준 동작을 따라하는 사용자의 동작을 인식하여 상기 프로젝션 맵핑 처리부의 제어에 따라 검증하는 단계; 및 출력 처리부가 상기 입력 처리부에서 인식되어 검증된 사용자의 동작을 기반으로 그래픽 또는 사운드로 피드백 알림을 제공하는 단계를 포함할 수 있다.On the other hand, according to one aspect of the method for fixing the coordinates of the user interface of the projector according to the present invention for achieving the above object, the step of generating a 3D character reference motion animation by receiving the skeleton information of the sample user by the 3D character animation generation unit. ; Providing, by a motion learning information providing unit, at least one motion learning information using a three-dimensional character reference motion animation generated by the three-dimensional character animation generating unit; The projection mapping processing unit calculates the projector keystone ratio based on the coordinates of the user's position in the projection image area measured by the skeleton information recognition sensor, and outputs an interaction image corresponding to the size and position value fixed to the projector keystone using the calculated ratio value. Performing projection mapping control to be performed; Recognizing a user's motion following a 3D character reference motion through motion learning information provided from the motion learning information providing unit, by an input processing unit, and verifying it under control of the projection mapping processing unit; And providing, by the output processing unit, a feedback notification in a graphic or sound based on a user's motion recognized and verified by the input processing unit.

또한, 상기 프로젝션 맵핑 제어를 수행하는 단계는 프로젝션 이미지 영역 인식부가 프로젝터 키스톤 조작에 의해 변동되는 프로젝션 이미지 영역을 인식하는 단계; 사용자 위치좌표 저장부가 상기 프로젝션 이미지 영역 인식부에서 인식된 프로젝션 이미지 영역에서 사용자의 위치좌표 값을 저장하는 단계; 사용자 위치좌표 맵핑부가 상기 프로젝션 이미지 영역 인식부에서 인식된 프로젝션 이미지 영역과 상기 사용자 위치좌표 저장부에 저장된 사용자의 위치좌표 값을 일대일로 대응시켜 일치시키는 단계; 사용자 위치좌표 인식부가 상기 사용자 위치좌표 맵핑부에 의해 맵핑된 정보에 기초하여 상기 골격 정보 인식 센서에서 측정된 프로젝션 이미지 영역에서의 사용자 위치 좌표를 인식하는 단계; 프로젝터 키스톤 비율 계산부가 상기 사용자 위치좌표 인식부에서 인식된 사용자의 위치좌표 값을 이용하여 현재 프로젝터의 키스톤 비율을 계산하는 단계; 및 고정 사용자 인터페이스 출력부가 상기 프로젝터 키스톤 비율 계산부에서 계산된 비율값으로 현재 프로젝터 키스톤에 고정된 크기와 위치 값에 해당하는 인터렉션 이미지를 출력하는 단계를 포함할 수 있다.In addition, the performing of the projection mapping control may include: recognizing, by a projection image area recognition unit, a projection image area that is changed by a projector keystone operation; Storing, by a user position coordinate storage unit, a user's position coordinate value in the projected image area recognized by the projection image area recognition unit; Matching, by a user location coordinate mapping unit, one-to-one correspondence between the projected image area recognized by the projection image area recognition unit and the user's location coordinate value stored in the user location coordinate storage unit; Recognizing, by a user location coordinate recognition unit, a user location coordinate in a projection image area measured by the skeleton information recognition sensor based on information mapped by the user location coordinate mapping unit; Calculating, by a projector keystone ratio calculation unit, a keystone ratio of the current projector by using the position coordinate value of the user recognized by the user position coordinate recognition unit; And outputting, by a fixed user interface output unit, an interaction image corresponding to a size and position value fixed to a current projector keystone using a ratio value calculated by the projector keystone ratio calculation unit.

또한, 상기 인터렉션 이미지를 출력하는 단계는 프로젝션 이미지 영역 분할부가 프로젝션 이미지 전체 영역을 최상단에 위치하여 프로젝션 이미지 전체 영역의 너비와 동일한 너비와 소정의 높이를 갖는 제1영역과 상기 제1영역의 하부에 위치하여 상기 제1영역의 너비보다 작은 너비와 서로 다른 비율의 높이를 갖는 제2영역과 상기 제2영역의 하부에 위치하여 상기 제2영역의 너비와 동일한 너비를 가지면서 서로 다른 비율의 높이를 갖는 제3영역 및 상기 제2영역 및 제3영역의 양측에 동일한 크기의 영역으로 위치하여 상기 프로젝션 이미지 전체 영역의 높이에서 상기 제1영역의 높이를 뺀 높이와 상기 프로젝션 이미지 전체 영역의 너비에서 상기 제2영역이나 제3영역의 너비를 뺀 너비를 갖는 제4영역으로 분할하는 단계; 인터렉션 이미지 좌표 고정부가 프로젝션 이미지 전체 영역 확대 시 인터렉션 이미지가 위치한 상기 제3영역의 좌표를 고정시키는 단계; 프로젝션 이미지 영역 이동부가 프로젝션 이미지 전체 영역 확대 시 상기 제2영역의 하단부가 상기 제3영역의 상단부와 겹치지 않도록 상기 제2영역을 상기 제3영역의 위로 이동시키는 단계; 및 프로젝션 이미지 비율 유지부가 프로젝션 이미지 전체 영역 확대하기 전에 측정한 상기 제1영역의 높이와 상기 제2영역의 높이의 비율을 유지시키는 단계를 포함할 수 있다.In addition, in the outputting of the interaction image, the projection image region dividing unit locates the entire projection image at the top, so that the first region having the same width and a predetermined height as the width of the entire projected image region, and the lower portion of the first region. A second region having a width smaller than the width of the first region and a height of a different ratio, and a second region positioned below the second region having a width equal to the width of the second region and having a height of a different ratio. The third area having the same size on both sides of the third area and the second area and the third area, and the height obtained by subtracting the height of the first area from the height of the entire area of the projection image and the width of the entire area of the projection image Dividing into a fourth area having a width minus the width of the second area or the third area; Fixing, by an interaction image coordinate fixing unit, the coordinates of the third area where the interaction image is located when the entire area of the projection image is enlarged; Moving the second area above the third area so that the lower end of the second area does not overlap the upper end of the third area when the projection image area moving unit enlarges the entire area of the projection image; And maintaining a ratio of the height of the first area and the height of the second area measured before the projection image ratio maintaining unit enlarges the entire area of the projection image.

본 발명에 의하면, 동작 반응형 혼합현실 구현에 필요한 프로젝터의 투영 이미지를 키스톤으로 조정할 때 사용자에게 제공하고자 하는 이미지의 위치가 변동되지 않고 고정으로 제공됨으로써 프로젝터의 키스톤 영역의 크기에 관계없이 사용자가 항상 고정된 위치의 영역에서 인터랙션을 할 수 있는 효과가 있다.According to the present invention, when a projected image of a projector required for realizing motion-responsive mixed reality is adjusted with keystone, the position of the image to be provided to the user is not changed and is provided in a fixed manner, so that regardless of the size of the keystone area of the projector, the user is always There is an effect of being able to interact in a fixed location area.

또한, 좌표의 유지가 필요한 부분은 항상 동일한 좌표를 제공할 수 있으며 그 밖의 사용자 인터페이스 영역은 키스톤에 따라 유연하게 변화가 될 수 있도록 함으로써 사용자에게 자연스러운 인터페이스를 제공할 수 있는 효과가 있다.In addition, the same coordinates can always be provided to the part where the coordinates need to be maintained, and other user interface areas can be flexibly changed according to the keystone, thereby providing a natural interface to the user.

도 1은 본 발명의 일실시예에 따른 프로젝터의 사용자 인터페이스 좌표 고정 시스템의 구성을 나타내는 도면이다.
도 2는 도 1에서 프로젝션 맵핑 처리부의 구성을 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 프로젝션 맵핑에 사용되는 실제 크기의 이미지를 나타내는 도면이다.
도 4는 프로젝터의 키스톤 조절에 의해 확대된 크기의 이미지를 나타내는 도면이다.
도 5는 프로젝터의 키스톤 조절시 절대값을 유지하는 인터페이스 이미지를 나타내는 도면이다.
도 6은 도 2에서 고정 사용자 인터페이스 출력부의 구성을 나타내는 도면이다.
도 7은 기본 설정을 위한 영역 배분의 일예를 나타내는 도면이다.
도 8은 프로젝터의 키스톤 영역을 최대로 적용하였을 때 화면의 일예를 나타내는 도면이다.
도 9는 도 1에서 입력 처리부의 구성을 나타내는 도면이다.
도 10은 도 1에서 출력 처리부의 구성을 나타내는 도면이다.
도 11은 본 발명의 일실시예에 따른 프로젝터의 사용자 인터페이스 좌표 고정 방법을 나타내는 도면이다.
도 12는 도 11에서 프로젝션 맵핑 처리 방법을 나타내는 도면이다.
도 13은 도 12에서 고정 사용자 인터페이스 출력 방법을 나타내는 도면이다.
도 14는 본 발명의 일실시예에 따른 프로젝터 키스톤에 고정된 사용자 인터페이스를 출력하는 과정을 나타내는 도면이다.
도 15는 좌표값 초기화를 위하여 각 지점에 위치 좌표를 맵핑하는 경우의 일예를 나타내는 도면이다.1 is a diagram showing the configuration of a system for fixing coordinates of a user interface of a projector according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a configuration of a projection mapping processing unit in FIG. 1.
3 is a diagram illustrating an image of an actual size used for projection mapping according to an embodiment of the present invention.
4 is a diagram showing an image of an enlarged size by adjusting the keystone of the projector.
5 is a diagram illustrating an interface image maintaining an absolute value when adjusting a keystone of a projector.
6 is a diagram illustrating a configuration of a fixed user interface output unit in FIG. 2.
7 is a diagram illustrating an example of area allocation for basic setting.
8 is a diagram illustrating an example of a screen when the keystone area of the projector is applied to the maximum.
9 is a diagram illustrating a configuration of an input processing unit in FIG. 1.
10 is a diagram illustrating a configuration of an output processing unit in FIG. 1.
11 is a diagram illustrating a method of fixing user interface coordinates of a projector according to an embodiment of the present invention.
12 is a diagram illustrating a projection mapping processing method in FIG. 11.
13 is a diagram illustrating a method of outputting a fixed user interface in FIG. 12.
14 is a diagram illustrating a process of outputting a user interface fixed to a projector keystone according to an embodiment of the present invention.
15 is a diagram illustrating an example of mapping location coordinates to each point in order to initialize coordinate values.

이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Prior to this, terms or words used in the specification and claims should not be construed as being limited to their usual or dictionary meanings, and the inventors appropriately explain the concept of terms in order to explain their own invention in the best way. Based on the principle that it can be defined, it should be interpreted as a meaning and concept consistent with the technical idea of the present invention. Accordingly, the embodiments described in the present specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all the technical spirit of the present invention. It should be understood that there may be equivalents and variations.

도 1은 본 발명의 일실시예에 따른 프로젝터의 사용자 인터페이스 좌표 고정 시스템의 구성을 나타내는 도면이고, 도 2는 도 1에서 프로젝션 맵핑 처리부의 구성을 나타내는 도면이며, 도 3은 본 발명의 일실시예에 따른 프로젝션 맵핑에 사용되는 실제 크기의 이미지를 나타내는 도면이며, 도 4는 프로젝터의 키스톤 조절에 의해 확대된 크기의 이미지를 나타내는 도면이고, 도 5는 프로젝터의 키스톤 조절시 절대값을 유지하는 인터페이스 이미지를 나타내는 도면이며, 도 6은 도 2에서 고정 사용자 인터페이스 출력부의 구성을 나타내는 도면이고, 도 7은 기본 설정을 위한 영역 배분의 일예를 나타내는 도면이고, 도 8은 프로젝터의 키스톤 영역을 최대로 적용하였을 때 화면의 일예를 나타내는 도면이며, 도 9는 도 1에서 입력 처리부의 구성을 나타내는 도면이며, 도 10은 도 1에서 출력 처리부의 구성을 나타내는 도면이다.1 is a diagram showing the configuration of a system for fixing user interface coordinates of a projector according to an embodiment of the present invention, FIG. 2 is a view showing the configuration of a projection mapping processing unit in FIG. 1, and FIG. 3 is an embodiment of the present invention. Figure 4 is a diagram showing an image of an enlarged size by adjusting the keystone of the projector, and Figure 5 is an interface image that maintains an absolute value when adjusting the keystone of the projector. 6 is a diagram showing the configuration of a fixed user interface output unit in FIG. 2, FIG. 7 is a diagram showing an example of area allocation for basic setting, and FIG. 8 is a diagram showing the maximum application of the keystone area of the projector. It is a diagram showing an example of a screen, FIG. 9 is a diagram showing a configuration of an input processing unit in FIG. 1, and FIG. 10 is a diagram illustrating a configuration of an output processing unit in FIG. 1.

도시된 바와 같이, 본 발명의 사용자 정보 기반의 프로젝션 맵핑 사용자 인터페이스 자동 조절 시스템은 사용자가 춤, 율동, 요가 등을 포함한 다양한 동작을 따라하거나 또는 따라하는 것을 목적으로 하는 학습을 할 때 사용되는 콘텐츠를 제작하기 위한 시스템에 적용할 수 있다. 본 발명의 시스템은 도 1에서와 같이 3차원 캐릭터 애니메이션 생성부(200)와, 동작 학습정보 제공부(300)와, 프로젝션 맵핑 처리부(400)와, 입력 처리부(500) 및 출력 처리부(600)를 포함할 수 있다.As shown, the projection mapping user interface automatic adjustment system based on user information of the present invention provides content used when a user learns to imitate or imitate various movements including dance, rhythm, yoga, etc. It can be applied to a system for manufacturing. As shown in FIG. 1, the system of the present invention includes a 3D character animation generation unit 200, a motion learning information providing unit 300, a projection mapping processing unit 400, an input processing unit 500, and an output processing unit 600. It may include.

3차원 캐릭터 애니메이션 생성부(200)는 표본 사용자의 골격 정보를 입력받아 3차원 캐릭터 기준 동작 애니메이션을 생성할 수 있다.The 3D character animation generator 200 may receive skeleton information of a sample user and generate a 3D character reference motion animation.

동작 학습정보 제공부(300)는 3차원 캐릭터 애니메이션 생성부(200)에서 생성된 3차원 캐릭터 기준 동작애니메이션을 이용한 적어도 하나 이상의 동작 학습 정보를 제공할 수 있다. 예를 들어, 국제 인증을 받은 트레이너가 참여한 다양한 동작 학습 정보로서 근력 강화, 체형 교정, 스트레칭 등 여러 목적에 맞는 프로그램을 제공할 수 있으며, 기초 체력 테스트를 통한 자가 진단 기능 및 맞춤형 운동 추천 기능 제공이 가능하고, 한국어, 영어, 일본어, 중국어, 독일어, 아랍어 등 다국어로 지원할 수 있다.The motion learning information providing unit 300 may provide at least one motion learning information using a 3D character reference motion animation generated by the 3D character animation generator 200. For example, it is possible to provide programs suitable for various purposes, such as strengthening muscle strength, body shape correction, and stretching, as various movement learning information participated by internationally certified trainers, and providing a self-diagnosis function and a customized exercise recommendation function through a basic physical fitness test. It is possible and can apply in multiple languages such as Korean, English, Japanese, Chinese, German, and Arabic.

프로젝션 맵핑 처리부(400)는 깊이 카메라 센서(100)에서 측정된 프로젝션 이미지 영역에서의 사용자 위치 좌표에 기초하여 프로젝터 키스톤 비율을 계산하고 계산된 비율값으로 프로젝터 키스톤에 고정된 위치 값에 해당하는 인터렉션 이미지를 출력하도록 프로젝션 맵핑 제어를 수행할 수 있다. 여기서, 프로젝션 맵핑은 특정 공간에 프로젝터를 이용한 이미지 투영을 통하여 실제로 존재하는 것 같은 가상의 영상을 표현하는 것을 의미한다. 본 발명에서는 프로젝션 맵핑을 통하여 표현되는 가상의 영상을 사용자와 인터랙션하기 위한 인터페이스로 활용할 수 있다. 이 인터페이스는 메시지를 전달할 수 있고 인터랙션을 위한 인터페이스로도 활용할 수 있다.The projection mapping processing unit 400 calculates the projector keystone ratio based on the coordinates of the user's position in the projection image area measured by the depth camera sensor 100, and uses the calculated ratio value as an interaction image corresponding to the position value fixed to the projector keystone. Projection mapping control can be performed to output. Here, projection mapping means expressing a virtual image as if it actually exists through image projection using a projector in a specific space. In the present invention, a virtual image expressed through projection mapping can be used as an interface for interacting with a user. This interface can deliver messages and can also be used as an interface for interaction.

프로젝션 맵핑 처리부(400)는 도 2에서와 같이 프로젝션 이미지 영역 인식부(410)와, 사용자 위치좌표 저장부(420)와, 사용자 위치좌표 맵핑부(430)와, 사용자 위치좌표 인식부(440)와, 프로젝터 키스톤 비율 계산부(450) 및 고정 사용자 인터페이스 출력부(460)를 포함할 수 있다.As shown in FIG. 2, the projection mapping processing unit 400 includes a projection image area recognition unit 410, a user location coordinate storage unit 420, a user location coordinate mapping unit 430, and a user location coordinate recognition unit 440. And, it may include a projector keystone ratio calculation unit 450 and a fixed user interface output unit 460.

프로젝션 이미지 영역 인식부(410)는 프로젝터 키스톤 조작에 의해 변동되는 프로젝션 이미지 영역을 인식할 수 있다.The projection image area recognition unit 410 may recognize a projection image area that is changed by a projector keystone manipulation.

사용자 위치좌표 저장부(420)는 프로젝션 이미지 영역 인식부(410)에서 인식된 프로젝션 이미지 영역에서 사용자의 위치좌표 값을 저장할 수 있다.The user location coordinate storage unit 420 may store a user's location coordinate value in the projection image area recognized by the projection image area recognition unit 410.

사용자 위치좌표 맵핑부(430)는 프로젝션 이미지 영역 인식부(410)에서 인식된 프로젝션 이미지 영역과 사용자 위치좌표 저장부(420)에 저장된 사용자의 위치좌표 값을 일대일로 대응시켜 일치시킬 수 있다.The user location coordinate mapping unit 430 may match the projected image area recognized by the projection image area recognition unit 410 with the user's location coordinate value stored in the user location coordinate storage unit 420 on a one-to-one basis.

사용자 위치좌표 인식부(440)는 사용자 위치좌표 맵핑부(430)에 의해 맵핑된 정보에 기초하여 깊이 카메라 센서(100)에서 측정된 프로젝션 이미지 영역에서의 사용자 위치 좌표를 인식할 수 있다.The user location coordinate recognition unit 440 may recognize the user location coordinate in the projection image area measured by the depth camera sensor 100 based on information mapped by the user location coordinate mapping unit 430.

프로젝터 키스톤 비율 계산부(450)는 사용자 위치좌표 인식부(440)에서 인식된 사용자의 위치좌표 값을 이용하여 현재 프로젝터의 키스톤 비율을 계산할 수 있다.The projector keystone ratio calculation unit 450 may calculate a keystone ratio of the current projector by using the user's position coordinate value recognized by the user position coordinate recognition unit 440.

고정 사용자 인터페이스 출력부(460)는 프로젝터 키스톤 비율 계산부(450)에서 계산된 비율값으로 현재 프로젝터 키스톤에 고정된 위치 값에 해당하는 인터렉션 이미지를 출력할 수 있다. 예를 들어, 도 3은 프로젝션 맵핑에 사용되는 실제 크기의 이미지를 나타낼 수 있다. 프로젝터는 키스톤 조정을 통해 필요한 이미지를 실제의 크기보다 줄이거나 크게 만들 수 있다. 이러한 경우 도 4에서와 같이 이미지의 영역이 확대될 수 있다. 이 경우, 사용자와 인터랙션을 하기 위하여 설정된 좌표값은 모두 바뀌게 된다. 즉, '시작'을 위해 기존의 '시작' 위치 값을 눌러도 도 3에서의 '시작' 위치 좌표값과 도 4에서의 '시작' 위치 좌표값은 다르기 때문에 아무런 반응이 일어나지 않을 수 있다. 본 발명에서는 이러한 상황을 방지하기 위하여 프로젝터의 키스톤을 조정하더라도 각각의 인터랙션 이미지에 대한 좌표값들이 고정될 수 있도록 절대값을 부여할 수 있다. 즉, 도 5에 예시된 바와 같이 프로젝터의 키스톤 조절시에도 절대값을 유지하는 인터페이스 이미지를 제공할 수 있다. 즉, 도 5에서와 같이 키스톤을 변경하여도 그 좌표값을 유지할 수 있도록 인터랙션 이미지의 위치를 고정시킴으로써 사용자의 신장이나 다양한 신체 크기에 따라 인터랙션 인터페이스를 일정하게 제공할 수 있게 된다.The fixed user interface output unit 460 may output an interaction image corresponding to a position value fixed to a current projector keystone as a ratio value calculated by the projector keystone ratio calculation unit 450. For example, FIG. 3 may represent an image of an actual size used for projection mapping. The projector can make the required image smaller or larger than the actual size by adjusting the keystone. In this case, as shown in FIG. 4, the area of the image may be enlarged. In this case, all coordinate values set for interaction with the user are changed. That is, even if the existing'start' position value is pressed for'start', since the'start' position coordinate value in FIG. 3 and the'start' position coordinate value in FIG. 4 are different from each other, no reaction may occur. In the present invention, even if the keystone of the projector is adjusted to prevent such a situation, an absolute value may be given so that coordinate values for each interaction image can be fixed. That is, as illustrated in FIG. 5, an interface image that maintains the absolute value even when adjusting the keystone of the projector can be provided. That is, as shown in FIG. 5, by fixing the position of the interaction image so that the coordinate value can be maintained even when the keystone is changed, the interaction interface can be provided consistently according to the height of the user or various body sizes.

고정 사용자 인터페이스 출력부(460)는 도 6에서와 같이 프로젝션 이미지 영역 분할부(461)와, 인터렉션 이미지 좌표 고정부(462)와, 프로젝션 이미지 영역 이동부(463) 및 프로젝션 이미지 비율 유지부(464)를 포함할 수 있다.As shown in FIG. 6, the fixed user interface output unit 460 includes a projection image area division unit 461, an interaction image coordinate fixing unit 462, a projection image area moving unit 463, and a projection image ratio maintaining unit 464. ) Can be included.

프로젝션 이미지 영역 분할부(461)는 도 7에 예시된 바와 같이 프로젝션 이미지 전체 영역을 최상단에 위치하여 프로젝션 이미지 전체 영역의 너비와 동일한 너비와 소정의 높이를 갖는 제1영역과, 상기 제1영역의 하부에 위치하여 상기 제1영역의 너비보다 작은 너비와 서로 다른 비율의 높이를 갖는 제2영역과, 상기 제2영역의 하부에 위치하여 상기 제2영역의 너비와 동일한 너비를 가지면서 서로 다른 비율의 높이를 갖는 제3영역 및 상기 제2영역 및 제3영역의 양측에 동일한 크기의 영역으로 위치하여 상기 프로젝션 이미지 전체 영역의 높이에서 상기 제1영역의 높이를 뺀 높이와 상기 프로젝션 이미지 전체 영역의 너비에서 상기 제2영역이나 제3영역의 너비를 뺀 너비를 갖는 제4영역으로 분할할 수 있다. 여기서, 제2영역과 제3영역의 너비는 동일하고, 제1영역의 높이와 제2영역의 높이 비율 측정이 가능하다. 또한, 프로젝터의 최소 키스톤 영역에서 해상도 영역 비율 측정이 가능하고, 측정된 값을 기준으로 프로젝터의 다른 키스톤 영역에서의 해상도 영역 비율을 측정 및 비교하여 도 7과 같이 설정할 수 있다.As illustrated in FIG. 7, the projection image area dividing unit 461 includes a first area having a width and a predetermined height equal to the width of the entire area of the projection image by placing the entire area of the projected image at the top. A second region located at the bottom and having a width smaller than the width of the first region and a height of a different ratio, and a second region located below the second region and having a width equal to the width of the second region and having a different ratio The height of the third area having a height of and the same size area on both sides of the second area and the third area, subtracting the height of the first area from the height of the entire area of the projection image, and the total area of the projection image It may be divided into a fourth region having a width obtained by subtracting the width of the second region or the third region from the width. Here, the widths of the second area and the third area are the same, and a ratio of the height of the first area to the height of the second area can be measured. In addition, the resolution area ratio can be measured in the minimum keystone area of the projector, and the resolution area ratio in other keystone areas of the projector can be measured and compared based on the measured value and set as shown in FIG. 7.

인터렉션 이미지 좌표 고정부(462)는 프로젝션 이미지 전체 영역 확대 시 도 8에 예시된 바와 같이 인터렉션 이미지가 위치한 제3영역의 좌표를 고정시킬 수 있다. 즉, 프로젝터의 키스톤을 조절하여 전체 이미지 영역을 확대할 때 제3영역의 좌표들이 변하게 되지만, 기본 설정을 하게 되면 도 8에서와 같이 제3영역은 절대 위치가 적용되므로 모든 이미지의 영상이 확대될 때 제3영역은 제자리를 지키게 되므로 상대 위치는 상단에 자리하게 될 수 있다.The interaction image coordinate fixing unit 462 may fix the coordinates of the third area where the interaction image is located as illustrated in FIG. 8 when the entire area of the projection image is enlarged. That is, when the entire image area is enlarged by adjusting the keystone of the projector, the coordinates of the third area change, but when the default setting is made, the absolute position of the third area is applied as shown in FIG. When the third area is kept in place, the relative position may be located at the top.

프로젝션 이미지 영역 이동부(463)는 프로젝션 이미지 전체 영역 확대 시 제2영역의 하단부가 제3영역의 상단부와 겹치지 않도록 도 8에 예시된 바와 같이 제2영역을 제3영역의 위로 이동시킬 수 있다. 즉, 제3영역이 고정된 좌표값에 위치하게 되므로 제2영역의 하단부는 제3영역의 상단부와 겹치게 되지만 강제적으로 제2영역을 제3영역과 겹치지 않도록 위로 올릴 수 있다.The projection image area moving unit 463 may move the second area above the third area as illustrated in FIG. 8 so that the lower end of the second area does not overlap the upper end of the third area when the entire area of the projection image is enlarged. That is, since the third region is located at a fixed coordinate value, the lower end of the second region overlaps the upper end of the third region, but the second region can be forcibly raised so as not to overlap the third region.

프로젝션 이미지 비율 유지부(464)는 도 8에 예시된 바와 같이 프로젝션 이미지 전체 영역 확대하기 전에 측정한 제1영역의 높이와 제2영역의 높이의 비율을 유지시킬 수 있다.As illustrated in FIG. 8, the projection image ratio maintaining unit 464 may maintain a ratio of the height of the first area and the height of the second area measured before the entire area of the projection image is enlarged.

이와 같이, 본 발명에서는 프로젝터의 키스톤을 조절하여 이미지를 확대할 때 제3영역의 좌표가 고정값을 유지할 수 있다. 따라서, 제3영역의 크기는 이전과 동일하여 상대적으로 다른 영역에 비해서 줄어든 것과 같은 모습으로 보여질 수 있으며, 제2영역 역시 제3영역의 너비만큼 줄어들 수 있다. 또한, 제2영역과 제3영역의 너비가 줄어든 만큼 제4영역이 늘어나며 제1영역의 높이가 줄어들면서 제4영역의 높이는 늘어날 수 있다.As described above, in the present invention, when the image is enlarged by adjusting the keystone of the projector, the coordinates of the third area may maintain a fixed value. Accordingly, the size of the third area may be the same as before and may be viewed as a relatively smaller size compared to other areas, and the second area may also be reduced by the width of the third area. In addition, as the widths of the second and third regions decrease, the fourth region increases and the height of the first region decreases, so that the height of the fourth region may increase.

입력 처리부(500)는 동작 학습정보 제공부(300)에서 제공되는 동작 학습 정보를 통한 3차원 캐릭터 기준 동작을 따라하는 사용자의 동작을 인식하여 프로젝션 맵핑 처리부(400)의 제어에 따라 사용자의 동작을 검증할 수 있다.The input processing unit 500 recognizes a user's motion following a 3D character reference motion through motion learning information provided from the motion learning information providing unit 300, and performs the user's motion according to the control of the projection mapping processor 400. Can be verified.

입력 처리부(500)는 도 9에서와 같이 동작인식부(510)와, 사용자 동작 분석부(520)와, 사용자 동작 비교부(530) 및 사용자 동작 검증부(540)를 포함할 수 있다.As shown in FIG. 9, the input processing unit 500 may include a motion recognition unit 510, a user motion analysis unit 520, a user motion comparison unit 530, and a user motion verification unit 540.

동작인식부(510)는 동작 학습 정보를 통한 3차원 캐릭터 기준 동작을 따라하는 사용자의 동작을 인식할 수 있다. 여기서, 동작인식부(510)는 구체적으로 깊이 카메라(Depth Camera)를 사용할 수 있으며, 일반적인 RGB 카메라나 스테레오 카메라를 이용하여 동작 인식을 할 수 있다.The motion recognition unit 510 may recognize a user's motion following a 3D character reference motion through motion learning information. Here, the motion recognition unit 510 may specifically use a depth camera, and may recognize motion using a general RGB camera or a stereo camera.

사용자 동작 분석부(520)는 동작인식부(510)에서 인식된 사용자의 동작에 대한 골격 정보를 추출하여 사용자의 동작을 분석할 수 있다. 즉, 사용자 동작 분석부(520)는 추출한 사용자의 동작에 대한 골격 정보로부터 골격의 구성, 골격의 크기, 관절의 위치, 골격의 방향에 관한 정보를 분석할 수 있다.The user motion analysis unit 520 may analyze the user's motion by extracting skeleton information about the user's motion recognized by the motion recognition unit 510. That is, the user motion analysis unit 520 may analyze information on the structure of the skeleton, the size of the skeleton, the position of the joint, and the direction of the skeleton from the extracted skeleton information on the user's motion.

사용자 동작 비교부(530)는 사용자 동작 분석부(520)에서 분석된 사용자의 동작에 대한 골격 정보와 표본 사용자의 기준 동작에 대한 골격 정보를 비교할 수 있다. 즉, 사용자 동작 비교부(530)는 사용자 동작 분석부(520)에서 분석된 각각의 정보에 기초하여 골격의 형태, 골격의 비율, 측정 지점 좌표, 골격의 각도에 관한 정보를 비교할 수 있다.The user motion comparison unit 530 may compare the skeleton information on the user's motion analyzed by the user motion analysis unit 520 with the skeleton information on the reference motion of the sample user. That is, the user motion comparison unit 530 may compare information on the shape of the skeleton, the ratio of the skeleton, the coordinates of the measurement point, and the angle of the skeleton based on each information analyzed by the user motion analysis unit 520.

사용자 동작 비교부(530)는 사용자 동작 분석부(520)에서 분석된 각각의 정보 값을 가지고 각각의 항목들을 분석할 수 있다. 즉, 사용자 동작 비교부(530)는 비교 대상 데이터들을 사용자 동작 분석부(520)에 의하여 확인된 항목들을 근거로 골격의 형태, 골격의 비율, 측정해야 하는 지점, 골격의 각도 등에 대하여 비교할 수 있다.The user motion comparison unit 530 may analyze each item with each information value analyzed by the user motion analysis unit 520. That is, the user motion comparison unit 530 may compare data to be compared with respect to the shape of the skeleton, the ratio of the skeleton, the point to be measured, the angle of the skeleton, etc., based on the items identified by the user motion analysis unit 520. .

사용자 동작 검증부(540)는 사용자 동작 비교부(530)에서의 비교 결과에 기초하여 사용자의 동작이 표본 사용자의 기준 동작과 일치하는지를 검증할 수 있다.The user motion verification unit 540 may verify whether the user's motion matches the reference motion of the sample user based on the comparison result of the user motion comparator 530.

출력 처리부(600)는 입력 처리부(500)에서 인식되어 검증된 사용자의 동작을 기반으로 그래픽 또는 사운드로 피드백 알림을 제공할 수 있다.The output processing unit 600 may provide a feedback notification in a graphic or sound based on a user's motion recognized by the input processing unit 500 and verified.

출력 처리부(600)는 도 10에서와 같이 화면 출력부(610)와, 바닥 출력부(620) 및 오디오 출력부(630)를 포함할 수 있다.The output processing unit 600 may include a screen output unit 610, a floor output unit 620, and an audio output unit 630 as shown in FIG. 10.

화면 출력부(610)는 사용자의 정면에 위치하여 3차원 캐릭터 기준 동작과 사용자의 동작에 대한 시각적인 동작 정보를 제공할 수 있다.The screen output unit 610 may be positioned in front of the user to provide a 3D character reference motion and visual motion information on the user's motion.

바닥 출력부(620)는 사용자가 위치해 있는 바닥 상에 빔 프로젝터에 의해 사용자의 신장에 맞춰 투사되는 공간적인 동작 정보를 제공할 수 있다.The floor output unit 620 may provide spatial motion information projected according to the height of the user by the beam projector on the floor on which the user is located.

화면 출력부(610)와 바닥 출력부(620)로 구성되는 전면과 바닥 2개의 스크린을 활용한 다방면 그래픽 정보를 제공할 수 있으며, 사용자가 정확하게 이해하고 따라할 수 있도록 운동 동작을 애니메이션으로 표현하고 사용자가 본인의 자세를 실시간으로 확인할 수 있는 이미지를 표현할 수 있다.It is possible to provide multi-faceted graphic information using two screens on the front and the floor composed of the screen output unit 610 and the floor output unit 620, and express the movement motion in animation so that the user can accurately understand and follow it. An image that allows the user to check his or her posture in real time can be displayed.

오디오 출력부(630)는 사운드를 활용하여 동작 안내 및 교정 정보를 제공할수 있다. 즉, 완벽한 무인 코칭 시스템으로서 사용자의 운동 상태에 따라 교정, 칭찬, 주의 등과 같은 친절하고 상세한 음성 안내를 제공할 수 있다. 예를 들어, 헬스장에서 들을 수 있는 친숙한 트레이너의 음성 안내가 가능하고 '한번만 더'쥐어 짜는 현장의 압박감과 친밀한 정서를 표현할 수 있다.The audio output unit 630 may provide operation guidance and correction information using sound. That is, as a complete unmanned coaching system, it can provide friendly and detailed voice guidance such as correction, praise, and attention according to the user's exercise condition. For example, voice guidance from a familiar trainer that can be heard in the gym is possible, and it is possible to express the pressure and intimate emotion of the site squeezing'one more time'.

도 11은 본 발명의 일실시예에 따른 프로젝터의 사용자 인터페이스 좌표 고정 방법을 나타내는 도면이고, 도 12는 도 11에서 프로젝션 맵핑 처리 방법을 나타내는 도면이며, 도 13은 도 12에서 고정 사용자 인터페이스 출력 방법을 나타내는 도면이다.11 is a diagram illustrating a method of fixing user interface coordinates of a projector according to an embodiment of the present invention, FIG. 12 is a diagram illustrating a projection mapping processing method in FIG. 11, and FIG. 13 is a diagram illustrating a fixed user interface output method in FIG. 12. It is a drawing showing.

도시된 바와 같이, 3차원 캐릭터 애니메이션 생성부(200)는 표본 사용자의 골격 정보를 입력받아 3차원 캐릭터 기준 동작 애니메이션을 생성(S120)할 수 있다.As illustrated, the 3D character animation generation unit 200 may receive skeleton information of a sample user and generate a 3D character reference motion animation (S120).

이어서, 동작 학습정보 제공부(300)는 3차원 캐릭터 애니메이션 생성부(200)에서 생성된 3차원 캐릭터 기준 동작애니메이션을 이용한 적어도 하나 이상의 동작 학습 정보를 제공(S130)할 수 있다. 예를 들어, 국제 인증을 받은 트레이너가 참여한 다양한 동작 학습 정보로서 근력 강화, 체형 교정, 스트레칭 등 여러 목적에 맞는 프로그램을 제공할 수 있으며, 기초 체력 테스트를 통한 자가 진단 기능 및 맞춤형 운동 추천 기능 제공이 가능하고, 한국어, 영어, 일본어, 중국어, 독일어, 아랍어 등 다국어로 지원할 수 있다.Subsequently, the motion learning information providing unit 300 may provide at least one motion learning information using a 3D character reference motion animation generated by the 3D character animation generator 200 (S130). For example, it is possible to provide programs suitable for various purposes, such as strengthening muscle strength, body shape correction, and stretching, as various movement learning information participated by internationally certified trainers, and providing a self-diagnosis function and a customized exercise recommendation function through a basic physical fitness test. It is possible and can apply in multiple languages such as Korean, English, Japanese, Chinese, German, and Arabic.

이어서, 프로젝션 맵핑 처리부(400)는 깊이 카메라 센서(100)에서 측정된 프로젝션 이미지 영역에서의 사용자 위치 좌표에 기초하여 프로젝터 키스톤 비율을 계산하고 계산된 비율값으로 프로젝터 키스톤에 고정된 위치 값에 해당하는 인터렉션 이미지를 출력하도록 프로젝션 맵핑 제어를 수행(S140)할 수 있다. 여기서, 프로젝션 맵핑은 특정 공간에 프로젝터를 이용한 이미지 투영을 통하여 실제로 존재하는 것 같은 가상의 영상을 표현하는 것을 의미한다. 본 발명에서는 프로젝션 맵핑을 통하여 표현되는 가상의 영상을 사용자와 인터랙션하기 위한 인터페이스로 활용할 수 있다. 이 인터페이스는 메시지를 전달할 수 있고 인터랙션을 위한 인터페이스로도 활용할 수 있다. 이때, 프로젝션 맵핑 제어를 수행하는 구체적인 방법은 다음과 같다. 먼저, 프로젝션 이미지 영역 인식부(410)는 프로젝터 키스톤 조작에 의해 변동되는 프로젝션 이미지 영역을 인식(S141)할 수 있다. 이어서, 사용자 위치좌표 저장부(420)는 프로젝션 이미지 영역 인식부(410)에서 인식된 프로젝션 이미지 영역에서 사용자의 위치좌표 값을 저장(S142)할 수 있다. 이어서, 사용자 위치좌표 맵핑부(430)는 프로젝션 이미지 영역 인식부(410)에서 인식된 프로젝션 이미지 영역과 사용자 위치좌표 저장부(420)에 저장된 사용자의 위치좌표 값을 일대일로 대응시켜 일치(S143)시킬 수 있다. 이어서, 사용자 위치좌표 인식부(440)는 사용자 위치좌표 맵핑부(430)에 의해 맵핑된 정보에 기초하여 깊이 카메라 센서(100)에서 측정된 프로젝션 이미지 영역에서의 사용자 위치 좌표를 인식(S144)할 수 있다. 이어서, 프로젝터 키스톤 비율 계산부(450)는 사용자 위치좌표 인식부(440)에서 인식된 사용자의 위치좌표 값을 이용하여 현재 프로젝터의 키스톤 비율을 계산(S145)할 수 있다. 이어서, 고정 사용자 인터페이스 출력부(460)는 프로젝터 키스톤 비율 계산부(450)에서 계산된 비율값으로 현재 프로젝터 키스톤에 고정된 위치 값에 해당하는 인터렉션 이미지를 출력(S146)할 수 있다. 이때, 현재 프로젝터 키스톤에 고정된 위치 값에 해당하는 인터렉션 이미지를 출력하는 구체적인 방법은 다음과 같다. 먼저, 프로젝션 이미지 영역 분할부(461)는 프로젝션 이미지 전체 영역을 최상단에 위치하여 프로젝션 이미지 전체 영역의 너비와 동일한 너비와 소정의 높이를 갖는 제1영역과, 상기 제1영역의 하부에 위치하여 상기 제1영역의 너비보다 작은 너비와 서로 다른 비율의 높이를 갖는 제2영역과, 상기 제2영역의 하부에 위치하여 상기 제2영역의 너비와 동일한 너비를 가지면서 서로 다른 비율의 높이를 갖는 제3영역 및 상기 제2영역 및 제3영역의 양측에 동일한 크기의 영역으로 위치하여 상기 프로젝션 이미지 전체 영역의 높이에서 상기 제1영역의 높이를 뺀 높이와 상기 프로젝션 이미지 전체 영역의 너비에서 상기 제2영역이나 제3영역의 너비를 뺀 너비를 갖는 제4영역으로 분할(S171)할 수 있다. 이어서, 인터렉션 이미지 좌표 고정부(462)는 프로젝션 이미지 전체 영역 확대 시 도 8에 예시된 바와 같이 인터렉션 이미지가 위치한 제3영역의 좌표를 고정(S172)시킬 수 있다. 즉, 프로젝터의 키스톤을 조절하여 전체 이미지 영역을 확대할 때 제3영역의 좌표들이 변하게 되지만, 기본 설정을 하게 되면 도 8에서와 같이 제3영역은 절대 위치가 적용되므로 모든 이미지의 영상이 확대될 때 제3영역은 제자리를 지키게 되므로 상대 위치는 상단에 자리하게 될 수 있다. 이어서, 프로젝션 이미지 영역 이동부(463)는 프로젝션 이미지 전체 영역 확대 시 제2영역의 하단부가 제3영역의 상단부와 겹치지 않도록 도 8에 예시된 바와 같이 제2영역을 제3영역의 위로 이동(S173)시킬 수 있다. 즉, 제3영역이 고정된 좌표값에 위치하게 되므로 제2영역의 하단부는 제3영역의 상단부와 겹치게 되지만 강제적으로 제2영역을 제3영역과 겹치지 않도록 위로 올릴 수 있다. 이어서, 프로젝션 이미지 비율 유지부(464)는 도 8에 예시된 바와 같이 프로젝션 이미지 전체 영역 확대하기 전에 측정한 제1영역의 높이와 제2영역의 높이의 비율을 유지(S174)시킬 수 있다.Subsequently, the projection mapping processing unit 400 calculates the projector keystone ratio based on the coordinates of the user's position in the projection image area measured by the depth camera sensor 100, and uses the calculated ratio value corresponding to the position value fixed to the projector keystone. Projection mapping control may be performed to output an interaction image (S140). Here, projection mapping means expressing a virtual image as if it actually exists through image projection using a projector in a specific space. In the present invention, a virtual image expressed through projection mapping can be used as an interface for interacting with a user. This interface can deliver messages and can also be used as an interface for interaction. In this case, a specific method of performing projection mapping control is as follows. First, the projection image area recognition unit 410 may recognize a projected image area that is changed by a projector keystone operation (S141). Subsequently, the user location coordinate storage unit 420 may store the user's location coordinate value in the projection image area recognized by the projection image area recognition unit 410 (S142). Subsequently, the user location coordinate mapping unit 430 matches the projected image area recognized by the projection image area recognition unit 410 with the user's location coordinate value stored in the user location coordinate storage unit 420 on a one-to-one basis (S143). I can make it. Subsequently, the user location coordinate recognition unit 440 may recognize the user location coordinates in the projection image area measured by the depth camera sensor 100 based on the information mapped by the user location coordinate mapping unit 430 (S144). I can. Subsequently, the projector keystone ratio calculation unit 450 may calculate a keystone ratio of the current projector by using the user's position coordinate value recognized by the user position coordinate recognition unit 440 (S145). Subsequently, the fixed user interface output unit 460 may output an interaction image corresponding to a position value fixed to the current projector keystone as a ratio value calculated by the projector keystone ratio calculation unit 450 (S146). In this case, a specific method of outputting an interaction image corresponding to a position value fixed to the current projector keystone is as follows. First, the projection image area dividing unit 461 includes a first area having a width and a predetermined height equal to the width of the entire area of the projection image by placing the entire area of the projected image at the top, and the first area located below the first area and the A second region having a width smaller than the width of the first region and a height of a different ratio, and a second region located below the second region and having the same width as the width of the second region and having a height of a different ratio. The second area is located as an area of the same size on both sides of the third area and the second area and the third area, so that the height of the entire area of the projection image minus the height of the first area and the width of the total area of the projection image It may be divided into a fourth region having a width obtained by subtracting the width of the region or the third region (S171). Subsequently, when the entire area of the projection image is enlarged, the interaction image coordinate fixing unit 462 may fix the coordinates of the third area where the interaction image is located as illustrated in FIG. 8 (S172). That is, when the entire image area is enlarged by adjusting the keystone of the projector, the coordinates of the third area change, but when the default setting is made, the absolute position of the third area is applied as shown in FIG. When the third area is kept in place, the relative position may be located at the top. Subsequently, the projection image area moving unit 463 moves the second area above the third area as illustrated in FIG. 8 so that the lower end of the second area does not overlap the upper end of the third area when the entire area of the projection image is enlarged (S173 ). That is, since the third region is located at a fixed coordinate value, the lower end of the second region overlaps the upper end of the third region, but the second region can be forcibly raised so as not to overlap the third region. Subsequently, as illustrated in FIG. 8, the projection image ratio maintaining unit 464 may maintain a ratio of the height of the first area and the height of the second area measured before expanding the entire area of the projection image (S174).

이어서, 입력 처리부(500)는 동작 학습정보 제공부(300)에서 제공되는 동작 학습 정보를 통한 3차원 캐릭터 기준 동작을 따라하는 사용자의 동작을 인식하여 프로젝션 맵핑 처리부(400)의 제어에 따라 사용자의 동작을 검증(S150)할 수 있다.Subsequently, the input processing unit 500 recognizes the user's motion following the 3D character reference motion through the motion learning information provided from the motion learning information providing unit 300 and controls the user's motion according to the control of the projection mapping processor 400. The operation may be verified (S150).

이어서, 출력 처리부(600)는 입력 처리부(500)에서 인식되어 검증된 사용자의 동작을 기반으로 그래픽 또는 사운드로 피드백 알림을 제공(S160)할 수 있다. 즉, 완벽한 무인 코칭 시스템으로서 사용자의 운동 상태에 따라 교정, 칭찬, 주의 등과 같은 친절하고 상세한 음성 안내를 제공할 수 있다.Subsequently, the output processing unit 600 may provide a feedback notification in graphic or sound based on the user's motion recognized by the input processing unit 500 and verified (S160). That is, as a complete unmanned coaching system, it can provide friendly and detailed voice guidance such as correction, praise, and attention according to the user's exercise condition.

도 14는 본 발명의 일실시예에 따른 프로젝터 키스톤에 고정된 사용자 인터페이스를 출력하는 과정을 나타내는 도면이고, 도 15는 좌표값 초기화를 위하여 각 지점에 위치 좌표를 맵핑하는 경우의 일예를 나타내는 도면이다.14 is a diagram illustrating a process of outputting a user interface fixed to a projector keystone according to an embodiment of the present invention, and FIG. 15 is a diagram illustrating an example of mapping position coordinates to each point for initializing coordinate values. .

도시된 바와 같이, 프로젝터는 사용자에게 프로젝터의 키스톤에 대한 비율을 측정할 수 있는 이미지를 제공할 수 있다. 이에 따라, 사용자는 프로젝터에 의해 표시된 절차에 따라 실행할 수 있으며, 깊이 카메라에서 측정된 사용자 위치 좌표를 컴퓨터로 전송할 수 있다. 여기서, 컴퓨터는 전술한 프로젝션 맵핑 처리부의 기능을 수행할 수 있다. 이어서, 사용자 위치 좌표를 전송받은 컴퓨터에서는 사용자 위치 좌표값을 이용하여 현재 프로젝터의 키스톤 비율을 계산할 수 있으며, 계산된 비율값으로 현재 프로젝터 키스톤에 고정된 사용자 인터페이스를 출력할 수 있다. 이때, 도 13에 예시된 바와 같이 좌표값 초기화를 위하여 각 지점에 위치 좌표를 맵핑할 수 있다. 즉, 프로젝터의 키스톤을 조작하여 프로젝션 이미지가 직사각형을 이루는 최소 크기로 만들 수 있다. 이어서, 최소 크기로 만들어진 이미지 영역에서 깊이 카메라를 이용하여 각 꼭짓점마다 사용자를 위치시켜 해당 이미지 영역 지점에 대한 사용자의 위치좌표 값을 저장할 수 있다. 그리고, 저장한 좌표 값을 이용하여 최소 크기로 만들어진 이미지 영역과 사용자의 위치 좌표를 일대일 대응시켜 일치시킬 수 있다. 이어서, 프로젝터의 키스톤 영역이 변하면 다시 각 꼭짓점마다 사용자를 위치시켜 해당 이미지 영역 지점에 대한 사용자의 위치좌표 값을 저장하고 저장한 좌표 값을 이용하여 해당 이미지 영역과 사용자의 위치 좌표를 일대일 대응시켜 일치시킬 수 있다. 이어서, 프로젝터의 키스톤 영역이 변할 때 마다 최소 크기로 만들어진 이미지 영역에서의 좌표와 프로젝터의 키스톤 영역이 변할 때의 좌표를 비교하여 좌표 비율이 늘어난 비율만큼 사용자 인터페이스의 위치를 고정시킬 수 있다.As shown, the projector may provide an image capable of measuring the ratio of the projector to the keystone to the user. Accordingly, the user can execute according to the procedure displayed by the projector, and the user position coordinate measured by the depth camera can be transmitted to the computer. Here, the computer may perform the function of the projection mapping processing unit described above. Subsequently, the computer that has received the user position coordinates may calculate the keystone ratio of the current projector using the user position coordinate value, and output a user interface fixed to the current projector keystone using the calculated ratio value. In this case, as illustrated in FIG. 13, the location coordinates may be mapped to each point in order to initialize the coordinate values. In other words, by manipulating the keystone of the projector, the projected image can be made to the smallest size that forms a rectangle. Subsequently, the user may be positioned at each vertex using a depth camera in the image area created with the minimum size, and the user's position coordinate value for the corresponding image area point may be stored. In addition, by using the stored coordinate values, the image area created in the minimum size and the location coordinates of the user may be matched one-to-one with each other. Subsequently, if the keystone area of the projector changes, the user is again positioned at each vertex, and the user's position coordinate value for the corresponding image area point is stored, and the corresponding image area and the user's position coordinates are matched one-to-one by using the stored coordinate value. I can make it. Subsequently, whenever the keystone area of the projector changes, the coordinates in the image area made at the minimum size and the coordinates when the keystone area of the projector change are compared to fix the position of the user interface by the ratio of the increased coordinate ratio.

이와 같이, 본 발명에서는 프로젝터의 키스톤 영역의 크기에 관계 없이 사용자가 항상 동일한 크기의 영역에서 인터랙션을 할 수 있는 인터페이스를 제공할 수 있다. 즉, 좌표의 유지가 필요한 부분은 항상 동일한 좌표를 제공할 수 있으며, 그 밖의 사용자 인터페이스 영역은 키스톤에 따라 유연하게 변화가 될 수 있도록 함으로써 사용자에게 자연스러운 인터페이스를 제공할 수 있다.As described above, in the present invention, regardless of the size of the keystone area of the projector, it is possible to provide an interface through which a user can always interact in an area of the same size. In other words, the same coordinates can always be provided to the part where the coordinates need to be maintained, and other user interface areas can be flexibly changed according to the keystone, thereby providing a natural interface to the user.

또한, 본 발명은 동작 반응형 혼합현실 구현에 필요한 프로젝터의 투영 이미지를 키스톤으로 조정할 때 사용자에게 제공하고자 하는 이미지의 위치가 변동되지 않고 고정으로 제공될 수 있도록 프로젝션 맵핑을 할 수 있다. 또한, 본 발명은 동작 반응형 혼합현실 구현에 있어서 프로젝터로 제공되는 사용자 인터페이스 또는 반응형 사물들이 지정된 위치로 화면에 표현될 수 있도록 콘텐츠를 제공하는 프로젝션 맵핑 시스템을 제공할 수 있다.In addition, the present invention can perform projection mapping so that the position of the image to be provided to the user is not changed and can be provided in a fixed manner when adjusting the projection image of the projector required for realizing motion-responsive mixed reality with keystone. In addition, the present invention can provide a projection mapping system that provides content so that a user interface or responsive objects provided by a projector can be expressed on a screen at a designated location in realizing motion-responsive mixed reality.

또한, 동작 반응형 혼합현실 서비스를 제공할 때 사용자의 환경에 따라 프로젝션 맵핑에 사용되는 프로젝션 이미지는 프로젝터의 키스톤에 따라서 크기가 늘어나거나 줄어드는데, 이러한 상황에서 서비스 공급자는 사용자에게 전달하기 위한 인터페이스의 일관성을 위하여 이미지 크기 조절과 이에 따른 이미지 좌표의 위치 값이 바뀌는 것을 원하지 않는 경우가 발생한다. 이를 위하여 본 발명에서는 사용자 동작의 측정을 위해 사용되는 깊이 카메라를 활용하여 사용자에게 일정한 위치 값에 해당하는 사용자 인터페이스를 제공할 수 있다.In addition, when providing motion-responsive mixed reality services, the projected image used for projection mapping according to the user's environment increases or decreases in size according to the keystone of the projector. For consistency, there are cases where the image size adjustment and the position value of the image coordinates do not change accordingly. To this end, in the present invention, a user interface corresponding to a certain position value may be provided to a user by utilizing a depth camera used for measuring a user's motion.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.As described above, although the present invention has been described by the limited embodiments and drawings, the present invention is not limited thereto, and the technical idea of the present invention and the following by those of ordinary skill in the art to which the present invention pertains. It goes without saying that various modifications and variations are possible within the equivalent range of the claims to be described.

200 : 3차원 캐릭터 애니메이션 생성부
300 : 동작 학습정보 제공부
400 : 프로젝션 맵핑 처리부
500 : 입력 처리부
600 : 출력 처리부200: 3D character animation generation unit
300: motion learning information providing unit
400: projection mapping processing unit
500: input processing unit
600: output processing unit

Claims (6)

표본 사용자의 골격 정보를 입력받아 3차원 캐릭터 기준 동작 애니메이션을 생성하는 3차원 캐릭터 애니메이션 생성부;
상기 3차원 캐릭터 애니메이션 생성부에서 생성된 3차원 캐릭터 기준 동작애니메이션을 이용한 적어도 하나 이상의 동작 학습 정보를 제공하는 동작 학습정보 제공부;
골격정보를 인식하는 골격 정보 인식 센서에서 측정된 프로젝션 이미지 영역에 위치하는 사용자의 위치를 좌표로 나타내는 사용자 위치 좌표에 기초하여 프로젝터 키스톤 비율을 계산하고 계산된 비율값으로 프로젝터 키스톤에 고정된 위치 값에 해당하는 인터렉션 이미지를 출력하도록 프로젝션 맵핑 제어를 수행하는 프로젝션 맵핑 처리부;
상기 동작 학습정보 제공부에서 제공되는 동작 학습 정보를 통한 3차원 캐릭터 기준 동작을 따라하는 사용자의 동작을 인식하여 상기 프로젝션 맵핑 처리부의 제어에 따라 검증하는 입력 처리부; 및
상기 입력 처리부에서 인식되어 검증된 사용자의 동작을 기반으로 그래픽 또는 사운드로 피드백 알림을 제공하는 출력 처리부를 포함하되,
상기 프로젝션 맵핑 처리부는,
프로젝터 키스톤 조작에 의해 변동되는 프로젝션 이미지 영역을 인식하는 프로젝션 이미지 영역 인식부;
상기 프로젝션 이미지 영역 인식부에서 인식된 프로젝션 이미지 영역에서 사용자의 위치좌표 값을 저장하는 사용자 위치좌표 저장부;
상기 프로젝션 이미지 영역 인식부에서 인식된 프로젝션 이미지 영역과 상기 사용자 위치좌표 저장부에 저장된 사용자의 위치좌표 값을 일대일로 대응시켜 일치시키는 사용자 위치좌표 맵핑부;
상기 사용자 위치좌표 맵핑부에 의해 맵핑된 정보에 기초하여 상기 골격 정보 인식 센서에서 측정된 프로젝션 이미지 영역에서의 사용자 위치 좌표를 인식하는 사용자 위치좌표 인식부;
상기 사용자 위치좌표 인식부에서 인식된 사용자의 위치좌표 값을 이용하여 현재 프로젝터의 키스톤 비율을 계산하는 프로젝터 키스톤 비율 계산부; 및
상기 프로젝터 키스톤 비율 계산부에서 계산된 비율값으로 현재 프로젝터 키스톤에 고정된 위치 값에 해당하는 인터렉션 이미지를 출력하는 고정 사용자 인터페이스 출력부를 포함하고,
상기 고정 사용자 인터페이스 출력부는,
프로젝션 이미지 전체 영역을 최상단에 위치하여 프로젝션 이미지 전체 영역의 너비와 동일한 너비와 소정의 높이를 갖는 제1영역과 상기 제1영역의 하부에 위치하여 상기 제1영역의 너비보다 작은 너비와 서로 다른 비율의 높이를 갖는 제2영역과 상기 제2영역의 하부에 위치하여 상기 제2영역의 너비와 동일한 너비를 가지면서 서로 다른 비율의 높이를 갖는 제3영역 및 상기 제2영역 및 제3영역의 양측에 동일한 크기의 영역으로 위치하여 상기 프로젝션 이미지 전체 영역의 높이에서 상기 제1영역의 높이를 뺀 높이와 상기 프로젝션 이미지 전체 영역의 너비에서 상기 제2영역이나 제3영역의 너비를 뺀 너비를 갖는 제4영역으로 분할하는 프로젝션 이미지 영역 분할부;
프로젝션 이미지 전체 영역 확대 시 인터렉션 이미지가 위치한 상기 제3영역의 좌표를 고정시키는 인터렉션 이미지 좌표 고정부;
프로젝션 이미지 전체 영역 확대 시 상기 제2영역의 하단부가 상기 제3영역의 상단부와 겹치지 않도록 상기 제2영역을 상기 제3영역의 위로 이동시키는 프로젝션 이미지 영역 이동부; 및
프로젝션 이미지 전체 영역 확대하기 전에 측정한 상기 제1영역의 높이와 상기 제2영역의 높이의 비율을 유지시키는 프로젝션 이미지 비율 유지부를 포함하는 것을 특징으로 하는 프로젝터의 사용자 인터페이스 좌표 고정 시스템.
A 3D character animation generator configured to receive skeleton information of a sample user and generate a 3D character reference motion animation;
A motion learning information providing unit that provides at least one motion learning information using a three-dimensional character reference motion animation generated by the three-dimensional character animation generating unit;
Calculates the projector keystone ratio based on the user's position coordinates representing the user's position in the projected image area as a coordinate measured by the skeleton information recognition sensor that recognizes the skeleton information, and uses the calculated ratio value to the position value fixed to the projector keystone. A projection mapping processing unit that performs projection mapping control to output a corresponding interaction image;
An input processor for recognizing a user's motion following a 3D character reference motion through motion learning information provided from the motion learning information providing unit and verifying the motion according to the control of the projection mapping processor; And
Including an output processing unit that provides a feedback notification in a graphic or sound based on the user's motion recognized and verified by the input processing unit,
The projection mapping processing unit,
A projection image area recognition unit that recognizes a projected image area that is changed by a projector keystone operation;
A user location coordinate storage unit that stores a user's location coordinate value in the projected image area recognized by the projection image area recognition unit;
A user location coordinate mapping unit for matching the projected image area recognized by the projection image area recognition unit with the user’s location coordinate value stored in the user location coordinate storage unit on a one-to-one basis;
A user location coordinate recognition unit for recognizing user location coordinates in a projection image area measured by the skeleton information recognition sensor based on information mapped by the user location coordinate mapping unit;
A projector keystone ratio calculation unit that calculates a keystone ratio of the current projector using the user's position coordinate value recognized by the user position coordinate recognition unit; And
A fixed user interface output unit for outputting an interaction image corresponding to a position value fixed to a current projector keystone with a ratio value calculated by the projector keystone ratio calculation unit,
The fixed user interface output unit,
A first area with a width equal to the width of the entire area of the projected image and a predetermined height by placing the entire area of the projected image at the top, and a width different from that of a width smaller than the width of the first area by being located below the first area A second region having a height of and a third region located below the second region and having the same width as the width of the second region and having a height of a different ratio, and both sides of the second region and the third region Is located as an area of the same size and has a height obtained by subtracting the height of the first area from the height of the entire area of the projection image and a width obtained by subtracting the width of the second area or the third area from the total area of the projected image. A projection image area dividing unit for dividing into 4 areas;
An interaction image coordinate fixing unit fixing coordinates of the third area where the interaction image is located when the entire area of the projected image is enlarged;
A projection image area moving unit for moving the second area above the third area so that the lower end of the second area does not overlap the upper end of the third area when the entire area of the projection image is enlarged; And
And a projection image ratio maintaining unit configured to maintain a ratio of the height of the first area and the height of the second area measured before the entire area of the projected image is enlarged.
 삭제delete 삭제delete 3차원 캐릭터 애니메이션 생성부가 표본 사용자의 골격 정보를 입력받아 3차원 캐릭터 기준 동작 애니메이션을 생성하는 단계;
동작 학습정보 제공부가 상기 3차원 캐릭터 애니메이션 생성부에서 생성된 3차원 캐릭터 기준 동작애니메이션을 이용한 적어도 하나 이상의 동작 학습 정보를 제공하는 단계;
프로젝션 맵핑 처리부가 골격정보를 인식하는 골격 정보 인식 센서에서 측정된 프로젝션 이미지 영역에 위치하는 사용자의 위치를 좌표로 나타내는 사용자 위치 좌표에 기초하여 프로젝터 키스톤 비율을 계산하고 계산된 비율값으로 프로젝터 키스톤에 고정된 위치 값에 해당하는 인터렉션 이미지를 출력하도록 프로젝션 맵핑 제어를 수행하는 단계;
입력 처리부가 상기 동작 학습정보 제공부에서 제공되는 동작 학습 정보를 통한 3차원 캐릭터 기준 동작을 따라하는 사용자의 동작을 인식하여 상기 프로젝션 맵핑 처리부의 제어에 따라 검증하는 단계; 및
출력 처리부가 상기 입력 처리부에서 인식되어 검증된 사용자의 동작을 기반으로 그래픽 또는 사운드로 피드백 알림을 제공하는 단계를 포함하되,
상기 프로젝션 맵핑 제어를 수행하는 단계는,
프로젝션 이미지 영역 인식부가 프로젝터 키스톤 조작에 의해 변동되는 프로젝션 이미지 영역을 인식하는 단계;
사용자 위치좌표 저장부가 상기 프로젝션 이미지 영역 인식부에서 인식된 프로젝션 이미지 영역에서 사용자의 위치좌표 값을 저장하는 단계;
사용자 위치좌표 맵핑부가 상기 프로젝션 이미지 영역 인식부에서 인식된 프로젝션 이미지 영역과 상기 사용자 위치좌표 저장부에 저장된 사용자의 위치좌표 값을 일대일로 대응시켜 일치시키는 단계;
사용자 위치좌표 인식부가 상기 사용자 위치좌표 맵핑부에 의해 맵핑된 정보에 기초하여 상기 골격 정보 인식 센서에서 측정된 프로젝션 이미지 영역에서의 사용자 위치 좌표를 인식하는 단계;
프로젝터 키스톤 비율 계산부가 상기 사용자 위치좌표 인식부에서 인식된 사용자의 위치좌표 값을 이용하여 현재 프로젝터의 키스톤 비율을 계산하는 단계; 및
고정 사용자 인터페이스 출력부가 상기 프로젝터 키스톤 비율 계산부에서 계산된 비율값으로 현재 프로젝터 키스톤에 고정된 위치 값에 해당하는 인터렉션 이미지를 출력하는 단계를 포함하고,
상기 인터렉션 이미지를 출력하는 단계는,
프로젝션 이미지 영역 분할부가 프로젝션 이미지 전체 영역을 최상단에 위치하여 프로젝션 이미지 전체 영역의 너비와 동일한 너비와 소정의 높이를 갖는 제1영역과 상기 제1영역의 하부에 위치하여 상기 제1영역의 너비보다 작은 너비와 서로 다른 비율의 높이를 갖는 제2영역과 상기 제2영역의 하부에 위치하여 상기 제2영역의 너비와 동일한 너비를 가지면서 서로 다른 비율의 높이를 갖는 제3영역 및 상기 제2영역 및 제3영역의 양측에 동일한 크기의 영역으로 위치하여 상기 프로젝션 이미지 전체 영역의 높이에서 상기 제1영역의 높이를 뺀 높이와 상기 프로젝션 이미지 전체 영역의 너비에서 상기 제2영역이나 제3영역의 너비를 뺀 너비를 갖는 제4영역으로 분할하는 단계;
인터렉션 이미지 좌표 고정부가 프로젝션 이미지 전체 영역 확대 시 인터렉션 이미지가 위치한 상기 제3영역의 좌표를 고정시키는 단계;
프로젝션 이미지 영역 이동부가 프로젝션 이미지 전체 영역 확대 시 상기 제2영역의 하단부가 상기 제3영역의 상단부와 겹치지 않도록 상기 제2영역을 상기 제3영역의 위로 이동시키는 단계; 및
프로젝션 이미지 비율 유지부가 프로젝션 이미지 전체 영역 확대하기 전에 측정한 상기 제1영역의 높이와 상기 제2영역의 높이의 비율을 유지시키는 단계를 포함하는 것을 특징으로 하는 프로젝터의 사용자 인터페이스 좌표 고정 방법.
Generating, by a 3D character animation generation unit, the skeleton information of the sample user and generating a 3D character reference motion animation;
Providing, by a motion learning information providing unit, at least one motion learning information using a three-dimensional character reference motion animation generated by the three-dimensional character animation generating unit;
The projection mapping processor calculates the projector keystone ratio based on the user's position coordinates, which indicates the user's position in the projection image area measured by the skeleton information recognition sensor that recognizes the skeleton information, and fixes it to the projector keystone with the calculated ratio value. Performing projection mapping control to output an interaction image corresponding to the determined position value;
Recognizing a user's motion following a 3D character reference motion through motion learning information provided from the motion learning information providing unit, by an input processing unit, and verifying it under control of the projection mapping processing unit; And
Including the step of providing a feedback notification in a graphic or sound based on the user's motion recognized by the output processing unit and verified by the input processing unit,
The step of performing the projection mapping control,
Recognizing, by the projection image area recognition unit, a projected image area that is changed by a projector keystone operation;
Storing, by a user position coordinate storage unit, a user's position coordinate value in the projected image area recognized by the projection image area recognition unit;
Matching, by a user location coordinate mapping unit, one-to-one correspondence between the projected image area recognized by the projection image area recognition unit and the user's location coordinate value stored in the user location coordinate storage unit;
Recognizing, by a user location coordinate recognition unit, a user location coordinate in a projection image area measured by the skeleton information recognition sensor based on information mapped by the user location coordinate mapping unit;
Calculating, by a projector keystone ratio calculation unit, a keystone ratio of the current projector by using the position coordinate value of the user recognized by the user position coordinate recognition unit; And
A fixed user interface output unit comprising the step of outputting an interaction image corresponding to a position value fixed to the current projector keystone as a ratio value calculated by the projector keystone ratio calculation unit,
The step of outputting the interaction image,
The projection image area division unit is located at the top of the entire projected image area and has a first area having the same width and a predetermined height as the entire area of the projected image, and a first area that is located below the first area and is smaller than the width of the first area. A second region having a height of a different ratio than the width, a third region having a width equal to the width of the second region and having a height of a different ratio, and the second region located below the second region The width of the second area or the third area is determined by subtracting the height of the first area from the height of the entire area of the projection image by subtracting the height of the first area from both sides of the third area. Dividing into fourth regions having a subtracted width;
Fixing, by an interaction image coordinate fixing unit, the coordinates of the third area where the interaction image is located when the entire area of the projection image is enlarged;
Moving the second area above the third area so that the lower end of the second area does not overlap the upper end of the third area when the projection image area moving unit enlarges the entire area of the projection image; And
And maintaining a ratio of the height of the first area and the height of the second area measured before the projection image ratio maintaining unit enlarges the entire area of the projected image.
 삭제delete 삭제delete
KR1020200149718A 2020-11-10 2020-11-10 projector user interface coordinate fixing system and method KR102222956B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200149718A KR102222956B1 (en) 2020-11-10 2020-11-10 projector user interface coordinate fixing system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200149718A KR102222956B1 (en) 2020-11-10 2020-11-10 projector user interface coordinate fixing system and method

Publications (1)

Publication Number Publication Date
KR102222956B1 true KR102222956B1 (en) 2021-03-04

Family

ID=75174244

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200149718A KR102222956B1 (en) 2020-11-10 2020-11-10 projector user interface coordinate fixing system and method

Country Status (1)

Country Link
KR (1) KR102222956B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102366102B1 (en) * 2021-08-20 2022-02-24 주식회사 조이펀 System for providing realistic interactive exercise content based on 3d character
WO2024122852A1 (en) * 2022-12-05 2024-06-13 삼성전자주식회사 Electronic device and method for generating visual object corresponding to motion of external object

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013254355A (en) * 2012-06-07 2013-12-19 Ntt Docomo Inc Display device, display method and program
KR20170099773A (en) * 2016-02-24 2017-09-01 이용국 Smart Apparatus for Measuring And Improving Physical Ability
KR102009087B1 (en) 2017-11-20 2019-08-08 이화여자대학교 산학협력단 Correction method for exercise posture using multiple wearable devices and correction system for exercise posture

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013254355A (en) * 2012-06-07 2013-12-19 Ntt Docomo Inc Display device, display method and program
KR20170099773A (en) * 2016-02-24 2017-09-01 이용국 Smart Apparatus for Measuring And Improving Physical Ability
KR102009087B1 (en) 2017-11-20 2019-08-08 이화여자대학교 산학협력단 Correction method for exercise posture using multiple wearable devices and correction system for exercise posture

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102366102B1 (en) * 2021-08-20 2022-02-24 주식회사 조이펀 System for providing realistic interactive exercise content based on 3d character
WO2024122852A1 (en) * 2022-12-05 2024-06-13 삼성전자주식회사 Electronic device and method for generating visual object corresponding to motion of external object

Similar Documents

Publication Publication Date Title
Sodhi et al. LightGuide: projected visualizations for hand movement guidance
KR102222956B1 (en) projector user interface coordinate fixing system and method
KR101989447B1 (en) Dance motion feedback system providing video feedback to user using augmented reality
US11113988B2 (en) Apparatus for writing motion script, apparatus for self-teaching of motion and method for using the same
JP7126812B2 (en) Detection device, detection system, image processing device, detection method, image processing program, image display method, and image display system
KR102259011B1 (en) user interface service system and method for user motion correction direction
Alabbasi et al. Human motion tracking & evaluation using Kinect V2 sensor
Tsampounaris et al. Exploring visualizations in real-time motion capture for dance education
KR20220028654A (en) Apparatus and method for providing taekwondo movement coaching service using mirror dispaly
CN111047947A (en) Writing guider based on AR technology and writing guiding method
CN113409651B (en) Live broadcast body building method, system, electronic equipment and storage medium
TWI380837B (en) Body Muscle Training Feedback System and Method
Simion et al. An Augmented Reality Piano Learning Tool.
Rodrigues et al. A serious game to practice stretches and exercises for a correct and healthy posture
US9833678B2 (en) Taekwondo Poomsae training system
KR20060109762A (en) On-line motion posture correction system
Majgaard et al. Virtual experiential learning, learning design and interaction in extended reality simulations
KR102171319B1 (en) Appratus for writing motion-script, appratus for self-learning montion and method for using the same
KR102366102B1 (en) System for providing realistic interactive exercise content based on 3d character
US20070298396A1 (en) Computer executable dynamic presentation system for simulating human meridian points and method thereof
Hong et al. A ballet posture education using IT techniques: a comparative study
KR20160150215A (en) An exercising system based on augmented interactive contents and the method thereof
KR20160005841A (en) Motion recognition with Augmented Reality based Realtime Interactive Human Body Learning System
Ukita et al. A user-centered design approach to physical motion coaching systems for pervasive health
KR102387730B1 (en) User Information Based on Interface automatic control system Using Projection Mapping

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant