KR102383793B1 - 등록된 확장현실 기기 사용자의 집중도를 관리 및 제어하는 방법, 장치 및 시스템 - Google Patents

Abstract

관리자 단말에서 등록된 복수 개의 확장현실 기기의 집중도를 관리 및 제어 방법, 장치 및 시스템이 제공된다. 상기 관리자 단말에서 등록된 복수 개의 확장현실 기기들의 집중도 관리 및 제어하는 방법은, 상기 각 확장현실 기기에 케어 콘텐츠 재생 명령을 전송하는 단계; 상기 각 확장현실 기기로부터 재생 중인 케어 콘텐츠를 시청하는 사용자의 시선 좌표 데이터를 수신하는 단계; 상기 각 확장현실 기기에서 재생 중인 케어 콘텐츠와 상기 수신한 해당 기기 사용자의 시선 좌표 데이터 기반 트래킹 마크를 화면상에 출력하는 단계; 및 상기 각 확장현실 기기의 집중도 평가 점수를 산출하고 제어 신호를 전송하는 단계를 포함하되, 상기 집중도 평가 점수는 특정 주기로 반복 재생되는 콘텐츠 또는 시리즈물을 포함한 연관 콘텐츠인 상기 케어 콘텐츠의 각 회차별 트래킹 마크의 움직임 데이터 기반으로 산출되고, 상기 산출된 집중도 평가 점수에 기초하여 집중도가 낮은 확장현실 기기를 식별하여, 식별된 확장현실 기기에 후속 재생 콘텐츠의 난이도를 조절을 위한 상기 제어 신호가 전송될 수 있다.

Description

등록된 확장현실 기기 사용자의 집중도를 관리 및 제어하는 방법, 장치 및 시스템{METHOD, APPARATUS AND SYSTEM FOR MANAGING AND CONTROLLING CONCENTRATION OF USER OF REGISTERED EXTENDED REALITY DEVICE}

본 발명은 확장현실 기기 제어에 관한 것으로, 보다 자세하게는 관리자 단말에서 케어 콘텐츠가 재생되는 등록된 적어도 하나 이상의 확장현실 기기의 사용자의 집중도를 관리 및 제어하는 방법, 장치 및 시스템에 관한 것이다.

디지털 기술의 발전과 함께, 최근 가상 공간 또는 가상 현실에 대한 관심이 매우 높고, 관련 기술에 대한 연구가 이루어지고 있다.

가상 현실 기술은 종래 기존의 콘텐츠를 단지 가상 공간 상에서 출력하는데 그쳐, 포맷만 변경되는 형태였으나, 최근에는 가상 현실 기술의 발전과 함께 다양한 분야에 적용하려는 시도가 이루어지고 있다.

일 예로, 의료 분야에서 환자의 치료 목적을 위한 콘텐츠로 개발하려는 시도가 있다.

다만, 종래 가상 현실 기술의 경우, 확장현실 기기를 사용자가 직접 착용함에 따라, 현재 확장현실 기기를 착용한 사용자가 콘텐츠를 제대로 시청하고 있는 지 확인이 어려우며 관리가 매우 어려워 여전히 그 이용에 불편함이 존재하는 문제점이 있었다.

본 발명이 해결하고자 하는 과제는, 케어 콘텐츠가 재생 중인 확장현실 기기의 사용자의 집중도를 관리자 단말에서 확인하여 확인 결과에 기초하여 상기 확장현실 기기를 관리 및 제어하는 방법, 장치 및 시스템을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 관리자 단말에서 등록된 복수 개의 확장현실 기기들의 집중도 관리 및 제어하는 방법은, 상기 각 확장현실 기기에 케어 콘텐츠 재생 명령을 전송하는 단계; 상기 각 확장현실 기기로부터 재생 중인 케어 콘텐츠를 시청하는 사용자의 시선 좌표 데이터를 수신하는 단계; 상기 각 확장현실 기기에서 재생 중인 케어 콘텐츠와 상기 수신한 해당 기기 사용자의 시선 좌표 데이터 기반 트래킹 마크를 화면상에 출력하는 단계; 및 상기 각 확장현실 기기의 집중도 평가 점수를 산출하고 제어 신호를 전송하는 단계를 포함하되, 상기 집중도 평가 점수는 특정 주기로 반복 재생되는 콘텐츠 또는 시리즈물을 포함한 연관 콘텐츠인 상기 케어 콘텐츠의 각 회차별 트래킹 마크의 움직임 데이터 기반으로 산출되고, 상기 산출된 집중도 평가 점수에 기초하여 집중도가 낮은 확장현실 기기를 식별하여, 식별된 확장현실 기기에 후속 재생 콘텐츠의 난이도를 조절을 위한 상기 제어 신호가 전송될 수 있다.

본 발명의 일 면에 따른 등록된 복수 개의 확장현실 기기들의 집중도를 관리 및 제어하는 관리자 단말은, 메모리; 및 프로세서를 포함하되, 상기 프로세서는, 상기 각 확장현실 기기에 케어 콘텐츠 재생 명령을 전송하고, 상기 각 확장현실 기기로부터 재생 중인 케어 콘텐츠를 시청하는 사용자의 시선 좌표 데이터를 수신여, 상기 각 확장현실 기기에서 재생 중인 케어 콘텐츠와 상기 수신한 해당 기기 사용자의 시선 좌표 데이터 기반 트래킹 마크를 화면상에 출력하고, 상기 각 확장현실 기기의 집중도 평가 점수를 산출하고 제어 신호를 전송하되, 상기 집중도 평가 점수를 특정 주기로 반복 재생되는 콘텐츠 또는 시리즈물을 포함한 연관 콘텐츠인 상기 케어 콘텐츠의 각 회차별 트래킹 마크의 움직임 데이터 기반으로 산출하고, 상기 산출된 집중도 평가 점수에 기초하여 집중도가 낮은 확장현실 기기를 식별하여, 식별된 확장현실 기기에 후속 재생 콘텐츠의 난이도를 조절을 위한 상기 제어 신호를 전송할 수 있다.

본 발명의 일면에 따른 복수 개의 확장현실 기기 집중도 관리 및 제어 시스템은, 관리자 단말에 미리 등록되었으며 케어 콘텐츠를 재생하는 복수 개의 확장현실 기기들; 및 상기 복수 개의 확장현실 기기들을 제어하는 관리자 단말을 포함하되, 상기 관리자 단말은, 상기 각 확장현실 기기에 케어 콘텐츠 재생 명령을 전송하고, 상기 각 확장현실 기기로부터 재생 중인 케어 콘텐츠를 시청하는 사용자의 시선 좌표 데이터를 수신여, 상기 각 확장현실 기기에서 재생 중인 케어 콘텐츠와 상기 수신한 해당 기기 사용자의 시선 좌표 데이터 기반 트래킹 마크를 화면상에 출력하고, 상기 각 확장현실 기기의 집중도 평가 점수를 산출하고 제어 신호를 전송하되, 상기 집중도 평가 점수를 특정 주기로 반복 재생되는 콘텐츠 또는 시리즈물을 포함한 연관 콘텐츠인 상기 케어 콘텐츠의 각 회차별 트래킹 마크의 움직임 데이터 기반으로 산출하고, 상기 산출된 집중도 평가 점수에 기초하여 집중도가 낮은 확장현실 기기를 식별하여, 식별된 확장현실 기기에 후속 재생 콘텐츠의 난이도를 조절을 위한 상기 제어 신호를 전송하는 프로세서를 포함할 수 있다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명에 따르면, 다음과 같은 효과들을 가질 수 있다.

본 발명에 따르면, 케어 콘텐츠를 재생 중인 등록된 확장현실 기기 사용자의 집중도를 관리 제어함으로써, 확장현실 기기의 케어 콘텐츠를 통해 의도된 효과를 최대화할 수 있는 효과가 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1 은 본 발명의 일 실시 예에 따른 확장현실 기기의 집중도 관리 및 제어 시스템을 도시한 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 관리자 단말의 구성 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 관리자 단말과 확장현실 기기 사이의 인터랙션 동작을 설명하기 위해 도시한 흐름도이다.
도 4 내지 10은 본 발명의 일 실시 예에 따른 관리자 단말에서 등록된 각 확장현실 기기의 집중도를 관리 및 제어하는 동작을 설명하기 위해 도시한 흐름도이다.
도 11 내지 13은 본 발명의 일 실시 예에 따른 확장현실 기기의 집중도 관리 및 제어를 위한 관리자 단말의 동작을 설명하기 위한 사용자 인터페이스의 화면을 도시한 것이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

본 명세서에서 기술되는 '확장현실(XR: eXtended Reality)'은 가상현실(VR: Virtual Reality), 증강현실(AR: Augumented Reality) 및 혼합현실(MR: mixed Reality)의 기술을 통칭하는 용어를 나타낼 수 있다. 이하에서 '확장현실(XR)'이라는 용어로 본 발명의 다양한 실시 예들을 설명하나, 이에 한정되지 않고, 가상현실(VR), 증강현실(AR), 또는 혼합현실(MR) 용어가 대신 사용될 수도 있다.

도 1 은 본 발명의 일 실시 예에 따른 확장현실 기기의 집중도 관리 및 제어 시스템을 도시한 블록도이다. 도 2는 본 발명의 일 실시 예에 따른 관리자 단말(150)의 구성 블록도이다. 도 3은 본 발명의 일 실시 예에 따른 관리자 단말(150)과 확장현실 기기(100) 사이의 인터랙션 동작을 설명하기 위해 도시한 흐름도이다. 도 4 내지 10은 본 발명의 일 실시 예에 따른 관리자 단말(150)에서 등록된 각 확장현실 기기의 집중도를 관리 및 제어하는 동작을 설명하기 위해 도시한 흐름도이다. 도 11 내지 13은 본 발명의 일 실시 예에 따른 확장현실 기기의 집중도 관리 및 제어를 위한 관리자 단말(150)의 동작을 설명하기 위한 사용자 인터페이스의 화면을 도시한 것이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 확장현실 기기의 집중도 관리 및 제어 시스템은, 확장현실 기기(100)와 관리자 단말(150)을 포함하여 구성될 수 있다. 이 때, 실시 예에 따라, 확장현실 기기의 집중도 관리 및 제어 시스템은 도 1에 도시된 확장현실 기기(100) 및 관리자 단말(150) 외에, 예를 들어 도 3 내지 10에 도시된 실시 예에 따른 동작 수행과 관련하여, 하나 또는 그 이상의 구성요소를 더 포함하여 구현될 수도 있다.

확장현실 기기(100)는 확장현실 콘텐츠 즉, 케어 콘텐츠(Care contents)를 사용자에게 제공하는 장치이다. 이 때, 확장현실 기기(100)는, 사용자가 착용하는 형태(예를 들어, HMD(Head-mounted Display))를 포함하여 다양한 형태로 구현될 수 있다. 한편, 이러한 확장현실 기기(100)의 구성 등에 대한 상세한 설명은 공지된 구성을 참조할 수 있는바, 본 명세서에서 그에 관한 별도 상세 설명은 생략한다.

본 명세서에서, 사용자라 함은, 확장현실 기기(100)를 착용하고 케어 콘텐츠를 시청하는 시청자를 의미할 수 있다.

한편, 케어 콘텐츠라 함은, 해당 콘텐츠를 확장현실 기기를 통하여 소비하는 사용자 또는 콘텐츠를 제작한 목적이나 의도에 따라 다양한 주제로 정의될 수 있다. 예를 들어, 사용자가 치매 환자라면, 케어 콘텐츠는 상기 사용자의 치매 증상 완화를 위한 회상용 콘텐츠일 수 있다. 또한, 사용자가 학습 부진이나 장애를 겪고 있는 청소년이라면, 상기 학습 부진이나 장애의 원인 중 하나로 심리 상담용 콘텐츠일 수 있다. 이러한 케어 콘텐츠는 360도 확장현실 영상으로 구성되어 확장현실 기기를 통하여 사용자에게 제공될 수 있다. 실시 예에 따라, 상기 케어 콘텐츠는 특정 주기로 반복 재생되는 콘텐츠, 시리즈물(Series) 등일 수도 있다. 한편, 본 발명은 전술한 케어 콘텐츠에 대해 기술한 내용에만 한정되는 것은 아니다.

실시 예에 따라, 케어 콘텐츠는 동일 콘텐츠에 대하여 난이도가 조절된 콘텐츠도 포함할 수 있다. 한편, 시리즈물이나 반복 재생 콘텐츠의 경우에도, 동일 타이틀의 콘텐츠라고 하더라도 시청 난이도가 다른 콘텐츠를 포함하여 구성될 수 있다.

본 명세서에서 단지 '확장현실 기기'로 명명하여 설명하는 경우, 그것은 단지 1개의 확장현실 기기를 나타낼 수도 있으나, 도 1에 도시된 바와 같이 n개(여기서, n은 자연수)의 확장현실 기기들을 나타낼 수도 있으며, 문맥의 의미로 해석할 수 있다. 후자의 경우, 상기 n이 2 이상의 자연수인 경우, 각 확장현실 기기 모두가 동일 성능, 동일 타입, 동일 버전 등일 필요는 없으며, 본 발명에 따른 케어 콘텐츠를 사용자에게 제공하고, 후술할 관리자 단말(150)에 의한 제어 신호에 따른 동작 수행이 가능하면 족하다.

한편, 케어 콘텐츠는 확장현실 기기(100)에 탈부착 가능한 SD 카드, 상기 확장현실 기기(100)에 내재된 메모리와 같은 저장 공간에 미리 저장된 것이거나 관리자 단말(100)이나 사용자의 개인 단말로부터 다운로드 받아 상기 저장 공간에 저장된 것일 수 있다.

확장현실 기기(100)는 관리자 단말(150)의 제어 신호에 따라 사용자에게 확장현실 공간 상에서 케어 콘텐츠를 시청할 수 있도록 제공할 수 있다. 한편, 상기 확장현실 기기(100)는 상기 관리자 단말(150)의 제어가 없더라도 사용자의 제어에 따라 케어 콘텐츠를 임의로 재생할 수도 있다. 다만, 상기 임의 재생의 경우에도, 확장현실 기기(100)는 해당 기기에서 사용자의 제어에 따라 케어 콘텐츠가 임의 재생 중임을 관리자 단말(150)에 보고하고, 상기 관리자 단말(150)의 제어에 따라 상기 임의 재생된 케어 콘텐츠의 재생이 제어될 수도 있다.

확장현실 기기(100)는, 통상 사용자가 머리에 착용하는 형태의 장치로서, 내재된 가속도 센서 등 센서를 통해 획득되는 센싱 데이터에 기초하여, 케어 콘텐츠의 재생 동안 사용자의 머리 움직임을 감지하거나 추적할 수 있다. 확장현실 기기(100)는 추적한 사용자의 머리 움직임을 기초로 확장현실 기기를 통하여 확장현실 공간 상에서 케어 콘텐츠를 소비 중인 사용자의 시선 움직임을 추적할 수 있으며, 상기 사용자의 시선 움직임 추적에 관하여 시선 좌표 데이터를 생성할 수 있으며, 생성된 시선 좌표 데이터를 관리자 단말(150)로 전송할 수 있다. 상기 관리자 단말(150)은 상기 전송된 확장현실 기기(100)의 시선 좌표 데이터에 기초하여 트래킹 마크(tracking mark)를 생성할 수 있다.

그 밖에, 확장현실 기기(100)는 확장현실 공간 상에서 케어 콘텐츠를 제공하는 과정에서, 상기 케어 콘텐츠와 관련된 사용자의 피드백 데이터(feedback data)를 획득하여, 관리자 단말(150)로 전달할 수 있다. 이 때, 상기 사용자의 피드백 데이터라 함은 예를 들어, 확장현실 공간 상에서 재생 중인 케어 콘텐츠 내 포함 또는 재생 구간 등에 따라 연동된 질문 등에 대한 답변 데이터를 포함할 수 있으며, 상기 답변 데이터는 음성(voice), 제스처(gesture) 등의 형태일 수 있으나, 그에 한정되는 것은 아니다. 한편, 관리자 단말(150)은 확장현실 기기(100)로부터 수신한 사용자 피드백 데이터가 음성이면, STT(Speech to Text) 모듈을 통해 텍스트(text)로 변환하여, 사용자 피드백 데이터를 분석 및 처리할 수 있다.

도 1 및 2를 참조하면, 관리자 단말(150)은 메모리(210)와 프로세서(220)를 포함한다. 이 때, 본 명세서에서는 본 발명의 이해를 돕고 설명의 편의를 위하여, 관리자 단말(150)은 확장현실 기기가 아닌 단말을 예로 하여 설명하나, 이에 한정되는 것은 아니다. 한편, 관리자 단말(150)은 후술하는 도 12 내지 13에 도시된 바와 같이, 각 확장현실 기기에 의해 현재 재생 중인 케어 콘텐츠의 재생 화면을 출력하는데, 이 때 상기 출력되는 케어 콘텐츠 재생 화면은 상기 단말의 형태에 따라 2D 또는 3D 영상 형태로 제공될 수 있다. 예를 들어, 관리자 단말(150)은 TV, 모니터, 사이니지(Signage), PC, 노트북, 태블릿 pc, 스마트폰, 웨어러블 디바이스(wearable device) 등 중 어느 하나일 수 있다. 다른 실시예에 따르면, 관리자 단말(150)은 등록된 적어도 하나 이상의 확장현실 기기의 제어 목적의 전용 기기(dedicated apparatus)일 수도 있다.

관리자 단말(150)은 반드시 등록된 확장현실 기기(100)와 인접한 위치에 있어야 할 필요는 없으며, 원격에 존재하여도 무방하다. 이러한 점에서, 일 실시 예에 따르면, 관리자 단말(150)은 원격 제어 목적의 서버(Server), 클라우드(Cloud)와 같은 형태일 수 있으나, 그에 한정되지 않는다. 한편, 관리자 단말(150)은 실시 예에 따라, 컨트롤러, 제어부, 컴퓨팅 디바이스 등 다양한 명칭으로 불리울 수 있다.

관리자 단말(150)은 케어 콘텐츠를 직접 제작할 수 있으며, 이 경우 등록된 확장현실 기기(100)에서 재생 가능하도록 업로드 또는 직접 해당 확장현실 기기로 전송할 수 있다.

한편, 관리자 단말(150)의 화면은 예를 들어, 도 12의 (a) 내지 도 12의 (b)와 같이 구성될 수 있으나, 이에 한정되는 것은 아니다.

도 12의 (a)를 예로 하여 참조하면, 관리자 단말(150)의 화면은 크게 영상 표시 영역(1210)과 기능 영역(1220)으로 구분할 수 있다.

이 때, 영상 표시 영역(1210)에는 등록된 적어도 하나 이상의 확장현실 기기에서 현재 재생 중인 케어 콘텐츠의 화면이 제공될 수 있으며, 관리자 단말(150)은 상기 영상 표시 영역(1210)을 통하여 케어 콘텐츠의 재생을 직접 제어할 수 있다. 그 밖에, 영상 표시 영역(1210)에는 도 13에 도시된 바와 같이, 각 확장현실 기기로부터 수신한 사용자의 시청 좌표 데이터 기반 트래킹 마크(1321, 1322)이 제공될 수 있다. 이 때, 편의상 도 13에서는 2개의 트래킹 마크(1321, 1322)가 제공되었으나, 실시 예에 따라 트래킹 마크가 1개도 제공되지 않을 수도 있고, 3개 이상의 트래킹 마크가 제공될 수도 있다. 따라서, 관리자 단말(150)은 상기 트래킹 마크(1321, 1322)를 통하여 각 확장현실 기기 사용자의 케어 콘텐츠에 대한 반응, 감상 등을 포함하여 다양한 상황을 고려한 사용자의 집중도 평가를 하고 제어 등 보조도 할 수 있다.

한편, 기능 영역(1220)에는 영상 설명 영역, 질문 목록 및 피드백 영역, 연계 활동 영역 등이 존재할 수 있다. 그 밖에, 관리자 단말(150)의 화면에는 영상 표시 영역에 제공 중인 콘텐츠의 타이틀, 다운로드 상태, 특정 확장현실 기기에서의 케어 콘텐츠 재생 제어 기능 버튼 등 다양한 인터페이스가 포함될 수 있다.

상기 기능 영역(1220) 중 영상 설명 영역은, 영상에 대한 전반적인 정보가 제공되는 영역이다. 예를 들어, 상기 영상 설명 영역은 케어 콘텐츠의 재생 시간, 용량, 훈련 목적(예를 들어, 뇌의 어떤 영역을 훈련하는 것이 목적인지, 어떤 질환을 치료하기 위한 목적인지 등), 기획 의도, 주제, 연계 활동으로 무엇을 할 것인지지 등에 관한 정보가 제공될 수 있다.

상기 기능 영역(1220) 중 질문 목록 및 피드백 영역은, 도 12의 (b)에 도시된 바와 같이, 케어 콘텐츠의 특정 시간 대에서 예를 들어, 나레이션(narration)을 통해 제공되는 질문 목록, 그에 대한 사용자의 답변 등 피드백 등이 제공되는 영역이다. 상기에서, 사용자의 피드백은 예를 들어, 관리자 단말(150)에서 전술한 바와 같이, STT 모듈을 통해 자동으로 추출하여 기록될 수 있다.

도 12의 (b)를 참조하면, 관리자 단말(150)은 확장현실 기기(100)에서 재생 중인 케어 콘텐츠와 관련하여, 질문 목록과 상기 질문 목록에 대한 태그 답변(tag answer)을 제공할 수 있다. 따라서, 확장현실 기기(100)를 통해 케어 콘텐츠를 시청하는 사용자는 상기 질문 목록에 대한 답변을 보다 쉽고 편리하게 할 수 있으며, 관리자 단말(150) 역시, 상기 사용자의 피드백 데이터를 손쉽고 빠르게 획득하여 기록할 수 있다.

한편, 상기 태그 답변으로, 각 질문에 따라 상이하게 구성 가능한데, 예를 들어, 단순 긍정이나 부정을 나타내는 '네/아니오', 답변 반응 속도를 나타내는 '1초/2초/3초/4초/5초 후 답변', 회상 등 특정한 의도나 목적을 나타내는 '~와 만났었지/~에 갔었지/~를 먹었었지/나는 ~를 좋아해' 등과 같이 일종의 샘플 답변을 제공하여, 사용자의 반응 및 케어 콘텐츠 이용의 편의성을 개선시킬 수 있다.

실시 예에 따라, 이러한 태그 답변은, 그 자체가 케어 콘텐츠의 목적에 맞게, 사용자에 대한 다양한 진단이나 성향 파악 등을 위한 데이터로 구성될 수도 있다.

실시 예에 따라, 관리자 단말(150)은, 피드백 데이터에 기초하여, 맞춤형 콘텐츠를 추천하거나 추후 제공하는데 참조할 수 있다. 예를 들어, 관리자 단말(150)은, 초기에는 일반적인 통합 콘텐츠가 확장현실 기기(100)를 통한 확장현실 공간상에서 사용자에게 제공하도록 재생 제어하나, 그러한 콘텐츠의 재생을 통한 다양한 답변 데이터가 획득되면, 그에 기초하여, 확장현실 기기(100)의 사용자 성향에 따른 특화된 맞춤형 케어 콘텐츠가 제공되도록 상기 확장현실 기기(100)를 제어할 수 있다.

예를 들어, 관리자 단말(150)은 확장현실 기기 이용 사용자의 성향에 특화된 맞춤형 콘텐츠로, 예시1: '어떤 운동을 좋아하시나요?'라는 질문에 자전거 대답시 이후 시골길 등 자전거 관련 케어 콘텐츠를 제공하고, 연계 활동을 수수깡으로 자전거를 만드는 활동 추천, 예시2: 선박에 반응이 큰 확장현실 기기의 사용자에 대하여, 이후 바다 관련 케어 콘텐츠를 큐레이션(curation)하고, 연계 활동을 '수수깡으로 선박 만드는 활동' 추천, 그리고 예시3: 피드백 데이터를 종합하여 그 시청자의 기억을 조합한 최적의 영상을 맞춤형으로 제공(이는 예를 들어, 개인 식별 정보 없이도 피드백 데이터만으로도 구현 가능할 수 있음)할 수 있다.

상기 기능 영역(620) 중 연계 활동 영역은, 확장현실 기기(100)를 착용한 사용자가 현재 시청중인 케어 콘텐츠를 시청 이후에 케어 콘텐츠의 목적에 맞는 추천 연계활동에 관한 정보를 제공하는 영역일 수 있다. 이 때, 관리자 단말(150)은 상기 연계 활동이 기 제공 중인 케어 콘텐츠 이후 적절한 시점에 원활하게 또는 씸리스(seamless)하게 제공될 수 있도록 미리 추천 연계 활동 목록 및 안내 영상 등을 리스트업하여 제공하고, 그 선택에 따를 수 있다. 이러한 연계 활동으로 예를 들어, 성냥 쌓기(균형 감각, 소근육 사용 등을 평가 가능), 화전 만들기, 조각 붙이기(개수, 채운 면적 등으로 평가 가능), 예시 도면을 오려서 형상 제작, 종이접기 등 다양한 활동이 포함될 수 있으며, 특별히 제한은 없다. 한편, 연계 활동 또한 오프라인(offline)이 아닌 확장현실 기기(100)를 통한 확장현실 공간 상에서 제공되는 확장현실 콘텐츠 형태로 제공되고, 관리자 단말(150)과 확장현실 기기(100) 사이의 통신을 통한 인터랙션 반응을 통하여 구현될 수도 있다.

상기 연계 활동 콘텐츠로, 화전 만들기 방법에 관한 콘텐츠가 제공될 수 있다. 예를 들어, 연계 활동 목록에서 '화전 만들기_초급' 항목을 선택하면, 화전 만들기 동영상, 텍스트 데이터 등이 제공될 수 있다.

그 밖에, 본 명세서에서 기술되는 맞춤형 또는 특화 콘텐츠의 추천 또는 제공뿐만 아니라 다양한 형태의 데이터, 검출 또는 추출되는 데이터의 처리는, 그를 위한 데이터를 훈련 데이터로 하여 생성된 인공지능(AI: Artificial Intelligence) 학습 모델의 기계학습(machine learning)한 결과로부터 기인할 수 있다.

관리자 단말(150)온 본 발명에 따른 관리자 단말(150)에서 등록된 적어도 하나 이상의 확장현실 기기(100)의 케어 콘텐츠 재생 제어 등에 관한 서비스를 어플리케이션(application) 또는 웹 서비스(web service) 형태로 제공할 수 있다.

도 3을 참조하여 시스템 레벨에서 확장현실 기기들과 관리자 단말(150) 사이의 인터랙션 동작을 설명하면, 다음과 같다.

동작 11에서, 관리자 단말(150)은 적어도 하나 이상의 확장현실 기기들로부터 등록 요청이 있으면, 등록한다.

동작 12에서, 관리자 단말(150)은 상기 등록된 각 확장현실 기기들에 케어 콘텐츠 재생 명령을 전송한다. 이 때, 관리자 단말(150)은 특정 하나 또는 그 이상의 확장현실 기기들에만 콘텐츠 재생 명령을 전송할 수도 있고, 브로드캐스팅 방식으로 등록된 모든 확장현실 기기들에 콘텐츠 재생 명령을 전송할 수도 있다. 전자의 경우, 예를 들어, 관리자 단말(150)은 치매 환자들을 위한 제1 확장현실 기기들과 암 환자를 위한 제2 확장현실 기기들이 이미 등록되어 있는 상태에서, 치매 환자들을 위한 케어 콘텐츠를 재생하도록 하기 위하여, 상기 제1 확장현실 기기들에서만 해당 케어 콘텐츠가 재생될 수 있도록 제어 신호를 전송할 수 있다. 이 경우, 상기 확장현실 기기를 관리자 단말(150)에 등록 시에 미리 각 확장현실 기기의 식별자 정보를 등록하여 구분하고, 상기 제어 신호 전송 시에 신호의 프레임 헤더(header)에 상기 제1 확장현실 기기를 식별할 수 있는 식별자 정보를 표시하고 브로드캐스팅함으로써 간단하게 상기 제1 확장현실 기기들에서만 케어 콘텐츠를 재생하도록 할 수 있다.

동작 13에서, 확장현실 기기(100)는 상기 관리자 단말(150)의 제어 신호가 수신되면, 이를 파싱하여 케어 콘텐츠 재생 명령으로 판단되면, 상기 판단 결과에 따라 케어 콘텐츠가 확장현실 공간 상에서 사용자에게 제공되도록 한다.

동작 14에서, 확장현실 기기(100)는 상기 케어 콘텐츠가 제공되면, 시선 좌표 데이터를 추출 및 생성하여 관리자 단말(150)로 전송할 수 있다. 이 때, 확장현실 기기(100)는 사용자 피드백 데이터도 함께 관리자 단말(150)로 전송할 수 있다.

동작 15에서, 관리자 단말(150)은 상기 동작 14를 통해 확장현실 기기(100)로부터 소정 데이터가 수신되면, 그에 기초하여 재생 제어 신호를 생성하여 해당 확장현실 기기에서 재생 중인 케어 콘텐츠의 재생을 제어할 수 있다.

다음으로, 도 4 내지 10은 관리자 단말(150)(또는 프로세서(220))의 동작을 기준으로 설명한다. 한편, 도 4 내지 10은 도 3 이후의 동작 또는 도 3의 동작 14의 구체적인 실시 예에 해당할 수 있다.

이하에서, 관리자 단말(150)에서 미리 등록된 적어도 하나 이상의 확장현실 기기를 제어하는 동작을 설명하되, 설명의 편의를 위하여 단지 '확장현실 기기'로만 설명하더라도, 그것은 문맥의 의미에 따라 특정 확장현실 기기 하나 또는 복수 개의 확장현실 기기들을 의미할 수 있다.

먼저, 도 4를 참조하면, 동작 21에서, 관리자 단말(150)은 각 확장현실 기기의 집중도 평가 점수를 산출할 수 있다.

동작 22에서, 관리자 단말(150)은 상기 산출한 각 확장현실 기기의 집중도 평가 점수에 기초하여, 집중도가 낮은 확장현실 기기를 식별할 수 있다.

동작 23에서, 관리자 단말(150)은 집중도가 낮은 확장현실 기기로 식별된 확장현실기기에 대하여 집중도 향상 기능을 제공할 수 있다.

동작 24에서, 관리자 단말(150)은 확장현실 기기의 케어 콘텐츠 재생을 제어 또는 종료할 수 있다.

상기에서, 동작 23은 동작 24의 재생 제어 동작의 하나일 수 있다.

도 5에서는 케어 콘텐츠가 전술한 바와 같이, 특정 주기로 반복 재생되는 콘텐츠, 시리즈물(Series)인 경우를 예로 하여 집중도를 판단하는 실시 예이다.

도 5를 참조하면, 관리자 단말(150)은 동작 31에서, 회차별 트래킹 마크의 움직임 데이터 값을 측정 및 기록할 수 있다.

동작 32에서, 관리자 단말(150)은 상기 측정된 트래킹 마크의 움직임 데이터 값을 기준으로 확장현실 기기 사용자의 콘텐츠 적응도 또는 시청 적응도가 향상되고 있는지 판단할 수 있다.

동작 33에서, 관리자 단말(150)은 상기 동작 32의 판단 결과, 확장현실 기기 사용자의 콘텐츠 적응도 또는 시청 적응도가 향상되고 있다고 판단되면, 후속 콘텐츠의 난이도를 향상하여, 이전 회차보다 난이도가 향상된 케어 콘텐츠를 제공하도록 제어할 수 있다.

동작 34에서, 관리자 단말(150)은 상기 동작 32의 판단 결과, 확장현실 기기 사용자의 콘텐츠 적응도가 향상되고 있다고 판단되지 않는 경우에는, 해당 회차의 종류 후 연계 활동 내용을 제공한다.

동작 35에서, 관리자 단말(150)은 상기 동작 34에서 연계 활동 내용 제공에 따라 확장현실 기기 사용자의 콘텐츠 적응도 향상 여부를 재판단할 수 있다. 이 때, 상기 적응도 향상 여부 재판단은 상기 연계 활동 내용 제공의 피드백 데이터 또는 상기 연계 활동 내용 제공 후 후속 케어 콘텐츠의 트래킹 마크 움직임 값 측정 결과에 기초하여 이루어질 수 있다.

관리자 단말(150)은 상기 동작 35의 재판단 결과, 만약 확장현실 기기 사용자의 콘텐츠 적응도가 향상된 것으로 판단되면, 동작 33과 같이 처리하나, 그럼에도 불구하고 여전히 확장현실 기기 사용자의 콘텐츠 적응도가 향상되지 않으면, 동작 36에서 오토포커싱 알고리즘(Auto-focusing algorithm)을 실행할 수 있다. 동작 36에서 오토포커싱 알고리즘 실행 전에 전술한 동작 31 내지 35를 1회 이상 반복 수행할 수도 있다. 또는, 관리자 단말(150)은 상기 반복 수행 또는 오토포커싱 알고리즘 적용 이후에도 도 5를 재수행하여, 여전히 적응도 향상이 안된다고 판단되면, 현재까지 케어 콘텐츠 재생 회차에 무관하게 해당 케어 콘텐츠의 1회차부터 재시작하거나 전반적인 콘텐츠의 난이도가 상대적으로 낮은 케어 콘텐츠를 재생하도록 제어할 수도 있다.

도 6은 트래킹 마크의 이동 기반 반응 시간을 이용하여 집중도를 판단하는 실시 예이다.

도 6을 참조하면, 동작 41에서, 관리자 단말(150)은 트래킹 마크의 움직임 즉, 이동 기반 반응 시간을 측정할 수 있다. 이 때, 상기 반응 시간 측정은 예를 들어, 관리자 단말(150)에서 제공한 유도 음성, 유도 마크, 유도 박스(또는 후술하는 타겟 박스) 등의 제공에 따른 반응 시간일 수 있다. 상기 유도 음성이라 함은, 예를 들어 현재 재생 중인 콘텐츠의 화면 내 특정 오브젝트를 선택, 특정 영역으로 이동, 상하좌우 방향으로 일정 정도 이동하라와 같은 음성 명령 등일 수 있다. 상기에서 유도 마크라 함은, 점(dot)이나 캐릭터(character)(지인이나 가족 사진, 귀여운 캐릭터 등)와 같은 별개의 이미지를 제공하여 이동하여 선택할 수 있게 제공하는 것을 나타낼 수 있다.

동작 42에서, 관리자 단말(150)은 상기 측정한 반응 시간을 제1 임계값(임계 시간)과 비교 판단할 수 있다.

동작 43에서, 관리자 단말(150)은 상기 동작 32에서 판단 결과, 상기 측정된 반응 시간이 제1 임계값(예를 들어, 3초 등)을 초과하면, 해당 확장현실 기기 사용자의 집중도는 낮음으로 식별할 수 있다. 이러한 식별은 도 6의 반응 시간에 대하여 미리 설정된 가중치 등을 참고하여, 집중도 평가 점수 산정에 반영될 수도 있다.

도 7은 확장현실 기기별 지연(latency)를 이용하여 집중도를 판단하는 실시 예이다.

도 7을 참조하면, 동작 51에서, 관리자 단말(150)은 각 확장현실 기기의 지연 시간을 측정할 수 있다.

동작 52에서, 관리자 단말(150)은 상기 측정한 각 확장현실 기기의 지연 시간을 참고하여 해당하는 확장현실 기기의 판단 기준값을 조정 제어할 수 있다. 이 때, 관리자 단말(150)은 각 확장현실 기기의 지연 시간 정보를 반영하여 계산할 수 있는데, 예를 들어 상대적으로 케어 콘텐츠가 느리게 재생되고 있는 확장현실 기기에 대하여 판단 기준값에 +/- 시간을 설정할 수 있다.

동작 53에서, 관리자 단말(150)은 상기 각 확장현실 기기의 지연 시간을 재측정할 수 있다.

동작 54에서, 관리자 단말(150)은 각 확장현실 기기에 대해 재측정한 지연 시간을 제2 임계값과 비교 판단할 수 있다.

동작 55에서, 관리자 단말(150)은 상기 동작 54에서 판단 결과, 만약 특정 확장현실 기기의 재측정 지연 시간이 상기 제2 임계값을 초과하면, 해당 확장현실 기기 사용자의 집중도가 낮음으로 식별할 수 있다. 마찬가지로, 이러한 식별은 도 7의 지연 시간에 대하여 미리 설정된 가중치 등을 참고하여, 집중도 평가 점수 산정에 반영될 수도 있다.

도 8은 타겟 박스를 이용하여 집중도를 판단하는 실시 예이다.

도 8을 참조하면, 동작 61에서, 관리자 단말(150)은 타겟 박스를 설정 제공할 수 있다. 이 때, 타겟 박스는 각 확장현실 기기에서 재생 중인 케어 콘텐츠의 임의의 영역이 설정될 수 있다. 상기 임의의 영역은 예를 들어, 해당 재생 화면 내 특정 오브젝트이거나 그를 포함한 영역일 수 있다. 실시 예에 따라, 상기 임의의 영역은 예를 들어, 현재 재생 화면 내 트래킹 마크의 위치 정보를 산출하고, 산출된 트래킹 마크와 미리 설정된 거리만큼 떨어진 위치에 설정될 수 있다. 다른 실시 예에 따라, 타겟 박스는 사각형, 원형, 삼각형 등과 같은 다각형 형태이거나 점, 선 등의 형태일 수도 있다. 또 다른 실시 예에 따라, 타겟 박스는 양구의 과녁과 같이 박스 내에 구분된 서브 박스가 존재하여 각 서브 박스는 외곽에서 타겟 박스의 중앙으로 이동할 수도록 높은 점수를 설정하여, 최종적으로 트래킹 마크의 위치가 타겟 박스 내 어떤 영역에 위치하는 지에 따라 점수를 차등으로 산정할 수도 있다.

동작 62에서, 관리자 단말(150)은 트래킹 마크가 타겟 박스 내 안착 여부를 판단할 수 있다.

동작 63에서, 관리자 단말(150)은 상기 동작 62에서 판단 결과, 만약 트래킹 마크가 타겟 박스 내에 안착하였다만, 상기 타겟 박스 제공 시점에서 최종적으로 타겟 박스 내에 안착까지 걸린 시간을 측정할 수 있다. 이 때, 상기 안착이라 함은 예를 들어, 상기 트래킹 마크가 해당 타겟 박스에 위치하여 소정 시간(적어도 0.5초 이상) 머무르는 경우에만 안착으로 판단할 수 있다. 이는 예를 들어, 케어 콘텐츠의 종류에 따라 안착을 다르게 정의할 수 있다. 예컨대, 케어 콘텐츠가 치매 환자 등인 경우에는, 특정 지점에 트래킹 마크를 소정 시간 동안 고정하는 것이 상대적으로 힘들 수 있는바 이 경우에는 다르게 판단 예를 들어, 상기 트래킹 마크가 단순하게 타겟 박스를 지나치기만 하면, 안착으로 판단할 수도 있다.

동작 64에서, 관리자 단말(150)은 상기 동작 63에서 측정한 안착 시간을 제3 임계값과 비교 판단할 수 있다.

동작 65에서, 관리자 단말(150)은 상기 동작 64에서 판단 결과, 만약 해당 확장현실 기기의 트래킹 마크의 타겟 박스로의 안착 시간이 제3 임계값을 초과하면, 해당 확장현실 기기 사용자의 집중도는 낮음으로 식별할 수 있다. 마찬가지로, 이러한 식별은 도 8의 타겟 박스와 관련하여 미리 설정된 가중치 등을 참고하여, 집중도 평가 점수 산정에 반영될 수도 있다. 실시 예에 따라서, 상기 안착 시간과 무관하게, 상기 안착 여부만으로 집중도를 평가 판단할 수도 있다.

도 9는 트래킹 마크의 움직임 평균값을 이용하여 집중도를 판단하는 실시 예이다.

도 9를 참조하면, 동작 71에서, 관리자 단말(150)은 각 확장현실 기기의 트래킹 마크의 움직임 평균값을 측정할 수 있다. 여기서, 각 확장현실 기기의 트래킹 마크의 움직임 평균값이라 함은, 해당 콘텐츠의 전체 재생 시간 동안의 움직임 평균값을 나타낼 수 있다. 이 때, 만약 해당 확장현실 기기에서 해당 콘텐츠의 재생이 중간에 중단된 경우에는 그 때까지의 트래킹 마크의 움직임 평균값을 나타낼 수도 있다. 반면, 만약 해당 확장현실 기기에서 해당 콘텐츠의 재생이 중간에 일시 정지 후 다시 재생된 경우에는, 상기 일시 정지 후 다시 재생 사이의 시간은 제외하고 트래킹 마크의 움직임 평균값을 나타낼 수도 있다. 실시 예에 따라, 상기 각 확장현실 기기의 트래킹 마크의 움직임 평균값은 해당 콘텐츠의 전체 재생 구간 중에서 미리 설정된 재생 구간에서의 트래킹 마크의 움직임 평균값을 나타낼 수 있다. 상기 미리 설정된 재생 구간이라 함은, 재생 시작 시점으로부터 초기 일정 구간, 재생 종료 시점 이전의 일정 구간, 중요 오브젝트가 출현하는 시점의 앞뒤로 일정 구간, 관리자 단말(150)에 의해 설정된 구간이나 돌발 구간 등 중 적어도 하나 이상일 수 있다.

동작 72에서, 관리자 단말(150)은 상기 동작 71에서 측정한 확장현실 기기의 트래킹 마크의 움직임 평균값과 제4 임계값을 비교 판단할 수 있다.

동작 73에서, 관리자 단말(150) 상기 동작 72에서 판단 결과, 만약 트래킹 마크의 움직임 평균값이 제4 임계값을 초과하는 확장현실 기기는 상대적으로 집중도가 낮은 기기로 판단할 수 있다. 마찬가지로, 이러한 식별은 도 9의 트래킹 마크의 움직임 평균값과 관련하여 미리 설정된 가중치 등을 참고하여, 집중도 평가 점수 산정에 반영될 수도 있다.

도 10은 프리셋 좌표값을 이용하여 집중도를 판단하는 실시 예이다.

도 10을 참조하면, 동작 81에서, 관리자 단말(150)은 각 확장현실 기기의 현재 트래킹 마크의 위치 정보를 측정하여, 제공되는 프리셋과의 차이값을 측정할 수 있다. 여기서, 상기 프리셋은 관리자 단말(150)에 의하여 영상 재생 시간에 싱크된 것일 수 있다. 따라서, 관리자 단말(150)은 상기 제공하는 프리셋의 좌표값과 각 확장현실 기기의 측정된 트래킹 마크의 위치 정보(즉, 좌표값)의 거리(좌표) 차이값을 측정할 수 있다. 한편, 상기 프리셋은 해당 시점에 재생 중인 콘텐츠에서 사용자의 트래킹 마크가 위치하여야 하는 것으로 미리 정의된 위치에 제공될 수 있다. 그래야만 적절하게 집중도를 판단할 수 있기 때문이다. 그러한 점에서 상기 프리셋은 중요 구간에 중요 오브젝트가 속한 위치가 설정될 수 있다.

동작 82에서, 관리자 단말(150)은 상기 측정한 차이값과 제5 임계값을 비교 판단할 수 있다.

동작 83에서, 관리자 단말(150)은 상기 동작 82에서 판단 결과, 만약 특정 확장현실 기기에 대해 측정한 차이값이 제5 임계값을 초과하면, 해당 확장현실 기기의 집중도는 낮은 것으로 식별할 수 있다. 마찬가지로, 이러한 식별은 도 10의 프리셋 제공에 따른 트래킹 마크와의 위치 정보 차이와 관련하여 미리 설정된 가중치 등을 참고하여, 집중도 평가 점수 산정에 반영될 수도 있다.

도 11 내지 13은 본 발명에 따른 관리자 단말(150)의 등록된 확장현실 기기들에 대한 집중도 관리 및 제어를 위한 사용자 인터페이스를 도시한 것이다.

도 11의 (a)에서는 확장현실 기기의 등록 및 등록된 확장현실 기기의 목록이 제공된 것을 알 수 있다.

도 11의 (b)에서는 등록 전 또는 등록 이후에 특정 확장현실 기기에 대한 상세 정보가 제공되거 확인, 버전 업데이트, 페어링 연결 및 해제, 영상 목록 등 제어에 관련된 사용자 인터페이스가 도시되었다.

도 12의 (a)에서는 전술한 바와 같이, 등록된 확장현실 기기들의 영상 재생 영역(1210)에서 출력되고, 기능 영역(1220)에 영상 설명, 질문 목록, 연계 활동 목록과 관련된 기능 항목이 제공될 수 있다.

도 12의 (b)에서는 도 12의 (a)에서 질문 목록을 선택한 경우에, 현재 재생 중인 콘텐츠와 관련된 질문 또는 현재 재생 구간에 싱크된 질문 목록이 제공되는 화면이 도시되었다.

도 13에서는, 영상 재생 영역에 예를 들어, 2개의 트래킹 마크(1321, 1322)가 제공되고 있으며, 도 12와 달리, 집중도 평가에 따라 특정 확장현실 기기를 제어하기 위한 기능이 제공될 수 있다. 예를 들어, 집중도 평가 기능 영역(1310)에는, 재생 바와 함께, 재생 위치 제어 항목(+10초, -10초 등), 전체 종료, 일시 정지, 원위치 항목, 해당 제어 대상 확장현실 기기 식별 정보 제공 항목, 해당 제어 대상 확장현실 기기의 볼륨 업/다운 항목 등이 제공될 수 있다.

한편, 상기 집중도 평가 기능 영역(1310)은 스크롤 바 형태로 제공되어, 특정 제어 대상 확장현실 기기를 선택하거나 전체 확장현실 기기를 제어 대상 확장현실 기기로 선택할 수 있도록 제공될 수도 있다. 또는 도시되진 않았으나, 제어 대상 확장현실 기기가 복수 개인 경우에는 화면 분할을 통하여 콘텐츠 재생 화면과 집중도 평가 기능 영역(1310)이 분할되어 동시에 제어 및 확인 가능하도록 제공될 수도 있다.

관리자 단말(150)은 각 확장현실 기기의 현재 재생 위치를 식별하고, 상기 식별된 각 확장현실 기기의 현재 재생 위치에 기초하여 모든 확장현실 기기의 콘텐츠 재생 위치가 일치되도록 상기 각 확장현실 기기의 콘텐츠 재생 속도를 제어할 수 있다. 이렇게 모든 확장현실 기기의 콘텐?M 재생 위치가 일치되면, 그 때 본 발명에 따른 집중도 평가를 수행할 수 있다. 다만, 반드시 이에 한정되지는 않는다.

한편, 관리자 단말(150)은 예를 들어, 상기 각 확장현실 기기의 재생 속도 제어함에 있어서, i) 상기 식별된 현재 재생 위치가 가장 늦은 확장현실 기기의 상기 재생 위치가 속한 진단 구간의 다음 진단 구간, ii) 상기 식별된 현재 재생 위치가 가장 빠른 확장현실 기기의 상기 재생 위치가 속한 진단 구간의 다음 진단 구간, 및 iii) 모든 확장현실 기기에 대해 식별된 현재 재생 위치의 평균 재생 위치가 속한 진단 구간의 다음 진단 구간, 중 어느 하나의 진단 구간의 시작점에 해당하는 재생 위치에, 모든 확장현실 기기의 재생 위치가 미리 설정된 시간 내에 도달하도록 상기 각 확장현실 기기의 재생 속도를 개별 제어할 수 있다.

한편, 본 발명에 따른 케어 콘텐츠는, 복수의 진단 구간들이 미리 설정되어 구분 가능한 것을 예로 하여 설명한다.

일 실시예로, 상기 케어 콘텐츠 내 복수 개의 진단 구간들은, 해당 진단 구간에서 제공 중인 내용의 중요도에 따라 중요 진단 구간과 비중요 진단 구간으로 구분할 수 있다. 또한, 상기 중요 진단 구간과 비중요 진단 구간의 사이즈는, 해당 케어 콘텐츠 내에서 그 사이즈가 균등하지 않을 수 있다.

관리자 단말(150)은, 만약 복수 개의 확장현실 기기들 중 판단된 집중도 평가에 따라서 집중도가 상대적으로 낮은 확장현실 기기가 복수 개인 경우에는, 해당 확장현실 기기들을 그룹핑(Groupping)하여 동시에 관리 및 제어할 수 있다. 상기 관리자 단말(150)은 상기 그룹핑된 확장현실 기기들의 트래킹 마크도 그룹핑에 따라 식별 가능하도록 처리할 수 있다. 이 때, 상기 그룹핑되지 않은 확장현실 기기(들)의 트래킹 마크와 그룹핑된 확장현실 기기들의 트래킹 마크는 서로 구분 가능하도록 차별화되어 출력될 수 있다. 상기 차별화의 방식은, 트래킹 마크의 사이즈, 컬러, 플리커링(flickering), 그룹핑 표시 등 다양한 방식으로 이루어질 수 있다.

관리자 단말(150)은 트래킹 마크의 움직임(예를 들어, 3초 이상)이 없으면, 무조건 집중도를 낮게 평가하는 것이 아니라 상기 트래킹 마크의 위치를 확인하여, 해당 트래킹 마크의 위치가 특정 오브젝트(사람, 장소, 물건, 지정 위치 등)의 위치에 대응되면, 집중도를 낮게 평가하지 않을할 수 있다. 반대로, 해당 트래킹 마크의 위치가 오브젝트가 없는 빈 공간을 주시하거나 특별한 의미가 부여되지 않은 곳에 게속하여 위치하면, 상기 집중도가 낮은 것으로 판단할 수 있다.

관리자 단말(150)은 등록된 모든 확장현실 기기의 현재 트래킹 마크의 위치를 식별하되, 식별된 각 확장현실 기기의 트래킹 마크와 현저히 떨어진 위치에 존재하는 트래킹 마크의 해당 확장현실 기기는 집중도가 낮은 것으로 판단할 수 있다. 또는 상기 판단 과정에서 각 확장현실 기기의 식별된 트래킹 마크의 평균값을 산정하여, 평균값에서 임계값 이상 차이나는 확장현실 기기를 집중도가 낮은 확장현실 기기로 판단할 수 있다.

실시 예에 따라, 도 3 내지 10에 도시된 순서와 다르게 동작되거나 일부 동작은 동시에 이루어질 수도 있다.

그 밖에, 도 3 내지 도 10의 각 실시 예는, 서로 상충되지 않는 동작 범위 내에서 조합되어 새로운 실시 예를 생성할 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

100 : 확장현실 기기
150 : 관리자 단말
210 : 메모리
220 : 프로세서

Claims (10)

1. 관리자 단말에서, 사용자의 집중도에 따라 케어 콘텐츠를 통한 치료 효과를 높이기 위한 등록된 복수 개의 확장현실 기기들을 관리 및 제어하는 방법에 있어서,
   상기 각 확장현실 기기에 케어 콘텐츠 재생 명령을 전송하는 단계;
   상기 각 확장현실 기기로부터 재생 중인 케어 콘텐츠를 시청하는 사용자의 시선 좌표 데이터를 수신하는 단계;
   상기 각 확장현실 기기에서 재생 중인 케어 콘텐츠와 상기 수신한 해당 기기 사용자의 시선 좌표 데이터 기반 트래킹 마크를 화면상에 출력하는 단계; 및
   상기 각 확장현실 기기 사용자의 집중도에 따라 해당 확장현실 기기에 제어 신호를 전송하는 단계를 포함하되,
   상기 각 확장현실 기기 사용자의 집중도는,
   상기 각 확장현실 기기의 현재 트래킹 마크의 좌표값을 획득하고, 상기 획득된 각 확장현실 기기의 현재 트래킹 마크의 좌표값과 상기 케어 콘텐츠 재생 시간에 싱크되어 미리 정의된 프리셋의 좌표값의 차이값을 기준으로 판단, 및
   상기 케어 콘텐츠가 특정 주기로 반복 재생되는 콘텐츠 또는 시리즈물인 경우에는, 각 회차별 트래킹 마크의 움직임 데이터를 획득하여,
   i) 상기 획득한 각 회차별 트래킹 마크의 움직임 데이터를 기준으로 판단되는 콘텐츠 적응도와,
   ii) 상기 획득된 각 회차별 트래킹 마크의 움직임 데이터의 평균값, 상기 평균값은 전체 재생 구간 또는 상기 전체 재생 구간 중 미리 설정된 재생 구간에서의 트래킹 마크의 움직임 데이터 평균값을 나타내고, 상기 미리 설정된 재생 구간은 재생 시작 시점으로부터 초기 일정 구간, 재생 종료 시점 이전의 일정 구간, 중요 오브젝트가 출현하는 시점의 이전 및 이후까지 구간, 상기 관리자 단말에서 설정한 구간이나 돌발 구간 중 적어도 하나 이상을 이용하여 판단되고,
   상기 각 확장현실 기기 사용자의 집중도는, 상기 각 확장현실 기기의 지연 시간 정보를 더 참조하여 판단되고,
   상기 케어 콘텐츠는, 중요도에 따라 각 진단 구간의 사이즈가 균등하지 않은 중요 진단 구간과 비중요 진단 구간을 포함한 복수의 진단 구간이 포함되도록 설정되고, 상기 각 확장현실 기기의 현재 재생 위치 정보가 수신되면, 모든 확장현실 기기의 콘텐츠 재생 위치가 일치되도록 하여 상기 사용자의 집중도를 일괄 관리할 수 있도록 상기 각 확장 현실 기기의 콘텐츠 재생 속도를 제어하여, 상기 모든 확장현실 기기의 콘텐츠 재생 위치가 일치되면 상기 사용자의 집중도 판단을 시작하도록 제어하되,
   상기 각 확장현실 기기의 재생 속도는, i) 상기 수신된 현재 재생 위치가 가장 늦은 확장현실 기기의 상기 재생 위치가 속한 진단 구간의 다음 진단 구간, ii) 상기 수신된 현재 재생 위치가 가장 빠른 확장현실 기기의 상기 재생 위치가 속한 진단 구간의 다음 진단 구간, 및 iii) 모든 확장현실 기기에 대해 수신된 현재 재생 위치의 평균 재생 위치가 속한 진단 구간의 다음 진단 구간, 중 어느 하나의 진단 구간의 시작점에 해당하는 재생 위치에, 모든 확장현실 기기의 재생 위치가 미리 설정된 시간 내에 도달하도록 개별 제어되는,
   관리자 단말에서 사용자의 집중도에 따라 등록된 복수 개의 확장현실 기기들을 관리 및 제어하는 방법.
2. 제1항에 있어서,
   상기 케어 콘텐츠의 각 회차별 트래킹 마크의 움직임 데이터는,
   유도 음성 제공에 따른 상기 트래킹 마크의 이동에 따른 반응 시간 데이터와 각 확장현실 기기별 지연 시간 판단 기준 값 조정을 참조하여 산출되는,
   관리자 단말에서 사용자의 집중도에 따라 등록된 복수 개의 확장현실 기기들을 관리 및 제어하는 방법.
3. 제2항에 있어서,
   상기 케어 콘텐츠 재생 화면 내 임의의 영역에 타겟 박스가 제공되는 단계; 및
   현재 트래킹 마크의 위치에서 상기 제공된 타겟 박스까지 이동 여부와 이동 시간을 측정하는 단계;를 더 포함하는,
   관리자 단말에서 사용자의 집중도에 따라 등록된 복수 개의 확장현실 기기들을 관리 및 제어하는 방법.
4. 제3항에 있어서,
   상기 임의의 영역은,
   상기 현재 트래킹 마크의 위치를 기준으로 미리 설정된 거리에 설정되는,
   관리자 단말에서 사용자의 집중도에 따라 등록된 복수 개의 확장현실 기기들을 관리 및 제어하는 방법.
5. 삭제
6. 제4항에 있어서,
   상기 임의의 영역은,
   상기 케어 콘텐츠의 재생 화면 내 미리 설정된 오브젝트를 포함하도록 설정되는,
   관리자 단말에서 사용자의 집중도에 따라 등록된 복수 개의 확장현실 기기들을 관리 및 제어하는 방법.
7. 제6항에 있어서,
   상기 산출된 케어 콘텐츠의 각 회차별 트래킹 마크의 움직임 데이터 기반 집중도 평가 기반 적응도 향상 여부를 판단하고, 상기 판단 결과 적응도가 향상된 것으로 식별되지 않으면, 해당 회차의 재생 종료 이후에 연계 활동 콘텐츠를 제공하고,
   상기 제공된 연계 활동 콘텐츠 후에 상기 적응도 향상 여부를 재판단하고,
   상기 재판단 결과 적응도가 향상되지 않았으면, 오토포커싱 알고리즘을 실행하는,
   관리자 단말에서 사용자의 집중도에 따라 등록된 복수 개의 확장현실 기기들을 관리 및 제어하는 방법.
8. 삭제
9. 사용자의 집중도에 따라 케어 콘텐츠를 통한 치료 효과를 높이기 위한 등록된 복수 개의 확장현실 기기들을 관리 및 제어하는 관리자 단말에 있어서,
   메모리; 및
   프로세서를 포함하되,
   상기 프로세서는, 상기 각 확장현실 기기에 케어 콘텐츠 재생 명령을 전송하고, 상기 각 확장현실 기기로부터 재생 중인 케어 콘텐츠를 시청하는 사용자의 시선 좌표 데이터를 수신하여, 상기 각 확장현실 기기에서 재생 중인 케어 콘텐츠와 상기 수신한 해당 기기 사용자의 시선 좌표 데이터 기반 트래킹 마크를 화면상에 출력하고, 상기 각 확장현실 기기 사용자의 집중도에 따라 해당 확장현실 기기에 제어 신호를 전송하되,
   상기 각 확장현실 기기 사용자의 집중도는,
   상기 각 확장현실 기기의 현재 트래킹 마크의 좌표값을 획득하고, 상기 획득된 각 확장현실 기기의 현재 트래킹 마크의 좌표값과 상기 케어 콘텐츠 재생 시간에 싱크되어 미리 정의된 프리셋의 좌표값의 차이값을 기준으로 판단, 및
   상기 케어 콘텐츠가 특정 주기로 반복 재생되는 콘텐츠 또는 시리즈물인 경우에는, 각 회차별 트래킹 마크의 움직임 데이터를 획득하여,
   i) 상기 획득한 각 회차별 트래킹 마크의 움직임 데이터를 기준으로 판단되는 콘텐츠 적응도와,
   ii) 상기 획득된 각 회차별 트래킹 마크의 움직임 데이터의 평균값, 상기 평균값은 전체 재생 구간 또는 상기 전체 재생 구간 중 미리 설정된 재생 구간에서의 트래킹 마크의 움직임 데이터 평균값을 나타내고, 상기 미리 설정된 재생 구간은 재생 시작 시점으로부터 초기 일정 구간, 재생 종료 시점 이전의 일정 구간, 중요 오브젝트가 출현하는 시점의 이전 및 이후까지 구간, 상기 관리자 단말에서 설정한 구간이나 돌발 구간 중 적어도 하나 이상을 이용하여 판단하고,
   상기 각 확장현실 기기 사용자의 집중도는, 상기 각 확장현실 기기의 지연 시간 정보를 더 참조하여 판단하고,
   상기 케어 콘텐츠는, 중요도에 따라 각 진단 구간의 사이즈가 균등하지 않은 중요 진단 구간과 비중요 진단 구간을 포함한 복수의 진단 구간이 포함되도록 설정하고, 상기 각 확장현실 기기의 현재 재생 위치 정보가 수신되면, 모든 확장현실 기기의 콘텐츠 재생 위치가 일치되도록 하여 상기 사용자의 집중도를 일괄 관리할 수 있도록 상기 각 확장 현실 기기의 콘텐츠 재생 속도를 제어하여, 상기 모든 확장현실 기기의 콘텐츠 재생 위치가 일치되면 상기 사용자의 집중도 판단을 시작하도록 제어하되,
   상기 각 확장현실 기기의 재생 속도는, i) 상기 수신된 현재 재생 위치가 가장 늦은 확장현실 기기의 상기 재생 위치가 속한 진단 구간의 다음 진단 구간, ii) 상기 수신된 현재 재생 위치가 가장 빠른 확장현실 기기의 상기 재생 위치가 속한 진단 구간의 다음 진단 구간, 및 iii) 모든 확장현실 기기에 대해 수신된 현재 재생 위치의 평균 재생 위치가 속한 진단 구간의 다음 진단 구간, 중 어느 하나의 진단 구간의 시작점에 해당하는 재생 위치에, 모든 확장현실 기기의 재생 위치가 미리 설정된 시간 내에 도달하도록 개별 제어하는,
   사용자의 집중도에 따라 등록된 복수 개의 확장현실 기기들을 관리 및 제어하는 관리자 단말.
10. 관리자 단말에 미리 등록되었으며 케어 콘텐츠를 재생하는 복수 개의 확장현실 기기들; 및
    사용자의 집중도에 따라 케어 콘텐츠를 통한 치료 효과를 높이기 위한 상기 복수 개의 확장현실 기기들을 제어하는 관리자 단말을 포함하되,
    상기 관리자 단말은, 상기 각 확장현실 기기에 케어 콘텐츠 재생 명령을 전송하고, 상기 각 확장현실 기기로부터 재생 중인 케어 콘텐츠를 시청하는 사용자의 시선 좌표 데이터를 수신하여, 상기 각 확장현실 기기에서 재생 중인 케어 콘텐츠와 상기 수신한 해당 기기 사용자의 시선 좌표 데이터 기반 트래킹 마크를 화면상에 출력하고, 상기 각 확장현실 기기 사용자의 집중도에 따라 해당 확장현실 기기에 제어 신호를 전송하되, 상기 각 확장현실 기기 사용자의 집중도를 상기 각 확장현실 기기의 현재 트래킹 마크의 좌표값을 획득하고, 상기 획득된 각 확장현실 기기의 현재 트래킹 마크의 좌표값과 상기 케어 콘텐츠 재생 시간에 싱크되어 미리 정의된 프리셋의 좌표값의 차이값을 기준으로 판단, 및 상기 케어 콘텐츠가 특정 주기로 반복 재생되는 콘텐츠 또는 시리즈물인 경우에는, 각 회차별 트래킹 마크의 움직임 데이터를 획득하여, i) 상기 획득한 각 회차별 트래킹 마크의 움직임 데이터를 기준으로 판단되는 콘텐츠 적응도와, ii) 상기 획득된 각 회차별 트래킹 마크의 움직임 데이터의 평균값, 상기 평균값은 전체 재생 구간 또는 상기 전체 재생 구간 중 미리 설정된 재생 구간에서의 트래킹 마크의 움직임 데이터 평균값을 나타내고, 상기 미리 설정된 재생 구간은 재생 시작 시점으로부터 초기 일정 구간, 재생 종료 시점 이전의 일정 구간, 중요 오브젝트가 출현하는 시점의 이전 및 이후까지 구간, 상기 관리자 단말에서 설정한 구간이나 돌발 구간 중 적어도 하나 이상,을 이용하여 판단하는 프로세서를 포함하고,
    상기 프로세서는, 상기 각 확장현실 기기 사용자의 집중도를 상기 각 확장현실 기기의 지연 시간 정보를 더 참조하여 판단하고,
    상기 케어 콘텐츠는, 중요도에 따라 각 진단 구간의 사이즈가 균등하지 않은 중요 진단 구간과 비중요 진단 구간을 포함한 복수의 진단 구간이 포함되도록 설정하고, 상기 각 확장현실 기기의 현재 재생 위치 정보가 수신되면, 모든 확장현실 기기의 콘텐츠 재생 위치가 일치되도록 하여 상기 사용자의 집중도를 일괄 관리할 수 있도록 상기 각 확장 현실 기기의 콘텐츠 재생 속도를 제어하여, 상기 모든 확장현실 기기의 콘텐츠 재생 위치가 일치되면 상기 사용자의 집중도 판단을 시작하도록 제어하되,
    상기 각 확장현실 기기의 재생 속도는, i) 상기 수신된 현재 재생 위치가 가장 늦은 확장현실 기기의 상기 재생 위치가 속한 진단 구간의 다음 진단 구간, ii) 상기 수신된 현재 재생 위치가 가장 빠른 확장현실 기기의 상기 재생 위치가 속한 진단 구간의 다음 진단 구간, 및 iii) 모든 확장현실 기기에 대해 수신된 현재 재생 위치의 평균 재생 위치가 속한 진단 구간의 다음 진단 구간, 중 어느 하나의 진단 구간의 시작점에 해당하는 재생 위치에, 모든 확장현실 기기의 재생 위치가 미리 설정된 시간 내에 도달하도록 개별 제어하는,
    사용자의 집중도에 따라 복수 개의 확장현실 기기 제어 시스템.

Images