KR20230090861A - 사용자의 생체 정보를 활용한 vr 및 ar 게임 컨텐츠 평가 방법 및 장치 - Google Patents

사용자의 생체 정보를 활용한 vr 및 ar 게임 컨텐츠 평가 방법 및 장치 Download PDF

Info

Publication number
KR20230090861A
KR20230090861A KR1020210179992A KR20210179992A KR20230090861A KR 20230090861 A KR20230090861 A KR 20230090861A KR 1020210179992 A KR1020210179992 A KR 1020210179992A KR 20210179992 A KR20210179992 A KR 20210179992A KR 20230090861 A KR20230090861 A KR 20230090861A
Authority
KR
South Korea
Prior art keywords
user
virtual reality
biometric information
information
gaze
Prior art date
Application number
KR1020210179992A
Other languages
English (en)
Inventor
김정윤
강호성
Original Assignee
주식회사 넥스텝스튜디오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 넥스텝스튜디오 filed Critical 주식회사 넥스텝스튜디오
Priority to KR1020210179992A priority Critical patent/KR20230090861A/ko
Publication of KR20230090861A publication Critical patent/KR20230090861A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Biophysics (AREA)
  • Primary Health Care (AREA)
  • Cardiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 방법은, (a) 사용자의 가상현실 컨텐츠에 대한 시선 정보 및 상기 사용자의 생체 정보 중 적어도 하나를 수신하는 단계; 및 (b) 상기 사용자의 시선 정보 및 생체 정보 중 적어도 하나를 시각화하는 단계;를 포함할 수 있다.

Description

사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 방법 및 장치{A method and apparatus for evaluating VR and AR game contents using user's human body information}
본 발명은 사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 방법 및 장치에 관한 것으로, 더욱 상세하게는 사용자의 시선 정보와 생체 정보를 가공하고 시각화하여 활용하기 위한 방법 및 장치에 관한 것이다.
ICT 기술의 발전과 5G의 고용량 전송, 빠른 속도의 네트워크 서비스가 상용화의 시작으로 스마트팩토리, 드론, 콘서트, 스포츠 중계 서비스 등의 분야에 가상현실 컨텐츠의 활용 분야가 확장되고 있다.
가상현실 기술은 HMD(Head Mounted Display)를 통해 현실 세계와 유사한 디스플레이 환경과 디바이스의 상호작용을 통해 몰입감과 현존감을 극대화 할 수 있는 특징을 가지고 있다.
또한, 가상환경에서 간접적으로 체험 할 수 있다는 특징을 통해 위험에 노출 없이 위험이 큰 산업 분야의 교육을 진행 할 수 있어 직접 체험하기에 힘든 재난 안전교육을 가상체험을 통해 재난 및 사고 상황의 대처능력을 향상할 수 있다. 이러한 가상현실 기술의 특징을 활용하여 여러 분야에서 연구가 활발히 진행되고 있다.
또한, 가상현실 기술을 기반으로 한 컨텐츠는 흥미 위주의 컨텐츠에 국한된 것 아닌 정보전달, 교육, 안전, 치료 등 여러 분야에서 다양하게 활용될 수 있어 가상현실을 융합하여 고도화 연구가 진행되고 있다.
그러나, 여러 연구에서 가상현실 컨텐츠를 체험하는 사용자 또는 실험대상의 반응과 사용성 또는 효과성을 측정을 통해 연구 결과를 도출해야 하지만 이를 측정하는 지표 또는 기술이 부족한 실정이다.
[특허문헌 1] 한국공개특허 제10-2020-0012561호
본 발명은 전술한 문제점을 해결하기 위하여 창출된 것으로, 사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 방법 및 장치를 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 가상현실 단말을 착용한 사용자의 가상현실 컨텐츠에 대한 시선 정보 및 생체 정보(예: 심박수) 중 적어도 하나를 수집하여 시각화하기 위한 방법 및 장치를 제공하는 것을 그 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상기한 목적들을 달성하기 위하여, 본 발명의 일 실시예에 따른 사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 방법은, (a) 가상현실 단말을 착용한 사용자의 가상현실 컨텐츠에 대한 시선 정보 및 상기 사용자의 생체 정보 중 적어도 하나를 수신하는 단계; 및 (b) 상기 사용자의 시선 정보 및 생체 정보 중 적어도 하나를 시각화하는 단계;를 포함할 수 있다.
실시예에서, 상기 사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 방법은, 상기 (a) 단계 이후에, 상기 사용자의 시선 정보 및 생체 정보 중 적어도 하나에 기반하여, 상기 사용자의 가상현실 컨텐츠에 대한 사용자 평가 항목에 대한 품질 평가 값을 결정하는 단계;를 더 포함할 수 있다.
실시예에서, 사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 방법은, 상기 (a) 단계 이후에, 상기 사용자의 시선 정보 및 생체 정보 중 적어도 하나에 기반하여, 상기 가상현실 컨텐츠에 대한 상기 사용자의 주시 대상 객체 및 행동 패턴을 결정하는 단계; 및 상기 사용자의 주시 대상 객체 및 행동 패턴에 기반하여, 상기 가상현실 컨텐츠에 대한 실행 정보를 조절하는 단계;를 더 포함할 수 있다.
실시예에서, 사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 방법은, 상기 (a) 단계 이후에, 상기 사용자의 시선 정보 및 생체 정보 중 적어도 하나에 기반하여, 상기 사용자의 위험 상황의 발생 여부를 결정하는 단계; 및 상기 위험 상황이 발생하는 경우, 상기 가상현실 컨텐츠의 실행 중단 알림 및 상황 알림 중 적어도 하나를 상기 가상현실 단말에게 송신하는 단계;를 더 포함할 수 있다.
실시예에서, 상기 사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 방법은, 상기 (a) 단계 이후에, 상기 사용자의 시선 정보 및 생체 정보 중 적어도 하나에 기반하여, 상기 사용자에 대응하는 가상현실 컨텐츠를 결정하는 단계; 및 상기 사용자에 대응하는 가상현실 컨텐츠를 상기 가상현실 단말에게 송신하는 단계;를 더 포함할 수 있다.
실시예에서, 사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 장치는, 사용자의 가상현실 컨텐츠에 대한 시선 정보 및 상기 사용자의 생체 정보 중 적어도 하나를 수신하는 통신부; 및 상기 사용자의 시선 정보 및 생체 정보 중 적어도 하나를 시각화하는 출력부;를 포함할 수 있다.
실시예에서, 상기 사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 장치는, 상기 사용자의 시선 정보 및 생체 정보 중 적어도 하나에 기반하여, 상기 사용자의 가상현실 컨텐츠에 대한 사용자 평가 항목에 대한 품질 평가 값을 결정하는 제어부;를 더 포함할 수 있다.
실시예에서, 상기 사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 장치는, 상기 사용자의 시선 정보 및 생체 정보 중 적어도 하나에 기반하여, 상기 가상현실 컨텐츠에 대한 상기 사용자의 주시 대상 객체 및 행동 패턴을 결정하고, 상기 사용자의 주시 대상 객체 및 행동 패턴에 기반하여, 상기 가상현실 컨텐츠에 대한 실행 정보를 조절하는 제어부;를 더 포함할 수 있다.
실시예에서, 상기 사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 장치는, 상기 사용자의 시선 정보 및 생체 정보 중 적어도 하나에 기반하여, 상기 사용자의 위험 상황의 발생 여부를 결정하는 제어부;를 더 포함하고, 상기 통신부는, 상기 위험 상황이 발생하는 경우, 상기 가상현실 컨텐츠의 실행 중단 알림 및 상황 알림 중 적어도 하나를 상기 가상현실 단말에게 송신할 수 있다.
실시예에서, 상기 사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 장치는, 상기 사용자의 시선 정보 및 생체 정보 중 적어도 하나에 기반하여, 상기 사용자에 대응하는 가상현실 컨텐츠를 결정하는 제어부;를 더 포함하고, 상기 통신부는, 상기 사용자에 대응하는 가상현실 컨텐츠를 상기 가상현실 단말에게 송신할 수 있다.
상기한 목적들을 달성하기 위한 구체적인 사항들은 첨부된 도면과 함께 상세하게 후술될 실시예들을 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구성될 수 있으며, 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자(이하, "통상의 기술자")에게 발명의 범주를 완전하게 알려주기 위해서 제공되는 것이다.
본 발명의 일 실시예에 의하면, 사용자의 생체 정보를 바탕으로 사용자의 소비 패턴이나 컨텐츠 사용 성향을 분석하여 관심 분야에 맞는 컨텐츠를 추천할 수 있다.
또한, 본 발명의 일 실시예에 의하면, 사용자의 생체 정보를 수집하여 데이터를 축적하고 이를 정보로 가공하여 시각화하여 사용성 평가에 활용할 수 있다.
본 발명의 효과들은 상술된 효과들로 제한되지 않으며, 본 발명의 기술적 특징들에 의하여 기대되는 잠정적인 효과들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
도 1a 및 1b는 본 발명의 일 실시예에 따른 사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 시스템을 도시한 도면이다.
도 2a 및 2b는 본 발명의 일 실시예에 따른 사용자 정보 시각화 솔루션 과정을 도시한 도면이다.
도 3a 내지 3c는 본 발명의 일 실시예에 따른 사용자의 시선 정보 및 심박수의 예를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 사용자 평가 항목에 대한 품질 평가 값 결정의 예를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 방법을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 장치의 기능적 구성을 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고, 여러 가지 실시예들을 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
청구범위에 개시된 발명의 다양한 특징들은 도면 및 상세한 설명을 고려하여 더 잘 이해될 수 있을 것이다. 명세서에 개시된 장치, 방법, 제법 및 다양한 실시예들은 예시를 위해서 제공되는 것이다. 개시된 구조 및 기능상의 특징들은 통상의 기술자로 하여금 다양한 실시예들을 구체적으로 실시할 수 있도록 하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다. 개시된 용어 및 문장들은 개시된 발명의 다양한 특징들을 이해하기 쉽게 설명하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다.
본 발명을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
이하, 본 발명의 일 실시예에 따른 사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 방법 및 장치를 설명한다.
도 1a 및 1b는 본 발명의 일 실시예에 따른 사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 시스템(100)을 도시한 도면이다.
도 1a 및 1b를 참고하면, 컨텐츠 평가 시스템(100)은, 가상현실 단말(110), 서버(120) 및 관리자 서버(130)를 포함할 수 있다.
예를 들어, 가상현실 단말(110)은 HMD(Head Mounted Display)를 포함할 수 있다. 일 실시예에서, 가상현실 단말(110)은 내부에 사용자의 동공을 추적할 수 있는 아이트래킹 모듈을 포함할 수 있다. 이 경우, 가상현실 단말(110)은 가상현실 단말(110)에 내부에 포함된 카메라로부터 획득된 사용자의 이미지를 사용하여 동공의 2차원 추적과 이 결과를 이용한 3차원 시점 벡터를 추적하여 시선 정보를 산출할 수 있다.
또한, 가상현실 단말(110)은 입술의 모양을 검출하기 위해 영상의 중심부에 나타나는 에지를 기준으로 밝은 영역에서 어두운 영역으로 변환하는 곳을 찾은 영역의 에지 정보로 입술의 모양을 추출하는 방식의 인체신호 데이터 추출하여 사용자가 가상현실 컨텐츠의 대한 표정 변화 등을 예측하여 관심도 정보를 산출할 수 있다.
일 실시예에서, 가상현실 단말(110)은 심박수 센서를 포함할 수 있다. 이에, 가상현실 단말(110)은 사용자의 시선 정보 및 심박수의 2가지의 데이터를 수집할 수 있다.
이후, 가상현실 단말(110)은 수집한 데이터를 서버(120) 및 관리자 단말(130) 중 적어도 하나에게 전송할 수 있다. 서버(120)는 서버(120)의 데이터베이스에 수신된 데이터를 저장할 수 있다.
일 실시예에서, 가상현실 단말(110)은 시각화를 위해 데이터를 분석하여 시각화 솔루션을 수행할 수 있다.
일 실시예에서, 관리자 단말(130)은 DB화 되어 있는 데이터를 가져와서 파싱하고 차트를 표현하기 알맞은 데이터로 가공하여 표시하고자 하는 타임라인에 맞게 데이터를 선별하여 시각화할 수 있다.
일 실시예에서, 관리자 단말(130)은 시선 정보와 생체 정보(예: 심박수)가 혼합된 데이터를 표시하기 위한 알맞은 차트를 선택하고 타임라인에 따라 시각과 맥박이 변하는 정보를 차트를 통해 나타낼 수 있다.
일 실시예에서, 정확한 지표측정과 분석을 위하여 가상현실 컨텐츠의 사용자의 시선 정보 및 생체 정보는 시각화되어 사용성 평가 값을 결정하기 위해 사용될 수 있다.
사용자의 시선 정보 및 생체 정보는, 사람이 보는 것과 비슷한 방식의 가상현실 컨텐츠의 화면 재생과 시선을 이용한 자연스러운 UI/UX를 구현하기 위해 사용될 수 있다.
또한, 사용자의 시선 정보 및 생체 정보는, 사용자의 소비 패턴이나 컨텐츠 사용 성향을 분석하여 관심 분야에 맞는 가상현실 컨텐츠를 추천하기 위해 사용될 수 있다.
일 실시예에서, 교육, 연구, 게임 등 다양한 가상현실 컨텐츠에 대하여, 컨텐츠 사용 중 사용자의 시선 정보 및 생체 정보는 컨텐츠 진행 상황에서 사용자의 주시 대상이나 행동 패턴을 확인하기 위해 사용될 수 있으며, 가상현실 컨텐츠가 의도한 상황에 맞게 동작하는지 확인하고 사용자가 보다 흥미를 가질 수 있게 가상현실 컨텐츠의 설정을 조절할 수 있다.
도 2a 및 2b는 본 발명의 일 실시예에 따른 사용자 정보 시각화 솔루션 과정을 도시한 도면이다.
도 2a 및 2b를 참고하면, 가상현실 컨텐츠에 대한 사용자의 아이트래킹을 통한 시선 정보, 심박수를 수집할 수 있다.
아이트래킹과 심박수 측정을 통해 사용자가 가상현실 컨텐츠를 체험하는 동안 실시간으로 생체 정보를 수집하고 이를 분석하여 시각화하여 사용성 평가에 활용할 수 있다.
일 실시예에서, 외부 전자 장치와의 결합을 통해 인터페이스 레이어(Interface Layer)를 설계하여 더 많은 생체 정보를 측정할 수 있도록 확장할 수 있다.
서버(120)는 사용자가 가상현실 컨텐츠를 체험하면서 수집된 데이터를 실시간으로 시간 단위로 저장하여 지속적으로 데이터를 분류하고 수집하여 데이터베이스화를 진행할 수 있다.
예를 들어, 서버(120)의 데이터베이스에 실시간으로 저장되는 데이터는 <표 1>과 같이 나타낼 수 있다.
Type Key Columns
User
Biosignal
data		 ID User Number
Eye tracking info
Pupil Rate
- Max Heart Rate
- Min Heart Rate ...
도 3a 내지 3c는 본 발명의 일 실시예에 따른 사용자의 시선 정보 및 심박수의 예를 도시한 도면이다.
도 3a 내지 3c를 참고하면, 아이트래킹(Eye Tracking)은 사람의 안구에서 시선과 관련된 움직임을 추적하여 기록하는 것을 의미하며 컴퓨터 비전 기술 및 하드웨어를 이용하여 사용자 물체인식, 인지정보, 선호도 등 여러 사람의 생체 정보를 수집 할 수 있다.
도 3a를 참고하면, 사용성 평가를 위한 시각화 솔루션을 통해 관리자 단말(130)은 데이터베이스화되어 있는 데이터를 타임라인 기반으로 구성할 수 있다.
이 경우, 시선 정보와 생체 정보를 포함하는 데이터는 실시간으로 변화될 수 있으며, 예를 들어, CSV, JSON, XML 형태의 데이터로 저장될 수 있다.
관리자 단말(130)은 DB화 되어 있는 데이터를 가져와서 파싱하고 차트를 표현하기 알맞은 데이터로 가공하여 표시하고자 하는 타임라인에 맞게 데이터를 선별하여 제공할 수 있다.
관리자 단말(130)은 아이트래킹과 심박수가 혼합된 데이터를 실시간으로 비주얼하게 표현될 수 있도록 도 3a와 같이 타임라인에 따라 시각과 심박수가 변하는 정보를 차트를 통해 확인할 수 있다.
도 3b를 참고하면, 관리자 단말(130)은 사용자의 시선을 측정함으로써 사용자의 시선과 생체 신호를 함께 테스트할 수 있다.
관리자 단말(130)은 사용자에 대한 아이트래킹(eye-tracking)을 통해 사용자의 동공 영역을 추출하고, 동공 영역에 대한 2차원 타원 값을 결정할 수 있다.
이후, 관리자 단말(130)은 2차원 타원 값에 기반하여 3차원 동공 중심을 결정함으로써 사용자의 시선에 대한 방향 벡터를 상기 사용자의 시선 정보로 산출할 수 있다.
도 3c를 참고하면, 심박수(Heart Rate)는 단위 시간당 심장 박동 수를 기록한 데이터로 BPM(Beat Per Minute)의 단위로 표현될 수 있다. 심박수는 의료분야에선 사용자의 인체 상태를 측정 및 검사하는데 사용되는 데이터이며 심박수의 변화 따라 행동에 있어 피로도와 스트레스 등을 측정하는 지표로 사용될 수 있다.
일 실시예에서, 게임컨텐츠 분야의 경우, 역학적 상호작용과 게임 경험 관계에 대하여, 관리자 단말(130)은 사용자가 게임을 수행하는 중 심박수를 측정하여 각성 정도를 측정하였으며 심박수를 통해 주의집중 정도를 파악하여 분석 결과를 도출할 수 있다.
가상현실 컨텐츠를 이용하는 사용자는 일반적인 컨텐츠보다 상호작용이 많으며 신체적인 움직임을 요구하는 상황이 많이 발생할 수 있다.
이러한 가상현실 컨텐츠의 사용성을 평가하기 위하여 관리자 단말(130)은 각각의 상황에 따라 사용자의 스트레스, 피로도 등의 인체 반응에 대해서 데이터를 수집하고 사용자의 변화되는 정보를 측정할 수 있다.
일 실시예에서, 관리자 단말(130)은 상기 사용자의 심박 신호를 획득하고, 상기 심박 신호의 파형에 기반하여 심박수를 산출할 수 있다.
구체적으로, 관리자 단말(130)은 가상현실 단말(110)을 착용한 사용자의 실시간으로 심박수를 측정하고 생체 정보 데이터를 서버(120)와 관리자 단말(130) 중 적어도 하나에게 전송하여 데이터를 수집할 수 있다.
관리자 단말(130)은 심박수 각각의 일정한 시간 간격을 바탕으로 상승과 하강을 구분하여 심박수를 계산하고, 실시간으로 심박수의 변화를 측정할 수 있다.
도 4는 본 발명의 일 실시예에 따른 사용자 평가 항목에 대한 품질 평가 값 결정의 예를 도시한 도면이다.
도 4를 참고하면, 관리자 서버(130)는 사용자의 시선 정보 및 생체 정보 중 적어도 하나에 기반하여, 사용자의 가상현실 컨텐츠에 대한 사용자 평가 항목에 대한 품질 평가 값을 결정할 수 있다.
가상현실 컨텐츠는 하드웨어와 융합하여 급속도로 발전하고 있기 때문에 ISO/IEC 9126 표준 또는 개정된 ISO/IEC 25010 표준이 품질 평가에 활용될 수 있다.
ISO/IEC 9126은 소프트웨어 품질의 특성과 평가의 메트릭을 정의한 국제 표준으로 사용자와 개발자 관점에서 본 소프트웨어의 품질 특성에 관해 설명하고 있으며, 이 표준에서는 소프트웨어의 품질을 측정하기 위해서 소프트웨어의 품질 결정 요인과 특성이 정의될 수 있다.
가상현실 컨텐츠도 소프트웨어 범주에 있기 때문에, 관리자 단말(130)은 ISO/IEC 표준의 사용성 평가 항목의 기준을 가상현실 컨텐츠에 맞게 부분적으로 활용하여 사용성 평가 항목에 대한 품질 평가 값을 결정할 수 있다.
일 실시예에서, 관리자 단말(130)은 소프트웨어 평가 기준과 사용자 경험요소 부분에서의 가상현실 컨텐츠의 심리적 경험요소(현존감, 상호작용), 휴먼팩터 요소(어지럼증, 멀미)를 고려하여 용성 평가 항목에 대한 품질 평가 값을 결정할 수 있다.
예를 들어, 사용성 평가 항목은, 기능성(functionality), 신뢰성(Reliability), 사용성(usability), 효용성(efficiency), 유지 보수성(maintainability), 휴대성(Portability)을 포함할 수 있다.
일 실시예에서, 관리자 단말(130)은 각 사용성 평가 항목에 대하여, 사용자의 시선 정보 및 생체 정보의 값에 따라, 각 사용성 평가 항목에 대응하는 품질 평가 값을 결정할 수 있다.
일 실시예에서, 관리자 단말(130)은 각 사용성 평가 항목에 대하여, 사용자의 시선 정보 및 생체 정보의 값을 각 임계값과 비교하여 각 사용성 평가 항목에 대응하는 품질 평가 값을 결정할 수 있다.
도 5는 본 발명의 일 실시예에 따른 사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 방법을 도시한 도면이다. 일 실시예에서, 도 5의 각 단계는 도 1의 서버(120) 또는 관리자 단말(120)에 의해 수행될 수 있다.
도 5를 참고하면, S501 단계는, 가상현실 단말(110)을 착용한 사용자의 가상현실 컨텐츠에 대한 시선 정보 및 사용자의 생체 정보 중 적어도 하나를 수신하는 단계이다. 예를 들어, 생체 정보는 사용자의 심박수를 포함할 수 있지만, 이에 제한되지 않고 다양한 사용자의 생체 관련 정보를 포함할 수 있다.
S503 단계는, 사용자의 시선 정보 및 생체 정보 중 적어도 하나를 시각화하는 단계이다. 예를 들어, 사용자의 시선 정보 및 생체 정보 중 적어도 하나를 타임라인(timeline) 형식의 도표로 표현하거나 그래프 형태로 표현할 수 있다.
일 실시예에서, 사용자의 시선 정보 및 생체 정보 중 적어도 하나에 기반하여, 사용자의 가상현실 컨텐츠에 대한 사용자 평가 항목에 대한 품질 평가 값을 결정할 수 있다.
일 실시예에서, 사용자의 시선 정보 및 생체 정보 중 적어도 하나에 기반하여, 가상현실 컨텐츠에 대한 사용자의 주시 대상 객체 및 행동 패턴을 결정하고, 사용자의 주시 대상 객체 및 행동 패턴에 기반하여 가상현실 컨텐츠에 대한 실행 정보를 조절할 수 있다.
예를 들어, 실행 정보는, 가상현실 컨텐츠에 대한 난이도, 분위기 및 시야 중 적어도 하나를 포함할 수 있으나, 이에 제한되지 않고 다양한 설정 관련 정보를 포함할 수 있다.
일 실시예에서, 사용자의 시선 정보 및 생체 정보 중 적어도 하나에 기반하여, 사용자의 위험 상황의 발생 여부를 결정하고, 위험 상황이 발생하는 경우, 가상현실 컨텐츠의 실행 중단 알림 및 상황 알림 중 적어도 하나를 가상현실 단말(110)에게 송신할 수 있다.
일 실시예에서, 사용자의 시선 정보 및 생체 정보 중 적어도 하나에 기반하여, 사용자에 대응하는 가상현실 컨텐츠를 결정하고, 사용자에 대응하는 가상현실 컨텐츠를 가상현실 단말(110)에게 송신할 수 있다.
즉, 본 발명에 따르면, 사용자의 시선 정보 및 생체 정보 중 적어도 하나에 기반하여 사용자 맞춤형 가상현실 컨텐츠를 사용자에게 제공할 수 있다.
일 실시예에서, 사용자의 시선 정보가 가상현실 컨텐츠에 포함된 다수의 객체들 중 제1 객체로 향할 때, 사용자의 심박수가 임계값보다 커지는 경우, 사용자의 시선 정보에 대응하는 제1 객체를 가상현실 컨텐츠 상에서 제외하고, 상기 제외된 제1 객체를 대신하여, 일정 시간 동안 다수의 객체들 중 사용자의 시선 정보가 가장 많이 향하면서도 심박수가 임계값보다 커지지 않는 제2 객체를 가상현실 컨텐츠 상에 표시하도록 제어할 수 있다.
예를 들어, 가상현실 컨텐츠 상에서 사용자의 시선 정보가 제1 객체에 머물 때 지나치게 심박수가 올라가는 경우 불쾌감 또는 쇼크와 같은 위험을 방지하면서도, 이를 제외한 나머지 객체들 중 사용자의 관심도가 가장 높다고 생각되는 제2 객체를 표시함으로써 사용자 환경을 향상시킬 수 있다.
이 경우, 표시되는 제2 객체는 가상현실 컨텐츠에서의 이질감을 감소시키기 위하여, 제외된 제1 객체와 동일한 종류의 객체로 결정될 수 있다. 예를 들어, 객체의 종류는 사람, 동물, 식물 등 다양한 특성 종류를 포함할 수 있으나, 이에 제한되지 않고 다양하게 설정될 수 있다.
일 실시예에서, 가상현실 컨텐츠에 객체가 표시되는 경우, 사용자의 객체의 각 부분(예: 팔, 다리, 어깨)에 대한 시선 정보를 검출할 수 있다. 이 경우, 시선 정보가 객체의 각 부분에 대응하는 시점에서의 사용자의 생체 정보의 변화량에 따라 사용자의 객체의 각 부분에 대한 관심도 스코어를 산출할 수 있다.
관심도 스코어가 임계값보다 높은 경우, 객체의 해당 부분의 특성(예: 크기, 색상)을 조절하여 가상현실 컨텐츠에 표시하도록 제어하고, 조절되어 표시된 해당 부분에 대한 사용자의 생체 정보의 변화량에 따라 관심도 스코어를 재산출하여 객체의 해당 부분의 특성을 피드백(feedback)으로 다시 조절하여 가상현실 컨텐츠에 표시하도록 제어할 수 있다.
일 실시예에서, 가상현실 단말(110)에 포함된 센서를 통해 산출된 사용자의 동작 정보를 수신할 수 있으며, 사용자의 생체 정보의 변화량 중 사용자의 동작 정보에 의한 변화량은 보정될 수 있다. 즉, 사용자의 시선 정보에 따른 심박 수의 변화량이 아닌 사용자의 운동과 같은 동작 정보에 따른 심박 수의 변화량은 시선 정보와 무관하기 때문에 이를 보정하여 정확도를 높일 수 있다.
이를 통해, 가상현실 컨텐츠에 표히되는 객체의 각 부분에 대한 사용자의 시선 정보와 생체 정보를 검출하고 이를 피드백으로 하여 객체의 각 부분의 특성을 조절함으로써, 사용자가 가장 흥미있어 하는 객체를 사용자에게 제공할 수 있다.
예를 들어, 사용자가 객체 캐릭터의 긴 다리에 관심도 스코어가 높은 경우, 객체의 다리를 길게 조절하여 표시하고, 너무 긴 다리에는 관심도 스코어가 다시 낮아지는 경우, 객체의 다리를 다시 조금 더 짧게 조절하여 표시함으로써, 사용자가 가장 좋아하는 최적의 캐릭터를 맞춤형으로 최적화시킬 수 있다.
도 6은 본 발명의 일 실시예에 따른 사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 장치(600)의 기능적 구성을 도시한 도면이다. 일 실시예에서, 도 6의 컨텐츠 평가 장치(600)는 도 1의 서버(120) 또는 관리자 단말(120)에 의해 구현될 수 있다.
일 실시예에서, 도 6의 컨텐츠 평가 장치(700)는 도 1의 서버(120)와 관리자 단말(120)의 통합 형태로 구현될 수 있다.
도 6을 참고하면, 컨텐츠 평가 장치(600)는 통신부(610), 표시부(620), 제어부(630) 및 저장부(640)를 포함할 수 있다.
통신부(610)는 가상현실 단말(110)을 착용한 사용자의 가상현실 컨텐츠에 대한 시선 정보 및 상기 사용자의 생체 정보 중 적어도 하나를 수신할 수 있다.
일 실시예에서, 통신부(610)는 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다. 통신부(610)의 전부 또는 일부는 '송신부', '수신부' 또는 '송수신부(transceiver)'로 지칭될 수 있다.
표시부(620)는 사용자의 시선 정보 및 생체 정보 중 적어도 하나를 시각화할 수 있다.
일 실시예에서, 표시부(620)는 컨텐츠 평가 장치(600)에서 처리되는 정보를 나타낼 수 있다. 예를 들면, 표시부(620)는 액정 디스플레이(LCD; Liquid Crystal Display), 발광 다이오드(LED; Light Emitting Diode) 디스플레이, 유기 발광 다이오드(OLED; Organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; Micro Electro Mechanical Systems) 디스플레이 및 전자 종이(electronic paper) 디스플레이 중 적어도 어느 하나를 포함할 수 있다.
제어부(630)는 사용자의 시선 정보 및 생체 정보 중 적어도 하나에 기반하여, 사용자의 가상현실 컨텐츠에 대한 사용자 평가 항목에 대한 품질 평가 값을 결정할 수 있다.
일 실시예에서, 제어부(630)는 사용자의 시선 정보 및 생체 정보 중 적어도 하나에 기반하여, 가상현실 컨텐츠에 대한 사용자의 주시 대상 객체 및 행동 패턴을 결정하고, 사용자의 주시 대상 객체 및 행동 패턴에 기반하여, 가상현실 컨텐츠에 대한 실행 정보를 조절할 수 있다.
일 실시예에서, 제어부(630)는 사용자의 시선 정보 및 생체 정보 중 적어도 하나에 기반하여, 사용자의 위험 상황의 발생 여부를 결정할 수 있다.
일 실시예에서, 제어부(630)는 사용자의 시선 정보 및 생체 정보 중 적어도 하나에 기반하여, 사용자에 대응하는 가상현실 컨텐츠를 결정할 수 있다.
일 실시예에서, 제어부(630)는 적어도 하나의 프로세서 또는 마이크로(micro) 프로세서를 포함하거나, 또는, 프로세서의 일부일 수 있다. 또한, 제어부(630)는 CP(communication processor)라 지칭될 수 있다. 제어부(630)는 본 발명의 다양한 실시예에 따른 컨텐츠 평가 장치(600)의 동작을 제어할 수 있다.
저장부(640)는 사용자의 시선 정보 및 생체 정보 중 적어도 하나를 저장할 수 있다.
일 실시예에서, 저장부(640)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 저장부(640)는 제어부(630)의 요청에 따라 저장된 데이터를 제공할 수 있다.
도 6을 참고하면, 컨텐츠 평가 장치(600)는 통신부(610), 표시부(620), 제어부(630) 및 저장부(640)를 포함할 수 있다. 본 발명의 다양한 실시 예들에서 컨텐츠 평가 장치(600)는 도 6에 설명된 구성들이 필수적인 것은 아니어서, 도 6에 설명된 구성들보다 많은 구성들을 가지거나, 또는 그보다 적은 구성들을 가지는 것으로 구현될 수 있다.
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로, 통상의 기술자라면 본 발명의 본질적인 특성이 벗어나지 않는 범위에서 다양한 변경 및 수정이 가능할 것이다.
본 명세서에 개시된 다양한 실시예들은 순서에 관계없이 수행될 수 있으며, 동시에 또는 별도로 수행될 수 있다.
일 실시예에서, 본 명세서에서 설명되는 각 도면에서 적어도 하나의 단계가 생략되거나 추가될 수 있고, 역순으로 수행될 수도 있으며, 동시에 수행될 수도 있다.
본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라, 설명하기 위한 것이고, 이러한 실시예들에 의하여 본 발명의 범위가 한정되는 것은 아니다.
본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 이해되어야 한다.
100: 컨텐츠 평가 시스템
110: 가상현실 단말
120: 서버
130: 관리자 서버
600: 컨텐츠 평가 장치
610: 통신부
620: 표시부
630: 제어부
640: 저장부

Claims (10)

  1. (a) 가상현실 단말을 착용한 사용자의 가상현실 컨텐츠에 대한 시선 정보 및 상기 사용자의 생체 정보 중 적어도 하나를 수신하는 단계; 및
    (b) 상기 사용자의 시선 정보 및 생체 정보 중 적어도 하나를 시각화하는 단계;
    를 포함하는,
    사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 방법.
  2. 제1항에 있어서,
    상기 (a) 단계 이후에,
    상기 사용자의 시선 정보 및 생체 정보 중 적어도 하나에 기반하여, 상기 사용자의 가상현실 컨텐츠에 대한 사용자 평가 항목에 대한 품질 평가 값을 결정하는 단계;
    를 더 포함하는,
    사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 방법.
  3. 제1항에 있어서,
    상기 (a) 단계 이후에,
    상기 사용자의 시선 정보 및 생체 정보 중 적어도 하나에 기반하여, 상기 가상현실 컨텐츠에 대한 상기 사용자의 주시 대상 객체 및 행동 패턴을 결정하는 단계; 및
    상기 사용자의 주시 대상 객체 및 행동 패턴에 기반하여, 상기 가상현실 컨텐츠에 대한 실행 정보를 조절하는 단계;
    를 더 포함하는,
    사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 방법.
  4. 제1항에 있어서,
    상기 (a) 단계 이후에,
    상기 사용자의 시선 정보 및 생체 정보 중 적어도 하나에 기반하여, 상기 사용자의 위험 상황의 발생 여부를 결정하는 단계; 및
    상기 위험 상황이 발생하는 경우, 상기 가상현실 컨텐츠의 실행 중단 알림 및 상황 알림 중 적어도 하나를 상기 가상현실 단말에게 송신하는 단계;
    를 더 포함하는,
    사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 방법.
  5. 제1항에 있어서,
    상기 (a) 단계 이후에,
    상기 사용자의 시선 정보 및 생체 정보 중 적어도 하나에 기반하여, 상기 사용자에 대응하는 가상현실 컨텐츠를 결정하는 단계; 및
    상기 사용자에 대응하는 가상현실 컨텐츠를 상기 가상현실 단말에게 송신하는 단계;
    를 더 포함하는,
    사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 방법.
  6. 가상현실 단말을 착용한 사용자의 가상현실 컨텐츠에 대한 시선 정보 및 상기 사용자의 생체 정보 중 적어도 하나를 수신하는 통신부; 및
    상기 사용자의 시선 정보 및 생체 정보 중 적어도 하나를 시각화하는 출력부;
    를 포함하는,
    사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 장치.
  7. 제6항에 있어서,
    상기 사용자의 시선 정보 및 생체 정보 중 적어도 하나에 기반하여, 상기 사용자의 가상현실 컨텐츠에 대한 사용자 평가 항목에 대한 품질 평가 값을 결정하는 제어부;
    를 더 포함하는,
    사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 장치.
  8. 제6항에 있어서,
    상기 사용자의 시선 정보 및 생체 정보 중 적어도 하나에 기반하여, 상기 가상현실 컨텐츠에 대한 상기 사용자의 주시 대상 객체 및 행동 패턴을 결정하고,
    상기 사용자의 주시 대상 객체 및 행동 패턴에 기반하여, 상기 가상현실 컨텐츠에 대한 실행 정보를 조절하는 제어부;
    를 더 포함하는,
    사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 장치.
  9. 제6항에 있어서,
    상기 사용자의 시선 정보 및 생체 정보 중 적어도 하나에 기반하여, 상기 사용자의 위험 상황의 발생 여부를 결정하는 제어부;
    를 더 포함하고,
    상기 통신부는, 상기 위험 상황이 발생하는 경우, 상기 가상현실 컨텐츠의 실행 중단 알림 및 상황 알림 중 적어도 하나를 상기 가상현실 단말에게 송신하는,
    사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 장치.
  10. 제6항에 있어서,
    상기 사용자의 시선 정보 및 생체 정보 중 적어도 하나에 기반하여, 상기 사용자에 대응하는 가상현실 컨텐츠를 결정하는 제어부;
    를 더 포함하고,
    상기 통신부는, 상기 사용자에 대응하는 가상현실 컨텐츠를 상기 가상현실 단말에게 송신하는,
    사용자의 생체 정보를 활용한 VR 및 AR 게임 컨텐츠 평가 장치.
KR1020210179992A 2021-12-15 2021-12-15 사용자의 생체 정보를 활용한 vr 및 ar 게임 컨텐츠 평가 방법 및 장치 KR20230090861A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210179992A KR20230090861A (ko) 2021-12-15 2021-12-15 사용자의 생체 정보를 활용한 vr 및 ar 게임 컨텐츠 평가 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210179992A KR20230090861A (ko) 2021-12-15 2021-12-15 사용자의 생체 정보를 활용한 vr 및 ar 게임 컨텐츠 평가 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20230090861A true KR20230090861A (ko) 2023-06-22

Family

ID=86989409

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210179992A KR20230090861A (ko) 2021-12-15 2021-12-15 사용자의 생체 정보를 활용한 vr 및 ar 게임 컨텐츠 평가 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20230090861A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200012561A (ko) 2018-07-27 2020-02-05 주식회사 맘모식스 가상현실 게임 구현 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200012561A (ko) 2018-07-27 2020-02-05 주식회사 맘모식스 가상현실 게임 구현 시스템 및 방법

Similar Documents

Publication Publication Date Title
US11832971B2 (en) Wearable device utilizing flexible electronics
US11000221B2 (en) Program and system for early detection and prevention of mild dementia
CN112118784B (zh) 用于检测神经生理状态的社交交互应用
US9144405B2 (en) User health monitoring system comprising 3D glasses and display apparatus, and display apparatus and control method thereof
JP5119375B2 (ja) 集中有無推定装置及びコンテンツ評価装置
KR102326694B1 (ko) 인터렉티브 기술을 적용한 치매 환자 훈련 시스템
US11179093B2 (en) Apparatus and method for evaluating cognitive function
JP2016002109A (ja) 活動評価装置、評価処理装置、プログラム
KR102616391B1 (ko) 양안 장애의 진단 평가 및 선별을 위한 방법, 시스템 및 장치
US20170156585A1 (en) Eye condition determination system
CN109171638A (zh) 视力检测的方法、终端、头戴显示设备以及视力检测***
KR20190041081A (ko) 인지장애 진단을 위한 vr기반 인지능력 평가시스템
KR20190047648A (ko) 행동에 대한 피드백을 제공하는 웨어러블 디바이스 및 방법
US20210265055A1 (en) Smart Meditation and Physiological System for the Cloud
KR20220062197A (ko) 인지 기능 평가 시스템 및 인지 기능 평가 방법
US9621847B2 (en) Terminal, system, display method, and recording medium storing a display program
KR101118276B1 (ko) 생체 감성 지표 및 상황 정보로부터 학습 집중도에 관련된 학습 감성 지표를 생성하기 위한 유비쿼터스-러닝용 미들웨어 장치
US20210202078A1 (en) Patient-Observer Monitoring
KR20120097098A (ko) 생체 감성 지표 및 상황 정보로부터 생성된 학습 감성 지표에 기반하여 사용자의 학습 효과를 향상시키기 위한 유비쿼터스-러닝용 학습 효과 향상 장치
KR20230090861A (ko) 사용자의 생체 정보를 활용한 vr 및 ar 게임 컨텐츠 평가 방법 및 장치
US20240164672A1 (en) Stress detection
CN109303547A (zh) 一种视功能检查方法、装置、计算机设备和介质
Hvass et al. A preliminary exploration in the correlation of cybersickness and gaze direction in VR
KR20190076722A (ko) 모바일 기기를 이용한 vr/ar 기반 다중지능 검사방법 및 다중지능 검사시스템
US20210295730A1 (en) System and method for virtual reality mock mri