KR102141740B1

KR102141740B1 - Apparatus and method for predicting virtual reality sickness

Info

Publication number: KR102141740B1
Application number: KR1020180156048A
Authority: KR
Inventors: 이상훈; 안세웅
Original assignee: 연세대학교 산학협력단
Priority date: 2018-12-06
Filing date: 2018-12-06
Publication date: 2020-08-05
Also published as: WO2020116739A1; KR20200069002A

Abstract

본 발명은 VR 콘텐츠로부터 사용자 헤드 각속도와 시각적 각속도 및 인지 각속도를 지각적 움직임 특징으로 추출하고, 텍스쳐 특징 및 모션 특징을 통계적 콘텐츠 특징으로 추출하여, 특징 벡터를 구성하고 시간적 풀링하여 VR 콘텐츠의 피로도를 예측함으로써, 개인적 편차가 크게 나타나는 VR 콘텐츠의 피로도를 객관적이고 정확하게 예측할 수 있는 VR 피로도 예측 장치 및 방법을 제공할 수 있다.The present invention extracts user head angular velocity, visual angular velocity and perceived angular velocity from VR contents as perceptual motion features, extracts texture features and motion features as statistical content features, constructs feature vectors and temporally pools to reduce fatigue of VR contents. By predicting, it is possible to provide an apparatus and method for predicting VR fatigue that can objectively and accurately predict fatigue of VR content in which personal deviation is large.

Description

가상현실 콘텐츠 시청 시 사용자가 느끼는 피로도 예측 장치 및 방법{APPARATUS AND METHOD FOR PREDICTING VIRTUAL REALITY SICKNESS}Apparatus and method for predicting fatigue experienced by users when viewing virtual reality content{APPARATUS AND METHOD FOR PREDICTING VIRTUAL REALITY SICKNESS}

본 발명은 가상현실 피로도 예측 장치 및 방법에 관한 것으로, 가상현실 콘텐츠 시청 시 사용자가 느끼는 피로도 예측 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for predicting virtual reality fatigue, and to an apparatus and method for predicting fatigue felt by a user when viewing virtual reality content.

가상 현실(virtual reality: 이하 VR)과 같은 콘텐츠들은 일반적으로 HMD (Head Mounted Display)를 통해 콘텐츠를 이용할 수 있도록 하여, 기존의 다른 디스플레이 방식에 비해 사용자에게 더 넓은 시야(field of view: 이하 FoV)를 제공한다. 따라서 VR은 사용자에게 콘텐츠에 더욱 몰입할 수 있는 체감 품질(Quality of Experience: 이하 QoE)를 제공한다.Contents such as virtual reality (hereinafter referred to as VR) generally allow content to be available through a head mounted display (HMD), thereby providing a wider field of view (FoV) to users compared to other existing display methods. Provides Therefore, VR provides users with a quality of experience (QoE) that allows them to be more immersed in the content.

그러나 VR 환경은 QoE를 저하시키는 피로도(sickness)를 동반할 수 있으며, 피로도는 VR을 이용하는 사용자의 안전 및 건강에 영향을 미치기 때문에, 피로도를 유발하는 요인에 대해 다양한 연구가 진행되어 왔다.However, the VR environment may be accompanied by a fatigue that degrades QoE, and since fatigue affects the safety and health of users using VR, various studies have been conducted on factors causing fatigue.

이에 피로도를 유발하는 요인으로는 넓은 FoV, 시간 지연(time latency), 낮은 프레임율(low frame rate), 렌더링 속도(rendering speed) 등이 확인되었으나, 피로도를 유발하는 가장 중요한 요인은 VR 콘텐츠에 의해 시각적으로 인식되는 동작과 사용자의 실제 동작의 충돌(conflict)로 인한 시각적 전정 감각 충돌(visual-vestibular sensory conflict)이다.As a result, fatigue factors such as wide FoV, time latency, low frame rate, and rendering speed were identified as factors causing fatigue, but VR content is the most important factor causing fatigue. It is a visual-vestibular sensory conflict due to a conflict between a visually recognized motion and a user's actual motion.

도1 은 시각적 전정 감각 충돌을 설명하기 위한 도면이다.1 is a view for explaining a visual vestibular sensory collision.

도1 에 도시된 바와 같이, 사용자가 HMD를 착용하여 VR 콘텐츠를 이용하는 경우, 사용자는 전정기관(vestibular system)을 통해 자신의 움직임(특히 머리의 움직임)을 느끼지만, 시각기관(visual system)은 HMD를 통해 제공되는 콘텐츠의 선형 동작을 인지한다. 즉 VR 콘텐츠는 사용자의 위치가 실질적으로 고정되어 있는 동안, 시각적으로는 이동하고 있는 것으로 느끼게 하는 자기 착시(visually induced self-illusion of motion: vection 이라 함)를 유발한다. 이러한 시각적 전정 감각 충돌은 메스꺼움, 안구 운동 장애, 방향 감각 상실, 눈의 피로, 시각 감각의 민감도 감소, 두통, 목의 통증과 같은 여러가지 부작용을 유발할 수 있다.As shown in FIG. 1, when a user wears HMD and uses VR content, the user feels his movement (especially head movement) through the vestibular system, but the visual system is HMD Recognize the linear motion of the content provided through. In other words, VR content causes a visually induced self-illusion of motion (called a section) that makes the user feel as if they are moving while the user's location is substantially fixed. These visual vestibular sensory collisions can cause various side effects such as nausea, eye movement disorders, loss of direction, eye fatigue, decreased sensitivity of visual sensations, headaches, and sore throat.

따라서 사용자의 안전을 보장하고 쾌적한 콘텐츠 이용 환경을 제공하기 위해서는 VR 환경에 의해 야기되는 VR 피로도를 예측할 수 있어야 한다.Therefore, in order to guarantee the user's safety and provide a comfortable content use environment, it is necessary to be able to predict VR fatigue caused by the VR environment.

기존에 VR 피로도를 예측하기 위한 연구는 주관적 피로도 설문(subjective sickness questionnaires: SSQ)에 의해 수행되거나, 뇌전도(electrosphalogram: EEG), 갈바닉 피부 반응(galvanic skin response: GSR), 위전도(electrogastrogram; EGG) 및 심장 박동수 등의 생리학적 검사에 의해 수행되었다.Previous studies to predict VR fatigue have been performed by subjective sickness questionnaires (SSQ), electrosphalogram (EGG), galvanic skin response (GSR), and electrogastrogram (EGG) And physiological tests such as heart rate.

그러나 주관적 피로도 설문은 검증 프로토콜이 복잡하고, 생리학적 검사의 경우, 생체 신호 센서에 많은 노이즈가 포함되기 때문에 대량의 VR 콘텐츠를 테스트하는 것은 매우 어렵다. 따라서 주관적 피로도 설문 또는 생리학적 검사 없이 VR 콘텐츠의 피로도를 객관적으로 예측할 수 있는 방법이 요구되고 있다.However, the subjective fatigue questionnaire is very difficult to test a large amount of VR content because the verification protocol is complicated and the physiological test contains a lot of noise in the biosignal sensor. Therefore, there is a need for a method for objectively predicting fatigue of VR content without subjective fatigue questionnaire or physiological examination.

한국 공개 특허 제10-2017-0126963호 (2017.11.20 공개)Korean Open Patent No. 10-2017-0126963 (released on November 20, 2017)

본 발명의 목적은 VR 콘텐츠의 피로도를 정확하게 예측할 수 있는 VR 피로도 예측 장치 및 방법을 제공하는데 있다.An object of the present invention is to provide an apparatus and method for predicting VR fatigue that can accurately predict fatigue of VR content.

본 발명의 다른 목적은 VR 콘텐츠의 피로도를 예측할 수 있는 다수의 특징을 추출하고, 추출된 특징을 이용하여 피로도를 예측하는 VR 피로도 예측 장치 및 방법을 제공하는데 있다.Another object of the present invention is to provide a VR fatigue prediction apparatus and method for extracting a plurality of features capable of predicting fatigue of VR content and predicting fatigue using the extracted features.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 VR 피로도 예측 장치는 VR 영상과 상기 VR 영상의 카메라 회전 행렬 및 HMD(Head Mounted Display)에서 감지된 회전 속도를 획득하는 VR 입력 획득부; 상기 VR 영상의 각 프레임에서 카메라 회전 행렬 및 회전 속도로부터 사용자 헤드 각속도와 시각적 각속도 및 인지 각속도를 지각적 움직임 특징으로 추출하는 지각적 움직임 특징 추출부; 상기 VR 영상의 각 프레임에서 텍스쳐 특징과 모션 특징을 통계적 콘텐츠 특징으로 추출하는 통계적 콘텐츠 특징 추출부; 상기 지각적 움직임 특징과 상기 통계적 콘텐츠 특징을 배열하여 특징 벡터를 획득하고, 상기 VR 영상의 다수의 프레임에 대한 다수의 특징 벡터를 시간적 풀링하는 풀링부; 및 미리 학습된 패턴 추정 방식에 따라 시간적 풀링된 특징 벡터로부터 피로도를 추정하여 출력하는 피로도 예측부; 를 포함한다.VR fatigue prediction apparatus according to an embodiment of the present invention for achieving the above object is a VR input acquiring unit for acquiring a VR image, a camera rotation matrix of the VR image, and a rotation speed sensed by a head mounted display (HMD); A perceptual motion feature extraction unit that extracts the user's head angular velocity, visual angular velocity, and perceived angular velocity from the camera rotation matrix and rotation speed in each frame of the VR image as perceptual motion features; A statistical content feature extraction unit that extracts texture features and motion features from each frame of the VR image as statistical content features; A pooling unit configured to obtain a feature vector by arranging the perceptual motion feature and the statistical content feature, and temporally pooling a plurality of feature vectors for multiple frames of the VR image; And a fatigue prediction unit that estimates and outputs fatigue from temporally pooled feature vectors according to a previously learned pattern estimation method. It includes.

상기 지각적 움직임 특징 추정부는 상기 VR 영상의 각 프레임에서 상기 회전 속도에 따라 상기 사용자 헤드 각속도를 계산하고, 상기 VR 영상의 각 프레임에서 상기 카메라 회전 행렬을 이용하여 계산되는 카메라 각속도와 상기 사용자 헤드 각속도의 차에 따라 상기 시각적 각속도를 계산하며, 상기 사용자 헤드 각속도와 상기 시각적 각속도로부터 상기 인지 각속도를 획득할 수 있다.The perceptual motion feature estimator calculates the user head angular velocity according to the rotation speed in each frame of the VR image, and the camera angular velocity and the user head angular velocity calculated using the camera rotation matrix in each frame of the VR image. The visual angular velocity may be calculated according to a difference of, and the perceived angular velocity may be obtained from the user head angular velocity and the visual angular velocity.

상기 지각적 움직임 특징 추정부는 사용자의 머리 움직임과 시각적으로 감지한 움직임을 두뇌가 인지하는 방식으로 모델링된 Telban 모델에 상기 사용자 헤드 각속도와 상기 시각적 각속도를 입력하여 상기 인지 각속도를 획득할 수 있다.The perceptual motion feature estimator may acquire the cognitive angular velocity by inputting the angular velocity of the user's head and the visual angular velocity into a Telban model modeled in such a way that the brain perceives the user's head movement and visually sensed movement.

상기 통계적 콘텐츠 특징 추출부는 상기 VR 영상의 각 프레임을 이산 푸리에 변환하여, 변환된 프레임의 에너지를 계산하여 상기 텍스쳐 특징을 획득하고, 상기 변환된 프레임에 옵티컬 플로우를 적용하여, 각 프레임에서 다수의 픽셀 각각의 수직 속도와 수평 속도를 획득하며, 획득된 다수의 픽셀의 수직 속도와 수평 속도로부터 평균 속도를 계산하여 상기 모션 특징을 추출할 수 있다.The statistical content feature extractor converts each frame of the VR image into a discrete Fourier, calculates the energy of the transformed frame to obtain the texture feature, applies an optical flow to the transformed frame, and multiple pixels in each frame Each of the vertical speed and the horizontal speed is obtained, and the motion characteristics can be extracted by calculating an average speed from the vertical and horizontal speeds of the obtained multiple pixels.

상기 풀링부는 상기 VR 영상의 각 프레임에 대한 상기 사용자 헤드 각속도, 상기 시각적 각속도, 상기 인지 각속도, 상기 텍스쳐 특징 및 상기 모션 특징을 포함하는 상기 특징 벡터를 구성하고, 상기 VR 영상의 다수의 프레임에 대한 다수의 특징 벡터의 평균, 분산과 함께 최대값 및 최저값의 p-백분위수를 계산하여 풀링된 특징 벡터를 획득할 수 있다.The pooling unit configures the feature vector including the user head angular velocity, the visual angular velocity, the perceived angular velocity, the texture feature, and the motion feature for each frame of the VR image, and for multiple frames of the VR image A pooled feature vector can be obtained by calculating the p-percentile of the maximum and minimum values along with the mean and variance of multiple feature vectors.

상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 VR 피로도 예측 방법은 VR 영상과 상기 VR 영상의 카메라 회전 행렬 및 HMD(Head Mounted Display)에서 감지된 회전 속도가 포함된 VR 입력을 획득하는 단계; 상기 VR 영상의 각 프레임에서 카메라 회전 행렬 및 회전 속도로부터 사용자 헤드 각속도와 시각적 각속도 및 인지 각속도를 지각적 움직임 특징으로 추출하는 단계; 상기 VR 영상의 각 프레임에서 텍스쳐 특징과 모션 특징을 통계적 콘텐츠 특징으로 추출하는 단계; 상기 지각적 움직임 특징과 상기 통계적 콘텐츠 특징을 배열하여 특징 벡터를 획득하고, 상기 VR 영상의 다수의 프레임에 대한 다수의 특징 벡터를 시간적 풀링하는 단계; 및 미리 학습된 패턴 추정 방식에 따라 시간적 풀링된 특징 벡터로부터 피로도를 추정하는 단계; 를 포함한다.A VR fatigue prediction method according to another embodiment of the present invention for achieving the above object is to obtain a VR input including a VR image, a camera rotation matrix of the VR image, and a rotation speed detected by a head mounted display (HMD). ; Extracting a user head angular velocity, a visual angular velocity, and a perceived angular velocity from the camera rotation matrix and rotation speed in each frame of the VR image as perceptual motion features; Extracting texture features and motion features from each frame of the VR image as statistical content features; Arranging the perceptual motion feature and the statistical content feature to obtain a feature vector, and temporally pooling a plurality of feature vectors for multiple frames of the VR image; And estimating fatigue from temporally pooled feature vectors according to a previously learned pattern estimation method. It includes.

따라서, 본 발명의 실시예에 따른 VR 피로도 예측 장치 및 방법은 VR 콘텐츠로부터 사용자 헤드 각속도와 시각적 각속도 및 인지 각속도를 지각적 움직임 특징으로 추출하고, 텍스쳐 특징 및 모션 특징을 통계적 콘텐츠 특징으로 추출하여, 특징 벡터를 구성하고 시간적 풀링하여 VR 콘텐츠의 피로도를 예측함으로써, 개인적 편차가 크게 나타나는 VR 콘텐츠의 피로도를 객관적이고 정확하게 예측 할 수 있도록 한다.Accordingly, the apparatus and method for predicting VR fatigue according to an embodiment of the present invention extract user head angular velocity, visual angular velocity, and cognitive angular velocity from VR contents as perceptual motion features, and extract texture and motion features as statistical content features, By constructing the feature vector and predicting the fatigue of VR contents by temporally pooling, it is possible to objectively and accurately predict the fatigue of VR contents in which personal deviation is large.

도1 은 시각적 전정 감각 충돌을 설명하기 위한 도면이다.
도2 는 본 발명의 일 실시예에 따른 VR 피로도 예측 장치의 개략적 구조를 나타낸다.
도3 은 도2 의 지각적 움직임 특징 추출부의 상세 구성을 나타낸다.
도4 는 공간적 질감 및 운동 분포에 의한 피로도를 설명하기 위한 도면이다.
도5 는 도2 의 피로도 예측부를 학습시키기 위한 학습 VR 영상의 예를 나타낸다.
도6 는 본 발명의 일 실시예에 따른 VR 피로도 예측 방법을 나타낸다.
도7 은 본 실시예에 따라 예측된 피로도와 MOS 및 개인별 피로도 점수의 상관 관계를 나타낸다.1 is a view for explaining a visual vestibular sensory collision.
2 shows a schematic structure of a VR fatigue prediction device according to an embodiment of the present invention.
3 shows a detailed configuration of the perceptual motion feature extraction unit of FIG. 2.
4 is a view for explaining fatigue due to spatial texture and motion distribution.
FIG. 5 shows an example of a learning VR image for training the fatigue predictor of FIG. 2.
6 shows a VR fatigue prediction method according to an embodiment of the present invention.
Figure 7 shows the correlation between the predicted fatigue and MOS and individual fatigue scores according to this embodiment.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. In order to fully understand the present invention, the operational advantages of the present invention, and the objects achieved by the practice of the present invention, reference should be made to the accompanying drawings and the contents described in the accompanying drawings, which illustrate preferred embodiments of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다. Hereinafter, the present invention will be described in detail by explaining preferred embodiments of the present invention with reference to the accompanying drawings. However, the present invention can be implemented in various different forms, and is not limited to the described embodiments. In addition, in order to clearly describe the present invention, parts irrelevant to the description are omitted, and the same reference numerals in the drawings indicate the same members.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. Throughout the specification, when a part “includes” a certain component, this means that other components may be further included, rather than excluding other components, unless specifically stated to the contrary. In addition, terms such as "... unit", "... group", "module", and "block" described in the specification mean a unit that processes at least one function or operation, which is hardware or software or hardware. And software.

도2 는 본 발명의 일 실시예에 따른 VR 피로도 예측 장치의 개략적 구조를 나타내고, 도3 은 도2 의 지각적 움직임 특징 추출부의 상세 구성을 나타내며, 도4 는 공간적 질감 및 운동 분포에 의한 피로도를 설명하기 위한 도면이다. 그리고 도5 는 도2 의 피로도 예측부를 학습시키기 위한 학습 VR 영상의 예를 나타낸다.2 shows a schematic structure of a VR fatigue prediction apparatus according to an embodiment of the present invention, FIG. 3 shows a detailed configuration of the perceptual motion feature extraction unit of FIG. 2, and FIG. 4 shows fatigue due to spatial texture and motion distribution It is a figure for illustration. And FIG. 5 shows an example of a learning VR image for training the fatigue predictor of FIG. 2.

도2 를 참조하면, 본 실시예에 따른 VR 피로도 예측 장치는 VR 입력 획득부(100), 특징 추출부(200), 풀링부(300) 및 피로도 예측부(400)를 포함한다.Referring to FIG. 2, the apparatus for predicting VR fatigue according to the present embodiment includes a VR input acquisition unit 100, a feature extraction unit 200, a pooling unit 300, and a fatigue prediction unit 400.

VR 입력 획득부(100)는 피로도를 예측하기 위한 VR 입력을 획득한다. 여기서 VR 입력 획득부(100)는 VR 콘텐츠를 인가받아, VR 콘텐츠에 포함된 VR 영상을 추출하여 획득할 수도 있다. 이때 VR 입력 획득부(100)는 HMD에 입력되는 VR 영상과 함께 VR 영상 내의 카메라 회전 행렬 및 HMD에서 감지된 회전 속도를 함께 획득한다.The VR input acquiring unit 100 acquires a VR input for predicting fatigue. Here, the VR input acquiring unit 100 may receive VR content and extract and obtain a VR image included in the VR content. At this time, the VR input acquiring unit 100 acquires a camera rotation matrix in the VR image and a rotation speed detected by the HMD together with the VR image input to the HMD.

한편, VR 입력 획득부(100)는 피로도 예측부(400)를 학습하기 위한 학습 과정에서는 학습 VR 영상을 획득한다. 여기서 학습 VR 영상은 피로도가 주관적 피로도 설문(SSQ)의 통계값 등으로 이미 획득된 VR 영상을 의미한다.Meanwhile, the VR input acquiring unit 100 acquires a learning VR image in a learning process for learning the fatigue predicting unit 400. Here, the learning VR image means a VR image that has already been obtained as a statistical value of the subjective fatigue questionnaire (SSQ).

특징 추출부(200)는 지각적 움직임 특징 추출부(210)와 통계적 콘텐츠 특징 추출부(230)를 구비하여, VR 입력 획득부(100)에서 인가되는 VR 영상을 기지정된 방식으로 분석하여, 지각적 움직임 특징과 통계적 콘텐츠 특징을 각각 추출한다.The feature extraction unit 200 includes a perceptual motion feature extraction unit 210 and a statistical content feature extraction unit 230 to analyze VR images applied from the VR input acquisition unit 100 in a predetermined manner, and to perceive them The enemy motion feature and the statistical content feature are respectively extracted.

지각적 움직임 특징 추출부(210)는 VR 영상의 각 프레임에서 HMD의 자이로스코프에서 감지된 회전 속도에 따라 사용자의 머리의 움직임에 의한 사용자 헤드 각속도(User head angular velocity: w_vest)를 추출하고, VR 영상의 각 프레임에서 회전 속도와 카메라 회전 행렬로부터 VR 시나리오에 의해 연출되는 시각적 각속도(Visual angular velocity: w_vis)를 추출하여 차이를 비교한다.The perceptual motion feature extraction unit 210 extracts a user head angular velocity (w _vest ) based on the user's head movement according to the rotational speed detected by the HMD's gyroscope in each frame of the VR image, The difference is extracted by extracting the visual angular velocity (w _vis ) produced by the VR scenario from the rotational speed and the camera rotation matrix in each frame of the VR image.

이때 지각적 움직임 특징 추출부(210)는 사용자 헤드 각속도(ω_vest)와 시각적 각속도(ω_vis) 각각의 롤(roll)(r), 피치(pitch)(p) 및 요(yaw)(y)의 각 회전축에 따라 서로 다른 수준의 피로도를 유발한다는 점을 고려하여 각 회전축(r, p, y)에 대해 독립적으로 지각적 움직임 특징을 추출한다.At this time, the perceptual motion feature extraction unit 210 is the roll (r), pitch (pitch) (p) and yaw (yaw) (y) of the user head angular velocity (ω _vest ) and visual angular velocity (ω _vis ), respectively. Considering that different levels of fatigue are caused for each axis of rotation, perceptual motion characteristics are extracted independently for each axis of rotation (r, p, y).

그리고 지각적 움직임 특징 추출부(210)는 추출된 사용자 헤드 각속도(ω_vest)와 시각적 각속도(ω_vis)의 차에 의해 사용자가 인지하는 인지 각속도(Perceived angular velocity: w_per)를 획득한다.In addition, the perceptual motion feature extraction unit 210 acquires a perceived angular velocity (w _per ) perceived by the user by the difference between the extracted user head angular velocity (ω _vest ) and the visual angular velocity (ω _vis ).

우선 사용자 헤드 각속도(ω_vest)는 VR 영상의 t번째 프레임(t)에서의 헤드 위치 (P^t _vest)로부터 연속되는 프레임들의 헤드 위치 차이를 이용하여 수학식 1에 따라 계산될 수 있다.First, the user head angular velocity ω _vest may be calculated according to Equation 1 by using the head position difference of consecutive frames from the head position P ^t _vest in the t-th frame t of the VR image.

여기서 t는 VR 영상의 t번째 프레임을 나타내고, t번째 프레임에서의 헤드 위치(P^t _vest)는 롤(r), 피치(p) 및 요(y)의 각 회전축에 따라 P^t _vest = [r^t _vest, p^t _vest, y^t _vest]이며, HMD에 장착된 자이로스코프 센서에 의해 획득된 값이다. 그리고 γ는 VR 영상의 프레임율(frame rate)을 나타낸다.Here, t denotes the t-th frame of the VR image, and the head position (P ^t _vest ) in the t-th frame is P ^t _vest = [r according to each axis of rotation of the roll (r), pitch (p), and yaw (y). ^t _vest , p ^t _vest , y ^t _vest ], and the value obtained by the gyroscope sensor mounted on the HMD. And γ represents the frame rate of the VR image.

한편, VR 환경에서 시각적 움직임은 사용자의 머리 회전과 VR 시나리오에 의해 제어되는 카메라 회전 양측에 의해 영향을 받는다. 예를 들면, 사용자의 헤드가 왼쪽으로 향하는 동시에 VR 시나리오에 따른 카메라 회전이 머리회전과 동일한 속도로 오른쪽으로 이동하면, 시각적으로 감지되는 속도는 2배가 된다. 즉 시각적 각속도(ω_vis)는 사용자 헤드 각속도(ω_vest)와 카메라 행렬에 의해 획득되는 카메라 각속도(ω_cam)의 상대 속도로서 계산된다.Meanwhile, in the VR environment, visual movement is affected by both the user's head rotation and the camera rotation controlled by the VR scenario. For example, if the user's head moves to the left and the camera rotation according to the VR scenario moves to the right at the same speed as the head rotation, the visually perceived speed is doubled. That is, the visual angular velocity ω _vis is calculated as the relative velocity of the user angular velocity ω _vest and the camera angular velocity ω _cam obtained by the camera matrix.

카메라 각속도(ω_cam)는 t번째 프레임에서의 카메라 위치(P^t _cam)로부터 수학식 2에 따라 계산된다.The camera angular velocity ω _cam is calculated according to Equation 2 from the camera position P ^t _cam in the t-th frame.

여기서 t번째 프레임에서의 카메라 위치(P^t _cam)는 롤(r), 피치(p) 및 요(y)의 각 회전축에 따라 P^t _cam = [r^t _cam, p^t _cam, y^t _cam]이다.Here, the camera position (P ^t _cam ) in the t-th frame is P ^t _cam = [r ^t _cam , p ^t _cam , y ^t _cam ] according to the rotation axis of roll (r), pitch (p), and yaw (y). to be.

그리고 카메라 각속도(ω_cam)가 획득되면, VR 영상의 t번째 프레임에서 시각적 각속도(ω_vis)를 수학식 3과 같이, 사용자 헤드 각속도(ω_vest)와 카메라 각속도(ω_cam) 사이의 차로 계산한다.Then, when the camera angular velocity (ω _cam ) is obtained, the visual angular velocity (ω _vis ) in the t-th frame of the VR image is calculated as the difference between the user's head angular velocity (ω _vest ) and the camera angular velocity (ω _cam ) as shown in Equation 3. .

지각적 움직임 특징 추출부(210)는 사용자 헤드 각속도(ω_vest)와 시각적 각속도(ω_vis)가 획득되면, 사용자 헤드 각속도(ω_vest)와 시각적 각속도(ω_vis)로부터 인지 각속도(ω_per)를 획득한다.Perceptual motion feature extraction unit 210 is a user head angular velocity (ω _vest) and when the visual angle velocity (ω _vis) is obtained, the user head angular velocity (ω _vest) and angular velocity (ω _per) whether from a visual angular velocity (ω _vis) To acquire.

지각적 움직임 특징 추출부(210)는 일예로 도3 에 도시된 Telban 모델(Robert Telban and Frank Cardullo. An integrated model of human motion perception with visual-vestibular interaction. In AIAA Modeling and Simulation Technologies Conference and Exhibit, page 4249, 2001.)을 이용하여 인지 각속도(ω_per)를 획득할 수 있다.The perceptual motion feature extraction unit 210 is an example of the Telban model shown in FIG. 3 (Robert Telban and Frank Cardullo.An integrated model of human motion perception with visual-vestibular interaction.In AIAA Modeling and Simulation Technologies Conference and Exhibit, page 4249, 2001.) to obtain the cognitive angular velocity (ω _per ).

Telban 모델은 vection 현상의 신경 반응을 모델링 한 것으로, 사용자 헤드 각속도(ω_vest)와 시각적 각속도(ω_vis)를 인가받아 사람의 두뇌가 인지하는 움직임인 인지 각속도(ω_per)를 출력한다.The Telban model is a model of the neural response of the vection phenomenon, and receives the user's head angular velocity (ω _vest ) and the visual angular velocity (ω _vis ) and outputs the cognitive angular velocity (ω _per ), which is the movement perceived by the human brain.

도3 을 참조하면, Telban 모델에서 전정 지각 모델(211)은 사람의 전정 기관에 따라 모델링되어 사용자 헤드 각속도(ω_vest)를 인가받아 기지정된 방식으로 실질 전정 신호(Actual vestibular signal: avs)를 출력한다.Referring to FIG. 3, in the Telban model, the vestibular perception model 211 is modeled according to a human vestibular organ and receives a user head angular velocity (ω _vest ) to output an actual vestibular signal (avs) in a predetermined manner. do.

그리고 시각 수용 모델(212)은 사람의 시각 기관에 따라 모델링되어 시각적 각속도(ω_vis)를 움직임에 의한 각속도 형태로 전환하여, 시각 전정 신호(Visual vestibular signal: vvs)를 출력한다. 모의 전정 지각 모델(213)은 전정 지각 모델(211)과 동일하게 모델링되어, 시각 전정 신호(vvs)를 인가받아 기대 전정 신호(Expected vestibular signal: evs)를 출력한다. 즉 시각 수용 모델(212)과 모의 전정 지각 모델(213)은 사용자의 시각에서 감지되는 움직임을 전정 기관에서 감지한 전정 신호의 형태로 변환한다.Then, the visual reception model 212 is modeled according to the human visual organ, converts the visual angular velocity ω _vis into a angular velocity form by movement, and outputs a visual vestibular signal (vvs). The simulated vestibular perception model 213 is modeled in the same manner as the vestibular perception model 211, and receives a visual vestibular signal vvs to output an expected vestibular signal (evs). That is, the visual reception model 212 and the simulated vestibular perception model 213 convert movement detected from the user's perspective into the form of vestibular signals detected by the vestibular organ.

제1 가산기(214)는 실질 전정 신호(avs)와 기대 전정 신호(evs) 사이의 차로부터 오차 신호(e)를 획득한다. 즉 사용자의 두뇌가 실제 헤드 움직임에 따라 감지하는 움직임에 대한 전정 신호와, 시각을 통해 감지하는 움직임에 대한 전정 신호 사이의 차이를 계산한다. 그리고 적응 연산부(215)는 사람의 두뇌의 인지적 특성을 모델링한 구성으로, 오차 신호(e)에 대응하는 오차 각속도(ω_err)를 출력한다.The first adder 214 obtains the error signal e from the difference between the real vestibular signal avs and the expected vestibular signal evs. That is, the difference between the vestibular signal for the movement sensed by the user's brain and the vestibular signal for movement detected through vision is calculated. In addition, the adaptive operation unit 215 is a configuration modeling the cognitive characteristics of the human brain, and outputs an error angular velocity ω _err corresponding to the error signal e.

신경 응답 모델(216)은 인간 두뇌의 신경 응답 방식을 모델링한 코사인 벨 함수(Cosine Bell Function)로 구현되어, 오차 각속도(ω_err)로부터 신경 필터 이득(K)을 획득한다.The neural response model 216 is implemented with a cosine bell function modeling the neural response method of the human brain to obtain a neural filter gain K from the error angular velocity ω _err .

한편, 제2 가산기(217)는 시각 전정 신호(vvs)와 실질 전정 신호(avs) 사이의 차를 계산한다. 즉 제2 가산기(217)는 제1 가산기(214)와 상이하게 인간 두뇌의 시각적 입력으로부터 헤드 움직임에 의한 전정 기관 입력 사이의 차이를 계산하여 인지 입력 오차(pie)를 전달한다. 증폭부(218)는 신경 응답 모델(216)에서 인가되는 신경 필터 이득(K)에 따라 제2 가산기(217)의 출력을 증폭하여 출력한다.Meanwhile, the second adder 217 calculates a difference between the time vesting signal vvs and the real vesting signal avs. That is, the second adder 217 calculates the difference between the visual input of the human brain and the vestibular organ input due to head movement differently from the first adder 214 and transmits a cognitive input error (pie). The amplifying unit 218 amplifies and outputs the output of the second adder 217 according to the neural filter gain K applied from the neural response model 216.

안구 운동 적용부(219)는 증폭부(218)에서 증폭되어 출력되는 인지 입력 오차(pie)를 인가받아 안구 운동 영향(optokinetic influence)을 반영하여 안구 움직임에 의한 시선 이동 시각 신호(ovs)를 출력한다.The eye movement applying unit 219 receives a cognitive input error (a) amplified and output by the amplifying unit 218 and reflects an optokinetic influence to output a gaze movement visual signal (ovs) due to eye movement. do.

사람의 시각은 머리의 움직임뿐만 아니라 안구의 움직임에 의해서도 회전될 수 있다. 따라서 시각의 움직임이 머리의 움직임과 반드시 일치하지 않으며, 인간의 두뇌는 머리의 움직임과 안구의 움직임을 함께 고려하여 사용자의 움직임을 인지한다. 이에 Telban 모델에서 제2 가산기(217)와 증폭부(218) 및 안구 운동 적용부(219)는 시각적 움직임을 나타내는 시각 전정 신호(vvs)에서 사용자의 헤드 움직임에 의한 감각을 제외하고, 이득(K)에 따라 안구 움직임의 반영 비를 조절한 후, 안구 운동의 형태로 전환하여 출력한다.A person's vision can be rotated not only by head movement but also by eye movement. Therefore, the movement of the vision does not necessarily match the movement of the head, and the human brain recognizes the user's movement by considering both the movement of the head and the movement of the eyeball. Accordingly, in the Telban model, the second adder 217, the amplifying unit 218, and the eye movement applying unit 219 exclude the sense due to the user's head movement from the visual vestibular signal vvs indicating visual movement, and gain (K After adjusting the reflection ratio of the eye movement according to ), it is converted to the form of eye movement and output.

제3 가산기(220)는 사용자의 실제 헤드 움직임에 대한 실질 전정 신호(avs)와 시선 이동에 대한 시선 이동 시각 신호(ovs)를 가산하여 인지 각속도(ω_per)를 획득한다.The third adder 220 acquires the cognitive angular velocity ω _per by adding the real vestibular signal avs for the user's actual head movement and the gaze movement time signal ovs for the gaze movement.

Telban 모델은 공지된 기술이므로, 여기서는 더 이상 상세하게 설명하지 않는다. 또한 경우에 따라서, 본 실시예에 따른 지각적 움직임 특징 추출부(210)는 Telban 모델이 아닌 다른 모델을 적용하여 인지 각속도(ω_per)를 획득할 수도 있다.The Telban model is a well-known technology, and is not described in detail here. Also, in some cases, the perceptual motion feature extraction unit 210 according to the present embodiment may obtain a perceived angular velocity ω _per by applying a model other than the Telban model.

한편, 통계적 콘텐츠 특징 추출부(230)는 통계적 콘텐츠 특징으로 VR 영상의 텍스쳐 특징(Texture feature) 및 모션 특징(Motion feature)을 추출한다.Meanwhile, the statistical content feature extraction unit 230 extracts a texture feature and a motion feature of a VR image as a statistical content feature.

VR 영상에 포함된 시각적 콘텐츠는 피로도와 밀접한 관계가 있음이 기존의 연구들에서 확인된 바 있다. 그리고 VR 영상에 포함된 시각적 내용에서 피로도를 유발하는 시각적 콘텐츠의 특징으로는 텍스쳐 특징 및 모션 특징이 있다.It has been confirmed in previous studies that visual content included in VR images is closely related to fatigue. In addition, texture characteristics and motion characteristics are characteristics of visual contents that cause fatigue in the visual contents included in the VR image.

VR 영상에서 공간적 텍스쳐는 사람의 움직임 인지에 큰 영향을 미친다. 예를 들어, 도4 의 (a)와 같이 단조로운 배경이나 피사체는 동작을 감지하기 위한 중요 포인트가 없기 때문에 움직임에 덜 민감하다. 이는 일예로 하늘이나 바다 등이 배경으로 포함된 콘텐츠에 해당한다.In VR video, spatial texture has a great influence on human perception of movement. For example, a monotonous background or subject as shown in Fig. 4(a) is less sensitive to movement because there is no important point for detecting motion. This corresponds to content that includes, for example, the sky or the sea as a background.

그에 반해, (b)에서는 많은 양의 텍스쳐 정보 성분이 VR 영상의 공간에 포함되어 있으므로, 피사체의 움직임에 보다 민감하다. 이는 일예로 숲이나 도시와 같은 배경으로 포함된 콘텐츠에 해당한다.On the other hand, in (b), since a large amount of texture information components are included in the space of the VR image, it is more sensitive to the movement of the subject. This corresponds to content included in a background such as a forest or a city, for example.

이에 통계적 콘텐츠 특징 추출부(230)는 VR 영상의 프레임에서 공간 에너지를 텍스쳐 특징으로 추출한다. t번째 프레임(t)을 이산 푸리에 변환(Discrete Fourier Transform: DFT)하여 획득된 변환 프레임(I^t)에서 DTF 계수는 B^t(Ω)이고, Ω는 공간 주파수를 나타낸다. 그리고 변환 프레임(I^t)의 에너지(E^t)는 수학식 4로 주어진다.Accordingly, the statistical content feature extraction unit 230 extracts spatial energy from the frame of the VR image as a texture feature. In the transform frame I ^t obtained by the discrete Fourier Transform (DFT) of the t-th frame ^t , the DTF coefficient is B ^t (Ω), and Ω represents a spatial frequency. And the energy E ^t of the transform frame I ^t is given by Equation (4).

여기서 CSF(Ω)는 주파수에 따른 시각 지각 감도를 모델링한 콘트라스트 감도 함수(Contrast Sensitivity Function)를 나타내며, 수학식 5 에 의해 정의된다.Here, CSF(Ω) represents a contrast sensitivity function modeling visual perception sensitivity according to frequency, and is defined by Equation (5).

여기서 Ω는 공간 주파수(cycles/degree)를 나타내고, c₀ = 2.6, c₁ = 010192, c₂ = 0.114, c₃ = 1.1이다.Here, Ω represents the spatial frequency (cycles/degree), and c ₀ = 2.6, c ₁ = 010192, c ₂ = 0.114, and c ₃ = 1.1.

통계적 콘텐츠 특징 추출부(230)는 수학식 4에 따라 VR 영상에서 텍스쳐 특징을 가중 함수의 관점에서 사용자의 시각 지각 감도를 측정한다.The statistical content feature extraction unit 230 measures a user's visual perception sensitivity in terms of a weighting function for a texture feature in a VR image according to Equation (4).

한편, VR 영상에서 운동의 분포, 즉 모션 특징 또한 피로도에 큰 영향을 미친다는 것이 알려져 있다. 예를 들어, VR 영상에서 움직임이 현저한 영역에서는 안구의 운동이 증가하여 피로도가 크게 높아지게 된다. 이에 통계적 콘텐츠 특징 추출부(230)는 피로도를 예측하기 위해 모션 정보를 추출한다.On the other hand, it is known that the distribution of motion in the VR image, that is, the motion characteristic also greatly affects fatigue. For example, in a region where movement is remarkable in a VR image, the movement of the eyeball increases, and fatigue is greatly increased. Accordingly, the statistical content feature extraction unit 230 extracts motion information to predict fatigue.

통계적 콘텐츠 특징 추출부(230)는 변환 프레임(I^t)에 옵티컬 플로우를 적용하여 t번째 프레임의 각 픽셀의 수직 속도(u^t)와 수평 속도(v^t)를 획득하고, 수학식 6에 따라 평균 속도(V^t)를 계산하여 모션 특징으로 출력한다.The statistical content feature extraction unit 230 applies an optical flow to the transform frame I ^t to obtain a vertical velocity u ^t and a horizontal velocity v ^t of each pixel of the t-th frame, and according to Equation 6 The average velocity (V ^t ) is calculated and output as motion characteristics.

여기서 N_x, N_y 는 x와 y 픽셀 수를 의미한다.Here, N _x and N _y mean the number of x and y pixels.

풀링부(300)는 특징 추출부(200)에서 획득된 특징들에 대해 시간적으로 풀링(pooling)한다. 일반적으로 영상 콘텐츠에 대한 인간의 지각은 프레임 단위가 아닌 시간 축에서 연속되는 다수 프레임의 흐름으로 인지한다. 따라서 VR 콘텐츠로부터 인간의 피로도를 예측하기 위해서는 시간적 풀링 과정이 필요하다.The pooling unit 300 temporally pools features obtained from the feature extraction unit 200. In general, human perception of video content is perceived as a stream of multiple frames that are continuous on the time axis rather than on a frame-by-frame basis. Therefore, a temporal pooling process is required to predict human fatigue from VR content.

특징 추출부(200)의 지각적 움직임 특징 추출부(210)에서 사용자 헤드 각속도(ω_vest), 시각적 각속도(ω_vis) 및 인지 각속도(ω_per)가 특징으로 획득되고, 통계적 콘텐츠 특징 추출부(230)에서 변환 프레임(I^t)의 에너지(E^t), 평균 속도(V^t)가 특징으로 획득되면, 풀링부(300)는 우선 t번째 프레임(t)에 대해 획득된 특징들을 M차원 특징 벡터(F^t = {f₁ ^t, f₂ ^t, ..., f_M ^t})로 나타낸다. 여기서 M차원 특징 벡터(F^t)에는 사용자 헤드 각속도(ω_vest), 시각적 각속도(ω_vis) 및 인지 각속도(ω_per) 각각의 롤(r), 피치(p) 및 요(y) 성분이 독립적으로 반영될 수 있다. 즉 M은 일예로 11일 수 있다.The perceptual motion feature extraction unit 210 of the feature extraction unit 200 obtains user head angular velocity (ω _vest ), visual angular velocity (ω _vis ), and perceived angular velocity (ω _per ) as features, and extracts statistical content features ( When the energy E ^t and the average velocity V ^t of the transform frame I ^t are obtained as a characteristic at 230, the pooling unit 300 first performs M-dimensional characteristics of the characteristics obtained for the t-th frame t. It is represented by a vector (F ^t = {f ₁ ^t , f ₂ ^t , ..., f _M ^t }). Here, in the M-dimensional feature vector F ^t , the roll (r), pitch (p), and yaw (y) components of the user head angular velocity (ω _vest ), visual angular velocity (ω _vis ), and perceived angular velocity (ω _per ) are independent. Can be reflected as That is, M may be 11, for example.

그리고 풀링부(300)는 VR 영상에 T개의 프레임이 포함된 경우, T개의 M차원 특징 벡터(F^t = {f₁ ^t, f₂ ^t, ..., f_M ^t})에 대해 평균, 분산과 최대값 및 최저값의 p-백분위수 풀링을 각각 수학식 7 내지 10과 같이 각각 계산한다.And, when the VR image includes T frames, the pooling unit 300 averages the T M-dimensional feature vectors (F ^t = {f ₁ ^t , f ₂ ^t , ..., f _M ^t }), Variance and p-percentile pooling of the maximum and minimum values are respectively calculated as in Equations 7 to 10, respectively.

여기서 f_m ^t은 t프레임의 m번째 특징 벡터를 나타내고, d(n)은 순위(rank-ordered)에 따른 n번째 특징값을 나타낸다. 그리고 N은 전체 프레임 수이며, N_p ^l과 N_p ^h 는 각각 하위 및 상위 p-백분위수(p-percentiles)(실험에 따른 일예에서 p는 10% 이다.)에 해당하는 프레임 수이다.Here, f _m ^t represents the m-th feature vector of the t-frame, and d(n) represents the n-th feature value according to rank. And N is the total number of frames, N _p ^l and N _p ^h are the number of frames corresponding to the lower and upper p-percentiles (p-percentiles) (p is 10% in one example according to the experiment), respectively.

수학식 7 및 8 은 영상의 전체적인 경향을 감지하는 인간의 성향을 반영하는 수학식으로, 사용자는 급격한 변화가 발생하는 영상을 시청할 때 더 많은 주의를 기울이는 특성을 반영한다. 그리고 수학식 9 및 10 은 각각 특징값의 최대값과 최저값의 평균을 계산하여 특징을 반영한다.Equations 7 and 8 are equations that reflect the human tendency to sense the overall tendency of the image, and reflect the characteristic that the user pays more attention when watching the image in which a sudden change occurs. In addition, Equations 9 and 10 reflect the features by calculating the average of the maximum and minimum values of the feature values, respectively.

결과적으로 풀링부(300)에서 시간적 풀링된 특징 벡터는 수학식 11로 정의된다.As a result, the feature vector temporally pooled in the pooling unit 300 is defined by Equation (11).

피로도 예측부(400)는 미리 학습된 인공 신경망(artificial neural network)으로 구현되어, 풀링부(300)에서 인가된 풀링된 특징 벡터(F)에 응답하여 피로도를 예측하여 출력한다.The fatigue prediction unit 400 is implemented as a previously learned artificial neural network, and predicts and outputs fatigue in response to the pooled feature vector F applied from the pooling unit 300.

피로도 예측부(400)는 학습 과정에서 미리 획득된 다수의 VR 학습 영상에 대해 풀링된 특징 벡터(F)를 인가받아 피로도를 예측하고, 예측된 피로도를 다수의 피험자가 해당 학습 VR 영상에 대해 평가한 피로도와 비교하여 오차를 역전파(backpropagation)하여 학습될 수 있다.The fatigue predictor 400 predicts fatigue by receiving a pooled feature vector F for a plurality of VR learning images acquired in advance in the learning process, and a plurality of subjects evaluate the predicted fatigue for the corresponding learning VR image It can be learned by backpropagating the error compared to one fatigue.

일예로 학습 VR 영상은 다수의 영상 각각에 표1 에 따른 파라미터를 가변하여 획득될 수 있다.As an example, the learning VR image may be obtained by varying parameters according to Table 1 for each of a plurality of images.

표1 에 따르면, 각 학습 VR 영상에서 파라미터는 크게 객체 이동과 카메라 이동 및 콘텐츠 구성 요소에 따라 구분될 수 있다.According to Table 1, in each learning VR image, parameters may be largely classified according to object movement, camera movement, and content components.

도4 를 참조하여, 피로도 예측을 위한 학습 VR 영상의 파라미터를 살펴보면, (a)는 파라미터가 반영되지 않은 기준 영상을 나타내고, (b)는 객체 이동 파라미터가 가변되는 영상을 나타내며, (c)는 카메라 이동 파라미터가 가변되는 영상을 나타낸다. 그리고 (d)는 콘텐츠 구성 요소가 가변되는 영상의 일예를 나타낸다.Referring to FIG. 4, when looking at the parameters of the learning VR image for predicting fatigue, (a) represents a reference image in which parameters are not reflected, (b) represents an image in which object movement parameters are variable, and (c) is Shows an image in which the camera movement parameters are variable. And (d) shows an example of an image in which the content component is variable.

사용자는 VR 공간 내의 가상의 객체와 상호 작용을 통해 VR 콘텐츠를 경험하므로, (a)에 도시된 바와 같이, VR 영상에서 객체가 이동하는 경우, 사용자는 VR 영상으로부터 피로도를 느낄 수 있다. 객체는 표1 에 나타난 바와 같이, VR 영상의 가상의 VR 공간에서 수평 방향, 수직 방향, 대각선 방향, 전방 및 후방으로 이동할 수 있으며, 이에 기준 VR 영상에서 객체가 각 방향으로 이동하는 다수의 학습 VR 영상을 생성할 수 있다. 또한 각 방향으로 이동하는 객체의 속도를 다양하게 가변하여 다수의 학습 VR 영상을 생성할 수 있다.Since the user experiences VR content through interaction with a virtual object in the VR space, as illustrated in (a), when the object moves in the VR image, the user may feel fatigue from the VR image. As shown in Table 1, the object can move horizontally, vertically, diagonally, forwardly and backwardly in the virtual VR space of the VR image, whereby multiple learning VRs in which the object moves in each direction in the reference VR image You can create an image. In addition, multiple learning VR images can be generated by varying the speed of objects moving in each direction.

한편, VR 영상에서 카메라 움직임은 (c)와 같이 배경의 변화로서 사용자의 머리 움직임과 독립적으로 변화할 수 있으며, 여기서는 롤, 피치, 요 움직임과 함께 수평 방향, 수직 방향, 전방 및 후방 움직임 각각에 대한 다수의 학습 VR 영상을 생성할 수 있으며, 각 방향의 카메라 움직임 속도를 가변하여 다수의 학습 VR 영상을 생성할 수 있다.On the other hand, in the VR image, the camera movement can be changed independently from the user's head movement as a background change as shown in (c). Here, in the horizontal, vertical, forward and backward movements, respectively, along with roll, pitch, and yaw movements Multiple learning VR images can be generated, and multiple learning VR images can be generated by varying the camera movement speed in each direction.

또한 콘텐츠 구성 요소에 따른 파라미터로는 콘텐츠의 텍스쳐와 FoV 및 시각적 가이드가 포함될 수 있다. (d)에서는 FoV에 대한 파라미터의 변화를 도시하였으나, 도4 에 도시한 바와 같이, 텍스쳐 또한 피로도에 영향을 미칠 수 있다. 뿐만 아니라, VR 콘텐츠를 경험할 때 시각적으로 제공되는 다양한 가이드 또한 사용자의 시각에 영향을 미치게 되므로, 피로도에 영향을 미칠 수 있다.In addition, parameters according to content components may include texture of content, FoV, and visual guidance. (d) shows the change of the parameter for FoV, but as shown in FIG. 4, texture can also affect fatigue. In addition, various guides provided visually when experiencing VR content also affect the user's perspective, and thus may affect fatigue.

이렇게 다수의 VR 영상에서 표1 에 따른 다양한 매개 변수를 가변하여 학습 VR 영상을 생성할 수 있으며, 생성된 다수의 학습 VR 영상을 다수의 피험자에게 경험하도록 하고, 각 피험자가 주관적으로 기록한 피로도의 통계 값(예를 들면 평균)을 이용하여 피로도 예측부(400)를 학습 시킬 수 있다.In this way, it is possible to generate a learning VR image by varying various parameters according to Table 1 in a plurality of VR images, and to have the generated multiple learning VR images experienced by a plurality of subjects, and statistics of fatigue subjectively recorded by each subject. The fatigue predictor 400 may be trained using a value (for example, an average).

그리고 학습된 피로도 예측부(400)는 용이하게 풀링된 특징 벡터(F)로부터 피로도를 예측하여 출력한다.Then, the learned fatigue predictor 400 predicts and outputs fatigue from the easily pulled feature vector F.

도6 은 본 발명의 일 실시예에 따른 VR 피로도 예측 방법을 나타낸다.6 shows a VR fatigue prediction method according to an embodiment of the present invention.

도2 내지 도5 를 참조하여, 도6 의 VR 피로도 예측 방법을 설명하면, 우선 피로도를 예측할 VR 영상을 획득한다(S10). 이때, 피로도 예측 장치는 VR 영상과 함께 VR 영상 내의 카메라 회전 행렬 및 HMD에서 감지된 회전 속도를 함께 획득한다.Referring to FIGS. 2 to 5, when the VR fatigue prediction method of FIG. 6 is described, first, a VR image for predicting fatigue is obtained (S10 ). At this time, the fatigue prediction apparatus acquires the rotational speed detected by the camera rotation matrix and the HMD in the VR image together with the VR image.

그리고 획득된 VR 영상의 지각적 움직임 및 통계적 콘텐츠 특징을 추출한다(S20). 피로도 예측 장치는 VR 영상의 지각적 움직임 특징과 통계적 콘텐츠 특징을 독립적으로 추출할 수 있다. 지각적 움직임 특징을 추출하기 위해, 피로도 예측 장치는 VR 영상의 각 프레임에서 HMD의 자이로스코프에서 감지된 회전 속도에 따라 사용자 헤드 각속도(ω_vest)를 수학식 1에 따라 계산한다(S21). 그리고 카메라 회전 행렬로부터 수학식 2에 따라 계산되는 카메라 각속도(ω_cam)와 사용자 헤드 각속도(ω_vest)를 이용하여 수학식 3 에 따라 시각적 각속도(ω_vis)를 계산한다(S22). 사용자 헤드 각속도(ω_vest)와 시각적 각속도(ω_vis)가 계산되면, 피로도 예측 장치는 사용자의 머리 움직임과 시각적으로 감지한 움직임을 두뇌가 인지하는 방식을 모델링한 Telban 모델 등을 이용하여, 사용자 헤드 각속도(ω_vest)와 시각적 각속도(ω_vis)로부터 인지 각속도(ω_per)를 획득한다(S23). 여기서 사용자 헤드 각속도(ω_vest)와 시각적 각속도(ω_vis) 및 인지 각속도(ω_per)는 각각 롤(r), 피치(p) 및 요(y) 성분을 포함한다.Then, perceptual motion and statistical content characteristics of the obtained VR image are extracted (S20). The fatigue prediction apparatus can independently extract perceptual motion characteristics and statistical content characteristics of VR images. In order to extract the perceptual motion feature, the fatigue prediction apparatus calculates the user head angular velocity (ω _vest ) according to Equation 1 according to the rotational speed detected by the GMD's gyroscope in each frame of the VR image (S21). Then, from the camera rotation matrix, the visual angular velocity ω _vis is calculated according to Equation 3 using the camera angular velocity ω _cam and the user head angular velocity ω _vest calculated according to Equation 2 (S22). When the angular velocity of the user's head (ω _vest ) and the visual angular velocity (ω _vis ) are calculated, the fatigue prediction device uses the user's head using a Telban model that models the way the brain perceives the user's head movements and visually detected movements, etc. The cognitive angular velocity (ω _per ) is obtained from the angular velocity (ω _vest ) and the visual angular velocity (ω _vis ) (S23 ). Here, the user head angular velocity (ω _vest ), the visual angular velocity (ω _vis ), and the perceived angular velocity (ω _per ) include roll (r), pitch (p), and yaw (y) components, respectively.

한편, 피로도 예측 장치는 VR 영상의 각 프레임을 이산 푸리에 변환하고, 변환 프레임(I^t)의 에너지(E^t)를 수학식 4 에 따라 계산하여 텍스쳐 특징으로 추출한다(S25). 또한 변환 프레임(I^t)에 대해 옵티컬 플로우를 적용하여, 각 프레임에서 다수의 픽셀의 평균 속도(V^t)를 수학식 6 에 따라 계산하여 VR 영상 내의 모션 특징을 추출한다(S26).Meanwhile, the fatigue prediction apparatus converts each frame of the VR image into a discrete Fourier, calculates the energy E ^t of the transform frame I ^t according to Equation 4 and extracts it as a texture feature (S25). In addition, by applying an optical flow to the transform frame I ^t , the average velocity V ^t of a plurality of pixels in each frame is calculated according to Equation 6 to extract motion characteristics in the VR image (S26 ).

지각적 움직임 특징으로 사용자 헤드 각속도(ω_vest), 시각적 각속도(ω_vis) 및 인지 각속도(ω_per)가 획득되고, 통계적 콘텐츠 특징으로 에너지(E^t)와 평균 속도(V^t)가 획득되면, 획득된 특징들을 지정된 방식으로 배열하여 특정 프레임에 대한 특징 벡터(F^t)를 각각 획득한다(S30). 그리고 VR 영상을 구성하는 다수의 프레임에 대한 다수의 특징 벡터(F^t)에 대해 평균, 분산과 최대값 및 최저값의 p 백분위수를 수학식 7 내지 10에 따라 계산하여, 다수의 특징 벡터(F^t)를 시간적으로 풀링함으로써, 시간적 풀링된 특징 벡터(

)를 획득한다(S40).When the user's head angular velocity (ω _vest ), visual angular velocity (ω _vis ) and perceived angular velocity (ω _per ) are obtained as perceptual motion features, and energy (E ^t ) and average velocity (V ^t ) are acquired as statistical content features, The acquired features are arranged in a designated manner to obtain feature vectors F ^t for specific frames, respectively (S30 ). Then, for a plurality of feature vectors F ^t for a plurality of frames constituting a VR image, the p percentiles of the mean, variance, and the maximum and minimum values are calculated according to Equations 7 to 10, and the multiple feature vectors (F) By pooling ^t ) temporally, the temporally pooled feature vector (

) Is obtained (S40 ).

시간적 풀링된 특징 벡터(F)가 획득되면, 피로도 예측 장치는 미리 학습된 인공 신경망(artificial neural network)으로 구현된 피로도 예측부(400)에 시간적 풀링된 특징 벡터(F)를 입력하여 피로도를 예측하여 출력한다(S50).When the temporally pooled feature vector F is obtained, the fatigue prediction apparatus predicts fatigue by inputting the temporally pooled feature vector F into the fatigue prediction unit 400 implemented as a pre-trained artificial neural network. And output (S50).

표 2 및 표 3 은 80명의 피실험자를 대상으로 하여, 공통의 피로도 경향을 특징 벡터의 평균 견해 점수(mean opinion scores: MOS)를 선형 상관 계수(linear correlation coefficient: 이하 LCC)와 Spearman rank-order correlation coefficient(이하 SROCC)로 평가한 결과를 나타낸다.Table 2 and Table 3, for 80 subjects, show common fatigue tendency, mean opinion scores (MOS) of feature vectors, linear correlation coefficient (LCC) and Spearman rank-order correlation. The result of evaluation by coefficient (hereinafter referred to as SROCC) is shown.

표2 에서 사용자 헤드 각속도(ω_vest)에 의한 특징(F_vest)만을 이용한 LCC와 SROCC는 각각 평균이 0.484 및 0.434이나, 인지 각속도(ω_per)를 결합한 경우, LCC와 SROCC의 평균이 각각 0.682 및 0.643으로 개선되었음을 알 수 있다.In Table 2, the LCC and SROCC using only the feature (F _vest ) by the user's head angular velocity (ω _vest ) have an average of 0.484 and 0.434, respectively, but when the cognitive angular velocity (ω _per ) is combined, the average of LCC and SROCC is 0.682 and It can be seen that the improvement has been made to 0.643.

한편, 통계적 특징(F_con)만을 이용한 LCC와 SROCC는 각각 평균이 0.421, 0.439인 반면, 본 실시예에 따른 VR 피로도 예측 장치(VR sickness predictor: VRSP)로부터 획득되는 LCC와 SROCC는 각각 평균이 0.724 및 0.710으로 크게 개성되어 VR 피로도를 예측하는데 합리적이라는 것을 확인할 수 있다.On the other hand, LCC and SROCC using only the statistical feature (F _con ) have an average of 0.421 and 0.439, respectively, whereas LCC and SROCC obtained from a VR sickness predictor (VRSP) according to the present embodiment have an average of 0.724, respectively. And it can be confirmed that it is reasonable to predict VR fatigue as it is highly individualized at 0.710.

한편, 표 4 및 표 5 는 개인별 피로도 점수(Individual sickness Score)의 LCC와 SROCC로 평가한 결과를 나타낸다.On the other hand, Table 4 and Table 5 show the results of the evaluation of the individual fatigue score (Individual sickness Score) by LCC and SROCC.

표4 및 표5 에 나타난 바와 같이, 추출된 특징에 따른 개인별 피로도 점수의 상관 관계는 표2 및 표2 에 나타난 MOS와의 상관관계보다 낮음을 알 수 있다. 이는 VR 영상의 피로도가 비록 개개인과 상관관계가 있으나, 개인별로 크게 차이가 날 수 있기 때문이다.As shown in Table 4 and Table 5, it can be seen that the correlation of the individual fatigue scores according to the extracted characteristics is lower than the correlation with the MOSs shown in Tables 2 and 2. This is because the fatigue of the VR image may be significantly different for each individual, although it is correlated with the individual.

도7 은 본 실시예에 따라 예측된 피로도와 MOS 및 개인별 피로도 점수의 상관 관계를 나타낸다.Figure 7 shows the correlation between the predicted fatigue and MOS and individual fatigue scores according to this embodiment.

도7 에서 (a)는 MOS와 예측된 피로도 사이의 상관 관계를 나타내고, (b)는 개인별 피로도와 예측된 피로도 사이의 상관관계를 나타낸다.In FIG. 7, (a) shows a correlation between MOS and predicted fatigue, and (b) shows a correlation between individual fatigue and predicted fatigue.

도7 의 (a)와 (b)를 비교하면, 본 실시예에서 추출된 측징들은 개인별 피로도와도 높은 상관 관계가 있으나, MOS 피로도와 더 높은 상관 관계를 갖는다는 것을 알 수 있다. 즉 본 실시예에서 추출하는 특징 들이 인간의 일반적인 특성을 반영함을 알 수 있다. When comparing (a) and (b) of FIG. 7, it can be seen that the measurements extracted in this embodiment have a high correlation with individual fatigue, but a higher correlation with MOS fatigue. That is, it can be seen that the features extracted in this embodiment reflect general human characteristics.

본 발명에 따른 방법은 컴퓨터에서 실행 시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.The method according to the present invention may be implemented as a computer program stored in a medium for execution on a computer. Computer readable media herein can be any available media that can be accessed by a computer, and can also include any computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data, and ROM (readable) Dedicated memory), RAM (random access memory), CD (compact disk)-ROM, DVD (digital video disk)-ROM, magnetic tape, floppy disk, optical data storage, and the like.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, these are merely exemplary, and those skilled in the art will understand that various modifications and other equivalent embodiments are possible therefrom.

따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.Therefore, the true technical protection scope of the present invention should be defined by the technical spirit of the appended claims.

Claims

VR 영상과 상기 VR 영상의 카메라 회전 행렬 및 HMD(Head Mounted Display)에서 감지된 회전 속도를 획득하는 VR 입력 획득부;
상기 VR 영상의 각 프레임에서 카메라 회전 행렬 및 회전 속도로부터 사용자 헤드 각속도와 시각적 각속도 및 인지 각속도를 지각적 움직임 특징으로 추출하는 지각적 움직임 특징 추출부;
상기 VR 영상의 각 프레임에서 텍스쳐 특징과 모션 특징을 통계적 콘텐츠 특징으로 추출하는 통계적 콘텐츠 특징 추출부;
상기 지각적 움직임 특징과 상기 통계적 콘텐츠 특징을 배열하여 특징 벡터를 획득하고, 상기 VR 영상의 다수의 프레임에 대한 다수의 특징 벡터를 시간적 풀링하는 풀링부; 및
미리 학습된 패턴 추정 방식에 따라 시간적 풀링된 특징 벡터로부터 피로도를 추정하여 출력하는 피로도 예측부; 를 포함하는 피로도 예측 장치.A VR input acquiring unit for acquiring a VR image, a camera rotation matrix of the VR image, and a rotation speed sensed by a head mounted display (HMD);
A perceptual motion feature extraction unit that extracts the user's head angular velocity, visual angular velocity, and perceived angular velocity from the camera rotation matrix and rotation speed in each frame of the VR image as perceptual motion features;
A statistical content feature extraction unit that extracts texture features and motion features from each frame of the VR image as statistical content features;
A pooling unit configured to obtain a feature vector by arranging the perceptual motion feature and the statistical content feature, and temporally pooling a plurality of feature vectors for multiple frames of the VR image; And
A fatigue prediction unit that estimates and outputs fatigue from temporally pooled feature vectors according to a previously learned pattern estimation method; Fatigue prediction device comprising a.

제1 항에 있어서, 상기 지각적 움직임 특징 추정부는
상기 VR 영상의 각 프레임에서 상기 회전 속도에 따라 상기 사용자 헤드 각속도를 계산하고,
상기 VR 영상의 각 프레임에서 상기 카메라 회전 행렬을 이용하여 계산되는 카메라 각속도와 상기 사용자 헤드 각속도의 차에 따라 상기 시각적 각속도를 계산하며,
상기 사용자 헤드 각속도와 상기 시각적 각속도로부터 상기 인지 각속도를 획득하는 피로도 예측 장치.The method of claim 1, wherein the perceptual motion feature estimator
The angular velocity of the user head is calculated according to the rotational speed in each frame of the VR image,
The visual angular velocity is calculated according to the difference between the camera angular velocity and the user head angular velocity calculated using the camera rotation matrix in each frame of the VR image,
Fatigue prediction apparatus for acquiring the perceived angular velocity from the user head angular velocity and the visual angular velocity.

제2 항에 있어서, 상기 지각적 움직임 특징 추정부는
사용자의 머리 움직임과 시각적으로 감지한 움직임을 두뇌가 인지하는 방식으로 모델링된 Telban 모델에 상기 사용자 헤드 각속도와 상기 시각적 각속도를 입력하여 상기 인지 각속도를 획득하는 피로도 예측 장치.The method of claim 2, wherein the perceptual motion feature estimator
A fatigue prediction apparatus for acquiring the cognitive angular velocity by inputting the user's head angular velocity and the visual angular velocity into a Telban model modeled in such a way that the brain perceives the user's head movement and visually detected movement.

제1 항에 있어서, 상기 통계적 콘텐츠 특징 추출부는
상기 VR 영상의 각 프레임을 이산 푸리에 변환하여, 변환된 프레임의 에너지를 계산하여 상기 텍스쳐 특징을 획득하고,
상기 변환된 프레임에 옵티컬 플로우를 적용하여, 각 프레임에서 다수의 픽셀 각각의 수직 속도와 수평 속도를 획득하며, 획득된 다수의 픽셀의 수직 속도와 수평 속도로부터 평균 속도를 계산하여 상기 모션 특징을 추출하는 피로도 예측 장치.The method of claim 1, wherein the statistical content feature extraction unit
Discrete Fourier transform of each frame of the VR image to calculate the energy of the transformed frame to obtain the texture feature,
By applying an optical flow to the converted frame, the vertical velocity and horizontal velocity of each of a plurality of pixels are obtained in each frame, and the motion characteristics are extracted by calculating an average velocity from the vertical and horizontal velocity of the obtained multiple pixels Fatigue prediction device.

제1 항에 있어서, 상기 풀링부는
상기 VR 영상의 각 프레임에 대한 상기 사용자 헤드 각속도, 상기 시각적 각속도, 상기 인지 각속도, 상기 텍스쳐 특징 및 상기 모션 특징을 포함하는 상기 특징 벡터를 구성하고,
상기 VR 영상의 다수의 프레임에 대한 다수의 특징 벡터의 평균, 분산과 함께 최대값 및 최저값의 p-백분위수를 계산하여 풀링된 특징 벡터를 획득하는 피로도 예측 장치.The method of claim 1, wherein the pulling portion
Construct the feature vector including the user head angular velocity, the visual angular velocity, the perceived angular velocity, the texture feature, and the motion feature for each frame of the VR image,
A fatigue prediction apparatus for obtaining a pooled feature vector by calculating the p-percentile of the maximum and minimum values along with the average and variance of the multiple feature vectors for the multiple frames of the VR image.

VR 영상과 상기 VR 영상의 카메라 회전 행렬 및 HMD(Head Mounted Display)에서 감지된 회전 속도가 포함된 VR 입력을 획득하는 단계;
상기 VR 영상의 각 프레임에서 카메라 회전 행렬 및 회전 속도로부터 사용자 헤드 각속도와 시각적 각속도 및 인지 각속도를 지각적 움직임 특징으로 추출하는 단계;
상기 VR 영상의 각 프레임에서 텍스쳐 특징과 모션 특징을 통계적 콘텐츠 특징으로 추출하는 단계;
상기 지각적 움직임 특징과 상기 통계적 콘텐츠 특징을 배열하여 특징 벡터를 획득하고, 상기 VR 영상의 다수의 프레임에 대한 다수의 특징 벡터를 시간적 풀링하는 단계; 및
미리 학습된 패턴 추정 방식에 따라 시간적 풀링된 특징 벡터로부터 피로도를 추정하는 단계; 를 포함하는 피로도 예측 방법.Obtaining a VR input including a VR image, a rotation matrix detected by a camera rotation matrix of the VR image, and a head mounted display (HMD);
Extracting a user head angular velocity, a visual angular velocity, and a perceived angular velocity from the camera rotation matrix and rotation speed in each frame of the VR image as perceptual motion features;
Extracting texture features and motion features from each frame of the VR image as statistical content features;
Arranging the perceptual motion feature and the statistical content feature to obtain a feature vector, and temporally pooling a plurality of feature vectors for multiple frames of the VR image; And
Estimating fatigue from temporally pooled feature vectors according to a previously learned pattern estimation method; Fatigue prediction method comprising a.

제6 항에 있어서, 지각적 움직임 특징으로 추출하는 단계는
상기 VR 영상의 각 프레임에서 상기 회전 속도에 따라 상기 사용자 헤드 각속도를 계산하는 단계;
상기 VR 영상의 각 프레임에서 상기 카메라 회전 행렬을 이용하여 카메라 각속도를 계산하는 단계;
상기 사용자 헤드 각속도와 상기 카메라 각속도의 차에 따라 상기 시각적 각속도를 계산하는 단계; 및
상기 사용자 헤드 각속도와 상기 시각적 각속도로부터 상기 인지 각속도를 획득하는 단계; 를 포함하는 피로도 예측 방법.The method of claim 6, wherein the step of extracting the perceptual motion feature is
Calculating the angular velocity of the user head according to the rotational speed in each frame of the VR image;
Calculating a camera angular velocity using the camera rotation matrix in each frame of the VR image;
Calculating the visual angular velocity according to a difference between the user head angular velocity and the camera angular velocity; And
Obtaining the perceived angular velocity from the user head angular velocity and the visual angular velocity; Fatigue prediction method comprising a.

제7 항에 있어서, 상기 인지 각속도를 획득하는 단계는
사용자의 머리 움직임과 시각적으로 감지한 움직임을 두뇌가 인지하는 방식으로 모델링된 Telban 모델에 상기 사용자 헤드 각속도와 상기 시각적 각속도를 입력하여 상기 인지 각속도를 획득하는 피로도 예측 방법.The method of claim 7, wherein the step of obtaining the cognitive angular velocity is
Fatigue prediction method for acquiring the cognitive angular velocity by inputting the user's head angular velocity and the visual angular velocity into a Telban model modeled in such a way that the brain perceives the user's head movement and visually detected movement.

제6 항에 있어서, 상기 통계적 콘텐츠 특징으로 추출하는 단계는
상기 VR 영상의 각 프레임을 이산 푸리에 변환하는 단계;
변환된 프레임의 에너지를 계산하여 상기 텍스쳐 특징을 획득하는 단계;
상기 변환된 프레임에 옵티컬 플로우를 적용하는 단계;
상기 변환된 프레임에서 다수의 픽셀 각각의 수직 속도와 수평 속도를 획득하는 단계; 및
다수의 픽셀의 수직 속도와 수평 속도로부터 평균 속도를 계산하여 상기 모션 특징을 추출하는 단계; 를 포함하는 피로도 예측 방법.The method of claim 6, wherein the step of extracting the statistical content features
A discrete Fourier transform of each frame of the VR image;
Calculating the energy of the converted frame to obtain the texture feature;
Applying an optical flow to the converted frame;
Acquiring a vertical velocity and a horizontal velocity of each of a plurality of pixels in the converted frame; And
Extracting the motion feature by calculating an average speed from vertical and horizontal speeds of a plurality of pixels; Fatigue prediction method comprising a.

제6 항에 있어서, 상기 풀링하는 단계는
상기 VR 영상의 각 프레임에 대한 상기 사용자 헤드 각속도, 상기 시각적 각속도, 상기 인지 각속도, 상기 텍스쳐 특징 및 상기 모션 특징을 포함하는 상기 특징 벡터를 구성하는 단계; 및
상기 VR 영상의 다수의 프레임에 대한 다수의 특징 벡터의 평균, 분산과 함께 최대값 및 최저값의 p-백분위수를 계산하여 풀링된 특징 벡터를 획득하는 단계; 를 포함하는 피로도 예측 방법.The method of claim 6, wherein the pooling step
Constructing the feature vector including the user head angular velocity, the visual angular velocity, the perceived angular velocity, the texture feature, and the motion feature for each frame of the VR image; And
Obtaining a pooled feature vector by calculating a p-percentile of a maximum value and a minimum value along with the average and variance of a plurality of feature vectors for a plurality of frames of the VR image; Fatigue prediction method comprising a.