KR102141740B1 - 가상현실 콘텐츠 시청 시 사용자가 느끼는 피로도 예측 장치 및 방법 - Google Patents

Abstract

본 발명은 VR 콘텐츠로부터 사용자 헤드 각속도와 시각적 각속도 및 인지 각속도를 지각적 움직임 특징으로 추출하고, 텍스쳐 특징 및 모션 특징을 통계적 콘텐츠 특징으로 추출하여, 특징 벡터를 구성하고 시간적 풀링하여 VR 콘텐츠의 피로도를 예측함으로써, 개인적 편차가 크게 나타나는 VR 콘텐츠의 피로도를 객관적이고 정확하게 예측할 수 있는 VR 피로도 예측 장치 및 방법을 제공할 수 있다.

Description

가상현실 콘텐츠 시청 시 사용자가 느끼는 피로도 예측 장치 및 방법{APPARATUS AND METHOD FOR PREDICTING VIRTUAL REALITY SICKNESS}

본 발명은 가상현실 피로도 예측 장치 및 방법에 관한 것으로, 가상현실 콘텐츠 시청 시 사용자가 느끼는 피로도 예측 장치 및 방법에 관한 것이다.

가상 현실(virtual reality: 이하 VR)과 같은 콘텐츠들은 일반적으로 HMD (Head Mounted Display)를 통해 콘텐츠를 이용할 수 있도록 하여, 기존의 다른 디스플레이 방식에 비해 사용자에게 더 넓은 시야(field of view: 이하 FoV)를 제공한다. 따라서 VR은 사용자에게 콘텐츠에 더욱 몰입할 수 있는 체감 품질(Quality of Experience: 이하 QoE)를 제공한다.

그러나 VR 환경은 QoE를 저하시키는 피로도(sickness)를 동반할 수 있으며, 피로도는 VR을 이용하는 사용자의 안전 및 건강에 영향을 미치기 때문에, 피로도를 유발하는 요인에 대해 다양한 연구가 진행되어 왔다.

이에 피로도를 유발하는 요인으로는 넓은 FoV, 시간 지연(time latency), 낮은 프레임율(low frame rate), 렌더링 속도(rendering speed) 등이 확인되었으나, 피로도를 유발하는 가장 중요한 요인은 VR 콘텐츠에 의해 시각적으로 인식되는 동작과 사용자의 실제 동작의 충돌(conflict)로 인한 시각적 전정 감각 충돌(visual-vestibular sensory conflict)이다.

도1 은 시각적 전정 감각 충돌을 설명하기 위한 도면이다.

도1 에 도시된 바와 같이, 사용자가 HMD를 착용하여 VR 콘텐츠를 이용하는 경우, 사용자는 전정기관(vestibular system)을 통해 자신의 움직임(특히 머리의 움직임)을 느끼지만, 시각기관(visual system)은 HMD를 통해 제공되는 콘텐츠의 선형 동작을 인지한다. 즉 VR 콘텐츠는 사용자의 위치가 실질적으로 고정되어 있는 동안, 시각적으로는 이동하고 있는 것으로 느끼게 하는 자기 착시(visually induced self-illusion of motion: vection 이라 함)를 유발한다. 이러한 시각적 전정 감각 충돌은 메스꺼움, 안구 운동 장애, 방향 감각 상실, 눈의 피로, 시각 감각의 민감도 감소, 두통, 목의 통증과 같은 여러가지 부작용을 유발할 수 있다.

따라서 사용자의 안전을 보장하고 쾌적한 콘텐츠 이용 환경을 제공하기 위해서는 VR 환경에 의해 야기되는 VR 피로도를 예측할 수 있어야 한다.

기존에 VR 피로도를 예측하기 위한 연구는 주관적 피로도 설문(subjective sickness questionnaires: SSQ)에 의해 수행되거나, 뇌전도(electrosphalogram: EEG), 갈바닉 피부 반응(galvanic skin response: GSR), 위전도(electrogastrogram; EGG) 및 심장 박동수 등의 생리학적 검사에 의해 수행되었다.

그러나 주관적 피로도 설문은 검증 프로토콜이 복잡하고, 생리학적 검사의 경우, 생체 신호 센서에 많은 노이즈가 포함되기 때문에 대량의 VR 콘텐츠를 테스트하는 것은 매우 어렵다. 따라서 주관적 피로도 설문 또는 생리학적 검사 없이 VR 콘텐츠의 피로도를 객관적으로 예측할 수 있는 방법이 요구되고 있다.

한국 공개 특허 제10-2017-0126963호 (2017.11.20 공개)

본 발명의 목적은 VR 콘텐츠의 피로도를 정확하게 예측할 수 있는 VR 피로도 예측 장치 및 방법을 제공하는데 있다.

본 발명의 다른 목적은 VR 콘텐츠의 피로도를 예측할 수 있는 다수의 특징을 추출하고, 추출된 특징을 이용하여 피로도를 예측하는 VR 피로도 예측 장치 및 방법을 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 VR 피로도 예측 장치는 VR 영상과 상기 VR 영상의 카메라 회전 행렬 및 HMD(Head Mounted Display)에서 감지된 회전 속도를 획득하는 VR 입력 획득부; 상기 VR 영상의 각 프레임에서 카메라 회전 행렬 및 회전 속도로부터 사용자 헤드 각속도와 시각적 각속도 및 인지 각속도를 지각적 움직임 특징으로 추출하는 지각적 움직임 특징 추출부; 상기 VR 영상의 각 프레임에서 텍스쳐 특징과 모션 특징을 통계적 콘텐츠 특징으로 추출하는 통계적 콘텐츠 특징 추출부; 상기 지각적 움직임 특징과 상기 통계적 콘텐츠 특징을 배열하여 특징 벡터를 획득하고, 상기 VR 영상의 다수의 프레임에 대한 다수의 특징 벡터를 시간적 풀링하는 풀링부; 및 미리 학습된 패턴 추정 방식에 따라 시간적 풀링된 특징 벡터로부터 피로도를 추정하여 출력하는 피로도 예측부; 를 포함한다.

상기 지각적 움직임 특징 추정부는 상기 VR 영상의 각 프레임에서 상기 회전 속도에 따라 상기 사용자 헤드 각속도를 계산하고, 상기 VR 영상의 각 프레임에서 상기 카메라 회전 행렬을 이용하여 계산되는 카메라 각속도와 상기 사용자 헤드 각속도의 차에 따라 상기 시각적 각속도를 계산하며, 상기 사용자 헤드 각속도와 상기 시각적 각속도로부터 상기 인지 각속도를 획득할 수 있다.

상기 지각적 움직임 특징 추정부는 사용자의 머리 움직임과 시각적으로 감지한 움직임을 두뇌가 인지하는 방식으로 모델링된 Telban 모델에 상기 사용자 헤드 각속도와 상기 시각적 각속도를 입력하여 상기 인지 각속도를 획득할 수 있다.

상기 통계적 콘텐츠 특징 추출부는 상기 VR 영상의 각 프레임을 이산 푸리에 변환하여, 변환된 프레임의 에너지를 계산하여 상기 텍스쳐 특징을 획득하고, 상기 변환된 프레임에 옵티컬 플로우를 적용하여, 각 프레임에서 다수의 픽셀 각각의 수직 속도와 수평 속도를 획득하며, 획득된 다수의 픽셀의 수직 속도와 수평 속도로부터 평균 속도를 계산하여 상기 모션 특징을 추출할 수 있다.

상기 풀링부는 상기 VR 영상의 각 프레임에 대한 상기 사용자 헤드 각속도, 상기 시각적 각속도, 상기 인지 각속도, 상기 텍스쳐 특징 및 상기 모션 특징을 포함하는 상기 특징 벡터를 구성하고, 상기 VR 영상의 다수의 프레임에 대한 다수의 특징 벡터의 평균, 분산과 함께 최대값 및 최저값의 p-백분위수를 계산하여 풀링된 특징 벡터를 획득할 수 있다.

상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 VR 피로도 예측 방법은 VR 영상과 상기 VR 영상의 카메라 회전 행렬 및 HMD(Head Mounted Display)에서 감지된 회전 속도가 포함된 VR 입력을 획득하는 단계; 상기 VR 영상의 각 프레임에서 카메라 회전 행렬 및 회전 속도로부터 사용자 헤드 각속도와 시각적 각속도 및 인지 각속도를 지각적 움직임 특징으로 추출하는 단계; 상기 VR 영상의 각 프레임에서 텍스쳐 특징과 모션 특징을 통계적 콘텐츠 특징으로 추출하는 단계; 상기 지각적 움직임 특징과 상기 통계적 콘텐츠 특징을 배열하여 특징 벡터를 획득하고, 상기 VR 영상의 다수의 프레임에 대한 다수의 특징 벡터를 시간적 풀링하는 단계; 및 미리 학습된 패턴 추정 방식에 따라 시간적 풀링된 특징 벡터로부터 피로도를 추정하는 단계; 를 포함한다.

따라서, 본 발명의 실시예에 따른 VR 피로도 예측 장치 및 방법은 VR 콘텐츠로부터 사용자 헤드 각속도와 시각적 각속도 및 인지 각속도를 지각적 움직임 특징으로 추출하고, 텍스쳐 특징 및 모션 특징을 통계적 콘텐츠 특징으로 추출하여, 특징 벡터를 구성하고 시간적 풀링하여 VR 콘텐츠의 피로도를 예측함으로써, 개인적 편차가 크게 나타나는 VR 콘텐츠의 피로도를 객관적이고 정확하게 예측 할 수 있도록 한다.

도1 은 시각적 전정 감각 충돌을 설명하기 위한 도면이다.
도2 는 본 발명의 일 실시예에 따른 VR 피로도 예측 장치의 개략적 구조를 나타낸다.
도3 은 도2 의 지각적 움직임 특징 추출부의 상세 구성을 나타낸다.
도4 는 공간적 질감 및 운동 분포에 의한 피로도를 설명하기 위한 도면이다.
도5 는 도2 의 피로도 예측부를 학습시키기 위한 학습 VR 영상의 예를 나타낸다.
도6 는 본 발명의 일 실시예에 따른 VR 피로도 예측 방법을 나타낸다.
도7 은 본 실시예에 따라 예측된 피로도와 MOS 및 개인별 피로도 점수의 상관 관계를 나타낸다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

도2 는 본 발명의 일 실시예에 따른 VR 피로도 예측 장치의 개략적 구조를 나타내고, 도3 은 도2 의 지각적 움직임 특징 추출부의 상세 구성을 나타내며, 도4 는 공간적 질감 및 운동 분포에 의한 피로도를 설명하기 위한 도면이다. 그리고 도5 는 도2 의 피로도 예측부를 학습시키기 위한 학습 VR 영상의 예를 나타낸다.

도2 를 참조하면, 본 실시예에 따른 VR 피로도 예측 장치는 VR 입력 획득부(100), 특징 추출부(200), 풀링부(300) 및 피로도 예측부(400)를 포함한다.

VR 입력 획득부(100)는 피로도를 예측하기 위한 VR 입력을 획득한다. 여기서 VR 입력 획득부(100)는 VR 콘텐츠를 인가받아, VR 콘텐츠에 포함된 VR 영상을 추출하여 획득할 수도 있다. 이때 VR 입력 획득부(100)는 HMD에 입력되는 VR 영상과 함께 VR 영상 내의 카메라 회전 행렬 및 HMD에서 감지된 회전 속도를 함께 획득한다.

한편, VR 입력 획득부(100)는 피로도 예측부(400)를 학습하기 위한 학습 과정에서는 학습 VR 영상을 획득한다. 여기서 학습 VR 영상은 피로도가 주관적 피로도 설문(SSQ)의 통계값 등으로 이미 획득된 VR 영상을 의미한다.

특징 추출부(200)는 지각적 움직임 특징 추출부(210)와 통계적 콘텐츠 특징 추출부(230)를 구비하여, VR 입력 획득부(100)에서 인가되는 VR 영상을 기지정된 방식으로 분석하여, 지각적 움직임 특징과 통계적 콘텐츠 특징을 각각 추출한다.

지각적 움직임 특징 추출부(210)는 VR 영상의 각 프레임에서 HMD의 자이로스코프에서 감지된 회전 속도에 따라 사용자의 머리의 움직임에 의한 사용자 헤드 각속도(User head angular velocity: w_vest)를 추출하고, VR 영상의 각 프레임에서 회전 속도와 카메라 회전 행렬로부터 VR 시나리오에 의해 연출되는 시각적 각속도(Visual angular velocity: w_vis)를 추출하여 차이를 비교한다.

이때 지각적 움직임 특징 추출부(210)는 사용자 헤드 각속도(ω_vest)와 시각적 각속도(ω_vis) 각각의 롤(roll)(r), 피치(pitch)(p) 및 요(yaw)(y)의 각 회전축에 따라 서로 다른 수준의 피로도를 유발한다는 점을 고려하여 각 회전축(r, p, y)에 대해 독립적으로 지각적 움직임 특징을 추출한다.

그리고 지각적 움직임 특징 추출부(210)는 추출된 사용자 헤드 각속도(ω_vest)와 시각적 각속도(ω_vis)의 차에 의해 사용자가 인지하는 인지 각속도(Perceived angular velocity: w_per)를 획득한다.

우선 사용자 헤드 각속도(ω_vest)는 VR 영상의 t번째 프레임(t)에서의 헤드 위치 (P^t _vest)로부터 연속되는 프레임들의 헤드 위치 차이를 이용하여 수학식 1에 따라 계산될 수 있다.

여기서 t는 VR 영상의 t번째 프레임을 나타내고, t번째 프레임에서의 헤드 위치(P^t _vest)는 롤(r), 피치(p) 및 요(y)의 각 회전축에 따라 P^t _vest = [r^t _vest, p^t _vest, y^t _vest]이며, HMD에 장착된 자이로스코프 센서에 의해 획득된 값이다. 그리고 γ는 VR 영상의 프레임율(frame rate)을 나타낸다.

한편, VR 환경에서 시각적 움직임은 사용자의 머리 회전과 VR 시나리오에 의해 제어되는 카메라 회전 양측에 의해 영향을 받는다. 예를 들면, 사용자의 헤드가 왼쪽으로 향하는 동시에 VR 시나리오에 따른 카메라 회전이 머리회전과 동일한 속도로 오른쪽으로 이동하면, 시각적으로 감지되는 속도는 2배가 된다. 즉 시각적 각속도(ω_vis)는 사용자 헤드 각속도(ω_vest)와 카메라 행렬에 의해 획득되는 카메라 각속도(ω_cam)의 상대 속도로서 계산된다.

카메라 각속도(ω_cam)는 t번째 프레임에서의 카메라 위치(P^t _cam)로부터 수학식 2에 따라 계산된다.

여기서 t번째 프레임에서의 카메라 위치(P^t _cam)는 롤(r), 피치(p) 및 요(y)의 각 회전축에 따라 P^t _cam = [r^t _cam, p^t _cam, y^t _cam]이다.

그리고 카메라 각속도(ω_cam)가 획득되면, VR 영상의 t번째 프레임에서 시각적 각속도(ω_vis)를 수학식 3과 같이, 사용자 헤드 각속도(ω_vest)와 카메라 각속도(ω_cam) 사이의 차로 계산한다.

지각적 움직임 특징 추출부(210)는 사용자 헤드 각속도(ω_vest)와 시각적 각속도(ω_vis)가 획득되면, 사용자 헤드 각속도(ω_vest)와 시각적 각속도(ω_vis)로부터 인지 각속도(ω_per)를 획득한다.

지각적 움직임 특징 추출부(210)는 일예로 도3 에 도시된 Telban 모델(Robert Telban and Frank Cardullo. An integrated model of human motion perception with visual-vestibular interaction. In AIAA Modeling and Simulation Technologies Conference and Exhibit, page 4249, 2001.)을 이용하여 인지 각속도(ω_per)를 획득할 수 있다.

Telban 모델은 vection 현상의 신경 반응을 모델링 한 것으로, 사용자 헤드 각속도(ω_vest)와 시각적 각속도(ω_vis)를 인가받아 사람의 두뇌가 인지하는 움직임인 인지 각속도(ω_per)를 출력한다.

도3 을 참조하면, Telban 모델에서 전정 지각 모델(211)은 사람의 전정 기관에 따라 모델링되어 사용자 헤드 각속도(ω_vest)를 인가받아 기지정된 방식으로 실질 전정 신호(Actual vestibular signal: avs)를 출력한다.

그리고 시각 수용 모델(212)은 사람의 시각 기관에 따라 모델링되어 시각적 각속도(ω_vis)를 움직임에 의한 각속도 형태로 전환하여, 시각 전정 신호(Visual vestibular signal: vvs)를 출력한다. 모의 전정 지각 모델(213)은 전정 지각 모델(211)과 동일하게 모델링되어, 시각 전정 신호(vvs)를 인가받아 기대 전정 신호(Expected vestibular signal: evs)를 출력한다. 즉 시각 수용 모델(212)과 모의 전정 지각 모델(213)은 사용자의 시각에서 감지되는 움직임을 전정 기관에서 감지한 전정 신호의 형태로 변환한다.

제1 가산기(214)는 실질 전정 신호(avs)와 기대 전정 신호(evs) 사이의 차로부터 오차 신호(e)를 획득한다. 즉 사용자의 두뇌가 실제 헤드 움직임에 따라 감지하는 움직임에 대한 전정 신호와, 시각을 통해 감지하는 움직임에 대한 전정 신호 사이의 차이를 계산한다. 그리고 적응 연산부(215)는 사람의 두뇌의 인지적 특성을 모델링한 구성으로, 오차 신호(e)에 대응하는 오차 각속도(ω_err)를 출력한다.

신경 응답 모델(216)은 인간 두뇌의 신경 응답 방식을 모델링한 코사인 벨 함수(Cosine Bell Function)로 구현되어, 오차 각속도(ω_err)로부터 신경 필터 이득(K)을 획득한다.

한편, 제2 가산기(217)는 시각 전정 신호(vvs)와 실질 전정 신호(avs) 사이의 차를 계산한다. 즉 제2 가산기(217)는 제1 가산기(214)와 상이하게 인간 두뇌의 시각적 입력으로부터 헤드 움직임에 의한 전정 기관 입력 사이의 차이를 계산하여 인지 입력 오차(pie)를 전달한다. 증폭부(218)는 신경 응답 모델(216)에서 인가되는 신경 필터 이득(K)에 따라 제2 가산기(217)의 출력을 증폭하여 출력한다.

안구 운동 적용부(219)는 증폭부(218)에서 증폭되어 출력되는 인지 입력 오차(pie)를 인가받아 안구 운동 영향(optokinetic influence)을 반영하여 안구 움직임에 의한 시선 이동 시각 신호(ovs)를 출력한다.

사람의 시각은 머리의 움직임뿐만 아니라 안구의 움직임에 의해서도 회전될 수 있다. 따라서 시각의 움직임이 머리의 움직임과 반드시 일치하지 않으며, 인간의 두뇌는 머리의 움직임과 안구의 움직임을 함께 고려하여 사용자의 움직임을 인지한다. 이에 Telban 모델에서 제2 가산기(217)와 증폭부(218) 및 안구 운동 적용부(219)는 시각적 움직임을 나타내는 시각 전정 신호(vvs)에서 사용자의 헤드 움직임에 의한 감각을 제외하고, 이득(K)에 따라 안구 움직임의 반영 비를 조절한 후, 안구 운동의 형태로 전환하여 출력한다.

제3 가산기(220)는 사용자의 실제 헤드 움직임에 대한 실질 전정 신호(avs)와 시선 이동에 대한 시선 이동 시각 신호(ovs)를 가산하여 인지 각속도(ω_per)를 획득한다.

Telban 모델은 공지된 기술이므로, 여기서는 더 이상 상세하게 설명하지 않는다. 또한 경우에 따라서, 본 실시예에 따른 지각적 움직임 특징 추출부(210)는 Telban 모델이 아닌 다른 모델을 적용하여 인지 각속도(ω_per)를 획득할 수도 있다.

한편, 통계적 콘텐츠 특징 추출부(230)는 통계적 콘텐츠 특징으로 VR 영상의 텍스쳐 특징(Texture feature) 및 모션 특징(Motion feature)을 추출한다.

VR 영상에 포함된 시각적 콘텐츠는 피로도와 밀접한 관계가 있음이 기존의 연구들에서 확인된 바 있다. 그리고 VR 영상에 포함된 시각적 내용에서 피로도를 유발하는 시각적 콘텐츠의 특징으로는 텍스쳐 특징 및 모션 특징이 있다.

VR 영상에서 공간적 텍스쳐는 사람의 움직임 인지에 큰 영향을 미친다. 예를 들어, 도4 의 (a)와 같이 단조로운 배경이나 피사체는 동작을 감지하기 위한 중요 포인트가 없기 때문에 움직임에 덜 민감하다. 이는 일예로 하늘이나 바다 등이 배경으로 포함된 콘텐츠에 해당한다.

그에 반해, (b)에서는 많은 양의 텍스쳐 정보 성분이 VR 영상의 공간에 포함되어 있으므로, 피사체의 움직임에 보다 민감하다. 이는 일예로 숲이나 도시와 같은 배경으로 포함된 콘텐츠에 해당한다.

이에 통계적 콘텐츠 특징 추출부(230)는 VR 영상의 프레임에서 공간 에너지를 텍스쳐 특징으로 추출한다. t번째 프레임(t)을 이산 푸리에 변환(Discrete Fourier Transform: DFT)하여 획득된 변환 프레임(I^t)에서 DTF 계수는 B^t(Ω)이고, Ω는 공간 주파수를 나타낸다. 그리고 변환 프레임(I^t)의 에너지(E^t)는 수학식 4로 주어진다.

여기서 CSF(Ω)는 주파수에 따른 시각 지각 감도를 모델링한 콘트라스트 감도 함수(Contrast Sensitivity Function)를 나타내며, 수학식 5 에 의해 정의된다.

여기서 Ω는 공간 주파수(cycles/degree)를 나타내고, c₀ = 2.6, c₁ = 010192, c₂ = 0.114, c₃ = 1.1이다.

통계적 콘텐츠 특징 추출부(230)는 수학식 4에 따라 VR 영상에서 텍스쳐 특징을 가중 함수의 관점에서 사용자의 시각 지각 감도를 측정한다.

한편, VR 영상에서 운동의 분포, 즉 모션 특징 또한 피로도에 큰 영향을 미친다는 것이 알려져 있다. 예를 들어, VR 영상에서 움직임이 현저한 영역에서는 안구의 운동이 증가하여 피로도가 크게 높아지게 된다. 이에 통계적 콘텐츠 특징 추출부(230)는 피로도를 예측하기 위해 모션 정보를 추출한다.

통계적 콘텐츠 특징 추출부(230)는 변환 프레임(I^t)에 옵티컬 플로우를 적용하여 t번째 프레임의 각 픽셀의 수직 속도(u^t)와 수평 속도(v^t)를 획득하고, 수학식 6에 따라 평균 속도(V^t)를 계산하여 모션 특징으로 출력한다.

여기서 N_x, N_y 는 x와 y 픽셀 수를 의미한다.

풀링부(300)는 특징 추출부(200)에서 획득된 특징들에 대해 시간적으로 풀링(pooling)한다. 일반적으로 영상 콘텐츠에 대한 인간의 지각은 프레임 단위가 아닌 시간 축에서 연속되는 다수 프레임의 흐름으로 인지한다. 따라서 VR 콘텐츠로부터 인간의 피로도를 예측하기 위해서는 시간적 풀링 과정이 필요하다.

특징 추출부(200)의 지각적 움직임 특징 추출부(210)에서 사용자 헤드 각속도(ω_vest), 시각적 각속도(ω_vis) 및 인지 각속도(ω_per)가 특징으로 획득되고, 통계적 콘텐츠 특징 추출부(230)에서 변환 프레임(I^t)의 에너지(E^t), 평균 속도(V^t)가 특징으로 획득되면, 풀링부(300)는 우선 t번째 프레임(t)에 대해 획득된 특징들을 M차원 특징 벡터(F^t = {f₁ ^t, f₂ ^t, ..., f_M ^t})로 나타낸다. 여기서 M차원 특징 벡터(F^t)에는 사용자 헤드 각속도(ω_vest), 시각적 각속도(ω_vis) 및 인지 각속도(ω_per) 각각의 롤(r), 피치(p) 및 요(y) 성분이 독립적으로 반영될 수 있다. 즉 M은 일예로 11일 수 있다.

그리고 풀링부(300)는 VR 영상에 T개의 프레임이 포함된 경우, T개의 M차원 특징 벡터(F^t = {f₁ ^t, f₂ ^t, ..., f_M ^t})에 대해 평균, 분산과 최대값 및 최저값의 p-백분위수 풀링을 각각 수학식 7 내지 10과 같이 각각 계산한다.

여기서 f_m ^t은 t프레임의 m번째 특징 벡터를 나타내고, d(n)은 순위(rank-ordered)에 따른 n번째 특징값을 나타낸다. 그리고 N은 전체 프레임 수이며, N_p ^l과 N_p ^h 는 각각 하위 및 상위 p-백분위수(p-percentiles)(실험에 따른 일예에서 p는 10% 이다.)에 해당하는 프레임 수이다.

수학식 7 및 8 은 영상의 전체적인 경향을 감지하는 인간의 성향을 반영하는 수학식으로, 사용자는 급격한 변화가 발생하는 영상을 시청할 때 더 많은 주의를 기울이는 특성을 반영한다. 그리고 수학식 9 및 10 은 각각 특징값의 최대값과 최저값의 평균을 계산하여 특징을 반영한다.

결과적으로 풀링부(300)에서 시간적 풀링된 특징 벡터는 수학식 11로 정의된다.

피로도 예측부(400)는 미리 학습된 인공 신경망(artificial neural network)으로 구현되어, 풀링부(300)에서 인가된 풀링된 특징 벡터(F)에 응답하여 피로도를 예측하여 출력한다.

피로도 예측부(400)는 학습 과정에서 미리 획득된 다수의 VR 학습 영상에 대해 풀링된 특징 벡터(F)를 인가받아 피로도를 예측하고, 예측된 피로도를 다수의 피험자가 해당 학습 VR 영상에 대해 평가한 피로도와 비교하여 오차를 역전파(backpropagation)하여 학습될 수 있다.

일예로 학습 VR 영상은 다수의 영상 각각에 표1 에 따른 파라미터를 가변하여 획득될 수 있다.

표1 에 따르면, 각 학습 VR 영상에서 파라미터는 크게 객체 이동과 카메라 이동 및 콘텐츠 구성 요소에 따라 구분될 수 있다.

도4 를 참조하여, 피로도 예측을 위한 학습 VR 영상의 파라미터를 살펴보면, (a)는 파라미터가 반영되지 않은 기준 영상을 나타내고, (b)는 객체 이동 파라미터가 가변되는 영상을 나타내며, (c)는 카메라 이동 파라미터가 가변되는 영상을 나타낸다. 그리고 (d)는 콘텐츠 구성 요소가 가변되는 영상의 일예를 나타낸다.

사용자는 VR 공간 내의 가상의 객체와 상호 작용을 통해 VR 콘텐츠를 경험하므로, (a)에 도시된 바와 같이, VR 영상에서 객체가 이동하는 경우, 사용자는 VR 영상으로부터 피로도를 느낄 수 있다. 객체는 표1 에 나타난 바와 같이, VR 영상의 가상의 VR 공간에서 수평 방향, 수직 방향, 대각선 방향, 전방 및 후방으로 이동할 수 있으며, 이에 기준 VR 영상에서 객체가 각 방향으로 이동하는 다수의 학습 VR 영상을 생성할 수 있다. 또한 각 방향으로 이동하는 객체의 속도를 다양하게 가변하여 다수의 학습 VR 영상을 생성할 수 있다.

한편, VR 영상에서 카메라 움직임은 (c)와 같이 배경의 변화로서 사용자의 머리 움직임과 독립적으로 변화할 수 있으며, 여기서는 롤, 피치, 요 움직임과 함께 수평 방향, 수직 방향, 전방 및 후방 움직임 각각에 대한 다수의 학습 VR 영상을 생성할 수 있으며, 각 방향의 카메라 움직임 속도를 가변하여 다수의 학습 VR 영상을 생성할 수 있다.

또한 콘텐츠 구성 요소에 따른 파라미터로는 콘텐츠의 텍스쳐와 FoV 및 시각적 가이드가 포함될 수 있다. (d)에서는 FoV에 대한 파라미터의 변화를 도시하였으나, 도4 에 도시한 바와 같이, 텍스쳐 또한 피로도에 영향을 미칠 수 있다. 뿐만 아니라, VR 콘텐츠를 경험할 때 시각적으로 제공되는 다양한 가이드 또한 사용자의 시각에 영향을 미치게 되므로, 피로도에 영향을 미칠 수 있다.

이렇게 다수의 VR 영상에서 표1 에 따른 다양한 매개 변수를 가변하여 학습 VR 영상을 생성할 수 있으며, 생성된 다수의 학습 VR 영상을 다수의 피험자에게 경험하도록 하고, 각 피험자가 주관적으로 기록한 피로도의 통계 값(예를 들면 평균)을 이용하여 피로도 예측부(400)를 학습 시킬 수 있다.

그리고 학습된 피로도 예측부(400)는 용이하게 풀링된 특징 벡터(F)로부터 피로도를 예측하여 출력한다.

도6 은 본 발명의 일 실시예에 따른 VR 피로도 예측 방법을 나타낸다.

도2 내지 도5 를 참조하여, 도6 의 VR 피로도 예측 방법을 설명하면, 우선 피로도를 예측할 VR 영상을 획득한다(S10). 이때, 피로도 예측 장치는 VR 영상과 함께 VR 영상 내의 카메라 회전 행렬 및 HMD에서 감지된 회전 속도를 함께 획득한다.

그리고 획득된 VR 영상의 지각적 움직임 및 통계적 콘텐츠 특징을 추출한다(S20). 피로도 예측 장치는 VR 영상의 지각적 움직임 특징과 통계적 콘텐츠 특징을 독립적으로 추출할 수 있다. 지각적 움직임 특징을 추출하기 위해, 피로도 예측 장치는 VR 영상의 각 프레임에서 HMD의 자이로스코프에서 감지된 회전 속도에 따라 사용자 헤드 각속도(ω_vest)를 수학식 1에 따라 계산한다(S21). 그리고 카메라 회전 행렬로부터 수학식 2에 따라 계산되는 카메라 각속도(ω_cam)와 사용자 헤드 각속도(ω_vest)를 이용하여 수학식 3 에 따라 시각적 각속도(ω_vis)를 계산한다(S22). 사용자 헤드 각속도(ω_vest)와 시각적 각속도(ω_vis)가 계산되면, 피로도 예측 장치는 사용자의 머리 움직임과 시각적으로 감지한 움직임을 두뇌가 인지하는 방식을 모델링한 Telban 모델 등을 이용하여, 사용자 헤드 각속도(ω_vest)와 시각적 각속도(ω_vis)로부터 인지 각속도(ω_per)를 획득한다(S23). 여기서 사용자 헤드 각속도(ω_vest)와 시각적 각속도(ω_vis) 및 인지 각속도(ω_per)는 각각 롤(r), 피치(p) 및 요(y) 성분을 포함한다.

한편, 피로도 예측 장치는 VR 영상의 각 프레임을 이산 푸리에 변환하고, 변환 프레임(I^t)의 에너지(E^t)를 수학식 4 에 따라 계산하여 텍스쳐 특징으로 추출한다(S25). 또한 변환 프레임(I^t)에 대해 옵티컬 플로우를 적용하여, 각 프레임에서 다수의 픽셀의 평균 속도(V^t)를 수학식 6 에 따라 계산하여 VR 영상 내의 모션 특징을 추출한다(S26).

지각적 움직임 특징으로 사용자 헤드 각속도(ω_vest), 시각적 각속도(ω_vis) 및 인지 각속도(ω_per)가 획득되고, 통계적 콘텐츠 특징으로 에너지(E^t)와 평균 속도(V^t)가 획득되면, 획득된 특징들을 지정된 방식으로 배열하여 특정 프레임에 대한 특징 벡터(F^t)를 각각 획득한다(S30). 그리고 VR 영상을 구성하는 다수의 프레임에 대한 다수의 특징 벡터(F^t)에 대해 평균, 분산과 최대값 및 최저값의 p 백분위수를 수학식 7 내지 10에 따라 계산하여, 다수의 특징 벡터(F^t)를 시간적으로 풀링함으로써, 시간적 풀링된 특징 벡터(

)를 획득한다(S40).

시간적 풀링된 특징 벡터(F)가 획득되면, 피로도 예측 장치는 미리 학습된 인공 신경망(artificial neural network)으로 구현된 피로도 예측부(400)에 시간적 풀링된 특징 벡터(F)를 입력하여 피로도를 예측하여 출력한다(S50).

표 2 및 표 3 은 80명의 피실험자를 대상으로 하여, 공통의 피로도 경향을 특징 벡터의 평균 견해 점수(mean opinion scores: MOS)를 선형 상관 계수(linear correlation coefficient: 이하 LCC)와 Spearman rank-order correlation coefficient(이하 SROCC)로 평가한 결과를 나타낸다.

표2 에서 사용자 헤드 각속도(ω_vest)에 의한 특징(F_vest)만을 이용한 LCC와 SROCC는 각각 평균이 0.484 및 0.434이나, 인지 각속도(ω_per)를 결합한 경우, LCC와 SROCC의 평균이 각각 0.682 및 0.643으로 개선되었음을 알 수 있다.

한편, 통계적 특징(F_con)만을 이용한 LCC와 SROCC는 각각 평균이 0.421, 0.439인 반면, 본 실시예에 따른 VR 피로도 예측 장치(VR sickness predictor: VRSP)로부터 획득되는 LCC와 SROCC는 각각 평균이 0.724 및 0.710으로 크게 개성되어 VR 피로도를 예측하는데 합리적이라는 것을 확인할 수 있다.

한편, 표 4 및 표 5 는 개인별 피로도 점수(Individual sickness Score)의 LCC와 SROCC로 평가한 결과를 나타낸다.

표4 및 표5 에 나타난 바와 같이, 추출된 특징에 따른 개인별 피로도 점수의 상관 관계는 표2 및 표2 에 나타난 MOS와의 상관관계보다 낮음을 알 수 있다. 이는 VR 영상의 피로도가 비록 개개인과 상관관계가 있으나, 개인별로 크게 차이가 날 수 있기 때문이다.

도7 은 본 실시예에 따라 예측된 피로도와 MOS 및 개인별 피로도 점수의 상관 관계를 나타낸다.

도7 에서 (a)는 MOS와 예측된 피로도 사이의 상관 관계를 나타내고, (b)는 개인별 피로도와 예측된 피로도 사이의 상관관계를 나타낸다.

도7 의 (a)와 (b)를 비교하면, 본 실시예에서 추출된 측징들은 개인별 피로도와도 높은 상관 관계가 있으나, MOS 피로도와 더 높은 상관 관계를 갖는다는 것을 알 수 있다. 즉 본 실시예에서 추출하는 특징 들이 인간의 일반적인 특성을 반영함을 알 수 있다.

본 발명에 따른 방법은 컴퓨터에서 실행 시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (10)

1. VR 영상과 상기 VR 영상의 카메라 회전 행렬 및 HMD(Head Mounted Display)에서 감지된 회전 속도를 획득하는 VR 입력 획득부;
   상기 VR 영상의 각 프레임에서 카메라 회전 행렬 및 회전 속도로부터 사용자 헤드 각속도와 시각적 각속도 및 인지 각속도를 지각적 움직임 특징으로 추출하는 지각적 움직임 특징 추출부;
   상기 VR 영상의 각 프레임에서 텍스쳐 특징과 모션 특징을 통계적 콘텐츠 특징으로 추출하는 통계적 콘텐츠 특징 추출부;
   상기 지각적 움직임 특징과 상기 통계적 콘텐츠 특징을 배열하여 특징 벡터를 획득하고, 상기 VR 영상의 다수의 프레임에 대한 다수의 특징 벡터를 시간적 풀링하는 풀링부; 및
   미리 학습된 패턴 추정 방식에 따라 시간적 풀링된 특징 벡터로부터 피로도를 추정하여 출력하는 피로도 예측부; 를 포함하는 피로도 예측 장치.
2. 제1 항에 있어서, 상기 지각적 움직임 특징 추정부는
   상기 VR 영상의 각 프레임에서 상기 회전 속도에 따라 상기 사용자 헤드 각속도를 계산하고,
   상기 VR 영상의 각 프레임에서 상기 카메라 회전 행렬을 이용하여 계산되는 카메라 각속도와 상기 사용자 헤드 각속도의 차에 따라 상기 시각적 각속도를 계산하며,
   상기 사용자 헤드 각속도와 상기 시각적 각속도로부터 상기 인지 각속도를 획득하는 피로도 예측 장치.
3. 제2 항에 있어서, 상기 지각적 움직임 특징 추정부는
   사용자의 머리 움직임과 시각적으로 감지한 움직임을 두뇌가 인지하는 방식으로 모델링된 Telban 모델에 상기 사용자 헤드 각속도와 상기 시각적 각속도를 입력하여 상기 인지 각속도를 획득하는 피로도 예측 장치.
4. 제1 항에 있어서, 상기 통계적 콘텐츠 특징 추출부는
   상기 VR 영상의 각 프레임을 이산 푸리에 변환하여, 변환된 프레임의 에너지를 계산하여 상기 텍스쳐 특징을 획득하고,
   상기 변환된 프레임에 옵티컬 플로우를 적용하여, 각 프레임에서 다수의 픽셀 각각의 수직 속도와 수평 속도를 획득하며, 획득된 다수의 픽셀의 수직 속도와 수평 속도로부터 평균 속도를 계산하여 상기 모션 특징을 추출하는 피로도 예측 장치.
5. 제1 항에 있어서, 상기 풀링부는
   상기 VR 영상의 각 프레임에 대한 상기 사용자 헤드 각속도, 상기 시각적 각속도, 상기 인지 각속도, 상기 텍스쳐 특징 및 상기 모션 특징을 포함하는 상기 특징 벡터를 구성하고,
   상기 VR 영상의 다수의 프레임에 대한 다수의 특징 벡터의 평균, 분산과 함께 최대값 및 최저값의 p-백분위수를 계산하여 풀링된 특징 벡터를 획득하는 피로도 예측 장치.
6. VR 영상과 상기 VR 영상의 카메라 회전 행렬 및 HMD(Head Mounted Display)에서 감지된 회전 속도가 포함된 VR 입력을 획득하는 단계;
   상기 VR 영상의 각 프레임에서 카메라 회전 행렬 및 회전 속도로부터 사용자 헤드 각속도와 시각적 각속도 및 인지 각속도를 지각적 움직임 특징으로 추출하는 단계;
   상기 VR 영상의 각 프레임에서 텍스쳐 특징과 모션 특징을 통계적 콘텐츠 특징으로 추출하는 단계;
   상기 지각적 움직임 특징과 상기 통계적 콘텐츠 특징을 배열하여 특징 벡터를 획득하고, 상기 VR 영상의 다수의 프레임에 대한 다수의 특징 벡터를 시간적 풀링하는 단계; 및
   미리 학습된 패턴 추정 방식에 따라 시간적 풀링된 특징 벡터로부터 피로도를 추정하는 단계; 를 포함하는 피로도 예측 방법.
7. 제6 항에 있어서, 지각적 움직임 특징으로 추출하는 단계는
   상기 VR 영상의 각 프레임에서 상기 회전 속도에 따라 상기 사용자 헤드 각속도를 계산하는 단계;
   상기 VR 영상의 각 프레임에서 상기 카메라 회전 행렬을 이용하여 카메라 각속도를 계산하는 단계;
   상기 사용자 헤드 각속도와 상기 카메라 각속도의 차에 따라 상기 시각적 각속도를 계산하는 단계; 및
   상기 사용자 헤드 각속도와 상기 시각적 각속도로부터 상기 인지 각속도를 획득하는 단계; 를 포함하는 피로도 예측 방법.
8. 제7 항에 있어서, 상기 인지 각속도를 획득하는 단계는
   사용자의 머리 움직임과 시각적으로 감지한 움직임을 두뇌가 인지하는 방식으로 모델링된 Telban 모델에 상기 사용자 헤드 각속도와 상기 시각적 각속도를 입력하여 상기 인지 각속도를 획득하는 피로도 예측 방법.
9. 제6 항에 있어서, 상기 통계적 콘텐츠 특징으로 추출하는 단계는
   상기 VR 영상의 각 프레임을 이산 푸리에 변환하는 단계;
   변환된 프레임의 에너지를 계산하여 상기 텍스쳐 특징을 획득하는 단계;
   상기 변환된 프레임에 옵티컬 플로우를 적용하는 단계;
   상기 변환된 프레임에서 다수의 픽셀 각각의 수직 속도와 수평 속도를 획득하는 단계; 및
   다수의 픽셀의 수직 속도와 수평 속도로부터 평균 속도를 계산하여 상기 모션 특징을 추출하는 단계; 를 포함하는 피로도 예측 방법.
10. 제6 항에 있어서, 상기 풀링하는 단계는
    상기 VR 영상의 각 프레임에 대한 상기 사용자 헤드 각속도, 상기 시각적 각속도, 상기 인지 각속도, 상기 텍스쳐 특징 및 상기 모션 특징을 포함하는 상기 특징 벡터를 구성하는 단계; 및
    상기 VR 영상의 다수의 프레임에 대한 다수의 특징 벡터의 평균, 분산과 함께 최대값 및 최저값의 p-백분위수를 계산하여 풀링된 특징 벡터를 획득하는 단계; 를 포함하는 피로도 예측 방법.

Images