KR20210130773A

KR20210130773A - 이미지 처리 방법 및 머리 장착형 디스플레이 디바이스

Info

Publication number: KR20210130773A
Application number: KR1020217030380A
Authority: KR
Inventors: 티안잉 리앙; 우준 라이
Original assignee: 후아웨이 테크놀러지 컴퍼니 리미티드
Priority date: 2019-03-25
Filing date: 2020-03-14
Publication date: 2021-11-01
Also published as: AU2020250124B2; CN110139028A; EP3920524A4; US20220197033A1; AU2020250124A1; WO2020192458A1; JP2022527708A; CN110139028B; EP3920524A1; JP7408678B2

Abstract

본 출원은 이미지 처리 방법 및 머리 장착형 디스플레이 디바이스를 제공하고, 통신 기술 분야에 관련된다. 고해상도의 이미지가 사용자의 중심 영역을 위해 제공되고, 저해상도의 이미지가 배경 영역을 위해 제공되어, 머리 장착형 디스플레이 디바이스의 이미지 선명도 요구를 만족시키고 이미지 데이터 양을 감소시킨다. 방법은 HMD에 적용될 수 있다. HMD는 2개의 모듈을 포함한다. 각각의 모듈은 카메라 모듈과, 카메라 모듈에 대응하는 디스플레이 스크린과, 처리 모듈을 포함한다. 카메라 모듈은 제1 카메라 및 제2 카메라를 포함한다. 각각의 모듈은 다음의 방법을 수행한다: 검출된 시동 동작에 응답하여, 제1 카메라는 저해상도의 제1 이미지를 수집하고, 제2 카메라는 고해상도의 제2 이미지를 수집함; 처리 모듈은 제1 이미지 및 제2 이미지에 기반하여 제4 이미지를 생성함(제4 이미지는 저해상도의 이미지 및 고해상도의 이미지를 포함함); 처리 모듈은 가상 객체를 포함하는 제3 이미지 및 제4 이미지에 기반하여 제5 이미지를 생성함; 및 디스플레이 스크린은 제5 이미지를 디스플레이함.

Description

이미지 처리 방법 및 머리 장착형 디스플레이 디바이스

이 출원은, 본 문서에 참조에 의해 전체로서 포함되는, "이미지 처리 방법 및 머리 장착형 디스플레이 디바이스"라는 표제로 2019년 3월 25일에 중국국가지식산권국에 출원된 중국 특허 출원 제201910228846.3호에 대한 우선권을 주장한다.

기술 분야

이 출원은 통신 기술 분야에 관련되고, 특히 이미지 처리 방법 및 머리 장착형 디스플레이(head mounted display) 디바이스에 관련된다.

증강 현실(Augmented Reality, AR)은 실시간으로 카메라 비디오의 위치 및 각도를 계산하고 대응하는 이미지, 비디오, 또는 3D(Three Dimensional(3차원)) 모델을 추가하는 기술이다. 전형적인 비디오 투시 기반의 머리 장착형 디스플레이 디바이스(또는 머리 장착형 디스플레이(Head-mounted display, HMD)로 지칭됨)는 카메라를 사용함으로써 실제 장면 이미지(real scene image)를 캡처하고, 이후에 가상 객체(virtual object)를 캡처된 이미지와 합성하며, 합성 이미지를 머리 장착형 디스플레이 디바이스의 스크린 상에 디스플레이할 수 있다.

사용자가 머리 장착형 디스플레이 디바이스를 착용하는 경우에, 머리 장착형 디스플레이 디바이스의 스크린은 사람 눈(human eye)에 가깝고, 사람 눈이 최적의 선명도(definition)를 느끼는 경우에, 이미지의 각도 해상도(angle resolution)는 60 PPD(Pixels Per Degree)에 도달할 수 있다. 그러나, 어떤 현재의 머리 장착형 디스플레이 디바이스도 해상도 요구사항을 만족시킬 수 없다. 만일 카메라에 의해 캡처된 실제 장면 이미지의 해상도가 향상되면, 이미지 처리의 데이터 양 및 이미지 처리의 복잡도가 크게 증가되어, 증가된 디스플레이 지연 및 사용자 어지럼증과 같은 문제를 야기한다.

이 출원은 이미지 처리 방법 및 머리 장착형 디스플레이 디바이스를 제공하여, 사용자에 의해 머리 장착형 디스플레이 디바이스를 사용함으로써 이미지를 보는 것의 선명도 요구를 만족시키고, 데이터 양 및 디스플레이 지연을 감소시키는 데에 도움이 된다.

제1 측면에 따르면, 이 출원은 머리 장착형 디스플레이 디바이스에 적용되는 이미지 처리 방법을 제공한다. 머리 장착형 디스플레이 디바이스 내에 두 모듈이 배치되고, 각각의 모듈은 카메라 모듈과, 카메라 모듈에 대응하는 디스플레이 스크린과, 처리 모듈을 포함하고, 카메라 모듈은 제1 카메라 및 제2 카메라를 포함하고, 제1 카메라의 시야(field of view)는 제2 카메라의 시야보다 크고, 각각의 모듈은 다음의 방법을 수행한다: 검출된 시동(startup) 동작에 응답하여, 제1 카메라는 제1 해상도의 제1 이미지를 수집하고(collect), 제2 카메라는 제2 해상도의 제2 이미지를 수집하되, 제1 해상도는 제2 해상도보다 작음; 처리 모듈은 제1 이미지 및 제2 이미지에 기반하여 제4 이미지를 생성하되, 제4 이미지는 실제 장면 이미지이고 제1 해상도의 이미지 및 제2 해상도의 이미지를 포함함; 처리 모듈은 제4 이미지 및 가상 객체를 포함하는 제3 이미지에 기반하여 제5 이미지를 생성하되, 제5 이미지는 실제 장면 이미지 및 가상 객체를 포함함; 그리고 모듈의 디스플레이 스크린은 제5 이미지를 디스플레이함.

제1 카메라에 의해 수집된 제1 이미지의 시야가 크기 때문에, 제5 이미지 내의 배경 영역(background region)의 시야가 커서, 더 넓은 시야각(angle of view)이 사용자를 위해 제공될 수 있는바, 이로써 사용자의 사람 눈의 시야가 비교적 넓다는 요구를 만족시킴을 알 수 있다. 추가로, 제2 카메라에 의해 캡처된 제2 이미지의 제2 해상도가 높기 때문에, 제5 이미지 내의 중심 영역(central region)의 이미지가 높은 해상도를 가져서, 사용자의 시선(line-of-sight) 초점 범위(focus range) 내의 고선명도 이미지가 사용자를 위해 제공될 수 있다. 이 출원에서 제공되는 기술적 해결안은 사용자의 몰입감, 실감 및 시각적 경험을 향상시키는 데에 도움이 됨을 알 수 있다.

추가로, 제1 카메라에 의해 수집된 제1 이미지의 제1 해상도가 낮기 때문에, 제5 이미지 내의 배경 영역의 이미지가 낮은 해상도를 가져서, 이미지 처리 동안의 데이터 양 및 계산 복잡도가 감소될 수 있는바, 이로써 디스플레이 동안의 지연을 감소시키는 데에 도움이 된다.

가능한 구현에서, 하나의 모듈의 제1 카메라의 광학 중심(optical center)으로부터 다른 모듈의 제1 카메라의 광학 중심까지의 거리는 61 밀리미터 내지 65 밀리미터이다.

두 카메라 모듈 내의 제1 카메라 간의 거리는 사용자의 두 눈 사이의 동공 거리(pupil distance)와 일치할 수 있게 되어서, 사용자의 두 눈이 보는 실제 장면이 시뮬레이션될(simulated) 수 있음을 알 수 있다.

가능한 구현에서, 각각의 모듈 내에서 제1 카메라의 광학 중심으로부터 제2 카메라의 광학 중심까지의 거리는 20 밀리미터보다 작다.

두 카메라 모듈 내의 제2 카메라는 사용자의 시각 초점(visual focus) 영역 내의 이미지를 수집하는 데에 사용됨을 알 수 있다. 따라서, 동일한 카메라 모듈 내에서, 제2 카메라는 제1 카메라에 가능한 한 가깝다.

가능한 구현에서, 각각의 모듈은 접안렌즈(eyepiece)를 더 포함하고, 디스플레이 스크린은 접안렌즈 및 카메라 모듈 간에 위치된다.

가능한 구현에서, 각각의 모듈 내에서 접안렌즈의 광학 중심, 디스플레이 스크린의 광학 중심 및 제1 카메라의 광학 중심은 일직선 상에 위치된다.

이 출원에서, 실제 장면 이미지를 촬영하기 위해 사용자의 두 눈을 시뮬레이션하는 데에 좌측 카메라 모듈 내의 대시야 카메라(large field-of-view camera) 및 우측 카메라 모듈 내의 대시야 카메라가 사용된다. 따라서, 두 카메라의 광학 중심은 사용자의 좌측 및 우측 눈의 중심과 각각 정렬된다. 나아가, 실제 장면 이미지는 제1 디스플레이 스크린 및 제2 디스플레이 스크린을 사용함으로써 최종적으로 제시되기 때문에, 사용자로 하여금 몰입감 및 실감을 느낄 수 있게 하기 위해, 제1 디스플레이 스크린 및 제2 디스플레이 스크린의 광학 중심은 또한 사용자의 좌측 및 우측 눈의 중심과 각각 정렬되어야 한다. 추가로, 사용자는 별개로 제1 접안렌즈 및 제2 접안렌즈를 사용함으로써 디스플레이 상의 이미지를 본다. 따라서, 제1 접안렌즈 및 제2 접안렌즈는 또한 사용자의 좌측 및 우측 눈의 중심과 각각 정렬되어야 한다.

가능한 구현에서, 처리 모듈이 제1 이미지 및 제2 이미지에 기반하여 제4 이미지를 생성하는 것은 다음을 포함한다: 처리 모듈은 제2 이미지의 시야각을 제1 이미지의 시야각과 동일하도록 조정하고; 조정된 제2 이미지 및 제1 이미지에 기반하여 제4 이미지를 생성함.

제2 이미지 및 제1 이미지는 동일한 촬영 객체(photographed object)를 가지나, 제1 카메라 및 제2 카메라의 상이한 위치로 인해 두 이미지 내의 동일한 촬영 객체의 이미지 간에 특정한 시야각 차이가 있다. 따라서, 두 이미지의 시야각은 정렬될 필요가 있다.

가능한 구현에서, 처리 모듈이 제2 이미지의 시야각을 제1 이미지의 시야각과 동일하도록 조정하는 것은 다음을 포함한다: 처리 모듈은, 제2 이미지의 시야각이 제1 이미지의 시야각과 동일할 수 있게 하기 위해, 제2 이미지에 대해 회전(rotation), 병진(translation) 및 비-동일평면 행 교정(non-coplanar row calibration) 처리를 수행함.

가능한 구현에서, 처리 모듈이 조정된 제2 이미지 및 제1 이미지에 기반하여 제4 이미지를 생성하는 것은 다음을 포함한다: 처리 모듈은 중첩된(overlapped) 시야각을 갖는, 조정된 제2 이미지 내의 영역 및 제1 이미지 내의 영역을 타겟 영역으로서 판정하고; 제1 이미지 내의 타겟 영역의 이미지를 조정된 제2 이미지로 대체함.

제1 이미지 내의 타겟 영역의 이미지는 제거될 수 있고, 이후 시야각 정렬 후에 획득된 제2 이미지 내의 타겟 영역의 이미지가 채워질(filled) 수 있다. 채움 후에, 이미지 합성 프로세스에서 야기되는 에일리어싱(aliasing) 느낌과 같은 문제를 방지하기 위해, 두 이미지의 합성 에지(edge) 위치(즉, 타겟 영역의 에지 위치)는 가중 혼합(weighted blending) 방법을 사용함으로써 혼합되어서, 최종적인 합성 이미지(즉, 제4 이미지)는 더 자연스럽고 현실적이다.

이미지 합성 방법은 직접적인 잘라 붙이기(cut-paste) 기술, 알파 혼합(alpha blending), 다대역 혼합(multiband blending) 또는 푸아송 혼합(poisson blending) 중 임의의 하나 또는 몇 개일 수 있다. 구체적인 이미지 합성 방법은 이 출원에서 한정되지 않는다.

가능한 구현에서, 처리 모듈이 제4 이미지 및 가상 객체를 포함하는 제3 이미지에 기반하여 제5 이미지를 생성하기 전에, 방법은 다음을 더 포함한다: 처리 모듈은, 머리 장착형 디스플레이 디바이스의 자세 정보(posture information) 및 제1 이미지에 기반하여, 가상 객체를 포함하는 제3 이미지를 생성함.

가능한 구현에서, 제4 이미지 및 가상 객체를 포함하는 제3 이미지에 기반하여 제5 이미지를 생성하는 것은 다음을 포함한다: 제1 이미지의 제1 해상도에 기반하여 제3 이미지의 해상도를 조정하고/거나, 제1 이미지 내의 광 정보(light information)에 기반하여 제3 이미지 내의 가상 객체의 음영(shadow)을 조정하는 것; 및 제4 이미지 및 조정된 제3 이미지에 기반하여 제5 이미지를 생성하는 것.

제2 측면에 따르면, 이 출원은 2개의 모듈 및 메모리를 포함하는 머리 장착형 디스플레이 디바이스를 제공한다. 각각의 모듈은 카메라 모듈과, 카메라 모듈에 대응하는 디스플레이 스크린과, 처리 모듈을 포함하고, 카메라 모듈은 제1 카메라 및 제2 카메라를 포함하고, 제1 카메라의 시야는 제2 카메라의 시야보다 크고, 메모리는 컴퓨터 프로그램 코드를 저장하도록 구성되되, 컴퓨터 프로그램 코드는 컴퓨터 명령어를 포함하고, 처리 모듈이 메모리로부터 컴퓨터 명령어를 판독하는 경우에, 머리 장착형 디스플레이 디바이스 내의 각각의 모듈은 다음의 동작을 수행할 수 있게 된다: 검출된 시동 동작에 응답하여, 제1 카메라는 제1 해상도의 제1 이미지를 수집하고, 제2 카메라는 제2 해상도의 제2 이미지를 수집하되, 제1 해상도는 제2 해상도보다 작음; 처리 모듈은 제1 이미지 및 제2 이미지에 기반하여 제4 이미지를 생성하되, 제4 이미지는 실제 장면 이미지이고 제1 해상도의 이미지 및 제2 해상도의 이미지를 포함함; 처리 모듈은 제4 이미지 및 가상 객체를 포함하는 제3 이미지에 기반하여 제5 이미지를 생성하되, 제5 이미지는 실제 장면 이미지 및 가상 객체를 포함함; 그리고 모듈의 디스플레이 스크린은 제5 이미지를 디스플레이함.

가능한 구현에서, 하나의 모듈의 제1 카메라의 광학 중심으로부터 다른 모듈의 제1 카메라의 광학 중심까지의 거리는 61 밀리미터 내지 65 밀리미터이다.

가능한 구현에서, 각각의 모듈은 접안렌즈를 더 포함하고, 디스플레이 스크린은 접안렌즈 및 카메라 모듈 간에 위치된다.

가능한 구현에서, 머리 장착형 디스플레이 디바이스가 수평으로 놓인 경우에, 각각의 모듈 내에서 제1 카메라의 광학 중심 및 제2 카메라의 광학 중심 간의 연결선은 수평면에 평행하다.

가능한 구현에서, 처리 모듈이 메모리로부터 컴퓨터 명령어를 판독하는 경우에, 머리 장착형 디스플레이 디바이스 내의 각각의 모듈은 또한 다음의 동작을 수행할 수 있게 된다: 처리 모듈은 제2 이미지의 시야각을 제1 이미지의 시야각과 동일하도록 조정하고; 조정된 제2 이미지 및 제1 이미지에 기반하여 제4 이미지를 생성함.

가능한 구현에서, 처리 모듈이 메모리로부터 컴퓨터 명령어를 판독하는 경우에, 머리 장착형 디스플레이 디바이스 내의 각각의 모듈은 또한 다음의 동작을 수행할 수 있게 된다: 처리 모듈은, 제2 이미지의 시야각이 제1 이미지의 시야각과 동일할 수 있게 하기 위해, 제2 이미지에 대해 회전, 병진 및 비-동일평면 행 교정 처리를 수행함.

가능한 구현에서, 처리 모듈이 메모리로부터 컴퓨터 명령어를 판독하는 경우에, 머리 장착형 디스플레이 디바이스 내의 각각의 모듈은 또한 다음의 동작을 수행할 수 있게 된다: 처리 모듈은 중첩된 시야각을 갖는, 조정된 제2 이미지 내의 영역 및 제1 이미지 내의 영역을 타겟 영역으로서 판정하고; 제1 이미지 내의 타겟 영역의 이미지를 조정된 제2 이미지로 대체함.

가능한 구현에서, 처리 모듈이 메모리로부터 컴퓨터 명령어를 판독하는 경우에, 머리 장착형 디스플레이 디바이스 내의 각각의 모듈은 또한 다음의 동작을 수행할 수 있게 된다: 처리 모듈은, 머리 장착형 디스플레이 디바이스의 자세 정보 및 제1 이미지에 기반하여, 가상 객체를 포함하는 제3 이미지를 생성함.

가능한 구현에서, 처리 모듈이 메모리로부터 컴퓨터 명령어를 판독하는 경우에, 머리 장착형 디스플레이 디바이스 내의 각각의 모듈은 또한 다음의 동작을 수행할 수 있게 된다: 제1 이미지의 제1 해상도에 기반하여 제3 이미지의 해상도를 조정하고/거나, 제1 이미지 내의 광 정보에 기반하여 제3 이미지 내의 가상 객체의 음영을 조정하는 것; 및 제4 이미지 및 조정된 제3 이미지에 기반하여 제5 이미지를 생성하는 것.

제3 측면에 따르면, 컴퓨터 명령어를 포함하는 컴퓨터 저장 매체가 제공된다. 컴퓨터 명령어가 단말 상에서 가동되는(run) 경우에, 단말은 제1 측면 및 제1 측면의 가능한 구현 중 임의의 것에 따른 방법을 수행할 수 있게 된다.

제4 측면에 따르면, 컴퓨터 프로그램 제품이 제공된다. 컴퓨터 프로그램 제품이 컴퓨터 상에서 가동되는 경우에, 컴퓨터는 제1 측면 및 제1 측면의 가능한 구현 중 임의의 것에 따른 방법을 수행할 수 있게 된다.

도 1a는 이 출원의 실시예에 따른 이미지의 상이한 영역의 시야의 개략도이고,
도 1b는 이 출원의 실시예에 따른 머리 장착형 디스플레이 디바이스의 개략적인 구조도이고,
도 2a는 이 출원의 실시예에 따른 몇몇 머리 장착형 디스플레이 디바이스의 카메라 모듈의 개략적인 구조도이고,
도 2b는 이 출원의 실시예에 따른 다른 머리 장착형 디스플레이 디바이스의 개략적인 구조도이고,
도 3은 이 출원의 실시예에 따른 다른 머리 장착형 디스플레이 디바이스의 개략적인 구조도이고,
도 4는 이 출원의 실시예에 따른 다른 머리 장착형 디스플레이 디바이스의 개략적인 구조도이고,
도 5는 이 출원의 실시예에 따른 다른 머리 장착형 디스플레이 디바이스의 개략적인 구조도이고,
도 6은 이 출원의 실시예에 따른 이미지 처리 방법의 개략적인 흐름도이고,
도 7은 이 출원의 실시예에 따른 이미지 처리 프로세스의 개략도이다.

다음은 이 출원의 실시예에에서의 첨부된 도면을 참조하여 이 출원의 실시예에서의 기술적 해결안을 기술한다. 이 출원의 실시예의 설명에서, "/"는 달리 명시되지 않는 한 "또는"을 의미한다. 예를 들어, A/B는 A 또는 B를 나타낼 수 있다. 이 명세서에서, "및/또는"은 단지 연관된 객체를 기술하기 위한 연관 관계를 기술하며 3개의 관계가 존재할 수 있음을 나타낸다. 예를 들어, A 및/또는 B는 다음의 3개의 경우를 나타낼 수 있다: 오직 A가 존재함, A 및 B 양자 모두가 존재함, 그리고 오직 B가 존재함.

다음의 용어 "제1" 및 "제2"는 설명의 목적으로 의도될 뿐이며, 상대적인 중요성의 지시(indication) 또는 암시(implication) 또는 지시된 기술적 특징의 수량의 암시적 지시로서 이해되어서는 안 된다. 따라서, "제1" 또는 "제2"에 의해 한정된 특징은 하나 이상의 특징을 명시적으로 또는 암시적으로 포함할 수 있다. 이 출원의 실시예의 설명에서, 달리 진술되지 않는 한, "복수의"는 둘 이상을 의미한다.

이 출원의 실시예에서, "예" 또는 "예를 들어"와 같은 단어는 예, 예시, 또는 설명을 보이는 것을 나타내는 데에 사용된다. 이 출원의 실시예에서 "예" 또는 "예를 들어"로서 기술된 임의의 실시예 또는 설계 방안은 다른 실시예 또는 설계 방안보다 더 바람직하거나 더 많은 이점을 갖는 것으로서 설명되어서는 안 된다. 정확히, "예" 또는 "예를 들어"와 같은 단어의 사용은 구체적인 방식으로 관련 개념을 제시하도록 의도된다.

현재의 머리 장착형 디스플레이 디바이스의 이미지 해상도는 일반적으로 근거리 관람(short-distance viewing) 동안에 사용자의 선명도 요구를 만족할 수 없다. 추가로, 그저 이미지 해상도를 향상시키는 것은 데이터 양의 증가 및 이미지 처리의 복잡도와 같은 문제를 야기한다. 사람 눈은 이러한 시각적 특징을 갖는다고 고려된다: 관찰(observation) 동안에, 사용자의 눈 바로 앞의 영역은 통상적으로 시각 초점 영역이다. 영역의 이 부분은 가장 예민하게 감지되고 머리 장착형 디스플레이 디바이스에 대한 높은 이미지 해상도 요구를 갖는다. 그러나, 눈이 볼 수 있는 다른 영역은 사용자에 의해 예민하게 감지되지 않으며 머리 장착형 디스플레이 디바이스에 대한 낮은 이미지 해상도 요구를 갖는다. 즉, 머리 장착형 디스플레이 디바이스 상에 디스플레이되는 이미지는 중심 영역 및 배경 영역으로 나뉠 수 있다. 도 1a에 도시된 바와 같이, 머리 장착형 디스플레이 디바이스 상에 디스플레이된 이미지는 중심 영역 및 배경 영역을 포함한다. 중심 영역은 사용자의 시각 초점 영역이며, 근거리 관람 동안에 사용자의 사람 눈의 선명도 요구를 만족시키기 위해, 비교적 높은 해상도의 이미지를 제공할 수 있다. 배경 영역은 이미지 내에서 중심 영역이 아닌 부분이며, 머리 장착형 디스플레이 디바이스에 의해 수행되는 이미지 처리의 데이터 양 및 복잡도를 감소시키기 위해, 비교적 낮은 해상도의 이미지만을 제공할 수 있다. 다시 말해, 중심 영역의 해상도는 배경 영역의 해상도보다 더 높다. 도 1a에서, 사용자의 사람 눈의 시각 초점 영역(즉, 중심 영역)을 예시하는 데에 직사각형이 사용되며, 주로 머리 장착형 디스플레이 디바이스 상에 디스플레이된 이미지 내에서의 중심 영역의 대략적인 위치를 나타내는 데에 사용됨에 유의하여야 한다. 이는 사용자의 사람 눈의 시각 초점 영역의 형상에 대해 어떤 한정도 구성하지 않는다.

추가로, 사람 눈의 시야는 비교적 크며 180도에 도달할 수 있으나, 종래의 머리 장착형 디스플레이 디바이스의 시야는 비교적 작고, 따라서 사용자가 관찰을 위해 머리 장착형 디스플레이 디바이스를 사용하는 경우에 양측 모두에 비교적 많은 수효의 사각 영역(blind region)이 출현하여, 사용자의 불충분한 몰입감을 야기할 수 있음이 고려된다. 이 출원은 비교적 큰 시야의 이미지(배경 영역을 포함하는 이미지)를 캡처하는(capture) 데에 대시야 카메라가 사용되는데, 대시야 이미지는 통상적으로 낮은 해상도를 갖고; 동시에, 중심 영역의 고선명도 이미지를 캡처하는 데에 소시야 카메라(small field-of-view camera)가 사용되는 것을 제공한다. 도 1a에 도시된 이미지에서, 배경 영역에 대응하는 시야 α는 중심 영역에 대응하는 시야 β보다 더 크다.

시야는 이미지 촬영 동안에 카메라에 의해 촬영될 수 있는 최대 각도 범위를 지시하는(indicate) 데에 사용됨에 유의하여야 한다. 만일 촬영될 객체가 각도 범위 내에 속하면, 촬영될 객체는 카메라에 의해 수집되고 이후에 프리뷰 이미지(preview image) 내에 제시된다. 만일 촬영될 객체가 각도 범위 외부에 속하면, 촬영될 객체는 이미지 캡처 장치에 의해 수집되지 않는데, 다시 말해, 프리뷰 이미지 내에 제시되지 않는다. 통상적으로, 더 큰 시야의 카메라는 더 큰 촬영 범위 및 더 짧은 초점 길이(focal length)에 대응하고, 더 작은 시야의 카메라는 더 작은 촬영 범위 및 더 긴 초점 길이에 대응한다.

일반적으로, 시야는 수평 방향에서의 각도 및 수직 방향에서의 각도를 포함한다. 이 출원에서, 2개의 시야를 사용함으로써 수평 방향에서의 각도 및 수직 방향에서의 각도가 별개로 나타내어질 수 있거나, 하나의 시야를 사용함으로써 수평 방향에서의 각도 및 수직 방향에서의 각도 양자 모두가 나타내어질 수 있다. 설명의 용이함을 위해, 이 출원은 하나의 시야가 수평 방향에서의 각도 및 수직 방향에서의 각도 양자 모두를 나타내는 예를 사용함으로써 아래에서 모든 설명을 제공한다. 예를 들어, 도 1a에 도시된 바와 같이, 시야 α는 대시야 카메라에 의해 캡처된 이미지(즉, 배경 영역의 이미지)의 두 에지의 대각선에 대응하는 각도이고, 수평 방향에서의 각도 및 수직 방향에서의 각도 양자 모두를 나타낼 수 있다. β는 소시야 카메라에 의해 캡처된 이미지(즉, 중심 영역의 이미지)의 두 에지의 대각선에 대응하는 각도이고, 수평 방향에서의 각도 폭 및 수직 방향에서의 각도 폭 양자 모두를 나타낼 수 있다.

이 출원에서, "시야"는 또한 "시야 범위"(field of view range) 또는 "시계 범위"(field of vision range)와 같은 단어로 지칭될 수 있다. 전술한 개념이 표현된다면, "시야"의 명칭은 이 명세서에서 한정되지 않는다.

이후에, 대시야 이미지는 실제 장면 이미지를 획득하기 위해 중심 영역의 고선명도 이미지와 합성된다. 그러면, 가상 객체를 포함하는 이미지가 머리 장착형 디스플레이 디바이스의 획득된 자세 정보 및 대시야 이미지에 기반하여 생성된다. 최종적으로, 가상 객체를 포함하는 이미지는 제1 합성 후에 획득된 실제 장면 이미지와 또한 합성되어, 실제 장면 및 가상 객체를 포함하는 이미지를 획득하고, 이미지는 머리 장착형 디스플레이 디바이스 상에 디스플레이된다. 이 경우에, 디스플레이된 이미지의 시야는 비교적 크며, 사람 눈의 시야에 가능한 한 가까울 수 있다. 추가로, 사람 눈의 시각 초점 영역 내의 이미지의 해상도는 비교적 크다. 이는 근거리 이미지 관람 동안에 사용자의 선명도 요구를 만족시키는바, 이로써 사용자의 몰입감을 크게 향상시키고 시각적 경험을 향상시킨다.

이 출원의 실시예에서 제공되는 기술적 해결안은 가상 현실(Virtual Reality, VR)/증강 현실(Augmented Reality, AR)/혼합 현실(Mixed Reality, MR)과 같은 시나리오에서 머리 장착형 디스플레이 디바이스 또는 유사한 것에 적용될 수 있다. 기술적 해결안을 수행하는 머리 장착형 디스플레이 디바이스의 구체적인 형태는 이 출원에서 특별히 한정되지 않는다.

도 1b는 이 출원의 실시예에 따른 머리 장착형 디스플레이 디바이스(100)인 개략적인 구조도이다. 머리 장착형 디스플레이 디바이스(100)는 헬멧 몸체(110) 및 벨트(140)를 포함한다. 벨트(140)는 사용자의 머리 위에 머리 장착형 디스플레이 디바이스(100)를 착용하도록 구성된다. 헬멧 몸체(110)는 전방 패널(front panel)(120) 및 전방 패널(120) 맞은편의 후방 패널(rear panel)(130)을 갖는다. 전방 패널(120)은 사용자가 머리 장착형 디스플레이 디바이스(100)를 착용하는 경우에 사용자로부터 멀리 떨어진 표면이다. 후방 패널(130)은 사용자가 머리 장착형 디스플레이 디바이스(100)를 착용하는 경우에 사용자에 가까운 표면이다.

사용자의 전방의 실제 장면 이미지를 캡처하기 위해, 2개의 카메라 모듈인 좌측 카메라 모듈(150) 및 우측 카메라 모듈(160)이 전방 패널(120) 상에 배치된다. 좌측 카메라 모듈(150)은 사용자의 좌측 눈 전방에 위치되고, 우측 카메라 모듈(160)은 사용자의 우측 눈 전방에 위치된다. 각각의 카메라 모듈은 적어도 2개의 카메라를 포함하고, 적어도 2개의 카메라는 적어도 하나의 대시야 카메라 및 적어도 하나의 소시야 카메라를 포함한다. 적어도 하나의 대시야 카메라(예를 들어, 100도부터 200도까지의 시야 및 VGA부터 720p까지의 해상도를 가짐)는, 예를 들어, 카메라(151) 및 카메라(161)이다. 적어도 하나의 소시야 카메라(예를 들어, 20도부터 60도까지의 시야 및 720p부터 2Kp까지의 해상도를 가짐)는, 예를 들어, 카메라(152) 및 카메라(162)이다. 대시야 카메라에 의해 캡처된 이미지는 비교적 큰 시야 및 비교적 낮은 해상도를 갖는다. 소시야 카메라에 의해 캡처된 이미지는 비교적 작은 시야 및 비교적 높은 해상도를 갖는다.

이 출원에서, 대시야 카메라에 의해 캡처된 이미지는 비교적 큰 시야를 가져서, 더 넓은 시야각이 사용자를 위해 제공될 수 있는바, 이로써 사용자의 사람 눈의 시야가 비교적 넓다는 요구를 만족시킨다. 소시야 카메라에 의해 캡처된 이미지는 비교적 높은 해상도를 가져서, 사용자의 시선 초점 범위 내의 이미지가 사용자를 위해 제공될 수 있다. 이 출원에서, 대시야 카메라에 의해 캡처된 이미지는 소시야 카메라에 의해 캡처된 이미지와 합성되고, 이후에 합성 이미지가 AR/VR/MR과 같은 시나리오에 적용되는바, 이로써 사용자의 몰입감, 실감 및 시각적 경험을 향상시키는 데에 도움이 됨을 알 수 있다. 추가로, 배경 영역의 이미지는 낮은 해상도를 가져서, 이미지 처리 동안의 데이터 양 및 계산 복잡도가 또한 감소될 수 있는바, 이로써 디스플레이 동안에 지연을 줄이는 데에 도움이 된다.

몇몇 실시예에서, 좌측 및 우측 카메라 모듈이 각각 실제 장면 이미지를 촬영하기 위한 하나의 대시야 카메라를 포함하는 경우에, 두 대시야 카메라(예를 들어, 카메라(151) 및 카메라(161)의 광학 중심 간의 거리 D1는 사용자의 두 눈의 동공 거리와 대략적으로 일치한다. 따라서, D1은 통상적으로 61 mm부터 65 mm까지에 걸치며, 예를 들어, 63 mm일 수 있다. 하나의 카메라 모듈 내에서, 소시야 카메라가 대시야 카메라 근처에 위치된다. 통상적으로, 소시야 카메라의 광학 중심 및 대시야 카메라의 광학 중심 간의 거리 D2는 20 mm보다 작다. 도 1b는 머리 장착형 디바이스가 대략적으로 수평으로 순방향으로 놓인 경우에 머리 장착형 디스플레이 디바이스(100)의 중심축을 도시한다. 중심축을 참조하면, 다음은 대시야 카메라(151)에 대한 소시야 카메라(152)의 위치를 기술하기 위해 예로서 좌측 눈 전방의 카메라 모듈(150)을 사용한다. 예를 들어, 전방 패널(120)과 대향하면, 소시야 카메라(152)는 대시야 카메라(151)의 좌측에(다시 말해, 도 1b에 도시된 바와 같이, 소시야 카메라(152)는 대시야 카메라(151)보다 중심축에 더 가까움) 또는 대시야 카메라(151)의 우측에(다시 말해, 도 2a(1)에 도시된 바와 같이, 소시야 카메라(152)는 대시야 카메라(151)보다 중심축으로부터 더 멀리 떨어짐) 위치될 수 있고, 대시야 카메라(151), 소시야 카메라(152), 대시야 카메라(161) 및 소시야 카메라(162)의 광학 중심은 대략적으로 수평 평면 상에 위치된다.

다른 예를 들면, 도 1b에 도시된 바와 같이 머리 장착형 디바이스가 대략적으로 수평으로 순방향으로 놓인 경우에, 소시야 카메라(152)는 대시야 카메라(151) 위에(다시 말해, 도 2a(2)에 도시된 바와 같이, 소시야 카메라(152)의 광학 중심으로부터 대시야 카메라(151)의 광학 중심으로의 방향은 중력 방향과 동일함) 또는 대시야 카메라(151) 아래에(다시 말해, 소시야 카메라(152)의 광학 중심으로부터 대시야 카메라(151)의 광학 중심으로의 방향은 중력 방향의 반대임) 위치될 수 있다. 대안적으로, 소시야 카메라(152)는 대시야 카메라(151)의 사선 상측(도 2a(3)에 도시된 바와 같음) 또는 사선 하측과 같은 임의의 위치에 위치될 수 있다. 즉, 하나의 카메라 모듈 내에서 소시야 카메라 및 대시야 카메라 간의 상대적인 위치 관계는 이 출원에서 한정되지 않는다. 물론, 소시야 카메라는 대시야 카메라 근처의 위치에 고정될 수 있다. 대안적으로, 소시야 카메라는 회전가능하거나 탈거가능한(removable) 장치 내에 위치될 수 있는데, 다시 말해, 소시야 카메라는 대시야 카메라 근처에서 이동될 수 있다. 소시야 카메라(152) 및 대시야 카메라(151)의 전술한 설명은 각각 소시야 카메라(162) 및 대시야 카메라(161)에 적용가능하다. 이는 이 출원의 이 실시예에서 반복되지 않는다.

몇몇 다른 실시예에서, 좌측 및 우측 카메라 모듈은 각각 둘 이상의 대시야 카메라를 포함하는데, 다시 말해, 복수의 카메라에 의해 캡처된 이미지를 합성하거나 접합함으로써 실제 장면 이미지가 획득된다. 이 경우에, 통상적으로, 좌측 및 우측 카메라 모듈 각각 내에 하나의 대시야 카메라가 주 카메라로서 배치될 수 있다. 즉, 주 카메라에 의해 촬영된 이미지의 시야각은, 실제 장면 이미지를 획득하기 위해, 다른 대시야 카메라에 의해 촬영된 이미지를 합성하고 접합하기 위한 기준으로서 사용된다. 이 경우에, 2개의 주 카메라의 광학 중심 간의 거리는 D1이며 사용자의 두 눈의 동공 거리와 일치하게 유지되어야 한다. 하나의 카메라 모듈 내에서, 소시야 카메라는 대시야 카메라 중의 주 카메라 근처에 위치된다. 통상적으로, 소시야 카메라의 광학 중심 및 주 카메라의 광학 중심 간의 거리는 D2이며 20 mm보다 작다. 예를 들어, 도 2b에 도시된 바와 같이, 머리 장착형 디스플레이 디바이스(100)의 좌측 및 우측 카메라 모듈은 각각 2개의 대시야 카메라를 포함한다. 즉, 좌측 카메라 모듈(150)은 2개의 대시야 카메라인 카메라(1511) 및 카메라(1512)를 포함하고, 우측 카메라 모듈(160)은 2개의 대시야 카메라인 카메라(1611) 및 카메라(1612)를 포함한다. 중심축에 가까운 2개의 대시야 카메라(즉, 카메라(1511) 및 카메라(1611))가 주 카메라로서 배치된다고 가정된다. 이 경우에, 카메라(1511)의 광학 중심 및 카메라(1611)의 광학 중심 간의 거리는 D1이다. 소시야 카메라는 대시야 카메라 중의 주 카메라 근처에 위치된다. 즉, 카메라(152)의 광학 중심 및 카메라(1511)의 광학 중심 간의 거리는 D2이고, 카메라(162)의 광학 중심 및 카메라(1611)의 광학 중심 간의 거리는 D2이다.

또 몇몇 다른 실시예에서, 머리 장착형 디스플레이 디바이스(100)의 움직임을 감지하는 센서, 예를 들면, 머리 장착형 디스플레이 디바이스(100)의 3축 자세각(또는 각속도)과, 가속도와 같은, 머리 장착형 디스플레이 디바이스(100)의 자세 정보를 측정하도록 구성된 관성 측정 유닛(Inertial measurement unit, IMU)(170)이 또한 전방 패널(120) 상에 배치될 수 있다. 통상적으로, IMU는 3개의 가속도계 및 3개의 자이로스코프를 포함하고, 가속도계 및 자이로스코프는 상호 수직인 측정 축 상에 장착된다. 저정밀도 IMU는 다른 방식으로 또한 정정될(corrected) 수 있다. 예를 들어, 장기간의 위치 드리프트(drift)를 정정하는 데에 GPS가 사용되거나, 높이를 정정하는 데에 기압계(barometer)가 사용되거나, 자세를 정정하는 데에 자력계(magnetometer)가 사용된다. VR/AR/MR과 같은 시나리오에서, IMU(170)에 의해 획득된, 머리 장착형 디스플레이 디바이스(100)의 자세 정보 및 카메라 모듈에 의해 획득된 실제 장면 이미지는 머리 장착형 디스플레이 디바이스(100)가 위치된 실제 장면을 위치파악하고(locate) 작성하는(compose) 데에 사용될 수 있다.

머리 장착형 디스플레이 디바이스(100)의 컴포넌트 및 컴포넌트 간의 위치 관계를 더 명확히 기술하기 위해, 이 출원의 이 실시예는 도 3에 도시된 바와 같이, 사용자에 의해 착용된 머리 장착형 디스플레이 디바이스(100)의 부감도(top view)를 제공한다. 도 3은 좌측 및 우측 카메라 모듈이 각각 하나의 대시야 카메라 및 하나의 소시야 카메라를 포함하는 예를 도시한다.

좌측 및 우측 눈에 각각 대응하는 좌측 접안렌즈(230) 및 우측 접안렌즈(240)가 머리 장착형 디스플레이 디바이스(100)의 후방 패널(130) 상에 배치된다. 머리 장착형 디스플레이 디바이스(100)는 좌측 및 우측 접안렌즈에 각각 대응하는 디스플레이를 내부에 포함한다. 디스플레이의 시야는 카메라 모듈 내의 대시야 카메라의 시야보다 작지 않아서, 디스플레이는 대시야 카메라에 의해 촬영된 이미지를 완전히 제시할 수 있음이 이해될 수 있다. 좌측 접안렌즈(230)는 좌측 디스플레이(210)에 대응하고, 우측 접안렌즈(240)는 우측 디스플레이(220)에 대응한다. 좌측 및 우측 접안렌즈는 사람 눈이 좌측 및 우측 디스플레이에 초점을 맞추는 것 등에 도움이 될 수 있어서, 사용자의 좌측 눈은 좌측 디스플레이(210) 상에 디스플레이된 이미지를 좌측 접안렌즈(230)를 사용함으로써 볼 수 있고, 사용자의 우측 눈은 우측 디스플레이(220) 상에 디스플레이된 이미지를 우측 접안렌즈(240)를 사용함으로써 볼 수 있다. 좌측 디스플레이(210) 및 우측 디스플레이(220)는 2개의 독립적인 디스플레이일 수 있거나, 하나의 디스플레이 내의 상이한 디스플레이 영역일 수 있음에 유의하여야 한다. 이것은 이 출원의 이 실시예에서 한정되지 않는다.

사용자의 좌측 눈에 대응하는 좌측 카메라 모듈(150)은 대시야 카메라(151) 및 소시야 카메라(152)를 포함하여, 머리 장착형 디스플레이 디바이스(100)의 전방 패널(120) 상에 배치되고, 사용자의 우측 눈에 대응하는 우측 카메라 모듈은 대시야 카메라(161) 및 소시야 카메라(162)를 포함하여, 머리 장착형 디스플레이 디바이스(100)의 전방 패널(120) 상에 배치됨을 도 3으로부터 또한 알 수 있다. IMU(170)가 또한 전방 패널(120) 상에 배치될 수 있다.

이 방식으로, 좌측 카메라 모듈(150) 내의 두 카메라에 의해 캡처된 두 이미지가 이 출원에서 제공되는 방법을 사용함으로써 처리된 후에, 처리된 이미지는 좌측 눈에 의한 관람을 위해 좌측 눈 전방에 좌측 디스플레이(210) 상에 디스플레이된다. 우측 카메라 모듈(160) 내의 두 카메라에 의해 캡처된 두 이미지가 이 출원에서 제공되는 방법을 사용함으로써 처리된 후에, 처리된 이미지는 우측 눈에 의한 관람을 위해 우측 눈 전방에 우측 디스플레이(220) 상에 디스플레이된다. 일반적으로, 좌측 카메라 모듈(150) 내의, 그리고 우측 카메라 모듈(160) 내의 카메라는 이미지를 동시에 캡처한다. 추가로, 좌측 카메라 모듈(150) 및 우측 카메라 모듈(160) 간의 위치 차이로 인해, 두 모듈에 의해 동시에 캡처된 이미지 간의 시야각 차이가 또한 있고, 시야각 차이는 안면의 시각적 차이와 동일하다. 따라서, 사용자의 두 눈이 좌측 디스플레이(210) 및 우측 디스플레이(220)로부터 두 이미지를 동시에 보는 경우에 3D 시야각 효과가 생성된다.

이 출원에서, 실제 장면 이미지를 촬영하기 위해 사용자의 두 눈을 시뮬레이션하는 데에 좌측 카메라 모듈 내의 대시야 카메라 및 우측 카메라 모듈 내의 대시야 카메라가 사용됨을 알 수 있다. 따라서, 두 카메라의 광학 중심은 사용자의 좌측 및 우측 눈의 중심과 각각 정렬된다. 나아가, 실제 장면 이미지는 좌측 디스플레이(210) 및 우측 디스플레이(220)를 사용함으로써 최종적으로 제시되기 때문에, 사용자로 하여금 몰입감 및 실감을 느낄 수 있게 하기 위해, 좌측 디스플레이(210) 및 우측 디스플레이(220)의 광학 중심이 또한 사용자의 좌측 및 우측 눈의 중심과 각각 정렬되어야 한다. 추가로, 머리 장착형 디스플레이 디바이스(100)에서, 사용자는 좌측 접안렌즈(230) 및 우측 접안렌즈(240)를 사용함으로써 디스플레이 상의 이미지를 본다. 따라서, 좌측 접안렌즈(230) 및 우측 접안렌즈(240)는 또한 사용자의 좌측 및 우측 눈의 중심과 각각 정렬되어야 한다. 도 4는 사용자가 관람을 위해 머리 장착형 디스플레이 디바이스를 사용하는 개략도를 도시한다. 우측 눈이 예로서 사용된다. 사용자의 우측 눈의 중심, 우측 접안렌즈(240)의 광학 중심 A 점(point), 우측 디스플레이(220)의 광학 중심 B 점, 그리고 우측 카메라 모듈 내의 대시야(161)의 광학 중심 C 점은 일직선 상에 위치되거나, 대략적으로 일직선 상에 위치된다.

도 5는 이 출원의 실시예에 따른 다른 머리 장착형 디스플레이 디바이스(100)의 개략적인 구조도이다. 도 1b 내지 도 3에 도시된 컴포넌트(예를 들면 좌측 카메라 모듈(150), 우측 카메라 모듈(160), 좌측 디스플레이(210), 우측 디스플레이(220) 및 IMU(170))에 더하여, 머리 장착형 디스플레이 디바이스(100)는 프로세서(501), 외부 메모리 인터페이스(502), 내부 메모리(503), 범용 직렬 버스(universal serial bus, USB) 인터페이스(504), 충전 관리 모듈(505), 전력 관리 모듈(506), 배터리(507), 무선 통신 모듈(508), 오디오 모듈(509), 스피커(speaker)(510), 전화 수신기(telephone receiver)(511), 마이크로폰(microphone)(512), 헤드세트 잭(headset jack)(513), 버튼(514), 모터(515) 및 지시기(indicator)(516)를 더 포함할 수 있다.

본 발명의 이 실시예에서의 개략적인 구조는 머리 장착형 디스플레이 디바이스(100)에 대한 어떤 구체적인 한정도 구성하지 않음이 이해될 수 있다. 이 출원의 몇몇 다른 실시예에서, 머리 장착형 디스플레이 디바이스(100)는 도면에 도시된 것보다 더 많거나 더 적은 컴포넌트를 포함하거나, 몇몇 컴포넌트를 조합하거나, 몇몇 컴포넌트를 분할하거나, 상이한 컴포넌트 배열을 가질 수 있다. 도면에 도시된 컴포넌트는 하드웨어, 소프트웨어, 또는 소프트웨어 및 하드웨어의 조합을 사용함으로써 구현될 수 있다.

프로세서(501)는 하나 이상의 처리 유닛을 포함한다. 예를 들어, 프로세서(501)는 애플리케이션 프로세서(application processor, AP), 모뎀 프로세서(modem processor), 그래픽 처리 유닛(graphics processing unit, GPU), 이미지 신호 프로세서(image signal processor, ISP), 제어기(controller), 비디오 코더/디코더(video coder/decoder), 디지털 신호 프로세서(digital signal processor, DSP), 기저대역 프로세서(baseband processor) 및/또는 신경망 처리 유닛(neural-network processing unit, NPU)을 포함할 수 있다. 상이한 처리 유닛은 독립적인 컴포넌트일 수 있거나, 하나 이상의 프로세서 내에 집성될 수 있다.

제어기는, 명령어 판독 및 명령어 실행의 제어를 완료하기 위해, 명령어 동작 코드(instruction operation code) 및 시간 순차 신호(time sequence signal)에 기반하여 동작 제어 신호(operation control signal)를 생성할 수 있다.

명령어 및 데이터를 저장하기 위해, 메모리가 또한 프로세서(501) 내에 배치될 수 있다. 몇몇 실시예에서, 프로세서(501) 내의 메모리는 캐시(cache)이다. 메모리는 프로세서(501)에 의해 방금 사용되거나 순환적으로 사용되는 명령어 또는 데이터를 저장할 수 있다. 만일 프로세서(501)가 다시 명령어 또는 데이터를 사용할 필요가 있는 경우, 프로세서(501)는 메모리로부터 명령어 또는 데이터를 직접적으로 불러낼(invoke) 수 있다. 이는 반복되는 액세스를 방지하고 프로세서(501)의 대기 시간을 감소시키는바, 이로써 시스템 효율을 향상시킨다.

몇몇 실시예에서, 프로세서(501)는 하나 이상의 인터페이스를 포함할 수 있다. 인터페이스는 집적 회로간(inter-integrated circuit, I2C) 인터페이스, 집적회로간 소리(inter-integrated circuit sound, I2S) 인터페이스, 펄스 코드 변조(pulse code modulation, PCM) 인터페이스, 범용 비동기식 수신기/송신기(universal asynchronous receiver/transmitter, UART) 인터페이스, 모바일 산업 프로세서 인터페이스(mobile industry processor interface, MIPI), 일반 목적 입력/출력(general-purpose input/output, GPIO) 인터페이스, 가입자 신원 모듈(subscriber identity module, SIM) 인터페이스, 범용 직렬 버스(universal serial bus, USB) 인터페이스 및/또는 유사한 것을 포함할 수 있다.

이 출원의 이 실시예에서의 모듈 간의 개략적인 인터페이스 연결 관계는 단지 예시 설명일 뿐이며, 머리 장착형 디스플레이 디바이스(100)의 구조에 대한 어떤 한정도 구성하지 않음이 이해될 수 있다. 이 출원의 몇몇 다른 실시예에서, 머리 장착형 디스플레이 디바이스(100)는 전술한 실시예에서의 인터페이스 연결 방식과는 상이한 인터페이스 연결 방식을 사용하거나, 복수의 인터페이스 연결 방식의 조합을 사용할 수 있다.

충전 관리 모듈(505)은 충전기로부터 충전 입력을 수신하도록 구성된다. 충전기는 무선 충전기일 수 있거나, 유선 충전기일 수 있다. 유선 충전의 몇몇 실시예에서, 충전 관리 모듈(505)은 USB 인터페이스(504)를 사용함으로써 유선 충전기로부터 충전 입력을 수신할 수 있다. 무선 충전의 몇몇 실시예에서, 충전 관리 모듈(505)은 머리 장착형 디스플레이 디바이스(100)의 무선 충전 코일을 사용함으로써 무선 충전 입력을 수신할 수 있다. 배터리를 충전하는 경우에, 충전 관리 모듈(505)은 전력 관리 모듈을 사용함으로써 머리 장착형 디스플레이 디바이스에 전력을 또한 공급할 수 있다.

전력 관리 모듈(506)은 배터리(507), 충전 관리 모듈(505) 및 프로세서(501)에 연결되도록 구성된다. 전력 관리 모듈(506)은 배터리(507) 및/또는 충전 관리 모듈(505)로부터 입력을 수신하여, 전력을 프로세서(501), 내부 메모리, 좌측 디스플레이(210), 우측 디스플레이(220), 카메라 모듈(150), 카메라 모듈(160), 무선 통신 모듈 및 유사한 것에 공급한다. 전력 관리 모듈(506)은 또한 배터리(507)의 용량(capacity), 배터리(507)의 사이클 카운트(cycle count) 및 배터리(507)의 건강 상태(state of health)(누전 및 임피던스)와 같은 파라미터를 모니터링하도록 구성될 수 있다. 몇몇 다른 실시예에서, 전력 관리 모듈(506)은 프로세서(501) 내에 배치될 수 있다. 몇몇 다른 실시예에서, 전력 관리 모듈(506) 및 충전 관리 모듈(505)은 동일한 컴포넌트 내에 배치될 수 있다.

무선 통신 모듈(508)은, 무선 로컬 영역 네트워크(wireless local area network, WLAN)(예컨대 와이파이(wireless fidelity, Wi-Fi) 네트워크), 블루투스(bluetooth, BT), 글로벌 항법 위성 시스템(global navigation satellite system, GNSS), 주파수 변조(frequency modulation, FM), 근접장 통신(near field communication, NFC), 적외선(infrared, IR) 기술, 또는 유사한 것을 포함하여, 머리 장착형 디스플레이 디바이스(100)에 적용되는 무선 통신 해결안을 제공할 수 있다. 무선 통신 모듈(508)은 적어도 하나의 통신 처리 모듈이 집성된 하나 이상의 컴포넌트일 수 있다. 무선 통신 모듈(508)은 안테나를 사용함으로써 전자기파를 수신하고, 전자기파 신호에 대해 주파수 변조 및 필터링 처리를 수행하고, 처리된 신호를 프로세서(501)에 발신한다. 무선 통신 모듈(508)은 또한 발신될 신호를 프로세서(501)로부터 수신하고, 신호에 대해 주파수 변조 및 증폭을 수행하고, 주파수 변조 및 증폭 후에 획득된 신호를 방사를 위해 안테나를 사용함으로써 전자기파로 변환할 수 있다.

머리 장착형 디스플레이 디바이스(100)는 GPU, 좌측 디스플레이(210), 우측 디스플레이(220), 애플리케이션 프로세서 및 유사한 것을 사용함으로써 디스플레이 기능을 구현한다. GPU는 이미지 처리를 위한 마이크로프로세서이고, 좌측 디스플레이(210), 우측 디스플레이(220) 및 애플리케이션 프로세서에 연결된다. GPU는 수학적 및 기하학적 계산을 수행하도록 구성되고, 그래픽 렌더링(graphics rendering)을 수행하도록 구성된다. 프로세서(501)는 하나 이상의 GPU를 포함할 수 있고, 하나 이상의 GPU는 디스플레이 정보를 생성하거나 변경하기 위해 프로그램 명령어를 실행한다.

이 출원의 몇몇 실시예에서, 머리 장착형 디스플레이 디바이스(100)는 통합된 HMD일 수 있다. 즉, 머리 장착형 디스플레이 디바이스(100)는 획득된 이미지 및 머리 장착형 디스플레이 디바이스(100)의 자세 정보에 대해 데이터 처리를 GPU, GPU, NPU, 애플리케이션 프로세서 및 유사한 것을 사용함으로써 수행할 수 있는데, 예를 들어, 대시야 카메라에 의해 캡처된 저선명도 이미지 및 소시야 카메라에 의해 캡처된 고선명도 이미지에 대해 전처리(preprocessing) 및 이미지 합성을 수행하여, 실제 장면 이미지를 획득하고, 가상 객체를 포함하는 이미지를 생성하고, 가상 객체를 포함하는 이미지를 실제 장면 이미지와 합성할 수 있다.

대시야 카메라에 의해 캡처된 저선명도 이미지는 소시야 카메라에 의해 캡처된 이미지에 상대적으로 기술되고, 대시야 카메라에 의해 캡처된 이미지의 해상도는 소시야 카메라에 의해 캡처된 이미지의 해상도보다 낮다. 대시야 카메라에 의해 캡처된 저선명도 이미지는 HDM으로써의 이미지 관람 동안에 배경 영역의 이미지의 해상도에 대한 사용자의 요구를 만족시킨다. 마찬가지로, 소시야 카메라에 의해 캡처된 고선명도 이미지는 대시야 카메라에 의해 캡처된 이미지에 상대적으로 기술되고, 소시야 카메라에 의해 캡처된 이미지의 해상도는 대시야 카메라에 의해 캡처된 이미지의 해상도보다 높다. 소시야 카메라에 의해 캡처된 고선명도 이미지는 HDM으로써의 이미지 관람 동안에 중심 영역의 이미지의 해상도에 대한 사용자의 요구를 만족시킨다.

이 출원의 몇몇 다른 실시예에서, 머리 장착형 디스플레이 디바이스(100)는 분할된 HMD일 수 있다. 즉, 머리 장착형 디스플레이 디바이스(100)는 획득된 이미지 및 머리 장착형 디스플레이 디바이스(100)의 자세 정보에 대해 수행되는 데이터 처리를 다른 전자 디바이스 또는 장치에 완전히 또는 부분적으로 넘길 수 있다. 예를 들어, 머리 장착형 디스플레이 디바이스(100)는 획득된 고선명도 이미지 및 저선명도 이미지, 그리고 머리 장착형 디스플레이 디바이스(100)의 획득된 자세를, 머리 장착형 디스플레이 디바이스(100)에 연결된 다른 전자 디바이스(예를 들어, 모바일 전화, 개인용 컴퓨터, 또는 태블릿 컴퓨터)에, 예를 들어, USB 인터페이스(504)를 사용함으로써, 발신할 수 있다. 전자 디바이스는 데이터 처리를 수행하고, 이후에 처리 결과를 머리 장착형 디스플레이 디바이스(100)에, 머리 장착형 디스플레이 디바이스(100)에 의한 디스플레이를 위해 반환한다(return). 이 예에서, 머리 장착형 디스플레이 디바이스(100)는 GPU, NPU, 애플리케이션 프로세서, 또는 유사한 것 중 임의의 하나 또는 몇 개의 하드웨어 디바이스를 포함하지 않을 수 있다.

좌측 디스플레이(210)는 좌측 눈에 대응하는 이미지, 비디오 또는 유사한 것을 디스플레이하도록 구성되고, 우측 디스플레이(220)는 우측 눈에 대응하는 이미지, 비디오 또는 유사한 것을 디스플레이하도록 구성된다. 좌측 디스플레이(210) 및 우측 디스플레이(220)는 각각 디스플레이 패널을 포함할 수 있다. 디스플레이 패널은 액정 디스플레이(liquid crystal display, LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 능동 매트릭스/유기 발광 다이오드 또는 능동 매트릭스 유기 발광 다이오드(active-matrix organic light emitting diode, AMOLED), 유연성 발광 다이오드(flex light-emitting diode, FLED), 미니LED(MiniLED), 마이크로LED(MicroLED), 마이크로-OLED(Micro-OLED), 양자점 발광 다이오드(quantum dot light emitting diodes, QLED), 또는 유사한 것일 수 있다.

머리 장착형 디스플레이 디바이스(100)는 ISP, 카메라 모듈(150), 카메라 모듈(160), 비디오 코더/디코더, GPU, 좌측 디스플레이(210), 우측 디스플레이(220), 애플리케이션 프로세서 및 유사한 것을 사용함으로써 촬영 기능을 구현할 수 있다.

ISP는 카메라 모듈(150) 및 카메라 모듈(160)에 의해 피드백된 데이터를 처리하도록 구성된다. 예를 들어, 카메라가 이미지를 캡처하는 경우에, 렌즈를 통해서 카메라의 감광 소자(light sensing element)에 광이 보내져서, 광학적 신호가 전기적 신호로 변환되고, 카메라의 감광 소자는 전기적 신호를 처리를 위해 ISP에 송신하여서, 전기적 신호가 가시적인 이미지로 변환된다. ISP는 또한 이미지의 노이즈(noise), 밝기(brightness) 및 피부색(complexion)에 대해 알고리즘 최적화를 수행할 수 있다. ISP는 또한 촬영 시나리오의 노출(exposure) 및 색 온도(color temperature)와 같은 파라미터를 최적화할 수 있다. 몇몇 실시예에서, ISP는 카메라 모듈(150) 및 카메라 모듈(160) 내에 배치될 수 있다.

카메라 모듈(150) 및 카메라 모듈(160)은 각각 정지 이미지 또는 비디오를 캡처하도록 구성될 수 있다. 객체의 광학적 이미지(optical image)가 렌즈를 통해서 생성되고, 감광 소자에 투영된다. 감광 소자는 전하 결합 디바이스(charge coupled device, CCD) 또는 상보적 금속 산화물 반도체(complementary metal-oxide-semiconductor, CMOS) 포토트랜지스터(phototransistor)일 수 있다. 감광 소자는 광학적 신호를 전기적 신호로 변환하고, 이후 전기적 신호를 ISP에 송신하여서, 전기적 신호는 디지털 이미지 신호로 변환된다. ISP는 디지털 이미지 신호를 처리를 위해 DSP에 출력한다. DSP는 디지털 이미지 신호를 RGB 또는 YUV와 같은 표준 포맷으로 된 이미지 신호로 변환한다. 몇몇 실시예에서, 머리 장착형 디스플레이 디바이스(100)는 하나 또는 N개의 카메라 모듈(150)을 포함하고, 하나 또는 M개의 카메라 모듈(160)을 포함할 수 있다. N 및 M은 각각 1보다 큰 양의 정수이다.

디지털 신호 프로세서는 디지털 신호를 처리하도록 구성되며, 또한 디지털 이미지 신호에 더하여 다른 디지털 신호를 처리할 수 있다. 예를 들어, 머리 장착형 디스플레이 디바이스(100)가 주파수 선택을 수행하는 경우에, 디지털 신호 프로세서는 주파수 에너지에 대해 푸리에 변환(Fourier transformation) 및 유사한 것을 수행하도록 구성된다.

비디오 코더/디코더는 디지털 비디오를 압축하도록(compress) 또는 압축해제하도록(decompress) 구성된다. 머리 장착형 디스플레이 디바이스(100)는 하나 이상의 타입의 비디오 코더/디코더를 지원할 수 있다. 이 방식으로, 머리 장착형 디스플레이 디바이스(100)는 복수의 인코딩 포맷, 예컨대 동화상 전문가 그룹(moving picture experts group, MPEG)1, MPEG 2, MPEG 3 및 MPEG 4로 비디오를 재생하거나 기록할(record) 수 있다.

NPU는 신경망(neural-network, NN) 컴퓨팅 프로세서이고, 인간 뇌 신경 세포 간의 전파의 모드(mode)와 같은 생물학적 신경망 구조를 사용함으로써 입력 정보를 신속히 처리하며, 또한 자가 학습(self-learning)을 끊임없이 수행할 수 있다. NPU는 머리 장착형 디스플레이 디바이스(100)의 지능적 인지와 같은 애플리케이션, 예를 들어, 이미지 인식(image recognition), 안면 인식(facial recognition), 발화 인식(speech recognition), 또는 텍스트 이해(text understanding)를 구현하는 데에 사용될 수 있다.

외부 메모리 인터페이스(502)는, 머리 장착형 디스플레이 디바이스(100)의 저장 능력을 확장하기 위해, 마이크로 SD 카드와 같은 외부 저장 카드에 연결되도록 구성될 수 있다. 외부 저장 카드는 외부 메모리 인터페이스(502)를 사용함으로써 프로세서(501)와 통신하여, 데이터 저장 기능을 구현하는데, 예를 들어, 외부 메모리 카드 내에 음악 또는 비디오와 같은 파일을 저장한다.

내부 메모리(503)는 컴퓨터 실행가능 프로그램 코드를 저장하도록 구성될 수 있고, 실행가능 프로그램 코드는 명령어를 포함한다. 내부 메모리(503)는 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있다. 프로그램 저장 영역은 운영 체제(operating system), 적어도 하나의 기능(예를 들어, 소리 재생 기능 또는 이미지 재생 기능)에 의해 요구되는 애플리케이션 프로그램 및 유사한 것을 저장할 수 있다. 데이터 저장 영역은 머리 장착형 디스플레이 디바이스(100)의 사용 동안에 생성되는 (오디오 데이터 및 주소록과 같은) 데이터 및 유사한 것을 저장할 수 있다. 추가로, 내부 메모리(503)는 고속 랜덤 액세스 메모리(random access memory)를 포함할 수 있거나, 비휘발성 메모리(nonvolatile memory), 예컨대 적어도 하나의 자기 디스크 메모리(magnetic disk memory), 플래시 메모리(flash memory), 또는 범용 플래시 스토리지(universal flash storage, UFS)를 포함할 수 있다. 머리 장착형 디스플레이 디바이스(100)의 다양한 기능적 애플리케이션 및 데이터 처리를 실행하기 위해, 프로세서(501)는 내부 메모리(503) 내에 저장된 명령어 및/또는 프로세서(501) 내에 배치된 메모리 내에 저장된 명령어를 가동한다.

머리 장착형 디스플레이 디바이스(100)는 오디오 모듈(509), 스피커(510), 전화 수신기(511), 마이크로폰(512), 헤드세트 잭(513), 애플리케이션 프로세서 및 유사한 것을 사용함으로써, 오디오 기능을 구현할 수 있는데, 예를 들어, 음악 재생 또는 기록을 수행할 수 있다.

오디오 모듈(509)은 디지털 오디오 정보를 아날로그 오디오 신호 출력으로 변환하도록 구성되고, 또한 아날로그 오디오 입력을 디지털 오디오 신호로 변환하도록 구성된다. 오디오 모듈(509)은 또한 오디오 신호를 인코딩하고 디코딩하도록 구성될 수 있다. 몇몇 실시예에서, 오디오 모듈(509)은 프로세서(501) 내에 배치될 수 있거나, 오디오 모듈(509)의 몇몇 기능적 모듈이 프로세서(501) 내에 배치될 수 있다.

스피커(510)는 또한 "확성기"(loudspeaker)로도 지칭되고, 오디오 전기적 신호를 소리 신호로 변환하도록 구성된다. 머리 장착형 디스플레이 디바이스(100)는 스피커(510)를 사용함으로써 음악 또는 핸즈프리 통화(hands-free call)를 듣도록 구성될 수 있다.

전화 수신기(511)는 또한 "수화기"(earpiece)로도 지칭되고, 오디오 전기적 신호를 소리 신호로 변환하도록 구성된다. 머리 장착형 디스플레이 디바이스(100)가 호출에 회답하거나 음성 메시지를 수신하는 경우에, 전화 수신기(511)는 음성을 수신하기 위해 사람 귀 근처에 놓일 수 있다.

마이크로폰(512)은 또한 "마이크" 또는 "전성관"으로도 지칭되고, 소리 신호를 전기적 신호로 변환하도록 구성된다. 음성 메시지를 수집하는 경우에, 마이크로폰(512)에 소리 신호를 입력하기 위해, 사용자는 입이 마이크로폰(512)에 다가가면서 말할 수 있다. 적어도 하나의 마이크로폰(512)이 머리 장착형 디스플레이 디바이스(100) 내에 배치될 수 있다. 몇몇 다른 실시예에서, 소리 신호를 수집하는 것에 더하여, 노이즈 감소 기능을 구현하기 위해, 머리 장착형 디스플레이 디바이스(100) 내에 두 마이크로폰(512)이 배치될 수 있다. 몇몇 다른 실시예에서, 3개, 4개 또는 더 많은 마이크로폰(512)이 머리 장착형 디스플레이 디바이스(100) 내에 배치되어, 소리 신호를 수집하고 노이즈 감소를 구현하며, 또한 소리 소스(source)를 인식하여 방향성 녹음 기능(directional recording function) 및 유사한 것을 구현할 수 있다.

헤드세트 잭(513)은 유선 헤드세트에 연결되도록 구성된다. 헤드세트 잭(513)은 USB 인터페이스(130)일 수 있거나, 3.5 mm 개방형 모바일 단말 플랫폼(open mobile terminal platform, OMTP) 표준 인터페이스 또는 미국의 셀룰러 전기통신 산업 협회(cellular telecommunications industry association of the USA, CTIA) 표준 인터페이스일 수 있다.

버튼(514)은 전력 온(power-on) 버튼, 볼륨 버튼 및 유사한 것을 포함한다. 버튼(514)은 기계적 버튼(514)일 수 있거나, 터치 버튼(514)일 수 있다. 머리 장착형 디스플레이 디바이스(100)는 버튼(514)으로부터 입력을 수신하고, 머리 장착형 디스플레이 디바이스(100)의 사용자 설정 및 기능 제어에 관련된 버튼 신호 입력을 생성할 수 있다.

모터(515)는 진동 프롬프트(vibration prompt)를 생성할 수 있다. 모터(515)는 유입 호출(incoming call)을 위해 진동 프롬프트를 제공하도록 구성될 수 있거나, 터치 진동 패드백을 제공하도록 구성될 수 있다. 예를 들어, 상이한 애플리케이션(예를 들어, 사진 찍기 및 오디오 재생)에 대해 수행되는 터치 동작은 상이한 진동 피드백 효과에 대응할 수 있다. 좌측 디스플레이(210) 및 우측 디스플레이(220)의 상이한 영역 상에서 수행되는 터치 동작에 대해, 모터(515)는 또한 상이한 진동 피드백 효과에 대응할 수 있다. 상이한 애플리케이션 시나리오(예를 들어, 시간 리마인더(time reminder), 정보 수신, 알람 시계 및 게임)는 또한 상이한 진동 피드백 효과에 대응할 수 있다. 터치 진동 피드백 효과는 대안적으로 맞춤화될(customized) 수 있다.

지시기(516)는 지시등(indicator light)일 수 있고, 충전 상태 및 배터리 변화를 지시하도록 구성될 수 있거나, 메시지, 간과된 호출(missed call), 통지(notification), 또는 유사한 것을 지시하도록 구성될 수 있다.

다음의 실시예에서의 모든 기술적 해결안은 도 1b 내지 도 5에 도시된 머리 장착형 디스플레이 디바이스(100) 내에 구현될 수 있다.

도 6은 이 출원의 실시예에 따른 이미지 처리 방법의 흐름도이다. 방법은 구체적으로 다음의 단계를 포함한다.

S101. 사용자의 검출된 시동 동작에 응답하여, 제1 해상도의 제1 이미지를 제1 카메라를 사용함으로써 수집하고, 동시에 제2 해상도의 제2 이미지를 제2 카메라를 사용함으로써 수집한다.

이 출원의 이 실시예에서, 사용자의 두 눈을 시뮬레이션하는 데에 2개의 제1 카메라가 사용될 수 있다(좌측의 제1 카메라는 좌측 눈에 대응하고, 우측의 제1 카메라는 우측 눈에 대응함). 사용자의 두 눈에 의해 볼 수 있는 최대 범위 내의 이미지 또는 비디오를 수집하기 위해, 2개의 제1 카메라의 광학 중심은 각각 사용자의 두 눈의 중심과 정렬되고, 각각의 제1 카메라의 시야는 사람 눈의 시야에 가까워야 한다. 이 방식으로, 2개의 제1 카메라에 의해 동시에 수집된 2개의 제1 이미지는 사용자의 두 눈에 의해 볼 수 있는 최대 범위 내의 2개의 이미지로서 간주될 수 있고, 사용자에 의해 볼 수 있는 실제 장면 내의 배경 영역의 이미지로서 사용될 수 있다. 2개의 제1 카메라가 제1 이미지를 수집하는 경우에, 사용자의 시각 초점 영역의 이미지, 즉, 중심 영역의 이미지를 수집하는 데에 2개의 제2 카메라가 사용된다(좌측의 제2 카메라는 좌측 눈에 대응하고, 우측의 제2 카메라는 우측 눈에 대응함). 위에서 언급된 바와 같이, 사용자의 시각 초점 영역의 범위는 사용자의 두 눈이 보는 최대 범위보다 작고, 시각 초점 영역은 비교적 높은 선명도 요구를 갖는다. 따라서, 제2 카메라의 시야는 제1 카메라의 시야보다 작고, 제2 카메라의 해상도(즉, 제2 해상도)는 제1 카메라의 해상도(즉, 제1 해상도)보다 크다.

사람 눈의 시각적 특징에 기반하여 배경 영역 및 중심 영역의 시야 및 근거리 관람 동안의 사용자의 선명도 요구가 판정된다. 예를 들어, 제1 카메라의 시야는 100도부터 200도까지 걸칠 수 있고, 제1 카메라의 해상도(즉, 제1 해상도)는 VGA부터 720p까지 걸칠 수 있다. 제2 카메라의 시야는 20도부터 60도까지 걸칠 수 있고, 제2 카메라의 해상도(즉, 제2 해상도)는 720p 부터 2Kp까지 걸칠 수 있다.

예를 들어, 사용자의 시동 동작은 사용자가 AR 애플리케이션을 시작하는 동작일 수 있거나, 사용자가 서비스를 시작하는 동작일 수 있거나, 사용자가 카메라를 시작하는 동작일 수 있다. 예를 들어, 사용자는 컨트롤을 탭하거나, 물리적 버튼을 누르거나, 특정한 음성 또는 사전정의된 제스처를 입력할 수 있다. 이것은 이 출원의 이 실시예에서 한정되지 않는다.

사용자의 시동 동작이 검출된 후에, 머리 장착형 디스플레이 디바이스는 큰 시야의 2개의 제1 이미지를 획득하기 위해, 이미지를 동시에 수집하도록 2개의 제1 카메라 및 2개의 제2 카메라를 제어한다. 오직 수평 방향에서 2개의 제1 카메라 간의 특정한 위치 차이로 인해, 오직 수평 방향에서 2개의 획득된 제1 이미지 간에 비교적 작은 시야각 차이가 있다. 예를 들어, 도 7에 도시된 바와 같이, 제1 이미지 내의 촬영 객체는 나무, 개 및 공을 포함하고, 제1 이미지는 제1 해상도의 이미지이다.

제2 카메라의 시야가 제1 카메라의 시야보다 작기 때문에, 제2 카메라에 의해 획득된 제2 이미지는 제1 이미지 내의 콘텐트(content)의 일부이고 제1 이미지 내의 중심 영역의 콘텐트이나, 제2 이미지의 해상도는 제1 이미지의 해상도보다 높다. 예를 들어, 도 7에 도시된 바와 같이, 제2 이미지 내의 촬영 객체는 나무이고, 제2 이미지는 제2 해상도의 이미지이다. 도 7에서, 제1 해상도의 이미지와 구별하기 위해 제2 해상도의 이미지를 표지하는(mark) 데에 음영이 사용됨에 유의할 수 있다. 이는 아래에서 다시 기술되지 않는다.

이 출원의 이 실시예에서, 머리 장착형 디스플레이 디바이스는 사용자의 두 눈에 각각 대응하는 2개의 카메라 모듈(각각은 제1 카메라 및 제2 카메라를 포함함)과, 2개의 디스플레이를 가짐에 유의하여야 한다. 즉, 좌측의 제1 카메라 및 제2 카메라는 이미지를 수집하고, 이미지 처리 후에, 사용자의 좌측 눈에 의한 관람을 위해, 처리된 이미지가 좌측의 디스플레이 상에 디스플레이된다. 우측의 제1 카메라 및 제2 카메라는 이미지를 수집하고, 이미지 처리 후에, 사용자의 우측 눈에 의한 관람을 위해, 처리된 이미지가 우측의 디스플레이 상에 디스플레이된다. 좌측 및 우측에 대해 동일한 이미지 처리가 수행되기 때문에, 다음은 그 중 일측의 이미지 처리 프로세스를 설명을 위한 예로서 사용한다. 이는 아래에서 다시 기술되지 않는다.

추가로, 카메라에 의해 촬영된 비디오는 또한 이미지의 복수의 연이은 프레임을 포함하기 때문에, 비디오에 대한 처리는 또한 이미지의 복수의 프레임에 대한 처리로서 이해될 수 있다. 따라서, 비디오 처리 방법은 이 출원에서 기술되지 않는다.

S102. 제1 이미지 및 제2 이미지를 별개로 전처리한다.

전처리는 왜곡제거(de-distortion) 및 화이트 밸런스(white balance)와 같은 처리를 포함한다. 카메라는 렌즈의 그룹에 의해 형성되고, 렌즈 내재적 특징은 촬영된 이미지의 왜곡을 야기한다. 따라서, 촬영된 이미지에 대해 왜곡제거 처리가 각각의 카메라의 물리적 특징에 기반하여 수행될 필요가 있다. 추가로, 주변 광(ambient light)과 같은 인자의 영향으로 인해, 카메라에 의해 촬영된 원래의 이미지가 왜곡된다. 따라서, 화이트 밸런스와 같은 처리가 또한 촬영된 이미지에 대해 수행될 필요가 있다. 즉, 제1 이미지는 제1 카메라의 물리적 특징에 기반하여 전처리되고, 제2 이미지는 제2 카메라의 물리적 특징에 기반하여 전처리된다. 전처리는 제1 이미지 및 제2 이미지 내의 시야, 해상도, 촬영 객체 또는 유사한 것을 바꾸지 않음에 유의하여야 한다.

이미지 왜곡제거 처리 및 화이트 밸런스 처리 양자 모두 업계에서의 관련된 기술을 사용함으로써 수행될 수 있다. 세부사항은 여기에서 기술되지 않는다.

S103. 제1 카메라에 대한 제2 카메라의 위치에 기반하여, 전처리된 제2 이미지의 시야각을 전처리된 제1 이미지의 시야각과 정렬한다.

제2 이미지 및 제1 이미지는 동일한 촬영 객체를 가지나, 제1 카메라 및 제2 카메라의 상이한 위치로 인해 두 이미지 내의 동일한 촬영 객체의 이미지 간에 특정한 시야각 차이가 있다. 따라서, 두 이미지의 시야각은 정렬될 필요가 있다. 이상은 하나의 카메라 모듈 내의 제1 카메라 및 제2 카메라 간의 위치 관계를 기술한다. 따라서, 두 이미지 간의 시야각 차이는 위치 관계에 기반하여 판정될 수 있고, 이후에, 전처리된 제2 이미지의 시야각은 전처리된 제1 이미지의 시야각과 일치하도록 시야각 차이에 기반하여 조정될 수 있다. 시야각 조정 프로세스는 전처리된 제2 이미지에 대한 회전, 병진 및 비-동일평면 행 교정과 같은 프로세스를 포함함을 컴퓨터 그래픽으로부터 알 수 있다. 관련된 시야각 조정 방법에 대해, 선행 기술을 참조하시오. 세부사항은 여기에서 기술되지 않는다.

대안적으로, 제2 이미지의 시야각은 우선 동일 측의 제1 이미지의 시야각과 정렬될 수 있고, 이후에 시야각 정렬 후에 획득된 제2 이미지가 전처리됨에 유의하여야 한다. 시야각 정렬 단계 및 전처리 단계의 순차는 이 출원의 이 실시예에서 한정되지 않는다.

S104. 머리 장착형 디스플레이 디바이스의 자세 정보를 획득하고, 가상 객체를 포함하는 제3 이미지를 전처리된 제1 이미지에 기반하여 생성한다.

예를 들어, 머리 장착형 디스플레이 디바이스는 전처리된 제1 이미지에 대해 단일 채널 데이터 추출 및 다운샘플링을 수행하고, 움직임 센서(예를 들어, IMU)로부터 획득된 자세 정보(즉, 제1 이미지의 수집 동안의 머리 장착형 디스플레이 디바이스의 자세 정보)를 참조하여, 동시적 정위 및 맵핑 SLAM(Simultaneously Localization and Mapping) 알고리즘을 사용함으로써 머리 장착형 디스플레이 디바이스의 위치 및 자세 정보, 실제 환경의 깊이(depth) 정보 및 3차원 재구성(reconstruction) 결과를 계산한다. 이후에, 가상 객체를 포함하는 제3 이미지는 머리 장착형 디스플레이 디바이스 내의 관련된 애플리케이션(예를 들어, AR 애플리케이션)에 의해 생성된 가상 객체를 참조하여 생성된다. 도 7에 도시된 바와 같이, 머리 장착형 디스플레이 디바이스에 의해 생성된 가상 객체는 로봇이고, 로봇을 포함하는 이미지, 즉, 제3 이미지가 계산된 위치 및 자세 정보, 환경 깊이 정보 및 3차원 재구성 결과에 기반하여 생성된다.

추가로, 관련된 애플리케이션에 의해 독립적으로 생성된 가상 객체가 실제 장면과 자연스럽게 혼합될 수 있게 하기 위해, 사용자가 갑작스럽고 비현실적이라고 느끼지 않게 하도록, 가상 객체는 실제 장면 이미지에 기반하여 또한 조정될 수 있다. 예를 들어, 가상 객체의 해상도가 실제 장면 이미지의 해상도에 적응되고, 가상 객체의 위치가 조정되고, 실제 장면 내의 광 상황에 기반하여 가상 객체의 음영이 계산된다.

S105. 실제 장면의 제4 이미지로서, 전처리된 제1 이미지를 시야각 정렬 후에 획득된 제2 이미지와 합성하는데, 제4 이미지는 제1 해상도의 이미지 및 제2 해상도의 이미지를 포함한다.

예를 들어, 머리 장착형 디스플레이 디바이스는 중첩된 시야각을 갖는, 시야각 정렬 후에 획득된 제2 이미지 내의 영역 및 전처리된 제1 이미지 내의 영역을 타겟 영역으로서 판정한다. 즉, 두 이미지 내의 타겟 영역 내의 이미지는 동시에 동일한 시야각으로부터 동일한 촬영 객체를 촬영함으로써 획득되는 이미지이다. 제4 이미지를 획득하기 위해, 시야각 정렬 후에 획득된 제2 이미지 미치 전처리된 제1 이미지에 대해 이미지 합성이 수행된다. 제4 이미지 내의 타겟 영역의 이미지는 시야각 정렬 후에 획득된 제2 이미지 내의 타겟 영역의 이미지와 동일하고, 비교적 높은 제2 해상도를 갖는다. 제4 이미지 내의 타겟 영역이 아닌 영역의 이미지는 전처리된 제1 이미지 내의 이미지와 동일하고, 비교적 낮은 제1 해상도를 갖는다. 예를 들어, 도 7에 도시된 바와 같이, 제4 이미지 내에서, 나무의 해상도는 제2 해상도이고, 나무가 아닌 개, 공 등의 해상도는 제1 해상도이다.

제4 이미지 내의 타겟 영역은 사용자의 시각 초점 영역, 즉, 중심 영역이고, 비교적 높은 해상도 요구를 가짐이 이해될 수 있다. 제4 이미지 내의 타겟 영역이 아닌 영역은 전술한 배경 영역이고, 비교적 낮은 해상도 요구를 가지나, 비교적 큰 시야를 갖는다.

예를 들어, 전술한 이미지 합성 프로세스에서, 전처리된 제1 이미지 내의 타겟 영역의 이미지는 제거될 수 있고, 이후 시야각 정렬 후에 획득된 제2 이미지 내의 타겟 영역의 이미지가 채워질 수 있다. 채움 후에, 이미지 합성 프로세스에서 야기되는 에일리어싱 느낌과 같은 문제를 방지하기 위해, 두 이미지의 합성 에지 위치(즉, 타겟 영역의 에지 위치)는 가중 혼합 방법을 사용함으로써 혼합되어서, 최종적인 합성 이미지(즉, 제4 이미지)는 더 자연스럽고 현실적이다.

예를 들어, 타겟 영역은 특징점 매칭(feature point matching) 방법을 사용함으로써 판정될 수 있다. 두 이미지 내의 타겟 영역의 이미지는 동시에 동일한 촬영 객체를 촬영함으로써 획득되고 동일한 시야각을 갖지만, 두 사진은 상이한 위치에서 두 카메라에 의해 촬영되고, 두 이미지 내의 타겟 영역 내의 이미지의 픽셀 값은 광과 같은 인자로 인해 완전히 일치하지 않기 때문에, 타겟 영역은 두 이미지에 기반하여 판정될 필요가 있음에 유의하여야 한다.

간단히, 특징점 인식은 두 이미지에 대해 별개로 수행되고, 이후에 타겟 영역을 판정하기 위해 두 이미지 내의 특징점의 유사성이 비교된다. 즉, 두 이미지 내에서 유사한 특징점을 가진 영역은 동일한 시야각을 가진 영역, 즉, 타겟 영역으로서 판정된다. 특징점은 하나 이상의 픽셀이고, 두 이미지 내의 특징점의 유사성은 특징점의 픽셀 값 및 특징점 주위의 픽셀의 픽셀 값 간의 유사한 관계일 수 있는데, 다음과 같은 이유에서이다: 두 이미지의 타겟 영역 내의 픽셀의 픽셀 값은 광과 같은 인자로 인해 상이하지만, 타겟 영역은 동일한 촬영 객체를 디스플레이하기 때문에, 타겟 영역 내의 픽셀 및 그 픽셀 주위의 픽셀 간에 고정된 관계가 있다. 예를 들어, 동시에 촬영된 동일한 나뭇잎에 대해, 이미지 1 내에서, 광은 비교적 강하고 전체 나뭇잎은 비교적 밝으며, 이미지 2 내에서, 광은 비교적 어둡고 전체 나뭇잎은 비교적 어둡다. 다시 말해, 이미지 1 내의 나뭇잎의 픽셀 값은 이미지 2 내의 나뭇잎의 픽셀 값과 상이하다. 그러나, 이미지 1 내의 나뭇잎의 상이한 부분의 픽셀 값 간의 차이는 이미지 2 내의 나뭇잎의 상이한 부분의 픽셀 값 간의 차이와 동일하다.

특징점 인식 방법은 SIFT 알고리즘, SURF(Speeded Up Robust Features) 알고리즘, FAST 알고리즘, ORB(ORiented Brief and Rotated BRIEF) 알고리즘 또는 유사한 것 중 임의의 하나 또는 몇 개일 수 있다. 이 출원의 이 실시예에서 구체적인 특징점 인식 방법이 한정되지 않는다.

물론, 타겟 영역은 다른 방법을 사용함으로써 판정될 수 있다. 예를 들어, 제1 카메라 및 제2 카메라 간의 고정된 위치 관계로 인해, 전처리된 제1 이미지 내의 타겟 영역의 위치가 또한 고정되고, 시야각 정렬 후에 획득된 제2 이미지 내의 타겟 영역의 위치가 또한 고정된다. 따라서, 전처리된 제1 이미지 내의 타겟 영역의 위치 및 시야각 정렬 후에 획득된 제2 이미지 내의 타겟 영역의 위치가 사전결정될 수 있고, 이후에 위치에 기반하여 이미지 합성이 직접적으로 수행된다. 이 출원의 이 실시예에서 타겟 영역 판정 방법이 또한 구체적으로 한정되지 않는다.

이 출원의 이 실시예에서, 단계(S105)는 단계(S104) 전에 수행될 수 있거나 단계(S104) 및 단계(S105)는 동시에 수행될 수 있음에 유의하여야 한다. 이것은 이 출원에서 한정되지 않는다.

S106. 제5 이미지를 생성하기 위해 제4 이미지를 제3 이미지와 합성하고, 제5 이미지를 디스플레이하는데, 제5 이미지는 실제 장면 및 가상 객체를 포함한다.

구체적으로, 제4 이미지 및 제3 이미지에 대해 이미지 합성이 수행되어서, 합성 이미지(즉, 제5 이미지)는 제3 이미지 내의 가상 객체를 포함하고, 제4 이미지 내의 실제 장면을 또한 포함하는데, 다시 말해, 현실 및 가상의 조합을 구현한다.

예를 들어, 제3 이미지 및 제4 이미지의 이미지 합성 프로세스에서, 단계(S104)에서 제3 이미지가 생성되는 경우에 가상 객체의 위치가 계산되기 때문이다. 따라서, 제4 이미지 내의 동일한 위치에서의 이미지가 제거될 수 있고, 제3 이미지 내의 가상 객체가 채워질 수 있다. 제5 이미지를 획득하기 위해, 채워진 위치의 에지 상에서 혼합을 위해 가중 혼합 방법이 사용된다. 다시 말해, 처리를 위해 단계(S105)에 기술된 이미지 합성 방법이 사용된다.

대안적으로, 제3 이미지 및 제4 이미지의 이미지 합성 프로세스에서, 전술한 단계에서 계산된, 가상 객체의 위치에 기반하여 제4 이미지 내의 동일한 위치에 가상 객체의 픽처(picture) 또는 텍스처(texture)가 덧붙여질(affixed) 수 있다. 예를 들어, 이미지 합성은 셰이더(shader)를 사용함으로써 구현될 수 있다. 다시 말해, 제3 이미지 및 제4 이미지는 렌더링(rendering)에 공동으로 참여하는 데에 사용된다. 구체적인 렌더링 방식에 대해, 관련된 선행 기술을 참조하시오. 세부사항은 여기에서 기술되지 않는다.

이 출원의 이 실시예에서 구체적인 이미지 합성 방법이 한정되지 않음에 유의하여야 한다.

머리 장착형 디스플레이 디바이스는 전술한 방법에 따라 획득된 현실 및 가상의 조합을 가진 이미지를 좌측 및 우측 디스플레이 상에 별개로 디스플레이할 수 있고, 좌측 및 우측 디스플레이 상의 이미지 간의 특정한 시야각 차이가 있어서, 사용자는 보는 동안에 3D 효과를 향유할 수 있음을 이상으로부터 알 수 있다.

추가로, 디스플레이된 이미지 내의 배경 영역의 시야가 크기 때문에, 더 넓은 시야각이 사용자를 위해 제공될 수 있는바, 이로써 사용자의 사람 눈의 시야가 비교적 넓다는 요구를 만족시킨다. 추가로, 사용자의 시선 초점 범위 내의 고선명도 이미지가 사용자를 위해 제공될 수 있도록, 중심 영역의 이미지는 높은 해상도를 갖는다. 이 출원에서 제공되는 기술적 해결안은 사용자의 몰입감, 실감 및 시각적 경험을 향상시키는 데에 도움이 됨을 알 수 있다.

추가로, 배경 영역의 이미지는 낮은 해상도를 가져서, 이미지 처리 동안의 데이터 양 및 계산 복잡도가 또한 감소될 수 있는바, 이로써 디스플레이 동안에 지연을 줄이는 데에 도움이 된다.

전술한 기능을 구현하기 위해, 전술한 단말 또는 유사한 것은 기능을 수행하기 위한 대응하는 하드웨어 구조 및/또는 소프트웨어 모듈을 포함함이 이해될 수 있다. 통상의 기술자는, 이 명세서에 개시된 실시예에서 기술된 예와의 조합으로, 유닛, 알고리즘 및 단계가 이 출원의 실시예에서 하드웨어 또는 하드웨어와 컴퓨터 소프트웨어의 조합에 의해 구현될 수 있음을 응당 쉽게 인지할 것이다. 기능이 하드웨어에 의해 수행되는지 또는 컴퓨터 소프트웨어에 의해 하드웨어 구동되는지는 기술적 해결안의 특정한 적용 및 설계 제약에 달려 있다. 당업자는 기술된 기능을 각각의 특정한 적용을 위해 구현하는 데에 상이한 방법을 사용할 수 있으나, 그 구현이 본 발명의 실시예의 범위를 넘어간다고 간주되어서는 안 된다.

이 출원의 실시예에서, 전술한 단말 또는 유사한 것은 전술한 방법 예에 기반하여 기능적 모듈로 구분될 수 있다. 예를 들어, 각각의 기능적 모듈은 대응하는 기능에 기반한 구분을 통해서 획득될 수 있거나, 둘 이상의 기능이 하나의 처리 모듈 내에 집성될 수 있다. 집성된 모듈은 하드웨어의 형태로 구현될 수 있거나, 소프트웨어 기능적 모듈의 형태로 구현될 수 있다. 본 발명의 실시예에서, 모듈 구분은 예이며, 단지 논리적 기능 구분임에 유의하여야 한다. 실제의 구현에서, 다른 구분 방식이 사용될 수 있다.

구현에 대한 전술한 설명은 당업자로 하여금, 편리하고 간결한 설명의 목적으로, 전술한 기능적 모듈의 구분이 예시를 위한 예로서 취해짐을 명확히 이해할 수 있도록 한다. 실제의 적용에서, 전술한 기능은 요구에 따라 구현을 위해 상이한 기능적 모듈에 의해 할당될 수 있다. 즉, 장치의 내부 구조는 전술한 기능 중 전부 또는 일부를 구현하기 위해 상이한 기능적 모듈로 나뉜다. 전술한 시스템, 장치 및 유닛의 상세한 작업 프로세스에 대해, 전술한 방법 실시예에서의 대응하는 프로세스를 참조하시오. 세부사항은 여기에서 다시 기술되지 않는다.

이 출원의 실시예에서의 기능적 유닛은 하나의 처리 유닛 내에 집성될 수 있거나, 유닛 각각은 물리적으로 단독으로 존재할 수 있거나, 둘 이상의 유닛이 하나의 유닛 내에 집성될 수 있다. 집성된 유닛은 하드웨어의 형태로 구현될 수 있거나, 소프트웨어 기능적 유닛의 형태로 구현될 수 있다.

집성된 유닛이 소프트웨어 기능적 유닛의 형태로 구현되고 독립적인 제품으로서 판매되거나 사용되는 경우에, 집성된 유닛은 컴퓨터 판독가능 저장 매체(computer-readable storage medium) 내에 저장될 수 있다. 그러한 이해에 기반하여, 이 출원의 기술적 해결안은 본질적으로, 또는 선행기술에 기여하는 부분은, 또는 기술적 해결안의 전부 또는 일부는 소프트웨어 제품의 형태로 구현될 수 있다. 컴퓨터 소프트웨어 제품은 저장 매체 내에 저장되며, 이 출원의 실시예에서 기술된 방법의 단계 중 전부 또는 일부를 수행할 것을 컴퓨터 디바이스(이는 개인용 컴퓨터, 서버, 네트워크 디바이스 또는 유사한 것일 수 있음) 또는 프로세서(501)에 명령하기 위한 몇 개의 명령어를 포함한다. 전술한 저장 매체는, 프로그램 코드를 저장할 수 있는 임의의 매체, 예를 들면 플래시 메모리(flash memory), 탈거가능 하드 디스크(removable hard disk), 판독 전용 메모리(read-only memory), 랜덤 액세스 메모리(random access memory), 자기 디스크(magnetic disk), 또는 광학 디스크(optical disc)를 포함한다.

전술한 설명은 이 출원의 구체적인 구현일 뿐이며, 이 출원의 보호 범위를 한정하도록 의도되지 않는다. 이 출원에서 개시된 기술적 범위 내의 임의의 변형 또는 대체는 이 출원의 보호 범위 내에 응당 속할 것이다. 따라서, 이 출원의 보호 범위는 응당 청구항의 보호 범위에 의거할 것이다.

Claims

머리 장착형 디스플레이 디바이스(head mounted display device)에 적용되는 이미지 처리 방법 - 상기 머리 장착형 디스플레이 디바이스 내에 2개의 모듈이 배치되고, 각각의 모듈은 카메라 모듈과, 상기 카메라 모듈에 대응하는 디스플레이 스크린과, 처리 모듈을 포함하고, 상기 카메라 모듈은 제1 카메라 및 제2 카메라를 포함하고, 상기 제1 카메라의 시야(field of view)는 상기 제2 카메라의 시야보다 크고, 각각의 모듈은 상기 방법을 수행함 - 으로서,
검출된 시동(startup) 동작에 응답하여, 상기 제1 카메라에 의해, 제1 해상도의 제1 이미지를 수집하고, 상기 제2 카메라에 의해, 제2 해상도의 제2 이미지를 수집하는 단계 - 상기 제1 해상도는 상기 제2 해상도보다 낮음 - 와,
상기 처리 모듈에 의해, 상기 제1 이미지 및 상기 제2 이미지에 기반하여 제4 이미지를 생성하는 단계 - 상기 제4 이미지는 실제 장면 이미지이고 상기 제1 해상도의 이미지 및 상기 제2 해상도의 이미지를 포함함 - 와,
상기 처리 모듈에 의해, 가상 객체(virtual object)를 포함하는 제3 이미지 및 상기 제4 이미지에 기반하여 제5 이미지를 생성하는 단계 - 상기 제5 이미지는 상기 실제 장면 이미지 및 상기 가상 객체를 포함함 - 와,
상기 모듈의 상기 디스플레이 스크린에 의해, 상기 제5 이미지를 디스플레이하는 단계를 포함하는,
방법.
제1항에 있어서,
하나의 모듈의 제1 카메라의 광학 중심(optical center)으로부터 다른 모듈의 제1 카메라의 광학 중심까지의 거리는 61 밀리미터 내지 65 밀리미터인,
방법.
제2항에 있어서,
각각의 모듈 내에서 상기 제1 카메라의 광학 중심으로부터 상기 제2 카메라의 광학 중심까지의 거리는 20 밀리미터보다 작은,
방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
각각의 모듈은 접안렌즈(eyepiece)를 더 포함하고, 상기 디스플레이 스크린은 상기 접안렌즈 및 상기 카메라 모듈 사이에 위치된,
방법.
제4항에 있어서,
각각의 모듈 내에서 상기 접안렌즈의 광학 중심, 상기 디스플레이 스크린의 광학 중심 및 상기 제1 카메라의 광학 중심이 일직선 상에 위치된,
방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 처리 모듈에 의해, 상기 제1 이미지 및 상기 제2 이미지에 기반하여 제4 이미지를 생성하는 단계는,
상기 처리 모듈에 의해, 상기 제2 이미지의 시야각(angle of view)을 상기 제1 이미지의 시야각과 동일하도록 조정하는 단계와,
조정된 제2 이미지 및 상기 제1 이미지에 기반하여 상기 제4 이미지를 생성하는 단계를 포함하는,
방법.
제6항에 있어서,
상기 처리 모듈에 의해, 상기 제2 이미지의 시야각을 상기 제1 이미지의 시야각과 동일하도록 조정하는 단계는,
상기 제2 이미지의 상기 시야각이 상기 제1 이미지의 상기 시야각과 동일할 수 있게 하기 위해, 상기 처리 모듈에 의해, 상기 제2 이미지에 대해 회전(rotation), 병진(translation) 및 비-동일평면 행 교정(non-coplanar row calibration) 처리를 수행하는 단계를 포함하는,
방법.
제6항 또는 제7항에 있어서,
상기 처리 모듈에 의해, 조정된 제2 이미지 및 상기 제1 이미지에 기반하여 상기 제4 이미지를 생성하는 단계는,
상기 처리 모듈에 의해 타겟 영역으로서, 중첩된(overlapped) 시야각을 갖는, 상기 조정된 제2 이미지 내의 영역 및 상기 제1 이미지 내의 영역을 판정하는 단계와,
상기 제1 이미지 내의 상기 타겟 영역의 이미지를 상기 조정된 제2 이미지로 대체하는 단계를 포함하는,
방법.
제1항 내지 제8항 중 어느 한 항에 있어서,
상기 처리 모듈에 의해, 가상 객체를 포함하는 제3 이미지 및 상기 제4 이미지에 기반하여 제5 이미지를 생성하는 단계 전에, 상기 방법은,
상기 처리 모듈에 의해 상기 머리 장착형 디스플레이 디바이스의 자세 정보 및 상기 제1 이미지에 기반하여, 상기 가상 객체를 포함하는 상기 제3 이미지를 생성하는 단계를 포함하는,
방법.
제1항 내지 제9항 중 어느 한 항에 있어서,
상기 처리 모듈에 의해, 가상 객체를 포함하는 제3 이미지 및 상기 제4 이미지에 기반하여 제5 이미지를 생성하는 단계는,
상기 처리 모듈에 의해, 상기 제1 이미지의 상기 제1 해상도에 기반하여 상기 제3 이미지의 해상도를 조정하는 것 및 상기 제1 이미지 내의 광 정보에 기반하여 상기 제3 이미지 내의 상기 가상 객체의 음영을 조정하는 것 중 적어도 하나를 수행하는 단계와,
상기 제4 이미지 및 조정된 제3 이미지에 기반하여 상기 제5 이미지를 생성하는 단계를 포함하는,
방법.
2개의 모듈 및 메모리를 포함하는 머리 장착형 디스플레이 디바이스 - 각각의 모듈은 카메라 모듈과, 상기 카메라 모듈에 대응하는 디스플레이 스크린과, 처리 모듈을 포함하고, 상기 카메라 모듈은 제1 카메라 및 제2 카메라를 포함하고, 상기 제1 카메라의 시야는 상기 제2 카메라의 시야보다 크고, 상기 메모리는 컴퓨터 프로그램 코드를 저장하도록 구성되고, 상기 컴퓨터 프로그램 코드는 컴퓨터 명령어를 포함함 - 로서,
상기 처리 모듈이 상기 메모리로부터 상기 컴퓨터 명령어를 판독하는 경우에, 상기 머리 장착형 디스플레이 디바이스 내의 각각의 모듈은,
검출된 시동 동작에 응답하여, 상기 제1 카메라에 의해, 제1 해상도의 제1 이미지를 수집하고, 상기 제2 카메라에 의해, 제2 해상도의 제2 이미지를 수집하는 동작 - 상기 제1 해상도는 상기 제2 해상도보다 낮음 - 과,
상기 처리 모듈에 의해, 상기 제1 이미지 및 상기 제2 이미지에 기반하여 제4 이미지를 생성하는 동작 - 상기 제4 이미지는 실제 장면 이미지이고 상기 제1 해상도의 이미지 및 상기 제2 해상도의 이미지를 포함함 - 과,
상기 처리 모듈에 의해, 가상 객체를 포함하는 제3 이미지 및 상기 제4 이미지에 기반하여 제5 이미지를 생성하는 동작 - 상기 제5 이미지는 상기 실제 장면 이미지 및 상기 가상 객체를 포함함 - 과,
상기 모듈의 상기 디스플레이 스크린에 의해, 상기 제5 이미지를 디스플레이하는 동작을 수행할 수 있게 되는,
머리 장착형 디스플레이 디바이스.
제11항에 있어서,
하나의 모듈의 제1 카메라의 광학 중심으로부터 다른 모듈의 제1 카메라의 광학 중심까지의 거리는 61 밀리미터 내지 65 밀리미터인,
머리 장착형 디스플레이 디바이스.
제12항에 있어서,
각각의 모듈 내에서 상기 제1 카메라의 광학 중심으로부터 상기 제2 카메라의 광학 중심까지의 거리는 20 밀리미터보다 작은,
머리 장착형 디스플레이 디바이스.
제11항 내지 제13항 중 어느 한 항에 있어서,
각각의 모듈은 접안렌즈를 더 포함하고, 상기 디스플레이 스크린은 상기 접안렌즈 및 상기 카메라 모듈 사이에 위치된,
머리 장착형 디스플레이 디바이스.
제14항에 있어서,
상기 머리 장착형 디스플레이 디바이스가 수평으로 놓인 경우에, 각각의 모듈 내에서 상기 제1 카메라의 상기 광학 중심 및 상기 제2 카메라의 상기 광학 중심 간의 연결선은 수평면에 평행한,
머리 장착형 디스플레이 디바이스.
제14항 또는 제15항에 있어서,
각각의 모듈 내에서 상기 접안렌즈의 광학 중심, 상기 디스플레이 스크린의 광학 중심 및 상기 제1 카메라의 광학 중심이 일직선 상에 위치된,
머리 장착형 디스플레이 디바이스.
제11항 내지 제16항 중 어느 한 항에 있어서,
상기 처리 모듈이 상기 메모리로부터 상기 컴퓨터 명령어를 판독하는 경우에, 상기 머리 장착형 디스플레이 디바이스 내의 각각의 모듈은 또한,
상기 처리 모듈에 의해, 상기 제2 이미지의 시야각을 상기 제1 이미지의 시야각과 동일하도록 조정하는 동작과,
조정된 제2 이미지 및 상기 제1 이미지에 기반하여 상기 제4 이미지를 생성하는 동작을 수행할 수 있게 되는,
머리 장착형 디스플레이 디바이스.
제17항에 있어서,
상기 처리 모듈이 상기 메모리로부터 상기 컴퓨터 명령어를 판독하는 경우에, 상기 머리 장착형 디스플레이 디바이스 내의 각각의 모듈은 또한,
상기 제2 이미지의 상기 시야각이 상기 제1 이미지의 상기 시야각과 동일할 수 있게 하기 위해, 상기 처리 모듈에 의해, 상기 제2 이미지에 대해 회전, 병진 및 비-동일평면 행 교정 처리를 수행하는 동작을 수행할 수 있게 되는,
머리 장착형 디스플레이 디바이스.
제17항 또는 제18항에 있어서,
상기 처리 모듈이 상기 메모리로부터 상기 컴퓨터 명령어를 판독하는 경우에, 상기 머리 장착형 디스플레이 디바이스 내의 각각의 모듈은 또한,
상기 처리 모듈에 의해 타겟 영역으로서, 중첩된 시야각을 갖는, 상기 조정된 제2 이미지 내의 영역 및 상기 제1 이미지 내의 영역을 판정하는 동작과,
상기 제1 이미지 내의 상기 타겟 영역의 이미지를 상기 조정된 제2 이미지로 대체하는 동작을 수행할 수 있게 되는,
머리 장착형 디스플레이 디바이스.
제11항 내지 제19항 중 어느 한 항에 있어서,
상기 처리 모듈이 상기 메모리로부터 상기 컴퓨터 명령어를 판독하는 경우에, 상기 머리 장착형 디스플레이 디바이스 내의 각각의 모듈은 또한,
상기 처리 모듈에 의해 상기 머리 장착형 디스플레이 디바이스의 자세 정보 및 상기 제1 이미지에 기반하여, 상기 가상 객체를 포함하는 상기 제3 이미지를 생성하는 동작을 수행할 수 있게 되는,
머리 장착형 디스플레이 디바이스.
제11항 내지 제20항 중 어느 한 항에 있어서,
상기 처리 모듈이 상기 메모리로부터 상기 컴퓨터 명령어를 판독하는 경우에, 상기 머리 장착형 디스플레이 디바이스 내의 각각의 모듈은 또한,
상기 처리 모듈에 의해, 상기 제1 이미지의 상기 제1 해상도에 기반하여 상기 제3 이미지의 해상도를 조정하는 것 및 상기 제1 이미지 내의 광 정보에 기반하여 상기 제3 이미지 내의 상기 가상 객체의 음영을 조정하는 것 중 적어도 하나를 수행하는 동작과,
상기 제4 이미지 및 조정된 제3 이미지에 기반하여 상기 제5 이미지를 생성하는 동작을 수행할 수 있게 되는,
머리 장착형 디스플레이 디바이스.
컴퓨터 저장 매체로서, 컴퓨터 명령어를 포함하되, 상기 컴퓨터 명령어가 단말 상에서 가동되는 경우에, 상기 단말은 제1항 내지 제10항 중 어느 한 항에 따른 이미지 처리 방법을 수행할 수 있게 되는, 컴퓨터 저장 매체.
컴퓨터 프로그램 제품으로서, 상기 컴퓨터 프로그램 제품이 컴퓨터 상에서 가동되는 경우에, 상기 컴퓨터는 제1항 내지 제10항 중 어느 한 항에 따른 이미지 처리 방법을 수행할 수 있게 되는, 컴퓨터 프로그램 제품.