KR101845350B1 - 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법 - Google Patents

Abstract

사용자가 허상과 외경을 시인 가능한 두부 장착형 표시 장치는, 사용자에게 허상을 시인시키는 화상 표시부와, 사용자에게 확장 현실감을 주기 위한 오브젝트인 가상 오므젝트로서 사용자의 시각적인 위화감이 완화된 상기 가상 오브젝트를 나타내는 허상을, 상기 화상 표시부에 형성시키는 확장 현실 처리부를 구비한다.

Description

두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법{HEAD-MOUNTED DISPLAY DEVICE, CONTROL METHOD OF HEAD-MOUNTED DISPLAY DEVICE, AND DISPLAY SYSTEM}

본 발명은, 두부(頭部) 장착형 표시 장치에 관한 것이다.

관찰자의 두부에 장착되어 이용됨으로써, 관찰자의 시야 영역에 허상을 형성하는 두부 장착형 표시 장치가 알려져 있다(특허문헌 6 참조). 이 두부 장착형 표시 장치는, 헤드 마운트 디스플레이(HMD: Head Mounted Display)라고도 불리고, 사용자가 두부 장착형 표시 장치를 장착한 상태에서 사용자의 시계(視界)가 차단되는 비투과형의 두부 장착형 표시 장치와, 사용자가 두부 장착형 표시 장치를 장착한 상태에서 사용자의 시계가 차단되지 않는 투과형의 두부 장착형 표시 장치로 나누어진다.

한편, 현실 환경에 컴퓨터를 이용하여 정보를 부가하는 확장 현실감(AR, Augmented Reality)이라고 불리는 기술이 알려져 있다. 확장 현실감을 실현하는 방법으로서, 화상 인식에 의한 방법과, 패스 스루 방식에 기초하는 방법이 알려져 있다. 화상 인식에 의한 방법의 경우, 예를 들면 WEB 카메라 등으로 촬상된 외경(外景)의 화상을 화상 인식함으로써 가상 오브젝트가 생성된다. 패스 스루 방식에 기초하는 방법의 경우, 예를 들면 GPS에서 취득된 현재 위치 정보와, 예를 들면 전자 컴퍼스에서 취득된 방위 정보를 이용하여 가상 오브젝트가 생성된다. 비투과형의 두부 장착형 표시 장치에서는, 외경의 화상과, 상기와 같이 하여 생성된 가상 오브젝트를 서로 중첩시킨 화상이, 액정 디스플레이에 표시된다. 이에 따라, 사용자는 확장 현실감을 체감할 수 있다. 투과형의 두부 장착형 표시 장치에서는, 상기와 같이 하여 생성된 가상 오브젝트만이 액정 디스플레이에 표시된다. 사용자는, 액정 디스플레이에 허상으로서 표시된 가상 오브젝트와, 눈 앞의 렌즈를 투과하여 보이는 실제의 외경의 양쪽 모두를 시인(視認)함으로써, 확장 현실감을 체감할 수 있다. 이 때문에, 광학 투과형의 두부 장착형 표시 장치에 있어서 사용자의 시각적인 위화감을 완화한 확장 현실감을 제공하기 위해서는, 사용자가 실제로 보는 외경에 대하여, 허상으로서 표시되는 가상 오브젝트를 융상(融像; fit)시킬 필요가 있다.

특허문헌 1에는, 외경에 가상 오브젝트를 융상시키기 위해, 사용자로부터 외경에 포함되는 실(實)오브젝트까지의 거리와, 사용자로부터 가상 오브젝트까지의 거리를, 대략 동일한 거리로 하는 기술이 기재되어 있다. 특허문헌 1에서는, 사용자와 실오브젝트와의 사이의 거리(D)를 구하고, 거리(D)로부터 실오브젝트의 폭주각(θ; convergence angle)을 결정하고, 실오브젝트의 폭주각(θ)±40분(arc-minute)이 되는 바와 같은 가상 오브젝트의 폭주각을 연산하고, 연산된 폭주각을 실현하는 우안용의 화상 데이터와 좌안용의 화상 데이터를 생성한다. 특허문헌 2에는, 외경에 가상 오브젝트를 융상시키기 위해, 가상 오브젝트의 폭주각을 조절 가능하게 하는 기술이 기재되어 있다. 특허문헌 3에는, 비투과형의 두부 장착형 표시 장치에 있어서 사용자의 시각적인 위화감을 완화한 확장 현실감을 제공하기 위해, 외경 화상을 촬상하기 위한 카메라를, 미리 측정한 촬상 파라미터를 이용하여 조정하는 기술이 기재되어 있다.

특허문헌 4 및 특허문헌 5에는, 외경에 가상 오브젝트를 중첩시켰을 때의 위화감을 저감하기 위해, 카메라로 촬영된 사용자의 시선 방향의 화상으로부터, 피부색 등의 특정 색영역을 절취하여, 가상 오브젝트를 마스킹하는 기술이 기재되어 있다.

일본특허공보 제3717653호 일본공개특허공보 평5-328408호 일본공개특허공보 2008-227865호 일본공개특허공보 2005-346468호 일본공개특허공보 2003-296759호 일본공개특허공보 2012-163637호

두부 장착형 표시 장치에 있어서, 목표로 한 폭주각으로 가상 오브젝트의 허상을 입체 표시시키기 위해서는, 예를 들면, 액정 디스플레이의 크기, 사용자의 좌우의 눈 앞에 표시되는 허상 간의 거리, 사용자의 눈 사이 거리와 같은 허상의 표시 환경에 관한 여러 가지의 조건을 고려하는 것이 필요하다. 그러나, 특허문헌 1 및 특허문헌 2에 기재된 기술에서는, 이 점에 대해서 충분히 고려되지 않고 있다는 문제가 있다. 또한, 특허문헌 3에 기재된 기술에서는, 광학 투과형의 두부 장착형 표시 장치를 대상으로 하고 있지 않다. 이 때문에, 허상의 표시 환경에 관한 여러 가지의 조건을 고려하여 외경에 가상 오브젝트를 융상시킴으로써, 사용자의 시각적인 위화감을 완화한 확장 현실감을 제공 가능한 광학 투과형의 두부 장착형 표시 장치가 요망되고 있었다.

또한, 특허문헌 4 및 특허문헌 5에 기재된 기술에서는, 카메라로 촬영된 화상에 기초하여 가상 오브젝트를 가공하기 때문에, 현실 세계에 있어서 보이는 바와 같은, 전후 관계가 복잡한 복수의 물체나, 색채가 비슷한 물체에 대해서, 가상 오브젝트의 가공의 정밀도를 확보할 수 없다는 문제가 있다. 이 때문에, 보다 정밀도 좋게 가상 오브젝트를 외경에 융상시킴으로써, 사용자의 시각적인 위화감을 완화한 확장 현실감을 제공 가능한 광학 투과형의 두부 장착형 표시 장치가 요망되고 있다.

실 공간의 좌표계에 기초하여 가상 오브젝트가 시인되는 구성만을 채용하기 때문에, 가상 오브젝트가 실 오브젝트와 무관하게 거동되는 문제가 있다. 예를 들면, 가상 오브젝트가 실 공간에 존재하는 경우, 가상 오브젝트가 실 오브젝트와 출돌하는 경우에 가상 오브젝트가 실 오브젝트를 통과해 버린다. 가상 오브젝트가 사용자의 시점으로부터 실 오브젝트에 의해서 가려지는 경우에도, 가상 오브젝트가 인식된다. 이들 현상은 사용자에게 위화감을 주거나 현실감에 크게 손상을 주는 역할을 하게 된다.

따라서, 사용자의 시각적인 위화감을 완화한 확장 현실감을 제공 가능한 광학 투과형의 두부 장착형 표시 장치가 요망되고 있다.

본 발명은, 전술한 과제 중 적어도 일부를 해결하기 위해 이루어진 것이며, 이하의 실시 형태로서 실현되는 것이 가능한 이점이 있다.

(1) 본 발명의 일 형태에 의하면, 사용자가 허상과 외경을 시인 가능한 두부 장착형 표시 장치가 제공된다. 이 두부 장착형 표시 장치는; 상기 사용자에게 상기 허상을 시인시키는 화상 표시부와; 상기 사용자에게 확장 현실감을 주기 위한 오브젝트인 가상 오브젝트로서, 상기 사용자의 시각적인 위화감이 완화된 상기 가상 오브젝트를 나타내는 상기 허상을, 상기 화상 표시부에 형성시키는 확장 현실 처리부를 포함한다. 이 실시 형태의 두부 장착형 표시 장치에 의하면, 화상 표시부는, 사용자의 시각적인 위화감이 완화된 가상 오브젝트를 허상으로서 사용자에게 시인시킨다. 이 때문에, 사용자의 시각적인 위화감을 완화한 확장 현실감을 제공 가능한 광학 투과형의 두부 장착형 표시 장치를 제공할 수 있다.

(2) 상기 실시 형태의 두부 장착형 표시 장치에 있어서, 상기 확장 현실 처리부는, 상기 사용자의 주위의 환경을 3차원 공간 내의 가상적인 입체물로서 표현한 3차원 정보를 이용하여, 상기 가상 오브젝트를 상기 주위의 환경에 융상시킴으로써, 상기 가상 오브젝트에 대한 상기 위화감을 완화해도 좋다. 이 형태의 두부 장착형 표시 장치에 의하면, 확장 현실 처리부는, 가상 오브젝트를 주위의 환경에 융상시킨다. 이에 따라, 화상 표시부는, 사용자의 시각적인 위화감이 완화된 가상 오브젝트를 허상으로서 사용자에게 시인시킬 수 있다. 또한, 확장 현실 처리부는, 3차원 정보를 이용하여 가상 오브젝트를 주위의 환경에 융상시킨다. 이 때문에, 카메라로 촬영된 화상에 기초하여 가상 오브젝트를 주위의 환경에 융상시키는 경우와 비교하여, 융상의 정밀도를 향상시킬 수 있다.

(3) 상기 실시 형태의 두부 장착형 표시 장치에 있어서, 상기 확장 현실 처리부는; 상기 3차원 정보 내에 상기 가상 오브젝트를 배치하고; 상기 가상 오브젝트와 상기 3차원 정보 중 적어도 한쪽에 대하여, 상기 환경에 따른 시각 효과를 더한 후, 상기 가상 오브젝트를 2차원 화상으로 변환함으로써, 상기 가상 오브젝트에 대한 상기 위화감을 완화해도 좋다. 이 실시 형태의 두부 장착형 표시 장치에 의하면, 확장 현실 처리부는, 3차원 정보를 이용하여, 가상 오브젝트에 주위의 환경에 따른 시각 효과를 더할 수 있다.

(4) 상기 실시 형태의 두부 장착형 표시 장치에 있어서, 상기 환경에 따른 시각 효과는, 적어도; 상기 가상 오브젝트 중 상기 3차원 정보 내의 상기 입체물의 그늘에 속하는 부분의 트리밍과; 상기 환경에 기초한 상기 가상 오브젝트의 라이팅과; 상기 환경에 기초하여 설정된 상기 3차원 정보 내의 상기 입체물의 반발 계수와 마찰 계수 중 적어도 한쪽에 기초한, 상기 가상 오브젝트의 거동의 조정 중 어느 하나를 포함해도 좋다. 이 실시 형태의 두부 장착형 표시 장치에 의하면, 확장 현실 처리부는, 가상 오브젝트에 대하여, 환경에 기초한 트리밍, 환경에 기초한 라이팅, 환경에 기초한 거동의 조정 중, 적어도 어느 하나의 시각 효과를 더할 수 있다.

(5) 상기 실시 형태의 두부 장착형 표시 장치에서는, 추가로, 사용자가 상기 두부 장착형 표시 장치를 장착한 상태에서의 상기 사용자의 시계 방향의 화상을 취득하는 화상 취득부를 구비하고; 상기 확장 현실 처리부는, 상기 화상 취득부에 의해 취득된 상기 시계 방향의 화상을 화상 인식함으로써, 상기 환경을 추정해도 좋다. 이 실시 형태의 두부 장착형 표시 장치에 의하면, 확장 현실 처리부는, 사용자의 시계 방향의 화상을 화상 인식함으로써, 자동적으로, 사용자의 주위의 환경을 추정할 수 있다.

(6) 상기 실시 형태의 두부 장착형 표시 장치에 있어서, 상기 확장 현실 처리부는, 상기 가상 오브젝트를 2차원 화상으로 변환하기 위해, 상기 사용자의 눈으로부터 상기 사용자의 주시점까지의 사이의 거리를 고려해도 좋다. 이 실시 형태의 두부 장착형 표시 장치에 의하면, 확장 현실 처리부는, 가상 오브젝트를 2차원화상으로 변환할 때에 사용자의 눈으로부터 사용자의 주시점까지의 사이의 거리를 고려한다. 이 때문에, 예를 들면, 사용자의 주시점으로부터 벗어난 위치의 가상 오브젝트에 대하여, 디포커싱 효과를 추가하는 것도 가능해진다.

(7) 상기 실시 형태의 두부 장착형 표시 장치에 있어서; 상기 확장 현실 처리부는, 상기 가상 오브젝트를 나타내는 우안용의 우안용 화상 데이터와 좌안용의 좌안용 화상 데이터를 생성함으로써, 상기 가상 오브젝트에 대하여, 상기 가상 오브젝트의 입체시를 가능하게 하기 위한 시각 효과를 더하여 상기 가상 오브젝트에 대한 상기 위화감을 완화하고; 상기 화상 표시부는, 상기 우안용 화상 데이터와 상기 좌안용 화상 데이터를 이용하여, 상기 사용자의 좌우의 눈에 상이한 상기 허상을 시인시키고; 추가로, 서로 동일한 상기 우안용 화상 데이터와 상기 좌안용 화상 데이터에 기초하여 표시된 상기 허상의 제1 폭주각과, 좌우로 서로 어긋나게 한 상기 우안용 화상 데이터와 상기 좌안용 화상 데이터에 기초하여 표시된 상기 허상의 제2 폭주각과의 차분을 기억하는 화소 시차각 기억부를 더 포함하고; 상기 확장 현실 처리부는, 상기 화소 시차각 기억부에 기억되어 있는 상기 차분을 이용하여, 상기 외경에 상기 가상 오브젝트를 융상시키기 위한 상기 우안용 화상 데이터와 상기 좌안용 화상 데이터를 생성해도 좋다. 이 실시 형태의 두부 장착형 표시 장치에 의하면, 화소 시차각 기억부에 기억되어 있는 차분은, 서로 동일한 우안용 화상 데이터와 좌안용 화상 데이터에 기초하여 표시된 허상의 제1 폭주각과, 좌우로 서로 어긋나게 한 우안용 화상 데이터와 좌안용 화상 데이터에 기초하여 표시된 허상의 제2 폭주각과의 차분이다. 이 때문에, 화소 시차각 기억부에 기억되어 있는 차분은, 좌우로 서로 어긋난 화상 데이터에 의해 실현되는 시차각으로서, 허상의 표시 환경에 관한 여러 가지의 조건을 고려하여 정해진 시차각이라고 할 수 있다. 따라서, 확장 현실 처리부는, 화소 시차각 기억부에 기억되어 있는 차분을 이용하여, 허상의 표시 환경에 관한 여러 가지의 조건을 고려하여, 외경에 가상 오브젝트를 융상시키기 위한 우안용 화상 데이터와 좌안용 화상 데이터를 생성할 수 있다. 이와 같이, 확장 현실 처리부는, 화상 데이터의 생성시, 허상의 표시 환경에 관한 여러 가지의 조건을 고려하여 외경에 가상 오브젝트를 융상시키기 때문에, 사용자의 시각적인 위화감을 완화한 확장 현실감을 제공 가능한 두부 장착형 표시 장치를 실현할 수 있다.

(8) 상기 실시 형태의 두부 장착형 표시 장치에 있어서, 상기 확장 현실 처리부는, 상기 사용자에게 상기 가상 오브젝트를 시인시키는 목표 거리를 결정하고, 결정된 상기 목표 거리로부터, 상기 목표 거리에 있어서의 폭주각인 목표 폭주각을 산출하고; 산출된 상기 목표 폭주각과 상기 제1 폭주각을 이용하여, 상기 목표 거리에 있어서의 시차각인 목표 시차각을 산출하고; 상기 목표 시차각과, 상기 화소 시차각 기억부에 기억되어 있는 상기 차분을 이용하여, 상기 가상 오브젝트를 나타내는 단일의 화상 데이터로부터, 상기 우안용 화상 데이터와 상기 좌안용 화상 데이터를 생성해도 좋다. 이 실시 형태의 두부 장착형 표시 장치에 의하면, 확장 현실 처리부는, 사용자에게 가상 오브젝트를 시인시키는 목표 거리를 결정하고, 결정된 목표 거리로부터 목표 거리에 있어서의 폭주각인 목표 폭주각을 산출하고, 산출된 목표 폭주각과 제1 폭주각을 이용하여, 목표 거리에 있어서의 시차각인 목표 시차각을 산출한다. 확장 현실 처리부는, 이와 같이 하여 산출한 목표 시차각과, 화소 시차각 기억부에 기억되어 있는 차분을 이용함으로써, 가상 오브젝트를 나타내는 단일의 화상 데이터로부터, 상이한 우안용 화상 데이터와 좌안용 화상 데이터를 생성할 수 있다.

(9) 상기 실시 형태의 두부 장착형 표시 장치에 있어서, 상기 확장 현실 처리부는; 상기 사용자에게 상기 가상 오브젝트를 시인시키는 목표 거리를 결정하고; 결정된 상기 목표 거리에 기초하여, 3D 모델 공간 상에 2D 투영 화상을 취득하기 위한 2개의 가상 카메라를 설정하고; 결정된 상기 목표 거리로부터, 상기 목표 거리에 있어서의 폭주각인 목표 폭주각을 산출하고; 산출된 상기 목표 폭주각과 상기 제1 폭주각을 이용하여, 상기 목표 거리에 있어서의 시차각인 목표 시차각을 산출하고; 상기 목표 시차각과, 상기 화소 시차각 기억부에 기억되어 있는 상기 차분을 이용하여, 한쪽의 상기 가상 카메라에 의한 2D 투영 화상을 스케일링하여 상기 우안용 화상 데이터를 생성하고, 다른 한쪽의 상기 가상 카메라에 의한 2D 투영 화상을 스케일링하여 상기 좌안용 화상 데이터를 생성해도 좋다. 이 실시 형태의 두부 장착형 표시 장치에 의하면, 확장 현실 처리부는, 사용자에게 가상 오브젝트를 시인시키는 목표 거리를 결정하고, 결정된 목표 거리로부터 목표 거리에 있어서의 폭주각인 목표 폭주각을 산출하고, 산출된 목표 폭주각과 제1 폭주각을 이용하여, 목표 거리에 있어서의 시차각인 목표 시차각을 산출한다. 확장 현실 처리부는, 이와 같이 하여 산출한 목표 시차각과, 화소 시차각 기억부에 기억되어 있는 차분을 이용함으로써, 2개의 가상 카메라에 의한 2D 투영 화상을 각각 스케일링하여, 우안용 화상 데이터와 좌안용 화상 데이터를 생성할 수 있다.

(10) 상기 실시 형태의 두부 장착형 표시 장치에서는, 추가로, 상기 사용자의 눈 사이 거리를 기억하는 눈 사이 거리 기억부를 구비하고; 상기 확장 현실 처리부는, 상기 2개의 가상 카메라를 설정할 때, 상기 결정된 목표 거리에 기초하여, 3D 모델 공간 상에 가상적인 시점인 가상 시점을 배치하고, 배치된 상기 가상 시점으로부터 눈 사이 거리/2 만큼 떨어진 위치에 한쪽의 가상 카메라를 배치하고, 배치된 상기 가상 시점으로부터 눈 사이 거리/2 만큼 떨어진 위치에 다른 한쪽의 가상 카메라를 배치해도 좋다. 이 실시 형태의 두부 장착형 표시 장치에 의하면, 확장 현실 처리부는, 3D 모델 공간 상에 가상 카메라를 설정할 때, 우선, 사용자에게 가상 오브젝트를 시인시키는 목표 거리에 기초하여 가상 시점을 배치한다. 그리고, 확장 현실 처리부는, 배치된 가상 시점으로부터 눈 사이 거리/2 만큼 떨어진 위치에 한쪽의 가상 카메라를 배치하고, 배치된 가상 시점으로부터 눈 사이 거리/2 만큼 떨어진 위치에 다른 한쪽의 가상 카메라를 배치한다. 이 결과, 가상 카메라는, 사용자에 가상 오브젝트를 시인시키는 목표 거리와, 사용자의 눈 사이 거리의 양쪽을 고려한 2D 투영 화상을 취득할 수 있다.

(11) 상기 실시 형태의 두부 장착형 표시 장치에서는, 추가로, 상기 사용자의 동공 간 거리를 측정하는 동공 간 거리 측정부를 구비하고; 상기 동공 간 거리 측정부에 의한 측정 결과는, 상기 눈 사이 거리로서 상기 눈 사이 거리 기억부에 기억되어도 좋다. 이 실시 형태의 두부 장착형 표시 장치에 의하면, 사용자마다 각각 동공 간 거리를 측정하여 눈 사이 거리 기억부를 갱신하기 때문에, 사용자에 따른 동공 간 거리를, 눈 사이 거리 기억부에 기억시킬 수 있다.

(12) 상기 실시 형태의 두부 장착형 표시 장치에서는, 추가로, 실 공간에서 실 오브젝트의 좌표 위치 및 형상을 검출하는 오브젝트 검출부를 더 포함하고, 상기 확장 현실 처리부는, 상기 실 오브젝트의 좌표 위치 및 형상에 기초하여, 상기 실 공간에서의 좌표 위치가 설정되는 상기 가상 오브젝트를 제어함으로써 상기 가상 오브젝트의 위화감을 완화해도 좋다. 이 실시 형태의 두부 장착형 표시 장치에 의하면, 실 오브젝트의 좌표 위치와 형상을 고려하여 상기 가상 오브젝트를 거동시킬 수 있기 때문에, 전술한 현상들을 해결할 수 있고 현실감을 향상시킬 수 있다. 즉, 가상 오브젝트가 실 오브젝트와 충돌하는 경우에, 상기 가상 오브젝트가 상기 실 오브젝트와 충돌하는 것과 같이 상기 가상 오브젝트를 거동시킬 수 있다. 가상 오브젝트가 상기 사용자의 시점으로부터 실 오브젝트에 의해서 가려지는 경우에, 상기 가상 오브젝트가 상기 실 오브젝트에 의해서 가려지는 것과 같이 상기 가상 오브젝트를 변경할 수 있다.

(13) 상기 실시 형태의 두부 장착형 표시 장치에서는, 상기 확장 현실 처리부는 상기 실 오브젝트의 좌표 위치 및 형상에 기초하여 상기 가상 오브젝트의 거동을 제어할 수 있다. 이 실시 형태의 두부 장착형 표시 장치에 의하면, 상기 실 오브젝트의 좌표 위치와 형상을 고려하여 상기 가상 오브젝트를 거동시킴으로써 투사형 표시 장치에서의 실 오브젝트에 결합된 콘텐츠를 제공할 수 있다.

(14) 상기 실시 형태의 두부 장착형 표시 장치에서는, 상기 확장 현실 처리부는, 상기 가상 오브젝트가 상기 사용자의 시점으로부터 상기 실 오브젝트의 뒤에 위치해 있는 경우, 검출된 상기 실 오브젝트의 좌표 위치와 상기 가상 오브젝트의 설정 좌표 위치에 기초하여, 상기 가상 오브젝트 중 상기 실 오브젝트와 중첩되는 부분이 사라지도록, 상기 가상 오브젝트를 변경해도 좋다.

(15) 상기 실시 형태의 두부 장착형 표시 장치에서는, 상기 확장 현실 처리부는, 상기 가상 오브젝트가 실 공간의 좌표계에서 상기 실 오브젝트를 피하도록 상기 가상 오브젝트를 거동시키도록 해도 좋다.

(16) 상기 실시 형태의 두부 장착형 표시 장치에서는, 상기 확장 현실 처리부는, 상기 가상 오브젝트가 상기 실 공간의 좌표계에서 이동하여 상기 실 오브젝트에 도달하는 경우, 상기 가상 오브젝트가 상기 실 오브젝트와 충돌하는 것과 같이 상기 가상 오브젝트를 거동시켜도 좋다.

(17) 상기 실시 형태의 두부 장착형 표시 장치에서는, 사용자의 시선을 검출하는 시선 검출부를 더 포함하고, 상기 확장 현실 처리부는, 검출된 상기 시선에 기초하여 상기 가상 오브젝트를 표시해도 좋다. 이 실시 형태의 두부 장착형 표시 장치에 의하면, 사용자의 시선을 고려하여 상기 가상 오브젝트를 표시함으로써 높은 정밀도로 상기 가상 오브젝트를 융상시킬 수 있다.

(18) 상기 실시 형태의 두부 장착형 표시 장치에 있어서는, 상기 사용자로부터 상기 실 오브젝트까지의 거리를 검출하는 거리 검출부를 더 포함하고, 상기 확장 현실 처리부는, 검출된 상기 거리에 기초하여 상기 가상 오브젝트를 표시해도 좋다. 이 실시 형태의 두부 장착형 표시 장치에 의하면, 상기 사용자로부터 상기 실 오브젝트까지의 거리를 고려하여 상기 가상 오브젝트를 표시함으로써 높은 정밀도로 상기 오브젝트를 융상시킬 수 있다.

(19) 상기 실시 형태의 두부 장착형 표시 장치에 있어서는, 상기 화상 표시부는, 상기 화상의 화상광을 출력하는 화상광 출력부; 및 출력된 상기 화상광을 상기 사용자의 눈으로 유도하는 도광부를 포함하고, 상기 도광부는, 외광을 전달하고, 상기 화상광과 함께 상기 외광이 상기 사용자의 눈에 입사되도록 해도 좋다. 이 실시 형태의 두부 장착형 표시 장치에 의하면, 소위 가상 화상 투사 방식의 투과형 표시 장치를 이용함으로써 높은 정밀도로 상기 가상 오브젝트를 융상할 수 있고 현실감을 향상시킬 수 있다.

전술한 본 발명의 각 형태가 갖는 복수의 구성 요소는 모두가 필수의 것은 아니다. 전술한 과제의 일부 또는 전부를 해결하기 위해, 혹은, 본 명세서에 기재된 효과의 일부 또는 전부를 달성하기 위해, 적절히, 일부 구성 요소에 대해서, 그의 변경, 삭제, 새로운 구성 요소와의 교체, 한정 내용의 일부 삭제를 행하는 것이 가능하다. 또한, 전술한 과제의 일부 또는 전부를 해결하기 위해, 혹은, 본 명세서에 기재된 효과의 일부 또는 전부를 달성하기 위해, 전술한 본 발명의 일 형태에 포함되는 기술적 특징의 일부 또는 전부를 전술한 본 발명의 다른 형태에 포함되는 기술적 특징의 일부 또는 전부와 조합하여, 본 발명의 독립된 일 형태로 구성하는 것도 가능하다.

예를 들면, 본 발명의 일 형태는, 확장 현실 처리부와 화상 표시부 중 하나 또는 두 개를 포함하는 장치로서 실현 가능하다. 즉, 이 장치는, 확장 현실 처리부를 갖고 있어도 좋고, 갖고 있지 않아도 좋다. 또한, 이 장치는, 화상 표시부를 갖고 있어도 좋고, 갖고 있지 않아도 좋다. 이러한 장치는, 예를 들면 두부 장착형 표시 장치로서 실현할 수 있지만, 두부 장착형 표시 장치 이외의 다른 장치로 해도 실현 가능하다. 전술한 두부 장착형 표시 장치의 각 실시 형태의 기술적 특징의 일부 또는 전부는, 모두 이 장치에 적용하는 것이 가능하다.

또한, 본 발명은, 여러 가지의 실시 형태로 실현하는 것이 가능하며, 예를 들면, 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법, 두부 장착형 표시 시스템, 이들의 방법, 장치 또는 시스템의 기능을 실현하기 위한 컴퓨터 프로그램, 그 컴퓨터 프로그램을 기록한 기록 매체 등의 형태로 실현할 수 있다.

도 1은 본 발명의 일 실시 형태에 따른 두부 장착형 표시 장치의 개략 구성을 나타내는 설명도이다.
도 2는 두부 장착형 표시 장치의 구성을 기능적으로 나타내는 블록도이다.
도 3a는 사용자에게 시인되는 허상의 일 예를 나타내는 설명도이다.
도 3b는 사용자에게 시인되는 허상의 일 예를 나타내는 설명도이다.
도 4는 확장 현실 처리의 순서를 설명하기 위한 설명도이다.
도 5는 눈 사이 거리와 화소 시차각에 대해서 설명하기 위한 설명도이다.
도 6a는 AR 처리부가, 화상 데이터로부터, 우안용 화상 데이터와 좌안용 화상 데이터를 생성하는 상태를 나타내는 설명도이다.
도 6b는 AR 처리부가, 화상 데이터로부터, 우안용 화상 데이터와 좌안용 화상 데이터를 생성하는 상태를 나타내는 설명도이다.
도 7은 제2 실시 형태에 있어서의 확장 현실 처리의 순서를 나타내는 플로우 차트이다.
도 8은 제2 실시 형태에 따른 확장 현실 처리의 상세를 설명하기 위한 설명도이다.
도 9는 AR 처리부가, 가상 시점에 배치된 가상 카메라의 2D 투영 화상을 이용하여, 투영에 의해 얻어진 화상을 스케일링하는 상태를 나타내는 설명도이다.
도 10은 제3 실시 형태에 따른 확장 현실 처리의 순서를 나타내는 플로우 차트이다.
도 11은 제2 실시 형태에 따른 두부 장착형 표시 장치의 구성을 기능적으로 나타내는 블록도이다.
도 12는 제2 실시 형태에 따른 확장 현실 처리의 순서를 나타내는 플로우 차트이다.
도 13a는 마스크 오브젝트를 나타내는 도면이다.
도 13b는 마스크 오브젝트를 나타내는 도면이다.
도 14는 마스크 오브젝트에 대한 가상 오브젝트의 배치의 일 예를 나타내는 설명도이다.
도 15는 라이팅 실시 후의 가상 오브젝트의 상태를 나타내는 설명도이다.
도 16은 반발 계수와 마찰 계수에 기초하여 가상 오브젝트의 거동이 조정되는 상태를 나타내는 설명도이다.
도 17은 가상 카메라의 2D 투영에 의해 얻어진 화상 데이터를 나타내는 설명도이다.
도 18은 제2 실시 형태에 따른 확장 현실 처리에 있어서 사용자에게 시인되는 허상의 일 예를 나타내는 설명도이다.
도 19는 사용자에 의해서 시인되는 허상과 실 장면의 일예를 나타낸 도면이다.
도 20은 두부 장착형 표시 장치의 제어 구성을 나타내는 블록도이다.
도 21은 제3 실시 형태에 따른 확장 현실 처리 순서를 나타내는 플로우 차트이다.
도 22는 제3 실시 형태에 따른 가상 오브젝트의 거동 제어의 제1 예를 나타내는 전이도(transition diagram)이다.
도 23은 제3 실시 형태에 따른 가상 오브젝트의 거동 제어의 제2 예를 나타내는 전이도이다.
도 24는 제3 실시 형태에 따른 가상 오브젝트의 거동 제어의 제3 예를 나타내는 전이도이다.
도 25a는 변형예에 따른 두부 장착형 표시 장치의 다른 구성을 나타내는 도면이다.
도 25b는 변형예에 따른 두부 장착형 표시 장치의 다른 구성을 나타내는 도면이다.

(발명을 실시하기 위한 형태)

A. 제1 실시 형태

A-1. 두부 장착형 표시 장치의 구성

도 1은, 본 발명의 일 실시 형태에 있어서의 두부 장착형 표시 장치의 개략 구성을 나타내는 설명도이다. 두부 장착형 표시 장치(100)는, 두부에 장착하는 표시 장치이며, 헤드 마운트 디스플레이(Head Mounted Display, HMD)라고도 불린다. 본 실시 형태의 두부 장착형 표시 장치(100)는, 사용자가, 허상을 시인(visually recognizing)함과 동시에 외경도 직접 시인 가능한 광학 투과형의 두부 장착형 표시 장치이다.

두부 장착형 표시 장치(100)는, 사용자의 두부에 장착된 상태에서 사용자에게 허상을 시인시키는 화상 표시부(20)와, 화상 표시부(20)를 제어하는 제어부(컨트롤러)(10)를 포함한다.

화상 표시부(20)는, 사용자의 두부에 장착되는 장착체이며, 본 실시 형태에서는 안경 형상을 갖고 있다. 화상 표시부(20)는, 오른쪽 보유지지부(21)와, 오른쪽 표시 구동부(22)와, 왼쪽 보유지지부(23)와, 왼쪽 표시 구동부(24)와, 오른쪽 광학상 표시부(26)와, 왼쪽 광학상 표시부(28)와, 카메라(61)와, 동공 간 거리 측정부(62)를 포함하고 있다. 오른쪽 광학상 표시부(26) 및 왼쪽 광학상 표시부(28)는 각각, 사용자가 화상 표시부(20)를 장착했을 때에 사용자의 오른쪽 및 왼쪽의 눈 앞에 위치하도록 배치되어 있다. 오른쪽 광학상 표시부(26)의 일단과 왼쪽 광학상 표시부(28)의 일단은, 사용자가 화상 표시부(20)를 장착했을 때의 사용자의 미간에 대응하는 위치에서, 서로 접속되어 있다.

오른쪽 보유지지부(21)는, 오른쪽 광학상 표시부(26)의 타단인 단부(ER)로부터, 사용자가 화상 표시부(20)를 장착했을 때의 사용자의 측두부에 대응하는 위치에 걸쳐, 연신하여 형성된 부재이다. 마찬가지로, 왼쪽 보유지지부(23)는, 왼쪽 광학상 표시부(28)의 타단인 단부(EL)로부터, 사용자가 화상 표시부(20)를 장착했을 때의 사용자의 측두부에 대응하는 위치에 걸쳐, 연신하여 형성된 부재이다. 오른쪽 보유지지부(21) 및 왼쪽 보유지지부(23)는, 안경의 템플(안경 다리)과 같이 하여, 사용자의 두부에 화상 표시부(20)를 보유지지한다.

오른쪽 표시 구동부(22)는, 오른쪽 보유지지부(21)의 내측, 바꾸어 말하면, 사용자가 화상 표시부(20)를 장착했을 때의 사용자의 두부에 대향하는 측에 배치되어 있다. 또한, 왼쪽 표시 구동부(24)는, 왼쪽 보유지지부(23)의 내측에 배치되어 있다. 또한, 이하에서는, 오른쪽 보유지지부(21) 및 왼쪽 보유지지부(23)를 총칭하여 단순히 "보유지지부"라고도 부르고, 오른쪽 표시 구동부(22) 및 왼쪽 표시 구동부(24)를 총칭하여 단순히 "표시 구동부"라고도 부르고, 오른쪽 광학상 표시부(26) 및 왼쪽 광학상 표시부(28)를 총칭하여 단순히 "광학상 표시부"라고도 부른다.

표시 구동부는, 액정 디스플레이(Liquid Crystal Display, 이하 "LCD"라고 부름)(241, 242)나 투사 광학계(251, 252) 등을 포함한다(도 2 참조). 표시 구동부의 구성의 상세한 설명은 후술한다. 광학 부재로서의 광학상 표시부는, 도광판(261, 262)(도 2 참조)과 조광판(light control plate)을 포함하고 있다. 도광판(261, 262)은, 광투과성의 수지 재료 등에 의해 형성되고, 표시 구동부로부터 출력된 화상광을 사용자의 눈으로 유도한다. 조광판은, 박판 형상의 광학 소자이며, 화상 표시부(20)의 표측(front side)(사용자의 눈측과는 반대인 측)을 덮도록 배치되어 있다. 조광판은, 도광판(261, 262)을 보호하여, 도광판(261, 262)의 손상이나 오염의 부착 등을 억제한다. 또한, 조광판의 광투과율을 조정함으로써, 사용자의 눈에 들어오는 외광량을 조정하여 허상의 시인의 용이성을 조정할 수 있다. 또한, 조광판은 생략 가능하다.

카메라(61)는, 사용자가 화상 표시부(20)를 장착했을 때의 사용자의 미간에 대응하는 위치에 배치되어 있다. 카메라(61)는, 화상 표시부(20)의 표측 방향, 바꾸어 말하면, 사용자가 두부 장착형 표시 장치(100)를 장착한 상태에 있어서의 사용자의 시계 방향의 외경(외부의 경치)을 촬상하여, 외경 화상을 취득한다. 카메라(61)는 소위 가시광 카메라이며, 카메라(61)에 의해 취득되는 외경 화상은, 물체로부터 방사되는 가시광으로부터 물체의 형상을 나타내는 화상이다. 본 실시 형태에 있어서의 카메라(61)는 단안(單眼) 카메라이지만, 스테레오 카메라로 해도 좋다. 카메라(61)는 "화상 취득부"로서 기능한다.

동공 간 거리 측정부(62)는, 사용자의 동공 간 거리를 측정한다. 동공 간 거리란, 사용자의 우안(RE)의 홍채의 중심과 사용자의 좌안(LE)의 홍채의 중심과의 사이의 거리이다. 동공 간 거리 측정부(62)는, 도 1에 나타내는 바와 같이, 화상 표시부(20)의 내면에 배치되어, 사용자의 우안(RE) 및 좌안(LE)의 화상을 각각 촬영하는 2개의 카메라와, 촬영된 화상을 예를 들면 3각 측량에 의한 방법을 이용하여 해석하고, 좌우의 눈의 홍채의 중심 간의 거리를 계산하는 처리부를 포함한다. 또한, 동공 간 거리 측정부(62)는, 카메라를 대신하여, 초음파나 적외선을 이용하여, 사용자의 동공 간 거리를 측정해도 좋다. 또한, 동공 간 거리 측정부(62)는, 전술한 방법을 복수 조합하여, 사용자의 동공 간 거리를 측정할 수도 있다.

화상 표시부(20)는, 추가로, 화상 표시부(20)를 제어부(10)에 접속하기 위한 접속부(40)를 포함한다. 접속부(40)는, 제어부(10)에 접속되는 본체 코드(48)와, 본체 코드(48)가 2개로 분기한 오른쪽 코드(42) 및 왼쪽 코드(44)와, 분기점에 설치된 연결 부재(46)를 포함하고 있다. 오른쪽 코드(42)는, 오른쪽 보유지지부(21)의 연신 방향의 선단부(AP)로부터 오른쪽 보유지지부(21)의 케이스체 내에 삽입되고, 오른쪽 표시 구동부(22)에 접속되어 있다. 마찬가지로, 왼쪽 코드(44)는, 왼쪽 보유지지부(23)의 연신 방향의 선단부(AP)로부터 왼쪽 보유지지부(23)의 케이스체 내에 삽입되고, 왼쪽 표시 구동부(24)에 접속되어 있다. 연결 부재(46)에는, 이어폰 플러그(30)를 접속하기 위한 잭이 설치되어 있다. 이어폰 플러그(30)로부터는, 오른쪽 이어폰(32) 및 왼쪽 이어폰(34)이 연신하고 있다.

화상 표시부(20)와 제어부(10)는, 접속부(40)를 통하여 각종 신호의 전송을 행한다. 본체 코드(48)에 있어서의 연결 부재(46)와는 반대측의 단부와, 제어부(10)의 각각에는, 서로 끼워맞춤하는 커넥터(도시 생략)가 설치되어 있고, 본체 코드(48)의 커넥터와 제어부(10)의 커넥터와의 끼워맞춤 또는 끼워맞춤 해제에 의해, 제어부(10)와 화상 표시부(20)가 접속되거나 분리되거나 한다. 오른쪽 코드(42)와, 왼쪽 코드(44)와, 본체 코드(48)에는, 예를 들면, 금속 케이블이나 광파이버를 채용할 수 있다.

제어부(10)는, 두부 장착형 표시 장치(100)를 제어하기 위한 장치이다. 제어부(10)는, 점등부(12)와, 터치 패드(14)와, 십자 키(16)와, 전원 스위치(18)를 포함하고 있다. 점등부(12)는, 두부 장착형 표시 장치(100)의 동작 상태(예를 들면, 전원의 ON/OFF 등)를, 그 발광 태양에 따라 통지한다. 점등부(12)로서는, 예를 들면, LED(Light Emitting Diode)를 이용할 수 있다. 터치 패드(14)는, 터치 패드(14)의 조작면 상에서의 접촉 조작을 검출하고, 검출 내용에 따른 신호를 출력한다. 터치 패드(14)로서는, 정전식이나 압력 검출식, 광학식과 같은 여러 가지의 터치 패드를 채용할 수 있다. 십자 키(16)는, 상하 좌우 방향에 대응하는 키로의 압하 조작을 검출하고, 검출 내용에 따른 신호를 출력한다. 전원 스위치(18)는, 스위치의 슬라이드 조작을 검출함으로써, 두부 장착형 표시 장치(100)의 전원 상태를 전환한다.

도 2는, 두부 장착형 표시 장치(100)의 구성을 기능적으로 나타내는 블록도이다. 제어부(10)는, 입력 정보 취득부(110)와, 기억부(120)와, 전원(130)과, 무선 통신부(132)와, GPS 모듈(134)과, CPU(140)와, 인터페이스(180)와, 송신부(Tx)(51 및 52)를 포함한다. 각 부는 도시하지 않는 버스에 의해 상호 접속되어 있다.

입력 정보 취득부(110)는, 예를 들면, 터치 패드(14)나 십자 키(16), 전원 스위치(18) 등에 대한 조작 입력에 따른 신호를 취득한다. 기억부(120)는, ROM, RAM, DRAM, 하드 디스크 등에 의해 구성되어 있다. 기억부(120)는, 눈 사이 거리(122)와, 화소 시차각(124)을 포함하고 있다. 이에 대한 상세한 설명은 후술한다. 전원(130)은, 두부 장착형 표시 장치(100)의 각 부에 전력을 공급한다. 전원(130)으로서는, 예를 들면 2차 전지를 이용할 수 있다. 무선 통신부(132)는, 무선 LAN이나 블루투스와 같은 소정의 무선 통신 규격(프로토콜)에 입각하여, 다른 기기와의 사이에서 무선 통신을 행한다. GPS 모듈(134)은, GPS 위성으로부터의 신호를 수신함으로써, 자신의 현재 위치를 검출한다.

CPU(140)는, 기억부(120)에 저장되어 있는 컴퓨터 프로그램을 독출하여 실행함으로써, 오퍼레이팅 시스템(OS)(150), 화상 처리부(160), 음성 처리부(170), 표시 제어부(190), AR 처리부(142)로서 기능한다. AR 처리부(142)는, OS(150)나, 특정의 애플리케이션으로부터의 처리 개시 요구를 트리거로 하여, 확장 현실감을 실현시키기 위한 처리(이후, "확장 현실 처리"라고도 부름)를 실행한다. 이에 대한 상세한 설명은 후술한다. 또한, AR 처리부(142)는, 특허청구의 범위에 있어서의 "확장 현실 처리부"에 상당한다.

화상 처리부(160)는, 인터페이스(180)나 무선 통신부(132)를 통하여 입력되는 콘텐츠(영상)에 기초하여 신호를 생성한다. 그리고, 화상 처리부(160)는, 생성한 신호를, 접속부(40)를 통하여 화상 표시부(20)에 공급한다. 화상 표시부(20)에 공급하기 위한 신호는, 아날로그 형식과 디지털 형식의 경우에서 상이하다. 아날로그 형식의 경우, 화상 처리부(160)는, 클록 신호(PCLK)와, 수직 동기 신호(VSync)와, 수평 동기 신호(HSync)와, 화상 데이터(Data)를 생성 및 송신한다. 구체적으로는, 화상 처리부(160)는, 콘텐츠에 포함되는 화상 신호를 취득한다. 취득한 화상 신호는, 예를 들면 동영상의 경우, 일반적으로 1초당 30매의 프레임 화상으로 구성되어 있는 아날로그 신호이다. 화상 처리부(160)는, 취득한 화상 신호로부터, 수직 동기 신호(VSync)나 수평 동기 신호(HSync)와 같은 동기 신호를 분리하고, 이들 동기 신호의 주기에 따라서, PLL 회로 등에 의해 클록 신호(PCLK)를 생성한다. 화상 처리부(160)는, 동기 신호가 분리된 아날로그 화상 신호를, A/D 변환 회로 등을 이용하여 디지털 화상 신호로 변환한다. 화상 처리부(160)는, 변환 후의 디지털 화상 신호를, RGB 데이터의 화상 데이터(Data)로 하여, 1프레임마다 기억부(120) 내의 DRAM에 저장한다. 한편, 디지털 형식의 경우, 화상 처리부(160)는, 클록 신호(PCLK)와, 화상 데이터(Data)를 생성 및 송신한다. 구체적으로는, 콘텐츠가 디지털 형식인 경우, 클록 신호(PCLK)가 화상 신호에 동기하여 출력되기 때문에, 수직 동기 신호(VSync) 및 수평 동기 신호(HSync)의 생성과, 아날로그 화상 신호의 A/D변환이 불필요해진다. 또한, 화상 처리부(160)는, 기억부(120)에 저장된 화상 데이터(Data)에 대하여, 해상도 변환 처리나, 휘도 및 채도의 조정과 같은 여러 가지의 색조 보정 처리나, 키스톤 보정 처리 등의 화상 처리를 실행해도 좋다.

화상 처리부(160)는, 생성된 클록 신호(PCLK), 수직 동기 신호(VSync), 수평 동기 신호(HSync)와, 기억부(120) 내의 DRAM에 저장된 화상 데이터(Data)를, 송신부(51, 52)를 통하여 각각 송신한다. 또한, 송신부(51)를 통하여 송신되는 화상 데이터(Data)를 "우안용 화상 데이터(Data1)"라고도 부르고, 송신부(52)를 통하여 송신되는 화상 데이터(Data)를 "좌안용 화상 데이터(Data2)"라고도 부른다. 송신부(51, 52)는, 제어부(10)와 화상 표시부(20)와의 사이에 있어서의 시리얼 전송을 위한 트랜시버로서 기능한다.

표시 제어부(190)는, 오른쪽 표시 구동부(22) 및 왼쪽 표시 구동부(24)를 제어하는 제어 신호를 생성한다. 구체적으로는, 표시 제어부(190)는, 제어 신호에 의해, 오른쪽 LCD 제어부(211)에 의한 오른쪽 LCD(241)의 구동 ON/OFF나, 오른쪽 백 라이트 제어부(201)에 의한 오른쪽 백 라이트(221)의 구동 ON/OFF, 왼쪽 LCD 제어부(212)에 의한 왼쪽 LCD(242)의 구동 ON/OFF나, 왼쪽 백 라이트 제어부(202)에 의한 왼쪽 백 라이트(222)의 구동 ON/OFF 등을 개별적으로 제어함으로써, 오른쪽 표시 구동부(22) 및 왼쪽 표시 구동부(24)의 각각에 의한 화상광의 생성 및 방사를 제어한다. 예를 들면, 표시 제어부(190)는, 오른쪽 표시 구동부(22) 및 왼쪽 표시 구동부(24)의 양쪽에 화상광을 생성시키거나, 한쪽에만 화상광을 생성시키거나, 양쪽에 화상광을 생성시키지 않거나 한다. 또한, 표시 제어부(190)는, 오른쪽 LCD 제어부(211)와 왼쪽 LCD 제어부(212)에 대한 제어 신호를, 송신부(51 및 52)를 통하여 각각 송신한다. 또한, 표시 제어부(190)는, 오른쪽 백 라이트 제어부(201)와 왼쪽 백 라이트 제어부(202)에 대한 제어 신호를, 각각 송신한다.

음성 처리부(170)는, 콘텐츠에 포함되는 음성 신호를 취득하고, 취득한 음성 신호를 증폭하여, 연결 부재(46)에 접속된 오른쪽 이어폰(32) 내의 도시하지 않는 스피커 및 연결 부재에 접속된 왼쪽 이어폰(34) 내의 도시하지 않는 스피커에 대하여 공급한다. 또한, 예를 들면, Dolby(등록상표) 시스템을 채용한 경우, 음성 신호에 대한 처리가 이루어져, 오른쪽 이어폰(32) 및 왼쪽 이어폰(34)에서는, 각각, 예를 들면 주파수 등이 바뀐 상이한 소리가 출력된다.

인터페이스(180)는, 제어부(10)에 대하여, 콘텐츠의 공급원이 되는 여러 가지의 외부 기기(OA)를 접속하기 위한 인터페이스이다. 외부 기기(OA)로서는, 예를 들면, 퍼스널 컴퓨터(PC)나 휴대 전화 단말, 게임 단말을 포함한다. 인터페이스(180)로서는, 예를 들면, USB 인터페이스나, 마이크로 USB 인터페이스, 메모리 카드용 인터페이스 등을 이용할 수 있다.

화상 표시부(20)는, 오른쪽 표시 구동부(22)와, 왼쪽 표시 구동부(24)와, 오른쪽 광학상 표시부(26)로서의 오른쪽 도광판(261)과, 왼쪽 광학상 표시부(28)로서의 왼쪽 도광판(262)과, 카메라(61)와, 9축 센서(66)를 포함하고 있다.

9축 센서(66)는, 가속도(3축), 각속도(3축), 지자기(3축)를 검출하는 모션 센서이다. 9축 센서(66)는, 화상 표시부(20)에 설치되어 있다. 이에 따라, 화상 표시부(20)가 사용자의 두부에 장착되어 있을 때에는, 사용자의 두부의 움직임을 검출하는 움직임 검출부로서 기능한다. 여기에서, 두부의 움직임이란, 두부의 속도·가속도·각속도·방향·방향의 변화를 포함한다.

오른쪽 표시 구동부(22)는, 수신부(Rx)(53)와, 광원으로서 기능하는 오른쪽 백 라이트(BL) 제어부(201) 및 오른쪽 백 라이트(BL)(221)와, 표시 소자로서 기능하는 오른쪽 LCD 제어부(211) 및 오른쪽 LCD(241)와, 오른쪽 투사 광학계(251)를 포함하고 있다. 또한, 오른쪽 백 라이트 제어부(201)와, 오른쪽 LCD 제어부(211)와, 오른쪽 백 라이트(221)와, 오른쪽 LCD(241)를 총칭하여 "화상광 생성부"라고도 부른다.

수신부(53)는, 제어부(10)와 화상 표시부(20)와의 사이에 있어서의 시리얼 전송을 위한 리시버로서 기능한다. 오른쪽 백 라이트 제어부(201)는, 입력된 제어 신호에 기초하여, 오른쪽 백 라이트(221)를 구동한다. 오른쪽 백 라이트(221)는, LED나 일렉트로 루미네선스(EL)와 같은 발광체이다. 오른쪽 LCD 제어부(211)는, 수신부(53)를 통하여 입력된 클록 신호(PCLK)와, 수직 동기 신호(VSync)와, 수평 동기 신호(HSync)와, 우안용 화상 데이터(Data1)에 기초하여, 오른쪽 LCD(241)를 구동한다. 오른쪽 LCD(241)는, 복수의 화소를 매트릭스 형상으로 배치한 투과형 액정 패널이다. 오른쪽 LCD(241)는, 매트릭스 형상으로 배치된 각 화소 위치의 액정을 구동함으로써, 오른쪽 LCD(241)를 투과하는 빛의 투과율을 변화시킴으로써, 오른쪽 백 라이트(221)로부터 조사되는 조명광을, 화상을 나타내는 유효한 화상광으로 변조한다. 또한, 본 실시 형태에서는 백 라이트 방식을 채용하는 것으로 했지만, 프론트 라이트 방식이나, 반사 방식을 이용하여 화상광을 방사해도 좋다.

오른쪽 투사 광학계(251)는, 오른쪽 LCD(241)로부터 방사된 화상광을 병행 상태의 광속으로 변환하는 콜리메이트 렌즈를 포함한다. 오른쪽 광학상 표시부(26)로서의 오른쪽 도광판(261)은, 오른쪽 투사 광학계(251)로부터 출력된 화상광을, 소정의 광로를 따라 반사시키면서 사용자의 우안(RE)으로 유도한다. 광학상 표시부는, 화상광을 이용하여 사용자의 눈 앞에 허상을 형성하는 한에 있어서 임의의 방식을 이용할 수 있다. 예를 들면, 회절 격자를 이용해도 좋고, 반투과 반사막을 이용해도 좋다.

왼쪽 표시 구동부(24)는, 오른쪽 표시 구동부(22)와 동일한 구성을 갖고 있다. 즉, 왼쪽 표시 구동부(24)는, 수신부(Rx)(54)와, 광원으로서 기능하는 왼쪽 백 라이트(BL) 제어부(202) 및 왼쪽 백 라이트(BL)(222)와, 표시 소자로서 기능하는 왼쪽 LCD 제어부(212) 및 왼쪽 LCD(242)와, 왼쪽 투사 광학계(252)를 포함하고 있다.

도 3a 및 도 3b는, 사용자에게 시인되는 허상의 일 예를 나타내는 설명도이다. 도 3a는, 통상의 표시 처리 중의 사용자의 시야(VR)를 예시하고 있다. 전술한 바와 같이 하여, 두부 장착형 표시 장치(100)의 사용자의 양 눈에 유도된 화상광이 사용자의 망막에 결상됨으로써, 사용자는 허상(VI)을 시인한다. 도 3a의 예에서는, 허상(VI)은, 두부 장착형 표시 장치(100)의 OS의 대기 화면이다. 또한, 사용자는, 오른쪽 광학상 표시부(26) 및 왼쪽 광학상 표시부(28)를 투과하여 외경(SC)을 시인한다. 이와 같이, 본 실시 형태의 두부 장착형 표시 장치(100)의 사용자는, 시야(VR) 중 허상(VI)이 표시된 부분에 대해서는, 허상(VI)과, 허상(VI)의 배후에 외경(SC)을 볼 수 있다. 또한, 시야(VR) 중 허상(VI)이 표시되어 있지 않은 부분에 대해서는, 광학상 표시부를 투과하여, 외경(SC)을 직접 볼 수 있다. 또한, 본 명세서에 있어서, "두부 장착형 표시 장치(100)가 화상을 표시하는" 것에는, 전술한 바와 같이, 두부 장착형 표시 장치(100)의 사용자에 대하여 허상을 시인시키는 것도 포함한다.

도 3b는, 확장 현실 처리 중의 사용자의 시야(VR)를 예시하고 있다. 확장 현실 처리에 있어서, 두부 장착형 표시 장치(100)의 AR 처리부(142)는, 사용자가 지각하는 외경(SC)을 확장하기 위한 가상 오브젝트로서, 사용자의 시각적인 위화감이 완화된 가상 오브젝트를 나타내는 허상을 화상 표시부(20)에 형성시킨다. 구체적으로는, AR 처리부(142)는, 가상 오브젝트에 대하여, 사용자의 시각적인 위화감을 완화 가능한 시각 효과를 더한 화상 데이터를 생성하고, 생성한 화상 데이터를 화상 표시부(20)로 송신한다. 또한, "외경(SC)을 확장한다"는 것은, 사용자가 눈으로 보는 현실 환경, 즉 외경(SC)에 대하여 정보를 부가, 삭제, 강조, 감쇠시키는 것을 의미한다. 제1 실시 형태의 확장 현실 처리에서는, AR 처리부(142)는, 외경(SC)에 가상 오브젝트를 융상(fit)시키기 위해, 상이한 우안용 화상 데이터(Data1)와 좌안용 화상 데이터(Data2)를 생성함으로써, 가상 오브젝트의 입체 뷰를 가능하게 하기 위한 시각 효과를 더한다. "외경에 가상 오브젝트를 융상시킨다"는 것은, 사용자가 실제 보는 외경(SC) 중, 사용자로부터 소정의 거리(이후, "목표 거리"라고도 부름)만큼 떨어진 위치에 대하여, 가상 오브젝트가 존재하는 것 같은 감각을 사용자에게 부여하는 허상(VI)을 표시하는 것을 의미한다. 도 3b의 예에서는, 외경(SC)에 포함되는 현실의 길 위에 겹쳐지도록, 사과를 나타내는 화상이 허상(VI)으로서 표시되어 있다. 이에 따라, 사용자는, 마치 아무것도 없는 길 위에, 사과가 떨어져 있는 바와 같은 감각을 얻을 수 있다. 도 3b의 예에서는, 사용자의 위치와, 사용자가 "사과가 떨어져 있다"라고 느끼는 위치와의 사이의 거리가 목표 거리에 상당한다. 도 3b의 예에서는, 사과가 가상 오브젝트(OB)에 해당한다.

A-2. 확장 현실 처리(제1 실시예)

AR 처리부(142)는, 이하의 순서(a1∼a3)에 따라 확장 현실 처리 절차를 실행한다.

(a1) 가상 오브젝트를 시인시키는 목표 거리를 결정한다.

(a2) 가상 오브젝트를 나타내는 화상 데이터를 생성한다.

(a3) 화상 데이터로부터 우안용 화상 데이터(Data1)와 좌안용 화상 데이터(Data2)를 생성한다.

도 4는, 확장 현실 처리의 순서를 설명하기 위한 설명도이다. 화상 처리부(160)가 동일한 우안용 화상 데이터(Data1)와 좌안용 화상 데이터(Data2)를 화상 표시부(20)에 공급한 경우, 사용자는, 사용자로부터 초기 결상 거리(La)만큼 떨어진 위치(CO1)에 물체를 인식한다. 이때의 폭주각(convergence angle)을 "초기 폭주각(θa)"이라고 부른다. 순서 a1에 있어서, AR 처리부(142)는, 원근감을 갖게 한 가상 오브젝트(OB)의 표시를 가능하게 하기 위해, 사용자에게 가상 오브젝트(OB)를 시인시키는 목표 거리(Lb)를 결정한다. AR 처리부(142)는, 예를 들면, 이하의 몇 가지의 방법으로, 목표 거리(Lb)를 결정할 수 있다.

- 카메라(61)에 의해 취득된 사용자의 시계 방향의 외경 화상을 해석한다.

- 사용자의 현재 위치 좌표와 머리의 움직임을 해석한다. 이 경우, 사용자의 현재 위치 좌표는, GPS 모듈(134)에 의해 검출된 제어부(10)의 위치 정보에 의해 취득한다. 사용자의 머리의 움직임은, 9축 센서(66)에 의해 검출된 움직임 정보에 의해 취득한다.

순서 a2에 있어서, AR 처리부(142)는, 가상 오브젝트(OB)를 나타내는 화상 데이터를 생성한다. 제1 실시예의 확장 현실 처리에서, AR 처리부(142)는, 기억부(120) 내에 미리 기억되어 있는 복수의 화상 데이터로부터, 순서 a1의 해석 결과에 따른 화상 데이터를 취득한다.

순서 a3에 있어서, AR 처리부(142)는, 순서 a2에서 생성한 화상 데이터로부터, 우안용 화상 데이터(Data1)와 좌안용 화상 데이터(Data2)를 생성한다. 이때, AR 처리부(142)는, 기억부(120)에 기억되어 있는 화소 시차각(pixel parallactic angle; 124)을 이용한다.

도 5는, 눈 사이 거리(122)와 화소 시차각(124)에 대해서 설명하기 위한 설명도이다. 본 실시 형태에서는, 눈 사이 거리(122)는, 오른쪽 광학상 표시부(26)의 중심과 왼쪽 광학상 표시부(28)의 중심과의 사이의 거리를, 사용자의 우안(RE)과 좌안(LE)과의 사이의 거리(DL)로 간주하고 있다. 이 때문에, 눈 사이 거리(122)에는, 두부 장착형 표시 장치(100)의 설계값에 기초한, 오른쪽 광학상 표시부(26)의 중심과 왼쪽 광학상 표시부(28)의 중심과의 사이의 거리(예를 들면, 65㎜)가 미리 저장되어 있다. 또한, 눈 사이 거리(122)에는, 사용자의 우안(RE)과 좌안(LE)과의 사이의 실제의 거리(DL)가 저장되어 있어도 좋다. 이에 대한 상세한 설명은 확장 현실 처리의 제2 실시예에서 설명한다. 또한, 눈 사이 거리(122)는, 사용자의 기호에 따라서 조정 가능으로 해도 좋다. 눈 사이 거리(122)는 특허청구의 범위에 있어서의 "눈 사이 거리 기억부"에 상당한다.

화소 시차각(124)은, 좌우로 1화소(픽셀) 어긋난 화상 데이터에 의해 실현되는 시차각이며, θpix(°)로 나타난다. 화소 시차각(124)은, 구체적으로는, 좌우 동일한 화상 데이터에 기초하여 표시된 허상의 폭주각과, 좌우에서 1화소(픽셀) 어긋나게 한 화상 데이터에 기초하여 표시된 허상의 폭주각과의 차분이다. θpix는 이하와 같이 하여 구해지고, 화소 시차각(124)에 미리 저장되어 있다.

- 동일한 우안용 화상 데이터(Data1)와 좌안용 화상 데이터(Data2)에 기초하여 오른쪽 LCD(241)와 왼쪽 LCD(242)가 구동된 경우의 초기 폭주각(θa)을 측정한다.

- 1화소 어긋나게 한, 우안용 화상 데이터(Data1)와 좌안용 화상 데이터(Data2)에 기초하여, 오른쪽 LCD(241)와 왼쪽 LCD(242)가 구동된 경우의 폭주각(θc)을 측정한다.

- 초기 폭주각(θa)과 폭주각(θc)과의 차분을 구한다(θc－θa). 또한, 통상은 θc＞θa가 되는 것이 상정되기 때문에, 여기에서는, 폭주각(θc)으로부터 초기 폭주각(θa)을 빼는 것으로 한다.

- 각 눈에 대한 폭주각의 차분을 얻기 위해서, 초기 폭주각(θa)과 폭주각(θc)과의 차분을 2로 나눈다.

즉, 화소 폭주각은 θpix＝(θc－θa)/2로 나타낼 수 있다. 또한, 초기 폭주각(θa)은 특허청구의 범위에 있어서의 "제1 폭주각"에 상당하고, 폭주각(θc)은 특허청구의 범위에 있어서의 "제2 폭주각"에 상당하고, 화소 시차각(124)은 특허청구의 범위에 있어서의 "화소 시차각 기억부"에 상당한다.

도 4로 되돌아와 확장 현실 처리의 순서를 이하 설명한다. 순서 a1에서 결정된 목표 거리(Lb)(사용자에게 가상 오브젝트(OB)를 시인시키는 거리), 그때의 폭주각(θb), 및 눈 사이 거리(122)(DL/2)는, 삼각함수를 이용하여 이하의 수학식 1로 나타낼 수 있다. 이 때문에, AR 처리부(142)는, 순서 a1에서 결정된 목표 거리(Lb)와, 눈 사이 거리(122)를 식 1에 적용시켜, 목표 폭주각(θb)을 산출한다.

[수학식 1]

tan(θb/2)＝(DL/2)/Lb

tan(θb/2)＝DL/(2×Lb)

θb/2＝arctan{DL/(2×Lb)}

θb＝2×arctan{DL/(2×Lb)} …(1)

AR 처리부(142)는, 산출된 목표 폭주각(θb)과 초기 폭주각(θa)을 이용하여, 목표 거리(Lb)(사용자에게 가상 오브젝트(OB)를 시인시키는 거리)에 있어서의 시차각인 목표 시차각(θx)을 산출한다. 구체적으로는, AR 처리부(142)는, 수학식 2에 초기 폭주각(θa)과 목표 폭주각(θb)의 값을 적용시켜, 목표 시차각(θx)을 산출한다.

[수학식 2]

θx＝(θb－θa)/2 …(2)

수학식 2에 있어서, 예를 들면, 설정 위치를 무한원으로 한 경우, θx는, θx＝－θa/2로서 나타난다.

AR 처리부(142)는, 산출된 목표 시차각(θx)과, 화소 시차각(124)을 이용하여, 순서 a2의 화상 데이터를 가공하여, 우안용 화상 데이터(Data1)와 좌안용 화상 데이터(Data2)를 생성한다. 구체적으로는, 화소 시차각(124)에 저장되어 있는 θpix는, 좌우로 1화소 어긋난 화상 데이터에 의해 실현되는 시차각이다. 따라서, 목표 시차각(θx)을 실현하기 위한 우안용 화상 데이터(Data1)를 생성하기 위해서는, 기초가 되는 화상 데이터를 좌방향으로 θx/θpix 화소 어긋나게 하면 좋다. 마찬가지로, 목표 시차각(θx)을 실현하기 위한 좌안용 화상 데이터(Data2)를 생성하기 위해서는, 기초가 되는 화상 데이터를 우방향으로 θx/θpix 화소 어긋나게 하면 좋다.

도 6a 및 도 6b는, AR 처리부(142)가, 화상 데이터(DT)로부터, 우안용 화상 데이터(Data1)와 좌안용 화상 데이터(Data2)를 생성하는 상태를 나타내고 있다.

AR 처리부(142)는, 상기와 같이 하여 생성한 우안용 화상 데이터(Data1)와 좌안용 화상 데이터(Data2)를, 화상 처리부(160)로 송신한다. 화상 처리부(160)는, 수신한 우안용 화상 데이터(Data1)를, 송신부(51)를 통하여 화상 표시부(20)로 송신한다. 마찬가지로, 수신한 좌안용 화상 데이터(Data2)를, 송신부(52)를 통하여 화상 표시부(20)로 송신한다. 그 후, 도 2에서 설명한 표시 처리를 실행한다. 도 3b에 나타나 있는 바와 같이, 두부 장착형 표시 장치(100)의 사용자는, 시야(VR)에, 입체적인 가상 오브젝트(OB)를 시인할 수 있다.

또한, 시력 1.0인 경우의 인간의 분해능은 arctan(1.5㎜/5000㎜)으로 나타낼 수 있고, 약 0.017°가 된다. 따라서, 우안용 화상 데이터(Data1) 및 좌안용 화상 데이터(Data2)에 기초하여 표시되는 허상(VI)과, 외경(SC)과의 오차를 0.017° 이하로 설계하면, 외경(SC)에 맞춘 실치수 사이즈의 허상(VI)의 표시가 가능해진다.

이상과 같이, 제1 실시예의 확장 현실 처리에 의하면, 확장 현실 처리부(AR 처리부(142))는, 화상 데이터(우안용 화상 데이터(Data1) 및 좌안용 화상 데이터(Data2))의 생성시, 허상(VI)의 표시 환경에 관한 여러 가지의 조건(오른쪽 LCD(241) 및 왼쪽 LCD(242)의 크기, 사용자의 좌우의 눈 앞에 표시되는 허상(VI) 간의 거리)을 고려하여 외경(SC)에 가상 오브젝트(OB)를 융상시키기 때문에, 사용자의 시각적인 위화감을 완화한 확장 현실감을 제공 가능한 두부 장착형 표시 디바이스(두부 장착형 표시 장치(100))를 실현할 수 있다. 구체적으로는, 화소 시차각 기억부(화소 시차각(124))에 기억되어 있는 차분(θpix)은, 동일한 우안용 화상 데이터(Data1)와 좌안용 화상 데이터(Data2)에 기초하여 표시된 허상(VI)의 제1 폭주각(θa)(초기 폭주각(θa))과, 좌우로 1화소 어긋나게 한 우안용 화상 데이터(Data1)와 좌안용 화상 데이터(Data2)에 기초하여 표시된 허상의 제2 폭주각(θc)과의 차분이다. 이 때문에, 화소 시차각 기억부(화소 시차각(124))에 기억되어 있는 차분(θpix)은, 좌우로 1화소 어긋난 화상 데이터에 의해 실현되는 시차각으로서, 허상(VI)의 표시 환경에 관한 여러 가지의 조건, 즉, 오른쪽 LCD(241) 및 왼쪽 LCD(242)의 크기나 사용자의 좌우의 눈 앞에 표시되는 허상(VI) 간의 거리와 같은 조건을 고려하여 정해진 시차각이라고 할 수 있다. 따라서, 확장 현실 처리부(AR 처리부(142))는, 화소 시차각 기억부(화소 시차각(124))에 기억되어 있는 화소 시차각을 이용하여, 허상(VI)의 표시 환경에 관한 여러 가지의 조건을 고려하여, 외경(SC)에 가상 오브젝트(OB)를 융상시키기 위한 우안용 화상 데이터(Data1)와 좌안용 화상 데이터(Data2)를 생성할 수 있다.

또한, 제1 실시예의 확장 현실 처리에 의하면, 확장 현실 처리부(AR 처리부(142))는, 사용자에게 가상 오브젝트(OB)를 시인시키는 목표 거리(Lb)를 결정하고, 결정한 목표 거리(Lb)로부터 목표 거리(Lb)에 있어서의 폭주각인 목표 폭주각(θb)을 산출하고, 산출한 목표 폭주각(θb)과 제1 폭주각(θa)(초기 폭주각(θa))을 이용하여, 목표 거리(Lb)에 있어서의 시차각인 목표 시차각(θx)을 산출한다. 확장 현실 처리부(AR 처리부(142))는, 산출한 목표 시차각(θx)과, 화소 시차각 기억부(화소 시차각(124))에 기억되어 있는 차분((θpix)을 이용함으로써, 가상 오브젝트(OB)를 나타내는 단일의 화상 데이터(DT)(도 6a 및 도 6b)로부터, 상이한 우안용 화상 데이터(Data1)와 좌안용 화상 데이터(Data2)를 생성할 수 있다.

A-3. 확장 현실 처리(제2 실시예)

제2 실시예의 확장 현실 처리에서는, AR 처리부(142)는, 3D(Three Dimensions) 모델 공간 내의 가상적인 입체물로부터 사용자의 움직임에 따른 가상 오브젝트를 나타내는 화상 데이터를 생성하고, 생성한 화상 데이터로부터 우안용 화상 데이터(Data1)와 좌안용 화상 데이터(Data2)를 생성한다. 제1 실시예의 확장 현실 처리와 다른 점은, 본 실시예에 따른 확장 현실 처리에서는, 순서 a2, a3을 대신하여, 도 7의 순서를 실행하는 점이다. 또한, 순서 a1은 제1 실시예와 동일하기 때문에, 설명을 생략한다.

도 7은, 제2 실시예에 있어서의 확장 현실 처리의 순서를 나타내는 플로우 차트이다. AR 처리부(142)는, 눈 사이 거리(122)의 초기 설정을 행한다(스텝 S102). 구체적으로는, AR 처리부(142)는, 동공 간 거리 측정부(62)(도 2 참조)에 의해 측정된 사용자의 동공 간 거리를 취득하고, 취득한 거리를 눈 사이 거리(122)에 기억시킨다. 이와 같이, 스텝 S102에 의하면, 사용자에 따른 동공 간 거리를, 눈 사이 거리(122)에 기억시킬 수 있다.

도 8은, 제2 실시예에 있어서의 확장 현실 처리 순서의 상세를 설명하기 위한 설명도이다. 도 7의 스텝 S104에 있어서, AR 처리부(142)는, 3D 모델 공간 상의 소정 위치에 가상 시점을 설정한다. 구체적으로는, AR 처리부(142)는, 3D 모델 공간 상의 가상 오브젝트(OB1)로부터 순서 a1에서 구한 거리(Lb)만큼 떨어진 위치에, 가상 시점(IV)을 설정한다(도 8). 가상 시점(IV)은, 사용자의 관자놀이에 상당하는 위치이며, 가상 시점(IV)의 방향(시점 방향(VD))은, 가상 오브젝트(OB1) 방향을 향하고 있다. 또한, 가상 시점(IV)의 위치는, 3D 모델 공간의 원점 좌표에 대한 이동량(x, y, z)에 의해 정의된다. 시점 방향(VD)은, 가상 시점(IV)에 대한 각도(θx, θy, θz)에 의해 정의된다. 또한, (θx, θy, θz)는, (롤각(roll angle), 피치각(pitch angle), 편주각(yaw angle))＝(φ, θ, ψ)로도 나타난다. 가상 시점(IV)을 설정 후, AR 처리부(142)는, 스텝 S110∼S116의 처리와, 스텝 S120∼S126의 처리를 병행하여 실행한다.

가상 시점(IV)을 설정한 후, AR 처리부(142)는, 가상 시점(IV)의 위치 및 방향에 기초하여, 좌안에 상당하는 위치에 가상 카메라(CML)를 설정한다(스텝 S110). 구체적으로, AR 처리부(142)는, 가상 시점(IV)으로부터 좌측으로(눈 사이 거리(122)/2) 떨어진 위치에, 시점 방향(VD)을 향하여 가상 카메라(CML)를 설정한다. 마찬가지로, AR 처리부(142)는, 가상 시점(IV)의 위치 및 방향에 기초하여, 우안에 상당하는 위치에 가상 카메라(CMR)를 설정한다(스텝 S120). 구체적으로, AR 처리부(142)는, 가상 시점(IV)으로부터 우측으로(눈 사이 거리(122)/2) 떨어진 위치에, 시점 방향(VD)을 향하여 가상 카메라(CMR)를 설정한다. 도 8은, 상기와 같이 하여 설정된 가상 카메라(CML, CMR)를 나타내고 있다.

가상 카메라를 설정한 후, AR 처리부(142)는, 가상 카메라(CML)의 2D(Two Dimensions) 투영을 행한다(스텝 S112). 구체적으로, AR 처리부(142)는, 3D 모델 공간 내의 입체물(가상 오브젝트(OB1, OB2))을, 가상 카메라(CML)에 의해 얻어진 2차원인 평면 형상의 정보로 변환하여, 깊이감이 있는 화상을 생성한다. 마찬가지로, AR 처리부(142)는, 가상 카메라(CMR)의 2D 투영을 행한다(스텝 S122). 구체적으로, AR 처리부(142)는, 3D 모델 공간상의 입체물을, 가상 카메라(CMR)에 의해 얻어진 2차원인 평면상의 정보로 변환하여, 깊이감이 있는 화상을 생성한다.

가상 카메라(CML)의 2D 투영 후, AR 처리부(142)는, 투영에 의해 얻어진 화상을 스케일링한다(스텝 S114). 구체적으로, AR 처리부(142)는, 이하의 순서(b1∼b3)를 실행한다.

(b1) AR 처리부(142)는, 순서 a1에서 결정한 목표 거리(Lb)를 상기 수학식 1에 적용시켜, 목표 폭주각(θb)을 산출한다.

(b2) AR 처리부(142)는, 산출된 목표 폭주각(θb)과 초기 폭주각(θa)을 상기 수학식 2에 적용시켜, 목표 시차각(θx)을 산출한다.

(b3) 스텝 S112에 의해 얻어진 가상 카메라(CML)의 2D 투영 화상과, 가상 시점(IV)에 배치된 가상 카메라(CM)의 2D 투영 화상이, θx/θpix 화소만큼 어긋나도록, 스텝 S112에 의해 얻어진 가상 카메라(CML)의 2D 투영 화상을 확대/축소한다. 이때, AR 처리부(142)는, 오른쪽 LCD(241)의 해상도를 고려한다.

마찬가지로, 가상 카메라(CMR)의 2D 투영 후, AR 처리부(142)는, 투영에 의해 얻어진 화상을 스케일링한다(스텝 S124). 구체적으로는, AR 처리부(142)는, 상기 순서 b1, b2, 및, 이하 순서 b3을 실행한다.

(b3) 스텝 S122에 의해 얻어진 가상 카메라(CMR)의 2D 투영 화상과, 가상 시점(IV)에 배치된 가상 카메라(CM)의 2D 투영 화상이, θx/θpix만큼 화소 어긋나도록, 스텝 S122에 의해 얻어진 가상 카메라(CMR)의 2D 투영 화상을 확대/축소한다. 이때, AR 처리부(142)는, 왼쪽 LCD(242)의 해상도를 고려한다.

도 9는, 전술한 바와 같이 하여, AR 처리부(142)가, 가상 시점(IV)에 배치된 가상 카메라(CM)의 2D 투영 화상(DT)을 이용하여, 투영에 의해 얻어진 화상을 스케일링하는 상태를 나타내고 있다. 또한, 상기 예에서는, 가상 카메라(CMR)는 우안 상당의 위치에 설정되고, 가상 카메라(CML)는 좌안 상당의 위치에 설정되는 것으로 했다. 그러나, 설정되는 가상 카메라의 위치 및 개수는 변경 가능하다. 그 후, AR 처리부(142)는, 상기와 같이 하여 생성한 우안용 화상 데이터(Data1)와 좌안용 화상 데이터(Data2)를, 화상 처리부(160)로 송신한다(스텝 S116, S126). 그 후, 도 2에서 설명한 표시 처리가 실행됨으로써, 두부 장착형 표시 장치(100)의 사용자는, 시야(VR)에, 입체적인 가상 오브젝트(OB)를 시인할 수 있다.

이상과 같이, 제2 실시예의 확장 현실 처리에서, 확장 현실 처리부(AR 처리부(142))는, 화상 데이터(우안용 화상 데이터(Data1) 및 좌안용 화상 데이터(Data2))의 생성시, 허상(VI)의 표시 환경에 관한 여러 가지의 조건(오른쪽 LCD(241) 및 왼쪽 LCD(242)의 크기, 사용자의 좌우의 눈 앞에 표시되는 허상(VI) 간의 거리)을 고려하여 외경(SC)에 가상 오브젝트(OB1, OB2)를 융상시키기 때문에, 사용자의 시각적인 위화감을 완화한 확장 현실감을 제공 가능한 두부 장착형 표시 디바이스(두부 장착형 표시 장치(100))를 실현할 수 있다.

또한, 제2 실시예의 확장 현실 처리에 의하면, 확장 현실 처리부(AR 처리부(142))는, 사용자에게 가상 오브젝트(OB1, OB2)를 시인시키는 목표 거리(Lb)를 결정하고, 결정한 목표 거리(Lb)로부터 목표 거리(Lb)에 있어서의 폭주각인 목표 폭주각(θb)을 산출하고, 산출한 목표 폭주각(θb)과 제1 폭주각(θa)(초기 폭주각(θa))을 이용하여, 목표 거리(Lb)에 있어서의 시차각인 목표 시차각(θx)을 산출한다. 확장 현실 처리부(AR 처리부(142))는, 산출한 목표 시차각(θx)과, 화소 시차각 기억부(화소 시차각(124))에 기억되어 있는 차분(θpix)을 이용함으로써, 2개소의 가상 카메라(가상 카메라(CMR, CML))에 의한 2D 투영 화상을 각각 스케일링하여, 우안용 화상 데이터(Data1)와 좌안용 화상 데이터(Data2)를 생성할 수 있다.

또한, 제2 실시예의 확장 현실 처리에 의하면, 확장 현실 처리부(AR 처리부(142))는, 3D 모델 공간 상에 가상 카메라(가상 카메라(CMR, CML))를 설정할 때, 우선, 사용자에게 가상 오브젝트를 시인시키는 목표 거리(Lb)에 기초하여 가상 시점(IV)을 배치한다. 그리고, 확장 현실 처리부(AR 처리부(142))는, 배치된 가상 시점(IV)으로부터 (눈 사이 거리)/2 만큼 떨어진 위치에 한쪽의 가상 카메라(가상 카메라(CMR))를 배치하고, 배치된 가상 시점으로부터 (눈 사이 거리)/2 만큼 떨어진 위치에 다른 한쪽의 가상 카메라(가상 카메라(CML))를 배치한다. 이 결과, 가상 카메라(가상 카메라(CMR, CML))는, 사용자에게 가상 오브젝트(OB1, OB2)를 시인시키는 목표 거리(Lb)와, 사용자의 눈 사이 거리(눈 사이 거리(122))의 양쪽을 고려한 2D 투영 화상을 취득할 수 있다.

A-4. 확장 현실 처리(제3 실시예):

제3 실시예의 확장 현실 처리에서는, 제2 실시예의 확장 현실 처리에 있어서, 사용자의 이동에 수반하여 외경(SC)에 융상시키기 위한 가상 오브젝트를 변화시킬 수 있다. 이하에서는, 제2 실시예의 확장 현실 처리와 상이한 순서에 대해서만 설명한다. 또한, 도면 중에 있어서 제2 실시예와 동일한 부분에 대해서는 앞서 설명한 제2 실시예와 동일한 부호를 붙이고, 그 상세한 설명을 생략한다.

도 10은, 제3 실시예에 있어서의 확장 현실 처리의 순서를 나타내는 플로우 차트이다. 도 7에 나타낸 제2 실시예와의 차이는, 스텝 S104의 후에 스텝 S202와 S204가 실행되는 점과, 스텝 S116 및 S126의 종료 후에 처리가 스텝 S202로 전이되는 점이다.

스텝 S202에 있어서 AR 처리부(142)는, 사용자의 시점이 이동했는지 아닌지를 판정한다. 구체적으로는, AR 처리부(142)는, 사용자의 현재 위치 좌표와 머리의 움직임 중 적어도 어느 한쪽에 변화가 있었던 경우, 사용자의 시점이 이동했다고 판정한다. 또한, 사용자의 현재 위치 좌표는, GPS 모듈(134)에 의해 검출된 제어부(10)의 위치 정보에 의해 취득한다. 사용자의 머리의 움직임은, 9축 센서(66)에 의해 검출된 움직임 정보에 의해 취득한다. 사용자의 시점이 이동하고 있지 않는 경우(스텝 S202: NO), AR 처리부(142)는, 처리를 스텝 S110 및 S120으로 전이시킨다.

사용자의 시점이 이동한 경우(스텝 S202: YES), AR 처리부(142)는, 스텝 S202에서 검출한 사용자의 현재 위치 좌표와 머리의 움직임에 기초하여, 3D 모델 공간 상의 소정 위치에 가상 시점을 설정한다. 이에 대한 상세한 설명은, 도 7의 스텝 S104와 동일하다.

이상과 같이, 제3 실시예의 확장 현실 처리에 의하면, 사용자의 시점의 이동에 수반하여, 즉, 사용자의 현재 위치 좌표와 머리의 움직임 중 적어도 어느 한쪽의 변화에 수반하여, 가상 카메라(CML)의 2D 투영 화상과 가상 카메라(CMR)의 2D 투영 화상을 생성 및 스케일링하여, 우안용 화상 데이터(Data1)와 좌안용 화상 데이터(Data2)를 생성할 수 있다. 이 결과, 제2 실시예에서의 효과에 더하여, 사용자의 시점의 이동에 수반하여 외경(SC)에 융상시키기 위한 가상 오브젝트를 변화시킬 수 있다.

이와 같이, 제1 실시 형태의 두부 장착형 표시 디바이스(두부 장착형 표시 장치(100))에 의하면, 화상 표시부(20)는, 사용자의 시각적인 위화감을 완화 가능한 시각 효과(즉, 가상 오브젝트의 입체 뷰를 가능하게 하기 위한 시각 효과)가 부여된 가상 오브젝트(OB)를 허상(VI)으로서 사용자에게 시인시킨다. 이 때문에, 사용자의 시각적인 위화감을 완화한 확장 현실감을 제공 가능한 광학 투과형의 두부 장착형 표시 장치를 제공할 수 있다.

B. 제2 실시 형태

본 발명의 제2 실시 형태에서는, "사용자의 시각적인 위화감을 완화 가능한 시각 효과"로서, "가상 오브젝트의 입체 뷰를 가능하게 하기 위한 시각 효과"를 대신하여, "가상 오브젝트를 사용자의 주위의 환경에 융상시키기 위한 시각 효과"를 채용하는 경우의 구성에 대해서 설명한다. 이하에서는, 제1 실시 형태와 상이한 구성 및 동작을 갖는 부분에 대해서만 설명한다. 또한, 도면 중에 있어서 제1 실시 형태와 동일한 구성 부분에 대해서는 앞서 설명한 제1 실시 형태와 동일한 부호를 붙이고, 그 상세한 설명을 생략한다.

B-1. 두부 장착형 표시 장치의 구성

도 11은, 제2 실시 형태에 있어서의 두부 장착형 표시 장치(100a)의 구성을 기능적으로 나타내는 블록도이다. 도 2에 나타낸 제1 실시 형태와의 차이는, 제어부(10)를 대신하여 제어부(10a)를 구비하는 점이다. 제어부(10a)의 기억부(120)에는, 눈 사이 거리(122)나 화소 시차각(124)(도 2)가 포함되어 있지 않다. 또한, 제어부(10a)는, AR 처리부(142)를 대신하여 AR 처리부(142a)를 포함한다. AR 처리부(142a)는, 실행하는 "확장 현실 처리"의 처리 상세에 있어서, 제1 실시 형태의 AR 처리부와는 상이하다. 구체적으로, AR 처리부(142a)는, 제1∼제3 실시 형태로서 설명한 제1 실시 형태의 확장 현실 처리를 대신하여, 다음에 설명하는 확장 현실 처리를 실행한다.

B-2. 확장 현실 처리:

도 12는, 제2 실시 형태에 있어서의 확장 현실 처리의 순서를 나타내는 플로우 차트이다. 스텝 S302에 있어서 AR 처리부(142a)는, 사용자의 주위의 환경을 3차원 공간 내의 가상적인 입체물로서 표현한 3차원 정보를 취득한다. 이 3차원 정보는, 사용자의 주위의 환경을 표현한, 소위 "3D 모델"이다. AR 처리부(142a)는, 3차원 정보를, 이하의 c1∼c3에 나타내는 몇 가지의 방법을 이용하여 취득할 수 있다.

(c1) AR 처리부(142a)는, 두부 장착형 표시 장치(100a)에 접속되어 있는 클라우드 서버 등의 외부 장치로부터 3차원 정보를 취득한다.

(c2) 3차원 정보가 미리 기억부(120)에 기억되어 있는 경우, AR 처리부(142a)는, 기억부(120)로부터 3차원 정보를 취득한다.

(c3) AR 처리부(142a)는, 카메라(61)에 의해 촬영된 외경 화상이나, 사용자의 눈에 적외광을 조사하는 수단을 이용하여, 사용자의 주위의 환경을 표현한 3차원 정보를 생성하고, 생성한 3차원 정보를 취득한다.

방법 c1, c2의 경우, AR 처리부(142a)는, GPS 모듈(134)에 의해 검출된 사용자의 현재 위치 좌표에 기초하여, 3차원 정보의 취득 범위를 결정할 수 있다. 또한, 방법 c3에 있어서 카메라(61)를 이용하여 3차원 정보를 생성하는 경우, AR 처리부(142a)는, 카메라(61)에 연속적으로 각도를 바꾼 복수의 외경 화상을 취득시킨다. 그리고, AR 처리부(142a)는, n(n은 임의의 정수)매째에 촬영된 외경 화상과, n＋1매째에 촬영된 외경 화상과의 차분 정보에 기초하여, 3차원 정보를 생성할 수 있다. 이때 카메라(61)는, 촬상 영역이 교차하도록 배치된 복수의 카메라인 것이 바람직하다. 또한, 복수의 카메라 중 적어도 1개는, 사용자의 시선 방향에 대응한 위치에 고정되어 있는 것이 바람직하다. 카메라(61)에 연속적으로 각도를 바꾼 외경 화상을 취득시키기 때문에, AR 처리부(142a)는, 9축 센서(66)에 의해 검지된 사용자의 움직임이 소정의 문턱값을 초과하는 크기인 경우에, 카메라(61)에 외경 화상의 촬상 지시를 내려도 좋다.

스텝 S304에 있어서 AR 처리부(142a)는, 현실 공간에서의 사용자의 현재 위치 및 시선 방향에 대응한, 3차원 정보 내에서의 위치 및 방향을 특정한다. 바꾸어 말하면, 스텝 S304에 있어서 AR 처리부(142a)는, 3차원 정보 내의 가상적인 사용자의 현재 위치 및 시선 방향을 특정한다고도 할 수 있다. 구체적으로, AR 처리부(142a)는, 이하의 d1∼d3에 나타내는 몇 가지의 방법을 이용한다.

(d1) AR 처리부(142a)는, 스텝 S302에서 취득된 3차원 정보와, 스텝 S304의 시점에서 카메라(61)에 의해 취득된 사용자의 시선 방향의 외경 화상을 비교함으로써, 3차원 정보 내의 가상적인 사용자의 현재 위치 및 시선 방향을 특정한다.

(d2) AR 처리부(142a)는, 스텝 S302에서 취득된 3차원 정보에 포함되는 위도와 경도의 정보와, 스텝 S304의 시점에서 GPS 모듈(134)에 의해 취득된 사용자의 현재 위치 좌표(위도와 경도)를 비교함으로써, 3차원 정보 내의 가상적인 사용자의 현재 위치를 특정한다. 또한, AR 처리부(142a)는, 9축 센서(66)에 의해 취득된 사용자의 두부의 움직임을 이용하여, 3차원 정보 내의 가상적인 사용자의 시선 방향을 특정한다.

(d3) 현실 공간 상에 미리 신호 발생 장치가 복수 배치되어 있는 경우, AR 처리부(142a)는, 신호 발생 장치로부터 수신하는 전파나 초음파의 수신 강도를 이용하여, 3차원 정보 내의 가상적인 사용자의 현재 위치 및 시선 방향을 특정한다.

스텝 S306에서 AR 처리부(142a)는, 마스크 오브젝트를 생성한다. "마스크 오브젝트"란, 현실 공간의 사용자의 현재 위치 및 시선 방향에 대응한 위치 및 방향으로부터 본 3차원 정보, 바꾸어 말하면, 가상적인 사용자의 현재 위치 및 시선 방향으로부터 본 3차원 정보이다. AR 처리부(142a)는, 스텝 S302에서 취득한 3차원 정보와, 스텝 S304에서 특정한 3차원 정보 내에서의 위치 및 방향을 이용하여, 마스크 오브젝트를 생성한다.

도 13a 및 도 13b는, 마스크 오브젝트의 일 예를 나타내는 설명도이다. 도 13a는, 현실 공간에서의 사용자의 현재 위치 및 시선 방향으로부터 본 외경(SC)을 나타내고 있다. 외경(SC)은, 빌딩이 줄지어 있는 오피스 거리의 풍경이다. 도 13b는, 현실 공간에서의 사용자의 현재 위치 및 시선 방향에 대응한, 3차원 정보 내에서의 위치 및 방향으로부터 본 마스크 오브젝트(VM)를 나타내고 있다. 마스크 오브젝트(VM)는, 도 13a에 나타낸 사용자의 주위의 환경(외경(SC))이 3차원 공간 내에서 가상적으로 표현된 "빌딩", "도로", "나무", "전신주"의 입체물을 포함하고 있다.

이 마스크 오브젝트는, 가상 오브젝트에 시각 효과를 더하기 위해 사용되고, 화상으로서는 표시되지 않는다. 또한, 도 12의 스텝 S306에서는, 스텝 S304에서 특정한 3차원 정보 내에서의 위치 및 방향에 기초하여, 두부 장착형 표시 장치(100a)에 접속되어 있는 클라우드 서버 등의 외부 장치로부터 3차원 정보를 취득하여, 마스크 오브젝트의 보완을 행해도 좋다.

도 12의 스텝 S306에서 AR 처리부(142a)는, 확장 현실 처리에 있어서, AR 처리부(142a)가 허상(VI)으로서 표시시키는 가상 오브젝트를 나타내는 화상 데이터를 생성한다. 구체적으로, 예를 들면, AR 처리부(142a)는, 기억부(120) 내에 미리 기억되어 있는 복수의 화상 데이터로부터, 사용자의 요구 또는 처리의 목적에 따른 임의의 화상 데이터를 취득한다.

스텝 S310에서, AR 처리부(142a)는, 스텝 S306에서 생성한 마스크 오브젝트 내에 스텝 S308에서 생성한 가상 오브젝트를 배치한다. 이 배치시, AR 처리부(142a)는, 원근감을 갖게 한 가상 오브젝트(OB)의 표시를 가능하게 하기 위해, 가상 오브젝트를 배치하는 목표 거리를 고려해도 좋다. 목표 거리는, 예를 들면, 이하의 몇 가지의 방법으로 결정할 수 있다.

- 카메라(61)에 의해 취득된 사용자의 시선 방향의 외경 화상을 해석한다.

- GPS 모듈(134)에 의해 취득된 사용자의 현재 위치 좌표와, 9축 센서(66)에 의해 취득된 사용자의 머리의 움직임을 해석한다.

도 14는, 마스크 오브젝트(VM)에 대한 가상 오브젝트(OB)의 배치의 일 예를 나타내는 설명도이다. 도 14에서 예시하는 가상 오브젝트(OB)는 "자전거"이다. 마스크 오브젝트(VM) 내에 있어서, 가상 오브젝트(OB)가 배치되어 있는 위치는, "나무 앞에 있는 보도옆"이다. 여기에서, 스텝 S304에서 특정한 3차원 정보 내에서의 위치 및 방향(가상적인 사용자의 현재 위치 및 시선 방향)으로부터 보면, 마스크 오브젝트 내에 배치된 가상 오브젝트(자전거)와, 사용자와의 사이에는, 마스크 오브젝트의 일부인 "전신주"가 배치되어 있다.

도 12의 스텝 S312에서 AR 처리부(142a)는, 가상 오브젝트(OB)가 배치된 상태의 마스크 오브젝트(VM)에 대하여, 주위의 환경에 따른 효과를 부여한다. 본 실시 형태에 있어서 "주위의 환경에 따른 효과"란, 적어도, 이하의 e1∼e3에 나타내는 적어도 하나의 효과를 의미한다. 또한, 효과 e1∼e3은, 단독으로 채용되어도 좋고, 조합하여 채용되어도 좋다.

(e1) AR 처리부(142a)는, 가상 오브젝트(OB) 중, 마스크 오브젝트(VM)에 포함되는 입체물의 그늘에 속하는 부분의 트리밍을 실시한다. 예를 들면, 도 14의 예의 경우, AR 처리부(142a)는, 자전거(가상 오브젝트(OB)) 중, 전신주(마스크 오브젝트(VM)에 포함되는 입체물)의 그늘에 속하는 부분, 즉, 도 14와 같이 가상적인 사용자의 현재 위치 및 시선 방향으로부터 본 경우에, 자전거가 전신주의 그늘에 속하여 보이지 않는 부분을 트리밍한다. 이와 같이, 효과 e1에 의하면, AR 처리부(142a)는, 가상 오브젝트(OB)가 현실 공간에 존재하는 입체물(도면의 예에서는 전신주)의 그림자에 있는 바와 같이 보이도록, 가상 오브젝트(OB)의 일부를 트리밍할 수 있다. 이 때문에, 화상 표시부(20)는, 가상 오브젝트(OB)가, 마치 현실 공간에 존재하는 것(전신주)의 배후에 있는 바와 같은 허상을, 사용자에게 시인시킬 수 있다.

(e2) AR 처리부(142a)는, 주위의 환경에 준한 라이팅(lighting)을 실시한다. 구체적으로, AR 처리부(142a)는, 카메라(61)에 의해 촬영된 외경 화상을 화상 인식함으로써, 마스크 오브젝트(VM)의 각 영역의 휘도 정보를 수집한다. 휘도 정보에는, 예를 들면, 그림자 영역과, 경면 반사(specular reflection)와, 확산 반사(diffused reflection)가 포함된다. AR 처리부(142a)는, 수집한 휘도 정보에 기초하여, 마스크 오브젝트(VM)에 추가하는 광원의 종류, 광원의 색온도, 광원의 강도 등을 결정한다. 여기에서, 광원의 종류에는, 예를 들면, 점광원(Point Light), 스포트 라이트(Spot Light), 평행 광원(Directional Light), 환경광(Ambient Light), 천공광(Hemisphere Light), IBL(Image Based Light) 등이 있다. 그리고, AR 처리부(142a)는, 결정한 종류, 색온도, 강도를 갖는 광원을 마스크 오브젝트(VM)에 배치함으로써, 가상 오브젝트(OB)의 라이팅을 실시한다.

도 15는, 라이팅 실시 후의 가상 오브젝트(OB)의 상태를 나타내는 설명도이다. 도 15의 예에서는, 평행 광원(DL)에 의해 가상 오브젝트(OB)의 라이팅이 실시된 결과, 가상 오브젝트(OB)의 그림자(OBS)가 형성된다. 이와 같이, 효과 e2에 의하면, AR 처리부(142a)는, 가상 오브젝트(OB)가 현실 공간에 맞춘 명암을 갖도록, 가상 오브젝트(OB)를 보정할 수 있다. 이 때문에, 화상 표시부(20)는, 가상 오브젝트(OB)가, 마치 현실 공간에 존재하는 것과 혼재하고 있는 바와 같은 허상을, 사용자에 시인시킬 수 있다. 또한, 도 12의 스텝 S312에 있어서 예시한 광원은, 단독으로 부여되어도 좋고, 조합하여 부여되어도 좋다. 또한, AR 처리부(142a)는, 마스크 오브젝트(VM)의 각 영역의 휘도 정보를, 외경 화상의 화상 해석 이외의 방법(예를 들면, 현재 시각과 방각(方角)에 기초하는 연산)으로 수집해도 좋다.

(e3) AR 처리부(142a)는, 마스크 오브젝트(VM)에 포함되는 각 입체물의 반발 계수와 마찰 계수 중 적어도 한쪽에 기초하는, 가상 오브젝트(OB)의 거동의 조정을 실시한다. 구체적으로, AR 처리부(142a)는, 카메라(61)에 의해 촬영된 외경 화상을 화상 인식함으로써, 마스크 오브젝트(VM)에 포함되는 각 입체물의 표면의 반발 계수와 마찰 계수 중 적어도 한쪽을 구한다. 이때, AR 처리부(142a)는, 입체물 1개에 대한 평균 반발 계수나 평균 마찰 계수를 구해도 좋고, 입체물이 갖는 각 영역마다 반발 계수나 마찰 계수를 구해도 좋다. AR 처리부(142a)는, 구한 반발 계수 또는 마찰 계수, 또는 그 양쪽에 기초하여, 경시적으로 변화하는 가상 오브젝트(OB)의 거동을 조정한다.

도 16은, 반발 계수와 마찰 계수에 기초하여 가상 오브젝트(OB)의 거동이 조정되는 상태를 나타내는 설명도이다. 도 16의 예에서는, 마스크 오브젝트(VM)에 포함되는 입체물의 영역마다, 반발 계수 XX(X는 임의의 숫자)와, 마찰 계수 XX가 구해져, 기억되어 있다. AR 처리부(142a)는, 볼(ball) 형상의 가상 오브젝트(OB)의 움직임(DI)을, 움직임(DI) 상에 있는 입체물의 반발 계수 XX와 마찰 계수 XX에 따라서 변경한다. 도면의 예에서는, AR 처리부(142a)는, 3차선을 포함하는 도로의 중앙 차선의 반발 계수와 마찰 계수에 기초하여, 가상 오브젝트(OB)가 튀는(bounded) 크기를 조정한다. 이와 같이, 효과 e3에 의하면, AR 처리부(142a)는, 가상 오브젝트(OB)의 거동을, 현실 공간에 존재하는 오브젝트의 반발 계수와 마찰 계수 중 적어도 한쪽에 따라서 조정할 수 있다. 이 때문에, 화상 표시부(20)는, 가상 오브젝트(OB)가, 마치 현실 공간에 존재하는 것의 영향을 받아 움직이고 있는 바와 같은 허상을, 사용자에게 시인시킬 수 있다.

도 12의 스텝 S314에서 AR 처리부(142a)는, 가상 카메라의 설정과, 가상 카메라에 의한 2D 투영을 행한다. 구체적으로, AR 처리부(142a)는, 현실 공간에서의 사용자의 현재 위치 및 시선 방향에 대응한 마스크 오브젝트(VM) 내에서의 위치 및 방향(바꾸어 말하면, 마스크 오브젝트(VM) 내의 가상적인 사용자의 현재 위치 및 시선 방향)으로 가상 카메라를 설정한다. 그리고, AR 처리부(142a)는, 마스크 오브젝트(VM) 내의 가상 오브젝트(OB)를, 가상 카메라에 의해 얻어진 2차원인 평면 형상의 정보로 변환한다. 이에 따라, AR 처리부(142a)는, 마스크 오브젝트(VM) 내의 가상 오브젝트(OB)를 2차원 화상을 변환하여, 시각 효과가 더해진 가상 오브젝트(OB)의 화상 데이터를 얻을 수 있다.

도 17은, 가상 카메라의 2D 투영에 의해 얻어진 화상 데이터를 나타내는 설명도이다. 도 17의 예에서, 화상 데이터(DT)에는, 효과 e1이 더해진 결과로서 전륜(前輪)의 일부가 트리밍되고, 효과 e2가 더해진 결과로서 그림자(OBS)가 부여된 가상 오브젝트(자전거)가 포함되어 있다. 또한, 스텝 S314의 가상 카메라 설정시, AR 처리부(142a)는, 사용자의 눈으로부터 사용자의 주시점까지의 사이의 거리에 따라서, 가상 카메라의 피사계 심도 등의 설정을 실시하는 것이 바람직하다. 그러면, 가상 카메라의 2D 투영에 의해 얻어진 가상 오브젝트(OB)의 화상 데이터에 있어서, 가상 오브젝트(OB)에 디포커싱 효과를 추가할 수 있다. 또한, 스텝 S314에 있어서 설정되는 가상 카메라는, 1개라도 좋고, 사용자의 좌우의 눈에 대응한 2개의 가상 카메라라도 좋고, 3개 이상의 복수의 가상 카메라라도 좋다.

도 18은, 제2 실시 형태의 확장 현실 처리에 있어서, 사용자에게 시인되는 허상(VI)의 일 예를 나타내는 설명도이다. 도 12의 스텝 S316에 있어서 AR 처리부(142a)는, 상기와 같이 하여 생성된 화상 데이터(DT)를, 화상 처리부(160)로 송신한다. 그 후, 도 2에서 설명한 표시 처리가 실행됨으로써, 두부 장착형 표시 장치(100a)의 사용자는, 시야(VR)에, 시각 효과(트리밍 및 그림자(OBS))가 더해진 가상 오브젝트(OB)를 시인할 수 있다.

이상과 같이, 제2 실시 형태의 두부 장착형 표시 장치(두부 장착형 표시 장치(100a))에 의하면, 화상 표시부(20)는, 사용자의 시각적인 위화감이 완화된 가상 오브젝트(OB), 즉, 사용자의 시각적인 위화감을 완화 가능한 시각 효과(즉, 가상 오브젝트를 주위의 환경에 융상시키기 위한 시각 효과)가 부여된 가상 오브젝트(OB)를 허상(VI)으로서 사용자에게 시인시킨다. 이 때문에, 사용자의 시각적인 위화감을 완화한 확장 현실감을 제공 가능한 광학 투과형의 두부 장착형 표시 장치를 제공할 수 있다. 또한, 확장 현실 처리부(AR 처리부(142a))는, 3차원 정보로부터 생성된 마스크 오브젝트(VM)를 이용하여 가상 오브젝트(OB)에 시각 효과를 더하여, 가상 오브젝트(OB)를 주위의 환경에 융상시킨다. 이 때문에, 카메라로 촬영된 화상에 기초하여 가상 오브젝트에 시각 효과를 더하여 가상 오브젝트를 주위의 환경에 융상시키는 경우와 비교하여, 융상의 정밀도(fitting accuracy)를 향상시킬 수 있다.

또한, 제2 실시 형태의 두부 장착형 표시 디바이스(두부 장착형 표시 장치(100a))에 의하면, 확장 현실 처리부(AR 처리부(142a))는, 가상 오브젝트(OB)에 대하여, 환경에 준한 트리밍(효과 e1), 환경에 준한 라이팅(효과 e2), 환경에 준한 거동의 조정(효과 e3) 중, 적어도 어느 하나의 시각 효과를 더할 수 있다. 또한, 확장 현실 처리부(AR 처리부(142a))는, 화상 취득부(카메라(61))에 의해 촬영된 외경 화상(사용자의 시계 방향의 화상)을 화상 인식함으로써, 자동적으로, 사용자의 주위의 환경(구체적으로는, 효과 e2의 휘도 정보, 효과 e3의 경우의 반발 계수와 마찰 계수)을 추정할 수 있다.

C. 제3 실시 형태

본 발명의 제3 실시 형태는, 실 공간에서의 좌표 위치가 설정된 가상 오브젝트가, 실 공간의 실 오브젝트의 좌표 위치 및 형상에 기초하여, 제어되는 구성에 관한 것이다. 제1 실시 형태와 구성 및 동작이 다른 구성 요소에 대해서만 이하 설명한다. 도면 중에 있어서 제1 실시 형태와 동일한 구성 요소에 대해서는 제1 실시 형태와 동일한 부호를 붙이고, 그 상세한 설명을 생략한다.

도 19는 사용자에 의해서 시인될 수 있는 가상 화상과 실 장면의 예를 나타낸 설명도이다. 도 19에 나타나 있는 바와 같이, 본 실시 형태에 따른 두부 장착형 표시 장치(100b)를 장착한 사용자의 시계(VR)에는, 두부 장착형 표시 장치(100b)가 생성하는 허상(VI)가 표시된다. 여기에서는, 허상(VI)으로서, 미로의 내비게이터(안내)를 나타내는 가상 오브젝트(OB)가 표시되어 있다. 또한, 사용자의 시계(VR)에서, 사용자는, 오른쪽 광학상 표시부(26) 및 왼쪽 광학상 표시부(28)를 투과하여, 외경(SC)을 볼 수 있다. 여기에서는, 외경(SC)에, 실 오브젝트(A)로서 미로의 벽(A1, A2, A3) 등이 보이고 있다. 즉, 사용자는, 시계(VR) 내에서, 허상(VI)과 외경(SC)을 동시에 시인할 수 있다. 또한, 부호 27은, 시계(VR) 내 중, 허상(VI)이 표시되는(허상(VI)을 표시 가능한) 허상 표시 영역을 나타낸다.

C-1. 두부 장착형 표시 디바이스의 구성

도 20은 제3 실시 형태에 따른 두부 장착형 표시 장치(100b)의 기능적 구성을 나타내는 블록도이다. 본 실시 형태에 있어서, 도 2에 나타낸 제1 실시 형태와의 차이는, 제어부(10)를 대신하여 제어부(10b)를 구비하고, 화상 표시부(20)를 대신하여 화상 표시부(20b)는 점이다.

화상 표시부(20b)는, 제1 실시 형태의 화상 표시부와, 동공 간 거리 측정부(62) 대신에 거리 센서(67) 및 시선 센서(69)를 포함하고 있는 점에서 상이하다. 거리 센서(67)는, 예를 들면, 적외선 방법 도는 초음파 방법을 사용하여, 사용자(엄밀하게는, 두부 장착형 표시 장치(100b))로부터 실 오브젝트 사이의 거리를 검출한다. 시선 센서(69)는, 예를 들면, 적외선 방법을 이용하여 사용자의 시선을 검출한다.

제어부(10b)의 저장부(120b)는 제1 실시 형태와는 달리, 눈과 눈 사이의 거리(122)나 화소 시차각(124)(도 2)을 기억하고 있지 않다. 제어부(10b)는 제1 실시 형태와는 달리, AR 처리부(142) 대신에 AR 처리부(142b)를 포함하고, 화상 해석부(144) 및 오브젝트 검출부(146)를 포함한다.

화상 해석부(144)는, 카메라(61)에 의해 촬상된 화상의 화상 신호를 취득하고, 취득한 화상 신호의 해석을 행한다. 화상 해석부(144)는, 화상 해석에 의해 실 오브젝트(A)에 설치된 오브젝트 인식용의 마커(MK)(도 2 참조)를 인식하고, 마커(MK)로부터 얻어지는 정보에 기초하여 실 오브젝트(A)를 인식한다. 즉, 촬상 화상 내에 있어서의 마커(MK)의 위치 및 방향의 정보와, 마커(MK)를 판독하으로써 얻어지는 판독 정보와, 미리 기억한 실 오브젝트(A)의 정보(실 오브젝트(A)의 형상이나 실 오브젝트(A)에 있어서의 마커(MK)의 위치)에 기초하여, 시계(VR) 내에서의 실 오브젝트(A)의 위치와, 실 오브젝트(A)의 형상이 인식된다. 또한, 본 실시 형태에서는, 실 오브젝트(A)에 마커(MK)가 설치되어 있고, 마커를 인식하여 실 오브젝트(A)를 인식하는 구성이지만, 마커를 사용하지 않고, 실 오브젝트(A)의 특징 위치(특징점)를 인식하여 실 오브젝트(A)를 인식하는 구성이라도 좋다. 또한, 실 오브젝트(A)의 정보는, 무선 통신부(132)를 이용하여, 화상 인식시마다, 외부 서버로부터 취득하도록 해도 좋다.

물체 검출부(146)는, 화상 해석부(144)에 의한 실 오브젝트(A)의 인식 결과와, 센서에 의한 검출 결과에 기초하여, 실 공간 상에 있어서의 실 오브젝트(A)의 좌표 위치 및 형상을 검출한다. 구체적으로, 화상 해석부(144)에 의한 실 오브젝트(A)의 인식 결과와, 거리 센서(67)로부터 얻어진 사용자로부터 실 오브젝트(A)까지의 거리의 정보와, 9축 센서(66)에 의해 얻어진 사용자의 두부의 방향의 정보에 기초하여, 실 공간에 있어서의 사용자에 대한 실 오브젝트(A)의 상대적인 좌표 위치와, 실 오브젝트(A)의 형상이 검출된다.

제3 실시 형태에 따른 AR 처리부(142b)는, 제1 실시 형태에 따른 AR 처리부표시부와, 수행되는 확장 현실 처리의 상세 순서에 있어서 상이하다. AR 처리부(142b)는 화상 표시부(20)에 의해 표시되는 표시 데이터를 생성하고, 생성된 표시 데이터를 화상 처리부(160)를 통해 화상 표시부(20)에 송신한다. AR 처리부(142b)는, 가상 오브젝트(OB)에 대한 실 공간에서의 좌표 위치를 설정하고, 실 공간에서의 좌표 위치가 실 공간의 좌표계에 기초하여 설정된 가상 오브젝트(OB)를 표시하는(융상하는) 표시 데이터를 생성한다.

구체적으로, AR 처리부(142b)는 콘텐츠 데이터에 기초하여 가상 오브젝트(OB)에 대하여 실공간에서 실 오브젝트(A)에 관련한 좌표 위치를 설정한다. 다음으로, AR 처리부(142b)는, 가상 오브젝트(OB)의 상대 좌표 위치, 실 오브젝트(A)의 검출된 좌표 위치, 사용자의 두부의 방향 정보 및 이선 센서(69)로부터 취득된 사용자의 시선 정보에 기초하여, 실공간(실공간의 좌표계에서 시인되는 공간)의 좌표계에 기초하여 시인되는 가상 화상 표시 영역(27)에서의 가상 오브젝트(OB)의 표시 위치, 표시 크기 및 방향을 특정한다. 예를들면, 가상 오브젝트(OB)가 실 공간의 좌표계에 존재하는 경우에는, 사용자로부터 가상 오브젝트(OB)까지의 거리에 따라, 표시 크기가 결정된다. 따라서, 표시 크기는, 상기 각 정보에 기초하여 산출된 사용자로부터 가상 오브젝트(OB)까지의 거리에 의해서 특정된다. AR 처리부(142b)는, 특정된 표시 위치, 표시 크기, 방향에 기초하여, 가상 오브젝트(OB)를 확대/축소, 회전, 배치하여, 가상 오브젝트(OB)를 포함하는 표시 데이터를 생성한다.

또한, 가상 오브젝트(OB)를 입체 화상으로서 표시시키는 경우에, 오른쪽 눈 표시 데이터 및 왼쪽 눈 표시 데이터로서, 가상 오브젝트(OB)에 시차를 부여한 표시 데이터를 생성하고, 화상 처리부(160)를 통해, 오른쪽 표시 데이터를 오른쪽 LCD 제어부(211)에, 왼쪽 눈 표시 데이터를 왼쪽 LCD 제어부(212)에 송신한다. 이러한 경우, 가상 오브젝트(OB)의 시차량(깊이감)에 대해서도, 실 공간의 좌표계에 기초하여 설정한다. 즉, 표시 크기와 마찬가지로, 시차량은, 사용자로부터 가상 오브젝트(OB)까지의 거리에 따라 결정되기 때문에, 상기 각 정보에 기초하여 사용자로부터 가상 오브젝트(OB)까지의 거리를 산출하고, 산출된 거리에 기초하여 가상 오브젝트(OB)의 시차량을 설정한다.

또한, AR 처리부(142b)는, 가상 오브젝트(OB)의 거동을, 검출한 실 오브젝트(A)의 좌표 위치 및 형상에 기초하여 제어한다. 즉, 전술한 바에서는, 콘텐츠 데이터에 기초하여, 실 공간에 있어서의 상대적인 좌표 위치를 설정한다고 기재했지만, 엄밀하게는, 콘텐츠 데이터와, 검출한 실 오브젝트(A)의 좌표 위치 및 형상에 기초하여, 상기 상대적인 좌표 위치를 설정한다. 또한, 검출한 실 오브젝트(A)의 좌표 위치 및 형상에 기초하여, 가상 오브젝트(OB)를 변경한다. 그 결과, 가상 오브젝트(OB)를, 검출한 실 오브젝트(A)의 좌표 위치 및 형상을 고려하여 거동시킨다.

C-2. 확장 현실 처리

도 21은 제3 실시 형태에 따른 확장 현신 처리의 순서를 나타낸 플로우차트이다. 제3 실시 형태에 따른 확장 현실 처리는 제어부(10b)에서 동작을 개시하는 조작으로 수행된다.

도 21에 나타나 있는 바와 같이, 두부 장착형 표시 장치(100b)는 카메라(61)를 사용하여 외경(SC)을 촬상한다(S1). 그리고, 화상 해석부(144)는, 카메라(61)에 의해 촬상한 촬상 화상 중에서 마커(MK)를 인식하고, 실 오브젝트(A)를 인식한다(S2). 또한, 도 2의 예에서는, 촬영 화상으로부터 마커(MK)를 인식할 수 있는 벽(A1, A2)을 인식한다.

실 오브젝트(A)를 인식하면, 거리 센서(67)에 의해, 사용자로부터 실 오브젝트(A)까지의 거리를 검출하고(S3), 9축 센서(66)에 의해, 사용자의 두부의 방향을 검출한다(S4). 그리고, 오브젝트 검출부(146)에 의해, 화상 해석부(144)에 의한 실 오브젝트(A)의 인식 결과와, 검출한 사용자로부터 실 오브젝트(A)까지의 거리의 정보와, 검출한 두부의 방향의 정보에 기초하여, 실 오브젝트(A)의 좌표 위치(사용자에 대한 상대적인 좌표 위치) 및 형상을 검출한다(S5).

실 오브젝트(A)의 좌표 위치 및 형상을 검출하면, 시선 센서(69)에 의해, 사용자의 시선을 검출한다(S6). 그리고, AR 처리부(142b)에 의해, 검출한 시선의 정보와, 검출한 두부의 방향의 정보에 기초하여, 사용자의 시계(VR)(의 방향)를 추측한다(S7).

그 후, AR 처리부(142b)에 의해, 콘텐츠 데이터와, 검출한 실 오브젝트(A)의 좌표 위치 및 형상에 기초하여, 실 공간 상에 있어서의 가상 오브젝트(OB)의 좌표 위치(실 오브젝트(A)에 대한 상대적인 좌표 위치)를 설정한다(S8). 그리고, 추정한 시계(VR)와, 설정한 가상 오브젝트(OB)의 좌표 위치(실 오브젝트(A)에 대한 상대적인 좌표 위치)와, 검출한 실 오브젝트(A)의 좌표 위치(사용자에 대한 상대적인 좌표 위치)에 기초하여, 실 공간의 좌표계에 맞추어 가상 오브젝트를 시인시키도록, 가상 오브젝트(OB)의 표시 위치, 표시 크기 및 방향을 결정하고(S9), 가상 오브젝트(OB)를 포함하는 표시 데이터를 생성한다(S10). 그 후, AR 처리부는, 생성한 표시 데이터를 화상 처리부(160)를 통해 표시부(30)에 송신한다(S11). 또한, 첨부된 청구범위에서 말하는 '표시 제어 스텝'은, S6에서 S10까지의 스텝에 대응한다.

그리고, 화상 표시부(20)는, 이 가상 오브젝트(OB)를 포함하는 표시 데이터를 표시한다(화상광을 망막에 투사한다)(S12: 표시 스텝). 이에 따라 본 표시 동작이 종료된다.

도 22 내지 도 24를 참조하여, AR 처리부(142b)에 의한 가상 오브젝트(OB)의 거동 제어에 대해서 설명한다. 전술한 바와 같이, AR 처리부(142b)는, 가상 오브젝트(OB)의 거동을, 검출한 실 오브젝트(A)의 좌표 위치 및 형상에 기초하여 제어한다. 도 22는, AR 처리부(142b)에 의한 가상 오브젝트(OB)의 거동 제어의 제1 예를 나타낸 전이도이다. 도 22의 예에서, AR 처리부(142b)는, 검출된 실 오브젝트(A)의 좌표 위치와, 설정된 가상 오브젝트(OB)의 좌표 위치에 기초하여, 사용자로부터 보아 가상 오브젝트(OB)가 실 오브젝트(A)의 후방에 위치하는(이라고 추측되는) 경우, 가상 오브젝트(OB)의, 실 오브젝트(A)와의 중첩 부분(OBa)이 사라지도록, 가상 오브젝트(OB)를 변화시킨다. 구체적으로는, 도 22에 나타나 있는 바와 같이, 가상 오브젝트(OB)를, 사용자로부터 보아 벽(A1)의 후측으로 이동시켰을 때, 가상 오브젝트(OB)를, 사용자로부터 본 벽(A1)과의 중첩 부분(OBa)이 사라지도록 변화시킨다. 이와 같이 가상 오브젝트(OB)가 사용자로부터 보아 벽(A1)의 뒤에 숨은 것 같이 표시시킨다.

도 23은, AR 처리부(142b)에 의한 가상 오브젝트(OB)의 거동 제어의 제2 예를 나타낸 전이도이다. 도 23의 예에서는, AR 처리부(142b)는, 실 공간의 좌표계에 있어서, 실 오브젝트(A)를 피하도록, 가상 오브젝트(OB)를 거동시킨다. 구체적으로는, 도 23에 나타나 있는 바와 같이, 가상 오브젝트(OB)를, 장애물인 기둥(A4)의 근처까지 이동시켰을 때, 가상 오브젝트(OB)의 궤도를 변화시켜, 실 오브젝트(A)를 피한 것 같이 표시시킨다.

도 24는, AR 처리부(142b)에 의한 가상 오브젝트(OB)의 거동 제어의 제3 예를 나타낸 전이도이다. 도 24의 예에서는, AR 처리부(142b)는, 실 공간의 좌표계에 있어서, 이동시킨 가상 오브젝트(OB)가 실 오브젝트(A)에 도달했을 때, 가상 오브젝트(OB)를, 실 오브젝트(A)와 충돌한 것 같이 거동시킨다. 구체적으로는, 도 24에 나타나 있는 바와 같이, 가상 오브젝트(OB)를, 벽(A2)에 도달할 때까지 이동시켰을 때, 벽(A2)으로부터 튀어 오르도록 가상 오브젝트(OB)의 궤도를 변화시켜, 실 오브젝트(A)와 충돌한 것 같이 표시시킨다. 또한, 가상 오브젝트(OB)가 벽(A1)에 도달한 시점에서, 가상 오브젝트(OB)가 실 오브젝트(A)에 충돌한 것 같이, 가상 오브젝트(OB)를 변화시킨다(도면의 예에서는 충돌한 방향으로 크기를 축소 변형).

제 3 실시 형태에 따른 확장 현실 처리에 있어서, 가상 오브젝트(OB)를, 실 오브젝트(A)의 좌표 위치나 형상을 고려하여 거동시킬 수 있기 때문에, 리얼감을 향상시킬 수 있다. 이에 따라 사용자의 시각적인 위화감을 완화시킨 확장 현실을 제공할 수 있는 광 투과형 두부장착형 표시 디바이스(두부장착형 표시 장치(100b))를 제공할 수 있다. 또한, 가상 오브젝트(OB)에, 실 오브젝트(A)의 좌표 위치나 형상을 고려하여 거동시킴으로써, 투과형 두부장착 표시 디바이스는, 실 오브젝트(A)를 결합한 콘텐츠를 제공할 수 있게 된다. 따라서, 가상 오브젝트(OB)에 실 오브젝트(A)를 결합한 게임이나 네비게이션 서비스를 제공할 수 있다. 네비게이션 서비스의 콘텐츠로서는, 예를 들면, 가상 오브젝트(OB)로서 미로의 안내인을 표시하고, 당해 안내인이 미로의 벽(A1, A2, A3)을 고려하여, 벽(A1, A2, A3)을 회피하면서 길 안내를 행하는 것 등이 상정된다. 또한, 게임의 콘텐츠로서는, 예를 들면, 가상 오브젝트(OB)로서 볼을 표시하고, 던진 당해 볼이 벽(A1, A2, A3)에 닿아 튀어올라 오는 것 등이 상정된다.

또한, 시선 센서(69)를 사용하여 시선을 검출하고, 사용자의 시선을 고려하여, 가상 오브젝트(OB)를 표시함으로써, 가상 오브젝트(OB)를 융상하는 것(가상 오브젝트(OB)의 표시 위치, 표시 사이즈 및 방향을 결정하는 것)을 보다 정밀도 좋게 행할 수 있다.

또한, 거리 센서(67)를 사용하여 사용자로부터 실 오브젝트(A)까지의 거리를 검출하고, 이 거리를 고려하여, 가상 오브젝트(OB)의 표시를 행함으로써, 가상 오브젝트(OB)의 융상을 보다 정밀도 좋게 행할 수 있다.

또한, 본 실시 형태에 있어서는, 실 공간 상에 있어서의 가상 오브젝트(OB)의 좌표 위치로서, 실 오브젝트(A)에 대한 상대적인 좌표 위치가 설정되는 구성이었지만, 실 공간 상에 있어서의 가상 오브젝트(OB)의 좌표 위치로서, 사용자에 대한 상대적인 좌표 위치가 설정되는 구성이나, 실 공간 상에 있어서의 가상 오브젝트(OB)의 좌표 위치로서, 절대 위치가 설정되는 구성이라도 좋다.

또한, 본 실시 형태에 있어서는, 실 공간 상에 있어서의 실 오브젝트(A)의 좌표 위치로서, 사용자에 대한 상대적인 좌표 위치를 검출하는 구성이었지만, 실 공간 상에 있어서의 실 오브젝트(A)의 좌표 위치로서, 절대 위치를 검출하는 구성이라도 좋다.

또한, 본 실시 형태에 있어서는, 사용자의 시선을 검출하고, 사용자의 시선과 사용자의 두부의 방향에 기초하여, 사용자의 시계를 검출하는 구성이었지만, 사용자의 시선이 항상 바로 정면을 향하고 있는 것으로 하고, 사용자의 두부의 방향에만 기초하여, 사용자의 시계를 검출하는 구성이라도 좋다.

그리고 또한, 본 실시 형태에 있어서, 오브젝트 인식용 마커(MK)는, AR 마커라도 좋고, 2차원 코드(QR 코드 등)나 바코드라도 좋다.

또한, 본 실시 형태에 있어서는, 카메라(61)에 의해 실 장면을 촬상하고, 촬상 화상에 대한 화상 인식을 이용하여 실 오브젝트(A)의 좌표 위치 및 형상을 검출하는 구성이었지만, 실 공간에 있어서의 소정 범위 내의 모든 실 오브젝트(A)의 좌표 위치 및 형상을 포함하는 맵 데이터를, 미리 기억해 두고, 이 맵 데이터에 기초하여 실 오브젝트(A)의 좌표 위치 및 형상을 검출하는 구성이라도 좋다.

또한, 본 실시 형태에 있어서, 가상 오브젝트(OB)의 융상의 정밀도를 높이기 위해, 눈 사이 거리, 좌우 시차각, 폭주각, 우위안(dominant eye), 화상과의 시차, 실 오브젝트에 대한 사용자의 상대 속도 등을 검출하고, 이들의 검출 데이터를 고려하여 가상 오브젝트(OB)의 융상을 행하는 구성이라도 좋다.

그리고 또한, 외경(SC)의 광원 환경을 추측하고, 이 광원 환경에 맞추어 가상 오브젝트(OB)의 색, 밝기를 조정하는 것이 바람직하다. 또한, 가상 오브젝트(OB)의 색 및 밝기는, 사용자로부터 실 오브젝트(A)까지의 거리나, 사용자의 시각적인 환경의 변화(예를 들면, 암 순응(dark adaptation)이나 명 순응(light adaptation))를 고려하여 결정하는 것이 바람직하다.

또한, 본 실시 형태에 있어서, 실 공간의 좌표계에 있어서의 사용자로부터 가상 오브젝트(OB)까지의 거리를 산출하고, 가상 오브젝트(OB)의 초점 거리를 변경하는 구성이라도 좋다.

또한, 본 실시 형태에 있어서, 콘텐츠에 있어서의 유저 조작은, 도면에 나타나 있지 않은 컨트롤러에 의해 행하는 구성이라도 좋고, 사용자의 몸의 일부(손가락이나 손 등)를 인식하고, 당해 몸의 일부의 거동을 유저 조작으로서 접수하는 구성이라도 좋다. 또한, 예를 들면, 사용자의 손이나 손가락, 팔 등을 인식하고, AR 처리부(142b)는, 사용자의 손에 쥐어져 있는 것 같은, 배트, 라켓, 트럼프나 펜 등의 가상 오브젝트(OB)를 표시시킨다. 그리고, 사용자가 손이나 손가락, 팔 등을 움직임으로써, 당해 가상 오브젝트(OB)를 조작하고, 이 조작을 유저 조작으로서 접수하는 구성이라도 좋다. 이러한 경우에도, 사용자로부터 보아 가상 오브젝트(OB)가 실 오브젝트(A)인 사용자의 손이나 손가락, 팔 등의 후방에 위치하는 경우, 가상 오브젝트(OB)의, 실 오브젝트(A)와의 중첩 부분이 사라지도록, 가상 오브젝트(OB)를 변화시킨다. 또한, 사용자가 취급할 수 있는 실 오브젝트(A)(예를 들면 배트, 라켓, 트럼프나 펜)를 인식하고, 당해 실 오브젝트(A)의 거동을 유저 조작으로서 접수하는 구성이라도 좋다. 나아가서는, 사용자의 두부의 움직임(예를 들면 방향)이나 사용자의 시선을 검출하고, 이 검출 데이터를 유저 조작으로서 접수하는 구성이라도 좋다.

그리고 또한, 표시되는 가상 오브젝트(OB)는, 상기한 오브젝트에 한정되는 것이 아니고, 예를 들면, 화살표나 마크와 같은 가상 오브젝트(OB)가 표시되어도 좋다. 또한, 실 공간의 오브젝트나 인체의 일부(손가락끝이나 팔 등)를 촬영하여 취입하고, 이 화상을 가상 오브젝트(OB)로서 표시시키는 구성이라도 좋다.

D. 변형예

상기 실시 형태에 있어서, 하드웨어에 의해 실현되는 한 구성의 일부를 소프트웨어로 치환하도록 해도 좋고, 반대로, 소프트웨어에 의해 실현되는 한 구성의 일부를 하드웨어로 치환하도록 해도 좋다. 그 외에, 이하와 같은 변형도 가능하다.

변형예 1

상기 실시 형태에서는, 두부 장착형 표시 장치의 구성에 대해서 예시했다. 그러나, 두부 장착형 표시 장치의 구성은, 본 발명의 요지를 일탈하지 않는 범위에 있어서 임의로 정하는 것이 가능하고, 예를 들면, 각 구성 요소의 추가, 삭제, 변환 등을 행할 수 있다.

상기 실시 형태에 있어서, 제어부와, 화상 표시부에 대한 구성 요소의 배정은, 어디까지나 일 예이며, 여러 가지의 태양이 채용될 수 있다. 예를 들면, 이하와 같은 태양으로 해도 좋다. (ⅰ) 제어부에 CPU나 메모리의 처리 기능을 탑재하고, 화상 표시부에는 표시 기능만을 탑재하는 태양, (ⅱ) 제어부와 화상 표시부의 양쪽에 CPU나 메모리의 처리 기능을 탑재하는 태양, (ⅲ) 제어부와 화상 표시부를 하나의 부로 일체화한 태양(예를 들면, 화상 표시부에 제어부가 포함되어 전체 구성이 안경형의 웨어러블 컴퓨터로서 기능하는 태양), (ⅳ) 제어부 대신에 스마트폰이나 휴대형 게임기를 사용하는 태양, (ⅴ) 제어부와 화상 표시부를 무선 통신하거나 또한 무선방식으로 급전 가능한 구성으로 함으로써 접속부(코드)가 필요 없는 태양.

상기 실시 형태에서는, 설명의 편의상, 제어부가 송신부를 포함하고, 화상 표시부가 수신부를 포함하는 구성으로 설명했다. 그러나, 상기 실시 형태의 송신부 및 수신부는, 모두, 쌍방향 통신이 가능한 기능을 구비하고 있고, 송수신부로서 기능할 수 있다. 또한, 예를 들면, 도 2에 나타낸 제어부는, 유선의 신호 전송 라인을 통하여 화상 표시부와 접속된다. 그러나, 제어부와 화상 표시부는, 무선 LAN이나 적외선 통신이나 Bluetooth(등록상표)와 같은 무선의 신호 전송 라인을 통해 접속되어 있어도 좋다.

예를 들면, 도 2에 나타낸 제어부와 화상 표시부의 구성은 임의로 변경할 수 있다. 구체적으로는, 예를 들면, 제어부로부터 터치 패드를 생략하고, 십자 키만으로 조작하는 구성으로 해도 좋다. 또한, 제어부에 조작용 스틱과 같은 다른 조작용 인터페이스를 구비해도 좋다. 또한, 제어부에는 키보드나 마우스와 같은 디바이스를 접속 가능한 구성으로 하여, 키보드나 마우스로부터 입력을 접수하는 것으로 해도 좋다. 또한, 예를 들면, 터치 패드와 십자 키를 사용한 조작 입력 외에, 풋 스위치(사용자의 발에 의해 조작하는 스위치)를 사용한 조작 입력을 취득해도 좋다. 예를 들면, 화상 표시부에 적외선 센서와 같은 시선 검출부를 형성한 후에, 사용자의 시선을 검출하고, 시선의 움직임에 연관된 커맨드에 기초한 조작 입력을 취득해도 좋다. 예를 들면, 카메라를 이용하여 사용자의 제스처를 검출하고, 제스처에 연관된 커맨드에 기초한 조작 입력을 취득해도 좋다. 제스처 검출시에는, 사용자의 손가락끝이나, 사용자의 손가락에 끼워진 반지나, 사용자가 손에 쥐는 의료 기구 등이 움직임일 수 있고 검출용 마크로서 사용될 수 있다. 풋 스위치나 시선에 의한 조작 입력이 취득될 수 있으면, 사용자가 손을 떼기 곤란한 작업에 있어서도, 입력 정보 취득부는, 사용자로부터의 조작 입력을 취득할 수 있다.

예를 들면, 두부 장착형 표시 장치는, 양안 타입의 투과형 두부 장착형 표시 장치인 것으로 위에서 설명했지만, 단안 타입의 두부 장착형 표시 장치로 해도 좋다. 또한, 사용자가 두부 장착형 표시 장치를 장착한 상태에서 외경의 투과가 차단되는 비투과형 두부 장착형 표시 장치로 하여 구성해도 좋다.

도 25a 및 도 25b는, 변형예에 따른 두부 장착형 표시 장치의 외관의 구성을 나타내는 설명도이다. 도 25a의 예의 경우, 도 1에 나타낸 두부 장착형 표시 장치(100)와의 차이는, 화상 표시부(20a)가, 오른쪽 광학상 표시부(26)를 대신하여 오른쪽 광학상 표시부(26a)를 구비하는 점과, 왼쪽 광학상 표시부(28)를 대신하여 왼쪽 광학상 표시부(28a)를 구비하는 점이다. 오른쪽 광학상 표시부(26a)는, 제1 실시 형태에 따른 광학 부재보다도 작게 형성되고, 두부 장착형 표시 장치의 장착상태에서 사용자의 오른쪽 눈의 비스듬히 상측에 배치되어 있다. 마찬가지로, 왼쪽 광학상 표시부(28a)는, 제1 실시 형태에 따른 광학 부재보다도 작게 형성되고, 두부 장착형 표시 장치를 장착한 상태에서 사용자의 왼쪽 눈의 비스듬히 상측에 배치되어 있다. 도 25b의 예의 경우, 도 1에 나타낸 두부 장착형 표시 장치(100)와의 차이는, 화상 표시부(20b)가, 오른쪽 광학상 표시부(26)를 대신하여 오른쪽 광학상 표시부(26b)를 구비하는 점과, 왼쪽 광학상 표시부(28)를 대신하여 왼쪽 광학상 표시부(28b)를 구비하는 점이다. 오른쪽 광학상 표시부(26b)는, 제1 실시 형태에 따른 광학 부재보다도 작게 형성되고, 사용자가 두부 장착형 표시 장치를 장착한 상태에서 사용자의 오른쪽 눈의 비스듬히 아래에 배치되어 있다. 왼쪽 광학상 표시부(28b)는, 제1 실시 형태에 따른 광학 부재보다도 작게 형성되고, 사용자가 두부 장착형 표시 장치를 장착한 상태에서 사용자의 좌안의 비스듬히 아래에 배치되어 있다. 이와 같이, 광학상 표시부는 사용자의 눈의 근방에 배치되어 있으면 충분하다. 또한, 광학상 표시부를 형성하는 광학 부재의 크기도 제한되지 않고, 광학상 표시부가 사용자의 눈의 일부분만을 덮는 태양, 바꾸어 말하면, 광학상 표시부가 사용자의 눈을 완전히 덮지 않는 태양의 두부 장착형 표시 장치로서 실현할 수도 있다.

예를 들면, 화상 처리부, 표시 제어부, AR 처리부, 음성 처리부와 같은 기능부는, CPU가 ROM이나 하드 디스크에 저장되어 있는 컴퓨터 프로그램을 RAM에 전개하여 실행함으로써 실현되는 것으로서 기재했다. 그러나, 이들 기능부는, 당해 기능을 실현하기 위해 설계된 ASIC(Application Specific Integrated Circuit)을 이용하여 구성되어도 좋다.

예를 들면, 상기 실시 형태에서는, 화상 표시부를 안경과 같이 장착하는 두부 장착형 표시 장치이지만, 화상 표시부는 통상의 평면형 디스플레이 장치(액정 디스플레이 장치, 플라즈마 디스플레이 장치, 유기 EL 디스플레이 장치 등)가 될 수 있다. 이 경우에도, 제어부와 화상 표시부와의 사이의 접속은, 유선의 신호 전송 라인을 통한 접속이라도 좋고, 무선의 신호 전송 라인을 통한 접속이라도 좋다. 이와 같은 구성에 의하면, 제어부를, 통상의 평면형 디스플레이 장치의 리모콘으로서 이용할 수도 있다.

또한, 화상 표시부로서, 안경과 같이 장착하는 화상 표시부를 대신하여, 예를 들면 모자와 같이 장착하는 화상 표시부와 같은 다른 형상의 화상 표시부를 채용해도 좋다. 또한, 이어폰은 귀걸이형이나 헤드 밴드형을 채용해도 좋고, 생략해도 좋다. 또한, 예를 들면, 화상 표시부는, 자동차나 비행기와 같은 차량에 탑재되는 헤드업 디스플레이(HUD, Head-Up Display)로서 구성되어도 좋다. 또한, 예를 들면, 화상 표시부는, 헬멧과 같은 신체 방호구에 내장된 두부 장착형 표시 장치로서 구성되어도 좋다.

예를 들면, 상기 실시 형태에서는, 전원으로서 2차 전지를 이용하는 것으로 했지만, 전원으로서는 2차 전지에 한정하지 않고, 여러 가지의 전지를 사용할 수 있다. 예를 들면, 1차 전지나, 연료 전지, 태양 전지, 열전지 등을 사용해도 좋다.

예를 들면, 상기 실시 형태에서는, 화상광 생성부는, 백 라이트와, 백 라이트 제어부와, LCD와, LCD 제어부를 이용하여 구성되는 것으로 했다. 그러나, 상기의 태양은 어디까지나 예시이다. 화상광 생성부는, 이들 구성부와 함께, 또는 이들 구성부를 대신하여, 다른 방식을 실현하기 위한 구성부를 구비하고 있어도 좋다. 예를 들면, 화상광 생성부는, 유기 EL(유기 일렉트로루미네선스 발광, Organic Electro-Luminescence)의 디스플레이와, 유기 EL 제어부를 포함하는 구성으로 해도 좋다. 또한, 예를 들면, 화상 생성부는, LCD를 대신하여 디지털 마이크로 미러 디바이스를 포함할 수도 있다. 또한, 예를 들면, 레이저 망막 투영형의 두부 장착형 표시 장치에 대하여 본 발명을 적용하는 것도 가능하다.

변형예 2

상기 제1 실시 형태에서는, 확장 현실 처리 순서의 일 예를 나타냈다. 그러나, 상기 확장 현실 처리의 순서는 어디까지나 일 예이며, 여러 가지의 변형이 가능하다. 예를 들면, 일부의 스텝을 생략해도 좋고, 더 한층의 다른 스텝을 추가해도 좋다. 또한, 실행되는 스텝의 순서를 변경해도 좋다.

상기 실시 형태에서는, 화소 시차각은, 좌우 동일한 화상 데이터에 기초하여 표시된 허상의 폭주각과, 좌우에서 1화소(픽셀) 어긋나게 한 화상 데이터에 기초하여 표시된 허상의 폭주각의 차분으로 규정된다. 그러나, 화소 시차각은, 좌우 동일한 화상 데이터에 기초하여 표시된 허상의 폭주각과, 좌우에서 어긋나게 한 화상 데이터에 기초하여 표시된 허상의 폭주각의 차분이면 좋고, 좌우의 화상 데이터의 어긋남량은 1화소(픽셀)에 한정되지 않는다.

예를 들면, 확장 현실 처리에 있어서, 산출된 목표 시차각(θx)이 평행보다 커지는 경우(즉 θx＜－θa/2가 되는 경우), AR 처리부는, 이러한 목표 시차각(θx)을 실현하기 위한 화상 데이터의 생성을 억제할 수 있다. 그러면, 사용자가 느끼는 위화감을 완화할 수 있다.

시차각이 너무 과도하게 크면, 사용자는 위화감을 느끼기 쉬워진다. 이 때문에, 예를 들면, 확장 현실 처리에 있어서, 산출된 목표 시차각(θx)이 소정의 문턱값 이상이 되는 경우(즉 θx＞θlim이 되는 경우), AR 처리부는, 이러한 목표 시차각(θx)을 실현하기 위한 화상 데이터의 생성을 억제할 수 있다. 또한, 소정의 문턱값(θlim)은, "당해 사용자에게 있어서, 오브젝트가 이중으로 보이는 시차와 하나로 보이는 시차와의 경계"로 설정되는 것이 바람직하다. 소정의 문턱값(θlim)은, 사용자의 기호에 따라서 조정 가능으로 해도 좋다.

AR 처리부는, 결정한 목표 거리(Lb)의 크기, 또는, 산출한 목표 시차각(θx)의 크기에 따라서, 오른쪽 눈 화상 데이터 및 왼쪽 눈 화상 데이터의 채도, 명도, 콘트라스트를 조정해도 좋다. 예를 들면, 먼 쪽에 표시시키는 가상 오브젝트를 나타내는 화상 데이터의 경우, 채도, 명도, 콘트라스트 중 적어도 어느 하나를 저하시킴으로써, 사용자가 느끼는 원근감을 강조할 수 있다.

화소 시차각에 기억되어 있는 시차각(θpix)은, 사용자의 기호에 따라서 조정 가능으로 해도 좋다. 사용자는, 원근감을 강조하고 싶은 경우 시차각(θpix)을 작게 조정하고, 원근감을 완화하고 싶은 경우 시차각(θpix)을 크게 조정할 수 있다.

변형예 3

상기 제1 실시 형태에 있어서, AR 처리부는, 카메라에 의해 취득된 사용자의 시계 방향의 외경 화상을, 화소 시차각을 이용한 패턴과 매칭시켜, 확장 현실 처리를 실현해도 좋다. 구체적으로, 화상 표시부는, 우안용 카메라와, 좌안용 카메라를 포함하는 구성으로 한다. 우안용 카메라는, 화상 표시부의 사용자의 오른쪽 눈에 대응하는 위치에 배치되고, 화상 표시부의 표측 방향의 외경을 촬상 가능한 카메라이다. 좌안용 카메라는, 화상 표시부의 사용자의 왼쪽 눈에 대응하는 위치에 배치되고, 화상 표시부의 표측 방향의 외경을 촬상 가능한 카메라이다. AR 처리부는, 우안용 카메라에 의해 촬상된 화상에 포함되는 대상 오브젝트(가상 오브젝트를 근방에 표시시키는 대상이 되는 오브젝트)와, 좌안용 카메라에 의해 촬상된 화상에 포함되는 대상 오브젝트와의 사이의 어긋남량을 구하고, 당해 어긋남량과 화소 시차각을 이용하여, 확장 현실 처리에 있어서의 "목표 거리"를 결정해도 좋다.

변형예 4

상기 제1 실시 형태에 있어서, AR 처리부는, 상기의 확장 현실 처리 순서를, 소정의 조건이 만족되는 경우에 한하여 실행해도 좋다. 예를 들면, 화상 표시부에 대하여 사용자의 시선의 방향을 검출 가능한 구성을 구비한 후에, AR 처리부는, 검출된 시선의 방향이 이하의 조건 중 적어도 어느 하나를 충족하는 경우에 한하여, 상기의 확장 현실 처리 순서를 실행해도 좋다.

- 수평 약 200°, 수직 약 125°(예를 들면, 하방향 75°, 상방향 50°)의 시야각의 범위 내일 때.

- 정보 수용 능력이 우수한 유효 시야인, 수평 약 30°, 수직 약 20°의 시야각의 범위 내일 때.

- 주시점이 신속하고 안정적으로 보이는 안정 주시야인, 수평 약 60°∼90°, 수직 약 45°∼70°의 시야각의 범위 내일 때.

- 영상에 유발되는 자기 운동 감각(벡션)이 일어나기 시작하는 수평 약 20°로부터, 자기 운동 감각이 포화되는 약 110°의 시야각의 범위 내일 때.

변형예 5

상기 제2 실시 형태에서는, 확장 현실 처리 순서의 일 예를 나타냈다. 그러나, 상기 확장 현실 처리의 순서는 어디까지나 일 예이며, 여러 가지의 변형이 가능하다. 예를 들면, 일부의 스텝을 생략해도 좋고, 다른 스텝을 추가해도 좋다. 또한, 실행되는 스텝의 순서를 변경해도 좋다.

제2 실시 형태의 확장 현실 처리 순서는, 제1 실시 형태의 확장 현실 처리 순서의 대체 순서라고 하여 설명했다. 그러나, 제2 실시 형태의 확장 현실 처리ㅅ순서는, 제1 실시 형태의 확장 현실 처리 순서와 병렬로 실행되어도 좋다.

제2 실시 형태의 확장 현실 처리 순서의 스텝 S302에서는, 3차원 정보 취득의 방법 c1∼c3을 예시했다. 그러나, 상기 방법은 어디까지나 예시이며, AR 처리부는, 방법 c1∼c3 이외의 다른 방법을 이용하여 3차원 정보를 취득해도 좋다. 또한, AR 처리부는, 하나의 방법(예를 들면 방법 c3)을 이용하여 취득한 3차원 정보를, 다른 방법(예를 들면 방법 c1)을 이용하여 취득한 정보에 따라 보정해도 좋다.

제2 실시 형태의 확장 현실 처리에 있어서, 추가로, 실 공간의 크기와 가상 오브젝트의 크기와의 균형을 조정하기 위해, 카메라로 촬상 가능한 영역의 크기와, 사용자의 눈에 허상으로서 투사되는 영역의 크기를, 의사적으로 일치시키는(캘리브레이팅) 처리를 실시해도 좋다.

제2 실시 형태의 확장 현실 처리의 스텝 S312에 있어서의 효과 e1∼e3은 어디까지나 예시이며, AR 처리부가 더하는 효과는 임의로 정할 수 있다. 예를 들면, AR 처리부는, 효과 e1∼e3을 대신하여, 또는 효과 e1∼e3과 함께, 다음의 효과를 더해도 좋다. 구체적으로는, AR 처리부는, 가상 오브젝트를 배치하는 목표 거리에 따라서, 가상 오브젝트에 대하여, 원근감을 부여하기 위한 효과를 더한다. 원근감을 부여하기 위한 효과로서는, 예를 들면, 목표 거리가 먼 경우는 포그 효과를 채용할 수 있고, 목표 거리가 가까운 경우는 샤프니스 효과를 채용할 수 있다.

변형예 6

본 발명은, 전술한 실시 형태나 실시 형태, 변형예에 한정되는 것이 아니고, 발명의 취지를 일탈하지 않는 범위에 있어서 여러 가지의 구성으로 실현할 수 있다. 예를 들면, 발명의 개요의 란에 기재한 각 형태 중의 기술적 특징에 대응하는 실시 형태, 실시 형태, 변형예 중의 기술적 특징은, 전술한 과제의 일부 또는 전부를 해결하기 위해, 혹은, 전술한 효과의 일부 또는 전부를 달성하기 위해, 적절히, 교체나 조합을 행하는 것이 가능하다. 또한, 그 기술적 특징이 본 명세서 중에 필수적인 것으로서 설명되어 있지 않으면, 적절히, 삭제하는 것이 가능하다.

10 : 제어부(컨트롤러)
12 : 점등부
14 : 터치 패드
16 : 십자 키
18 : 전원 스위치
20 : 화상 표시부
21 : 오른쪽 보유지지부
22 : 오른쪽 표시 구동부
23 : 왼쪽 보유지지부
24 : 왼쪽 표시 구동부
26 : 오른쪽 광학상 표시부
28 : 왼쪽 광학상 표시부
30 : 이어폰 플러그
32 : 오른쪽 이어폰
34 : 왼쪽 이어폰
40 : 접속부
42 : 오른쪽 코드
44 : 왼쪽 코드
46 : 연결 부재
48 : 본체 코드
51 : 송신부
52 : 송신부
53 : 수신부
54 : 수신부
61 : 카메라
67 : 거리 센서
69: 시선 센서
62: 동공 간 거리 측정부
110 : 입력 정보 취득부
100, 100a, 100b: 두부 장착형 표시 장치(두부 장착형 표시 디바이스)
120 : 기억부
122 : 눈 사이 거리(눈 사이 거리 기억부)
124 : 화소 시차각(화소 시차각 기억부)
130: 전원
140 : CPU
142, 142a, 142b : AR 처리부(확장 현실 처리부)
144: 화상 해석부
146: 오브젝트 검출부
160 : 화상 처리부
170 : 음성 처리부
180 : 인터페이스
190 : 표시 제어부
201 : 오른쪽 백 라이트 제어부
202 : 왼쪽 백 라이트 제어부
211 : 오른쪽 LCD 제어부
212 : 왼쪽 LCD 제어부
221 : 오른쪽 백 라이트
222 : 왼쪽 백 라이트
241 : 오른쪽 LCD
242 : 왼쪽 LCD
251 : 오른쪽 투사 광학계
252 : 왼쪽 투사 광학계
261 : 오른쪽 도광판
262 : 왼쪽 도광판
PCLK : 클록 신호
VSync : 수직 동기 신호
HSync : 수평 동기 신호
Data : 화상 데이터
Data1 : 우안용 화상 데이터
Data2 : 좌안용 화상 데이터
OA : 외부 기기
PC : 퍼스널 컴퓨터
SC : 외경
RE : 우안
LE : 좌안
VI : 허상
ER : 단부
EL : 단부
AP : 선단부
VR : 시야
VD : 시점 방향
IV : 가상 시점
OB : 가상 오브젝트
OB1 : 가상 오브젝트
OB2 : 가상 오브젝트
OBS : 가상 오브젝트의 그림자
OBa: 중첩 부분
CM : 가상 카메라
CML : 가상 카메라
CMR : 가상 카메라
DI : 가상 오브젝트의 움직임
VM : 마스크 오브젝트
θa : 초기 폭주각(제1 폭주각)
θb : 목표 폭주각
θc : 폭주각(제2 폭주각 θ)
θx : 목표 시차각
A: 오브젝트
MK: 마커

Claims (24)

1. 사용자가 허상과 외경(external scene)을 시인(visually recognize) 가능한 두부(head) 장착형 표시 장치로서,
   상기 사용자에게 상기 허상을 시인시키는 화상 표시부와,
   상기 사용자에게 확장 현실감을 주기 위한 오브젝트인 가상 오브젝트로서, 상기 사용자의 시각적인 위화감이 완화된 상기 가상 오브젝트를 나타내는 상기 허상을, 상기 화상 표시부에 형성시키는 확장 현실 처리부(augmented reality processing unit)
   를 구비하며,
   상기 확장 현실 처리부는,
   상기 사용자의 주위의 환경을 3차원 공간 내의 가상적인 입체물로서 표현한 3차원 정보를 이용하여, 상기 3차원 정보 내에 상기 가상 오브젝트를 배치하고, 상기 가상 오브젝트와 상기 3차원 정보 중 적어도 한쪽에 대하여, 상기 환경에 기초한 시각 효과를 더하며,
   상기 환경에 기초한 시각 효과는,
   카메라에 의해 촬영된 상기 외경을 화상 인식함으로써 수집된, 상기 3차원 정보의 각 영역의 휘도 정보에 기초하여, 상기 환경에 기초한 상기 가상 오브젝트의 라이팅(lighting)
   을 포함하며,
   상기 확장 현실 처리부는,
   상기 사용자에게 상기 가상 오브젝트를 시인시키는 목표 거리를 결정하고,
   결정된 상기 목표 거리에 기초하여, 3D 모델 공간 상에 2D 투영 화상을 취득하기 위한 2개의 가상 카메라를 설정하고,
   한쪽의 상기 가상 카메라에 의해 촬상된 2D 투영 화상을 스케일링하여 우안용 화상 데이터를 생성하고, 다른 한쪽의 상기 가상 카메라에 의해 촬상된 2D 투영 화상을 스케일링하여 좌안용 화상 데이터를 생성하는 두부 장착형 표시 장치.
2. 제1항에 있어서,
   상기 확장 현실 처리부는, 상기 사용자의 주위의 환경을 3차원 공간 내의 가상적인 입체물로서 표현한 3차원 정보를 이용하여, 상기 가상 오브젝트를 상기 사용자의 주위의 환경에 융상(融像; fit)시킴으로써, 상기 가상 오브젝트에 대한 상기 위화감을 완화하는 두부 장착형 표시 장치.
3. 제2항에 있어서,
   상기 확장 현실 처리부는, 상기 3차원 정보 내에 상기 가상 오브젝트를 배치하고, 상기 가상 오브젝트와 상기 3차원 정보 중 적어도 한쪽에 대하여, 상기 환경에 기초한 시각 효과를 더한 후, 상기 가상 오브젝트를 2차원 화상으로 변환함으로써, 상기 가상 오브젝트에 대한 상기 위화감을 완화하는 두부 장착형 표시 장치.
4. 제3항에 있어서,
   상기 환경에 기초한 시각 효과는,
   상기 가상 오브젝트 중 상기 3차원 정보 내의 상기 입체물의 그늘에 속하는 부분의 트리밍(trimming)과,
   상기 환경에 기초하여 설정된 상기 3차원 정보 내의 상기 입체물의 반발 계수와 마찰 계수 중 적어도 한쪽에 기초한, 상기 가상 오브젝트의 거동(behavior)의 조정
   중 어느 하나를 더 포함하는 두부 장착형 표시 장치.
5. 제3항에 있어서,
   사용자가 상기 두부 장착형 표시 장치를 장착한 상태에서 상기 사용자의 시계(視界) 방향의 화상을 취득하는 화상 취득부를 더 구비하고,
   상기 확장 현실 처리부는, 상기 화상 취득부에 의해 취득된 상기 시계 방향의 화상을 화상 인식함으로써, 상기 환경을 추정하는 두부 장착형 표시 장치.
6. 제3항에 있어서,
   상기 확장 현실 처리부는, 상기 가상 오브젝트를 2차원 화상으로 변환하기 위해, 상기 사용자의 눈으로부터 상기 사용자의 주시점까지의 사이의 거리를 고려하는 두부 장착형 표시 장치.
7. 제1항에 있어서,
   상기 확장 현실 처리부는, 상기 가상 오브젝트를 나타내는 우안용의 우안용 화상 데이터와, 좌안용의 좌안용 화상 데이터를 생성함으로써, 상기 가상 오브젝트에 대하여, 상기 가상 오브젝트의 입체 뷰(view)를 가능하게 하기 위한 시각 효과를 더하여 상기 가상 오브젝트에 대한 상기 위화감을 완화하고,
   상기 화상 표시부는, 상기 우안용 화상 데이터와, 상기 좌안용 화상 데이터를 이용하여, 상기 사용자의 좌우의 눈에 상이한 허상을 시인시키고,
   또한, 상기 두부 장착형 표시 장치는, 서로 동일한 상기 우안용 화상 데이터와 상기 좌안용 화상 데이터에 기초하여 표시된 상기 허상의 제1 폭주각(convergence angle)과, 좌우로 서로 어긋나게 한 상기 우안용 화상 데이터와 상기 좌안용 화상 데이터에 기초하여 표시된 상기 허상의 제2 폭주각과의 차분(difference)을 기억하는 화소 시차각 기억부를 더 구비하고,
   상기 확장 현실 처리부는, 상기 화소 시차각 기억부에 기억되어 있는 상기 차분을 이용하여, 상기 외경에 상기 가상 오브젝트를 융상시키기 위한 상기 우안용 화상 데이터와 상기 좌안용 화상 데이터를 생성하는 두부 장착형 표시 장치.
8. 제7항에 있어서,
   상기 확장 현실 처리부는,
   상기 사용자에게 상기 가상 오브젝트를 시인시키는 목표 거리를 결정하고,
   결정된 상기 목표 거리로부터, 상기 목표 거리에 있어서의 폭주각인 목표 폭주각을 산출하고,
   산출된 상기 목표 폭주각과 상기 제1 폭주각을 이용하여, 상기 목표 거리에 있어서의 시차각인 목표 시차각을 산출하고,
   상기 목표 시차각과, 상기 화소 시차각 기억부에 기억되어 있는 상기 차분을 이용하여, 상기 가상 오브젝트를 나타내는 단일의 화상 데이터로부터, 상기 우안용 화상 데이터와 상기 좌안용 화상 데이터를 생성하는 두부 장착형 표시 장치.
9. 사용자가 허상과 외경을 시인 가능한 두부 장착형 표시 장치로서,
   상기 사용자에게 상기 허상을 시인시키는 화상 표시부와,
   상기 사용자에게 확장 현실감을 주기 위한 오브젝트인 가상 오브젝트로서, 상기 사용자의 시각적인 위화감이 완화된 상기 가상 오브젝트를 나타내는 상기 허상을, 상기 화상 표시부에 형성시키는 확장 현실 처리부
   를 구비하며,
   상기 확장 현실 처리부는, 상기 가상 오브젝트를 나타내는 우안용의 우안용 화상 데이터와, 좌안용의 좌안용 화상 데이터를 생성함으로써, 상기 가상 오브젝트에 대하여, 상기 가상 오브젝트의 입체 뷰를 가능하게 하기 위한 시각 효과를 더하여 상기 가상 오브젝트에 대한 상기 위화감을 완화하고,
   상기 화상 표시부는, 상기 우안용 화상 데이터와, 상기 좌안용 화상 데이터를 이용하여, 상기 사용자의 좌우의 눈에 상이한 허상을 시인시키고,
   또한, 상기 두부 장착형 표시 장치는, 서로 동일한 상기 우안용 화상 데이터와 상기 좌안용 화상 데이터에 기초하여 표시된 상기 허상의 제1 폭주각과, 좌우로 서로 어긋나게 한 상기 우안용 화상 데이터와 상기 좌안용 화상 데이터에 기초하여 표시된 상기 허상의 제2 폭주각과의 차분을 기억하는 화소 시차각 기억부를 더 구비하고,
   상기 확장 현실 처리부는, 상기 화소 시차각 기억부에 기억되어 있는 상기 차분을 이용하여, 상기 외경에 상기 가상 오브젝트를 융상시키기 위한 상기 우안용 화상 데이터와 상기 좌안용 화상 데이터를 생성하며,
   상기 확장 현실 처리부는,
   상기 사용자에게 상기 가상 오브젝트를 시인시키는 목표 거리를 결정하고,
   결정된 상기 목표 거리에 기초하여, 3D 모델 공간 상에 2D 투영 화상을 취득하기 위한 2개의 가상 카메라를 설정하고,
   결정된 상기 목표 거리로부터, 상기 목표 거리에 있어서의 폭주각인 목표 폭주각을 산출하고,
   산출된 상기 목표 폭주각과 상기 제1 폭주각을 이용하여, 상기 목표 거리에 있어서의 시차각인 목표 시차각을 산출하고,
   상기 목표 시차각과, 상기 화소 시차각 기억부에 기억되어 있는 상기 차분을 이용하여, 한쪽의 상기 가상 카메라에 의해 촬상된 2D 투영 화상을 스케일링하여 상기 우안용 화상 데이터를 생성하고, 다른 한쪽의 상기 가상 카메라에 의해 촬상된 2D 투영 화상을 스케일링하여 상기 좌안용 화상 데이터를 생성하는 두부 장착형 표시 장치.
10. 제9항에 있어서,
    상기 사용자의 눈 사이 거리를 기억하는 눈 사이 거리 기억부를 더 구비하고,
    상기 확장 현실 처리부는, 상기 2개의 가상 카메라를 설정할 때, 상기 결정된 목표 거리에 기초하여, 3D 모델 공간상에 가상적인 시점인 가상 시점을 배치하고, 배치된 상기 가상 시점으로부터 눈 사이 거리/2 만큼 떨어진 위치에 한쪽의 가상 카메라를 배치하고, 배치된 상기 가상 시점으로부터 눈 사이 거리/2 만큼 떨어진 위치에 다른 한쪽의 가상 카메라를 배치하는 두부 장착형 표시 장치.
11. 제10항에 있어서,
    상기 사용자의 동공 간 거리를 측정하는 동공 간 거리 측정부를 더 구비하고,
    상기 동공 간 거리 측정부에 의한 측정 결과는, 상기 눈 사이 거리로서 상기 눈 사이 거리 기억부에 기억되는 두부 장착형 표시 장치.
12. 제1항에 있어서,
    실 공간에서 실 오브젝트의 좌표 위치 및 형상을 검출하는 오브젝트 검출부를 더 구비하고,
    상기 확장 현실 처리부는, 상기 실 오브젝트의 좌표 위치 및 형상에 기초하여, 상기 실 공간에서의 좌표 위치가 설정되는 상기 가상 오브젝트를 제어함으로써 상기 가상 오브젝트의 위화감을 완화하는 두부 장착형 표시 장치.
13. 제12항에 있어서,
    상기 확장 현실 처리부는 상기 실 오브젝트의 좌표 위치 및 형상에 기초하여 상기 가상 오브젝트의 거동을 제어하는 두부 장착형 표시 장치.
14. 제13항에 있어서,
    상기 확장 현실 처리부는, 상기 가상 오브젝트가 상기 사용자의 시점으로부터 상기 실 오브젝트의 뒤에 위치해 있는 경우, 검출된 상기 실 오브젝트의 좌표 위치와 상기 가상 오브젝트의 설정 좌표 위치에 기초하여, 상기 가상 오브젝트 중 상기 실 오브젝트와 중첩되는 부분이 사라지도록, 상기 가상 오브젝트를 변경하는 두부 장착형 표시 장치.
15. 제13항에 있어서,
    상기 확장 현실 처리부는, 상기 가상 오브젝트가 실 공간의 좌표계에서 상기 실 오브젝트를 피하도록 상기 가상 오브젝트를 거동시키는 두부 장착형 표시 장치.
16. 제13항에 있어서,
    상기 확장 현실 처리부는, 상기 가상 오브젝트가 상기 실 공간의 좌표계에서 이동하여 상기 실 오브젝트에 도달하는 경우, 상기 가상 오브젝트가 상기 실 오브젝트와 충돌하는 것과 같이 상기 가상 오브젝트를 거동시키는 두부 장착형 표시 장치.
17. 제12항에 있어서,
    사용자의 시선을 검출하는 시선 검출부를 더 구비하고,
    상기 확장 현실 처리부는, 검출된 상기 시선에 기초하여 상기 가상 오브젝트를 표시하는 두부 장착형 표시 장치.
18. 제12항에 있어서,
    상기 사용자로부터 상기 실 오브젝트까지의 거리를 검출하는 거리 검출부를 더 구비하고,
    상기 확장 현실 처리부는, 검출된 상기 거리에 기초하여 상기 가상 오브젝트를 표시하는 두부 장착형 표시 장치.
19. 제12항에 있어서,
    상기 화상 표시부는,
    상기 화상의 화상광을 출력하는 화상광 출력부; 및
    출력된 상기 화상광을 상기 사용자의 눈으로 유도하는 도광부를 더 구비하고,
    상기 도광부는, 외광을 전달하고, 상기 화상광과 함께 상기 외광이 상기 사용자의 눈에 입사되도록 하는 두부 장착형 표시 장치.
20. 사용자에게 표시 화상을 허상으로서 시인시키는 투과형 표시 시스템으로서,
    실 공간에서 실 오브젝트의 좌표 위치 및 형상을 검출하는 오브젝트 검출부;
    상기 실 공간에서의 좌표 위치가 설정된 가상 오브젝트를, 상기 실 공간의 좌표계에 기초하여 시인시키도록 표시하는 확장 현실 처리부; 및
    상기 표시 화상을 표시하는 표시부
    를 구비하고,
    상기 확장 현실 처리부는, 상기 가상 오브젝트를, 상기 실 오브젝트의 좌표 위치 및 형상에 기초하여 제어하며,
    상기 확장 현실 처리부는,
    상기 사용자의 주위의 환경을 3차원 공간 내의 가상적인 입체물로서 표현한 3차원 정보를 이용하여, 상기 3차원 정보 내에 상기 가상 오브젝트를 배치하고, 상기 가상 오브젝트와 상기 3차원 정보 중 적어도 한쪽에 대하여, 상기 환경에 기초한 시각 효과를 더하며,
    상기 환경에 기초한 시각 효과는,
    카메라에 의해 촬영된 외경을 화상 인식함으로써 수집된, 상기 3차원 정보의 각 영역의 휘도 정보에 기초하여, 상기 환경에 기초한 상기 가상 오브젝트의 라이팅
    을 포함하며,
    상기 확장 현실 처리부는,
    상기 사용자에게 상기 가상 오브젝트를 시인시키는 목표 거리를 결정하고,
    결정된 상기 목표 거리에 기초하여, 3D 모델 공간 상에 2D 투영 화상을 취득하기 위한 2개의 가상 카메라를 설정하고,
    한쪽의 상기 가상 카메라에 의해 촬상된 2D 투영 화상을 스케일링하여 우안용 화상 데이터를 생성하고, 다른 한쪽의 상기 가상 카메라에 의해 촬상된 2D 투영 화상을 스케일링하여 좌안용 화상 데이터를 생성하는 투과형 표시 시스템.
21. 사용자가 허상과 외경을 시인 가능한 두부 장착형 표시 장치의 제어 방법으로서,
    상기 사용자에게 상기 허상을 시인시키는 것과,
    상기 사용자에게 상기 허상을 시인시킬 때, 상기 사용자에게 확장 현실감을 주기 위한 오브젝트인 가상 오브젝트로서, 상기 사용자의 시각적인 위화감이 완화된 상기 가상 오브젝트를 나타내는 상기 허상을 형성하는 것
    을 포함하며,
    상기 허상을 형성하는 것은, 상기 사용자의 주위의 환경을 3차원 공간 내의 가상적인 입체물로서 표현한 3차원 정보를 이용하여, 상기 3차원 정보 내에 상기 가상 오브젝트를 배치하고, 상기 가상 오브젝트와 상기 3차원 정보 중 적어도 한쪽에 대하여, 상기 환경에 기초한 시각 효과를 더하며,
    상기 환경에 기초한 시각 효과는,
    카메라에 의해 촬영된 상기 외경을 화상 인식함으로써 수집된, 상기 3차원 정보의 각 영역의 휘도 정보에 기초하여, 상기 환경에 기초한 상기 가상 오브젝트의 라이팅
    을 포함하며,
    상기 허상을 형성하는 것은,
    상기 사용자에게 상기 가상 오브젝트를 시인시키는 목표 거리를 결정하고,
    결정된 상기 목표 거리에 기초하여, 3D 모델 공간 상에 2D 투영 화상을 취득하기 위한 2개의 가상 카메라를 설정하고,
    한쪽의 상기 가상 카메라에 의해 촬상된 2D 투영 화상을 스케일링하여 우안용 화상 데이터를 생성하고, 다른 한쪽의 상기 가상 카메라에 의해 촬상된 2D 투영 화상을 스케일링하여 좌안용 화상 데이터를 생성하는 두부 장착형 표시 장치의 제어 방법.
22. 제21항에 있어서,
    화상 표시부에 상기 허상을 형성하는 것은, 상기 사용자의 주위의 환경을 3차원 공간 내의 가상적인 입체물로서 표현한 3차원 정보를 이용하여, 상기 가상 오브젝트를 상기 사용자의 주위 환경에 융상시킴으로써, 상기 가상 오브젝트에 대한 상기 위화감을 완화시키는 것을 포함하는 두부 장착형 표시 장치의 제어 방법.
23. 제21항에 있어서,
    화상 표시부에 상기 허상을 형성하는 것은, 상기 가상 오브젝트를 나타내는 우안용의 우안용 화상 데이터와 좌안용의 좌안용 화상 데이터를 생성함으로써, 상기 가상 오브젝트에 대하여, 상기 가상 오브젝트의 입체 뷰를 가능하게 하기 위한 시각 효과를 더하여 상기 가상 오브젝트에 대한 상기 위화감을 완화하는 것을 포함하고,
    상기 사용자에게 상기 허상을 시인시키는 것은, 상기 우안용 화상 데이터와 상기 좌안용 화상 데이터를 이용하여, 상기 사용자의 좌우의 눈에 상이한 상기 허상을 시인시키는 것을 포함하고,
    상기 화상 표시부에 상기 허상을 형성하는 것은, 서로 동일한 상기 우안용 화상 데터와 상기 좌안용 화상 데이터에 기초하여 표시된 상기 허상의 제1 폭주각과, 좌우로 서로 어긋나게 한 상기 우안용 화상 데이터와 상기 좌안용 화상 데이터에 기초하여 표시된 상기 허상의 제2 폭주각과의 차분을 이용하여, 상기 외경에 상기 가상 오브젝트를 융상시키기 위한 상기 우안용 화상 데이터와 상기 좌안용 화상 데이터를 생성하는 것을 포함하는 두부 장착형 표시 장치의 제어 방법.
24. 제21항에 있어서,
    실 공간에서 실 오브젝트의 좌표 위치와 형상을 검출하는 것을 더 포함하고,
    화상 표시부에 상기 허상을 형성하는 것은, 상기 실 공간에서의 좌표 위치가 설정된 상기 가상 오브젝트를 상기 실 오브젝트의 좌표 위치 및 형상에 기초하여 제어함으로써 상기 가상 오브젝트의 위화감을 완화하는 것을 포함하는 두부 장착형 표시 장치의 제어 방법.

Images