KR20140136943A

KR20140136943A - 정보 처리 장치, 정보 처리 시스템, 및 정보 처리 방법

Info

Publication number: KR20140136943A
Application number: KR1020147025953A
Authority: KR
Inventors: 데츠로 고토; 마사토시 우에노; 겐이치 가바사와; 도시유키 나카가와; 다이스케 가와카미; 시노부 구리야; 츠바사 츠카하라; 히사코 스가노
Original assignee: 소니 주식회사
Priority date: 2012-03-29
Filing date: 2013-02-20
Publication date: 2014-12-01
Also published as: EP2831849A1; US9824497B2; CN104205175A; JP2013206322A; WO2013145536A1; US10198870B2; CN104205175B; TW201350912A; US20150070389A1; JP5966510B2; US20180096536A1

Abstract

본 발명은 일반적으로 입력 장치에 의해 현실 공간에 투영된 마커의 공간적인 위치에 기초하여 현실 공간에 가상 정보가 중첩하는 것에 대응하는 중첩 파라미터를 생성하고, 상기 마커가 검출 가능한 동안에 공간적인 위치 관계에 따라 표시부에 상기 현실 공간에 중첩된 상기 가상 정보를 표시시키고 상기 마커의 마지막으로 검출된 공간적인 위치에 따라 상기 마커가 검출 불가능한 후에 상기 현실 공간에 중첩된 가상 정보의 표시를 계속하라는 지시를 실행하도록 구성된 적어도 하나의 프로세서를 포함하는 정보 처리 장치에 관한 것이다.

Description

정보 처리 장치, 정보 처리 시스템, 및 정보 처리 방법{INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING SYSTEM, AND INFORMATION PROCESSING METHOD}

본 기술은 현실 공간에 대하여 화상을 중첩하여 표시하는 정보 처리 장치, 정보 처리 시스템, 및 정보 처리 방법에 관한 것이다.

현실 공간의 화상에 현실 공간에 대응하는 화상을 부가하는 확장 현실(augmented reality)(AR)이라고 불리는 기술이 있다. AR에서는, 카메라 등이 현실 공간의 화상을 취득하기 위해 사용되고, 취득된 현실 공간의 화상에 대하여, 가상적인 정보(이하, 가상 정보)가 중첩하여 표시된다. 현실 공간에 대하여 중첩하여 표시된 가상 정보를 봄으로써, 유저는 가상 정보로서 표시되어 있는 오브젝트가 마치 현실 공간에 실재하는 것처럼 인식한다.

AR은 마커(marker) AR과 마커레스(marker-less) AR을 포함한다.

마커 AR에서는, 현실 공간에 물리적으로 설치되는 마커(예를 들어, 소정의 사이즈의 착색된 정사각형)의 화상 정보가 미리 등록되어 있다. 현실 공간의 촬영에 의해 현실 공간의 화상(현실 화상)이 취득되고, 이 현실 화상으로부터 마커가 검출되고, 검출된 마커의 크기 및 각도에 관한 정보를 사용하여, 예를 들어, 마커에 대한 촬영 장치의 공간적인 위치 관계가 산출된다. 마커에 대한 촬영 장치의 이 공간적인 위치 관계에 기초하여, 가상 정보의 표시 위치 및 표시 각도가 산출된다. 산출된 표시 위치 및 표시 각도에 기초하여, 촬영 장치와의 상대 위치가 고정된 표시 장치에 가상 정보가 표시되어, 유저는 현실 공간과 함께 가상 정보를 인지할 수 있다(예를 들어, 특허 문헌 1 참조.).

이에 반해, 마커레스 AR에서는, 특정한 마커가 사용되지 않는다. 현실 화상에서의 어떤 물체와 현실 공간 자체가 공간적으로 인식되고, 예를 들어 물체의 크기, 및 각도 등에 관한 정보에 기초하여, 물체에 대한 촬영 장치의 공간적인 위치 관계가 산출된다. 그 위치 관계에 기초하여, 가상 정보의 표시 위치 및 표시 각도가 산출되고, 촬영 장치와의 상대 위치가 고정된 표시 장치에 가상 정보가 표시되어, 유저가 현실 공간과 함께 가상 정보를 인지할 수 있다.

일본 특허 출원 공개 제2007-75213호 일본 특허 출원 공개 제2008-40556호 일본 특허 출원 공개 제2007-272623호 일본 특허 출원 공개 제2002-324239호

마커 AR에서는, 현실 공간에 실재하는 마커가 가상 정보의 표시 위치 및 표시 각도를 산출하기 위한 기초로서 사용된다. 그러므로, 이들을 비교적 용이하게 산출할 수 있다는 장점이 있다. 한편, 마커를 작성하는 시간과 수고, 마커 설치 스페이스의 확보, 마커의 시간의 지남에 따른 열화, 현실 공간에 실재하는 마커에 의한 물리적 및 심리적 스트레스, 마커의 디자인상의 제약 등을 포함하는 단점이 있다.

이에 반해, 마커레스 AR은 마커를 작성 및 설치할 필요가 없고, 마커를 설치해야 하지 않는 장소에도 적용할 수 있다고 하는 장점이 있다. 한편, 예를 들어, 가상 정보를 표시하기 위해 주변의 넓은 영역의 공간 모델을 구축하는 것으로 인해 계산이 번잡해지고, 높은 연산 능력이 요구되어, 연산 능력이 부족하면 안정성 및 고정밀도의 확보가 곤란하고, 지연이 발생할 우려가 있다는 등의 단점이 있다.

또한, 마커 AR과 마커레스 AR에 공통되는 문제점으로서 이하의 것을 들 수 있다.

- 유저가 자유롭게 가상 정보를 조작(예를 들어, 위치 이동, 줌, 및 회전)하는 것이 곤란하다. 즉, 일단 사용을 중지하여 실재 마커의 위치를 변경(마커 AR의 경우)하고, 프로그램 상에서의 가상 정보의 표시 위치를 변경하는 것이 필요하다.

- 가시광 카메라에 의한 화상 인식을 사용함으로 인해, 너무 밝은 장소나 너무 어두운 장소에서는 화상을 인식할 수 없다. 더구나, 광원(태양, 전등 등)에 대한 차폐물에 의해 실재 물체 표면에 강한 음영(콘트라스트)이 발생한다는 문제도 생긴다.

상술한 바와 같이, 마커 AR 및 마커레스 AR은 각각 일장 일단이 있으며, 실용화를 위해서 개량의 여지가 있다.

상술한 바와 같은 사정을 감안하여, 안정적이고 또한 고정밀도로 가상 정보를 표시하는 것이 바람직하다.

본 발명의 한 예의 실시 형태는 입력 장치에 의해 현실 공간에 투영된 마커의 공간적인 위치에 기초하여 현실 공간에 가상 정보가 중첩하는 것에 대응하는 중첩 파라미터를 생성하고, 상기 마커가 검출 가능한 동안에 공간적인 위치 관계에 따라 표시부에 상기 현실 공간에 중첩된 상기 가상 정보를 표시시키고, 상기 마커의 마지막으로 검출된 공간적인 위치에 따라 상기 마커가 검출 불가능한 후에 상기 현실 공간에 중첩된 가상 정보의 표시를 계속하라는 지시를 실행하도록 구성된 적어도 하나의 프로세서를 포함하는 정보 처리 장치에 관한 것이다.

본 발명의 다른 예의 실시 형태는 수신기; 및 입력 장치에 의해 현실 공간에 투영된 마커의 공간적인 위치에 기초하여 현실 공간에 가상 정보가 중첩하는 것에 대응하는 중첩 파라미터를 수신하고, 상기 마커가 검출 가능한 동안에 공간적인 위치 관계에 따라 표시부에 상기 현실 공간에 중첩된 상기 가상 정보를 표시시키고, 상기 마커의 마지막으로 검출된 공간적인 위치에 따라 상기 마커가 검출 불가능한 후에 상기 현실 공간에 중첩된 가상 정보의 표시를 계속하라는 지시를 실행하도록 구성된 적어도 하나의 프로세서를 포함하는 정보 처리 장치에 관한 것이다.

본 발명의 한 예의 실시 형태는 입력 장치에 의해 현실 공간에 투영된 마커의 공간적인 위치에 기초하여 현실 공간에 가상 정보가 중첩하는 것에 대응하는 중첩 파라미터를 생성하라는 지시를 실행하도록 구성된 제1 프로세서를 포함하는 제1 정보 처리 장치; 및 상기 마커가 검출 가능한 동안에 상기 공간적인 위치 관계에 따라 표시부에 상기 현실 공간에 중첩된 상기 가상 정보를 표시시키고, 상기 마커의 마지막으로 검출된 공간적인 위치에 따라 상기 마커가 검출 불가능한 후에 상기 현실 공간에 중첩된 가상 정보의 표시를 계속하라는 지시를 실행하도록 구성된 제2 프로세서를 포함하는 제2 정보 처리 장치를 포함하는 시스템에 관한 것이다.

상술한 바와 같이, 본 기술에 따르면, 안정적이고 또한 고정밀도로 가상 정보를 표시할 수 있다.

도 1은 본 기술의 제1 실시 형태에 따른 정보 처리 시스템을 도시하는 모식도이다.
도 2는 복수의 헤드 마운트 디스플레이(HMD)를 포함하는 정보 처리 시스템을 도시하는 모식도이다.
도 3은 HMD 및 입력 장치의 하드웨어 구성을 도시하는 블록도이다.
도 4는 제1 처리를 실행하기 위한 HMD의 기능적인 구성을 도시하는 블록도이다.
도 5는 변형예 9에 따른 정보 처리 시스템을 모식적으로 도시하는 블록도이다.
도 6은 중첩 파라미터 생성부에 의한 중첩 파라미터 생성의 원리를 모식적으로 도시하는 도면이다.
도 7은 HMD에 의한 제1 처리의 동작을 도시하는 흐름도이다.
도 8은 마커 AR로 사용되는 마커의 일례를 도시하는 도면이다.
도 9는 제2 처리를 실행하기 위한 HMD의 기능적인 구성을 도시하는 블록도이다.
도 10은 HMD에 의한 제2 처리의 동작을 도시하는 흐름도이다.
도 11은 제2 처리에 의해 얻어지는 효과를 설명하기 위한 도면이다.
도 12는 제3 처리의 개요를 설명하기 위한 도면이다.
도 13은 제3 처리를 실행하기 위한 HMD의 기능적인 구성을 도시하는 블록도이다.
도 14는 HMD에 의한 제3 처리의 동작을 도시하는 흐름도이다.
도 15는 제3 처리에 의한 표시 결과를 도시하는 도면이다.
도 16은 마커의 변형을 모식적으로 도시하는 도면이다.
도 17은 본 기술의 제2 실시 형태에 따른 정보 처리 시스템을 도시하는 모식도이다.
도 18은 제2 실시 형태에 따른 HMD의 하드웨어 구성을 도시하는 블록도이다.
도 19는 투영 HMD에 의한 메인 동작을 도시하는 흐름도이다.
도 20은 비투영 HMD에 의한 투영 HMD의 중첩 파라미터를 취득하는 동작을 도시하는 흐름도이다.
도 21은 변형예 1에 따른 정보 처리 시스템을 도시하는 모식도이다.
도 22는 변형예 2에 따른 정보 처리 시스템을 도시하는 모식도이다.
도 23은 변형예 2에 따른 정보 처리 시스템의 하드웨어 구성을 도시하는 블록도이다.
도 24는 변형예 3에 따른 정보 처리 시스템을 도시하는 모식도이다.
도 25는 변형예 4에 따른 정보 처리 시스템을 도시하는 모식도이다.
도 26은 변형예 4에 따른 정보 처리 시스템의 하드웨어 구성을 도시하는 블록도이다.
도 27은 변형예 5에 따른 정보 처리 시스템을 도시하는 모식도이다.
도 28은 변형예 6에 따른 정보 처리 시스템을 도시하는 모식도이다.
도 29는 변형예 7에 따른 입력 장치를 도시하는 사시도이다.
도 30은 변형예 9에 의해 실현되는 처리를 모식적으로 도시하는 도면이다.
도 31은 변형예 9에 의해 실현되는 처리를 모식적으로 도시하는 도면이다.
도 32는 변형예 9에 의해 실현되는 처리를 모식적으로 도시하는 도면이다.

이하, 본 기술에 따른 실시 형태들을 도면을 참조하면서 설명한다.

<제1 실시 형태>

(제1 실시 형태의 개요)

도 1은 본 기술의 제1 실시 형태에 따른 정보 처리 시스템(1)을 도시하는 모식도이다.

본 실시 형태의 정보 표시 시스템(1)은 헤드 마운트 디스플레이(HMD)(100)(정보 처리 장치), 및 입력 장치(200)(투영 장치)를 포함한다.

HMD(100)는 전체로서 안경의 형상이고, 유저 U의 머리부에 장착될 수 있다. HMD(100)는 장착 시에 유저 U의 눈앞에 배치되는 표시부(102), 및 현실 공간의 적어도 유저 U의 시야 범위를 촬영할 수 있는 촬영부(101)를 포함한다. 표시부(102)는 투과성을 갖고, 유저 U에게 표시부(102)를 통하여 현실 공간을 인지시키고, 동시에, 유저 U가 인지하는 현실 공간에 중첩하여 화상을 표시할 수 있다. HMD(100)는 촬영부(101)가 촬영한 현실 공간의 화상(현실 화상)에 포함되는, 입력 장치(200)에 의해 투영된 마커 M을 검출한다. 검출한 마커 M에 기초하여, 가상 정보 I의 중첩 파라미터를 산출한다. 이 "중첩 파라미터"는 현실 공간에 대하여 중첩하여 표시하는 가상 정보의 형태에 관한 파라미터이며, 구체적으로, 가상 정보 I의 위치, 각도, 및 크기이다. HMD(100)는 산출한 중첩 파라미터에 기초하여 소정의 가상 정보를 생성하고, 표시부(102)에 의해, 유저 U가 인지하는 현실 공간에 투영된 마커 M에 중첩하여 가상 정보 I를 표시한다. 이 가상 정보 I로서 표시하는 콘텐츠의 선택은 유저에 의해 HMD(100)에 설치된 입력부(도 3)를 사용하여 미리 입력된다.

입력 장치(200)는 유저 U의 손에 잡히도록 한 그러한 크기 및 형상을 갖는다. 입력 장치(200)에는 투영 버튼(201), 줌 슬라이더(202), 및 전원 버튼(203)이 설치된다. 유저 U가 투영 버튼(201)을 누르면, 투영 창(204)으로부터, 마커 M으로서 소정 형상의 도형이 현실 공간의 투영 대상물 T(예를 들어, 책상)를 향해 투영된다. 이 마커 M의 투영 위치가 HMD(100)에 의한 가상 정보 I의 표시 위치가 된다. 또한, 유저 U가 투영 버튼(201)을 누르면서 입력 장치(200)를 움직임으로써, 가상 정보 I가 조작될 수 있다. 예를 들어, 유저 U가 투영 버튼(201)을 누르면서 입력 장치(200)를 이동해서 마커 M의 투영 위치를 이동하면, 가상 정보 I가 이동(드래그)될 수 있다. 마찬가지로, 유저 U가 투영 버튼(201)을 누르면서 입력 장치(200)를 회전해서 마커 M을 회전하면, 가상 정보 I가 회전될 수 있다. 또한, 유저 U가 투영 버튼(201)을 누르면서 줌 슬라이더(202)를 조작하면, 가상 정보 I가 확대/축소(줌)될 수 있다. 가상 정보 I의 표시 중에 새로운 별도의 가상 정보를 표시하기 위해서, 유저 U는 투영 버튼(201)의 누름을 정지하고, HMD(100)에 설치된 입력부(도 3)를 사용하여 새로운 가상 정보로서 표시하는 콘텐츠의 선택을 입력한다. 또한, 유저 U가 투영 버튼(201)의 누름을 정지하고, 그 후 다시 투영 버튼(201)을 눌러서 마커 M을 표시 중인 가상 정보 I에 겹치면, 다시 그 가상 정보 I를 조작할 수 있게 된다.

정보 표시 시스템(1)은 복수의 유저에 각각 장착된 복수의 HMD를 포함할 수 있다는 점에 유의한다.

도 2는 복수의 HMD(100A 및 100B)를 포함하는 정보 처리 시스템(1)을 도시하는 모식도이다.

복수의 HMD(100A 및 100B)는 복수의 유저 U1 및 U2에 각각 장착된다. 유저 U1은 입력 장치(200)를 사용하여 현실 공간에 마커 M을 투영한다. HMD(100A)의 촬영부(101A)가 촬영한 현실 화상으로부터, HMD(100A)는 HMD(100A)를 장착한 유저 U1이 갖고 있는 입력 장치(200)에 의해 투영된 마커 M을 검출하고, 검출한 마커 M에 기초하여 가상 정보를 표시한다. HMD(100B)의 촬영부(101B)가 촬영한 현실 화상으로부터, HMD(100B)는 HMD(100B)를 장착한 유저 U2와는 다른 유저 U1이 갖고 있는 입력 장치(200)에 의해 투영된 마커 M을 검출하고, 검출한 마커 M에 기초하여 가상 정보를 표시한다.

(HMD의 하드웨어 구성)

도 3은 HMD(100) 및 입력 장치(200)의 하드웨어 구성을 도시하는 블록도이다.

HMD(100)는 CPU(Central Processing Unit)(103), 메모리(104), 촬영부(101), 표시부(102), 입력부(105), 모션 센서(106), 환경 센서(107), 제1 송수신기(108), 제2 송수신기(109), 및 내부 전원(110)을 포함한다. 메모리(104), 촬영부(101), 표시부(102), 입력부(105), 모션 센서(106), 환경 센서(107), 제1 송수신기(108), 및 제2 송수신기(109)는 각각 CPU(103)에 접속된다.

CPU(103)는 메모리(104)에 저장된 프로그램에 따라서 각종 처리를 실행한다.

촬영부(101)는 현실 공간의 적어도 유저의 시야 범위를 촬영할 수 있다. 촬영부(101)는, 예를 들어 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 등의 촬영 소자, 및 촬영 소자의 출력을 A/D(Analog/Digital) 변환하는 A/D 컨버터로 구성된다.

표시부(102)는, 예를 들어 LCD(Liquid Crystal Display element)와 광학계로 이루어지고, LCD에 의해 형성된 화상을 광학계를 통해 유저에 제시한다. 보다 구체적으로, 표시부(102)는 유저에게 외계를 인지시키면서 LCD에 의해 형성된 화상을 유저의 시야에 겹쳐서 표시할 수 있다.

입력부(105)는 버튼, 슬라이더, 스위치, 다이얼, 터치 센서 등으로 구성되어, 유저 조작에 의해 CPU(103)에 명령과, 가상 정보로서 표시하는 콘텐츠의 선택을 입력할 수 있다.

모션 센서(106)는, 예를 들어 가속도 센서, 자이로 센서, 및 자기 센서이며, HMD(100)의 이동을 검출할 수 있다.

환경 센서(107)는, 예를 들어 조도, 및 온도/습도를 검출할 수 있다.

제1 송수신기(108)는 Bluetooth(등록 상표) 및 Wi-Fi(등록 상표) 등의 중/고속 근거리 무선 송수신기이며, 입력 장치(200)와의 정보의 교환을 행한다.

제2 송수신기(109)는 3G(3rd Generation) 및 WiMAX(Worldwide Interoperability for Microwave Access, 등록 상표) 등의 중거리 무선 송수신기이며, 인터넷 및 LAN(Local Area Network) 등의 네트워크 N과의 접속을 통하여 가상 정보로서 표시하는 콘텐츠를 다운로드한다.

(입력 장치의 하드웨어 구성)

도 3을 참조하면, 입력 장치(200)는 CPU(212), 메모리(205), 입력부(206), 모션 센서(207), 제3 송수신기(208), 변조부(209), 투영부(210), 및 내부 전원(211)을 포함한다. 메모리(205), 입력부(206), 모션 센서(207), 제3 송수신기(208), 변조부(209), 및 투영부(210)는 각각 CPU(212)에 접속된다.

CPU(212)는 메모리(205)에 저장된 프로그램에 따라서 각종 처리를 실행한다. CPU 대신에, MPU(Micro Processing Unit)가 사용될 수 있다는 점에 유의한다.

입력부(206)는 투영 버튼(201), 줌 슬라이더(202), 및 전원 버튼(203) 등의 버튼, 슬라이더, 스위치, 다이얼, 터치 센서 등으로 구성되고, 유저 조작에 의해 CPU(212)에 명령을 입력할 수 있다.

모션 센서(207)는, 예를 들어 가속도 센서, 자이로 센서, 및 자기 센서이며, 입력 장치(200)의 이동을 검출할 수 있다.

제3 송수신기(208)는 Bluetooth(등록 상표), Wi-Fi(등록 상표) 등의 중/고속 근거리 무선 송수신기이며, HMD(100)와의 정보의 교환을 행한다.

변조부(209)는 CPU(212)가 취급하는 디지털 데이터를 투영부(210)가 투영할 수 있는 광신호로 변조한다.

투영부(210)는 투영 창(204)(도 1)으로부터 마커로서 소정 형상의 도형을 현실 공간의 투영 대상물(벽, 책상 등)을 향해 투영할 수 있는 레이저 포인터 또는 레이저 프로젝터로 구성된다. 레이저 포인터로서는 점 표시형(적색, 녹색, 청색), 빔 가변형(스캐너 타입, 렌즈 타입, 홀로그램 타입), 자외형, 적외형 등을 채용할 수 있다. 레이저 프로젝터로서는, 예를 들어, MEMS(Micro Electro Mechanical System) 스캐너를 탑재하고, 고속으로 좌우로 움직이는 1개의 레이저광으로 위에서부터 순차적으로 주사함으로써 화상을 투영할 수 있는 장치를 채용할 수 있다.

(HMD가 실행하는 처리)

HMD(100)는 이하의 3개의 처리를 실행할 수 있다.

1. 촬영에 의해 얻어진 현실 화상 데이터에 포함되는 마커에 대하여 가상 정보를 표시하고, 마커의 소실로 인해, 또는 유저 조작의 결과로서 현실 화상 데이터에 마커가 더 이상 존재하지 않음으로 인해 가상 정보의 중첩 파라미터의 연산/갱신 처리가 정지하는 경우와, 촬영부가 그 후에 움직인 경우에 유저에게 위화감을 주지 않고 가상 정보를 표시하는 처리(제1 처리).

2. 복수의 유저가 그들의 HMD를 통해 동일한 오브젝트를 볼 때와 같은 각도, 위치, 및 사이즈 등으로 각각의 HMD가 가상 정보를 표시하는 처리(제2 처리).

3. 예를 들어, 마커에 기초하여 가상 정보를 표시하면 유저에게 위화감을 줄 가능성이 있는 경우에 유저가 위화감을 느낄 가능성이 적은 상태에서 가상 정보를 표시하는 처리(제3 처리).

<제1 처리>

(제1 처리의 개요)

마커 AR 및 마커레스 AR의 상술한 각 문제를 해결하기 위해서, 예를 들어, 거치형의 레이저 프로젝터를 사용하여 마커를 투영함으로써 물리적인 마커를 사용하지 않고서 마커 AR의 장점을 누릴 수 있는 방법이 제안되어 있다. 그러나, 이 방법에는 이하와 같은 문제점이 있다.

- 프로젝터 및 정점 카메라 등의 추가 설비를 준비할 필요가 있기 때문에 설치 장소를 특정하여야 한다.

- 사용 전에 공간을 상세하게 주사하는 스텝을 제공할 필요가 있기 때문에 리얼 타임 성능이 떨어진다.

- 넓은 영역의 공간 모델을 구축할 필요가 있기 때문에 계산이 번잡해진다.

한편, 유저가 휴대형의 레이저 포인터를 손으로 들어서 마커를 투영함으로써 상술한 설치 장소에 관한 문제를 해결할 수 있는 방법이 제안되어 있다(특허 문헌 2, 및 특허 문헌 3).

특허 문헌 2에 따르면, 촬영 장치와 휴대형 레이저 포인터가 각각 자기의 공간 내의 위치 및 자세를 검출한다. 촬영 장치에 의해 촬영된 화상에서의 레이저 포인터의 포인팅 점과 레이저 포인터의 공간적인 위치 및 촬영 장치의 공간적인 위치로부터 추측되는 가상 포인팅 점을 매칭시킴으로써, 가상 정보의 중첩 장소가 산출된다. 그러나, 이 방법에는 이하와 같은 문제점이 있다.

- 넓은 영역의 공간 모델을 구축할 필요가 있기 때문에 공간의 측량 및 계산이 번잡하다.

- 레이저 포인터 및 촬영 장치의 자세도 연산할 필요가 있기 때문에 계산이 번잡하고, 안정성 및 양호한 정밀도의 확보가 곤란하다.

특허 문헌 3에 따르면, 휴대형 레이저 포인터를 사용하여 투영 대상물(예를 들어, 벽)의 적어도 3개의 부분을 향하여 포인팅 점이 투영된다. 이들 포인팅 점에 기초하여, 레이저 포인터와 투영 대상물 간의 거리, 방향, 및 표시 좌표가 연산된다. 그러나, 이 방법에는 이하와 같은 문제점이 있다.

- 레이저 포인터와 투영 장치가 일체로 구성된 형태에서(특허 문헌 3의 도 1 및 도 19), 가상 정보를 특정한 장소에 정지 상태에서 표시하기 위해, 유저는 레이저 포인터를 항상 동일한 자세로 유지할 필요가 있기 때문에 피로감을 수반한다. 또한, 손 떨림에 의해 표시되는 가상 정보의 위치가 안정되기 어렵다.

- 포인팅 점의 투영을 멈추면, 가상 정보의 표시 위치를 산출하지 않기 때문에 가상 정보의 표시 중에 항상 포인팅 점을 투영할 필요가 있다. 또한, 복수의 가상 정보를 개별적으로 조작할 수 없다.

- 이들 문제에 대응하기 위해서, 포인팅 점의 투영을 멈춘 때에 가상 정보를 마지막으로 표시된 위치에 계속해서 표시하는 처리 방식을 가정한다. 그러나, 그 경우에 촬영부(촬영부를 휴대하는 유저)가 조금이라도 이동 또는 회전하면, 가상 정보의 위치, 각도 등은 변화하지 않기 때문에 가상 정보의 위치, 각도 등이 유저에게 올바른 것이 아니다.

이상과 같은 사정을 감안하여, 본 기술의 본 실시 형태에 따른 제1 처리에서는, 마커의 소실로 인해, 또는 유저 조작의 결과로서 현실 화상 데이터에 마커가 더 이상 존재하지 않음으로 인해 가상 정보의 중첩 파라미터에 대한 연산/갱신 처리가 정지하는 경우와, 그 후에 촬영부가 움직이게 된 경우에도 유저에게 위화감을 주지 않고 가상 정보를 표시한다. 보다 구체적으로, 연산이 정지하기 직전(마커가 마지막으로 검출된 시점)의 현실 공간과 중첩된 가상 정보 간의 유지된 상대 위치를 계속해서 표시한다.

(제1 처리를 실행하기 위한 HMD의 기능적인 구성)

도 4는 제1 처리를 실행하기 위한 HMD(100)의 기능적인 구성을 도시하는 블록도이다.

HMD(100)는 촬영부(101), 삼차원 구조 추정부(120), 마커 검출부(121), 중첩 파라미터 생성부(122), 변환 행렬 산출부(123), 화상 데이터 생성부(124), 및 표시부(102)를 포함한다.

촬영부(101)는 현실 공간의 화상을 촬영하고, 현실 화상 데이터를 취득한다. 촬영부(101)는 취득한 현실 화상 데이터를 삼차원 구조 추정부(120) 및 마커 검출부(121)에 공급한다.

삼차원 구조 추정부(120)는 소위 씬 맵핑(scene mapping)(이동 스테레오) 기술을 사용하여 현실 공간의 삼차원 구조를 추정한다. 즉, 삼차원 구조 추정부(120)(특징점 검출부)는 촬영부(101)에 의해 제공된 현실 화상 데이터로부터 복수의 특징점(코너 포인트)을 검출한다. 촬영부(101)의 시야 이동 중에, 삼차원 구조 추정부(120)는 특징점을 실시간으로 계속 검출(특징점을 계속 추적(트래킹))한다.

일반적인 삼차원 구조 추정 기술에서는, 2대의 카메라(스테레오 카메라)를 사용하여, 좌우의 스테레오 영상을 취득한다. 이에 반해, 본 실시 형태의 삼차원 구조 추정부(120)는 특징점 트래킹에 의해 연대순으로 결부시킴으로써 이동하는 1대의 카메라(촬영부(101))를 사용하여 시분할 촬영함으로써 스테레오 영상을 산출한다.

이 스테레오 영상으로부터, 삼차원 구조 추정부(120)는 현실 공간의 삼차원 구조를 추정하고, 추정 결과를 중첩 파라미터 생성부(122)에 공급한다.

도 4를 다시 참조하면, 촬영부(101)가 취득한 현실 화상 데이터로부터, 마커 검출부(121)(도형 검출부)는 입력 장치(200)에 의해 투영된 마커(도형)를 검출한다. 마커 검출부(121)에는 미리 기준 마커에 관한 정보가 등록되어 있다. 이 "기준 마커"는 마커를 그로부터 소정의 거리로 수직 방향으로 투영한 경우의 미리 결정된 기준 형상의 마커이다. "기준 마커에 관한 정보"는 기준 마커의 사이즈, 각 정점 간의 거리, 각 변의 길이 등에 관한 것이다. 기준 마커의 사이즈에 기초하여, 마커 검출부(121)는 현실 화상 데이터로부터 검출한 마커가 기준 마커의 형상과 일치성을 보이는 평면 좌표 변환 행렬을 생성하고, 검출한 마커에 대하여 평면 좌표 변환 행렬을 사용한 좌표 변환을 행한다. 계속해서, 마커 검출부(121)는 좌표 변환된 마커에 대하여 기준 마커와의 패턴 매칭을 행하여, 검출한 마커와 기준 마커 간의 일치도를 판단한다. 마커 검출부(121)는 판단 결과를 중첩 파라미터 생성부(122)에 공급한다.

소정의 일치도를 보이는 마커에 대해서, 기준 마커와 비교된 마커의 왜곡에 기초하여, 중첩 파라미터 생성부(122)는 투영 대상물(벽, 책상 등)에 투영된 마커에 대한 촬영부(101)의 공간적인 위치 관계, 즉 각도 및 거리를 산출한다. 또한, 도 6에 도시한 바와 같이, 중첩 파라미터 생성부(122)는 윤곽 추출에 의해 도 6의 좌상부에 도시한, 마커 M의 좌표계를 산출한다. 마커에 대한 촬영부(101)의 상기 공간적인 위치 관계에 기초하여, 중첩 파라미터 생성부(122)는 도 6의 좌상부에 도시한 마커 M의 좌표계와 도 6의 좌하부에 도시한, 미리 설정되어 있는 가상 정보 I의 좌표계가 일치한 도 6의 우측부에 도시한 좌표계가 되도록 가상 정보의 중첩 파라미터를 계산한다. 이와 같이, 마커에 대한 촬영부(101)의 공간적인 위치 관계(제1 위치 관계)에 기초하여 생성된 중첩 파라미터를 이하 "제1 중첩 파라미터"라고 칭한다. 모션 센서(106)에 의해 검출된 HMD(100)의 위치와 입력 장치(200)의 모션 센서(106)에 의해 검출된 입력 장치(200)의 위치 간의 관계에 기초하여, 중첩 파라미터 생성부(122)는 가상 정보가 유저에게 보다 자연스럽게 표시되도록 제1 중첩 파라미터를 보정한다. 또한, 중첩 파라미터 생성부(122)는 유저의 눈과 표시부(102) 간의 위치 관계에 기초하여 제1 중첩 파라미터를 보정한다. 또한, 중첩 파라미터 생성부(122)는 삼차원 구조 추정부(120)가 추정한 현실 공간의 삼차원 구조의 좌표계와 표시 중인 가상 정보의 좌표계가 일치하도록 현실 공간에 대한 가상 정보의 공간적인 위치 관계(제2 위치 관계)를 유지해서 가상 정보의 중첩 파라미터를 계산한다. 상술한 바와 같이 현실 공간의 삼차원 구조의 좌표계와 표시 중인 가상 정보의 좌표계가 일치하도록 생성된 중첩 파라미터를 이하 "제2 중첩 파라미터"라고 칭한다. 제1 및 제2 중첩 파라미터를 구별할 필요가 없을 때는 간단히 "중첩 파라미터"라고 칭한다는 점에 유의한다.

변환 행렬 산출부(123)는 마커를 기준으로 한 좌표계를 현실 공간에서의 촬영부(101)를 기준으로 한 좌표계로 제1 중첩 파라미터를 사용하여 변환하기 위한 공간 좌표 변환 행렬을 생성한다. 화상 데이터 생성부(124)는 미리 기록된 가상 정보의 오브젝트 데이터를 변환 행렬 산출부(123)에 의해 공급된 공간 좌표 변환 행렬을 사용하여 좌표 변환한다. 이러한 방식으로, 화상 데이터 생성부(124)는 촬영부(101)를 기준으로 한 좌표계에서의 가상 정보의 오브젝트 화상 데이터를 산출(묘화)한다.

또한, 변환 행렬 산출부(123)는 표시 중인 가상 정보의 좌표계를 현실 공간의 삼차원 구조의 좌표계로 제2 중첩 파라미터를 사용하여 변환하기 위한 공간 좌표 변환 행렬을 생성한다. 화상 데이터 생성부(124)는 가상 정보의 오브젝트 데이터를 변환 행렬 산출부(123)에 의해 공급된 공간 좌표 변환 행렬을 사용하여 좌표 변환한다.

화상 데이터 생성부(124)는 생성한 가상 정보의 오브젝트 화상 데이터를 표시부(102)에 공급한다.

표시부(102)는 변환 행렬 산출부(123)에 의해 공급된 가상 정보의 오브젝트 화상 데이터를 표시한다.

(HMD에 의한 제1 처리의 동작)

도 7은 HMD(100)에 의한 제1 처리의 동작을 도시하는 흐름도이다. CPU(103)가 소정의 초기화 처리를 행하면(스텝 S101), 촬영부(101)는 현실 공간의 화상을 촬영하고, 현실 화상 데이터를 취득한다(스텝 S102). 촬영부(101)는 취득한 현실 화상 데이터를 삼차원 구조 추정부(120) 및 마커 검출부(121)에 공급한다. 삼차원 구조 추정부(120)는 현실 화상 데이터로부터 복수의 특징점을 검출한다(스텝 S103). 촬영부(101)의 시야 이동 중에도, 삼차원 구조 추정부(120)는 특징점을 실시간으로 계속 검출(특징점을 계속 추적(트래킹))한다(스텝 S104). 삼차원 구조 추정부(120)는 특징점 트래킹에 의해 연대순으로 결부시킴으로써 이동하는 1대의 카메라(촬영부(101))를 사용하여 시분할 촬영함으로써 스테레오 영상을 산출한다. 이 스테레오 영상으로부터, 삼차원 구조 추정부(120)는 현실 공간의 삼차원 구조를 추정하고, 추정 결과를 중첩 파라미터 생성부(122)에 공급한다(스텝 S105).

가상 정보 표시부(102)가 가상 정보를 아직 표시하지 않고 있거나, 가상 정보를 이미 표시하고 있고 그 가상 정보가 현실 공간에 중첩되어서 표시되어 있는 경우(스텝 S106에서 아니오)에 대해서 설명한다. 이 경우에, 촬영부(101)가 취득한(스텝 S102) 현실 화상 데이터로부터, 마커 검출부(121)는 입력 장치(200)에 의해 투영된 마커를 검출한다(스텝 S107에서 예). 기준 마커의 사이즈에 기초하여, 마커 검출부(121)는 현실 화상 데이터로부터 검출한 마커가 기준 마커의 형상과 일치성을 보이는 평면 좌표 변환 행렬을 생성하고, 검출한 마커에 대하여 평면 좌표 변환 행렬을 사용한 좌표 변환을 행한다. 계속해서, 마커 검출부(121)는 좌표 변환된 마커에 대하여 기준 마커와의 패턴 매칭을 행하여, 검출한 마커와 기준 마커 간의 일치도를 판단한다(스텝 S108). 마커 검출부(121)는 판단 결과를 중첩 파라미터 생성부(122)에 공급한다.

소정의 일치도를 보이는(스텝 S108에서 예) 마커에 대해서, 기준 마커와 비교된 마커의 왜곡에 기초하여, 중첩 파라미터 생성부(122)는 마커에 대한 촬영부(101)의 공간적인 위치 관계를 추정한다. 보다 구체적으로, 중첩 파라미터 생성부(122)는 투영 대상물(예를 들어, 벽)에 투영된 마커에 대한 촬영부(101)의 공간적인 위치 관계(제1 위치 관계), 즉 각도 및 거리를 산출한다. 또한, 중첩 파라미터 생성부(122)는 마커의 좌표계와 가상 정보의 좌표계가 일치하도록 가상 정보의 제1 중첩 파라미터를 계산한다(스텝 S109). 그리고, 중첩 파라미터 생성부(122)는 가상 정보가 유저에게 보다 자연스럽게 표시되도록 제1 중첩 파라미터를 보정한다(스텝 S110).

변환 행렬 산출부(123)는 마커를 기준으로 한 좌표계를 현실 공간에서의 촬영부(101)를 기준으로 한 좌표계로 제1 중첩 파라미터를 사용하여 변환하기 위한 공간 좌표 변환 행렬을 생성한다(스텝 S111). 화상 데이터 생성부(124)는 미리 기록된 가상 정보의 오브젝트 데이터를 변환 행렬 산출부(123)에 의해 공급된 공간 좌표 변환 행렬을 사용하여 좌표 변환한다. 이러한 방식으로, 화상 데이터 생성부(124)는 촬영부(101)를 기준으로 한 좌표계에서의 가상 정보의 오브젝트 화상 데이터를 산출(묘화)한다(스텝 S112). 화상 데이터 생성부(124)는 생성한 가상 정보의 오브젝트 화상 데이터를 표시부(102)에 공급한다. 표시부(102)는 공급된 가상 정보의 오브젝트 화상 데이터를 표시한다(스텝 S113). 이 후, 다음 프레임의 현실 공간의 화상 데이터의 취득(스텝 S102)으로부터 가상 정보의 오브젝트 화상 데이터의 표시(스텝 S113)까지의 처리가 반복하여 실행된다.

이어서, 가상 정보의 표시부(102)가 가상 정보를 이미 표시하고 있지만 현실 화상 데이터로부터 가상 정보가 중첩된 마커가 검출되지 않은 경우(스텝 S106에서 예)에 대해서 설명한다. 이 현실 화상 데이터로부터 마커가 검출되지 않은 이 경우는 예를 들어, 유저가 입력 장치(200)를 이동했기 때문에 촬영부(101)의 촬영 공간 외에 마커가 투영되는 경우나, 예를 들어, 입력 장치(200)에 대한 입력 조작 중에 유저가 의도적으로 마커의 투영을 정지하는 경우에 발생한다. 현실 화상 데이터로부터 마커가 검출되지 않으면, 마커에 기초하여 제1 중첩 파라미터의 연산/갱신에 대한 처리(예를 들어, 스텝 S109)가 행해지지 않는다. 또한, 현실 화상 데이터로부터 마커가 더 이상 검출되지 않게 된 후에 유저의 이동에 의해 촬영부(101)가 이동하면, 유저의 시야에서의 현실 공간의 풍경은 변화하지만 표시 공간에서의 가상 정보의 위치 및 각도는 변화하지 않는다. 그러므로, 유저에게 위화감을 주는 위치 및 각도로 가상 정보가 계속 표시된다. 이를 감안하여, 제1 처리에서는, 현실 공간에서의 특징점을 실시간으로 검출함(스텝 S103)으로써, 현실 화상 데이터에 마커가 더 이상 존재하지 않게 된 후 마커에 기초하는 제1 중첩 파라미터의 연산이 정지하기 직전(마커가 마지막으로 검출된 시점)의 현실 공간에 대한 가상 정보의 공간적인 위치 관계(제2 위치 관계)를 유지한 가상 정보를 계속해서 표시하는 것으로 한다.

즉, 중첩 파라미터 생성부(122)는 삼차원 구조 추정부(120)가 추정한(스텝 S105) 현실 공간의 삼차원 구조의 좌표계와 표시 중인 가상 정보의 좌표계가 일치하도록 가상 정보의 제2 중첩 파라미터를 계산한다(스텝 S114). 그리고, 중첩 파라미터 생성부(122)는 스텝 S110과 마찬가지로 제2 중첩 파라미터를 보정한다(스텝 S115).

변환 행렬 산출부(123)는 표시 중인 가상 정보의 좌표계를 현실 공간의 삼차원 구조의 좌표계로 제2 중첩 파라미터를 사용하여 변환하기 위한 공간 좌표 변환 행렬을 생성한다(스텝 S116). 화상 데이터 생성부(124)는 가상 정보의 오브젝트 데이터를 변환 행렬 산출부(123)에 의해 공급된 공간 좌표 변환 행렬을 사용하여 좌표 변환한다. 이러한 방식으로, 화상 데이터 생성부(124)는 현실 공간의 삼차원 구조의 좌표계에서의 가상 정보의 오브젝트 화상 데이터를 산출(묘화)한다(스텝 S117). 화상 데이터 생성부(124)는 생성한 가상 정보의 오브젝트 화상 데이터를 표시부(102)에 공급한다. 이외에, 가상 정보가 이미 표시되어 있지만 그 가상 정보가 중첩된 마커 중 소실한 것이 있을 때(스텝 S118에서 예), 스텝 S114 이하의 처리가 반복된다.

(제1 처리의 효과)

상술한 바와 같이, 제1 처리에 따르면, 다음과 같은 효과가 기대된다.

1. 표시부가 가상 정보를 이미 표시하고 있지만 현실 화상 데이터로부터 가상 정보가 중첩된 마커가 검출되지 않은 경우, 가상 정보의 중첩 파라미터에 대해서, 제1 중첩 파라미터에 대한 연산/갱신 처리를 행하기 위한 기초로서 마커가 사용되기 어렵다. 또한, 현실 화상 데이터로부터 마커가 더 이상 검출되지 않게 된 후에 유저의 이동에 의해 촬영부가 이동하면, 유저의 시야에서의 현실 공간의 풍경은 변화하지만 표시 공간에서의 가상 정보의 위치 및 각도는 변화하지 않는다. 그러므로, 유저에게 위화감을 주는 위치 및 각도로 가상 정보가 계속 표시된다.

그러나, 제1 처리에서는, 현실 공간에서의 특징점을 실시간으로 검출하고, 현실 공간의 삼차원 구조의 좌표계와 표시 중인 가상 정보의 좌표계가 일치하도록 가상 정보의 제2 중첩 파라미터를 연산/갱신한다. 그 결과, 현실 화상 데이터에 마커가 더 이상 존재하지 않게 된 후 마커에 기초하는 제1 중첩 파라미터의 연산이 정지하기 직전(마커가 마지막으로 검출된 시점)의 현실 공간에 대한 가상 정보의 공간적인 위치 관계를 유지한 가상 정보를 계속해서 표시할 수 있다. 또한, 높은 연산 능력과 복잡한 하드웨어 시스템/설비를 통상 요구하는 마커레스 AR 시스템을 마커 AR과 동등한 간단한 연산/시스템에 의해 실현할 수 있다.

2. 마커 AR의 일례로서 가장 유명한 "ARToolKit"에서 사용되는 물리적인 마커에서, 도 8에 도시한 바와 같이, 정사각형의 흑색 프레임으로 둘러싸인 백색 영역 내에 임의의 패턴(도면에 도시한 예에서는 "AR")이 그려진다. 흑색 프레임이 마커를 검출하기 위해 사용되고, 백색 영역 내의 패턴에 따라서 마커를 판별한다. 그러므로, "ARToolKit"의 AR 마커는 디자인상 이하와 같은 제약이 있다.

- 전체적으로 형상이 정사각형인 것

- 정사각형의 폭 또는 높이 방향에서의 흑색 프레임: 백색 영역: 흑색 프레임의 비율이 기본적으로 25%:50%:25%이며, 최소 3:14:3인 것

- 백색 영역 내의 패턴은 점 대칭/선 대칭이 아니고, 세선에 의해 그려지지 않는다.

- 2치화할 때 흑색 프레임을 명확하게 판별하기 위해서 마커의 주위에 여백이 필요하다.

그러나, 제1 처리의 레이저 투영에 의한 마커의 경우, S/N(Signal/Noise) 값을 매우 높게 함으로써, 색의 한정(흑색/백색), 세선 등의 사용 제약을 없앨 수 있다. 또한, 여백은 배경과의 분리를 목적으로 설치되기 때문에, 제1 처리의 레이저 투영에 의한 마커에는 여백 부분을 설치할 필요가 없어진다. 이러한 방식으로, 현실 공간에 물리적으로 설치되는 마커에 비하여, 마커의 디자인 자유도를 올릴 수 있다.

3. 레이저 포인터 또는 레이저 프로젝터인 투영부를 포함하는 입력 장치를 사용하여 HMD에 표시된 가상 정보를 조작한다. 그러므로, 유저가 직감적이고 용이하게 조작을 행할 수 있다.

4. 본 기술을 다음과 같은 용도에 응용할 수 있다. 현실 공간에 실재하는 벽과 창에 마커를 투영함으로써, 가상 정보의 투영 대상물을 임의의 벽과 창으로 설정하고, 임의의 벽과 창을 가상인 프로젝터 스크린 및 화이트 보드로서 사용할 수 있다. 구체적인 적용예로서 이하의 예를 들 수 있다.

- 대형 화면에서 비디오 영상 및 플라네타륨 화상을 표시한다.

- 오피스의 파티션이나 벽에 가상 스티커 메모나 자료를 제시한다.

- 복수의 가상 스티커 메모를 대화면상에서 표시하거나 이동한다.

또한, 입력 장치를 움직이게 함으로써, 가상 정보의 중첩 위치를 자유롭게 제어할 수 있다. 구체적인 적용예로서 이하의 예를 들 수 있다.

- 입력 장치를 마치 줄과 같이 조작함으로써 가상 정보로서 가상 애완 동물을 산책시킨다.

<제2 처리>

(제2 처리의 개요)

도 2를 참조하여, 유저가 입력 장치(200)를 사용하여 투영한 마커에 기초하여 복수의 HMD(100)가 각각 가상 정보를 표시하는 경우에 대해서 설명한다. 이하의 설명에서, 마커를 투영하는 입력 장치(200)를 가지고 있는 유저가 장착한 HMD를 "투영 HMD", 및 마커를 투영하는 입력 장치(200)를 가지고 있지 않은 유저가 장착한 HMD를 "비투영 HMD"라고 칭한다는 점에 유의한다. 어떤 유저 U1(제1 유저)이 입력 장치(200)를 사용하여 투영 대상물에 마커 M을 투영한다. 이후, 다른 유저 U2(제2 유저)에 장착된 비투영 HMD(100B)가 이 마커 M에 대하여 가상 정보를 표시함으로써, 제2 유저 U2에 가상 정보를 제시하는 경우를 상정한다. 이 경우에, 제2 유저 U2의 비투영 HMD(100B)가 제1 유저 U1의 입력 장치(200)가 투영한 마커 M을 포함하는 현실 공간을 촬영하고, 이 현실 화상을 사용하여, 가상 정보의 중첩 파라미터를 산출한다.

그 결과, 예를 들어, 이하와 같은 문제가 발생할 가능성이 있다. 제1 유저 U1이 투영한 마커 M이 투영 대상물 상에서 기준 마커의 형상과는 다른 왜곡된 형상으로 되는 것으로 한다. 제2 유저 U2의 비투영 HMD(100B)가 그 마커 M을 촬영하면, 마커 M이 이미 왜곡된 형상으로 될 뿐만 아니라, 투영을 행한 입력 장치(200)를 가지고 있는 제1 유저 U1과는 다른 위치로부터 마커 M을 촬영하는 것을 의미한다. 그러므로, 비투영 HMD(100B)에 의한 중첩 파라미터를 계산하기 위해, 예를 들어, 왜곡된 마커 M을 기준 마커의 형상이 되도록 보정하고, 보정 후의 마커에 대한 중첩 파라미터를 계산할 필요가 있기 때문에 비투영 HMD(100B)에 의한 계산을 복잡하게 할 우려가 있다. 그 결과, 계산에 시간이 걸리고, 제1 유저 U1이 실제로 보고 있는 오브젝트를 제2 유저 U2가 실시간으로 보기가 어렵다. 즉, 투영 HMD(100A)의 표시 결과와 비투영 HMD(100B)의 표시 결과 사이에 시간적 어긋남이 발생할 우려가 있다. 또한, 계산이 복잡해지기 때문에, 비투영 HMD(100B)에 의한 계산의 정확성에 영향을 줄, 즉 투영 HMD(100A)의 표시 결과와 비투영 HMD(100B)의 표시 결과 사이에 공간적 어긋남이 발생할 우려가 있다. 그 결과, 제2 유저 U2가 실제로 보고 있는 오브젝트의 각도, 위치, 및 크기와, 제1 유저 U1이 실제로 보고 있는 오브젝트를 제2 유저 U2도 보고 있다고 가정한 경우의 오브젝트의 각도, 위치, 및 크기가 상이하게 될 우려가 있다.

이에 반해, 특허 문헌 4에 따르면, 어떤 프로젝터(제1 프로젝터)에 의해 가상 정보로서 오브젝트를 표시하기 위해, 별도의 프로젝터(제2 프로젝터)에 의해 투영 대상물(예를 들어, 스크린)에 마커 화상을 투영한다. 여기서, 제2 프로젝터와 투영 대상물 간의 위치 관계는 미리 설정되어 있다. 촬영 장치(정점 카메라)에 의해, 이 마커가 촬영되고, 촬영 데이터에 기초하여 표시해야 할 오브젝트의 위치, 각도, 및 크기가 계산되어, 제1 프로젝터에 의해 오브젝트가 투영 대상물에 표시된다. 그러나, 특허 문헌 4의 기술에는 다음과 같은 문제가 있다.

- 제2 프로젝터 및 촬영 장치(정점 카메라) 등의 추가 설비를 준비할 필요가 있기 때문에 사용 장소를 특정한다.

- 제1 프로젝터와 투영 대상물의 위치가 고정일 필요가 있기 때문에 사용 장소를 특정한다.

- 마커를 투영하기 위해서만 제1 프로젝터를 사용하는 것은 낭비이다.

이상과 같은 사정을 감안하여, 본 기술의 제2 실시 형태에 따른 제2 처리에서는, 복수의 유저가 그들의 HMD를 통해서 그들 각각의 장소로부터 동일한 오브젝트를 보고 있을 때와 같은 각도, 위치 및 크기에서 각각의 HMD가 가상 정보를 표시하는 것을 보다 간단하고 확실하게 실현한다.

(제2 처리를 실행하기 위한 HMD의 기능적인 구성)

도 9는 제2 처리를 실행하기 위한 HMD(100)의 기능적인 구성을 도시하는 블록도이다.

HMD(투영 HMD 및 비투영 HMD)(100)는 촬영부(101), 마커 검출부(121), 중첩 파라미터 생성부(122), 마커 보정부(125), 변환 행렬 산출부(123), 화상 데이터 생성부(124), 표시부(102), 및 제1 송수신기(108)를 포함한다.

이하, 이미 설명한 구성 및 기능 등과 마찬가지의 구성 및 기능 등은 설명을 간략화 또는 생략하고, 상이한 점을 중심으로 설명한다.

기준 마커와 비교된 마커의 왜곡에 기초하여, 마커 보정부(125)는 마커에 대한 촬영부(101)의 공간적인 위치 관계를 추정한다. 구체적으로, 마커 보정부(125)(각도 취득부)는 투영 대상물(예를 들어, 책상)에 투영된 마커에 대한 촬영부(101)의 공간적인 위치 관계, 즉 투영 대상물에 대한 촬영부(101)의 각도 및 거리(입력 장치(200)가 투영하는 마커 화상의 광축과 현실 풍경 내의 투영 대상면 간의 각도 및 거리)를 산출한다. 산출한 각도 및 거리에 기초하여, 마커 보정부(125)는 검출된 왜곡이 있는 마커를 기준 마커의 형상으로 보정하기 위한 평면 좌표 변환 행렬을 생성한다. 마커 보정부(125)는 검출한 마커에 대하여 평면 좌표 변환 행렬을 사용한 좌표 변환을 행하여, 보정 마커를 산출한다. 이 "보정 마커"는 입력 장치(200)의 현재 위치로부터 투영 대상물을 향해 투영될 때에 이 투영 대상물 상에서 기준 마커의 형상으로 될 수 있는 마커이다. 마커 보정부(125)(변형 부여부)는 제1 송수신기(108)를 사용하여 입력 장치(200)에 산출한 보정 마커를 통지한다. 이러한 방식으로, 입력 장치(200)는 왜곡이 있는 마커의 투영을 정지해서 보정 마커의 투영을 개시할 수 있게 된다. 또한, 마커 보정부(125)는 입력 장치(200)에 보정 마커를 통지한 것을 마커 검출부(121)에 통지한다.

(HMD에 의한 제2 처리의 동작)

도 10은 HMD(100)에 의한 제2 처리의 동작을 도시하는 흐름도이다.

CPU(103)는 소정의 초기화 처리를 행하고(스텝 S201), 그 HMD가 투영 HMD인지 여부, 즉, 그 HMD를 장착한 유저가 갖고 있는 입력 장치(200)에 의해 마커가 투영되는지의 여부를 판정한다(스텝 S202). 구체적으로, 예를 들어, HMD(100)에 그 HMD를 장착한 유저가 소유하는 입력 장치(200)의 기기 ID가 미리 등록되고, CPU(103)는 이 기기 ID에 의해 식별되는 입력 장치(200)에 마커 투영 실행의 유무를 제1 송수신기(108)를 사용하여 문의할 수 있다. 또는, 유저가 이 유저가 갖고 있는 입력 장치(200)에 의해 마커가 투영되는지의 여부를 입력부(105)에 입력하도록 할 수 있다.

먼저, 투영 HMD(스텝 S202에서 예)의 동작에 대해서 설명한다. 스텝 S102, S107, 및 S108과 마찬가지로, 투영 HMD는 현실 화상 데이터를 취득하고(스텝 S203), 마커 검출을 행하고(스텝 S204에서 예), 일치도를 판단한다(스텝 S205). 마커 검출부(121)는 마커의 일치도에 관한 판단 결과를 마커 보정부(125)에 공급한다.

소정의 일치도를 보이는(스텝 S205에서 예) 마커에 대해서, 마커 보정부(125)는 기준 마커와 비교된 마커의 왜곡에 기초하여 마커에 대한 촬영부(101)의 공간적인 위치 관계를 추정한다. 구체적으로, 마커 보정부(125)(각도 취득부)는 투영 대상물(예를 들어, 책상)에 투영된 마커에 대한 촬영부(101)의 각도 및 거리(입력 장치(200)가 투영하는 마커 화상의 광축과 현실 풍경 내의 투영 대상면 간의 각도 및 거리)를 산출한다(스텝 S206). 산출한 각도 및 거리에 기초하여, 마커 보정부(125)는 검출된 왜곡이 있는 마커를 기준 마커의 형상으로 보정하기 위한 평면 좌표 변환 행렬을 생성한다(스텝 S207). 마커 보정부(125)는 검출한 마커에 대하여 평면 좌표 변환 행렬을 사용한 좌표 변환을 행하여, 보정 마커를 산출한다(스텝 S208). 마커 보정부(125)(변형 부여부)는 제1 송수신기(108)를 사용하여 입력 장치(200)에 산출한 보정 마커를 통지한다(스텝 S209). 이러한 방식으로, 입력 장치(200)는 왜곡이 있는 마커의 투영을 정지해서 보정 마커의 투영을 개시하할 수 있게 된다. 또한, 마커 보정부(125)는 입력 장치(200)에 보정 마커를 통지한 것을 마커 검출부(121)에 통지한다.

마커 보정부(125)가 입력 장치(200)에 보정 마커를 통지한(스텝 S209) 후, 현실 화상 데이터를 취득하고(스텝 S210), 보정 마커를 검출하고(스텝 S211에서 예), 보정 마커에 관한 일치도를 판단한다(스텝 S212). 마커 검출부(121)는 판단 결과를 중첩 파라미터 생성부(122)에 공급한다. 그 후, 스텝 S109 내지 S113과 마찬가지로, 제1 중첩 파라미터를 계산 및 보정하고(스텝 S213 및 S214), 좌표 변환 행렬을 생성하고(스텝 S215), 오브젝트 화상 데이터를 산출 및 표시한다(스텝 S216 및 S217).

한편, 비투영 HMD(스텝 S202에서 아니오)는 스텝 S210 내지 S217의 처리를 행한다. 여기서, 검출되는(스텝 S211에서 예) 마커가 보정 마커라면, 비투영 HMD가 기준 마커 형상의 보정 마커에 기초하여 제1 중첩 파라미터를 계산하는 것을 의미한다.

(제2 처리의 효과)

상술한 바와 같이, 제2 처리에 따르면, 다음과 같은 효과가 기대된다.

1. 도 11에 도시한 바와 같이, 제1 유저 U1이 투영한 보정 마커 M'은 투영 대상물상에서 왜곡이 없는 기준 마커 형상으로 된다. 따라서, 제2 유저 U2의 비투영 HMD(100B)에 의한 중첩 파라미터를 계산하기 위해, 왜곡된 마커(도 2의 M)를 기준 마커 형상으로 보정할 필요가 없고, 보정 마커 M'에 대한 중첩 파라미터를 계산할 필요만 있으므로 비투영 HMD(100B)에 의한 계산량이 적을 수 있다. 그 결과, 계산에 걸리는 시간이 짧아서, 제2 유저 U2가 제1 유저 U1이 실제로 보고 있는 오브젝트를 실시간으로 볼 수 있다. 즉, 투영 HMD(100A)의 표시 결과와 비투영 HMD(100B)의 표시 결과 사이에 시간적 어긋남이 거의 발생하지 않고, 설령 발생한다 해도, 무시할 수 있을 만큼 작은 값일 수 있다. 또한, 비투영 HMD(100B)에 의한 계산이 정확성을 유지할 수 있다. 즉, 투영 HMD(100A)의 표시 결과와 비투영 HMD(100B)의 표시 결과 사이에 공간적인 어긋남이 거의 발생하지 않는다. 그 결과, 제1 유저 U1이 조작하는 가상 정보를 복수의 유저가 보는 경우에, 유저들이 각각 장착한 HMD가 표시하는 오브젝트는 각도, 위치, 및 크기의 어긋남이 거의 없다.

대신에, 중첩 파라미터 생성부(122)는 투영 대상물(예를 들어, 책상)에 투영된 마커에 대한 촬영부(101)의 각도 및 거리(입력 장치(200)가 투영하는 마커 화상의 광축과 현실 풍경 내의 투영 대상면 간의 각도 및 거리)(스텝 S206)에 기초하여 중첩 파라미터를 생성할 수 있다.

<제3 처리>

(제3 처리의 개요)

마커가 투영된 투영 대상물의 종류와 위치에 관계없이 가상 정보를 표시하면, 도 12에 도시한 바와 같이, 다음과 같은 표시 상태가 발생할 수 있다.

- 마커가 책상(10)의 코너에 투영되는 경우, 가상 정보가 부분적으로 책상(10)으로부터 밀려나와서 공중에 떠오르고 있는 것처럼 표시된다(도면 중 A).

- 마커가 파티션(11)에 투영되는 경우, 마커의 투영 위치 근방에 의자(12) 또는 책상(10) 등 다른 물체가 존재하면, 가상 정보가 부분적으로 이 물체 상에 표시된다(도면 중 B).

- 비교적 면적이 작은 파티션(11)에 마커를 투영하고자, 마커가 파티션(11) 상에 투영되지 않고 멀리에 위치하는 벽(13)에 투영되면, 가상 정보가 멀리에 위치하는 벽(13)에 표시된다(도면 중 C).

- 유저에 너무 가까운 위치에 마커가 투영되는 경우, 표시부(102)가 하드웨어 성능적으로 잘 결상되지 않는 장소에 가상 정보가 표시된다(도면 중 D).

상술한 바와 같은 상태에서는, 유저가 위화감이나 불쾌감을 느끼거나, 육체적 고통(예를 들어, 눈의 피로)을 느낄 가능성이 있다.

상술한 바와 같은 사정을 감안하여, 본 기술의 본 실시 형태에 따른 제3 처리에서는, 마커에 기초하여 가상 정보를 표시하면 유저에게 위화감 등을 줄 가능성이 있는 경우, 예를 들어, 유저가 위화감을 느낄 가능성이 거의 없는 상태에서 가상 정보를 표시한다. 구체적으로, 현실 공간에 가상 정보를 중첩하여 표시할 때에 가상 정보의 내용이 자연 법칙에 반하는 것인지 여부, 및/또는 기대되는 시각 품질을 위한 조건을 만족하는지 여부를 미리 결정된 규칙에 따라서 판정하고, 반하는 경우에, 가상 정보의 표시를 무효화한다.

(제3 처리를 실행하기 위한 HMD의 기능적인 구성)

도 13은 제3 처리를 실행하기 위한 HMD(100)의 기능적인 구성을 도시하는 블록도이다.

HMD(100)는 촬영부(101), 마커 검출부(121), 중첩 파라미터 생성부(122), 마커 위치 판단부(126), 변환 행렬 산출부(123), 화상 데이터 생성부(124), 및 표시부(102)를 포함한다.

마커 위치 판단부(126)는 마커 검출부(121)가 검출한 마커의 현실 공간에 대한 공간적인 위치 관계(제3 위치 관계)를 판단하여, 판단 결과를 중첩 파라미터 생성부(122)에 공급한다.

(HMD에 의한 제3 처리의 동작)

도 14는 HMD(100)에 의한 제3 처리의 동작을 도시하는 흐름도이다.

CPU(103)가 소정의 초기화 처리를 행하면(스텝 S301), 촬영부(101)는 현실 화상 데이터를 취득한다(스텝 S302). 촬영부(101)는 취득한 현실 화상 데이터를 마커 검출부(121) 및 마커 위치 판단부(126)에 공급한다. 스텝 S107과 마찬가지로, 마커 검출부(121)는 마커를 검출하고(스텝 S303에서 예), 검출 결과를 중첩 파라미터 생성부(122) 및 마커 위치 판단부(126)에 공급한다. 그리고, 스텝 S108 내지 S110과 마찬가지로, 일치도가 판단되고(스텝 S304), 제1 중첩 파라미터가 계산 및 보정된다(스텝 S305 및 S306).

촬영부(101)에 의해 제공된 현실 화상 데이터와 마커 검출부(121)가 검출한 마커에 기초하여, 마커 위치 판단부(126)는 현실 공간에 대한 마커의 공간적인 위치 관계를 판단하여, 판단 결과를 중첩 파라미터 생성부(122)에 공급한다. 마커 위치 판단부(126)에 의해 제공된 판단 결과가 소정의 위치 관계가 성립하는 것을 표시하는 경우(스텝 S307에서 예)에, 중첩 파라미터 생성부(122)(제2 가상 정보 표시 제어부)는 생성된(스텝 S305 및 S306) 제1 중첩 파라미터를 변환 행렬 산출부(123)에 공급하지 않는다. 그 결과, 이 제1 중첩 파라미터에 의한 표시 처리가 행해지지 않는다. 한편, 소정의 위치 관계가 성립하지 않는 경우(스텝 S307에서 아니오)에, 중첩 파라미터 생성부(122)는 생성된(스텝 S305 및 S306) 제1 중첩 파라미터를 변환 행렬 산출부(123)에 공급한다.

이 "소정의 위치 관계"는 현실 공간에 가상 정보를 중첩하여 표시할 때에 그 내용이 자연 법칙에 반하는 것 및/또는 기대되는 시각 품질을 위한 조건을 만족하지 않는 위치 관계이다. "자연 법칙에 반하는 것 및/또는 기대되는 시각 품질을 위한 조건을 만족하지 않는 위치 관계"는 현실 공간에 가상 정보를 중첩하여 표시할 때 유저가 위화감이나 불쾌감을 느끼거나, 육체적 고통(예를 들어, 눈의 피로)을 느낄 수 있는 위치 관계이다. 자연 법칙에 반하는 것 및/또는 기대되는 시각 품질을 위한 조건을 만족하지 않는 위치 관계"로서, 구체적으로, 도 12에 도시한 바와 같이, 이하의 위치 관계를 들 수 있다.

- 마커가 투영된 대상물(책상, 벽 등이고, 이하 "투영 대상물"이라고 칭한다)의 윤곽과 마커 간의 최단 거리가 소정 값 미만이다(도 12의 A). 또는, 마커의 적어도 일부가 투영 대상물의 윤곽에 겹친다.

- 마커로부터 소정 거리 이내에 기둥, 의자, 책상 등 다른 물체가 있다(도 12의 B).

- 마커와 촬영부(101) 간의 거리가 소정 값 이상이다(마커가 너무 멀다)(도 12의 C).

- 마커와 촬영부(101) 간의 거리가 소정 값 미만이다(마커가 너무 가깝다)(도 12의 D).

도 14를 다시 참조하면, 제1 중첩 파라미터를 취득한(스텝 S307에서 아니오) 후에, 스텝 S111 내지 S113과 마찬가지로, 변환 행렬 산출부(123)는 좌표 변환 행렬을 생성하고(스텝 S308), 오브젝트 화상 데이터를 산출 및 표시한다(스텝 S309, S310). HMD(100)를 각각 장착한 복수의 유저가 있는 경우에, HMD(100)는 그 기기 ID 및 중첩 파라미터를 다른 HMD(100)에 송신한다(스텝 S311).

스텝 S307에서의 판단 결과가 소정의 위치 관계가 성립한다는 것을 나타내는 경우(스텝 S307에서 예)에, 화상 데이터 생성부(124)(제2 가상 정보 표시 제어부)에 의해 이하의 처리를 행할 수 있다.

- 도 15에 도시한 바와 같이, 표시 중인 가상 정보를 지운다.

- 또한, 도 15에 도시한 바와 같이, 가상 정보를 축소 또는 아이콘화한 화상 데이터 Ia, Ib, Ic, 및 Id를 생성하고 시야 내의 안전 영역 S에 표시한다. 이 "안전 영역"은 현실 공간에 실재하는 물체와의 간섭이 발생하기 어려운 위치, 표시부(102)가 결상할 수 있는 범위 내에서의 앞(시야 범위 내 또는 하방)의 위치, 시야가 방해되지 않는 시야 범위의 단부의 위치 등일 수 있다.

- 마커가 투영된 대상물(책상, 벽 등이고, 이하 "투영 대상물"이라고 칭한다)의 윤곽과 마커 간의 최단 거리가 소정 값 미만(도 12의 A), 또는 마커의 적어도 일부가 투영 대상물의 윤곽에 겹치는 경우, 이하의 처리를 행할 수 있다. 입력 장치가 임의의 도형을 투영할 수 있는 레이저 프로젝터 등의 장치인 경우, 투영된 마커의 사이즈 및 형상이 표시되는 가상 정보의 사이즈 및 형상에 대응하게 변화시킨다. 이러한 방식으로, 현실 공간과 가상 정보 간의 간섭의 가능성을 유저가 직감적으로 파악하게 된다. 예를 들어, 도 16에 도시한 바와 같이, 도 16의 좌측부에 도시한, 이미 마커 M1이 투영되어 가상 정보 I1이 표시되어 있는 상태에서, 유저의 입력 조작에 의해 가상 정보 I1의 방향 및 자세가 가상 정보 I2로 변하는 것으로 한다(가상 정보 I1이 회전). 이 경우에, 마커 M1이 회전한 후의 마커 M1'을 도 16의 우측부에 도시한, 가상 정보 I2의 대부분에 겹치도록 하는 형상의 마커 M2로 변화시킨다. 이러한 방식으로, 마커의 적어도 일부가 투영 대상물의 윤곽에 겹치는지 여부를 유저가 직감적으로 파악하게 된다.

(제3 처리의 효과)

상술한 바와 같이, 제3 처리에 따르면, 다음과 같은 효과가 기대된다.

1. 마커에 기초하여 가상 정보를 표시할 때 유저에게 위화감, 불쾌감 및 육체적 고통(예를 들어, 눈의 피로)을 줄 가능성이 있는 경우에, 유저에게 예를 들어, 위화감을 느끼게 할 가능성이 거의 없는 상태에서 가상 정보를 표시할 수 있다.

<제2 실시 형태>

(제2 실시 형태의 개요)

제2 실시 형태는 제1 실시 형태의 제2 처리에서 행해진 복수의 HMD(투영 HMD, 비투영 HMD)에 의한 가상 정보의 표시를 실현할 수 있고, 제2 처리의 효과와 마찬가지의 효과를 달성할 수 있다.

도 17은 본 기술의 제2 실시 형태에 따른 정보 처리 시스템(2)을 도시하는 모식도이다.

본 실시 형태에서는, 투영 HMD(100A)의 중첩 파라미터를 무선 통신에 의해 복수의 비투영 HMD(100B 및 100C)와 공유한다. 투영 HMD(100A)의 중첩 파라미터를 사용하여, 비투영 HMD(100B 및 100C)는 HMD(100B 및 100C)의 중첩 파라미터를 보정한다. 이러한 방식으로, 제2 실시 형태에 의해서도, 1명의 유저가 조작하는 가상 정보를 복수의 유저가 보는 경우, 유저들이 각각 장착한 HMD(투영 HMD, 비투영 HMD)가 표시하는 오브젝트의 각도, 위치, 및 크기가 적게 왜곡될 수 있다.

(HMD의 하드웨어 구성)

도 18은 제2 실시 형태에 따른 HMD(투영 HMD, 비투영 HMD)(100a)의 하드웨어 구성을 도시하는 블록도이다.

HMD(100a)는 제1 실시 형태의 HMD(100)의 하드웨어 구성(도 3) 외에 제4 송수신기(111)를 포함한다.

제4 송수신기(111)는 Bluetooth(등록 상표) 및 적외선 등의 근거리 무선 송수신기이며, 다른 HMD(100a)와의 정보의 교환을 행한다. 보다 구체적으로, 제4 송수신기(111)(송신부)는 투영 HMD(100a)의 중첩 파라미터를 비투영 HMD(100a)와 공유하기 위해서 비투영 HMD(100a)에 대하여 송수신하는 처리를 행한다.

(HMD에 의한 동작)

먼저, (1) 투영 HMD(100a)의 동작에 대해서 설명하고, 이어서, (2) 비투영 HMD(100a)의 동작에 대해서 설명한다.

((1) 투영 HMD에 의한 동작)

도 19는 투영 HMD(100a)에 의한 메인 동작을 도시하는 흐름도이다.

CPU(103)가 소정의 초기화 처리를 행하면(스텝 S401), 스텝 S102, 및 스텝 S107 내지 S113과 마찬가지로, 투영 HMD(100a)는 현실 화상 데이터를 취득하고(스텝 S402), 마커를 검출하고(스텝 S403), 마커의 일치도를 판단하고(스텝 S404), 중첩 파라미터를 계산 및 보정하고(스텝 S405, 및 S406), 좌표 변환 행렬을 생성하고(스텝 S407), 오브젝트 화상 데이터를 산출하고(스텝 S408), 오브젝트 화상 데이터를 표시한다(스텝 S409). 그리고, 투영 HMD(100a)는 그 HMD(100a)의 기기 ID와, 스텝 S406에서 얻은 중첩 파라미터를 제4 송수신기(111)(송신부)를 사용하여 다른 HMD(100a)에 송신한다(스텝 S410). 이러한 방식으로, 투영 HMD(100a)의 중첩 파라미터가 비투영 HMD(100a)와 공유된다.

((2) 비투영 HMD에 의한 동작)

도 20은 비투영 HMD(100a)에 의해 투영 HMD(100a)의 중첩 파라미터를 취득하는 동작을 도시하는 흐름도이다.

CPU(103)가 소정의 초기화 처리를 행하고(스텝 S501), 제4 송수신기(111)가 투영 HMD(100a)에 의해 송신된(스텝 S410) 기기 ID 및 중첩 파라미터를 수신한다(스텝 S502에서 예). CPU(103)는 취득된(스텝 S503) 기기 ID 및 중첩 파라미터를 메모리(104)에 저장한다(스텝 S504).

비투영 HMD(100a)에 의한 메인 동작은 투영 HMD(100a)에 의한 메인 동작(스텝 S401 내지 스텝 S410)과 마찬가지이며, 도 19의 흐름도를 참조하여 상이한 점만 설명한다. 스텝 S406에서, 비투영 HMD(100a)의 중첩 파라미터 생성부(122)(보정부)는 메모리(104)에 저장된(스텝 S504) 투영 HMD(100a)의 중첩 파라미터에 기초하여 중첩 파라미터를 보정한다.

비투영 HMD(100a)에 의해 투영 HMD(100a)의 중첩 파라미터를 취득하는 동작(스텝 S501 내지 스텝 S504)은 메인 처리(스텝 S401 내지 스텝 S410)에 대하여 인터럽션(interruption)또는 멀티 스레드(multi-thread)에 의해 실행될 수 있다. 또한, 동작 개시 시 또는 동작 중에 유저의 위치가 많이 이동한 경우, 복수의 유저 전원이 투영 대상물의 임의의 위치에 마커를 투영하는 캘리브레이션 스텝을 행할 수 있다.

(제2 실시 형태의 효과)

상술한 바와 같이, 제2 실시 형태에 따르면, 다음과 같은 효과가 기대된다.

1. 비투영 HMD는 자체의 HMD와 마커가 투영된 투영 대상물(예를 들어, 벽) 간의 각도 및 거리에 기초하여 산출한 중첩 파라미터를 투영 HMD의 중첩 파라미터에 기초하여 보정한다. 이에 의해, 비투영 HMD에 의한 계산이 정확성을 유지할 수 있고, 즉, 투영 HMD의 표시 결과와 비투영 HMD의 표시 결과 사이에 공간적 어긋남이 발생하지 않는다. 그 결과, 1명의 유저가 조작하는 가상 정보를 복수의 유저가 보는 경우에도, 유저가 장착한 HMD가 표시하는 오브젝트의 위치, 각도, 및 크기가 적게 왜곡된다.

<변형예 1>

변형예 1은 제2 실시 형태의 제2 처리에 의해 행해진 복수의 HMD(투영 HMD, 비투영 HMD)에 의한 가상 정보의 표시를 실현할 수 있고, 제2 처리의 효과와 마찬가지의 효과를 달성할 수 있다.

도 21은 변형예 1에 따른 정보 처리 시스템(2a)을 도시하는 모식도이다.

가상 정보의 표시 대상인 표시 대상물 T(벽, 파티션 등)에 실재하는 물리적인 마커 M을 부여한다. 복수의 HMD(100)는 각각 그 HMD와 표시 대상물 T가 부여된 마커 M 간의 거리 및 각도를 산출한다.

이 방식에 의해서도, 각 복수의 HMD에 의한 계산이 정확성을 유지할 수 있고, 즉, 복수의 HMD에 의한 표시 결과 사이에 시간적 및 공간적 어긋남이 거의 발생하지 않는다는 효과가 기대된다.

<변형예 2>

도 22는 변형예 2에 따른 정보 처리 시스템(3)을 도시하는 모식도이다. 도 23은 변형예 2에 따른 정보 처리 시스템(3)의 하드웨어 구성을 도시하는 블록도이다.

정보 처리 시스템(3)은 HMD(100b), 입력 장치(200), 및 휴대 정보 단말기(PDA)(400)를 포함한다. 상기 각 실시 형태에서는, HMD(100 및 100a)에 설치된 CPU(103)가 메인 처리를 실행한다. 이에 반해, 본 변형예의 정보 처리 시스템(3)에서는, HMD(100b)와 별도로 설치된 휴대 정보 단말기(400)가 메인 처리를 실행한다. 이 휴대 정보 단말기(400)로서 스마트폰, 휴대형 게임기 등을 들 수 있다.

HMD(100b)는 제1 실시 형태의 HMD(100)의 하드웨어 구성으로부터 제1 송수신기(108) 및 제2 송수신기(109)를 제외하고 제5 송수신기(112)를 더 포함한다. 제5 송수신기(112)는 Bluetooth(등록 상표) 등의 중/저속 근거리 무선 송수신기이며, 휴대 정보 단말기(400)와의 정보의 교환을 행한다. 보다 구체적으로, 제5 송수신기(112)는, 예를 들어 촬영부가 취득한 현실 화상의 화상 입력 신호를 휴대 정보 단말기(400)에 송신하는 처리를 행한다.

입력 장치(200a)는 제1 실시 형태의 입력 장치(200)의 하드웨어 구성으로부터 제3 송수신기(208)를 제외하고 제6 송수신기를 더 포함한다. 제6 송수신기(213)는 Bluetooth(등록 상표) 및 적외선 등의 근거리 무선 송수신기이며, 휴대 정보 단말기(400)와의 정보의 교환을 행한다. 보다 구체적으로, 제6 송수신기(213)는, 예를 들어 유저에 의해 입력부에 입력된 줌 조작 등의 조작 입력 신호를 휴대 정보 단말기(400)에 송신하는 처리를 행한다.

HMD(100b)는 제1 송수신기(108)를 포함하지 않고, 입력 장치(200a)는 제3 송수신기(208)를 포함하지 않는다. 그러므로, HMD(100b)와 입력 장치(200a)는 직접 정보의 교환을 행하지 않고, HMD(100b)와 입력 장치(200a) 간의 정보의 교환은 휴대 정보 단말기(400)를 통해 행해진다.

휴대 정보 단말기(400)는 CPU(401), 메모리(402), 표시부(403), 입력부(404), 제7 송수신기(405), 제8 송수신기(406), 제9 송수신기(408), 및 내부 전원(407)을 포함한다. 메모리(402), 표시부(403), 입력부(404), 제7 송수신기(405), 제8 송수신기(406), 및 제9 송수신기(408)는 각각 CPU(401)에 접속된다.

CPU(401)는 메모리(402)에 저장된 프로그램에 따라서 상기 각 실시 형태에서 설명한 각 기능부로서 각종 처리를 실행한다.

제7 송수신기(405)는 Bluetooth(등록 상표) 등의 중/저속 근거리 무선 송수신기이며, HMD(100b)와의 정보의 교환을 행한다. 보다 구체적으로, 제7 송수신기(405)는, 예를 들어 HMD(100b)의 표시부가 표시해야 할 가상 정보의 화상 출력 신호를 HMD(100b)에 송신하는 처리를 행한다.

제8 송수신기(406)는 Bluetooth(등록 상표) 및 적외선 등의 근거리 무선 송수신기이며, 입력 장치(200a)와의 정보의 교환을 행한다. 보다 구체적으로, 제8 송수신기(406)는, 예를 들어 입력 장치(200a)가 투영하는 마커로서의 도형의 패턴을 변경하기 위한 변경 신호를 입력 장치(200a)에 송신하는 처리를 행한다.

제9 송수신기(408)는 3G(3rd Generation) 및 WiMAX(Worldwide Interoperability for Microwave Access, 등록 상표) 등의 고속 중거리 무선 송수신기 또는 고속 원거리 무선 송수신기이며, 인터넷 및 LAN(Local Area Network) 등의 네트워크 N과의 접속을 통하여 가상 정보로서 표시하는 콘텐츠를 다운로드한다.

HMD(100b)의 제5 송수신기(112), 및 휴대 정보 단말기(400)의 제7 송수신기(405)는 각각 유선 송수신기일 수 있다는 점에 유의한다.

<변형예 3>

도 24는 변형예 3에 따른 정보 처리 시스템(4)을 도시하는 모식도이다.

본 변형예의 정보 처리 시스템(4)의 하드웨어 구성은 제1 실시 형태의 정보 처리 시스템(1)의 하드웨어 구성(도 3)과 마찬가지이다.

상기 실시 형태에서는, HMD에 설치된 CPU가 메인 처리를 실행했다. 이에 반해, 본 변형예의 정보 처리 시스템(4)은 입력 장치(200)로서의 휴대 정보 단말기가 메인 처리를 실행한다. 이 휴대 정보 단말기로서 스마트폰, 휴대형 게임기 등을 들 수 있다.

HMD(100)의 제1 송수신기(108)는, 예를 들어 촬영부(101)가 취득한 현실 화상의 화상 입력 신호를 입력 장치(휴대 정보 단말기)(200)에 송신하는 처리를 행한다.

입력 장치(휴대 정보 단말기)(200)의 제3 송수신기(208)는, 예를 들어 HMD(100)의 표시부(102)가 표시해야 할 가상 정보의 화상 출력 신호를 HMD(100)에 송신하는 처리를 행한다. 입력 장치(휴대 정보 단말기)(200)의 CPU(212)는 메모리(205)에 저장된 프로그램에 따라서 상기 실시 형태에서 설명한 각 기능부로서 각종 처리를 실행한다.

표시부(102) 및 촬영부(101)가 1개의 장치(HMD(100))에 탑재되어 있는 경우, 중첩 파라미터 보정(스텝 S110)은 HMD(100)의 위치와 입력 장치(200)의 위치 간의 관계에 기초하여 행해질 수 있다는 점에 유의한다.

<변형예 4>

도 25는 변형예 4에 따른 정보 처리 시스템(5)을 도시하는 모식도이다. 도 26은 변형예 4에 따른 정보 처리 시스템(5)의 하드웨어 구성을 도시하는 블록도이다.

상기 실시 형태에서는, HMD(100)와 별도로 설치된 입력 장치(200)를 사용하여 마커 투영, 및 가상 정보에 대한 입력 조작을 행했다. 이에 반해, 본 변형예에서는, 입력 장치를 별도로 설치하지 않고, HMD(100c)만으로 마커 투영 및 가상 정보에 대한 입력 조작을 포함하는 모든 동작을 실현한다.

HMD(100c)는 제1 실시 형태의 HMD(100)의 하드웨어 구성으로부터 제1 송수신기(108)를 제외하고 CPU(103)에 접속된 변조부(113) 및 변조부(113)에 접속된 투영부(114)를 더 포함한다. 변조부(113) 및 투영부(114)는 상기 실시 형태의 입력 장치(200)에 설치된 변조부(209) 및 투영부(210)의 기능과 마찬가지의 기능을 갖는다.

HMD(100c)를 장착한 머리를 움직임으로써, 유저는 가상 정보를 조작할 수 있다. 예를 들어, 유저가 머리를 상하 좌우로 움직여서 마커의 투영 위치를 이동하면, 표시되는 가상 정보의 표시 위치를 이동(드래그)시킬 수 있다.

<변형예 5>

도 27은 변형예 5에 따른 정보 처리 시스템(6)을 도시하는 모식도이다.

정보 처리 시스템(6)은 복수의 HMD(100A, 100B, 및 100C), 복수의 입력 장치(200), 및 가상 정보로서 표시되는 콘텐츠의 콘텐츠 데이터를 기억하는 서버 장치(500)를 포함한다.

투영 HMD(100A)는 무선 또는 유선 LAN(Local Area Network)을 통해 서버 장치(500)에서 가상 정보로서 표시되는 콘텐츠의 콘텐츠 데이터를 검색해서 취득한다. 투영 HMD(100A)는 근거리 무선 송수신기(제4 송수신기(111))를 사용하여 비투영 HMD(100B 및 100C)에 서버 장치(500)로부터 취득한 콘텐츠 데이터를 공급한다. 이러한 방식으로, 투영 HMD(100A) 및 비투영 HMD(100B 및 100C)는 각각 하나의 특정한 콘텐츠를 가상 정보로서 표시할 수 있다.

<변형예 6>

도 28은 변형예 6에 따른 정보 처리 시스템(7)을 도시하는 모식도이다.

정보 처리 시스템(7)은 메인 처리 장치(600), 투영/촬영 장치(700) 및 1개 이상의 표시 장치(800)를 포함한다.

메인 처리 장치(600)는 투영해야 할 마커 M의 형상, 현실 공간 R 내의 위치 등에 관한 명령을 근거리 무선 또는 유선 통신에 의해 투영/촬영 장치(700)에 보낸다. 또한, 메인 처리 장치(600)는 현실 화상 데이터를 투영/촬영 장치(700)로부터 취득하고, 취득한 현실 화상 데이터에 기초하여 가상 정보의 오브젝트 화상 데이터를 산출한다. 메인 처리 장치(600)는 산출한 오브젝트 화상 데이터를 현실 화상 데이터에 중첩하여 표시 데이터를 생성하고, 생성한 표시 데이터를 무선 통신에 의해 복수의 표시 장치(800)에 공급한다.

투영/촬영 장치(700)는 마커 M을 현실 공간 R을 향해 투영하고, 정점 카메라에 의해 현실 공간 R을 촬영하여 현실 화상 데이터를 취득하고, 취득한 현실 화상 데이터를 메인 처리 장치(600)에 공급한다.

표시 장치(800)는 메인 처리 장치(600)에 의해 취득한 표시 데이터를 표시한다. 표시 장치(800)는, 예를 들어 HUD(Head-Up Display)이다. 구체적으로, HUD로서, 디지털 사이니지, 책상이나 차 대시보드 위에 적재될 수 있는 투명 디스플레이, 휴대 정보 단말기의 디스플레이 등을 채용할 수 있다.

<변형예 7>

도 29는 변형예 7에 따른 입력 장치(200b)를 도시하는 사시도이다.

입력 장치(200b)는 투영 버튼(201), 휠(214), 메뉴 버튼(215), 선택 버튼(216)을 포함하고, 포인팅 디바이스로서의 기능을 갖는다. 입력 장치(200b)는 OS(Operating System)에 대한 이하와 같은 입력 조작 처리를 행한다.

(1) 투영 버튼(201)이 조작되면, 투영 창(204)으로부터 마커의 투영이 개시되어, 가상 정보로서의 포인터가 표시된다.

(2) 가상 정보로서 표시된 아이콘 또는 윈도우 상에 가상 정보로서의 포인터가 표시된 환경에서, 입력 장치(200b)(포인팅 디바이스)를 이동하고, 선택 버튼(216)을 클릭하면, 아이콘이 선택되거나, 버튼이 클릭된다.

- 상기 환경에서, 선택 버튼(216)을 더블 클릭하면, 오브젝트가 실행된다.

- 상기 환경에서, 선택 버튼(216)을 누르면서 입력 장치(200b)를 이동하면, 오브젝트가 이동(드래그)한다.

- 상기 환경에서, 선택 버튼(216)을 누르면서 입력 장치(200b)를 회전시키면, 오브젝트가 회전한다.

- 상기 환경에서, 휠(214)을 회전하면, 오브젝트가 확대/축소되고, 오브젝트가 스크롤된다.

(3) 오브젝트의 드래그/회전 조작 후에 선택 버튼(216)을 이격하면, 가상 정보로서의 오브젝트는 현실 공간과의 상대 위치가 유지되어 고정하여 표시된다.

(4) 메뉴 버튼(215)을 조작하면, 서브메뉴가 표시된다.

(5) 마커의 투영 중에 투영 버튼(201)을 누르면 마커의 투영이 종료된다. 마커의 투영이 종료된 후, 그 시점에 표시되어 있는 가상 정보를 일정 기간 동안 유지해서 표시할 수 있다.

<변형예 8>

마커 투영 및 중첩 파라미터 연산의 정지 후에도 가상 정보를 계속해서 표시하는 경우(스텝 S106에서 예), 화상 데이터 생성부(124)(제1 가상 정보 표시 제어부)는 가상 정보의 표시를 미리 결정된 이벤트의 발생에 의해 정지시킬 수 있다. 이 "미리 결정된 이벤트"의 예로서는 다음과 같은 것을 들 수 있다.

- 입력 장치(200)에 대한 조작이 행해진다. 예를 들어, 입력 장치(200)에 가상 정보 오프 버튼(도시하지 않음)이 설치되는 경우, 가상 정보 오프 버튼이 눌러진다.

- 마커 투영의 정지 후에 일정 시간이 경과한다.

- 촬영부(101)(HMD(100))가 일정 거리 이상 이동한다.

- 촬영부(101)(HMD(100))가 일정 각도 이상 회전 이동한다.

<변형예 9>

도 5는 변형예 9에 따른 정보 처리 시스템(8)을 모식적으로 도시하는 블록도이다.

정보 처리 시스템(8)은 HMD(100), 입력 장치(200), 및 촬영부(901), 표시부(902) 및 메인 처리부(903)를 포함하는 정보 처리 장치(900)(예를 들어, 퍼스널 컴퓨터(Personal Computer), 이하 PC라고 칭한다)를 포함한다. 입력 장치(200)는 현실 공간에 마커를 투영할 수 있다. 촬영부(901) 및 표시부(902)는 PC(900)에 접속 또는 탑재되고, 표시부(902)는 디스플레이(도 30의 디스플레이(904))를 포함한다.

도 30에 도시한 바와 같이, 유저 U는 입력 장치(200)를 사용하여 디스플레이(904) 상에 마커 M1을 투영한다. 촬영부(901)는 입력 장치(200)의 투영 창을 촬영한다. 메인 처리부(903)는 촬영된 투영 창(204)의 촬영부(901)에 대한 각도, 거리 등에 기초하여 디스플레이(904) 상에서의 마커의 투영 위치를 산출한다. 표시부(902)는 디스플레이(904)에 표시된 마커 M에 대하여 가상 정보 I1을 표시한다.

계속해서, 도 31에 도시한 바와 같이, 유저 U는 입력 장치(200)를 이동해서 디스플레이(904) 상에서 마커를 이동시킴으로써, 가상 정보가 디스플레이(904) 상에서 이동(드래그)한다. 유저 U는 또한 입력 장치(200)를 더 이동하여 디스플레이(904)로부터 이격되어서 투영 대상물(예를 들어, 책상)(910) 위로 마커를 이동시킨다(마커 M2). PC(900)의 메인 처리부(903)는 마커 M2가 디스플레이(904)로부터 이격되어서 투영 대상물(910) 위로 이동한 것을 무선 통신에 의해 HMD(100)에 통지한다.

이 통지를 받으면, 도 32에 도시한 바와 같이, HMD(100)는 투영 대상물(910)위에 투영된 마커 M2를 촬영하여, 가상 정보 I2를 표시한다.

<변형예 10>

입력 장치가 투영하는 마커의 도형은 기존의 것일 수 있다. 구체적으로, HMD의 촬영부가 현실 공간에 실재하는 마커를 촬영한다. 대신에, HMD는 기존의 마커를 네트워크를 통해서 다운로드한다. HMD는 촬영 또는 다운로드에 의해 취득한 마커를 무선 통신에 의해 입력 장치에 공급한다. 여기서, 입력 장치는 임의의 도형을 투영할 수 있는 레이저 프로젝터 등의 장치이다. 입력 장치는 HMD로부터 취득한 마커를 현실 공간에 투영한다.

<변형예 11>

마커 투영의 광원으로서, 가시 영역외(적외, 자외 등) 레이저를 사용할 수 있다. 이에 의해, HMD를 장착하지 않은 유저가 마커 및 가상 정보를 인지하는 것을 방지할 수 있다. 한편, HMD를 장착한 유저는 가상 정보를 인지할 수 있다. 또한, HMD의 표시부에 가시 영역외(적외, 자외 등) 레이저를 인지할 수 있게 하는 처리에 의해, HMD를 장착한 유저는 마커를 인지할 수 있게 된다.

<변형예 12>

상기 각 실시 형태에서는, 유저가 입력 장치를 사용하여 가상 정보를 조작할 수 있는 것으로 했다. 또는, HMD의 CPU가 미리 메모리에 기억된 프로그램에 따라서 가상 정보의 위치 및 각도를 변경할 수 있다. 이 경우에, 최초에 가상 정보를 표시하는 기준 위치를 표시 장치에 의해 투영되는 마커에 기초하여 결정할 수 있다.

<변형예 13>

중첩 파라미터를 보정하기 위해, 이하와 같은 방법을 사용할 수 있다. 유저가 입력 장치를 자연스럽게 조작할 수 있는 영역은 한정된다(예를 들어, 가슴 앞 50cm 사방). 한편, HMD에 탑재된 촬영부의 경우에, 유저와 촬영부 간의 위치 관계가 어느 정도 고정된다. 이로 인해, 촬영부와 입력 장치 간의 위치 관계도 어느 정도 고정된다. 이것을 이용하여, 촬영부에 의해 촬영한 마커에 기초하여 산출되는 가상 정보의 제1 중첩 파라미터를 유저가 보다 자연스럽게 볼 수 있도록 보정할 수 있다. 이 방법은 HMD가 촬영부에 대한 입력 장치의 위치/방향을 검출하기 곤란한 경우에도 사용할 수 있다.

본 기술은 이하와 같은 구성도 취할 수 있다는 점에 유의한다.

(1)

촬영부와, 입력 장치에 의해 현실 공간에 투영된 마커의 공간적인 위치 관계에 기초하여 현실 공간에 가상 정보가 중첩하는 것에 대응하는 중첩 파라미터를 생성하고,

상기 마커가 검출 가능한 동안에 상기 공간적인 위치 관계에 따라 표시부에 상기 현실 공간에 중첩된 상기 가상 정보를 표시시키고, 상기 마커의 마지막으로 검출된 위치 및 상기 촬영부의 현재 위치에 기초한 갱신된 공간적인 위치 관계에 따라 상기 마커가 검출 불가능한 후에 상기 현실 공간에 중첩된 가상 정보의 표시를 계속하라는 지시를 실행하도록 구성된 프로세서

를 포함하는, 정보 처리 장치.

(2)

소정의 이벤트는 상기 마커가 검출 불가능한 후에 상기 현실 공간에 중첩된 가상 정보의 표시를 중지하게 하는, (1)의 정보 처리 장치.

(3)

상기 소정의 이벤트는 상기 마커가 검출 불가능한 후에 일정 기간 경과하는 것, 상기 촬영부가 적어도 일정 거리 이동하는 것, 및 상기 촬영부가 적어도 일정 각도 회전과 이동 중 적어도 하나인 것 중 적어도 하나인, (2)의 정보 처리 장치.

(4)

상기 정보 처리 장치는 상기 촬영부 및 상기 표시부를 포함하는 제1 헤드 마운트 디스플레이인, (1)의 정보 처리 장치.

(5)

상기 제1 헤드 마운트 디스플레이를 포함하는 복수의 헤드 마운트 디스플레이는 입력 장치에 의해 상기 현실 공간에 투영된 상기 마커에 기초하여 상기 현실 공간에 중첩된 상기 가상 정보를 각각 표시하는, (4)의 정보 처리 장치.

(6)

상기 프로세서는

보정 마커를 계산하고;

상기 보정 마커를 상기 현실 공간에 투영하는, 상기 입력 장치에 상기 보정 마커를 송신하고;

상기 현실 공간에 투영된 상기 보정 마커를 검출하라는

지시를 실행하도록 더 구성된, (1)의 정보 처리 장치.

(7)

상기 현실 공간에 상기 가상 정보가 중첩하는 것에 대응하는 제2 중첩 파라미터는 제2 촬영부와 상기 입력 장치에 의해 상기 현실 공간에 투영된 상기 보정 마커의 제2 공간적인 위치 관계에 기초하여 생성되는, (6)의 정보 처리 장치.

(8)

상기 가상 정보의 기대되는 시각 품질을 위한 조건을 만족하지 않는 경우에, 상기 중첩 파라미터가 보정되는, (1)의 정보 처리 장치.

(9)

상기 입력 장치는 휴대 정보 단말기, 스마트폰, 휴대형 게임기 중 적어도 하나인, (1)의 정보 처리 장치.

(10)

상기 입력 장치는 투영 버튼을 포함하는, (1)의 정보 처리 장치.

(11)

상기 입력 장치는 줌 조작 입력을 포함하는, (1)의 정보 처리 장치.

(12)

수신기; 및

촬영부와 입력 장치에 의해 현실 공간에 투영된 마커의 공간적인 위치 관계에 기초하여 현실 공간에 가상 정보가 중첩하는 것에 대응하는 중첩 파라미터를 수신하고,

상기 마커가 검출 가능한 동안에 상기 공간적인 위치 관계에 따라 표시부에 상기 현실 공간에 중첩된 상기 가상 정보를 표시시키고, 상기 마커의 마지막으로 검출된 위치 및 상기 촬영부의 현재 위치에 기초한 갱신된 공간적인 위치 관계에 따라 상기 마커가 검출 불가능한 후 상기 현실 공간에 중첩된 가상 정보의 표시를 계속하라는 지시를 실행하도록 구성된 프로세서

를 포함하는, 정보 처리 장치.

(13)

촬영부와, 입력 장치에 의해 상기 현실 공간에 투영된 마커의 공간적인 위치 관계에 기초하여 현실 공간에 가상 정보가 중첩하는 것에 대응하는 중첩 파라미터를 생성하라는 지시를 실행하도록 구성된 제1 프로세서를 포함하는 제1 정보 처리 장치; 및

상기 마커가 검출 가능한 동안에 상기 공간적인 위치 관계에 따라 표시부에 상기 현실 공간에 중첩된 상기 가상 정보를 표시시키고, 상기 마커의 마지막으로 검출된 위치 및 상기 촬영부의 현재 위치에 기초한 갱신된 공간적인 위치 관계에 따라 상기 마커가 검출 불가능한 후에 상기 현실 공간에 중첩된 가상 정보의 표시를 계속하라는 지시를 실행하도록 구성된 제2 프로세서를 포함하는 제2 정보 처리 장치

를 포함하는, 시스템.

(14)

현실 풍경을 촬영하여 현실 화상을 취득하도록 구성된 촬영부;

투영 장치에 의해 상기 현실 풍경에 투영된 도형의 화상을 상기 현실 화상으로부터 검출하도록 구성된 도형 검출부;

상기 현실 풍경의 상기 현실 화상으로부터 특징점을 실시간으로 검출하도록 구성된 특징점 검출부; 및

상기 도형과 상기 촬영부 간의 제1 위치 관계에 기초하여 상기 현실 풍경에 가상 정보를 중첩하여 표시부에 표시시키기 위해 필요한 파라미터를 생성하고, 상기 현실 화상으로부터 상기 도형이 소실할 때, 상기 도형이 마지막으로 검출된 시점에서의 상기 현실 풍경과의 제2 위치 관계를 유지하면서 상기 가상 정보를 계속 표시하도록 상기 특징점 검출부에 의한 검출 결과에 기초하여 상기 파라미터를 생성하도록 구성된 파라미터 생성부

를 포함하는, 정보 처리 장치.

(15)

상기 특징점 검출부에 의한 검출 결과에 기초하여 생성된 상기 파라미터를 사용한 상기 가상 정보의 표시를 미리 결정된 이벤트의 발생에 의해 정지시키도록 구성된 제1 가상 정보 표시 제어부를 더 포함하는, (14)에 따른 정보 처리 장치.

(16)

상기 투영 장치가 투영하는 화상의 광축과 상기 현실 풍경 내의 투영 대상면 간의 각도를 취득하도록 구성된 각도 취득부; 및

상기 투영 대상면에 상기 투영 장치에 의해 투영된 도형이 미리 결정된 기준 형상으로 되도록 상기 취득한 각도에 기초하여 상기 투영 장치에 의해 투영되는 도형에 변형을 부여하도록 구성된 변형 부여부를 더 포함하는, (15)에 따른 정보 처리 장치.

(17)

상기 파라미터 생성부는 변형이 부여된 도형과 상기 촬영부 간의 제1 위치 관계에 기초하여 상기 파라미터를 생성하도록 구성된, (16)에 따른 정보 처리 장치.

(18)

상기 현실 풍경에 상기 가상 정보를 중첩하여 표시시킬 때에 기상 정보의 내용이 자연 법칙에 반하는 것인지 여부 및 기대되는 시각 품질을 위한 조건을 만족하는지 여부 중 적어도 하나를 미리 결정된 규칙에 따라서 판정하고,

그 내용이 자연 법칙에 반하는 경우와 상기 조건을 만족하지 않는 경우 중 적어도 하나의 경우에, 상기 가상 정보의 표시를 취소하도록

구성된 제2 가상 정보 표시 제어부를 더 포함하는, (17)에 따른 정보 처리 장치.

(19)

상기 현실 풍경에 상기 가상 정보를 중첩하여 표시시킬 때에 그 내용이 자연 법칙에 반하는 것인지 여부 및 기대되는 시각 품질을 위한 조건을 만족하는지 여부중 적어도 하나를 미리 결정된 규칙규칙 따라서 판정하고,

그 내용이 자연 법칙에 반하는 경우와 상기 조건을 만족하지 않는 경우 중 적어도 하나의 경우에, 상기 자연 법칙 및 상기 시각 품질을 위한 상기 조건 중 적어도 하나를 만족하도록 상기 가상 정보의 표시 위치를 변경하도록

(20)

상기 표시부를 더 포함하는, (14)에 따른 정보 처리 장치.

(21)

상기 투영 장치를 더 포함하는, (14)에 따른 정보 처리 장치.

(22)

제1 현실 풍경을 촬영하여 제1 현실 화상을 취득하도록 구성된 제1 촬영부와,

투영 장치에 의해 상기 현실 풍경에 투영된 도형의 화상을 상기 제1 현실 화상으로부터 검출하도록 구성된 제1 도형 검출부와,

상기 현실 풍경의 상기 제1 현실 화상으로부터 특징점을 실시간으로 검출하도록 구성된 특징점 검출부와,

상기 도형과 상기 제1 촬영부 간의 제1 위치 관계에 기초하여 상기 현실 풍경에 가상 정보를 중첩하여 제1 표시부에 표시시키기 위해 필요한 제1 파라미터를 생성하고, 상기 제1 현실 화상으로부터 상기 도형이 소실할 때, 상기 도형이 마지막으로 검출된 시점에서의 상기 현실 풍경과의 제2 위치 관계를 유지하면서 상기 가상 정보를 계속 표시하도록 상기 특징점 검출부에 의한 검출 결과에 기초하여 상기 제1 파라미터를 생성하도록 구성된 제1 파라미터 생성부와,

상기 투영 장치가 투영하는 화상의 광축과 상기 현실 풍경 내의 투영 대상면간의 각도를 취득하도록 구성된 각도 취득부와,

상기 투영 대상면에 상기 투영 장치에 의해 투영된 도형이 미리 결정된 기준 형상으로 되도록 상기 취득한 각도에 기초하여 상기 투영 장치에 의해 투영되는 도형에 변형을 부여하도록 구성된 변형 부여부를 포함하고, 상기 제1 파라미터 생성부는 변형이 부여된 도형과 상기 제1 촬영부 간의 제1 위치 관계에 기초하여 상기 파라미터를 생성하도록 구성된 제1 정보 처리 장치, 및

상기 제1 현실 풍경을 촬영하여 제2 현실 화상을 취득하도록 구성된 제2 촬영부와,

상기 투영 장치에 의해 상기 제1 현실 풍경에 투영된 상기 변형이 부여된 도형의 화상을 상기 제2 현실 화상으로부터 검출하도록 구성된 제2 도형 검출부와,

상기 변형이 부여된 도형과 상기 제2 촬영부 간의 제3 위치 관계에 기초하여 상기 현실 풍경에 가상 정보를 중첩하여 제2 표시부에 표시시키기 위해 필요한 제2 파라미터를 생성하도록 구성된 제2 파라미터 생성부를 포함하는 제2 정보 처리 장치

를 포함하는, 정보 처리 시스템.

(23)

상기 투영 장치가 투영하는 화상의 광축과 상기 현실 풍경 내의 투영 대상면과의 각도를 취득하도록 구성된 각도 취득부와,

상기 제1 파라미터를 제2 정보 처리 장치에 송신하도록 구성된 송신부를 포함하는 제1 정보 처리 장치; 및

상기 투영 장치에 의해 상기 제1 현실 풍경에 투영된 상기 도형의 화상을 상기 제2 현실 화상으로부터 검출하도록 구성된 제2 도형 검출부와,

상기 도형과 상기 제2 촬영부 간의 제3 위치 관계에 기초하여 상기 현실 풍경에 가상 정보를 중첩하여 제2 표시부에 표시시키기 위해 필요한 제2 파라미터를 생성하도록 구성된 제2 파라미터 생성부와,

상기 제1 정보 처리 장치로부터 상기 제1 파라미터를 수신하고, 이 수신한 제1 파라미터를 사용하여 상기 제2 파라미터를 보정하도록 구성된 보정부를 포함하는 제2 정보 처리 장치

를 포함하는, 정보 처리 시스템.

(24)

촬영부에 의해, 현실 풍경을 촬영하여 현실 화상을 취득하는 단계;

도형 검출부에 의해, 투영 장치에 의해 상기 현실 풍경에 투영된 도형의 화상을 상기 현실 화상으로부터 검출하는 단계;

특징점 검출부에 의해, 상기 현실 풍경의 상기 현실 화상으로부터 특징점을 실시간으로 검출하는 단계; 및

파라미터 생성부에 의해, 상기 도형과 상기 촬영부 간의 제1 위치 관계에 기초하여, 상기 현실 풍경에 가상 정보를 중첩하여 표시부에 표시시키기 위해 필요한 파라미터를 생성하고, 상기 현실 화상으로부터 상기 도형이 소실할 때, 상기 도형이 마지막으로 검출된 시점에서의 상기 현실 풍경과의 제2 위치 관계를 유지하면서 상기 가상 정보를 계속 표시하도록 상기 특징점 검출부에 의한 검출 결과에 기초하여 상기 파라미터를 생성하는 단계

를 포함하는, 정보 처리 방법.

본 출원은 그 전체 내용이 여기에 참고로 병합된, 2012년 3월 29일자 일본 특허청에 출원된 일본 우선권 특허 출원 제2012-076966호에 개시된 것과 관련된 청구 대상을 포함한다.

본 기술 분야에 통상의 지식을 갖는 자이면 첨부된 청구 범위 또는 그 동등물의 범위 내에 있는 한 설계 요건 및 다른 인자에 따라 각종 변형, 조합, 부조합 및 변경을 할 수 있다는 것을 이해해야 한다.

100: HMD
101: 촬영부
102: 표시부
120: 삼차원 구조 추정부
121: 마커 검출부
122: 중첩 파라미터 생성부
124: 화상 데이터 생성부
200: 입력 장치

Claims

정보 처리 장치로서,
촬영부와, 입력 장치에 의해 현실 공간에 투영된 마커의 공간적인 위치 관계에 기초하여 현실 공간에 가상 정보가 중첩하는 것에 대응하는 중첩 파라미터를 생성하고,
상기 마커가 검출 가능한 동안에 상기 공간적인 위치 관계에 따라 표시부에 상기 현실 공간에 중첩된 상기 가상 정보를 표시시키고, 상기 마커의 마지막으로 검출된 위치 및 상기 촬영부의 현재 위치에 기초한 갱신된 공간적인 위치 관계에 따라 상기 마커가 검출 불가능한 후에 상기 현실 공간에 중첩된 가상 정보의 표시를 계속하라는
지시를 실행하도록 구성된 프로세서를 포함하는, 정보 처리 장치.
제1항에 있어서, 소정의 이벤트는 상기 마커가 검출 불가능한 후에 상기 현실 공간에 중첩된 가상 정보의 표시를 중지하게 하는, 정보 처리 장치.
제2항에 있어서, 상기 소정의 이벤트는 상기 마커가 검출 불가능한 후에 일정 기간 경과하는 것, 상기 촬영부가 적어도 일정 거리 이동하는 것, 및 상기 촬영부가 적어도 일정 각도 회전과 이동 중 적어도 하나인 것, 중 적어도 하나인, 정보 처리 장치.
제1항에 있어서, 상기 정보 처리 장치는 상기 촬영부 및 상기 표시부를 포함하는 제1 헤드 마운트 디스플레이인, 정보 처리 장치.
제4항에 있어서, 상기 제1 헤드 마운트 디스플레이를 포함하는 복수의 헤드 마운트 디스플레이는 입력 장치에 의해 상기 현실 공간에 투영된 상기 마커에 기초하여 상기 현실 공간에 중첩된 상기 가상 정보를 각각 표시하는, 정보 처리 장치.
제1항에 있어서, 상기 프로세서는
보정 마커를 계산하고;
상기 보정 마커를 상기 현실 공간에 투영하는, 상기 입력 장치에 상기 보정 마커를 송신하고;
상기 현실 공간에 투영된 상기 보정 마커를 검출하라는
지시를 실행하도록 더 구성된, 정보 처리 장치.
제6항에 있어서, 상기 현실 공간에 상기 가상 정보가 중첩하는 것에 대응하는 제2 중첩 파라미터는 제2 촬영부와 상기 입력 장치에 의해 상기 현실 공간에 투영된 상기 보정 마커의 제2 공간적인 위치 관계에 기초하여 생성되는, 정보 처리 장치.
제1항에 있어서, 상기 가상 정보의 기대되는 시각 품질을 위한 조건을 만족하지 않는 경우에, 상기 중첩 파라미터가 보정되는, 정보 처리 장치.
제1항에 있어서, 상기 입력 장치는 휴대 정보 단말기(PDA), 스마트폰, 휴대형 게임기 중 적어도 하나인, 정보 처리 장치.
제1항에 있어서, 상기 입력 장치는 투영 버튼을 포함하는, 정보 처리 장치.
제1항에 있어서, 상기 입력 장치는 줌 조작 입력을 포함하는, 정보 처리 장치.
정보 처리 장치로서,
수신기; 및
촬영부와 입력 장치에 의해 현실 공간에 투영된 마커의 공간적인 위치 관계에 기초하여 현실 공간에 가상 정보가 중첩하는 것에 대응하는 중첩 파라미터를 수신하고,
상기 마커가 검출 가능한 동안에 상기 공간적인 위치 관계에 따라 표시부에 상기 현실 공간에 중첩된 상기 가상 정보를 표시시키고, 상기 마커의 마지막으로 검출된 위치 및 상기 촬영부의 현재 위치에 기초한 갱신된 공간적인 위치 관계에 따라 상기 마커가 검출 불가능한 후에 상기 현실 공간에 중첩된 가상 정보의 표시를 계속하라는 지시를 실행하도록 구성된 프로세서
를 포함하는, 정보 처리 장치.
시스템으로서,
촬영부와 입력 장치에 의해 상기 현실 공간에 투영된 마커의 공간적인 위치 관계에 기초하여 현실 공간에 가상 정보가 중첩하는 것에 대응하는 중첩 파라미터를 생성하라는 지시를 실행하도록 구성된 제1 프로세서를 포함하는 제1 정보 처리 장치; 및
상기 마커가 검출 가능한 동안에 상기 공간적인 위치 관계에 따라 표시부에 상기 현실 공간에 중첩된 상기 가상 정보를 표시시키고, 상기 마커의 마지막으로 검출된 위치 및 상기 촬영부의 현재 위치에 기초한 갱신된 공간적인 위치 관계에 따라 상기 마커가 검출 불가능한 후에 상기 현실 공간에 중첩된 가상 정보의 표시를 계속하라는 지시를 실행하도록 구성된 제2 프로세서를 포함하는 제2 정보 처리 장치
를 포함하는, 시스템.