KR20170064535A

KR20170064535A - 두부 장착형 표시 장치 및 그의 제조 방법, 그리고 컴퓨터 프로그램을 갖는 컴퓨터 판독 가능 기록 매체

Info

Publication number: KR20170064535A
Application number: KR1020177010701A
Authority: KR
Inventors: 신야 도리이; 마사히데 다카노; 테루히토 고지마
Original assignee: 세이코 엡슨 가부시키가이샤
Priority date: 2014-10-03
Filing date: 2015-09-29
Publication date: 2017-06-09
Also published as: US20170213377A1; CN107076992A; WO2016051775A1; EP3201730A1; TW201614331A

Abstract

(과제) 이용 환경에 적합한 기능을, 사람이 기능의 설정을 하나하나 전환하는 일 없이, 용이하게 실현한다.
(해결 수단) 투과형의 두부 장착형 표시 장치이다. 이 두부 장착형 표시 장치는, 화상을 표시하여 상기 두부 장착형 표시 장치를 장착한 이용자에게 화상을 시인시키고, 외경을 투과할 수 있는 화상 표시부와, 상기 두부 장착형 표시 장치의 이용 환경을 판정하는 이용 환경 판정부(스텝 S110, S120)와, 상기 판정된 이용 환경에 따라서, 상기 두부 장착형 표시 장치에 탑재된 소정의 기능의 적어도 일부를 변경하는 처리 제어부(스텝 S160, S170)를 구비한다.

Description

환경에 적합화된 두부 장착형 표시 장치{HEAD DISPLAY DEVICE ADATED TO THE ENVIRONMENT}

본 발명은, 두부 장착형 표시 장치 및 그의 제어 방법, 그리고 컴퓨터 프로그램에 관한 것이다.

최근, 두부에 장착하는 표시 장치인 두부 장착형 표시 장치가 알려져 있다. 이 두부 장착형 표시 장치는, 헤드 마운트 디스플레이(HMD: Head Mounted Display)라고도 칭해지며, 이용자가 HMD를 장착한 상태로 이용자가 외경을 보는 것이 가능한 시스루형 HMD를 포함한다. 시스루형 HMD는, 액정 패널 등의 광변조 소자에 의해 생성된 화상광을, 이용자의 눈 앞에 배치한 광학계 등을 사용하여 반사시킴으로써, 이용자의 시야 영역에 외경(실상)과 함께, 허상으로서의 화상을 표시한다(예를 들면, 특허문헌 1).

일본공개특허공보 2010-139901호

종래, 시스루형 HMD에서는, 상기 화상을 표시하는 기능뿐만 아니라, 여러 가지 기능을 갖는 것이 제안되고 있다. 여러 가지 기능으로서는, 카메라를 이용한 촬영 기능, 음성을 출력하는 기능 등을 포함한다. 이들 기능을 상시 동작시켜도 좋은지의 여부가, 충분히 검토되어 있지 않다는 과제가 있었다. 그 외에, 종래의 두부 장착형 표시 장치에 있어서는, 이용자의 편리성의 향상, 검출 정밀도의 향상, 도촬 등의 악의의 사용의 방지, 장치 구성의 콤팩트화, 저비용화, 자원 절약화, 제조의 용이화 등이 요망되고 있었다.

본 발명은, 전술한 과제의 적어도 일부를 해결하기 위한 것이며, 이하의 형태로서 실현하는 것이 가능하다.

(1) 본 발명의 일 형태는, 투과형의 두부 장착형 표시 장치에 관한 것이다. 이 두부 장착형 표시 장치는, 화상을 표시하여 상기 두부 장착형 표시 장치를 장착한 이용자에게 화상을 시인시킴과 함께, 외경을 투과할 수 있는 화상 표시부와, 상기 두부 장착형 표시 장치의 이용 환경을 판정하는 이용 환경 판정부와, 상기 판정된 이용 환경에 따라서, 상기 두부 장착형 표시 장치에 탑재된 소정의 기능의 적어도 일부를 변경하는 처리 제어부를 구비해도 좋다. 이 형태의 두부 장착형 표시 장치에 의하면, 이용자에게 장착된 두부 장착형 표시 장치의 이용 환경에 따라서, 두부 장착형 표시 장치에 탑재된 소정의 기능의 적어도 일부를 변경해도 좋다. 이 때문에, 이용 환경에 따라서, 두부 장착형 표시 장치에 탑재된 소정의 기능의 적어도 일부가 억제 또는 확장되는 바와 같은 변경이 행해진다. 따라서, 본 형태의 두부 장착형 표시 장치에 의하면, 이용 환경에 대응한 기능을 용이하게 실현할 수 있다.

(2) 상기 형태에 따르는 두부 장착형 표시 장치에 있어서, 상기 이용 환경은, 상기 두부 장착형 표시 장치가 이동함으로써 전환되는 이용 환경이어도 좋다. 투과형의 두부 장착형 표시 장치에 의하면, 이용자는 두부 장착형 표시 장치를 장착한 채로 자유롭게 이동할 수 있고, 따라서, 이용 환경이 변화하기 쉽다. 따라서, 본 형태의 두부 장착형 표시 장치에 의하면, 변화하기 쉬운 이용 환경에 대응한 기능을 용이하게 실현할 수 있다.

(3) 상기 형태에 따르는 두부 장착형 표시 장치에 있어서, 촬영을 행하는 촬영부를 구비하고, 상기 이용 환경 판정부는, 상기 촬영부에 의해 얻어진 촬영 화상에 기초하여, 상기 이용 환경을 판정하도록 해도 좋다. 촬영부는 두부 장착형 표시 장치에 구비되어 있고, 따라서, 이용자의 두부의 이동에 수반하여 촬영 범위도 이동한다. 이 때문에, 촬영부에 의해 얻어진 촬영 화상으로부터, 이용 환경의 변화를 용이하게 검출할 수 있다.

(4) 상기 형태에 따르는 두부 장착형 표시 장치에 있어서, 상기 이용 환경 판정부는, 상기 촬영부에 의해 얻어진 촬영 화상 내에, 특정의 이용 환경을 인식하기 위한 마커가 포함되었을 때에는, 상기 특정의 이용 환경이라고 판정해도 좋다. 이 형태의 두부 장착형 표시 장치에 의하면, 마커를 촬영함으로써, 이용 환경의 변화를 용이하게 검출할 수 있다.

(5) 상기 형태에 따르는 두부 장착형 표시 장치에 있어서, 상기 이용 환경 판정부는, 외부의 무선 통신 단말로부터의 신호에 기초하여, 상기 이용 환경을 판정하도록 해도 좋다. 이 형태의 두부 장착형 표시 장치에 의하면, 이용 환경을 용이하게 검출할 수 있다.

(6) 상기 형태에 따르는 두부 장착형 표시 장치에 있어서, 상기 소정의 기능은, 카메라부를 사용하여 망원 촬영을 행하는 망원 촬영 기능이어도 좋다. 이 형태의 두부 장착형 표시 장치에 의하면, 카메라부를 사용하는 망원 촬영 기능을 억제 또는 확장할 수 있다. 따라서, 이용 환경에 따라 망원 촬영 모드로 용이하게 전환할 수 있다.

(7) 상기 형태에 따르는 두부 장착형 표시 장치에 있어서, 상기 이용 환경으로서, 스포츠 경기장 내의 특정의 좌석 환경을 적어도 포함하고, 상기 처리 제어부는, 상기 이용 환경 판정부가 상기 특정의 좌석 환경이라고 판정하였을 때에는, 상기 망원 촬영 기능을 온(on)하여 상기 카메라부에 의한 망원 촬영을 행하도록 해도 좋다. 이 형태의 두부 장착형 표시 장치에 의하면, 스포츠 경기장 내의 특정의 좌석 환경에 있어서 자동적으로 망원 촬영이 행해지고, 따라서, 이용자는, 그 망원 촬영에 의해 기록된 촬영 화상을 자유롭게 재생하는 것이 가능해진다. 따라서, 스포츠 경기장 내의 특정의 좌석 환경에 있어서의 이용자의 편리성을 높일 수 있다.

(8) 상기 형태에 따르는 두부 장착형 표시 장치는, 상기 두부 장착형 표시 장치가 상기 스포츠 경기장 밖으로 이동한 것이 검출되었을 때에는, 상기 망원 촬영에 의해 기록된 촬영 화상을 소거하는 소거부를 추가로 구비해도 좋다. 이 형태의 두부 장착형 표시 장치에 의하면, 스포츠 경기장 내의 특정의 좌석 환경에서 촬영된 촬영 화상이, 스포츠 경기장 외로 반출되는 것을 방지할 수 있다.

(9) 상기 형태에 따르는 두부 장착형 표시 장치에 있어서, 상기 처리 제어부는, 상기 이용 환경 판정부가 소정의 이용 환경이라고 판정하였을 때에는, 소정의 데이터를 취득하여 그 데이터를 기억부에 기억하고, 상기 이용 환경 판정부가 상기 소정의 이용 환경으로부터 벗어났다고 판정하였을 때에는, 상기 소정의 이용 환경에서 상기 기억부에 기억된 상기 소정의 데이터를 소거해도 좋다. 이 형태의 두부 장착형 표시 장치에 의하면, 소정의 이용 환경에서 기억된 소정의 데이터가 소정의 이용 환경으로부터 벗어났을 때에, 그 소정의 데이터를 소거할 수 있다. 이 때문에, 이 형태의 두부 장착형 표시 장치에 의하면, 소정의 데이터의 이용 범위를 소정의 이용 환경하로 제한할 수 있고, 따라서, 시큐리티의 향상을 도모할 수 있다.

(10) 상기 형태에 따르는 두부 장착형 표시 장치에 있어서, 상기 소정의 기능은, 상기 화상 표시부에 소정의 정보를 표시시키는 정보 제시 기능이어도 좋다. 이 형태의 두부 장착형 표시 장치에 의하면, 화상 표시부에 소정의 정보를 표시시키는 정보 제시 기능을 억제 또는 확장할 수 있다. 따라서, 그 자리에 적합한 정보 제시를 용이하게 행할 수 있다.

(11) 상기 형태에 따르는 두부 장착형 표시 장치에 있어서, 상기 이용 환경으로서, 극장 내의 특정의 좌석 환경을 적어도 포함하고, 상기 처리 제어부는, 상기 이용 환경 판정부가 상기 특정의 좌석 환경이라고 판정하였을 때에, 상기 극장에서 상연되고 있는 극에 대한 안내 정보를 상기 소정의 정보로서 표시하게 해도 좋다. 이 형태의 두부 장착형 표시 장치에 의하면, 극장 내의 특정의 좌석 환경으로 이행했을 경우에, 극장에서 상연되고 있는 극에 대한 안내 정보를 화상 표시에 의해 이용자에게 제시할 수 있다. 따라서, 극에 대한 정보 제시를 용이하게 행할 수 있다.

(12) 상기 형태에 따르는 두부 장착형 표시 장치에 있어서, 상기 이용 환경으로서, 영화관 내의 특정의 좌석 환경을 적어도 포함하고, 상기 처리 제어부는, 상기 이용 환경 판정부가 상기 특정의 좌석 환경이라고 판정하였을 때에, 자막을 상기 소정의 정보로서 표시하도록 해도 좋다. 이 형태의 두부 장착형 표시 장치에 의하면, 영화관 내의 특정의 좌석 환경으로 이행했을 때에, 상영되고 있는 영화의 자막을 화상 표시에 의해 이용자에게 제시할 수 있다. 따라서, 자막에 대한 정보 제시를 용이하게 행할 수 있다.

(13) 상기 형태에 따르는 두부 장착형 표시 장치에 있어서, 상기 영화관 내의 특정의 좌석 환경으로서, 제1 좌표 환경과 제2 좌표 환경을 갖고, 상기 처리 제어부는, 상기 이용 환경 판정부가 상기 제1 좌석 환경이라고 판정하였을 때에는, 제1 언어로 기재한 상기 자막을 표시시키고, 상기 이용 환경 판정부가 상기 제2 좌석 환경이라고 판정하였을 때에는, 상기 제1 언어와는 상이한 제2 언어로 기재한 상기 자막을 표시시키도록 해도 좋다. 이 형태의 두부 장착형 표시 장치에 의하면, 영화관 내의 제1 좌석 환경으로 이행했을 경우에는 제1 언어로 기재된 자막을 받을 수 있고, 영화관 내의 제2 좌석 환경으로 이행했을 경우에는 제2 언어로 기재된 자막을 받을 수 있다. 따라서, 좌석 환경에 따라서, 자막의 언어를 용이하게 전환할 수 있다.

(14) 상기 형태에 따르는 두부 장착형 표시 장치에 있어서, 상기 이용 환경으로서, 고레벨의 시큐리티를 필요로 하는 시큐리티 환경을 적어도 포함하고, 상기 처리 제어부는, 상기 이용 환경 판정부가 상기 시큐리티 환경이라고 판정하였을 때에는, 소정의 애플리케이션의 실행을 허가하고, 상기 이용 환경 판정부가 상기 시큐리티 환경이 아니라고 판정하였을 때에는, 상기 소정의 애플리케이션의 실행을 금지하도록 해도 좋다. 이 형태의 두부 장착형 표시 장치에 의하면, 고레벨의 시큐리티를 필요로 하는 시큐리티 환경으로 이행했을 경우에, 소정의 애플리케이션의 실행이 허가되고, 상기 시큐리티 환경이 아닌 경우에는, 상기 소정의 애플리케이션의 실행이 금지된다. 따라서, 시큐리티 환경에 따라서, 소정의 애플리케이션의 실행의 허가 및 금지를 용이하게 전환할 수 있다.

(15) 상기 형태에 따르는 두부 장착형 표시 장치에 있어서, 상기 이용 환경은, 퍼블릭 스페이스로 해도 좋다. 이 형태의 두부 장착형 표시 장치에 의하면, 퍼블릭 스페이스인 경우에, 소정의 기능의 적어도 일부를 변경할 수 있다.

(16) 상기 형태에 따르는 두부 장착형 표시 장치에 있어서, 상기 처리 제어부는, 상기 이용 환경 판정부가 상기 퍼블릭 스페이스라고 판정하였을 때에는, 소정의 애플리케이션에 의한 화상 센서 디바이스를 이용한 촬영을 금지하도록 해도 좋다. 이 형태의 두부 장착형 표시 장치에 의하면, 퍼블릭 스페이스인 경우에, 화상 센서 디바이스를 이용한 촬영을 금지할 수 있다.

(17) 상기 형태에 따르는 두부 장착형 표시 장치는, 오퍼레이션 프로그램과, 소정의 응용 프로그램을 기억하는 기억부와, 상기 오퍼레이션 프로그램에 의해 실현되는 소정의 기능에 의해서 동작될 수 있는 소정의 디바이스와, 상기 소정의 기능을 독점적으로 사용함으로써, 상기 소정의 디바이스를 구동하는 디바이스 제어부를 추가로 구비하도록 해도 좋다. 이 형태의 두부 장착형 표시 장치에 의하면, 디바이스 제어부를 통하여, 소정의 디바이스를 독점적으로 사용할 수 있다. 즉, 소정의 응용 프로그램은, 디바이스 제어부를 통하지 않고는, 소정의 디바이스를 사용할 수 없다. 따라서, 디바이스 제어부의 사용을 한정함으로써, 사회로의 적합성을 높일 수 있다.

전술한 본 발명의 각 형태가 갖는 복수의 구성 요소는 전부가 필수의 것은 아니고, 전술한 과제의 일부 또는 전부를 해결하기 위해, 혹은, 본 명세서에 기재된 효과의 일부 또는 전부를 달성하기 위해, 적절히, 상기 복수의 구성 요소의 일부를, 변경, 삭제, 새로운 다른 구성 요소와의 교체 및 한정 내용의 일부 삭제를 행하는 것이 가능하다. 또한, 전술한 과제의 일부 또는 전부를 해결하기 위해, 혹은, 본 명세서에 기재된 효과의 일부 또는 전부를 달성하기 위해, 전술한 본 발명의 일 형태에 포함되는 기술적 특징의 일부 또는 전부를 전술한 본 발명의 다른 형태에 포함되는 기술적 특징의 일부 또는 전부와 조합하여, 본 발명의 독립적인 일 형태로 하는 것도 가능하다.

예를 들면, 본 발명의 일 형태는, 화상 표시부와, 이용 환경 판정부와, 처리 제어부를 포함하는 3개의 구성요소 중의 1개 이상 또는 전부를 구비한 장치로서 실현 가능하다. 즉, 이 장치는, 화상 표시부를 갖고 있어도 좋고, 갖고 있지 않아도 좋다. 또한, 장치는, 이용 환경 판정부를 갖고 있어도 좋고, 갖고 있지 않아도 좋다. 또한, 장치는, 처리 제어부를 갖고 있어도 좋고, 갖고 있지 않아도 좋다. 화상 표시부는, 예를 들면, 화상을 표시하여 두부 장착형 표시 장치를 장착한 사용자에게 화상을 시인시킴과 함께, 외경을 투과할 수 있도록 구성해도 좋다. 이용 환경 판정부는, 예를 들면, 두부 장착형 표시 장치의 이용 환경을 판정해도 좋다. 처리 제어부는, 예를 들면, 판정된 이용 환경에 따라서, 두부 장착형 표시 장치에 탑재된 소정의 기능의 적어도 일부를 변경해도 좋다. 이러한 장치는, 예를 들면, 두부 장착형 표시 장치로서 실현할 수 있지만, 두부 장착형 표시 장치 이외의 다른 장치로서도 실현 가능하다. 이러한 형태에 의하면, 이용자의 편리성의 향상이나, 검출 정밀도의 향상, 도촬 등의 악의의 사용의 방지, 장치 구성의 콤팩트화, 저비용화, 자원 절약화 및 제조의 용이화 등의 여러 가지의 과제의 적어도 하나를 해결할 수 있다. 전술한 두부 장착형 표시 장치의 각 형태의 기술적 특징의 일부 또는 전부는, 모두 이 장치에 적용하는 것이 가능하다.

본 발명은, 두부 장착형 표시 장치 이외의 여러 가지의 형태로 실현해도 좋다. 예를 들면, 본 발명은, 표시 장치, 두부 장착형 표시 장치 및 표시 장치의 제어 방법, 두부 장착형 표시 시스템, 표시 장치, 두부 장착형 표시 시스템 및 표시 장치를 실현하기 위한 컴퓨터 프로그램, 그 컴퓨터 프로그램을 기록한 기록 매체 및 그 컴퓨터 프로그램을 포함하여 반송파 내에 구현화된 데이터 신호 등의 형태로 실현할 수 있다.

도 1은 제1 실시 형태에 따르는 두부 장착형 표시 장치(HMD)의 개략 구성을 나타내는 설명도이다.
도 2는 HMD의 구성을 기능적으로 나타내는 블록도이다.
도 3은 이용자에게 시인되는 허상의 일 예를 나타내는 설명도이다.
도 4는 HMD의 플랫폼의 설명도이다.
도 5는 제1 실시 형태에 따른 축구 관전용 티켓을 나타내는 설명도이다.
도 6은 축구 관전용 티켓으로 시선이 향한 상태에서 QR 코드가 판독된 때에 이용자에게 시인되는 정보의 일 예를 나타내는 설명도이다.
도 7은 관전 보조 루틴의 상세를 나타내는 플로우 차트이다.
도 8은 촬영 동화상을 재생했을 때에 이용자에게 시인되는 정보의 일 예를 나타내는 설명도이다.
도 9는 제2 실시 형태에 따른 HMD의 사용 형태를 나타내는 설명도이다.
도 10은 제2 실시 형태에 따르는 감상 보조 루틴의 상세를 나타내는 플로우 차트이다.
도 11은 제3 실시 형태에 따른 HMD의 사용 형태를 나타내는 설명도이다.
도 12는 제3 실시 형태에 따르는 감상 보조 루틴의 상세를 나타내는 플로우 차트이다.
도 13은 제4 실시 형태에 따른 HMD의 사용 형태를 나타내는 설명도이다.
도 14는 본 발명의 제5 실시 형태에 따른 HMD의 사용 형태를 나타내는 설명도이다.
도 15는 본 발명의 제6 실시 형태에 따른 HMD에 의해 실행되는 사회 적합 서포트 루틴을 나타내는 플로우 차트이다.
도 16은 공중 화장실을 나타내는 설명도이다.
도 17은 전차의 안의 우선석을 나타내는 설명도이다.
도 18은 본 발명의 제7 실시 형태에 따른 HMD의 플랫폼의 설명도이다.
도 19는 변형예에 있어서의 HMD의 외관의 구성을 나타내는 설명도이다.

(발명을 실시하기 위한 형태)

A. 제1 실시 형태

A-1. 두부 장착형 표시 장치의 구성

도 1은, 제1 실시 형태에 따르는 두부 장착형 표시 장치의 개략 구성을 나타내는 설명도이다. 두부 장착형 표시 장치(100)는, 두부에 장착하는 표시 장치이고, 헤드 마운트 디스플레이(Head Mounted Display, HMD)라고도 칭해진다. HMD(100)는, 이용자가, 허상을 시인하고 외경도 직접 시인 가능한 광학 투과형의 헤드 마운트 디스플레이이고, 본 실시 형태에서는, 경기(예를 들면, 축구) 관전용으로서 이용된다.

HMD(100)는, 이용자의 두부에 장착된 상태에서 이용자에게 허상을 시인시키는 화상 표시부(20)와, 화상 표시부(20)를 제어하는 제어부(컨트롤러)(10)를 구비하고 있다.

화상 표시부(20)는, 이용자의 두부에 장착되는 장착체이고, 본 실시 형태에서는 안경 형상을 갖고 있다. 화상 표시부(20)는, 우 보유지지부(21)와, 우 표시 구동부(22)와, 좌 보유지지부(23)와, 좌 표시 구동부(24)와, 우 광학상(optical image) 표시부(26)와, 좌 광학상 표시부(28)를 포함하고 있다. 우 광학상 표시부(26) 및 좌 광학상 표시부(28)는, 각각, 이용자가 화상 표시부(20)를 장착했을 때에 이용자의 우 및 좌의 눈 앞에 위치하도록 배치되어 있다. 우 광학상 표시부(26)의 일단과 좌 광학상 표시부(28)의 일단은, 이용자가 화상 표시부(20)를 장착했을 때의 이용자의 미간에 대응하는 위치에서, 서로 접속되어 있다.

우 보유지지부(21)는, 우 광학상 표시부(26)의 타단인 단부(ER)로부터, 이용자가 화상 표시부(20)를 장착했을 때의 이용자의 측두부에 대응하는 위치에 걸쳐, 연신하여 설치된 부재이다. 마찬가지로, 좌 보유지지부(23)는, 좌 광학상 표시부(28)의 타단인 단부(EL)로부터, 이용자가 화상 표시부(20)를 장착했을 때의 이용자의 측두부에 대응하는 위치에 걸쳐, 연신하여 설치된 부재이다. 우 보유지지부(21) 및 좌 보유지지부(23)는, 안경의 템플(안경테)과 같이, 이용자의 두부에 화상 표시부(20)를 보유지지한다.

우 표시 구동부(22)는, 우 보유지지부(21)의 내측, 환언하면, 이용자가 화상 표시부(20)를 장착했을 때의 이용자의 두부에 대향하는 측에 배치되어 있다. 또한, 좌 표시 구동부(24)는, 좌 보유지지부(23)의 내측에 배치되어 있다. 이후에서는, 우 보유지지부(21) 및 좌 보유지지부(23)를 구별하지 않고 "보유지지부"로서 설명한다. 마찬가지로, 우 표시 구동부(22) 및 좌 표시 구동부(24)를 구별하지 않고 "표시 구동부"로서 설명하고, 우 광학상 표시부(26) 및 좌 광학상 표시부(28)를 구별하지 않고 "광학상 표시부"로서 설명한다.

표시 구동부는, 액정 디스플레이(Liquid Crystal Display, 이하 "LCD"라고 칭함)(241 및 242), 투사 광학계(251 및 252) 등을 포함한다(도 2 참조). 표시 구동부의 구성의 상세는 후술한다. 광학 부재로서의 광학상 표시부는, 도광판(261 및 262)(도 2 참조)과 조광판을 포함하고 있다. 도광판(261 및 262)은, 광투과성의 수지 재료 등에 의해 형성되고, 표시 구동부로부터 출력된 화상광을 이용자의 눈으로 유도한다. 조광판은, 박판 형상을 갖는 광학 소자이고, 화상 표시부(20)의 표면(이용자의 눈과는 반대측)을 덮도록 배치되어 있다. 조광판은, 도광판(261 및 262)을 보호하여, 도광판(261, 262)의 손상, 오염물의 부착 등을 억제한다. 또한, 조광판의 광투과율을 조정하고, 따라서, 이용자의 눈에 들어오는 외광량을 조정하여 허상의 시인의 용이함을 조정할 수 있다. 또한, 조광판은 생략 가능하다.

화상 표시부(20)는, 추가로, 화상 표시부(20)를 제어부(10)에 접속하기 위한 접속부(40)를 갖고 있다. 접속부(40)는, 제어부(10)에 접속되는 본체 코드(48)와, 본체 코드(48)가 분기된 우 코드(42) 및 좌 코드(44)와, 분기점에 설치된 연결 부재(46)를 포함하고 있다. 우 코드(42)는, 우 표시 구동부(22)에 접속되고, 좌 코드(44)는, 좌 표시 구동부(24)에 접속되어 있다. 연결 부재(46)에는, 이어폰 플러그(30)를 접속하기 위한 잭이 설치되어 있다. 이어폰 플러그(30)로부터, 우 이어폰(32) 및 좌 이어폰(34)이 연신하고 있다.

화상 표시부(20)와 제어부(10)는, 접속부(40)를 통하여 각종 신호의 전송을 행한다. 본체 코드(48)의 연결 부재(46)와 반대측의 단부와, 제어부(10)에는, 서로 끼워 맞추는 각각의 커넥터(도시 생략)가 설치되어 있고, 본체 코드(48)의 커넥터와 제어부(10)의 커넥터의 끼워맞춤 혹은 끼워맞춤 해제에 의해, 제어부(10)와 화상 표시부(20)가 접속되거나 혹은 분리된다. 우 코드(42)와, 좌 코드(44)와, 본체 코드(48)로서는, 예를 들면, 금속 케이블이나 광파이버를 채용할 수 있다.

제어부(10)는, HMD(100)를 제어하기 위한 장치이다. 제어부(10)는, 점등부(12)와, 터치 패드(14)와, 십자 키(16)와, 전원 스위치(18)를 포함하고 있다. 점등부(12)는, HMD(100)의 동작 상태(예를 들면, 전원의 ON/OFF)를, 그 발광 형태에 의해 통지한다. 점등부(12)로서는, 예를 들면, LED(Light Emitting Diode)를 이용할 수 있다. 터치 패드(14)는, 터치 패드(14)의 조작면 상에서의 접촉 조작을 검출하여, 검출 내용에 기초하는 신호를 출력한다. 터치 패드(14)로서는, 정전식이나 압력 검출식, 또는 광학식과 같은 여러 형태의 터치 패드를 채용할 수 있다. 십자 키(16)는, 상하 좌우 방향으로 대응하는 키 압하 조작을 검출하여, 검출 내용에 기초하는 신호를 출력한다. 전원 스위치(18)는, 스위치 슬라이드 조작을 검출함으로써, HMD(100)의 전원의 상태를 전환한다.

도 2는, HMD(100)의 구성을 기능적으로 나타내는 블록도이다. 제어부(10)는, 입력 정보 취득부(110)와, 기억부(120)와, 전원(130)과, 무선 통신부(132)와, GPS 모듈(134)과, CPU(140)와, 인터페이스(180)와, 송신부(Tx)(51 및 52)를 구비하고, 각 부는 도시하지 않는 버스에 의해 서로 접속되어 있다.

입력 정보 취득부(110)는, 예를 들면, 터치 패드(14), 십자 키(16) 및 전원 스위치(18)의 조작 입력에 기초하는 신호를 취득한다. 기억부(120)는, ROM, RAM, DRAM, 하드 디스크 등에 의해 구성되어 있다.

전원(130)은, HMD(100)의 각 부에 전력을 공급한다. 전원(130)으로서는, 예를 들면, 리튬 폴리머 배터리 및 리튬이온 배터리 등의 2차 전지를 이용할 수 있다. 또한, 2차 전지를 대신하여, 1차 전지 혹은 연료 전지를 사용해도 좋고, 무선으로 전력을 공급받아 동작을 행해도 좋다. 또한, 태양 전지와 커패시터로부터 전력을 공급받도록 해도 좋다. 무선 통신부(132)는, 무선 LAN이나 Bluetooth(등록상표), iBeacon(등록상표)과 같은 소정의 무선 통신 규격에 준거하여, 다른 기기와의 사이에서 무선 통신을 행한다. GPS 모듈(134)은, GPS 위성으로부터의 신호를 수신함으로써, 자신의 현재 위치를 검출한다.

CPU(140)는, 기억부(120)에 기억되어 있는 컴퓨터 프로그램을 판독하여 실행함으로써, 오퍼레이팅 시스템(OS)(150), 화상 처리부(160), 표시 제어부(162), 이용 환경 판정부(164), 처리 제어부(166), 음성 처리부(170), iBeacon 처리부(172)로서 기능한다.

화상 처리부(160)는, 인터페이스(180) 및 무선 통신부(132)를 통하여 입력되는 콘텐츠(영상)에 기초하여 신호를 생성한다. 화상 처리부(160)는, 생성한 신호를, 접속부(40)를 통하여 화상 표시부(20)로 공급함으로써, 화상 표시부(20)를 제어한다. 화상 표시부(20)로 공급하는 신호는, 아날로그 형식 혹은 디지털 형식의 경우에 따라서 상이하다. 아날로그 형식의 경우, 화상 처리부(160)는, 클록 신호(PCLK)와, 수직 동기 신호(VSync)와, 수평 동기 신호(HSync)와, 화상 데이터(Data)를 생성하고, 송신한다. 구체적으로는, 화상 처리부(160)는, 콘텐츠에 포함되는 화상 신호를 취득한다. 취득한 화상 신호는, 예를 들면 동화상의 경우, 일반적으로 1초당 30매의 프레임 화상으로부터 구성되어 있는 아날로그 신호이다. 화상 처리부(160)는, 취득한 화상 신호로부터 수직 동기 신호(VSync) 혹은 수평 동기 신호(HSync) 등의 동기 신호를 분리하고, PLL 회로 등에 의해 클록 신호(PCLK)를 생성한다. 화상 처리부(160)는, 동기 신호가 분리된 아날로그 화상 신호를, A/D 변환 회로 등을 이용하여 디지털 화상 신호로 변환한다. 화상 처리부(160)는, 변환 후의 디지털 화상 신호를, RGB 데이터의 화상 데이터(Data)로서, 1프레임마다 기억부(120) 내의 DRAM에 기억시킨다.

한편, 디지털 형식의 경우, 화상 처리부(160)는, 클록 신호(PCLK)와, 화상 데이터(Data)를 생성하고 송신한다. 구체적으로는, 콘텐츠가 디지털 형식인 경우, 클록 신호(PCLK)가 화상 신호에 동기하여 출력되고, 따라서, 수직 동기 신호(VSync) 및 수평 동기 신호(HSync)의 생성과, 아날로그 화상 신호의 A/D 변환이 불필요해진다. 또한, 화상 처리부(160)는, 기억부(120)에 기억된 화상 데이터(Data)에 대하여, 해상도 변환 처리, 휘도 및 채도의 조정과 같은 여러 가지의 색조 보정 처리 및 키스톤 보정 처리 등의 화상 처리를 행해도 좋다.

화상 처리부(160)는, 생성된 클록 신호(PCLK), 수직 동기 신호(VSync), 수평 동기 신호(HSync), 및 기억부(120) 내의 DRAM에 기억된 화상 데이터(Data)를, 송신부(51, 52)를 통하여 각각 송신한다. 또한, 송신부(51)를 통하여 송신되는 화상 데이터(Data)를 "우안용 화상 데이터(Data1)"라고도 칭하고, 송신부(52)를 통하여 송신되는 화상 데이터(Data)를 "좌안용 화상 데이터(Data2)"라고도 칭한다. 송신부(51 및 52)는, 제어부(10)와 화상 표시부(20)의 사이에 있어서의 시리얼 전송을 위한 트랜시버로서 기능한다.

표시 제어부(162)는, 우 표시 구동부(22) 및 좌 표시 구동부(24)를 제어하는 제어 신호를 생성한다. 구체적으로는, 표시 제어부(162)는, 제어 신호에 응답하여, 우 LCD 제어부(211)를 사용한 우 LCD(241)의 구동 ON/OFF, 우 백라이트 제어부(201)를 사용한 우 백라이트(221)의 구동 ON/OFF, 좌 LCD 제어부(212)를 사용한 좌 LCD(242)의 구동 ON/OFF, 좌 백라이트 제어부(202)를 사용한 좌 백라이트(222)의 구동 ON/OFF 등을 개별적으로 제어함으로써, 우 표시 구동부(22) 및 좌 표시 구동부(24)에 의해 행해지는 화상광의 생성 및 사출을 제어한다. 표시 제어부(162)는, 우 LCD 제어부(211)와 좌 LCD 제어부(212)에 대한 제어 신호를, 송신부(51 및 52)를 통하여 송신한다. 마찬가지로, 표시 제어부(162)는, 우 백라이트 제어부(201)와 좌 백라이트 제어부(202)에 대한 제어 신호를, 송신한다.

이용 환경 판정부(164)는, 이용자의 두부에 장착된 HMD(100)의 이동에 의해 전환되는 이동 환경을 판정한다. 처리 제어부(166)는, HMD(100)에 탑재된 여러 가지의 기능 중의 소정의 기능의 적어도 일부를 변경한다. 소정의 기능은 하나의 기능 혹은 복수의 기능이라도 좋지만, 제1 실시 형태에서는 하나의 기능이다. 이용 환경 판정부(164) 및 처리 제어부(166)의 상세는, 후술한다.

음성 처리부(170)는, 콘텐츠에 포함되는 음성 신호를 취득하고, 취득한 음성 신호를 증폭하여, 연결 부재(46)에 접속된 우 이어폰(32) 내의 도시하지 않는 스피커 및 좌 이어폰(34) 내의 도시하지 않는 스피커로 공급한다. 예를 들면, Dolby(등록상표) 시스템을 채용한 경우, 음성 신호에 대한 처리가 행해지고, 우 이어폰(32) 및 좌 이어폰(34)에서는, 각각, 예를 들면 주파수 등이 바뀐 상이한 소리가 출력된다.

iBeacon 처리부(172)는, iBeacon(등록상표)의 기술을 이용하여, HMD(100)의 외부에 설치된 BLE(Bluetooth Low Energy) 단말로부터의 신호를 수신함으로써, BLE 단말과 HMD(100)의 사이의 거리를 구한다.

인터페이스(180)는, 제어부(10)에 대하여, 콘텐츠의 공급원이 되는 여러 가지의 외부 기기(OA)를 접속하기 위한 인터페이스이다. 외부 기기(OA)의 예로는, 퍼스널 컴퓨터(PC), 휴대 전화 단말, 게임 단말 등이 있다. 인터페이스(180)의 예로는, USB 인터페이스, 마이크로 USB 인터페이스, 메모리 카드용 인터페이스 등이 있다.

화상 표시부(20)는, 우 표시 구동부(22)와, 좌 표시 구동부(24)와, 우 광학상 표시부(26)로서의 우 도광판(261)과, 좌 광학상 표시부(28)로서의 좌 도광판(262)과, 외경 촬영용 카메라(61)(도 1도 참조)와, 9축 센서(66)를 구비하고 있다.

외경 촬영용 카메라(61)는, 이용자가 화상 표시부(20)를 장착했을 때의 이용자의 미간에 대응하는 위치에 배치되어 있다. 그 때문에, 외경 촬영용 카메라(61)는, 이용자가 화상 표시부(20)를 두부에 장착한 상태에 있어서, 이용자가 향하고 있는 방향의 외부의 경치인 외경을 촬상한다. 외경 촬영용 카메라(61)는, 단안 카메라이지만, 스테레오 카메라이어도 좋다. 또한, 본 실시 형태에서는, 외경 촬영용 카메라(61)는, 망원 기능을 가져서, 망원 모드로 촬영을 행하는 것이 가능하게 되어 있다. 망원 기능으로서는, 광학 줌 혹은 디지털 줌 중 어느 것을 사용하는 기능이라도 좋다. 또한, 외경 촬영용 카메라(61) 대신에, USB 접속 등의 외부 카메라로도 사용할 수 있다.

9축 센서(66)는, 가속도(3축), 각속도(3축) 및 지자기(3축)를 검출하는 모션 센서이고, 본 실시 형태에서는 이용자의 우측의 관자놀이에 대응하는 위치에 배치되어 있다. 9축 센서(66)는, 화상 표시부(20)에 설치되어 있고, 따라서, 화상 표시부(20)가 이용자의 두부에 장착되어 있을 때는, 이용자의 두부의 움직임을 검출한다. 검출된 이용자의 두부의 움직임으로부터 화상 표시부(20)의 방향이 특정된다.

우 표시 구동부(22)는, 수신부(Rx)(53)와, 광원으로서 기능하는 우 백라이트(BL) 제어부(201) 및 우 백라이트(BL)(221)와, 표시 소자로서 기능하는 우 LCD 제어부(211) 및 우 LCD(241)와, 우 투사 광학계(251)를 포함하고 있다. 또한, 우 백라이트 제어부(201)와, 우 LCD 제어부(211)와, 우 백라이트(221)와, 우 LCD(241)를 총칭하여 "화상광 생성부"라고도 칭한다.

수신부(53)는, 제어부(10)와 화상 표시부(20)의 사이에 있어서의 시리얼 전송을 행하기 위한 리시버로서 기능한다. 우 백라이트 제어부(201)는, 입력된 제어 신호에 기초하여, 우 백라이트(221)를 구동한다. 우 백라이트(221)는, 예를 들면, LED 혹은 일렉트로루미네선스(EL) 등의 발광체이다. 우 LCD 제어부(211)는, 수신부(53)를 통하여 입력된 클록 신호(PCLK)와, 수직 동기 신호(VSync)와, 수평 동기 신호(HSync)와, 우안용 화상 데이터(Data1)에 기초하여, 우 LCD(241)를 구동한다. 우 LCD(241)는, 복수의 화소를 매트릭스 형상으로 배치한 투과형 액정 패널이다. 우 LCD(241)는, 매트릭스 형상으로 배치된 각 화소 위치의 액정을 구동하여, 우 LCD(241)를 투과하는 빛의 투과율을 변화시킴으로써, 우 백라이트(221)로부터 사출되는 조명광을, 화상을 나타내는 유효한 화상광으로 변조한다.

우 투사 광학계(251)는, 우 LCD(241)로부터 사출된 화상광을 평행 상태의 광속(light flux)으로 형성하는 콜리메이터 렌즈에 의해 구성된다. 우 광학상 표시부(26)로서의 우 도광판(261)은, 우 투사 광학계(251)로부터 출력된 화상광을, 소정의 광로를 따라 그 화상광을 반사시키면서 이용자의 우안(RE)으로 유도한다. 광학상 표시부는, 화상광을 이용하여 이용자의 눈 앞에 허상을 형성하는 한에 있어서는 임의의 방식을 이용할 수 있고, 예를 들면, 회절 격자를 이용해도 좋고, 반투과 반사막을 이용해도 좋다. 또한, HMD(100)로부터 화상광을 사출하는 것을, 본 명세서에서는 "화상의 표시"라고도 칭한다.

좌 표시 구동부(24)는, 우 표시 구동부(22)와 동일한 구성을 갖고 있다. 즉, 좌 표시 구동부(24)는, 수신부(Rx)(54)와, 광원으로서 기능하는 좌 백라이트(BL) 제어부(202) 및 좌 백라이트(BL)(222)와, 표시 소자로서 기능하는 좌 LCD 제어부(212) 및 좌 LCD(242)와, 좌 투사 광학계(252)를 포함하고 있다. 우 LCD(241)와 동일하게, 좌 LCD(242)는, 매트릭스 형상으로 배치된 각 화소 위치의 액정을 구동하고, 좌 LCD(242)를 투과하는 빛의 투과율을 변화시킴으로써, 좌 백라이트(222)로부터 사출되는 조명광을, 화상을 나타내는 유효한 화상광으로 변조한다. 또한, 본 실시 형태에서는 백라이트 시스템을 채용했지만, 프런트 라이트 시스템이나, 반사 시스템을 이용하여 화상광을 사출해도 좋다.

도 3은, 이용자에게 시인되는 허상의 일 예를 나타내는 설명도이다. 도 3에서는, 이용자의 시야(VR)를 예시하고 있다. 전술한 바와 같이 하여, HMD(100)의 이용자의 양안으로 유도된 화상광이 이용자의 망막에 각각 결상하고, 따라서, 이용자는 허상(화상)(VI)을 시인한다. 도 3의 예에서는, 허상(VI)은, HMD(100)의 OS의 대기 화면이다. 또한, 이용자는, 우 광학상 표시부(26) 및 좌 광학상 표시부(28)를 투과하여 외경(SC)을 시인한다. 이와 같이, 본 실시 형태의 HMD의 이용자는, 시야(VR) 중 허상(VI)이 표시된 부분에 대해서는, 허상(VI)과, 허상(VI)의 배후로 외경(SC)을 볼 수 있다. 또한, 시야(VR1) 중 허상(VI)이 표시되어 있지 않은 부분에 대해서는, 광학상 표시부를 투과하여, 외경(SC)을 직접 볼 수 있다.

A-2. HMD의 플랫폼

도 4는, HMD(100)의 플랫폼을 나타내는 설명도이다. 여기에서 사용되는 용어 "플랫폼"은, HMD(100)에 인스톨되어 있는 애플리케이션을 동작시키기 위해 필요한 기능인, 하드웨어 자원, OS, 미들웨어 등의 집합을 나타낸다. 본 실시 형태의 플랫폼(500)은, 애플리케이션층(510)과, 프레임워크층(520)과, 라이브러리층(530)과, 커널층(540)과, 하드웨어층(550)을 포함하고 있다. 각 층(510∼550)에 있어서, 플랫폼(500)에 포함되어 있는 하드웨어 자원, OS, 미들웨어 등은 개념적으로 층구분되어 있다. 프레임워크층(520)과, 라이브러리층(530)과, 커널층(540)에 의해, OS(150)(도 2)의 기능이 실현된다. 또한, 도 4에서는, 설명상 필요로 하지 않는 구성 요소는 도시를 생략한다.

애플리케이션층(510)은, OS(150)상에 있어서 소정의 처리를 실행하기 위한 애플리케이션 소프트웨어의 집합이다. 애플리케이션층(510)에 포함되어 있는 각 애플리케이션 소프트웨어를, 이후 "앱"또는 "애플리케이션"이라고도 칭한다. 애플리케이션층(510)에는, HMD(100)에 미리 인스톨되어 있는 앱과, HMD(100)의 이용자가 인스톨한 앱의 양방이 포함된다.

도 4의 예에서는, 애플리케이션층(510)에는, 관전 보조 앱(511)과, 게임 앱(512)과, 카메라 앱(513)과, 코드 리더 앱(514) 등이 포함되어 있다. 관전 보조 앱(511)은, 대규모 스포츠 경기장(스타디움)에서의 관전에 적합한 관전 보조 기능을 제공한다. 게임 앱(512)은, 게임 기능을 제공한다. 카메라 앱(513)은, 촬영 기능을 제공한다.

프레임워크층(520)은, 애플리케이션층(510)의 애플리케이션 소프트웨어에 공통되는 기본적인 프로그램 구조 및 기능 세트를 실장한 프로그램의 집합이다. 본 실시 형태에서는, 화상 처리부 프레임(521)과, 표시 제어부 프레임(522)과, 음성 처리부 프레임(523)과, iBeacon 처리부 프레임(524) 등이 포함되어 있다. 화상 처리부 프레임(521)은, 화상 처리부(160)(도 2)의 기능을 실현한다. 표시 제어부 프레임(522)은, 표시 제어부(162)(도 2)의 기능을 실현한다. 음성 처리부 프레임(523)은, 음성 처리부(170)(도 2)의 기능을 실현한다. iBeacon 처리부 프레임(524)은, iBeacon 처리부(172)(도 2)의 기능을 실현한다.

라이브러리층(530)은, 특정의 기능을 실현하기 위한 프로그램을, 다른 프로그램(예를 들면 애플리케이션층(510)의 앱)으로부터 사용할 수 있도록 구성부품으로서 구성되는 라이브러리 소프트웨어의 집합이다. 라이브러리층(530)에 포함되어 있는 각 라이브러리 소프트웨어를, 이후 "라이브러리"라고도 칭한다. 라이브러리는, 단독으로는 실행할 수 없고, 다른 프로그램으로부터 호출되는 형태로 실행된다.

도 4의 예에서는, 라이브러리층(530)에는, 디스플레이 라이브러리(533)와, 오디오 라이브러리(534)와, 센서 라이브러리(535)와, 카메라 라이브러리(536)와, HTML(Hyper Text Markup Language) 라이브러리(537) 등이 포함되어 있다. 디스플레이 라이브러리(533)는, 우 LCD(241) 및 좌 LCD(242)(도 2)를 구동한다. 오디오 라이브러리(534)는, 우 이어폰(32) 및 좌 이어폰(34)(도 2)에 내장되어 있는 음성 IC(Integrated Circuit)를 구동한다. 센서 라이브러리(535)는, 9축 센서(66)(도 2)를 구동하고, 9축 센서(66)를 사용하여 검출값을 취득하여, 그 검출값을 앱에 제공하기 위한 정보로 가공한다. 카메라 라이브러리(536)는, 외경 촬영용 카메라(61)(도 2)를 구동하고, 외경 촬영용 카메라(61)를 사용하여 검출값을 취득하여, 그 검출값으로부터 외경 화상을 생성한다. HTML 라이브러리(537)는, 웹페이지 기술 용어로 기재된 데이터를 해석하여 화면 표시용의 문자 및 화상의 배치를 계산한다.

커널층(540)은, OS(150)의 기본 기능을 실장한 프로그램의 집합이다. 커널층(540)은, 소프트웨어(라이브러리층(530))와, 하드웨어(하드웨어층(550))의 소통을 관리하고, 그들 사이의 중개자로서 기능한다.

도 4의 예에서는, 커널층(540)에는, 우 LCD(241) 및 좌 LCD(242)용의 LCD 드라이버(541)와, 음성 IC용의 음성 IC 드라이버(542)와, 9축 센서(66)용의 센서 드라이버(543)와, 외경 촬영용 카메라(61)에 내장되어 있는 화상 센서용의 화상 센서 드라이버(544)가 포함되어 있다.

하드웨어층(550)은, HMD(100)에 내장되어 있는 실제의 하드웨어 자원이다. 본 실시 형태에 있어서 "하드웨어 자원"이란, HMD(100)에 접속되어 HMD(100)에 조입되어 있는 디바이스를 말한다. 즉, 하드웨어 자원에는, HMD(100)의 메인보드에 내부적으로 접속되어 있는 디바이스(예를 들면, 9축 센서(66)의 센서 디바이스, 카메라(61)의 화상 센서 디바이스, 터치 패드(14)의 센서 디바이스)와, 인터페이스(180)를 통하여 HMD(100)에 외부적으로 접속되어 있는 디바이스(예를 들면, 외부의 모션 센서 디바이스 혹은 외부의 USB 디바이스)의 양방이 포함된다.

도 4의 예에서는, 하드웨어층(550)에는, 우 LCD(241) 및 좌 LCD(242)로서의 LCD 디바이스(551)와, 음성 IC 디바이스(552)와, 9축 센서(66)의 센서 디바이스(553)와, 외경 촬영용 카메라(61)의 화상 센서 디바이스(554)가 포함되어 있다.

도 4에 있어서 파선으로 둘러싼 라이브러리와, 드라이버와, 디바이스는, 대응 관계를 가지며, 따라서 서로, 협동하여 동작한다. 예를 들면, 센서 라이브러리(535)와, 센서 드라이버(543)와, 센서 디바이스(553)는, 9축 센서(66)의 기능을 실현하기 위해 서로 협동하여 동작한다. 즉, 라이브러리층(530)의 센서 라이브러리(535)와, 커널층(540)의 센서 드라이버(543)는, 앱이, 하드웨어 자원(하드웨어층(550))으로서의 센서 디바이스(553)를 사용하기 위한 프로그램(소프트웨어)이다. 또한, 1개의 하드웨어 자원으로서의 센서 디바이스(553)를 사용 가능하게 하기 위해, 센서 디바이스(553)에 복수의 라이브러리가 할당되는 구성이 적용되어도 좋다.

한편, 도 4에 있어서, 예를 들면, 라이브러리층(530)의 HTML 라이브러리(537)는, 하드웨어 자원과 대응 관계를 갖지 않으며, 하드웨어 자원에 의존하지 않는다. 이와 같이, HMD(100)에 내장되어, 하드웨어 자원에 의존하지 않는 프로그램(소프트웨어)을, 본 실시 형태에서는 "소프트웨어 자원"이라고도 칭한다. 소프트웨어 자원으로서는, 프레임워크층(520), 라이브러리층(530), 커널층(540)을 포함하는 각 층에 포함되는 여러 가지의 프로그램이 상정된다.

A-3. 관전용 티켓과 앱의 기동의 방법:

도 5는, 본 실시 형태에 따른 축구 관전용의 티켓을 나타내는 설명도이다. 축구 관전용의 티켓(TC)에는, 장소명(C1)과, 좌석 위치를 나타내는 좌석 정보(C2)와, QR코드(등록상표)(C3) 등이 인쇄되어 있다. QR코드(C3)에는, 관전 보조 앱(511)(도 4)을 기동하기 위한 기동 정보(이하, "관전 보조 앱 기동 정보"라고 칭함)와, 좌석 정보가 코드화되어 기록되어 있다.

HMD(100)를 장착한 이용자는, 스타디움 내에 있어서, 코드 리더 앱(514)을 기동하여, 입장시에 제시한 티켓(TK)으로 시선을 향한다. 코드 리더 앱(514)은, HMD(100)의 대기화면(도 3 참조)에 배치된 [코드 리더] 아이콘(IC)을 선택하는 소정의 조작을 입력 정보 취득부(110)가 접수함으로써 기동된다. 코드 리더 앱(514)을 실행하는 HMD(100)는, 외경 촬영용 카메라(61)를 사용하여 촬영을 행한다. 얻어진 촬영 화상의 안에 QR코드가 포함되는 경우에, HMD는 그 QR코드를 원래의 정보로 복원하여, 그 원정보를 표시한다. 즉, CPU(140)는, 촬영 화상의 안에 QR코드가 포함되는 경우에, QR코드로서 코드화된 정보를 화상 표시부(20)에 표시시킨다.

도 6은, 축구 관전용의 티켓(TC)으로 시선을 향하여 QR코드(C3)를 독해할 때에, 이용자에게 시인되는 정보의 일 예를 나타내는 설명도이다. 도 6에서는, 이용자의 시야(VR1)를 예시하고 있다. 시야(VR1)에는, 도시하는 바와 같이, 스타디움 내의 외경(SC1)이 포함되어 있다. 또한, 외경(SC1)에 중첩되도록, 코드 정보 표시 영역(AR1)이 배치된다. 코드 정보 표시 영역(AR1)에는, QR코드(511)의 원정보인 관전 보조 앱 기동 정보(D1)와 좌석 정보(D2)가 포함된다.

이용자는, 관전 보조 앱 기동 정보(D1)를 선택하는 소정의 조작을, 터치 패드(14) 혹은 십자 키(16)를 이용하여 행한다. 그 소정의 조작을 입력 정보 취득부(110)가 접수하고, 따라서, HMD(100)는, 관전 보조 앱(511)(도 4)을 기동할 수 있다. 구체적으로는, HMD(100)는, 관전 보조 앱 기동 정보(D1)에 기록된 URL을 찾아가 관전 보조 앱을 인스톨하고, 인스톨된 관전 보조 앱(511)(도 4)을 기동한다. 또한, 관전 보조 앱(511)은, 미리 내장된 구성으로 해도 좋다. 본 실시 형태에서는, QR코드(511)는, 축구 관전용의 티켓(TC)에 기재한 것으로 구성된다. 이를 대신하여, QR코드를 스타디움 내의 각 좌석에 미리 접착한 구성으로 해도 좋다. 즉, 각 좌석에는, 각 좌석에 대응한 좌석 정보(D2)를 갖는 QR코드를 접착한 구성을 채용할 수 있다.

A-4. 관전 보조 앱에 의한 처리

도 7은, 관전 보조 루틴의 상세를 나타내는 플로우차트이다. 관전 보조 루틴은, 관전 보조 앱(511)에 기초하는 처리 루틴으로, HMD(100)의 CPU(140)에 의해 실행된다. 관전 보조 루틴은, 관전 보조 앱(511)의 기동을 받아 실행 개시된다. 관전 보조 앱(511)이, 한 번, HMD(100)에 인스톨된 후에는, 티켓(TC)으로부터가 아닌, 인스톨된 관전 보조 앱(511)으로, 직접, 실행 지시함으로써, 관전 보조 루틴은 실행 개시할 수 있다.

처리가 개시되면, CPU(140)는, 우선, QR코드(511)를 판독함으로써 얻어진, 전술한 코드화된 좌석 정보(D2)를, 기억부(120)(도 2)의 소정의 에어리어에 기억한다(스텝 S110). 또한, 관전 보조 앱(511)을 기동함에 있어서, QR코드(C3)의 독해를 행하지 않았던 경우에는, 좌석 정보(D2)를 터치 패드(14)나 십자 키(16)를 이용하여 입력하도록 해도 좋다.

이어서, CPU(140)는, 그 좌석 정보(D2)에 의해 정해지는 좌석이, 스타디움의 상단 에어리어에 포함되는지 아닌지를 판정한다(스텝 S120). 상단 에어리어는, 스타디움의 상단측에 미리 설정한 에어리어이다. 본 실시 형태에서는, 이 상단 에어리어 내에 포함되는 관객에 대하여 특별한 서비스를 제공하는 것이 가능하도록, 스텝 S120에서는, 좌석이 상단 에어리어에 포함되는지 아닌지의 판정을 행하고 있다. 스텝 S120에서, 좌석 정보(D2)에 의해 정해지는 좌석이 상단 에어리어에 포함되지 않는다고 판정된 경우에는, CPU(140)는, 이 관전 보조 루틴을 종료한다.

한편, 스텝 S120에서, 좌석 정보(D2)에 의해 정해지는 좌석이 상단 에어리어에 포함된다고 판정되면, CPU(140)는, HMD(100)의 현재 위치를 GPS 모듈(134)을 사용하여 검출하고(스텝 S140), 그 현재 위치가, 축구 경기를 행하고 있는 스타디움 내인지 아닌지를 판정한다(스텝 S150). 여기에서, 현재 위치가 스타디움 내라고 판정된 경우에는, CPU(140)는, 외경 촬영용 카메라(61)의 망원 기능을 온(on)하여 촬영을 개시한다(스텝 S160). 또한, 그 촬영 동안에는, 촬영 동화상을 기억부(120)에 기억한다(스텝 S170). 또한, 촬영 동안에는, 스텝 S140 및 S150의 처리를 반복하여 행하고, 스텝 S150에 의해, HMD(100)의 현재 위치가 스타디움 내라고 판정되었을 때에는, 스텝 S160 및 S170에 의해 촬영을 계속하여 행한다.

전술한 바와 같이, 외경 촬영용 카메라(61)는, 이용자가 향하고 있는 방향의 외경을 촬상할 수 있다. 이러한 이유로, HMD(100)에 의하면, 이용자가 향하고 있는 방향의 경기의 상태를 자동적으로 망원 촬영할 수 있다. 또한, HMD(100)는, 망원 촬영의 중간에, 별도로 준비된 재생 애플리케이션을 이용하여, 촬영한 내용, 즉, 기억부(120)에 기억된 촬영 동화상을 재생할 수 있다.

도 8은, 촬영 동화상을 재생했을 때에, 이용자에게 시인되는 정보의 일 예를 나타내는 설명도이다. 도 8에서는, 이용자의 시야(VR2)를 예시하고 있다. 시야(VR2)에는, 도시하는 바와 같이, 스타디움 내의 외경(SC2)이 포함되어 있다. 또한, 외경(SC2)에 중첩되도록, 재생 영역(AR2)이 표시된다. 재생 영역(AR2)에는, 전술한 망원 모드로 촬영된 촬영 동화상이 포함된다.

도 7의 스텝 S150에 의해, HMD(100)의 현재 위치가 스타디움 내가 아닌, 즉 HMD(100)가 스타디움의 외측으로 이동했다고 판정되었을 때에는, CPU(140)는, 스텝 S130의 처리로 진행하여, 스텝 S170에 의해 기억부(120)에 기억된 촬영 동화상을 삭제한다. 그 후, CPU(140)는, 관전 보조 루틴을 종료한다.

또한, 관전 보조 루틴에 있어서의 스텝 S110 및 스텝 S120의 처리가 이용 환경 판정부(도 2)에 대응하고, 스텝 S160 및 스텝 S170의 처리가 처리 제어부(도 2)에 대응하고 있다.

이상과 같이 구성된 제1 실시 형태의 HMD(100)에 의하면, 스타디움에 있어서의 이용 환경이 상단 에어리어의 좌석 환경에 있는 경우에, 이용자가 향하고 있는 방향의 상태가 망원 모드로 자동적으로 촬영된다. 이 때문에, 이용자는, 상단에 위치하고 있기 때문에, "볼 수 없음" 및 "지금의 플레이를 재차 보고 싶음"과 같은 경우에, 자동적으로 망원 촬영되어 기억된 촬영 동화상을 재생함으로써, 재차, 볼 수 있다. 따라서, HMD(100)에 의하면, 상단 에어리어라는 좌석 환경에 적합한 촬영 기능을 용이하게 실현할 수 있다. 또한, 상단 에어리어의 좌석 환경에 있어서의 이용자의 편리성을 향상할 수 있다. 또한, 스타디움의 밖으로 나갔을 때에는, 촬영 화상은 삭제되고, 따라서, 촬영 화상이 스타디움 밖으로 반출되는 것을 방지할 수 있다.

상기 제1 실시 형태의 변형예로서, HMD(100)가 스타디움의 외측으로 이동했다고 판정되었을 때에, 촬영 동화상을 삭제하는 구성 대신에, 촬영 동화상의 재생을 로크(lock)하는 구성을 채용해도 좋다. 스타디움의 밖에서는 로크를 행하고, 따라서, 스타디움 밖에서의 상기의 촬영 동화상의 재생을 금지할 수 있고, 당해 스타디움으로 되돌아왔을 때에는, 촬영 동화상을 재생하는 것이 가능하다. 또한, 제1 실시 형태의 다른 변형예로서, 도 7에 있어서 스텝 S110 및 S120의 처리가 삭제된 구성을 채용해도 좋다. 이 변형예에 의하면, 스타디움 내의 어느 위치에서도 망원 촬영이 설정될 수 있고, 스타디움 밖으로 이동했을 때에는, 그 촬영 화상은 삭제된다. 이 변형예에 있어서도, 촬영 동화상을 삭제하는 구성 대신에, 촬영 동화상의 재생이 로크되는 구성을 채용해도 좋다.

B. 제2 실시 형태

도 9는, 본 발명의 제2 실시 형태에 따른 HMD의 사용 형태를 나타내는 설명도이다. 제2 실시 형태에 따른 HMD(600)는, 제1 실시 형태에 따른 HMD(100)와는, HMD가 오페라 감상 보조 앱을 구비하는 점에서 상이하고, 양자의 실시 형태는, 다른 점에서는 동일하다. 또한, 제1 실시 형태와 동일한 부품에 대해서는, 제1 실시 형태에서 이용한 참조번호 및 부호에 의해 나타냄으로써, 이하의 설명을 행한다. 도시하는 바와 같이, 제2 실시 형태에 따른 HMD(600)는, 오페라를 공연하는 극장 내에서 이용된다. 오페라 감상 보조 앱은, 예를 들면, 이용하는 극장의 홈페이지로부터 다운로드하여, HMD(600)에 미리 인스톨되어 있다.

극장의 최후부 좌석의 이측에는, BLE 단말(610)이 배치되어 있고, BLE 단말(610)로부터 iBeacon의 신호가 출력된다. iBeacon의 신호에는, BLE 단말(610)까지의 거리가 적어도 기억되어 있다. HMD(600)를 장착한 이용자가, 극장 내에 들어가면, 그 이용자는, 우선, 오페라 감상 보조 앱을 기동한다.

도 10은, 감상 보조 루틴의 상세를 나타내는 플로우차트이다. 감상 보조 루틴은, 오페라 감상 보조 앱에 따르는 처리 루틴으로, HMD(600)의 CPU(140)에 의해 실행된다. 이 감상 보조 루틴에서는, iBeacon 처리부(172)(도 2)를 이용한다.

처리가 개시되면, HMD(600)의 CPU는, 우선, BLE 단말(670)로부터 iBeacon의 신호를 감지했는지 아닌지를 판정한다(스텝 S210). CPU(140)는, iBeacon의 신호를 감지할 때까지 스텝 S210의 처리를 반복하여 실행하고, 스텝 S210에서 감지되었다고 판정되면, 감지한 신호에 기억되어 있는 거리가 소정값(예를 들면, 7m) 미만인지 아닌지를 판정한다(스텝 S220). 거리가 소정값 미만인지 아닌지의 판정은, HMD(600)를 장착한 이용자의 좌석이, 극장의 후부측의 소정 범위에 포함되는지 아닌지를 판정하기 위한 것이다. 즉, 거리가 소정값 미만인지 아닌지의 판정은, HMD(600)의 이용 환경이 뒷좌석이라는 좌석 환경에 있는지 아닌지를 판정한다. 여기에서, 거리가 소정값 미만이 아니라고 판정된 경우, CPU(140)는, 스텝 S210으로 처리를 되돌린다.

스텝 S220에서, 거리가 소정값 미만이라고 판정된 경우에는, HMD(600)의 이용 환경이 뒷좌석의 환경으로 이행했다고 상정하여, CPU(140)는, 애플리케이션층(510)(도 4)에 포함되는 음성 처리부 프레임(523)과 카메라 앱(513)을 로크한다(스텝 S230 및 S240). 음성 처리부 프레임(523)은, HMD(600)의 음성의 출력의 전부를 담당하기 때문에, 음성 처리부 프레임(523)이 로크됨으로써, HMD(600)로부터의 음성의 출력은 전부 지워진다(뮤트된다).

한편, 외경 촬영용 카메라(61)를 이용한 촬영 기능은, 카메라 앱(516) 이외에도, 애플리케이션층(510)에 포함되는 다른 앱을 사용하여 마커 인식 처리(제1 실시 형태에 있어서의 QR코드를 인식하는 처리 등)에도 포함된다. 본 실시 형태에서는, 카메라 앱(516)을 사용하는 촬영은 금지되고, 마커 인식 처리에 따르는 촬영은 금지되지 않는다(즉, 허가됨). 즉, 본 실시 형태에서는, 도촬을 목적으로 하여 이용 가능한 카메라 앱(516)을 사용하는 촬영은 금지되고, 도촬로서 이용할 수 없는 마커 인식 처리에 따르는 촬영은 허가된다. 또한, 변형예로서, 라이브러리층(530)에 포함되는 카메라 라이브러리(536)를 로크하여, 촬영을 완전히 금지해도 좋다.

스텝 S240의 실행 후, CPU(140)는, 안내 정보의 표시를 개시한다(스텝 S250). 즉, CPU(140)는, 안내 정보를 화상 표시부(20)에 표시시키는 것을 개시한다. 도 9에 예시하는 바와 같이, 이용자의 시야(VR3)에는, 극장 내의 외경(SC3)이 포함되어 있고, 외경(SC3)에 중첩하도록, 안내 정보 표시 영역(AR3)이 표시된다. 이 안내 정보 표시 영역(AR3)에 안내 정보(GI)가 포함된다. 안내 정보(GI)는, 공연되고 있는 오페라(상연 작품)의 기법, 역사적 배경, 하이라이트 등의 상세 정보이다. 본 실시 형태에서는, HMD(600)는, 공연의 개시를 개시 시간으로부터 검출하고, 공연 시간에 따른, 안내 정보 표시 영역(AR3)에 포함되는 안내 정보를 순서대로 전환한다. 본 실시 형태에서는, 시야(VR3)의 중심으로부터 이동된 위치에 안내 정보 표시 영역(AR3)을 배치하는 구성이 채용되었다. 이에 따라, 이용자는, 공연 내용을 시인하는 것을 방해하지 않으면서, 안내 정보(GI)를 볼 수 있다. 스텝 S250의 실행 후, 감상 보조 루틴을 종료하여도, 상기의 개시된 안내 정보의 표시는, 공연이 종료될 때까지 계속된다.

또한, 감상 보조 루틴에 있어서의 스텝 S210 및 S220의 처리가 이용 환경 판정부에 대응하고, 스텝 S230에서 S250까지의 처리가 처리 제어부에 대응하고 있다. 처리 제어부로서는, 스텝 S230에서 S250까지의 모든 처리를 실행하는 구성에 대신하여, 스텝 S230에서 S250까지의 처리 중 어느 1개의 스텝만을 실행하는 구성을 채용해도 좋고, 혹은 그들 중 어느 2개의 스텝을 실행하는 구성을 채용해도 좋다.

이상과 같이 구성되는 제2 실시 형태의 HMD(600)에 의하면, 극장에 있어서의 이용 환경이 뒷좌석의 좌석 환경에 있는 경우에, 외경(SC3)으로서 시인되는 공연 내용과 함께, 공연되고 있는 오페라의 안내 정보를 볼 수 있다. 극장(특히, 대형의 극장)에 있어서의 뒷좌석의 좌석 환경에서는, 시인하는 대상은 멀리 있고, 따라서 시야(VR)에서의 대상의 비율이 낮아진다. 이 때문에, 시야(VR)에 안내 정보(GI)를 표시할 만큼의 스페이스를 충분히 취할 수 있다. 따라서, HMD(600)에 의하면, 뒷좌석의 좌석 환경에 적합한 표시 기능을 용이하게 실현할 수 있다. 또한, 뒷좌석의 좌석 환경에 있어서의 이용자의 편리성을 향상할 수 있다.

C. 제3 실시 형태

도 11은, 본 발명의 제3 실시 형태에 따른 HMD의 사용 형태를 나타내는 설명도이다. 제3 실시 형태에 따른 HMD(700)는, 제1 실시 형태에 따른 HMD(100)와는, HMD가 영화 감상 보조 앱을 구비한다는 점이 상이하고, 다른 점에서는 양자의 실시 형태는 동일하다. 또한, 제1 실시 형태와 동일한 부품에 대해서는, 제1 실시 형태에서 이용한 부호에 의해서 나타냄으로써, 이하의 설명을 행한다. 도시하는 바와 같이, 제3 실시 형태에 따른 HMD(700)는, 영화관 내에서 이용된다. 영화 감상 보조 앱은, 예를 들면, 이용하는 영화관의 홈페이지로부터 다운로드하여, HMD(700)에 미리 인스톨되어 있다.

영화관 내의 제1 위치에는 제1 BLE 단말(710)이 배치되어 있고, 영화관 내의 제1 위치와는 상위한 제2 위치에는 제2 BLE 단말(720)이 배치되어 있다. 각 BLE 단말(710 및 720)로부터 iBeacon의 신호가 출력된다. iBeacon의 신호에는, BLE 단말(710 및 720)을 식별하는 BLE 단말 식별 번호와, 각 BLE 단말(710 및 720)까지의 거리가 적어도 포함된다. HMD(700)를 장착한 이용자가, 영화관 내에 들어가면, 그 이용자는 우선, 영화 감상 보조 앱을 기동한다.

도 12는, 감상 보조 루틴의 상세를 나타내는 플로우차트이다. 감상 보조 루틴은, 영화 감상 보조 앱에 기초하는 처리 루틴으로, HMD(700)의 CPU(140)에 의해 실행된다. 이 감상 보조 루틴에서는, iBeacon 처리부(172)(도 2)를 이용한다.

처리가 개시되면, HMD(700)의 CPU는, 우선, 2개의 BLE 단말(710 및 720) 중 적어도 한쪽으로부터, iBeacon의 신호를 감지했는지 아닌지를 판정한다(스텝 S310). CPU(140)는, iBeacon의 신호를 감지할 때까지 스텝 S310의 처리를 반복하여 실행하고, 스텝 S310에서 그 신호가 감지되었다고 판정되면, 감지한 신호에 기억되어 있는 거리가 소정값(예를 들면, 5m) 미만인지 아닌지를 판정한다(스텝 S320). 또한, 복수의 iBeacon의 신호를 감지한 경우에는, 기억되어 있는 거리가 짧은 신호를 상기 "감지한 신호"로 간주한다. 거리가 소정값 미만인지 아닌지의 판정은, HMD(700)를 장착한 이용자의 좌석이, 제1 BLE 단말(710)이 배치된 제1 위치를 중심으로 하여, 반경이 상기 소정값인 제1 범위(E1)와, 제2 BLE 단말(720)이 배치된 제2 위치를 중심으로 하여, 반경이 상기 소정값인 제2 범위(E2) 중 어느 한쪽에 포함되는지 아닌지를 판정하기 위한 것이다. 즉, 거리가 소정값 미만인지 아닌지의 판정은, HMD(700)의 이용 환경이 제1 범위(E1) 또는 제2 범위(E2)에 포함되는지 아닌지의 판정을 포함한다. 여기에서, 거리가 소정값 미만이 아니라고 판정된 경우, CPU(140)는, 스텝 S310으로 처리를 되돌린다.

스텝 S320에서, 거리가 소정값 미만이라고 판정된 경우에는, HMD(700)의 이용 환경이 제1 범위(E1) 또는 제2 범위(E2)에 포함되는 환경으로 이행했다고 상정하여, CPU(140)는, 애플리케이션층(510)(도 4)에 포함되는 음성 처리부 프레임(523)과 카메라 앱(513)을 로크한다(스텝 S330 및 S340). 이 스텝 S330 및 S340은, 제2 실시 형태의 스텝 S230 및 S240(도 10)과 동일하다.

스텝 S330의 실행 후, CPU(140)는, 감지한 신호에 기억되어 있는 BLE 단말 식별 번호에 대응한 언어의 자막의 표시를 개시한다(스텝 S350). 본 실시 형태에서는, 영화관 내의 제1 범위(E1)에서는 자막을 일본어로 표시하고, 영화관 내의 제2 범위(E2)에서는 자막을 중국어로 표시하도록, 미리 정해져 있다. 이 때문에, 스텝 S350에서는, 감지한 신호에 기억되어 있는 BLE 단말 식별 번호가 제1 BLE 단말(710)을 나타내는 것일 때는, 일본어로 자막의 표시를 개시하고, 감지한 신호에 기억되어 있는 BLE 단말 식별 번호가 제2 BLE 단말(710)을 나타내는 것일 때는, 중국어로 자막의 표시를 개시한다. 스텝 S350의 실행 후, 감상 보조 루틴을 종료하여도, 상기의 개시된 자막의 표시는, 상영이 종료될 때까지 계속된다.

또한, 감상 보조 루틴에 있어서의 스텝 S310 및 스텝 S320의 처리가 이용 환경 판정부에 대응하고, 스텝 S330에서 스텝 S350까지의 처리가 처리 제어부에 대응하고 있다. 처리 제어부로서는, 스텝 S330에서 스텝 S350까지의 모든 처리를 실행하는 구성을 대신하여, 스텝 S330에서 스텝 S350까지의 처리 중 어느 1개의 스텝만을 실행하는 구성을 채용해도 좋고, 그들 중 어느 2개의 스텝을 실행하는 구성을 채용해도 좋다.

이상과 같이 구성되는 제3 실시 형태의 HMD(700)에 의하면, 영화관에 있어서의 이용 환경이 제1 범위(E1)의 좌석 환경에 있는 경우에, 외경(SC4)으로서 투과하여 시인되는 스크린(SR)과 함께, 일본어의 자막을 볼 수 있다. 또한, 영화관에 있어서의 이용 환경이 제2 범위(E2)의 좌석 환경에 있는 경우에, 외경(SC5)으로서 투과하여 시인되는 스크린(SR)과 함께, 중국어의 자막을 볼 수 있다. 따라서, HMD(700)에 의하면, 좌석 환경에 따라서, 자막의 언어를 용이하게 전환할 수 있다. 또한, 좌석 환경에 있어서의 이용자의 편리성을 향상할 수 있다.

D. 제4 실시 형태

도 13은, 본 발명의 제4 실시 형태에 따른 HMD의 사용 형태를 나타내는 설명도이다. 제4 실시 형태에 따른 HMD(800)는, 제1 실시 형태에 따른 HMD(100)와는, HMD기 앱 실행 제한 애플리케이션을 구비한다는 점이 상이하고, 다른 점에서는 양자의 실시 형태는 동일하다. 제4 실시 형태에 따른 HMD(800)는, 고레벨의 시큐리티를 필요로 하는 시큐리티 룸(820)을 포함하는 오피스(810)에서 사용된다. 시큐리티 룸(820)의 중앙에는, BLE 단말(830)이 설치되어 있다. BLE 단말(830)과 HMD(800)의 사이의 거리가 소정값(예를 들면, 5m) 미만이 되었을 때에, HMD(800)를 장착한 이용자가 시큐리티 룸(820)에 들어간 것으로 간주한다. 앱 실행 제한 애플리케이션에 의하면, HMD(800)는, BLE 단말(830)로부터의 거리가 소정값 미만으로 판정되었을 때에, 소정의 응용 프로그램의 실행을 허가함과 함께, 소정의 네트워크로의 접속을 허가하도록 한다. 한편, BLE 단말(830)로부터의 거리가 소정값 이상으로 판정되었을 때, 또는 BLE 단말(830)로부터의 iBeacon의 신호를 감지할 수 없었을 때에는, 상기 소정의 응용 프로그램의 실행을 금지함과 함께, 소정의 네트워크로의 접속을 금지한다.

이상과 같이 구성된 제4 실시 형태에 따른 HMD(800)에 의하면, 이용 환경이 고레벨의 시큐리티를 필요로 하는 시큐리티 환경에 있는지 아닌지에 따라, 소정의 애플리케이션의 실행 및 소정의 네트워크로의 접속이 허가 또는 금지된다. 따라서, HMD(800)에 의하면, 시큐리티 환경에 따라서, 소정의 애플리케이션의 실행의 허가 및 금지와, 소정의 네트워크로의 접속의 허가 및 금지를 용이하게 전환할 수 있다. 또한, 본 실시 형태에서는, 소정의 애플리케이션의 실행과, 소정의 네트워크로의 접속의 양방을 허가 또는 금지하는 구성을 채용하고 있다. 이를 대신하여, 소정의 애플리케이션의 실행과 소정의 네트워크로의 접속의 어느 한쪽만을 행하는 구성을 채용해도 좋다.

E. 제5 실시 형태

도 14는, 본 발명의 제5 실시 형태에 따른 HMD의 사용 형태를 나타내는 설명도이다. 제5 실시 형태에 따른 HMD(900)는, 제1 실시 형태에 따른 HMD(100)와는, 그 HMD가 무선 통신 제한 애플리케이션을 구비한다는 점이 상이하고, 다른 점에서는 양자의 실시 형태는 동일하다. 제5 실시 형태에 따른 HMD(900)는, 무선 통신을 제한(금지)할 필요가 있는 스페이스, 예를 들면 병원(910)에서 사용된다. Wi-Fi, 무선 LAN 등을 통한 무선 통신은, 의료 기기를 오작동시킬 우려가 있기 때문에, 병원에서는 제한할 필요가 있다.

병원(910)은, 진찰실(912)과 대합실(914)을 구비한다. 진찰실(912)의 중앙에는, BLE 단말(930)이 설치되어 있다. BLE 단말(930)과 HMD(900) 사이의 거리가 소정값(예를 들면, 5m) 미만이 되었을 때에, CPU는, HMD(900)를 장착한 이용자가 대합실(914)로부터 진찰실(912)에 들어간 것으로 간주한다. 무선 통신 제한 애플리케이션에 의하면, HMD(900)가, BLE 단말(930)로부터의 거리가 소정값 미만이라고 판정하였을 때에, CPU는, Wi-Fi, 무선 LAN 등을 통한 무선 통신으로의 접속을 금지한다. 한편, BLE 단말(930)로부터의 거리가 소정값 이상으로 판정되었을 때, 또는 BLE 단말(930)로부터의 iBeacon의 신호를 감지할 수 없었을 때에는 CPU는, 무선 통신으로의 접속을 허가한다.

이상과 같이 구성된 제5 실시 형태에 따른 HMD(900)에 의하면, 이용 환경이 무선 통신의 제한을 필요로 하는 환경인 경우에는, Wi-Fi, 무선 LAN 등을 통한 무선 통신의 접속이 금지되고, 이용 환경이 상기 환경이 아닌 경우에는, 무선 통신의 접속이 허가된다. 따라서, HMD(900)에 의하면, 이용 환경에 따라서, 무선 통신으로의 접속의 금지 및 허가를 용이하게 전환할 수 있다.

F. 제6 실시 형태

도 15는, 본 발명의 제6 실시 형태에 따른 HMD에 의해 실행되는 사회 적합 서포트 루틴을 나타내는 플로우차트이다. 사회 적합 서포트 루틴은, HMD가 사회에 적합한 것을 목적으로 하여 개발된 프로그램이다. 제6 실시 형태에 따른 HMD는, 제1 실시 형태에 따른 HMD(100)와는, 사회 적합 서포트 루틴이 CPU에 의해 실행되는 점에서 상이하고, 다른 점에서는 양자의 실시 형태가 동일하다. 사회 적합 서포트 루틴은, HMD의 기동 후, 소정 시간마다의 중단으로 반복하여 실행된다.

처리가 개시되면, HMD의 CPU는, 우선, 외경 촬영용 카메라(61)를 사용하여 촬영을 행하고(스텝 S400), 얻어진 촬영 화상의 안에 공중 화장실의 성별 마크가 포함되는지 아닌지를 판정한다(스텝 S410). 또한, CPU는, 얻어진 촬영 화상의 안에 우선석 마크가 포함되는지 아닌지를 판정한다(스텝 S420).

도 16은, 공중 화장실(1010)을 나타내는 설명도이다. 공중 화장실(1010)의 입구 부근에는, 공중 화장실을 나타내기 위한 표지로서, 성별 마크(1020)가 붙여져 있다.

도 17은, 전차의 안의 우선석(1110)을 나타내는 설명도이다. 우선석(1110)의 주위에는, 우선석을 나타내기 위한 표지로서, 우선석 마크(1120)가 붙여져 있다.

HMD의 기억부에는, 퍼블릭 스페이스를 나타내는 여러 가지 마커에 대한 화상 패턴이 미리 기억되어 있다. 도 15의 스텝 S410에서는, 상기 화상 패턴을 이용한 화상 패턴 인식을 통하여, 촬영 화상의 안에 마커로서 공중 화장실의 성별 마크가 포함되는지 아닌지를 판정한다. 스텝 S420에서는, 화상 패턴 인식에 의해, 촬영 화상의 안에 마커로서의 우선석 마크가 포함되는지 아닌지를 판정한다.

도 15의 스텝 S410에 있어서, 촬영 화상의 안에 공중 화장실의 성별 마크가 포함된다고 판정된 경우에는, CPU는, 카메라 앱을 로크한다(스텝 S430). 스텝 S430의 처리는, 제2 실시 형태의 스텝 S240(도 10)과 동일한 처리이다. 카메라 앱(516)을 사용하는 촬영을 금지하고, 마커 인식 처리에 따르는 촬영은 금지되지 않는다. 즉, 스텝 S430에서는, 도촬을 목적으로 하여 이용할 수 있는 카메라 앱(516)을 사용하는 촬영을 금지하고, 도촬로서 이용할 수 없는 마커 인식 처리에 따르는 촬영은 허가된다. 스텝 S430의 실행 후, 사회 적합 서포트 루틴을 일단 종료한다.

스텝 S420에 있어서, 촬영 화상의 안에 우선석 마크가 포함된다고 판정된 경우에는, CPU는, Wi-Fi, 무선 LAN 등을 통한 무선 통신의 접속을 금지한다(스텝 S440). 스텝 S440의 실행 후, 사회 적합 서포트 루틴은 일단 종료된다.

스텝 S410에 있어서, 공중 화장실의 성별 마크가 포함되지 않는다고 판정되고, 스텝 S420에 있어서, 우선석 마크가 포함되지 않는다고 판정된 경우에는, 그대로, 사회 적합 서포트 루틴을 일단 종료한다.

또한, 스텝 S430에서 카메라 앱을 로크했을 때, 또는, 스텝 S440에서 무선 통신의 접속을 금지했을 때에는, 남녀 마크 또는 우선석 마크가 포함된다고 판정된 점을 기준으로 하는 소정의 범위를 적용영역으로 한다. 적용영역의 외측으로 HMD가 이동한 것을 GPS 모듈(134)에 의해 검출했을 때에, 스텝 S430 또는 스텝 S440에 의한 제한을 해제한다.

이상과 같이 구성된 제6 실시 형태의 HMD에 의하면, 공중 화장실에서는, 카메라 앱(516)을 사용하는 촬영을 금지하고, 전철의 우선석 부근에서는, Wi-Fi, 무선 LAN 등을 통한 무선 통신의 접속을 금지할 수 있다.

이 제6 실시 형태에서는, 퍼블릭 스페이스로서, 공중 화장실과 우선석을 나타냈지만, 본 실시 형태는, 병원, 비행기의 안, 레스토랑, 영화관, 학교, 도서관, 박물관 등의 여러 가지의 퍼블릭 스페이스에 적용할 수 있다. 퍼블릭 스페이스로의 이행을 검출하기 위하여, 본 실시 형태에서는, 촬영 화상의 안에 퍼블릭 스페이스를 나타내는 마커가 포함되는지 아닌지를 판정하고 있다. 그러나 이들 이외에도, iBeacon(등록상표) 등의 무선 통신 단말로부터의 신호에 기초하여 이용 환경을 판정하도록 해도 좋다. 또한, LED, 전구 등의 광정보, 음성 검지 위치 정보, GPS 정보 등에 기초하여, 퍼블릭 스페이스로의 이행을 검출해도 좋다.

G. 제7 실시 형태

도 18은, 본 발명의 제7 실시 형태에 따른 HMD의 플랫폼을 나타내는 설명도이다. 이 도면은, 제1 실시 형태에 있어서의 도 4와 동일한 것이다. 도 18과 도 4와는, 제7 실시 형태에 따른 HMD의 플랫폼이, 미들웨어(515)를 구비한다는 점에서 상이하다. 미들웨어(515)는, 사회 적합 서포트 프로세서(516)가 포함한다. 사회 적합 서포트 프로세서(516)는, 제6 실시 형태에 있어서의 사회 적합 서포트 루틴(도 15)을 실행한다. 즉, 본 실시 형태에 따른 HMD는, 미들웨어로서, 사회 적합 서포트 루틴을 실행하는 사회 적합 서포트 프로세서(516)를 구비한다. 사회 적합 서포트 프로세서(516)는, 본 발명의 일 구성에 포함되는 "디바이스 제어부"의 하위 개념이다.

화상 센서 디바이스(554)는, 사회 적합 서포트 루틴(도 15)의 스텝 S430에 의해 로크되는 카메라 앱(513)을 사용하여 동작될 수 있는 디바이스이다. 즉, 화상 센서 디바이스(554)와, 화상 센서 드라이버(544)와, 카메라 라이브러리(536)는 대응 관계에 있으며, 협동하여 동작한다. 특히 본 실시 형태에서는, 화상 센서 디바이스(554)는, 화상 센서 드라이버(544) 및 카메라 라이브러리(536)에 의해서만 구동되고, 그 외의 드라이버나 라이브러리에 의해서는 구동되지 않는 구성으로 되어 있다. 또한, 화상 센서 드라이버(544) 및 카메라 라이브러리(536)는, 사회 적합 서포트 프로세서(516)를 독점적으로 사용할 수 있는 구성으로 되어 있다. 즉, 화상 센서 드라이버(544) 및 카메라 라이브러리(536)는, 사회 적합 서포트 프로세서(516)를 이용하지 않고는 사용할 수 없게 구성되어 있다.

카메라 앱(513)은, 사회 적합 서포트 프로세서(516)를 통함으로써, 하드웨어 자원으로서의 화상 센서 디바이스(554)를 사용할 수 있다. 환언하면, 사회 적합 서포트 프로세서(516)를 통하지 않고 화상 센서 디바이스(554)를 사용할 수 있는 유일한 애플리케이션은, 카메라 앱(513)이다.

이상과 같이 구성된 제7 실시 형태의 HMD에 의하면, 제6 실시 형태와 동일하게, 공중 화장실에서는, 카메라 앱(516)을 사용하는 촬영을 금지하고, 전철의 우선석 부근에서는, Wi-Fi, 무선 LAN 등의 무선 통신의 접속을 금지할 수 있다. 이 결과, HMD를 사회에 적합시킬 수 있다. 본 실시 형태에서는, 사회 적합 서포트 프로세서(516)를 사용하지 않으면, 화상 센서 디바이스(554)를 이용한 촬영을 행할 수 없다. 따라서, 사회 적합 서포트 프로세서(516)의 사양을 공개하는 것을 제한하며, 따라서 그 사양의 공개를 받은 사람이 개발한 특정의 카메라 앱(513)만을 사용하여 촬영을 행할 수 있다. 이 카메라 앱(513)을 탑재하는 HMD에는, 예를 들면, 사회에 적합하고 있는 것을 보장하는 마크를 부착하며, 따라서, 이 HMD를 장착한 사람의 주위의 사람이 안심하고 생활할 수 있다. 따라서, HMD를 보다 사회에 적합시키는 것이 가능해진다.

또한, 이 실시 형태에서는, 사회 적합 서포트 프로세서(516)가, 화상 센서 드라이버(544) 및 카메라 라이브러리(536)를 독점적으로 사용하는 구성을 채용했지만, 사회 적합 서포트 프로세서는, Wi-Fi 혹은 무선 LAN 등의 무선 통신 모듈을 독점적으로 사용하는 구성을 채용해도 좋다.

H. 변형예

또한, 이 발명은 상기 제 1 내지 제4 실시 형태 및 그들의 변형예로 한정되는 것은 아니고, 본 발명의 요지를 일탈하지 않는 범위에 있어서 여러 가지의 실시 형태에 있어서 실시할 수 있다. 예를 들면, 다음과 같은 변형도 가능하다.

H-1. 변형예 1

이용 환경의 차이로서는, 이하의 것이 포함된다.

[1] 국가, 주(state), 도(prefecture), 도시, 행정구 등의 지리적인 차이.

[2] 특정의 시설, 예를 들면 스타디움, 극장, 미술관, 박물관, 영화관, 콘서트홀, 연구소, 회사, 백화점, 공장, 학교, 병원, 고속도로, 스포츠 경기장, 건축 현장, 동물원, 식물원 혹은 공원의 내외. 이 경우, 내외의 구별의 판단은, 일반의 스타디움 및 일반의 극장에 대하여 행해도 좋다. XX 미술관과 같은 특정의 시설을 대상으로 하여 판단해도 좋다.

[3] 특정의 구역, 예를 들면, 사구, 습지, 해변 또는 산악 지대 등의 내외. 이 경우, 내외의 구별의 판단은, 일반의 사구 및 일반의 습지에 대하여 행해도 좋다. XX 습지와 같은 특정의 시설을 대상으로 하여 판단해도 좋다.

[4] 특정의 이동 수단, 예를 들면 비행기, 전철, 선박 또는 차량의 내외. 이 경우, 내외의 구별의 판단은, 일반의 비행기 및 일반의 전철에 대하여 행해도 좋다. XX 편과 같은 특정의 이동 수단을 대상으로 하여 판단해도 좋다.

[5] 상기 [2]∼[4]의 각각의 내측에 있어서의 특정의 위치. 예를 들면 제1 내지 제4 실시 형태가 해당한다.

[6] 이용자가 있는 장소에 있어서 이용자의 오감(시각, 청각, 후각, 미각, 촉각)에 느껴지는 요소, 예를 들면 조도, 온도, 습도, 소음 레벨, 환경음 상이, 냄새, 풍량, 풍향, 강설 또는 강우 등의 차이를 이용 환경의 차이로서 인식해도 좋다. 오감에는 느껴지지 않는 환경의 요소, 예를 들면 저주파음, 적외선량, 자외선량, 전파 강도 또는 자장 강도에 의해 이용 환경의 차이를 인식해도 좋다.

[7] 이용 환경의 차이는, 통계적 혹은 비통계적 수법에 의해, 미리 구별된 것이라도 좋다. 예를 들면, 이용자가 있는 장소의 안전성(범죄율, 사고율, 재해율 등에 의해 지표화할 수 있음)의 차이, 편리성(역까지의 거리, 편의점의 수, 학교까지의 거리 등에 의해 지표화할 수 있음)의 차이, 사회성(퍼블릭 스페이스, 프라이빗 스페이스, 그들 사이의 중간 스페이스)의 차이에 의해, 구별해도 좋다. 이러한 구별은, 미리 지표화하여, 위치 정보와 대응지어 두어도 좋고, 또는 매번, 인터넷 등의 네트워크를 통하여 취득하는 것으로 해도 좋다.

구체적으로는, 예를 들면, 전차의 안, 차의 안, 비행기의 안 등의 퍼블릭 스페이스로의 이행이 검출되었을 때에, 카메라 앱(516)이 로크되는 구성을 채용하여, 도촬 방지를 도모하도록 해도 좋다. 예를 들면, 회사로의 이동이 검출되었을 때에, 업무용의 애플리케이션 프로그램의 실행을 허가하도록 해도 좋다. 예를 들면, 항공기의 내부 등의 환경하에서는, 방해 전파의 기초가 되는 휴대 전화 및 무선 LAN의 사용을 금지하고, 항공기 내의 전자 기기로의 영향이 적은 Bluetooth, iBeacon을 이용할 수 있게 구성을 채용해도 좋다. 예를 들면, HMD의 이용 환경이 특정의 나라인 것이 GPS 등에 의해 검출되었을 때에, 그 나라에 따라서 정해진 기능을 변경하도록 해도 좋다. 예를 들면, HMD에 있어서의 사용 언어를 변경하는 것, HMD에 있어서 표시되는 길이 및 질량 등의 사용 단위를 변경하는 것, HMD의 무선 기기의 출력 제한을 변경하는 것을 행할 수 있다.

H-2. 변형예 2

이용 환경의 판정으로서는, 이하와 같다.

[1] 촬상한 화상에 기초하는 판단

<1> 촬상한 외경으로부터 직접 판단하는 수법. 예를 들면, 풍경, 경치, 건물 외형을, 화상 매칭을 이용하여 판단한다.

<2> 촬상한 외경에 포함되는 마커를 사용하여 판단을 행하는 수법. 마커에는, 바코드, QR코드(등록상표), 특정의 형태의 간판, 특정의 표지(예를 들면, "촬영 금지" 및 "플래시 금지"등의 표지), 마크, 문자열, 등이 포함된다. 또한, 마커는, 토지나 시설의 고정물(간판, 노면 마크 등)이라도 좋고, 또는 간단하게 설치 또는 운반할 수 있는 마커(플래카드, 포스터 등)라도 좋다.

<3> 외경 이외에도, 수술에 있어서의 내시경 화상 등의 특정의 촬상 화상으로부터의 판단. 특정의 촬상 화상에 포함되는 마커를 사용하여 판단하는 수법.

[2] 기록된 소리를 사용하여 판단

<1> 음을 분석하여, 해변, 도시 등의 판단.

<2> 음에 포함되는 특정의 패턴에 기초하여 판단. 흐르고 있는 음악, 가청역의 비콘 등.

[3] 전파 혹은 자장 등의 신호에 기초하여 판단. 예를 들면, 무선 LAN, Bluetooth, iBeacon.

H-3. 변형예 3

변경되는 소정의 기능으로서는, 이하와 같다.

[1] 촬영 기능

제1 실시 형태에 나타낸 바와 같이 동화상을 촬영하는 기능을 대신하여, 정지 화상을 촬영하는 기능을 사용해도 좋다. 또한, 제1 실시 형태에 나타낸 바와 같이 망원 촬영의 기능이라도 좋고, 적외 촬영의 기능 및 파노라마 촬영 등의 다른 종류의 촬영 기능을 사용해도 좋다. 전술된 상기 제1 실시 형태에서는, 카메라를 사용하는 촬영 기능의 변경으로서, 구동의 온 및 오프의 전환이 행해진다. 이 대신에, 해상도의 변경, 적외 촬영의 온 및 오프의 전환, 비디오 기능의 온 및 오프의 전환, 컬러 및 흑백의 전환, 연사의 온 및 오프의 전환, 분할 촬영의 온 및 오프의 전환, 기억 형식(로우 데이터)의 전환, 촬영 화상의 기억의 가부의 전환, 촬영 화상에 대한 패스워드의 부여의 전환, 각종 필터 촬영 동작의 전환을 행해도 좋다. 즉, 촬영 기능의 온·오프에 더하여, 촬영 기능은 일부 정지 및 일부 활성화되어도 좋다. 예를 들면, 퍼블릭 스페이스로의 이행이 검출되었을 때에, 카메라의 해상도를 제한해도 좋다. 예를 들면 통상 1200만 화소를 갖는 카메라의 기능을 사람의 얼굴을 인식할 수 없는 레벨의 30만 화소의 기능으로 떨어트리도록 해도 좋다.

[2] 녹음 기능

제1 실시 형태에 나타낸 바와 같은 녹화기능을 대신하여, 녹음기능을 사용해도 좋다. 예를 들면, 콘서트홀의 이용 환경에 있어서, 녹음 기능을 금지하도록 해도 좋다. 또한, 녹음 기능의 변경으로서, 마이크의 온 및 오프의 변경, 녹음 기능 그 자체의 온 및 오프의 변경, 녹음 음성의 기억의 유무의 변경, 패스워드 부여의 유무의 변경 등을 행해도 좋다.

[3] 음성 기능

상기 제2 및 제3 실시 형태에서는, 처리 제어부로서, 음성 기능의 사용을 억제하도록, 음성 처리부 프레임(523)을 로크한다. 대신에, 음성의 출력 레벨을 억제하는(즉, 음량을 내리는) 구성을 채용해도 좋다. 예를 들면, 음성의 출력의 정도를 촉진하는(즉, 음량을 올리는) 구성으로 채용해도 좋다. 즉, 촬영 기능의 온 및 오프에 더하여, 촬영 기능을 일부 정지 및 일부 활성화해도 좋다. 또한, 음성 기능의 변경으로서, 음역의 변경, 비트 레이트(AM 방송파, 고품질 등)의 변경, 돌비의 온 및 오프의 변경, 사용할 수 있는 음원의 수나 종류(신디사이저, 음성 합성)의 변경, 스테레오 및 모노럴의 변경, 좌우 어느 한쪽 및 양방의 변경 등, 여러 가지의 변경 작동에 적용할 수 있다.

[4] 정보 제시 기능

정보 제시 기능으로서, 전술된 제2 실시 형태에서는 안내 정보를 표시하고, 상기 제3 실시 형태에서는 자막을 표시하고, 이들 표시를 행할지 행하지 않는지의 전환이 행해졌다. 이를 대신하여, 표시의 능력을 전환하는 구성을 채용해도 좋다. 예를 들면, 우 표시 구동부(22) 및 좌 표시 구동부(24)를 이용한 양안 표시와 그들 중 어느 한쪽을 이용한 단안 표시 사이의 전환, 해상도의 전환, 3D 표시와 2D 표시 사이의 전환, 컬러 및 흑백 사이의 전환, 투과율의 전환, 표시 휘도의 전환, 동화상 프레임 수의 전환, 표시 언어의 전환 등을 행해도 좋다. 또한, 광고 표시의 온 및 오프의 전환으로 해도 좋다. 또한, 정보 제시 기능을 억제하는 구성으로서, 표시하는 안내 정보의 정보량을 적게 하는 구성 등, 소정의 기능을 억제하는 구성을 채용해도 좋다. 또한, 예를 들면, 표시하는 안내 정보의 정보량을 많게 하는 구성 등, 정보 제시 기능의 사용을 촉진하는 구성을 채용해도 좋다.

[5] HMD가 외부와 제휴하는 기능의 변경

예를 들면, 통신 기능의 변경으로서, 통신 기능의 온/오프의 전환, 통신 속도의 전환, 통신 거리의 전환, 접속처 네트워크의 범위의 전환, 자동 접속의 가부의 전환 등을 행해도 좋다. 또한, Bluetooth 또는 iBeacon의 온 및 오프의 전환, Bluetooth의 멀티 링크 가부의 전환, RF 태그의 독해 기능의 온 및 오프의 전환, 메모리의 액세스 범위의 전환, 외부 메모리로의 액세스의 가부의 전환, 라이브러리 혹은 드라이버의 액세스 범위의 전환 등을 행해도 좋다. 더하여, 각종 센서의 온 및 오프의 전환을 행해도 좋다.

변경되는 소정의 기능으로서는 전술의 [1]∼[5] 이외의 여러 가지의 기능이 포함된다. 또한, 기능의 변경으로서는, 온, 오프, 억제, 촉진, 일부 정지 및 일부 활성화가 포함된다. 또한, 기능의 변경에는, 기능의 추가 및 제거 등도 포함된다.

H-4. 변형예 4

전술된 각 실시 형태에서는, 기능을 변경하는 방법으로서, 애플리케이션층(510)에 포함되는 요소(예를 들면, 카메라 앱(516))를 변경하고, 프레임워크층(520)에 포함되는 요소(예를 들면, 음성 처리부 프레임(523))를 변경하고 있다. 이들 대신에, 라이브러리층(530)에 포함되는 요소를 변경해도 좋고, 커널층(540)에 포함되는 요소를 변경해도 좋고, 하드웨어층(550)에 포함되는 요소를 변경해도 좋다.

H-5. 변형예 5

전술된 각 실시 형태에서는, HMD의 이용 환경은, HMD가 이동함으로써 전환되는 이용 환경이었다. 이를 대신하여, HMD의 이동과는 관계 없이 HMD의 주위의 변화에 따라 전환되는 이용 환경을 사용해도 좋다. 예를 들면, 계절의 변천을 검지하도록 하여, 여름에는 화상 표시부(20)에 의한 표시의 휘도를 겨울의 경우보다 높게 하도록 해도 좋다.

H-6. 변형예 6

전술된 상기 제7 실시 형태에서는, 사회 적합 서포트 프로세서(516)에 의해, 화상 센서 디바이스(554)를 사용할 수 있는 애플리케이션을 제한하는 구성을 채용했다. 이에 대하여, 변형예로서, 외경 촬영용 카메라에, 회전식 또는 슬라이드식의 렌즈 커버 기구를 설치하여, 렌즈 커버를 개폐 가능하고, 사회 적합 서포트 프로세서에 의해, 렌즈 커버 기구를 사용할 수 있는 애플리케이션을 제한하는 구성을 채용해도 좋다. 이 변형예에 의하면, 외부로부터 볼 때 렌즈 커버의 개폐를 확인함으로써, 외경 촬영용 카메라(61)가 동작하고 있는지를 판별할 수 있고, 따라서, 주위의 사람이 안심하고 생활할 수 있고, 사회 적합 서포트 프로세서를 탑재한 HMD가 주위 사람의 안전한 생활을 보장한다.

H-7. 변형예 7

전술된 제7 실시 형태 및 그 변형예에서는, 퍼블릭 스페이스에 있어서 변경기능으로서, 외경 촬영용 카메라(61)를 이용한 촬영과, Wi-Fi, 무선 LAN 등의 무선 통신을 금지하는 구성을 채용했다. 이에 대하여, 변형예로서, 얼굴 부분을 흐리게 하여 촬영하는 촬영 제한을 행하는 구성을 채용해도 좋다. 또한, 얼굴에 더하여, 지문 혹은 홍채와 같은 생체 인증에 관련되는 취득을 금지하는 구성을 채용해도 좋다. 또한, 퍼블릭 스페이스에 있어서 변경기능으로서, 전술한 [1] 촬영 기능, [2] 녹음 기능, [3] 음성 기능, [4] 정보 제시 기능, [5] HMD가 외부와 제휴하는 기능으로 할 수도 있다.

H-8. 그 외의 변형예:

전술된 실시 형태에서는, 헤드 마운트 디스플레이의 구성이 예시되어 있다. 그러나, 헤드 마운트 디스플레이의 구성은, 본 발명의 요지를 일탈하지 않는 범위에 있어서 임의로 정하는 것이 가능하고, 예를 들면, 각 구성부는 추가, 삭제, 변환될 수 있다.

전술된 실시 형태에 있어서, 제어부와 화상 표시부로의 구성 요소의 할당은, 단지 일 예이며, 여러 가지의 실시 형태를 채용 가능하다. 예를 들면, 이하와 같은 실시 형태를 채용해도 좋다. (ⅰ) 제어부에 CPU 및 메모리 등의 처리 기능을 탑재하고, 화상 표시부에는 표시 기능만을 탑재하는 실시 형태, (ⅱ) 제어부와 화상 표시부의 양방에 CPU 및 메모리 등의 처리 기능을 탑재하는 실시 형태, (ⅲ) 제어부와 화상 표시부를 일체화한 실시 형태(예를 들면, 화상 표시부에 제어부가 포함되어 안경형의 웨어러블 컴퓨터로서 기능하는 실시 형태), (ⅳ) 제어부 대신에 스마트 폰이나 휴대형 게임기를 사용하는 실시 형태, (ⅴ) 제어부와 화상 표시부를 무선 통신하여 무선으로 전력을 공급하는 구성으로 하여 접속부(코드)를 제거한 실시 형태.

전술의 실시 형태에서는, 설명의 편의상, 제어부가 송신부를 구비하고, 화상 표시부가 수신부를 구비한다. 그러나, 전술의 실시 형태의 송신부 및 수신부는, 모두, 쌍방향 통신기능을 구비하고 있어, 송수신부로서 기능할 수 있다. 또한, 예를 들면, 도 2에 나타낸 제어부는, 유선의 신호 전송로를 통하여 화상 표시부와 접속되어 있다. 그러나, 제어부와 화상 표시부는, 무선 LAN, 적외선 통신 혹은 Bluetooth(등록상표) 등의 무선의 신호 전송로를 통하여 서로 접속되어 있어도 좋다.

예를 들면, 전술의 실시 형태에서 나타낸 제어부, 화상 표시부의 구성은 임의로 변경할 수 있다. 구체적으로는, 예를 들면, 제어부로부터 터치 패드를 생략하고, 십자 키만을 사용하여 조작을 행하는 구성을 채용해도 좋다. 또한, 제어부에 조작용 스틱 등의 다른 조작용 인터페이스를 구비해도 좋다. 또한, 제어부에는 키보드 또는 마우스 등의 디바이스를 접속하여, 키보드 혹은 마우스로부터의 입력을 접수하는 구성으로 해도 좋다. 또한, 예를 들면, 터치 패드 혹은 십자 키를 사용하는 조작 입력 외에, 풋 스위치(이용자의 발을 사용하여 조작하는 스위치)를 사용하여 조작 입력을 취득해도 좋다. 예를 들면, 화상 표시부에 적외선 센서 등의 시선 검지부를 형성하여, 이용자의 시선을 검지하고, 시선의 움직임에 대응지어진 커맨드에 의한 조작 입력을 취득해도 좋다. 예를 들면, 카메라를 이용하여 이용자의 제스처를 검지하여, 제스처에 대응지어진 커맨드에 의한 조작 입력을 취득해도 좋다. 제스처 검지시, 이용자의 손가락끝, 이용자의 손에 끼워진 반지, 이용자의 손에 쥐어진 의료 기구 등을 움직임 검출을 위한 마크로 사용할 수 있다. 풋 스위치 혹은 시선을 사용하여 조작 입력을 취득 가능하면, 이용자가 손을 떼는 것이 곤란한 작업에 있어서도, 입력 정보 취득부는, 이용자로부터의 조작 입력을 취득할 수 있다.

도 19a 및 도 19b는, 변형예에 따른 HMD의 외관의 구성을 나타내는 설명도이다. 도 19a의 예의 경우, 화상 표시부(20x)는, 우 광학상 표시부(26)를 대신하여 우 광학상 표시부(26x)를 구비하고, 좌 광학상 표시부(28)를 대신하여 좌 광학상 표시부(28x)를 구비하고 있다. 우 광학상 표시부(26x)와 좌 광학상 표시부(28x)는, 전술된 실시 형태의 광학 부재보다도 작게 형성되어, HMD의 장착시에 이용자의 우안 및 좌안의 경사지게 상측에 각각 배치되어 있다. 도 19b의 예의 경우, 화상 표시부(20y)는, 우 광학상 표시부(26)를 대신하여 우 광학상 표시부(26y)를 구비하고, 좌 광학상 표시부(28)를 대신하여 좌 광학상 표시부(28y)를 구비하고 있다. 우 광학상 표시부(26y)와 좌 광학상 표시부(28y)는, 상기 실시 형태의 광학 부재보다도 작게 형성되어, HMD의 장착시에 이용자의 우안 및 좌안의 경사지게 하측에 배치되어 있다. 이와 같이, 광학상 표시부는 이용자의 눈의 근방에 배치되어 있으면 충분하다. 또한, 임의의 크기의 광학상 표시부를 형성하는 광학 부재를 사용하며, 광학상 표시부가 이용자의 눈의 일부분만을 덮는 실시 형태, 환언하면, 광학상 표시부가 이용자의 눈을 완전하게 덮지 않는 실시 형태로서 HMD를 실현할 수도 있다.

예를 들면, 헤드 마운트 디스플레이는, 양안 타입의 투과형 헤드 마운트 디스플레이이지만, 단안 타입의 헤드 마운트 디스플레이로 해도 좋다. 또한, 이용자가 헤드 마운트 디스플레이를 장착한 상태에서 외경의 투과가 차단되는 비투과형 헤드 마운트 디스플레이로서 구성해도 좋다.

예를 들면, 화상 처리부, 표시 제어부, 음성 처리부 등의 기능부는, CPU가 ROM 혹은 하드 디스크에 기억되어 있는 컴퓨터 프로그램을 RAM에서 전개하여 실행함으로써 실현된다. 그러나, 이들 기능부는, 당해 기능을 실현하기 위해 설계된 ASIC(Application Specific Integrated Circuit)를 이용하여 구성되어도 좋다.

예를 들면, 전술된 실시 형태에서는, 화상 표시부를 안경과 같이 장착하는 헤드 마운트 디스플레이로서 구성하고 있지만, 통상의 평면형 디스플레이 장치(액정 디스플레이 장치, 플라즈마 디스플레이 장치, 유기 EL 디스플레이 장치 등)이어도 좋다. 이 경우에도, 제어부와 화상 표시부의 사이의 접속은, 유선의 신호 전송로를 통한 접속이라도 좋고, 또는 무선의 신호 전송로를 통한 접속이라도 좋다. 이에 따라서, 제어부를, 통상의 평면형 디스플레이 장치의 리모컨으로서 이용할 수도 있다.

또한, 화상 표시부로서, 안경과 같이 장착하는 화상 표시부를 대신하여, 예를 들면 모자와 같이 장착하는 화상 표시부와 같은 다른 형상의 화상 표시부를 채용해도 좋다. 또한, 이어폰으로서는 귀 장착형 혹은 헤드 밴드형을 채용해도 좋고, 혹은 이어폰을 생략해도 좋다. 또한, 예를 들면, 자동차 또는 비행기 등의 차량에 탑재되는 헤드 업 디스플레이(HUD, Head-Up Display)로서 구성되어도 좋다. 또한, 예를 들면, 헬멧 등의 신체 방호구에 내장된 헤드 마운트 디스플레이로서 구성되어도 좋다.

예를 들면, 전술된 실시 형태에서는, 표시 구동부는, 백라이트와, 백라이트 제어부와, LCD와, LCD 제어부와, 투사 광학계를 이용하여 구성되어 있다. 그러나, 전술된 실시 형태는 단지 예시이다. 표시 구동부는, 이들 구성부와 함께, 또는 이들 구성부를 대신하여, 다른 방식을 실현하기 위한 구성부를 구비하고 있어도 좋다. 예를 들면, 표시 구동부는, 유기 EL(Organic Electro-Luminescence)의 디스플레이와, 유기 EL 제어부와, 투사 광학계를 구비하는 구성으로 해도 좋다. 예를 들면, 표시 구동부는, LCD를 대신하여 DMD(digital micro mirror device) 등을 이용할 수도 있다. 예를 들면, 표시 구동부는, RGB의 각 색광을 발생시키기 위한 색광원과 릴레이 렌즈를 포함하는 신호광 변조부와, MEMS 미러를 포함하는 주사 광학계와, 이들을 구동하는 구동 제어 회로를 포함하도록 구성되어도 좋다. 이와 같이, 유기 EL, DMD 및 MEMS 미러를 이용해도, "표시 구동부에서의 사출 영역"은, 표시 구동부로부터 화상광이 실제로 사출되는 영역을 유지하고, 각 디바이스(표시 구동부)에서의 사출 영역을 전술된 실시 형태와 동일하게 제어함으로써, 전술된 실시 형태와 동일한 효과를 얻을 수 있다. 또한, 예를 들면, 표시 구동부는, 화소 신호에 따른 강도의 레이저를, 이용자의 망막으로 출사하는 1개 이상의 레이저를 포함하도록 구성되어도 좋다. 이 경우, "표시 구동부에서의 사출 영역"은, 표시 구동부로부터 화상을 나타내는 레이저광이 실제로 사출되는 영역을 말한다. 레이저(표시 구동부)에 있어서의 레이저광의 사출 영역을 전술된 실시 형태와 동일하게 제어함으로써, 전술된 실시 형태와 동일한 효과를 얻을 수 있다.

본 발명은, 전술의 실시 형태 혹은 변형예로 한정되는 것이 아니며, 그 취지를 일탈하지 않는 범위에 있어서 여러 가지의 구성으로 실현할 수 있다. 예를 들면, 발명의 개요의 란에 기재한 각 실시 형태들의 기술적 특징에 대응하는 실시 형태 및 변형예들 중의 기술적 특징은, 전술의 과제의 일부 또는 전부를 해결하기 위해, 혹은, 전술의 효과의 일부 또는 전부를 달성하기 위해, 적절히, 교환 또는 조합을 행하는 것이 가능하다. 또한, 그 기술적 특징이 본 명세서 중에 필수적인 특징으로서 설명되어 있지 않으면, 그 기술적 특징은 적절히, 삭제해도 좋다.

10 : 제어부(콘트롤러)
12 : 점등부
14 : 터치 패드
16 : 십자 키
18 : 전원 스위치
20 : 화상 표시부
21 : 우 보유지지부
22 : 우 표시 구동부
23 : 좌 보유지지부
24 : 좌 표시 구동부
26 : 우 광학상 표시부
28 : 좌 광학상 표시부
30 : 이어폰 플러그
32 : 우 이어폰
34 : 좌 이어폰
40 : 접속부
42 : 우 코드
44 : 좌 코드
46 : 연결 부재
48 : 본체 코드
51 : 송신부
52 : 송신부
53 : 수신부
54 : 수신부
61 : 외경 촬영용 카메라
100 : 두부 장착형 표시 장치(HMD)
110 : 입력 정보 취득부
120 : 기억부
130 : 전원
132 : 무선 통신부
140 : CPU
160 : 화상 처리부
162 : 표시 제어부
164 : 이용 환경 판정부
166 : 처리 제어부
170 : 음성 처리부
180 : 인터페이스
201 : 우 백라이트 제어부
202 : 좌 백라이트 제어부
211 : 우 LCD 제어부
212 : 좌 LCD 제어부
221 : 우 백라이트
222 : 좌 백라이트
241 : 우 LCD
242 : 좌 LCD
251 : 우 투사 광학계
252 : 좌 투사 광학계
261 : 우 도광판
262 : 좌 도광판
500 : 플랫폼
510 : 애플리케이션층
511 : 관전 보조 앱
512 : 게임 앱
513 : 카메라 앱
514 : 코드 리더 앱
516 : 사회 적합 서포트 프로세서
520 : 프레임워크층
530 : 라이브러리층
533 : 디스플레이 라이브러리
534 : 오디오 라이브러리
535 : 센서 라이브러리
536 : 카메라 라이브러리
537 : 라이브러리
540 : 커널층
542 : 음성 IC 드라이버
543 : 센서 드라이버
544 : 화상 센서 드라이버
550 : 하드웨어층
552 : 음성 IC 디바이스
553 : 센서 디바이스
554 : 화상 센서 디바이스
600, 700, 800, 900 : 두부 장착형 표시 장치(HMD)
610, 710, 720 : BLE 단말
810 : 오피스
820 : 시큐리티 룸
830 : BLE 단말
910 : 병원
912 : 진찰실
914 : 대합실
930 : BLE 단말
1010 : 공중 화장실
1020 : 성별 마크
1110 : 우선석
1120 : 우선석 마크

Claims

투과형의 두부 장착형 표시 장치로서,
화상을 표시하여 상기 두부 장착형 표시 장치를 장착한 이용자에게 화상을 시인시키고, 외경을 투과할 수 있는 화상 표시부와,
상기 두부 장착형 표시 장치의 이용 환경을 판정하는 이용 환경 판정부와,
상기 판정된 이용 환경에 따라서, 상기 두부 장착형 표시 장치에 탑재된 소정의 기능의 적어도 일부를 변경하는 처리 제어부
를 구비하는 두부 장착형 표시 장치.
제1항에 있어서,
상기 이용 환경은, 상기 두부 장착형 표시 장치의 이동으로써 전환되는 이용 환경인 두부 장착형 표시 장치.
제1항 또는 제2항에 있어서,
촬영을 행하는 촬영부를 추가로 구비하고,
상기 이용 환경 판정부는,
상기 촬영부에 의해 얻어진 촬영 화상에 기초하여, 상기 이용 환경을 판정하는 두부 장착형 표시 장치.
제3항에 있어서,
상기 이용 환경 판정부는,
상기 촬영부에 의해 얻어진 촬영 화상 내에, 특정의 이용 환경을 인식하기 위한 마커가 포함되었을 때에, 상기 특정의 이용 환경이라고 판정하는 두부 장착형 표시 장치.
제1항 또는 제2항에 있어서,
상기 이용 환경 판정부는,
외부의 무선 통신 단말로부터의 신호에 기초하여, 상기 이용 환경을 판정하는 두부 장착형 표시 장치.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 소정의 기능은, 카메라부를 사용하여 망원 촬영을 행하는 망원 촬영 기능인 두부 장착형 표시 장치.
제6항에 있어서,
상기 이용 환경은, 스포츠 경기장 내의 특정의 좌석 환경을 적어도 포함하고,
상기 처리 제어부는,
상기 이용 환경 판정부가 상기 특정의 좌석 환경이라고 판정하였을 때에는, 상기 망원 촬영 기능을 온(on)하여 상기 카메라부를 사용하여 망원 촬영을 행하는 두부 장착형 표시 장치.
제7항에 있어서,
상기 두부 장착형 표시 장치의 상기 스포츠 경기장 밖으로의 이동이 검출되었을 때에, 상기 망원 촬영에 의해 기록된 촬영 화상을 소거하는 소거부를 추가로 구비하는 두부 장착형 표시 장치.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 처리 제어부는,
상기 이용 환경 판정부가 소정의 이용 환경이라고 판정하였을 때에는, 소정의 데이터를 취득하여 기억부에 기억하고,
상기 이용 환경 판정부가 상기 소정의 이용 환경으로부터 벗어났다고 판정하였을 때에는, 상기 소정의 이용 환경에서 상기 기억부에 기억된 상기 소정의 데이터는 소거되는 두부 장착형 표시 장치.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 소정의 기능은, 상기 화상 표시부에 소정의 정보를 표시시키는 정보 제시 기능인 두부 장착형 표시 장치.
제10항에 있어서,
상기 이용 환경은, 극장 내의 특정의 좌석 환경을 적어도 포함하고,
상기 처리 제어부는,
상기 이용 환경 판정부가 상기 특정의 좌석 환경이라고 판정하였을 때에는, 상기 극장에서의 상연 작품에 관한 정보를 상기 소정의 정보로서 표시시키는 두부 장착형 표시 장치.
제 10항에 있어서,
상기 이용 환경은, 영화관 내의 특정의 좌석 환경을 적어도 포함하고,
상기 처리 제어부는,
상기 이용 환경 판정부가 상기 특정의 좌석 환경이라고 판정하였을 때에는, 자막을 상기 소정의 정보로서 표시시키는 두부 장착형 표시 장치.
제12항에 있어서,
상기 영화관 내의 특정의 좌석 환경은, 제1 좌표 환경과 제2 좌표 환경을 갖고,
상기 처리 제어부는,
상기 이용 환경 판정부가 상기 제1 좌석 환경이라고 판정하였을 때에는, 제1 언어로 기재한 상기 자막을 표시시키고, 상기 이용 환경 판정부가 상기 제2 좌석 환경이라고 판정하였을 때에, 상기 제1 언어와는 상이한 제2 언어로 기재한 상기 자막을 표시시키는 두부 장착형 표시 장치.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 이용 환경은, 고레벨의 시큐리티를 필요로 하는 시큐리티 환경을 적어도 포함하고,
상기 처리 제어부는,
상기 이용 환경 판정부가 상기 시큐리티 환경이라고 판정하였을 때에는, 소정의 애플리케이션의 실행을 허가하고, 상기 이용 환경 판정부에 의해 상기 시큐리티 환경이 아니라고 판정하였을 때에는, 상기 소정의 애플리케이션의 실행을 금지하는 두부 장착형 표시 장치.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 이용 환경은, 퍼블릭 스페이스인 두부 장착형 표시 장치.
제15항에 있어서,
상기 처리 제어부는,
상기 이용 환경 판정부에 의해 상기 퍼블릭 스페이스라고 판정하였을 때에는, 소정의 애플리케이션에 의한 화상 센서 디바이스를 이용한 촬영을 금지하는 두부 장착형 표시 장치.
제1항 내지 제5항 및 제16항 중 어느 한 항에 있어서,
오퍼레이션 프로그램과, 소정의 응용 프로그램을 기억하는 기억부와,
상기 오퍼레이션 프로그램에 의해 실현되는 소정의 기능에 의해서만 동작될 수 있는 소정의 디바이스와, 상기 소정의 기능을 독점적으로 사용함으로써, 상기 소정의 디바이스를 구동하는 디바이스 제어부
를 구비하는 두부 장착형 표시 장치.
화상을 표시하여 이용자에게 화상을 시인시키고 외경을 투과할 수 있는 화상 표시부를 갖는 투과형의 두부 장착형 표시 장치의 제어 방법으로서,
상기 두부 장착형 표시 장치의 이용 환경을 판정하고,
상기 판정된 이용 환경에 따라서, 상기 두부 장착형 표시 장치에 탑재된 소정의 기능의 적어도 일부를 변경하는 두부 장착형 표시 장치의 제어 방법.
화상을 표시하여 이용자에게 화상을 시인시키고 외경을 투과할 수 있는 화상 표시부를 갖는 투과형의 두부 장착형 표시 장치를 제어하기 위한 컴퓨터 프로그램으로서,
컴퓨터에,
상기 두부 장착형 표시 장치의 이용 환경을 판정하는 기능과,
상기 판정된 이용 환경에 따라서, 상기 두부 장착형 표시 장치에 탑재된 소정의 기능의 적어도 일부를 변경하는 기능
을 실현시키는, 컴퓨터 프로그램.