KR20090060421A

KR20090060421A - 표시 장치, 표시 방법

Info

Publication number: KR20090060421A
Application number: KR1020097006207A
Authority: KR
Inventors: 요이찌로 사꼬; 마사아끼 쯔루따; 다이지 이또; 마사미찌 아스까이
Original assignee: 소니 가부시끼 가이샤
Priority date: 2006-09-27
Filing date: 2007-08-17
Publication date: 2009-06-12
Also published as: EP2071558B1; TW200829957A; EP2071558A4; RU2009111141A; JP2008083290A; EP2071558A1; US20170186204A1; CN101512632A; CN101512632B; WO2008038473A1; US20150145753A1; US20090278766A1; US8982013B2; TWI384256B; US10481677B2; BRPI0715227A2; JP5119636B2

Abstract

외계의 상황에 따른 적확한 표시 동작 제어를 실현한다. 예를 들면 유저가 안경형 혹은 두부 장착형의 장착 유닛을 장착함으로써, 눈의 직전의 표시부에서 각종 화상을 시인할 수 있도록 하고, 촬상된 화상, 재생된 화상, 수신한 화상 등을 제공한다. 이 때 표시 동작의 온/오프나, 표시 동작 양태, 소스 절환 등, 각종 표시 동작에 관한 제어를 외계 정보에 기초하여 행한다.

표시 수단, 표시 장치, 화상, 촬상 수단, 제어 수단, 외계 정보, 현재 위치 정보, 음성 출력 수단

Description

표시 장치, 표시 방법 {DISPLAY APPARATUS AND DISPLAY METHOD}

본 발명은, 예를 들면 안경형 혹은 두부 장착형의 장착 유닛 등에 의해 유저에 장착된 상태로, 유저의 눈의 전방에 위치하도록 표시 수단이 배치되어 화상의 표시를 행하는 표시 장치와, 표시 방법에 관한 것이다.

예를 들면, 일본 특허 공개 평성8-126031호 공보, 일본 특허 공개 평성9-27970호 공보, 일본 특허 공개 평성9-185009호 공보와 같이, 안경형 혹은 두부 장착형의 장착 유닛에 의해, 유저의 눈의 직전에 표시부를 배치하여 표시를 행하는 장치가, 각종 제안되어 있다.

그러나, 종래의 장치에서는, 유저에 의한 조작 키 등의 조작자의 조작을 불필요로 한 후에, 상황에 따라서 바람직한 표시 동작을 행하는 장치는 개발되어 있지 않다.

따라서, 본 발명에서는, 외계의 상황(주위의 환경, 일시, 장소, 입력된 화상 등)에 따라서, 적확한, 혹은 재미가 있는 표시 동작이 행해지도록 하는 것을 목적으로 한다.

본 발명의 표시 장치는, 사용자의 눈의 전방에 위치하도록 배치되어 화상의 표시를 행하는 표시 수단과, 외계 정보를 취득하는 외계 정보 취득 수단과, 상기 외계 정보 취득 수단에 의해 취득된 정보에 기초하여 상기 표시 수단의 동작을 제어하는 제어 수단을 구비한다.

또한 화상의 촬상을 행하는 촬상 수단을 더 구비한다. 또한 이 경우, 상기 제어 수단은, 상기 외계 정보 취득 수단에 의해 취득된 정보에 기초하여, 상기 촬상 수단에 의해 촬상된 화상 데이터를 상기 표시 수단에 의해 표시시키는 제어를 행한다.

또한 기록 매체로부터 데이터를 재생하는 재생 수단을 더 구비한다. 또한 이 경우, 상기 제어 수단은, 상기 외계 정보 취득 수단에 의해 취득된 정보에 기초하여, 상기 재생 수단에 의해 재생된 데이터를 상기 표시 수단에 의해 표시시키는 제어를 행한다.

또한 외부 기기와 통신을 행하여 데이터를 수신하는 수신 수단을 더 구비한다. 또한 이 경우, 상기 제어 수단은, 상기 외계 정보 취득 수단에 의해 취득된 정보에 기초하여, 상기 수신 수단에 의해 수신된 데이터를 상기 표시 수단에 의해 표시시키는 제어를 행한다.

또한 상기 표시 수단은, 투명 혹은 반투명한 스루 상태와, 공급된 데이터의 표시를 행하는 표시 상태를 절환 가능하다.

또한 상기 외계 정보 취득 수단은, 상기 외계 정보로서 주위 환경 상황을 검출하는 센서이다.

또한 상기 외계 정보 취득 수단은, 상기 외계 정보로서, 상기 촬상 수단의 촬상 대상에 관한 정보를 검출하는 센서이다.

또한 상기 외계 정보 취득 수단은, 상기 외계 정보로서, 현재 위치 정보를 취득한다.

또한 상기 외계 정보 취득 수단은, 상기 외계 정보로서, 현재 일시를 취득한다.

또한 상기 외계 정보 취득 수단은, 외부 기기와의 통신에 의해, 상기 외계 정보를 취득한다.

또한 상기 외계 정보 취득 수단은, 상기 표시 수단에 공급하는 화상에 대한 화상 해석에 의해, 상기 외계 정보를 취득한다.

또한 상기 외계 정보 취득 수단이 취득하는 상기 외계 정보는, 주위의 밝기, 또는 온도, 또는 습도, 또는 기압, 또는 날씨의 정보이다.

또한 상기 외계 정보 취득 수단이 취득하는 상기 외계 정보는, 현재 위치에 해당하는 지점의 정보이다.

또한 상기 외계 정보 취득 수단이 취득하는 상기 외계 정보는, 현재 위치에 해당하는 지역에서의 건조물, 또는 자연물의 정보이다.

또한 상기 외계 정보 취득 수단이 취득하는 상기 외계 정보는, 입력된 화상 데이터에 포함되는 특정한 대상을 판별하는 정보이다.

또한 상기 외계 정보 취득 수단이 취득하는 상기 외계 정보는, 입력된 화상 데이터에 포함되는 특정한 대상으로서, 인물, 또는 동물, 또는 건조물, 또는 자연물, 또는 기기를 판별하는 정보이다.

또한 상기 외계 정보 취득 수단이 취득하는 상기 외계 정보는, 입력된 화상 데이터에 포함되는 대상의 움직임의 정보이다.

또한 상기 외계 정보 취득 수단이 취득하는 상기 외계 정보는, 입력된 화상 데이터에 포함되는 인물의 개인을 특정하는 정보이다.

또한 상기 외계 정보 취득 수단이 취득하는 상기 외계 정보는, 입력된 화상 데이터에 문자 화상이 포함되는지의 여부를 판별하는 정보이다.

또한 상기 외계 정보 취득 수단이 취득하는 상기 외계 정보는, 입력된 화상 데이터의 명암, 또는 선명도의 정보이다.

또한 상기 외계 정보 취득 수단이 취득하는 상기 외계 정보는, 입력된 화상 데이터의 화상 내의 부분적인 명암, 또는 부분적인 선명도의 정보이다.

또한 상기 제어 수단은, 상기 표시 수단에서의 표시 동작의 개시/종료의 제어를 행한다.

또한 상기 제어 수단은, 상기 표시 수단에 대하여 상기 스루 상태와 상기 표시 상태의 절환 제어를 행한다.

또한 상기 제어 수단은, 상기 표시 수단에 의해 표시하는 데이터의 공급 소스의 절환 제어를 행한다.

또한 상기 제어 수단은, 상기 표시 수단에서의 표시 화상의 확대/축소의 제어를 행한다.

또한 상기 제어 수단은, 상기 표시 수단에 표시하는 화면의 일부의 하이라이트 표시의 제어를 행한다.

또한 상기 제어 수단은, 상기 표시 수단에서의 화면 분할 표시의 제어를 행한다.

또한 상기 제어 수단은, 상기 표시 수단에서의 표시 휘도의 제어를 행한다.

또한 상기 제어 수단은, 상기 표시 수단에 의해 표시시키는 화상 신호의 신호 처리의 제어를 행한다.

또한 상기 표시 수단에 공급하는 화상에 포함되는 문자에 기초하여 음성 합성을 행하는 음성 합성 수단과, 상기 음성 합성 수단에 의해 생성된 음성을 출력하는 음성 출력 수단을 더 구비한다.

본 발명의 표시 방법은, 사용자의 눈의 전방에 위치하도록 배치되어 화상의 표시를 행하는 표시 수단을 구비한 표시 장치의 표시 방법으로서, 외계 정보를 취득하는 외계 정보 스텝과, 상기 외계 정보 취득 스텝에서 취득된 정보에 기초하여 상기 표시 수단에서의 표시 동작에 관한 제어를 행하는 제어 스텝을 구비한다.

이상의 본 발명에서는, 사용자(유저)는, 표시 장치를 예를 들면 안경형 혹은 두부 장착형의 장착 유닛 등에 의해 장착함으로써, 눈의 전방에 위치하는 표시 수단을 시인하는 상태로 된다. 즉 유저는 장착 상태에서, 촬상 수단에 의해 촬상된 화상이나, 재생 수단에 의해 재생된 데이터의 화상, 혹은 수신 수단에 의해 수신된 데이터의 화상 등을 표시 수단에 의해 시인할 수 있다.

여기에서, 표시 동작의 온/오프/스루, 표시하는 화상 데이터의 소스의 선택, 각종 표시 동작 양태(예를 들면 분할 표시, 확대/축소 표시, 표시 휘도 등의 표시 화질 조정, 화상의 일부의 하이라이트 등)나 표시 수단에 대한 입력의 절환 등, 표시 동작에 관한 제어로서 상황에 따른 제어가 행해지는 것이 바람직하지만, 본 발명에서는, 이들을 유저의 조작자의 조작이 아니라, 외계 정보에 기초하여 각종 제어를 행하도록 한다.

본 발명에 따르면, 유저의 눈의 직전으로 되는 표시 수단에 의해 각종 화상을 표시시키는데, 이 경우에, 외계 정보에 기초하여 표시 동작에 관한 제어를 행함으로써, 유저에 조작 부담이 없는 채로, 상황에 따른 적확 혹은 재미가 있는 표시 동작이 실행된다. 이에 의해 유저에 있어서 사용성이 좋고, 또한 다양한 시계 광경을 제공할 수 있는 표시 장치를 실현할 수 있다고 하는 효과가 있다.

또한 표시 수단은 투명 또는 반투명한 스루 상태로도 할 수 있게 함으로써, 장착 상태인 채로도 통상의 생활에 지장이 없도록 할 수 있다. 이 때문에 유저의 통상의 생활 중에서, 본 발명의 표시 장치의 이점을 유효하게 얻을 수 있다.

도 1은, 본 발명의 실시 형태의 표시 장치의 외관예의 설명도.

도 2는, 실시 형태의 표시 장치의 사용 형태의 설명도.

도 3은, 실시 형태의 표시 장치의 구성예의 블록도.

도 4는, 실시 형태의 표시 장치의 다른 구성예의 블록도.

도 5는, 실시 형태의 스루 상태와 촬상 화상 표시 상태의 설명도.

도 6은, 실시 형태의 스토리지부로부터의 화상의 표시 상태의 설명도.

도 7은, 실시 형태의 통신부로부터의 화상의 표시 상태의 설명도.

도 8은, 실시 형태의 통신부로부터의 화상의 표시 상태의 설명도.

도 9는, 실시 형태의 분할 표시의 설명도.

도 10은, 실시 형태의 확대 화상의 표시 상태의 설명도.

도 11은, 실시 형태의 밝기 조정 화상의 표시 상태의 설명도.

도 12는, 실시 형태의 화상 처리의 설명도.

도 13은, 실시 형태의 제어 처리의 플로우차트.

도 14는, 실시 형태의 표시 제어 트리거의 판별 처리의 플로우차트.

도 15는, 실시 형태의 표시 제어 트리거의 판별 처리의 플로우차트.

도 16은, 실시 형태의 표시 제어 트리거의 판별 처리의 플로우차트.

도 17은, 실시 형태의 표시 제어 트리거의 판별 처리의 플로우차트.

도 18은, 실시 형태의 표시 제어 트리거의 판별 처리의 플로우차트.

도 19는, 실시 형태의 표시 제어 트리거의 판별 처리의 플로우차트.

도 20은, 실시 형태의 표시 제어 트리거의 판별 처리의 플로우차트.

도 21은, 실시 형태의 표시 제어 트리거의 판별 처리의 플로우차트.

도 22는, 실시 형태의 소스 절환 트리거의 판별 처리의 플로우차트.

도 23은, 실시 형태의 소스 절환 트리거의 판별 처리의 플로우차트.

<발명을 실시하기 위한 최선의 형태>

이하, 본 발명의 표시 장치, 표시 방법의 실시 형태를, 다음 순서로 설명한다.

[1. 표시 장치의 외관예 및 외부 기기와의 관련]

[2. 표시 장치의 구성예]

[3. 표시예]

[4. 외계 정보의 검출]

[5. 각종 동작예]

[6. 실시 형태의 효과, 변형예 및 확장예]

[1. 표시 장치의 외관예 및 외부 기기와의 관련]

실시 형태로서, 도 1에 안경형 디스플레이로 한 표시 장치(1)의 외관예를 도시한다. 표시 장치(1)는, 예를 들면 양측 두부로부터 후두부에 걸쳐 반주회하는 프레임 구조의 장착 유닛을 갖고, 도면과 같이 양쪽 귓바퀴에 걸쳐짐으로써 유저에 장착된다.

그리고 이 표시 장치(1)는, 도 1과 같은 장착 상태에서, 유저의 양안의 직전, 즉 통상의 안경에서의 렌즈가 위치하는 장소에, 좌안용과 우안용의 한쌍의 표시부(2, 2)가 배치되는 구성으로 되어 있다. 이 표시부(2)에는, 예를 들면 액정 패널이 이용되고, 투과율을 제어함으로써, 도면과 같은 스루 상태, 즉 투명 또는 반투명의 상태로 할 수 있다. 표시부(2)가 스루 상태로 됨으로써, 안경과 같이 유저가 상시 장착되어 있어도, 통상의 생활에는 지장이 없다.

또한 유저가 장착한 상태에서, 유저가 시인하는 방향을 피사체 방향으로 하여 촬상하도록, 전방을 향하여 촬상 렌즈(3a)가 배치되어 있다.

또한 촬상 렌즈(3a)에 의한 촬상 방향에 대하여 조명을 행하는 발광부(4a)가 설치된다. 발광부(4a)는 예를 들면 LED(Light Emitting Diode)에 의해 형성된다.

또한, 도면에서는 좌측 귀만 도시되어 있지만, 장착 상태에서 유저의 우측 귓구멍 및 좌측 귓구멍에 삽입할 수 있는 한쌍의 이어폰 스피커(5a)가 설치된다.

또한 우안용의 표시부(2)의 오른쪽과, 좌안용의 표시부(2)의 왼쪽에, 외부 음성을 집음하는 마이크로폰(6a, 6b)이 배치된다.

또한 도 1은 일례로서, 표시 장치(1)를 유저가 장착하기 위한 구조는 다양하게 생각된다. 일반적으로 안경형, 혹은 두부 장착형으로 되는 장착 유닛으로 형성되면 되며, 적어도 본 실시 형태로서는, 유저의 눈의 전방에 근접하여 표시부(2)가 설치되어 있으면 된다. 또한 표시부(2)는, 양안에 대응하여 1쌍 설치되는 것 외에, 편측의 눈에 대응하여 1개 설치되는 구성이어도 된다.

또한 이어폰 스피커(5a)는, 좌우의 스테레오 스피커로 하지 않고, 한쪽의 귀에만 장착하기 위하여 1개 설치되는 것만이어도 된다. 또한 마이크로폰도, 마이크로폰(6a, 6b) 중의 한쪽이어도 된다.

또한 도 1은 촬상 기능을 포함하는 예로 하고 있지만, 촬상 기능을 구비하지 않는 예도 생각된다.

또한, 표시 장치(1)로서 마이크로폰이나 이어폰 스피커를 구비하지 않는 구성도 생각된다. 또한 발광부(4a)를 설치하지 않는 구성도 생각된다.

그런데, 내부 구성예에 대해서는 후술하겠지만, 이 표시 장치(1)는, 기록 매체에 대하여 재생을 행하는 재생 기능(도 3, 도 4에서 설명하는 스토리지부(25))이나, 외부 기기와 통신을 행하는 통신 기능(도 3, 도 4에서 설명하는 통신부(26))을 구비하는 것도 생각된다.

따라서, 표시부(2)에서 표시하는 화상으로서의 데이터의 소스는, 촬상 기능 부위, 재생 기능 부위, 통신 기능 부위가 상정된다.

도 2는, 표시 장치(1)의 사용 형태를, 외부 기기와의 관련에서 예시한 것이다.

도 2의 (a)는 표시 장치(1)를 단체로 사용하는 경우로서, 이 경우, 표시 장치(1)가 촬상 기능을 갖고 있으면, 촬상된 화상 데이터를 표시부(2)에 표시시킬 수 있다. 또한, 표시 장치(1)가 재생 기능을 갖고 있으면, 기록 매체로부터 재생된 데이터에 의한 화상을 표시부(2)에 표시시킬 수 있다. 기록 매체로부터 재생되는 데이터로서는, 예를 들면 영화나 비디오 클립 등의 동화상 콘텐츠, 디지털 스틸 카메라 등으로 촬상되어 기록 매체에 기록된 정지 화상 콘텐츠, 전자 서적 등의 데이터, 유저가 퍼스널 컴퓨터 등에서 작성하여 기록 매체에 기록한 화상 데이터, 텍스트 데이터, 표 계산 데이터 등의 컴퓨터 유스의 데이터, 기록 매체에 기록된 게임 프로그램에 기초하는 게임 화상 등, 기록 매체에 기록되어 표시 대상으로 되는 모든 데이터가 상정된다.

도 2의 (b)는, 표시 장치(1)가 통신 기능을 구비하고, 외부의 촬상 장치(70)와 통신을 행하는 예이다. 이 경우, 표시 장치(1)는, 촬상 장치(70)에서 촬상된 화상(동화상/정지 화상)을 수신하여 표시부(2)에 표시시킨다. 외부의 촬상 장치(70)란, 통신 기능을 구비한 비디오 카메라, 디지털 스틸 카메라 등을 상정할 수 있고, 또한 도 1과 같이 촬상 기능을 구비한 표시 장치(1)를, 임의의 표시 장치(1)에 대하여 외부의 촬상 장치(70)로 생각할 수도 있다.

또한 외부의 촬상 장치(70)는, 표시 장치(1)를 이용하는 유저 본인이 소유하 는 촬상 장치이거나, 표시 장치(1)의 유저의 지인이 소유하는 촬상 장치이거나, 혹은 화상 제공을 행하는 공공 혹은 서비스 기업 등의 촬상 장치로서 표시 장치(1)와 통신 가능하게 되어 있는 것 등 다양하게 생각된다.

도 2의 (c)는, 표시 장치(1)가 통신 기능을 구비하고, 외부의 콘텐츠 소스 기기(71)와 통신을 행하는 예이다. 이 경우, 표시 장치(1)는, 콘텐츠 소스 기기(71)로부터 제공되는 화상(동화상/정지 화상)을 수신하여 표시부(2)에 표시시킨다.

콘텐츠 소스 기기(71)란, 예를 들면 비디오 기기, 텔레비전 튜너, 홈 서버 기기 등의 AV(Audio-Visual) 기기나, 퍼스널 컴퓨터, PDA(Personal Digital Assistant), 휴대 전화기 등의 정보 처리 장치 등을 상정할 수 있다. 이러한 콘텐츠 소스 기기(71)도, 표시 장치(1)를 이용하는 유저 본인이나 그 지인이 소유하는 기기이거나, 각종 콘텐츠 제공을 행하는 공공 혹은 서비스 기업 등의 서버 기기인 것 등 다양하게 생각된다.

콘텐츠 소스 기기(71)로부터 표시 장치(1)에 송신되는 데이터로서는, 예를 들면 영화나 비디오 클립 등의 동화상 콘텐츠, 디지털 스틸 카메라 등으로 촬상되어 기록 매체에 기록된 정지 화상 콘텐츠, 전자 서적 등의 데이터, 유저가 퍼스널 컴퓨터 등에서 작성한 화상 데이터, 텍스트 데이터, 표 계산 데이터 등의 컴퓨터 유스의 데이터, 게임 화상 등, 표시 대상으로 되는 모든 데이터가 상정된다.

도 2의 (d)는, 표시 장치(1)가 통신 기능, 특히 인터넷 등의 네트워크(73)를 통한 통신 액세스 기능을 구비함으로써, 네트워크(73)에 의해 접속되는 외부의 촬 상 장치(70)나 콘텐츠 소스 기기(71)와 통신을 행하는 예이다. 이 경우 표시 장치(1)는, 네트워크(73)를 통하여 각종 데이터를 수신하고, 그 수신한 데이터의 화상을 표시부(2)에서 표시시킨다.

[2. 표시 장치의 구성예]

도 3에 표시 장치(1)의 내부 구성예를 도시한다.

시스템 컨트롤러(10)는, 예를 들면 CPU(Central Processing Unit), ROM(Read Only Memory), RAM(Random Access Memory), 불휘발성 메모리부, 인터페이스부를 구비한 마이크로컴퓨터에 의해 구성되고, 표시 장치(1)의 전체를 제어하는 제어부로 된다.

이 시스템 컨트롤러(10)는 외계의 상황에 기초하여, 표시 장치(1) 내의 각 부의 제어를 행한다. 즉 외계의 상황을 검지 판정하고, 그에 따라서 각 부의 동작 제어를 실행하게 된 동작 프로그램에 따라서 동작한다. 이 때문에 기능적으로 보면, 도시한 바와 같이 외계의 상황을 판정하는 외계 상황 판정 기능(10a)과, 외계 상황 판정 기능(10a)의 판정 결과에 따라서 각 부에 제어 지시를 행하는 동작 제어 기능(10b)을 갖게 된다.

표시 장치(1) 내에서는, 유저의 전방의 광경의 촬상을 위한 구성으로서, 촬상부(3), 촬상 제어부(11), 촬상 신호 처리부(15)가 설치된다.

촬상부(3)는, 도 1에 도시한 촬상 렌즈(3a)나, 조리개, 줌 렌즈, 포커스 렌즈 등을 구비하여 구성되는 렌즈계나, 렌즈계에 대하여 포커스 동작이나 줌 동작을 행하게 하기 위한 구동계, 또한 렌즈계에서 얻어지는 촬상 광을 검출하고, 광전 변 환을 행함으로써 촬상 신호를 생성하는 고체 촬상 소자 어레이 등이 설치된다. 고체 촬상 소자 어레이는, 예를 들면 CCD(Charge Coupled Device) 센서 어레이나, CMOS(Complementary Metal Oxide Semiconductor) 센서 어레이로 된다.

촬상 신호 처리부(15)는, 촬상부(3)의 고체 촬상 소자에 의해 얻어지는 신호에 대한 게인 조정이나 파형 정형을 행하는 샘플 홀드/AGC(Automatic Gain Control) 회로나, 비디오 A/D 컨버터를 구비하고, 디지털 데이터로서의 촬상 신호를 얻는다. 또한 촬상 신호 처리부(15)는, 촬상 신호에 대하여 화이트 밸런스 처리, 휘도 처리, 색 신호 처리, 흔들림 보정 처리 등도 행한다.

촬상 제어부(11)는, 시스템 컨트롤러(10)로부터의 지시에 기초하여, 촬상부(3) 및 촬상 신호 처리부(15)의 동작을 제어한다. 예를 들면 촬상 제어부(11)는, 촬상부(3), 촬상 신호 처리부(15)의 동작의 온/오프를 제어한다. 또한 촬상 제어부(11)는 촬상부(3)에 대하여, 오토 포커스, 자동 노출 조정, 조리개 조정, 줌 등의 동작을 실행시키기 위한 제어(모터 제어)를 행하는 것으로 된다.

또한 촬상 제어부(11)는 타이밍 제너레이터를 구비하고, 고체 촬상 소자 및 촬상 신호 처리부(15)의 샘플 홀드/AGC 회로, 비디오 A/D 컨버터에 대해서는, 타이밍 제너레이터에서 생성되는 타이밍 신호에 의해 신호 처리 동작을 제어한다. 또한, 이 타이밍 제어에 의해 촬상 프레임 레이트의 가변 제어도 가능하게 된다.

또한 촬상 제어부(11)는, 고체 촬상 소자 및 촬상 신호 처리부(15)에서의 촬상 감도나 신호 처리의 제어를 행한다. 예를 들면 촬상 감도 제어로서 고체 촬상 소자로부터 읽어내어지는 신호의 게인 제어를 행하거나, 흑 레벨 설정 제어나, 디 지털 데이터 단계의 촬상 신호 처리의 각종 계수 제어, 흔들림 보정 처리에서의 보정량 제어 등을 행할 수 있다. 촬상 감도에 관해서는, 특히 파장 대역을 고려하지 않는 전체적인 감도 조정이나, 예를 들면 적외선 영역, 자외선 영역 등, 특정한 파장 대역의 촬상 감도를 조정하는 감도 조정(예를 들면 특정 파장 대역을 커트하는 촬상) 등도 가능하다. 파장에 따른 감도 조정은, 촬상 렌즈계에서의 파장 필터의 삽입이나, 촬상 신호에 대한 파장 필터 연산 처리에 의해 가능하다. 이들의 경우, 촬상 제어부(11)는, 파장 필터의 삽입 제어나, 필터 연산 계수의 지정 등에 의해, 감도 제어를 행할 수 있다.

촬상부(3)에서 촬상되고, 촬상 신호 처리부(15)에서 처리된 촬상 신호(촬상에 의한 화상 데이터)는 화상 입출력 컨트롤부(27)에 공급된다.

화상 입출력 컨트롤부(27)는, 시스템 컨트롤러(10)의 제어에 따라서, 화상 데이터의 전송을 제어한다. 즉 촬상계(촬상 신호 처리부(15)), 표시계(표시 화상 처리부(12)), 스토리지부(25), 통신부(26)의 사이의 화상 데이터의 전송을 제어한다.

예를 들면 화상 입출력 컨트롤부(27)는, 촬상 신호 처리부(15)에서 처리된 촬상 신호로서의 화상 데이터를, 표시 화상 처리부(12)에 공급하거나, 스토리지부(25)에 공급하거나, 통신부(26)에 공급하는 동작을 행한다.

또한 화상 입출력 컨트롤부(27)는 예를 들면 스토리지부(25)로부터 재생된 화상 데이터를, 표시 화상 처리부(12)에 공급하거나, 통신부(26)에 공급하는 동작을 행한다.

또한 화상 입출력 컨트롤부(27)는 예를 들면 통신부(26)에서 수신된 화상 데이터를, 표시 화상 처리부(12)에 공급하거나, 스토리지부(25)에 공급하는 동작을 행한다.

표시 장치(1)에서 유저에 대하여 표시를 행하는 구성으로서는, 표시부(2), 표시 화상 처리부(12), 표시 구동부(13), 표시 제어부(14)가 설치된다.

예를 들면 촬상부(3)에서 촬상되고, 촬상 신호 처리부(15)에서 처리된 촬상 신호로서의 화상 데이터는, 화상 입출력 컨트롤부(27)를 통하여 표시 화상 처리부(12)에 공급할 수 있다. 표시 화상 처리부(12)는, 예를 들면 소위 비디오 프로세서로 되고, 공급된 화상 데이터에 대하여 각종 표시 처리를 실행할 수 있는 부위로 된다. 예를 들면 화상 데이터의 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 샤프니스(윤곽 강조) 조정 등을 행할 수 있다. 또한 표시 화상 처리부(12)는, 공급된 화상 데이터의 일부를 확대한 확대 화상의 생성, 혹은 축소 화상의 생성, 공급된 화상 데이터의 분할 표시를 위한 화상의 분리나 합성, 화상 내의 일부를 하이라이트 표시(강조 표시)시키는 화상 처리, 캐릭터 화상이나 이미지 화상의 생성이나, 생성한 화상을 공급된 화상 데이터에 합성하는 처리 등도 행할 수 있다. 즉 공급된 화상 데이터에 대한 각종 처리를 행할 수 있다.

표시 구동부(13)는, 표시 화상 처리부(12)로부터 공급되는 화상 데이터를, 예를 들면 액정 디스플레이로 되는 표시부(2)에서 표시시키기 위한 화소 구동 회로로 구성되어 있다. 즉 표시부(2)에서 매트릭스 형상으로 배치되어 있는 각 화소에 대하여, 각각 소정의 수평/수직 구동 타이밍에서 영상 신호에 기초하는 구동 신호 를 인가하고, 표시를 실행시킨다. 또한 표시 구동부(13)는, 표시부(2)의 각 화소의 투과율을 제어하여, 스루 상태로 할 수도 있다.

표시 제어부(14)는, 시스템 컨트롤러(10)의 지시에 기초하여, 표시 화상 처리부(12)의 처리 동작이나 표시 구동부(13)의 동작을 제어한다. 즉 표시 화상 처리부(12)에 대해서는, 상기의 각종 처리를 실행시킨다. 또한 표시 구동부(13)에 대해서는 스루 상태, 화상 표시 상태의 절환이 행해지도록 제어한다.

또한, 스토리지부(25)에서 재생된 화상 데이터나, 통신부(26)에서 수신된 화상 데이터도, 화상 입출력 컨트롤부(27)를 통하여 표시 화상 처리부(12)에 공급할 수 있다. 그 경우, 표시 화상 처리부(12), 표시 구동부(13)의 상기 동작에 의해, 표시부(2)에서 재생 화상이나 수신 화상이 출력되게 된다.

또한 표시 장치(1)에는, 음성 입력부(6), 음성 신호 처리부(16), 음성 출력부(5)가 설치된다.

음성 입력부(6)는, 도 1에 도시한 마이크로폰(6a, 6b)과, 그 마이크로폰(6a, 6b)에서 얻어진 음성 신호를 증폭 처리하는 마이크 앰프부나 A/D 변환기를 갖고, 음성 데이터를 출력한다.

음성 입력부(6)에서 얻어진 음성 데이터는 음성 입출력 컨트롤부(28)에 공급된다.

음성 입출력 컨트롤부(28)는, 시스템 컨트롤러(10)의 제어에 따라서, 음성 데이터의 전송을 제어한다. 즉 음성 입력부(6), 음성 신호 처리부(16), 스토리지부(25), 통신부(26)의 사이의 음성 신호의 전송을 제어한다.

예를 들면 음성 입출력 컨트롤부(28)는, 음성 입력부(6)에서 얻어진 음성 데이터를, 음성 신호 처리부(16)에 공급하거나, 스토리지부(25)에 공급하거나, 통신부(26)에 공급하는 동작을 행한다.

또한 음성 입출력 컨트롤부(28)는 예를 들면 스토리지부(25)에서 재생된 음성 데이터를, 음성 신호 처리부(16)에 공급하거나, 통신부(26)에 공급하는 동작을 행한다.

또한 음성 입출력 컨트롤부(28)는 예를 들면 통신부(26)에서 수신된 음성 데이터를, 음성 신호 처리부(16)에 공급하거나, 스토리지부(25)에 공급하는 동작을 행한다.

음성 신호 처리부(16)는, 예를 들면 디지털 시그널 프로세서, D/A 변환기 등으로 이루어진다. 이 음성 신호 처리부(16)에는, 음성 입력부(6)에서 얻어진 음성 데이터나, 스토리지부(25), 혹은 통신부(26)로부터의 음성 데이터가, 음성 입출력 컨트롤부(28)를 통하여 공급된다. 음성 신호 처리부(16)는, 공급된 음성 데이터에 대하여, 시스템 컨트롤러(10)의 제어에 따라서, 음량 조정, 음질 조정, 음향 이펙트 등의 처리를 행한다. 그리고 처리한 음성 데이터를 아날로그 신호로 변환하여 음성 출력부(5)에 공급한다. 또한, 음성 신호 처리부(16)는, 디지털 신호 처리를 행하는 구성에 한정되지 않고, 아날로그 앰프나 아날로그 필터에 의해 신호 처리를 행하는 것이어도 된다.

음성 출력부(5)는, 도 1에 도시한 한쌍의 이어폰 스피커(5a)와, 그 이어폰 스피커(5a)에 대한 앰프 회로를 갖는다.

이 음성 입력부(6), 음성 신호 처리부(16), 음성 출력부(5)에 의해, 유저는 외부 음성을 듣거나, 스토리지부(25)에서 재생된 음성을 듣거나, 통신부(26)에서 수신된 음성을 들을 수 있다. 또한 음성 출력부(5)는, 소위 골 전도 스피커로서 구성되어도 된다.

스토리지부(25)는, 소정의 기록 매체에 대하여 데이터의 기록 재생을 행하는 부위로 된다. 예를 들면 HDD(Hard Disc Drive)로서 실현된다. 물론 기록 매체로서는, 플래시 메모리 등의 고체 메모리, 고정 메모리를 내장한 메모리 카드, 광 디스크, 광 자기 디스크, 홀로그램 메모리 등이 각종 생각되고, 스토리지부(25)로서는 채용하는 기록 매체에 따라서 기록 재생을 실행할 수 있는 구성으로 되면 된다.

촬상부(3)에서 촬상되고, 촬상 신호 처리부(15)에서 처리된 촬상 신호로서의 화상 데이터나, 통신부(26)에서 수신한 화상 데이터는, 화상 입출력 컨트롤부(27)를 통하여 스토리지부(25)에 공급할 수 있다. 또한 음성 입력부(6)에서 얻어진 음성 데이터나, 통신부(26)에서 수신한 음성 데이터는, 음성 입출력 컨트롤부(28)를 통하여 스토리지부(25)에 공급할 수 있다.

스토리지부(25)는 시스템 컨트롤러(10)의 제어에 따라서, 공급된 화상 데이터나 음성 데이터에 대하여, 기록 매체에의 기록을 위한 인코드 처리를 행하여, 기록 매체에 기록한다.

또한 스토리지부(25)는 시스템 컨트롤러(10)의 제어에 따라서, 기록 매체로부터 화상 데이터나 음성 데이터를 재생한다. 재생한 화상 데이터는 화상 입출력 컨트롤부(27)에 출력하고, 또한 재생한 음성 데이터는 음성 입출력 컨트롤부(28)에 출력한다.

통신부(26)는 외부 기기와의 사이에서의 데이터의 송수신을 행한다. 외부 기기로서는, 도 2에서 설명한 촬상 장치(70)나 콘텐츠 소스 기기(71) 등으로서의 각종 기기가 생각된다.

통신부(26)는, 무선 LAN, 블루투스 등의 방식에 의해, 예를 들면 네트워크 액세스 포인트에 대한 근거리 무선 통신을 통하여 네트워크 통신을 행하는 구성으로 하여도 되고, 대응하는 통신 기능을 구비한 외부 기기와의 사이에서 직접 무선 통신을 행하는 것이어도 된다.

촬상부(3)에서 촬상되고, 촬상 신호 처리부(15)에서 처리된 촬상 신호로서의 화상 데이터나, 스토리지부(25)에서 재생한 화상 데이터는, 화상 입출력 컨트롤부(27)를 통하여 통신부(26)에 공급할 수 있다. 또한 음성 입력부(6)에서 얻어진 음성 데이터나, 스토리지부(25)에서 재생된 음성 데이터는, 음성 입출력 컨트롤부(28)를 통하여 통신부(26)에 공급할 수 있다.

통신부(26)는 시스템 컨트롤러(10)의 제어에 따라서, 공급된 화상 데이터나 음성 데이터에 대하여, 송신을 위한 인코드 처리, 변조 처리 등을 행하고, 외부 기기에 송신한다.

또한 통신부(26)는 외부 기기로부터의 데이터 수신 동작을 행한다. 수신 복조한 화상 데이터는 화상 입출력 컨트롤부(27)에 출력하고, 또한 수신 복조한 음성 데이터는 음성 입출력 컨트롤부(28)에 출력한다.

또한 표시 장치(1)에는 음성 합성부(29)가 설치된다. 이 음성 합성부(29)는 시스템 컨트롤러(10)의 지시에 따라서 음성 합성을 행하고, 음성 신호를 출력한다.

음성 합성부(29)로부터 출력된 음성 신호는, 음성 입출력 컨트롤부(28)를 통하여 음성 신호 처리부(16)에 공급되어 처리된 후, 음성 출력부(5)에 공급되고, 유저에 대하여 음성 출력된다.

이 음성 합성부(29)는, 예를 들면 후술하는 읽어내기 음성의 음성 신호를 발생시키게 된다.

표시 장치(1)에는 조명부(4)와 조명 제어부(18)가 설치된다. 조명부(4)는, 도 1에 도시한 발광부(4a)와 그 발광부(4a)(예를 들면 LED)를 발광시키는 발광 회로로 이루어진다. 조명 제어부(18)는, 시스템 컨트롤러(10)의 지시에 기초하여, 조명부(4)에 발광 동작을 실행시킨다.

조명부(4)에서의 발광부(4a)가 도 1에 도시한 바와 같이 전방에 대한 조명을 행하는 것으로서 부착되어 있음으로써, 조명부(4)는 유저의 시계 방향에 대한 조명 동작을 행하게 된다.

이 표시 장치(1)는, 외계 정보를 취득하기 위한 구성으로서, 주위 환경 센서(19), 촬상 대상 센서(20), GPS 수신부(21), 일시 계수부(22), 화상 해석부(17), 및 통신부(26)를 갖는다.

주위 환경 센서(19)로서는, 구체적으로는 예를 들면 조도 센서, 온도 센서, 습도 센서, 기압 센서 등이 상정되고, 표시 장치(1)의 주위 환경으로서, 주위의 밝기, 온도, 습도, 혹은 날씨 등을 검출하기 위한 정보를 얻는 센서로 된다.

촬상 대상 센서(20)는, 촬상부(3)에서의 촬상 동작의 피사체로 되어 있는 촬 상 대상에 관한 정보를 검출하는 센서이다. 예를 들면 해당 표시 장치(1)로부터 촬상 대상까지의 거리의 정보를 검출하는 측거 센서나, 초전 센서 등의 적외선 센서와 같이, 촬상 대상이 발하는 적외선의 특정한 파장 등의 정보나 에너지를 검출하는 센서 등이 상정된다. 초전 센서의 경우, 예를 들면 촬상 대상이 인간이나 동물 등의 생체인지의 여부의 검출이 가능하게 된다.

또한, 각종 UV(Ultra Violet) 센서와 같이, 촬상 대상이 발하는 자외선의 특정한 파장 등의 정보나 에너지를 검출하는 센서도 상정된다. 이 경우, 예를 들면 촬상 대상이 형광 물질이나 형광체인지의 여부의 검출이나, 햇볕에 타는 대책에 필요한 외계의 자외선량의 검출이 가능하게 된다.

GPS 수신부(21)는, GPS(Global Positioning System)의 위성으로부터의 전파를 수신하고, 현재 위치로서의 위도ㆍ경도의 정보를 출력한다.

일시 계수부(22)는, 소위 시계부로서, 일시(연월일 시분초)를 계수하고, 현재 일시 정보를 출력한다.

화상 해석부(17)는, 화상 데이터의 화상 해석을 행한다. 화상 해석부(17)에는, 화상 입출력 컨트롤부(27)를 통하여 화상 데이터가 공급된다. 화상 해석부(17)에서 화상 해석의 대상으로 되는 화상 데이터란, 촬상부(3), 촬상 신호 처리부(15)에 의해 얻어진 촬상 화상으로서의 화상 데이터나, 통신부(26)에서 수신된 화상 데이터, 혹은 스토리지부(25)에서 기록 매체로부터 재생된 화상 데이터로 된다. 즉 표시 장치(1)가, 표시부(2)에서 표시 가능하게 입력한 화상 데이터가 화상 해석부(17)에서의 화상 해석 대상으로 된다. 그리고 화상 해석부(17)는 화상 데이 터를 해석하고, 화상 데이터에 포함되는 화상의 정보를 얻는다.

통신부(26)는, 외부 기기와의 사이에서의 데이터 통신을 행한다. 외부 기기로서는, 컴퓨터 기기, PDA(Personal Digital Assistant), 휴대 전화기, 비디오 기기, 오디오 기기, 튜너 기기 등, 정보 처리 및 통신 기능을 구비한 모든 기기가 상정된다.

또한 인터넷 등의 네트워크에 접속된 단말 장치, 서버 장치 등도 통신 대상의 외부 기기로서 상정된다.

또한, IC칩을 내장한 비접촉 통신 IC 카드, QR 코드 등의 이차원 바코드, 홀로그램 메모리 등을 외부 기기로 하고, 통신부(26)는 이들 외부 기기로부터 정보를 판독하는 구성으로 하는 것도 생각된다.

또한, 다른 표시 장치(1)도 외부 기기로서 상정된다.

이들 주위 환경 센서(19), 촬상 대상 센서(20), GPS 수신부(21), 일시 계수부(22), 화상 해석부(17), 및 통신부(26)에 의해, 표시 장치(1)로부터 본 외계의 정보가 취득되고, 시스템 컨트롤러(10)에 공급된다.

시스템 컨트롤러(10)는 외계 상황 판정 기능(10a)의 처리에 의해, 취득한 외계 정보에 따라서, 동작 제어 기능(10b)의 처리에 의해, 촬상 동작이나 표시 동작 에 관한 제어를 행한다. 즉 시스템 컨트롤러(10)는 표시 제어부(14)에 지시하여 표시 화상 처리부(12)나 표시 구동부(13)의 동작을 제어하거나, 표시하는 데이터의 소스를 선택하거나, 또한 스토리지부(25)의 재생 동작이나 통신부(26)의 통신 동작의 제어를 행한다.

또한, 외계 정보를 취득하기 위한 구성으로서 주위 환경 센서(19), 촬상 대상 센서(20), GPS 수신부(21), 일시 계수부(22), 화상 해석부(17), 및 통신부(26)를 나타내었지만, 이들은 반드시 모두를 구비할 필요는 없다. 또한, 주위의 음성을 검지ㆍ해석하는 음성 해석부 등, 다른 센서가 설치되어도 된다.

다음으로 도 4는, 촬상 기능을 갖지 않는 표시 장치(1)의 구성예를 도시하는 것이다. 또한, 도 3과 동일 기능의 블록에는 동일 부호를 붙이고, 중복 설명을 피한다.

이 도 4의 구성은, 도 3의 구성으로부터, 촬상부(3), 촬상 신호 처리부(15), 촬상 제어부(11), 조명부(4), 조명 제어부(18), 음성 입력부(6), 촬상 대상 센서(20)를 생략한 것으로 되어 있다.

상기 도 3의 구성예의 경우, 표시부(2)에 표시시키는 데이터의 소스는, 촬상 기능계(촬상부(3), 촬상 신호 처리부(15), 촬상 제어부(11))와, 재생 기능계(스토리지부(25))와, 수신 기능계(통신부(26))의 3개로 되는데, 이 도 4의 구성예의 경우, 표시부(2)에 표시시키는 데이터의 소스는, 재생 기능계(스토리지부(25))와, 수신 기능계(통신부(26))의 2개로 된다.

즉 도 3은 표시 화상의 소스로서 표시 장치(1) 내에 3계통의 소스를 구비하 는 경우의 예이며, 도 4는 표시 장치(1) 내에 2계통의 소스를 구비하는 경우의 예이다.

이 경우, 화상 해석부(17)에서 화상 해석의 대상으로 되는 화상 데이터란, 통신부(26)에서 수신된 화상 데이터, 혹은 스토리지부(25)에서 기록 매체로부터 재생된 화상 데이터로 된다.

또한 도시하지 않았지만 표시 장치(1)의 구성예로서는, 이 도 3, 도 4 이외에, 표시 장치(1) 내의 표시 화상의 소스로서, 예를 들면 촬상 기능계만을 구비하는 예, 재생 기능계만을 구비하는 예, 수신 기능계만을 구비하는 예, 촬상 기능계와 재생 기능계를 구비하는 예, 촬상 기능계와 수신 기능계를 구비하는 예 등이, 각각 생각된다.

[3. 표시예]

시스템 컨트롤러(10)가, 취득한 외계 정보에 따라서 표시 동작에 관한 제어를 행하여, 표시하는 데이터의 소스를 선택하거나, 표시 화상 처리를 행하는 것 등에 의해, 유저는 표시부(2)에서 다양한 표시 양태, 표시 내용의 화상을 볼 수 있다. 도 5 내지 도 12에 의해, 각종 표시예를 나타낸다.

도 5의 (a)는 표시부(2)가 스루 상태로 되어 있는 경우를 나타내고 있는 것으로 한다. 즉, 표시부(2)는 단순한 투명한 판 형상체로 되어 있고, 유저가 시계 광경을 투명한 표시부(2)를 통하여 보고 있는 상태이다.

도 5의 (b)는, 촬상부(3)에서 촬상한 화상이 표시부(2)에 표시된 상태이다. 예를 들면 도 5의 (a)의 상태에서 촬상부(3), 촬상 신호 처리부(15), 표시 화상 처 리부(12), 표시 구동부(13)가 동작하고, 촬상 화상을 통상적으로 표시부(2)에 표시한 상태이다. 이 경우의 표시부(2)에 표시되는 촬상 화상(통상 촬상 화상)은, 스루 상태의 경우와 거의 마찬가지로 된다. 즉 유저에 있어서는, 통상의 시계를, 촬상된 화상으로서 보고 있는 상태이다.

도 5의 (c)는, 시스템 컨트롤러(10)가 촬상 제어부(11)를 통하여 촬상부(3)에 망원 촬상을 실행시킨 경우이며, 망원 화상이 표시부(2)에 표시되어 있다.

도시하지 않았지만, 반대로 시스템 컨트롤러(10)가 촬상 제어부(11)를 통하여 촬상부(3)에 광각 촬상을 실행시키면, 근거리의 광경이 광각으로 비추어진 화상이 표시부(2)에 표시되게 된다. 또한, 망원-광각의 제어는, 촬상부(3)에서의 줌 렌즈의 구동 제어 외에, 촬상 신호 처리부(15)에서의 신호 처리로도 가능하다.

상기 도 5의 (b) (c)는 촬상 기능계를 화상 소스로 하여 표시부(2)에 표시를 행한 예를 나타내고, 도 6은 스토리지부(25)를 표시 화상의 소스로서 표시부(2)에 표시를 행하는 예를 나타내고 있다.

도 6의 (a)는, 스토리지부(25)에서의 기록 매체에 동화상이나 정지 화상의 화상 콘텐츠가 기록되어 있고, 그 화상 콘텐츠가 재생되어 표시부(2)에서 표시되어 있는 예이다.

도 6의 (b)는, 스토리지부(25)에서의 기록 매체에 게임 프로그램이 기록되어 있고, 그 게임 프로그램에 기초하는 화상이 표시부(2)에서 표시되어 있는 예이다.

도 6의 (c)는, 스토리지부(25)에서의 기록 매체에 전자 서적 콘텐츠가 기록되어 있고, 그 전자 서적 콘텐츠가 재생되어 표시부(2)에서 표시되어 있는 예이다.

이들 도 6의 (a) (b) (c)와 같이 유저는 표시 장치(1)를 이용하여 기록 매체에 기록된 데이터의 재생 화상을 즐길 수 있다.

다음으로 도 7, 도 8은 통신부(26)를 표시 화상의 소스로 하여 표시부(2)에 표시를 행하는 예를 나타내고 있다.

도 7은, 도 2의 (b) 또는 도 2의 (d)와 같은 통신에 의해, 외부의 촬상 장치(70)로부터 송신되고, 통신부(26)에서 수신한 화상을 표시하는 예이다.

도 7의 (a)는, 예를 들면 유저로부터의 시계가 도 5의 (a)인 것과 같으며, 즉 스타디움에서 객석으로부터 축구를 관전하고 있는 상태에 있을 때에, 스타디움의 다른 장소에서 촬상을 행하는 촬상 장치(70)에 의한 영상을, 통신부(26)에서 수신하고, 표시부(2)에 표시시키고 있는 예이다. 예를 들면 감독석 근변에 설치된 촬상 장치(70)나, 심판이 장착하는 소형의 촬상 장치(70) 등으로부터의 영상을 수신하여, 표시부(2)에서 표시함으로써, 보다 흥미 깊게 시합 관전을 행할 수 있다.

도 7의 (b)는, 리조트지에 설치한 촬상 장치(70)나, 여행 중의 지인이 소지하는 촬상 장치(70)에 의해 촬상한 영상을, 통신부(26)에서 수신하고, 표시부(2)에 표시시키고 있는 예이다. 이러한 영상 표시에 의해, 유저는, 예를 들면 자택 등에 있으면서, 다양한 지역의 영상을 볼 수 있다.

도 7의 (c)는, 항공기나 위성에 설치된 촬상 장치(70)에서 촬상한 지상의 영상(버드 뷰 영상)을, 통신부(26)에서 수신하고, 표시부(2)에 표시시키고 있는 예이다. 이러한 영상 표시에 의해, 유저는, 통상은 볼 수 없는 풍경을 즐길 수 있다.

도 8은, 도 2의 (c) 또는 도 2의 (d)와 같은 통신에 의해, 외부의 콘텐츠 소 스 기기(71)로부터 송신되고, 통신부(26)에서 수신한 화상을 표시하는 예이다.

도 8의 (a)는, AV 기기나 퍼스널 컴퓨터 등의 콘텐츠 소스 기기(71)로부터, 동화상이나 정지 화상의 화상 콘텐츠를 수신한 경우에, 그 화상 콘텐츠가 표시부(2)에서 표시되어 있는 예이다.

도 8의 (b)는, 예를 들면 퍼스널 컴퓨터 등의 콘텐츠 소스 기기(71)에서 액세스하고 있는 웹 사이트의 브라우저 화면, 혹은 기동 중인 어플리케이션 화면 등으로서의 화상 데이터를, 표시 장치(1)에 송신시키고, 표시 장치(1)에서는 통신부(26)에서 수신한 화상 데이터를 표시부(2)에서 표시시키고 있는 예이다.

도 8의 (c)는, 예를 들면 퍼스널 컴퓨터 등의 콘텐츠 소스 기기(71)에서 볼 수 있는 사진 화상의 일람 표시 화상 등을 표시 장치(1)에 송신시키고, 표시 장치(1)에서 통신부(26)에서 수신하고, 표시부(2)에 표시시키고 있는 예이다.

예를 들면 이와 같이 콘텐츠 소스 기기(71)로부터의 화상으로서, 비디오 플레이어 등의 AV 기기나, 퍼스널 컴퓨터 등의 정보 처리 장치로부터의 데이터를 수신하여 화상 표시를 행함으로써, 유저는 장착한 표시 장치(1)에서, 이들 화상을 확인하거나, 각종 작업을 행할 수 있다.

또한, 도 6은 스토리지부(25)를 소스로 하는 화상, 도 8은 통신부(26)를 소스로 하는 화상으로서 설명하였지만, 예를 들면 도 8에서 예시한 화상 내용을, 스토리지부(25)로부터의 재생 화상으로 생각할 수도 있고, 도 6에서 예시한 화상 내용을, 외부 기기로부터 송신되어 통신부(26)에서 수신한 화상으로 생각할 수도 있다.

도 9, 도 10, 도 11, 도 12는, 상기한 바와 같은 각종 소스(촬상 기능계, 재생 기능계, 또는 수신 기능계)로부터의 화상에 대하여, 표시 양태나 화상 데이터에 관한 처리를 행하는 예이다.

도 9의 (a)는, 표시부(2)가 스루 상태로 되어 있는 경우를 나타내고 있다.

시스템 컨트롤러(10)가 표시 제어부(14)(표시 화상 처리부(12), 표시 구동부(13))에 대하여 분할 표시를 지시함으로써, 도 9의 (b)와 같은 화상을 표시부(2)에 표시시킬 수 있다. 즉 표시부(2)의 화면 상을 영역 AR1, AR2로 분할하고, 영역 AR1은 스루 상태 또는 통상 화상 표시로 하고, 영역 AR2에는, 예를 들면 스토리지부(25) 혹은 통신부(26)를 소스로 하는 화상(예를 들면 재생 또는 수신한 영상 콘텐츠의 화상 등)을 표시시키고 있는 예이다.

또한 도 9의 (c)는 다른 분할 표시의 예를 나타내고 있고, 이 경우에는 표시부(2)의 화면 상을 영역 AR1, AR2, AR3, AR4로 분할함과 함께, 각 영역에는, 소정 시간 간격으로 화상의 1프레임을 추출하여 표시시키고 있다. 예를 들면 표시 화상 처리부(12)에, 화상 데이터에 대하여 0.5초 간격으로 1프레임을 추출시키고, 추출한 프레임의 화상을 영역 AR1→AR2→AR3→AR4→AR1→AR2…로 순서대로 표시시켜 간다. 이것은, 소위 스트로보 표시라고 불리는 화상을 표시부(2)에서 분할 표시에 의해 실행한 예이다.

물론 화면 상의 복수의 영역에서, 각각 서로 다른 소스로부터의 화상을 표시하는 것도 생각된다.

도 10의 (a)는 표시부(2)에, 촬상 기능계, 재생 기능계, 또는 수신 기능계로 부터의 화상이 그대로 통상의 사이즈로 표시되어 있는 경우를 나타내고 있다.

이 때에 시스템 컨트롤러(10)가, 표시 제어부(14)를 통하여 표시 화상 처리부(12)에 대하여 화상 확대 처리를 지시함으로써, 도 10의 (b)와 같은 확대 화상을 표시부(2)에 표시시킬 수 있다.

도 11의 (a)는 표시부(2)에, 촬상 기능계, 재생 기능계, 또는 수신 기능계로부터의 화상이 통상적으로 표시되어 있는 경우를 나타내고 있다.

단, 이 표시 화상은, 휘도가 낮은 화상으로서, 유저에 있어서 쾌적한 보기 쉬운 화상은 아닌 것으로 한다.

이러한 경우에, 시스템 컨트롤러(10)는 표시 제어부(14)(표시 화상 처리부(12), 표시 구동부(13))에 대하여 휘도 업, 콘트라스트, 샤프니스 조정을 지시하는 것 등에 의해, 도 11의 (b)와 같이, 보다 명백한 화상을 표시부(2)에 표시시킬 수 있다.

도 12의 (a)는, 표시부(2)에, 촬상 기능계, 재생 기능계, 또는 수신 기능계로부터의 화상이 통상적으로 표시되어 있는 경우, 혹은 표시부(2)가 스루 상태로 되어 있는 경우를 나타내고 있다. 이 화상에서는, 예를 들면 축구 스타디움에서 피치 상에 음지와 양지의 경계가 생겨, 잘 보이지 않는 상황으로 되어 있다.

시스템 컨트롤러(10)는, 표시 화상 처리부(12)에 지시하여, 예를 들면 음지 부분에 상당하는 영역의 화소에 대하여 표시 휘도를 향상시키고, 한편, 양지 부분에 상당하는 영역의 화소에 대하여 표시 휘도를 저하시킴으로써, 도 12의 (b)와 같이 양지/음지의 영향이 저감된 화상이 표시된다.

도 12의 (c)는 특정한 대상으로서, 화상 내에 예를 들면 새가 포함되어 있는 경우에, 그 새를 강조시키도록 하이라이트 표시시킨 표시예이다.

화상 내에서, 새가 검지되는 경우에, 그 새의 부분을 하이라이트 표시시킴으로써, 유저가 예를 들면 새라고 하는 특정한 대상을 찾아내기 쉽게 한 표시를 실현할 수 있다.

하이라이트 화상 처리로서는, 화상 내에서 주목 부분만의 휘도를 높이거나, 주목 부분 이외의 휘도를 낮추거나, 주목 부분을 컬러 표시로 주목 부분 이외를 모노크롬 표시로 하는 등의 방법이 생각된다. 또한 주목 부분에 주목 틀이나 커서, 포인터 마크 등, 어떠한 캐릭터 화상을 표시시킴으로써 화상 내의 특정 부분을 강조하여도 된다.

여기까지 각종 표시예를 나타내었지만, 이들은 일례에 지나지 않는다. 본 예에서는, 촬상 기능계, 재생 기능계, 수신 기능계와 같은 소스의 선택이나, 촬상 기능계나 재생 기능계의 동작, 나아가 표시 화상 처리부(12), 표시 구동부(13)의 각 처리나 동작을 제어함으로써, 다양한 표시 형태가 실현된다.

예를 들면, 촬상 기능계를 표시 화상 소스로 하는 경우에는, 망원 표시, 광각 표시, 망원부터 광각까지의 사이의 줌 인 혹은 줌 아웃 표시, 확대 표시, 축소 표시, 프레임 레이트의 가변 표시(고프레임 레이트나 저프레임 레이트에서의 촬상 등), 고휘도 표시, 저휘도 표시, 콘트라스트 가변 표시, 샤프니스 가변 표시, 촬상 감도 상승 상태의 표시, 적외선 촬상 감도 상승 상태의 표시, 자외선 촬상 감도 상승 상태의 표시, 특정 파장 대역을 커트한 화상의 표시 등도 가능하다.

또한 재생 기능계, 수신 기능계를 표시 화상 소스로 하는 경우에는, 고속 재생, 슬로우 재생, 코마 전송 재생 등의 변속 재생에 의한 화상 표시나, 표시 페이지의 절환, 스크롤 표시 등 퍼스널 컴퓨터 등에서의 표시와 마찬가지의 표시도 가능하다.

또한 표시 화상 처리부(12)의 처리에 의해, 모자이크 화상/휘도 반전 화상/소프트 포커스/화상 내의 일부의 강조 표시/화상 전체의 색의 분위기의 가변 등의 화상 이펙트 표시나 그 조합 등도 상정된다.

또한, 이들 각종 화상 표시를 조합한 분할 표시, 스루 상태와 촬상 화상(또는 재생 화상 또는 수신 화상)을 조합한 분할 표시, 촬상 화상(또는 재생 화상 또는 수신 화상)의 1프레임의 표시를 계속시키는 정지 화상 표시 등, 매우 다양한 표시 양태가 상정된다.

[4. 외계 정보의 검출]

전술한 바와 같이 본 예의 표시 장치(1)는, 외계 정보를 취득하기 위한 구성으로서 주위 환경 센서(19), 촬상 대상 센서(20), GPS 수신부(21), 일시 계수부(22), 화상 해석부(17), 및 통신부(26)를 갖는다.

주위 환경 센서(19)로서는, 조도 센서, 온도 센서, 습도 센서, 기압 센서 등이 상정된다.

조도 센서에 의해서는, 표시 장치(1)의 주위의 밝기의 정보를 검출할 수 있다.

또한 온도 센서, 습도 센서, 기압 센서에 의해서는, 온도, 습도, 기압 혹은 날씨를 판별하는 정보를 얻을 수 있다.

이들 주위 환경 센서(19)에 의해, 표시 장치(1)는 주위의 밝기나 옥외의 경우의 기상 상황 등을 판정할 수 있기 때문에, 시스템 컨트롤러(10)는, 이들을 외계 정보로서 이용하여, 주위의 밝기나 기상 상황에 적합한 표시 동작을 실행 제어할 수 있다.

도 3의 구성의 경우, 촬상 대상 센서(20)가 설치되어 촬상 대상에 대한 정보를 검지한다. 예를 들면 측거 센서나 초전 센서 등이 생각되는데, 촬상 대상과의 거리나, 촬상 대상 자체를 판정하는 정보를 얻을 수 있다.

촬상 대상까지의 거리를 검출함으로써, 시스템 컨트롤러(10)는, 거리에 따른 표시 동작을 실행 제어하거나, 촬상 대상이 사람 등의 생체인 것을 검지함으로써, 촬상 대상에 따른 표시 동작을 실행 제어할 수 있다.

GPS 수신부(21)는, 현재 위치로서의 위도ㆍ경도의 정보를 취득한다. 위도ㆍ경도를 검출한 경우, 지도 데이터베이스 등을 참조함으로써, 현재 위치에서의 지점(지점 근변)의 정보를 얻을 수 있다. 도 3, 도 4의 구성에서는 특별히 설명하고 있지 않지만, 예를 들면 시스템 컨트롤러(10)를 참조할 수 있는 기록 매체로서, 예를 들면 HDD(Hard Disk Drive)나 플래시 메모리 등으로서 비교적 대용량의 기록 매체를 탑재하고, 이들의 기록 매체에 지도 데이터베이스를 기억시킴으로써, 현재 위치에 관련된 정보를 취득할 수 있다.

또한 표시 장치(1)에 지도 데이터베이스를 내장하고 있지 않아도, 통신부(26)를 통하여 예를 들면 네트워크 서버나 지도 데이터베이스 내장 기기에 액세 스하고, 위도ㆍ경도를 송신하여 현재 위치에 따른 정보를 요구하고, 정보를 수신하도록 하여도 된다.

현재 위치에 관련된 정보로서는, 현재 위치 근변의 지명, 건조물명, 시설명, 점명, 역명 등의 명칭 정보가 있다.

또한 현재 위치에 관련된 정보로서는, 공원, 테마파크, 콘서트 홀, 극장, 영화관, 스포츠 시설 등, 건조물의 종별을 나타내는 정보도 있다.

또한 현재 위치에 관련된 정보로서는, 해안, 해상, 하천, 산간부, 산정상부, 삼림, 호, 평야부 등, 자연물의 종별이나 명칭의 정보도 있다.

또한, 보다 상세한 위치에 대한 정보로서, 예를 들면 테마파크 내에서의 에리어나, 야구장, 축구장 등에서의 관전석의 에리어, 콘서트 홀에서의 좌석의 에리어의 정보 등도 현재 위치에 대한 정보로서 취득할 수 있다.

이들, 현재 위치에 관한 정보를 취득함으로써, 시스템 컨트롤러(10)는, 현재 위치나 현재 지점의 근변의 지리적 조건이나 시설 등에 따른 표시 동작을 실행 제어할 수 있다.

일시 계수부(22)는 예를 들면 연월일 시분초를 계수한다. 이 일시 계수부(22)에 의해 시스템 컨트롤러(10)는, 현재 시각, 주야의 구별, 월, 계절 등을 인식할 수 있다. 이 때문에, 예를 들면 주야의 구별(시간)에 따른 표시 동작이나, 현재의 계절에 적합한 표시 동작 등을 실행 제어할 수 있다.

화상 해석부(17)에 따르면, 촬상 화상, 수신 화상, 재생 화상 등의, 입력된 화상 데이터로부터, 이하와 같은 각종 정보를 검출할 수 있다.

우선, 각 소스로부터 공급된 화상 데이터로서의 화상에 포함되어 있는 인물, 동물, 자연물, 건조물, 기기 등을 판별할 수 있다. 예를 들면 동물로서는, 화상 내에 새가 포함되어 있는 상황이나 고양이가 포함되어 있는 상황 등을 판별할 수 있다. 또한 자연물로서는, 해, 산, 수목, 하천, 호, 하늘, 태양, 달 등을 판별할 수 있다. 건조물로서는, 가옥, 빌딩, 경기장 등을 판별할 수 있다. 기기로서는, 퍼스널 컴퓨터, AV(Audio-Visual) 기기, 휴대 전화기, PDA, IC 카드, 이차원 바코드 등이 포함되어 있는 상황을 판별할 수 있다. 예를 들면 해석 대상이 촬상부(3)에서 촬상한 촬상 화상 데이터이거나, 외부의 촬상 장치(70)에서 촬상된 촬상 화상 데이터이었던 경우, 이들 특정한 대상이 촬상 대상으로 되어 있는 것을 판별할 수 있다.

이들 특정한 대상의 종별은, 미리 각 종별의 형상의 특징을 설정해 두고, 입력된 화상 데이터 내에, 형상이 해당하는 대상이 포함되어 있는지의 여부에 의해 판별 가능하다.

또한 화상 해석부(17)에 의한 화상 해석에 따르면, 화상의 전후 프레임의 차분 검출 등의 방법에 의해, 화상 내의 대상의 움직임의 검출, 예를 들면 신속한 움직임이 화상 내도 가능하다. 예를 들면 스포츠의 화상이나, 주행하고 있는 자동차등의 화상에 대하여, 움직임이 신속한 대상이 포함되어 있다고 하는 상황을 검지할 수 있다.

또한 촬상부(3)에서 촬상한 촬상 화상 데이터를 화상 해석부(17)에서 화상 해석하는 경우에서는, 주위의 상황을 판정하는 것도 가능하다. 예를 들면 주야나 날씨에 의한 밝기의 상황을 판정할 수 있고, 비의 강도 등도 인식 가능하다.

또한, 화상 해석부(17)에 의한 화상 해석에 따르면, 촬상 화상, 수신 화상, 재생 화상 등이 입력된 화상 데이터에서, 예를 들면 서적이나 신문 등이 포함되어 있거나, 문자의 화상이 포함되어 있는 것도 판별할 수 있다. 예를 들면 화상 내에서의 문자 인식을 행하는 것이나, 서적이나 신문 등의 형상의 인식을 행하면 된다.

또한 화상 해석부(17)에서 문자 인식을 행한 경우, 시스템 컨트롤러(10)는, 그 인식한 문자를 텍스트 데이터로서 음성 합성부(29)에 공급할 수 있다.

또한, 화상 해석부(17)에 의한 화상 해석에 따르면, 화상 데이터에 인물이 포함되어 있는 경우에, 그 인물의 얼굴로부터 인물 개인을 특정하는 판별도 가능하다. 이미 알려져 있는 바와 같이, 인물의 얼굴은, 얼굴의 구성 요소의 상대 위치 정보로서 개인 특징 데이터화할 수 있다. 예를 들면 눈의 중심과 코의 거리 EN과 눈의 간격의 거리 Ed의 비(Ed/EN)나, 눈의 중심과 입의 거리 EM과 눈의 간격의 거리 Ed의 비(Ed/EM)는, 개인마다 특유로 됨과 함께, 머리형이나 안경 등의 장착물 등에 의한, 외관 상의 변화의 영향을 받지 않는 정보이다. 또한 연령이 들어감에 의해서도 변화하지 않는 것이 알려져 있다.

따라서, 화상 해석부(17)는, 화상 데이터 내에 임의의 인물의 얼굴이 포함되어 있을 때에, 그 화상 데이터를 해석하면 상기한 바와 같은 개인 특징 데이터를 검출할 수 있다.

화상 데이터로부터 개인 특징 데이터를 검출한 경우, 예를 들면 시스템 컨트롤러(10)를 참조할 수 있는 기록 매체로서, 예를 들면 HDD(Hard Disk Drive)나 플 래시 메모리 등을 탑재하고, 이들의 기록 매체에 인물 데이터베이스를 기억시켜 두면, 화상 데이터에 포함되어 있는 개인의 정보를 취득할 수 있다. 혹은, 표시 장치(1)에 인물 데이터베이스를 내장하고 있지 않아도, 통신부(26)를 통하여 예를 들면 네트워크 서버나 인물 데이터베이스 내장 기기에 액세스하고, 개인 특징 데이터를 송신하여 정보를 요구하고, 특정한 인물의 정보를 수신하도록 하여도 된다.

예를 들면 유저 자신이, 과거에 만났던 인물의 성명이나 소속 등의 인물 정보를 개인 특징 데이터와 함께 인물 데이터베이스에 등록해 두면, 임의의 인물이 화상 데이터에 포함되어 있었을 때에, 시스템 컨트롤러(10)는, 그 인물의 정보를 검색할 수 있다.

또한, 유명인의 정보를 개인 특징 데이터와 함께 등록한 인물 데이터베이스가 준비되어 있으면, 유명인이 화상 데이터에 포함되어 있었을 때에, 그 인물의 정보를 검색할 수 있다.

통신부(26)에 따르면, 외계 정보로서, 다양한 정보를 취득할 수 있다.

예를 들면 전술한 바와 같이 표시 장치(1)로부터 송신한 위도ㆍ경도, 혹은 개인 특징 데이터 등에 따라서 외부 기기에 의해 검색된 정보를 취득할 수 있다.

또한 외부 기기로부터 날씨 정보, 기온 정보, 습도 정보 등 기상에 관한 정보를 취득할 수 있다.

또한 외부 기기로부터 시설의 이용 정보, 시설 내에서의 촬상 금지/허가 정보, 안내 정보 등을 취득할 수 있다.

또한 외부 기기 자체의 식별 정보를 취득할 수 있다. 예를 들면 소정의 통 신 프로토콜에서 네트워크 디바이스로서 식별되는 기기의 종별이나 기기 ID 등이다.

또한 외부 기기에 저장되어 있는 화상 데이터, 외부 기기에서 재생 혹은 표시하고 있는 화상 데이터, 외부 기기에서 수신하고 있는 화상 데이터 등을 취득할 수 있다.

이상, 주위 환경 센서(19), 촬상 대상 센서(20), GPS 수신부(21), 일시 계수부(22), 화상 해석부(17), 통신부(26)의 각각에서 취득할 수 있는 정보의 예를 들었지만, 이들 중의 복수의 계통에 의해 임의의 외계 정보에 대하여 검지 판별하여도 된다.

예를 들면 주위 환경 센서(19)에서 얻어진 습도 등의 정보와, 통신부(26)에서 수신된 날씨 정보를 조합하여, 보다 정확하게 현재의 날씨를 판별할 수도 있다.

또한 GPS 수신부(21)와 통신부(26)의 동작에 의해 취득한 현재 장소에 관한 정보와, 화상 해석부(17)에서 얻어지는 정보에 의해, 현재 위치나 촬상 대상의 상황을 보다 정확하게 판별할 수도 있다.

[5. 각종 동작예]

본 실시 형태의 표시 장치(1)는, 이상과 같이 주위 환경 센서(19), 촬상 대상 센서(20), GPS 수신부(21), 일시 계수부(22), 화상 해석부(17), 통신부(26)에서 취득할 수 있는 외계 정보에 따라서, 시스템 컨트롤러(10)가 표시 동작에 관한 제어를 함으로써, 표시부(2)에서, 상황에 따른 적확한 표시나 재미가 있는 표시를 실행하고, 이에 의해 유저에 다양한 화상을 제공할 수 있다.

이를 위한 시스템 컨트롤러(10)의 제어에 기초하는 각종 동작예를 설명해 간다.

도 13은, 시스템 컨트롤러(10)의 동작 제어 기능(10b)으로서의 제어 처리를 나타내고 있다.

스텝 F101은, 시스템 컨트롤러(10)가 표시 제어부(14)에 대하여 표시부(2)를 스루 상태로 하는 제어 처리를 나타내고 있다. 예를 들면 표시 장치(1)가 전원 온으로 된 초기 단계에서는, 시스템 컨트롤러(10)는 스텝 F101에서 표시부(2)를 스루 상태로 제어한다.

표시부(2)를 스루 상태로 하고 있는 기간은, 시스템 컨트롤러(10)는 스텝 F102에서 표시 개시 트리거가 발생하였는지의 여부를 확인하고 있다. 도 3, 도 4에서는 나타내고 있지 않지만, 예를 들면 유저가 조작할 수 있는 조작자를 설치하고, 유저가 소정의 조작자의 조작을 행함으로써 표시부(2)에서의 표시를 개시시키는 표시 개시 트리거의 발생이라고 판단하면 된다. 단, 후에 예를 설명하지만, 외계 정보에 따라서 표시 개시 트리거의 발생이라고 판단할 수도 있다.

표시 개시 트리거가 있었다고 판별한 경우에는, 시스템 컨트롤러(10)는 처리를 스텝 F103으로 진행시키고, 표시 개시 제어를 행한다. 즉 표시 제어부(14)에 지시하여, 표시 화상 처리부(12) 및 표시 구동부(13)에, 공급되는 데이터를 통상 촬상 화상의 양태로 표시부(2)에 표시시키는 동작을 실행시킨다.

표시 화상 처리부(12)에는, 화상 입출력 컨트롤부(27)를 통하여 화상 데이터가 공급되는데, 예를 들면 도 3 또는 도 4와 같이 복수의 화상 데이터 소스를 구비 하는 경우에는, 이 시점에서는, 촬상 기능계(촬상부(3), 촬상 신호 처리부(15)), 재생 기능계(스토리지부(25)), 수신 기능계(통신부(26))의 소스 중에서 디폴트 설정에 의해 선택되어 있는 소스로부터의 화상 데이터가, 표시 화상 처리부(12)에 공급되도록 하면 된다. 예를 들면 촬상 기능계를 디폴트 설정의 소스인 것으로 하면, 스텝 F103의 표시 개시 제어시에, 시스템 컨트롤러(10)는 촬상 제어부(11)에 촬상 개시를 지시하여 촬상부(3) 및 촬상 신호 처리부(15)의 통상 촬상 동작을 실행시키고, 그 촬상 신호로서의 화상 데이터를, 화상 입출력 컨트롤부(27)를 통하여 표시 화상 처리부(12)에 공급시킨다. 이 경우, 표시부(2)에서는 예를 들면 도 5의 (a)의 스루 상태로부터 예를 들면 도 5의 (b)의 통상 촬상 화상의 모니터 표시 상태로 절환되게 된다.

또한, 디폴트 설정의 소스가 스토리지부(25)이면, 표시 개시 제어시에 스토리지부(25)의 제어도 행하여, 콘텐츠의 재생이나 콘텐츠 선택 등의 메뉴 화면을 표시부(2)에 표시시켜도 되고, 디폴트 설정의 소스가 통신부(26)이면, 표시 개시 제어시에 통신부(26)의 동작의 제어도 행하여, 통신용의 화면이나, 외부 기기로부터의 수신 데이터에 의한 표시를 표시부(2)에 실행시켜도 된다.

물론, 소스가 1개인 구성의 경우에는, 그 소스로부터의 화상 데이터가 표시 화상 처리부(12)에 공급되도록 하면 된다.

나아가, 스텝 F103에서의 표시 개시 제어시에는, 화상 소스로부터의 화상 데이터는 공급시키지 않고, 초기 화면으로서 메뉴 화면이나 소스 선택 화면 등을 표시부(2)에 표시시키는 제어를 행하는 것도 생각된다.

또한, 이 도 13의 처리에서는 음성 출력부(5)로부터의 음성 출력 동작에 대해서는 특히 설명하지 않았지만, 표시부(2)에서 표시 동작이 실행될 때에는, 시스템 컨트롤러(10)는, 표시 화상과 동일한 소스로부터의 음성 데이터에 기초하는 음성 출력이 실행되도록 음성 입출력 컨트롤부(28) 및 음성 신호 처리부(16)를 제어하는 것으로 한다.

표시부(2)에서 임의의 소스로부터의 화상의 표시를 행하고 있는 기간은, 시스템 컨트롤러(10)는, 스텝 F104에서 표시 제어 트리거가 발생하였는지의 여부를 감시하고, 또한 스텝 F105에서 소스 절환 트리거가 발생하였는지의 여부를 감시하고, 또한 스텝 F106에서 표시 종료 트리거가 발생하였는지의 여부를 감시한다.

표시 제어 트리거의 발생이란, 외계 상황 판정 기능(10a)에 의해 판정된 외계의 상황에 의해, 표시 동작에서의 표시 화상 양태나 표시하는 화상 데이터에 관한 처리 등에 대한 변경을 행하면 시스템 컨트롤러(10) 자신이 판단하는 것을 의미하고 있다.

또한 소스 절환 트리거의 발생이란, 예를 들면 도 3, 도 4와 같이 표시 장치(1)에 복수의 소스가 설치되어 있는 경우에, 외계 상황 판정 기능(10a)에 의해 판정된 상황에 의해, 표시하는 화상 데이터의 소스의 절환을 행하면 시스템 컨트롤러(10) 자신이 판단하는 것을 의미하고 있다.

표시 제어 트리거, 소스 절환 트리거의 발생의 판단 방법이나 트리거에 따른 제어 내용에 대한 구체예는 후술한다.

표시 종료 트리거는, 표시부(2)에서의 표시를 종료하여 스루 상태에의 절환 을 행하는 트리거로서, 예를 들면 유저의 조작(소정의 조작에 의한 표시 종료의 조작)에 의해 표시 종료 트리거의 발생이라고 판단하면 되지만, 후에 예를 설명하는 바와 같이, 시스템 컨트롤러(10)가 외계 정보에 따라서 표시 종료 트리거 발생의 판단을 할 수도 있다.

표시 제어 트리거 발생이라고 판단한 경우에는, 시스템 컨트롤러(10)는 처리를 스텝 F104로부터 F107로 진행시키고, 화상의 표시 동작에 관한 제어를 행한다. 즉 표시 제어부(14)에 소정의 지시를 주고, 그 시점의 외계의 상황에 따라서 각종 양태의 표시를 표시부(2)에서 실행시킨다. 그 시점에서 선택되어 있는 소스에 따라서는, 시스템 컨트롤러(10)는 촬상 기능계의 제어, 스토리지부(25)에 대한 동작 제어, 통신부(26)에 대한 동작 제어를 행하는 경우도 있다.

스텝 F107에서 표시 동작 제어를 행한 후에도, 시스템 컨트롤러(10)는 스텝 F104, F105, F106의 트리거 발생의 감시를 행한다.

소스 절환 트리거 발생이라고 판단한 경우에는, 시스템 컨트롤러(10)는 처리를 스텝 F105로부터 F108로 진행시키고, 소스 절환 제어를 행한다. 이 경우, 절환 전후의 소스에 대한 동작 제어나, 새로운 소스로부터의 화상 데이터/음성 데이터가, 표시 화상 처리부(12)/음성 신호 처리부(16)에 공급되도록 화상 입출력 컨트롤부(27)/음성 입출력 컨트롤부(28)의 제어를 행한다.

이 소스 절환 제어에 의해, 예를 들면 표시부(2)는, 촬상부(3)에서 촬상된 화상이 표시되어 있던 상태로부터, 예를 들면 스토리지부(25)에서의 재생 화상이 표시되는 상태 등으로 절환되게 된다.

스텝 F108에서 소스 절환 제어를 행한 후에도, 시스템 컨트롤러(10)는 스텝 F104, F105, F106의 트리거 발생의 감시를 행한다.

표시 종료 트리거 발생이라고 판단한 경우에는, 시스템 컨트롤러(10)는 처리를 스텝 F106으로부터 F101로 되돌리고, 표시 제어부(14)에 대하여 표시부(2)를 스루로 하는 지시를 행한다. 또한 그 시점에서 선택되어 있었던 화상 소스에 대하여 화상 공급 동작의 종료를 지시한다.

유저가 표시 장치(1)를 장착하여 전원 온으로 하고 있는 기간은, 시스템 컨트롤러(10)의 동작 제어 기능(10b)은, 예를 들면 이 도 13과 같은 제어 처리를 행하게 된다.

그리고 이 처리에서는, 표시 개시 트리거의 판단에 의한 표시 개시 제어, 표시 제어 트리거의 판단에 의한 표시 양태 제어, 소스 절환 트리거의 판단에 의한 소스 절환 제어, 및 표시 종료 트리거의 판단에 의한 표시부(2)의 표시를 정지시켜 스루 상태로 하는 제어를 행하는데, 이들 트리거 판단과 제어 내용의 구체예에 대하여, 도 14 이후에서 설명해 간다.

도 14 내지 도 23은, 시스템 컨트롤러(10)의 외계 상황 판정 기능(10a)으로서의 처리예를 나타내고 있고, 이들은 동작 제어 기능(10b)에 의한 상기 도 13의 처리와 병렬적으로 실행되어 있는 것으로 한다. 또한 병렬적인 처리란, 예를 들면 시스템 컨트롤러(10)가 도 13의 처리를 실행하고 있는 기간 중에, 도 14∼도 23과 같은 검지 처리가 정기적으로 인터럽트 처리로서 행해지면 되는 것이다. 이들 도 13∼도 19와 같은 처리의 프로그램은, 도 13의 처리를 실행하는 프로그램에 삽입되 어 있어도 되고, 정기적으로 불러내어지는 다른 프로그램으로 되어도 된다. 즉 프로그램의 형태가 한정되는 것은 아니다.

도 14∼ 도 21은, 도 13의 스텝 F104로서의 표시 제어 트리거 발생의 판단에 관한 처리예인데, 우선 도 14에서는, 주위 환경 센서(19) 혹은 화상 해석부(17)로부터의 정보에 기초하여 표시 제어 트리거 발생이라고 판단하는 예를 나타낸다.

도 14의 스텝 F201은, 시스템 컨트롤러(10)가 주위 환경 센서(19)와 화상 해석부(17)의 한쪽 또는 양쪽의 정보를 감시하는 처리를 나타내고 있다. 여기에서는 주위 환경 센서(19)가 조도 센서이며, 또한 화상 해석부(17)는 촬상한 화상으로부터 주위의 밝기를 해석하는 처리를 행하고 있는 것으로 한다.

또한, 도 4의 구성예의 경우에는, 그 구성 상, 외부의 촬상 장치(70)가 근변에 있는 경우를 제외하고, 화상 해석부(17)는 근변의 촬상 화상 데이터의 해석을 행할 수 없기 때문에, 통상은 주위 환경 센서(19)의 체크만으로 된다.

시스템 컨트롤러(10)는 주위 환경 센서(19)와 화상 해석부(17)의 한쪽 또는 양쪽으로부터의 정보에 기초하여, 현재, 주위가 어두운 상황인지의 여부, 혹은 지나치게 밝은 상황인지의 여부를 판별한다. 예를 들면 검출 조도를 수치화하고, 검출 조도가 x룩스 이하이면 어두운 상황, 검출 조도가 y룩스 이상이면 지나치게 밝은 상황이라고 판단한다.

주위가 어두운 상황이라고 판단한 경우, 시스템 컨트롤러(10)는 처리를 스텝 F202로부터 F204로 진행시키고, 표시 제어 트리거 발생이라고 판별한다. 그리고 스텝 F205에서, 현재의 주위의 조도(어두움)에 따른 조정값을 산출한다. 예를 들 면 표시 휘도, 콘트라스트, 샤프니스 등의 조정값을 산출한다.

또한 시스템 컨트롤러(10)는, 주위가 지나치게 밝은 상황이라고 판단한 경우에도, 처리를 스텝 F203으로부터 F206으로 진행시키고, 표시 제어 트리거 발생이라고 판별한다. 그리고 스텝 F207에서, 현재의 주위의 조도에 따라서 표시 휘도, 콘트라스트, 샤프니스 등의 조정값을 산출한다.

이 스텝 F204, F205의 처리, 또는 스텝 F206, F207의 처리에 의해, 시스템 컨트롤러(10)의 도 13의 처리는 스텝 F104로부터 F107로 진행하게 되며, 이 경우에는 표시 화상 처리부(12)에 대하여 휘도 조정, 콘트라스트 조정, 샤프니스 조정 등의 처리를 지시한다.

이 처리에 의해, 표시부(2)에서의 표시 화상의 화질이 조정되고, 주위의 명암에 따른 조정 화상이 표시된다. 주위의 명암에 따른 조정이란, 예를 들면 도 9의 (b)와 같이 화면 분할로서 스루 혹은 통상 촬상 화상(즉 외계인 시계의 화상)과, 영상 콘텐츠의 촬상 화상 등을 표시하고 있을 때에, 영상 콘텐츠측의 화질을 조정하는 것이 생각된다. 예를 들면 화면 상에서 스루와 콘텐츠 화상의 밝기의 밸런스가 취해지도록 하고, 유저가 시각 상 잘 보이지 않게 느끼는 것을 해소하도록 하는 조정이다. 예를 들면 주위가 어둡고, 화면 상의 스루 상태의 영역이 어두운 경우에는, 그에 맞추어 영상 콘텐츠의 화질도 어둡게 하여 지나치게 눈부시지 않도록 하거나, 반대로 주위가 밝고 스루 상태의 영역의 휘도가 높은 경우에는, 영상 콘텐츠의 화질의 휘도 상승이나, 콘트라스트, 샤프니스를 강조시켜, 확실히 보이도록 하는 것이 생각된다. 또는, 스루로 되어 있는 영역의 투과율을 낮추도록 하여 도 된다.

또한, 분할 표시가 아니어도, 통신부(26)를 소스로 하는 수신 화상이나, 스토리지부(25)를 소스로 하는 재생 화상을 표시부(2)에서 표시하고 있는 경우에, 표시부(2)의 주위로부터의 외광의 영향에 의해, 화면 상의 표시가 영향을 받기 때문에, 주위의 밝기에 따라서 표시 휘도, 콘트라스트, 샤프니스 등을 조정하여, 유저에게 보기 쉬운 화상 표시를 제공하는 것이 바람직하다.

또한 촬상 기능계를 소스로 하여 촬상 화상의 표시를 표시부(2)에서 행하고 있는 경우에는, 주위가 어두우면, 표시 휘도, 콘트라스트, 샤프니스를 상승시켜, 유저가 표시부(2)에서의 표시 화상에 의해 주위를 시인하기 쉬운 상태로 한다. 예를 들면 주위가 어두워 표시부(2)의 표시 화상이 도 11의 (a)인 것과 같이 되어 있는 상황으로부터, 도 11의 (b)와 같은 보기 쉬운 상태로 하는 것이 생각된다.

또한, 이와 같이 주위가 어두운 상황이라고 판단한 경우에는, 시스템 컨트롤러(10)는 조명부(4)에 조명을 실행시키는 제어를 행하여도 된다.

또한, 촬상 기능계를 소스로 하여 표시부(2)의 표시를 행하고 있는 경우에 주위가 지나치게 밝은 상황이면, 이 경우, 유저가 눈부신 느낌을 받지 않도록 표시 휘도를 저하시킨다고 하는 처리가 생각된다.

도 15는, 주위 환경 센서(19) 혹은 통신부(26)로부터의 정보에 기초하여 표시 제어 트리거 발생이라고 판단하는 예이다.

도 15의 스텝 F301은, 시스템 컨트롤러(10)가 주위 환경 센서(19)로부터의 검출 정보와 통신부(26)에 의한 수신 정보 중 한쪽 또는 양쪽의 정보를 감시하는 처리를 나타내고 있다. 주위 환경 센서(19)로서는 온도 센서, 습도 센서, 기압 센서 등이 상정된다. 또한 통신부(26)에서는, 예를 들면 네트워크 서버 등으로부터 축차 기상 정보가 수신되는 것으로 한다.

시스템 컨트롤러(10)는, 예를 들면 주위 환경 센서(19)에서 얻어지는 기압, 습도, 기온으로부터 주위의 날씨 상황을 판별할 수 있다. 또한 통신부(26)에서 수신되는 기상 정보로도 날씨 상황을 판별할 수 있다. 또한, 네트워크 서버로부터 날씨 상황을 수신하기 위해서는, 시스템 컨트롤러(10)는 축차 GPS 수신부(21)에서 얻어지는 현재 위치 정보를 네트워크 서버에 대하여 송신하도록 하고, 그 현재 위치에 해당하는 지역의 기상 정보를 네트워크 서버로부터 수신하도록 하면 된다.

주위 환경 센서(19)의 검출 정보, 또는 통신부(26)의 수신 정보에 의해, 시스템 컨트롤러(10)는 주위의 날씨 상황을 판단할 수 있지만, 이 양쪽의 정보를 이용하면, 보다 정확하게 날씨 상황을 판단할 수 있는 것으로도 된다.

시스템 컨트롤러(10)는 예를 들면 청천, 운천, 우천, 뇌우, 태풍, 강설 등의 상황이나, 비가 내리기 시작함, 비가 그침, 운천으로 됨 등 날씨 상황의 변화에 따라서, 화상 조정이 필요한지의 여부를 판단한다. 그리고 조정이 필요한 상황이라고 판단하면, 시스템 컨트롤러(10)는 처리를 스텝 F302로부터 F303으로 진행시켜, 표시 제어 트리거 발생이라고 판별하고, 스텝 F304에서, 현재의 날씨에 따른 조정값을 산출한다. 예를 들면 표시 휘도, 콘트라스트, 샤프니스, 색 처리 등의 조정값을 구한다.

이 스텝 F303, F304의 처리에 의해, 시스템 컨트롤러(10)의 도 13의 처리는 스텝 F104로부터 F107로 진행하게 되고, 이 경우에는 표시 화상 처리부(12)에 대하여 휘도 조정, 콘트라스트 조정, 샤프니스 조정, 색 처리 등의 처리를 지시한다. 이 처리에 의해, 표시부(2)에서의 표시 화상의 화질이 날씨 상황에 따른 화질로 조정된다.

날씨 상황에 따른 화질이란, 날씨에 의한 주위의 밝기에 따라서, 유저가 표시부(2)에서의 표시 화상을 보기 쉽게 느끼는 화질로 하는 것이 생각된다.

또한 날씨의 이미지에 맞춘 분위기의 화질로 하는 것도 생각된다. 예를 들면 강설시에, 청색을 강조하여 주위의 기온의 이미지에 맞춘 화상을 표시시키거나, 반대로 적색을 강조하여, 추위에 반하여 따뜻함을 느끼게 하는 화질로 하는 등이다.

또한, 도 3의 구성으로 촬상 화상을 표시부(2)에서 표시시키고 있는 경우에는, 날씨에 따라서는, 시스템 컨트롤러(10)는 조명부(4)에 조명을 실행시키는 제어를 행하여도 된다.

또한, 여기에서는 주위 환경 센서(19) 또는 통신부(26)의 수신 정보에 의해 날씨 판단을 행하는 것으로 하였지만, 화상 해석부(17)에서 비의 화상을 인식함으로써, 비가 내리기 시작한 것이나 비가 그친 것, 천둥이 발생한 것 등도 정확하게 검지할 수 있게 된다.

다음으로 도 16에 의해, 이것도 주위 환경 센서(19)로부터의 정보에 기초하여 표시 제어 트리거 발생이라고 판단하는 예를 나타낸다.

도 16의 스텝 F401은, 시스템 컨트롤러(10)가 주위 환경 센서(19)의 정보를 감시하는 처리를 나타내고 있다. 여기에서는 주위 환경 센서(19)가 온도 센서, 습도 센서인 것으로 한다.

시스템 컨트롤러(10)는 주위 환경 센서(19)의 검출 정보에 기초하여, 현재의 주위의 온도 상황, 습도 상황을 검지하고, 예를 들면 고온 고습한 상황인지, 또한 저온 상황인지를 판별한다.

고온 고습으로 유저가 불쾌감을 느끼는 듯한 상황이라고 판단하면, 시스템 컨트롤러(10)는 처리를 스텝 F402로부터 F404로 진행시키고, 표시 제어 트리거 발생이라고 판별한다. 그리고 스텝 F405에서, 예를 들면 샤프니스, 색 처리, 화상 이펙트 등의 조정값을 구한다.

또한, 주위가 저온이고 유저가 추위를 느끼는 상황이라고 판단하면, 시스템 컨트롤러(10)는 처리를 스텝 F403으로부터 F406으로 진행시키고, 표시 제어 트리거 발생이라고 판별한다. 그리고 스텝 F407에서, 예를 들면 샤프니스, 색 처리, 화상 이펙트 등의 조정값을 구한다.

이 스텝 F404, F405의 처리, 또는 스텝 F406, F407의 처리에 의해, 시스템 컨트롤러(10)의 도 13의 처리는 스텝 F104로부터 F107로 진행하게 되고, 시스템 컨트롤러(10)는 표시 화상 처리부(12)에 지시하여, 표시 휘도, 콘트라스트, 샤프니스, 색 처리, 화상 이펙트 등의 화상 데이터의 조정을 지시한다.

이 처리에 의해, 촬상 화상, 또는 재생 화상, 또는 수신 화상의 표시를 행하는 경우에, 예를 들면 고온 고습의 상황이면, 청 계통의 시원한 색조의 화상으로 하거나, 저온 상황이면, 적 계통의 색조나 소프트 포커스 등의 처리에 의해, 따뜻 함이 있는 화상으로 하는 등이다.

또한, 이 예에서는 「고온 고습」과 「저온」이라는 상황을 판단하였지만, 「저습」이라는 상황을 판단에 추가하여도 된다. 예를 들면 주위의 상황에 대하여「고온 고습」과 「저온 저습」에 대하여 판별하여 각 경우에 따른 화상 제어를 행하거나, 「고온 고습」「고온 저습」「저온 고습」「저온 저습」이라는 4가지의 상황을 판별하여, 각 경우에 따른 화상 제어를 행하여도 된다.

도 17은, 일시 계수부(22)에 의한 현재 시각의 정보에 기초하여 표시 제어 트리거 발생이라고 판단하는 예이다.

도 17의 스텝 F501은, 시스템 컨트롤러(10)가 일시 계수부(22)에서 계수되어 있는 현재 일시 시각을 체크하는 처리를 나타내고 있다. 시스템 컨트롤러(10)는, 현재 시각에 기초하여, 시간대를 판단한다. 예를 들면 조조, 아침, 한낮, 저녁, 야간이라는 시간대를 판별한다. 예를 들면 4시∼7시를 조조, 7시∼9시를 아침, 9시∼17시를 한낮, 17시∼19시를 저녁, 19시∼4시를 야간 등으로 한다.

또한, 이 시간대마다의 시각의 단락의 기준은, 월일의 판단에 의해 변경하면 된다. 예를 들면 월일에 의해 해돋이 시간, 일몰 시간의 차이를 고려하여, 상기 각 시간대로서의 판단 시각을 변화시킨다. 예를 들면 조조로 하는 시간대를 하기는 4시∼7시, 동기는 6시∼8시로 하는 등이다.

스텝 F501에서의 일시 체크에 의해 판별되는 시간대로서, 시간대의 변화가 있었다고 판단한 경우에는, 시스템 컨트롤러(10)는 처리를 스텝 F502로부터 F503 이후로 진행시킨다.

예를 들면 조조로 되는 시각으로 된 시점에서는, 스텝 F503으로부터 F507로 진행시키고, 조조용의 표시 동작의 표시 제어 트리거의 발생이라고 판별한다.

또한 아침으로 되는 시각으로 되었을 때에는, 스텝 F504로부터 F508로 진행시키고, 아침용의 표시 동작의 표시 제어 트리거의 발생이라고 판별한다.

또한 한낮으로 되는 시각으로 되었을 때에는, 스텝 F505로부터 F509로 진행시키고, 한낮용의 표시 동작의 표시 제어 트리거의 발생이라고 판별한다.

또한 저녁으로 되는 시각으로 되었을 때에는, 스텝 F506으로부터 F510으로 진행시키고, 저녁용의 표시 동작의 표시 제어 트리거의 발생이라고 판별한다.

또한 야간으로 되는 시각으로 되었을 때에는, 스텝 F511로 진행시키고, 야간용의 표시 동작의 표시 제어 트리거의 발생이라고 판별한다.

스텝 F507, F508, F509, F510, F511 중 어느 하나에서 표시 제어 트리거의 발생이라고 판단된 경우에는, 시스템 컨트롤러(10)의 도 13의 처리는 스텝 F104로부터 F107로 진행하게 되고, 표시 제어부(14)에, 시간대에 따른 표시 동작의 지시를 행한다. 예를 들면 표시 휘도 조정, 콘트라스트 조정, 샤프니스 조정, 색 조정 등의 처리를 지시한다. 혹은 소프트 포커스 표시 등의 화상 이펙트를 지시하여도 된다.

이 처리에 의해, 촬상 화상, 또는 재생 화상, 또는 수신 화상으로서, 시간대에 따른 이미지의 화상이 유저에 제공된다. 예를 들면 조조에는 부드러운 화질의 화상, 한낮은 콘트라스트가 강한 명확한 화상, 저녁은 세피아색과 같은 화질의 화상, 야간은 수수한 화질의 화상 등이다. 이와 같이 시간대마다의 유저의 기분에 맞춘 재미가 있는 화상 제공을 실현할 수 있다.

물론, 시간대마다의 밝기에 따라서 화질을 조정하고, 시인성을 향상시킨다고 하는 화질 조정도 생각된다.

또한, 시간대와 함께, 날씨 상황, 옥내/옥외의 구별을 판단하여, 상황에 바람직한 화질 조정을 행하는 것도 생각된다.

또한, 시간대가 아니라 일시 정보로부터 계절을 판단하여, 계절에 따른 화질 조정을 행하는 것도 생각된다. 예를 들면 표시 화상에서, 여름은 청색 성분을 강조시키고, 가을은 적색 성분을 강조시키고, 겨울은 백색 성분을 강조시키고, 봄은 녹/핑크 계통을 강조시키는 등으로 하여, 계절감이 있는 화상 제공을 행하는 것 등이다.

도 18은 GPS 수신부(21) 및 통신부(26)의 수신 정보에 기초하여 표시 제어 트리거 발생이라고 판단하는 예이다.

도 18의 스텝 F601은, 시스템 컨트롤러(10)가 GPS 수신부(21)에서 얻어지는 현재 위치의 위도ㆍ경도의 정보를 통신부(26)로부터 네트워크 서버 혹은 지도 데이터베이스 탑재 기기에 송신하고, 송신처에서 현재 지점의 정보를 검색하게 하고, 그 현재 지점의 정보를 수신하는 동작을 나타내고 있다. 또한 표시 장치(1) 내에 지도 데이터베이스가 유지되어 있으면, 시스템 컨트롤러(10)는, GPS 수신부(21)로부터의 위도ㆍ경도에 기초하여, 지도 데이터베이스로부터 현재 지점의 정보를 검색할 수 있다.

시스템 컨트롤러(10)는, 취득한 현재 지점의 정보에 기초하여, 현재, 소정의 표시 제어를 실행하는 장소에 있는지의 여부를 판별한다. 그리고 현재 위치가 소정의 표시 제어를 실행하는 장소라고 판단하면, 스텝 F602로부터 F603으로 진행시키고, 상기 소정의 표시 제어를 실행할 표시 제어 트리거 발생이라고 판단한다.

이 스텝 F603에서 표시 제어 트리거의 발생이라고 판단됨으로써, 시스템 컨트롤러(10)의 도 13의 처리는 스텝 F104로부터 F107로 진행하게 되고, 표시 제어부(14)에 대하여 소정의 화상 처리의 지시를 행한다.

이 경우의 표시 제어로서는, 다음과 같은 예가 생각된다.

예를 들면 현재 위치로서의 지구에 대하여, 해안, 산, 도시부, 농촌부 등을 판별하는 것에 따라서, 그들의 이미지에 따른 화질의 표시를 행하는 것이 생각된다.

또한, 취득된 현재 지점의 정보에 기초하여, 지명, 촬상하고 있는 시설ㆍ점포 등의 명칭 등을 캐릭터 화상이나 문자로 중첩 표시시키거나, 선전 정보, 시설의 안내 정보, 주변의 주의 정보 등을 표시부(2)에 표시시키도록 제어하는 것도 생각된다.

또한, 옥내/옥외의 판별에 의해, 표시 휘도 등을 조정하는 것도 생각된다.

또한, 도 7의 (c)와 같이 버드 뷰 화상을 표시하고 있는 경우이면, 현재 위치의 변화에 따라서 통신부(26)를 통하여 화상을 취득하고, 화상을 절환해 가는 것이 생각된다.

도 19의 (a)는, 화상 해석부(17)로부터의 정보에 기초하여 표시 제어 트리거 발생이라고 판단하는 예이지만, 이것은 특히 화상 데이터가 신문, 서적 등의 화상 이거나, 도 6의 (c)와 같은 전자 서적의 화상 데이터인 것 등에 의해, 문자를 포함하는 것인지의 여부를 판별하는 예이다.

도 19의 (a)의 스텝 F701은, 시스템 컨트롤러(10)가 화상 해석부(17)로부터의 정보를 감시하는 처리를 나타내고 있다. 화상 해석부(17)는 화상 해석에 의해, 화상 데이터에 문자가 포함되어 있는지의 여부를 검출하는 것으로 한다.

시스템 컨트롤러(10)는, 화상 처리부(17)의 해석 결과의 정보에 기초하여, 화상 데이터에 문자가 포함되어 있는지의 여부를 판별한다.

문자를 포함하고 있다고 판단된 경우, 시스템 컨트롤러(10)는 처리를 스텝 F702로부터 F703으로 진행시키고, 표시 제어 트리거 발생이라고 판별한다.

그리고, 스텝 F704에서, 문자 화상을 읽는 경우에 적합한 조정값을 산출한다. 예를 들면 표시 휘도, 콘트라스트, 샤프니스 등의 조정값으로서, 유저가 표시 화면 상에서 문자를 쾌적하게 읽을 수 있는 조정값을 구한다.

이 스텝 F703, F704의 처리에 의해, 시스템 컨트롤러(10)의 도 13의 처리는 스텝 F104로부터 F107로 진행하게 되고, 이 경우에는 표시 화상 처리부(12)에 대하여 휘도 조정, 콘트라스트 조정, 샤프니스 조정 등의 처리를 지시한다. 이 처리에 의해, 표시부(2)에서의 표시 화상의 화질이 조정되고, 예를 들면 도 6의 (c)와 같은 화상에서 문자를 읽기 쉬운 상태로 할 수 있다.

또한, 문자를 포함하는 것의 검출 외에, 주위의 밝기도 검출하고, 주위의 밝기를 상기 조정값의 산출에 반영시켜도 된다.

또한, 화질 조정이 아니라, 예를 들면 표시 화상 처리부(12)에 확대 처리를 실행시켜 확대 화상을 표시시키고, 유저에게 문자를 읽기 쉬운 화상을 제공하는 것도 생각된다.

또한, 촬상 기능계를 소스로 하여 촬상 화상을 표시부(2)에서 표시시키고 있는 경우에는, 화상 해석시에 서적이나 신문의 형상을 인식하는 것을, 스텝 F703으로 진행하는 조건에 추가하여도 된다. 또한 그 경우에, 촬상 대상이 신문 등이라고 판단한 경우에는, 시스템 컨트롤러(10)는 조명부(4)에 조명을 실행시키는 제어를 행하여도 된다.

또한, 문자를 포함하는 화상인 경우에, 화상 해석부(17)는 문자를 판별하고, 문자를 텍스트 데이터로서 시스템 컨트롤러(10)에 공급하여도 된다. 이 경우, 시스템 컨트롤러(10)는 화상으로부터 검출된 텍스트 데이터에 기초하여 음성 합성부(29)에 음성 합성 처리를 실행시킨다.

그러면 음성 합성부(29)에서는, 화상 데이터에 포함되는 문자의 읽어내기 음성으로서의 음성 신호가 생성된다. 시스템 컨트롤러(10)는, 이 읽어내기 음성을 음성 출력부(5)로부터 출력시킨다. 이와 같이 하면, 유저는 문자를 포함하는 화상을 표시부(2)에서 볼 때, 그 읽어내기 음성을 들을 수 있게 된다.

도 19의 (b)도, 화상 해석부(17)로부터의 정보에 기초하여 표시 제어 트리거 발생이라고 판단하는 예이지만, 이것은 임의의 소스로부터의 화상 데이터의 보기 쉬움을 개선하는 예이다.

도 19의 (b)의 스텝 F710은, 시스템 컨트롤러(10)가 화상 해석부(17)로부터의 정보를 감시하는 처리를 나타내고 있다. 화상 해석부(17)는 화상 데이터의 해 석에 의해, 그 화상이 적절한 휘도 상태인지의 여부나, 선명도가 적절한 것인지의 여부를 판별한다.

저휘도의 화상, 혹은 선명도가 낮은 화상이라고 판단된 경우, 시스템 컨트롤러(10)는 처리를 스텝 F711로부터 F712로 진행시키고, 표시 제어 트리거 발생이라고 판별한다.

그리고 스텝 F713에서, 보기 쉬움을 개선하기 위한 조정값을 산출한다. 예를 들면 표시 휘도, 콘트라스트, 샤프니스 등의 조정값으로서, 유저가 표시 화면 상에서 화상을 쾌적하게 볼 수 있는 조정값을 구한다.

이 스텝 F712, F713의 처리에 의해, 시스템 컨트롤러(10)의 도 13의 처리는 스텝 F104로부터 F107로 진행하게 되고, 이 경우에는 표시 화상 처리부(12)에 대하여 휘도 조정, 콘트라스트 조정, 샤프니스 조정 등의 처리를 지시한다. 이 처리에 의해, 표시부(2)에서의 표시 화상의 화질이 조정되고, 보기 쉬운 화상을 유저에 제공할 수 있다.

도 20의 (a)도 화상 해석부(17)로부터의 정보에 기초하여 표시 제어 트리거 발생이라고 판단하는 예이다.

도 20의 (a)의 스텝 F801은, 시스템 컨트롤러(10)가 화상 해석부(17)로부터의 정보를 감시하는 처리를 나타내고 있다. 화상 해석부(17)는 촬상 화상의 해석에 의해, 화상 데이터에 특정한 대상이 포함되어 있는지의 여부를 검출하는 것으로 한다.

화상 해석 결과로서, 특정한 대상이 촬상되어 있다고 검출된 경우에는, 시스 템 컨트롤러(10)는 스텝 F802로부터 F803으로 진행하여 표시 제어 트리거의 발생이라고 판단한다.

이 스텝 F803에서 표시 제어 트리거의 발생이라고 판단됨으로써, 시스템 컨트롤러(10)의 도 13의 처리는 스텝 F104로부터 F107로 진행하게 되고, 표시 제어부(14)에 대하여 소정의 화상 처리의 지시를 행한다.

이 경우의 화상 처리 제어로서는, 다음과 같은 예가 생각된다.

예를 들면 특정한 대상을 '새'로 한 경우, 화상 데이터 내에서 새가 검출됨으로써, 도 12의 (c)와 같이 화상 내의 새의 부분의 하이라이트 표시를 실행시키도록 표시 화상 처리부(12)의 동작을 지시하는 것이 생각된다. 이에 의해, 촬상 화상, 수신 화상, 재생 화상에서 유저가 새를 찾아내기 쉬운 표시를 행할 수 있다. 물론, 새 이외의 동물이어도 마찬가지이다.

또한 특정한 대상을 인물로 한 경우, 화상 데이터 내에서 인물이 검출됨으로써, 화상 내의 인물의 부분을 하이라이트 표시 등으로 강조시키거나, 확대 표시 등을 실행시키도록 표시 화상 처리부(12)의 동작을 지시하는 것이 생각된다.

또한 인물이나 동물, 혹은 건조물 등의 특정한 대상에서, 그 특정한 대상만이 표시되고, 인물 등의 특정한 대상의 주위의 광경은 모두 칠해지도록 화상을 표시시키도록 하여도 된다.

반대로, 특정한 대상으로서 인물을 검지하면, 그 인물만이 화상 내에서 지워지도록 하는 화상 처리를 실행시키는 것도 생각된다. 예를 들면 자연 풍경 내에서 인물이나 차 등의 인공적인 것을 배제(마스킹)한 화상을 표시시키는 것 등이다. 이 경우, 마스킹하고자 하는 특정 대상의 주위의 화소로부터의 보간 처리에 의해, 특정 대상의 화소 부분을 매립하도록 하는 처리를 행하여도 된다.

또한 인물 등의 특정 대상에 대해서는 모자이크 표시 등의 화상 이펙트를 가하는 것도 생각된다.

도 20의 (b)도 화상 해석부(17)로부터의 정보에 기초하여 표시 제어 트리거 발생이라고 판단하는 예이다.

도 20의 (b)의 스텝 F810은, 시스템 컨트롤러(10)가 화상 해석부(17)로부터의 정보를 감시하는 처리를 나타내고 있다. 화상 해석부(17)는 촬상 화상의 해석에 의해, 화상 데이터에서 신속한 움직임이 발생하고 있는지의 여부를 검출한다. 예를 들면 동화상 데이터의 각 프레임에서의 차분으로부터 움직임의 신속함을 판정한다.

화상 해석 결과로서, 신속한 움직임의 대상이 검출된 경우에는, 시스템 컨트롤러(10)는 스텝 F811로부터 F812로 진행하고, 표시 제어 트리거의 발생이라고 판단한다.

이 스텝 F812에서 표시 제어 트리거의 발생이라고 판단됨으로써, 시스템 컨트롤러(10)의 도 13의 처리는 스텝 F104로부터 F107로 진행하게 되고, 표시 제어부(14)에 대하여 화상 처리의 지시를 행한다.

예를 들면 유저가 신속한 움직임을 확인하기 쉽도록, 도 9의 (c)와 같은 스트로보 표시를 실행시키도록 화상 처리의 지시를 행하는 것이 생각된다.

혹은, 움직임이 빠른 대상의 부분을 하이라이트 표시나 확대 표시 등으로 하 도록 하여, 유저에게 주목시키도록 하는 화상 처리를 지시하는 것도 생각된다.

또한 스토리지부(25)를 소스로 하는 재생 화상 데이터이면, 시스템 컨트롤러(10)는 스토리지부(25)에 슬로우 재생을 지시하여 신속한 움직임을 슬로우로 보이도록 하는 제어도 생각된다.

도 21의 (a)도 화상 해석부(17)로부터의 정보에 기초하여 표시 제어 트리거 발생이라고 판단하는 예이다. 이것은 특히, 인물이 촬상되었을 때에, 그 인물의 개인 판별을 행하는 예이다.

도 21의 (a)의 스텝 F901은, 시스템 컨트롤러(10)가 화상 해석부(17)로부터의 정보를 감시하는 처리를 나타내고 있다. 화상 해석부(17)는 촬상 화상의 해석에 의해, 화상 데이터에서 인물의 얼굴이 포함되어 있는지를 판별하고, 또한 인물이 얼굴이 포함되어 있었던 경우, 그 얼굴의 화상으로부터 개인 특징 데이터를 생성한다. 개인 특징 데이터란, 예를 들면 전술한 바와 같이 눈의 중심과 코의 거리 EN과 눈의 간격의 거리 Ed의 비(Ed/EN)나, 눈의 중심과 입의 거리 EM과 눈의 간격의 거리 Ed의 비(Ed/EM)이다.

개인 특징 데이터가 추출된 경우, 시스템 컨트롤러(10)는 스텝 F902로부터 F903으로 진행하고, 개인 특징 데이터에 기초하여 인물 정보를 검색한다.

예를 들면 시스템 컨트롤러(10)는 개인 특징 데이터를 통신부(26)로부터 네트워크 서버 혹은 인물 데이터베이스 탑재 기기에 송신하고, 송신처에서 인물 정보를 검색하게 하고, 그 검색 결과를 수신한다. 혹은 표시 장치(1) 내에 인물 데이터베이스가 유지되어 있으면, 시스템 컨트롤러(10)는, 개인 특징 데이터에 기초하 여 인물 데이터베이스를 검색할 수 있다.

외부 장치 혹은 시스템 컨트롤러(10) 자신에 의한 검색 결과로서, 특정한 인물의 인물 정보를 검색할 수 있으면, 처리를 스텝 F904로부터 F905로 진행시키고, 인물 정보 표시의 표시 제어 트리거의 발생이라고 판단한다.

이 스텝 F905에서 표시 제어 트리거의 발생이라고 판단됨으로써, 시스템 컨트롤러(10)의 도 13의 처리는 스텝 F104로부터 F107로 진행하게 되고, 표시 제어부(14)에 대하여, 예를 들면 검색된 인물 정보를 중첩 표시시키도록 지시한다.

이 처리에 따르면, 촬상 화상, 재생 화상, 수신 화상을 표시시키고 있는 경우에, 이들 화상 내에 유저가 과거에 만났던 사람, 혹은 유명인 등에서, 인물 데이터베이스에 등록되어 있는 사람이 있던 경우에, 표시부(2)에는 그 인물의 화상과 함께 정보(성명이나 소속, 과거에 만났던 장소 등, 인물 데이터베이스에 등록되어 있던 정보)가 표시되게 되어, 유저는 인물을 정확하게 인식할 수 있다.

도 21의 (b)도 화상 해석부(17)로부터의 정보에 기초하여 표시 제어 트리거 발생이라고 판단하는 예이다. 이것은 도 12의 (a)와 같이 양지, 음지의 영향에 의해 화상이 보기 어렵게 되어 있는 경우에 대응하는 처리예이다.

도 21의 (b)의 스텝 F910은, 시스템 컨트롤러(10)가 화상 해석부(17)로부터의 정보를 감시하는 처리를 나타내고 있다. 화상 해석부(17)는 화상 데이터의 해석에 의해, 화상 내에서, 일조 상황에 의해 밝은 영역, 어두운 영역이 발생하고 있는지의 여부를 검출한다.

촬상 화상, 재생 화상, 수신 화상을 표시시키고 있는 경우에, 이들 화상 데 이터의 화상 해석 결과로서, 화상 상에 양지/음지에 의한 차가 생기고 있다고 판별된 경우에는, 시스템 컨트롤러(10)는 스텝 F911로부터 F912로 진행하고, 표시 제어 트리거의 발생이라고 판단한다.

이 스텝 F912에서 표시 제어 트리거의 발생이라고 판단됨으로써, 시스템 컨트롤러(10)의 도 13의 처리는 스텝 F104로부터 F107로 진행하게 되고, 표시 제어부(14)에 대하여 양지/음지의 차를 해소하도록 하는 화상 처리, 예를 들면 부분적인 표시 휘도 레벨의 변경을 지시한다. 이에 의해, 예를 들면 도 12의 (b)와 같이 양지/음지의 영향이 적은, 보기 쉬운 화상을 유저에 제공할 수 있다.

또한, 일조에 의한 영향이 아니라, 가옥이나 시설 내에서의 조명 등의 영향에 의해 부분적인 명암의 차가 크게 생기고 있는 경우나, 화상이 부분적으로 선명하게 되는 경우에, 화면 내의 부분적인 휘도 조정, 촬상 감도 조정, 콘트라스트 조정 등을 실행시키는 것도 상정된다.

여기까지의 도 14∼도 21의 처리로서, 촬상 화상, 재생 화상, 수신 화상의 표시시에, 외계 정보에 따라서, 표시하는 화상의 표시 양태, 혹은 표시하는 화상 데이터의 처리를 행하는 예를 들었지만, 이들은 일례에 지나지 않으며, 그 외에도 표시 제어 트리거의 판별 및 제어예로서 매우 다양한 예가 생각된다.

표시 제어 트리거로서는, 주위 환경 센서(19), 촬상 대상 센서(20), GPS 수신부(21), 일시 계수부(22), 화상 해석부(17), 통신부(26)로부터의 각 정보로부터 외계의 상황을 검지하고, 소정의 조건이 충족된 경우에 트리거 발생이라고 판단하면 된다.

그리고 다양한 조건에서 표시 제어 트리거 발생이라고 판단한 경우의 제어예로서, 표시 화상 처리부(12)에 대한 제어로서는, 확대/축소의 제어, 휘도, 콘트라스트, 샤프니스 등의 조정 제어, 모자이크 화상/휘도 반전 화상/소프트 포커스 등의 화상 이펙트 표시, 나아가 도 9와 같은 화면 분할이나 스트로보 표시 등의 제어를, 외계의 상황에 따라서 실행할 수 있다.

또한 스루 상태와 화상(재생 화상, 수신 화상, 촬상 화상)을 합성하는 표시 양태도 생각된다. 예를 들면 표시부(2)를 반 스루 상태로 하여 50% 정도의 투과율로 하고, 그 상태에서 화상을 표시시키는 예이다.

또한 촬상 기능계를 소스로 하여 촬상 화상을 표시부(2)에 표시하고 있는 경우에는, 촬상부(3), 촬상 신호 처리부(15)의 동작 제어로서, 망원/광각의 줌 처리, 촬상 감도의 제어, 촬상 프레임 레이트의 절환, 적외선 촬상 감도나 자외선 촬상 감도의 변경 제어 등을 행하는 것이 생각된다.

또한 스토리지부(25)에서의 재생 화상이나 통신부(26)에서의 수신 화상을 표시부(2)에 표시하고 있는 경우에는, 표시 제어 트리거를, 앞으로 감기/되감기, 첫머리 탐색, 코마 전송, 슬로우, 일시 정지 등의 변속 재생 제어를 행하거나, 페이지 넘기기, 페이지 스크롤, 일람 표시 상에서의 선택 부분의 넘기기, 커서 이동, 결정 조작, 게임 조작 등의 트리거로서 취급하여, 스토리지부(25)나 통신부(26)에 주어진 동작을 실행시키도록 제어하는 것이 상정된다.

즉, 표시 제어 트리거의 발생 판단의 조건과, 그에 따른 제어 내용으로서는, 이들 중에서의 모든 조합이 생각된다.

또한, 이상과 같이 표시 제어 트리거에 따라서 표시부(2)의 표시를 절환할 때에는, 도 9의 (b)와 같이 표시부(2)의 화면 상에서 스루 상태 혹은 통상 촬상 화상의 영역 AR1을 남기고, 일부의 영역 AR2에서, 서로 다른 양태의 화상의 표시를 행하도록 하여도 된다. 물론 반대로 넓은 영역 AR1에서, 표시 제어 트리거에 따른 화상을 표시하여도 되고, 화면 상을 등분할하여, 통상 촬상 화상과, 표시 제어 트리거에 따른 화상을 표시하여도 된다.

다음으로, 도 22, 도 23에 의해 도 13의 스텝 F105의 소스 절환 트리거의 발생 판단의 예를 설명한다.

도 22의 (a)는 화상 해석부(17)의 해석 결과에 의해 소스 절환 트리거의 발생 판단을 행하는 예이다.

도 22의 스텝 F1001은, 시스템 컨트롤러(10)가 화상 해석부(17)로부터의 정보를 감시하는 처리를 나타내고 있다. 또한, 이것은 도 3과 같이 촬상 기능계를 갖는 구성예로서, 화상 해석부(17)는 촬상부(3)에서 촬상한 촬상 화상 데이터에 대하여 해석을 행하고 있는 것으로 하고, 촬상부(3)의 피사체에 통신 대상으로 되는 전자 기기가 포함되어 있는지의 여부를 검출하는 것으로 한다. 예를 들면 퍼스널 컴퓨터, 휴대 전화기, AV 기기, PDA 등, 데이터 통신을 실행할 수 있는 가능성이 있는 기기를 외관으로 판별한다.

화상 해석 결과로서, 전자 기기가 촬상되어 있다고 검출된 경우에는, 시스템 컨트롤러(10)는 스텝 F1002로부터 F1003으로 진행하고, 통신부(26)에 지시하여, 전자 기기에 대하여 통신 확립 요구를 송신시킨다. 만약, 촬상된 전자 기기가, 본 예의 표시 장치(1)와 통신 가능한 기기이면, 통신 확립 요구에 대한 레스펀스가 얻어지고, 통신 상태가 확립된다. 이와 같이 하여 외부의 전자 기기가 통신 가능한 대응 기기인 것이 판별된 경우, 시스템 컨트롤러(10)는 스텝 F1004로부터 F1005로 진행하고, 통신부(26)를 소스로서 지정하는 소스 절환 트리거 발생이라고 판단한다.

이 스텝 F1005에서 소스 절환 트리거의 발생이라고 판단됨으로써, 시스템 컨트롤러(10)의 도 13의 처리는 스텝 F105로부터 F108로 진행하고, 통신부(26)를 화상 소스로 하는 소스 절환 처리를 행한다. 즉 통신부(26)에서 수신된 화상 데이터가 표시부(2)에서 표시되는 상태로 절환한다.

이에 의해, 주위에 통신 가능한 외부 기기(도 2의 촬상 장치(70)나 콘텐츠 소스 기기(71))가 존재할 때에, 그들 외부 기기로부터의 수신 화상이 표시부(2)에서 표시되도록 할 수 있다.

또한 도 22의 (b)는, 특정한 장소에서, 외부 기기로부터의 요구에 따라서 소스 절환을 행하는 예이다.

도 22의 (b)의 스텝 F1010은, 시스템 컨트롤러(10)가 GPS 수신부(21)에서 얻어지는 현재 위치의 위도ㆍ경도의 정보를 통신부(26)로부터 네트워크 서버 혹은 지도 데이터베이스 탑재 기기에 송신하고, 송신처에서 현재 지점의 정보를 검색하게 하고, 그 현재 지점의 정보를 수신하는 동작을 나타내고 있다. 또한 표시 장치(1) 내에 지도 데이터베이스가 유지되어 있으면, 시스템 컨트롤러(10)는, GPS 수신부(21)로부터의 위도ㆍ경도에 기초하여, 지도 데이터베이스로부터 현재 지점의 정 보를 검색할 수 있다.

시스템 컨트롤러(10)는, 취득한 현재 지점의 정보에 기초하여, 현재 위치가, 소정의 지구 또는 시설 내인지의 여부를 판별한다. 그리고 현재 위치가 소정의 지구나 시설이라고 판단하면, 스텝 F1011로부터 F1012로 진행하고, 외부 기기로부터의 통신 요구가 있는지의 여부를 판별한다. 예를 들면 소정 시간, 외부 기기로부터의 통신 요구를 대기하여도 된다.

외부 기기로부터의 통신 요구가 있으면, 스텝 F1013에서, 통신부(26)에 의한 외부 기기와의 통신 접속 상태를 확립시키고, 통신 동작을 실행한다.

그리고 통신 동작이 개시되면, 스텝 F1014에서 통신부(26)를 소스로서 지정하는 소스 절환 트리거 발생이라고 판단한다.

이 스텝 F1014에서 소스 절환 트리거의 발생이라고 판단됨으로써, 시스템 컨트롤러(10)의 도 13의 처리는 스텝 F105로부터 F108로 진행하고, 통신부(26)를 화상 소스로 하는 소스 절환 처리를 행하여, 통신부(26)에서 수신된 화상 데이터가 표시부(2)에서 표시되는 상태로 한다.

이에 의해, 특정한 지구나 시설에서, 외부 기기(도 2의 촬상 장치(70)나 콘텐츠 소스 기기(71))로부터의 액세스가 있었을 때에, 그들 외부 기기로부터의 수신 화상이 표시부(2)에서 표시되도록 할 수 있다.

예를 들면 지구나 시설의 가이드의 화상, 주의 화상, 서비스 화상 등을 유저에 제공하는 것이 생각된다.

또한, 스포츠 관전에서, 예를 들면 주최자측이 제공하는 도 7의 (a)와 같은 화상을, 표시 장치(1)의 유저에 제공하는 경우에도 적용할 수 있다.

또한 지구에 따라서, 도 7의 (c)와 같은 버드 뷰 화상을 유저에 제공하는 경우에도 적용할 수 있다.

도 23의 (a)는, 촬상 대상 센서(20) 또는 화상 해석부(17)의 해석 결과에 의해 소스 절환 트리거의 발생 판단을 행하는 예이다. 이것은 도 3과 같이 촬상 기능계를 갖는 구성예에서 채용할 수 있는 처리예이다.

도 23의 (a)의 스텝 F1101에서 시스템 컨트롤러(10)는, 촬상 기능계를 소스로 하여 표시부(2)에 촬상 화상을 표시하고 있는지의 여부를 판단한다. 촬상 화상을 표시하고 있는 경우에는 이 도 23의 (a)의 처리는 행하지 않는다. 한편, 예를 들면 스토리지부(25)의 재생 화상이나 통신부(26)에서 수신한 수신 화상을 표시부(2)에서 표시하고 있는 경우에는, 스텝 F1102로 진행한다.

스텝 F1102는, 시스템 컨트롤러(10)가 화상 해석부(17) 또는 촬상 대상 센서(20)로부터의 정보를 감시하는 처리를 나타내고 있다. 또한 화상 해석부(17)는 촬상부(3)에서 촬상한 촬상 화상 데이터에 대하여 해석을 행하고 있는 것으로 하고, 촬상부(3)의 피사체로서 특정한 대상이 포함되어 있는지의 여부를 검출하는 것으로 한다. 예를 들면 인물, 동물, 건조물, 자연물 등이다. 혹은 촬상 대상 센서(20)가 초전 센서로 되어 있고, 특정한 대상으로서 인물이나 동물과 같은 생체가 촬상 대상으로 되어 있는지의 여부를 판별할 수 있는 것으로 한다.

시스템 컨트롤러(10)는, 화상 해석부(17) 또는 촬상 대상 센서(20)의 정보에 의해, 특정한 대상이 촬상 화상에 포함되어 있다고 판단한 경우에는, 스텝 F1103으 로부터 F1104로 진행하고, 촬상 기능계(촬상부(3), 촬상 신호 처리부(15))를 소스로서 지정하는 소스 절환 트리거 발생이라고 판단한다.

이 스텝 F1104에서 소스 절환 트리거의 발생이라고 판단됨으로써, 시스템 컨트롤러(10)의 도 13의 처리는 스텝 F105로부터 F108로 진행하고, 촬상 기능계를 화상 소스로 하는 소스 절환 처리를 행하여, 촬상부(3)에서 촬상된 화상 데이터가 표시부(2)에서 표시되는 상태로 한다.

이에 의해, 예를 들면 유저가 재생 화상이나 수신 화상을 보고 있을 때에, 특정한 대상이 유저의 앞에 나타나면, 표시부(2)에서의 표시가 촬상 화상으로 절환되게 된다.

도 23의 (b)는, 시각과 현재 위치에 따라서 소스 절환 트리거의 발생 판단을 행하는 예이다.

도 23의 (b)의 스텝 F1110에서 시스템 컨트롤러(10)는, 일시 계수부(22)로부터 현재의 시각을 취득한다. 또한 스텝 F1111에서는, GPS 수신부(21)에서의 현재의 위도ㆍ경도에 기초하여 현재 위치의 정보를 취득한다.

스텝 F1112에서는, 시스템 컨트롤러(10)는 현재, 특정한 시각으로서 특정한 장소에 있는지의 여부를 판별하고, 특정한 시각에 특정한 장소에 있는 경우에는 스텝 F1113으로 진행하여 소스 절환 트리거 발생이라고 판단한다.

이 스텝 F1113에서 소스 절환 트리거의 발생이라고 판단됨으로써, 시스템 컨트롤러(10)의 도 13의 처리는 스텝 F105로부터 F108로 진행하고, 소스 절환 처리를 행한다.

예를 들면 특정한 시각에 특정한 장소에 있음으로써, 스토리지부(25)가 소스로 되고, 스토리지부(25)에서의 재생 화상이 표시되는 동작이 실현된다.

혹은, 특정한 시각에 특정한 장소에 있음으로써, 촬상 기능계가 소스로 되고, 촬상 화상이 표시되는 동작이 실현된다.

혹은, 특정한 시각에 특정한 장소에 있음으로써, 통신부(26)가 소스로 되고, 통신부(26)에서의 수신 화상이 표시되는 동작이 실현된다. 임의의 콘텐츠 서비스 시스템으로서, 특정한 시각 및 장소에서 콘텐츠를 제공하는 서비스에 적용할 수 있다.

이상의 도 22, 도 23의 처리로서, 외계 정보에 따라서 소스 절환 트리거의 발생 판단을 행하는 예를 들었지만, 이들은 일례에 지나지 않으며, 그 외에도 소스 절환 트리거의 발생 판단의 예로서 매우 다양한 예가 생각된다.

그리고 이들과 같이 소스 절환 트리거의 발생 판단을 행함으로써, 상황에 따라서 소스 절환이 행하여져, 유저에 있어서 적절한 화상 제공을 행할 수 있다.

그런데, 도 13의 스텝 F102의 표시 개시 트리거나, 스텝 F106의 표시 종료 트리거도, 외계 정보에 따라서 시스템 컨트롤러(10)가 발생 판단할 수 있다.

예를 들면 도 14와 같이 주위의 밝기를 검지하여, 주위가 암 상태라고 판단된 경우에 표시 개시 트리거 발생이라고 판별하고, 스루 상태로부터 표시 상태로 절환하여도 된다.

도 15와 같이 날씨를 판별하는 경우에, 날씨에 따라서 표시 개시 트리거 발생이라고 판별하여도 된다.

도 16과 같이 기온이나 습도를 검지하고, 소정의 조건에서 표시 개시 트리거 발생이라고 판별하여도 된다.

도 17과 같이 시간대, 월일, 계절 등에 따라서 표시 개시 트리거 발생이라고 판별하여도 된다.

도 18과 같이 현재 위치가 소정의 장소로 되었을 때에 표시 개시 트리거 발생이라고 판별하여도 된다. 그러면 특정한 장소나 시설의 종별에서 표시 기능을 발휘시키도록 할 수 있다.

도 19, 도 20, 도 21과 같이 화상 해석부(17)의 정보를 검지하는 경우에, 화상 해석부(17)가 촬상 화상 데이터의 해석을 행하는 경우에, 특정한 대상이 검지된 경우, 신속한 움직임이 검지된 경우, 특정한 인물이 검지된 경우, 명암의 분포가 검지된 경우 등에 표시 개시 트리거 발생이라고 판별하여도 된다.

이들과 같이 모니터 표시 개시의 트리거 발생이라고 판별하고, 도 13의 스텝 F103으로 진행하도록 하면, 유저는 스루 상태에서 표시 장치(1)를 장착하고 있으면, 특별히 조작을 하지 않고, 상황에 따라서 표시 동작이 실행되며, 또한 그 상황에 따른 화상을 볼 수 있다.

또한 표시 종료 트리거도 마찬가지로 판별할 수 있다.

예를 들면 도 14와 같이 주위의 밝기를 검지하고 있는 경우, 주위의 밝기에 따라서 표시 종료 트리거 발생이라고 판별하여도 된다.

도 15와 같이 날씨를 판별하는 경우에, 날씨에 따라서 표시 종료 트리거 발생이라고 판별하여도 된다.

도 16과 같이 기온이나 습도를 검지하고, 소정의 조건에서 표시 종료 트리거 발생이라고 판별하여도 된다.

도 17과 같이 시간대, 월일, 계절 등에 따라서 표시 종료 트리거 발생이라고 판별하여도 된다.

도 18과 같이 현재 위치가 소정의 장소로 되었을 때에 표시 종료 트리거 발생이라고 판별하여도 된다. 그러면 특정한 장소나 시설의 종별에서 표시 기능을 정지시키도록 할 수 있다.

도 19, 도 20, 도 21과 같이 화상 해석부(17)의 정보를 검지하는 경우에, 화상 해석부(17)가 촬상 화상 데이터의 해석을 행하는 경우에, 그 해석 결과에 따라서 표시 종료 트리거 발생이라고 판별하여도 된다.

이들과 같이 모니터 표시 종료의 트리거 발생이라고 판별하고, 도 13의 스텝 F101로 되돌아가도록 하면, 유저에 있어서 모니터 표시의 필요성이 저하하였거나, 혹은 필요성이 없어진 상황, 나아가 모니터 표시 기능을 금지시키고 싶은 상황에서, 자동적으로 스루 상태로 할 수 있다.

[6. 실시 형태의 효과, 변형예 및 확장예]

이상, 실시 형태를 설명해 왔지만, 실시 형태에 따르면, 안경형 혹은 두부 장착형의 장착 유닛에 배치된 표시부(2)에 의해, 사용자의 눈의 직전에서 화상을 표시시키는데, 이 경우에, 외계 상황으로서 주위의 밝기, 날씨, 피사체의 상황, 화상 데이터에서의 특정한 대상의 인식, 대상의 움직임, 장소, 일시 등의 외계 정보에 기초하여 표시 동작이나 표시 소스 선택의 제어를 행함으로써, 유저에 조작 부 담을 주지 않고, 상황에 따른 적확한 표시 동작이나 재미가 있는 표시 동작이 실행된다. 이에 의해 표시 장치(1)는, 유저에 있어서 사용성이 좋고, 또한 다양한 시계 광경을 제공할 수 있는 장치로 된다.

또한 표시부(2)는, 투과율 제어에 의해 투명 또는 반투명한 스루 상태로 할 수 있음으로써, 장착 유닛에 의해 장착된 채로도 통상의 생활에 지장이 없게 할 수 있다. 이 때문에 유저의 통상의 생활 중에서, 본 예의 표시 장치(1)의 이점을 유효하게 활용할 수 있다.

또한, 실시 형태에서는 특히 표시 동작에 관한 제어에 대하여 설명하였지만, 예를 들면 전원 온/오프/스탠바이의 절환이나, 음성 출력부(5)로부터 출력되는 음성의 음량이나 음질의 제어 등을, 외계 정보에 기초하여 행하여도 된다. 예를 들면 시각이나 장소에 따라서 음량 조정을 행하거나, 혹은 주위의 음량을 검지하고, 그 음량에 따라서 스피커 출력 음량 조정을 행하는 것 등도 생각된다.

또한, 표시 장치(1)의 외관이나 구성은 도 1, 도 3, 도 4의 예에 한정되는 것이 아니며, 각종 변형예가 생각된다.

표시 화상(1)으로서 안경형 혹은 두부 장착형의 장착 유닛을 갖는 예를 설명하였지만, 본 발명의 표시 장치는, 유저의 눈 앞에서 표시를 행할 수 있게 구성되면 되며, 예를 들면 헤드폰형, 네크 밴드 타입, 귀걸이식 등, 어떠한 장착 유닛에 의해 유저에 장착되는 것이어도 된다. 나아가, 예를 들면 통상의 안경이나 바이저, 혹은 헤드폰 등에, 클립 등의 부착구로 부착함으로써 유저에 장착되는 형태이어도 된다.

Claims

사용자의 눈의 전방에 위치하도록 배치되어 화상의 표시를 행하는 표시 수단과,

외계 정보를 취득하는 외계 정보 취득 수단과,

상기 외계 정보 취득 수단에 의해 취득된 정보에 기초하여, 상기 표시 수단의 동작을 제어하는 제어 수단

을 구비하는 것을 특징으로 하는 표시 장치.
제1항에 있어서,

화상의 촬상을 행하는 촬상 수단을 더 구비하는 것을 특징으로 하는 표시 장치.
제2항에 있어서,

상기 제어 수단은, 상기 외계 정보 취득 수단에 의해 취득된 정보에 기초하여, 상기 촬상 수단에 의해 촬상된 화상 데이터를 상기 표시 수단에 의해 표시시키는 제어를 행하는 것을 특징으로 하는 표시 장치.
제1항에 있어서,

기록 매체로부터 데이터를 재생하는 재생 수단을 더 구비하는 것을 특징으로 하는 표시 장치.
제4항에 있어서,

상기 제어 수단은, 상기 외계 정보 취득 수단에 의해 취득된 정보에 기초하여, 상기 재생 수단에 의해 재생된 데이터를 상기 표시 수단에 의해 표시시키는 제어를 행하는 것을 특징으로 하는 표시 장치.
제1항에 있어서,

외부 기기와 통신을 행하여 데이터를 수신하는 수신 수단을 더 구비하는 것을 특징으로 하는 표시 장치.
제6항에 있어서,

상기 제어 수단은, 상기 외계 정보 취득 수단에 의해 취득된 정보에 기초하여, 상기 수신 수단에 의해 수신된 데이터를 상기 표시 수단에 의해 표시시키는 제어를 행하는 것을 특징으로 하는 표시 장치.
제1항에 있어서,

상기 표시 수단은, 투명 혹은 반투명한 스루 상태와, 공급된 데이터의 표시를 행하는 표시 상태를 절환 가능한 것을 특징으로 하는 표시 장치.
제1항에 있어서,

상기 외계 정보 취득 수단은, 상기 외계 정보로서 주위 환경 상황을 검출하는 센서인 것을 특징으로 하는 표시 장치.
제2항에 있어서,

상기 외계 정보 취득 수단은, 상기 외계 정보로서, 상기 촬상 수단의 촬상 대상에 관한 정보를 검출하는 센서인 것을 특징으로 하는 표시 장치.
제1항에 있어서,

상기 외계 정보 취득 수단은, 상기 외계 정보로서, 현재 위치 정보를 취득하는 것을 특징으로 하는 표시 장치.
제1항에 있어서,

상기 외계 정보 취득 수단은, 상기 외계 정보로서, 현재 일시를 취득하는 것을 특징으로 하는 표시 장치.
제1항에 있어서,

상기 외계 정보 취득 수단은, 외부 기기와의 통신에 의해, 상기 외계 정보를 취득하는 것을 특징으로 하는 표시 장치.
제1항에 있어서,

상기 외계 정보 취득 수단은, 입력된 화상 데이터에 대한 화상 해석에 의해, 상기 외계 정보를 취득하는 것을 특징으로 하는 표시 장치.
제1항에 있어서,

상기 외계 정보 취득 수단이 취득하는 상기 외계 정보는, 주위의 밝기, 또는 온도, 또는 습도, 또는 기압, 또는 날씨의 정보인 것을 특징으로 하는 표시 장치.
제1항에 있어서,

상기 외계 정보 취득 수단이 취득하는 상기 외계 정보는, 현재 위치에 해당하는 지점의 정보인 것을 특징으로 하는 표시 장치.
제1항에 있어서,

상기 외계 정보 취득 수단이 취득하는 상기 외계 정보는, 현재 위치에 해당하는 지역에서의 건조물, 또는 자연물의 정보인 것을 특징으로 하는 표시 장치.
제1항에 있어서,

상기 외계 정보 취득 수단이 취득하는 상기 외계 정보는, 입력된 화상 데이터에 포함되는 특정한 대상을 판별하는 정보인 것을 특징으로 하는 표시 장치.
제1항에 있어서,

상기 외계 정보 취득 수단이 취득하는 상기 외계 정보는, 입력된 화상 데이터에 포함되는 특정한 대상으로서, 인물, 또는 동물, 또는 건조물, 또는 자연물, 또는 기기를 판별하는 정보인 것을 특징으로 하는 표시 장치.
제1항에 있어서,

상기 외계 정보 취득 수단이 취득하는 상기 외계 정보는, 입력된 화상 데이터에 포함되는 대상 화상의 움직임의 정보인 것을 특징으로 하는 표시 장치.
제1항에 있어서,

상기 외계 정보 취득 수단이 취득하는 상기 외계 정보는, 입력된 화상 데이터에 포함되는 인물의 개인을 특정하는 정보인 것을 특징으로 하는 표시 장치.
제1항에 있어서,

상기 외계 정보 취득 수단이 취득하는 상기 외계 정보는, 입력된 화상 데이터에 문자 화상이 포함되는지의 여부를 판별하는 정보인 것을 특징으로 하는 표시 장치.
제1항에 있어서,

상기 외계 정보 취득 수단이 취득하는 상기 외계 정보는, 입력된 화상 데이 터의 명암, 또는 선명도의 정보인 것을 특징으로 하는 표시 장치.
제1항에 있어서,

상기 외계 정보 취득 수단이 취득하는 상기 외계 정보는, 입력된 화상 데이터의 화상 내의 부분적인 명암, 또는 부분적인 선명도의 정보인 것을 특징으로 하는 표시 장치.
제1항에 있어서,

상기 제어 수단은, 상기 표시 수단에서의 표시 동작의 개시/종료의 제어를 행하는 것을 특징으로 하는 표시 장치.
제1항에 있어서,

상기 표시 수단은, 투명 혹은 반투명한 스루 상태와, 공급된 데이터의 표시를 행하는 표시 상태가 절환 가능하게 됨과 함께,

상기 제어 수단은, 상기 표시 수단에 대하여 상기 스루 상태와 상기 표시 상태의 절환 제어를 행하는 것을 특징으로 하는 표시 장치.
제1항에 있어서,

상기 제어 수단은, 상기 표시 수단에 의해 표시하는 데이터의 공급 소스의 절환 제어를 행하는 것을 특징으로 하는 표시 장치.
제1항에 있어서,

상기 제어 수단은, 상기 표시 수단에서의 표시 화상의 확대/축소의 제어를 행하는 것을 특징으로 하는 표시 장치.
제1항에 있어서,

상기 제어 수단은, 상기 표시 수단에 표시하는 화면의 일부의 하이라이트 표시의 제어를 행하는 것을 특징으로 하는 표시 장치.
제1항에 있어서,

상기 제어 수단은, 상기 표시 수단에서의 화면 분할 표시의 제어를 행하는 것을 특징으로 하는 표시 장치.
제1항에 있어서,

상기 제어 수단은, 상기 표시 수단에서의 표시 휘도의 제어를 행하는 것을 특징으로 하는 표시 장치.
제1항에 있어서,

상기 제어 수단은, 상기 표시 수단에 의해 표시시키는 화상 신호의 신호 처리의 제어를 행하는 것을 특징으로 하는 표시 장치.
제1항에 있어서,

상기 표시 수단에 공급하는 화상에 포함되는 문자에 기초하여 음성 합성을 행하는 음성 합성 수단과,

상기 음성 합성 수단에 의해 생성된 음성을 출력하는 음성 출력 수단

을 더 구비하는 것을 특징으로 하는 표시 장치.
사용자의 눈의 전방에 위치하도록 배치되어 화상의 표시를 행하는 표시 수단을 구비한 표시 장치의 표시 방법으로서,

외계 정보를 취득하는 외계 정보 스텝과,

상기 외계 정보 취득 스텝에서 취득된 정보에 기초하여 상기 표시 수단에서의 표시 동작에 관한 제어를 행하는 제어 스텝

을 구비하는 것을 특징으로 하는 표시 방법.