WO2008038473A1 - Appareil et procédé d'affichage - Google Patents

Description

明 細 書

表示装置、表示方法

技術分野

[0001] 本発明は、例えば眼鏡型もしくは頭部装着型の装着ユニットなどによりユーザに装 着された状態で、ユーザの目の前方に位置するように表示手段が配置されて画像の 表示を行う表示装置と、表示方法に関する。

背景技術

[0002] 例えば、特開平 8— 126031号公報、特開平 9 27970号公報、特開平 9 1850 09号公報のように、眼鏡型もしくは頭部装着型の装着ユニットにより、ユーザの目の 直前に表示部を配置して表示を行う装置が、各種提案されている。

[0003] しかしながら従来の装置では、ユーザによる操作キー等の操作子の操作を不要とし たうえで、状況に応じて望まし!/、表示動作を行う装置は開発されてレ、なレ、。

[0004] そこで本発明では、外界の状況 (周囲の環境、 日時、場所、入力された画像等）に 応じて、的確な、或いはおもしろみのある表示動作が行われるようにすることを目的と する。

発明の開示

[0005] 本発明の表示装置は、使用者の目の前方に位置するように配置されて画像の表示 を行う表示手段と、外界情報を取得する外界情報取得手段と、上記外界情報取得手 段で取得された情報に基づいて上記表示手段の動作を制御する制御手段とを備え

[0006] また画像の撮像を行う撮像手段を更に備える。またこの場合、上記制御手段は、上 記外界情報取得手段で取得された情報に基づレ、て、上記撮像手段で撮像された画 像データを上記表示手段で表示させる制御を行う。

[0007] また記録媒体からデータを再生する再生手段を更に備える。またこの場合、上記制 御手段は、上記外界情報取得手段で取得された情報に基づいて、上記再生手段で 再生されたデータを上記表示手段で表示させる制御を行う。

[0008] また外部機器と通信を行ってデータを受信する受信手段を更に備える。またこの場 合、上記制御手段は、上記外界情報取得手段で取得された情報に基づいて、上記 受信手段で受信されたデータを上記表示手段で表示させる制御を行う。

[0009] また上記表示手段は、透明もしくは半透明であるスルー状態と、供給されたデータ の表示を行う表示状態とを切換可能である。

[0010] また上記外界情報取得手段は、上記外界情報として周囲環境状況を検出するセン サである。

[0011] また上記外界情報取得手段は、上記外界情報として、上記撮像手段の撮像対象 に関する情報を検出するセンサである。

[0012] また上記外界情報取得手段は、上記外界情報として、現在位置情報を取得する。

[0013] また上記外界情報取得手段は、上記外界情報として、現在日時を取得する。

[0014] また上記外界情報取得手段は、外部機器との通信により、上記外界情報を取得す

[0015] また上記外界情報取得手段は、上記表示手段に供給する画像についての画像解 析により、上記外界情報を取得する。

[0016] また上記外界情報取得手段が取得する上記外界情報は、周囲の明るさ、又は温度

、又は湿度、又は気圧、又は天候の情報である。

[0017] また上記外界情報取得手段が取得する上記外界情報は、現在位置に該当する地 点の情報である。

[0018] また上記外界情報取得手段が取得する上記外界情報は、現在位置に該当する地 域における建造物、又は自然物の情報である。

[0019] また上記外界情報取得手段が取得する上記外界情報は、入力された画像データ に含まれる特定の対象を判別する情報である。

[0020] また上記外界情報取得手段が取得する上記外界情報は、入力された画像データ に含まれる特定の対象として、人物、又は動物、又は建造物、又は自然物、又は機 器を判別する情報である。

[0021] また上記外界情報取得手段が取得する上記外界情報は、入力された画像データ に含まれる対象の動きの情報である。

[0022] また上記外界情報取得手段が取得する上記外界情報は、入力された画像データ に含まれる人物の個人を特定する情報である。

[0023] また上記外界情報取得手段が取得する上記外界情報は、入力された画像データ に文字画像が含まれるか否力、を判別する情報である。

[0024] また上記外界情報取得手段が取得する上記外界情報は、入力された画像データ の明暗、又は鮮明度の情報である。

[0025] また上記外界情報取得手段が取得する上記外界情報は、入力された画像データ の画像内の部分的な明暗、又は部分的な鮮明度の情報である。

[0026] また上記制御手段は、上記表示手段における表示動作の開始/終了の制御を行

5。

[0027] また上記制御手段は、上記表示手段に対して上記スルー状態と上記表示状態の 切換制御を行う。

[0028] また上記制御手段は、上記表示手段で表示するデータの供給ソースの切換制御を 行う。

[0029] また上記制御手段は、上記表示手段における表示画像の拡大/縮小の制御を行

5。

[0030] また上記制御手段は、上記表示手段に表示する画面の一部のハイライト表示の制 御を行う。

[0031] また上記制御手段は、上記表示手段における画面分割表示の制御を行う。

[0032] また上記制御手段は、上記表示手段における表示輝度の制御を行う。

[0033] また上記制御手段は、上記表示手段で表示させる画像信号の信号処理の制御を 行う。

[0034] また上記表示手段に供給する画像に含まれる文字に基づいて音声合成を行う音声 合成手段と、上記音声合成手段で生成された音声を出力する音声出力手段とを更 に備える。

[0035] 本発明の表示方法は、使用者の目の前方に位置するように配置されて画像の表示 を行う表示手段を備えた表示装置の表示方法として、外界情報を取得する外界情報 ステップと、上記外界情報取得ステップで取得された情報に基づ!/、て上記表示手段 における表示動作に関する制御を行う制御ステップとを備える。 [0036] 以上の本発明では、使用者 (ユーザ）は、表示装置を例えば眼鏡型もしくは頭部装 着型の装着ユニットなどにより装着することで、 目の前方に位置する表示手段を視認 する状態となる。即ちユーザは装着状態で、撮像手段で撮像された画像や、再生手 段で再生されたデータの画像、或レ、は受信手段で受信されたデータの画像などを表 示手段で視認できる。

[0037] ここで、表示動作のオン/オフ/スルー、表示する画像データのソースの選択、各 種表示動作態様 (例えば分割表示、拡大/縮小表示、表示輝度などの表示画質調 整、画像の一部のハイライトなど)や表示手段に対する入力の切換など、表示動作に 関する制御として状況に応じた制御が行われることが好ましいが、本発明では、これ らをユーザの操作子の操作ではなぐ外界情報に基づいて各種の制御を行うように する。

[0038] 本発明によれば、ユーザの眼の直前とされる表示手段で各種画像を表示させるが 、この場合に、外界情報に基づいて表示動作に関する制御を行うことで、ユーザに操 作負担がなレ、まま、状況に応じた的確或レ、はおもしろみのある表示動作が実行され る。これによりユーザにとって使用性が良ぐまた多様な視界光景を提供できる表示 装置を実現できるとレ、う効果がある。

[0039] また表示手段は透明又は半透明のスルー状態ともできるようにもすることで、装着 状態のままでも通常の生活に支障がないようにできる。このためユーザの通常の生活 の中で、本発明の表示装置の利点を有効に得ることができる。

図面の簡単な説明

[0040] [図 1]図 1は、本発明の実施の形態の表示装置の外観例の説明図である。

[図 2]図 2は、実施の形態の表示装置の使用形態の説明図である。

[図 3]図 3は、実施の形態の表示装置の構成例のブロック図である。

[図 4]図 4は、実施の形態の表示装置の他の構成例のブロック図である。

[図 5]図 5は、実施の形態のスルー状態と撮像画像表示状態の説明図である。

[図 6]図 6は、実施の形態のストレージ部から画像の表示状態の説明図である。

[図 7]図 7は、実施の形態の通信部からの画像の表示状態の説明図である。

[図 8]図 8は、実施の形態の通信部からの画像の表示状態の説明図である。 [図 9]図 9は、実施の形態の分割表示の説明図である。

[図 10]図 10は、実施の形態の拡大画像の表示状態の説明図である。

[図 11]図 11は、実施の形態の明るさ調整画像の表示状態の説明図である。

[図 12]図 12は、実施の形態の画像処理の説明図である。

[図 13]図 13は、実施の形態の制御処理のフローチャートである。

[図 14]図 14は、実施の形態の表示制御トリガの判別処理のフローチャートである。

[図 15]図 15は、実施の形態の表示制御トリガの判別処理のフローチャートである。

[図 16]図 16は、実施の形態の表示制御トリガの判別処理のフローチャートである。

[図 17]図 17は、実施の形態の表示制御トリガの判別処理のフローチャートである。

[図 18]図 18は、実施の形態の表示制御トリガの判別処理のフローチャートである。

[図 19]図 19は、実施の形態の表示制御トリガの判別処理のフローチャートである。

[図 20]図 20は、実施の形態の表示制御トリガの判別処理のフローチャートである。

[図 21]図 21は、実施の形態の表示制御トリガの判別処理のフローチャートである。

[図 22]図 22は、実施の形態のソース切換トリガの判別処理のフローチャートである。

[図 23]図 23は、実施の形態のソース切換トリガの判別処理のフローチャートである。 発明を実施するための最良の形態

[0041] 以下、本発明の表示装置、表示方法の実施の形態を、次の順序で説明する。

[0042] [1.表示装置の外観例及び外部機器との関連]

[2.表示装置の構成例]

[3.表示例]

[4.外界情報の検出]

[5.各種動作例]

[6.実施の形態の効果、変形例及び拡張例]

[0043] [1.表示装置の外観例及び外部機器との関連]

実施の形態として、図 1に眼鏡型ディスプレイとした表示装置 1の外観例を示す。表 示装置 1は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造 の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。

[0044] そしてこの表示装置 1は、図 1のような装着状態において、ユーザの両眼の直前、 即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示 部 2、 2が配置される構成とされている。この表示部 2には、例えば液晶パネルが用い られ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態 とできる。表示部 2がスルー状態とされることで、眼鏡のようにユーザが常時装着して いても、通常の生活には支障がない。

[0045] またユーザが装着した状態において、ユーザが視認する方向を被写体方向として 撮像するように、前方に向けて撮像レンズ 3aが配置されている。

[0046] また撮像レンズ 3aによる撮像方向に対して照明を行う発光部 4aが設けられる。発 光部 4aは例えば LED (Light Emitting Diode)により形成される。

[0047] また、図では左耳側しか示されていないが、装着状態でユーザの右耳孔及び左耳 孔に揷入できる一対のイヤホンスピーカ 5aが設けられる。

[0048] また右眼用の表示部 2の右方と、左眼用の表示部 2の左方に、外部音声を集音す るマイクロホン 6a, 6bが配置される。

[0049] なお図 1は一例であり、表示装置 1をユーザが装着するための構造は多様に考えら れる。一般に眼鏡型、或いは頭部装着型とされる装着ユニットで形成されればよぐ 少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部 2が設けられ ていればよい。また表示部 2は、両眼に対応して一対設けられる他、片側の眼に対応 して 1つ設けられる構成でもよい。

[0050] またイヤホンスピーカ 5aは、左右のステレオスピーカとせずに、一方の耳にのみ装 着するために 1つ設けられるのみでもよい。またマイクロホンも、マイクロホン 6a, 6bの うちの一方でもよい。

[0051] また図 1は撮像機能を含む例としているが、撮像機能を備えない例も考えられる。

[0052] さらには、表示装置 1としてマイクロホンやイヤホンスピーカを備えない構成も考えら れる。また発光部 4aを設けない構成も考えられる。

[0053] ところで内部構成例については後述する力 この表示装置 1は、記録媒体に対して 再生を行う再生機能（図 3,図 4で述べるストレージ部 25)や、外部機器と通信を行う 通信機能（図 3,図 4で述べる通信部 26)を備えることも考えられる。

[0054] 従って、表示部 2において表示する画像としてのデータのソースは、撮像機能部位 、再生機能部位、通信機能部位が想定される。

[0055] 図 2は、表示装置 1の使用形態を、外部機器との関連において例示したものである

〇

[0056] 図 2の（a)は表示装置 1を単体で使用する場合であり、この場合、表示装置 1が撮 像機能を有していれば、撮像された画像データを表示部 2に表示させることができる 。また、表示装置 1が再生機能を有していれば、記録媒体から再生されたデータによ る画像を表示部 2に表示させることができる。記録媒体から再生されるデータとしては 、例えば映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像 されて記録媒体に記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパ 一ソナルコンピュータ等で作成して記録媒体に記録した画像データ、テキストデータ

、表計算データ等のコンピュータユースのデータ、記録媒体に記録されたゲームプロ グラムに基づくゲーム画像など、記録媒体に記録されて表示対象となるあらゆるデー タが想定される。

[0057] 図 2の (b)は、表示装置 1が通信機能を備え、外部の撮像装置 70と通信を行う例で ある。この場合、表示装置 1は、撮像装置 70で撮像された画像 (動画/静止画）を受 信して表示部 2に表示させる。外部の撮像装置 70とは、通信機能を備えたビデオ力 メラ、デジタルスチルカメラなどが想定できるし、また図 1のように撮像機能を備えた表 示装置 1を、或る表示装置 1に対して外部の撮像装置 70と考えることもできる。

[0058] また外部の撮像装置 70は、表示装置 1を用いるユーザ本人が所有する撮像装置 であったり、表示装置 1のユーザの知人が所有する撮像装置であったり、或いは画像 提供を行う公共或いはサービス企業等の撮像装置であって表示装置 1と通信可能と されて!/、るものなど多様に考えられる。

[0059] 図 2の（c)は、表示装置 1が通信機能を備え、外部のコンテンツソース機器 71と通 信を行う例である。この場合、表示装置 1は、コンテンツソース機器 71から提供される 画像 (動画/静止画）を受信して表示部 2に表示させる。

[0060] コンテンツソース機器 71とは、例えばビデオ機器、テレビジョンチューナ、ホームサ ーバ機器等の AV (Audio-Visual)機器や、パーソナルコンピュータ、 PDA (Personal Digital Assistant)、携帯電話機などの情報処理装置などが想定できる。このようなコ ンテンッソース機器 71も、表示装置 1を用いるユーザ本人やその知人が所有する機 器であったり、各種コンテンツ提供を行う公共或いはサービス企業等のサーバ機器 であるなど多様に考えられる。

[0061] コンテンツソース機器 71から表示装置 1に送信されるデータとしては、例えば映画 やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒 体に記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンビ ユータ等で作成した画像データ、テキストデータ、表計算データ等のコンピュータュ ースのデータ、ゲーム画像など、表示対象となるあらゆるデータが想定される。

[0062] 図 2の（d)は、表示装置 1が通信機能、特にインターネット等のネットワーク 73を介し た通信アクセス機能を備えることで、ネットワーク 73で接続される外部の撮像装置 70 やコンテンツソース機器 71と通信を行う例である。この場合表示装置 1は、ネットヮー ク 73を介して各種データを受信し、その受信したデータの画像を表示部 2で表示さ せる。

[0063] [2.表示装置の構成例]

図 3に表示装置 1の内部構成例を示す。

[0064] システムコントローラ 10は、例えば CPU (Central Processing Unit)、 ROM (Read O nly Memory)、 RAM (Random Access Memory)、不揮発十生メモリ部、インターフエ一 ス部を備えたマイクロコンピュータにより構成され、表示装置 1の全体を制御する制御 とされる。

[0065] このシステムコントローラ 10は外界の状況に基づいて、表示装置 1内の各部の制御 を行う。つまり外界の状況を検知判定し、それに応じて各部の動作制御を実行するよ うにされた動作プログラムに従って動作する。このため機能的に見れば、図示するよ うに外界の状況を判定する外界状況判定機能 10aと、外界状況判定機能 10aの判 定結果に従って各部に制御指示を行う動作制御機能 10bを有することになる。

[0066] 表示装置 1内では、ユーザの前方の光景の撮像のための構成として、撮像部 3、撮 像制御部 11、撮像信号処理部 15が設けられる。

[0067] 撮像部 3は、図 1に示した撮像レンズ 3aや、絞り、ズームレンズ、フォーカスレンズな どを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を 行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行う ことで撮像信号を生成する固体撮像素子アレイなどが設けられる。固体撮像素子ァ レイは、例えば CCD (Charge Coupled Device)センサアレイや、 CMOS (Complemen tary Metal Oxide Semiconductor)センサアレイとされる。

[0068] 撮像信号処理部 15は、撮像部 3の固体撮像素子によって得られる信号に対するゲ イン調整や波形整形を行うサンプルホールド/ AGC(Automatic Gain Control)回路 や、ビデオ A/Dコンバータを備え、デジタルデータとしての撮像信号を得る。また撮 像信号処理部 15は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処 理、ぶれ補正処理なども行う。

[0069] 撮像制御部 11は、システムコントローラ 10からの指示に基づいて、撮像部 3及び撮 像信号処理部 15の動作を制御する。例えば撮像制御部 11は、撮像部 3,撮像信号 処理部 15の動作のオン/オフを制御する。また撮像制御部 11は撮像部 3に対して、 オートフォーカス、 自動露出調整、絞り調整、ズームなどの動作を実行させるための 制御（モータ制御）を行うものとされる。

[0070] また撮像制御部 11はタイミングジェネレータを備え、固体撮像素子及び撮像信号 処理部 15のサンプルホールド/ AGC回路、ビデオ A/Dコンバータに対しては、タ イミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。 また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。

[0071] さらに撮像制御部 11は、固体撮像素子及び撮像信号処理部 15における撮像感度 や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出され る信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像 信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができ る。撮像感度に関しては、特に波長帯域を考慮しない全体的な感度調整や、例えば 赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整（ 例えば特定波長帯域をカットするような撮像）なども可能である。波長に応じた感度 調整は、撮像レンズ系における波長フィルタの揷入や、撮像信号に対する波長フィ ルタ演算処理により可能である。これらの場合、撮像制御部 11は、波長フィルタの揷 入制御や、フィルタ演算係数の指定等により、感度制御を行うことができる。 [0072] 撮像部 3で撮像され、撮像信号処理部 15で処理された撮像信号 (撮像による画像 データ）は画像入出力コントロール部 27に供給される。

[0073] 画像入出力コントロール部 27は、システムコントローラ 10の制御に応じて、画像デ ータの転送を制御する。即ち撮像系（撮像信号処理部 15)、表示系（表示画像処理 部 12)、ストレージ部 25、通信部 26の間の画像データの転送を制御する。

[0074] 例えば画像入出力コントロール部 27は、撮像信号処理部 15で処理された撮像信 号としての画像データを、表示画像処理部 12に供給したり、ストレージ部 25に供給し たり、通信部 26に供給する動作を行う。

[0075] また画像入出力コントロール部 27は例えばストレージ部 25から再生された画像デ ータを、表示画像処理部 12に供給したり、通信部 26に供給する動作を行う。

[0076] また画像入出力コントロール部 27は例えば通信部 26で受信された画像データを、 表示画像処理部 12に供給したり、ストレージ部 25に供給する動作を行う。

[0077] 表示装置 1にお!/、てユーザに対して表示を行う構成としては、表示部 2、表示画像 処理部 12、表示駆動部 13,表示制御部 14が設けられる。

[0078] 例えば撮像部 3で撮像され、撮像信号処理部 15で処理された撮像信号としての画 像データは、画像入出力コントロール部 27を介して表示画像処理部 12に供給するこ とができる。表示画像処理部 12は、例えばいわゆるビデオプロセッサとされ、供給さ れた画像データに対して各種表示処理を実行できる部位とされる。例えば画像デー タの輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを 行うこと力 Sできる。また表示画像処理部 12は、供給された画像データの一部を拡大し た拡大画像の生成、或いは縮小画像の生成、供給された画像データの分割表示の ための画像の分離や合成、画像内の一部をハイライト表示（強調表示）させる画像処 理、キャラクタ画像やイメージ画像の生成や、生成した画像を供給された画像データ に合成する処理なども行うことができる。つまり供給された画像データに対しての各種 処理を fiうこと力 Sできる。

[0079] 表示駆動部 13は、表示画像処理部 12から供給される画像データを、例えば液晶 ディスプレイとされる表示部 2において表示させるための画素駆動回路で構成されて いる。即ち表示部 2においてマトリクス状に配置されている各画素について、それぞ れ所定の水平/垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を 実行させる。また表示駆動部 13は、表示部 2の各画素の透過率を制御して、スルー 状 とすることあでさる。

[0080] 表示制御部 14は、システムコントローラ 10の指示に基づいて、表示画像処理部 12 の処理動作や表示駆動部 13の動作を制御する。即ち表示画像処理部 12に対して は、上記の各種処理を実行させる。また表示駆動部 13に対してはスルー状態、画像 表示状態の切り換えが行われるように制御する。

[0081] なお、ストレージ部 25で再生された画像データや、通信部 26で受信された画像デ ータも、画像入出力コントロール部 27を介して表示画像処理部 12に供給できる。そ の場合、表示画像処理部 12、表示駆動部 13の上記動作により、表示部 2において 再生画像や受信画像が出力されることになる。

[0082] また表示装置 1には、音声入力部 6、音声信号処理部 16,音声出力部 5が設けら れる。

[0083] 音声入力部 6は、図 1に示したマイクロホン 6a, 6bと、そのマイクロホン 6a, 6bで得 られた音声信号を増幅処理するマイクアンプ部や A/D変換器を有し、音声データ を出力する。

[0084] 音声入力部 6で得られた音声データは音声入出力コントロール部 28に供給される

〇

[0085] 音声入出力コントロール部 28は、システムコントローラ 10の制御に応じて、音声デ ータの転送を制御する。即ち音声入力部 6、音声信号処理部 16、ストレージ部 25、 通信部 26の間の音声信号の転送を制御する。

[0086] 例えば音声入出力コントロール部 28は、音声入力部 6で得られた音声データを、 音声信号処理部 16に供給したり、ストレージ部 25に供給したり、通信部 26に供給す る動作を行う。

[0087] また音声入出力コントロール部 28は例えばストレージ部 25で再生された音声デー タを、音声信号処理部 16に供給したり、通信部 26に供給する動作を行う。

[0088] また音声入出力コントロール部 28は例えば通信部 26で受信された音声データを、 音声信号処理部 16に供給したり、ストレージ部 25に供給する動作を行う。 [0089] 音声信号処理部 16は、例えばデジタルシグナルプロセッサ、 D/A変換器などから なる。この音声信号処理部 16には、音声入力部 6で得られた音声データや、ストレー ジ部 25、或いは通信部 26からの音声データが、音声入出力コントロール部 28を介し て供給される。音声信号処理部 16は、供給された音声データに対して、システムコン トローラ 10の制御に応じて、音量調整、音質調整、音響エフェクト等の処理を行う。そ して処理した音声データをアナログ信号に変換して音声出力部 5に供給する。なお、 音声信号処理部 16は、デジタル信号処理を行う構成に限られず、アナログアンプや アナログフィルタによって信号処理を行うものでも良い。

[0090] 音声出力部 5は、図 1に示した一対のイヤホンスピーカ 5aと、そのイヤホンスピーカ

5aに対するアンプ回路を有する。

[0091] この音声入力部 6、音声信号処理部 16,音声出力部 5により、ユーザは外部音声を 聞いたり、ストレージ部 25で再生された音声を聞いたり、通信部 26で受信された音 声を聞くこと力できる。なお音声出力部 5は、いわゆる骨伝導スピーカとして構成され てもよい。

[0092] ストレージ部 25は、所定の記録媒体に対してデータの記録再生を行う部位とされる 。例えば HDD (Hard Disc Drive)として実現される。もちろん記録媒体としては、フラ ッシュメモリ等の固体メモリ、固定メモリを内蔵したメモリカード、光ディスク、光磁気デ イスク、ホログラムメモリなど各種考えられ、ストレージ部 25としては採用する記録媒体 に応じて記録再生を実行できる構成とされればよい。

[0093] 撮像部 3で撮像され、撮像信号処理部 15で処理された撮像信号としての画像デー タゃ、通信部 26で受信した画像データは、画像入出力コントロール部 27を介してスト レージ部 25に供給することができる。また音声入力部 6で得られた音声データや、通 信部 26で受信した音声データは、音声入出力コントロール部 28を介してストレージ 部 25に供給することができる。

[0094] ストレージ部 25はシステムコントローラ 10の制御に従って、供給された画像データ や音声データに対して、記録媒体への記録のためのエンコード処理を行い、記録媒 体に記録する。

[0095] またストレージ部 25はシステムコントローラ 10の制御に従って、記録媒体から画像 データや音声データを再生する。再生した画像データは画像入出力コントロール部 2 7へ出力し、また再生した音声データは音声入出力コントロール部 28へ出力する。

[0096] 通信部 26は外部機器との間でのデータの送受信を行う。外部機器としては、図 2で 述べた撮像装置 70やコンテンツソース機器 71などとしての各種の機器が考えられる

[0097] 通信部 26は、無線 LAN、ブルートゥースなどの方式で、例えばネットワークアクセス ポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし 、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでもよレ、。

[0098] 撮像部 3で撮像され、撮像信号処理部 15で処理された撮像信号としての画像デー タゃ、ストレージ部 25で再生した画像データは、画像入出力コントロール部 27を介し て通信部 26に供給することができる。また音声入力部 6で得られた音声データや、ス トレージ部 25で再生された音声データは、音声入出力コントロール部 28を介して通 信部 26に供給すること力 Sできる。

[0099] 通信部 26はシステムコントローラ 10の制御に従って、供給された画像データや音 声データに対して、送信のためのエンコード処理、変調処理等を行い、外部機器に 送信する。

[0100] また通信部 26は外部機器からのデータ受信動作を行う。受信復調した画像データ は画像入出力コントロール部 27へ出力し、また受信復調した音声データは音声入出 力コントロール部 28へ出力する。

[0101] また表示装置 1には音声合成部 29が設けられる。この音声合成部 29はシステムコ ントローラ 10の指示に応じて音声合成を行い、音声信号を出力する。

[0102] 音声合成部 29から出力された音声信号は、音声入出力コントロール部 28を介して 音声信号処理部 16に供給されて処理された後、音声出力部 5に供給され、ユーザに 対して音声出力される。

[0103] この音声合成部 29は、例えば後述する読み上げ音声の音声信号を発生させること になる。

[0104] 表示装置 1には照明部 4と照明制御部 18が設けられる。照明部 4は、図 1に示した 発光部 4aとその発光部 4a (例えば LED)を発光させる発光回路から成る。照明制御 部 18は、システムコントローラ 10の指示に基づいて、照明部 4に発光動作を実行さ せる。

[0105] 照明部 4における発光部 4aが図 1に示したように前方に対する照明を行うものとして 取り付けられていることで、照明部 4はユーザの視界方向に対する照明動作を行うこ とになる。

[0106] この表示装置 1は、外界情報を取得するための構成として、周囲環境センサ 19、撮 像対象センサ 20、 GPS受信部 21、 日時計数部 22、画像解析部 17、及び通信部 26 を有する。

[0107] 周囲環境センサ 19としては、具体的には例えば照度センサ、温度センサ、湿度セ ンサ、気圧センサ等が想定され、表示装置 1の周囲環境として、周囲の明るさ、温度 、湿度、或いは天候等を検出するための情報を得るセンサとされる。

[0108] 撮像対象センサ 20は、撮像部 3での撮像動作の被写体となっている撮像対象に関 する情報を検出するセンサである。例えば当該表示装置 1から撮像対象までの距離 の情報を検出する測距センサや、焦電センサなどの赤外線センサのように、撮像対 象が発する赤外線の特定の波長などの情報やエネルギーを検出するセンサなどが 想定される。焦電センサの場合、例えば撮像対象が人や動物などの生体であるか否 かの検出が可能となる。

[0109] さらに、各種 UV (Ultra Violet)センサのように、撮像対象が発する紫外線の特定の 波長などの情報やエネルギーを検出するセンサも想定される。この場合、例えば撮 像対象が蛍光物質や蛍光体であるか否かの検出や、 日焼け対策に必要な外界の紫 外線量の検出が可能となる。

[0110] GPS受信部 21は、 GPS (Global Positioning System)の衛星からの電波を受信し、 現在位置としての緯度 ·経度の情報を出力する。

[0111] 日時計数部 22は、いわゆる時計部として、 日時 (年月日時分秒）を計数し、現在日 時情報を出力する。

[0112] 画像解析部 17は、画像データの画像解析を行う。画像解析部 17には、画像入出 力コントロール部 27を介して画像データが供給される。画像解析部 17において画像 解析の対象となる画像データとは、撮像部 3,撮像信号処理部 15により得られた撮 像画像としての画像データや、通信部 26で受信された画像データ、或いはストレー ジ部 25で記録媒体から再生された画像データとなる。つまり表示装置 1が、表示部 2 において表示可能に入力した画像データが画像解析部 17での画像解析対象となる 。そして画像解析部 17は画像データを解析し、画像データに含まれる画像の情報を 得る。

[0113] 通信部 26は、外部機器との間でのデータ通信を行う。外部機器としては、コンビュ ータ機器、 PDA (Personal Digital Assistant)、携帯電話機、ビデオ機器、オーディオ 機器、チューナ機器など、情報処理及び通信機能を備えたあらゆる機器が想定され

[0114] またインターネット等のネットワークに接続された端末装置、サーバ装置なども通信 対象の外部機器として想定される。

[0115] さらには、 ICチップを内蔵した非接触通信 ICカード、 QRコード等の二次元バーコ ード、ホログラムメモリなどを外部機器とし、通信部 26はこれらの外部機器から情報を 読み取る構成とすることも考えられる。

[0116] さらには他の表示装置 1も外部機器として想定される。

[0117] 通信部 26は、無線 LAN、ブルートゥースなどの方式で、例えばネットワークアクセス ポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし 、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでも良レ、。

[0118] これら周囲環境センサ 19、撮像対象センサ 20、 GPS受信部 21、 日時計数部 22、 画像解析部 17、及び通信部 26により、表示装置 1からみての外界の情報が取得さ れ、システムコントローラ 10に供給される。

[0119] システムコントローラ 10は外界状況判定機能 10aの処理により、取得した外界情報 に応じて、動作制御機能 10bの処理により、撮像動作や表示動作に関する制御を行 う。即ちシステムコントローラ 10は表示制御部 14に指示して表示画像処理部 12や表 示駆動部 13の動作を制御したり、表示するデータのソースを選択したり、またストレー ジ部 25の再生動作や通信部 26の通信動作の制御を行う。

[0120] なお、外界情報を取得するための構成として周囲環境センサ 19、撮像対象センサ

20、 GPS受信部 21、 日時計数部 22、画像解析部 17、及び通信部 26を示したが、こ れらは必ずしも全てを備える必要はない。また、周囲の音声を検知 ·解析する音声解 析部など、他のセンサが設けられても良い。

[0121] 次に図 4は、撮像機能を有しない表示装置 1の構成例を示すものである。なお、図 3 と同一機能のブロックには同一符号を付し、重複説明を避ける。

[0122] この図 4の構成は、図 3の構成から、撮像部 3,撮像信号処理部 15、撮像制御部 11

、照明部 4、照明制御部 18、音声入力部 6、撮像対象センサ 20を省いたものとなって いる。

[0123] 上記図 3の構成例の場合、表示部 2に表示させるデータのソースは、撮像機能系（ 撮像部 3,撮像信号処理部 15、撮像制御部 11)と、再生機能系（ストレージ部 25)と 、受信機能系（通信部 26)の 3つとなる力、この図 4の構成例の場合、表示部 2に表示 させるデータのソースは、再生機能系（ストレージ部 25)と、受信機能系（通信部 26) の 2つとなる。

[0124] つまり図 3は表示画像のソースとして表示装置 1内に 3系統のソースを備える場合の 例であり、図 4は表示装置 1内に 2系統のソースを備える場合の例である。

[0125] この場合、画像解析部 17において画像解析の対象となる画像データとは、通信部 26で受信された画像データ、或いはストレージ部 25で記録媒体から再生された画像 データとなる。

[0126] なお図示しないが表示装置 1の構成例としては、この図 3,図 4以外に、表示装置 1 内の表示画像のソースとして、例えば撮像機能系のみを備える例、再生機能系のみ を備える例、受信機能系のみを備える例、撮像機能系と再生機能系を備える例、撮 像機能系と受信機能系を備える例などが、それぞれ考えられる。

[0127] [3.表示例]

システムコントローラ 10が、取得した外界情報に応じて表示動作に関する制御を行 い、表示するデータのソースを選択したり、表示画像処理を行うことなどにより、ユー ザは表示部 2において多様な表示態様、表示内容の画像を見ることができる。図 5か ら図 12により、各種の表示例を示す。

[0128] 図 5の（a)は表示部 2がスルー状態となっている場合を示しているとする。つまり、表 示部 2は単なる透明の板状体となっており、ユーザが視界光景を透明の表示部 2を 介して見てレ、る状態である。

[0129] 図 5の (b)は、撮像部 3で撮像した画像が表示部 2に表示された状態である。例え ば図 5の（a)の状態で撮像部 3,撮像信号処理部 15,表示画像処理部 12,表示駆 動部 13が動作し、撮像画像を通常に表示部 2に表示した状態である。この場合の表 示部 2に表示される撮像画像（通常撮像画像）は、スルー状態の場合とほぼ同様とな る。つまりユーザにとっては、通常の視界を、撮像された画像として見ている状態であ

[0130] 図 5の（c)は、システムコントローラ 10が撮像制御部 11を介して撮像部 3に望遠撮 像を実行させた場合であり、望遠画像が表示部 2に表示されている。

[0131] 図示しないが、逆にシステムコントローラ 10が撮像制御部 11を介して撮像部 3に広 角撮像を実行させれば、近距離の光景が広角に映し出された画像が表示部 2に表 示されることになる。なお、望遠一広角の制御は、撮像部 3におけるズームレンズの 駆動制御の他、撮像信号処理部 15での信号処理でも可能である。

[0132] 上記図 5の (b) (c)は撮像機能系を画像ソースとして表示部 2に表示を行った例を 示したが、図 6はストレージ部 25を表示画像のソースとして表示部 2に表示を行う例を 示している。

[0133] 図 6の（a)は、ストレージ部 25における記録媒体に動画や静止画の画像コンテンツ が記録されており、その画像コンテンツが再生されて表示部 2で表示されている例で ある。

[0134] 図 6の（b)は、ストレージ部 25における記録媒体にゲームプログラムが記録されて おり、そのゲームプログラムに基づく画像が表示部 2で表示されている例である。

[0135] 図 6の（c)は、ストレージ部 25における記録媒体に電子書籍コンテンツが記録され ており、その電子書籍コンテンツが再生されて表示部 2で表示されている例である。

[0136] これら図 6の（a) (b) (c)のようにユーザは表示装置 1を用いて記録媒体に記録され たデータの再生画像を楽しむことができる。

[0137] 次に図 7,図 8は通信部 26を表示画像のソースとして表示部 2に表示を行う例を示 している。

[0138] 図 7は、図 2の（b)又は図 2の（d)のような通信で、外部の撮像装置 70から送信され 、通信部 26で受信した画像を表示する例である。

[0139] 図 7の（a)は、例えばユーザからの視界が図 5の（a)のようであり、つまりスタジアム で客席からサッカーを観戦している状態にあるときに、スタジアムの別の場所で撮像 を行う撮像装置 70による映像を、通信部 26で受信し、表示部 2に表示させている例 である。例えば監督席近辺に設置された撮像装置 70や、審判が装着する小型の撮 像装置 70などからの映像を受信して、表示部 2で表示することで、より興味深く試合 観戦を fiうこと力 Sできる。

[0140] 図 7の (b)は、リゾート地に設置した撮像装置 70や、旅行中の知人が所持する撮像 装置 70によって撮像した映像を、通信部 26で受信し、表示部 2に表示させている例 である。このような映像表示により、ユーザは、例えば自宅等にいながら、多様な地域 の映像を見ることができる。

[0141] 図 7の（c)は、航空機や衛星に設置された撮像装置 70で撮像した地上の映像 (バ ードビュー映像）を、通信部 26で受信し、表示部 2に表示させている例である。このよ うな映像表示により、ユーザは、通常は見ることのできない風景を楽しむことができる

[0142] 図 8は、図 2の（c)又は図 2の（d)のような通信で、外部のコンテンツソース機器 71 から送信され、通信部 26で受信した画像を表示する例である。

[0143] 図 8の（a)は、 AV機器やパーソナルコンピュータ等のコンテンツソース機器 71から 、動画や静止画の画像コンテンツを受信した場合に、その画像コンテンツが表示部 2 で表示されてレ、る例である。

[0144] 図 8の（b)は、例えばパーソナルコンピュータ等のコンテンツソース機器 71において アクセスしているウェブサイトのブラウザ画面、或いは起動中のアプリケーション画面 などとしての画像データを、表示装置 1に送信させ、表示装置 1においては通信部 2 6で受信した画像データを表示部 2で表示させている例である。

[0145] 図 8の（c)は、例えばパーソナルコンピュータ等のコンテンツソース機器 71において 見ることのできる写真画像の一覧表示画像などを表示装置 1に送信させ、表示装置 1 において通信部 26で受信し、表示部 2に表示させている例である。

[0146] 例えばこのようにコンテンツソース機器 71からの画像として、ビデオプレーヤ等の A V機器や、パーソナルコンピュータ等の情報処理装置からのデータを受信して画像 表示を行うことで、ユーザは装着した表示装置 1において、これらの画像を確認したり

、各種の作業を行うことができる。

[0147] なお、図 6はストレージ部 25をソースとする画像、図 8は通信部 26をソースとする画 像として述べたが、例えば図 8で例に挙げた画像内容を、ストレージ部 25からの再生 画像と考えることもできるし、図 6で例に挙げた画像内容を、外部機器から送信されて 通信部 26で受信した画像と考えることもできる。

[0148] 図 9,図 10,図 11 ,図 12は、上記のような各種ソース（撮像機能系、再生機能系、 又は受信機能系）からの画像について、表示態様や画像データに関する処理を行う 例である。

[0149] 図 9の（a)は、表示部 2がスルー状態とされて!/、る場合を示して!/、る。

[0150] システムコントローラ 10が表示制御部 14 (表示画像処理部 12、表示駆動部 13)に 対して分割表示を指示することにより、図 9の（b)のような画像を表示部 2に表示させ ること力 Sできる。即ち表示部 2の画面上を領域 AR1、 AR2に分割し、領域 AR1はス ルー状態又は通常画像表示とし、領域 AR2には、例えばストレージ部 25或いは通 信部 26をソースとする画像（例えば再生又は受信した映像コンテンツの画像など）を 表示させている例である。

[0151] また図 9の（c)は他の分割表示の例を示しており、この場合は表示部 2の画面上を 領域 AR1、 AR2、 AR3, AR4に分割するとともに、各領域には、所定時間間隔で画 像の 1フレームを抽出して表示させている。例えば表示画像処理部 12に、画像デー タについて 0. 5秒間隔で 1フレームを抽出させ、抽出したフレームの画像を領域 AR 1→AR2→AR3→AR4→AR1→AR2 ' - 'と順に表示させていく。これは、いわゆる ストロボ表示と呼ばれるような画像を表示部 2で分割表示により実行した例である。

[0152] もちろん画面上の複数の領域で、それぞれ異なるソースからの画像を表示すること も考えられる。

[0153] 図 10の（a)は表示部 2に、撮像機能系、再生機能系、又は受信機能系からの画像 がそのまま通常のサイズで表示されて!/、る場合を示して!/、る。

[0154] このときにシステムコントローラ 10が、表示制御部 14を介して表示画像処理部 12に 対して画像拡大処理を指示することで、図 10の（b)のような拡大画像を表示部 2に表 示させること力 Sでさる。

[0155] 図 11の（a)は表示部 2に、撮像機能系、再生機能系、又は受信機能系からの画像 が通常に表示されて!/、る場合を示して!/、る。

[0156] 但しこの表示画像は、輝度の低!/、画像であって、ユーザにとって快適な見やすレ、 画像ではないとする。

[0157] このような場合に、システムコントローラ 10は表示制御部 14 (表示画像処理部 12、 表示駆動部 13)に対して輝度アップ、コントラスト、シャープネス調整を指示すること などにより、図 11の (b)のように、よりはっきりした画像を表示部 2に表示させることが できる。

[0158] 図 12の（a)は、表示部 2に、撮像機能系、再生機能系、又は受信機能系からの画 像が通常に表示されている場合、もしくは表示部 2がスルー状態とされている場合を 示している。この画像では、例えばサッカースタジアムにおいてピッチ上に日陰と日 なたの境界が生じ、見にくい状況となっている。

[0159] システムコントローラ 10は、表示画像処理部 12に指示して、例えば日陰部分に相 当する領域の画素について表示輝度を向上させ、一方、 日なた部分に相当する領 域の画素にっレ、て表示輝度を低下させることで、図 12の（b)のように日なた/日陰 の影響が低減された画像が表示される。

[0160] 図 12の（c)は特定の対象として、画像内に例えば鳥が含まれている場合に、その 鳥を強調させるようにハイライト表示させた表示例である。

[0161] 画像内で、鳥が検知される場合に、その鳥の部分をハイライト表示させることで、ュ 一ザが例えば鳥という特定の対象を見つけやすくした表示を実現できる。

[0162] ハイライト画像処理としては、画像内で注目部分のみの輝度を上げたり、注目部分 以外の輝度を下げたり、注目部分をカラー表示で注目部分以外をモノクロ表示とする などの手法が考えられる。また注目部分に注目枠やカーソル、ポインタマーク等、何 らかのキャラクタ画像を表示させることで画像内の特定部分を強調しても良い。

[0163] ここまで各種の表示例を示したが、これらは一例にすぎない。本例においては、撮 像機能系、再生機能系、受信機能系というソースの選択や、撮像機能系や再生機能 系の動作、さらには表示画像処理部 12,表示駆動部 13の各処理や動作を制御する ことで、多様な表示形態が実現される。

[0164] 例えば、撮像機能系を表示画像ソースとする場合は、望遠表示、広角表示、望遠 力、ら広角までの間のズームインもしくはズームアウト表示、拡大表示、縮小表示、フレ ームレートの可変表示（高フレームレートや低フレームレートでの撮像など）、高輝度 表示、低輝度表示、コントラスト可変表示、シャープネス可変表示、撮像感度上昇状 態の表示、赤外線撮像感度上昇状態の表示、紫外線撮像感度上昇状態の表示、特 定波長帯域をカットした画像の表示なども可能である。

[0165] また再生機能系、受信機能系を表示画像ソースとする場合は、高速再生、スロー再 生、コマ送り再生などの変速再生による画像表示や、表示ページの切換、スクロール 表示などパーソナルコンピュータ等における表示と同様の表示も可能である。

[0166] また表示画像処理部 12の処理により、モザイク画像/輝度反転画像/ソフトフォー カス/画像内の一部の強調表示/画像全体の色の雰囲気の可変などの画像エフェ タト表示やその組み合わせなども想定される。

[0167] さらに、これらの各種の画像表示を組み合わせた分割表示、スルー状態と撮像画 像（又は再生画像又は受信画像）を組み合わせた分割表示、撮像画像（又は再生画 像又は受信画像）の 1フレームの表示を継続させる静止画表示など、非常に多様な 表示態様が想定される。

[0168] [4.外界情報の検出]

上述したように本例の表示装置 1は、外界情報を取得するための構成として周囲環 境センサ 19、撮像対象センサ 20、 GPS受信部 21、 日時計数部 22、画像解析部 17

、及び通信部 26を有する。

[0169] 周囲環境センサ 19としては、照度センサ、温度センサ、湿度センサ、気圧センサ等 が想定される。

[0170] 照度センサによっては、表示装置 1の周囲の明るさの情報を検出できる。

[0171] また温度センサ、湿度センサ、気圧センサによっては、温度、湿度、気圧或いは天 候を判別する情報を得ることができる。

[0172] これらの周囲環境センサ 19により、表示装置 1は周囲の明るさや戸外の場合の気 象状況などを判定できるため、システムコントローラ 10は、これらを外界情報として用 いて、周囲の明るさや気象状況に適した表示動作を実行制御できる。

[0173] 図 3の構成の場合、撮像対象センサ 20が設けられて撮像対象についての情報を検 知する。例えば測距センサゃ焦電センサなどが考えられる力 撮像対象との距離や、 撮像対象自体を判定する情報を得ることができる。

[0174] 撮像対象までの距離を検出することで、システムコントローラ 10は、距離に応じた表 示動作を実行制御したり、撮像対象が人などの生体であることを検知することで、撮 像対象に応じた表示動作を実行制御できる。

[0175] GPS受信部 21は、現在位置としての緯度'経度の情報を取得する。緯度'経度を 検出した場合、地図データベース等を参照することで、現在位置における地点（地点 近辺）の情報を得ることができる。図 3、図 4の構成では特に述べていないが、例えば システムコントローラ 10が参照できる記録媒体として、例えば HDD (Hard Disk Drive )やフラッシュメモリなどであって比較的大容量の記録媒体を搭載し、これらの記録媒 体に地図データベースを記憶させることで、現在位置に関連する情報を取得できる。

[0176] また表示装置 1に地図データベースを内蔵していなくても、通信部 26を介して例え ばネットワークサーバや地図データベース内蔵機器にアクセスし、緯度'経度を送信 して現在位置に応じた情報を要求し、情報を受信するようにしてもよい。

[0177] 現在位置に関連する情報としては、現在位置近辺の地名、建造物名、施設名、店 名、駅名などの名称情報がある。

[0178] また現在位置に関連する情報としては、公園、テーマパーク、コンサートホール、劇 場、映画館、スポーツ施設など、建造物の種別を示す情報もある。

[0179] また現在位置に関連する情報としては、海岸、海上、河川、山間部、山頂部、森林 、湖、平野部など、自然物の種別や名称の情報もある。

[0180] また、より詳細な位置についての情報として、例えばテーマパーク内でのエリアや、 野球場、サッカー場などでの観戦席のエリア、コンサートホールでの座席のエリアの 情報なども現在位置についての情報として取得することができる。

[0181] これら、現在位置に関する情報を取得することで、システムコントローラ 10は、現在 位置や現在地点の近辺の地理的条件や施設などに応じた表示動作を実行制御でき [0182] 日時計数部 22は例えば年月日時分秒を計数する。この日時計数部 22によってシ ステムコントローラ 10は、現在時刻、昼夜の別、月、季節などを認識できる。このため 、例えば昼夜の別（時刻）に応じた表示動作や、現在の季節に適した表示動作など を実行制御できる。

[0183] 画像解析部 17によれば、撮像画像、受信画像、再生画像等の、入力された画像デ ータから、以下のような各種の情報を検出できる。

[0184] まず、各ソースから供給された画像データとしての画像に含まれて!/、る人物、動物、 自然物、建造物、機器などを判別できる。例えば動物としては、画像内に鳥が含まれ ている状況や猫が含まれている状況等を判別できる。また自然物としては、海、山、 樹木、河川、湖、空、太陽、月などを判別できる。建造物としては、家屋、ビル、競技 場などを判別できる。機器としては、パーソナルコンピュータ、 AV (Audio-Visual)機 器、携帯電話機、 PDA, ICカード、二次元バーコードなどが含まれている状況を判 別できる。例えば解析対象が撮像部 3で撮像した撮像画像データであったり、外部の 撮像装置 70で撮像された撮像画像データであった場合、これらの特定の対象が撮 像対象となって!/、ること力 S判別できる。

[0185] これら特定の対象の種別は、予め各種別の形状の特徴を設定しておき、入力され た画像データ内に、形状が該当する対象が含まれているか否かにより判別可能であ

[0186] また画像解析部 17による画像解析によれば、画像の前後フレームの差分検出など の手法で、画像内の対象の動きの検出、例えば素早い動きが画像内も可能である。 例えばスポーツの画像や、走行している自動車等の画像について、動きの素早い対 象が含まれて!/、ると!/、う状況を検知することができる。

[0187] また撮像部 3で撮像した撮像画像データを画像解析部 17で画像解析する場合に おいては、周囲の状況を判定することも可能である。例えば昼夜や天候による明るさ の状況を判定できるし、雨の強さなども認識可能である。

[0188] また、画像解析部 17による画像解析によれば、撮像画像、受信画像、再生画像等 の入力された画像データにおいて、例えば書籍や新聞などが含まれていたり、文字 の画像が含まれていることも判別できる。例えば画像内での文字認識を行うことや、 書籍や新聞などの形状の認識を行えばよい。

[0189] なお画像解析部 17で文字認識を行った場合、システムコントローラ 10は、その認 識した文字をテキストデータとして音声合成部 29に供給することができる。

[0190] また、画像解析部 17による画像解析によれば、画像データに人物が含まれている 場合に、その人物の顔から人物個人を特定する判別も可能である。既に知られてい るように、人物の顔は、顔の構成要素の相対位置情報として個人特徴データ化する こと力 Sできる。例えば目の中心と鼻との距離 ENと目の間隔の距離 Edの比（Ed/EN )や、 目の中心と口との距離 EMと目の間隔の距離 Edの比（Ed/EM)は、個人毎に 特有となるとともに、髪型や眼鏡等の装着物などによる、外観上の変化の影響を受け ない情報である。さらに加齢によっても変化しないことが知られている。

[0191] 従って、画像解析部 17は、画像データ内に或る人物の顔が含まれているときに、そ の画像データを解析すれば上記のような個人特徴データを検出することができる。

[0192] 画像データから個人特徴データを検出した場合、例えばシステムコントローラ 10が 参照できる記録媒体として、例えば HDD (Hard Disk Drive)やフラッシュメモリなどを 搭載し、これらの記録媒体に人物データベースを記憶させておけば、画像データに 含まれている個人の情報を取得できる。或いは、表示装置 1に人物データベースを 内蔵していなくても、通信部 26を介して例えばネットワークサーバや人物データべ一 ス内蔵機器にアクセスし、個人特徴データを送信して情報を要求し、特定の人物の 情報を受信するようにしてもょレ、。

[0193] 例えばユーザ自身が、過去に出会った人物の氏名や所属などの人物情報を個人 特徴データとともに人物データベースに登録しておけば、或る人物が画像データに 含まれていたときに、システムコントローラ 10は、その人物の情報を検索できる。

[0194] また、有名人の情報を個人特徴データとともに登録した人物データベースが用意さ れていれば、有名人が画像データに含まれていたときに、その人物の情報を検索で きる。

[0195] 通信部 26によれば、外界情報として、多様な情報を取得できる。

[0196] 例えば上述したように表示装置 1から送信した緯度 ·経度、或いは個人特徴データ などに応じて外部機器で検索された情報を取得できる。

[0197] また外部機器力 天候情報、気温情報、湿度情報など気象に関する情報を取得す ること力 Sでさる。

[0198] また外部機器から施設の利用情報、施設内での撮像禁止/許可情報、案内情報 などを取得することができる。

[0199] また外部機器自体の識別情報を取得することができる。例えば所定の通信プロトコ ルにおいてネットワークデバイスとして識別される機器の種別や機器 ID等である。

[0200] また外部機器に格納されて!/、る画像データ、外部機器で再生或いは表示して!/、る 画像データ、外部機器で受信している画像データなどを取得することができる。

[0201] 以上、周囲環境センサ 19、撮像対象センサ 20、 GPS受信部 21、 日時計数部 22、 画像解析部 17、通信部 26のそれぞれで取得できる情報の例を挙げたが、これらのう ちの複数の系統で或る外界情報にっレ、て検知判別してもよレ、。

[0202] 例えば周囲環境センサ 19で得られた湿度等の情報と、通信部 26で受信された天 候情報を組み合わせ、より正確に現在の天候を判別することもできる。

[0203] また GPS受信部 21と通信部 26の動作により取得した現在場所に関する情報と、画 像解析部 17で得られる情報により、現在位置や撮像対象の状況をより正確に判別す ることあでさる。

[0204] [5.各種動作例]

本実施の形態の表示装置 1は、以上のように周囲環境センサ 19、撮像対象センサ

20、 GPS受信部 21、 日時計数部 22、画像解析部 17、通信部 26で取得できる外界 情報に応じて、システムコントローラ 10が表示動作に関する制御をすることで、表示 部 2において、状況に応じた的確な表示やおもしろみのある表示を実行し、これによ つてユーザに多様な画像を提供できる。

[0205] このためのシステムコントローラ 10の制御に基づく各種動作例を説明していく。

[0206] 図 13は、システムコントローラ 10の動作制御機能 10bとしての制御処理を示してい

[0207] ステップ F101は、システムコントローラ 10が表示制御部 14に対して表示部 2をスル 一状態とする制御処理を示して!/、る。例えば表示装置 1が電源オンとされた初期段 階では、システムコントローラ 10はステップ F101で表示部 2をスルー状態に制御す

[0208] 表示部 2をスルー状態にしている期間は、システムコントローラ 10はステップ F102 で表示開始トリガが発生したか否かを確認している。図 3,図 4では示していないが、 例えばユーザが操作できる操作子を設け、ユーザが所定の操作子の操作を行うこと で表示部 2での表示を開始させる表示開始トリガの発生と判断すればよい。但し、後 に例を述べる力 S、外界情報に応じて表示開始トリガの発生と判断することもできる。

[0209] 表示開始トリガがあつたと判別した場合は、システムコントローラ 10は処理をステツ プ F103に進め、表示開始制御を行う。即ち表示制御部 14に指示して、表示画像処 理部 12及び表示駆動部 13に、供給されるデータを通常撮像画像の態様で表示部 2 に表示させる動作を実行させる。

[0210] 表示画像処理部 12には、画像入出力コントロール部 27を介して画像データが供 給されるが、例えば図 3又は図 4のように複数の画像データソースを備える場合は、こ の時点では、撮像機能系（撮像部 3、撮像信号処理部 15)、再生機能系 (ストレージ 部 25)、受信機能系（通信部 26)のソースのうちでデフォルト設定で選択されて!/、るソ ースからの画像データ力 表示画像処理部 12に供給されるようにすればよい。例え ば撮像機能系をデフォルト設定のソースであるとすると、ステップ F103の表示開始 制御の際に、システムコントローラ 10は撮像制御部 11に撮像開始を指示して撮像部 3及び撮像信号処理部 15の通常撮像動作を実行させ、その撮像信号としての画像 データを、画像入出力コントロール部 27を介して表示画像処理部 12に供給させる。 この場合、表示部 2では例えば図 5の（a)のスルー状態力、ら例えば図 5の（b)の通常 撮像画像のモニタ表示状態に切り換えられることになる。

[0211] また、デフォルト設定のソースがストレージ部 25であれば、表示開始制御の際にスト レージ部 25の制御も行!/、、コンテンツの再生やコンテンツ選択等のメニュー画面を 表示部 2に表示させてもよいし、デフォルト設定のソースが通信部 26であれば、表示 開始制御の際に通信部 26の動作の制御も行い、通信用の画面や、外部機器からの 受信データによる表示を表示部 2に実行させてもよい。

[0212] もちろん、ソースが 1つの構成の場合は、そのソースからの画像データが表示画像 処理部 12に供給されるようにすればよい。

[0213] さらには、ステップ F103での表示開始制御の際には、画像ソースからの画像デー タは供給させず、初期画面としてメニュー画面やソース選択画面等を表示部 2に表示 させるような制卸を fiうことも考えられる。

[0214] なお、この図 13の処理では音声出力部 5からの音声出力動作については特に述 ベないが、表示部 2で表示動作が実行される際には、システムコントローラ 10は、表 示画像と同一のソースからの音声データに基づく音声出力が実行されるように音声 入出力コントロール部 28及び音声信号処理部 16を制御するものとする。

[0215] 表示部 2で或るソースからの画像の表示を行っている期間は、システムコントローラ

10は、ステップ F104で表示制御トリガが発生したか否かを監視し、またステップ F10 5でソース切換トリガが発生したか否かを監視し、またステップ F106で表示終了トリガ が発生したか否かを監視する。

[0216] 表示制御トリガの発生とは、外界状況判定機能 10aによって判定された外界の状況 により、表示動作における表示画像態様や表示する画像データに関する処理などに ついての変更を行うとシステムコントローラ 10自身が判断することを意味している。

[0217] またソース切換トリガの発生とは、例えば図 3,図 4のように表示装置 1に複数のソー スが設けられている場合に、外界状況判定機能 10aによって判定された状況により、 表示する画像データのソースの切換を行うとシステムコントローラ 10自身が判断する ことを意味している。

[0218] 表示制御トリガ、ソース切換トリガの発生の判断手法やトリガに応じた制御内容につ いての具体例は後述する。

[0219] 表示終了トリガは、表示部 2での表示を終了してスルー状態への切り換えを行うトリ ガであり、例えばユーザの操作 (所定の操作による表示終了の操作）により表示終了 トリガの発生と判断すればよいが、後に例を述べるように、システムコントローラ 10が 外界情報に応じて表示終了トリガ発生の判断をすることもできる。

[0220] 表示制御トリガ発生と判断した場合は、システムコントローラ 10は処理をステップ F1 04力、ら F107に進め、画像の表示動作に関しての制御を行う。つまり表示制御部 14 に所定の指示を与え、その時点の外界の状況に応じて各種態様の表示を表示部 2 において実行させる。その時点で選択されているソースによっては、システムコント口 ーラ 10は撮像機能系の制御、ストレージ部 25に対する動作制御、通信部 26に対す る動作制御を行う場合もある。

[0221] ステップ F107で表示動作制御を行った後も、システムコントローラ 10はステップ F1

04, F105, F106のトリガ発生の監視を行う。

[0222] ソース切換トリガ発生と判断した場合は、システムコントローラ 10は処理をステップ F

105力、ら F108に進め、ソース切換制御を行う。この場合、切換前後のソースに対す る動作制御や、新たなソースからの画像データ/音声データが、表示画像処理部 12

/音声信号処理部 16に供給されるように画像入出力コントロール部 27/音声入出 力コントロール部 28の制御を行う。

[0223] このソース切換制御により、例えば表示部 2は、撮像部 3で撮像された画像が表示 されていた状態から、例えばストレージ部 25での再生画像が表示される状態等に切 り換免られることになる。

[0224] ステップ F108でソース切換制御を行った後も、システムコントローラ 10はステップ F 104, F105, F106のトリガ発生の監視を行う。

[0225] 表示終了トリガ発生と判断した場合は、システムコントローラ 10は処理をステップ F1 06から F101に戻し、表示制御部 14に対して表示部 2をスルーとする指示を行う。ま たその時点で選択されていた画像ソースに対して画像供給動作の終了を指示する。

[0226] ユーザが表示装置 1を装着して電源オンとしている期間は、システムコントローラ 10 の動作制御機能 10bは、例えばこの図 13のような制御処理を行うことになる。

[0227] そしてこの処理にお!/、ては、表示開始トリガの判断による表示開始制御、表示制御 トリガの判断による表示態様制御、ソース切換トリガの判断によるソース切換制御、及 び表示終了トリガの判断による表示部 2の表示を停止させてスルー状態とする制御を 行うが、これらのトリガ判断と制御内容の具体例について、図 14以降で説明していく

[0228] 図 14力も図 23は、システムコントローラ 10の外界状況判定機能 10aとしての処理 例を示しており、これらは動作制御機能 10bによる上記図 13の処理と並列的に実行 されているとする。なお並列的な処理とは、例えばシステムコントローラ 10が図 13の 処理を実行している期間中に、図 14〜図 23のような検知処理が定期的に割込処理 として行われればよいものである。これら図 13〜図 19のような処理のプログラムは、 図 13の処理を実行するプログラムに組み込まれていても良いし、定期的に呼び出さ れる別のプログラムとされても良い。つまりプログラムの形態が限定されるものではな い。

[0229] 図 14〜図 21は、図 13のステップ F104としての表示制御トリガ発生の判断に関す る処理例である力 まず図 14では、周囲環境センサ 19もしくは画像解析部 17からの 情報に基づいて表示制御トリガ発生と判断する例を示す。

[0230] 図 14のステップ F201は、システムコントローラ 10が周囲環境センサ 19と画像解析 部 17の一方又は両方の情報を監視する処理を示している。ここでは周囲環境センサ 19が照度センサであり、また画像解析部 17は撮像した画像から周囲の明るさを解析 する処理を行ってレヽるものとする。

[0231] なお、図 4の構成例の場合は、その構成上、外部の撮像装置 70が近辺にある場合 を除いて、画像解析部 17は近辺の撮像画像データの解析を行うことができないため 、通常は周囲環境センサ 19のチェックのみとなる。

[0232] システムコントローラ 10は周囲環境センサ 19と画像解析部 17の一方又は両方から の情報に基づいて、現在、周囲が喑ぃ状況であるか否か、或いは明るすぎる状況で あるか否か判別する。例えば検出照度を数値化し、検出照度が Xルクス以下であれ ば暗い状況、検出照度が yルクス以上であれば明るすぎる状況と判断する。

[0233] 周囲が喑ぃ状況であると判断した場合、システムコントローラ 10は処理をステップ F 202から F204に進め、表示制御トリガ発生と判別する。そしてステップ F205で、現 在の周囲の照度（喑さ）に応じた調整値を算出する。例えば表示輝度、コントラスト、 シャープネス等の調整値を算出する。

[0234] またシステムコントローラ 10は、周囲が明るすぎる状況であると判断した場合も、処 理をステップ F203から F206に進め、表示制御トリガ発生と判別する。そしてステップ F207で、現在の周囲の照度に応じて表示輝度、コントラスト、シャープネス等の調整 値を算出する。

[0235] このステップ F204, F205の処理、又はステップ F206, F207の処理により、システ ムコントローラ 10の図 13の処理はステップ F104から F107に進むことになり、この場 合は表示画像処理部 12に対して輝度調整、コントラスト調整、シャープネス調整など の処理を指示する。

[0236] この処理により、表示部 2での表示画像の画質が調整され、周囲の明暗に応じた調 整画像が表示される。周囲の明暗に応じた調整とは、例えば図 9の（b)のように画面 分割としてスルーもしくは通常撮像画像（即ち外界である視界の画像）と、映像コンテ ンッの撮像画像等を表示して!/、る際に、映像コンテンツ側の画質を調整することが考 えられる。例えば画面上でスルーとコンテンツ画像の明るさのバランスがとれるように し、ユーザが視覚上見にくく感じることを解消するような調整である。例えば周囲が喑 く、画面上のスルー状態の領域が喑ぃ場合は、それにあわせて映像コンテンツの画 質も暗めにしてまぶしすぎないようにしたり、逆に周囲が明るくスルー状態の領域の 輝度が高い場合は、映像コンテンツの画質の輝度上昇や、コントラスト、シャープネス を強調させ、はっきり見えるようにすることが考えられる。又は、スルーとされている領 域の透過率を下げるようにしても良い。

[0237] また、分割表示でなくとも、通信部 26をソースとする受信画像や、ストレージ部 25を ソースとする再生画像を表示部 2で表示して!/、る場合に、表示部 2の周囲からの外光 の影響で、画面上の表示が影響を受けるため、周囲の明るさに応じて表示輝度、コ ントラスト、シャープネス等を調整して、ユーザに見やすい画像表示を提供することが 好適である。

[0238] また撮像機能系をソースとして撮像画像の表示を表示部 2で行っている場合は、周 囲が暗ければ、表示輝度、コントラスト、シャープネスを上昇させ、ユーザが表示部 2 での表示画像により周囲を視認しゃすい状態とする。例えば周囲が暗くて表示部 2 の表示画像が図 11の（a)のようになって!/、る状況から、図 11の（b)のような見やす!/、 状態にすることが考えられる。

[0239] なお、このように周囲が暗い状況と判断した場合は、システムコントローラ 10は照明 部 4に照明を実行させる制御を行っても良い。

[0240] また、撮像機能系をソースとして表示部 2の表示を行っている場合において周囲が 明るすぎる状況であれば、この場合、ユーザがまぶしい感じを受けないように表示輝 度を低下させルと!/、う処理が考えられる。

[0241] 図 15は、周囲環境センサ 19もしくは通信部 26からの情報に基づいて表示制御トリ ガ発生と判断する例である。

[0242] 図 15のステップ F301は、システムコントローラ 10が周囲環境センサ 19からの検出 情報と通信部 26による受信情報の一方又は両方の情報を監視する処理を示してい る。周囲環境センサ 19としては温度センサ、湿度センサ、気圧センサ等が想定される 。また通信部 26では、例えばネットワークサーバ等から逐次気象情報が受信されるも のとする。

[0243] システムコントローラ 10は、例えば周囲環境センサ 19で得られる気圧、湿度、気温 力 周囲の天候状況を判別できる。また通信部 26で受信される気象情報でも天候状 況を判別できる。なお、ネットワークサーバから天候状況を受信するためには、システ ムコントローラ 10は逐次 GPS受信部 21で得られる現在位置情報をネットワークサー バに対して送信するようにし、その現在位置に該当する地域の気象情報をネットヮー クサーバから受信するようにするとよい。

[0244] 周囲環境センサ 19の検出情報、又は通信部 26の受信情報により、システムコント ローラ 10は周囲の天候状況を判断できる力 この両方の情報を用いれば、より正確 に天候状況を判断できることにもなる。

[0245] システムコントローラ 10は例えば晴天、曇天、雨天、雷雨、台風、降雪などの状況 や、雨が降り出す、雨が止む、曇天となるなど天候状況の変化に応じて、画像調整が 必要か否かを判断する。そして調整が必要な状況と判断したら、システムコントローラ 10は処理をステップ F302から F303に進め、表示制御トリガ発生と判別し、ステップ F304で、現在の天候に応じた調整値を算出する。例えば表示輝度、コントラスト、シ ヤープネス、色処理等の調整値を求める。

[0246] このステップ F303, F304の処理により、システムコントローラ 10の図 13の処理は ステップ F104から F107に進むことになり、この場合は表示画像処理部 12に対して 輝度調整、コントラスト調整、シャープネス調整、色処理などの処理を指示する。この 処理により、表示部 2での表示画像の画質が天候状況に応じた画質に調整される。

[0247] 天候状況に応じた画質とは、天候による周囲の明るさに応じて、ユーザが表示部 2 での表示画像が見やすく感じる画質とすることが考えられる。

[0248] また天候のイメージにあった雰囲気の画質にすることも考えられる。例えば降雪時 に、青色を強調して周囲の気温のイメージに合わせた画像を表示させたり、逆に赤 色を強調して、寒さに反して暖かみを感じさせる画質にするなどである。

[0249] なお、図 3の構成で撮像画像を表示部 2で表示させている場合は、天候によっては

、システムコントローラ 10は照明部 4に照明を実行させる制御を行っても良い。

[0250] また、ここでは周囲環境センサ 19又は通信部 26の受信情報により天候判断を行う とした力 画像解析部 17で雨の画像を認識することで、雨が降り出したことや雨が止 んだこと、雷が発生したことなども正確に検知できるようになる。

[0251] 次に図 16により、これも周囲環境センサ 19からの情報に基づいて表示制御トリガ発 生と判断する例を示す。

[0252] 図 16のステップ F401は、システムコントローラ 10が周囲環境センサ 19の情報を監 視する処理を示している。ここでは周囲環境センサ 19が温度センサ、湿度センサで あるとする。

[0253] システムコントローラ 10は周囲環境センサ 19の検出情報に基づいて、現在の周囲 の温度状況、湿度状況を検知し、例えば高温高湿な状況であるか、また低温状況で あるかを判別する。

[0254] 高温高湿でユーザが不快に感じるような状況であると判断したら、システムコント口 ーラ 10は処理をステップ F402から F404に進め、表示制御トリガ発生と判別する。そ してステップ F405で、例えばシャープネス、色処理、画像エフェクト等の調整値を求 める。

[0255] また、周囲が低温でユーザが寒さを感じる状況であると判断したら、システムコント口 ーラ 10は処理をステップ F403から F406に進め、表示制御トリガ発生と判別する。そ してステップ F407で、例えばシャープネス、色処理、画像エフェクト等の調整値を求 める。

[0256] このステップ F404, F405の処理、又はステップ F406, F407の処理により、システ ムコントローラ 10の図 13の処理はステップ F104から F107に進むことになり、システ ムコントローラ 10は表示画像処理部 12に指示して、表示輝度、コントラスト、シャープ ネス、色処理、画像エフェクト等の画像データの調整を指示する。

[0257] この処理により、撮像画像、又は再生画像、又は受信画像の表示を行う場合に、例 えば高温高湿の状況であれば、青系統の涼しげな色合いの画像としたり、低温状況 であれば、赤系統の色合いやソフトフォーカスなどの処理により、暖かみのある画像と するなどである。

[0258] なお、この例では「高温高湿」と「低温」という状況を判断した力 「低湿」という状況 を判断に加えても良い。例えば周囲の状況について「高温高湿」と「低温低湿」とに ついて判別して各場合に応じた画像制御を行ったり、「高温高湿」「高温低湿」「低温 高湿」「低温低湿」という 4とおりの状況を判別して、各場合に応じた画像制御を行つ てもよい。

[0259] 図 17は、 日時計数部 22による現在時刻の情報に基づいて表示制御トリガ発生と判 断する例である。

[0260] 図 17のステップ F501は、システムコントローラ 10が日時計数部 22で計数されてい る現在日時時刻をチェックする処理を示している。システムコントローラ 10は、現在時 刻に基づいて、時間帯を判断する。例えば早朝、朝方、 日中、夕方、夜間という時間 帯を判別する。例えば 4時〜 7時を早朝、 7時〜 9時を朝方、 9時〜 17時を日中、 17 時〜 19時を夕方、 19時〜 4時を夜間などとする。

[0261] また、この時間帯毎の時刻の区切りの基準は、月日の判断により変更するとよい。

例えば月日によって日の出時間、 日没時間の違いを考慮して、上記各時間帯として の判断時刻を変化させる。例えば早朝とする時間帯を夏期は 4時〜 7時、冬期を 6時 〜8時とするなどである。

[0262] ステップ F501での日時チェックにより判別される時間帯として、時間帯の変化があ つたと判断した場合は、システムコントローラ 10は処理をステップ F502から F503以 降に進む。

[0263] 例えば早朝とされる時刻になった時点では、ステップ F503から F507に進み、早朝 用の表示動作の表示制御トリガの発生と判別する。

[0264] また朝方とされる時刻になったときは、ステップ F504から F508に進み、朝方用の 表示動作の表示制御トリガの発生と判別する。 [0265] また日中とされる時刻になったときは、ステップ F505力、ら F509に進み、 日中用の 表示動作の表示制御トリガの発生と判別する。

[0266] また夕方とされる時刻になったときは、ステップ F506力、ら F510に進み、夕方用の 表示動作の表示制御トリガの発生と判別する。

[0267] また夜間とされる時刻になったときは、ステップ F511に進み、夜間用の表示動作の 表示制御トリガの発生と判別する。

[0268] ステップ F507、 F508, F509, F510, F511のいずれ力、で表示制卸卜リガの発生 と判断された場合は、システムコントローラ 10の図 13の処理はステップ F104から F1 07に進むことになり、表示制御部 14に、時間帯に応じた表示動作の指示を行う。例 えば表示輝度調整、コントラスト調整、シャープネス調整、色調整などの処理を指示 する。或いはソフトフォーカス表示などの画像エフェクトを指示しても良レ、。

[0269] この処理により、撮像画像、又は再生画像、又は受信画像として、時間帯に応じた イメージの画像がユーザに提供される。例えば早朝では柔らかい画質の画像、 日中 はコントラストの強いはっきりした画像、夕方はセピア色のような画質の画像、夜間は くすんだ画質の画像などである。このように時間帯毎のユーザの気分に合わせたよう なおもしろみのある画像提供を実現できる。

[0270] もちろん、時間帯毎の明るさに応じて画質を調整し、視認性を向上させるという画質 調整も考えられる。

[0271] なお、時間帯とともに、天候状況、屋内/屋外の別を判断して、状況に好適な画質 調整を行うことも考えられる。

[0272] また、時間帯ではなく日時情報から季節を判断して、季節に応じた画質調整を行う ことも考えられる。例えば表示画像において、夏は青色成分を強調させ、秋は赤色成 分を強調させ、冬は白色成分を強調させ、春は緑/ピンク系統を強調させるなどとし て、季節感のある画像提供を行うことなどである。

[0273] 図 18は GPS受信部 21及び通信部 26の受信情報に基づいて表示制御トリガ発生 と判断する例である。

[0274] 図 18のステップ F601は、システムコントローラ 10が GPS受信部 21で得られる現在 位置の緯度 ·経度の情報を通信部 26からネットワークサーバ或いは地図データべ一 ス搭載機器に送信し、送信先において現在地点の情報を検索してもらい、その現在 地点の情報を受信する動作を示している。なお表示装置 1内に地図データベースが 保持されていれば、システムコントローラ 10は、 GPS受信部 21からの緯度'経度に基 づレ、て、地図データベースから現在地点の情報を検索することができる。

[0275] システムコントローラ 10は、取得した現在地点の情報に基づいて、現在、所定の表 示制御を実行する場所に!/、るか否力、を判別する。そして現在位置が所定の表示制 御を実行する場所であると判断したら、ステップ F602から F603に進み、当該所定の 表示制御を実行すべき表示制御トリガ発生と判断する。

[0276] このステップ F603で表示制御トリガの発生と判断されることで、システムコントローラ 10の図 13の処理はステップ F104から F107に進むことになり、表示制御部 14に対 して所定の画像処理の指示を行う。

[0277] この場合の表示制御としては、次のような例が考えられる。

[0278] 例えば現在位置としての地区について、海岸、山、都市部、農村部などを判別する ことに応じて、それらのイメージに応じた画質の表示を行うことが考えられる。

[0279] また、取得された現在地点の情報に基づいて、地名、撮像している施設'店舗等の 名称などをキャラクタ画像や文字で重畳表示させたり、宣伝情報、施設の案内情報、 周辺の注意情報などを表示部 2に表示させるように制御することも考えられる。

[0280] また、屋内/屋外の判別により、表示輝度等を調整することも考えられる。

[0281] また、図 7の（c)のようなバードビュー画像を表示している場合であれば、現在位置 の変化に応じて通信部 26を介して画像を取得し、画像を切り換えていくことが考えら れる。

[0282] 図 19の（a)は、画像解析部 17からの情報に基づいて表示制御トリガ発生と判断す る例である力 これは特に画像データが新聞、書籍等の画像であったり、図 6の（c)の ような電子書籍の画像データであるなどで、文字を含むものであるか否かを判別する 例である。

[0283] 図 19の（a)のステップ F701は、システムコントローラ 10が画像解析部 17からの情 報を監視する処理を示している。画像解析部 17は画像解析により、画像データに文 字が含まれて!/、るか否かを検出するものとする。 [0284] システムコントローラ 10は、画像処理部 17の解析結果の情報に基づいて、画像デ ータに文字が含まれて!/、るか否かを判別する。

[0285] 文字を含んでいると判断された場合、システムコントローラ 10は処理をステップ F70

2から F703に進め、表示制御トリガ発生と判別する。

[0286] そしてステップ F704で、文字画像を読む場合に適した調整値を算出する。例えば 表示輝度、コントラスト、シャープネス等の調整値として、ユーザが表示画面上で文字 を快適に読める調整値を求める。

[0287] このステップ F703, F704の処理により、システムコントローラ 10の図 13の処理は ステップ F104から F107に進むことになり、この場合は表示画像処理部 12に対して 輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。この処理によ り、表示部 2での表示画像の画質が調整され、例えば図 6の（c)のような画像におい て文字を読みやすレ、状態とすることができる。

[0288] なお、文字を含むことの検出に加え、周囲の明るさも検出し、周囲の明るさを上記 調整値の算出に反映させてもよい。

[0289] また、画質調整ではなぐ例えば表示画像処理部 12に拡大処理を実行させて拡大 画像を表示させ、ユーザに文字を読みやす!/、画像を提供することも考えられる。

[0290] また、撮像機能系をソースとして撮像画像を表示部 2で表示させて!/、る場合は、画 像解析の際に書籍や新聞の形状を認識することを、ステップ F703に進む条件に加 えても良い。またその場合に、撮像対象が新聞等であると判断した場合は、システム コントローラ 10は照明部 4に照明を実行させる制御を行つても良い。

[0291] また、文字を含む画像の場合に、画像解析部 17は文字を判別し、文字をテキスト データとしてシステムコントローラ 10に供給してもよい。この場合、システムコントロー ラ 10は画像から検出されたテキストデータに基づいて音声合成部 29に音声合成処 理を実行させる。

[0292] すると音声合成部 29では、画像データに含まれる文字の読み上げ音声としての音 声信号が生成される。システムコントローラ 10は、この読み上げ音声を音声出力部 5 力、ら出力させる。このようにすると、ユーザは文字を含む画像を表示部 2で見る際に、 その読み上げ音声を聞くことができるようになる。 [0293] 図 19の (b)も、画像解析部 17からの情報に基づいて表示制御トリガ発生と判断す る例である力 これは或るソースからの画像データの見やすさを改善する例である。

[0294] 図 19の（b)のステップ F710は、システムコントローラ 10が画像解析部 17からの情 報を監視する処理を示している。画像解析部 17は画像データの解析により、その画 像が好適な輝度状態であるか否かや、鮮明度が適切であるか否力、を判別する。

[0295] 低輝度の画像、或いは鮮明度の低!/、画像であると判断された場合、システムコント ローラ 10は処理をステップ F711から F712に進め、表示制御トリガ発生と判別する。

[0296] そしてステップ F713で、見やすさを改善するための調整値を算出する。例えば表 示輝度、コントラスト、シャープネス等の調整値として、ユーザが表示画面上で画像を 快適に見ることのできる調整値を求める。

[0297] このステップ F712, F713の処理により、システムコントローラ 10の図 13の処理は ステップ F104から F107に進むことになり、この場合は表示画像処理部 12に対して 輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。この処理によ り、表示部 2での表示画像の画質が調整され、見やすい画像をユーザに提供できる

[0298] 図 20の（a)も画像解析部 17からの情報に基づいて表示制御トリガ発生と判断する 例である。

[0299] 図 20の（a)のステップ F801は、システムコントローラ 10が画像解析部 17からの情 報を監視する処理を示している。画像解析部 17は撮像画像の解析により、画像デー タに特定の対象が含まれているか否かを検出するものとする。

[0300] 画像解析結果として、特定の対象が撮像されてレ、ると検出された場合は、システム コントローラ 10はステップ F802から F803に進み表示制御トリガの発生と判断する。

[0301] このステップ F803で表示制御トリガの発生と判断されることで、システムコントローラ

10の図 13の処理はステップ F104から F107に進むことになり、表示制御部 14に対 して所定の画像処理の指示を行う。

[0302] この場合の画像処理制御としては、次のような例が考えられる。

[0303] 例えば特定の対象を鳥とした場合、画像データ内で鳥が検出されることで、図 12の

(c)のように画像内の鳥の部分のハイライト表示を実行させるように表示画像処理部 1 2の動作を指示することが考えられる。これにより、撮像画像、受信画像、再生画像に おいてユーザが鳥を見つけやすい表示を行うことができる。もちろん、鳥以外の動物 であっても同様である。

[0304] また特定の対象を人物した場合、画像データ内で人物が検出されることで、画像内 の人物の部分をハイライト表示等で強調させたり、拡大表示等を実行させるように表 示画像処理部 12の動作を指示することが考えられる。

[0305] また人物や動物、或いは建造物などの特定の対象にお!/、て、その特定の対象のみ が表示され、人物等の特定の対象の周囲の光景は全て塗りつぶされるような画像を 表示させるようにしてあよい。

[0306] 逆に、特定の対象として人物を検知したら、その人物のみが画像内で消されるよう な画像処理を実行させることも考えられる。例えば自然風景内で人物や車などの人 ェ的なものを排除 (マスキング）した画像を表示させるなどである。この場合、マスキン グしょうとする特定対象の周囲の画素からの補間処理で、特定対象の画素部分を埋 めるような処理を行っても良い。

[0307] また人物等の特定対象にっレ、てはモザイク表示などの画像エフェクトを加えることも 考えられる。

[0308] 図 20の (b)も画像解析部 17からの情報に基づいて表示制御トリガ発生と判断する 例である。

[0309] 図 20の（b)のステップ F810は、システムコントローラ 10が画像解析部 17からの情 報を監視する処理を示している。画像解析部 17は撮像画像の解析により、画像デー タにお!/、て素早レ、動きが発生して!/、るか否かを検出する。例えば動画データの各フ レームでの差分から動きの素早さを判定する。

[0310] 画像解析結果として、素早い動きの対象が検出された場合は、システムコントローラ 10はステップ F811から F812に進み、表示制御トリガの発生と判断する。

[0311] このステップ F812で表示制御トリガの発生と判断されることで、システムコントローラ 10の図 13の処理はステップ F104から F107に進むことになり、表示制御部 14に対 して画像処理の指示を行う。

[0312] 例えばユーザが素早い動きを確認しやすいように、図 9の（c)のようなストロボ表示 を実行させるように画像処理の指示を行うことが考えられる。

[0313] 或いは、動きの速い対象の部分をハイライト表示や拡大表示等とするようにして、ュ 一ザに注目させるような画像処理を指示することも考えられる。

[0314] またストレージ部 25をソースとする再生画像データであれば、システムコントローラ 1

0はストレージ部 25にスロー再生を指示して素早い動きをスローで見せるような制御 も考えられる。

[0315] 図 21の（a)も画像解析部 17からの情報に基づいて表示制御トリガ発生と判断する 例である。これは特に、人物が撮像された際に、その人物の個人判別を行う例である

〇

[0316] 図 21の（a)のステップ F901は、システムコントローラ 10が画像解析部 17からの情 報を監視する処理を示している。画像解析部 17は撮像画像の解析により、画像デー タにお!/、て人物の顔が含まれてレ、るかを判別し、また人物が顔が含まれて!/、た場合 、その顔の画像から個人特徴データを生成する。個人特徴データとは、例えば上述 したように目の中心と鼻との距離 ENと目の間隔の距離 Edの比（Ed/EN)や、 目の 中心と口との距離 EMと目の間隔の距離 Edの比（Ed/EM)である。

[0317] 個人特徴データが抽出された場合、システムコントローラ 10はステップ F902から F 903に進み、個人特徴データに基づいて人物情報を検索する。

[0318] 例えばシスムコントローラ 10は個人特徴データを通信部 26からネットワークサーバ 或いは人物データベース搭載機器に送信し、送信先において人物情報を検索して もらい、その検索結果を受信する。或いは表示装置 1内に人物データベースが保持 されていれば、システムコントローラ 10は、個人特徴データに基づいて人物データべ ースを検索することができる。

[0319] 外部装置もしくはシステムコントローラ 10自身による検索結果として、特定の人物の 人物情報が検索できたら、処理をステップ F904から F905に進め、人物情報表示の 表示制御トリガの発生と判断する。

[0320] このステップ F905で表示制御トリガの発生と判断されることで、システムコントローラ 10の図 13の処理はステップ F104から F107に進むことになり、表示制御部 14に対 して、例えば検索された人物情報を重畳表示させるように指示する。 [0321] この処理によれば、撮像画像、再生画像、受信画像を表示させている場合におい て、これらの画像内にユーザが過去に会った人、或いは有名人などで、人物データ ベースに登録されている人がいた場合に、表示部 2にはその人物の画像とともに情 報 (氏名や所属、過去に出会った場所など、人物データベースに登録されていた情 報）が表示されることになり、ユーザは人物を正確に認識できる。

[0322] 図 21の (b)も画像解析部 17からの情報に基づいて表示制御トリガ発生と判断する 例である。これは図 12の（a)のように日なた、 日陰の影響で画像が見づらくなつてい る場合に対応する処理例である。

[0323] 図 21の（b)のステップ F910は、システムコントローラ 10が画像解析部 17からの情 報を監視する処理を示している。画像解析部 17は画像データの解析により、画像内 で、 日照状況によって明るい領域、暗い領域が発生しているか否かを検出する。

[0324] 撮像画像、再生画像、受信画像を表示させて!/、る場合にお!/、て、これらの画像デ ータの画像解析結果として、画像上に日なた/日陰による差が生じていると判別され た場合は、システムコントローラ 10はステップ F911から F912に進み、表示制御トリ ガの発生と判断する。

[0325] このステップ F912で表示制御トリガの発生と判断されることで、システムコントローラ 10の図 13の処理はステップ F104から F107に進むことになり、表示制御部 14に対 して日なた/日陰の差を解消するような画像処理、例えば部分的な表示輝度レベル の変更を指示する。これにより、例えば図 12の（b)のように日なた/日陰の影響の少 ない、見やすい画像をユーザに提供できる。

[0326] なお、 日照による影響ではなぐ家屋や施設内での照明等の影響で部分的な明暗 の差が大きく生じているような場合や、画像が部分的に不鮮明となるような場合に、画 面内の部分的な輝度調整、撮像感度調整、コントラスト調整などを実行させることも想 定される。

[0327] ここまでの図 14〜図 21の処理として、撮像画像、再生画像、受信画像の表示の際 に、外界情報に応じて、表示する画像の表示態様、或いは表示する画像データの処 理を行う例を挙げた力 S、これらは一例にすぎず、他にも表示制御トリガの判別及び制 御例として非常に多様な例が考えられる。 [0328] 表示制御トリガとしては、周囲環境センサ 19、撮像対象センサ 20、 GPS受信部 21 、 日時計数部 22、画像解析部 17、通信部 26からの各情報から外界の状況を検知し 、所定の条件が満たされた場合にトリガ発生と判断すればよ!/、。

[0329] そして多様な条件にお!/、て表示制御トリガ発生と判断した場合の制御例として、表 示画像処理部 12に対する制御としては、拡大/縮小の制御、輝度、コントラスト、シ ヤープネス等の調整制御、モザイク画像/輝度反転画像/ソフトフォーカスなどの画 像エフェクト表示、更には図 9のような画面分割やストロボ表示などの制御を、外界の 状況に応じて実行できる。

[0330] またスルー状態と画像 (再生画像、受信画像、撮像画像)を合成するような表示態 様も考えられる。例えば表示部 2を半スルー状態として 50%程度の透過率とし、その 状態で画像を表示させるような例である。

[0331] また撮像機能系をソースとして撮像画像を表示部 2に表示している場合は、撮像部

3,撮像信号処理部 15の動作制御として、望遠/広角のズーム処理、撮像感度の制 御、撮像フレームレートの切換、赤外線撮像感度や紫外線撮像感度の変更制御など を行うことが考えられる。

[0332] またストレージ部 25での再生画像や通信部 26での受信画像を表示部 2に表示して いる場合は、表示制御トリガを、早送り/早戻し、頭出し、コマ送り、スロー、一時停止 などの変速再生制御を行ったり、ページ送り、ページスクロール、一覧表示上での選 択部分の送り、カーソル移動、決定操作、ゲーム操作などのトリガとして扱い、ストレ ージ部 25や通信部 26に所要の動作を実行させるように制御することが想定される。

[0333] 即ち、表示制御トリガの発生判断の条件と、それに応じた制御内容としては、これら の中でのあらゆる組み合わせが考えられる。

[0334] また、以上のように表示制御トリガに応じて表示部 2の表示を切り換える際には、図 9の（b)のように表示部 2の画面上でスルー状態もしくは通常撮像画像の領域 AR1を 残し、一部の領域 AR2において、異なる態様の画像の表示を行うようにしてもよい。 もちろん逆に広!/、領域 AR1にお!/、て、表示制御トリガに応じた画像を表示してもよ!/ヽ し、画面上を等分割して、通常撮像画像と、表示制御トリガに応じた画像を表示して あよい。 [0335] 次に、図 22,図 23により図 13のステップ F105のソース切換トリガの発生判断の例 を べる。

[0336] 図 22の（a)は画像解析部 17の解析結果によりソース切換トリガの発生判断を行う 例である。

[0337] 図 22のステップ F1001は、システムコントローラ 10が画像解析部 17からの情報を 監視する処理を示している。なお、これは図 3のように撮像機能系を有する構成例で あって、画像解析部 17は撮像部 3で撮像した撮像画像データについて解析を行って V、るものとし、撮像部 3の被写体に通信対象となる電子機器が含まれて!/、るか否かを 検出するものとする。例えばパーソナルコンピュータ、携帯電話機、 AV機器、 PDA など、データ通信が実行できる可能性のある機器を外観で判別する。

[0338] 画像解析結果として、電子機器が撮像されてレ、ると検出された場合は、システムコ ントローラ 10はステップ F1002から F1003に進み、通信部 26に指示して、電子機器 に対して通信確立要求を送信させる。もし、撮像された電子機器が、本例の表示装 置 1と通信可能な機器であれば、通信確立要求に対してのレスポンスが得られ、通信 状態が確立される。このようにして外部の電子機器が通信可能な対応機器であると 判別できた場合、システムコントローラ 10はステップ F1004力も F1005に進み、通信 部 26をソースとして指定するソース切換トリガ発生と判断する。

[0339] このステップ F1005でソース切換トリガの発生と判断されることで、システムコント口 ーラ 10の図 13の処理はステップ F105から F108に進み、通信部 26を画像ソースと するソース切換処理を行う。即ち通信部 26で受信された画像データが表示部 2で表 示される状態に切り換える。

[0340] これにより、周囲に通信可能な外部機器（図 2の撮像装置 70やコンテンツソース機 器 71)が存在するときに、それらの外部機器からの受信画像が表示部 2で表示される ようにすることカでさる。

[0341] また図 22の（b)は、特定の場所において、外部機器からの要求に応じてソース切 換を行う例である。

[0342] 図 22の（b)のステップ F1010は、システムコントローラ 10が GPS受信部 21で得ら れる現在位置の緯度 ·経度の情報を通信部 26からネットワークサーバ或いは地図デ ータベース搭載機器に送信し、送信先において現在地点の情報を検索してもらい、 その現在地点の情報を受信する動作を示している。なお表示装置 1内に地図データ ベースが保持されていれば、システムコントローラ 10は、 GPS受信部 21からの緯度' 経度に基づいて、地図データベースから現在地点の情報を検索することができる。

[0343] システムコントローラ 10は、取得した現在地点の情報に基づいて、現在位置が、所 定の地区又は施設内であるか否かを判別する。そして現在位置が所定の地区や施 設であると判断したら、ステップ F1011から F1012に進み、外部機器からの通信要 求があるか否力、を判別する。例えば所定時間、外部機器からの通信要求を待機して あよい。

[0344] 外部機器からの通信要求があったら、ステップ F1013で、通信部 26による外部機 器との通信接続状態を確立させ、通信動作を実行する。

[0345] そして通信動作が開始されたら、ステップ F1014で通信部 26をソースとして指定す るソース切換トリガ発生と判断する。

[0346] このステップ F1014でソース切換トリガの発生と判断されることで、システムコント口 ーラ 10の図 13の処理はステップ F105から F108に進み、通信部 26を画像ソースと するソース切換処理を行い、通信部 26で受信された画像データが表示部 2で表示さ れる状態とする。

[0347] これにより、特定の地区や施設で、外部機器（図 2の撮像装置 70やコンテンツソー ス機器 71 )からのアクセスがあつたときに、それらの外部機器からの受信画像が表示 ¾2で表示されるようにすること力 Sでさる。

[0348] 例えば地区や施設のガイドの画像、注意画像、サービス画像などをユーザに提供 すること力 S考免られる。

[0349] また、スポーツ観戦において、例えば主催者側が提供する図 7の（a)のような画像 を、表示装置 1のユーザに提供するような場合にも適用できる。

[0350] また地区に応じて、図 7の（c)のようなバードビュー画像をユーザに提供するような 場合にも適用できる。

[0351] 図 23の（a)は、撮像対象センサ 20又は画像解析部 17の解析結果によりソース切 換トリガの発生判断を行う例である。これは図 3のように撮像機能系を有する構成例 において採用できる処理例である。

[0352] 図 23の（a)のステップ F1101においてシステムコントローラ 10は、撮像機能系をソ ースとして表示部 2に撮像画像を表示しているか否力、を判断する。撮像画像を表示し ている場合はこの図 23の（a)の処理は行わない。一方、例えばストレージ部 25の再 生画像や通信部 26で受信した受信画像を表示部 2で表示して!/、る場合は、ステップ F1102に進む。

[0353] ステップ F1102は、システムコントローラ 10が画像解析部 17又は撮像対象センサ 2 0からの情報を監視する処理を示している。なお画像解析部 17は撮像部 3で撮像し た撮像画像データについて解析を行っているものとし、撮像部 3の被写体として特定 の対象が含まれているか否かを検出するものとする。例えば人物、動物、建造物、 自 然物などである。或いは撮像対象センサ 20が焦電センサとされており、特定の対象と して人物や動物とレ、つた生体が撮像対象となって!/、るか否かを判別できるものとする

[0354] システムコントローラ 10は、画像解析部 17又は撮像対象センサ 20の情報により、 特定の対象が撮像画像に含まれていると判断した場合は、ステップ F1103から Fl 1 04に進み、撮像機能系（撮像部 3,撮像信号処理部 15)をソースとして指定するソー ス切換トリガ発生と判断する。

[0355] このステップ F1104でソース切換トリガの発生と判断されることで、システムコント口 ーラ 10の図 13の処理はステップ F105から F108に進み、撮像機能系を画像ソース とするソース切換処理を行!/、、撮像部 3で撮像された画像データが表示部 2で表示さ れる状態とする。

[0356] これにより、例えばユーザが再生画像や受信画像をみているときに、特定の対象が ユーザの前に現れたら、表示部 2での表示が撮像画像に切り換えられることになる。

[0357] 図 23の（b)は、時刻と現在位置に応じてソース切換トリガの発生判断を行う例であ

[0358] 図 23の（b)のステップ F1110においてシステムコントローラ 10は、 日時計数部 22 から現在の時刻を取得する。またステップ Fi l l 1では、 GPS受信部 21での現在の 緯度 '経度に基づいて現在位置の情報を取得する。 [0359] ステップ Fl 112では、システムコントローラ 10は現在、特定の時刻であって特定の 場所に居るか否力、を判別し、特定の時刻に特定の場所に居る場合はステップ Fl 11

3に進んでソース切換トリガ発生と判断する。

[0360] このステップ Fi l l 3でソース切換トリガの発生と判断されることで、システムコント口 ーラ 10の図 13の処理はステップ F105から F108に進み、ソース切換処理を行う。

[0361] 例えば特定の時刻に特定の場所に居ることで、ストレージ部 25がソースとされ、スト レージ部 25での再生画像が表示されるような動作が実現される。

[0362] 或いは、特定の時刻に特定の場所に居ることで、撮像機能系がソースとされ、撮像 画像が表示されるような動作が実現される。

[0363] 或いは、特定の時刻に特定の場所に居ることで、通信部 26がソースとされ、通信部

26での受信画像が表示されるような動作が実現される。或るコンテンツサービスシス テムとして、特定の時刻及び場所においてコンテンツを提供するようなサービスに適 用できる。

[0364] 以上の図 22、図 23の処理として、外界情報に応じてソース切換トリガの発生判断を 行う例を挙げた力 S、これらは一例にすぎず、他にもソース切換トリガの発生判断の例と して非常に多様な例が考えられる。

[0365] そしてこれらのようにソース切換トリガの発生判断を行うことで、状況に応じてソース 切換が行われ、ユーザにとって適切な画像提供を行うことができる。

[0366] ところで、図 13のステップ F102の表示開始トリガや、ステップ F106の表示終了トリ ガも、外界情報に応じてシステムコントローラ 10が発生判断することができる。

[0367] 例えば図 14のように周囲の明るさを検知し、周囲が喑状態と判断した場合に表示 開始トリガ発生と判別し、スルー状態から表示状態に切り換えても良い。

[0368] 図 15のように天候を判別する場合に、天候に応じて表示開始トリガ発生と判別して あよい。

[0369] 図 16のように気温や湿度を検知し、所定の条件で表示開始トリガ発生と判別しても よい。

[0370] 図 17のように時間帯、月日、季節等に応じて表示開始トリガ発生と判別してもよい。

[0371] 図 18のように現在位置が所定の場所となったときに表示開始トリガ発生と判別して も良い。すると特定の場所や施設の種別において表示機能を発揮させるようにするこ と力 Sできる。

[0372] 図 19、図 20、図 21のように画像解析部 17の情報を検知する場合において、画像 解析部 17が撮像画像データの解析を行う場合に、特定の対象が検知された場合、 素早い動きが検知された場合、特定の人物が検知された場合、明暗の分布が検知さ れた場合などに表示開始トリガ発生と判別しても良い。

[0373] これらのようにモニタ表示開始のトリガ発生と判別し、図 13のステップ F103に進む ようにすれば、ユーザはスルー状態で表示装置 1を装着していれば、特に操作をせ ずに、状況に応じて表示動作が実行され、かつその状況に応じた画像を見ることが できる。

[0374] また表示終了トリガも同様に判別できる。

[0375] 例えば図 14のように周囲の明るさを検知している場合、周囲の明るさに応じて表示 終了トリガ発生と判別してもよい。

[0376] 図 15のように天候を判別する場合に、天候に応じて表示終了トリガ発生と判別して も良い。

[0377] 図 16のように気温や湿度を検知し、所定の条件で表示終了トリガ発生と判別しても よい。

[0378] 図 17のように時間帯、月日、季節等に応じて表示終了トリガ発生と判別してもよい。

[0379] 図 18のように現在位置が所定の場所となったときに表示終了トリガ発生と判別して も良い。すると特定の場所や施設の種別において表示機能を停止させるようにするこ と力 Sできる。

[0380] 図 19、図 20、図 21のように画像解析部 17の情報を検知する場合において、画像 解析部 17が撮像画像データの解析を行う場合に、その解析結果に応じて表示終了 トリガ発生と判別しても良い。

[0381] これらのようにモニタ表示終了のトリガ発生と判別し、図 13のステップ F101に戻る ようにすれば、ユーザにとってモニタ表示の必要性が低下した、或いは必要性が無く なった状況、さらにはモニタ表示機能を禁止させたい状況において、自動的にスル 一状 とすること力でさる。 [0382] [6.実施の形態の効果、変形例及び拡張例]

以上、実施の形態を説明してきたが、実施の形態によれば、眼鏡型もしくは頭部装 着型の装着ユニットに配置された表示部 2により、使用者の目の直前で画像を表示さ せる力 この場合に、外界状況として周囲の明るさ、天候、被写体の状況、画像デー タにおける特定の対象の認識、対象の動き、場所、 日時などの外界情報に基づいて 表示動作や表示ソース選択の制御を行うことで、ユーザに操作負担をかけずに、状 況に応じた的確な表示動作やおもしろみのある表示動作が実行される。これにより表 示装置 1は、ユーザにとって使用性が良ぐまた多様な視界光景を提供できる装置と なる。

[0383] また表示部 2は、透過率制御により透明又は半透明のスルー状態とできることで、 装着ユニットにより装着されたままでも通常の生活に支障がないようにできる。このた めユーザの通常の生活の中で、本例の表示装置 1の利点を有効に活用できる。

[0384] なお、実施の形態では特に表示動作に関する制御について説明した力 例えば電 源オン/オフ/スタンバイの切換や、音声出力部 5から出力される音声の音量や音 質の制御などを、外界情報に基づいて行っても良い。例えば時刻や場所に応じて音 量調整を行ったり、或いは周囲の音量を検知し、その音量に応じてスピーカ出力音 量調整を行うことなども考えられる。

[0385] また、表示装置 1の外観や構成は図 1 ,図 3,図 4の例に限定されるものではなぐ 各種の変形例が考えられる。

[0386] 表示画像 1として眼鏡型或いは頭部装着型の装着ユニットを有する例を述べたが、 本発明の表示装置は、ユーザの眼前で表示を行うことができるように構成されればよ ぐ例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットで ユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザ一、 或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着される ような形態であってもよい。

Claims

請求の範囲

[I] 使用者の目の前方に位置するように配置されて画像の表示を行う表示手段と、 外界情報を取得する外界情報取得手段と、

上記外界情報取得手段で取得された情報に基づレ、て、上記表示手段の動作を制 御する制御手段と、

を備えることを特徴とする表示装置。

[2] 画像の撮像を行う撮像手段を更に備えることを特徴とする請求項 1に記載の表示装 置。

[3] 上記制御手段は、上記外界情報取得手段で取得された情報に基づ!/、て、上記撮 像手段で撮像された画像データを上記表示手段で表示させる制御を行うことを特徴 とする請求項 2に記載の表示装置。

[4] 記録媒体からデータを再生する再生手段を更に備えることを特徴とする請求項 1に 記載の表示装置。

[5] 上記制御手段は、上記外界情報取得手段で取得された情報に基づ!/、て、上記再 生手段で再生されたデータを上記表示手段で表示させる制御を行うことを特徴とす る請求項 4に記載の表示装置。

[6] 外部機器と通信を行ってデータを受信する受信手段を更に備えることを特徴とする 請求項 1に記載の表示装置。

[7] 上記制御手段は、上記外界情報取得手段で取得された情報に基づ!/、て、上記受 信手段で受信されたデータを上記表示手段で表示させる制御を行うことを特徴とす る請求項 6に記載の表示装置。

[8] 上記表示手段は、透明もしくは半透明であるスルー状態と、供給されたデータの表 示を行う表示状態とを切換可能であることを特徴とする請求項 1に記載の表示装置。

[9] 上記外界情報取得手段は、上記外界情報として周囲環境状況を検出するセンサ であることを特徴とする請求項 1に記載の表示装置。

[10] 上記外界情報取得手段は、上記外界情報として、上記撮像手段の撮像対象に関 する情報を検出するセンサであることを特徴とする請求項 2に記載の表示装置。

[I I] 上記外界情報取得手段は、上記外界情報として、現在位置情報を取得することを 特徴とする請求項 1に記載の表示装置。

[12] 上記外界情報取得手段は、上記外界情報として、現在日時を取得することを特徴 とする請求項 1に記載の表示装置。

[13] 上記外界情報取得手段は、外部機器との通信により、上記外界情報を取得するこ とを特徴とする請求項 1に記載の表示装置。

[14] 上記外界情報取得手段は、入力された画像データについての画像解析により、上 記外界情報を取得することを特徴とする請求項 1に記載の表示装置。

[15] 上記外界情報取得手段が取得する上記外界情報は、周囲の明るさ、又は温度、又 は湿度、又は気圧、又は天候の情報であることを特徴とする請求項 1に記載の表示 装置。

[16] 上記外界情報取得手段が取得する上記外界情報は、現在位置に該当する地点の 情報であることを特徴とする請求項 1に記載の表示装置。

[17] 上記外界情報取得手段が取得する上記外界情報は、現在位置に該当する地域に おける建造物、又は自然物の情報であることを特徴とする請求項 1に記載の表示装 置。

[18] 上記外界情報取得手段が取得する上記外界情報は、入力された画像データに含 まれる特定の対象を判別する情報であることを特徴とする請求項 1に記載の表示装 置。

[19] 上記外界情報取得手段が取得する上記外界情報は、入力された画像データに含 まれる特定の対象として、人物、又は動物、又は建造物、又は自然物、又は機器を 判別する情報であることを特徴とする請求項 1に記載の表示装置。

[20] 上記外界情報取得手段が取得する上記外界情報は、入力された画像データに含 まれる対象画像の動きの情報であることを特徴とする請求項 1に記載の表示装置。

[21] 上記外界情報取得手段が取得する上記外界情報は、入力された画像データに含 まれる人物の個人を特定する情報であることを特徴とする請求項 1に記載の表示装 置。

[22] 上記外界情報取得手段が取得する上記外界情報は、入力された画像データに文 字画像が含まれるか否力、を判別する情報であることを特徴とする請求項 1に記載の 表示装置。

[23] 上記外界情報取得手段が取得する上記外界情報は、入力された画像データの明 喑、又は鮮明度の情報であることを特徴とする請求項 1に記載の表示装置。

[24] 上記外界情報取得手段が取得する上記外界情報は、入力された画像データの画 像内の部分的な明暗、又は部分的な鮮明度の情報であることを特徴とする請求項 1 に記載の表示装置。

[25] 上記制御手段は、上記表示手段における表示動作の開始/終了の制御を行うこと を特徴とする請求項 1に記載の表示装置。

[26] 上記表示手段は、透明もしくは半透明であるスルー状態と、供給されたデータの表 示を行う表示状態とが切換可能とされるとともに、

上記制御手段は、上記表示手段に対して上記スルー状態と上記表示状態の切換 制御を行うことを特徴とする請求項 1に記載の表示装置。

[27] 上記制御手段は、上記表示手段で表示するデータの供給ソースの切換制御を行う ことを特徴とする請求項 1に記載の表示装置。

[28] 上記制御手段は、上記表示手段における表示画像の拡大/縮小の制御を行うこと を特徴とする請求項 1に記載の表示装置。

[29] 上記制御手段は、上記表示手段に表示する画面の一部のハイライト表示の制御を 行うことを特徴とする請求項 1に記載の表示装置。

[30] 上記制御手段は、上記表示手段における画面分割表示の制御を行うことを特徴と する請求項 1に記載の表示装置。

[31] 上記制御手段は、上記表示手段における表示輝度の制御を行うことを特徴とする 請求項 1に記載の表示装置。

[32] 上記制御手段は、上記表示手段で表示させる画像信号の信号処理の制御を行うこ とを特徴とする請求項 1に記載の表示装置。

[33] 上記表示手段に供給する画像に含まれる文字に基づいて音声合成を行う音声合 成手段と、

上記音声合成手段で生成された音声を出力する音声出力手段と、

を更に備えることを特徴とする請求項 1に記載の表示装置。 使用者の目の前方に位置するように配置されて画像の表示を行う表示手段を備え た表示装置の表示方法として、

外界情報を取得する外界情報ステップと、

上記外界情報取得ステップで取得された情報に基づいて上記表示手段における 表示動作に関する制御を行う制御ステップと、

を備えることを特徴とする表示方法。